KR101959880B1 - Apparatus for haptic roughness estimation from in-vivo skin and method thereof - Google Patents
Apparatus for haptic roughness estimation from in-vivo skin and method thereof Download PDFInfo
- Publication number
- KR101959880B1 KR101959880B1 KR1020170153214A KR20170153214A KR101959880B1 KR 101959880 B1 KR101959880 B1 KR 101959880B1 KR 1020170153214 A KR1020170153214 A KR 1020170153214A KR 20170153214 A KR20170153214 A KR 20170153214A KR 101959880 B1 KR101959880 B1 KR 101959880B1
- Authority
- KR
- South Korea
- Prior art keywords
- haptic
- roughness
- skin surface
- dimensional skin
- dimensional
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
본 발명은 생체 피부의 햅틱 거침도 평가 장치 및 방법에 관한 것으로, 특히 햅틱 프로브 궤적의 거침도를 평가하여 사용자가 실제 감각하는 느낌을 평가할 수 있도록 한 생체 피부의 햅틱 거침도 평가 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for evaluating haptic roughness of a living body skin, and more particularly, to an apparatus and a method for evaluating a haptic roughness of a living body skin by evaluating roughness of a haptic probe trace, will be.
사람의 피부의 표면 기계적 성질은 피부 질환이나 피부 관리 조건을 결정하기 위한 중요한 단서를 제공하기 때문에 다양한 방법을 사용하여 측정되었다(COOK et al., 1977; YAMAMOTO et al., 1986; YAMADA et al., 2017; PIANTANELLI et al, 2005).The surface mechanical properties of human skin have been measured using a variety of methods because they provide important clues for determining skin conditions or skin care conditions (COOK et al., 1977; YAMAMOTO et al., 1986; YAMADA et al. , 2017; PIANTANELLI et al, 2005).
이러한 특성의 거침도(roughness)는 건선(RING et al., 2000), 아토피성 습진(FADZIL et al., 2010), 노화(TROJAHN et al., 2015; LAGARDE et al., 2005; MADAKI., 2010) 및 미용 요법(PENA et al., 2010; SCHRADER et al., 1991; LEVY et al., 2004; KIM et al., 2007; KAWADA et al., 2008)과 같은 피부 질환을 검사하는데 널리 사용되었다. Roughness of these traits may be related to the severity of psoriasis (RING et al., 2000), atopic eczema (FADZIL et al., 2010), aging (TROJAHN et al., 2015; LAGARDE et al., 2005; MADAKI. 2010) and beauty therapy (PENA et al., 2010; SCHRADER et al., 1991; LEVY et al., 2004; KIM et al., 2007; KAWADA et al., 2008) .
피부 거침도를 측정하는 동안 2 차 감염과 피해를 피하기 위해 레이저 스캐닝 장치(FIEDMAN et al., 2002) 또는 광학 카메라(LAGARDE et al., 2005; KOTTNER et al., 2013)를 사용하는 다양한 비접촉 방식이 지난 수십 년 동안 연구자들에 의해 개발되어 왔다.In order to avoid secondary infections and damage during the measurement of skin roughness, various non-contact methods using a laser scanning device (FIEDMAN et al., 2002) or an optical camera (LAGARDE et al., 2005; KOTTNER et al., 2013) Have been developed by researchers for decades.
이와 같은 측정 기술의 진보에도 불구하고(PENA et al., 2010; SCHRADER and BIELFELDT., 1991; FRIEDMAN et al., 2002; KOTTNER et al., 2013, BLOEMEN et al., 2011), 피부 질환을 더 잘 진단하고 생체 내 피부 표면의 촉각 특성을 알 수 있도록 손으로 촉진할 필요가 있었다.Despite advances in these techniques (PENA et al., 2010; SCHRADER and BIELFELDT., 1991; FRIEDMAN et al., 2002; KOTTNER et al., 2013, BLOEMEN et al., 2011) It was necessary to accelerate the diagnosis by hand and to recognize the tactile characteristics of the skin surface in vivo.
그러나 생체 내 피부 표면을 직접 만지면 2 차 감염이나 손상이 발생할 수 있다.However, touching the skin surface directly in vivo may cause secondary infection or damage.
감염 및 손상이 없는 피부 촉감의 필요성을 충족시키기 위해 햅틱 피부 렌더링 시스템의 개발이 몇 년 전에 시작되었고 햅틱 피드백 장치와 통합된 피부 이미징 시스템의 첫 번째 프로토 타입이 2 년 전에 의료 분야의 피부과 의사, 엔지니어 및 과학자들의 공동 작업으로 개발되었다(LEE et al., 2014). 또한, 소프트웨어 관점에서 피부 표면과 거침도를 분석하기 위한 새로운 인식 기반 렌더링 알고리즘이 도입되었다(KIM and LEE, 2015; KIM, 2016).The development of a haptic skin rendering system began several years ago to meet the need for infected and undamaged skin texture, and the first prototype of a skin imaging system integrated with a haptic feedback device was developed two years ago by a dermatologist and engineer And scientists (LEE et al., 2014). In addition, a new recognition-based rendering algorithm has been introduced to analyze skin surface and roughness from software point of view (KIM and LEE, 2015; KIM, 2016).
그러나 햅틱 피부 진단 시스템은 주어진 거친 피부 렌더링 이미지와 햅틱 렌더링을 위한 최소 업데이트 속도로 1 KHz 업데이트 속도를 요구하는 정밀한 거친 렌더링 및 렌더링 성능 측면에서 여전히 유아 단계에 있다. 또한 햅틱 거침도 측정 방법이 아직 도입되지 않았다. However, the haptic skin diagnostic system is still in infant stage in terms of fine rough rendering and rendering performance requiring a 1 KHz update rate with a given harsh skin rendering image and minimal update rate for haptic rendering. Also, the haptic roughness measurement method has not yet been introduced.
본 발명은 상기와 같은 필요를 충족시키기 위하여 안출된 것으로, 햅틱 프로브 궤적의 거침도를 평가하여 사용자가 실제 감각하는 느낌을 평가할 수 있도록 한 생체 피부의 햅틱 거침도 평가 장치 및 방법을 제공하는 데 있다.The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide an apparatus and a method for evaluating the haptic roughness of a living body skin by evaluating the degree of roughness of the haptic probe trajectory, .
본 발명의 장치는 현미경 카메라로 촬영한 2차원 피부 표면 영상을 그레이 영상으로 변환하는 그레이 컬러 변환부; 상기 그레이 영상의 각각의 픽셀에 대하여 강도 레벨을 깊이 데이터로 변환하여 3차원 피부 표면 포인트들을 형성하는 3차원 피부 표면 포인트 생성부; 상기 3차원 피부 표면 포인트들을 메시로 연결하여 3차원 피부 표면 영상을 형성하는 3차원 피부 표면 생성부; 상기 3차원 피부 표면 영상에 기반하여 시각적 3차원 피부 표면을 생성하기 위한 시각 렌더링부; 상기 3차원 피부 표면 영상에 기반하여 촉각적 3차원 피부 표면을 생성하는 햅틱 렌더링부; 및 햅틱 프로브가 상기 촉각적 3차원 피부 표면과 충돌하는 동안 햅틱 프로브 궤적을 연속적으로 측정하여 햅틱 거침도를 평가하는 햅틱 거침도 평가부를 포함한다.The apparatus includes a gray color converter for converting a two-dimensional skin surface image captured by a microscope camera into a gray image; A three-dimensional skin surface point generator for converting intensity levels of each pixel of the gray image into depth data to form three-dimensional skin surface points; A three-dimensional skin surface generating unit for forming a three-dimensional skin surface image by connecting the three-dimensional skin surface points with a mesh; A visual rendering unit for generating a visual three-dimensional skin surface based on the three-dimensional skin surface image; A haptic rendering unit for generating a tactile three-dimensional skin surface based on the three-dimensional skin surface image; And a haptic roughness evaluator for continuously measuring the haptic probe trajectory while the haptic probe collides with the tactile three-dimensional skin surface to evaluate the haptic roughness degree.
또한, 본 발명의 장치는 상기 그레이 영상을 구성하는 각 픽셀에 대하여 픽셀별 거침도를 구하고, 이를 합산하여 평균 표면 거침도를 구함으로 2차원 피부 거침도를 평가하는 2차원 피부 거침도 평가부를 더 포함한다.In addition, the apparatus of the present invention further includes a two-dimensional skin roughness evaluation unit for evaluating the two-dimensional skin roughness by calculating the roughness degree for each pixel constituting the gray image and summing the roughness degree for each pixel to obtain an average roughness degree .
또한, 본 발명의 장치의 상기 2차원 피부 거침도 평가부는 상기 그레이 영상의 각 픽셀에 대하여, 인접하는 픽셀들과 강도 레벨 차이를 구하여, 상기 강도 레벨 차이들을 합산하여 픽셀별 거침도를 구한다.In addition, the two-dimensional skin roughness evaluation unit of the apparatus of the present invention obtains a difference in intensity level between adjacent pixels with respect to each pixel of the gray image, and calculates the roughness degree of each pixel by summing the differences in the intensity levels.
또한, 본 발명의 장치의 상기 2차원 피부 거침도 평가부는 상기 그레이 영상을 구성하는 픽셀들에 대한 픽셀별 거침도를 합산하고 평균을 구하여 평균 표면 거침도를 구하여 2차원 피부 표면 거침도를 평가한다.In addition, the two-dimensional skin roughness evaluating unit of the apparatus of the present invention evaluates the roughness degree of the two-dimensional skin by summing the roughness degrees of pixels of the pixels constituting the gray image, obtaining an average, and obtaining an average roughness degree .
또한, 본 발명의 장치는 상기 현미경 카메라에서 촬영한 2차원 피부 표면 영상의 노이즈를 제거하는 노이즈 제거부를 더 포함한다.In addition, the apparatus of the present invention further includes a noise removing unit for removing noise of the two-dimensional skin surface image taken by the microscope camera.
또한, 본 발명의 장치의 상기 햅틱 렌더링부는 햅틱 프로브의 위치 정보에 응답하여 저항력을 계산하며, 사용자의 조작에 따라 상기 햅틱 프로브의 위치를 가변하여 위치 정보를 상기 햅틱 렌더링부로 전송하고, 상기 저항력을 수신하여 상기 사용자에게 촉각 자극을 제공하는 햅틱 장치; 및 상기 시각적 3차원 피부 표면을 표시하기 위한 위한 디스플레이를 더 포함한다.Further, the haptic rendering unit of the apparatus of the present invention may calculate resistance force in response to positional information of the haptic probe, transmit position information to the haptic rendering unit by varying the position of the haptic probe according to a user operation, A haptic device for receiving and providing a tactile stimulus to the user; And a display for displaying the visual three-dimensional skin surface.
또한, 본 발명의 장치는 상기 3차원 피부 표면 생성부에서 생성한 3차원 피부 표면 영상의 3차원 노이즈를 제거하는 3차원 표면 처리부를 더 포함한다.In addition, the apparatus of the present invention further includes a three-dimensional surface processing unit for removing three-dimensional noise of the three-dimensional skin surface image generated by the three-dimensional skin surface generating unit.
또한, 본 발명의 장치의 상기 햅틱 거침도 평가부는 햅틱 프로브 궤적(HPT)을 수학식 3과 같이 정의한다.Further, the haptic stiffness evaluation unit of the apparatus of the present invention defines the haptic probe trajectory (HPT) as shown in Equation (3).
(수학식 3)(3)
HPT=RSS+Nㆍδ+εHPT = RSS + N 隆 + 竜
여기에서, N은 삼각형면에서 표면 법선 벡터이고, 델타(δ)는 햅틱 프로브(HP)와 촉각적 3차원 피부 표면(RSS) 사이의 유클리드 거리이며, ε은 오차를 나타낸다.Here, N is the surface normal vector in the triangular plane, delta (delta) is the Euclidean distance between the haptic probe (HP) and the tactile three-dimensional skin surface (RSS), and?
또한, 본 발명의 장치의 상기 햅틱 거침도 평가부는 접촉선별 거침도를 햅틱 프로브 궤적과 중간값(mean)의 차이를 이용하여 산출한 후에, 촉각적 3차원 피부 표면의 모든 접촉선에 대한 접촉선별 거침도을 합산한 후에 평균을 취하여 햅틱 거침도를 산출하여 평가한다.In addition, the haptic harshness evaluation unit of the apparatus of the present invention calculates the contact selection roughness using the difference between the haptic probe trajectory and the mean value, and then performs contact selection for all contact lines on the tactile three- After the roughness is added, the haptic roughness is calculated by taking the average.
한편, 본 발명의 방법은 (A) 그레이 컬러 변환부가 현미경 카메라로 촬영한 2차원 피부 표면 영상을 그레이 영상으로 변환하는 단계; (B) 3차원 피부 표면 포인트 생성부가 상기 그레이 영상의 각각의 픽셀에 대하여 강도 레벨을 깊이 데이터로 변환하여 3차원 피부 표면 포인트들을 형성하는 단계; (C) 3차원 피부 표면 생성부가 상기 3차원 피부 표면 포인트들을 메시로 연결하여 3차원 피부 표면 영상을 형성하는 단계; (D) 시각 렌더링부가 상기 3차원 피부 표면 영상에 기반하여 시각적 3차원 피부 표면을 생성하기 위한 단계; (E) 햅틱 렌더링부가 상기 3차원 피부 표면 영상에 기반하여 촉각적 3차원 피부 표면을 생성하는 단계; 및 (F) 햅틱 거침도 평가부가 햅틱 프로브가 상기 촉각적 3차원 피부 표면과 충돌하는 동안 햅틱 프로브 궤적을 연속적으로 측정하여 햅틱 거침도를 평가하는 단계를 포함한다.The method of the present invention comprises the steps of: (A) converting a two-dimensional skin surface image captured by a gray-scale color camera into a gray image; (B) converting the intensity level to depth data for each pixel of the gray image to form three-dimensional skin surface points; (C) forming a three-dimensional skin surface image by connecting the three-dimensional skin surface points with a mesh; (D) a visual rendering unit generating a visual three-dimensional skin surface based on the three-dimensional skin surface image; (E) generating a tactile three-dimensional skin surface based on the three-dimensional skin surface image; And (F) evaluating the haptic roughness by successively measuring the haptic probe trajectory while the haptic roughness evaluator is colliding with the tactile three-dimensional skin surface of the haptic probe.
또한, 본 발명의 방법은 (G) 2차원 피부 거침도 평가부가 상기 그레이 영상을 구성하는 각 픽셀에 대하여 픽셀별 거침도를 구하고, 이를 합산하여 평균 표면 거침도를 구함으로 2차원 피부 거침도를 평가하는 단계를 더 포함한다.Also, the method of the present invention is characterized in that (G) the 2D skin roughness evaluation unit obtains the roughness degree of each pixel for each pixel constituting the gray image, Further comprising the step of evaluating.
또한, 본 발명의 방법의 상기 (G) 단계에서 상기 2차원 피부 거침도 평가부는 상기 그레이 영상의 각 픽셀에 대하여, 인접하는 픽셀들과 강도 레벨 차이를 구하여, 상기 강도 레벨 차이들을 합산하여 픽셀별 거침도를 구한다.Also, in the step (G) of the method of the present invention, the two-dimensional skin roughness evaluation unit obtains a difference in intensity level between adjacent pixels and each pixel of the gray image, Obtain the degree of roughness.
또한, 본 발명의 방법의 상기 (G) 단계에서 상기 2차원 피부 거침도 평가부는 상기 그레이 영상을 구성하는 픽셀들에 대한 픽셀별 거침도를 합산하고 평균을 구하여 평균 표면 거침도를 구하여 2차원 피부 표면 거침도를 평가한다.In the step (G) of the method of the present invention, the two-dimensional skin roughness evaluation unit sums and roughs the roughness of each pixel of the gray image to obtain an average surface roughness, Surface roughness is evaluated.
또한, 본 발명의 방법의 상기 (F) 단계에서 상기 햅틱 거침도 평가부는 햅틱 프로브 궤적(HPT)을 수학식 3과 같이 정의한다.In the step (F) of the method of the present invention, the haptic stiffness evaluation unit defines a haptic probe trajectory (HPT) as shown in Equation (3).
(수학식 3)(3)
HPT=RSS+Nㆍδ+εHPT = RSS + N 隆 + 竜
여기에서, N은 삼각형면에서 표면 법선 벡터이고, 델타(δ)는 햅틱 프로브(HP)와 촉각적 3차원 피부 표면(RSS) 사이의 유클리드 거리이며, ε은 오차를 나타낸다.Here, N is the surface normal vector in the triangular plane, delta (delta) is the Euclidean distance between the haptic probe (HP) and the tactile three-dimensional skin surface (RSS), and?
또한, 본 발명의 방법의 상기 (F) 단계에서 상기 햅틱 거침도 평가부는 접촉선별 거침도를 햅틱 프로브 궤적과 중간값(mean)의 차이를 이용하여 산출한 후에, 촉각적 3차원 피부 표면의 모든 접촉선에 대한 접촉선별 거침도의 합산의 평균을 취하여 햅틱 거침도를 산출하여 평가한다.Further, in the step (F) of the method of the present invention, the haptic harshness degree evaluation unit may calculate the contact selection roughness using the difference between the haptic probe trajectory and the mean value, The haptic roughness is calculated and evaluated by taking the average of the sum of contact select roughness against contact line.
생체 내 피부 이미지를 위한 멀티 모달(시각 및 햅틱) 렌더링 시스템이 개발되었다. 개발된 시스템은 하나의 스킨 이미지를 받아 실시간으로 3D 메시로 자동 변환한다.A multimodal (visual and haptic) rendering system for in vivo skin images has been developed. The developed system receives a single skin image and automatically converts it into a 3D mesh in real time.
이 시스템은 공간 노이즈 필터링, 그래픽 및 쉐이딩 알고리즘을 채택하여 시각화 및 터치 상호 작용을 위한 정밀한 거친 렌더링을 제공하도록 최적화되었다.The system has been optimized to provide precise, coarse rendering for visualization and touch interaction by employing spatial noise filtering, graphics and shading algorithms.
거칠기 추정을 분석한다. 멀티 모달 렌더링 시스템은 사용자(피부과 전문의 또는 피부 전문가)에게 정확한 가상 촉각 및 피부 검사에 대한 시각적 조사뿐만 아니라 피부 질환을 진단하는 데 중요한 정밀한 피부 거칠기 정보를 제공한다.Analyze roughness estimates. The multimodal rendering system provides the user (dermatologist or dermatologist) with accurate visual tactile and visual inspection of skin tests as well as accurate skin roughness information important for diagnosing skin disorders.
또한, 인접한 이미지 픽셀을 고려한 새로운 이미지 기반 거칠기 평가 방법이 제안되었으며, 결과는 모든 피부 이미지에서 직접 거칠기를 정량화하는 데 신뢰할 수 있음이 확인되었다.In addition, a new image - based roughness evaluation method considering adjacent image pixels has been proposed and the results have been confirmed to be reliable in quantifying the roughness directly in all skin images.
피부 영상을 이용한 터치 검사로 인지된 거칠기를 측정하기 위해 새로운 햅틱 거칠기 평가 방법이 제안되었다. 실험 결과는 제안된 햅틱 거칠기 평가가 피부 질환을 식별하기 위해보다 정보적인 거칠기를 제공할 수 있음을 보여준다.A new haptic roughness evaluation method has been proposed to measure perceived roughness by touch inspection using skin image. Experimental results show that the proposed haptic roughness evaluation can provide more informative roughness to identify skin diseases.
햅틱 거칠기는 사용자가 피부 표면에 실제로 느끼는 것으로 피부 질환을 진단하는 데 중요하다.The haptic roughness is what the user actually feels on the skin surface and is important for diagnosing skin disease.
개발된 햅틱 거칠기 렌더링 시스템은 특히 건선, 아토피성 피부염 또는 노화의 경우에 2 차 감염 또는 손상(접촉 상호 작용에 의해 야기 됨)에 대한 염려 없이 가상 햅틱 촉진에 의해 생체 내 피부 표면의 이상을 진단하는데 도움이 될 것으로 믿어진다. 이는 피부 거칠기의 중요한 변화를 가져온다.The developed haptic roughness rendering system diagnoses anomalies of the skin surface in vivo by stimulating virtual haptics without worrying about secondary infection or damage (caused by contact interaction), especially in cases of psoriasis, atopic dermatitis or aging It is believed to be helpful. This leads to significant changes in skin roughness.
게다가,이 시스템은 스킨 케어 제품(화장품)을 사용하기 전후의 피부 상태 변화를 검사하는 좋은 도구가 될 수 있다. 또한, 제안된 2D 피부 거칠기 추정 방법은 모바일 어플리케이션에 적용되어 간단한 전화 카메라로 온라인 거칠기 평가 도구를 제공 할 수 있다.In addition, this system can be a good tool to check skin condition changes before and after using skin care products (cosmetics). In addition, the proposed 2D skin roughness estimation method can be applied to a mobile application and can provide an online roughness evaluation tool with a simple telephone camera.
도 1은 피부 거침도 평가를 위한 이미지 기반 다차원 (2D 및 3D) 렌더링 시스템을 나타내는 도면이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 생체 피부의 햅틱 거침도 평가 장치의 구성도이다.
도 3에서 왼쪽은 픽셀별 거침도를 추정하기 위해 사용하는 윈도우를 나타내고, 오른쪽은 중앙 픽셀과 그 인접 픽셀 사이의 픽셀 강도의 차이를 산출하는 과정을 설명하기 위한 도면이다.
도 4의 (a)는 재구성된 피부 표면(RSS)과 햅틱 렌더링을 나타내며, (b)는 햅틱 장치로 피부 표면(RSS)을 터치하여 얻은 햅틱 궤적을 나타내는 도면이다.
도 5는 본 발명의 바람직한 일 실시예에 따른 생체 피부의 햅틱 거침도 평가 방법의 흐름도이다.
도 6은 규칙적인 패턴(거칠기)을 가진 실제 플라스틱 표면(60W x 25D mm)을 나타낸다.
도 7은 실제 물체와 함께 정확한 가속도계로 재구성된 촉각적 3차원 피부 표면을 측정하기 위한 실험 장치를 나타내는 도면이다.
도 8은 거침도 평가에 사용되는 입력 피부 영상을 나타낸다.
도 9는 2D 입력 영상으로부터 변환된 메시로 구성된 재구성 된 햅틱 피부 표면을 보여준다.
도 10은 3 가지 정상 피부 이미지(도 8의 (a), (b), (c))에서 직접 계산된 2D 거침도 값을 나타내며, 위에 제안된 방법과 아래에 기존의 일반적인 방법을 나타냈다.
도 11은 이미지 기반 거칠기 방법과 6 개의 피부 장애 이미지가 있는 햅틱 거칠기 방법으로 추정된 거칠기 값의 결과를 보여준다.
도 12는 햅틱 렌더링 성능 대 이미지 해상도(픽셀)를 나타내는 도면이다.Figure 1 is an illustration of an image-based multidimensional (2D and 3D) rendering system for skin roughness evaluation.
2 is a block diagram of an apparatus for evaluating haptic roughness of a living body skin according to a preferred embodiment of the present invention.
In FIG. 3, the left side shows the window used for estimating the roughness degree for each pixel, and the right side shows a process for calculating the difference in pixel intensity between the center pixel and its adjacent pixels.
4 (a) shows a reconstructed skin surface RSS and haptic rendering, and FIG. 4 (b) shows a haptic trajectory obtained by touching a skin surface RSS with a haptic device.
5 is a flowchart illustrating a haptic roughness evaluation method of a living body skin according to a preferred embodiment of the present invention.
Figure 6 shows an actual plastic surface (60 W x 25 D mm) with a regular pattern (roughness).
7 is a diagram showing an experimental apparatus for measuring a tactile three-dimensional skin surface reconstructed with an accurate accelerometer together with an actual object.
8 shows an input skin image used for roughness evaluation.
Figure 9 shows a reconstructed haptic skin surface composed of a transformed mesh from a 2D input image.
Figure 10 shows the 2D roughness values directly calculated from the three normal skin images (Figures 8 (a), (b), (c)), showing the above proposed method and the conventional general method below.
11 shows the results of the roughness values estimated by the image-based roughness method and the haptic roughness method with six skin disorder images.
Figure 12 is a plot of haptic rendering performance versus image resolution (pixels).
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 설명하기 위하여 이하에서는 본 발명의 바람직한 실시예를 예시하고 이를 참조하여 살펴본다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings.
먼저, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.First, the terminology used in the present application is used only to describe a specific embodiment, and is not intended to limit the present invention, and the singular expressions may include plural expressions unless the context clearly indicates otherwise. Also, in this application, the terms "comprise", "having", and the like are intended to specify that there are stated features, integers, steps, operations, elements, parts or combinations thereof, But do not preclude the presence or addition of features, numbers, steps, operations, components, parts, or combinations thereof.
본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
피부 거침도 평가를 위한 이미지 기반 다차원 (2D 및 3D) 렌더링 시스템으로, 27 인치 LED 모니터가 장착된 PC(Intel Quad Core Processor i7 6700K, 4GHz, 16GB RAM)에서 Visual C ++, OpenGL 및 Chai3D 라이브러리를 사용하여 다차원(2D 및 3D) 및 멀티 모달(시각 및 촉각) 렌더링 시스템을 개발했다. An image-based multidimensional (2D and 3D) rendering system for evaluating skin roughness. Visual C ++, OpenGL, and Chai3D libraries are available on PCs (Intel Quad Core Processor i7 6700K, 4GHz, 16GB RAM) Dimensional (2D and 3D) and multi-modal (visual and tactile) rendering systems.
도 1을 참조하면, 터치 상호 작용을 위해 상업적 햅틱 장치(Haptic device)인 Geomagic Touch X(3 자유도 힘(force) 피드백, 작업 공간 160 W x 120 H x 120 D mm, 최대 힘 7.9 N)가 통합되어 사용자의 터치와 상호 작용하면서 피부 표면 거칠기를 정밀하게 렌더링한다.Referring to FIG. 1, a commercial haptic device, Geomagic Touch X (three degrees of freedom force feedback, work space 160 W x 120 H x 120 D mm, maximum force 7.9 N) It integrates and interacts with the user's touch to render skin surface roughness precisely.
도 2는 본 발명의 바람직한 일 실시예에 따른 생체 피부의 햅틱 거침도 평가 장치의 구성도이다.2 is a block diagram of an apparatus for evaluating haptic roughness of a living body skin according to a preferred embodiment of the present invention.
도 2를 참조하면, 본 발명의 바람직한 일 실시예에 따른 생체 피부의 햅틱 거침도 평가 장치는 현미경 카메라(100), 노이즈 제거부(110), 그레이 컬러 변환부(120), 2차원 피부 거침도 평가부(320), 3차원 피부 표면 포인트 생성부(200), 3차원 피부 표면 생성부(210), 3차원 표면 처리부(220), 시각 렌더링부(230), 디스플레이(240), 햅틱 렌더링부(250), 햅틱 장치(260) 및 햅틱 거침도 평가부(270)를 포함한다.Referring to FIG. 2, the apparatus for evaluating haptic roughness of a living body according to an embodiment of the present invention includes a
상기 현미경 카메라(100)는 2차원 피부 표면 영상을 취득하여 노이즈 제거부(110)로 제공한다.The
이와 같은 현미경 카메라(100)는 휴대 전화에 부착되어 생체 피부를 촬영하여 2차원 피부 표면 영상을 취득하는데, 단일 현미경 카메라이지만, 이에 한정되지 않고, 상기 현미경 카메라(100)는 2대의 현미경 카메라 또는 스테레오 현미경 카메라를 포함할 수 있다.Such a
다음으로, 노이즈 제거부(110)는 노이즈 제거 필터인 3x3 중간 필터를 사용하여 노이즈를 제거한다(Lim, 1990).Next, the
그리고, 상기 그레이 컬러 변환부(120)는 노이즈가 제거된 2차원 피부 표면 영상을 8비트의 그레이 영상으로 변환한다.The
한편, 2차원 피부 거침도 평가부(130)는 그레이 영상을 구성하는 각 픽셀에 대하여 픽셀별 거침도를 구한 후에 이를 합산하고 평균을 구하여 평균 표면 거침도를 구함으로 2차원 피부 거침도를 평가한다.On the other hand, the two-dimensional skin
이를 좀더 상세히 살펴보면, 2차원 피부 거침도 평가부(130)는 그레이 영상의 픽셀(i, j)에 대하여, 도 3에 도시된 바와 같이 인접하는 각 픽셀들과 강도 레벨 차이 rk를 구한다(여기에서 k는 1부터 8이다).In more detail, the two-dimensional skin
그리고, 2차원 피부 거침도 평가부(130)는 그레이 영상의 픽셀(i, j)에 대하여 인접하는 모든 픽셀과 구한 강도 레벨 차이 rk를 아래 수학식 1과 같이 합산하여 픽셀별 거침도 Rp(i,j)를 구한다.Then, the two-dimensional skin
(수학식 1)(1)
여기에서, N은 인접 픽셀수이며, n은 그레이 영상의 비트 깊이(bit depth)이고, 이때 N=8이고, n=8이다.Where N is the number of adjacent pixels and n is the bit depth of the gray image, where N = 8 and n = 8.
다음으로, 2차원 피부 거침도 평가부(130)는 그레이 영상을 구성하는 픽셀들에 대한 픽셀별 거침도를 아래 수학식 2와 같이 합산하고 평균을 구하여 평균 표면 거침도 RAVG를 구한다.Next, the two-dimensional skin
(수학식 2) (2)
여기에서, SX는 그레이 영상의 영상 폭을 의미하고, SY는 그레이 영상의 영상 높이를 의미한다. Here, S X denotes the image width of the gray image, and S Y denotes the image height of the gray image.
여기에서 x,y의 범위를 1부터 영상 폭-2(SX-2)와 영상 높이-2(SY-2)를 지정한 이유는 도 3에 도시된 바와 같이 3*3 윈도우를 가지고 픽셀별 거침도를 구할 때에 2차원 피부 표면 영상의 경계를 선택하여 0의 값을 가지며 시작하게 되는 것을 방지하기 위한 것이다.Here, the reason why the range of x and y is changed from 1 to 2 (S X -2) and the image height -2 (S Y -2) is as shown in FIG. 3, Dimensional skin surface image at the time of obtaining the roughness degree and to prevent it from starting with a value of 0 by selecting the boundary of the two-dimensional skin surface image.
이와 같은 2차원 피부 거침도 평가부(130)는 인접 픽셀간의 픽셀간 강도 레벨 차이를 조사함으로써 2차원 표면 거침도를 간단히 측정한다. The two-dimensional skin
이때, 인접 픽셀의 크기는 영상 속성을 고려하여 유연하게 선택할 수 있다. 윈도우의 크기가 클수록 더 많은 계산 시간이 필요하며 더 많은 국부 거침도가 세밀하게 평균화되어 평활화된다. At this time, the size of the adjacent pixels can be flexibly selected in consideration of the image attributes. The larger the window size, the more computation time is required and the more localized roughness is finely averaged and smoothed.
본 발명에서는 실시간 처리에서 가능한 한 국부 거침도를 유지하기 위해 최적 크기를 9(3x3 창)로 선택했다.In the present invention, the optimal size is selected to be 9 (3x3 window) in order to maintain local roughness as much as possible in real time processing.
다음으로, 상기 3차원 피부 표면 포인트 생성부(200)는 변환된 그레이 영상으로부터 x 및 y 축에 의해 표현되는 각각의 픽셀에 대해, 강도 레벨(KIM 및 LEE, 2015)을 z 축상의 위치 값으로 변환하여(깊이 데이터로 변환하여) 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들(x,y, z)을 생성한다.Next, the three-dimensional skin surface
상기 3차원 피부 표면 생성부(210)는 3차원 피부 포면 포인트들(x,y,z)을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성한다.The three-dimensional skin
그리고, 3차원 표면 처리부(220)는 3차원 피부 표면의 3차원 노이즈를 제거한다.Then, the three-dimensional
이러한 과정은 모든 픽셀에 대하여 반복되고 특이점과 3차원 노이즈가 제거 된 후 모든 연속 3차원 피부 표면 포인트들을 구하고 이를 삼각형으로 연결한다. This process is repeated for all the pixels and after all the singularities and three-dimensional noise are removed, all the continuous three-dimensional skin surface points are obtained and connected by triangles.
이런 과정은 렌더링을 위해 모든 점에서 각 삼각형 및 표면 법선 벡터에 매핑되는 3차원 피부 표면이 계산될 때까지 반복된다.This process is repeated until a three-dimensional skin surface is mapped to each triangle and surface normal vector at every point for rendering.
다음으로, 시각 렌더링부(230)는 3차원 피부 표면을 기반하여 시각적 3차원 피부 표면을 생성한다.Next, the
상기 시각 렌더링부(230)는 2차원 피부 표면 영상을 이용한 사실적인 시각적 렌더링을 위해 퐁 쉐이딩(PHONG, 1975)이 3차원 피부 표면의 시각화를 위해 사용된다. The
상기 디스플레이(240)는 상기 시각적 3차원 피부 표면을 표시한다.The
그리고, 햅틱 렌더링부(250)는 3차원 피부 표면을 기반하여 촉각적 3차원 피부 표면을 생성하고, 햅틱 프로브의 위치 정보에 응답하여 저항력을 계산한다.The
상기 햅틱 장치(260)는 사용자의 조작에 따라 상기 햅틱 프로브의 위치를 가변하여 위치 정보를 상기 햅틱 렌더링부(250)로 전송하고, 상기 저항력을 수신하여 상기 사용자에게 촉각 자극을 제공한다.The
이와 같은 구성에서 상기 햅틱 렌더링부(250)의 실질적인 햅틱 렌더링은 햅틱 장치(260)로 촉각적 3차원 피부 표면상의 사용자의 접촉에 응답하여 정확한 저항력이 실시간으로 계산될 때 달성될 수 있다. In such an arrangement, the actual haptic rendering of the
상기 햅틱 렌더링부(260)는 햅틱 렌더링에서 RUSPINI(1997)에 의해 소개된 힘 쉐이딩 알고리즘을 적용하여 햅틱 장치(260)가 거친 피부 영역과 상호 작용할 때 햅틱 장치(260)에서 진동을 유발하는 힘 벡터의 불연속성을 최소화했다.The
이와 같은 상황에서 햅틱 거침도 평가부(270)는 개발된 렌더링 시스템을 사용하여 햅틱 장치(260)를 사용하여 피부 표면에 닿는 동안 수직 방향으로 햅틱 프로브 궤적으로 해석되는 거침도를 산출하고 표시한다.In this situation, the
여기에서, 햅틱 거침도는 손가락이나 손으로 촉진 과정에서 느껴지는 감각 및 피부 감각을 의미한다. Here, the haptic stiffness refers to the senses and skin senses felt during the acceleration process with a finger or a hand.
사용자가 햅틱 장치(260)로 햅틱 렌더링부(250)에 의해 생성된 촉각적 3차원 피부 표면을 스트로크(stroke)하는 동안 통합된 촉감은 힘 피드백 장치를 통해 전달된다. While the user strokes the tactile three-dimensional skin surface generated by the
촉각적 3차원 피부 표면의 거침도는 2차원 피부 표면에서 변환된 촉각적 3차원 피부 표면의 기하학적 표면에 의해 시각적으로 결정된다.The roughness of the tactile three-dimensional skin surface is visually determined by the geometric surface of the tactile three-dimensional skin surface transformed from the two-dimensional skin surface.
그러나 햅틱 프로브 속도, 이동 방향, 표면 법선에 의해 야기된 힘 불연속성, 표면 재질 강성을 포함하는 몇 가지 요인을 고려해야하는 힘 응답 생성의 복잡성으로 인해 촉각적 3차원 피부 표면의 접촉 감각이 원래 표면과 다를 수 있다.However, due to the complexity of force response generation, which requires consideration of several factors, including haptic probe velocity, direction of movement, force discontinuity caused by surface normal, surface material stiffness, the tactile three- .
따라서 햅틱 거침도 평가부(270)는 사용자가 느끼는 촉각적 3차원 피부 표면의 거침도를 측정하는 것이다. Therefore, the haptic
피부 과학자 또는 전문가는 실제 광학 기술처럼 촉각적 3차원 피부 표면 형상을 측정하기보다는 햅틱 장치(260)를 사용하여 거친 피부 표면을 실제로 느낀다.The dermatologist or expert actually feels the rough skin surface using the
상기 햅틱 거침도 평가부(270)는 도 4에 도시된 바와 같이, 햅틱 프로브(HP:Haptic Probe)가 재구성된 촉각적 3차원 피부 표면(RSS: Reconstructed Skin Surface)과 충돌하는 동안 햅틱 프로브 궤적(HPT:Haptic Probe Trajectory)을 연속적으로 측정함으로써 햅틱 거침도를 측정할 수 있다.4, the haptic
상기 촉각적 3차원 피부 표면(RSS)은 3차원 피부 표면 포인트(x,y,z)들을 연결하여 구성한 메시 표면이다.The tactile three-dimensional skin surface (RSS) is a mesh surface formed by connecting three-dimensional skin surface points (x, y, z).
여기서, z는 그레이 영상의 픽셀 좌표(x, y)에서의 강도 레벨(I(x,y))로부터 직접 계산된 깊이 값이고, z =I(x, y)/2n이다.Where z is the depth value directly calculated from the intensity level I (x, y) at the pixel coordinates (x, y) of the gray image and z = I (x, y) / 2 n .
여기서, I(x,y)는 픽셀(x, y)에서의 강도 레벨이고, n은 2차원 피부 표면 영상의 비트 깊이이다. Where I (x, y) is the intensity level at pixel (x, y) and n is the bit depth of the two-dimensional skin surface image.
이 과정은 컴퓨터 그래픽에서 널리 사용되는 높이 맵 구축이라고 한다. This process is called height map construction, which is widely used in computer graphics.
다음으로, 햅틱 프로브 궤적(HPT)은 다음 수학식 3과 같이 정의된다.Next, the haptic probe trajectory (HPT) is defined by the following equation (3).
(수학식 3)(3)
HPT=RSS+Nㆍδ+εHPT = RSS + N 隆 + 竜
여기에서, N은 삼각형면에서 표면 법선 벡터이고, 델타(δ)는 햅틱 프로브(HP)와 촉각적 3차원 피부 표면(RSS) 사이의 유클리드 거리이며, ε은 햅틱 장치(270)에서 예기치 않게 발생하는 오차를 나타낸다.Here, N is the surface normal vector in the triangular plane, delta (delta) is the Euclidean distance between the haptic probe HP and the tactile three-dimensional skin surface RSS, and? Is unexpectedly generated in the
상기 햅틱 장치(260)가 단일 접점을 제공하기 때문에 도 4의 (b)에서와 같이 햅틱 장치(260)가 촉각적 3차원 피부 표면(RSS)을 접촉할 때 접촉점들의 집합으로 형성된 햅틱 프로브 궤적은 주사선과 같다. Since the
접촉선(Touch line)별 거침도 Ra는 햅틱 프로브 궤적과 중간값(mean)의 차이를 이용하여 아래 수학식 4를 사용하여 계산할 수 있다(LOU 외, 1998).Roughness per contact line R a can be calculated using the following equation (4) using the difference between the haptic probe trajectory and the mean value (LOU et al., 1998).
(수학식 4)(4)
여기서 l은 접촉선의 길이이고, i는 접촉점의 인덱스이다.Where l is the length of the contact line and i is the index of the contact point.
햅틱 거침도 Raaverage 는 촉각적 3차원 피부 표면의 모든 접촉선에 대한 접촉선별 거침도인 Ra값의 평균을 취하여 구할 수 있으며 공식은 아래 수학식 5와 같다.The haptic roughness R a average can be obtained by averaging the R a values of contact selection roughness for all contact lines on the tactile three-dimensional skin surface, and the formula is shown in Equation 5 below.
(수학식 5)(5)
여기서 N은 촉각적 3차원 피부 표면(RSS)에서 모두 직선인 접촉선의 수이다.Where N is the number of contact lines that are all straight on the tactile three-dimensional skin surface (RSS).
도 5는 본 발명의 바람직한 일 실시예에 따른 생체 피부의 햅틱 거침도 평가 방법의 흐름도이다.5 is a flowchart illustrating a haptic roughness evaluation method of a living body skin according to a preferred embodiment of the present invention.
도 5를 참조하면, 본 발명의 바람직한 일 실시예에 따른 생체 피부의 햅틱 거침도 평가 방법은 먼저 현미경 카메라(100)가 2차원 피부 표면 영상을 취득하여 노이즈 제거부(110)로 제공한다(S100).Referring to FIG. 5, in the method for evaluating haptic roughness of a living body skin according to a preferred embodiment of the present invention, a
다음으로, 노이즈 제거부(120)는 노이즈 제거 필터인 3x3 중간 필터를 사용하여 노이즈를 제거한다(S110).Next, the
그리고, 상기 그레이 컬러 변환부(130)는 노이즈가 제거된 2차원 피부 표면 영상을 8비트의 그레이 영상으로 변환한다(S120).Then, the
한편, 2차원 피부 거침도 평가부(130)는 그레이 영상을 구성하는 각 픽셀에 대하여 픽셀별 거침도를 구한 후에 이를 합산하고 평균을 구하여 평균 표면 거침도를 구함으로 2차원 피부 거침도를 평가한다(S130).On the other hand, the two-dimensional skin
이를 좀더 상세히 살펴보면, 2차원 피부 거침도 평가부(130)는 그레이 영상의 픽셀(i, j)에 대하여, 도 3에 도시된 바와 같이 인접하는 각 픽셀들과 강도 레벨 차이 rk를 구한다(여기에서 k는 1부터 8이다).In more detail, the two-dimensional skin
그리고, 2차원 피부 거침도 평가부(130)는 그레이 영상의 픽셀(i, j)에 대하여 인접하는 모든 픽셀과 구한 강도 레벨 차이 rk를 수학식 1과 같이 합산하여 픽셀별 거침도 Rp(i,j)를 구한다.Then, the two-dimensional skin
다음으로, 2차원 피부 거침도 평가부(130)는 그레이 영상을 구성하는 픽셀들에 대한 픽셀별 거침도를 수학식 2와 같이 합산하고 평균을 구하여 평균 표면 거침도 RAVG를 구한다. Next, the two-dimensional skin
이와 같은 2차원 피부 거침도 평가부(130)는 인접 픽셀간의 픽셀간 강도 레벨 차이를 조사함으로써 2차원 표면 거침도를 간단히 측정한다.The two-dimensional skin
다음으로, 상기 3차원 피부 표면 포인트 생성부(200)는 변환된 그레이 영상으로부터 x 및 y 축에 의해 표현되는 각각의 픽셀에 대해, 강도 레벨(KIM 및 LEE, 2015)을 z 축상의 위치 값으로 변환하여(깊이 데이터로 변환하여) 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들(x,y, z)을 생성한다(S200).Next, the three-dimensional skin surface
그리고, 상기 3차원 피부 표면 생성부(210)는 3차원 피부 포면 포인트들(x,y,z)을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성한다(S210).The three-dimensional skin
상기 3차원 표면 처리부(220)는 3차원 피부 표면 포인트들(x,y,z)의 노이즈를 제거한다(S220).The three-dimensional
이러한 과정은 모든 픽셀에 대하여 반복되고 특이점과 3차원 노이즈가 제거 된 후 모든 연속 3차원 피부 표면 포인트들을 구하고 이를 삼각형으로 연결한다. This process is repeated for all the pixels and after all the singularities and three-dimensional noise are removed, all the continuous three-dimensional skin surface points are obtained and connected by triangles.
이런 과정은 렌더링을 위해 모든 점에서 각 삼각형 및 표면 법선 벡터에 매핑되는 3차원 피부 표면이 계산될 때까지 반복된다.This process is repeated until a three-dimensional skin surface is mapped to each triangle and surface normal vector at every point for rendering.
다음으로, 시각 렌더링부(230)는 3차원 피부 표면을 기반하여 시각적 2차원 피부 표면을 생성한다(S230).Next, the
상기 디스플레이(240)는 상기 시각적 2차원 피부 표면을 표시한다.The
그리고, 햅틱 렌더링부(250)는 3차원 피부 표면을 기반하여 촉각적 3차원 피부 표면을 생성하고, 햅틱 프로브의 위치 정보에 응답하여 저항력을 계산한다(S240).Then, the
상기 햅틱 장치(260)는 사용자의 조작에 따라 상기 햅틱 프로브의 위치를 가변하여 위치 정보를 상기 햅틱 렌더링부(250)로 전송하고, 상기 저항력을 수신하여 상기 사용자에게 촉각 자극을 제공한다.The
이와 같은 구성에서 상기 햅틱 렌더링부(250)의 실질적인 햅틱 렌더링은 햅틱 장치(260)로 촉각적 3차원 피부 표면상의 사용자의 접촉에 응답하여 정확한 저항력이 실시간으로 계산될 때 달성될 수 있다. In such an arrangement, the actual haptic rendering of the
이와 같은 상황에서 햅틱 거침도 평가부(270)는 개발된 렌더링 시스템을 사용하여 햅틱 장치(260)를 사용하여 피부 표면에 닿는 동안 수직 방향으로 햅틱 프로브 궤적으로 해석되는 햅틱 거침도를 산출하고 표시한다(S250).In this situation, the
여기에서, 햅틱 거침도는 손가락이나 손으로 촉진 과정에서 느껴지는 감각 및 피부 감각을 의미한다. Here, the haptic stiffness refers to the senses and skin senses felt during the acceleration process with a finger or a hand.
사용자가 햅틱 장치(260)로 햅틱 렌더링부(250)에 의해 생성된 촉각적 3차원 피부 표면을 스트로크(stroke)하는 동안 통합된 촉감은 힘 피드백 장치를 통해 전달된다. While the user strokes the tactile three-dimensional skin surface generated by the
촉각적 3차원 피부 표면의 거침도는 2차원 피부 표면에서 변환된 촉각적 3차원 피부 표면의 기하학적 표면에 의해 시각적으로 결정된다.The roughness of the tactile three-dimensional skin surface is visually determined by the geometric surface of the tactile three-dimensional skin surface transformed from the two-dimensional skin surface.
그러나 햅틱 프로브 속도, 이동 방향, 표면 법선에 의해 야기된 힘 불연속성, 표면 재질 강성을 포함하는 몇 가지 요인을 고려해야하는 힘 응답 생성의 복잡성으로 인해 촉각적 3차원 피부 표면의 접촉 감각이 원래 표면과 다를 수 있다.However, due to the complexity of force response generation, which requires consideration of several factors, including haptic probe velocity, direction of movement, force discontinuity caused by surface normal, surface material stiffness, the tactile three- .
따라서 햅틱 거침도 평가부(270)는 사용자가 느끼는 촉각적 3차원 피부 표면의 거침도를 측정하는 것이다. Therefore, the haptic
피부 과학자 또는 전문가는 실제 광학 기술처럼 촉각적 3차원 피부 표면 형상을 측정하기보다는 햅틱 장치(260)를 사용하여 거친 피부 표면을 실제로 느낀다.The dermatologist or expert actually feels the rough skin surface using the
상기 햅틱 거침도 평가부(270)는 도 4에 도시된 바와 같이, 햅틱 프로브(HP:Haptic Probe)가 재구성된 촉각적 3차원 피부 표면(RSS: Reconstructed Skin Surface)과 충돌하는 동안 햅틱 프로브 궤적(HPT:Haptic Probe Trajectory)을 연속적으로 측정함으로써 햅틱 거침도를 측정할 수 있다.4, the haptic
상기 촉각적 3차원 피부 표면(RSS)는 3차원 피부 표면 포인트(x,y,z)들을 연결하여 구성한 메시 표면이다.The tactile three-dimensional skin surface (RSS) is a mesh surface formed by connecting three-dimensional skin surface points (x, y, z).
다음으로, 햅틱 프로브 궤적(HPT)은 수학식 3과 같이 정의된다.Next, the haptic probe trajectory (HPT) is defined as shown in Equation (3).
상기 햅틱 장치(260)가 단일 접점을 제공하기 때문에 도 4의 (b)에서와 같이 햅틱 장치(260)가 촉각적 3차원 피부 표면(RSS)을 접촉할 때 접촉점들의 집합으로 형성된 햅틱 프로브 궤적은 주사선과 같다. Since the
접촉선(Touch line)별 거침도 Ra는 햅틱 프로브 궤적과 중간값(mean)의 차이를 이용하여 수학식 4를 사용하여 계산할 수 있다(LOU 외, 1998).Roughness R a by touch line can be calculated using Equation 4 using the difference between the haptic probe trajectory and the mean (LOU et al., 1998).
햅틱 거침도 Raaverage 는 촉각적 3차원 피부 표면의 모든 접촉선에 대한 접촉선별 거침도인 Ra값의 평균을 취하여 구할 수 있으며 공식은 수학식 5와 같다.The haptic roughness R a average can be obtained by averaging the R a values of contact selection roughness for all contact lines on the tactile three-dimensional skin surface.
한편, 첫 번째 실험은 단일 이미지로 3D 거친 표면 재구성의 정확성을 검증하는 것이었다. 이 실험에서 도 6와 같이 규칙적인 패턴(거칠기)을 가진 실제 플라스틱 표면(60W x 25D mm)이 사용되었다.The first experiment, on the other hand, was to verify the accuracy of 3D rough surface reconstruction with a single image. In this experiment, an actual plastic surface (60 W x 25 D mm) with a regular pattern (roughness) as shown in Fig. 6 was used.
3 차원 피부 표면(도 6c)은 휴대 전화에 부차된 현미경 카메라를 사용하여 실제 플라스틱 표면(도 6a)의 평면도에서 찍은 단일 사진(도 6b)에서 제안된 접근법(도 2 참조)으로 재구성되니다(삼성 갤럭시). The three-dimensional skin surface (Figure 6c) is reconstructed with a proposed approach (see Figure 2) in a single picture (Figure 6b) taken in a plan view of an actual plastic surface (Figure 6a) using a microscope camera attached to a mobile phone Samsung Galaxy).
도 7은 실제 물체와 함께 정확한 가속도계로 재구성된 촉각적 3차원 피부 표면을 측정하기 위한 실험 장치로 (a)는 실제 물체의 표면에 대한 가속도 측정을 나타내고, (b)는 재구성된 촉각적 3차원 피부 표면의 가속도 측정(Geomagic Touch X)을 나타내며, (c)는 (a)와 (b)에서 측정된 가속도 프로파일을 나타낸다.FIG. 7 is an experimental apparatus for measuring a tactile three-dimensional skin surface reconstructed with an accurate accelerometer together with an actual object, in which FIG. 7A shows acceleration measurement on the surface of an actual object, FIG. 7B shows a reconstructed tactile three- (Geomagic Touch X), and (c) represents the acceleration profile measured in (a) and (b).
도 7에서 볼 수 있듯이 3 축 가속도계(PCB Piezoelectronics 352C33, 3 Axis, 감도 : 101.6 mv / g)를 사용하여 2 개의 실제 및 햅틱 표면의 표면 거칠기 프로파일을 측정했다.As shown in FIG. 7, the surface roughness profile of two actual and haptic surfaces was measured using a three-axis accelerometer (PCB Piezoelectronics 352C33, 3 Axis, sensitivity: 101.6 mv / g)
가속도계는 표면의 정확한 측정을 위해 스타일러스에 단단히 부착되었다(도 7a 및 7b 참조).The accelerometer was firmly attached to the stylus for accurate measurement of the surface (see FIGS. 7A and 7B).
실험자가 표면에서 스타일러스를 옆으로 움직이는 동안(실제 또는 촉각) 가속 값은 실시간으로 정확하게 기록된다.While the experimenter moves the stylus sideways from the surface (real or tactile), the acceleration values are recorded accurately in real time.
측정은 각 표면(실제 또는 촉각)에 대해 10 회 반복하였고 평균값을 정량 분석에 사용했다. 도 7c는 2 개의 표면으로부터 측정된 대표적인 가속 프로파일을 도시한다.Measurements were repeated 10 times for each surface (real or tactile) and the mean value was used for quantitative analysis. Figure 7c shows a representative acceleration profile measured from two surfaces.
실제 표면에서 더 많은 노이즈 신호가 관찰되었지만 두 가지 가속도 프로파일이 피크(거친 표면)의 측면에서 잘 매칭되었음이 분명하다. Obviously, more noise signals were observed on the actual surface, but the two acceleration profiles were well matched in terms of the peaks (rough surface).
노이즈는 일반적으로 고르지 않은 표면의 탄성 거동으로 인해 자체적으로 진동을 생성하는 비교적 얇은 스타일러스에 의해 발생되는 반면 촉각 디바이스는 진동 감쇠 메커니즘에 의해 진동을 감소시킨다. Noise is generally caused by a relatively thin stylus that produces its own vibrations due to the elastic behavior of the uneven surface, while the haptic device reduces vibration by vibration damping mechanisms.
또한 피어슨 상관 계수를 이용한 통계 분석을 통해 실제 및 햅틱 표면에서 측정된 가속도 프로파일의 유사성을 조사하였다.We also investigated the similarity of acceleration profiles measured on actual and haptic surfaces by statistical analysis using Pearson correlation coefficient.
상관(r)값은 0.9584이고 p 값은 2.65x10-6이며 이는 실제 및 재구성된 햅틱 표면이 서로 유의미한 상관 관계가 있음을 의미한다.The correlation (r) value is 0.9584 and the p-value is 2.65x10 -6 , which means that there is a significant correlation between the actual and reconstructed haptic surfaces.
실제 피부 이미지를 가진 개발된 시스템을 평가하기 위해, 3 개의 정상 피부 및 9 개의 임상 피부 질환 이미지(도 8 참조)가 테스트 되었다. To evaluate the developed system with real skin images, three normal skin and nine clinical skin disease images (see FIG. 8) were tested.
도 8의 (a)는 정상 피부 1 (200x200), (b)는 정상 피부 2 (200x150), (c)는 정상 피부 3 (200x133), (d)는 피부병 1 : 여드름 (300x300), (e)는 피부병 2 : 습진 포진 (300x300), (f)는 피부병 3 : 단순 포진 (300x300), (g)는 피부병 4 : 농가진 (300x300), (h)는 피부병 5 : 땀띠(miliaria) (300x300), (i)는 피부병 6 : 건선 (300x300), (j)는 피부병 7 : 단순 포진 (300x300), (k) 피부병 8 : 스위트 증후군 (300x300), (l)는 피부병 9 : 한관종(syringoma) (300x300)이며, (a)를 제외한 모든 이미지는 모두 실제이다. 도 8의 (a)를 제외한 모든 이미지는 모두 실제이다.8 (a) shows normal skin 1 (200x200), (b) shows normal skin 2 (200x150), (c) shows skin 3 (200x133) (300x300), skin disease (300x300), (h) skin disease 5: miliaria (300x300), skin disease (3x300) , skin disease 6: psoriasis (300x300), skin disease 7: herpes simplex 300x300, skin disease 8: sweets syndrome 300x300, skin disease 9: syringoma 300x300), and all images except (a) are all real. All images except (a) in FIG. 8 are all actual.
모든 이미지는 표면 거칠기와 색상이 다르다. 평가는 실험을 통해 (1) 2D 이미지에서 3D 거친 표면 재구성, (2) 2D 비전 및 3D 터치에 대한 거칠기 평가, (3) 시각 및 햅틱 렌더링의 렌더링 성능을 평가하기 위해 수행되었다.All images have different surface roughness and color. The evaluation was performed to evaluate the rendering performance of (1) 3D rough surface reconstruction, (2) roughness evaluation for 2D vision and 3D touch, and (3) visual and haptic rendering through experiments.
도 9는 2D 입력 영상으로부터 변환된 메시로 구성된 재구성 된 햅틱 피부 표면을 보여준다(도 8 참조). 정점과 면은 높이 맵을 작성하여 이미지 픽셀을 기반으로 생성되었다.Figure 9 shows a reconstructed haptic skin surface composed of a transformed mesh from a 2D input image (see Figure 8). Vertices and faces were created based on image pixels by creating a height map.
이미지의 픽셀 수가 많을수록 픽셀 당 3D 점이 만들어지기 때문에 더 많은 3D 정점과 메시가 생성된다. The more pixels in an image, the more 3D vertices and meshes are created because 3D points are created per pixel.
결과적으로 생기는 3D 피부 표면은 피부 표면의 촉각 거칠기 인식에 영향을주는 다양한 기하학적 특성을 잘 나타내는 촉각 장치에 의해 거친 표면 감각을 제공할 수 있는 실제와 같은 피부 표면이다.The resulting 3D skin surface is a realistic skin surface that can provide a rough surface sensation by a tactile device that exhibits a variety of geometric characteristics that affect the recognition of the tactile roughness of the skin surface.
거칠기 평가는 2D 이미지 기반 추정과 3D 햅틱 거칠기 평가의 두 단계로 수행되었다. 이미지로 거칠기를 추정하기 위해, 3 개의 정상적인 피부 이미지(도 8의 (a), (b), (c))가 사용되었다(LOU et al., 1998). 객관적으로 결과를 비교하기 위해 추정된 거침도 값은 최대 픽셀 값(255)에 의해 표준화되었다.Roughness evaluation was performed in two stages: 2D image - based estimation and 3D haptic roughness evaluation. To estimate the roughness in the image, three normal skin images (Fig. 8 (a), (b), (c)) were used (LOU et al., 1998). To compare the results objectively, the estimated roughness value was normalized by the maximum pixel value (255).
결과로부터 각 이미지의 거친 정도의 패턴은 유사하지만 본 발명의 방법에 의한 결과는 이음매 없는 피부 이미지(도 8의 (a))의 거칠기 값을 다른 거친 피부 이미지 (도 8의 (b) 및 도 8의 (c))와 더 잘 구별한다. 분석은 유의미한 차이를 지원하지 않는다(r : 0.9787, p : 0.1317).From the results, the roughness pattern of each image is similar, but the result of the method of the present invention is that the roughness value of the seamless skin image (Figure 8 (a)) is compared to the rough skin image (Figure 8 (b) (C) of Fig. Analysis does not support significant differences (r: 0.9787, p: 0.1317).
또한, 9 개의 임상 피부 질환 영상(피부 질환 :도 8의 (d) 내지 (l))을 시험하여 2 개의 영상 기반 방법의 추정 거칠기 값을 조사하였다. 또한, 본 발명에서 제안된 햅틱 거칠기 평가는 9 가지 피부 질환의 3 차원 재건된 피부 표면으로 측정되었다.In addition, nine clinical skin disease images (skin diseases: Fig. 8 (d) to (l)) were examined and the estimated roughness values of two image-based methods were examined. In addition, the haptic roughness evaluation proposed in the present invention was measured on the three-dimensionally reconstructed skin surface of nine skin diseases.
도 10은 3 가지 정상 피부 이미지(도 8의 (a), (b), (c))에서 직접 계산된 2D 거침도 값을 나타내며, 위에 제안된 방법과 아래에 기존의 일반적인 방법을 나타냈다. 추정된 거침도 값은 최대 픽셀 강도(255)에 의해 표준화되었다.Figure 10 shows the 2D roughness values directly calculated from the three normal skin images (Figures 8 (a), (b), (c)), showing the above proposed method and the conventional general method below. The estimated roughness value was normalized by the maximum pixel intensity (255).
햅틱 장치(Geomagic Touch X)에 의한 이미지의 전체 결과를 도 11에 그래프로 나타내고, 3 개의 실험에 의해 측정된 수치는 모두 표 1에 요약되어 있다. The overall result of the image by the haptic device (Geomagic Touch X) is shown graphically in FIG. 11, and the values measured by the three experiments are summarized in Table 1.
(표 1)(Table 1)
도 11은 이미지 기반 거칠기 방법과 6 개의 피부 장애 이미지가 있는 햅틱 거칠기 방법으로 추정된 거칠기 값의 결과를 보여준다.11 shows the results of the roughness values estimated by the image-based roughness method and the haptic roughness method with six skin disorder images.
추정된 거침도 값은 각각 OpenGL 좌표계에서 햅틱 장치의 이미지 공간과 작업 공간 크기로 표준화되었다.The estimated roughness values were normalized to the image space and the workspace size of the haptic device in the OpenGL coordinate system, respectively.
결과로부터, 본 발명자의 방법 R(2D)의 패턴은 햅틱 Ra(3D)와 유사한 반면 일반적인(Generic) Ra(2D)의 패턴은 약간 다르게 나타난다.From the results, the pattern of our method R (2D) is similar to haptic Ra (3D), while the pattern of generic Ra (2D) is slightly different.
이는 통계 분석 (피어슨 상관 계수)보고를 수행함으로써 입증되었다. 본 발명의 방법R(2D)와 햅틱 Ra(3D)는 유의미한 상관 관계를 보였으나(r : 0.7803, p : 0.0482), 일반 방법은 의미있는 상관관계를 보여주지 못했다(r: 0.2161, p : 0.5765).This was demonstrated by performing statistical analysis (Pearson correlation coefficient) reporting. The method of the present invention showed a significant correlation with the method R (2D) and haptic Ra (3D) (r: 0.7803, p: 0.0482), but the general method did not show any significant correlation (r: 0.2161, p: 0.5765 ).
통계적 분석은 3D 햅틱과 2D 이미지 공간이 다르기 때문에 모든 데이터를 표준화한 후에 수행되었다.Statistical analysis was performed after standardization of all data because 3D haptic and 2D image space were different.
통계적 분석은 햅틱 거칠기 평가가 이전 실험에서 정확성 측면에서 검증되었기 때문에 2D 이미지 기반 거칠기 평가가 기존 2D 방법보다 더 정확함을 확인했다 (LOU et al., 1998).Statistical analysis confirmed that 2D image-based roughness evaluation is more accurate than conventional 2D methods because haptic roughness evaluation was verified in terms of accuracy in previous experiments (LOU et al., 1998).
마지막으로 렌더링의 업데이트 속도(Hz)를 반복적으로 측정하여 햅틱 렌더링 시스템 성능을 이미지 픽셀에 대해 테스트했다. 이는 피부 진단 응용 프로그램에 중요하다. Finally, the haptic rendering system performance was tested for image pixels by repeatedly measuring the update rate (in Hz) of the rendering. This is important for skin diagnostic applications.
일반적으로, 렌더링 속도는 개발된 시스템에서 픽셀 수를 늘릴 때와 같이 정점 수가 증가함에 따라 느리게 진행된다. 안정되고 사실적인 햅틱 렌더링을 제공하기 위해 하한은 1KHz이다. In general, the rendering speed is slow as the number of vertices increases, such as when increasing the number of pixels in a developed system. The lower limit is 1KHz to provide stable and realistic haptic rendering.
도 12는 이미지 해상도가 80,000 픽셀을 초과하면 시스템 성능이 크게 떨어지는 것을 보여준다. 복잡한 3D 모델을 사용해도 업데이트 성능을 향상시키는 것은 향후 연구 과제로 떠오르는 또 다른 연구 주제이다.Figure 12 shows that system performance drops significantly when the image resolution exceeds 80,000 pixels. Improving update performance by using complex 3D models is another research topic that is emerging as a future research topic.
위에서 언급했듯이 피부 표면 거칠기는 피부 질환(RING et al,, 2000; FADZIL et al., 2010)을 진단하거나 피부 건강 상태를 분석하는 데 유용하다(PENA et al., 2010; SCHRADER et al., 1991; LEVY et al., 2004; KIM et al., 2007; KAWADA et al., 2008; PENA et al., 2010; SCHRADER et al., 1991; LEVY et al., 2004; KIM et al., 2007; KAWADA et al., 2008).As mentioned above, skin surface roughness is useful for diagnosing skin disorders (RING et al, 2000; FADZIL et al., 2010) or for analyzing skin health status (PENA et al., 2010; KIM et al., 2007; KIM et al., 2007; KIM et al., 2007; LEVY et al., 2004; KAWADA et al., 2008).
피부 이미지에서 일반적인 거칠기 평가 방법은 LOU 등이 도입한 접근법을 이용하는 것이다(1998).The general roughness evaluation method for skin images is to use the approach introduced by LOU et al. (1998).
그러나, 이미지상의 2D 근방 거칠기 변화를 반영하지 않는 스캔 라인(즉, 수직 또는 수평 라인)에 기초하여 거칠기를 추정한다. 즉, 전체 이미지에 대한 수직 또는 수평 라인 추정을 추정한다. However, roughness is estimated based on a scan line (i.e., a vertical or horizontal line) that does not reflect the 2D near-surface roughness change on the image. That is, a vertical or horizontal line estimate for the entire image is estimated.
본 발명의 방법(R, 도 3)은 스케일 러블인 사전 정의된 윈도우 내에서 모든 이웃 픽셀들을 돌보는 것으로 이미지 거칠기를 계산한다. 도 10과 도 11의 실험 결과는 기존 방법(LOU et al., 1998)보다 이미지 간의 미세한 변화에서도 피부 거칠기를 식별하는 데 더 효과적이라는 것을 보여준다.The method of the present invention (R, FIG. 3) computes the image roughness by taking care of all neighboring pixels within a scalable predefined window. The experimental results of Figures 10 and 11 show that even microscopic changes between images are more effective in identifying skin roughness than the conventional method (LOU et al., 1998).
본 발명에서는 햅틱 촉각 시스템이 기본적으로 하나의 피부 영상을 입력으로 받아서 최종적으로 3D 햅틱 표면으로 변환하기 때문에 터치에 의한 거친 정도가 피부 이미지의 직접적인 추정 방법과 얼마나 다른지 조사하였다. In the present invention, since the haptic tactile system basically receives one skin image as an input and finally converts it to a 3D haptic surface, the degree of roughness due to the touch is different from the direct estimation method of the skin image.
단일점 접촉 피드백 디바이스가 사용되기 때문에, 제안된 거칠기 추정은 단일 라인 기반의 추정에 기초하지만 사용자가 3D 피부 표면을 촉진할 때 3D 표면 형상 대신 햅틱 프로브 궤적을 측정한다.Because a single point contact feedback device is used, the proposed roughness estimate is based on a single line based estimation but instead measures the haptic probe trajectory instead of the 3D surface shape when the user promotes the 3D skin surface.
따라서, 제안된 접근법에 의해 추정된 촉각 거칠기값은 이 시스템을 사용할 피부과 의사가 손으로 느끼는 것을 나타낸다. 햅틱 렌더링 시스템이 잘 발달되지 않았다면 햅틱 프로브가 읽는 표면 거칠기 패턴은 원래의 피부 이미지와 다른 것일 수 있다.Therefore, the tactile roughness value estimated by the proposed approach indicates that the dermatologist who uses this system feels by hand. If the haptic rendering system is not well developed, the surface roughness pattern read by the haptic probe may be different from the original skin image.
도 11에서 볼 수 있듯이 햅틱 거칠기 패턴은 이미지 기반 거칠기 방법과 거의 동일하다.11, the haptic roughness pattern is almost the same as the image-based roughness method.
본 발명의 이미지 기반 거칠기 방법(R)과 비교된 거칠기 값의 저하된 수준은 햅틱 렌더링동안 힘의 불연속성을 피하기 위해 햅틱 피부 표면을 부드럽게 만드는 쉐이딩(force shading) 때문이다.The reduced level of roughness values compared to the image-based roughness method (R) of the present invention is due to force shading which softens the haptic skin surface to avoid force discontinuities during haptic rendering.
그럼에도 불구하고 3D 메시의 거친 표면 패치에 대한 터치 감도는 Kim (2016)에 의해 보고된 것보다 높다.Nonetheless, the touch sensitivity to the rough surface patches of 3D meshes is higher than that reported by Kim (2016).
즉, 기존의 피부 상상 시스템에 터치 촉진 인터페이스를 추가하면 피부 질환을 진단하거나 피부 상태를 분석하는 데 도움이 될 것이다.In other words, adding a touch-sensitive interface to an existing skin-imaging system will help diagnose skin conditions or analyze skin conditions.
2D 스킨 이미지를 3D 햅틱 스킨 표면으로 변환하는 것은 깊이 계산, 메시 및 표면 법선 생성 및 텍스처 매핑을 비롯한 복잡한 프로세스를 거친다. Converting a 2D skin image to a 3D haptic skin surface involves a complex process including depth calculation, mesh and surface normal generation, and texture mapping.
또한, 실시간 촉각을 제공하기 위해 햅틱 렌더링 알고리즘(충돌 감지 및 응답, 충돌시 실시간 힘 생성, 햅틱 장치의 안정된 제어 등)을 통합해야 한다.In addition, the haptic rendering algorithms (collision detection and response, real-time force generation at the time of collision, stable control of the haptic device, etc.) must be integrated to provide real-time tactile feedback.
따라서 실시간 렌더링 성능은 매우 중요하다. 렌더링 지연은 햅틱 피부 표면의 거침도 및 강성의 관점에서 터치 감각에 즉시 영향을 미치므로 진단 오류를 초래할 수 있다.Therefore, real-time rendering performance is very important. Rendering delays can cause diagnostic errors because they immediately affect the touch sense in terms of roughness and stiffness of the haptic skin surface.
도 12에서 보듯이, 개발된 시스템은 이미지 해상도가 83,000 픽셀보다 낮은 한 좋은 성능을 보여준다.As shown in FIG. 12, the developed system exhibits good performance as long as the image resolution is lower than 83,000 pixels.
이미지 해상도의 한계는 GPU 또는 병렬 프로그래밍을 적용하거나 그래픽 가속기를 사용하여 향상시킬 수 있다.The limits of image resolution can be improved by applying GPU or parallel programming or by using a graphics accelerator.
이 문제를 해결하는 또 다른 방법은 효율적인 메시 처리 및 충돌 감지 알고리즘으로 향후 고려해야 한다.Another way to solve this problem is to consider the future with efficient mesh handling and collision detection algorithms.
생체 내 피부 이미지를 위한 멀티 모달(시각 및 햅틱) 렌더링 시스템이 개발되었다. 개발된 시스템은 하나의 스킨 이미지를 받아 실시간으로 3D 메시로 자동 변환한다.A multimodal (visual and haptic) rendering system for in vivo skin images has been developed. The developed system receives a single skin image and automatically converts it into a 3D mesh in real time.
이 시스템은 공간 노이즈 필터링, 그래픽 및 쉐이딩 알고리즘을 채택하여 시각화 및 터치 상호 작용을 위한 정밀한 거친 렌더링을 제공하도록 최적화되었다.The system has been optimized to provide precise, coarse rendering for visualization and touch interaction by employing spatial noise filtering, graphics and shading algorithms.
거칠기 추정을 분석한다. 멀티 모달 렌더링 시스템은 사용자(피부과 전문의 또는 피부 전문가)에게 정확한 가상 촉각 및 피부 검사에 대한 시각적 조사뿐만 아니라 피부 질환을 진단하는 데 중요한 정밀한 피부 거칠기 정보를 제공한다.Analyze roughness estimates. The multimodal rendering system provides the user (dermatologist or dermatologist) with accurate visual tactile and visual inspection of skin tests as well as accurate skin roughness information important for diagnosing skin disorders.
또한, 인접한 이미지 픽셀을 고려한 새로운 이미지 기반 거칠기 평가 방법이 제안되었으며, 결과는 모든 피부 이미지에서 직접 거칠기를 정량화하는 데 신뢰할 수 있음이 확인되었다.In addition, a new image - based roughness evaluation method considering adjacent image pixels has been proposed and the results have been confirmed to be reliable in quantifying the roughness directly in all skin images.
피부 영상을 이용한 터치 검사로 인지된 거칠기를 측정하기 위해 새로운 햅틱 거칠기 평가 방법이 제안되었다. 실험 결과는 제안된 햅틱 거칠기 평가가 피부 질환을 식별하기 위해보다 정보적인 거칠기를 제공할 수 있음을 보여준다.A new haptic roughness evaluation method has been proposed to measure perceived roughness by touch inspection using skin image. Experimental results show that the proposed haptic roughness evaluation can provide more informative roughness to identify skin diseases.
햅틱 거칠기는 사용자가 피부 표면에 실제로 느끼는 것으로 피부 질환을 진단하는 데 중요하다.The haptic roughness is what the user actually feels on the skin surface and is important for diagnosing skin disease.
개발된 햅틱 거칠기 렌더링 시스템은 특히 건선, 아토피성 피부염 또는 노화의 경우에 2 차 감염 또는 손상(접촉 상호 작용에 의해 야기 됨)에 대한 염려 없이 가상 햅틱 촉진에 의해 생체 내 피부 표면의 이상을 진단하는데 도움이 될 것으로 믿어진다. 이는 피부 거칠기의 중요한 변화를 가져온다.The developed haptic roughness rendering system diagnoses anomalies of the skin surface in vivo by stimulating virtual haptics without worrying about secondary infection or damage (caused by contact interaction), especially in cases of psoriasis, atopic dermatitis or aging It is believed to be helpful. This leads to significant changes in skin roughness.
게다가,이 시스템은 스킨 케어 제품(화장품)을 사용하기 전후의 피부 상태 변화를 검사하는 좋은 도구가 될 수 있다. 또한, 제안된 2D 피부 거칠기 추정 방법은 모바일 어플리케이션에 적용되어 간단한 전화 카메라로 온라인 거칠기 평가 도구를 제공 할 수 있다.In addition, this system can be a good tool to check skin condition changes before and after using skin care products (cosmetics). In addition, the proposed 2D skin roughness estimation method can be applied to a mobile application and can provide an online roughness evaluation tool with a simple telephone camera.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상이 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments of the present invention are not intended to limit the scope of the present invention but to limit the scope of the present invention. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.
100 : 현미경 카메라 110 : 노이즈 제거부
120 : 그레이 컬러 변환부 130 : 2차원 피부 거침도 평가부
200 : 3차원 피부 표면 포인트 생성부 210 : 3차원 피부 표면 생성부
220 : 3차원 피부 처리부 230 : 시각 렌더링부
240 : 디스플레이 250 : 햅틱 렌더링부
260 : 햅틱 장치 270 : 햅틱 거침도 평가부100: Microscope camera 110: Noise elimination
120: Gray color conversion unit 130: Two-dimensional skin roughness evaluation unit
200: three-dimensional skin surface point generating unit 210: three-dimensional skin surface generating unit
220: three-dimensional skin processing unit 230:
240: display 250: haptic rendering unit
260: Haptic device 270: Haptic roughness evaluation part
Claims (15)
상기 그레이 영상의 각각의 픽셀에 대하여 강도 레벨을 깊이 데이터로 변환하여 3차원 피부 표면 포인트들을 형성하는 3차원 피부 표면 포인트 생성부;
상기 3차원 피부 표면 포인트들을 메시로 연결하여 3차원 피부 표면 영상을 형성하는 3차원 피부 표면 생성부;
상기 3차원 피부 표면 영상에 기반하여 시각적 3차원 피부 표면을 생성하기 위한 시각 렌더링부;
상기 3차원 피부 표면 영상에 기반하여 촉각적 3차원 피부 표면을 생성하는 햅틱 렌더링부; 및
햅틱 프로브가 상기 촉각적 3차원 피부 표면과 충돌하는 동안 햅틱 프로브 궤적을 연속적으로 측정하여 햅틱 거침도를 평가하는 햅틱 거침도 평가부를 포함하는 생체 피부의 햅틱 거침도 평가 장치.A gray color conversion unit for converting a two-dimensional skin surface image taken by a microscope camera into a gray image;
A three-dimensional skin surface point generator for converting intensity levels of each pixel of the gray image into depth data to form three-dimensional skin surface points;
A three-dimensional skin surface generating unit for forming a three-dimensional skin surface image by connecting the three-dimensional skin surface points with a mesh;
A visual rendering unit for generating a visual three-dimensional skin surface based on the three-dimensional skin surface image;
A haptic rendering unit for generating a tactile three-dimensional skin surface based on the three-dimensional skin surface image; And
And a haptic roughness evaluation unit for continuously measuring the haptic probe trajectory while the haptic probe collides with the tactile three-dimensional skin surface to evaluate the haptic roughness degree.
상기 그레이 영상을 구성하는 각 픽셀에 대하여 픽셀별 거침도를 구하고, 이를 합산하여 평균 표면 거침도를 구함으로 2차원 피부 거침도를 평가하는 2차원 피부 거침도 평가부를 더 포함하는 생체 피부의 햅틱 거침도 평가 장치.The method according to claim 1,
Dimensional skin roughness evaluation unit for evaluating the roughness degree of the two-dimensional skin by obtaining the roughness degree of each pixel for each pixel constituting the gray image and summing the roughness degree of each pixel to obtain an average roughness degree of the hue, Fig.
상기 2차원 피부 거침도 평가부는 상기 그레이 영상의 각 픽셀에 대하여, 인접하는 픽셀들과 강도 레벨 차이를 구하여, 상기 강도 레벨 차이들을 합산하여 픽셀별 거침도를 구하는 생체 피부의 햅틱 거침도 평가 장치.The method according to claim 2,
Wherein the two-dimensional skin roughness evaluator obtains a roughness degree for each pixel by calculating a difference in intensity level between adjacent pixels and each of the pixels of the gray image, and summing the differences in intensity levels.
상기 2차원 피부 거침도 평가부는 상기 그레이 영상을 구성하는 픽셀들에 대한 픽셀별 거침도를 합산하고 평균을 구하여 평균 표면 거침도를 구하여 2차원 피부 표면 거침도를 평가하는 생체 피부의 햅틱 거침도 평가 장치.The method according to claim 3,
The two-dimensional skin roughness evaluator evaluates the haptic roughness evaluation of the biomedical skin which evaluates the roughness of the two-dimensional skin by calculating the average roughness of the pixels constituting the gray image, Device.
상기 현미경 카메라에서 촬영한 2차원 피부 표면 영상의 노이즈를 제거하는 노이즈 제거부를 더 포함하는 생체 피부의 햅틱 거침도 평가 장치.The method according to claim 1,
And a noise removing unit for removing noise of the two-dimensional skin surface image captured by the microscope camera.
상기 햅틱 렌더링부는 햅틱 프로브의 위치 정보에 응답하여 저항력을 계산하며,
사용자의 조작에 따라 상기 햅틱 프로브의 위치를 가변하여 위치 정보를 상기 햅틱 렌더링부로 전송하고, 상기 저항력을 수신하여 상기 사용자에게 촉각 자극을 제공하는 햅틱 장치; 및
상기 시각적 3차원 피부 표면을 표시하기 위한 위한 디스플레이를 더 포함하는 생체 피부의 햅틱 거침도 평가 장치.The method according to claim 1,
The haptic rendering unit calculates resistance force in response to the position information of the haptic probe,
A haptic device for transmitting position information to the haptic rendering unit by varying a position of the haptic probe according to a user operation, receiving the resistance force and providing a tactile stimulus to the user; And
Further comprising a display for displaying the visual three-dimensional skin surface.
상기 3차원 피부 표면 생성부에서 생성한 3차원 피부 표면 영상의 3차원 노이즈를 제거하는 3차원 표면 처리부를 더 포함하는 생체 피부의 햅틱 거침도 평가 장치.The method according to claim 1,
Further comprising a three-dimensional surface processing unit for removing three-dimensional noise of the three-dimensional skin surface image generated by the three-dimensional skin surface generating unit.
상기 햅틱 거침도 평가부는 햅틱 프로브 궤적(HPT)을 수학식 3과 같이 정의하는 생체 피부의 햅틱 거침도 평가 장치.
(수학식 3)
HPT=RSS+Nㆍδ+ε
여기에서, N은 삼각형면에서 표면 법선 벡터이고, 델타(δ)는 햅틱 프로브(HP)와 촉각적 3차원 피부 표면(RSS) 사이의 유클리드 거리이며, ε은 오차를 나타낸다.The method according to claim 1,
Wherein the haptic stiffness evaluation unit defines a haptic probe trajectory (HPT) as shown in Equation (3).
(3)
HPT = RSS + N 隆 + 竜
Here, N is the surface normal vector in the triangular plane, delta (delta) is the Euclidean distance between the haptic probe (HP) and the tactile three-dimensional skin surface (RSS), and?
상기 햅틱 거침도 평가부는 접촉선별 거침도를 햅틱 프로브 궤적과 중간값(mean)의 차이를 이용하여 산출한 후에, 촉각적 3차원 피부 표면의 모든 접촉선에 대한 접촉선별 거침도를 합산한 후에 평균을 취하여 햅틱 거침도를 산출하여 평가하는 생체 피부의 햅틱 거침도 평가 장치.The method of claim 8,
The haptic harshness evaluation unit calculates the contact selection roughness using the difference between the haptic probe trajectory and the mean value and then adds the contact selection roughness to all the contact lines on the tactile three- And the haptic hurdle degree is calculated and evaluated.
(B) 3차원 피부 표면 포인트 생성부가 상기 그레이 영상의 각각의 픽셀에 대하여 강도 레벨을 깊이 데이터로 변환하여 3차원 피부 표면 포인트들을 형성하는 단계;
(C) 3차원 피부 표면 생성부가 상기 3차원 피부 표면 포인트들을 메시로 연결하여 3차원 피부 표면 영상을 형성하는 단계;
(D) 시각 렌더링부가 상기 3차원 피부 표면 영상에 기반하여 시각적 3차원 피부 표면을 생성하기 위한 단계;
(E) 햅틱 렌더링부가 상기 3차원 피부 표면 영상에 기반하여 촉각적 3차원 피부 표면을 생성하는 단계; 및
(F) 햅틱 거침도 평가부가 햅틱 프로브가 상기 촉각적 3차원 피부 표면과 충돌하는 동안 햅틱 프로브 궤적을 연속적으로 측정하여 햅틱 거침도를 평가하는 단계를 포함하는 생체 피부의 햅틱 거침도 평가 방법.(A) converting a two-dimensional skin surface image photographed by a gray-scale color conversion unit into a gray image;
(B) converting the intensity level to depth data for each pixel of the gray image to form three-dimensional skin surface points;
(C) forming a three-dimensional skin surface image by connecting the three-dimensional skin surface points with a mesh;
(D) a visual rendering unit generating a visual three-dimensional skin surface based on the three-dimensional skin surface image;
(E) generating a tactile three-dimensional skin surface based on the three-dimensional skin surface image; And
(F) evaluating the haptic stiffness degree by continuously measuring the haptic probe trajectory while the haptic stiffness probe collides with the tactile three-dimensional skin surface; and evaluating the haptic stiffness degree.
(G) 2차원 피부 거침도 평가부가 상기 그레이 영상을 구성하는 각 픽셀에 대하여 픽셀별 거침도를 구하고, 이를 합산하여 평균 표면 거침도를 구함으로 2차원 피부 거침도를 평가하는 단계를 더 포함하는 생체 피부의 햅틱 거침도 평가 방법.12. The method of claim 10,
(G) the two-dimensional skin roughness evaluating unit evaluates the two-dimensional skin roughness degree by obtaining the roughness degree of each pixel for each pixel constituting the gray image, Evaluation method of haptic roughness of living body skin.
상기 (G) 단계에서 상기 2차원 피부 거침도 평가부는 상기 그레이 영상의 각 픽셀에 대하여, 인접하는 픽셀들과 강도 레벨 차이를 구하여, 상기 강도 레벨 차이들을 합산하여 픽셀별 거침도를 구하는 생체 피부의 햅틱 거침도 평가 방법.12. The method of claim 11,
In the step (G), the two-dimensional skin roughness evaluating unit may calculate a roughness degree of each of the pixels of the gray image by calculating a difference in intensity level between the adjacent pixels and adjacent pixels, Haptic roughness evaluation method.
상기 (G) 단계에서 상기 2차원 피부 거침도 평가부는 상기 그레이 영상을 구성하는 픽셀들에 대한 픽셀별 거침도를 합산하고 평균을 구하여 평균 표면 거침도를 구하여 2차원 피부 표면 거침도를 평가하는 생체 피부의 햅틱 거침도 평가 방법.The method of claim 12,
In the step (G), the two-dimensional skin roughness evaluation unit may calculate a roughness degree of each pixel of the gray image by summing up the roughness degree of each pixel, Evaluation method of haptic roughness of skin.
상기 (F) 단계에서 상기 햅틱 거침도 평가부는 햅틱 프로브 궤적(HPT)을 수학식 3과 같이 정의하는 생체 피부의 햅틱 거침도 평가 방법.
(수학식 3)
HPT=RSS+Nㆍδ+ε
여기에서, N은 삼각형면에서 표면 법선 벡터이고, 델타(δ)는 햅틱 프로브(HP)와 촉각적 3차원 피부 표면(RSS) 사이의 유클리드 거리이며, ε은 오차를 나타낸다.12. The method of claim 10,
Wherein the haptic harshness degree evaluation unit in the step (F) defines a haptic probe trajectory (HPT) as shown in Equation (3).
(3)
HPT = RSS + N 隆 + 竜
Here, N is the surface normal vector in the triangular plane, delta (delta) is the Euclidean distance between the haptic probe (HP) and the tactile three-dimensional skin surface (RSS), and?
상기 (F) 단계에서 상기 햅틱 거침도 평가부는 접촉선별 거침도를 햅틱 프로브 궤적과 중간값(mean)의 차이를 이용하여 산출한 후에, 촉각적 3차원 피부 표면의 모든 접촉선에 대한 접촉선별 거침도의 합산을 구한 후에 평균을 취하여 햅틱 거침도를 산출하여 평가하는 생체 피부의 햅틱 거침도 평가 방법.The method of claim 14,
In the step (F), the haptic harshness evaluation unit calculates the contact selection roughness using the difference between the haptic probe trajectory and the mean value, and then calculates the contact selection roughness of all the contact lines on the tactile three- The haptic roughness evaluation method of a living body skin which calculates a haptic hurdle degree by taking an average after calculating a sum of degrees.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170153214A KR101959880B1 (en) | 2017-11-16 | 2017-11-16 | Apparatus for haptic roughness estimation from in-vivo skin and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170153214A KR101959880B1 (en) | 2017-11-16 | 2017-11-16 | Apparatus for haptic roughness estimation from in-vivo skin and method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101959880B1 true KR101959880B1 (en) | 2019-03-19 |
Family
ID=65908472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170153214A KR101959880B1 (en) | 2017-11-16 | 2017-11-16 | Apparatus for haptic roughness estimation from in-vivo skin and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101959880B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150004276A (en) | 2013-07-02 | 2015-01-12 | 임머숀 코퍼레이션 | Systems and methods for perceptual normalization of haptic effects |
| KR101772320B1 (en) | 2016-03-17 | 2017-09-12 | 한양대학교 에리카산학협력단 | A flexible display device and a method for operating it |
| KR101791927B1 (en) * | 2016-06-10 | 2017-11-01 | 인천대학교 산학협력단 | Method and apparatus for estimating roughness of skin surface for haptic feedback apparatus based on perceptual analysis |
-
2017
- 2017-11-16 KR KR1020170153214A patent/KR101959880B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150004276A (en) | 2013-07-02 | 2015-01-12 | 임머숀 코퍼레이션 | Systems and methods for perceptual normalization of haptic effects |
| KR101772320B1 (en) | 2016-03-17 | 2017-09-12 | 한양대학교 에리카산학협력단 | A flexible display device and a method for operating it |
| KR101791927B1 (en) * | 2016-06-10 | 2017-11-01 | 인천대학교 산학협력단 | Method and apparatus for estimating roughness of skin surface for haptic feedback apparatus based on perceptual analysis |
Non-Patent Citations (25)
| Title |
|---|
| 1) AKBARI, A. A., FARD, A. M., & CHEGINI, A. G. (2006). An effective image based surface roughness estimation approach using neural network. In Automation Congress, 2006. WAC'06.World (pp. 1-6). IEEE. |
| 10) KOTTNER, J., SCHARIO, M., BARTELS, N. G., PANTCHECHNIKOVA, E., HILLMANN, K., & BLUME-PEYTAVI, U. (2013). Comparison of two in vivo measurements for skin surface topography. Skin Research and Technology, 19(2), 84-90. |
| 11) LAGARDE, J. M., ROUVRAIS, C., & BLABK, D. (2005). Topography and anisotropy of the skin surface with ageing. Skin Research and Technology, 11(2), 110-119. |
| 12) LEE, O., LEE, K., OH, C., KIM, K., & KIM, M. (2014). Prototype tactile feedback system for examination by skin touch. Skin Research and Technology, 20(3), 307-314 |
| 13) LEVY, J. L., SERVANT, J. J., & JOUVE, E. (2004). Botulinum toxin A: a 9-month clinical and 3D in vivo profilometric crow's feet wrinkle formation study. Journal of Cosmetic and Laser Therapy, 6(1), 16-20. |
| 14) Lim, J. S. (1990). Two-dimensional signal and image processing. Englewood Cliffs, NJ, Prentice Hall,1990, 710 p. |
| 15) LOU, M. S., CHEN, J. C., & LI, C. M. (1998). Surface roughness prediction technique for CNC endmilling. Journal of Industrial Technology, 15(1), 1-6. |
| 16) MASAKI, H. (2010). Role of antioxidants in the skin: anti-aging effects. Journal of dermatological science, 58(2), 85-90. |
| 17) PENA FERREIRA, M. R., COSTA, P. C., & BAHIA, F. M. (2010). Efficacy of anti-wrinkle products in skin surface appearance: a comparative study using non-invasive methods. Skin Research and Technology, 16(4), 444-449. |
| 18) PIANTANELLI, A., MAPONI, P., SCALISE, L., SERRESI, S., CIALABRINI, A., & BASSO, A.(2005). Fractal characterisation of boundary irregularity in skin pigmented lesions. Medical and Biological Engineering and Computing, 43(4), 436-442 |
| 19) PHONG, B. T. (1975). Illumination for computer generated pictures. Communications of the ACM, 18(6), 311-317. |
| 2) BLOEMEN, M. C., VAN GERVEN, M. S., VAN DER WAL, M. B., VERHAEGEN, P. D., & MIDDELKOOP, E. (2011). An objective device for measuring surface roughness of skin and scars. Journal of the American Academy of Dermatology, 64(4), 706-715. |
| 20) RING, J., EBERLEIN-KONIG, B., SCHAFER, T., HUSS-MARP, J., DARSOW, U., MOHRENSCHLAGER, M.,& BEHRENDT, H. (2000). Skin surface pH, stratum corneum hydration, trans-epidermal water loss and skin roughness related to atopic eczema and skin dryness in a population of primary school children: clinical report. Acta Dermatology-Venerology, 80, 188-191. |
| 21) RUSPINI, D. C., KOLAROV, K., & KHATIB, O. (1997, August). The haptic display of complex graphical environments. In Proceedings of the 24th annual conference on Computer graphics and interactive techniques (pp. 345-352). ACM Press/Addison-Wesley Publishing Co. |
| 22) SCHRADER, K., & BIELFELDT, S. (1991). Comparative studies of skin roughness measurements by image analysis and several in vivo skin testing methods. J Soc Cosmet Chem, 42(6), 385-91. |
| 23) TROJAHN, C and DOBOS, G and SCHARIO, M and LUDRIKSONE, L and BLUME-PEYTAVI, U and KOTTNER, J. Relation between skin micro-topography, roughness, and skin age. Skin Research and Technology 21.1 (2015): 69-75. |
| 24) YAMADA, H., INOUE, Y., SHIMOKAWA, Y., & SAKATA, K. (2017). Skin stiffness determined from occlusion of a horizontally running microvessel in response to skin surface pressure: a finite element study of sacral pressure ulcers. Medical & biological engineering & computing, 55(1), 79-88 |
| 25) YAMAMOTO, Y., & YAMAMOTO, T. (1986). Characteristics of skin admittance for dry electrodes and the measurement of skin moisturisation. Medical and Biological Engineering and Computing,24(1), 71-77. |
| 3) COOK T., ALEXANDER, H., & COHEN, M. (1977). Experimental method for determining the 2-dimensional mechanical properties of living human skin. Medical and Biological Engineering and Computing, 15(4), 381-390. |
| 4) FADZIL, M. A., PRAKASA, E., FITRIYAH, H., NUGROHO, H., AFFANDI, A. M., & HUSSEIN, S. H. (2010). Validation on 3D surface roughness algorithm for measuring roughness of psoriasis lesion. Biological and Biomedical Sciences, 7(4), 205-2010 |
| 5) FRIEDMAN, P. M., SKOVER, G. R., PAYONK, G., KAUVAR, A. N., & GERONEMUS, R. G. (2002). 3D in-vivo optical skin imaging for topographical quantitative assessment of non-ablative laser technology. Dermatologic surgery, 28(3), 199-204. |
| 6) KAWADA, A., KONISHI, N., OISO, N., & KAWARA, S. (2008). Evaluation of anti-wrinkle effects of a novel cosmetic containing niacinamide. The Journal of dermatology, 35(10), 637-642. |
| 7) KIM, E., NAM, G. W., KIM, S., LEE, H., MOON, S., & CHANG, I. (2007). Influence of polyol and oil concentration in cosmetic products on skin moisturization and skin surface roughness. Skin Research and Technology, 13(4), 417-424. |
| 8) KIM, K., & LEE, S. (2015). Perception-based 3D tactile rendering from a single image for human skin examinations by dynamic touch. Skin Research and Technology, 21(2), 164-174. |
| 9) KIM, K. (2016). Roughness based perceptual analysis towards digital skin imaging system with haptic feedback. Skin Research and Technology, 22:334-340. |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Maiti et al. | In vivo measurement of skin surface strain and sub-surface layer deformation induced by natural tissue stretching | |
| JP5334415B2 (en) | Process, system and software for measuring mechanical strain and elastic properties of samples | |
| EP1718206B1 (en) | Time-dependent three-dimensional musculo-skeletal modeling based on dynamic surface measurements | |
| Rodríguez-Quiñonez et al. | Optical monitoring of scoliosis by 3D medical laser scanner | |
| US10492691B2 (en) | Systems and methods for tissue stiffness measurements | |
| JP2000126182A (en) | Tumor diagnosing method | |
| Kim | Image-based haptic roughness estimation and rendering for haptic palpation from in vivo skin image | |
| Askaruly et al. | Quantitative evaluation of skin surface roughness using optical coherence tomography in vivo | |
| Won et al. | Tactile sensing systems for tumor characterization: A review | |
| Sarvazyan et al. | Mechanical imaging-a technology for 3-d visualization and characterization of soft tissue abnormalities: A review | |
| KR101791927B1 (en) | Method and apparatus for estimating roughness of skin surface for haptic feedback apparatus based on perceptual analysis | |
| Huang et al. | A new adaptive interpolation algorithm for 3D ultrasound imaging with speckle reduction and edge preservation | |
| Lee et al. | 3D skin surface reconstruction from a single image by merging global curvature and local texture using the guided filtering for 3D haptic palpation | |
| Li et al. | Wrist and finger motion recognition via M-mode ultrasound signal: A feasibility study | |
| CN114299015A (en) | Method and device for determining scoliosis angle | |
| JP2020130596A (en) | Ultrasonic diagnostic apparatus, ultrasonic diagnostic program, and ultrasonic echo image analysis method | |
| KR101959880B1 (en) | Apparatus for haptic roughness estimation from in-vivo skin and method thereof | |
| Kim | Haptic augmented skin surface generation toward telepalpation from a mobile skin image | |
| KR101959882B1 (en) | Device and method for generating habitic augmented skin for telehabitic palpation | |
| d’Aulignac et al. | Towards a realistic echographic simulator | |
| Moon et al. | A new technique for three-dimensional measurements of skin surface contours: evaluation of skin surface contours according to the ageing process using a stereo image optical topometer | |
| Hani et al. | High order polynomial surface fitting for measuring roughness of psoriasis lesion | |
| Park et al. | Quantitative evaluation of severity in psoriatic lesions using three‐dimensional morphometry | |
| Karlita et al. | Design and Development of a Mechanical Linear Scanning Device for the Three-Dimensional Ultrasound Imaging System. | |
| JP7043363B2 (en) | Ultrasound diagnostic system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |