KR101959882B1

KR101959882B1 - 원격 촉진을 위한 햅틱 증강 피부 생성 장치 및 방법

Info

Publication number: KR101959882B1
Application number: KR1020170152168A
Authority: KR
Inventors: 김광택
Original assignee: 인천대학교 산학협력단
Priority date: 2017-11-15
Filing date: 2017-11-15
Publication date: 2019-03-19

Abstract

본 발명은 원격 촉진을 위한 햅틱 증강 피부 생성 장치 및 방법에 관한 것으로, 특히, 촉각 마스크 생성, 거침도 적응 촉각 지도 작성, 정확한 햅틱 증강 표면 재구성, 시각 및 햅틱 렌더링을 포함한 원격 촉진을 위한 햅틱 증강 피부 생성 장치 및 방법에 관한 것이다.
또한, 본 발명에 따르면, 현미경 카메라에서 촬영한 2차원 피부 표면 영상을 입력받아 촉각 마스크를 생성하는 촉각 마스크 생성부; 상기 2차원 피부 표면 영상의 각각의 픽셀에 대하여 상기 촉각 마스크 생성부에서 생성된 촉각 마스크를 참조하여 강도 레벨을 깊이 데이터로 변환하여 촉각 지도를 작성하는 촉각 지도 작성부; 상기 촉각 지도 작성부에서 작성된 촉각 지도를 메시로 연결하여 메시 모양촉각 지도를 형성하여 상기 2차원 피부 표면 영상과 결합하여 햅틱 증강 피부 표면 영상을 생성하는 햅틱 증강면 재구성부; 상기 햅틱 증강 피부 표면 영상에 기반하여 시각적 3차원 피부 표면을 생성하기 위한 시각 렌더링부; 및 상기 햅틱 증강 피부 표면 영상에 기반하여 촉각적 3차원 피부 표면을 생성하는 햅틱 렌더링부를 포함하는 원격 촉진을 위한 햅틱 증강 피부 생성 장치 및 방법을 제공한다.

Description

원격 촉진을 위한 햅틱 증강 피부 생성 장치 및 방법{DEVICE AND METHOD FOR GENERATING HABITIC AUGMENTED SKIN FOR TELEHABITIC PALPATION}

본 발명은 원격 촉진을 위한 햅틱 증강 피부 생성 장치 및 방법에 관한 것으로, 특히, 촉각 마스크 생성, 거침도 적응 촉각 지도 작성, 정확한 햅틱 증강 표면 재구성, 시각 및 햅틱 렌더링을 포함한 원격 촉진을 위한 햅틱 증강 피부 생성 장치 및 방법에 관한 것이다.

최근 광학 기술의 발전으로 환자의 원격 진단 및 치료의 가능성이 입증되었고[1-5] 일부 연구자들은 원격 의료 분야에서 광학 센서를 사용하는 것이 효과적이라고 보고했다.

초기 연구에서 필립스(Phillips) 등은 지역 시설(오프라인 심사)과 화상 회의 시스템의 원격 위치(온라인 심사)에서 피부 종양을 평가할 때 화상 회의 기술을 사용한 원격 진료의 신뢰성을 연구했다[1].

그들은 특정 피부 병변의 악성 종양 진단과 생검 관련 권장 사항이 원격 진료 기술의 영향을 크게 받지 않는다는 사실을 입증했다.

또 다른 흥미로운 연구로 로아(Roa) 등은 JPEG 알고리즘을 사용하여 다양한 환자에게서 얻은 피부 영상으로부터 허용 가능한 정보 손실을 조사했다.

그리고, 데이터 압축률에 따라 의사의 진단 성공률이 어떻게 달라지는지 실험을 통해 확인했다.

실험 결과 피부 이미지를 최대 50 %까지 압축한 경우에도 진단 성공률이 약 90 %로 나타났다. 결과는 심지어 압축된 피부 이미지 데이터를 사용하여 원격 진료의 효과를 입증했다.

원격진료는 불필요한 환자 이송을 피하기 위해 필수적이다. 셰이(Hsieh) 등은 절단된 손가락을 가진 환자에게 즉시 수술의 필요성을 판단할 때 휴대 전화 카메라를 사용하고 임상 이미지 데이터를 전송하여 원격 진료가 효과적인지 여부를 연구했다 [8].

이 연구는 또한 휴대 전화 카메라를 사용하여 수행된 원격 협의가 이 경우에 효과적이었음을 보여주었다. 가장 최근에, 크뢰머(Kroemer) 등은 피부 종양의 이동성 스크리닝을 위한 임상 및 피부 경시 영상 평가의 진단 정확도를 평가했으며, 임상 이미지의 원격 평가는 원격 대장 내시경 검사보다 우수하여 16건 대 22건의 불협화음 사례를 나타냈다.

또한 휴대 전화 카메라를 사용하여 얻은 사람 피부의 저해상도 이미지조차도 피부과 의사가 모바일 네트워크를 통해 피부 질환을 정확하게 진단하는 데 충분하다는 것이 입증되었다[8-9].

휴대 전화 카메라를 사용하는 피부 이미지 수집의 장점은 모든 휴대 전화 사용자가 모든 피부 문제의 사진을 찍을 수 있으며 사용자 위치에 상관없이 진단을 위해 즉시 의사에게 보낼 수 있다는 것이다.

그럼에도 불구하고 일부 연구자들은 피부 질환 환자를 검사할 때 촉진의 중요성을 보여 주었지만 기존의 원격 피부 영상 시스템에 촉진 기술을 통합하는 방법에 대해서는 알려진 바가 거의 없다[11-12].

일반적으로, 휴대 전화 카메라에 의해 캡쳐된 저해상도 피부 이미지는 원격 촉진(예컨대, 거칠기, 건조, 강성, 온도 등)을 위한 저품질의 촉감 정보를 제공한다.

피부의 시각적 특성과 함께 정확한 촉각 정보를 제공하면 피부 질환이나 노화가 인간 피부의 촉각적 특성을 변화시킬 수 있기 때문에 의사나 전문가가 진단하는 데 도움이 된다.

그러나 원격 피부 질병 진료 또는 피부 관리에 대한 원격 상담을 위해 휴대 전화 영상을 사용하여 원격 햅틱 촉진에 관한 연구는 아직 보고된 바 없다.

공개번호 10-2002-0028494호 공개번호 10-2014-0078459호 등록번호 10-0513156호 공개번호 10-2001-0110838호 공개번호 10-2006-0034557호 공개번호 10-2001-0067927호 공개번호 10-2010-0030919호 등록번호 10-1738035호

[1] Phiplips, C.M., Burke, W.A., Allen, M.H., Stone, D. and Wilson, J.L., Reliability of telemedicine in evaluating skin tumors. Telemedicine Journal 1998, 4(1), pp.5-9. [2] Aspres, N., Egerton, I. B., Lim, A. C., & Shumack, S. P., Imaging the skin, Australasian Journal of Dermatology 2003, 44(1), 19-27. [3] Jones, B. F., & Plassmann, P., Digital infrared thermal imaging of human skin. IEEE Engineering in Medicine and Biology Magazine 2002, 21(6), 41-48. [4] Mogensen, M., Thrane, L., Jørgensen, T. M., Andersen, P. E., & Jemec, G. B. E., Optical coherence tomography for imaging of skin and skin diseases., Frontline Medical Communications 2009, 28(3), 196-202. [5] Friedman, P. M., Skover, G. R., Payonk, G., Kauvar, A. N., & Geronemus, R. G.,. 3D in.vivo optical skin imaging for topographical quantitative assessment of non.ablative laser technology. Dermatologic surgery 2002, 28(3), 199-204. [6] Boyce, Z., Gilmore, S., Xu, C., & Soyer, H. P., The remote assessment of melanocytic skin lesions: a viable alternative to face-to-face consultation. Dermatology 2011, 223(3), 244-250. [7] Roa, L., Goez-Cıa, T., Acha, B., & Serrano, C., Digital imaging in remote diagnosis of burns.Burns 1999, 25(7), 617-623. [8] Hsieh, C. H., Jeng, S. F., Chen, C. Y., Yin, J. W., Yang, J. C. S., Tsai, H. H., & Yeh, M. C., Teleconsultation with mobile camera-phone in remote evaluation of replantation potential. Journal of Trauma and Acute Care Surgery 2005, 58(6), 1208-1212. [9] Kroemer, S., Fruauf, J., Campbell, T. M., Massone, C., Schwantzer, G., Soyer, H. P., & Hofmann.Wellenhof, R. Mobile teledermatology for skin tumour screening: diagnostic accuracy of clinical and dermoscopic image tele.evaluation using cellular phones. British Journal of Dermatology 2011, 164(5), 973-979. [10] Rho, H. S., Shur, K. B., Lee, J. H., Park, J. K., Jung, H. K., & Kwak, S. T., Telemedicine in Dermatology. Korean Journal of Dermatology 2000, 38(11), 1468-1474. [11] Cox, N. H., A literally blinded trial of palpation in dermatologic diagnosis, Journal of the American Academy of Dermatology 2007, 56(6), 949-951 [12] Punj, P., Devitt, P. G., Coventry, B. J., & Whitfield, R. J., Palpation as a useful diagnostic tool for skin lesions. Journal of Plastic, Reconstructive & Aesthetic Surgery 2014, 67(6), 804-807. [13] Lee, O., Lee, K., Oh, C., Kim, K., & Kim, M., Prototype tactile feedback system for examination by skin touch, Skin Research and Technology 2014, 20(3), 307-314. [14] Kim, K., & Lee, S., Perception.based 3D tactile rendering from a single image for human skin examinations by dynamic touch. Skin Research and Technology 2015, 21(2), 164-174. [15] Kim, K., Roughness based perceptual analysis towards digital skin imaging system with haptic feedback, Skin Research and Technology 2015, 22(3), 334-340. [16] Lou, M. S., Chen, J. C., & Li, C. M., Surface roughness prediction technique for CNC endmilling. Journal of Industrial Technology 1998, 15(1), 1-6.

본 발명은 상기와 같은 필요를 만족시키기 위하여 안출된 것으로, 촉각 마스크 생성, 거침도 적응 촉각 지도 작성, 정확한 햅틱 증강 표면 재구성, 시각 및 햅틱 렌더링을 포함한 원격 촉진을 위한 햅틱 증강 피부 생성 장치 및 방법을 제공하는데 있다.

본 발명의 장치는 현미경 카메라에서 촬영한 2차원 피부 표면 영상을 입력받아 촉각 마스크를 생성하는 촉각 마스크 생성부; 상기 2차원 피부 표면 영상의 각각의 픽셀에 대하여 상기 촉각 마스크 생성부에서 생성된 촉각 마스크를 참조하여 강도 레벨을 깊이 데이터로 변환하여 촉각 지도를 작성하는 촉각 지도 작성부; 상기 촉각 지도 작성부에서 작성된 촉각 지도를 메시로 연결하여 메시 모양촉각 지도를 형성하여 상기 2차원 피부 표면 영상과 결합하여 햅틱 증강 피부 표면 영상을 생성하는 햅틱 증강면 재구성부; 상기 햅틱 증강 피부 표면 영상에 기반하여 시각적 3차원 피부 표면을 생성하기 위한 시각 렌더링부; 및 상기 햅틱 증강 피부 표면 영상에 기반하여 촉각적 3차원 피부 표면을 생성하는 햅틱 렌더링부를 포함한다.

또한, 본 발명의 장치의 상기 햅틱 렌더링부는 햅틱 프로브의 위치 정보에 응답하여 저항력을 계산하며, 사용자의 조작에 따라 상기 햅틱 프로브의 위치를 가변하여 위치 정보를 상기 햅틱 렌더링부로 전송하고, 상기 저항력을 수신하여 상기 사용자에게 촉각 자극을 제공하는 햅틱 장치; 및 상기 시각적 3차원 피부 표면을 표시하기 위한 위한 디스플레이를 더 포함한다.

또한, 본 발명의 장치의 상기 햅틱 렌더링부는 사용자가 잡고 있는 햅틱 프로브의 저항력인 힘 벡터 F를 다음 수학식 6에 의해 계산한다.

또한, 본 발명의 장치의 상기 촉각 마스크 생성부는 현미경 카메라로 촬영한 2차원 피부 표면 영상을 입력받아 관심 영역을 선정하고, 선정된 관심 영역을 그레이 스케일 영상으로 변환하며, 그라디언트 기반의 영상 강화를 수행하여 강화 영상을 생성한 후에, 음영 영역을 검출하여 촉각 마스크를 생성한다.

또한, 본 발명의 장치의 상기 촉각 마스크 생성부는 그라디언트 기반의 영상 강화에 의해 형성된 강화 영상의 강도 레벨 I_e(x, y)을 아래 수학식 1과 같이 2차 미분을 기반으로 형성한다.

또한, 본 발명의 장치의 상기 촉각 마스크 생성부는 이진화를 한 후에, 세선화를 반복적으로 수행하여 음영 영역을 검출한다.

또한, 본 발명의 장치의 상기 촉각 마스크 생성부는 강화 영상의 강도 레벨 I_e(x,y)을 취하여 아래 수학식 2를 사용하여 음영 영역을 검출한다.

또한, 본 발명의 장치의 상기 촉각 지도 작성부는 상기 2차원 피부 표면 영상의 각각의 픽셀에 대하여 상기 촉각 마스크 생성부에서 생성한 촉각 마스크의 음영 영역에 해당하는지 여부를 판단하여 음영 영역에 해당하면 가중치를 부여하여 강도 레벨을 깊이 데이터로 변환하여 3차원 피부 표면 포인트들을 형성하고, 음영 영역에 해당하지 않으면 가중치를 부여하지 않고 강도 레벨을 깊이 데이터로 변환하여 3차원 피부 표면 포인트들을 형성하여 촉각 지도를 작성한다.

한편, 본 발명의 방법은 (A) 촉각 마스크 생성부가 현미경 카메라에서 촬영한 2차원 피부 표면 영상을 입력받아 촉각 마스크를 생성하는 단계; (B) 촉각 지도 작성부가 상기 2차원 피부 표면 영상의 각각의 픽셀에 대하여 상기 촉각 마스크 생성부에서 생성된 촉각 마스크를 참조하여 강도 레벨을 깊이 데이터로 변환하여 촉각 지도를 작성하는 단계; (C) 햅틱 증강면 재구성부가 상기 촉각 지도 작성부에서 작성된 촉각 지도를 메시로 연결하여 메시 모양촉각 지도를 형성하여 상기 2차원 피부 표면 영상과 결합하여 햅틱 증강 피부 표면 영상을 생성하는 단계; (D) 시각 렌더링부가 상기 햅틱 증강 피부 표면 영상에 기반하여 시각적 3차원 피부 표면을 생성하는 단계; 및 (E) 햅틱 렌더링부가 상기 햅틱 증강 피부 표면 영상에 기반하여 촉각적 3차원 피부 표면을 생성하는 단계를 포함한다.

또한, 본 발명의 방법은 (F) 디스플레이가 상기 시각적 3차원 피부 표면을 표시하는 단계; (G) 햅틱 장치가 사용자의 조작에 따라 햅틱 프로브의 위치를 가변하여 위치 정보를 상기 햅틱 렌더링부로 전송하는 단계; (H) 상기 햅틱 렌더링부가 햅틱 프로브의 위치 정보에 응답하여 저항력을 계산하는 단계; 및 (I) 상기 햅틱 장치가 상기 저항력을 수신하여 상기 사용자에게 촉각 자극을 제공하는 단계를 포함한다.

또한, 본 발명의 방법의 상기 (A) 단계는 (A-1) 상기 촉각 마스크 생성부가 현미경 카메라로 촬영한 2차원 피부 표면 영상을 입력받아 관심 영역을 선정하는 단계; (A-2) 상기 촉각 마스크 생성부가 선정된 관심 영역을 그레이 스케일 영상으로 변환하는 단계; (A-3) 상기 촉각 마스크 생성부가 그라디언트 기반의 영상 강화를 수행하여 강화 영상을 생성하는 단계; 및 (A-4) 상기 촉각 마스크 생성부가 음영 영역을 검출하여 촉각 마스크를 생성하는 단계를 포함한다.

또한, 본 발명의 방법의 상기 (A-3) 단계는 상기 촉각 마스크 생성부가 그라디언트 기반의 영상 강화에 의해 형성된 강화 영상의 강도 레벨 I_e(x, y)을 아래 수학식 1과 같이 2차 미분을 기반으로 형성한다.

또한, 본 발명의 방법의 상기 (A-4) 단계는 상기 촉각 마스크 생성부가 이진화를 한 후에, 세선화를 반복적으로 수행하여 음영 영역을 검출한다.

또한, 본 발명의 방법의 상기 (A-4) 단계는 상기 촉각 마스크 생성부가 강화 영상의 강도 레벨 I_e(x,y)을 취하여 아래 수학식 2를 사용하여 음영 영역을 검출한다.

또한, 본 발명의 방법의 상기 (B) 단계는 (B-1) 상기 촉각 지도 작성부는 2차원 피부 표면 영상에 대한 강화 영상의 픽셀의 강도 레벨이 촉각 마스크의 음영 영역에 속하는지를 확인하는 단계; (B-2) 상기 촉각 지도 작성부는 확인 결과, 촉각 마스크의 음영 영역에 속하면 강화 영상의 픽셀에 대하여 인접 픽셀들의 강도 레벨을 사용하여 가중치를 계산하는 단계; (B-3) 상기 촉각 지도 작성부는 음영 영역에 속하는 강화 영상의 픽셀에 가중치를 적용하여 깊이 데이터를 계산하는 단계; (B-4) 상기 촉각 지도 작성부는 음영 영역에 속하지 않은 강화 영상의 픽셀의 강도 레벨을 깊이 데이터로 변환하는 단계; 및 (B-5) 상기 촉각 지도 작성부는 깊이 데이터를 이용하여 촉각 지도를 작성하는 단계를 포함한다.

상기와 같은 본 발명은 4 가지의 피부 영상으로 실험하였고 실험 결과는 실제 피부 영상의 햅틱 기능 향상의 관점에서 제안된 기법의 우수성을 보여 주었다.

또한, 본 발명은 햅틱 렌더링 시스템이 병원이나 피부과 전문의 또는 전문의의 사무실에 설치될 수 있다는 가능성을 보여주었다.

또한, 본 발명은 피부 질환에 대한 원격 상담이나 검사가 필요한 먼 곳의 환자에게 매우 유용하다.

이와 같은 본 발명은 촉감 마스크가 있는 3D 거침도 재구성 성능과 촉각 마스크가 없는 3D 거침도 재구성 성능을 평가하기 위한 평가 실험이 수행되었다.

결과는 촉각 마스크를 사용하여 재구성된 촉각 거침도가 촉각 마스크가 없이 재구성된 촉각 거침도보다 우수함을 확인시켜 준다.

추가 실험은 제안된 알고리즘이 휴대 전화 카메라로 피부 사진을 찍는 동안 일반적으로 발생할 수 있는 다양한 조명 조건과 흐려짐에 대해 견고함을 입증한다.

마지막으로, 제안된 햅틱 거침도 방법이 피부과 의사 또는 전문가에게 촉각 신호를 제공하기 때문에 햅틱 양식이 기존의 시각 전용 인터페이스에 미치는 영향을 확인하기 위해 사용자 연구가 설계되었다.

결과는 햅틱 피부 촉진이 피부 검사 성능을 크게 향상시킬 수 있음을 보여준다.

도 1은 본 발명의 일 실시예에 따른 원격 촉진을 위한 증강 피부 생성 장치의 구성을 나타낸다.
도 2는 휴대 전화에 부착된 현미경 카메라에서 촬영된 2차원 피부 표면 영상에서 촉각 마스크 생성 과정을 보여주기 위한 도면이다.
도 3은 촉각 지도를 구축하기 위한 가중치를 추정하기 위해 인접 픽셀을 통해 3x3 윈도우에서 P의 음영 변화를 측정하는 과정을 보여주는 도면이다.
도 4에서 (a)는 휴대 전화에 부착된 현미경 카메라로 촬영한 2차원 피부 표면 영상이며, (b)는 강화 영상이고, (c)는 촉각 마스크이며, (d)는 촉각 지도를 나타낸다.
도 5는 휴대 전화에 부착된 현미경 카메라로부터 획득한 2차원 피부 표면 영상에 촉각 지도 작성부에서 형성한 촉각 지도를 메시로 연결한 메시 촉각 지도를 반영하여 햅틱 증강 피부 표면 영상을 생성하는 과정을 보여준다.
도 6은 촉각 지도(왼쪽)로부터 메시 모양의 촉각 지도(중간)를 형성하고 이어서 햅틱 증강 피부 표면(오른쪽)을 생성하는 예를 도시한다.
도 7은 햅틱 증강 피부 표면을 갖는 햅틱 힘 계산 모델을 나타내는 도면이다.
도 8은 왼쪽에 원격 촉진 피부 렌더링 시스템을 보여주는 도면이고, 오른쪽은 저가형 휴대폰 현미경 카메라를 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 따른 원격 촉진을 위한 증강 피부 생성 방법의 흐름도이다.
도 10은 실험을 위한 시험 영상을 나타낸다.
도 11은 각각 왼쪽에서부터 입력 영상, 촉각 마스크, 촉각 지도 및 햅틱 증강 피부 표면을 나타내는 도면이다.
도 12는 촉각 마스크가 있는/갖지 않은 상태로 재구성된 3D 햅틱 증강 피부 표면의 비교를 도시한다.
도 13은 검증을 위한 거칠기 측정을 나타내며, (a)는 3D 햅틱 거칠기 및 (b)는 2D 이미지 거칠기 측정을 나타내고 값이 높을수록 표면이 거칠음을 나타낸다.
도 14는 추가 실험을 위해 사용된 2 세트의 테스트 이미지를 도시한다.
도 15는 다양한 조명 및 모션 블러링 조건에 대한 측정된 거칠기를 보여준다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 설명하기 위하여 이하에서는 본 발명의 바람직한 실시예를 예시하고 이를 참조하여 살펴본다.

먼저, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 원격 촉진을 위한 증강 피부 생성 장치의 구성을 나타낸다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 원격 촉진을 위한 증강 피부 생성 장치는 현미경 카메라(100), 촉각 마스크 생성부(110), 촉각 지도 작성부(120), 햅틱 증강면 재구성부(130), 시각 렌더링부(140), 햅틱 렌더링부(150), 디스플레이(160) 및 햅틱 장치(170)을 포함한다.

상기 현미경 카메라(100)는 2차원 피부 표면 영상을 취득하여 촉각 마스크 생성부(100)로 제공한다.

이와 같은 현미경 카메라(100)는 단일 현미경 카메라이지만, 이에 한정되지 않고, 상기 현미경 카메라(100)는 2대의 현미경 카메라 또는 스테레오 현미경 카메라를 포함할 수 있다.

상기 촉각 마스크 생성부(100)는 현미경 카메라로부터 촬영된 2차원 피부 표면 영상을 입력받아 촉각 마스크를 생성한다.

효과적인 햅틱 촉진은 피부의 정확한 3차원 촉각 표면을 통해 이루어질 수 있다.

따라서 2차원 피부 표면 영상에서 정확한 3차원 피부 표면을 재구성하는 것은 사용자가 휴대 전화에서 전달되는 재구성된 피부를 실제 피부와 같이 느낄 수 있도록 하는데 아주 중요한 요구 사항이다.

일반적으로 음영 영역이 깊이 정보를 나타내기 때문에 영상의 음영을 이용하는 것이다.

그러나, 깊이 정보는 조명 변화에 의해 쉽게 영향을 받는다. 예를 들어, 피부의 동일한 지점에 대하여 조명을 변화시키면 동일한 음영 영역의 강도 레벨이 상이하게 변할 수 있으며, 이에 따라 상이한 촉각 지도를 유발할 수 있다.

본 발명에서는 이 문제를 극복하기 위해, 깊은 영역(예 : 주름)을 선택적으로 통과시키는 공간 필터로서 기능하는 촉각 마스크를 생성하여 2차원 피부 표면 영상을 변환하여 3차원 피부 표면 영상을 형성한다.

상기 촉각 마스크는 촉각 마스크 생성부(100)가 휴대 전화에 부착된 현미경 카메라(100)로 촬영한 2차원 피부 표면 영상을 입력받아 관심 영역을 선정하여 선정된 관심 영역을 그레이 스케일 영상으로 변환하고, 그라디언트 기반의 영상 강화를 수행하여 강화 영상을 생성한 후에, 음영 영역을 검출하여 생성한다.

이때, 촉각 마스크 생성부(100)는 이진화를 한 후에, 세선화를 반복적으로 수행하여 음영 영역을 검출한다.

상기 그라디언트 기반의 영상 강화에 의해 형성된 강화 영상의 강도 레벨 I_e(x, y)는 아래 수학식 1과 같이 2차 미분을 기반으로 형성된다.

(수학식 1)

여기서, I(x, y)는 2차원 피부 표면 영상의 강도 레벨이고, I_g(x, y)는 변환된 그레이 스케일 영상의 강도 레벨이며, (x, y)는 픽셀 좌표를 나타내며, C는 증가함에 따라 영상 텍스쳐(texture)를 더 날카롭게 되도록 만드는 제어 파라미터이다. 본 발명에서 C 값의 적절한 범위는 0.6에서 0.9 사이이다.

촉각 마스크 생성부(100)는 강화 영상의 강도 레벨 I_e(x,y)을 취하여 아래 수학식 2를 사용하여 음영 영역을 검출한다.

(수학식 2)

여기서 B (ㆍ)는 사전 정의된 임계값을 갖는 이진화 함수이다. 검출된 음영 영역의 강도 레벨 I_s(x, y)는 van Vliet와 Verwer16에 의해 제안된 형태학적 처리와 반복적인 세선화를 거쳐 원래 토폴로지를 유지하면서 두께면에서 제어 가능한 촉감 마스크가 된다.

도 2는 휴대 전화에 부착된 현미경 카메라에서 촬영된 2차원 피부 표면 영상에서 촉각 마스크 생성 과정을 보여주기 위한 도면으로, (a)는 휴대 전화에 부착된 현미경 카메라에서 촬영한 2차원 피부 표면 영상이고, (b)는 관심 영역(ROI : region-of-interest) 영상이고, (c)는 그레이 스케일 영상이며, (d)는 그라디언트 기반 강화 영상이며, (e)는 이진화한 후에 한 번의 세선화를 수행하여 음영 영역을 검출하여 생성한 촉각 마스크이고 및 (f)는 세선화를 3번 반복하여 음영 영역을 검출하여 생성한 촉각 마스크를 나타낸다.

다음으로, 촉각 지도 작성부(120)는 2차원 피부 표면 영상의 각각의 픽셀에 대하여 음영 영역에 해당하는지 여부를 판단하여 음영 영역에 해당하면 가중치를 부여하여 강도 레벨을 깊이 데이터로 변환하여 3차원 깊이 정보(d)를 생성함으로써 3차원 피부 표면 포인트들(x, y, d)을 형성하고, 음영 영역에 해당하지 않으면 가중치를 부여하지 않고 강도 레벨을 깊이 데이터로 변환하여 3차원 깊이 정보(d)를 생성함으로써 3차원 피부 표면 포인트들(x, y, d)을 형성하여 촉각 지도를 작성함으로써 3차원 피부 표면을 생성한다.

휴대 전화에 부착된 현미경 카메라(100)로부터 촬영한 2차원 피부 표면 영상을 3차원 피부 표면으로 변환하는 것은 3D 공간에서 피부 질감(texture)을 재구성하는 계산 프로세스이다.

일반적인 방법은 픽셀 강도를 모든 픽셀에서 높이(또는 깊이) 값으로 변환하는 것이다.

이 과정을 높이(또는 깊이) 지도 구축이라고 한다. 또는 촉각 지도 작성이라고 한다. 그러나 이 경우 상승된 토폴로지는 조명에 불변이 아니다. 예를 들어, 영상이 밝아지면 재구성된 토폴로지에서 더 얕은 깊이가 되거나 잘못된 표면이 종종 반사에 의해 만들어진다.

이러한 문제를 해결하기 위하여 본 발명은 3차원 촉각 지도를 구축하기 위해 이전 부분에서 설명한 촉각 마스크와 국소 거침도 변화에 적응하는 가중치를 이용하는 것이다. 가중치는 밝기에 영향을 받은 깊이(거침도)를 제어하는 데 사용할 수 있다.

유사하게, 촉각 마스크는 음영 영역의 픽셀들에 가중치를 부여한 높이 지도(height map)의 구축 과정을 거치게 하여 반사율 오차를 제거한다.

상기 촉각 지도 작성부(120)에서 수행하는 촉각 지도 작성 과정은 다음과 같다.

(1) 2차원 피부 표면 영상에 대한 강화 영상의 픽셀(x,y)의 강도 레벨(I_e(x, y))이 촉각 마스크의 '1'에 속하는지를 확인하여 속하는 경우에는 (2)로 이동하고, 그렇지 않으면 (4)로 이동한다. 여기에서, 촉각 마스크의 '1'에 해당하는 것은 음영 영역에 해당하는 것을 의미한다.

(2) 도 3에서와 같이 촉각 마스크의 '1에 속하는 강화 영상의 픽셀 P에 대하여 수학식 3을 사용하여 둘레의 이웃하는 픽셀들의 강도 레벨(intensity level)을 사용하여 가중치 (w)를 계산한다.

도 3은 국부 윈도우 내에서의 가중치 측정 과정을 보여주기 위한 도면으로, 3x3 윈도우에서 P의 가중치가 인접한 픽셀(P1 내지 P8)을 통해 추정하는 과정을 보여주는 도면이다.

(수학식 3)

여기에서, P_i는 3*3 윈도우에서 둘레의 이웃하는 픽셀들을 나타내며, i=1,2,3,...,n이며, n은 8이다. 그리고, I_e(P)는 픽셀 P에서의 강도 레벨을 나타내며, I_e(P_i)는 픽셀 P_i에서의 강도 레벨을 나타낸다.

(3) 다음 수학식 4를 이용하여 촉각 마스크의 '1'에 속하는 강화 영상의 픽셀 P에서 깊이 값 d(P)을 계산한다.

(수학식 4)

(4) 다음 수학식 5를 이용하여 강화 영상의 픽셀(x, y)에서 깊이 값 d(x, y)을 계산한다.

(수학식 5)

(5) (x, y, d(=z))가 포함된 촉각 지도(3차원 피부 표면 포인트 클라우드)를 형성하고 업데이트한다.

(6) 모든 픽셀을 경유하여 상기 (1) ~ (5)를 반복한다.

이러한 단계를 수행하면 도 4에서와 같이 정확한 촉각 지도(3차원 피부 표면 포인트 클라우드)를 2차원 피부 표면 영상으로부터 만들 수 있다.

도 4에서 (a)는 휴대 전화에 부착된 현미경 카메라로 촬영한 2차원 피부 표면 영상이며, (b)는 강화 영상이고, (c)는 촉각 마스크이며, (d)는 촉각 지도를 나타낸다.

한편, 햅틱 증강면 재구성부(130)는 도 5에 도시된 바와 같이 휴대 전화에 부착된 현미경 카메라(100)로부터 획득한 2차원 피부 표면 영상에 촉각 지도 작성부(120)에서 형성한 촉각 지도를 메시로 연결한 메시 모양 촉각 지도를 반영하여 햅틱 증강 피부 표면 영상을 생성한다.

상기 촉각 지도 작성부(120)에서 생성한 촉각 지도의 포인트 클라우드를 메시로 연결하려면 삼각 측량이 필요하다.

이 경우에, 각 픽셀의 깊이 값(x, y, z(=d))은 입력 영상의 픽셀 좌표 (x, y)에 기초하여 형성되므로 촉각 지도 구축 중에 모든 포인트가 인덱스에 의해 잘 정렬되기 때문에 삼각 측량은 매우 간단하다 .

가장 가까운 세 개의 인덱스는 모두 삼각형 분할되고 연결되도록 그룹화된다.

삼각 측량 후 표면 법선 벡터는 일반적으로 알려진 각 삼각형의 두 모서리의 벡터 교차 곱을 취하여 계산된다.

도 6은 촉각 지도(왼쪽)로부터 메시 모양의 촉각 지도(중간)를 형성하고 이어서 햅틱 증강 피부 표면(오른쪽)을 생성하는 예를 도시한다.

다음으로, 시각 렌더링부(140)는 햅틱 증강 피부 표면을 기반하여 시각적 2차원 피부 표면을 생성한다.

상기 디스플레이(160)는 상기 시각적 2차원 피부 표면을 표시한다.

그리고, 햅틱 렌더링부(150)는 햅틱 증강 피부 표면을 기반하여 촉각적 3차원 피부 표면을 생성하고, 햅틱 프로브의 위치 정보에 응답하여 저항력을 계산한다.

상기 햅틱 장치(170)는 사용자의 조작에 따라 상기 햅틱 프로브의 위치를 가변하여 위치 정보를 상기 햅틱 렌더링부(150)로 전송하고, 상기 저항력을 수신하여 상기 사용자에게 촉각 자극을 제공한다.

이와 같은 구성에서 상기 햅틱 렌더링부(150)의 실질적인 햅틱 렌더링은 햅틱 장치(170)로 햅틱 증강된 피부 표면상의 사용자의 접촉에 응답하여 정확한 저항력이 실시간으로 계산될 때 달성될 수 있다.

본 발명에서 채택된 힘 계산 모델은 도 7에 묘사되어 있다. 사용자가 잡고 있는 햅틱 프로브의 저항력인 힘 벡터 F는 다음 수학식 6에 의해 계산된다.

(수학식 6)

여기서 F는 저항력, P는 표면 접촉점과 가상 프록시 사이의 침투 깊이, k는 피부 강성도, F_fr은 피부 표면 마찰 계수 C_fr 및 접선 방향의 힘 F_t로부터 계산된 피부 마찰력으로 정의된다.

본 발명에서는 햅틱 장치에서 제공되는 최대 강성의 50 %로 피부 강성을 설정하고, 피부 마찰 계수는 0.6으로 고정시켰다.

도 8은 휴대 전화 현미경 기반의 피부 영상을 갖는 원격 촉진 피부 표면 렌더링 시스템이다.

상기 원격 촉진 피부 표면 렌더링 시스템은 휴대 전화에 부착된 현미경 카메라, 햅틱 장치, 햅틱 및 시각 채널을 통해 변환된 3D 햅틱 기능 확장된 피부 표면을 표시하는 시각 렌더링과 햅틱 렌더링으로 구성된다. 휴대 전화 카메라에 부착된 현미경 카메라는 배율 60 배를 제공한다.

현미경 카메라는 또한 촬영된 피부 영상이 외부 조명 변화에 영향을 받지 않도록 LED 조명을 갖추고 있다.

햅틱 렌더링을 위해 상업용 3-DOF 햅틱 장치(Geomagic Touch X, 160 (W) × 120 (H) × 120 (D) mm, 최대 7.9 N, 최대 강성 2.3 N / mm))가 사용되었다.

햅틱 및 그래픽 렌더링 알고리즘은 Visual C ++, OpenGL 및 CHAI3D 라이브러리가 있는 Windows 10 PC (인텔 쿼드 코어 i5-6500 3.2GHz, 8GB RAM, NVIDIA GeForce GT 730)에서 개발되었다.

개발된 피부 렌더링 시스템은 현실적으로 3D 피부 표면을 시각화할 뿐만 아니라 사용자가 햅틱 장치의 스타일러스를 움직일 때 휴대 전화 현미경에서 원격으로 전달되는 피부 표면을 만지는 느낌을 사용자에게 제공한다.

이 시스템을 통해 피부과 의사 또는 피부 전문가는 환자의 끝에서 휴대 전화에 부착된 저비용 현미경 카메라로 포착되어 전송된 2D 피부 영상을 실제로 만져보고 검사함으로써 거칠기를 피부 표면에 원격으로 촉진할 수 있다.

도 9는 본 발명의 바람직한 일 실시예에 따른 원격 촉진을 위한 햅틱 증강 피부 생성 방법의 흐름도이다.

도 9를 참조하면, 본 발명의 바람직한 일 실시예에 따른 원격 촉진을 위한 햅틱 증강 피부 생성 방법은 먼저 촉각 마스크 생성 단계(S100)에서 현미경 카메라(100)가 2차원 피부 표면 영상을 취득하여 촉각 마스크 생성부(100)로 제공하며, 상기 촉각 마스크 생성부(100)는 현미경 카메라로부터 촬영된 피부 이미지를 입력받아 촉각 마스크를 생성한다.

상기 촉각 마스크는 촉각 마스크 생성부(100)가 휴대 전화에 부착된 현미경 카메라(100)로 촬영한 2차원 피부 표면 영상을 입력받아 관심 영역을 선정하여 선정된 관심 영역을 그레이 스케일 영상으로 변환하고, 그라디언트 기반의 영상 강화를 수행한 후에, 음영 영역을 검출하여 생성한다.

상기 그라디언트 기반의 영상 강화에 의해 형성된 강화 영상의 강도 레벨 I_e(x, y)는 수학식 1과 같이 2차 미분을 기반으로 형성된다.

마스크 생성부(100)는 강화 영상의 강도 레벨 I_e(x,y)을 취하여 수학식 2를 사용하여 음영 영역을 검출한다.

다음으로, 촉각 지도 작성 단계(S200)에서 촉각 지도 작성부(120)는 2차원 피부 표면 영상의 각각의 픽셀에 대하여 음영 영역에 해당하는지 여부를 판단하여 음영 영역에 해당하면 가중치를 부여하여 강도 레벨을 깊이 데이터로 변환하여 3차원 깊이 정보(d)를 생성함으로써 3차원 피부 표면 포인트들(x, y, d)을 형성하고, 음영 영역에 해당하지 않으면 가중치를 부여하지 않고 강도 레벨을 깊이 데이터로 변환하여 3차원 깊이 정보(d)를 생성함으로써 3차원 피부 표면 포인트들(x, y, d)을 형성하며, 촉각 지도를 작성함으로서 3차원 피부 표면을 생성한다.

상기 촉각 지도 작성부(120)에서 수행하는 촉각 지도 작성 과정은 다음과 같이 요약될 수 있다.

(4) 다음 수학식 5를 이용하여 강화 영상의 픽셀(x, y)에서 깊이 값d(x, y)을 계산한다.

(6) 모든 픽셀을 경유하여 상기 (1) ~ (5)를 반복한다.

한편, 햅틱 증강 피부 표면 재구성 단계(S300)에서 햅틱 증강면 재구성부(130)는 휴대 전화에 부착된 현미경 카메라(100)로부터 획득한 2차원 피부 표면 영상에 촉각 지도 작성부(120)에서 형성한 촉각 지도를 메시로 연결한 메시 모양 촉각 지도를 반영하여 햅틱 증강 피부 표면 영상을 생성한다.

상기 햅틱 증강면 재구성부(130)는 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 메시 모양 촉각 지도를 형성한다.

다음으로, 시각 렌더링 단계(S400)에서 시각 렌더링부(140)는 햅틱 증강 피부 표면을 기반하여 시각적 2차원 피부 표면을 생성한다.

그리고, 햅틱 렌더링 단계(S400)에서 햅틱 렌더링부(150)는 햅틱 증강 피부 표면을 기반하여 촉각적 3차원 피부 표면을 생성하고, 햅틱 프로브의 위치 정보에 응답하여 저항력을 계산한다.

사용자가 잡고 있는 햅틱 프로브의 저항력인 힘 벡터 F는 수학식 6에 의해 계산된다.

한편, 평가 실험은 하나의 휴대 전화의 피부 영상으로부터 3D 햅틱 텍스처의 재구성을 테스트하고 시스템 성능을 평가하기 위해 도 10에 표시된 4 개의 입력 영상(3 개의 휴대 전화 현미경 피부 영상과 1 개의 일반 현미경 피부 영상)으로 수행되었다.

휴대 전화 현미경 피부 이미지는 피부 표면을 더 잘 시각화하기 위해 도 10에서 볼 수 있는 것처럼 직사각형 관심 영역(ROI: Region-Of-Interest) 이미지로 잘랐다.

제안된 피부 표면 재건의 견고성을 모바일 현미경 피부 이미지의 견고성과 비교하기 위해 정상적인 현미경 피부 이미지(네 번째 피부 이미지)를 선택했다.

실험은 촉각 피부 표면의 재구성과 재건된 표면의 피부 거칠음을 측정하여 개선된 촉감 표면 특성의 검증의 두 단계로 수행되었다.

도 11에서 첫 번째 열은 입력 영상이고, 두 번째 열은 세 번째 열의 촉각 지도 작성에 사용된 촉각 마스크이며, 세 번째 열은 촉각 지도이고, 마지막 열은 햅틱 증강 피부 표면 영상이다.

촉각 지도와 입력된 피부 이미지를 결합하여 피부 표면을 보강했다. 3D 촉각 지도와 햅틱 증강된 영상은 OpenGL 공간에서 렌더링되었다.

이 작업에서 촉각 마스크는 정밀한 3D 피부 표면을 재구성하는 데 중요한 역할을 한다. 촉각 마스크는 증강된 피부 표면을 구축하면서 피부 촉감을 향상시키기 때문이다.

도 12는 촉각 마스크가 있는/갖지 않은 상태로 재구성된 3D 햅틱 증강 피부 표면의 비교를 도시한다.

도면의 제 1 열은 평면 피부 표면 (즉, 3 차원 촉각 텍스쳐)을 나타내고, 제 2열은 촉각 마스크를 사용하여 재구성된 햅틱 증강 피부 표면을 나타내며 및 3열은 촉각 마스크 없이 각각 재구성된 햅틱 증강 피부 표면을 나타낸다. 세 줄의 각 이미지의 차이가 가장자리에서 분명하게 보인다.

도 12의 결과 이미지를 정량적으로 비교하기 위해 재건된 피부 표면의 거칠기를 기존 방법을 사용하여 측정하였다.

상기 방법은 주사선(예를 들어, 1D 수평 또는 수직축)에 대한 표면 변화를 측정한다. 결과 영상의 정량적 분석에서 기존의 방법으로 입력된 피부 영상의 픽셀 강도 값에서의 (1) 2D 거칠기 변화, (2) 3D 피부 표면의 햅틱 거칠기, (3) 촉각 마스크로 재구성된 3D 피부 표면의 촉각 거칠기이다.

조건 (2) 및 (3)에 대해, 촉각 거칠기는 사용자가 촉각 디바이스를 통해 재구성된 피부 표면을 스트로크했을 때의 도 8의 스타일러스의 평균 변화를 나타낸다.

두 개의 다른 3D 표면에서 동일한 표면을 탐험하기 위해 햅틱 스타일러스가 햅틱 거칠기를 측정하기 위해 한 방향(수평 축)을 따라 움직일 수 있도록 햅틱 렌더링 알고리즘에 PID (proportional integral derivative) 컨트롤러가 구현되었다.

햅틱 거칠기를 10 회 측정하고 평균을 구했다. 세 가지 조건에 대한 측정값은 표 1에 요약되어 있다.

(표 1)

2D 이미지 거칠기와 3D 햅틱 거칠기의 단위는 OpenGL에서 정의한 8 비트 이미지 공간과 3D 공간에서 각각 정규화되었다. 표1에서 촉각 마스크를 사용하여 얻은 수치 결과는 촉각 마스크 없이 얻은 결과와 비교하여 촉각 거칠기가 개선되었음을 알 수 있다.

측정된 값은 또한 정량적인 비교를 용이하게 하기 위해 도 13에 그래픽으로 제시된다. 도 13에서 명확하게 알 수 있듯이, 촉각 마스크가 있는 3D 재구성 표면의 햅틱 거칠기는 조명 및 이미지 컬러에 대해 강하지 않은 촉각 마스크 없이 재구성된 3D 표면과 비교하여 모든 입력 이미지에 대해 향상된 거칠기를 보여준다.

또한, 촉각 마스크가 있는 촉각 거칠기의 거칠기 패턴은 이미지 거칠기에 대한 패턴에 더 잘 맞는다. 공간이 다르기 때문에 이미지 거칠기와 햅틱 거칠기를 동일한 도메인에서 직접 비교할 수 없다.

추가적인 실험은 휴대 전화 카메라에서 흔히 발생하는 다양한 조명 조건 및 모션 블러링 (motion blurring)에 대한 제안 된 방법의 견고성을 확인하기 위해 수행되었다.

도 14는 추가 실험을 위해 사용된 2 세트의 테스트 이미지를 도시한다. 테스트 이미지는 도 10의 MSI1에서 생성되었다. 상단 이미지는 각 픽셀 당 30 개의 강도 값을 줄임으로써 점차적으로 증가하는 어둠 수준을 보여 주지만 하단 이미지는 모션 길이가 10 픽셀 증가한 6 가지 흐림 수준을 가진다.

이 이미지를 사용하여 세 가지 거칠기 추정 방법을 이전 실험과 동일하게 테스트하고 결과를 비교하여 효과를 확인했다.

도 15의 결과에서 명확히 알 수 있듯이 어둠과 움직임의 흐려짐이 증가하면 이미지 기반 거칠기 평가 방법(2D)의 성능에 유의한 영향을 미치지만 촉각 마스크가 있는 촉각 거칠기 평가에서는 큰 변화가 관찰되지 않았다.

이러한 결과는 논리적으로 방법론의 이론을 보고 이해할 수 있다. 이미지 기반 방법은 픽셀 값에 크게 의존하지만 햅틱 거칠기 평가 방법은 조명 및 모션 블러링에 대해 견고한 기하학(계곡 및 피크)에 의존한다.

더욱이, 햅틱 표면 재구성 알고리즘은 전처리에 의한 에지 검출 및 향상을 포함한다. 결과로부터 다른 관찰은 조명을 변화시키거나 모션 블러를 가질 때 촉각 마스크가 있는 제안된 방법이 촉각 마스크가 없는 제안보다 여전히 우월하다는 것이다.

제안된 햅틱 거칠기 방법은 피부과 전문의에게 또는 전문가가 피부 표면 이미지를 검사하기 위해 추가 촉각 신호를 제공하기 때문에 비교 사용자 연구가 기존 시각적 인터페이스에만 햅틱 양식을 추가하는 효과를 확인하기 위해 설계 및 실시되었다.

실험을 위해 도 8의 개발된 시스템이 사용되었다. 참가자 5 명(여성 2 명, 남성 3 명, 연령 범위 22-28 세, 햅틱 경험이 없고 시각 장애도 없고 시각 장애도 없음)이 실험에 참여했다. 실험에서 모든 참가자는 햅틱에 익숙해 지도록 지시받았다.

실험을 하기 전에 약 5 분간 렌더링 시스템을 사용한다. 도 10의 3 가지 피부 이미지(MSI1, 2, 3)는 단일 모달, 시각 또는 햅틱 디스플레이만 사용할 때 차별을 어렵게 하는 비슷한 거칠기 값을 가지고 있기 때문에 이 실험에서 선택되었다.

주요 실험 동안 세 가지 피부 이미지가 무작위로 추출되어 한 번에 하나씩 각 참가자에게 제공되었다. 그런 다음 참가자는 세 이미지 중 표면이 가장 거칠고 가장 거친 표면에 즉시 응답해야 했다. 바이어스되지 않은 데이터를 얻으려면 최소 20 회의 두 번의 실험이 필요하다.

바이어스되지 않은 데이터를 얻기 위해, 각 참가자의 총 40 회의 실험을 수행하는 2 가지 조건(시각적 (visual) (V) 디스플레이, 그리고 시각적 및 촉각 적 (VH) 디스플레이 모두)에 대해 최소 20 회의 시도가 실험을 위해 테스트되었다.

표 2는 실험을 통해 얻어진 3 개의 혼돈 행렬을 보여준다. 모든 참가자는 40 분 내에 각 실험을 완료했다.

V 조건의 경우 참가자는 표시된 피부 이미지를 볼 수 있었고 VH 조건의 경우 도 8에서 볼 수 있는 제공된 햅틱 장치를 통해 재구성된 햅틱 피부 표면을 추가로 터치 할 수 있었다.

표 2는 V와 VH의 두 조건에 대해 5 명의 참가자가 인지하는 대부분의 피부 표면과 최소의 피부 표면에 대한 수치 결과를 요약한 것이다. 결과로부터, MSI1 및 MSI3은 V 조건과 혼동되지만, 햅틱 인터페이스가 추가될 때(즉, VH) 차별이 상대적으로 정확해진다는 것을 알 수 있다.

유사한 패턴은 햅틱 양식에 의해 가장 거친 표면으로 완전히 확인 된 MSI2로도 나타납니다.

도 13에서 정량적으로 측정된 거칠기에 기초하여, 가장 큰 표면 및 가장 작은 표면은 각각 MSI3 및 MSI2이다. 따라서 햅틱 피부 촉지가 피부 검사 성능을 크게 향상시킬 수 있다는 결과가 입증되었다.

(표 2)

모든 실험 결과는 이 연구에서 제안된 3D 촉각 증가된 피부 표면 재구성이 촉각 마스크 없이 수행된 3D 재구성보다 우수하다는 것을 보여준다.

이것은 실제 피부 이미지에서 생성된 촉각 마스크가 수학식 1에 의해 주어진 바와 같이 국부 촉각 특성을 선택적으로 향상시키는 조도 - 적응 텍스처 패스 필터로서 작용하기 때문이다. 수학식 4를 인접하는 픽셀의 변화를 고려하여 자동으로 계산된 가중치와 비교한다.

촉각 마스크가 없다면, 피부 이미지의 픽셀에서의 촉각 높이 값은 픽셀 값만을 고려하고 그 이웃을 고려하지 않고 결정되므로 잘못된 촉각 맵이 된다.

휴대 전화에 부착된 현미경으로 얻은 이미지는 사용자의 손이 떨리기 때문에 흐려지는 경향이 있어 질감(거친) 재구성이 불량하다.

실험 결과는 도 11 내지 13(MSI2 참조) 및 도 15에 도시된 바와 같이, 제안된 방법은 그레디언트 기반 이미지 향상이 흐린 이미지의 정정 및 촉각 기하학을 잘 회복시키는 양호한 품질의 이미지의 생성을 가능하게 하기 때문에 흐림에 대한 견고성을 입증한다(도 15 참조).

이것은 전문가가 오류없이 원격 맹장 촉진을 통해 피부 질환을 진단할 수 있게 하는 데 중요하다. 따라서 개선된 피부 거칠기 증가 알고리즘은 전체 프로세스의 핵심 부분이다.

또한, 조명 조건은 도 14에 도시된 바와 같이 피부 거칠기의 가시성에 상당한 영향을 미친다.

이미지 기반 방법을 사용한 거칠기 측정은 다양한 조명 조건에서 거칠기를 측정 할 때 성능 저하를 나타낸다. 반대로, 햅틱 거칠기 방법은 피부 이미지로부터 조도 값을 측정할 때 좋은 성능을 나타낸다(도 15 참조).

앞서 언급한 바와 같이, 이는 햅틱 표면이 입력 이미지로부터 공간적으로 낮은 주파수 성분(예를 들어, 글로벌 모양이지만 로컬 디테일이 아닌)에 기초하여 주로 재구성되기 때문이다.

그럼에도 불구하고, 햅틱 표면 재구성은 조명 조건 하에서 캡쳐된 이미지로부터 야기되기 때문에, 햅틱 표면 또한 조명에 의해 영향을 받는다.

제안된 연구의 또 다른 강점은 인접 픽셀에 관한 2D 이미지 거칠기를 분석하여 3D 촉각 거칠기의 자동 제어이다.

이 방법은 시각 및 햅틱 렌더링 알고리즘을 통해 시각 및 촉각 거칠기를 자동으로 동기화한다.

심지어 촉각에 의한 거친 지각은 Kim[15]에 의해 보고된 시각보다 민감하기 때문에 촉각 장치와의 접촉 상호 작용으로 시력에 알 수 없는 조도를 검사할 수 있다.

도 12의 결과 이미지(마지막 열)와 표 1의 측정된 햅틱 거칠기 값 모두에서 잘 관찰된다. 이 방법으로 재구성된 촉각 증강 표면은 육안 검사로는 인식할 수 없는 보다 유익한 촉각적 특성을 제공한다.

햅틱 장치로 측정된 햅틱 거칠기는 터치 시험 중에 재구성된 피부 표면에서 사용자가 실제로 느끼는 것이다. 도 13 및 도 15에서 측정된 그래프는 촉각 마스크로 재구성된 거칠기가 조도 증가 측면에서 우수하고 촉각 마스크 없이 재구성된 것보다 화상 거칠음 패턴과 유사함을 보여준다. 이것은 제안된 접근법이 이동 현미경 피부 이미지의 실제 거칠기를 잘 보존하고 이전의 연구에서 발전한 정상적인 현미경 피부 이미지에서도 그렇다는 것을 확인한다[7, 8, 9].

시각적 검사와 함께 촉각 촉지가 피부 표면 거칠기에 대한 차별성을 향상시킨다는 것을 입증하는 비교 사용자 연구를 수행함으로써 제안된 접근법의 우수성이 실질적으로 입증되었다. 보다 구체적으로, 표 2의 결과는 시력에 의존할 때 MS3과 MS1을 구별하는 모호성을 나타내지만 햅틱 피드백을 추가할 때 결국 개선된다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상이 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 현미경 카메라 110 : 촉각 마스크 생성부
120 : 촉각 지도 작성부 130 : 햅틱 증강면 재구성부
140 : 시각 렌더링부 150 : 햅틱 렌더링부
160 : 디스플레이 170 : 햅틱 장치

Claims

현미경 카메라에서 촬영한 2차원 피부 표면 영상을 입력받아 촉각 마스크를 생성하는 촉각 마스크 생성부;
상기 2차원 피부 표면 영상의 각각의 픽셀에 대하여 상기 촉각 마스크 생성부에서 생성된 촉각 마스크를 참조하여 강도 레벨을 깊이 데이터로 변환하여 촉각 지도를 작성하는 촉각 지도 작성부;
상기 촉각 지도 작성부에서 작성된 촉각 지도를 메시로 연결하여 메시 모양촉각 지도를 형성하여 상기 2차원 피부 표면 영상과 결합하여 햅틱 증강 피부 표면 영상을 생성하는 햅틱 증강면 재구성부;
상기 햅틱 증강 피부 표면 영상에 기반하여 시각적 3차원 피부 표면을 생성하기 위한 시각 렌더링부; 및
상기 햅틱 증강 피부 표면 영상에 기반하여 촉각적 3차원 피부 표면을 생성하는 햅틱 렌더링부를 포함하는 원격 촉진을 위한 햅틱 증강 피부 생성 장치.
청구항 1항에 있어서,
상기 햅틱 렌더링부는 햅틱 프로브의 위치 정보에 응답하여 저항력을 계산하며,
사용자의 조작에 따라 상기 햅틱 프로브의 위치를 가변하여 위치 정보를 상기 햅틱 렌더링부로 전송하고, 상기 저항력을 수신하여 상기 사용자에게 촉각 자극을 제공하는 햅틱 장치; 및
상기 시각적 3차원 피부 표면을 표시하기 위한 위한 디스플레이를 더 포함하는 원격 촉진을 위한 햅틱 증강 피부 생성 장치.
청구항 2항에 있어서,
상기 햅틱 렌더링부는 사용자가 잡고 있는 햅틱 프로브의 저항력인 힘 벡터 F를 다음 수학식 6에 의해 계산하는 원격 촉진을 위한 햅틱 증강 피부 생성 장치.

(수학식 6)

여기서 F는 저항력, P는 표면 접촉점과 가상 프록시 사이의 침투 깊이, k는 피부 강성도, F_fr은 피부 표면 마찰 계수 C_fr 및 접선 방향의 힘 F_t로부터 계산된 피부 마찰력으로 정의된다.
청구항 1항에 있어서,
상기 촉각 마스크 생성부는 현미경 카메라로 촬영한 2차원 피부 표면 영상을 입력받아 관심 영역을 선정하고, 선정된 관심 영역을 그레이 스케일 영상으로 변환하며, 그라디언트 기반의 영상 강화를 수행하여 강화 영상을 생성한 후에, 음영 영역을 검출하여 촉각 마스크를 생성하는 원격 촉진을 위한 햅틱 증강 피부 생성 장치.
청구항 4항에 있어서,
상기 촉각 마스크 생성부는 그라디언트 기반의 영상 강화에 의해 형성된 강화 영상의 강도 레벨 I_e(x, y)을 아래 수학식 1과 같이 2차 미분을 기반으로 형성하는 원격 촉진을 위한 햅틱 증강 피부 생성 장치.
(수학식 1)

여기서, I(x, y)는 2차원 피부 표면 영상의 강도 레벨이고, I_g(x, y)는 변환된 그레이 스케일 영상의 강도 레벨이며, (x, y)는 픽셀 좌표를 나타내며, C는 증가함에 따라 영상 텍스쳐(texture)를 더 날카롭게 되도록 만드는 제어 파라미터이다.
청구항 4항에 있어서,
상기 촉각 마스크 생성부는 이진화를 한 후에, 세선화를 반복적으로 수행하여 음영 영역을 검출하는 원격 촉진을 위한 햅틱 증강 피부 생성 장치.
청구항 4항에 있어서,
상기 촉각 마스크 생성부는 강화 영상의 강도 레벨 I_e(x,y)을 취하여 아래 수학식 2를 사용하여 음영 영역을 검출하는 햅틱 증강 피부 생성 장치.
(수학식 2)

여기서 B (ㆍ)는 사전 정의된 임계값을 갖는 이진화 함수이다. I_s(x, y)는 검출된 음영 영역의 강도 레벨이며, (x, y)는 픽셀 좌표를 나타낸다.
청구항 4항에 있어서,
상기 촉각 지도 작성부는 상기 2차원 피부 표면 영상의 각각의 픽셀에 대하여 상기 촉각 마스크 생성부에서 생성한 촉각 마스크의 음영 영역에 해당하는지 여부를 판단하여 음영 영역에 해당하면 가중치를 부여하여 강도 레벨을 깊이 데이터로 변환하여 3차원 피부 표면 포인트들을 형성하고, 음영 영역에 해당하지 않으면 가중치를 부여하지 않고 강도 레벨을 깊이 데이터로 변환하여 3차원 피부 표면 포인트들을 형성하여 촉각 지도를 작성하는 햅틱 증강 피부 생성 장치.
(A) 촉각 마스크 생성부가 현미경 카메라에서 촬영한 2차원 피부 표면 영상을 입력받아 촉각 마스크를 생성하는 단계;
(B) 촉각 지도 작성부가 상기 2차원 피부 표면 영상의 각각의 픽셀에 대하여 상기 촉각 마스크 생성부에서 생성된 촉각 마스크를 참조하여 강도 레벨을 깊이 데이터로 변환하여 촉각 지도를 작성하는 단계;
(C) 햅틱 증강면 재구성부가 상기 촉각 지도 작성부에서 작성된 촉각 지도를 메시로 연결하여 메시 모양촉각 지도를 형성하여 상기 2차원 피부 표면 영상과 결합하여 햅틱 증강 피부 표면 영상을 생성하는 단계;
(D) 시각 렌더링부가 상기 햅틱 증강 피부 표면 영상에 기반하여 시각적 3차원 피부 표면을 생성하는 단계; 및
(E) 햅틱 렌더링부가 상기 햅틱 증강 피부 표면 영상에 기반하여 촉각적 3차원 피부 표면을 생성하는 단계를 포함하는 원격 촉진을 위한 햅틱 증강 피부 생성 방법.
청구항 9항에 있어서,
(F) 디스플레이가 상기 시각적 3차원 피부 표면을 표시하는 단계;
(G) 햅틱 장치가 사용자의 조작에 따라 햅틱 프로브의 위치를 가변하여 위치 정보를 상기 햅틱 렌더링부로 전송하는 단계;
(H) 상기 햅틱 렌더링부가 햅틱 프로브의 위치 정보에 응답하여 저항력을 계산하는 단계; 및
(I) 상기 햅틱 장치가 상기 저항력을 수신하여 상기 사용자에게 촉각 자극을 제공하는 단계를 포함하는 원격 촉진을 위한 햅틱 증강 피부 생성 방법.
청구항 9항에 있어서,
상기 (A) 단계는
(A-1) 상기 촉각 마스크 생성부가 현미경 카메라로 촬영한 2차원 피부 표면 영상을 입력받아 관심 영역을 선정하는 단계;
(A-2) 상기 촉각 마스크 생성부가 선정된 관심 영역을 그레이 스케일 영상으로 변환하는 단계;
(A-3) 상기 촉각 마스크 생성부가 그라디언트 기반의 영상 강화를 수행하여 강화 영상을 생성하는 단계; 및
(A-4) 상기 촉각 마스크 생성부가 음영 영역을 검출하여 촉각 마스크를 생성하는 단계를 포함하는 원격 촉진을 위한 햅틱 증강 피부 생성 방법.
청구항 11항에 있어서,
상기 (A-3) 단계는 상기 촉각 마스크 생성부가 그라디언트 기반의 영상 강화에 의해 형성된 강화 영상의 강도 레벨 I_e(x, y)을 아래 수학식 1과 같이 2차 미분을 기반으로 형성하는 원격 촉진을 위한 햅틱 증강 피부 생성 방법.
(수학식 1)

여기서, I(x, y)는 2차원 피부 표면 영상의 강도 레벨이고, I_g(x, y)는 변환된 그레이 스케일 영상의 강도 레벨이며, (x, y)는 픽셀 좌표를 나타내며, C는 증가함에 따라 영상 텍스쳐(texture)를 더 날카롭게 되도록 만드는 제어 파라미터이다.
청구항 11항에 있어서,
상기 (A-4) 단계는 상기 촉각 마스크 생성부가 이진화를 한 후에, 세선화를 반복적으로 수행하여 음영 영역을 검출하는 원격 촉진을 위한 햅틱 증강 피부 생성 방법.
청구항 11항에 있어서,
상기 (A-4) 단계는 상기 촉각 마스크 생성부가 강화 영상의 강도 레벨 I_e(x,y)을 취하여 아래 수학식 2를 사용하여 음영 영역을 검출하는 햅틱 증강 피부 생성 방법.
(수학식 2)

여기서 B (ㆍ)는 사전 정의된 임계값을 갖는 이진화 함수이다. I_s(x, y)는 검출된 음영 영역의 강도 레벨이며, (x, y)는 픽셀 좌표를 나타낸다.
청구항 11항에 있어서,
상기 (B) 단계는
(B-1) 상기 촉각 지도 작성부는 2차원 피부 표면 영상에 대한 강화 영상의 픽셀의 강도 레벨이 촉각 마스크의 음영 영역에 속하는지를 확인하는 단계;
(B-2) 상기 촉각 지도 작성부는 확인 결과, 촉각 마스크의 음영 영역에 속하면 강화 영상의 픽셀에 대하여 인접 픽셀들의 강도 레벨을 사용하여 가중치를 계산하는 단계;
(B-3) 상기 촉각 지도 작성부는 음영 영역에 속하는 강화 영상의 픽셀에 가중치를 적용하여 깊이 데이터를 계산하는 단계;
(B-4) 상기 촉각 지도 작성부는 음영 영역에 속하지 않은 강화 영상의 픽셀의 강도 레벨을 깊이 데이터로 변환하는 단계; 및
(B-5) 상기 촉각 지도 작성부는 깊이 데이터를 이용하여 촉각 지도를 작성하는 단계를 포함하는 햅틱 증강 피부 생성 방법.