KR101490126B1 - Optical based high resolution tactile sensation imaging system and method - Google Patents

Optical based high resolution tactile sensation imaging system and method Download PDF

Info

Publication number
KR101490126B1
KR101490126B1 KR20130069463A KR20130069463A KR101490126B1 KR 101490126 B1 KR101490126 B1 KR 101490126B1 KR 20130069463 A KR20130069463 A KR 20130069463A KR 20130069463 A KR20130069463 A KR 20130069463A KR 101490126 B1 KR101490126 B1 KR 101490126B1
Authority
KR
South Korea
Prior art keywords
light source
image
silicon probe
source unit
cmos camera
Prior art date
Application number
KR20130069463A
Other languages
Korean (ko)
Other versions
KR20140146773A (en
Inventor
이종하
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR20130069463A priority Critical patent/KR101490126B1/en
Publication of KR20140146773A publication Critical patent/KR20140146773A/en
Application granted granted Critical
Publication of KR101490126B1 publication Critical patent/KR101490126B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Input (AREA)

Abstract

본 발명은 광학기반의 초고화질 촉감 영상 획득 장치 및 방법에 관한 것으로서, 보다 구체적으로는 실리콘 프로브와, 상기 실리콘 프로브의 내부공간으로 광원이 전반사되도록 주입하는 LED 광원부, 및 상기 LED 광원부에서 조사된 광원이 상기 실리콘 프로브의 내부공간에 갇혀 전반사되는 상태에서 상기 실리콘 프로브가 측정 대상물에 닿아 접촉됨에 따른 변형으로 일어나는 난반사되는 광원을 촬영하는 CMOS 카메라를 포함하는 센서 장치부; 상기 센서 장치부의 CMOS 카메라에서 촬영된 2개의 영상을 입력받아 영상 정합을 위한 특정 알고리즘 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터를 생성하는 제어 장치부; 및 상기 제어 장치부에서 처리한 촉감 영상데이터를 출력으로 표시하는 디스플레이를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 광학기반의 초고화질 촉감 영상 획득 장치 및 방법에 따르면, 광원을 이용한 광학적 기법과 CMOS 광 배열(optical array)이 적용된 센서 장치부를 구성함으로써, 카메라와 같은 높은 공간해상도를 갖는 촉감 영상 데이터를 획득할 수 있도록 할 수 있다.
또한, 본 발명에 따르면, 실리콘 프로브의 내부공간에서 전반사되고 측정 대상물의 접촉에 따른 변형으로 난반사되는 광원을 측정하여 탄성도 영상과 근적외선 영상을 각각 획득하고, 2개의 영상에 대한 영상 정합을 위한 특정 프로그램을 활용하여 탄성도 영상과 근적외선 영상의 정합 처리를 통해 높은 공간해상도를 갖는 촉감 영상 데이터를 생성함으로써, 사람이 느끼는 촉감과 같은 높은 해상도의 촉감 데이터를 얻을 수 있음은 물론, 피부 조직의 특성까지도 측정할 수 있도록 할 수 있다.The present invention relates to an apparatus and a method for acquiring an optical base superhigh quality tactile image, and more particularly, to an apparatus and method for acquiring an optical base superhigh quality tactile image by using a silicon probe, an LED light source unit for injecting a light source into the inner space of the silicon probe, And a CMOS camera for photographing a diffused light source caused by deformation due to contact of the silicon probe with the object to be measured while the silicon probe is totally trapped in the silicon probe. A control unit receiving the two images captured by the CMOS camera of the sensor unit and generating tactile image data having a high spatial resolution through specific algorithm processing for image matching; And a display for displaying the tactile image data processed by the control unit as an output.
According to the optical-based super-high-quality tactile image acquiring apparatus and method proposed in the present invention, by constructing the optical device using the light source and the sensor device unit using the CMOS optical array, It is possible to acquire image data.
According to the present invention, the elasticity and near infrared rays images are obtained by measuring the light source which is totally reflected in the inner space of the silicon probe and is irregularly reflected by the deformation caused by the contact of the measurement object, By generating the tactile image data having a high spatial resolution through the matching processing of the elasticity image and the near infrared ray image by utilizing the program, it is possible not only to obtain the tactile data of the high resolution such as the tactile sensation felt by a person, It can be measured.

Description

광학기반의 초고화질 촉감 영상 획득 장치 및 방법{OPTICAL BASED HIGH RESOLUTION TACTILE SENSATION IMAGING SYSTEM AND METHOD}TECHNICAL FIELD [0001] The present invention relates to an optical-based super-high-quality tactile image acquisition apparatus and method,

본 발명은 광학기반의 초고화질 촉감 영상 획득 장치 및 방법에 관한 것으로서, 보다 구체적으로는 광원을 이용한 광학적 기법과 CMOS 광 배열(optical array)을 사용하여 카메라와 같은 공간해상도를 갖는 촉감 영상을 획득할 수 있도록 하는 광학기반의 초고화질 촉감 영상 획득 장치 및 방법에 관한 것이다.The present invention relates to an optical-based super-high-quality tactile image acquiring apparatus and method, and more particularly, to a method and apparatus for acquiring a tactile image having a spatial resolution such as a camera using an optical technique using a light source and a CMOS optical array Based super-high quality tactile image acquiring apparatus and method.

일반적으로 촉감을 측정하기 위해서는 높은 공간해상도(spatial resolution)의 센서 데이터를 획득하는 것이 중요하다. 현재 제시되고 있는 촉감 센서로는 정전용량 센서(capacitive sensor), 저항 센서(resistive sensor), 및 압전 센서(piezoelectric sensor) 등의 타입이 있다. 이와 같은 종래의 정전용량 센서, 저항 센서, 및 압전 센서 기반의 촉감 센서는 공간해상도를 높이는 데 한계가 있다.
In general, it is important to acquire sensor data of high spatial resolution in order to measure tactile sensation. Currently presented tactile sensors include capacitive sensors, resistive sensors, and piezoelectric sensors. Such a conventional capacitive sensor, a resistance sensor, and a piezoelectric sensor-based tactile sensor have limitations in increasing the spatial resolution.

최근에 들어 MEMS(micro electro mechanical systems: 미세전자제어기술)의 기술이 많이 발전함에 따라 센서들의 크기도 작아지고 있지만 아직까지 사람이 느끼는 촉감과 같은 높은 공간해상도의 촉감 데이터를 획득하지는 못하고 있다. 즉, 사람이 느끼는 촉감과 같은 높은 공간해상도의 촉감 데이터를 획득하기 위한 많은 노력이 있어 왔음에도 불구하고, 현재 나와 있는 종래의 정전용량 센서, 저항 센서, 및 압전 센서들의 촉감 센서로는 충분히 높은 공간해상도를 얻지 못하는 문제가 있었다.Recently, as the technology of MEMS (Micro Electro Mechanical Systems) is developed, the size of the sensors is getting smaller. However, it has not been able to acquire tactile data having a high spatial resolution such as a human touch. That is, although there has been much effort to acquire tactile data of a high spatial resolution such as the tactile sensation felt by a person, the conventional capacitive sensor, the resistance sensor, and the piezoelectric sensor of the present invention, There was a problem that resolution could not be obtained.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 광원을 이용한 광학적 기법과 CMOS 광 배열(optical array)이 적용된 센서 장치부를 구성함으로써, 카메라와 같은 높은 공간해상도를 갖는 촉감 영상 데이터를 획득할 수 있도록 하는, 광학기반의 초고화질 촉감 영상 획득 장치 및 방법을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods. By constructing a sensor unit to which an optical technique using a light source and a CMOS optical array are applied, And an object of the present invention is to provide an optical-based super-high-quality tactile image acquiring apparatus and method capable of acquiring tactile image data.

또한, 본 발명은, 실리콘 프로브의 내부공간에서 전반사되고 측정 대상물의 접촉에 따른 변형으로 난반사되는 광원을 측정하여 탄성도 영상과 근적외선 영상을 각각 획득하고, 2개의 영상에 대한 영상 정합을 위한 특정 프로그램을 활용하여 탄성도 영상과 근적외선 영상의 정합 처리를 통해 높은 공간해상도를 갖는 촉감 영상 데이터를 생성함으로써, 사람이 느끼는 촉감과 같은 높은 해상도의 촉감 데이터를 얻을 수 있음은 물론, 피부 조직의 특성까지도 측정할 수 있도록 하는, 광학기반의 초고화질 촉감 영상 획득 장치 및 방법을 제공하는 것을 또 다른 목적으로 한다.The present invention also provides a method for acquiring an elasticity image and a near infrared ray image by measuring a light source which is totally reflected in the inner space of a silicon probe and is irregularly reflected by deformation due to contact of an object to be measured, It is possible to obtain high resolution tactile data such as human touch by generating the tactile image data having a high spatial resolution through the matching processing of the elasticity image and the near infrared ray image, And an object of the present invention is to provide an optical-based super-high quality tactile image acquiring apparatus and method.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 광학기반의 초고화질 촉감 영상 획득 장치는,According to an aspect of the present invention, there is provided an apparatus for acquiring an ultrasound image,

실리콘 프로브와, 상기 실리콘 프로브의 내부공간으로 광원이 전반사되도록 주입하는 LED 광원부, 및 상기 LED 광원부에서 조사된 광원이 상기 실리콘 프로브의 내부공간에 갇혀 전반사되는 상태에서 상기 실리콘 프로브가 측정 대상물에 닿아 접촉됨에 따른 변형으로 일어나는 난반사되는 광원을 촬영하는 CMOS 카메라를 포함하는 센서 장치부;An LED light source unit for injecting a light source to be totally reflected to an inner space of the silicon probe, and a light source irradiated from the LED light source unit being trapped in the inner space of the silicon probe, A sensor unit including a CMOS camera for photographing a diffused light source caused by a deformation caused by the deformation of the sensor;

상기 센서 장치부의 CMOS 카메라에서 촬영된 2개의 영상을 입력받아 영상 정합을 위한 특정 알고리즘 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터를 생성하는 제어 장치부; 및A control unit receiving the two images captured by the CMOS camera of the sensor unit and generating tactile image data having a high spatial resolution through specific algorithm processing for image matching; And

상기 제어 장치부에서 처리한 촉감 영상데이터를 출력으로 표시하는 디스플레이를 포함하는 것을 그 구성상의 특징으로 한다.
And a display for displaying the tactile image data processed by the control unit as an output.

바람직하게는, 상기 실리콘 프로브는,Preferably, the silicon probe comprises:

상기 광원을 내부공간에 가둬 놓을 수 있는 정사각형으로 구성되고, 전면으로는 상기 측정 대상물에 닿아 접촉됨에 따라 변형이 일어나는 전면 막을 형성하되, 상기 전면 막은 탄력(elastic)있고 투명하게 구성할 수 있다.
The front surface of the front surface film is elastic and transparent. The front surface of the front surface film is deformed by contacting with the measurement object.

더욱 바람직하게는, 상기 실리콘 프로브는,More preferably, the silicon probe comprises:

상기 내부공간의 후면 측인 상기 CMOS 카메라의 렌즈 전면으로 서로 다른 스티프니스(stiffness)를 가지고 있는 PDMS(Polydimethylsiloxane)의 3계층(3 layer)을 더 포함하여 구성할 수 있다.
And three layers of PDMS (polydimethylsiloxane) having different stiffnesses on the front surface of the CMOS camera which is the rear side of the inner space.

바람직하게는, 상기 LED 광원부는,Preferably, the LED light source unit includes:

상기 실리콘 프로브의 4방향 측면에 배치되어, 탄성도 영상을 획득하기 위해 상기 실리콘 프로브의 내부공간으로 광원을 주입하는 제1 광원부; 및A first light source unit disposed on four sides of the silicon probe for injecting a light source into an inner space of the silicon probe to obtain an elasticity image; And

상기 CMOS 카메라의 렌즈 둘레에 배치되어, 근적외선 영상을 획득하기 위해 상기 실리콘 프로브의 내부공간으로 광원을 주입하는 제2 광원부로 구성할 수 있다.
And a second light source unit disposed around the lens of the CMOS camera for injecting a light source into an inner space of the silicon probe to obtain a near infrared ray image.

더욱 바람직하게는, 상기 LED 광원부는,More preferably, the LED light source unit includes:

상기 제1 광원부의 광원과 상기 제2 광원부의 광원이 서로 직교할 수 있다.
The light source of the first light source unit and the light source of the second light source unit may be orthogonal to each other.

더욱 바람직하게는, 상기 LED 광원부는,More preferably, the LED light source unit includes:

상기 실리콘 프로브의 내부공간으로 조사되는 광원을 650㎚ ~ 1100㎚ 범위의 파장대를 사용하되, 상기 CMOS 카메라의 2회 연속 촬영으로 탄성도 영상 획득을 위한 제1 광원부의 광원과 근적외선 영상 획득을 위한 제2 광원부의 광원의 파장대를 달리하여 상기 CMOS 카메라의 2회 연속 촬영에 맞춰 조사할 수 있다.
A light source for irradiating the inner space of the silicon probe with a wavelength range of 650 nm to 1100 nm is used, and a light source of the first light source for acquiring the elasticity image by the two consecutive photographing of the CMOS camera, It is possible to irradiate the two light sources in accordance with the second successive photographing of the CMOS camera by changing the wavelength range of the light source.

더욱더 바람직하게는, 상기 LED 광원부는,Even more preferably, the LED light source unit includes:

상기 650㎚ ~ 1100㎚ 범위의 파장대 광원 중에서 850㎚와, 930㎚를 광원으로 사용할 수 있다.
Among the wavelength range light sources in the range of 650 nm to 1100 nm, 850 nm and 930 nm can be used as the light source.

바람직하게는, 상기 센서 장치부는,Preferably, the sensor device unit includes:

상기 실리콘 프로브의 4방향 측면으로 상기 LED 광원부의 제1 광원부를 배치하고, 상기 CMOS 카메라의 렌즈 둘레에 상기 LED 광원부의 제2 광원부를 배치하며, 상기 실리콘 프로브의 후단으로 상기 CMOS 카메라가 체결되도록 구성함으로써, 상기 실리콘 프로브와 LED 광원부 및 CMOS 카메라가 일체로 조합된 단일 모듈로 구성할 수 있다.
The first light source unit of the LED light source unit is disposed on the four sides of the silicon probe, the second light source unit of the LED light source unit is disposed around the CMOS camera lens, and the CMOS camera is fastened to the rear end of the silicon probe The LED light source unit and the CMOS camera can be integrally combined into a single module.

더욱 바람직하게는, 상기 제어 장치부는,More preferably, the control device unit,

상기 CMOS 카메라의 2회 연속 촬영으로 입력받은 탄성도 영상 및 근적외선 영상을 정합 처리하여 촉감 영상데이터로 변환 생성하기 위한 특정 알고리즘을 탑재할 수 있다.
It is possible to mount a specific algorithm for converting the elasticity image and the near-infrared image input by the CMOS camera in two consecutive shots into a tactile image data and generating the tactile image data.

더욱더 바람직하게는, 상기 특정 알고리즘은,Even more preferably,

영상 정합을 위한 포인트 등록(point registration)이나, 3D 표면 등록(surface registration) 중 어느 하나의 알고리즘을 사용할 수 있다.
Any one of point registration or surface registration for image registration can be used.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 광학기반의 초고화질 촉감 영상 획득 방법은,According to an aspect of the present invention, there is provided an optical-based super-high quality tactile image acquiring method,

실리콘 프로브와 LED 광원부 및 CMOS 카메라를 포함하는 센서 장치부를 이용한 광학기반의 초고화질 촉감 영상 획득 방법으로서,A method for acquiring an optical base super-high quality tactile image using a sensor device including a silicon probe, an LED light source, and a CMOS camera,

(1) 상기 실리콘 프로브의 내부공간으로 상기 LED 광원부의 광원이 전반사되도록 주입하는 단계;(1) injecting the light source of the LED light source part into the internal space of the silicon probe so as to be totally reflected;

(2) 상기 실리콘 프로브를 측정 대상물에 접촉시킴에 따라 발생하는 변형으로 전반사되던 광원이 난반사되도록 하는 단계;(2) diffusing the light source totally reflected by the deformation caused by bringing the silicon probe into contact with the object to be measured;

(3) 상기 실리콘 프로브에서 난반사되는 광원을 상기 CMOS 카메라를 통해 2회 연속 촬영하여 영상을 획득하는 단계; 및(3) photographing a light source which is irregularly reflected by the silicon probe through the CMOS camera two consecutive times to acquire an image; And

(4) 상기 CMOS 카메라에서 촬영한 2개의 영상을 기반으로 제어 장치부에서 특정 알고리즘을 이용한 영상 정합의 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터를 생성하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
(4) generating tactile image data having a high spatial resolution through processing of image matching using a specific algorithm in a controller unit based on two images taken by the CMOS camera; and do.

바람직하게는, 상기 단계 (1)에서는,Preferably, in the step (1)

(1-1) 상기 측정 대상물의 탄성도 영상을 획득하기 위해 상기 실리콘 프로브의 4방향 측면에 배치되는 LED 광원부의 제1 광원부에서 조사되는 광원을 실리콘 프로브의 내부공간에 전반사되도록 주입하는 단계; 및(1-1) injecting a light source irradiated from the first light source part of the LED light source part arranged on four sides of the silicon probe so as to obtain an elasticity image of the object to be measured, to be totally reflected in the inner space of the silicon probe; And

(1-2) 상기 측정 대상물의 근적외선 영상을 획득하기 위해 상기 CMOS 카메라의 렌즈 둘레에 배치되는 LED 광원부의 제2 광원부에서 조사되는 광원을 실리콘 프로브의 내부공간에 전반사되도록 주입하는 단계를 포함할 수 있다.
(1-2) injecting a light source irradiated from the second light source portion of the LED light source portion disposed around the lens of the CMOS camera to obtain a near-infrared ray image of the measurement object so as to be totally reflected in the inner space of the silicon probe have.

더욱 바람직하게는, 상기 단계 (1)에서는,More preferably, in the step (1)

상기 제1 광원부의 광원 조사를 통해 실리콘 프로브의 내부공간에 전반사되도록 주입하는 단계 (1-1)와, 상기 제2 광원부의 광원 조사를 통해 실리콘 프로브의 내부공간에 전반사되도록 주입하는 단계 (1-2)는 순서에 관계없이 순차로 이루어지도록 할 수 있다.
A step (1-1) of injecting the first light source part so as to be totally reflected in the inner space of the silicon probe through irradiation of a light source, and a step (1) of injecting the second light source part so as to be totally reflected in the inner space of the silicon probe, 2) may be sequentially performed regardless of the order.

더욱 바람직하게는, 상기 제1 광원부 및 제2 광원부는,More preferably, the first light source unit and the second light source unit are arranged such that,

조사되는 광원의 방향이 서로 직교하는 방향으로 이루어지고, 광원의 파장대를 달리할 수 있다.
The directions of the light sources to be irradiated are orthogonal to each other, and the wavelength ranges of the light sources may be different.

더욱더 바람직하게는, 상기 광원의 파장대는,Even more preferably, the wavelength band of the light source is set such that,

650㎚ ~ 1100㎚ 범위의 파장대를 사용할 수 있다.
A wavelength band in the range of 650 nm to 1100 nm can be used.

더더욱 바람직하게는, 상기 광원의 파장대는,Even more preferably, the wavelength band of the light source is a wavelength

상기 650㎚ ~ 1100㎚ 범위의 파장대 광원 중에서 850㎚와, 930㎚를 광원으로 사용할 수 있다.
Among the wavelength range light sources in the range of 650 nm to 1100 nm, 850 nm and 930 nm can be used as the light source.

더욱 바람직하게는, 상기 단계 (2)에서는,More preferably, in the step (2)

(2-1) 상기 단계 (1-1)에서의 제1 광원부의 전반사된 광원을 난반사시키는 단계; 및(2-1) diffusing the totally-reflected light source of the first light source part in the step (1-1); And

(2-2) 상기 단계 (1-2)에서의 제2 광원부의 전반사된 광원을 난반사시키는 단계를 포함할 수 있다.
(2-2) diffusing the totally-reflected light source of the second light source part in the step (1-2).

더욱더 바람직하게는, 상기 단계 (3)에서는,Even more preferably, in the step (3)

상기 CMOS 카메라를 통해 2회 연속 촬영하되,The CMOS camera is used to photograph two consecutive times,

상기 제1 광원부의 난반사된 광원의 촬영된 영상을 탄성도 영상으로 획득하고, 상기 제2 광원부의 난반사된 광원의 촬영된 영상을 근적외선 영상으로 획득할 수 있다.
The photographed image of the irregularly reflecting light source of the first light source unit may be acquired as the elasticity image and the photographed image of the irregularly reflected light source of the second light source unit may be obtained as the near infrared ray image.

바람직하게는, 상기 단계 (4)에서는,Preferably, in the step (4)

상기 제어 장치부에 탑재된 특정 알고리즘을 이용하여 상기 CMOS 카메라로부터 입력받은 2개의 영상인 탄성도 영상과 근적외선 영상의 정합 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터로 변환하여 생성할 수 있다.
It is possible to generate and convert tactile image data having a high spatial resolution by matching processing of the elasticity image and the near infrared ray image, which are two images input from the CMOS camera, using a specific algorithm installed in the control unit.

더욱 바람직하게는, 상기 단계 (4)에서는,More preferably, in the step (4)

상기 특정 알고리즘을 통해 변환하여 생성한 촉감 영상데이터를 디스플레이를 통해 더 표시할 수 있다.
The tactile image data converted and generated through the specific algorithm can be further displayed through the display.

더욱 바람직하게는, 상기 특정 알고리즘은,More preferably, the specific algorithm comprises:

영상 정합을 위한 포인트 등록(point registration)이나, 3D 표면 등록(surface registration) 중 어느 하나의 알고리즘을 사용할 수 있다.Any one of point registration or surface registration for image registration can be used.

본 발명에서 제안하고 있는 광학기반의 초고화질 촉감 영상 획득 장치 및 방법에 따르면, 광원을 이용한 광학적 기법과 CMOS 광 배열(optical array)이 적용된 센서 장치부를 구성함으로써, 카메라와 같은 높은 공간해상도를 갖는 촉감 영상 데이터를 획득할 수 있도록 할 수 있다.
According to the optical-based super-high-quality tactile image acquiring apparatus and method proposed in the present invention, by constructing the optical device using the light source and the sensor device unit using the CMOS optical array, It is possible to acquire image data.

또한, 본 발명에 따르면, 실리콘 프로브의 내부공간에서 전반사되고 측정 대상물의 접촉에 따른 변형으로 난반사되는 광원을 측정하여 탄성도 영상과 근적외선 영상을 각각 획득하고, 2개의 영상에 대한 영상 정합을 위한 특정 프로그램을 활용하여 탄성도 영상과 근적외선 영상의 정합 처리를 통해 높은 공간해상도를 갖는 촉감 영상 데이터를 생성함으로써, 사람이 느끼는 촉감과 같은 높은 해상도의 촉감 데이터를 얻을 수 있음은 물론, 피부 조직의 특성까지도 측정할 수 있도록 할 수 있다.According to the present invention, the elasticity and near infrared rays images are obtained by measuring the light source which is totally reflected in the inner space of the silicon probe and is irregularly reflected by the deformation caused by the contact of the measurement object, By generating the tactile image data having a high spatial resolution through the matching processing of the elasticity image and the near infrared ray image by utilizing the program, it is possible not only to obtain the tactile data of the high resolution such as the tactile sensation felt by a person, It can be measured.

도 1은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치의 전체 구성을 기능블록으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치의 사시도 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치에서, 센서 장치부의 실리콘 프로브에서 전반사되는 과정을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치에서, 센서 장치부의 실리콘 프로브에서 난반사되는 과정을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 방법의 흐름을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 방법에서 광원이 전반사되도록 주입하는 방법의 세부적인 흐름을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 방법에서 광원을 난반사시키는 방법의 세부적인 흐름을 도시한 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a functional block diagram showing an entire configuration of an optical-based superhigh-tactile tactile image acquiring apparatus according to an embodiment of the present invention; FIG.
2 is a perspective view of an optical-based super-high quality tactile image acquiring apparatus according to an embodiment of the present invention.
3 is a view illustrating a process of total reflection in a silicon probe of a sensor device unit in an optical-based super-high-quality tactile image acquisition apparatus according to an embodiment of the present invention.
4 is a view illustrating a process of diffusing reflections in a silicon probe of a sensor device unit in an optical-based super-high-quality tactile image acquisition device according to an embodiment of the present invention.
5 illustrates a flow of an optical-based super-high quality tactile image acquisition method according to an embodiment of the present invention.
6 is a detailed flowchart illustrating a method of injecting a light source so as to be totally reflected in an optical-based super-high quality tactile image acquisition method according to an embodiment of the present invention.
7 is a detailed flowchart illustrating a method of diffusing a light source in an optical-based super-high-quality tactile image obtaining method according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, in order that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In the drawings, like reference numerals are used throughout the drawings.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.

도 1은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치의 전체 구성을 기능블록으로 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치의 사시도 구성을 도시한 도면이다. 도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치는, 센서 장치부(100), 제어 장치부(200), 및 디스플레이(300)를 포함하여 구성될 수 있다.
FIG. 1 is a functional block diagram showing an entire configuration of an optical-based super-high-quality tactile image acquiring apparatus according to an embodiment of the present invention. FIG. 2 is a block diagram of an optical- Fig. 2 is a view showing a perspective view of an acquiring device. 1 and 2, an optical-based super-high-quality tactile image acquisition apparatus according to an embodiment of the present invention includes a sensor device unit 100, a control unit 200, and a display 300 And the like.

센서 장치부(100)는, 실리콘 프로브(110)와, 실리콘 프로브(110)의 내부공간으로 광원이 전반사되도록 주입하는 LED 광원부(120), 및 LED 광원부(120)에서 조사된 광원이 실리콘 프로브(110)의 내부공간에 갇혀 전반사되는 상태에서 실리콘 프로브(110)가 측정 대상물(10)에 닿아 접촉됨에 따른 변형으로 일어나는 난반사되는 광원을 촬영하는 CMOS(Complementary metal-oxide semiconductor) 카메라(130)를 포함할 수 있다.
The sensor device unit 100 includes a silicon probe 110, an LED light source unit 120 for injecting the light source into the internal space of the silicon probe 110 to be totally reflected, and a light source irradiated from the LED light source unit 120 to the silicon probe A CMOS (Complementary Metal-Oxide Semiconductor) camera 130 for photographing a diffused light source caused by deformation of the silicon probe 110 in contact with the measurement object 10 in a state where the silicon probe 110 is trapped in the inner space of the sensor chip 110 can do.

여기서, 실리콘 프로브(110)는 도 2에 도시된 바와 같이, 광원을 내부공간에 가둬 놓을 수 있는 정사각형으로 구성되고, 전면으로는 측정 대상물(10)(도 4 참조)에 닿아 접촉됨에 따라 변형이 일어나는 전면 막(111)을 형성하되, 전면 막(111)은 탄력(elastic)있고 투명하게 구성할 수 있다. 이러한 실리콘 프로브(110)는 도 2에 도시된 바와 같이, 내부공간의 후면 측인 CMOS 카메라(130)의 렌즈 전면으로 서로 다른 스티프니스(stiffness)를 가지고 있는 PDMS(112)의 3계층(3 layer)을 더 포함하여 구성할 수 있다. 통상적으로 사람의 피부는 3개의 층으로 구성된다. 즉, 진피(dermis)와, 표피(epidermis), 및 피하지방(subcutaneous)으로 구성되고, 그래서 민감도가 상당히 높게 된다. 이와 같이 3개의 층을 구성하기 위해 실리콘 프로브(110)는 서로 다른 스티프니스를 가지고 있는 폴리디메틸실록산(PDMS)의 레이어(layer) 3개를 구성한다.
As shown in FIG. 2, the silicon probe 110 has a square shape capable of holding the light source in an inner space. The silicon probe 110 is in contact with the measurement object 10 (see FIG. 4) The front film 111 is formed to be elastic and transparent. As shown in FIG. 2, the silicon probe 110 includes three layers of the PDMS 112 having different stiffnesses on the lens surface of the CMOS camera 130, which is the rear side of the internal space, And the like. Typically, human skin consists of three layers. That is, it consists of dermis, epidermis, and subcutaneous, so the sensitivity is considerably high. In order to form the three layers as described above, the silicon probe 110 constitutes three layers of polydimethylsiloxane (PDMS) having different stiffnesses.

LED 광원부(120)는, 실리콘 프로브(110)의 4방향 측면에 배치되어, 탄성도 영상을 획득하기 위해 실리콘 프로브(110)의 내부공간으로 광원을 주입하는 제1 광원부(121)와, CMOS 카메라(130)의 렌즈 둘레에 배치되어, 근적외선 영상을 획득하기 위해 실리콘 프로브(110)의 내부공간으로 광원을 주입하는 제2 광원부(122)로 구성할 수 있다. 이때, LED 광원부(120)는 제1 광원부(121)의 광원과 제2 광원부(122)의 광원이 서로 직교한다. 그리고 LED 광원부(120)는 실리콘 프로브(110)의 내부공간으로 조사되는 광원을 650㎚ ~ 1100㎚ 범위의 파장대를 사용하되, CMOS 카메라(130)의 2회 연속 촬영으로 탄성도 영상 획득을 위한 제1 광원부(121)의 광원과 근적외선 영상 획득을 위한 제2 광원부(122)의 광원의 파장대를 달리하여 CMOS 카메라(130)의 2회 연속 촬영에 맞춰 조사할 수 있다. 여기서, LED 광원부(120)는 650㎚ ~ 1100㎚ 범위의 파장대 광원 중에서 850㎚와, 930㎚를 광원으로 사용함이 바람직하며, 이는 영상 획득을 위해 가장 우수한 성능을 보이기 때문이다. 한편, LED 광원부(120)는 실리콘 프로브(110)의 형상에 따라 8방향으로 측면에 배치될 수도 있으며, 이는 실리콘 프로브(110)의 형상이 8각 형상인 경우에 적용되는 것으로 LED 광원부(120)는 실리콘 프로브(110)의 형상에 대응하는 구성으로 이루어질 수 있다.
The LED light source unit 120 includes a first light source unit 121 disposed on four sides of the silicon probe 110 and injecting a light source into the inner space of the silicon probe 110 to obtain an elasticity image, And a second light source unit 122 disposed around the lens of the light source 130 and injecting the light source into the inner space of the silicon probe 110 to obtain a near infrared ray image. At this time, the LED light source unit 120 has the light source of the first light source unit 121 and the light source of the second light source unit 122 orthogonal to each other. The LED light source unit 120 uses a wavelength range of 650 nm to 1100 nm as a light source irradiated to the inner space of the silicon probe 110, The light source of the one light source unit 121 and the light source of the second light source unit 122 for acquiring the near-infrared ray image can be irradiated in accordance with the second successive photographing of the CMOS camera 130. Here, the LED light source unit 120 preferably uses 850 nm and 930 nm as the light source in the wavelength range of 650 nm to 1100 nm, because it exhibits the best performance for image acquisition. The LED light source unit 120 may be disposed on a side surface in eight directions depending on the shape of the silicon probe 110. The LED light source unit 120 may be an LED light source unit, May be configured to correspond to the shape of the silicon probe 110.

상기와 같은 센서 장치부(100)는 실리콘 프로브(110)의 4방향 측면으로 LED 광원부(120)의 제1 광원부(121)를 배치하고, CMOS 카메라(130)의 렌즈 둘레에 LED 광원부(120)의 제2 광원부(122)를 배치하며, 실리콘 프로브(110)의 후단으로 CMOS 카메라(130)가 체결되도록 구성함으로써, 도 2에 도시된 바와 같이 실리콘 프로브(110)와 LED 광원부(120) 및 CMOS 카메라(130)가 일체로 조합된 단일 모듈로 구성할 수 있다.
The sensor device 100 may include a first light source unit 121 disposed on the four sides of the silicon probe 110 and an LED light source unit 120 disposed around the CMOS camera 130, The second light source unit 122 of the LED light source unit 120 and the CMOS camera 130 are fastened to the rear end of the silicon probe 110. As a result, The camera 130 may be constructed as a single module that is integrally combined.

제어 장치부(200)는, 센서 장치부(100)의 CMOS 카메라(130)에서 촬영된 2개의 영상을 입력받아 영상 정합을 위한 특정 알고리즘 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터를 생성하는 역할을 한다. 이러한 제어 장치부(200)는 퍼스널 컴퓨터(PC) 또는 노트북의 형태로 구성될 수 있으며, 전기적으로 연결 접속되는 CMOS 카메라(130)의 2회 연속 촬영으로 입력받은 탄성도 영상 및 근적외선 영상을 정합 처리하여 촉감 영상데이터로 변환 생성하기 위한 특정 알고리즘을 탑재하며, 여기서 특정 알고리즘은 영상 정합을 위한 포인트 등록(point registration)이나, 3D 표면 등록(surface registration) 중 어느 하나의 알고리즘을 사용할 수 있다. 또한 프로그램으로는 MATLAB, C++ 등이 사용될 수 있다.
The control unit 200 receives two images captured by the CMOS camera 130 of the sensor device unit 100 and generates tactile image data having a high spatial resolution through a specific algorithm process for image matching . The controller unit 200 may be configured in the form of a personal computer (PC) or a notebook computer. The control unit 200 may be configured to process the elasticity image and the near-infrared image input by two consecutive shots of the CMOS camera 130, And a specific algorithm for converting and generating tactile image data is installed. Here, the specific algorithm can use any one of point registration for surface registration or surface registration. Also, MATLAB, C ++, etc. can be used as the program.

도 3은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치에서, 센서 장치부의 실리콘 프로브에서 전반사되는 과정을 설명하기 위해 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치에서, 센서 장치부의 실리콘 프로브에서 난반사되는 과정을 설명하기 위해 도시한 도면이다. 도 3 및 도 4는 탄성도 영상을 위한 광원의 전반사와 난반사되는 과정을 일례로 나타내며, 근적외선 영상을 위한 광원의 전반사와 난반사되는 과정은 생략되어 있으나, CMOS 카메라(130)의 렌즈 둘레에 배치되는 제2 광원부(122)의 광원으로 전반사와 난반사를 발생시킬 수 있다. 도 3은 실리콘 프로브(110)의 4방향 측면에 배치되어 있는 제1 광원부(121)의 광원을 조사하여 탄성도 영상을 획득하기 위해 실리콘 프로브(110)의 내부공간으로 광원을 주입함으로써, 주사된 광원을 전반사시키게 되고, 이러한 상태에서 도 4에 도시된 바와 같이 실리콘 프로브(110)의 전면 막(111)을 측정 대상물(10)에 닿아 변형되도록 함으로써, 전면 막(111)의 변형이 일어나게 되고, 실리콘 프로브(110)의 내부공간에서 전반사되던 광원이 난반사를 일으키게 된다.
FIG. 3 is a view illustrating a process of total reflection in a silicon probe of a sensor device unit in an optical-based super-high-quality tactile image acquiring apparatus according to an embodiment of the present invention, and FIG. FIG. 3 is a view illustrating a process of diffusing reflections in a silicon probe of a sensor device unit in an optical-based super-high-quality tactile image acquiring apparatus according to the present invention. 3 and 4 illustrate a total reflection and diffuse reflection process of the light source for the elasticity image, and the total reflection and diffusing process of the light source for the near-infrared image are omitted, but they are arranged around the lens of the CMOS camera 130 The total reflection and the diffuse reflection can be generated by the light source of the second light source 122. [ FIG. 3 shows a state in which a light source is injected into the inner space of the silicon probe 110 in order to acquire an elasticity image by irradiating the light source of the first light source unit 121 disposed on four side faces of the silicon probe 110, The front surface film 111 of the silicon probe 110 is deformed by being contacted with the measurement object 10 as shown in FIG. 4 in this state, so that deformation of the front surface film 111 occurs, The light source totally reflected in the inner space of the silicon probe 110 causes irregular reflection.

도 5는 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 방법의 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 방법은, 실리콘 프로브(110)의 내부공간으로 광원이 전반사되도록 주입하는 단계(S100), 실리콘 프로브(110)를 측정 대상물(10)에 접촉시킴에 따라 발생하는 변형으로 전반사되던 광원이 난반사되도록 하는 단계(S200), 실리콘 프로브(110)에서 난반사되는 광원을 CMOS 카메라(130)를 통해 2회 연속 촬영하여 영상을 획득하는 단계(S300), 및 CMOS 카메라(130)에서 촬영한 2개의 영상을 기반으로 제어 장치부(200)에서 특정 알고리즘을 이용한 영상 정합의 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터를 생성하는 단계(S400)를 포함하여 구현될 수 있다.
5 is a flowchart illustrating an optical-based super-high-quality tactile image acquisition method according to an embodiment of the present invention. 5, an optical-based superhigh-tactile tactile image acquisition method according to an embodiment of the present invention includes injecting a light source to be totally reflected into an internal space of a silicon probe 110 (S100), a silicon probe A step S200 of diffusing the light source which has been totally reflected by the deformation caused by contacting the measurement object 10 with the object to be measured 10 in operation S200, (Step S300). The control unit 200 performs image matching processing using a specific algorithm on the basis of the two images captured by the CMOS camera 130 to obtain tactile image data having a high spatial resolution (S400). ≪ / RTI >

단계 S100에서는, 실리콘 프로브(110)와 LED 광원부(120) 및 CMOS 카메라(130)를 포함하는 센서 장치부(100)를 이용한 광학기반의 초고화질 촉감 영상 획득 방법에서, 실리콘 프로브(110)의 내부공간으로 LED 광원부(120)의 광원이 전반사되도록 주입한다.
In step S100, in the optical-based super-high quality tactile image acquisition method using the sensor device unit 100 including the silicon probe 110, the LED light source unit 120, and the CMOS camera 130, So that the light source of the LED light source unit 120 is totally reflected.

도 6은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 방법에서 광원이 전반사되도록 주입하는 방법의 세부적인 흐름을 도시한 도면이다. 도 6에 도시된 바와 같이, 단계 S100에서는 측정 대상물(10)의 탄성도 영상을 획득하기 위해 실리콘 프로브(110)의 4방향 측면에 배치되는 LED 광원부(120)의 제1 광원부(121)에서 조사되는 광원을 실리콘 프로브(110)의 내부공간에 전반사되도록 주입하고(S110), 측정 대상물(10)의 근적외선 영상을 획득하기 위해 CMOS 카메라(130)의 렌즈 둘레에 배치되는 LED 광원부(120)의 제2 광원부(122)에서 조사되는 광원을 실리콘 프로브(110)의 내부공간에 전반사되도록 주입한다(S120). 여기서, 단계 S100에서는 제1 광원부(121)의 광원 조사를 통해 실리콘 프로브(110)의 내부공간에 전반사되도록 주입하는 단계 S110와, 제2 광원부(122)의 광원 조사를 통해 실리콘 프로브(110)의 내부공간에 전반사되도록 주입하는 단계 S120는 순서에 관계없이 순차로 이루어지도록 한다. 이때, 제1 광원부(121) 및 제2 광원부(122)는 조사되는 광원의 방향이 서로 직교하는 방향으로 이루어지고, 광원의 파장대를 달리한다. 이러한 광원의 파장대는 650㎚ ~ 1100㎚ 범위의 파장대를 사용할 수 있으며, 광원의 파장대는 650㎚ ~ 1100㎚ 범위의 파장대 광원 중에서 850㎚와, 930㎚를 광원으로 사용함이 바람직하다.
FIG. 6 is a flowchart illustrating a method of injecting a light source so as to be totally reflected in an optical-based super-high-quality tactile image acquisition method according to an embodiment of the present invention. 6, in step S100, the first light source unit 121 of the LED light source unit 120 disposed on four sides of the silicon probe 110 to obtain the elasticity image of the measurement object 10 irradiates The LED light source unit 120 disposed around the lens of the CMOS camera 130 to acquire a near infrared ray image of the measurement object 10 (S110) The light source irradiated from the two light sources 122 is injected to be totally reflected in the inner space of the silicon probe 110 (S120). In step S100, a step S110 of injecting the light so as to be totally reflected in the inner space of the silicon probe 110 through the irradiation of the light source of the first light source unit 121, a step S110 of injecting the silicon probe 110 through the light source of the second light source unit 122, And the step S120 of injecting the light to be totally reflected in the inner space is performed sequentially regardless of the order. In this case, the first light source unit 121 and the second light source unit 122 are arranged such that the directions of the light sources to be irradiated are orthogonal to each other, and the wavelength ranges of the light sources are different. The wavelength band of the light source may be in the range of 650 nm to 1100 nm, and the wavelength band of the light source is preferably 850 nm or 930 nm as the light source in the wavelength range of 650 nm to 1100 nm.

단계 S200에서는, 실리콘 프로브(110)를 측정 대상물(10)에 접촉시킴에 따라 발생하는 변형으로 전반사되던 광원이 난반사되도록 한다.
In step S200, the light source that has been totally reflected by the deformation that occurs when the silicon probe 110 is brought into contact with the measurement object 10 is diffusely reflected.

도 7은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 방법에서 광원을 난반사시키는 방법의 세부적인 흐름을 도시한 도면이다. 도 7에 도시된 바와 같이, 단계 S200에서는 단계 S110에서의 제1 광원부(121)의 전반사된 광원을 난반사시키는 단계 S210와, 단계 S120에서의 제2 광원부(122)의 전반사된 광원을 난반사시키는 단계 S220를 포함한다.
7 is a detailed flowchart illustrating a method of diffusing a light source in an optical-based super-high-quality tactile image obtaining method according to an embodiment of the present invention. 7, in step S200, a step S210 of diffusing the totally-reflected light source of the first light source unit 121 in step S110 and a step of diffusing the totally-reflected light source of the second light source unit 122 in step S120 S220.

단계 S300에서는, 실리콘 프로브(110)에서 난반사되는 광원을 CMOS 카메라(130)를 통해 2회 연속 촬영하여 영상을 획득한다. 이러한 단계 S300에서는 CMOS 카메라(130)를 통해 2회 연속 촬영하되, 제1 광원부(121)의 난반사된 광원의 촬영된 영상을 탄성도 영상으로 획득하고, 제2 광원부(122)의 난반사된 광원의 촬영된 영상을 근적외선 영상으로 획득할 수 있다.
In step S300, a light source that is irregularly reflected by the silicon probe 110 is photographed through the CMOS camera 130 two consecutive times to acquire an image. In this step S300, the photographed image of the irregularly reflecting light source of the first light source unit 121 is acquired as an elasticity image, and the reflected light of the irregularly reflected light source of the second light source unit 122 The photographed image can be obtained as a near infrared ray image.

단계 S400에서는, CMOS 카메라(130)에서 촬영한 2개의 영상을 기반으로 제어 장치부(200)에서 특정 알고리즘을 이용한 영상 정합의 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터를 생성한다. 즉, 단계 S400에서는, 제어 장치부(200)에 탑재된 특정 알고리즘을 이용하여 CMOS 카메라(130)로부터 입력받은 2개의 영상인 탄성도 영상과 근적외선 영상의 정합 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터로 변환하여 생성하는 역할을 한다. 이러한 단계 S400에서는 특정 알고리즘을 통해 변환하여 생성한 촉감 영상데이터를 디스플레이(300)를 통해 더 표시할 수 있으며, 특정 알고리즘은 영상 정합을 위한 포인트 등록(point registration)이나, 3D 표면 등록(surface registration) 중 어느 하나의 알고리즘을 사용할 수 있다.
In step S400, the control unit 200 generates tactile image data having a high spatial resolution through image matching processing using a specific algorithm based on the two images captured by the CMOS camera 130. [ That is, in step S400, the matching process of the elasticity image and the near-infrared image, which are the two images input from the CMOS camera 130, using the specific algorithm installed in the control unit 200, And converts it into data. In this step S400, the tactile image data converted and generated through the specific algorithm may be further displayed on the display 300. The specific algorithm may be a point registration for image registration, a surface registration, Can be used.

상술한 바와 같이, 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치 및 방법은, 투명한 실리콘 프로브(110)의 내부공간으로 광원이 전반사되도록 주입하고, 광원이 전반사되면 광원을 실리콘 프로브(110)의 내부공간에 가두게 된다. 이 상태에서 실리콘 프로브(110)에 측정 대상물(10)이 닿으면 실리콘 프로브(110)의 전면 막(111)이 변형을 일으키고, 그에 따라 실리콘 프로브(110)의 내부공간에서 전반사되던 광원이 난반사를 일으키게 된다. 이와 같이 난반사되는 광원을 CMOS 카메라(130)를 통해 영상으로 획득하게 됨으로써 촉감을 영상화한다. 즉, 광원의 파장대에 따라 두 가지의 영상을 획득할 수 있다. 하나는 탄성도 영상(가시광선 영역의 영상)과 또 하나는 근적외선 영상이며, 이때의 근적외선 영상을 통해 조직의 총 헤모글로빈을 측정할 수 있기 때문에 두 가지의 영상인 탄성도 영상과 근적외선 영상을 모두 획득해 영상 정합하면 조직의 특성까지도 측정할 수 있게 된다. 즉, 본 발명은 사람이 느끼는 촉감과 같은 높은 공간해상도의 촉감 영상 데이터의 생성이 가능하게 된다.
As described above, an apparatus and method for acquiring an optical-based superhigh-tactile tactile image according to an embodiment of the present invention include injecting a light source to be totally reflected into an inner space of a transparent silicon probe 110, And is confined in the inner space of the probe 110. In this state, when the measurement object 10 touches the silicon probe 110, the front film 111 of the silicon probe 110 is deformed, and the light source totally reflected in the inner space of the silicon probe 110 causes diffuse reflection . The irregularly reflected light source is acquired as an image through the CMOS camera 130 to image the tactile sensation. That is, two images can be obtained according to the wavelength band of the light source. One is the elasticity image (the image in the visible region) and the other is the near-infrared image. Since the total hemoglobin of the tissue can be measured through the near-infrared image at this time, both of the elasticity image and the near- If the image is matched, the characteristics of the tissue can be measured. That is, the present invention makes it possible to generate tactile image data having a high spatial resolution such as a tactile sensation felt by a person.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics of the invention.

100: 센서 장치부 110: 실리콘 프로브
111: 전면 막 112: PDMS
120: LED 광원부 121: 제1 광원부
122: 제2 광원부 130: CMOS 카메라
200: 제어 장치부 300: 디스플레이
S100: 실리콘 프로브의 내부공간으로 LED 광원부의 광원이 전반사되도록 주입하는 단계
S110: 측정 대상물의 탄성도 영상을 획득하기 위해 실리콘 프로브의 4방향 측면에 배치되는 LED 광원부의 제1 광원부에서 조사되는 광원을 실리콘 프로브의 내부공간에 전반사되도록 주입하는 단계
S120: 측정 대상물의 근적외선 영상을 획득하기 위해 CMOS 카메라의 렌즈 둘레에 배치되는 LED 광원부의 제2 광원부에서 조사되는 광원을 실리콘 프로브의 내부공간에 전반사되도록 주입하는 단계
S200: 실리콘 프로브를 측정 대상물에 접촉시킴에 따라 발생하는 변형으로 전반사되던 광원이 난반사되도록 하는 단계
S210: 단계 S110에서의 제1 광원부의 전반사된 광원을 난반사시키는 단계 S220: 단계 S120에서의 제2 광원부의 전반사된 광원을 난반사시키는 단계
S300: 실리콘 프로브에서 난반사되는 광원을 CMOS 카메라를 통해 2회 연속 촬영하여 영상을 획득하는 단계
S400: CMOS 카메라에서 촬영한 2개의 영상을 기반으로 제어 장치부에서 특정 알고리즘을 이용한 영상 정합의 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터를 생성하는 단계100: sensor device unit 110: silicon probe
111: Front film 112: PDMS
120: LED light source unit 121: first light source unit
122: second light source unit 130: CMOS camera
200: control unit 300: display
S100: a step of injecting the light source of the LED light source part into the internal space of the silicon probe so as to be totally reflected
S110: injecting the light source irradiated from the first light source part of the LED light source part arranged on the four-directional side of the silicon probe to obtain the elasticity image of the measurement object to be totally reflected in the inner space of the silicon probe
S120: injecting the light source irradiated from the second light source part of the LED light source part disposed around the lens of the CMOS camera to obtain a near infrared ray image of the measurement object so as to be totally reflected in the inner space of the silicon probe
S200: a step of diffusing the light source which has been totally reflected by deformation caused by bringing the silicon probe into contact with the measurement object
S210: diffusing the totally-reflected light source of the first light source part in step S110 S220: diffusing the totally-reflected light source of the second light source part in step S120
S300: A step of acquiring images by photographing the diffused light source in a silicon probe twice in succession through a CMOS camera
S400: generating tactile image data having a high spatial resolution through processing of image matching using a specific algorithm in the control unit based on two images taken by the CMOS camera

Claims (21)

실리콘 프로브(110)와, 상기 실리콘 프로브(110)의 내부공간으로 광원이 전반사되도록 주입하는 LED 광원부(120), 및 상기 LED 광원부(120)에서 조사된 광원이 상기 실리콘 프로브(110)의 내부공간에 갇혀 전반사되는 상태에서 상기 실리콘 프로브(110)가 측정 대상물(10)에 닿아 접촉됨에 따른 변형으로 일어나는 난반사되는 광원을 촬영하는 CMOS 카메라(130)를 포함하는 센서 장치부(100);
상기 센서 장치부(100)의 CMOS 카메라(130)에서 촬영된 2개의 영상을 입력받아 영상 정합을 위한 특정 알고리즘 처리를 통해 촉감 영상데이터를 생성하는 제어 장치부(200); 및
상기 제어 장치부(200)에서 처리한 촉감 영상데이터를 출력으로 표시하는 디스플레이(300)를 포함하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
An LED light source unit 120 for injecting a light source to be totally reflected to the inner space of the silicon probe 110 and a light source irradiated from the LED light source unit 120 to the inner space of the silicon probe 110, And a CMOS camera (130) for capturing an irregularly reflected light source caused by a deformation of the silicon probe (110) in contact with the measurement object (10) in a state of being totally trapped by the sensor unit (100).
A control unit 200 for receiving the two images captured by the CMOS camera 130 of the sensor device unit 100 and generating tactile image data through a specific algorithm process for image matching; And
And a display (300) for displaying the tactile image data processed by the control unit (200) as an output.
제1항에 있어서, 상기 실리콘 프로브(110)는,
상기 광원을 내부공간에 가둬 놓을 수 있는 정사각형으로 구성되고, 전면으로는 상기 측정 대상물(10)에 닿아 접촉됨에 따라 변형이 일어나는 전면 막(111)을 형성하되, 상기 전면 막(111)은 탄력(elastic)있고 투명하게 구성하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
The method of claim 1, wherein the silicon probe (110)
The front face film 111 is formed of a square capable of holding the light source in an inner space and has a front face formed with a deformation due to contact with the measurement object 10, elastic, and transparent, respectively.
제2항에 있어서, 상기 실리콘 프로브(110)는,
상기 내부공간의 후면 측인 상기 CMOS 카메라(130)의 렌즈 전면으로 서로 다른 스티프니스(stiffness)를 가지고 있는 PDMS(112)의 3계층(3 layer)을 더 포함하여 구성하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
The method of claim 2, wherein the silicon probe (110)
(3 layers) of the PDMS (112) having different stiffnesses on the front surface of the CMOS camera (130), which is the rear side of the inner space, Ultra - high quality tactile image acquisition device.
제1항에 있어서, 상기 LED 광원부(120)는,
상기 실리콘 프로브(110)의 4방향 측면에 배치되어, 탄성도 영상을 획득하기 위해 상기 실리콘 프로브(110)의 내부공간으로 광원을 주입하는 제1 광원부(121); 및
상기 CMOS 카메라(130)의 렌즈 둘레에 배치되어, 근적외선 영상을 획득하기 위해 상기 실리콘 프로브(110)의 내부공간으로 광원을 주입하는 제2 광원부(122)로 구성하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
The LED lighting apparatus according to claim 1, wherein the LED light source unit (120)
A first light source unit 121 disposed on four sides of the silicon probe 110 to inject a light source into an inner space of the silicon probe 110 to obtain an elasticity image; And
And a second light source unit (122) disposed around the lens of the CMOS camera (130) for injecting a light source into an inner space of the silicon probe (110) to obtain a near infrared ray image. Ultra - high quality tactile image acquisition device.
제4항에 있어서, 상기 LED 광원부(120)는,
상기 제1 광원부(121)의 광원과 상기 제2 광원부(122)의 광원이 서로 직교하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
5. The LED lamp according to claim 4, wherein the LED light source unit (120)
Wherein the light source of the first light source unit (121) and the light source of the second light source unit (122) are orthogonal to each other.
제4항에 있어서, 상기 LED 광원부(120)는,
상기 실리콘 프로브(110)의 내부공간으로 조사되는 광원을 650㎚ ~ 1100㎚ 범위의 파장대를 사용하되, 상기 CMOS 카메라(130)의 2회 연속 촬영으로 탄성도 영상 획득을 위한 제1 광원부(121)의 광원과 근적외선 영상 획득을 위한 제2 광원부(122)의 광원의 파장대를 달리하여 상기 CMOS 카메라(130)의 2회 연속 촬영에 맞춰 조사하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
5. The LED lamp according to claim 4, wherein the LED light source unit (120)
A first light source unit 121 for obtaining an elasticity image by two consecutive photographing operations of the CMOS camera 130 uses a light source irradiated to the inner space of the silicon probe 110 in a wavelength range of 650 nm to 1100 nm, And the light source of the second light source unit (122) for obtaining the near-infrared ray image is irradiated in accordance with the second successive photographing of the CMOS camera (130) by changing the wavelength range of the light source of the second light source unit .
제6항에 있어서, 상기 LED 광원부(120)는,
상기 650㎚ ~ 1100㎚ 범위의 파장대 광원 중에서 850㎚와, 930㎚를 광원으로 사용하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
The LED light source according to claim 6, wherein the LED light source unit (120)
Wherein the light source uses 850 nm and 930 nm as the light source in the wavelength range of 650 nm to 1100 nm.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 센서 장치부(100)는,
상기 실리콘 프로브(110)의 4방향 측면으로 상기 LED 광원부(120)의 제1 광원부(121)를 배치하고, 상기 CMOS 카메라(130)의 렌즈 둘레에 상기 LED 광원부(120)의 제2 광원부(122)를 배치하며, 상기 실리콘 프로브(110)의 후단으로 상기 CMOS 카메라(130)가 체결되도록 구성함으로써, 상기 실리콘 프로브(110)와 LED 광원부(120) 및 CMOS 카메라(130)가 일체로 조합된 단일 모듈로 구성하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
8. The sensor device (100) according to any one of claims 1 to 7,
The first light source unit 121 of the LED light source unit 120 is disposed at four sides of the silicon probe 110 and the second light source unit 122 of the LED light source unit 120 is disposed around the CMOS camera 130 And the CMOS camera 130 is fastened to the rear end of the silicon probe 110 so that the LED probe 120 and the CMOS camera 130 are integrally combined Modulated ultrasound tactile image acquiring device.
제8항에 있어서, 상기 제어 장치부(200)는,
상기 CMOS 카메라(130)의 2회 연속 촬영으로 입력받은 탄성도 영상 및 근적외선 영상을 정합 처리하여 촉감 영상데이터로 변환 생성하기 위한 특정 알고리즘을 탑재하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
9. The apparatus according to claim 8, wherein the control unit (200)
Characterized in that a specific algorithm for converting the elasticity image and the near infrared ray image input by two consecutive photographing operations of the CMOS camera (130) into a tactile image data for conversion and generation is mounted. Device.
제9항에 있어서, 상기 특정 알고리즘은,
영상 정합을 위한 포인트 등록(point registration)이나, 3D 표면 등록(surface registration) 중 어느 하나의 알고리즘을 사용하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
10. The method of claim 9,
Characterized in that any one of point registration for image registration and surface registration is used. ≪ RTI ID = 0.0 > 11. < / RTI >
실리콘 프로브(110)와 LED 광원부(120) 및 CMOS 카메라(130)를 포함하는 센서 장치부(100)를 이용한 광학기반의 초고화질 촉감 영상 획득 방법으로서,
(1) 상기 실리콘 프로브(110)의 내부공간으로 상기 LED 광원부(120)의 광원이 전반사되도록 주입하는 단계;
(2) 상기 실리콘 프로브(110)를 측정 대상물(10)에 접촉시킴에 따라 발생하는 변형으로 전반사되던 광원이 난반사되도록 하는 단계;
(3) 상기 실리콘 프로브(110)에서 난반사되는 광원을 상기 CMOS 카메라(130)를 통해 2회 연속 촬영하여 영상을 획득하는 단계; 및
(4) 상기 CMOS 카메라(130)에서 촬영한 2개의 영상을 기반으로 제어 장치부(200)에서 특정 알고리즘을 이용한 영상 정합의 처리를 통해 촉감 영상데이터를 생성하는 단계를 포함하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
A method for acquiring an optical base super-high quality tactile image using a sensor device (100) including a silicon probe (110), an LED light source (120), and a CMOS camera (130)
(1) injecting the light source of the LED light source unit 120 into the internal space of the silicon probe 110 to be totally reflected;
(2) diffusing the light source that has been totally reflected by deformation caused by bringing the silicon probe 110 into contact with the measurement object 10;
(3) photographing a light source, which is irregularly reflected by the silicon probe 110, through the CMOS camera 130 two consecutive times to acquire an image; And
(4) generating tactile image data through image matching processing using a specific algorithm in the controller unit 200 based on the two images taken by the CMOS camera 130; Optical - based ultra - high quality tactile image acquisition method.
제11항에 있어서, 상기 단계 (1)에서는,
(1-1) 상기 측정 대상물(10)의 탄성도 영상을 획득하기 위해 상기 실리콘 프로브(110)의 4방향 측면에 배치되는 LED 광원부(120)의 제1 광원부(121)에서 조사되는 광원을 실리콘 프로브(110)의 내부공간에 전반사되도록 주입하는 단계; 및
(1-2) 상기 측정 대상물(10)의 근적외선 영상을 획득하기 위해 상기 CMOS 카메라(130)의 렌즈 둘레에 배치되는 LED 광원부(120)의 제2 광원부(122)에서 조사되는 광원을 실리콘 프로브(110)의 내부공간에 전반사되도록 주입하는 단계를 포함하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
12. The method according to claim 11, wherein in the step (1)
(1-1) A light source irradiated from the first light source unit 121 of the LED light source unit 120 disposed on four sides of the silicon probe 110 in order to obtain an elasticity image of the measurement object 10, Implanting the probe into the internal space of the probe (110) so as to be totally reflected; And
(1-2) The light source irradiated from the second light source part 122 of the LED light source part 120 disposed around the lens of the CMOS camera 130 to obtain the near-infrared ray image of the measurement object 10 is referred to as a silicon probe 110) to the total internal space of the tactile display device (100).
제12항에 있어서, 상기 단계 (1)에서는,
상기 제1 광원부(121)의 광원 조사를 통해 실리콘 프로브(110)의 내부공간에 전반사되도록 주입하는 단계 (1-1)와, 상기 제2 광원부(122)의 광원 조사를 통해 실리콘 프로브(110)의 내부공간에 전반사되도록 주입하는 단계 (1-2)는 순서에 관계없이 순차로 이루어지는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
13. The method according to claim 12, wherein in the step (1)
(1-1) of injecting the first light source part (121) so as to be totally reflected in the inner space of the silicon probe (110) through a light source irradiation, Wherein the step (1-2) of injecting the light into the internal space of the light source in a total reflection mode is performed sequentially, irrespective of the order.
제12항에 있어서, 상기 제1 광원부(121) 및 제2 광원부(122)는,
조사되는 광원의 방향이 서로 직교하는 방향으로 이루어지고, 광원의 파장대를 달리하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
13. The apparatus according to claim 12, wherein the first light source unit (121) and the second light source unit (122)
Wherein the direction of the irradiated light source is orthogonal to each other, and the wavelength band of the light source is different.
제14항에 있어서, 상기 광원의 파장대는,
650㎚ ~ 1100㎚ 범위의 파장대를 사용하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
15. The light source according to claim 14,
Characterized in that a wavelength band in the range of 650 nm to 1100 nm is used.
제15항에 있어서, 상기 광원의 파장대는,
상기 650㎚ ~ 1100㎚ 범위의 파장대 광원 중에서 850㎚와, 930㎚를 광원으로 사용하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
16. The light source according to claim 15,
Wherein the light source uses 850 nm and 930 nm as the light source in the wavelength range of 650 nm to 1100 nm.
제12항에 있어서, 상기 단계 (2)에서는,
(2-1) 상기 단계 (1-1)에서의 제1 광원부(121)의 전반사된 광원을 난반사시키는 단계; 및
(2-2) 상기 단계 (1-2)에서의 제2 광원부(122)의 전반사된 광원을 난반사시키는 단계를 포함하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
13. The method according to claim 12, wherein in the step (2)
(2-1) diffusing the totally-reflected light source of the first light source unit 121 in the step (1-1); And
(2-2) diffusing the totally-reflected light source of the second light source part (122) in the step (1-2).
제17항에 있어서, 상기 단계 (3)에서는,
상기 CMOS 카메라(130)를 통해 2회 연속 촬영하되,
상기 제1 광원부(121)의 난반사된 광원의 촬영된 영상을 탄성도 영상으로 획득하고, 상기 제2 광원부(122)의 난반사된 광원의 촬영된 영상을 근적외선 영상으로 획득하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
18. The method of claim 17, wherein in step (3)
The CMOS camera 130 photographs two consecutive times,
Characterized in that an image obtained by the irregularly reflecting light source of the first light source unit (121) is obtained as an elasticity image, and a photographed image of the irregularly reflected light source of the second light source unit (122) Based ultrasound tactile image acquisition method.
제11항 내지 제18항 중 어느 한 항에 있어서, 상기 단계 (4)에서는,
상기 제어 장치부(200)에 탑재된 특정 알고리즘을 이용하여 상기 CMOS 카메라(130)로부터 입력받은 2개의 영상인 탄성도 영상과 근적외선 영상을 정합 처리하여, 정전용량 방식, 저항 방식 또는 압전 방식의 촉감 센서의 출력 데이터보다 높은 공간해상도를 갖는 촉감 영상데이터로 변환하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
19. The method according to any one of claims 11 to 18, wherein in the step (4)
An elasticity image and a near infrared ray image, which are the two images input from the CMOS camera 130, are matched to each other using a specific algorithm installed in the control unit 200, And converting the tactile image data into tactile image data having a spatial resolution higher than output data of the sensor.
제19항에 있어서, 상기 단계 (4)에서는,
상기 특정 알고리즘을 통해 변환하여 생성한 촉감 영상데이터를 디스플레이(300)를 통해 더 표시하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
20. The method of claim 19, wherein in step (4)
Wherein the tactile image data converted and generated through the specific algorithm is further displayed through the display (300).
제19항에 있어서, 상기 특정 알고리즘은,
영상 정합을 위한 포인트 등록(point registration)이나, 3D 표면 등록(surface registration) 중 어느 하나의 알고리즘인 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.20. The method of claim 19,
Wherein the algorithm is one of point registration for surface registration or surface registration for image registration.
KR20130069463A 2013-06-18 2013-06-18 Optical based high resolution tactile sensation imaging system and method KR101490126B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130069463A KR101490126B1 (en) 2013-06-18 2013-06-18 Optical based high resolution tactile sensation imaging system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130069463A KR101490126B1 (en) 2013-06-18 2013-06-18 Optical based high resolution tactile sensation imaging system and method

Publications (2)

Publication Number Publication Date
KR20140146773A KR20140146773A (en) 2014-12-29
KR101490126B1 true KR101490126B1 (en) 2015-02-05

Family

ID=52590344

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130069463A KR101490126B1 (en) 2013-06-18 2013-06-18 Optical based high resolution tactile sensation imaging system and method

Country Status (1)

Country Link
KR (1) KR101490126B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457815B2 (en) 2017-07-28 2022-10-04 Temple University—Of the Commonwealth System of Higher Education Mobile-platform compression-induced imaging for subsurface and surface object characterization

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004509345A (en) 2000-09-20 2004-03-25 ベルス・メステヒニーク・ゲーエムベーハー Apparatus and method for performing optical tactile measurement of a structure
JP2009285204A (en) 2008-05-29 2009-12-10 Hoya Corp Endoscope treatment tool
JP4503412B2 (en) * 2004-10-05 2010-07-14 独立行政法人産業技術総合研究所 Tactile sensor and tactile sensor device
JP2011203270A (en) 2011-06-14 2011-10-13 Institute Of Physical & Chemical Research Fine surface shape measuring probe

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004509345A (en) 2000-09-20 2004-03-25 ベルス・メステヒニーク・ゲーエムベーハー Apparatus and method for performing optical tactile measurement of a structure
JP4503412B2 (en) * 2004-10-05 2010-07-14 独立行政法人産業技術総合研究所 Tactile sensor and tactile sensor device
JP2009285204A (en) 2008-05-29 2009-12-10 Hoya Corp Endoscope treatment tool
JP2011203270A (en) 2011-06-14 2011-10-13 Institute Of Physical & Chemical Research Fine surface shape measuring probe

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457815B2 (en) 2017-07-28 2022-10-04 Temple University—Of the Commonwealth System of Higher Education Mobile-platform compression-induced imaging for subsurface and surface object characterization
US11940650B2 (en) 2017-07-28 2024-03-26 Temple University—Of the Commonwealth System of Higher Education Mobile-platform compression-induced imaging for subsurface and surface object characterization

Also Published As

Publication number Publication date
KR20140146773A (en) 2014-12-29

Similar Documents

Publication Publication Date Title
US10722211B2 (en) Acoustic-wave measuring apparatus and method
EP3549064A1 (en) On-lcd screen optical fingerprint sensing based on optical imaging with lens-pinhole module and other optical designs
TWI572331B (en) Rotation type optical fault scanner
US10321826B2 (en) Optical dynamic imaging system
CN111465345B (en) Skin sensor
CN102670177B (en) Skin optical diagnosis device and operation method thereof
TW201813333A (en) Layered sensing including RF-acoustic imaging
Lee et al. High-resolution tactile imaging sensor using total internal reflection and nonrigid pattern matching algorithm
US20160150976A1 (en) High-resolution thermal imaging system, apparatus, method and computer accessible medium
US20150043003A1 (en) Optical coherence tomography and control method for the same
WO2009069451A1 (en) Eyeball motion measurement apparatus
US10842422B2 (en) Compact low-cost fiberless diffuse speckle contrast flow-oximeter
US20150150458A1 (en) Imaging interfaces for full finger and full hand optical tomography
KR101490126B1 (en) Optical based high resolution tactile sensation imaging system and method
CN105310697B (en) Measure the method and device of blood oxygen saturation
TWI687200B (en) Optical pulse image measuring device and method for analyzing change of pulse waveform
Das et al. A compact structured light based otoscope for three dimensional imaging of the tympanic membrane
JP2007029706A (en) Algorithm for rebuilding 1d information into 2d information and 1d skin pattern sensing module thereof
JP6100322B2 (en) Acoustic wave measuring apparatus and acoustic wave measuring method
JP5774159B2 (en) Acoustic wave measuring apparatus and acoustic wave measuring method
Kaile et al. Low-cost smartphone based imaging device to detect subsurface tissue oxygenation of wounds
JP6297184B2 (en) Acoustic wave measuring apparatus and acoustic wave measuring method
JP6480769B2 (en) Imaging device, imaging system, and support member used in imaging device
Wortman et al. LesionAir: An automated, low-cost vision-based skin cancer diagnostic tool
Kundu et al. Imaging the superficial vascular structure for mapping and identification

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190122

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200108

Year of fee payment: 6