KR101490126B1 - Optical based high resolution tactile sensation imaging system and method - Google Patents
Optical based high resolution tactile sensation imaging system and method Download PDFInfo
- Publication number
- KR101490126B1 KR101490126B1 KR20130069463A KR20130069463A KR101490126B1 KR 101490126 B1 KR101490126 B1 KR 101490126B1 KR 20130069463 A KR20130069463 A KR 20130069463A KR 20130069463 A KR20130069463 A KR 20130069463A KR 101490126 B1 KR101490126 B1 KR 101490126B1
- Authority
- KR
- South Korea
- Prior art keywords
- light source
- image
- silicon probe
- source unit
- cmos camera
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/514—Depth or shape recovery from specularities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
Abstract
본 발명은 광학기반의 초고화질 촉감 영상 획득 장치 및 방법에 관한 것으로서, 보다 구체적으로는 실리콘 프로브와, 상기 실리콘 프로브의 내부공간으로 광원이 전반사되도록 주입하는 LED 광원부, 및 상기 LED 광원부에서 조사된 광원이 상기 실리콘 프로브의 내부공간에 갇혀 전반사되는 상태에서 상기 실리콘 프로브가 측정 대상물에 닿아 접촉됨에 따른 변형으로 일어나는 난반사되는 광원을 촬영하는 CMOS 카메라를 포함하는 센서 장치부; 상기 센서 장치부의 CMOS 카메라에서 촬영된 2개의 영상을 입력받아 영상 정합을 위한 특정 알고리즘 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터를 생성하는 제어 장치부; 및 상기 제어 장치부에서 처리한 촉감 영상데이터를 출력으로 표시하는 디스플레이를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 광학기반의 초고화질 촉감 영상 획득 장치 및 방법에 따르면, 광원을 이용한 광학적 기법과 CMOS 광 배열(optical array)이 적용된 센서 장치부를 구성함으로써, 카메라와 같은 높은 공간해상도를 갖는 촉감 영상 데이터를 획득할 수 있도록 할 수 있다.
또한, 본 발명에 따르면, 실리콘 프로브의 내부공간에서 전반사되고 측정 대상물의 접촉에 따른 변형으로 난반사되는 광원을 측정하여 탄성도 영상과 근적외선 영상을 각각 획득하고, 2개의 영상에 대한 영상 정합을 위한 특정 프로그램을 활용하여 탄성도 영상과 근적외선 영상의 정합 처리를 통해 높은 공간해상도를 갖는 촉감 영상 데이터를 생성함으로써, 사람이 느끼는 촉감과 같은 높은 해상도의 촉감 데이터를 얻을 수 있음은 물론, 피부 조직의 특성까지도 측정할 수 있도록 할 수 있다.The present invention relates to an apparatus and a method for acquiring an optical base superhigh quality tactile image, and more particularly, to an apparatus and method for acquiring an optical base superhigh quality tactile image by using a silicon probe, an LED light source unit for injecting a light source into the inner space of the silicon probe, And a CMOS camera for photographing a diffused light source caused by deformation due to contact of the silicon probe with the object to be measured while the silicon probe is totally trapped in the silicon probe. A control unit receiving the two images captured by the CMOS camera of the sensor unit and generating tactile image data having a high spatial resolution through specific algorithm processing for image matching; And a display for displaying the tactile image data processed by the control unit as an output.
According to the optical-based super-high-quality tactile image acquiring apparatus and method proposed in the present invention, by constructing the optical device using the light source and the sensor device unit using the CMOS optical array, It is possible to acquire image data.
According to the present invention, the elasticity and near infrared rays images are obtained by measuring the light source which is totally reflected in the inner space of the silicon probe and is irregularly reflected by the deformation caused by the contact of the measurement object, By generating the tactile image data having a high spatial resolution through the matching processing of the elasticity image and the near infrared ray image by utilizing the program, it is possible not only to obtain the tactile data of the high resolution such as the tactile sensation felt by a person, It can be measured.
Description
본 발명은 광학기반의 초고화질 촉감 영상 획득 장치 및 방법에 관한 것으로서, 보다 구체적으로는 광원을 이용한 광학적 기법과 CMOS 광 배열(optical array)을 사용하여 카메라와 같은 공간해상도를 갖는 촉감 영상을 획득할 수 있도록 하는 광학기반의 초고화질 촉감 영상 획득 장치 및 방법에 관한 것이다.The present invention relates to an optical-based super-high-quality tactile image acquiring apparatus and method, and more particularly, to a method and apparatus for acquiring a tactile image having a spatial resolution such as a camera using an optical technique using a light source and a CMOS optical array Based super-high quality tactile image acquiring apparatus and method.
일반적으로 촉감을 측정하기 위해서는 높은 공간해상도(spatial resolution)의 센서 데이터를 획득하는 것이 중요하다. 현재 제시되고 있는 촉감 센서로는 정전용량 센서(capacitive sensor), 저항 센서(resistive sensor), 및 압전 센서(piezoelectric sensor) 등의 타입이 있다. 이와 같은 종래의 정전용량 센서, 저항 센서, 및 압전 센서 기반의 촉감 센서는 공간해상도를 높이는 데 한계가 있다.
In general, it is important to acquire sensor data of high spatial resolution in order to measure tactile sensation. Currently presented tactile sensors include capacitive sensors, resistive sensors, and piezoelectric sensors. Such a conventional capacitive sensor, a resistance sensor, and a piezoelectric sensor-based tactile sensor have limitations in increasing the spatial resolution.
최근에 들어 MEMS(micro electro mechanical systems: 미세전자제어기술)의 기술이 많이 발전함에 따라 센서들의 크기도 작아지고 있지만 아직까지 사람이 느끼는 촉감과 같은 높은 공간해상도의 촉감 데이터를 획득하지는 못하고 있다. 즉, 사람이 느끼는 촉감과 같은 높은 공간해상도의 촉감 데이터를 획득하기 위한 많은 노력이 있어 왔음에도 불구하고, 현재 나와 있는 종래의 정전용량 센서, 저항 센서, 및 압전 센서들의 촉감 센서로는 충분히 높은 공간해상도를 얻지 못하는 문제가 있었다.Recently, as the technology of MEMS (Micro Electro Mechanical Systems) is developed, the size of the sensors is getting smaller. However, it has not been able to acquire tactile data having a high spatial resolution such as a human touch. That is, although there has been much effort to acquire tactile data of a high spatial resolution such as the tactile sensation felt by a person, the conventional capacitive sensor, the resistance sensor, and the piezoelectric sensor of the present invention, There was a problem that resolution could not be obtained.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 광원을 이용한 광학적 기법과 CMOS 광 배열(optical array)이 적용된 센서 장치부를 구성함으로써, 카메라와 같은 높은 공간해상도를 갖는 촉감 영상 데이터를 획득할 수 있도록 하는, 광학기반의 초고화질 촉감 영상 획득 장치 및 방법을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods. By constructing a sensor unit to which an optical technique using a light source and a CMOS optical array are applied, And an object of the present invention is to provide an optical-based super-high-quality tactile image acquiring apparatus and method capable of acquiring tactile image data.
또한, 본 발명은, 실리콘 프로브의 내부공간에서 전반사되고 측정 대상물의 접촉에 따른 변형으로 난반사되는 광원을 측정하여 탄성도 영상과 근적외선 영상을 각각 획득하고, 2개의 영상에 대한 영상 정합을 위한 특정 프로그램을 활용하여 탄성도 영상과 근적외선 영상의 정합 처리를 통해 높은 공간해상도를 갖는 촉감 영상 데이터를 생성함으로써, 사람이 느끼는 촉감과 같은 높은 해상도의 촉감 데이터를 얻을 수 있음은 물론, 피부 조직의 특성까지도 측정할 수 있도록 하는, 광학기반의 초고화질 촉감 영상 획득 장치 및 방법을 제공하는 것을 또 다른 목적으로 한다.The present invention also provides a method for acquiring an elasticity image and a near infrared ray image by measuring a light source which is totally reflected in the inner space of a silicon probe and is irregularly reflected by deformation due to contact of an object to be measured, It is possible to obtain high resolution tactile data such as human touch by generating the tactile image data having a high spatial resolution through the matching processing of the elasticity image and the near infrared ray image, And an object of the present invention is to provide an optical-based super-high quality tactile image acquiring apparatus and method.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 광학기반의 초고화질 촉감 영상 획득 장치는,According to an aspect of the present invention, there is provided an apparatus for acquiring an ultrasound image,
실리콘 프로브와, 상기 실리콘 프로브의 내부공간으로 광원이 전반사되도록 주입하는 LED 광원부, 및 상기 LED 광원부에서 조사된 광원이 상기 실리콘 프로브의 내부공간에 갇혀 전반사되는 상태에서 상기 실리콘 프로브가 측정 대상물에 닿아 접촉됨에 따른 변형으로 일어나는 난반사되는 광원을 촬영하는 CMOS 카메라를 포함하는 센서 장치부;An LED light source unit for injecting a light source to be totally reflected to an inner space of the silicon probe, and a light source irradiated from the LED light source unit being trapped in the inner space of the silicon probe, A sensor unit including a CMOS camera for photographing a diffused light source caused by a deformation caused by the deformation of the sensor;
상기 센서 장치부의 CMOS 카메라에서 촬영된 2개의 영상을 입력받아 영상 정합을 위한 특정 알고리즘 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터를 생성하는 제어 장치부; 및A control unit receiving the two images captured by the CMOS camera of the sensor unit and generating tactile image data having a high spatial resolution through specific algorithm processing for image matching; And
상기 제어 장치부에서 처리한 촉감 영상데이터를 출력으로 표시하는 디스플레이를 포함하는 것을 그 구성상의 특징으로 한다.
And a display for displaying the tactile image data processed by the control unit as an output.
바람직하게는, 상기 실리콘 프로브는,Preferably, the silicon probe comprises:
상기 광원을 내부공간에 가둬 놓을 수 있는 정사각형으로 구성되고, 전면으로는 상기 측정 대상물에 닿아 접촉됨에 따라 변형이 일어나는 전면 막을 형성하되, 상기 전면 막은 탄력(elastic)있고 투명하게 구성할 수 있다.
The front surface of the front surface film is elastic and transparent. The front surface of the front surface film is deformed by contacting with the measurement object.
더욱 바람직하게는, 상기 실리콘 프로브는,More preferably, the silicon probe comprises:
상기 내부공간의 후면 측인 상기 CMOS 카메라의 렌즈 전면으로 서로 다른 스티프니스(stiffness)를 가지고 있는 PDMS(Polydimethylsiloxane)의 3계층(3 layer)을 더 포함하여 구성할 수 있다.
And three layers of PDMS (polydimethylsiloxane) having different stiffnesses on the front surface of the CMOS camera which is the rear side of the inner space.
바람직하게는, 상기 LED 광원부는,Preferably, the LED light source unit includes:
상기 실리콘 프로브의 4방향 측면에 배치되어, 탄성도 영상을 획득하기 위해 상기 실리콘 프로브의 내부공간으로 광원을 주입하는 제1 광원부; 및A first light source unit disposed on four sides of the silicon probe for injecting a light source into an inner space of the silicon probe to obtain an elasticity image; And
상기 CMOS 카메라의 렌즈 둘레에 배치되어, 근적외선 영상을 획득하기 위해 상기 실리콘 프로브의 내부공간으로 광원을 주입하는 제2 광원부로 구성할 수 있다.
And a second light source unit disposed around the lens of the CMOS camera for injecting a light source into an inner space of the silicon probe to obtain a near infrared ray image.
더욱 바람직하게는, 상기 LED 광원부는,More preferably, the LED light source unit includes:
상기 제1 광원부의 광원과 상기 제2 광원부의 광원이 서로 직교할 수 있다.
The light source of the first light source unit and the light source of the second light source unit may be orthogonal to each other.
더욱 바람직하게는, 상기 LED 광원부는,More preferably, the LED light source unit includes:
상기 실리콘 프로브의 내부공간으로 조사되는 광원을 650㎚ ~ 1100㎚ 범위의 파장대를 사용하되, 상기 CMOS 카메라의 2회 연속 촬영으로 탄성도 영상 획득을 위한 제1 광원부의 광원과 근적외선 영상 획득을 위한 제2 광원부의 광원의 파장대를 달리하여 상기 CMOS 카메라의 2회 연속 촬영에 맞춰 조사할 수 있다.
A light source for irradiating the inner space of the silicon probe with a wavelength range of 650 nm to 1100 nm is used, and a light source of the first light source for acquiring the elasticity image by the two consecutive photographing of the CMOS camera, It is possible to irradiate the two light sources in accordance with the second successive photographing of the CMOS camera by changing the wavelength range of the light source.
더욱더 바람직하게는, 상기 LED 광원부는,Even more preferably, the LED light source unit includes:
상기 650㎚ ~ 1100㎚ 범위의 파장대 광원 중에서 850㎚와, 930㎚를 광원으로 사용할 수 있다.
Among the wavelength range light sources in the range of 650 nm to 1100 nm, 850 nm and 930 nm can be used as the light source.
바람직하게는, 상기 센서 장치부는,Preferably, the sensor device unit includes:
상기 실리콘 프로브의 4방향 측면으로 상기 LED 광원부의 제1 광원부를 배치하고, 상기 CMOS 카메라의 렌즈 둘레에 상기 LED 광원부의 제2 광원부를 배치하며, 상기 실리콘 프로브의 후단으로 상기 CMOS 카메라가 체결되도록 구성함으로써, 상기 실리콘 프로브와 LED 광원부 및 CMOS 카메라가 일체로 조합된 단일 모듈로 구성할 수 있다.
The first light source unit of the LED light source unit is disposed on the four sides of the silicon probe, the second light source unit of the LED light source unit is disposed around the CMOS camera lens, and the CMOS camera is fastened to the rear end of the silicon probe The LED light source unit and the CMOS camera can be integrally combined into a single module.
더욱 바람직하게는, 상기 제어 장치부는,More preferably, the control device unit,
상기 CMOS 카메라의 2회 연속 촬영으로 입력받은 탄성도 영상 및 근적외선 영상을 정합 처리하여 촉감 영상데이터로 변환 생성하기 위한 특정 알고리즘을 탑재할 수 있다.
It is possible to mount a specific algorithm for converting the elasticity image and the near-infrared image input by the CMOS camera in two consecutive shots into a tactile image data and generating the tactile image data.
더욱더 바람직하게는, 상기 특정 알고리즘은,Even more preferably,
영상 정합을 위한 포인트 등록(point registration)이나, 3D 표면 등록(surface registration) 중 어느 하나의 알고리즘을 사용할 수 있다.
Any one of point registration or surface registration for image registration can be used.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 광학기반의 초고화질 촉감 영상 획득 방법은,According to an aspect of the present invention, there is provided an optical-based super-high quality tactile image acquiring method,
실리콘 프로브와 LED 광원부 및 CMOS 카메라를 포함하는 센서 장치부를 이용한 광학기반의 초고화질 촉감 영상 획득 방법으로서,A method for acquiring an optical base super-high quality tactile image using a sensor device including a silicon probe, an LED light source, and a CMOS camera,
(1) 상기 실리콘 프로브의 내부공간으로 상기 LED 광원부의 광원이 전반사되도록 주입하는 단계;(1) injecting the light source of the LED light source part into the internal space of the silicon probe so as to be totally reflected;
(2) 상기 실리콘 프로브를 측정 대상물에 접촉시킴에 따라 발생하는 변형으로 전반사되던 광원이 난반사되도록 하는 단계;(2) diffusing the light source totally reflected by the deformation caused by bringing the silicon probe into contact with the object to be measured;
(3) 상기 실리콘 프로브에서 난반사되는 광원을 상기 CMOS 카메라를 통해 2회 연속 촬영하여 영상을 획득하는 단계; 및(3) photographing a light source which is irregularly reflected by the silicon probe through the CMOS camera two consecutive times to acquire an image; And
(4) 상기 CMOS 카메라에서 촬영한 2개의 영상을 기반으로 제어 장치부에서 특정 알고리즘을 이용한 영상 정합의 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터를 생성하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
(4) generating tactile image data having a high spatial resolution through processing of image matching using a specific algorithm in a controller unit based on two images taken by the CMOS camera; and do.
바람직하게는, 상기 단계 (1)에서는,Preferably, in the step (1)
(1-1) 상기 측정 대상물의 탄성도 영상을 획득하기 위해 상기 실리콘 프로브의 4방향 측면에 배치되는 LED 광원부의 제1 광원부에서 조사되는 광원을 실리콘 프로브의 내부공간에 전반사되도록 주입하는 단계; 및(1-1) injecting a light source irradiated from the first light source part of the LED light source part arranged on four sides of the silicon probe so as to obtain an elasticity image of the object to be measured, to be totally reflected in the inner space of the silicon probe; And
(1-2) 상기 측정 대상물의 근적외선 영상을 획득하기 위해 상기 CMOS 카메라의 렌즈 둘레에 배치되는 LED 광원부의 제2 광원부에서 조사되는 광원을 실리콘 프로브의 내부공간에 전반사되도록 주입하는 단계를 포함할 수 있다.
(1-2) injecting a light source irradiated from the second light source portion of the LED light source portion disposed around the lens of the CMOS camera to obtain a near-infrared ray image of the measurement object so as to be totally reflected in the inner space of the silicon probe have.
더욱 바람직하게는, 상기 단계 (1)에서는,More preferably, in the step (1)
상기 제1 광원부의 광원 조사를 통해 실리콘 프로브의 내부공간에 전반사되도록 주입하는 단계 (1-1)와, 상기 제2 광원부의 광원 조사를 통해 실리콘 프로브의 내부공간에 전반사되도록 주입하는 단계 (1-2)는 순서에 관계없이 순차로 이루어지도록 할 수 있다.
A step (1-1) of injecting the first light source part so as to be totally reflected in the inner space of the silicon probe through irradiation of a light source, and a step (1) of injecting the second light source part so as to be totally reflected in the inner space of the silicon probe, 2) may be sequentially performed regardless of the order.
더욱 바람직하게는, 상기 제1 광원부 및 제2 광원부는,More preferably, the first light source unit and the second light source unit are arranged such that,
조사되는 광원의 방향이 서로 직교하는 방향으로 이루어지고, 광원의 파장대를 달리할 수 있다.
The directions of the light sources to be irradiated are orthogonal to each other, and the wavelength ranges of the light sources may be different.
더욱더 바람직하게는, 상기 광원의 파장대는,Even more preferably, the wavelength band of the light source is set such that,
650㎚ ~ 1100㎚ 범위의 파장대를 사용할 수 있다.
A wavelength band in the range of 650 nm to 1100 nm can be used.
더더욱 바람직하게는, 상기 광원의 파장대는,Even more preferably, the wavelength band of the light source is a wavelength
상기 650㎚ ~ 1100㎚ 범위의 파장대 광원 중에서 850㎚와, 930㎚를 광원으로 사용할 수 있다.
Among the wavelength range light sources in the range of 650 nm to 1100 nm, 850 nm and 930 nm can be used as the light source.
더욱 바람직하게는, 상기 단계 (2)에서는,More preferably, in the step (2)
(2-1) 상기 단계 (1-1)에서의 제1 광원부의 전반사된 광원을 난반사시키는 단계; 및(2-1) diffusing the totally-reflected light source of the first light source part in the step (1-1); And
(2-2) 상기 단계 (1-2)에서의 제2 광원부의 전반사된 광원을 난반사시키는 단계를 포함할 수 있다.
(2-2) diffusing the totally-reflected light source of the second light source part in the step (1-2).
더욱더 바람직하게는, 상기 단계 (3)에서는,Even more preferably, in the step (3)
상기 CMOS 카메라를 통해 2회 연속 촬영하되,The CMOS camera is used to photograph two consecutive times,
상기 제1 광원부의 난반사된 광원의 촬영된 영상을 탄성도 영상으로 획득하고, 상기 제2 광원부의 난반사된 광원의 촬영된 영상을 근적외선 영상으로 획득할 수 있다.
The photographed image of the irregularly reflecting light source of the first light source unit may be acquired as the elasticity image and the photographed image of the irregularly reflected light source of the second light source unit may be obtained as the near infrared ray image.
바람직하게는, 상기 단계 (4)에서는,Preferably, in the step (4)
상기 제어 장치부에 탑재된 특정 알고리즘을 이용하여 상기 CMOS 카메라로부터 입력받은 2개의 영상인 탄성도 영상과 근적외선 영상의 정합 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터로 변환하여 생성할 수 있다.
It is possible to generate and convert tactile image data having a high spatial resolution by matching processing of the elasticity image and the near infrared ray image, which are two images input from the CMOS camera, using a specific algorithm installed in the control unit.
더욱 바람직하게는, 상기 단계 (4)에서는,More preferably, in the step (4)
상기 특정 알고리즘을 통해 변환하여 생성한 촉감 영상데이터를 디스플레이를 통해 더 표시할 수 있다.
The tactile image data converted and generated through the specific algorithm can be further displayed through the display.
더욱 바람직하게는, 상기 특정 알고리즘은,More preferably, the specific algorithm comprises:
영상 정합을 위한 포인트 등록(point registration)이나, 3D 표면 등록(surface registration) 중 어느 하나의 알고리즘을 사용할 수 있다.Any one of point registration or surface registration for image registration can be used.
본 발명에서 제안하고 있는 광학기반의 초고화질 촉감 영상 획득 장치 및 방법에 따르면, 광원을 이용한 광학적 기법과 CMOS 광 배열(optical array)이 적용된 센서 장치부를 구성함으로써, 카메라와 같은 높은 공간해상도를 갖는 촉감 영상 데이터를 획득할 수 있도록 할 수 있다.
According to the optical-based super-high-quality tactile image acquiring apparatus and method proposed in the present invention, by constructing the optical device using the light source and the sensor device unit using the CMOS optical array, It is possible to acquire image data.
또한, 본 발명에 따르면, 실리콘 프로브의 내부공간에서 전반사되고 측정 대상물의 접촉에 따른 변형으로 난반사되는 광원을 측정하여 탄성도 영상과 근적외선 영상을 각각 획득하고, 2개의 영상에 대한 영상 정합을 위한 특정 프로그램을 활용하여 탄성도 영상과 근적외선 영상의 정합 처리를 통해 높은 공간해상도를 갖는 촉감 영상 데이터를 생성함으로써, 사람이 느끼는 촉감과 같은 높은 해상도의 촉감 데이터를 얻을 수 있음은 물론, 피부 조직의 특성까지도 측정할 수 있도록 할 수 있다.According to the present invention, the elasticity and near infrared rays images are obtained by measuring the light source which is totally reflected in the inner space of the silicon probe and is irregularly reflected by the deformation caused by the contact of the measurement object, By generating the tactile image data having a high spatial resolution through the matching processing of the elasticity image and the near infrared ray image by utilizing the program, it is possible not only to obtain the tactile data of the high resolution such as the tactile sensation felt by a person, It can be measured.
도 1은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치의 전체 구성을 기능블록으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치의 사시도 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치에서, 센서 장치부의 실리콘 프로브에서 전반사되는 과정을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치에서, 센서 장치부의 실리콘 프로브에서 난반사되는 과정을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 방법의 흐름을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 방법에서 광원이 전반사되도록 주입하는 방법의 세부적인 흐름을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 방법에서 광원을 난반사시키는 방법의 세부적인 흐름을 도시한 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a functional block diagram showing an entire configuration of an optical-based superhigh-tactile tactile image acquiring apparatus according to an embodiment of the present invention; FIG.
2 is a perspective view of an optical-based super-high quality tactile image acquiring apparatus according to an embodiment of the present invention.
3 is a view illustrating a process of total reflection in a silicon probe of a sensor device unit in an optical-based super-high-quality tactile image acquisition apparatus according to an embodiment of the present invention.
4 is a view illustrating a process of diffusing reflections in a silicon probe of a sensor device unit in an optical-based super-high-quality tactile image acquisition device according to an embodiment of the present invention.
5 illustrates a flow of an optical-based super-high quality tactile image acquisition method according to an embodiment of the present invention.
6 is a detailed flowchart illustrating a method of injecting a light source so as to be totally reflected in an optical-based super-high quality tactile image acquisition method according to an embodiment of the present invention.
7 is a detailed flowchart illustrating a method of diffusing a light source in an optical-based super-high-quality tactile image obtaining method according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, in order that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In the drawings, like reference numerals are used throughout the drawings.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.
도 1은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치의 전체 구성을 기능블록으로 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치의 사시도 구성을 도시한 도면이다. 도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치는, 센서 장치부(100), 제어 장치부(200), 및 디스플레이(300)를 포함하여 구성될 수 있다.
FIG. 1 is a functional block diagram showing an entire configuration of an optical-based super-high-quality tactile image acquiring apparatus according to an embodiment of the present invention. FIG. 2 is a block diagram of an optical- Fig. 2 is a view showing a perspective view of an acquiring device. 1 and 2, an optical-based super-high-quality tactile image acquisition apparatus according to an embodiment of the present invention includes a
센서 장치부(100)는, 실리콘 프로브(110)와, 실리콘 프로브(110)의 내부공간으로 광원이 전반사되도록 주입하는 LED 광원부(120), 및 LED 광원부(120)에서 조사된 광원이 실리콘 프로브(110)의 내부공간에 갇혀 전반사되는 상태에서 실리콘 프로브(110)가 측정 대상물(10)에 닿아 접촉됨에 따른 변형으로 일어나는 난반사되는 광원을 촬영하는 CMOS(Complementary metal-oxide semiconductor) 카메라(130)를 포함할 수 있다.
The
여기서, 실리콘 프로브(110)는 도 2에 도시된 바와 같이, 광원을 내부공간에 가둬 놓을 수 있는 정사각형으로 구성되고, 전면으로는 측정 대상물(10)(도 4 참조)에 닿아 접촉됨에 따라 변형이 일어나는 전면 막(111)을 형성하되, 전면 막(111)은 탄력(elastic)있고 투명하게 구성할 수 있다. 이러한 실리콘 프로브(110)는 도 2에 도시된 바와 같이, 내부공간의 후면 측인 CMOS 카메라(130)의 렌즈 전면으로 서로 다른 스티프니스(stiffness)를 가지고 있는 PDMS(112)의 3계층(3 layer)을 더 포함하여 구성할 수 있다. 통상적으로 사람의 피부는 3개의 층으로 구성된다. 즉, 진피(dermis)와, 표피(epidermis), 및 피하지방(subcutaneous)으로 구성되고, 그래서 민감도가 상당히 높게 된다. 이와 같이 3개의 층을 구성하기 위해 실리콘 프로브(110)는 서로 다른 스티프니스를 가지고 있는 폴리디메틸실록산(PDMS)의 레이어(layer) 3개를 구성한다.
As shown in FIG. 2, the
LED 광원부(120)는, 실리콘 프로브(110)의 4방향 측면에 배치되어, 탄성도 영상을 획득하기 위해 실리콘 프로브(110)의 내부공간으로 광원을 주입하는 제1 광원부(121)와, CMOS 카메라(130)의 렌즈 둘레에 배치되어, 근적외선 영상을 획득하기 위해 실리콘 프로브(110)의 내부공간으로 광원을 주입하는 제2 광원부(122)로 구성할 수 있다. 이때, LED 광원부(120)는 제1 광원부(121)의 광원과 제2 광원부(122)의 광원이 서로 직교한다. 그리고 LED 광원부(120)는 실리콘 프로브(110)의 내부공간으로 조사되는 광원을 650㎚ ~ 1100㎚ 범위의 파장대를 사용하되, CMOS 카메라(130)의 2회 연속 촬영으로 탄성도 영상 획득을 위한 제1 광원부(121)의 광원과 근적외선 영상 획득을 위한 제2 광원부(122)의 광원의 파장대를 달리하여 CMOS 카메라(130)의 2회 연속 촬영에 맞춰 조사할 수 있다. 여기서, LED 광원부(120)는 650㎚ ~ 1100㎚ 범위의 파장대 광원 중에서 850㎚와, 930㎚를 광원으로 사용함이 바람직하며, 이는 영상 획득을 위해 가장 우수한 성능을 보이기 때문이다. 한편, LED 광원부(120)는 실리콘 프로브(110)의 형상에 따라 8방향으로 측면에 배치될 수도 있으며, 이는 실리콘 프로브(110)의 형상이 8각 형상인 경우에 적용되는 것으로 LED 광원부(120)는 실리콘 프로브(110)의 형상에 대응하는 구성으로 이루어질 수 있다.
The LED
상기와 같은 센서 장치부(100)는 실리콘 프로브(110)의 4방향 측면으로 LED 광원부(120)의 제1 광원부(121)를 배치하고, CMOS 카메라(130)의 렌즈 둘레에 LED 광원부(120)의 제2 광원부(122)를 배치하며, 실리콘 프로브(110)의 후단으로 CMOS 카메라(130)가 체결되도록 구성함으로써, 도 2에 도시된 바와 같이 실리콘 프로브(110)와 LED 광원부(120) 및 CMOS 카메라(130)가 일체로 조합된 단일 모듈로 구성할 수 있다.
The
제어 장치부(200)는, 센서 장치부(100)의 CMOS 카메라(130)에서 촬영된 2개의 영상을 입력받아 영상 정합을 위한 특정 알고리즘 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터를 생성하는 역할을 한다. 이러한 제어 장치부(200)는 퍼스널 컴퓨터(PC) 또는 노트북의 형태로 구성될 수 있으며, 전기적으로 연결 접속되는 CMOS 카메라(130)의 2회 연속 촬영으로 입력받은 탄성도 영상 및 근적외선 영상을 정합 처리하여 촉감 영상데이터로 변환 생성하기 위한 특정 알고리즘을 탑재하며, 여기서 특정 알고리즘은 영상 정합을 위한 포인트 등록(point registration)이나, 3D 표면 등록(surface registration) 중 어느 하나의 알고리즘을 사용할 수 있다. 또한 프로그램으로는 MATLAB, C++ 등이 사용될 수 있다.
The
도 3은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치에서, 센서 장치부의 실리콘 프로브에서 전반사되는 과정을 설명하기 위해 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치에서, 센서 장치부의 실리콘 프로브에서 난반사되는 과정을 설명하기 위해 도시한 도면이다. 도 3 및 도 4는 탄성도 영상을 위한 광원의 전반사와 난반사되는 과정을 일례로 나타내며, 근적외선 영상을 위한 광원의 전반사와 난반사되는 과정은 생략되어 있으나, CMOS 카메라(130)의 렌즈 둘레에 배치되는 제2 광원부(122)의 광원으로 전반사와 난반사를 발생시킬 수 있다. 도 3은 실리콘 프로브(110)의 4방향 측면에 배치되어 있는 제1 광원부(121)의 광원을 조사하여 탄성도 영상을 획득하기 위해 실리콘 프로브(110)의 내부공간으로 광원을 주입함으로써, 주사된 광원을 전반사시키게 되고, 이러한 상태에서 도 4에 도시된 바와 같이 실리콘 프로브(110)의 전면 막(111)을 측정 대상물(10)에 닿아 변형되도록 함으로써, 전면 막(111)의 변형이 일어나게 되고, 실리콘 프로브(110)의 내부공간에서 전반사되던 광원이 난반사를 일으키게 된다.
FIG. 3 is a view illustrating a process of total reflection in a silicon probe of a sensor device unit in an optical-based super-high-quality tactile image acquiring apparatus according to an embodiment of the present invention, and FIG. FIG. 3 is a view illustrating a process of diffusing reflections in a silicon probe of a sensor device unit in an optical-based super-high-quality tactile image acquiring apparatus according to the present invention. 3 and 4 illustrate a total reflection and diffuse reflection process of the light source for the elasticity image, and the total reflection and diffusing process of the light source for the near-infrared image are omitted, but they are arranged around the lens of the
도 5는 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 방법의 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 방법은, 실리콘 프로브(110)의 내부공간으로 광원이 전반사되도록 주입하는 단계(S100), 실리콘 프로브(110)를 측정 대상물(10)에 접촉시킴에 따라 발생하는 변형으로 전반사되던 광원이 난반사되도록 하는 단계(S200), 실리콘 프로브(110)에서 난반사되는 광원을 CMOS 카메라(130)를 통해 2회 연속 촬영하여 영상을 획득하는 단계(S300), 및 CMOS 카메라(130)에서 촬영한 2개의 영상을 기반으로 제어 장치부(200)에서 특정 알고리즘을 이용한 영상 정합의 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터를 생성하는 단계(S400)를 포함하여 구현될 수 있다.
5 is a flowchart illustrating an optical-based super-high-quality tactile image acquisition method according to an embodiment of the present invention. 5, an optical-based superhigh-tactile tactile image acquisition method according to an embodiment of the present invention includes injecting a light source to be totally reflected into an internal space of a silicon probe 110 (S100), a silicon probe A step S200 of diffusing the light source which has been totally reflected by the deformation caused by contacting the
단계 S100에서는, 실리콘 프로브(110)와 LED 광원부(120) 및 CMOS 카메라(130)를 포함하는 센서 장치부(100)를 이용한 광학기반의 초고화질 촉감 영상 획득 방법에서, 실리콘 프로브(110)의 내부공간으로 LED 광원부(120)의 광원이 전반사되도록 주입한다.
In step S100, in the optical-based super-high quality tactile image acquisition method using the
도 6은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 방법에서 광원이 전반사되도록 주입하는 방법의 세부적인 흐름을 도시한 도면이다. 도 6에 도시된 바와 같이, 단계 S100에서는 측정 대상물(10)의 탄성도 영상을 획득하기 위해 실리콘 프로브(110)의 4방향 측면에 배치되는 LED 광원부(120)의 제1 광원부(121)에서 조사되는 광원을 실리콘 프로브(110)의 내부공간에 전반사되도록 주입하고(S110), 측정 대상물(10)의 근적외선 영상을 획득하기 위해 CMOS 카메라(130)의 렌즈 둘레에 배치되는 LED 광원부(120)의 제2 광원부(122)에서 조사되는 광원을 실리콘 프로브(110)의 내부공간에 전반사되도록 주입한다(S120). 여기서, 단계 S100에서는 제1 광원부(121)의 광원 조사를 통해 실리콘 프로브(110)의 내부공간에 전반사되도록 주입하는 단계 S110와, 제2 광원부(122)의 광원 조사를 통해 실리콘 프로브(110)의 내부공간에 전반사되도록 주입하는 단계 S120는 순서에 관계없이 순차로 이루어지도록 한다. 이때, 제1 광원부(121) 및 제2 광원부(122)는 조사되는 광원의 방향이 서로 직교하는 방향으로 이루어지고, 광원의 파장대를 달리한다. 이러한 광원의 파장대는 650㎚ ~ 1100㎚ 범위의 파장대를 사용할 수 있으며, 광원의 파장대는 650㎚ ~ 1100㎚ 범위의 파장대 광원 중에서 850㎚와, 930㎚를 광원으로 사용함이 바람직하다.
FIG. 6 is a flowchart illustrating a method of injecting a light source so as to be totally reflected in an optical-based super-high-quality tactile image acquisition method according to an embodiment of the present invention. 6, in step S100, the first
단계 S200에서는, 실리콘 프로브(110)를 측정 대상물(10)에 접촉시킴에 따라 발생하는 변형으로 전반사되던 광원이 난반사되도록 한다.
In step S200, the light source that has been totally reflected by the deformation that occurs when the
도 7은 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 방법에서 광원을 난반사시키는 방법의 세부적인 흐름을 도시한 도면이다. 도 7에 도시된 바와 같이, 단계 S200에서는 단계 S110에서의 제1 광원부(121)의 전반사된 광원을 난반사시키는 단계 S210와, 단계 S120에서의 제2 광원부(122)의 전반사된 광원을 난반사시키는 단계 S220를 포함한다.
7 is a detailed flowchart illustrating a method of diffusing a light source in an optical-based super-high-quality tactile image obtaining method according to an embodiment of the present invention. 7, in step S200, a step S210 of diffusing the totally-reflected light source of the first
단계 S300에서는, 실리콘 프로브(110)에서 난반사되는 광원을 CMOS 카메라(130)를 통해 2회 연속 촬영하여 영상을 획득한다. 이러한 단계 S300에서는 CMOS 카메라(130)를 통해 2회 연속 촬영하되, 제1 광원부(121)의 난반사된 광원의 촬영된 영상을 탄성도 영상으로 획득하고, 제2 광원부(122)의 난반사된 광원의 촬영된 영상을 근적외선 영상으로 획득할 수 있다.
In step S300, a light source that is irregularly reflected by the
단계 S400에서는, CMOS 카메라(130)에서 촬영한 2개의 영상을 기반으로 제어 장치부(200)에서 특정 알고리즘을 이용한 영상 정합의 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터를 생성한다. 즉, 단계 S400에서는, 제어 장치부(200)에 탑재된 특정 알고리즘을 이용하여 CMOS 카메라(130)로부터 입력받은 2개의 영상인 탄성도 영상과 근적외선 영상의 정합 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터로 변환하여 생성하는 역할을 한다. 이러한 단계 S400에서는 특정 알고리즘을 통해 변환하여 생성한 촉감 영상데이터를 디스플레이(300)를 통해 더 표시할 수 있으며, 특정 알고리즘은 영상 정합을 위한 포인트 등록(point registration)이나, 3D 표면 등록(surface registration) 중 어느 하나의 알고리즘을 사용할 수 있다.
In step S400, the
상술한 바와 같이, 본 발명의 일실시예에 따른 광학기반의 초고화질 촉감 영상 획득 장치 및 방법은, 투명한 실리콘 프로브(110)의 내부공간으로 광원이 전반사되도록 주입하고, 광원이 전반사되면 광원을 실리콘 프로브(110)의 내부공간에 가두게 된다. 이 상태에서 실리콘 프로브(110)에 측정 대상물(10)이 닿으면 실리콘 프로브(110)의 전면 막(111)이 변형을 일으키고, 그에 따라 실리콘 프로브(110)의 내부공간에서 전반사되던 광원이 난반사를 일으키게 된다. 이와 같이 난반사되는 광원을 CMOS 카메라(130)를 통해 영상으로 획득하게 됨으로써 촉감을 영상화한다. 즉, 광원의 파장대에 따라 두 가지의 영상을 획득할 수 있다. 하나는 탄성도 영상(가시광선 영역의 영상)과 또 하나는 근적외선 영상이며, 이때의 근적외선 영상을 통해 조직의 총 헤모글로빈을 측정할 수 있기 때문에 두 가지의 영상인 탄성도 영상과 근적외선 영상을 모두 획득해 영상 정합하면 조직의 특성까지도 측정할 수 있게 된다. 즉, 본 발명은 사람이 느끼는 촉감과 같은 높은 공간해상도의 촉감 영상 데이터의 생성이 가능하게 된다.
As described above, an apparatus and method for acquiring an optical-based superhigh-tactile tactile image according to an embodiment of the present invention include injecting a light source to be totally reflected into an inner space of a
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics of the invention.
100: 센서 장치부 110: 실리콘 프로브
111: 전면 막 112: PDMS
120: LED 광원부 121: 제1 광원부
122: 제2 광원부 130: CMOS 카메라
200: 제어 장치부 300: 디스플레이
S100: 실리콘 프로브의 내부공간으로 LED 광원부의 광원이 전반사되도록 주입하는 단계
S110: 측정 대상물의 탄성도 영상을 획득하기 위해 실리콘 프로브의 4방향 측면에 배치되는 LED 광원부의 제1 광원부에서 조사되는 광원을 실리콘 프로브의 내부공간에 전반사되도록 주입하는 단계
S120: 측정 대상물의 근적외선 영상을 획득하기 위해 CMOS 카메라의 렌즈 둘레에 배치되는 LED 광원부의 제2 광원부에서 조사되는 광원을 실리콘 프로브의 내부공간에 전반사되도록 주입하는 단계
S200: 실리콘 프로브를 측정 대상물에 접촉시킴에 따라 발생하는 변형으로 전반사되던 광원이 난반사되도록 하는 단계
S210: 단계 S110에서의 제1 광원부의 전반사된 광원을 난반사시키는 단계 S220: 단계 S120에서의 제2 광원부의 전반사된 광원을 난반사시키는 단계
S300: 실리콘 프로브에서 난반사되는 광원을 CMOS 카메라를 통해 2회 연속 촬영하여 영상을 획득하는 단계
S400: CMOS 카메라에서 촬영한 2개의 영상을 기반으로 제어 장치부에서 특정 알고리즘을 이용한 영상 정합의 처리를 통해 높은 공간해상도를 갖는 촉감 영상데이터를 생성하는 단계100: sensor device unit 110: silicon probe
111: Front film 112: PDMS
120: LED light source unit 121: first light source unit
122: second light source unit 130: CMOS camera
200: control unit 300: display
S100: a step of injecting the light source of the LED light source part into the internal space of the silicon probe so as to be totally reflected
S110: injecting the light source irradiated from the first light source part of the LED light source part arranged on the four-directional side of the silicon probe to obtain the elasticity image of the measurement object to be totally reflected in the inner space of the silicon probe
S120: injecting the light source irradiated from the second light source part of the LED light source part disposed around the lens of the CMOS camera to obtain a near infrared ray image of the measurement object so as to be totally reflected in the inner space of the silicon probe
S200: a step of diffusing the light source which has been totally reflected by deformation caused by bringing the silicon probe into contact with the measurement object
S210: diffusing the totally-reflected light source of the first light source part in step S110 S220: diffusing the totally-reflected light source of the second light source part in step S120
S300: A step of acquiring images by photographing the diffused light source in a silicon probe twice in succession through a CMOS camera
S400: generating tactile image data having a high spatial resolution through processing of image matching using a specific algorithm in the control unit based on two images taken by the CMOS camera
Claims (21)
상기 센서 장치부(100)의 CMOS 카메라(130)에서 촬영된 2개의 영상을 입력받아 영상 정합을 위한 특정 알고리즘 처리를 통해 촉감 영상데이터를 생성하는 제어 장치부(200); 및
상기 제어 장치부(200)에서 처리한 촉감 영상데이터를 출력으로 표시하는 디스플레이(300)를 포함하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
An LED light source unit 120 for injecting a light source to be totally reflected to the inner space of the silicon probe 110 and a light source irradiated from the LED light source unit 120 to the inner space of the silicon probe 110, And a CMOS camera (130) for capturing an irregularly reflected light source caused by a deformation of the silicon probe (110) in contact with the measurement object (10) in a state of being totally trapped by the sensor unit (100).
A control unit 200 for receiving the two images captured by the CMOS camera 130 of the sensor device unit 100 and generating tactile image data through a specific algorithm process for image matching; And
And a display (300) for displaying the tactile image data processed by the control unit (200) as an output.
상기 광원을 내부공간에 가둬 놓을 수 있는 정사각형으로 구성되고, 전면으로는 상기 측정 대상물(10)에 닿아 접촉됨에 따라 변형이 일어나는 전면 막(111)을 형성하되, 상기 전면 막(111)은 탄력(elastic)있고 투명하게 구성하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
The method of claim 1, wherein the silicon probe (110)
The front face film 111 is formed of a square capable of holding the light source in an inner space and has a front face formed with a deformation due to contact with the measurement object 10, elastic, and transparent, respectively.
상기 내부공간의 후면 측인 상기 CMOS 카메라(130)의 렌즈 전면으로 서로 다른 스티프니스(stiffness)를 가지고 있는 PDMS(112)의 3계층(3 layer)을 더 포함하여 구성하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
The method of claim 2, wherein the silicon probe (110)
(3 layers) of the PDMS (112) having different stiffnesses on the front surface of the CMOS camera (130), which is the rear side of the inner space, Ultra - high quality tactile image acquisition device.
상기 실리콘 프로브(110)의 4방향 측면에 배치되어, 탄성도 영상을 획득하기 위해 상기 실리콘 프로브(110)의 내부공간으로 광원을 주입하는 제1 광원부(121); 및
상기 CMOS 카메라(130)의 렌즈 둘레에 배치되어, 근적외선 영상을 획득하기 위해 상기 실리콘 프로브(110)의 내부공간으로 광원을 주입하는 제2 광원부(122)로 구성하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
The LED lighting apparatus according to claim 1, wherein the LED light source unit (120)
A first light source unit 121 disposed on four sides of the silicon probe 110 to inject a light source into an inner space of the silicon probe 110 to obtain an elasticity image; And
And a second light source unit (122) disposed around the lens of the CMOS camera (130) for injecting a light source into an inner space of the silicon probe (110) to obtain a near infrared ray image. Ultra - high quality tactile image acquisition device.
상기 제1 광원부(121)의 광원과 상기 제2 광원부(122)의 광원이 서로 직교하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
5. The LED lamp according to claim 4, wherein the LED light source unit (120)
Wherein the light source of the first light source unit (121) and the light source of the second light source unit (122) are orthogonal to each other.
상기 실리콘 프로브(110)의 내부공간으로 조사되는 광원을 650㎚ ~ 1100㎚ 범위의 파장대를 사용하되, 상기 CMOS 카메라(130)의 2회 연속 촬영으로 탄성도 영상 획득을 위한 제1 광원부(121)의 광원과 근적외선 영상 획득을 위한 제2 광원부(122)의 광원의 파장대를 달리하여 상기 CMOS 카메라(130)의 2회 연속 촬영에 맞춰 조사하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
5. The LED lamp according to claim 4, wherein the LED light source unit (120)
A first light source unit 121 for obtaining an elasticity image by two consecutive photographing operations of the CMOS camera 130 uses a light source irradiated to the inner space of the silicon probe 110 in a wavelength range of 650 nm to 1100 nm, And the light source of the second light source unit (122) for obtaining the near-infrared ray image is irradiated in accordance with the second successive photographing of the CMOS camera (130) by changing the wavelength range of the light source of the second light source unit .
상기 650㎚ ~ 1100㎚ 범위의 파장대 광원 중에서 850㎚와, 930㎚를 광원으로 사용하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
The LED light source according to claim 6, wherein the LED light source unit (120)
Wherein the light source uses 850 nm and 930 nm as the light source in the wavelength range of 650 nm to 1100 nm.
상기 실리콘 프로브(110)의 4방향 측면으로 상기 LED 광원부(120)의 제1 광원부(121)를 배치하고, 상기 CMOS 카메라(130)의 렌즈 둘레에 상기 LED 광원부(120)의 제2 광원부(122)를 배치하며, 상기 실리콘 프로브(110)의 후단으로 상기 CMOS 카메라(130)가 체결되도록 구성함으로써, 상기 실리콘 프로브(110)와 LED 광원부(120) 및 CMOS 카메라(130)가 일체로 조합된 단일 모듈로 구성하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
8. The sensor device (100) according to any one of claims 1 to 7,
The first light source unit 121 of the LED light source unit 120 is disposed at four sides of the silicon probe 110 and the second light source unit 122 of the LED light source unit 120 is disposed around the CMOS camera 130 And the CMOS camera 130 is fastened to the rear end of the silicon probe 110 so that the LED probe 120 and the CMOS camera 130 are integrally combined Modulated ultrasound tactile image acquiring device.
상기 CMOS 카메라(130)의 2회 연속 촬영으로 입력받은 탄성도 영상 및 근적외선 영상을 정합 처리하여 촉감 영상데이터로 변환 생성하기 위한 특정 알고리즘을 탑재하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
9. The apparatus according to claim 8, wherein the control unit (200)
Characterized in that a specific algorithm for converting the elasticity image and the near infrared ray image input by two consecutive photographing operations of the CMOS camera (130) into a tactile image data for conversion and generation is mounted. Device.
영상 정합을 위한 포인트 등록(point registration)이나, 3D 표면 등록(surface registration) 중 어느 하나의 알고리즘을 사용하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 장치.
10. The method of claim 9,
Characterized in that any one of point registration for image registration and surface registration is used. ≪ RTI ID = 0.0 > 11. < / RTI >
(1) 상기 실리콘 프로브(110)의 내부공간으로 상기 LED 광원부(120)의 광원이 전반사되도록 주입하는 단계;
(2) 상기 실리콘 프로브(110)를 측정 대상물(10)에 접촉시킴에 따라 발생하는 변형으로 전반사되던 광원이 난반사되도록 하는 단계;
(3) 상기 실리콘 프로브(110)에서 난반사되는 광원을 상기 CMOS 카메라(130)를 통해 2회 연속 촬영하여 영상을 획득하는 단계; 및
(4) 상기 CMOS 카메라(130)에서 촬영한 2개의 영상을 기반으로 제어 장치부(200)에서 특정 알고리즘을 이용한 영상 정합의 처리를 통해 촉감 영상데이터를 생성하는 단계를 포함하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
A method for acquiring an optical base super-high quality tactile image using a sensor device (100) including a silicon probe (110), an LED light source (120), and a CMOS camera (130)
(1) injecting the light source of the LED light source unit 120 into the internal space of the silicon probe 110 to be totally reflected;
(2) diffusing the light source that has been totally reflected by deformation caused by bringing the silicon probe 110 into contact with the measurement object 10;
(3) photographing a light source, which is irregularly reflected by the silicon probe 110, through the CMOS camera 130 two consecutive times to acquire an image; And
(4) generating tactile image data through image matching processing using a specific algorithm in the controller unit 200 based on the two images taken by the CMOS camera 130; Optical - based ultra - high quality tactile image acquisition method.
(1-1) 상기 측정 대상물(10)의 탄성도 영상을 획득하기 위해 상기 실리콘 프로브(110)의 4방향 측면에 배치되는 LED 광원부(120)의 제1 광원부(121)에서 조사되는 광원을 실리콘 프로브(110)의 내부공간에 전반사되도록 주입하는 단계; 및
(1-2) 상기 측정 대상물(10)의 근적외선 영상을 획득하기 위해 상기 CMOS 카메라(130)의 렌즈 둘레에 배치되는 LED 광원부(120)의 제2 광원부(122)에서 조사되는 광원을 실리콘 프로브(110)의 내부공간에 전반사되도록 주입하는 단계를 포함하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
12. The method according to claim 11, wherein in the step (1)
(1-1) A light source irradiated from the first light source unit 121 of the LED light source unit 120 disposed on four sides of the silicon probe 110 in order to obtain an elasticity image of the measurement object 10, Implanting the probe into the internal space of the probe (110) so as to be totally reflected; And
(1-2) The light source irradiated from the second light source part 122 of the LED light source part 120 disposed around the lens of the CMOS camera 130 to obtain the near-infrared ray image of the measurement object 10 is referred to as a silicon probe 110) to the total internal space of the tactile display device (100).
상기 제1 광원부(121)의 광원 조사를 통해 실리콘 프로브(110)의 내부공간에 전반사되도록 주입하는 단계 (1-1)와, 상기 제2 광원부(122)의 광원 조사를 통해 실리콘 프로브(110)의 내부공간에 전반사되도록 주입하는 단계 (1-2)는 순서에 관계없이 순차로 이루어지는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
13. The method according to claim 12, wherein in the step (1)
(1-1) of injecting the first light source part (121) so as to be totally reflected in the inner space of the silicon probe (110) through a light source irradiation, Wherein the step (1-2) of injecting the light into the internal space of the light source in a total reflection mode is performed sequentially, irrespective of the order.
조사되는 광원의 방향이 서로 직교하는 방향으로 이루어지고, 광원의 파장대를 달리하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
13. The apparatus according to claim 12, wherein the first light source unit (121) and the second light source unit (122)
Wherein the direction of the irradiated light source is orthogonal to each other, and the wavelength band of the light source is different.
650㎚ ~ 1100㎚ 범위의 파장대를 사용하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
15. The light source according to claim 14,
Characterized in that a wavelength band in the range of 650 nm to 1100 nm is used.
상기 650㎚ ~ 1100㎚ 범위의 파장대 광원 중에서 850㎚와, 930㎚를 광원으로 사용하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
16. The light source according to claim 15,
Wherein the light source uses 850 nm and 930 nm as the light source in the wavelength range of 650 nm to 1100 nm.
(2-1) 상기 단계 (1-1)에서의 제1 광원부(121)의 전반사된 광원을 난반사시키는 단계; 및
(2-2) 상기 단계 (1-2)에서의 제2 광원부(122)의 전반사된 광원을 난반사시키는 단계를 포함하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
13. The method according to claim 12, wherein in the step (2)
(2-1) diffusing the totally-reflected light source of the first light source unit 121 in the step (1-1); And
(2-2) diffusing the totally-reflected light source of the second light source part (122) in the step (1-2).
상기 CMOS 카메라(130)를 통해 2회 연속 촬영하되,
상기 제1 광원부(121)의 난반사된 광원의 촬영된 영상을 탄성도 영상으로 획득하고, 상기 제2 광원부(122)의 난반사된 광원의 촬영된 영상을 근적외선 영상으로 획득하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
18. The method of claim 17, wherein in step (3)
The CMOS camera 130 photographs two consecutive times,
Characterized in that an image obtained by the irregularly reflecting light source of the first light source unit (121) is obtained as an elasticity image, and a photographed image of the irregularly reflected light source of the second light source unit (122) Based ultrasound tactile image acquisition method.
상기 제어 장치부(200)에 탑재된 특정 알고리즘을 이용하여 상기 CMOS 카메라(130)로부터 입력받은 2개의 영상인 탄성도 영상과 근적외선 영상을 정합 처리하여, 정전용량 방식, 저항 방식 또는 압전 방식의 촉감 센서의 출력 데이터보다 높은 공간해상도를 갖는 촉감 영상데이터로 변환하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
19. The method according to any one of claims 11 to 18, wherein in the step (4)
An elasticity image and a near infrared ray image, which are the two images input from the CMOS camera 130, are matched to each other using a specific algorithm installed in the control unit 200, And converting the tactile image data into tactile image data having a spatial resolution higher than output data of the sensor.
상기 특정 알고리즘을 통해 변환하여 생성한 촉감 영상데이터를 디스플레이(300)를 통해 더 표시하는 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.
20. The method of claim 19, wherein in step (4)
Wherein the tactile image data converted and generated through the specific algorithm is further displayed through the display (300).
영상 정합을 위한 포인트 등록(point registration)이나, 3D 표면 등록(surface registration) 중 어느 하나의 알고리즘인 것을 특징으로 하는, 광학기반의 초고화질 촉감 영상 획득 방법.20. The method of claim 19,
Wherein the algorithm is one of point registration for surface registration or surface registration for image registration.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130069463A KR101490126B1 (en) | 2013-06-18 | 2013-06-18 | Optical based high resolution tactile sensation imaging system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130069463A KR101490126B1 (en) | 2013-06-18 | 2013-06-18 | Optical based high resolution tactile sensation imaging system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140146773A KR20140146773A (en) | 2014-12-29 |
KR101490126B1 true KR101490126B1 (en) | 2015-02-05 |
Family
ID=52590344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR20130069463A KR101490126B1 (en) | 2013-06-18 | 2013-06-18 | Optical based high resolution tactile sensation imaging system and method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101490126B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11457815B2 (en) | 2017-07-28 | 2022-10-04 | Temple University—Of the Commonwealth System of Higher Education | Mobile-platform compression-induced imaging for subsurface and surface object characterization |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004509345A (en) | 2000-09-20 | 2004-03-25 | ベルス・メステヒニーク・ゲーエムベーハー | Apparatus and method for performing optical tactile measurement of a structure |
JP2009285204A (en) | 2008-05-29 | 2009-12-10 | Hoya Corp | Endoscope treatment tool |
JP4503412B2 (en) * | 2004-10-05 | 2010-07-14 | 独立行政法人産業技術総合研究所 | Tactile sensor and tactile sensor device |
JP2011203270A (en) | 2011-06-14 | 2011-10-13 | Institute Of Physical & Chemical Research | Fine surface shape measuring probe |
-
2013
- 2013-06-18 KR KR20130069463A patent/KR101490126B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004509345A (en) | 2000-09-20 | 2004-03-25 | ベルス・メステヒニーク・ゲーエムベーハー | Apparatus and method for performing optical tactile measurement of a structure |
JP4503412B2 (en) * | 2004-10-05 | 2010-07-14 | 独立行政法人産業技術総合研究所 | Tactile sensor and tactile sensor device |
JP2009285204A (en) | 2008-05-29 | 2009-12-10 | Hoya Corp | Endoscope treatment tool |
JP2011203270A (en) | 2011-06-14 | 2011-10-13 | Institute Of Physical & Chemical Research | Fine surface shape measuring probe |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11457815B2 (en) | 2017-07-28 | 2022-10-04 | Temple University—Of the Commonwealth System of Higher Education | Mobile-platform compression-induced imaging for subsurface and surface object characterization |
US11940650B2 (en) | 2017-07-28 | 2024-03-26 | Temple University—Of the Commonwealth System of Higher Education | Mobile-platform compression-induced imaging for subsurface and surface object characterization |
Also Published As
Publication number | Publication date |
---|---|
KR20140146773A (en) | 2014-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10722211B2 (en) | Acoustic-wave measuring apparatus and method | |
EP3549064A1 (en) | On-lcd screen optical fingerprint sensing based on optical imaging with lens-pinhole module and other optical designs | |
TWI572331B (en) | Rotation type optical fault scanner | |
US10321826B2 (en) | Optical dynamic imaging system | |
CN111465345B (en) | Skin sensor | |
CN102670177B (en) | Skin optical diagnosis device and operation method thereof | |
TW201813333A (en) | Layered sensing including RF-acoustic imaging | |
Lee et al. | High-resolution tactile imaging sensor using total internal reflection and nonrigid pattern matching algorithm | |
US20160150976A1 (en) | High-resolution thermal imaging system, apparatus, method and computer accessible medium | |
US20150043003A1 (en) | Optical coherence tomography and control method for the same | |
WO2009069451A1 (en) | Eyeball motion measurement apparatus | |
US10842422B2 (en) | Compact low-cost fiberless diffuse speckle contrast flow-oximeter | |
US20150150458A1 (en) | Imaging interfaces for full finger and full hand optical tomography | |
KR101490126B1 (en) | Optical based high resolution tactile sensation imaging system and method | |
CN105310697B (en) | Measure the method and device of blood oxygen saturation | |
TWI687200B (en) | Optical pulse image measuring device and method for analyzing change of pulse waveform | |
Das et al. | A compact structured light based otoscope for three dimensional imaging of the tympanic membrane | |
JP2007029706A (en) | Algorithm for rebuilding 1d information into 2d information and 1d skin pattern sensing module thereof | |
JP6100322B2 (en) | Acoustic wave measuring apparatus and acoustic wave measuring method | |
JP5774159B2 (en) | Acoustic wave measuring apparatus and acoustic wave measuring method | |
Kaile et al. | Low-cost smartphone based imaging device to detect subsurface tissue oxygenation of wounds | |
JP6297184B2 (en) | Acoustic wave measuring apparatus and acoustic wave measuring method | |
JP6480769B2 (en) | Imaging device, imaging system, and support member used in imaging device | |
Wortman et al. | LesionAir: An automated, low-cost vision-based skin cancer diagnostic tool | |
Kundu et al. | Imaging the superficial vascular structure for mapping and identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190122 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20200108 Year of fee payment: 6 |