KR20100041219A - Using method and laser robot with vision system - Google Patents
Using method and laser robot with vision system Download PDFInfo
- Publication number
- KR20100041219A KR20100041219A KR1020080100287A KR20080100287A KR20100041219A KR 20100041219 A KR20100041219 A KR 20100041219A KR 1020080100287 A KR1020080100287 A KR 1020080100287A KR 20080100287 A KR20080100287 A KR 20080100287A KR 20100041219 A KR20100041219 A KR 20100041219A
- Authority
- KR
- South Korea
- Prior art keywords
- laser
- robot
- affected part
- affected
- vision
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/06—Radiation therapy using light
- A61N5/0613—Apparatus adapted for a specific treatment
- A61N5/0616—Skin treatment other than tanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
- A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
- A61B18/203—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser applying laser energy to the outside of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B2018/00053—Mechanical features of the instrument of device
- A61B2018/0016—Energy applicators arranged in a two- or three dimensional array
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B2018/00315—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
- A61B2018/00452—Skin
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B2018/00315—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
- A61B2018/00452—Skin
- A61B2018/00458—Deeper parts of the skin, e.g. treatment of vascular disorders or port wine stains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/06—Radiation therapy using light
- A61N2005/0626—Monitoring, verifying, controlling systems and methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/06—Radiation therapy using light
- A61N2005/0635—Radiation therapy using light characterised by the body area to be irradiated
- A61N2005/0643—Applicators, probes irradiating specific body areas in close proximity
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Dermatology (AREA)
- Radiology & Medical Imaging (AREA)
- Electromagnetism (AREA)
- Otolaryngology (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Abstract
Description
본 발명은 레이저를 주사하는 로봇에 비전 시스템을 이용하여 사용자의 인위적인 도움없이 계속적으로 환부를 인식하여 레이저로 환부를 제거하는 비전시스템을 이용한 레이저 로봇 및 그 레이저 로봇의 이용방법에 대한 것이다. 보다 자세하게는 비전 시스템의 비전 센서부에서 촬영된 영상정보를 기초로 영상처리부에서 제어 입력값을 결정하여 로봇시스템의 레이저 주사장치가 정확히 환부위치에 레이저를 주사하여 환부를 제거할 수 있는 레이저 로봇 및 그 레이저 로봇을 이용하는 방법에 대한 것이다. The present invention relates to a laser robot and a method of using the laser robot using a vision system that continuously recognizes the affected area and removes the affected area with a laser without using a user's artificial help. More specifically, the laser robot that can determine the control input value in the image processing unit based on the image information captured by the vision sensor unit of the vision system, the laser scanning device of the robot system can accurately remove the affected area by scanning the laser to the affected position; It is about how to use the laser robot.
현재 피부를 치료하는 경우, 사용자가 환부의 위치를 인지하여 레이저를 주사하고 있다. 피부 치료에 사용되는 레이저는 크게 파괴성 레이저 또는 비파괴성 레이저 두가지로 나누어 진다. 파괴성 레이저에는 CO2 레이저, ER-YAG레이저 등이 있으며 이러한 파괴성 레이저는 색소에 구분없이 세포를 파괴시키는 성질이 있어 깊거나 넓은 점의 제거 또는 박피에 많이 쓰인다. In the case of current skin treatment, the user is injecting a laser to recognize the location of the affected area. Lasers used in skin treatment are largely divided into destructive or non-destructive lasers. Destructive lasers include CO 2 laser and ER-YAG laser. These destructive lasers are used to remove or peel deep or wide spots because they have the property of destroying cells regardless of pigments.
비파괴성 레이저에는 Nd-YAG 레이저 또는 다이오드(Diode) 레이저 등이 있으며 파괴성 레이저와는 달리 색소에 따른 레이저의 투과율이 다르기 때문에 멜라닌 세포와 같은 유색세포만을 선택적으로 파괴시킬 수 있다. Non-destructive lasers include Nd-YAG lasers or diode lasers. Unlike the destructive lasers, since the transmittance of lasers varies depending on the pigment, only colored cells such as melanocytes can be selectively destroyed.
레이저의 종류와 치료하고 싶은 질환의 종류에 따라 사용방식이 달라지기는 하나, 일반적으로 기존 피부 치료용 레이저 장비는 의사가 직접 레이저가 달려있는 장치의 끝단을 손으로 잡고 환자의 환부에 접근시켜 사용하게 된다. 그러나, 이러한 경우 의사의 손떨림 등에 의한 레이저 조작의 부정확성으로 환부에 정확하게 레이저를 주사하지 못하게 된다. 또한, 요구되는 레이저 주사시간의 이상 혹은 그 이하 동안 주사를 하게 된다거나, 의사의 착오에 의하여 치료했는 부위에 다시 레이저를 가하게 되는 등의 문제가 발생하였다.Although the method of use depends on the type of laser and the type of disease you want to treat, in general, the existing skin treatment laser equipment is used by a doctor directly holding the end of the device where the laser is attached and touching the affected part of the patient. Done. In this case, however, the laser cannot be accurately scanned in the affected area due to the inaccuracy of the laser operation due to the shaking of the doctor. In addition, a problem occurs such that the injection is performed for more than or less than the required laser scanning time, or the laser is applied again to the treated area due to a doctor's error.
따라서, 이러한 문제점의 해결을 위하여 로봇기술과 비전기술을 활용한 비전 시스템을 이용한 레이저 로봇 및 그 레이저 로봇의 이용방법이 요구 되었다. Therefore, in order to solve such a problem, a laser robot using a vision system using a robot technology and a vision technology and a method of using the laser robot were required.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 레이저 로봇을 이용하여 환부를 제거하는 경우, 비전 시스템을 구비하여 환부를 실시간으로 인식하고 로봇시스템을 제어하여 정확하고 계속적으로 레이저를 사용자의 임의적인 판단없이 환부에 주사하여 환부를 제거하는 레이저 로봇을 제공하는 것이다.Accordingly, the present invention has been made to solve the above problems, an object of the present invention, when removing the affected area using a laser robot, equipped with a vision system to recognize the affected area in real time and control the robot system To provide a laser robot that accurately and continuously scans the affected area without the user's discretion and removes the affected area.
구체적으로 레이저 주사장치를 구비한 로봇시스템은 3차원 자유도운동이 가능하고 이러한 로봇시스템에 비전시스템을 적용하여 실시간으로 환부의 위치를 파악하여 레이저를 주사할 수 있게 된다. 따라서, 비전시스템이 로봇시스템을 제어함으로써 정확하게 환부의 위치를 계속적으로 인식하여 레이저를 주사할 수 있는 비전시스템을 이용한 레이저 로봇을 제공하게 된다.Specifically, a robot system having a laser scanning device is capable of three-dimensional degrees of freedom movement, and by applying a vision system to such a robot system, it is possible to scan a laser beam by detecting the position of the affected area in real time. Therefore, the vision system controls the robot system to provide a laser robot using a vision system that can continuously recognize the location of the affected part and scan the laser.
또한, 본 발명의 또 다른 목적은 이러한 비전시스템을 이용한 레이저 로봇을 사용하여 환부를 제거하는 방법을 제공하는 것이다. 사용자의 인위적인 결정이나 판단 없이 비전시스템을 이용한 레이저 로봇을 이용하는 방법을 제공함으로서 정확하게 환부를 인식하고 레이저를 주사하는 방법을 제공한다.In addition, another object of the present invention is to provide a method for removing an affected part using a laser robot using such a vision system. By providing a method of using a laser robot using a vision system without artificially determining or judging by a user, a method of accurately detecting a lesion and scanning a laser is provided.
본 발명의 그 밖에 목적, 특정한 장점들 및 신규한 특징들은 첨부 도면들과 관련되어 이하의 상세한 설명과 바람직한 실시예로부터 더욱 명확해질 것이다.Other objects, specific advantages and novel features of the present invention will become more apparent from the following detailed description and preferred embodiments in conjunction with the accompanying drawings.
상기와 같은 본 발명의 목적은, 레이저를 주사하는 로봇에 있어서, 레이저를 타겟에 주사하기 위한 레이저 주사장치를 구비한 로봇 시스템; 및 타겟을 인식하고 로봇시스템을 제어하는 비전 시스템;을 포함하는 비전 시스템을 이용한 레이저 로봇으로 달성될 수 있다.An object of the present invention as described above, a robot for scanning a laser, comprising: a robot system having a laser scanning device for scanning a laser to a target; And a vision system for recognizing a target and controlling the robot system.
타겟은 환부에 해당하여 레이저로 환부를 제거하는 것을 특징으로 할 수 있다.The target may correspond to the affected part and may be characterized by removing the affected part with a laser.
비전 시스템은 비전센서를 구비하여 환부가 위치하는 표면을 촬영하여 영상정보를 저장하는 비전 센서부; 및 비전 센서부에서 보내온 영상 정보를 처리하여 로봇시스템을 제어하는 영상 처리부;를 포함하는 것을 특징으로 할 수 있다.The vision system includes a vision sensor unit having a vision sensor to store image information by photographing a surface where the affected part is located; And an image processor configured to control the robot system by processing the image information sent from the vision sensor unit.
비전 센서는 카메라, CCD 카메라 또는 적외선 센서인 것을 특징으로 할 수 있다.The vision sensor may be a camera, a CCD camera, or an infrared sensor.
비전센서는 로봇시스템의 기저단 또는 로봇시스템의 끝단에 적어도 하나 이상이 설치되는 것을 특징으로 할 수 있다.At least one vision sensor may be installed at a base end of the robot system or at an end of the robot system.
영상 처리부는, 영상정보로부터 환부의 위치를 인식하는 환부 인식부; 및 환부 인식부에서 받은 정보로 로봇 시스템을 제어하는 제어입력 연산부;를 포함하는 것을 특징으로 할 수 있다.The image processor may include an affected part recognition unit configured to recognize a location of the affected part from the image information; And a control input calculator configured to control the robot system using the information received from the affected part recognizer.
환부 인식부는,The affected part recognition unit,
영상 처리 알고리즘을 이용하여 경계값을 결정하고 이로부터 환부를 인식하는 것을 특징으로 할 수 있다.The threshold value may be determined by using an image processing algorithm, and the lesion may be recognized therefrom.
영상 처리 알고리즘은 히스토그램 또는 가우시안 필터인 것을 특징으로 할 수 있다.The image processing algorithm may be a histogram or a Gaussian filter.
환부 인식부는, 현재 프레임에서 환부 위치를 근거로 다음 프레임에서의 환부 위치를 예측하는 관심영역을 결정하여 환부를 실시간으로 검출하는 것을 특징으로 할 수 있다.The affected part recognizer may determine a region of interest for predicting the affected part position in the next frame based on the affected part position in the current frame and detect the affected part in real time.
제어입력 연산부는, 비전센서부의 영상 정보를 이용하여 다음 프레임에서 목표로 하는 환부위치와 현재 프레임에서 검출된 환부 위치의 오차를 연산하는 것을 특징으로 할 수 있다.The control input calculator may be configured to calculate an error between the target affected position in the next frame and the affected position detected in the current frame by using the image information of the vision sensor unit.
오차를 이용하여 제어 입력값을 결정하여 로봇시스템을 작동시키는 것을 특징으로 할 수 있다.The control system may be operated by determining a control input value using an error.
로봇 시스템은, 레이저 주사장치가 구비되고, 비전 센서부와 결합되는 끝단; 및 끝단과 연결되어 레이저 주사장치를 환부에 접근시킬 수 있는 자유도를 가지는 기저단;을 포함하는 것을 특징으로 할 수 있다.The robot system is provided with a laser scanning device, the end coupled to the vision sensor unit; And a base end connected to the end and having a degree of freedom capable of approaching the affected part of the laser scanning apparatus.
기저단은, 제어입력 연산부의 제어 입력값에 의해 끝단을 환부에 접근시켜 레이저 주사장치로 환부에 레이저를 주사하는 것을 특징으로 할 수 있다.The base end may be characterized by scanning the laser portion on the affected portion with a laser scanning apparatus by bringing the end closer to the affected portion by a control input value of the control input calculating portion.
기저단은 3자유도 운동을 하는 3축 초정밀 스테이지 이송인 것을 특징으로 할 수 있다.The base stage may be characterized in that the three-axis ultra-precision stage of the three-degree of freedom movement.
3축 초정밀 스테이지 이송은 정밀도가 0.5㎜이하인 것을 특징으로 할 수 있다.The three-axis ultra-precision stage feed can be characterized in that the precision is 0.5 mm or less.
로봇시스템은, 로봇시스템을 이동할 수 있는 이동장치를 더 포함하며, 이동장치에는 고정수단을 더 구비하여 원하는 위치에 상기 로봇시스템을 고정시킬 수 있는 것을 특징으로 할 수 있다.The robot system may further include a moving device capable of moving the robot system, and the moving device may further include a fixing unit to fix the robot system at a desired position.
이동장치는 바퀴달린 카트, 수술테이블 또는 벽에 연결된 링크구조인 것을 특징으로 할 수 있다.The moving device may be characterized as a wheeled cart, a surgical table or a link structure connected to the wall.
끝단에는 레이저 주사장치와 비전 센서부를 고정하는 홀더 장치를 더 포함하는 것을 특징으로 할 수 있다.The end may further comprise a holder device for fixing the laser scanning device and the vision sensor.
끝단에는, 레이저 주사장치에서 주사되는 레이저빔과 환부가 위치하는 면 사이의 각도를 영상처리부의 제어 입력값에 따라 조절하도록 적어도 하나 이상의 회전 수단을 더 포함하는 것을 특징으로 할 수 있다.At the end, it may be characterized in that it further comprises at least one or more rotating means to adjust the angle between the laser beam scanned in the laser scanning device and the surface on which the affected part is located in accordance with the control input value of the image processor.
로봇시스템에는, 레이저 로봇의 일부에 적어도 하나 이상의 조명장치가 더 구비되어, 영상처리부의 제어 입력값에 따라 조명 장치의 조명을 조절하는 것을 특징으로 할 수 있다.The robot system may further include at least one lighting device on a part of the laser robot, and adjust lighting of the lighting device according to a control input value of the image processor.
비전 시스템과 로봇 시스템에 전원을 공급하여 제어하고 관리하는 전원공급수단을 더 포함하는 것을 특징으로 할 수 있다.It may be characterized by further comprising a power supply means for supplying power to control and manage the vision system and the robot system.
본 발명의 목적에 또 다른 카테고리로써, 제 21항의 레이저 로봇을 이용하여, 이동장치의 고정 수단으로 로봇 시스템을 원하는 위치에 고정시키는 단계; 비전 센서부에서 환부가 있는 표면을 촬영하여 영상정보를 저장하는 단계; 영상 처리부에서 초기 환부의 위치를 검출하는 단계; 영상처리부에서 현재 프레임의 환부 위치를 근거로 다음 프레임의 환부위치를 예측하는 관심영역을 결정하여 환부를 실시간으로 검출하는 단계; 관심영역에서 레이저로 주사할 환부가 있는 지를 판단하는 단계; 관심영역에 상기 환부가 있는 경우, 영상처리부의 제어입력 연산부에서 다음 프레임에서 목표로 하는 환부위치와 현재 프레임에서 검출된 환부 위치의 오차를 연산하는 단계; 영상처리부에서 제어 입력값을 결정하여 제어 입력값에 따라 로봇 시스템을 제어하는 단계; 로봇 시스템의 기저단으로 로봇시스템의 끝단을 환부에 접근시키는 단계; 끝단에 설치된 상기 레이저 주사장치로 환부에 레이저를 주사하여 환부를 제거하는 단계; 및 환부를 제거하고 관심영역에 더 이상 레이저를 주사할 환부가 없는 경우 레이저 로봇의 작동을 종료하는 단계;를 포함하는 것을 특징으로 하는 레이저 로봇의 이용방법으로 달성될 수 있다.As another category for the purposes of the present invention, using the laser robot of claim 21, fixing the robot system to a desired position by means of fixing means of the moving device; Photographing the surface having the affected part by the vision sensor unit and storing image information; Detecting a position of the initial affected portion in the image processor; Detecting the affected part in real time by determining an ROI predicting the affected part position of the next frame based on the affected part position of the current frame; Determining whether a lesion is to be scanned by a laser in the ROI; Calculating an error between the target affected position in the next frame and the affected position detected in the current frame by the control input calculator of the image processor when the affected part is located in the ROI; Determining a control input value by the image processor and controlling the robot system according to the control input value; Approaching the affected end of the robotic system to the base of the robotic system; Removing the affected portion by scanning a laser portion on the affected portion with the laser scanning device installed at the end; And terminating the operation of the laser robot when the affected part is removed and there are no more lesions to scan the laser in the ROI.
로봇시스템에 조명장치를 구비하여 상기 영상처리부의 제어입력값으로 조명장치의 조명을 조절하는 것을 특징으로 할 수 있다.The robot system may be provided with a lighting device to adjust the lighting of the lighting device by a control input value of the image processor.
레이저를 주사하여 환부를 제거하는 단계에서, 끝단에 회전수단을 구비하여 레이저 주사장치에서 주사되는 레이저 빔과 환부가 위치하는 면과의 각도를 영상처리부의 제어입력값으로 조절하는 것을 특징으로 하는 레이저 로봇의 이용방법으로 달성될 수 있다.In the step of removing the affected area by scanning the laser, the rotating means is provided at the end to adjust the angle between the laser beam scanned in the laser scanning device and the surface on which the affected part is located by the control input value of the image processing unit It can be achieved by using a robot.
따라서, 상기 설명한 바와 같은 본 발명의 일실시예에 의하면, 비전시스템을 이용한 레이저 로봇 및 그 레이저 로봇의 이용방법으로 사용자 또는 의사의 판단, 능력과 관계없이 정확하게 환부(110)에 레이저를 주사할 수 있는 효과가 있다.Therefore, according to an embodiment of the present invention as described above, the laser robot using the vision system and the method of using the laser robot can accurately scan the laser portion on the affected
따라서, 레이저를 이용하여 의사가 환부(110)를 치료하는 경우, 의사의 손떨림 등에 의한 환부(110)가 아닌 위치에 레이저를 주사하거나 레이저의 주사시간을 의사의 판단으로 결정함으로써 피부에 손상을 입히게 되는 경우를 방지하게 된다. 또한, 본 발명은 로봇 기술과 비전 기술을 조합한 기술로 환부(110)의 치료 외에도 목적물에 레이저를 정확히 주사하는 것으로 발명의 적용범위가 넓다는 장점을 가지고 있다.Therefore, when the doctor treats the affected
비전 시스템과 로봇시스템을 연결하여 이용한다는 점에서 손쉽게 제작하여 사용할 수 있다. 이러한 비전 시스템을 이용한 레이저 로봇을 이용함으로써 환부(110)를 손쉽고 신속하게 제거할 수 있고 환부(110)를 제거하는 비용 또한 절약될 수 있어 피부질환을 가진 자들이 경제적인 부담이 적어질 수 있는 장점을 가지게 된다. It can be easily produced and used in that it connects and uses the vision system and robot system. By using a laser robot using such a vision system, the affected
비록 본 발명이 상기에서 언급한 바람직한 실시예와 관련하여 설명되어졌지만, 본 발명의 요지와 범위로부터 벗어남이 없이 다른 다양한 수정 및 변형이 가능한 것은 당업자라면 용이하게 인식할 수 있을 것이며, 이러한 변경 및 수정은 모두 첨부된 특허청구의 범위 내에 속함은 자명하다.Although the present invention has been described in connection with the above-mentioned preferred embodiments, it will be readily apparent to those skilled in the art that various other modifications and variations are possible without departing from the spirit and scope of the invention. Are all within the scope of the appended claims.
(레이저 로봇의 구성)(Configuration of Laser Robot)
이하에서는 첨부된 도면을 참고하여 본 발명의 일실시예에 따른 비전 시스템을 이용한 레이저 로봇의 구성에 대해 설명 하도록 한다. 우선, 도 1은 본 발명의 일실시예에 따른 레이저 로봇의 사시도를 도시한 것이다. 도 1에 도시된 바와 같이, 레이저 로봇은 비전 시스템과 로봇 시스템으로 구성되어 있다.Hereinafter, with reference to the accompanying drawings to describe the configuration of a laser robot using a vision system according to an embodiment of the present invention. First, Figure 1 shows a perspective view of a laser robot according to an embodiment of the present invention. As shown in Figure 1, the laser robot is composed of a vision system and a robot system.
비전 시스템은 레이저가 주사될 타겟을 포함하는 표면을 촬영하여 영상정보를 저장하는 비전 센서부와 비전 센서부의 영상정보를 처리하여 로봇시스템을 제어하는 영상처리부로 구성되어 있다. 레이저가 주사될 타겟은 구체적 실시예에서는 환부가 된다. 따라서 비전시스템은 이러한 환부를 가진 피부를 촬영하여 영상정보를 저장하게 된다.The vision system includes a vision sensor unit for photographing a surface including a target to be scanned by a laser and storing image information, and an image processor for controlling the robot system by processing the image information of the vision sensor unit. The target to which the laser is to be scanned is affected in specific embodiments. Therefore, the vision system photographs the skin having such lesions and stores the image information.
또한, 로봇시스템은 3축 초정밀 스테이지 이동이 가능한 기저단(400)과 비전 센서부와 레이저 주사장치(100)가 홀더 장치(310)에 의해 고정된 끝단(300)을 구비하고 있다. 끝단(300)은 기저단(400)과 연결되어 기저단(400)의 3축 초정밀 스테이지 이송으로 환부(110) 부위에 접근가능하게 된다. In addition, the robot system includes a
끝단(300)에는 레이저 주사장치(100)가 설치되어 있다. 그리고, 기저단(400)은 이동장치(500)에 연결되어 이동이 가능하다. 또한, 이동장치(500)에는 고정 수단(510)을 포함하고 있어 원하는 장소에서 움직이지 않도록 고정시킬 수 있다. 또한, 비전 시스템을 이용한 레이저 로봇은 비전 시스템과 로봇시스템에 전원을 공급하고 관리하는 전원공급수단(600)과, 레이저를 발생시켜 레이저 주사장치(100)에 레이저를 공급하는 레이저 발생장치(700)가 연결수단(800)에 의해 연결되어 있다. 이러한 연결수단(800)은 유선 또는 무선으로 가능하다. 이하에서는 비전 시스템과 로봇시스템 그리고, 이러한 비전 시스템을 이용한 레이저 로봇의 이용방법에 대해 도시된 도면을 참고하여 구체적으로 설명하도록 한다.The
(비전 시스템의 구성 및 로봇 시스템의 제어방법)(Configuration of Vision System and Control Method of Robot System)
도 2는 비전 시스템이 홀더 장치(310)에 의해 고정되어 있는 로봇시스템 끝단(300)의 일부를 사시도로 도시한 것이다. 비전 시스템은 환부(110)가 있는 피부를 촬영하여 영상정보를 저장하는 비전센서부를 구비하고 있다. 비전센서부를 이루 는 비전센서(200)는 적어도 하나 이상이 포함되어 있다. 구체적 실시예에서는 도 2에 도시된 바와 같이, 비전센서(200) 2개 스테레오 비전이 구비되어 있다. 비전 센서(200)는 구체적으로 카메라, CCD 카메라 또는 적외선 센서 등을 사용할 수 있다.2 is a perspective view of a portion of the robot system end 300 on which the vision system is fixed by the
이러한 비전 센서(200)는 환부(110)가 있는 피부를 촬영하여 영상정보를 저장하게 된다. 이러한 영상정보는 실시간으로 계속 촬영하여 저장하게 된다. 영상정보로 피부와 레이저 주사장치(100) 사이의 공간상에 위치관계를 알 수 있게 된다. 비전 시스템의 영상처리부는 비전센서부에서 저장한 영상정보를 이용하여 로봇시스템을 제어하기 위한 제어 입력값을 결정하게 된다.The
비전 시스템의 영상처리부는 영상정보를 이용하여 환부(110)를 인식하는 환부인식부와 로봇 시스템을 작동하기 위해 제어 입력값을 결정하는 제어입력 연산부를 포함하고 있다. 환부인식부에서는 환부(110)를 검출하기 위하여 기 설정된 경계값을 이용하는 영상처리 알고리즘을 사용하게 된다. 영상처리 알고리즘은 구체적으로 히스토그램 또는 가우시안 필터 등을 사용할 수 있다. The image processor of the vision system includes an affected part recognizer that recognizes the
도 3a 내지 도 3c는 영상처리부에서 히스토그램을 이용하여 환부의 일종인 점을 검출하는 단계의 상태도를 도시한 것이다. 도 3a에 도시된 바와 같이, 영상을 회색영상으로 변환한다. 변환된 영상에 검출할 레이저를 주사할 점이 영상에 나타나게 된다. 도 3b는 히스토그램을 기반으로 일반 피부색의 경계값을 기준으로 점의 영역을 추출해 내게 된다. 그 후 도 3c에 도시된 바와 같이 점의 영역에 경계선을 추출하기 위하여 레이저가 주사될 부분의 경계를 찾아내게 된다. 경계선을 추출해 내기 위해 8-네이버 세그매션(8-neighbor segmetion)을 사용하였다.3A to 3C are diagrams illustrating a state in which the image processing unit detects a point that is a type of the affected part by using a histogram. As shown in FIG. 3A, the image is converted into a gray image. The point to scan the laser to be detected is displayed on the converted image. 3b extracts a region of a point based on a boundary value of a general skin color based on a histogram. Thereafter, as shown in FIG. 3C, the boundary of the portion to be scanned is found to extract the boundary line in the area of the point. An 8-neighbor segmentation was used to extract the boundaries.
환부인식부에서 인식하는 환부(110)의 영역은 실시간으로 추적되게 된다. 실시간으로 추적하는 구체적인 방법은 현재 또는 이전에 비전 센서(200)의 영상정보에 있는 프레임에서 레이저 주사장치(100)로 주사할 목표로 하는 환부(110)위치를 기초로 다음 프레임에서 레이저 주사장치(100)로 주사할 환부(110)위치를 예측하는 관심영역을 결정하는 방식을 취할 수 있다. 이러한 관심영역을 실시간으로 결정함으로써 다음에 레이저 주사장치(100)로 주사할 환부(110)의 위치를 결정하게 된다.The area of the
영상처리부의 제어입력 연산부는 환부 인식부에서 인식한 현재 프레임에서 레이저 주사장치(100)에 의해 주사되는 환부(110)의 위치와 다음 프레임에서 레이저 주사장치(100)로 주사될 환부(110)의 위치의 오차를 연산하게 된다. 연산된 오차값을 기준으로 제어 입력값을 결정하게 된다. 그리고, 제어 입력값을 기초로 로봇시스템의 기저단(400) 또는 끝단(300)의 제 1회전수단(320) 또 제 2회전수단(330)을 작동시켜 레이저 주사장치(100)가 다음 목표하는 환부(110)에 주사될 수 있도록 한다. The control input calculating unit of the image processor may detect the position of the
(로봇시스템의 구성)(Configuration of Robot System)
로봇시스템은 레이저 주사장치(100)가 구비되어 비전 시스템의 제어를 받으며 환부(110)에 레이저를 주사할 수 있는 장치이다. 도 4는 로봇시스템의 사시도를 도시한 것이다. 도 4에 도시된 바와 같이, 로봇시스템은 레이저 주사장치(100)와 비전 센서부가 홀더장치(310)에 의해 결합되어 있는 끝단(300)을 구비하고 있다. 끝단(300)과 연결되어 끝단(300)을 3축 초정밀 스테이지 이송이 가능하도록 하는 기저단(400) 그리고, 기저단(400)과 연결되어 로봇시스템을 이동 또는 고정 가능하게 하는 이동 장치(500)를 구비하고 있다.The robot system is a device that is provided with a
이동장치(500)는 구체적 실시예에서는 도 4에 도시된 바와 같이 테이블에 해당하나, 바퀴달린 카트 또는 벽에 연결된 링크구조 등 기저단과 결합되어 로봇시스템을 이동시킬 수 있는 것이면 된다. 또한, 이동장치(500)는 고정수단(510)을 구비하여 원하는 위치에 로봇시스템을 고정 가능하게 한다. In the specific embodiment, the moving
도 5a는 끝단(300)이 연결되어 있는 기저단(400)의 사시도를 도시한 것이다. 그리고, 도 5b는 끝단(300)이 연결되어 있는 기저단(400)을 밑에서 올려다본 사시도이고, 도 5c는 기저단(400)을 구성하는 이송수단(410)의 사시도를 도시한 것이다. Figure 5a shows a perspective view of the
도 5a 및 도 5b에 도시된 바와 같이, 끝단(300)은 제 1이송수단(420)에 고정되어 있고, 제 1이송수단(420)으로 끝단(300)을 지면과 수직방향으로 이송 가능하게 한다. 또한, 제 1이송수단(420)은 제 2이송수단(430)과 수직되게 연결되어 있고, 제 3이송수단(440)은 제 1이송수단(420) 및 제 2이송수단(430)과 수직되게 연결되어 있다. 구체적 실시예에서는 도 5c에 도시된 바와 같이, 제 1 이송수단(420), 제 2이송수단(430) 및 제 3이송수단(440)의 형태는 동일하다. As shown in FIGS. 5A and 5B, the
도 5c에 도시된 바와 같이, 이송수단(410)은 몸체(411) 내부에 축(412)을 구비하고 있다. 축(412)에 연결된 고정부(413)는 1차원으로 움직이고 제 1이송수단(420)의 고정부(413)가 제 2이송수단(430)의 몸체(411)에 수직으로 고정되어 있다. 또한, 제 2이송수단(430)의 고정부(413)가 제 3이송수단(440)의 몸체(411)에 수직으로 결합되어 끝단(300)을 3자유도 운동이 가능하도록 한다. 따라서, 이러한 기저단(400)은 3축 초정밀 스테이지 이송을 하게 된다. 정밀도는 환부(110)를 제거하는 방법과 환부(110)의 크기에 따라 요구되는 정도가 다르나 바람직하게는 0.5㎜이하이어야 한다.As shown in FIG. 5C, the conveying means 410 has a
도 6a는 끝단(300)의 사시도를 도시한 것이고, 도 6b는 끝단(300)을 뒤에서 바라본 사시도를 도시한 것이다. 끝단(300)의 경우, 기저단(400)의 제 1이송수단(420)의 고정부(413)에 결합되며 레이저 주사장치(100)를 구비하고 있다. 끝단(300)은 홀더장치(310)로 비전센서부와 레이저 주사장치(100)를 결합하고 있다. 또한, 끝단(300)은 레이저 주사장치(100)에서 주사되는 레이저 빔과 환부(110)가 있는 면과의 각도를 조절할 수 있도록 회전 수단을 구비하고 있다. 도 6a 및 도 6b에 도시된 바와 같이, 구체적인 실시예에서는 제 1회전수단(320)과 제 2회전 수단(330)을 구비하고 있어 끝단(300)은 2자유도 운동이 가능하게 된다. 제 1회전수단(320)은 제 1회전축(325)을 중심으로 끝단(300)을 회전시키고, 제 2회전 수단(330)은 제 2회전축(335)을 중심으로 끝단(300)을 회전시키게 된다. 따라서, 기저단(400)의 3축 초정밀 스테이지 이송과 끝단(300)의 제 1 및 제 2회전수단(320,330)으로 로봇 시스템은 5자유도 운동이 가능하다.6A illustrates a perspective view of the
또한, 끝단(300) 또는 기저단(400)에는 조명장치가 적어도 하나 이상 더 포함할 수 있다. 따라서 사용자가 환부(110)의 위치를 확인 가능하고, 비전 시스템의 비전센서부의 영상정보를 정확히 얻을 수 있도록 해준다. 조명장치는 수동으로 조명을 조절할 수도 있고 영상처리부에서 입력된 영상정보를 이용하여 적절한 조명을 제어하여 작동될 수 있다. In addition, the
(이용방법)(How to use)
이하에서는 첨부된 도면을 참고하여 본 발명의 일실시예에 따른 비전 시스템을 이용한 레이저 로봇의 이용방법에 대해 설명하도록 한다. 우선, 도 7은 비전 시스템을 이용한 레이저 로봇의 이용방법에 흐름도를 도시한 것이다. Hereinafter, a method of using a laser robot using a vision system according to an embodiment of the present invention will be described with reference to the accompanying drawings. First, FIG. 7 is a flowchart illustrating a method of using a laser robot using a vision system.
이동장치(500)에 의해 레이저 로봇을 이동하다가 원하는 위치에 이동장치(500)의 고정수단(510)으로 레이저 로봇을 고정시키게 된다. 고정된 레이저 로봇의 끝단(300)에 설치된 비전센서(200)가 환부(110)가 포함되어 있는 피부를 촬영할 수 있을 정도로 기저단(400)을 움직여 환부(110) 주위에 끝단(300)이 오도록 한다. While moving the laser robot by the
그리고, 끝단(300)에 설치된 비전 센서부는 환부(110)가 포함된 피부부분을 촬영하여 영상정보를 저장하게된다. 이러한 촬영과 영상정보의 저장은 실시간으로 계속 수행하게 된다. 비전 시스템의 영상처리부는 영상정보에서 레이저 주사장치(100)로 레이저를 주사할 초기의 환부(110)위치를 검출하게 된다. 그리고, 현재 영상정보의 프레임에서의 환부(110)위치를 기초로 하여 다음 프레임에서 목표로 할 환부(110)의 위치를 예측하는 관심영역을 결정하게 된다. 이러한 관심영역의 결정은 실시간으로 계속 수행하게 된다. 실시간으로 관심영역을 결정하여 현재 로봇시스템으로 주사하는 환부를 제거하고 다음 프레임에서 주사할 환부가 없는 경우 레이저 로봇의 작동은 종료하게 된다.In addition, the vision sensor unit installed at the
그리고, 관심영역에 다음으로 주사할 환부의 위치가 검출되는 경우는, 영상 처리부의 제어입력 연산부는 다음 프레임에서 목표로 하는 환부(110)위치와 현재 프레임의 환부(110)위치의 오차를 연산하게 된다. 그리고, 연산된 오차값을 기초로 로봇시스템을 작동할 제어 입력값을 결정하게 된다. 제어 입력값을 기초로 로봇시스템의 기저단(400)에 3자유도 운동으로 로봇시스템의 끝단(300)에 레이저 주사장치(100)는 주사할 환부(110) 위치에 접근하게 된다. When the location of the affected part to be scanned next is detected in the ROI, the control input calculating part of the image processor calculates an error between the location of the
그리고, 끝단(300)의 제 1회전 수단(320)와 제 2 회전수단(330)의 작동으로 레이저 주사장치(100)의 레이저빔과 환부(110)가 있는 표면의 각도를 조절하며 목표로 하는 환부(110)에 레이저가 주사되게 된다. 따라서, 레이저의 주사로 환부(110)가 제거되며 로봇시스템은 계속적인 제어 입력값을 받아 다음 목표로 하는 환부(110)의 위치로 이동하여 레이저를 주사하게 된다. 더 이상 관심영역에 레이저가 주사될 환부가 없는 경우 레이저 로봇의 작동은 종료하게 된다. And, by operating the first
(변형예)(Variation)
본 발명은 레이저 주사장치(100)가 설치된 로봇시스템에 비전시스템을 이용하여 사용자의 인위적인 판단없이 정확히 계속적으로 레이저를 인식된 표면에 주사하는 것이다. 구체적 실시예에서는 인식된 표면은 환부(110)가 있는 표면 또는 환부(110) 중에 점을 가지는 피부에 한정하였으나 레이저를 이용하여 제거할 수 있는 것이라면 모두 본 발명의 권리범위에 속하는 것이다.The present invention uses a vision system in a robotic system in which the
또한, 비전시스템에서 비전센서(200)는 구체적 실시예에서는 카메라, CCD 카메라 또는 적외선 센서로 한정하였으나 영상을 촬영하여 영상정보를 저장할 수 있 고 실시간으로 영상정보를 얻을 수 있는 수단이라면 비전센서(200)의 종류 비전센서(200)가 로봇시스템에 설치된 위치는 권리범위 판단에 영향을 미치지 않음은 자명하다.In addition, in the vision system, the
영상 처리부의 경우, 환부(110)를 인식하는 방법에서 구체적 실시예는 히스토그램과 가우시안 필터를 기재하였으나 영상정보로부터 환부(110)를 인식하고 다음에 레이저를 주사할 환부(110)부분을 찾아 제어 입력값을 결정할 수 있는 수단이라면 그 구체적인 종류는 권리범위에 영향을 주지 않는다. 후에 영상처리의 개량된발명을 설치하더라도 본 발명의 기술적 특징의 일체성을 유지하여 그대로 이용한 것이라면 그러한 발명의 실시 또한 권리범위에 속하는 것에 해당할 것이다. In the case of the image processing unit, a specific embodiment of the method for recognizing the
로봇시스템의 경우, 기저단(400)의 구성은 구체적 실시예와 도면에 한정되는 것은 아니고 레이저를 3차원 공간 또는 2차원으로 이동시킬 수 있는 수단이라면 구체적인 종류, 형태는 권리범위 판단에 영향을 주지 않은 것이다. 실시예에서 기저단(400)의 3자유도 운동과 끝단(300)의 제 1회전수단(320) 및 제 2회전수단(330)으로 5자유도 운동으로 레이저 주사장치(100)를 작동하나 자유도의 갯수를 변경하더라도 본 발명의 특허청구의 범위에 속함은 자명하다. In the case of the robot system, the configuration of the
또한, 후에 로봇기술의 발전으로 개량된 로봇시스템을 장착하더라도 본 발명의 기술적 특징을 그대로 포함한다면 이러한 발명의 실시 또한 권리범위에 속하는 것이다. 레이저 주사장치(100)의 위치나 종류, 레이저의 종류 또는 레이저 발생 장치는 목적물의 종류, 환부(110)의 특성에 따라 변화가 가능한 것은 당해 기술분야에서 통상의 지식을 가진자라면 자명하게 변경가능 한 것으로 모두 본 발명의 권리 범위에 속하는 것에 해당한다. In addition, even if equipped with a robot system improved by the development of robot technology later, if the technical features of the present invention as it is, the implementation of such invention also falls within the scope of rights. The position or type of the
도 1은 본 발명의 일실시예에 따른 비전 시스템을 이용한 레이저 로봇의 사시도,1 is a perspective view of a laser robot using a vision system according to an embodiment of the present invention,
도 2는 비전센서부가 홀더장치에 의해 결합된 끝단 일부의 사시도,2 is a perspective view of a part of the end of the vision sensor unit coupled by the holder device,
도 3a 내지 도 3c는 영상처리부에서 히스토그램을 이용하여 환부를 검출하는 단계의 상태도,3A to 3C are state diagrams of detecting an affected part using a histogram in an image processor;
도 4는 본 발명의 일실시예에 따른 로봇 시스템의 사시도,4 is a perspective view of a robot system according to an embodiment of the present invention;
도 5a는 끝단이 결합되어 있는 로봇시스템 기저단의 사시도,Figure 5a is a perspective view of the base end of the robot system coupled to the end,
도 5b는 끝단이 결합되어 있는 로봇시스템의 기저단을 밑에서 올려다본 사시도,Figure 5b is a perspective view from below looking at the base of the robot system is coupled to the end,
도 5c는 기저단을 구성하는 이송수단의 사시도,Figure 5c is a perspective view of the transport means constituting the base end,
도 6a는 로봇시스템 끝단의 사시도,Figure 6a is a perspective view of the end of the robot system,
도 6b는 로봇시스템 끝단을 뒤에서 본 사시도,Figure 6b is a perspective view from behind the end of the robot system,
도 7은 본 발명의 일실시예에 따른 비전 시스템을 이용한 레이저 로봇의 이용방법을 나타낸 흐름도를 도시한 것이다.7 is a flowchart illustrating a method of using a laser robot using a vision system according to an exemplary embodiment of the present invention.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
100:레이저 주사장치100: laser injection device
110: 환부110: affected
120:환부의 경계120: boundary of the affected part
200:비전 센서200: vision sensor
300:끝단300: The end
310:홀더장치310: holder device
320:제 1회전수단320: first rotating means
325:제 1회전축325: first rotating shaft
330:제 2회전수단330: second rotating means
335:제 2회전축335: second axis of rotation
400:기저단400: base
410:이송수단410: transportation means
411:이송수단의 몸체411: body of the transport means
412:이송수단의 축412: axis of the transport means
413:이송수단의 고정부413: fixing part of the transportation means
420:제 1이송수단420: first transport means
430:제 2이송수단430: second transport means
440:제 3이송수단440: third transportation means
500:이동장치500: mobile unit
510:고정수단510: fixing means
600:전원공급수단600: power supply means
700:레이저 발생장치700: laser generator
800:연결수단800: connecting means
Claims (24)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080100287A KR101135610B1 (en) | 2008-10-13 | 2008-10-13 | Laser Robot with Vision System |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080100287A KR101135610B1 (en) | 2008-10-13 | 2008-10-13 | Laser Robot with Vision System |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100041219A true KR20100041219A (en) | 2010-04-22 |
KR101135610B1 KR101135610B1 (en) | 2012-04-17 |
Family
ID=42216997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080100287A KR101135610B1 (en) | 2008-10-13 | 2008-10-13 | Laser Robot with Vision System |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101135610B1 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6165170A (en) * | 1998-01-29 | 2000-12-26 | International Business Machines Corporation | Laser dermablator and dermablation |
JP3872226B2 (en) * | 1999-02-26 | 2007-01-24 | 株式会社ニデック | Laser therapy device |
JP2002000745A (en) | 2000-06-16 | 2002-01-08 | Nidek Co Ltd | Laser therapeutic device |
KR20090059667A (en) * | 2007-12-07 | 2009-06-11 | (주) 디바이스이엔지 | Automatic a therapeutic laser using image recognition and method forcontroling the same |
-
2008
- 2008-10-13 KR KR1020080100287A patent/KR101135610B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR101135610B1 (en) | 2012-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3215219B1 (en) | Skin treatment system | |
Wu et al. | A multi-image shape-from-shading framework for near-lighting perspective endoscopes | |
US20220117682A1 (en) | Obstacle Avoidance Techniques For Surgical Navigation | |
US20100149183A1 (en) | Image mosaicing systems and methods | |
JP4308220B2 (en) | Personal recognition device | |
US9107613B2 (en) | Handheld scanning device | |
KR20170107955A (en) | Illumination device | |
CN108154126B (en) | Iris imaging system and method | |
US10973585B2 (en) | Systems and methods for tracking the orientation of surgical tools | |
JP5001930B2 (en) | Motion recognition apparatus and method | |
CN113613578A (en) | Method for determining the position and/or orientation of a handheld device relative to an object, corresponding device and computer program product | |
KR20200013984A (en) | Device of providing 3d image registration and method thereof | |
CN207571761U (en) | Iris imaging system | |
US20220414291A1 (en) | Device for Defining a Sequence of Movements in a Generic Model | |
US11633235B2 (en) | Hybrid hardware and computer vision-based tracking system and method | |
GB2466732A (en) | Chromatography data processing method and system | |
CN111216122B (en) | Gripping robot and control program for gripping robot | |
JP2009129058A (en) | Position specifying apparatus, operation instruction apparatus, and self-propelled robot | |
KR101135610B1 (en) | Laser Robot with Vision System | |
JP2004164652A (en) | Individual authentication device | |
JP2006215743A (en) | Image processing apparatus and image processing method | |
JP6847442B2 (en) | Object tracking device, object tracking method, and object tracking program | |
CN108392180B (en) | Time intensity curve measuring device | |
CN113262043B (en) | Surface tissue light treatment equipment | |
Ma et al. | Stereocnc: A stereovision-guided robotic laser system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20161102 Year of fee payment: 5 |
|
R401 | Registration of restoration | ||
FPAY | Annual fee payment |
Payment date: 20170327 Year of fee payment: 6 |