KR20240105007A - 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법 - Google Patents
클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법 Download PDFInfo
- Publication number
- KR20240105007A KR20240105007A KR1020220187794A KR20220187794A KR20240105007A KR 20240105007 A KR20240105007 A KR 20240105007A KR 1020220187794 A KR1020220187794 A KR 1020220187794A KR 20220187794 A KR20220187794 A KR 20220187794A KR 20240105007 A KR20240105007 A KR 20240105007A
- Authority
- KR
- South Korea
- Prior art keywords
- sample collection
- image
- cloud
- artificial intelligence
- robot
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 87
- 230000008569 process Effects 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims description 96
- 238000010191 image analysis Methods 0.000 claims description 39
- 229920000742 Cotton Polymers 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 8
- 238000003780 insertion Methods 0.000 claims description 7
- 230000037431 insertion Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000007257 malfunction Effects 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 208000015181 infectious disease Diseases 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 13
- 238000012360 testing method Methods 0.000 description 10
- 208000035473 Communicable disease Diseases 0.000 description 8
- 208000025721 COVID-19 Diseases 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000012678 infectious agent Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/02—Instruments for taking cell samples or for biopsy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/0045—Devices for taking samples of body liquids
- A61B10/0051—Devices for taking samples of body liquids for taking saliva or sputum samples
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/02—Instruments for taking cell samples or for biopsy
- A61B2010/0208—Biopsy devices with actuators, e.g. with triggered spring mechanisms
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Primary Health Care (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Pulmonology (AREA)
- Hematology (AREA)
- Manipulator (AREA)
Abstract
본 발명은 검체채취 시스템 및 방법에 관한 것으로, 본 발명에 따르면, 종래, 검체 채취시 전염의 우려를 방지하기 위해 원격제어를 통해 비대면 방식으로 검체를 채취할 수 있도록 구성되는 검체채취 로봇이 제시된 바 있으나, 이러한 검체채취 로봇의 조작이 수동 원격제어 방식으로 이루어짐으로 인해 조작의 정밀성 및 정확성이 떨어지는 문제가 있었던 종래기술의 검체채취 장치 및 방법들의 문제점을 해결하기 위해, 검체 채취 대상 및 채취 위치를 인식하도록 학습된 클라우드(cloud) 기반의 인공지능(AI) 영상인식 알고리즘을 통해 원격제어가 가능한 검체채취 로봇을 자동으로 제어 가능하도록 구성됨으로써, 비대면 방식의 검체채취 과정이 전자동으로 수행될 수 있도록 구성되는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법이 제공된다.
Description
본 발명은, 예를 들면, 코로나 19(COVID 19) 등과 같이, 각종 감염병의 진단 등을 위해 피검자로부터 검체를 채취하기 위한 검체채취 시스템 및 방법에 관한 것으로, 더 상세하게는, 종래, 일반적으로, 감염병의 진단을 위하여는 의료진이 직접 감염자 또는 감염 의심자로부터 검체를 채취하여 검사를 수행해야 하므로 검체채취 및 검사과정에서 감염자나 감염원과의 직접 접촉에 의한 전염의 우려가 있으나, 의료진의 개입 없이 검체채취의 모든 과정이 비대면 방식으로 이루어질 수 있는 장치나 방법은 제시된 바 없는 한계가 있었던 종래기술의 검체채취 장치 및 방법들의 문제점을 해결하기 위해, 원격제어가 가능한 검체채취 로봇을 이용하여 검체채취의 전 과정이 비대면 방식으로 수행될 수 있도록 구성되는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법에 관한 것이다.
또한, 본 발명은, 상기한 바와 같이 의료진의 개입 없이 검체채취의 모든 과정이 비대면 방식으로 이루어질 수 없는 한계가 있었던 종래기술의 검체채취 장치 및 방법들의 문제점을 해결하기 위해 원격제어가 가능한 검체채취 로봇을 이용하여 검체채취의 전 과정이 비대면 방식으로 수행되고 있으나, 이러한 검체채취 로봇의 조작이 수동 원격제어 방식으로 이루어짐으로 인해 조작의 정밀성 및 정확성이 떨어지는 문제가 있었던 종래기술의 비대면 검체채취 장치 및 방법들의 문제점을 해결하기 위해, 검체 채취 대상 및 채취 위치를 인식하도록 학습된 클라우드(cloud) 기반의 인공지능(artificial intelligence ; AI) 영상인식 알고리즘을 통해 원격제어가 가능한 검체채취 로봇을 자동으로 제어 가능하도록 구성됨으로써, 비대면 방식의 검체채취 과정이 전자동으로 수행될 수 있도록 구성되는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법에 관한 것이다.
최근, 코로나 19(COVID 19)의 전세계적인 유행으로 인해 감염병의 효과적인 진단과 예방에 대한 관심과 수요가 높아지고 있으며, 이에 따라, 보다 정확하고 안전하게 감염병을 진단하기 위한 진단장치 및 방법에 대한 요구가 증가하고 있다.
또한, 코로나 19(COVID 19)와 같은 감염병의 진단을 위하여는 의료진이 직접 감염자나 감염 의심자로부터 검체를 채취하여 검사를 수행해야 하므로 검체채취 및 검사과정에서 감염자나 감염원과의 직접 접촉에 의한 전염의 우려가 있다.
이를 위해, 종래, 예를 들면, 한국 등록특허공보 제10-2464658호의 "듀얼타입 워크스루 검체 채취 장치" 및 한국 등록특허공보 제10-2429573호의 "비접촉식 검체채취가 가능한 다방향 워크스루 부스" 등에 제시된 바와 같이, 검체채취시 전염의 우려를 방지하기 위해 의료진과 피검자의 직접 접촉을 방지할 수 있도록 구성되는 비접촉식 검체채취 장치가 제시된 바 있다.
그러나 상기한 바와 같은 비접촉식 검체채취 장치들을 이용하더라도 의료진이 직접 검체 채취를 수행해야 하는 점은 동일하므로 감염의 위험을 완전히 배제할 수 없는 한계가 있으며, 이에, 최근에는, 검체채취 로봇을 이용하여 원격제어를 통해 의료진과 피검자가 각자 별도의 공간에서 비대면 방식으로 검체 채취가 이루어질 수 있도록 구성되는 비대면 검체채취 시스템 및 방법이 제시된 바 있다.
그러나 상기한 바와 같은 종래기술의 비대면 검체채취 시스템 및 방법은 의료진이 직접 검체를 채취하는 것이 아니라 검체채취 로봇을 이용하여 원격조작을 통해 검체를 채취하여야 하므로 원격조작의 정밀성이나 정확성이 떨어지는 문제가 있으며, 그로 인해, 조작미숙 등으로 적절한 검체 채취가 이루어지지 못하거나 경우에 따라서는 피검자에게 상해를 입히게 되는 경우도 발생할 수 있는 것이었다.
따라서 상기한 바와 같은 종래기술의 검체채취 시스템 및 방법들의 한계를 해결하기 위하여는, 검체 채취 대상 및 채취 위치를 인식하여 검체채취 로봇을 자동으로 제어하는 것에 의해 비대면 방식의 검체채취 과정이 전자동으로 수행될 수 있도록 구성되는 새로운 구성의 전자동 검체채취 시스템 및 방법을을 제시하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다.
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 감염병의 진단시 전염의 우려를 방지하기 위해 검체채취의 모든 과정이 비대면 방식으로 이루어질 수 있도록 구성되는 장치나 방법이 제시된 바 없는 한계가 있었던 종래기술의 검체채취 장치 및 방법들의 문제점을 해결하기 위해, 원격제어가 가능한 검체채취 로봇을 이용하여 검체채취의 전 과정이 비대면 방식으로 수행될 수 있도록 구성되는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법을 제시하고자 하는 것이다.
또한, 본 발명의 다른 목적은, 상기한 바와 같이 감염병의 진단시 전염의 우려를 방지하기 위해 원격제어가 가능한 검체채취 로봇을 이용하여 검체채취 과정이 비대면 방식으로 수행되고 있으나, 이러한 검체채취 로봇의 조작이 수동 원격제어 방식으로 이루어짐으로 인해 조작의 정밀성 및 정확성이 떨어지는 문제가 있었던 종래기술의 비대면 검체채취 장치 및 방법들의 문제점을 해결하기 위해, 검체 채취 대상 및 채취 위치를 인식하도록 학습된 클라우드(cloud) 기반의 인공지능(AI) 영상인식 알고리즘을 통해 원격제어가 가능한 검체채취 로봇을 자동으로 제어 가능하도록 구성됨으로써, 비대면 방식의 검체채취 과정이 전자동으로 수행될 수 있도록 구성되는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법을 제시하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템에 있어서, 원격제어가 가능하도록 이루어지는 다수의 검체채취 로봇을 포함하여 이루어지는 검체채취부; 상기 검체채취부의 각각의 검체채취 로봇에 설치되어 피검자의 영상을 실시간으로 전송하기 위한 카메라를 포함하여 이루어지는 영상취득부; 상기 영상취득부를 통하여 실시간으로 수신되는 각각의 영상을 하나의 이미지로 재구성하는 처리가 수행되도록 이루어지는 영상처리부; 인공지능(AI) 영상인식 알고리즘을 이용하여, 상기 영상처리부를 통해 수신된 영상에서 각각의 피검자의 얼굴영역을 인식하고 미리 정해진 목표지점을 검출하여 각각의 검체채취 로봇을 제어하기 위한 제어정보를 생성하는 처리가 수행되도록 이루어지는 클라우드 AI 서버를 포함하여 이루어지는 영상분석부; 및 상기 영상분석부의 상기 클라우드 AI 서버로부터 전송되는 제어정보에 근거하여 상기 검체채취부의 각각의 검체채취 로봇의 동작을 자동으로 제어하는 처리가 수행되도록 이루어지는 자동제어 처리부를 포함하여 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템이 제공된다.
여기서, 상기 시스템은, 상기 검체채취부, 상기 영상취득부, 상기 영상처리부, 상기 영상분석부 및 상기 자동제어 처리부를 통하여 송수신되는 각각의 영상 및 처리과정을 포함하는 각종 데이터를 표시하기 위한 모니터나 디스플레이를 포함하여 이루어지는 영상출력부; 유선 또는 무선통신 중 적어도 하나의 방식으로 통신을 행하여 각종 데이터를 송수신하기 위한 통신부; 및 상기 시스템의 전체적인 동작을 제어하는 처리가 수행되도록 이루어지는 제어부를 더 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 영상처리부는, 각각의 검체채취 로봇에 구비된 카메라를 통해 실시간으로 피검자의 영상을 각각 수신하고, 동시에 수신되는 각각의 개별 영상데이터를 격자 형태의 레이아웃으로 배치하는 것에 의해 단일의 화면으로 재구성하여 출력하는 동시에, 재구성된 화면을 변환 및 압축하여 통합 이미지를 생성하고 상기 클라우드 AI 서버로 전송하는 영상처리 작업이 수행되도록 구성되는 것을 특징으로 한다.
여기서, 상기 영상처리부는, 고장이나 통신장애 또는 오류로 인해 특정 검체채취 로봇의 영상이 수신되지 않는 경우는 통합 이미지에서 해당 영상의 위치를 블랭크(blank) 처리하도록 구성되는 것을 특징으로 한다.
아울러, 상기 영상분석부는, 각각의 검체채취 로봇으로부터 전송되는 실시간 영상을 재구성하여 생성된 통합 이미지가 상기 영상처리부를 통하여 상기 클라우드 AI 서버에 수신되면, 얼굴 이미지에 대하여 미리 학습된 인공지능 영상인식 알고리즘을 이용하여, 상기 통합 이미지 내에 포함된 각각의 개별 영상에 대하여 피검자의 얼굴을 인식하고 미리 정해진 목표지점의 위치정보와 각 목표지점에 진입 가능한 면봉의 초기위치를 검출하고, 검출 데이터에서 목표지점에 대한 위치정보를 추출하여 현재 출력중인 실시간 영상 위에 합성하여 화면에 표시하는 동시에, 역기구학(Inverse Kinematics) 알고리즘을 이용하여, 각각의 검체채취 로봇에 구비된 검체채취용 면봉의 진입이 가능한 경로(좌표) 데이터를 추정하여 각각의 검체채취 로봇에 대하여 해당 로봇의 모터를 구동하기 위한 포지션 데이터를 산출하고, 산출된 상기 포지션 데이터를 포함하는 제어정보를 상기 자동제어 처리부로 전송하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
또한, 상기 영상분석부는, 각각의 검체채취 로봇으로부터 전송되는 실시간 영상을 합성한 상기 통합 이미지에서 각각의 개별 영상을 분리하여 얼굴 영역을 각각 인식하고 각 개별 이미지의 원점을 기준으로 특징좌표에 대한 정보를 검출하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
또는, 상기 영상분석부는, 각각의 검체채취 로봇으로부터 전송되는 실시간 영상을 합성한 상기 통합 이미지의 원점을 기준으로 하여 상기 통합 이미지 전체에서 각각의 개별 영상에 대한 특징좌표를 동시에 검출하고, 상기 통합 이미지 내에서 각각의 개별 영상에 대한 행(row)과 열(column) 정보를 적용하여 상기 통합 이미지에 대한 특징좌표를 각각의 개별 영상의 원점에 대한 특징좌표로 변환하여 로봇 좌표계를 각각 산출하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
아울러, 상기 인공지능 영상인식 알고리즘은, 딥러닝(Deep Learning)이나 머신러닝(Machine Learning)을 포함하는 인공지능 학습 알고리즘을 이용하여 구성되거나, 또는, 인공신경망(Artificial Neural Network ; ANN)이나 컨벌루션 신경망(Convolutional Neural Network ; CNN)을 포함하는 네트워크 기반의 객체인식 알고리즘을 이용하여 구성되는 것을 특징으로 한다.
더욱이, 상기 자동제어 처리부는, 상기 영상분석부의 클라우드 AI 서버로부터 수신되는 각각의 검체채취 로봇에 대한 제어정보(포지션 데이터)에 근거하여 각각의 검체채취 로봇에 구비된 면봉의 위치를 조정하고, 위치조정이 완료되면 면봉을 삽입하여 검체를 채취하는 동작을 수행하도록 제어하는 처리가 수행되도록 구성됨으로써, 각각의 검체채취 로봇으로부터 실시간으로 개별 영상데이터를 수신하고 단일의 통합 이미지를 생성하여 영상분석을 통해 각각의 검체채취 로봇에 대한 제어정보를 생성하는 것에 의해, 다수의 검체채취 로봇에 대하여 동시에 자동제어가 이루어질 수 있도록 구성되는 것을 특징으로 한다.
여기서, 상기 자동제어 처리부는, 진입 구동중 면봉의 삽입거리 및 면봉에 가해지는 압력에 대한 측정값이 미리 정해진 기준을 초과하는 것이 감지되면 검체채취 성공으로 판단하여 후진 구동을 수행하고 검체채취 작업을 종료한 후 채취된 검체를 회수하도록 하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
또한, 상기 영상분석부는, 각각의 검체채취 로봇과 미리 정해진 설정에 따라 지속적으로 타임싱크(Timesync) 메시지를 송수신하여 왕복시간(Round Trip Time ; RTT)과 시간차를 기록하고, 영상분석 처리를 수행한 후 제어정보를 전송시 타임스탬프를 함께 전송하며, 상기 자동제어 처리부는, 상기 제어정보를 수신시 상기 타임스탬프를 통해 지연시간을 산출하여 RTT와 산출된 지연시간이 미리 정해진 기준값 이내인 경우에만 모터나 액츄에이터(Actuator)를 구동하여 검체채취 동작이 수행되도록 제어하는 처리가 수행되도록 구성됨으로써, 전송 지연시간을 측정하고 지연 허용시간을 적용하는 것에 의해 제어정보 전송의 지연으로 인한 오동작이나 사고발생을 방지하여 검체채취 작업의 정확성과 안전성을 향상시킬 수 있도록 구성되는 것을 특징으로 한다.
아울러, 상기 영상분석부는, 각각의 검체채취 로봇에 대하여 초기 구동시에는 대기상태를 나타내는 상태코드를 부여하고, 실시간 영상을 분석하여 목표지점이 최초로 검출되는 시점에서 상기 상태코드를 입장상태로 전환하며, 검출된 목표지점의 위치가 미리 정해진 기준시간 동안 변동되지 않으면 상기 상태코드를 검사상태로 전환하고, 면봉삽입 동작 수행 후 최후방까지 후퇴동작이 수행되면 상기 상태코드를 검사종료 상태로 전환하며, 영상에서 목표지점 및 피검자가 검출되지 않으면 상기 상태코드를 회수상태로 전환하고, 사용자에 의해 회수작업이 종료되면 상기 상태코드를 다시 대기상태로 전환하는 과정을 반복 수행하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
더욱이, 상기 자동제어 처리부는, 상기 상태코드에 근거하여 각각의 검체채취 로봇의 현재 상태에 따라 미리 정해진 음성안내나 안내 메시지를 전달하도록 제어하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
또한, 상기 시스템은, 상기 자동제어 처리부에 의한 자동제어 방식과, 면봉의 위치조정이 완료되면 별도의 컨트롤러를 통해 사용자가 직접 면봉의 진입 구동을 조작하는 수동제어 방식을 사용자가 선택하여 적용 가능하도록 구성되는 것을 특징으로 한다.
아울러, 상기 시스템은, 상기 검체채취부 및 상기 영상취득부는 원격제어 기능을 가지는 검체채취 로봇에 카메라를 설치하거나 카메라가 구비된 검체채취 로봇의 형태로 구성되고, 상기 영상처리부, 상기 영상분석부, 상기 자동제어 처리부, 상기 영상출력부, 상기 통신부 및 상기 제어부는 일체로 형성되어 각각의 상기 검체채취 로봇과 네트워크를 통해 연동되는 원격제어 시스템의 형태로 구성되는 것을 특징으로 한다.
더욱이, 본 발명에 따르면, 검체채취 방법에 있어서, 피검자로부터 검체를 채취하기 위한 검체채취 시스템을 구축하는 처리가 수행되는 시스템 구축단계; 및 상기 시스템 구축단계를 통해 구축된 검체채취 시스템을 이용하여 검체를 채취하는 처리가 수행되는 검체채취 단계를 포함하여 구성되고, 상기 검체채취 시스템은, 상기에 기재된 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템을 이용하여 구성되는 것을 특징으로 하는 검체채취방법이 제공된다.
상기한 바와 같이, 본 발명에 따르면, 검체 채취 대상 및 채취 위치를 인식하도록 학습된 클라우드(cloud) 기반의 인공지능(AI) 영상인식 알고리즘을 통해 원격제어가 가능한 검체채취 로봇을 자동으로 제어하는 것에 의해 비대면 방식의 검체채취 과정이 전자동으로 수행될 수 있도록 구성되는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법이 제공됨으로써, 종래, 의료진의 개입 없이 검체채취의 모든 과정이 비대면 방식으로 이루어질 수 없는 한계가 있었던 종래기술의 검체채취 장치 및 방법들의 문제점을 해결하기 위해 원격제어가 가능한 검체채취 로봇을 이용하여 검체채취의 전 과정이 비대면 방식으로 수행되고 있으나, 이러한 검체채취 로봇의 조작이 수동 원격제어 방식으로 이루어짐으로 인해 조작의 정밀성 및 정확성이 떨어지는 문제가 있었던 종래기술의 비대면 검체채취 장치 및 방법들의 문제점을 해결할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 클라우드(cloud) 기반의 인공지능(AI) 영상인식 알고리즘을 통해 원격제어가 가능한 검체채취 로봇을 이용하여 검체채취의 전 과정이 비대면 방식으로 수행될 수 있도록 구성되는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법이 제공됨으로써, 종래, 일반적으로, 감염병의 진단을 위하여는 의료진이 직접 감염자 또는 감염 의심자로부터 검체를 채취하여 검사를 수행해야 하므로 검체채취 및 검사과정에서 감염자나 감염원과의 직접 접촉에 의한 전염의 우려가 있으나, 의료진의 개입 없이 검체채취의 모든 과정이 비대면 방식으로 이루어질 수 있는 장치나 방법은 제시된 바 없는 한계가 있었던 종래기술의 검체채취 장치 및 방법들의 문제점을 해결할 수 있다.
도 1은 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 2는 도 1에 나타낸 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템의 전체적인 처리과정을 개략적으로 나타내는 개념도이다.
도 3은 도 1에 나타낸 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템의 영상처리부를 통해 수행되는 실시간 영상처리의 처리과정을 개략적으로 나타내는 개념도이다.
도 4는 도 1에 나타낸 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템의 영상분석부를 통해 수행되는 영상분석의 처리과정을 개략적으로 나타내는 개념도이다.
도 5는 도 4에 나타낸 영상분석부의 영상분석 처리과정에서 통합 이미지로부터 각각의 얼굴을 인식하고 특징을 추출하는 처리과정의 구체적인 구성에 대한 실시예를 개략적으로 나타내는 개념도이다.
도 6은 도 4에 나타낸 영상분석부의 영상분석 처리과정에서 통합 이미지로부터 각각의 얼굴을 인식하고 특징을 추출하는 처리과정의 구체적인 구성에 대한 다른 실시예를 개략적으로 나타내는 개념도이다.
도 7은 도 1에 나타낸 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템에서 수행되는 제어신호 지연처리 과정을 개략적으로 나타내는 개념도이다.
도 2는 도 1에 나타낸 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템의 전체적인 처리과정을 개략적으로 나타내는 개념도이다.
도 3은 도 1에 나타낸 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템의 영상처리부를 통해 수행되는 실시간 영상처리의 처리과정을 개략적으로 나타내는 개념도이다.
도 4는 도 1에 나타낸 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템의 영상분석부를 통해 수행되는 영상분석의 처리과정을 개략적으로 나타내는 개념도이다.
도 5는 도 4에 나타낸 영상분석부의 영상분석 처리과정에서 통합 이미지로부터 각각의 얼굴을 인식하고 특징을 추출하는 처리과정의 구체적인 구성에 대한 실시예를 개략적으로 나타내는 개념도이다.
도 6은 도 4에 나타낸 영상분석부의 영상분석 처리과정에서 통합 이미지로부터 각각의 얼굴을 인식하고 특징을 추출하는 처리과정의 구체적인 구성에 대한 다른 실시예를 개략적으로 나타내는 개념도이다.
도 7은 도 1에 나타낸 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템에서 수행되는 제어신호 지연처리 과정을 개략적으로 나타내는 개념도이다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법의 구체적인 실시예에 대하여 설명한다.
여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.
또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.
계속해서, 도면을 참조하여, 본 발명에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법의 구체적인 내용에 대하여 설명한다.
더 상세하게는, 먼저, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템(10)의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템(10)은, 크게 나누어, 원격제어가 가능하도록 이루어지는 다수의 검체채취 로봇을 포함하여 이루어지는 검체채취부(11)와, 검체채취부(11)의 각각의 검체채취 로봇에 설치되어 피검자의 영상을 실시간으로 전송하기 위한 카메라를 포함하여 이루어지는 영상취득부(12)와, 영상취득부(12)를 통하여 실시간으로 수신되는 각각의 영상을 격자 형태의 레이아웃으로 이어붙이는 방식으로 하나의 이미지로 재구성하고 재구성한 이미지를 압축하여 전송하는 처리가 수행되도록 이루어지는 영상처리부(13)와, 인공지능(AI) 영상인식 알고리즘을 이용하여 영상처리부(13)를 통해 수신된 영상에서 각각의 피검자의 얼굴영역 및 미리 정해진 목표지점(콧구멍)을 인식하고 검출된 목표지점에 검체채취용 면봉이 진입가능한 경로(좌표)를 각각 산출하여 전송하는 처리가 수행되도록 이루어지는 클라우드 AI 서버를 포함하여 이루어지는 영상분석부(14)와, 영상분석부(14)의 클라우드 AI 서버로부터 전송되는 경로(좌표)에 근거하여 검체채취부(11)의 각각의 검체채취 로봇의 동작을 자동으로 제어하는 처리가 수행되도록 이루어지는 자동제어 처리부(15)를 포함하여 구성될 수 있다.
또한, 상기한 시스템은, 상기한 검체채취부(11), 영상취득부(12), 영상처리부(13), 영상분석부(14) 및 자동제어 처리부(15)를 통하여 송수신되는 각각의 영상 및 처리과정을 포함하는 각종 데이터를 표시하기 위한 모니터나 디스플레이를 포함하여 이루어지는 영상출력부(16)와, 유선 또는 무선통신 중 적어도 하나의 방식으로 통신을 행하여 각종 데이터를 송수신하기 위한 통신부(17) 및 상기한 각 부 및 시스템(10)의 전체적인 동작을 제어하는 처리가 수행되도록 이루어지는 제어부(18)를 더 포함하여 구성될 수 있다.
여기서, 상기한 검체채취부(11) 및 영상취득부(12)는, 원격제어 기능을 가지는 검체채취 로봇에 카메라를 설치하여 구성될 수 있고, 또는, 카메라가 구비된 검체채취 로봇의 형태로 일체로 구성될 수 있다.
아울러, 상기한 영상처리부(13), 영상분석부(14), 자동제어 처리부(15), 영상출력부(16), 통신부(17) 및 제어부(18)는 일체로 형성되어 각각의 검체채취 로봇과 네트워크를 통해 연동되는 제어시스템의 형태로 구성될 수 있다.
이때, 상기한 제어시스템은, 예를 들면, PC나 노트북 등과 같은 정보처리장치를 이용하여, 후술하는 바와 같은 자동제어 처리가 수행되는 컴퓨터 프로그램의 형태로 구성되는 것에 의해 별도의 하드웨어를 구성할 필요 없이 저렴한 비용으로 용이하게 구현될 수도 있는 등, 즉, 본 발명은, 본 발명의 취지 및 본질을 벗어나지 않는 범위 내에서 당업자에 의해 필요에 따라 다양하게 수정 및 변경하여 구성될 수 있는 것임에 유념해야 한다.
여기서, 상기한 바와 같이 원격제어 기능을 가지는 검체채취 로봇의 구체적인 구성이나 동작 등에 대한 상세한 내용에 대하여는, 기존의 검체채취 로봇을 이용하거나 종래기술의 검체채취 로봇에 관한 기술내용을 참조하여 당업자가 적절히 구성할 수 있는 사항이므로, 이에, 본 발명에서는, 설명을 간략히 하기 위해, 상기한 바와 같이 종래기술의 내용으로부터 당업자에게 자명하거나 종래기술의 문헌 등을 참고하여 당업자가 용이하게 이해하고 실시할 수 있는 내용에 대하여는 그 상세한 설명을 생략하였음에 유념해야 한다.
계속해서, 도 2를 참조하면, 도 2는 도 1에 나타낸 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템(10)의 전체적인 처리과정을 개략적으로 나타내는 개념도이다.
도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템(10)은, 먼저, 각각의 검체채취 로봇에 구비된 카메라를 통해 피검자의 영상이 실시간으로 수신되면, 영상처리부(13)는 수신되는 각각의 영상을 미리 정해진 설정에 따라 단일의 화면으로 재구성하고, 재구성된 이미지를 출력하는 동시에 압축하여 영상분석부(14)의 클라우드 AI 서버로 전송한다.
더 상세하게는, 도 3을 참조하면, 도 3은 도 1에 나타낸 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템(10)의 영상처리부(13)를 통해 수행되는 실시간 영상처리의 처리과정을 개략적으로 나타내는 개념도이다.
도 3에 나타낸 바와 같이, 상기한 영상처리부(13)는, 다수의 검체채취 로봇으로부터 각각 실시간으로 피검자의 영상을 수신하고, 네트워크 및 서버의 부하를 감소하기 위해 동시에 수신되는 각각의 개별 영상데이터를 겹치지 않도록 이어붙여 격자 형태의 레이아웃으로 배치하는 것에 의해 단일의 화면으로 재구성하여 개별 영상을 출력하는 동시에, 재구성된 화면을 변환 및 압축하여 통합 이미지를 생성하고 영상분석부(14)의 클라우드 AI 서버로 전송하는 영상처리 작업이 수행되도록 구성될 수 있다.
이때, 고장이나 통신장애 등으로 특정 로봇의 영상이 수신되지 않는 경우는 통합 이미지에서 해당 영상의 위치를 블랭크(blank) 처리하도록 구성될 수 있다.
계속해서, 상기한 바와 같이 하여 통합 이미지가 영상분석부(14)의 클라우드 AI 서버에 수신되면, 클라우드 AI 서버는 미리 학습된 인공지능 영상인식 알고리즘을 통해 수신된 통합 이미지로부터 피검자의 얼굴을 인식하고 미리 정해진 목표지점(예를 들면, 콧구멍 등)에 대한 영역 정보를 추출하여 현재 출력중인 실시간 영상 위에 합성하여 화면에 표시하는 처리가 수행되도록 구성될 수 있다.
또한, 상기한 클라우드 AI 서버는, 상기한 바와 같이 통합 이미지로부터 피검자의 얼굴을 인식하고 미리 정해진 목표지점에 대한 영역 정보를 화면에 표시하는 동시에, 역기구학(Inverse Kinematics) 알고리즘을 이용하여 검체채취 로봇에 구비된 검체채취용 면봉의 진입이 가능한 경로(좌표) 데이터를 추정하여 각각의 검체채취 로봇에 대하여 해당 로봇에 구비된 각각의 모터가 구동해야 하는 포지션 데이터를 산출하고, 산출된 포지션 데이터, 즉, 모터 제어정보를 자동제어 처리부(15)로 전송하는 처리가 수행되도록 구성될 수 있다.
더 상세하게는, 도 4를 참조하면, 도 4는 도 1에 나타낸 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템(10)의 영상분석부(14)를 통해 수행되는 영상분석 처리과정을 개략적으로 나타내는 개념도이다.
도 4에 나타낸 바와 같이, 영상분석부(14)의 클라우드 AI 서버에서 수행되는 영상분석 처리는, 먼저, 상기한 바와 같이 각각의 검체채취 로봇으로부터 전송되는 실시간 영상을 합성한 통합 이미지가 클라우드 AI 서버에 수신되면, 클라우드 AI 서버는 피검자의 얼굴 이미지에 대하여 미리 학습된 인공지능 영상인식 알고리즘을 이용하여, 예를 들면, 콧구멍등과 같이, 각각의 개별 영상에 대하여 미리 정해진 목표지점의 위치정보와 각 목표지점에 진입 가능한 면봉의 초기위치를 검출하고, 검출 데이터에서 목표지점에 대한 위치정보를 분리하여 해당 영역을 실시간으로 표시중인 영상에 합성하여 표시하는 동시에, 면봉의 위치정보를 별도로 분리하여 역기구학(Inverse Kinematics) 알고리즘을 통해 각각의 검체채취 로봇에 장착된 모터의 구동을 위한 목표 포지션 데이터로 변환하여 자동제어 처리부(15)로 전송하는 처리가 수행되도록 구성될 수 있다.
여기서, 상기한 인공지능 영상인식 알고리즘은, 예를 들면, 딥러닝(Deep Learning)이나 머신러닝(Machine Learning) 등과 같은 인공지능 학습 알고리즘이나, 또는, 인공신경망(Artificial Neural Network ; ANN)이나 컨벌루션 신경망(Convolutional Neural Network ; CNN) 기반의 객체인식 알고리즘을 이용하여 구성될 수 있다.
아울러, 상기한 바와 같이 인공지능 학습 알고리즘이나 인공신경망 기반의 객체인식 알고리즘을 이용하여 다수의 이미지를 학습하고 특정 이미지를 인식하여 미리 정해진 처리가 수행되도록 하는 구성 및 역기구학 알고리즘을 통해 모터의 구동을 위한 포지션 데이터를 생성하는 처리과정에 대한 보다 구체적인 내용에 대하여는, 기존의 인공지능 학습 알고리즘이나 인공신경망 기반의 객체인식 알고리즘 및 역기구학 알고리즘에 관한 기술내용들을 참조하여 당업자에 의해 적절히 구성될 수 있는 사항이므로, 이에, 본 발명에서는, 설명을 간략히 하기 위해, 상기한 바와 같이 종래기술의 내용을 통하여 당업자에게 자명하거나 종래기술의 내용을 참조하여 당업자가 용이하게 이해하고 실시할 수 있는 내용에 대하여는 그 상세한 설명을 생략하였음에 유념해야 한다.
또한, 도 5 도 6을 참조하면, 도 5 및 도 6은 도 4에 나타낸 영상분석부의 영상분석 처리과정에서 통합 이미지로부터 각각의 얼굴을 인식하고 특징을 추출하는 처리과정의 구체적인 구성에 대한 실시예를 각각 개략적으로 나타내는 개념도이다.
즉, 각각의 검체채취 로봇으로부터 전송되는 실시간 영상을 합성한 통합 이미지로부터 각각의 개별 영상에 포함된 얼굴을 인식하고 미리 정해진 목표지점의 위치를 검출하는 과정은, 먼저, 도 5에 나타낸 바와 같이, 통합 이미지에서 각각의 개별 영상을 분리하여 얼굴 영역을 각각 인식하고 각 개별 이미지의 원점을 기준으로 특징좌표((x1, y1), .... (x9, y9))에 대한 정보를 검출하는 처리가 수행되도록 구성될 수 있다.
여기서, 도 5에 나타낸 바와 같이 통합 이미지에서 개별 영상을 각각 분리하여 특징좌표에 대한 정보를 검출하는 경우는 각각의 영상을 개별적으로 처리함으로 인해 전체적인 처리시간이 오래 걸리고, 각 피검자에 대한 영상처리 시간을 고려하여 전체 프로세스를 진행해야 하므로 전체적인 처리과정이나 시스템 구성이 복잡해질 수 있다.
이에, 바람직하게는, 도 6에 나타낸 바와 같이, 통합 이미지의 원점을 기준으로 하여 통합 이미지 전체에서 각각의 개별 영상에 대한 특징좌표를 동시에 검출하고, 각 영역에 대한 행(row)과 열(column) 정보를 적용하여 통합 이미지에 대한 특징좌표를 각 개별 영상의 원점에 대한 특징좌표로 변환하여 로봇 좌표계를 각각 산출하도록 구성됨으로써, 한번의 처리로 모든 개별 영상에 대한 특징좌표를 검출할 수 있으며, 그것에 의해, 전체적인 처리과정 및 시간을 단축하고, 각 피검자에 대한 영상처리 시간의 차이를 고려하여 서버와 동기화를 맞추는 등의 처리가 필요 없게 되는 장점이 있다.
더 상세하게는, 예를 들면, 5번 영상의 경우, 5번 이미지의 원점을 기준으로 특징좌표로 변환하는 처리는, 통합 이미지의 원점을 기준으로하는 5번 영상의 특징좌표를 (x'5, y'5)라 하고, 통합 이미지에서 각 개별 영상에 대한 행(row)과 열(column) 정보를 각가 row, col이라 하며, 각 개별 영상의 넓이와 높이를 각각 w, h라 할 때, 각 개별 영상에 대한 실제 특징좌표 (x5, y5)는 다음과 같이 나타낼 수 있다.
x5 = x'5 - (col × w)
y5 = y'5 - (row × h)
따라서 상기한 자동제어 처리부(15)는, 상기한 바와 같이 하여 영상분석부(14)의 클라우드 AI 서버로부터 수신되는 각각의 검체채취 로봇에 대한 제어정보(포지션 데이터)에 근거하여 각각의 검체채취 로봇에 구비된 면봉의 위치를 조정하고, 위치조정이 완료되면 삽입하여 검체의 채취가 자동으로 이루어지도록 제어하는 처리가 수행되도록 구성될 수 있다.
이때, 진입 구동중 면봉의 삽입거리 및 면봉에 가해지는 압력에 대한 측정값이 미리 정해진 기준을 초과하는 것이 감지되면 검체채취 성공으로 판단하여 후진 구동을 수행하고 검체채취 작업을 종료하고 채취된 검체를 회수하도록 하는 처리가 수행되도록 구성될 수 있다.
또한, 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템(10)은, 상기한 바와 같이 전자동 방식으로 운영되는 구성으로만 한정되는 것이 아니라, 필요에 따라 수동 방식으로도 운영이 가능하도록 구성될 수 있다.
즉, 상기한 바와 같이 하여 면봉의 위치조정이 완료되면 별도의 컨트롤러를 통해 사용자가 직접 면봉의 진입 구동을 조작하도록 구성될 수 있으며, 이때, 사용자는 진입 구동중 실시간 영상에서 확인되는 삽입거리와 GUI 상에 표시되는 압력 게이지 등의 정보를 종합적으로 판단하여 검체채취의 성공여부를 판단하고 후진구동을 수행하도록 구성될 수 있다.
따라서 상기한 바와 같은 구성으로부터, 본 발명에 따르면, 다수의 검체채취 로봇으로부터 실시간으로 개별 영상데이터를 수신하고 단일의 통합 이미지를 생성하여 영상분석을 통해 각각의 검체채취 로봇에 대한 제어신호를 생성함으로써, 다수의 검체채취 로봇에 대하여 동시에 원격으로 자동제어가 가능한 장점을 가지는 것이다.
여기서, 검체채취 로봇은 사람의 신체에 접촉하는 동작을 수행하므로 사람의 움직임 등을 고려하여 빠르게 대응할 필요가 있으나, 네트워크의 지연 등으로 인해 오래된 영상으로 판단된 제어신호가 도착하여 작동을 수행할 경우 작동위치의 판단시점과 실제 구동시점에서의 피검자의 위치가 달라질 수 있다.
이에, 본 발명에서는, 후술하는 바와 같이, 전송 지연시간을 측정하고 지연 허용시간을 적용하여 안전성을 확보할 수 있도록 구성될 수 있다.
즉, 도 7을 참조하면, 도 7은 도 1에 나타낸 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템에서 수행되는 제어신호 지연처리 과정을 개략적으로 나타내는 개념도이다.
도 7에 나타낸 바와 같이, 상기한 영상분석부(14)는, 각각의 검체채취 로봇과 지속적으로 타임싱크(Timesync) 메시지를 송수신하여 왕복시간(Round Trip Time ; RTT)과 시간차를 기록하고, 영상분석 처리를 수행한 후 제어정보를 각 로봇에 전달시 타임스탬프를 함께 전송하며, 자동제어 처리부(15)는 제어정보를 수신시 타임스탬프를 통해 지연시간을 산출하여 RTT와 산출된 지연시간이 미리 정해진 기준값 이내인 경우에만 모터나 액츄에이터(Actuator) 등을 구동하여 검체채취 동작이 실제로 수행되도록 제어하는 처리가 수행되도록 구성될 수 있다.
따라서 상기한 바와 같은 구성으로부터, 네트워크 지연 등으로 인해 오래된 영상으로 판단된 제어신호가 수신되어 오동작이나 사고가 발생하는 것을 효과적으로 방지할 수 있으며, 그것에 의해, 보다 정확하고 안전한 검체채취 작업이 이루어질 수 있다.
더욱이, 상기한 바와 같은 구성으로부터, 본 발명에 따르면, 다중제어 스케줄링을 통해 1 : N 형태로 단일의 제어시스템에서 다수의 검체채취 로봇을 동시에 제어 가능하도록 구성될 수 있다.
즉, 실제로는 검체채취 대상자가 입장, 검사, 퇴장시 모든 구동로봇이 동시에 같은 절차를 수행하지는 않으므로, 각각의 검체채취 로봇의 작동 절차를 개별적으로 제어하여야 한다.
더 상세하게는, 먼저, 각각의 검체채취 로봇은 대기, 입장, 검사, 검사종료, 회수 중 하나의 상태를 나타내는 상태코드를 가지며, 초기 구동시에는 대기상태이고, 실시간 영상을 분석하여 목표지점이 최초로 검출되는 시점에서 입장상태로 전환하며, 목표지점의 위치가 변동되지 않고 안정되는 시점에서 검사상태로 전환하고, 면봉삽입 동작 수행 후 최후방까지 후퇴동작이 수행되면 검사종료 상태로 전환하며, 영상에서 목표지점 및 대상자가 검출되지 않으면 회수상태로 전환하고, 사용자에 의해 회수작업이 종료되면 다시 대기상태로 전환하여 상기한 과정을 반복하도록 구성될 수 있다.
이때, 각각의 검체채취 로봇은 자신의 현재 상태에 따라 안내방송을 반복 수행하여 사용자의 혼선을 방지하도록 구성될 수 있다.
여기서, 상기한 바와 같은 음성안내의 예로는, 예를 들면, 대기시 무음, 입장시 "머리를 받침대에 고정하시고 움직이지 마세요", 검사시 "검사가 진행중입니다. 움직이지 마세요", 검사종료시 "검사가 종료되었습니다", 회수시 무음 등으로 구성될 수 있다.
따라서 상기한 바와 같이 하여 본 발명의 실시예에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법을 구현할 수 있으며, 그것에 의해, 본 발명에 따르면, 검체 채취 대상 및 채취 위치를 인식하도록 학습된 클라우드(cloud) 기반의 인공지능(AI) 영상인식 알고리즘을 통해 검체채취 로봇을 자동으로 제어하는 것에 의해 비대면 방식의 검체채취 과정이 전자동으로 수행될 수 있으며, 그것에 의해, 의료진의 개입 없이도 정확하고 안전한 검체채취 작업이 이루어질 수 있다.
이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.
10. 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템
11. 검체채취부
12. 영상취득부
13. 영상처리부
14. 영상분석부
15. 자동제어 처리부
16. 영상출력부
17. 통신부
18. 제어부
11. 검체채취부
12. 영상취득부
13. 영상처리부
14. 영상분석부
15. 자동제어 처리부
16. 영상출력부
17. 통신부
18. 제어부
Claims (16)
- 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템에 있어서,
원격제어가 가능하도록 이루어지는 다수의 검체채취 로봇을 포함하여 이루어지는 검체채취부;
상기 검체채취부의 각각의 검체채취 로봇에 설치되어 피검자의 영상을 실시간으로 전송하기 위한 카메라를 포함하여 이루어지는 영상취득부;
상기 영상취득부를 통하여 실시간으로 수신되는 각각의 영상을 하나의 이미지로 재구성하는 처리가 수행되도록 이루어지는 영상처리부;
인공지능(AI) 영상인식 알고리즘을 이용하여, 상기 영상처리부를 통해 수신된 영상에서 각각의 피검자의 얼굴영역을 인식하고 미리 정해진 목표지점을 검출하여 각각의 검체채취 로봇을 제어하기 위한 제어정보를 생성하는 처리가 수행되도록 이루어지는 클라우드 AI 서버를 포함하여 이루어지는 영상분석부; 및
상기 영상분석부의 상기 클라우드 AI 서버로부터 전송되는 제어정보에 근거하여 상기 검체채취부의 각각의 검체채취 로봇의 동작을 자동으로 제어하는 처리가 수행되도록 이루어지는 자동제어 처리부를 포함하여 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 제 1항에 있어서,
상기 시스템은,
상기 검체채취부, 상기 영상취득부, 상기 영상처리부, 상기 영상분석부 및 상기 자동제어 처리부를 통하여 송수신되는 각각의 영상 및 처리과정을 포함하는 각종 데이터를 표시하기 위한 모니터나 디스플레이를 포함하여 이루어지는 영상출력부;
유선 또는 무선통신 중 적어도 하나의 방식으로 통신을 행하여 각종 데이터를 송수신하기 위한 통신부; 및
상기 시스템의 전체적인 동작을 제어하는 처리가 수행되도록 이루어지는 제어부를 더 포함하여 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 제 1항에 있어서,
상기 영상처리부는,
각각의 검체채취 로봇에 구비된 카메라를 통해 실시간으로 피검자의 영상을 각각 수신하고, 동시에 수신되는 각각의 개별 영상데이터를 격자 형태의 레이아웃으로 배치하는 것에 의해 단일의 화면으로 재구성하여 출력하는 동시에, 재구성된 화면을 변환 및 압축하여 통합 이미지를 생성하고 상기 클라우드 AI 서버로 전송하는 영상처리 작업이 수행되도록 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 제 3항에 있어서,
상기 영상처리부는,
고장이나 통신장애 또는 오류로 인해 특정 검체채취 로봇의 영상이 수신되지 않는 경우는 통합 이미지에서 해당 영상의 위치를 블랭크(blank) 처리하도록 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 제 3항에 있어서,
상기 영상분석부는,
각각의 검체채취 로봇으로부터 전송되는 실시간 영상을 단일의 화면으로 재구성하여 생성된 통합 이미지가 상기 영상처리부를 통하여 상기 클라우드 AI 서버에 수신되면, 얼굴 이미지에 대하여 미리 학습된 인공지능 영상인식 알고리즘을 이용하여, 상기 통합 이미지 내에 포함된 각각의 개별 영상에 대하여 피검자의 얼굴을 인식하고 미리 정해진 목표지점의 위치정보와 각 목표지점에 진입 가능한 면봉의 초기위치를 검출하며,
검출 데이터에서 목표지점에 대한 위치정보를 추출하여 현재 출력중인 실시간 영상 위에 합성하여 화면에 표시하고,
역기구학(Inverse Kinematics) 알고리즘을 이용하여, 각각의 검체채취 로봇에 구비된 검체채취용 면봉의 진입이 가능한 경로(좌표) 데이터를 추정하여 각각의 검체채취 로봇에 대하여 해당 로봇의 모터를 구동하기 위한 포지션 데이터를 산출하며,
산출된 상기 포지션 데이터를 포함하는 제어정보를 상기 자동제어 처리부로 전송하는 처리가 수행되도록 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 제 5항에 있어서,
상기 영상분석부는,
각각의 검체채취 로봇으로부터 전송되는 실시간 영상을 합성한 상기 통합 이미지에서 각각의 개별 영상을 분리하여 얼굴 영역을 각각 인식하고 각 개별 이미지의 원점을 기준으로 특징좌표에 대한 정보를 검출하는 처리가 수행되도록 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 제 5항에 있어서,
상기 영상분석부는,
각각의 검체채취 로봇으로부터 전송되는 실시간 영상을 합성한 상기 통합 이미지의 원점을 기준으로 하여 상기 통합 이미지 전체에서 각각의 개별 영상에 대한 특징좌표를 동시에 검출하고,
상기 통합 이미지 내에서 각각의 개별 영상에 대한 행(row)과 열(column) 정보를 적용하여 상기 통합 이미지에 대한 특징좌표를 각각의 개별 영상의 원점에 대한 특징좌표로 변환하여 로봇 좌표계를 각각 산출하는 처리가 수행되도록 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 제 5항에 있어서,
상기 인공지능 영상인식 알고리즘은,
딥러닝(Deep Learning)이나 머신러닝(Machine Learning)을 포함하는 인공지능 학습 알고리즘을 이용하여 구성되거나,
또는, 인공신경망(Artificial Neural Network ; ANN)이나 컨벌루션 신경망(Convolutional Neural Network ; CNN)을 포함하는 네트워크 기반의 객체인식 알고리즘을 이용하여 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 제 5항에 있어서,
상기 자동제어 처리부는,
상기 영상분석부의 클라우드 AI 서버로부터 수신되는 각각의 검체채취 로봇에 대한 제어정보(포지션 데이터)에 근거하여 각각의 검체채취 로봇에 구비된 면봉의 위치를 조정하고, 위치조정이 완료되면 면봉을 삽입하여 검체를 채취하는 동작을 수행하도록 제어하는 처리가 수행되도록 구성됨으로써,
각각의 검체채취 로봇으로부터 실시간으로 개별 영상데이터를 수신하고 단일의 통합 이미지를 생성하여 영상분석을 통해 각각의 검체채취 로봇에 대한 제어정보를 생성하는 것에 의해, 다수의 검체채취 로봇에 대하여 동시에 자동제어가 이루어질 수 있도록 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 제 9항에 있어서,
상기 자동제어 처리부는,
진입 구동중 면봉의 삽입거리 및 면봉에 가해지는 압력에 대한 측정값이 미리 정해진 기준을 초과하는 것이 감지되면 검체채취 성공으로 판단하여 후진 구동을 수행하고 검체채취 작업을 종료한 후 채취된 검체를 회수하도록 하는 처리가 수행되도록 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 제 5항에 있어서,
상기 영상분석부는,
각각의 검체채취 로봇과 미리 정해진 설정에 따라 지속적으로 타임싱크(Timesync) 메시지를 송수신하여 왕복시간(Round Trip Time ; RTT)과 시간차를 기록하고, 영상분석 처리를 수행한 후 제어정보를 전송시 타임스탬프를 함께 전송하며,
상기 자동제어 처리부는,
상기 제어정보를 수신시 상기 타임스탬프를 통해 지연시간을 산출하여 RTT와 산출된 지연시간이 미리 정해진 기준값 이내인 경우에만 모터나 액츄에이터(Actuator)를 구동하여 검체채취 동작이 수행되도록 제어하는 처리가 수행되도록 구성됨으로써,
전송 지연시간을 측정하고 지연 허용시간을 적용하는 것에 의해 제어정보 전송의 지연으로 인한 오동작이나 사고발생을 방지하여 검체채취 작업의 정확성과 안전성을 향상시킬 수 있도록 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 제 5항에 있어서,
상기 영상분석부는,
각각의 검체채취 로봇에 대하여 초기 구동시에는 대기상태를 나타내는 상태코드를 부여하고,
실시간 영상을 분석하여 목표지점이 최초로 검출되는 시점에서 상기 상태코드를 입장상태로 전환하며,
검출된 목표지점의 위치가 미리 정해진 기준시간 동안 변동되지 않으면 상기 상태코드를 검사상태로 전환하고,
면봉삽입 동작 수행 후 최후방까지 후퇴동작이 수행되면 상기 상태코드를 검사종료 상태로 전환하며,
영상에서 목표지점 및 피검자가 검출되지 않으면 상기 상태코드를 회수상태로 전환하고,
사용자에 의해 회수작업이 종료되면 상기 상태코드를 다시 대기상태로 전환하는 과정을 반복 수행하는 처리가 수행되도록 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 제 12항에 있어서,
상기 자동제어 처리부는,
상기 상태코드에 근거하여 각각의 검체채취 로봇의 현재 상태에 따라 미리 정해진 음성안내나 안내 메시지를 전달하도록 제어하는 처리가 수행되도록 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 제 1항에 있어서,
상기 시스템은,
상기 자동제어 처리부에 의한 자동제어 방식과, 면봉의 위치조정이 완료되면 별도의 컨트롤러를 통해 사용자가 직접 면봉의 진입 구동을 조작하는 수동제어 방식을 사용자가 선택하여 적용 가능하도록 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 제 2항에 있어서,
상기 시스템은,
상기 검체채취부 및 상기 영상취득부는 원격제어 기능을 가지는 검체채취 로봇에 카메라를 설치하거나 카메라가 구비된 검체채취 로봇의 형태로 구성되고,
상기 영상처리부, 상기 영상분석부, 상기 자동제어 처리부, 상기 영상출력부, 상기 통신부 및 상기 제어부는 일체로 형성되어 각각의 상기 검체채취 로봇과 네트워크를 통해 연동되는 원격제어 시스템의 형태로 구성되는 것을 특징으로 하는 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템.
- 검체채취 방법에 있어서,
피검자로부터 검체를 채취하기 위한 검체채취 시스템을 구축하는 처리가 수행되는 시스템 구축단계; 및
상기 시스템 구축단계를 통해 구축된 검체채취 시스템을 이용하여 검체를 채취하는 처리가 수행되는 검체채취 단계를 포함하여 구성되고,
상기 검체채취 시스템은,
청구항 1항 내지 청구항 15항 중 어느 한 항에 기재된 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템을 이용하여 구성되는 것을 특징으로 하는 검체채취방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220187794A KR20240105007A (ko) | 2022-12-28 | 2022-12-28 | 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법 |
| PCT/KR2023/021126 WO2024144079A1 (ko) | 2022-12-28 | 2023-12-20 | 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220187794A KR20240105007A (ko) | 2022-12-28 | 2022-12-28 | 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240105007A true KR20240105007A (ko) | 2024-07-05 |
Family
ID=91718704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220187794A KR20240105007A (ko) | 2022-12-28 | 2022-12-28 | 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20240105007A (ko) |
| WO (1) | WO2024144079A1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102429573B1 (ko) | 2020-04-08 | 2022-08-04 | 안여현 | 비접촉식 검체채취가 가능한 다방향 워크스루 부스 |
| KR102464658B1 (ko) | 2020-12-11 | 2022-11-07 | 황민욱 | 듀얼타입 워크스루 검체 채취 장치 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100904916B1 (ko) * | 2008-06-19 | 2009-07-01 | 주식회사 다우엑실리콘 | 얼굴 인식 시스템 및 방법 |
| CN113095124B (zh) * | 2017-06-07 | 2024-02-06 | 创新先进技术有限公司 | 一种人脸活体检测方法、装置以及电子设备 |
| KR102619022B1 (ko) * | 2020-06-11 | 2023-12-28 | 동국대학교 산학협력단 | 상기도 검체 채취 장치 |
| KR102570097B1 (ko) * | 2020-11-12 | 2023-08-24 | 주식회사 제우기술 | 로봇 암을 이용한 검체 채취 시스템 및 방법 |
| KR102345224B1 (ko) * | 2021-02-04 | 2021-12-30 | 고려대학교 산학협력단 | 인공지능형 석션기를 이용한 로봇 기관지내시경 및 그의 제어 방법 |
-
2022
- 2022-12-28 KR KR1020220187794A patent/KR20240105007A/ko unknown
-
2023
- 2023-12-20 WO PCT/KR2023/021126 patent/WO2024144079A1/ko unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102429573B1 (ko) | 2020-04-08 | 2022-08-04 | 안여현 | 비접촉식 검체채취가 가능한 다방향 워크스루 부스 |
| KR102464658B1 (ko) | 2020-12-11 | 2022-11-07 | 황민욱 | 듀얼타입 워크스루 검체 채취 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024144079A1 (ko) | 2024-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11819188B2 (en) | Machine-learning-based visual-haptic system for robotic surgical platforms | |
| RU2602352C2 (ru) | Система автоматического тестирования для цифровых систем отображения | |
| CN106456433A (zh) | 康复辅助系统 | |
| AU2024201249A1 (en) | Modifying data from a surgical robotic system | |
| US20230170088A1 (en) | Medical information processor, medical information processing method, and operating room network system | |
| CN113569671B (zh) | 异常行为报警方法、装置 | |
| CN110364260A (zh) | 基于指示性语言范式的孤独症早期评估装置及系统 | |
| KR20190142618A (ko) | 태아의 심박동을 모니터링하는 방법 및 그 장치 | |
| WO2021004799A1 (fr) | Dispositif et procede d'analyse du comportement d'un sujet | |
| KR20240105007A (ko) | 클라우드 기반 인공지능 영상인식을 이용한 전자동 검체채취 시스템 및 방법 | |
| US20190027246A1 (en) | Method and apparatus for detecting and analyzing a workflow performed with an imaging apparatus | |
| CN208212008U (zh) | 自测式视力检测系统 | |
| US20190306453A1 (en) | Information recording system, information recording device, and information recording method | |
| CN115813343A (zh) | 儿童行为异常评估方法和系统 | |
| WO2023273695A1 (zh) | 产品漏检的识别方法、装置、电子设备及存储介质 | |
| CN116152945A (zh) | 一种基于ar技术的矿下巡检系统及方法 | |
| CN116019479A (zh) | 智能听诊系统和智能听诊方法 | |
| CN114566275A (zh) | 一种基于混合现实的院前急救辅助系统 | |
| Singh et al. | Eyeball Controlled Wheelchair | |
| Yue et al. | An intelligent hand-washing monitoring platform based on gesture recognition technology | |
| RU2781179C2 (ru) | Реализуемый компьютером способ анализа связанных с человеком данных об аварийной ситуации | |
| EP4198996A1 (en) | Movement code-based emotional behavior analysis system | |
| KR102488969B1 (ko) | 학습모델 기반의 발달 장애 조기 선별을 위한 데이터에 대한 레이블링을 위한 장치 및 이를 위한 방법 | |
| Nahushev | Detection and Localization of Emergency Situations in the Process of Robotic Surgery Based on the Video Image Analysis System | |
| CN112834764B (zh) | 机械臂的采样控制方法及装置、采样系统 |