KR20220109061A - 열상의 봉합에 대한 정보를 제공하는 인공지능 모델 기반의 전자 장치, 제어 방법, 및 컴퓨터 프로그램 - Google Patents

열상의 봉합에 대한 정보를 제공하는 인공지능 모델 기반의 전자 장치, 제어 방법, 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20220109061A
KR20220109061A KR1020210012292A KR20210012292A KR20220109061A KR 20220109061 A KR20220109061 A KR 20220109061A KR 1020210012292 A KR1020210012292 A KR 1020210012292A KR 20210012292 A KR20210012292 A KR 20210012292A KR 20220109061 A KR20220109061 A KR 20220109061A
Authority
KR
South Korea
Prior art keywords
suture
artificial intelligence
electronic device
image
intelligence model
Prior art date
Application number
KR1020210012292A
Other languages
English (en)
Other versions
KR102457340B1 (ko
Inventor
김재국
장용수
김원희
최현영
강구현
이윤재
Original Assignee
한림대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한림대학교 산학협력단 filed Critical 한림대학교 산학협력단
Priority to KR1020210012292A priority Critical patent/KR102457340B1/ko
Publication of KR20220109061A publication Critical patent/KR20220109061A/ko
Priority to GBGB2402936.5A priority patent/GB202402936D0/en
Application granted granted Critical
Publication of KR102457340B1 publication Critical patent/KR102457340B1/ko

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08F—MACROMOLECULAR COMPOUNDS OBTAINED BY REACTIONS ONLY INVOLVING CARBON-TO-CARBON UNSATURATED BONDS
    • C08F236/00—Copolymers of compounds having one or more unsaturated aliphatic radicals, at least one having two or more carbon-to-carbon double bonds
    • C08F236/02—Copolymers of compounds having one or more unsaturated aliphatic radicals, at least one having two or more carbon-to-carbon double bonds the radical having only two carbon-to-carbon double bonds
    • C08F236/04—Copolymers of compounds having one or more unsaturated aliphatic radicals, at least one having two or more carbon-to-carbon double bonds the radical having only two carbon-to-carbon double bonds conjugated
    • C08F236/12—Copolymers of compounds having one or more unsaturated aliphatic radicals, at least one having two or more carbon-to-carbon double bonds the radical having only two carbon-to-carbon double bonds conjugated with nitriles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/04—Surgical instruments, devices or methods, e.g. tourniquets for suturing wounds; Holders or packages for needles or suture materials
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08F—MACROMOLECULAR COMPOUNDS OBTAINED BY REACTIONS ONLY INVOLVING CARBON-TO-CARBON UNSATURATED BONDS
    • C08F2/00—Processes of polymerisation
    • C08F2/12—Polymerisation in non-solvents
    • C08F2/16—Aqueous medium
    • C08F2/22—Emulsion polymerisation
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08F—MACROMOLECULAR COMPOUNDS OBTAINED BY REACTIONS ONLY INVOLVING CARBON-TO-CARBON UNSATURATED BONDS
    • C08F2/00—Processes of polymerisation
    • C08F2/44—Polymerisation in the presence of compounding ingredients, e.g. plasticisers, dyestuffs, fillers
    • C—CHEMISTRY; METALLURGY
    • C08—ORGANIC MACROMOLECULAR COMPOUNDS; THEIR PREPARATION OR CHEMICAL WORKING-UP; COMPOSITIONS BASED THEREON
    • C08J—WORKING-UP; GENERAL PROCESSES OF COMPOUNDING; AFTER-TREATMENT NOT COVERED BY SUBCLASSES C08B, C08C, C08F, C08G or C08H
    • C08J5/00—Manufacture of articles or shaped materials containing macromolecular substances
    • C08J5/02—Direct processing of dispersions, e.g. latex, to articles
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure

Landscapes

  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Polymers & Plastics (AREA)
  • Organic Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Materials Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Dispersion Chemistry (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Urology & Nephrology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Dermatology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는, 열상의 봉합과 관련된 정보를 제공하도록 훈련된 인공지능 모델이 저장된 메모리, 메모리와 연결된 프로세서를 포함한다. 프로세서는, 이미지를 인공지능 모델에 입력하여, 이미지에 포함된 열상의 봉합과 관련된 정보를 획득하고, 획득된 봉합과 관련된 정보를 제공한다.

Description

열상의 봉합에 대한 정보를 제공하는 인공지능 모델 기반의 전자 장치, 제어 방법, 및 컴퓨터 프로그램 { ARTIFICIAL INTELLIGENCE BASED ELECTRONIC APPRATUS FOR PROVIDING INFORMATION ON SUTURING OF LACERATION, CONTROL METHOD, AND COMPUTER PROGRAM }
본 개시는 인공지능 모델 기반의 전자 장치에 관한 것으로, 보다 상세하게는 열상의 이미지가 입력되면 열상에 대한 봉합 치료에 대한 가이드를 제공하는 전자 장치에 관한 것이다.
흔히 열상으로 표현하는 열린 상처는 봉합이 요구되는 상처이며, 이러한 상처는 대부분 응급실을 방문하여 봉합 치료를 받게 된다.
열린 상처는 종류가 다양하며, 각 열린 상처의 상황에 따라 봉합을 시행하기 전에 필요한 시술이나 상처 조작이 있는 경우도 있다.
다만, 응급실 의료진이 열린 상처에 대하여 제대로 훈련되지 않은 경우, 적절한 대응을 하지 못하여 추후 상처를 다시 봉합해야 하거나 상처부위의 조직이 탈락되는 등의 문제가 발생하기도 한다.
특히, 열린 상처를 봉합하기 위해서는 바늘이 들어가야 할 위치 및 나와야 할 위치가 중요한데, 숙련된 의사가 아닌 경우라면 처치에 어려움이 있는 경우가 많다.
등록특허공보 제10-20992140000호(생체정보 및 영상정보 연계를 통한 인공지능 질환 진단 시스템)
본 개시는 열상에 대한 이미지가 입력되면 봉합 치료에 관한 구체적인 정보를 출력하는 전자 장치를 제공한다.
본 개시의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 개시의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 개시의 일 실시 예에 따른 전자 장치는, 열상의 봉합과 관련된 정보를 제공하도록 훈련된 인공지능 모델이 저장된 메모리, 상기 메모리와 연결된 프로세서를 포함한다. 상기 프로세서는, 이미지를 상기 인공지능 모델에 입력하여, 상기 이미지에 포함된 열상의 봉합과 관련된 정보를 획득하고, 상기 획득된 봉합과 관련된 정보를 제공한다.
상기 인공지능 모델은, 열상을 포함하는 적어도 하나의 이미지 및 상기 적어도 하나의 이미지에 매칭되는 봉합 가이드를 기반으로 훈련된 모델일 수 있다.
상기 봉합과 관련된 정보는, 봉합 여부, 봉합 과정, 봉합 방식, 봉합사, 봉합사 간격, 및 봉합 위치 중 적어도 하나에 대한 정보를 포함할 수 있다.
한편, 상기 메모리는, 신체부위를 식별하도록 훈련된 제1 인공지능 모델, 제1 신체부위의 열상의 봉합과 관련된 정보를 제공하도록 훈련된 제2 인공지능 모델, 제2 신체부위의 열상의 봉합과 관련된 정보를 제공하도록 훈련된 제3 인공지능 모델을 포함할 수 있다. 이 경우, 상기 프로세서는, 상기 이미지를 상기 제1 인공지능 모델에 입력하여, 상기 이미지에 포함되는 신체부위를 식별하고, 상기 식별된 신체부위가 제1 신체부위에 매칭되는 경우, 상기 이미지를 상기 제2 인공지능 모델에 입력하여 봉합과 관련된 정보를 획득하고, 상기 식별된 신체부위가 제2 신체부위에 매칭되는 경우, 상기 이미지를 상기 제3 인공지능 모델에 입력하여 봉합과 관련된 정보를 획득할 수 있다.
이때, 상기 제2 인공지능 모델은, 상기 제1 신체부위의 열상을 포함하는 적어도 하나의 이미지를 기반으로 훈련된 모델이고, 상기 제3 인공지능 모델은, 상기 제2 신체부위의 열상을 포함하는 적어도 하나의 이미지를 기반으로 훈련된 모델일 수 있다.
한편, 상기 프로세서는, 봉합과 관련된 정보가 제공된 이력을 기반으로, 봉합과 관련된 의료 물품의 종류 및 수량에 대한 정보를 포함하는 주문서를 생성할 수도 있다.
또한, 상기 프로세서는, 상기 입력된 이미지 및 상기 획득된 봉합과 관련된 정보를 복수의 전문의 단말로 전송하고, 상기 복수의 전문의 단말 중 적어도 하나의 전문의 단말로부터 상기 획득된 봉합과 관련된 정보에 대한 피드백이 수신되는 경우, 상기 수신된 피드백에 대한 정보를 상기 복수의 전문의 단말로 전송하여 상기 피드백에 대한 합의를 도출하고, 상기 도출된 합의에 따라 상기 인공지능 모델을 업데이트할 수 있다.
또한, 상기 프로세서는, 적어도 하나의 AR(Augmented Reality) 기기와 통신을 수행하여, 상기 AR 기기를 통해 봉합 위치, 봉합 간격, 및 봉합 과정 중 적어도 하나에 대한 정보를 AR로 제공할 수도 있다.
본 개시의 일 실시 예에 따라 열상의 봉합과 관련된 정보를 제공하도록 훈련된 인공지능 모델을 포함하는 전자 장치의 제어 방법은, 이미지를 상기 인공지능 모델에 입력하여, 상기 이미지에 포함된 열상의 봉합과 관련된 정보를 획득하는 단계, 상기 획득된 봉합과 관련된 정보를 제공하는 단계를 포함한다.
본 개시에 따른 전자 장치 및 제어 방법은, 열린 상처의 봉합을 위한 정보에 대하여 집중적으로 훈련된 인공지능 모델을 이용함으로써, 열린 상처의 봉합과 관련된 상세한 가이드를 제공할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치가 이용하는 인공지능 모델의 입출력을 개략적으로 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 4는 본 개시의 일 실시 예에 따른 전자 장치가 신체부위 별로 훈련된 복수의 인공지능 모델을 이용하는 예를 설명하기 위한 도면,
도 5는 본 개시의 일 실시 예에 따른 전자 장치가 이미지 내 신체부위에 따라 각 모델을 선택적으로 이용하는 동작을 설명하기 위한 흐름도,
도 6은 본 개시의 일 실시 예에 따른 전자 장치가 인공지능 모델을 업데이트하는 동작을 설명하기 위한 흐름도,
도 7은 본 개시의 일 실시 예에 따른 전자 장치가 봉합과 관련된 정보를 AR로 제공하는 동작을 설명하기 위한 도면, 그리고
도 8은 본 개시의 다양한 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치가 이용하는 인공지능 모델의 입출력을 개략적으로 설명하기 위한 도면이다.
도 1을 참조하면, 전자 장치는 열상이 촬영된 이미지(1)를 인공지능 모델(10)에 입력할 수 있다.
이 경우, 인공지능 모델(10)은 이미지(1)에 포함된 열상의 봉합에 관한 정보(2)를 출력할 수 있다. 인공지능 모델(10)은 신체 각 부위의 열상이 촬영된 이미지들을 훈련 데이터로 하여 훈련된 모델일 수 있다.
도 1을 참조하면, 봉합에 관한 정보(2)는, 이미지(1)에 포함된 열상의 봉합 치료를 위한 과정, 봉합사, 봉합 방식 등에 관한 정보를 포함할 수 있다.
이렇듯, 본 개시에 따른 전자 장치는 열린 상처가 촬영된 이미지가 입력되면 봉합에 관한 정보를 출력하도록 훈련된 인공지능 모델을 이용할 수 있는 바, 출력된 정보는 의료 행위 내지는 의료 교육/훈련에 이용될 수 있다.
특히, '열상 및 봉합'이라는 비교적 한정적인 범위의 상해 및 의료 행위에 대해서만 특화되어 집중 훈련된 인공지능 모델이 이용됨으로써, 제공되는 정보의 정확성 및 신뢰도가 보장될 수 있다.
이하 도면들을 통해 전자 장치의 구성 및 동작에 대해 보다 구체적으로 설명한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.
전자 장치(100)는 스마트폰, 데스크탑 PC, 태블릿 PC, 노트북 PC, 웨어러블 장치, VR/AR 기기, PDA 등 다양한 단말 장치일 수 있다.
또한, 전자 장치(100)는 적어도 하나의 단말 장치와 통신을 수행하는 하나 이상의 컴퓨터를 포함하는 서버로 구현될 수도 있다.
메모리(110)는 전자 장치(100) 내 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System), 적어도 하나의 인스트럭션 및 데이터를 저장하기 위한 구성이다.
메모리(110)는 ROM, 플래시 메모리 등의 비휘발성 메모리를 포함할 수 있으며, DRAM 등으로 구성된 휘발성 메모리를 포함할 수 있다. 또한, 메모리(110)는 하드 디스크, SSD(Solid state drive) 등을 포함할 수도 있다.
도 2를 참조하면, 메모리(110)는 봉합에 관한 정보를 제공하도록 훈련된 적어도 하나의 인공지능 모델(111)을 포함할 수 있다.
인공지능 모델(111)은, 신경망(Neural Network)을 기반으로 하는 네트워크 모델에 해당할 수 있다.
네트워크 모델은 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 서로 다른 레이어의 노드 간 가중치를 기반으로 연결 관계를 형성할 수 있다.
인공지능 모델(111)은 DNN(Deep Neural Network) 방식을 통해 학습될 수 있으며, CNN(Convolutional Neural Network), RCNN(Regional Convolutional Neural Network) 등을 이용할 수 있으나 이에 한정되는 것은 아니다.
일 예로, 인공지능 모델(111)은 이미지로부터 특징 정보를 추출하기 위한 적어도 하나의 Convolutional Layer와, 추출된 특징 정보로부터 다양한 봉합 관련 정보를 도출하기 위한 복수의 독립된 Fully-connected layer들을 포함할 수 있으나, 이에 한정되지 않는다.
열상을 포함하는 적어도 하나의 이미지가 입력되면, 인공지능 모델(111)은 이미지에 포함된 열상을 인식하고, 인식된 열상에 적합한 봉합 관련 정보를 출력하도록 구현될 수 있다. 이를 위해, 인공지능 모델(111)은 열상을 인식하기 위한 적어도 하나의 객체 인식 파트 및 열상으로부터 봉합 관련 정보를 추출하기 위한 추출 파트를 포함할 수 있으나, 이에 한정되지 않는다.
봉합 관련 정보는, 봉합 여부, 봉합 과정, 봉합 방식, 봉합사, 봉합사 간격, 및 봉합 위치 중 적어도 하나에 대한 정보를 포함할 수 있다.
구체적으로, 봉합 관련 정보는, 이미지에 포함된 열상에 대해 봉합 치료가 필요한지 여부를 포함할 수 있다.
또한, 봉합 관련 정보는, 봉합 전후의 세척/소독 과정, 봉합사의 제거 시기, 주의사항, 참고사항, 기타 봉합 치료 전반의 과정에 대한 내용을 포함할 수 있다.
또한, 봉합 관련 정보는, 단순 단속 봉합법(Simple Interrupted Suture), 매트리스 봉합(Mattress Suture. 수평 또는 수직), 연속 봉합(Continuous Suture), 비봉합법(Nonsuture Technique), 스테플러 봉합법(Stapler) 등 다양한 봉합 방식에 대한 정보를 포함할 수 있다.
또한, 봉합 관련 정보는, 봉합에 사용되는 실의 소재(ex. 견, 나일론, 폴리텔레프탈에틸렌, 컷구트, 폴리글리콜산 등), 두께, 길이, 흡수성, 비흡수성 등 봉합사에 대한 정보를 포함할 수 있다. 또한, 봉합 관련 정보는, 봉합에 사용되는 니들(needle)의 종류, 크기, 모양 등에 대한 정보도 포함할 수 있다.
또한, 봉합 관련 정보는, 봉합사의 간격에 대한 정보를 포함할 수 있으며, 봉합의 시작/종료 지점(위치)에 대한 정보를 포함할 수 있다.
한편, 봉합 관련 정보는, 봉합이 필요하지 않은 경우 요구되는 드레싱의 과정 및 드레싱 제제에 대한 정보를 더 포함할 수도 있다.
인공지능 모델(111)은 각 항목(봉합 여부, 봉합 과정, 봉합 방식, 봉합사, 봉합사 간격, 및 봉합 위치) 별로 적합한 정보를 추출하도록 훈련된 항목 별 분류기 모델을 포함할 수 있으나, 이에 한정되지 않는다.
인공지능 모델(111)은, 열상을 포함하는 적어도 하나의 이미지, 및 해당 이미지에 매칭되는 봉합 가이드를 기반으로 훈련된 모델일 수 있다.
즉, 인공지능 모델(111)은 열상을 포함하는 이미지 및 봉합 가이드를 각각 입력 및 출력 데이터로 포함하는 복수의 훈련 데이터 셋을 기반으로 훈련될 수 있다.
봉합 가이드는, 각 이미지에 포함된 열상의 처치에 적합한(필요한) 봉합에 관련된 정보를 포함하며, 다양한 의료 데이터 및 다양한 전문가(ex. 외과 전문의)로부터 획득된 데이터일 수 있다.
이렇듯, 복수의 훈련 데이터 셋을 기반으로 훈련된 인공지능 모델(111)은, 열상이 포함된 이미지를 입력 받음에 따라, 적절한 봉합과 관련된 정보를 출력할 수 있게 된다.
인공지능 모델(111)의 훈련은, 전자 장치(100)의 프로세서(120)를 통해 수행될 수도 있고, 적어도 하나의 외부 장치에서 수행될 수도 있다.
프로세서(120)는 전자 장치(100)에 포함된 각 구성을 전반적으로 제어하기 위한 구성으로, CPU(Central Processing Unit), AP(Application Processor), GPU(Graphic Processing Unit), VPU, NPU 등 다양한 유닛으로 구성될 수 있다.
프로세서(120)는 메모리(110)에 저장된 인스트럭션을 실행함으로써 전자 장치(100)를 제어할 수 있다.
또한, 프로세서(120)는 메모리(110)에 저장된 인공지능 모델(111)을 이용하여 적어도 하나의 열상에 대한 적절한 봉합 가이드를 제공할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 프로세서(120)는 이미지를 인공지능 모델(111)에 입력하여, 이미지에 포함된 열상의 봉합과 관련된 정보를 획득할 수 있다(S310).
이미지는, 열상을 포함하는 이미지에 해당한다.
구체적으로, 프로세서(120)는 전자 장치(100)의 카메라를 통해 열상을 촬영하여 이미지를 획득할 수 있다.
또는, 프로세서(120)는 적어도 하나의 외부 장치와 통신을 수행하여, 적어도 하나의 외부 장치의 카메라를 통해 촬영된 열상 이미지를 수신할 수도 있다.
그리고, 프로세서(120)는 획득된 봉합과 관련된 정보를 제공할 수 있다(S320).
구체적으로, 프로세서(120)는 전자 장치(100)의 디스플레이나 스피커 등을 통해 봉합 관련 정보를 제공할 수 있다.
또는, 전자 장치(100)가 서버인 경우, 프로세서(120)는 적어도 하나의 단말 장치와 통신을 수행하여, 해당 단말 장치의 디스플레이나 스피커 등을 통해 봉합 관련 정보를 제공할 수도 있다.
또한, 전자 장치(100)는 봉합 관련 정보를 AR로 제공할 수도 있는 바, 관련된 실시 예는 도 7을 통해 후술한다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는, 도 3의 과정이 한 번 이상 수행됨에 따라 봉합과 관련된 정보가 제공된 이력을 기반으로, 봉합과 관련된 의료 물품(ex. 봉합사, 드레싱 제제, 소독액, 니들 등)의 종류 및 수량에 대한 정보를 포함하는 주문서를 생성할 수 있다.
구체적으로, 전자 장치(100)는 도 3과 같이 열상에 대한 봉합 관련 정보가 제공될 때마다, 제공된 봉합 관련 정보와 매칭되는 의료 물품의 종류 및 수량을 식별할 수 있다. 그리고, 전자 장치(100)는 식별된 의료 물품의 종류 및 수량을 기반으로 주문서를 생성/업데이트 할 수 있다.
일 예로, 봉합 관련 정보가 제공된 이력이 있는 열상 이미지들에 대하여 적합한 봉합사로 각각 나일론 봉합사가 (인공지능 모델을 통해) 제안된 경우, 전자 장치(100)는 주문 목록에 나일론 봉합사를 포함하는 주문서를 생성할 수 있다.
이 경우, 열상 이미지들 각각에 포함된 열상의 길이 또는 크기를 기반으로, 주문 목록에 포함되는 나일론 봉합사의 수량(길이)이 산출될 수도 있다.
이렇듯, 본 개시에 따른 전자 장치(100)는, 열상에 대한 봉합이 이루어질 때마다 봉합에 사용된 종류 및 수량의 의료 물품을 추가로 공급받기 위한 주문서를 자동으로 구축/업데이트 할 수 있으므로, 병원/보건기관의 의료 물품 재고 관리에 기여할 수 있다.
한편, 일 실시 예에 따르면, 전자 장치(100)는 신체 부위 별로 훈련된 복수의 인공지능 모델을 통해 봉합과 관련된 정보를 제공할 수도 있다.
관련하여, 도 4는 본 개시의 일 실시 예에 따른 전자 장치가 신체부위 별로 훈련된 복수의 인공지능 모델을 이용하는 예를 설명하기 위한 도면이다.
도 4를 참조하면, 다리에 발생한 열상이 촬영된 이미지들(401)을 기반으로 훈련된 인공지능 모델(410), 손에 발생한 열상이 촬영된 이미지들(402)을 기반으로 훈련된 인공지능 모델(420), 얼굴에 발생한 열상이 촬영된 이미지들(403)을 기반으로 훈련된 인공지능 모델(430) 등이 각각 이용될 수 있다.
구체적으로, 인공지능 모델(410)은, 상술한 이미지들(401) 및 이미지들(401) 각각에 대한 봉합 가이드를 기반으로 훈련된 모델일 수 있다. 인공지능 모델(420)은 이미지들(402) 및 이미지들(402) 각각에 대한 봉합 가이드를 기반으로 훈련된 모델일 수 있다. 그리고, 인공지능 모델(430)은 이미지들(403) 및 이미지들(403) 각각에 대한 봉합 가이드를 기반으로 훈련된 모델일 수 있다.
즉, 전자 장치(100)는, 이미지에 포함된 신체부위가 어떤 신체부위인지에 따라 적어도 하나의 인공지능 모델을 선택하고, 선택된 인공지능 모델을 통해 봉합에 관한 정보를 획득할 수 있다.
관련하여, 도 5는 본 개시의 일 실시 예에 따른 전자 장치가 이미지 내 신체부위에 따라 각 모델을 선택적으로 이용하는 동작을 설명하기 위한 흐름도이다.
도 5를 참조하면, 전자 장치(100)는 (열상이 촬영된) 이미지에 포함된 신체부위를 식별할 수 있다(S510).
일 예로, 전자 장치(100)는 사용자 입력에 따라 선택된 신체부위를, 이미지에 포함된 신체부위로 식별할 수 있다.
또는, 전자 장치(100)는 이미지에 포함된 신체부위를 식별하도록 훈련된 적어도 하나의 객체 인식용 인공지능 모델을 이용하여, 신체부위를 식별할 수도 있다.
그리고, 전자 장치(100)는 식별된 신체부위에 매칭되는 적어도 하나의 인공지능 모델에, (열상이 촬영된) 이미지를 입력할 수 있다(S520).
구체적인 예로, 신체부위가 손으로 식별된 경우, 전자 장치(100)는 도 4의 인공지능 모델들(410, 420, 430) 중 손에 매칭되는 인공지능 모델(420)에 이미지를 입력할 수 있다.
다른 예로, 신체부위가 얼굴로 식별된 경우, 전자 장치(100)는 도 4의 인공지능 모델들(410, 420, 430) 중 얼굴에 매칭되는 인공지능 모델(430)에 이미지를 입력할 수 있다.
그 결과, 전자 장치(100)는 봉합과 관련된 정보를 획득할 수 있다(S530).
이렇듯, 신체 부위 별로 별도의 인공지능 모델이 이용되는 경우, 각 인공지능 모델의 출력의 정확도는 더 향상될 수 있다. 각 신체 부위 별로 피부의 특성(두께, 수분, 유분, 민감성, 회복력, 피부의 결, 미관상 중요도 등)이 다를 수 있으며, 피부의 특성이 달라짐에 따라 그에 적합한 봉합사의 특성(ex. 흡수성, 비흡수성) 및 봉합 방식/방향 등이 다를 수 있기 때문이다.
한편, 일 실시 예에 따르면, 프로세서(120)는 적어도 한 명의 전문의의 피드백을 기반으로 인공지능 모델(111)을 업데이트 할 수도 있다.
관련하여, 도 6은 본 개시의 일 실시 예에 따른 전자 장치가 인공지능 모델을 업데이트하는 동작을 설명하기 위한 흐름도이다.
도 6을 참조하면, 프로세서(120)는 인공지능 모델(111)에 입력된 (열상) 이미지, 및 해당 이미지가 입력됨에 따라 인공지능 모델(111)로부터 출력된 봉합 관련 정보를, 복수의 전문의 단말로 전송할 수 있다(S610).
여기서, 전문의는, 외과 전문의를 의미할 수 있으며, 보다 상세하게는, 열린 상처의 처치에 관한 다경험자, 교수, 연구자 등에 해당할 수 있다.
전문의 단말은, 전문의의 스마트폰, 데스크탑 PC 등 다양한 단말 장치에 해당한다.
즉, 복수의 전문의에게, 인공지능 모델의 판단 결과(봉합 관련 정보)가 전송될 수 있다.
만약, 적어도 한 명의 전문의(단말)로부터 피드백이 수신되는 경우, 프로세서(120)는 수신된 피드백에 대한 정보를 복수의 전문의 단말로 전송하여 합의를 도출할 수 있다(S620).
여기서, 피드백은, 인공지능 모델의 판단 결과에 대한 전문의의 추가적인 소견 및/또는 다른 소견을 포함할 수 있다.
이때, 피드백은, 복수의 항목(ex. 봉합 방식, 봉합 과정, 봉합사 등) 별로 구분되어 수신될 수 있다.
피드백에 대한 정보가 복수의 전문의 단말로 전송되면, 복수의 전문의 단말은 피드백에 대한 동의 여부에 대한 정보를 전자 장치(100)로 전송할 수 있다.
이 경우, 프로세서(120)는 해당 피드백에 동의한 전문의의 수를 기반으로, 피드백의 수용 여부를 결정할 수 있다.
일 예로, 해당 피드백에 동의한 전문의의 수가 임계치를 넘거나 또는 동의한 전문의의 비율이 임계 비율을 넘는 경우, 프로세서(120)는 해당 피드백을 수용할 것으로 결정할 수 있다.
또는, 해당 피드백에 동의하지 않는 전문의가 일정 수(ex. 한 명) 이상 존재하는 경우, 프로세서(120)는 해당 피드백을 수용하지 않는 것으로 결정할 수도 있다.
이때, 프로세서(120)는 해당 피드백의 수용 여부에 대한 정보를 복수의 전문의 단말로 전송할 수 있다.
그리고, 프로세서(120)는 상술한 바와 같이 도출된 합의에 따라 인공지능 모델(111)을 업데이트 할 수 있다(S630).
구체적으로, 피드백이 수용되는 것으로 결정된 경우, 프로세서(120)는 (동일한 이미지에 대하여) 인공지능 모델(111)의 판단 결과가 피드백에 따라 변경되게끔, 인공지능 모델(111)을 훈련시킬 수 있다.
여기서, 프로세서(120)는 피드백에 따라 인공지능 모델(111)의 적어도 하나의 노드 간 가중치를 변경할 수 있다.
한편, 일 실시 예에 따르면, (인공지능 모델이 출력한) 봉합 관련 정보가 제공된 이후, 프로세서(120)는 사용자 입력에 따라 봉합 관련 정보의 수용 여부를 식별할 수 있다. 즉, 전자 장치(100)는 사용자가 인공지능 모델이 제공한 봉합 관련 정보를 수용(동의)하여 그에 따라 봉합 등의 조치를 취했는지 여부를 입력 받을 수 있다.
그리고, 프로세서(120)는 봉합 관련 정보의 수용 이력에 따라 인공지능 모델의 신뢰 점수를 식별할 수 있다.
봉합 관련 정보의 수용 이력은, 인공지능 모델로부터 출력된 봉합 관련 정보를 제공받은 사용자들이 해당 정보를 수용하거나 수용하지 않은 비율/빈도/횟수 등을 의미한다.
여기서, 봉합 관련 정보의 수용 이력은 열린 상처의 신체부위 별로 구분되어 메모리(110)에 저장될 수 있으나, 이에 한정되지 않는다.
프로세서(120)는 실시간으로 업데이트 되는 (봉합 관련 정보의) 수용 이력에 따라 인공지능 모델의 신뢰 점수를 실시간으로 업데이트 할 수 있다.
이때, 봉합 관련 정보가 수용될 때마다 인공지능 모델의 신뢰 점수가 높아지고 봉합 관련 정보가 수용되지 않을 때마다 인공지능 모델의 신뢰 점수가 낮아질 수 있다. 또한, 봉합 관련 정보가 수용되는 비율이 높을수록 인공지능 모델의 신뢰 점수가 높아질 수 있다. 다만, 이에 한정되지 않는다.
만약, 신뢰 점수가 임계치 미만이 되는 경우, 프로세서(120)는 인공지능 모델에 대하여 추가적인 훈련을 수행할 수 있다.
구체적으로, 전자 장치(100)는 수용되지 않았던 봉합 관련 정보가 출력된 때에 인공지능 모델에 입력되었던 열린 상처에 대한 이미지를 식별하고, 식별된 이미지에 매칭되는 신체부위를 식별할 수 있다.
그리고, 프로세서(120)는 식별된 신체부위에 매칭되는 복수의 훈련용 열상 이미지를 기반으로 인공지능 모델을 추가로 훈련시킬 수 있다.
또는, 프로세서(120)는 수용되지 않은 봉합 관련 정보 및 이에 매칭되는 열상 이미지를 복수의 전문의 단말로 전송하여 피드백을 받을 수도 있다(도 6 참조).
한편, 일 실시 예에 따르면, 프로세서(120)는 인공지능 모델을 통해 획득된 봉합 관련 정보를 AR(Augmented Reality)로 제공할 수 있다.
전자 장치(100)가 AR 기기인 경우, 프로세서(120)는 전자 장치(100)의 적어도 하나의 AR 디스플레이를 이용하여 봉합 관련 정보를 제공할 수 있다.
전자 장치(100)가 적어도 하나의 AR 기기와 통신을 수행하는 서버 또는 원격 제어 장치인 경우, 프로세서(120)는 AR 기기를 통해 봉합 위치, 봉합 간격, 및 봉합 과정 중 적어도 하나에 대한 정보를 AR로 제공할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치가 봉합과 관련된 정보를 AR로 제공하는 동작을 설명하기 위한 도면이다.
도 7을 참조하면, 서버인 전자 장치(100)는 AR 글래스(700)와 통신을 수행할 수 있다.
AR 글래스(700)를 착용한 사용자(70)가 열상(7)을 바라보는 경우, AR 글래스(700)는 열상(7)을 촬영한 이미지를 전자 장치 (100)로 전송할 수 있다.
이 경우, 전자 장치 (100)는 열상(7)을 포함하는 이미지를 인공지능 모델에 입력하여, 열상(7)의 봉합관 관련된 정보를 획득할 수 있다.
그리고, 전자 장치 (100)는 봉합 과정, 봉합사, 봉합 방식, 봉합 위치, 봉합 간격 등에 대한 정보를 AR 글래스(700)로 전송할 수 있다.
이 경우, 전자 장치 (100)는 봉합 위치(봉합의 시작/종료 지점) 및 봉합 간격에 대한 정보를 열상(7)을 포함하는 이미지의 적어도 일부 영역(픽셀/지점)에 매핑하여 AR 글래스(700)로 전송할 수 있다. 이때, 봉합 위치 및 봉합 간격 등은, 상처를 기준으로 특정 지점(위치)에 표현되는 그래픽 UI(User Interface)일 수 있다.
이렇듯 전자 장치 (100)로부터 봉합 관련 정보가 수신되면, AR 글래스(700)는 봉합 과정, 봉합사, 봉합 방식 등에 대한 정보를 포함하는 UI(710)를 사용자가 상처를 바라보는 시선에 맞추어 제공할 수 있다.
또한, AR 글래스(700)는 상처의 봉합 위치 및 봉합 간격을 나타내는 UI(720)를 사용자가 상처를 바라보는 시선에 맞추어 제공할 수 있다.
한편, AR 글래스(700)는 열린 상처를 인식하도록 훈련된 적어도 하나의 객체 인식 모델을 포함할 수 있으며, 열린 상처와 AR 글래스(700) 간의 거리(뎁스)를 측정하기 위한 적어도 하나의 센서를 포함할 수 있다.
이 경우, AR 글래스(700)는 상술한 UI(720)를 열린 상처의 뎁스에 맞게 제공하여, 사용자(70)의 봉합을 가이드할 수 있다.
또한, 봉합이 진행되는 동안, 전자 장치(100)는 AR 글래스(700)로부터 사용자가 바라보는 열린 상처의 이미지를 실시간으로 수신할 수 있다. 구체적인 예로, 전자 장치(100)는 AR 글래스(700)를 통해 봉합의 시작을 알리는 사용자 입력을 수신할 수 있다.
이 경우, 전자 장치(100)는 실시간으로 니들 및/또는 실의 위치를 식별하여 사용자(70)의 봉합 과정을 식별하는 한편, 사용자가 현재 진행 중인 봉합 단계에 맞는 봉합 위치 및 봉합 간격을 나타내는 UI에 대한 정보를 AR 글래스(700)로 제공할 수 있다.
그 결과, AR 글래스(700)는 실시간으로 봉합 과정을 가이드할 수 있다.
한편, 일 실시 예에 따르면, 메모리(110)는 봉합이 완료된 열상이 포함된 복수의 이미지를 포함할 수 있다. 복수의 이미지는, 봉합사, 봉합 방식, 및 봉합사 간격 등에 따라 분류되어 메모리(110)에 저장될 수 있다.
여기서, 열상을 포함하는 이미지가 촬영되면, 프로세서(120)는 열상을 포함하는 이미지를 인공지능 모델에 입력하여 봉합 관련 정보를 획득할 수 있다(도 3 참조).
이때, 프로세서(120)는 상술한 복수의 이미지 중 획득된 봉합 관련 정보에 매칭되는 적어도 하나의 이미지를 선택할 수 있다.
그리고, 프로세서(120)는 획득된 봉합 관련 정보와 함께 선택된 이미지를 제공할 수 있다.
이 경우, 선택된 이미지는 인공지능 모델을 통해 추천되는 봉합사, 봉합 방식, 봉합사 간격 등에 따라 봉합된 열상에 대한 참고 이미지 내지는 가이드 이미지로 제공되어, 사용자의 봉합에 도움이 될 수 있다.
한편, 일 실시 예에 따르면, 메모리(110)는, 봉합의 결과를 평가하도록 훈련된 적어도 하나의 인공지능 모델을 포함할 수 있다.
이 경우, 프로세서(120)는, 봉합이 수행된 열상에 대한 이미지를 해당 인공지능 모델에 입력하여, 수행된 봉합에 대한 평가를 제공할 수 있다.
구체적인 예로, 봉합된 열상에 대한 이미지가 촬영되면, 프로세서(120)는 촬영된 이미지를 인공지능 모델에 입력할 수 있다. 여기서, 프로세서(120)는 봉합되기 전의 열상에 대한 이미지와 봉합된 후의 열상에 대한 이미지를 함께 인공지능 모델에 입력할 수 있다.
여기서, 인공지능 모델은, 열상이 전부 봉합되었는지 여부, 진물이나 이물질 여부, 봉합의 범위, 봉합의 모양 등의 항목 별로 평가 스코어를 출력할 수 있다.
이를 위해, 본 인공지능 모델은, 봉합된 열상을 포함하는 다양한 이미지들을 훈련 데이터로 하여 훈련될 수 있으며, 이미지들 각각에 대하여 항목 별로 (전문의 등에 의해) 산정된 스코어를 기반으로 훈련될 수 있다.
한편, 일 실시 예에 따르면, 프로세서(120)는 이미지에 포함된 상처의 종류를 식별하고, 식별된 상처의 종류가 열상(열린 상처)인 경우에만, 상술한 도 3의 실시 예에 따른 과정을 수행할 수도 있다.
상처의 종류는, 열상 외에도, 화상, 찰과상 등을 더 포함할 수 있다.
여기서, 프로세서(120)는 사용자 입력에 따라 상처의 종류를 선택 받을 수도 있고, 또는, 상처의 종류를 식별하도록 훈련된 적어도 하나의 인공지능 모델을 이용할 수 있다.
본 인공지능 모델은, 상처가 포함된 이미지가 입력되면 열상, 화상, 찰과상 중 하나를 선택하도록 훈련된 적어도 하나의 분류기 모델일 수 있다.
만약, 이미지에 포함된 상처의 종류가 화상 또는 찰과상 등인 경우, 프로세서(120)는 화상 또는 찰과상의 이미지를 통해 훈련된 적어도 하나의 다른 인공지능 모델을 이용하여 치료 관련 정보를 제공할 수 있다.
이렇듯, 상처 별로 별도의 인공지능 모델 내지는 소프트웨어 모듈이 이용됨으로써, 의료 지식의 전문성 및 개별성이 반영된 인공지능 기반 의료 가이드 시스템이 구축될 수 있다.
한편, 도 8은 본 개시의 다양한 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 8을 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120) 외에, 카메라(130), 디스플레이(140), 스피커(150), 사용자 입력부(160), 통신부(170) 중 적어도 하나를 더 포함할 수 있다.
카메라(130)는 외부 환경을 촬영하기 위한 구성으로, RGB 카메라, 뎁스 카메라, TOF(Time of Flight) 카메라, 스테레오 카메라 등 다양한 카메라로 구현될 수 있다.
일 예로, 프로세서(120)는 열상을 촬영하기 위한 사용자 명령에 따라 카메라(130)를 제어하여 이미지를 획득할 수 있다.
디스플레이(140)는 전자 장치(100)를 통해 제공되는 다양한 컨텐츠 내지는 다양한 User Interface를 표시하기 위한 구성이다.
디스플레이(140)는 LED, LCD(Liquid Crystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diodes), TOLED(Transparent OLED), Micro LED 등으로 구현될 수 있으나, 이에 한정되지 않는다. 또한, 디스플레이(140)는 평면 디스플레이, 곡면 디스플레이, 폴더블 디스플레이, 롤러블 디스플레이 등으로 구현될 수도 있다.
일 예로, 프로세서(120)는 카메라(130)를 통해 촬영된 (열상) 이미지를 표시하도록 디스플레이(140)를 제어할 수 있으며, 이미지에 따라 획득된 봉합 관련 정보를 디스플레이(140)를 통해 시각적으로 제공할 수 있다.
스피커(150)는 전자 장치(100)를 통해 제공되는 다양한 컨텐츠 내지는 UI를 청각적으로 제공하기 위한 구성이다. 다만, 전자 장치(100)는 스피커(150) 외에 적어도 하나의 스피커 장치와 연결되기 위한 단자를 포함할 수 있다.
일 예로, 프로세서(120)는 열상 이미지에 대한 봉합 관련 정보를 설명하는 가이드 음성을 스피커(150)를 통해 출력할 수 있다.
사용자 입력부(160)는 사용자 명령 또는 사용자 정보를 입력 받기 위한 구성이다. 사용자 입력부(160)는 터치 센서, 버튼, 카메라, 마이크 등으로 구현될 수 있다.
사용자 입력부(160)를 통해, 열상을 포함하는 적어도 하나의 이미지를 촬영하기 위한 사용자 명령, 열상에 대한 봉합 관련 정보를 요청하는 사용자 명령 등이 입력될 수 있다.
통신부(170)는 전자 장치(100)가 적어도 하나의 외부 장치와 통신을 수행하기 위한 구성으로 회로를 포함할 수 있다.
통신부(170)는 TCP/IP(Transmission Control Protocol/Internet Protocol), UDP(User Datagram Protocol), HTTP(Hyper Text Transfer Protocol), HTTPS(Secure Hyper Text Transfer Protocol), FTP(File Transfer Protocol), SFTP(Secure File Transfer Protocol), MQTT(Message Queuing Telemetry Transport) 등의 통신 규약(프로토콜)을 이용하여 하나 이상의 외부 전자 장치와 다양한 정보를 송수신할 수 있다.
이를 위해, 통신부(170)는 유선 통신 및/또는 무선 통신을 통해 구현된 네트워크를 기반으로, 외부 장치와 연결될 수 있다. 이때, 통신부(170)는 외부 장치와 직접적으로 연결될 수도 있지만, 네트워크를 제공하는 하나 이상의 외부 서버(ex. ISP(Internet Service Provider))를 통해서 외부 전자 장치와 연결될 수도 있다.
네트워크는 영역 또는 규모에 따라 개인 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 광역 통신망(WAN; Wide Area Network) 등일 수 있으며, 네트워크의 개방성에 따라 인트라넷(Intranet), 엑스트라넷(Extranet), 또는 인터넷(Internet) 등일 수 있다.
무선 통신은 LTE(long-term evolution), LTE-A(LTE Advance), 5G(5th Generation) 이동통신, CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications), DMA(Time Division Multiple Access), WiFi(Wi-Fi), WiFi Direct, Bluetooth, NFC(near field communication), Zigbee 등의 통신 방식 중 적어도 하나를 포함할 수 있다.
유선 통신은 이더넷(Ethernet), 광 네트워크(optical network), USB(Universal Serial Bus), 선더볼트(ThunderBolt) 등의 통신 방식 중 적어도 하나를 포함할 수 있다.
여기서, 통신부(170)는 상술한 유무선 통신 방식에 따른 네트워크 인터페이스(Network Interface) 또는 네트워크 칩을 포함할 수 있다. 한편, 통신 방식은 상술한 예에 한정되지 아니하고, 기술의 발전에 따라 새롭게 등장하는 통신 방식을 포함할 수 있다.
일 예로, 전자 장치(100)가 서버로 구현된 경우, 전자 장치(100)는 통신부(170)를 통해 적어도 하나의 사용자 단말(ex. 스마트폰)과 통신을 수행할 수 있다. 구체적으로, 서버인 전자 장치(100)는 적어도 하나의 웹 페이지 또는 애플리케이션을 통해 사용자 단말과 연동될 수 있다.
이 경우, 전자 장치(100)는 사용자 단말의 카메라를 통해 촬영된 열상 이미지를 사용자 단말로부터 수신할 수 있다.
그리고, 전자 장치(100)는 열상 이미지를 적어도 하나의 인공지능 모델에 입력하여 봉합 관련 정보를 획득할 수 있다.
이때, 전자 장치(100)는 획득된 봉합 관련 정보를 사용자 단말로 전송할 수 있고, 사용자 단말은 봉합 관련 정보를 사용자에게 제공할 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 서로 저촉되지 않는 한 복수의 실시 예가 결합되어 구현될 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 시스템 내 각 장치에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions) 또는 컴퓨터 프로그램은 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어 또는 컴퓨터 프로그램은 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자장치에서의 처리 동작을 상술한 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치 110: 메모리
120: 프로세서

Claims (10)

  1. 전자 장치에 있어서,
    열상의 봉합과 관련된 정보를 제공하도록 훈련된 인공지능 모델이 저장된 메모리; 및
    상기 메모리와 연결된 프로세서;를 포함하고,
    상기 프로세서는,
    이미지를 상기 인공지능 모델에 입력하여, 상기 이미지에 포함된 열상의 봉합과 관련된 정보를 획득하고,
    상기 획득된 봉합과 관련된 정보를 제공하는, 전자 장치.
  2. 제1항에 있어서,
    상기 인공지능 모델은,
    열상을 포함하는 적어도 하나의 이미지 및 상기 적어도 하나의 이미지에 매칭되는 봉합 가이드를 기반으로 훈련된 모델인, 전자 장치.
  3. 제1항에 있어서,
    상기 봉합과 관련된 정보는,
    봉합 여부, 봉합 과정, 봉합 방식, 봉합사, 봉합사 간격, 및 봉합 위치 중 적어도 하나에 대한 정보를 포함하는, 전자 장치.
  4. 제1항에 있어서,
    상기 메모리는,
    신체부위를 식별하도록 훈련된 제1 인공지능 모델;
    제1 신체부위의 열상의 봉합과 관련된 정보를 제공하도록 훈련된 제2 인공지능 모델; 및
    제2 신체부위의 열상의 봉합과 관련된 정보를 제공하도록 훈련된 제3 인공지능 모델;을 포함하고,
    상기 프로세서는,
    상기 이미지를 상기 제1 인공지능 모델에 입력하여, 상기 이미지에 포함되는 신체부위를 식별하고,
    상기 식별된 신체부위가 제1 신체부위에 매칭되는 경우, 상기 이미지를 상기 제2 인공지능 모델에 입력하여 봉합과 관련된 정보를 획득하고,
    상기 식별된 신체부위가 제2 신체부위에 매칭되는 경우, 상기 이미지를 상기 제3 인공지능 모델에 입력하여 봉합과 관련된 정보를 획득하는, 전자 장치.
  5. 제4항에 있어서,
    상기 제2 인공지능 모델은,
    상기 제1 신체부위의 열상을 포함하는 적어도 하나의 이미지를 기반으로 훈련된 모델이고,
    상기 제3 인공지능 모델은,
    상기 제2 신체부위의 열상을 포함하는 적어도 하나의 이미지를 기반으로 훈련된 모델인, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    봉합과 관련된 정보가 제공된 이력을 기반으로, 봉합과 관련된 의료 물품의 종류 및 수량에 대한 정보를 포함하는 주문서를 생성하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 입력된 이미지 및 상기 획득된 봉합과 관련된 정보를 복수의 전문의 단말로 전송하고,
    상기 복수의 전문의 단말 중 적어도 하나의 전문의 단말로부터 상기 획득된 봉합과 관련된 정보에 대한 피드백이 수신되는 경우, 상기 수신된 피드백에 대한 정보를 상기 복수의 전문의 단말로 전송하여 상기 피드백에 대한 합의를 도출하고,
    상기 도출된 합의에 따라 상기 인공지능 모델을 업데이트하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    적어도 하나의 AR(Augmented Reality) 기기와 통신을 수행하여, 상기 AR 기기를 통해 봉합 위치, 봉합 간격, 및 봉합 과정 중 적어도 하나에 대한 정보를 AR로 제공하는, 전자 장치.
  9. 열상의 봉합과 관련된 정보를 제공하도록 훈련된 인공지능 모델을 포함하는 전자 장치의 제어 방법에 있어서,
    이미지를 상기 인공지능 모델에 입력하여, 상기 이미지에 포함된 열상의 봉합과 관련된 정보를 획득하는 단계; 및
    상기 획득된 봉합과 관련된 정보를 제공하는 단계;를 포함하는, 전자 장치의 제어 방법.
  10. 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램에 있어서,
    전자 장치의 적어도 하나의 프로세서에 의해 실행되어, 상기 전자 장치로 하여금 제9항의 제어 방법을 수행하도록 하는, 컴퓨터 프로그램.
KR1020210012292A 2021-01-28 2021-01-28 열상의 봉합에 대한 정보를 제공하는 인공지능 모델 기반의 전자 장치, 제어 방법, 및 컴퓨터 프로그램 KR102457340B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210012292A KR102457340B1 (ko) 2021-01-28 2021-01-28 열상의 봉합에 대한 정보를 제공하는 인공지능 모델 기반의 전자 장치, 제어 방법, 및 컴퓨터 프로그램
GBGB2402936.5A GB202402936D0 (en) 2021-01-28 2022-09-06 Composition for latex polymerization, latex for dip molding, and dip molded products manufactured therefrom

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210012292A KR102457340B1 (ko) 2021-01-28 2021-01-28 열상의 봉합에 대한 정보를 제공하는 인공지능 모델 기반의 전자 장치, 제어 방법, 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20220109061A true KR20220109061A (ko) 2022-08-04
KR102457340B1 KR102457340B1 (ko) 2022-10-20

Family

ID=82837147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210012292A KR102457340B1 (ko) 2021-01-28 2021-01-28 열상의 봉합에 대한 정보를 제공하는 인공지능 모델 기반의 전자 장치, 제어 방법, 및 컴퓨터 프로그램

Country Status (2)

Country Link
KR (1) KR102457340B1 (ko)
GB (1) GB202402936D0 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3199614U (ja) * 2015-06-19 2015-09-03 一般財団法人竹田健康財団 手術器具管理システム
KR101884609B1 (ko) * 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템
KR20190105220A (ko) * 2016-11-17 2019-09-16 테라리콘, 인코포레이티드 의료 이미지 식별 및 해석
KR102099214B1 (ko) 2018-01-29 2020-04-09 건양대학교 산학협력단 생체정보 및 영상정보 연계를 통한 인공지능 질환 진단 시스템
KR20200043544A (ko) * 2011-09-26 2020-04-27 주식회사 림사이언스 지능적 수술 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3199614B2 (ja) * 1995-08-31 2001-08-20 京セラ株式会社 残留トナー回収装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200043544A (ko) * 2011-09-26 2020-04-27 주식회사 림사이언스 지능적 수술 시스템
JP3199614U (ja) * 2015-06-19 2015-09-03 一般財団法人竹田健康財団 手術器具管理システム
KR20190105220A (ko) * 2016-11-17 2019-09-16 테라리콘, 인코포레이티드 의료 이미지 식별 및 해석
KR101884609B1 (ko) * 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템
KR102099214B1 (ko) 2018-01-29 2020-04-09 건양대학교 산학협력단 생체정보 및 영상정보 연계를 통한 인공지능 질환 진단 시스템

Also Published As

Publication number Publication date
KR102457340B1 (ko) 2022-10-20
GB202402936D0 (en) 2024-04-17

Similar Documents

Publication Publication Date Title
JP7478795B2 (ja) 医療アシスタント
US11101028B2 (en) Method and system using artificial intelligence to monitor user characteristics during a telemedicine session
US10839578B2 (en) Artificial-intelligence enhanced visualization of non-invasive, minimally-invasive and surgical aesthetic medical procedures
US10147052B1 (en) Automated assessment of operator performance
KR101796362B1 (ko) 증상 입력 장치 및 방법
US20230140072A1 (en) Systems and methods for medical procedure preparation
EP3933851A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin laxity
CN108141490A (zh) 用于处理图像的电子设备及其控制方法
TW201434008A (zh) 健康狀態的個人化地視覺化呈現
KR102457341B1 (ko) 화상 상처에 대한 진단 정보를 제공하는 인공지능 모델 기반의 전자 장치, 제어 방법, 및 컴퓨터 프로그램
KR102457340B1 (ko) 열상의 봉합에 대한 정보를 제공하는 인공지능 모델 기반의 전자 장치, 제어 방법, 및 컴퓨터 프로그램
US20220406466A1 (en) A method for determining a risk score for a patient
CN107730483A (zh) 移动设备、处理脸部生物特征的方法、装置和系统
KR102472583B1 (ko) 찰과상에 대한 진단 정보를 제공하는 인공지능 모델 기반의 전자 장치, 제어 방법, 및 컴퓨터 프로그램
KR102377414B1 (ko) 인공지능 기반 개인화 청각 재활 시스템
KR102407457B1 (ko) 인공지능을 이용한 보청기 적합 시스템
Cooper et al. Robot to support older people to live independently
Tanbeer et al. MiVitals–Mixed Reality Interface for Vitals Monitoring: A HoloLens based Prototype for Healthcare Practices
Rao et al. Homecare system for demented people using IoT
US20230206097A1 (en) Thought inference system, inference model generation system, thought inference device, inference model generation method, and non-transitory computer readable storage medium
US20230260625A1 (en) Method And System for Recommending Injectables for Cosmetic Treatments
US20230057949A1 (en) Technologies for efficiently producing documentation from voice data in a healthcare facility
WO2023145350A1 (ja) 情報処理方法、情報処理システムおよびプログラム
EP4186414A1 (en) Electronic device and electronic device control method
Sudha et al. Augmented Reality based Smart Surgical Glass for Medical Surgery

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant