KR101175065B1 - 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법 - Google Patents

수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법 Download PDF

Info

Publication number
KR101175065B1
KR101175065B1 KR1020110114312A KR20110114312A KR101175065B1 KR 101175065 B1 KR101175065 B1 KR 101175065B1 KR 1020110114312 A KR1020110114312 A KR 1020110114312A KR 20110114312 A KR20110114312 A KR 20110114312A KR 101175065 B1 KR101175065 B1 KR 101175065B1
Authority
KR
South Korea
Prior art keywords
image
surgical
image frame
frame
bleeding
Prior art date
Application number
KR1020110114312A
Other languages
English (en)
Inventor
최병욱
김덕석
Original Assignee
주식회사 아폴로엠
김덕석
최병욱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아폴로엠, 김덕석, 최병욱 filed Critical 주식회사 아폴로엠
Priority to KR1020110114312A priority Critical patent/KR101175065B1/ko
Application granted granted Critical
Publication of KR101175065B1 publication Critical patent/KR101175065B1/ko
Priority to PCT/KR2012/009090 priority patent/WO2013066056A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법에 관한 것이다. 본 발명의 일 실시예에 따른 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법은, 수술 부위의 영상을 촬영하여 수술 부위의 영상을 처리한 후, 수술 부위의 영상을 저장하거나 출력하는 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법에 있어서, 수술이 진행되는 동안 수술 부위를 촬영한 영상으로부터 제1 영상 데이터를 생성하는 단계와, 수술 부위를 촬영하는 동안 외부의 입력 신호에 기인하여 사고 상황이 발생했는지 여부를 판단하는 단계와, 판단 결과, 사고 상황이 발생한 경우에는, 제1 영상 데이터의 전부 또는 일부로부터 추출된 제2 영상 데이터로부터 복수의 영상 프레임(Image Frame)을 분리하는 단계와, 복수의 영상 프레임을 구성하는 각각의 영상 프레임을 분석하여 수술 부위에서 출혈이 발생한 출혈 부위를 포함하는 적어도 하나의 목표 영상 프레임을 추출하는 단계 및 적어도 하나의 목표 영상 프레임을 사용자에게 출력하는 단계를 포함하되, 적어도 하나의 목표 영상 프레임을 추출하는 단계는, 복수의 영상 프레임을 구성하는 각각의 영상 프레임에 대해, 각각의 영상 프레임을 구성하는 복수의 색상 값에 대한 평균 값을 산출하여 대표 색상 값을 추출하는 단계와, 복수의 영상 프레임을 구성하는 각각의 영상 프레임에 대해, 대표 색상 값이 기설정된 임계 색상 값보다 높은 적어도 하나의 후보 영상 프레임을 검색하는 단계 및 적어도 하나의 후보 영상 프레임 중 사고 상황이 발생한 시점으로부터 멀리 떨어진 시점에 위치하는 적어도 하나의 목표 영상 프레임을 추출하며, 복수의 영상 프레임을 구성하는 각각의 영상 프레임에 대한 대표 색상 값은, 각각의 영상 프레임의 색상 공간(Color Space)을 RGB 색상 공간으로 변환한 후, 각각의 영상 프레임으로부터 R 채널(Red Channel)의 평균 값을 산출하여 구하는 단계를 포함하는 것을 특징으로 한다.

Description

수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법{Method for bleeding scanning during operation using image processing apparatus for surgery}
본 발명은 수술용 영상 처리 방법에 관한 것으로, 보다 상세하게는 수술용 영상 처리 장치를 이용하여 수술 부위의 출혈 부위를 빠른 시간 내에 검색해 내는 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법에 관한 것이다.
일반적으로 외과 수술의 경우, 외과 수술 분야에서 집도의를 괴롭히는 가장 흔하면서도 두려운 상황은 수술 과정 중 수술 중 예기치 않은 상황(예를 들어, 혈압 상승, 혈관 절개 등)으로 인한 출혈이다. 수술 과정 중 의도하지 않았던 출혈이 발생하게 되면 일단 수술 시야가 흐트러져 수술을 원활하게 진행할 수 없으며, 대량 출혈인 경우 시야 확보 및 상황 파악에 어려움이 발생하는 경우가 대부분이므로, 출혈 부위와 출혈 원인을 신속하게 파악하고 적절하게 상황에 대처하는 것이 수술 과정 중 실혈량을 최소화하고 수술 후 합병증의 발생을 막을 수 있는 지름길이다.
최근에는 수술 과정을 영상으로 촬영하여 기록하는 경우가 많으나, 이는 단순히 의학 교육을 위한 자료 확보의 용도나, 의료 사고를 대비하여 문제가 발생했을 때에 판독을 통해 의료 분쟁에 대비한 증거 확보 등을 주목적으로 하고 있다. 따라서, 최근에 수술 과정의 촬영을 위해 사용되는 수술용 영상 촬영 장치는 단순히 영상을 촬영하거나 저장하는 기능만을 가지고 있으므로 수술 중 문제가 발생할 경우에는 별다른 도움이 되지 않는 문제점이 있었다.
따라서, 수술 과정을 영상으로 저장하는 기능은 물론, 수술 과정에서 가장 빈번하게 발생할 수 있는 비상 출혈 상황에서 출혈 부위를 빠른 시간에 검색하여 찾아낼 수 있다면 수술 중 사망을 예방할 수 있으므로, 저장되는 영상을 분석하여 과거 일정 시간 내에 출혈이 시작된 지점을 찾아내는 영상분석 방법이 요구된다.
본 발명은 상기한 문제점을 개선하기 위해 고안된 것으로, 본 발명이 해결하고자 하는 과제는, 수술이 진행되는 동안 수술 부위를 촬영하여 저장되는 영상을 분석하여 출혈이 발생한 출혈 부위를 빠른 시간 내에 검색하는 방법을 제공하는 것이다.
본 발명의 기술적 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법은, 수술 부위의 영상을 촬영하여 상기 수술 부위의 영상을 처리한 후, 상기 수술 부위의 영상을 저장하거나 출력하는 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법에 있어서, 수술이 진행되는 동안 수술 부위를 촬영한 영상으로부터 제1 영상 데이터를 생성하는 단계와, 상기 수술 부위를 촬영하는 동안 외부의 입력 신호에 기인하여 사고 상황이 발생했는지 여부를 판단하는 단계와, 상기 판단 결과, 상기 사고 상황이 발생한 경우에는, 상기 제1 영상 데이터의 전부 또는 일부로부터 추출된 제2 영상 데이터로부터 복수의 영상 프레임(Image Frame)을 분리하는 단계와, 상기 복수의 영상 프레임을 구성하는 각각의 영상 프레임을 분석하여 상기 수술 부위에서 출혈이 발생한 출혈 부위를 포함하는 적어도 하나의 목표 영상 프레임을 추출하는 단계 및 상기 적어도 하나의 목표 영상 프레임을 사용자에게 출력하는 단계를 포함하되, 상기 적어도 하나의 목표 영상 프레임을 추출하는 단계는, 상기 복수의 영상 프레임을 구성하는 각각의 영상 프레임에 대해, 상기 각각의 영상 프레임을 구성하는 복수의 색상 값에 대한 평균 값을 산출하여 대표 색상 값을 추출하는 단계와, 상기 복수의 영상 프레임을 구성하는 각각의 영상 프레임에 대해, 상기 대표 색상 값이 기설정된 임계 색상 값보다 높은 적어도 하나의 후보 영상 프레임을 검색하는 단계 및 상기 적어도 하나의 후보 영상 프레임 중 상기 사고 상황이 발생한 시점으로부터 멀리 떨어진 시점에 위치하는 상기 적어도 하나의 목표 영상 프레임을 추출하는 단계를 포함하며, 상기 복수의 영상 프레임을 구성하는 각각의 영상 프레임에 대한 상기 대표 색상 값은, 상기 각각의 영상 프레임의 색상 공간(Color Space)을 RGB 색상 공간으로 변환한 후, 상기 각각의 영상 프레임으로부터 R 채널(Red Channel)의 평균 값을 산출하여 구하는 것을 특징으로 한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 일 실시예에 따른 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법에 따르면, 수술이 진행되는 동안 수술 부위를 촬영한 영상을 분석하여 출혈이 발생한 출혈 부위를 빠른 시간 내에 검색함으로써, 출혈 부위를 파악하기 위한 유도 출혈을 반복하지 않고 불필요한 추가 실혈과 수술 시간의 지체없이 신속하고 적절하게 상황을 통제할 수 있으므로 수술 도중 발생할 수 있는 사망 또는 기타 사고를 예방할 수 있다.
또한, 본 발명의 일 실시예에 따른 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법에 따르면, 수술이 진행되는 동안 사고 상황이 발생했을 때에 수술을 수행하는 의사 등의 대처 행동과 처리 행위가 녹화되어 불필요한 의료 분쟁을 예방할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 수술용 영상 처리 장치의 구성을 개략적으로 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 수술용 영상 처리 장치를 이용한 출혈 부위를 검색하는 방법을 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 수술용 영상 처리 장치의 영상 처리부에서 제2 영상 데이터로부터 복수의 영상 프레임을 분리하는 과정의 일 예를 나타내는 순서도이다.
도 4는 도 3의 예에서 제2 영상 데이터로부터 복수의 영상 프레임을 분리하는 방법을 나타내는 도면이다.
도 5는 도 4의 예에서 생성된 복수의 영상 프레임의 예를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 수술용 영상 처리 장치에서 사용자가 직접 목표 영상 프레임을 추출하는 방법을 나타내는 순서도이다.
도 7a 및 도 7b는 도 6의 예에서 영상 출력부의 디스플레이 영역에 복수의 영상 프레임을 출력하는 예를 나타내는 도면이다.
도 8은 도 6의 예에서 복수의 영상 프레임으로부터 목표 영상 프레임을 선택하는 예를 나타내는 도면이다.
도 9는 도 8의 예에서 선택된 목표 영상 프레임을 영상 출력부에 출력한 예를 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 수술용 영상 처리 장치에서 복수의 영상 프레임을 분석하여 출혈 부위를 포함하는 목표 영상 프레임을 자동 생성하는 방법을 나타내는 순서도이다.
도 11은 본 발명의 일 실시예에 따른 수술용 영상 처리 장치에서 복수의 영상 프레임으로부터 대표 색상 값을 산출하는 예를 나타내는 도면이다.
도 12는 도 11의 예에서 복수의 영상 프레임에 대한 대표 색상 값을 이용하여 목표 영상 프레임을 추출하는 예를 나타내는 도면이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.
실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
이하, 본 발명의 실시예들에 의하여 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 수술용 영상 처리 장치의 구성을 개략적으로 나타내는 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 수술용 영상 처리 장치(100)는, 영상 촬영부(110), 영상 처리부(120), 영상 출력부(130), 영상 저장부(140), 사용자 입력부(150) 및 제어부(160)를 포함하여 구성될 수 있다. 본 발명에서 수술용 영상 처리 장치(100)는 외과 등에서 환자를 상대로 시술하는 개복 수술 등과 같은 수술 과정에서 수술 부위의 영상을 촬영하여 수술 부위의 영상을 처리한 후, 수술 부위를 저장하거나 출력하는 장치를 의미한다. 설명의 편의상, 본 발명에서는 개복 수술 과정에서 수술 부위의 영상을 촬영한 후 이를 처리하는 과정에 대해서 설명하기로 한다.
영상 촬영부(110)는 수술이 진행되는 동안 수술 부위의 영상을 촬영하여 아날로그 형태의 영상 신호로 출력하고, 영상 처리부(120)는 이러한 아날로그 형태의 영상 신호를 디지털 형태의 영상 데이터(후술할 제1 영상 데이터 내지 제2 영상 데이터)로 변환할 수 있다. 또한, 영상 처리부(120)는 필요에 따라 영상 데이터의 저장 효율을 높이기 위해 디지털 형태의 영상 데이터를 압축할 수 있다. 이러한 영상 촬영부(110)는 CMOS(Complementary Metal-Oxide Semiconductor) 카메라 또는 CCD(Charge-coupled Device) 카메라를 사용할 수 있다. 영상 촬영부(110)에서 영상을 촬영하고 영상 처리부(120)에서 이를 처리하여 디지털 형태의 영상 데이터를 생성하는 방법에 대해서는 잘 알려져 있으므로, 여기서 자세한 설명은 생략하기로 한다. 한편, 도시되지는 않았으나, 수술용 영상 처리 장치(100)는 수술 부위의 영상 이외에 수술 과정에서 발생하는 음향을 획득하기 위해 마이크로폰(Microphone)과 같은 오디오 입력부를 포함할 수도 있다.
영상 출력부(130)는 영상 처리부(120)에서 생성된 디지털 형태의 영상 데이터는 물론, 수술용 영상 처리 장치(100)의 동작에 따른 각종 정보를 화면을 통해 수술을 수행하는 의사 등(이하, 사용자)에게 출력하는 역할을 할 수 있다. 후술하겠지만, 영상 출력부(130)는 영상 데이터 등을 전체 디스플레이 영역의 전체 화면이나 분할 화면으로 출력할 수 있다. 이러한 영상 출력부(130)로는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 등을 사용할 수 있으며, 영상 출력부(130)의 종류 및 형태는 당업자에 의해 얼마든지 변경 가능하다. 한편, 도시되지는 않았으나, 수술용 영상 처리 장치(100)는 수술용 영상 처리 장치(100)의 동작에 따른 각종 정보를 사용자에게 음향을 통해 출력하는 스피커(Speaker)와 같은 오디오 출력부를 포함할 수도 있다.
영상 저장부(140)는 영상 처리부(120)에서 생성된 디지털 형태의 영상 데이터는 물론, 수술용 영상 처리 장치(100)의 동작에 필요한 프로그램 및 각종 정보를 저장하는 역할을 할 수 있다. 예를 들어, 영상 저장부(140)는 영상 처리부(120)에서 생성된 디지털 형태의 영상 데이터, 수술용 영상 처리 장치(100)의 시스템 옵션 설정 사항 등 다양한 정보를 저장할 수 있다. 도 4를 참조하여 후술하겠지만, 영상 저장부(140)는 수술이 진행되는 동안 수술 부위의 영상을 촬영하여 영상 처리부(120)에서 생성된 제1 영상 데이터를 임시로 저장하는 보조 저장부(141)와, 영상 처리부(120)에서 생성된 제2 영상 데이터, 제2 영상 데이터 또는 목표 영상 프레임을 최종적으로 저장하는 주 저장부(142)로 나눌 수 있다. 이 때, 주 저장부(142)에는 수술용 영상 처리 장치(100)의 동작을 제어하는 데에 필요한 각종 옵션 설정 사항이 저장될 수도 있다. 바람직하게는, 보조 저장부(141)는 휘발성 메모리를 사용하고, 주 저장부(142)는 비휘발성 메모리를 사용할 수 있는데, 주 저장부(142)는 SD 카드(Secure Digital Card)를 사용할 수 있으나, 이에 한정되지 않으며, 정보의 입출력 및 저장이 가능한 다양한 저장 매체를 사용할 수도 있다. 또한, 영상 저장부(140)는 수술용 영상 처리 장치(100)의 내부에 장착된 상태이나, 필요에 따라 수술용 영상 처리 장치(100)의 외부로 분리될 수 있다. 영상 저장부(140)에 저장된 영상 데이터 등의 각종 정보를 분석하기 위해서는 수술용 영상 처리 장치(100)와 별도로 구비되는 분석 장치를 이용할 수도 있는데, 영상 저장부(140)를 분석 장치에 연결하여 영상 저장부(140)에 저장된 각종 정보를 분석할 수 있다.
사용자 입력부(150)는 사용자로부터 제어 명령을 직접 입력 받는 역할을 할 수 있다. 예를 들어, 사용자가 수술 과정에서 영상 촬영의 시작 또는 종료를 원하는 경우, 사용자가 수술 과정에서 사고 상황이 발생했다는 사실을 알리고자 하는 경우, 사용자가 영상 데이터의 저장의 시작 또는 종료를 원하는 경우 등에 사용자는 사용자 입력부(150)를 통해 제어 명령을 입력시킬 수 있다. 또한, 후술하겠지만, 사용자가 영상 출력부(130)에 출력된 영상 프레임들을 전환하거나 선택할 때에도 전환 명령이나 선택 명령을 입력시킬 수도 있다. 사용자 입력부(150)는 키보드(Keyboard), 키 버튼(Key button), 조그(Jog) 등의 형태를 가질 수 있으나, 이에 한정되지 않으며, 사용자 입력부(150)의 종류 및 형상은 당업자에 의해 얼마든지 변경 가능하다.
제어부(160)는 수술용 영상 처리 장치(100)를 구성하는 각종 구성 요소, 즉, 영상 촬영부(110), 영상 처리부(120), 영상 출력부(130), 영상 저장부(140) 및 사용자 입력부(150)의 동작을 제어하는 역할을 할 수 있다. 또한, 각각의 구성 요소로부터 전달되는 정보를 처리하여 해당 구성 요소 또는 다른 구성 요소를 제어할 수 있다. 예를 들어, 영상 촬영부(110)에서 촬영된 아날로그 형태의 영상 신호를 전달 받아 영상 처리부(120)가 디지털 형태의 영상 데이터로 변환하도록 제어하거나, 영상 처리부(120)에서 생성된 디지털 형태의 영상 데이터를 전달 받아 이를 영상 저장부(140)에 저장할 수 있다.
한편, 도시되지는 않았으나, 본 발명의 일 실시예에 따른 수술용 영상 처리 장치(100)는 수술 부위의 영상을 촬영하여 생성된 영상 데이터, 후술할 목표 영상 프레임은 물론, 수술용 영상 처리 장치(100)의 각종 정보를 외부의 원격 서버로 전송하거나, 외부의 원격 서버로부터 수술용 영상 처리 장치(100)에 필요한 각종 정보를 수신하는 송수신부를 포함할 수도 있다.
이상, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기와 같이 구성되는 본 발명의 일 실시예에 따른 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법을 설명하면 다음과 같다.
도 2는 본 발명의 일 실시예에 따른 수술용 영상 처리 장치를 이용한 출혈 부위를 검색하는 방법을 나타내는 순서도이다.
먼저, 영상 처리부(120)는 수술이 진행되는 동안 영상 촬영부(110)가 수술 부위를 촬영한 영상으로부터 디지털 형태의 제1 영상 데이터를 생성할 수 있다(S201). 제1 영상 데이터는 사고 상황이 발생했는지의 여부와 상관 없이 영상 촬영부(110)에서 촬영된 영상을 영상 처리부(120)에서 실시간으로 처리하여 생성되며, 후술할 제2 영상 데이터를 생성하는 데에 사용될 수 있다. 이러한 제1 영상 데이터는 사고 상황이 발생하기 이전에는 영상 저장부(140)의 보조 저장부 (도 4의 141)에 임시 저장될 수 있다. 다만, 수술이 진행되는 동안 필요에 따라, 제1 영상 데이터는 영상 출력부(130)를 통해 사용자에게 바로 출력될 수도 있으며, 영상 저장부(140)의 주 저장부(도 4의 142)에 저장되어 보관될 수도 있다.
영상 촬영부(110)가 제1 영상 데이터를 생성하고 나면(S201), 제어부(160)는 영상 촬영부(110)가 수술 부위를 촬영하는 동안 사고 상황이 발생했는지 여부를 판단할 수 있다(S202). 예를 들어, 수술이 진행되는 동안에 예기치 않은 사고가 발생하는 경우, 사용자는 긴급 버튼 등과 같은 사용자 입력부(150)를 통해 사고가 발생했다는 사실을 알릴 수 있으며, 이를 통해 제어부(160)는 사고 상황이 발생했다고 판단할 수 있다. 또는, 영상 촬영부(110)(또는 별도로 구비된 카메라 등과 같은 영상 촬영 장치)나 감지 센서 등을 이용하여 사고가 발생했다고 감지하고, 이를 통해 제어부(160)는 사고 상황이 발생했다고 판단할 수도 있다. 본 발명에서 설명하는 방법들은 예시적인 것으로서, 제어부(160)가 수술 과정 동안 사고 상황이 발생했는지 여부를 판단하는 방법은 이에 한정되지 않고 당업자에 의해 얼마든지 변경 가능하다.
단계 S202에서의 판단 결과, 사고 상황이 발생하지 않은 경우(단계 S202의 아니오)에는, 제어부(160)는 영상 촬영부(110)가 계속해서 수술 부위를 촬영하고 영상 처리부(120)에서 제1 영상 데이터를 생성하도록 제어할 수 있다. 이 때, 제어부(160)는 필요에 따라 영상 처리부(120)에서 생성된 제1 영상 데이터를 그대로 영상 저장부(140)의 주 저장부(도 4의 142)에 저장하거나, 영상 출력부(130)를 통해 사용자에게 출력하도록 제어할 수도 있다.
한편, 단계 S202에서의 판단 결과, 사고 상황이 발생한 경우(단계 S202의 예)에는, 제어부(160)는 이하 설명되는 과정을 통해 수술 부위에서 출혈이 발생한 출혈 부위를 검색할 수 있다.
먼저, 영상 처리부(120)는 영상 처리부(120)에서 생성된 제1 영상 데이터의 전부 또는 일부로부터 제2 영상 데이터를 추출한 후, 제2 영상 데이터로부터 복수의 영상 프레임(Image Frame)을 분리할 수 있다(S203). 제2 영상 데이터는 제1 영상 데이터 그 자체를 사용할 수도 있으나, 제1 영상 데이터의 일부로부터 추출될 수 있다. 바람직하게는, 제2 영상 데이터는 사고 상황이 발생한 시점을 기준으로 제1 단위 시간 이전부터 제2 단위 시간 이후까지 생성된 제1 영상 데이터로부터 추출될 수 있다.
도 3은 본 발명의 일 실시예에 따른 수술용 영상 처리 장치의 영상 처리부에서 제2 영상 데이터로부터 복수의 영상 프레임을 분리하는 과정의 일 예를 나타내는 순서도이고, 도 4는 도 3의 예에서 제2 영상 데이터로부터 복수의 영상 프레임을 분리하는 방법을 나타내는 도면이며, 도 5는 도 4의 예에서 생성된 복수의 영상 프레임의 예를 나타내는 도면이다.
먼저, 도 3 및 도 4에 도시된 바와 같이, 제어부(160)는 영상 저장부(140)의 보조 저장부(141)에 저장된 제1 영상 데이터(D11) 중에서 사고 상황이 발생한 시간 te 이전의 제1 단위 시간 T1 동안의 제1 영상 데이터(D21)를 영상 저장부(140)의 주 저장부(142)에 저장할 수 있다(S203-1). 제어부(160)는 사고 상황이 발생한 시간 te 이전에 영상 처리부(120)에서 생성된 제1 영상 데이터(D11)를 보조 저장부(141)에 임시 저장할 수 있으며, 시간 te에서 사고 상황이 발생하면, 보조 저장부(141)에 저장된 제1 영상 데이터(D11) 중에서 사고 상황이 발생한 시간 te를 기준으로 제1 단위 시간 T1 이전까지(ti ~ te)의 제1 영상 데이터(D21)를 주 저장부(142)에 저장할 수 있다.
또한, 제어부(160)는 제1 영상 데이터(D21)를 주 저장부(142)에 저장하고 난 후(S203-1), 사고 상황이 발생한 시간 te 이후의 제2 단위 시간 T2 동안 단위 시간(Δt = T / n, n은 자연수) 간격으로 생성된 제1 영상 데이터(D12)를 영상 저장부(140)의 보조 저장부(141)에 저장할 수 있다(S203-2 내지 도 203-5). 그리고, 제어부(160)는 사고 상황이 발생한 시간 te부터 제2 단위 시간 T2까지(te ~ tf) 보조 저장부(141)에 저장된 제1 영상 데이터(D22)를 주 저장부(142)에 저장할 수 있다(S203-6).
마지막으로, 제어부(160)는 시간 te 이전의 T1 동안(ti ~ te)의 제1 영상 데이터(D21)와 시간 te 이후 T2 동안(te ~ tf)의 제1 영상 데이터(D22)를 합쳐 제2 영상 데이터(D2)를 생성한 후(S203-7), 영상 처리부(120)는 제2 영상 데이터(D2)로부터 복수의 영상 프레임 F1 내지 FN을 분리할 수 있다. 도 5에서는 영상 처리부(120)가 제2 영상 데이터(D2)로부터 모두 6 개의 영상 프레임 F1 내지 F6을 분리한 예를 도시하고 있다. 또한, 도 5에서는 6 개의 영상 프레임 F1 내지 F6 중 5 개의 영상 프레임 F1 내지 F5은 사고 상황이 발생한 시점 te 이전의 영상 프레임이고, 제6 영상 프레임 F6은 te 이후의 영상 프레임인 예를 나타내고 있다.
한편, 도 4 및 도 5에서 제2 영상 데이터(D2)로부터 복수의 영상 프레임 F1 내지 FN을 분리할 때에는 일련의 영상 프레임들로 구성된 제2 영상 데이터(D2)가 포함하고 있는 내용을 잘 표현할 수 있도록 키 프레임(Key Frame)을 추출하는 것이 바람직하다. 키 프레임은 제2 영상 데이터(D2)의 전체를 동일한 시간 간격으로 나누어 해당하는 시간의 영상 프레임들을 추출할 수도 있고, 제2 영상 데이터(D2)의 변화율을 감지하여서 변화된 부분의 영상 프레임들을 다른 시간 간격으로 추출할 수도 있다. 제2 영상 데이터(D2)로부터 키 프레임을 추출하는 방법으로는 Cumulative Histogram Measure(CHM)을 이용하여 이전 키 프레임과 현재 영상 프레임 간의 히스토그램 차이를 기준으로 새로운 키 프레임을 추출하는 방법, 한 장면에서 영상 프레임 내 동일한 위치에서 발생 빈도가 가장 높은 픽셀을 구하여 만든 Temporally Maximum Occurrence Frame(TMOF)을 키 프레임으로 추출하는 방법 등 다양한 종류의 방법들을 사용할 수 있다. 디지털 형태의 영상 데이터로부터 키 프레임을 추출하는 방법은 이미 잘 알려져 있으므로, 여기서 자세한 설명은 생략하기로 한다.
한편, 도 3 및 도 4에서 설명한 제1 단위 시간 T1 및 제2 단위 시간 T2는 임시 저장된 제1 영상 데이터(D1)로부터 제2 영상 데이터(D2)를 추출하는 기간을 정의하기 위한 것으로, 수술 환경에 따라 사용자에 의해 미리 설정되어 영상 저장부(140)의 주 저장부(142)에 저장된 값을 사용할 수 있다. 예를 들어, 사고 상황이 발생한 시점 te를 기준으로, 제1 단위 시간 T1은 10초, 제2 단위 시간 T2는 1초로 설정될 수 있으며, 이 경우, 사고 상황이 발생한 시점을 중심으로 전후 약 11초 분량의 제2 영상 데이터(D2)가 생성될 수 있다. 또 다른 예로, 제1 단위 시간 T1은 5초, 제2 단위 시간 T2는 0초로 설정되면 사고 상황이 발생한 시점 이전으로 약 5초 분량의 제2 영상 데이터(D2)가 생성될 수도 있다. 이와 같이, 본 발명의 일 실시예에 따른 수술용 영상 처리 장치(100)는 수술이 진행되는 동안 실시간으로 촬영되어 생성된 제1 영상 데이터(D1)로부터 사고 상황이 발생한 시간을 기준으로 일정 기간의 제2 영상 데이터(D2)를 추출하여 복수의 영상 프레임을 분리함으로써, 보다 빠른 시간 내에 수술 부위의 출혈 부위를 검색할 수 있다.
한편, 도 3 및 도 4에서 제1 영상 데이터(D1)로부터 제2 영상 데이터(D2)를 추출하는 방법은 예시적인 것으로서, 이에 한정되지 않으며, 당업자에 의해 얼마든지 변경 가능하다. 예를 들어, 도 3 및 도 4에서는 제어부(160)가 영상 처리부(120)에서 생성된 제1 영상 데이터(D1)를 영상 저장부(140)의 보조 저장부(141)에 임시 저장하는 경우를 예로 들어 설명하고 있으나, 필요에 따라 제어부(160)는 제1 영상 데이터(D1)를 영상 저장부(140)의 주 저장부(142)에 저장할 수도 있다.
다시 도 2를 참조하면, 영상 처리부(120)는 제2 영상 데이터(D2)로부터 복수의 영상 프레임 F1 내지 FN을 분리한 후(S203), 복수의 영상 프레임 F1 내지 FN을 구성하는 각각의 영상 프레임을 분석하여 수술 부위에서 출혈이 발생한 출혈 부위를 포함하는 적어도 하나의 목표 영상 프레임을 추출할 수 있다(S204, S304). 여기서 목표 영상 프레임이란, 수술 과정 중 최초로 출혈이 발생한 출혈 부위를 잘 나타낼 수 있는 영상 프레임을 의미한다.
본 발명의 일 실시예에 따른 수술용 영상 처리 장치(100)의 영상 처리부(120)가 복수의 영상 프레임 F1 내지 FN을 분석하여 출혈 부위를 포함하는 적어도 하나의 목표 영상 프레임을 추출하는 방법은, 사용자가 영상 출력부(130)에 출력된 복수의 영상 프레임 F1 내지 FN을 통해 출혈 부위를 인식하여 적어도 하나의 목표 영상 프레임을 직접 추출하는 방법과, 영상 분석 알고리즘을 통해 복수의 영상 프레임 F1 내지 FN을 분석하여 출혈 부위를 포함하는 적어도 하나의 목표 영상 프레임을 자동 추출하는 방법으로 나눌 수 있다. 이하에서는, 각각의 방법을 나누어서 설명하기로 한다.
먼저, 도 6 내지 도 9를 참조하여, 사용자가 영상 출력부(130)의 디스플레이 영역(131)에 출력된 복수의 영상 프레임 F1 내지 FN을 통해 적어도 하나의 목표 영상 프레임을 직접 추출하는 방법을 설명하면 다음과 같다.
도 6은 본 발명의 일 실시예에 따른 수술용 영상 처리 장치에서 사용자가 직접 목표 영상 프레임을 추출하는 방법을 나타내는 순서도이고, 도 7a 및 도 7b는 도 6의 예에서 영상 출력부의 디스플레이 영역에 복수의 영상 프레임을 출력하는 예를 나타내는 도면이며, 도 8은 도 6의 예에서 복수의 영상 프레임으로부터 목표 영상 프레임을 선택하는 예를 나타내는 도면이고, 도 9는 도 8의 예에서 선택된 목표 영상 프레임을 영상 출력부에 출력한 예를 나타내는 도면이다.
도 6에 도시된 바와 같이, 제어부(160)는 복수의 영상 프레임 F1 내지 FN의 전부 또는 일부를 추출하여 영상 출력부(130)의 디스플레이 영역(131)에 전체 화면 또는 적어도 두 개의 분할 화면으로 출력할 수 있다(S204-1 내지 S204-7).
먼저, 제어부(160)는 기설정된 디스플레이 영역(131)의 화면 분할 값 M에 따라 영상 출력부(130)의 디스플레이 영역(131)을 M개의 화면으로 분할할 수 있다(S204-1). 디스플레이 영역(131)의 화면 분할 값 M은 사용자에 의해 미리 설정된 값이거나 가장 최근에 사용된 화면 분할 값이 영상 저장부(140) 등에 저장된 값이다. 화면 분할 값 M은 분리된 복수의 영상 프레임 F1 내지 FN의 개수보다는 적은 값을 가지며, M = 1인 경우는 디스플레이 영역(131)의 전체 화면에 출력한다는 것을 의미한다. 도 7a 내지 도 8에서는 영상 출력부(130)의 디스플레이 영역(131)을 4개의 화면으로 분할한 예를 도시하고 있다.
한편, 필요에 따라, 제어부(160)는 사용자로부터 화면 분할 값 M을 재설정할지 여부를 판단하여(S204-2), 화면 분할 값 M이 재설정되는 경우(단계 S204-2의 예), 사용자로부터 설정된 화면 분할 값 M에 따라 디스플레이 영역(131)을 M 개의 분할 화면으로 다시 분할할 수도 있다(S204-3). 다만, 이러한 단계 S204-2 및 단계 S204-3 과정은 생략될 수도 있다.
제어부(160)는 영상 출력부(130)의 디스플레이 영역(131)을 M개의 화면으로 분할한 후(S204-1 내지 S204-3), 영상 처리부(120)는 설정된 화면 분할 값 M에 따라 복수의 영상 프레임 F1 내지 FN 중 M 개의 영상 프레임을 추출하고(S204-4), 영상 출력부(130)는 추출된 M개의 영상 프레임을 디스플레이 영역(131)의 M개의 분할 화면에 출력할 수 있다(S204-5). 도 7a에서는, 화면 분할 값 M = 4인 경우, 도 5에서 분리된 6 개의 영상 프레임 중 4 개의 영상 프레임 F2 내지 F5을 추출하여 4 개의 분할 화면(화면 분할 값 M = 4)으로 출력한 예를 도시하고 있다. 도 5에서 6 개의 영상 프레임 F1 내지 F6 중 5 개의 영상 프레임 F1 내지 F5은 사고 상황이 발생한 시점 te 이전의 영상 프레임이고, 제6 영상 프레임 F6은 te 이후의 영상 프레임이라고 가정하면, 최초 출력되는 4 개의 영상 프레임 F2 내지 F5은 사고 상황이 발생한 시점 te를 기준으로 시간 te 이전에 해당하는 영상 프레임 F1 내지 F5 중 시간 te에서 가까운 4 개의 영상 프레임 F2 내지 F5인 것이 바람직하다.
한편, 필요에 따라, 제어부(160)는 사용자로부터 화면 전환 명령이 입력되었는지 여부를 판단하여(S204-6), 사용자로부터 화면 전환 명령이 입력되는 경우(단계 S204-6의 예), 복수의 영상 프레임 F1 내지 FN 중 사용자로부터의 화면 전환 명령에 해당하는 M 개의 영상 프레임을 새로 추출한 후(S204-7), 추출된 M개의 영상 프레임을 디스플레이 영역(131)의 M개의 분할 화면에 출력할 수 있다(S204-5). 여기서 화면 전환 명령이란, 현재 디스플레이 영역(131)에 출력되는 영상 프레임들 이외에 다른 영상 프레임들을 출력하고 싶을 때 사용자가 입력하는 명령을 의미하며, 현재 디스플레이 영역(131)에 출력되는 영상 프레임들을 기준으로 이전 또는 이후 영상 프레임을 출력하도록 제어할 수 있다. 예를 들어, 도 7a에서 디스플레이 영역(131)에 출력되는 4 개의 영상 프레임 F2 내지 F5 이외에 다른 영상 프레임(예를 들어, 영상 프레임 F1 또는 F6)을 출력하고자 할 때에는, 이전(Previous) 또는 이후(Next)와 같은 화면 전환 명령을 입력할 수 있으며, 도 7b에서는 이전(Previous)과 같은 화면 전환 명령을 입력 받아 4 개의 영상 프레임 F1 내지 F4을 출력한 예를 도시하고 있다. 이와 같이, 화면 전환 명령은 사용자가 복수의 영상 프레임 F1 내지 FN을 판독하여 출혈 부위를 검색하기 위해 원하는 영상 프레임을 탐색할 때에 사용될 수 있다.
다시 도 6을 참조하면, 영상 출력부(130)가 추출된 M개의 영상 프레임을 디스플레이 영역(131)의 M개의 분할 화면에 출력하면(S204-5), 제어부(160)는 사용자 입력부(150)를 통해 사용자로부터 디스플레이 영역(131)에 출력된 영상 프레임들 중 적어도 하나의 목표 영상 프레임에 대한 선택 명령을 입력 받을 수 있다(S204-8). 이 때, 사용자로부터 선택 명령을 입력 받은 적어도 하나의 목표 영상 프레임은 출혈 부위를 가장 잘 나타낼 수 있는 영상 프레임이며, 사용자는 육안으로 판단하기에 출혈 부위를 선명하게 표현할 수 있는 영상 프레임을 적어도 하나 이상 선택할 수 있다. 도 8 및 도 9에서는 4 개의 영상 프레임 F1 내지 F4 중 제2 영상 프레임 F2을 하나의 목표 영상 프레임으로 선택한 예를 도시하고 있다.
이상 도 6 내지 도 9를 참조하여 사용자가 영상 출력부(130)의 디스플레이 영역(131)에 출력된 복수의 영상 프레임을 통해 출혈 부위를 인식하고 목표 영상 프레임을 직접 추출하는 방법을 설명하였다. 이하 도 10 내지 도 12를 참조하여 본 발명의 일 실시예에 따른 수술용 영상 처리 장치(100)에서 영상 분석 알고리즘을 통해 복수의 영상 프레임 F1 내지 FN을 분석하여 출혈 부위를 포함하는 목표 영상 프레임을 자동 생성하는 방법을 설명하기로 한다. 설명의 편의상, 도 6 내지 도 9를 참조하여 설명한 내용과 동일한 과정은 그 설명을 생략하며, 이하 차이점을 위주로 설명하기로 한다.
도 10은 본 발명의 일 실시예에 따른 수술용 영상 처리 장치에서 복수의 영상 프레임을 분석하여 출혈 부위를 포함하는 목표 영상 프레임을 자동 생성하는 방법을 나타내는 순서도이다.
도 10에 도시된 바와 같이, 제어부(160)는 복수의 영상 프레임 F1 내지 FN을 구성하는 각각의 영상 프레임에 대해, 각각의 영상 프레임 F1 내지 FN을 구성하는 복수의 색상 값에 대한 평균 값을 산출하여 대표 색상 값 C1 내지 CN을 추출할 수 있다(S304-1). 그리고, 제어부(160)는 각각의 영상 프레임 F1 내지 FN에 대한 대표 색상 값 C1 내지 CN을 기설정된 임계 색상 값 Ccr과 비교하여(S304-2), 특정 영상 프레임 Fk에 대한 대표 색상 값 Ck이 임계 색상 값 Ccr보다 높은 경우(단계 S304-2의 예), 특정 영상 프레임 Fk을 후보 영상 프레임으로 설정할 수 있다(S304-3).
여기서, 특정 영상 프레임 Fk에 대한 대표 색상 값 Ck은 영상 프레임 Fk을 이루는 복수의 화소(Pixel)을 구성하는 복수의 색상 값들로부터 그 평균 값을 구한 것으로, 특정 영상 프레임 Fk 전체의 색상 분포를 나타내는 대표 값을 의미한다. 일반적으로 디지털 형태의 영상 데이터를 구성하는 각각의 영상 프레임들은 영상(이미지)을 표현하기 위해 RGB, CMY, YUV(YCbCr), YIQ, HSV 등 다양한 색상 공간(Color Space)으로 표현될 수 있으며, 각각의 색상 공간은 필요에 따라 다른 색상 공간으로 변환될 수 있다. 본 발명에서 설명하는 특정 영상 프레임 Fk에 대한 대표 색상 값 Ck은 특정 색상 공간에만 한정되어 적용되는 것은 아니며, 필요에 따라 다양한 색상 공간에서 적용 가능하다.
또한, 임계 색상 값 Ccr은 특정 영상 프레임 Fk에 대해 수술 과정 도중 사고 상황이 발생하여 출혈이 발생했다고 판단할 수 있는 대표 색상 값 Ck의 임계 값(Critical Value)을 의미한다. 이러한 임계 색상 값 Ccr은 사용자에 의해 미리 설정될 수 있으며, 수술의 종류, 수술 환경 등 다양한 조건에 따라 다르게 설정될 수 있다. 또한, 후보 영상 프레임은 수술 과정 도중 사고 상황에 의한 출혈이 발생했다고 판단되는 영상 프레임들의 집합을 의미한다. 즉, 제어부(160)는 특정 영상 프레임 Fk에 대한 대표 색상 값 Ck이 임계 색상 값 Ccr보다 높은 경우에 사고 상황에 의한 출혈이 발생했다고 판단하고 이를 후보 영상 프레임으로 설정할 수 있다.
다시 도 10을 참조하면, 제어부(160)가 복수의 영상 프레임 F1 내지 FN에 대해 적어도 하나의 후보 영상 프레임을 설정하고 나면(S304-1 내지 S304-3), 제어부(160)는 적어도 하나의 후보 영상 프레임 중 사고 상황이 발생한 시점으로부터 멀리 떨어진 시점에 위치하는 적어도 하나의 목표 영상 프레임 Ft을 추출할 수 있다(S304-3). 즉, 목표 영상 프레임 Ft은 적어도 하나의 후보 영상 프레임 중에서 시간적으로 가장 이른 시점의 영상 프레임을 의미한다.
한편, 본 발명의 일 실시예에 따른 수술용 영상 처리 장치의 경우, 복수의 영상 프레임 F1 내지 FN을 구성하는 각각의 영상 프레임 F1 내지 FN에 대한 대표 색상 값 C1 내지 CN은, 각각의 영상 프레임 F1 내지 FN의 색상 공간을 RGB 색상 공간으로 변환한 후, 각각의 영상 프레임 F1 내지 FN으로부터 R 채널의 평균 값을 산출하여 구할 수 있다. 영상 프레임 F1 내지 FN에 대한 대표 색상 값 C1 내지 CN으로서 R 채널의 평균 값을 이용하는 이유는, 수술 부위를 촬영하기 때문에 출혈에 의해 각각의 영상 프레임 F1 내지 FN이 전체적으로 R 채널 값이 높게 나타나기 때문이다. 즉, 영상 프레임 F1 내지 FN에 대한 R 채널의 평균 값을 비교함으로써 사고 상황이 발생하여 상대적으로 출혈이 많이 발생한 시점을 용이하게 검색할 수 있다.
도 11은 본 발명의 일 실시예에 따른 수술용 영상 처리 장치에서 복수의 영상 프레임으로부터 대표 색상 값을 산출하는 예를 나타내는 도면이고, 도 12는 도 11의 예에서 복수의 영상 프레임에 대한 대표 색상 값을 이용하여 목표 영상 프레임을 추출하는 예를 나타내는 도면이다.
도 11에서는 특정 영상 프레임 Fk을 나타내는 디지털 형태의 데이터 구조의 예로서 비트맵(BITMAP) 포맷 방식의 데이터 구조를 개략적으로 나타내고 있으며, 도 12에서는 도 4의 예에서 6 개의 영상 프레임 F1 내지 F6에 대한 대표 색상 값 C1 내지 C6을 구하여 임계 색상 값 Ccr과 비교한 후 목표 영상 프레임 Ft를 추출하는 예를 나타내고 있다.
일반적으로 RGB 색상 공간은 영상(이미지)의 색상을 R 채널(Red Channel), G 채널(Green Channel) 및 B 채널(Blue Channel)의 값을 조합하여 표현하며, 디지털 카메라, 모니터 등에 주로 사용되고 있다. 이와 같이 RGB 색상 공간으로 표현된 이미지 파일은 비트맵 포맷, JPG 포맷, GIF 포맷 등의 방식으로 저장될 수 있다.
도 11에 도시된 바와 같이, 비트맵 포맷 방식을 가지는 특정 영상 프레임 Fk의 데이터 구조는 크게 헤더(Header) 부분과 이미지 데이터 부분으로 나눌 수 있다. 여기서 헤더 부분은 비트맵 파일 헤더(Bitmap File Header)와 비트맵 인포 헤더(Bitmap Info Header)로 구성되어 특정 영상 프레임 Fk의 크기, 비트수 등의 각종 정보를 포함하고, 이미지 데이터 부분은 실제 그래픽 정보를 포함하고 있다. RGB 색상 공간을 사용하는 비트맵 포맷 방식의 경우, 이미지 데이터는 하나의 화소(Pixel)당 24 바이트(R 색상 값 8 바이트, G 색상 값 8 바이트 및 B 색상 값 8 바이트)로 이루어져 연속된 데이터 값을 가질 수 있다.
도 11의 예에서, 특정 영상 프레임 Fk에 대한 대표 색상 값 Ck을 나타내는 R 채널의 평균 값을 산출하는 방법은 아래의 [수학식 1]과 같다.
[수학식 1]
대표 색상 값 Ck = ∑ (영상 프레임 Fk의 R 채널 값) / (m×n)
여기서, m은 영상 프레임 Fk의 가로(X) 방향의 화소 개수이고, n은 영상 프레임 Fk의 세로(Y) 방향의 화소 개수를 의미한다. 즉, 특정 영상 프레임 Fk에 대한 R 채널의 평균 값은 전체 화소의 R 채널 값을 합한 후 영상 프레임 Fk의 크기(m×n)로 나눈 값을 의미한다.
이와 같이, 제어부(160)는 6 개의 영상 프레임 F1 내지 F6에 대해 각각 대표 색상 값 C1 내지 C6을 구한 후, 임계 색상 값 Ccr과 비교할 수 있다. 도 12에 도시된 바와 같이, 영상 프레임 F2 내지 F6의 대표 색상 값 C2 내지 C6이 임계 색상 값 Ccr보다 높은 경우, 후보 영상 프레임은 영상 프레임 F2 내지 F6이고, 그 중, 사고 상황 발생 시점 te로부터 멀리 떨어진 영상 프레임 F2을 구하고자 하는 목표 영상 프레임 Ft으로 추출할 수 있다.
한편, 도 11 및 도 12에서는 특정 영상 프레임 Fk에 대한 대표 색상 값 Ck을 구하기 위해 RGB 색상 공간에서 R 채널 값의 평균 값을 산출하는 예를 들어 설명하고 있으나, 이에 한정되지 않으며, CMY, YUV(YCbCr), YIQ, HSV 등의 다양한 색상 공간에서도 적용 가능하다.
다시 도 2를 참조하면, 영상 처리부(120)는 복수의 영상 프레임으로부터 적어도 하나의 목표 영상 프레임을 추출한 후(S204), 제어부(160)는 적어도 하나의 목표 영상 프레임을 영상 출력부(130)를 통해 사용자에게 출력할 수 있다(S205). 또한, 비록 도시되지는 않았으나, 제어부(160)는 적어도 하나의 목표 영상 프레임을 영상 저장부(140)에 저장할 수도 있다. 이 때, 제어부(160)는 적어도 하나의 목표 영상 프레임을 제1 영상 데이터(D1) 또는 제2 영상 데이터(D2)와 함께 영상 저장부(140)에 저장할 수도 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법에 따르면, 수술이 진행되는 동안 수술 부위를 촬영한 영상을 분석하여 출혈이 발생한 출혈 부위를 빠른 시간 내에 검색함으로써, 출혈 부위를 파악하기 위한 유도 출혈을 반복하지 않고 불필요한 추가 실혈과 수술 시간의 지체없이 신속하고 적절하게 상황을 통제할 수 있으므로 수술 도중 발생할 수 있는 사망 또는 기타 사고를 예방할 수 있다. 또한, 수술이 진행되는 동안 사고 상황이 발생했을 때에 수술을 수행하는 의사 등의 대처 행동과 처리 행위가 녹화되어 불필요한 의료 분쟁을 예방할 수 있다.
한편, 본 발명에서는 외과에서 환자를 상대로 시술하는 개복 수술에 사용되는 수술용 영상 처리 장치(100)를 예로 들어 설명하고 있으나, 본 발명의 적용 범위는 이에 한정되지 않으며, 본 발명은 복강경 수술 등 다양한 종류의 수술용 영상 처리 장치(100)에 얼마든지 적용될 수 있다.
한편, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 수술용 영상 처리 장치
110: 영상 촬영부 120: 영상 처리부
130: 영상 출력부 140: 영상 저장부
150: 사용자 입력부 160: 제어부

Claims (7)

  1. 수술 부위의 영상을 촬영하여 상기 수술 부위의 영상을 처리한 후, 상기 수술 부위의 영상을 저장하거나 출력하는 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법에 있어서,
    수술이 진행되는 동안 수술 부위를 촬영한 영상으로부터 제1 영상 데이터를 생성하는 단계;
    상기 수술 부위를 촬영하는 동안 외부의 입력 신호에 기인하여 사고 상황이 발생했는지 여부를 판단하는 단계;
    상기 판단 결과, 상기 사고 상황이 발생한 경우에는,
    상기 제1 영상 데이터의 전부 또는 일부로부터 추출된 제2 영상 데이터로부터 복수의 영상 프레임(Image Frame)을 분리하는 단계;
    상기 복수의 영상 프레임을 구성하는 각각의 영상 프레임을 분석하여 상기 수술 부위에서 출혈이 발생한 출혈 부위를 포함하는 적어도 하나의 목표 영상 프레임을 추출하는 단계; 및
    상기 적어도 하나의 목표 영상 프레임을 사용자에게 출력하는 단계를 포함하되,
    상기 적어도 하나의 목표 영상 프레임을 추출하는 단계는,
    상기 복수의 영상 프레임을 구성하는 각각의 영상 프레임에 대해, 상기 각각의 영상 프레임을 구성하는 복수의 색상 값에 대한 평균 값을 산출하여 대표 색상 값을 추출하는 단계;
    상기 복수의 영상 프레임을 구성하는 각각의 영상 프레임에 대해, 상기 대표 색상 값이 기설정된 임계 색상 값보다 높은 적어도 하나의 후보 영상 프레임을 검색하는 단계; 및
    상기 적어도 하나의 후보 영상 프레임 중 상기 사고 상황이 발생한 시점으로부터 멀리 떨어진 시점에 위치하는 상기 적어도 하나의 목표 영상 프레임을 추출하는 단계를 포함하며,
    상기 복수의 영상 프레임을 구성하는 각각의 영상 프레임에 대한 상기 대표 색상 값은, 상기 각각의 영상 프레임의 색상 공간(Color Space)을 RGB 색상 공간으로 변환한 후, 상기 각각의 영상 프레임으로부터 R 채널(Red Channel)의 평균 값을 산출하여 구하는 것을 특징으로 하는 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 복수의 영상 프레임을 분리하는 단계는,
    상기 제2 영상 데이터로부터 키 프레임(Key Frame)을 추출하는 것을 특징으로 하는 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법.
  6. 제 1 항에 있어서,
    상기 제2 영상 데이터는, 상기 사고 상황이 발생한 시점을 기준으로 제1 단위 시간 이전부터 제2 단위 시간 이후까지 생성된 상기 제1 영상 데이터로부터 추출되는 것을 특징으로 하는 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법.
  7. 제 1 항에 있어서,
    상기 적어도 하나의 목표 영상 프레임을 저장하는 단계를 더 포함하는 것을 특징으로 하는 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법.
KR1020110114312A 2011-11-04 2011-11-04 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법 KR101175065B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110114312A KR101175065B1 (ko) 2011-11-04 2011-11-04 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법
PCT/KR2012/009090 WO2013066056A1 (ko) 2011-11-04 2012-11-01 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110114312A KR101175065B1 (ko) 2011-11-04 2011-11-04 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법

Publications (1)

Publication Number Publication Date
KR101175065B1 true KR101175065B1 (ko) 2012-10-12

Family

ID=47287102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110114312A KR101175065B1 (ko) 2011-11-04 2011-11-04 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법

Country Status (2)

Country Link
KR (1) KR101175065B1 (ko)
WO (1) WO2013066056A1 (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180006622A (ko) * 2015-06-09 2018-01-18 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 컨텍스트에서의 비디오 컨텐트 검색
KR101862677B1 (ko) * 2018-03-06 2018-05-31 (주)휴톰 3차원 탄성 모델 렌더링 방법, 장치 및 프로그램
KR101880246B1 (ko) * 2017-12-28 2018-07-19 (주)휴톰 수술영상 재생제어 방법, 장치 및 프로그램
WO2019132167A1 (ko) * 2017-12-28 2019-07-04 (주)휴톰 3차원 탄성 모델 렌더링 방법, 장치 및 프로그램
KR102013857B1 (ko) * 2018-02-20 2019-08-23 (주)휴톰 수술영상을 기초로 학습데이터를 생성하는 방법 및 장치
WO2019164279A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 수술영상의 인식도 평가 방법 및 장치
WO2019164277A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 수술영상을 이용한 출혈 평가 방법 및 장치
WO2019164274A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 학습데이터 생성 방법 및 장치
KR20190106978A (ko) * 2019-09-09 2019-09-18 주식회사 엠티이지 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치
KR20190106628A (ko) * 2018-03-06 2019-09-18 (주)휴톰 수술영상 재생제어 방법, 장치 및 프로그램
WO2020116701A1 (ko) * 2018-12-05 2020-06-11 쓰리디메디비젼 주식회사 수술 동영상 제작 시스템 및 수술 동영상 제작 방법
KR102259797B1 (ko) * 2020-11-17 2021-06-02 주식회사 웨이센 영상 분석을 통한 사용자 이벤트 검출 방법 및 해당 방법을 수행하는 장치
WO2021206518A1 (ko) * 2020-04-10 2021-10-14 (주)휴톰 수술 후 수술과정 분석 방법 및 시스템
WO2024111846A1 (ko) * 2022-11-22 2024-05-30 (주)휴톰 시공간 특징 퓨전 모델을 통해 수술 중 출혈을 검출하는 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000000282A (ja) * 1998-06-12 2000-01-07 Fuji Iryoki:Kk 携帯用振動式美顔器
JP2006288955A (ja) * 2005-04-14 2006-10-26 Olympus Medical Systems Corp 手術システム
JP2007330347A (ja) * 2006-06-12 2007-12-27 Olympus Medical Systems Corp 手術システム及びそのシステム稼働情報告知方法
US20080260218A1 (en) * 2005-04-04 2008-10-23 Yoav Smith Medical Imaging Method and System
JP2011036370A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
JP2011036371A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000000282A (ja) * 1998-06-12 2000-01-07 Fuji Iryoki:Kk 携帯用振動式美顔器
US20080260218A1 (en) * 2005-04-04 2008-10-23 Yoav Smith Medical Imaging Method and System
JP2006288955A (ja) * 2005-04-14 2006-10-26 Olympus Medical Systems Corp 手術システム
JP2007330347A (ja) * 2006-06-12 2007-12-27 Olympus Medical Systems Corp 手術システム及びそのシステム稼働情報告知方法
JP2011036370A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
JP2011036371A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180006622A (ko) * 2015-06-09 2018-01-18 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 컨텍스트에서의 비디오 컨텐트 검색
KR102611663B1 (ko) * 2015-06-09 2023-12-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 컨텍스트에서의 비디오 컨텐트 검색
KR101880246B1 (ko) * 2017-12-28 2018-07-19 (주)휴톰 수술영상 재생제어 방법, 장치 및 프로그램
WO2019132167A1 (ko) * 2017-12-28 2019-07-04 (주)휴톰 3차원 탄성 모델 렌더링 방법, 장치 및 프로그램
WO2019132169A1 (ko) * 2017-12-28 2019-07-04 (주)휴톰 수술영상 재생제어 방법, 장치 및 프로그램
KR102013857B1 (ko) * 2018-02-20 2019-08-23 (주)휴톰 수술영상을 기초로 학습데이터를 생성하는 방법 및 장치
KR102014371B1 (ko) * 2018-02-20 2019-08-26 (주)휴톰 수술영상의 인식도 평가 방법 및 장치
WO2019164279A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 수술영상의 인식도 평가 방법 및 장치
WO2019164277A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 수술영상을 이용한 출혈 평가 방법 및 장치
WO2019164274A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 학습데이터 생성 방법 및 장치
KR102276862B1 (ko) 2018-03-06 2021-07-13 (주)휴톰 수술영상 재생제어 방법, 장치 및 프로그램
KR20190106628A (ko) * 2018-03-06 2019-09-18 (주)휴톰 수술영상 재생제어 방법, 장치 및 프로그램
KR101862677B1 (ko) * 2018-03-06 2018-05-31 (주)휴톰 3차원 탄성 모델 렌더링 방법, 장치 및 프로그램
WO2020116701A1 (ko) * 2018-12-05 2020-06-11 쓰리디메디비젼 주식회사 수술 동영상 제작 시스템 및 수술 동영상 제작 방법
US11185388B2 (en) 2018-12-05 2021-11-30 3D Medivision Inc. Surgical video production system and surgical video production method
KR102200884B1 (ko) * 2019-09-09 2021-01-11 주식회사 엠티이지 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치
KR20190106978A (ko) * 2019-09-09 2019-09-18 주식회사 엠티이지 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치
WO2021206518A1 (ko) * 2020-04-10 2021-10-14 (주)휴톰 수술 후 수술과정 분석 방법 및 시스템
KR102259797B1 (ko) * 2020-11-17 2021-06-02 주식회사 웨이센 영상 분석을 통한 사용자 이벤트 검출 방법 및 해당 방법을 수행하는 장치
WO2024111846A1 (ko) * 2022-11-22 2024-05-30 (주)휴톰 시공간 특징 퓨전 모델을 통해 수술 중 출혈을 검출하는 방법 및 장치
KR20240077534A (ko) 2022-11-22 2024-06-03 (주)휴톰 시공간 특징 퓨전 모델을 통해 수술 중 출혈을 검출하는 방법 및 장치

Also Published As

Publication number Publication date
WO2013066056A1 (ko) 2013-05-10

Similar Documents

Publication Publication Date Title
KR101175065B1 (ko) 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법
KR102048581B1 (ko) 화상 처리 장치, 화상 처리 방법, 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 및 촬상 장치
US9491366B2 (en) Electronic device and image composition method thereof
JP4840426B2 (ja) 電子機器、ぼけ画像選別方法及びプログラム
US10728510B2 (en) Dynamic chroma key for video background replacement
US8094935B2 (en) Representative color extracting method and apparatus based on human color sense and data histogram distributions
JP5331128B2 (ja) 撮像装置
JP2008271268A (ja) 画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラム
JP7223079B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
US20100194992A1 (en) Image processing device, computer readable storage medium storing image processing program and image processing method
US20140211997A1 (en) Tracking-frame initial-position setting device and method of controlling operation of same
US10863113B2 (en) Image processing apparatus, image processing method, and storage medium
US20110221927A1 (en) Image processing apparatus, image processing method and program
KR20200029036A (ko) 화이트 밸런스 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체
KR20150141059A (ko) 동영상의 썸네일 영상을 제공하는 장치 및 방법
JP2016178608A (ja) 画像処理装置、画像処理方法及びプログラム
JP5655668B2 (ja) 撮像装置、画像処理方法及びプログラム
JP5504990B2 (ja) 撮像装置、画像処理装置及びプログラム
KR101733125B1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
JP2009194786A (ja) 対象物検出装置及び撮像装置
JPH1196361A (ja) 物体抽出装置、物体抽出方法、物体抽出プログラムを記録した媒体および物体検出プログラムを記録した媒体
JP6332864B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2016129281A (ja) 画像処理装置
JP2008263657A (ja) 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JP2012123721A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150526

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160812

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170824

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190801

Year of fee payment: 8