KR20210082630A - 수술 동영상의 비식별화를 위한 개인식별정보 검출 장치 및 방법 - Google Patents

Abstract

수술 동영상의 비식별화를 위한 개인식별정보 검출 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법은, 입력된 수술 동영상의 프레임 각각에 대하여 비식별화가 필요한 개인식별정보 후보에 해당하는 텍스트 및 인물을 포함하는 객체를 검출하는 단계 및 상기 객체가 검출되면, 상기 객체가 검출된 프레임의 프레임 번호 및 상기 프레임과 연계된 타임 코드를 포함하는 인덱스 정보를 생성하는 단계를 포함할 수 있다.

Description

수술 동영상의 비식별화를 위한 개인식별정보 검출 장치 및 방법{APPARATUS AND METHOD FOR DETECTING PERSONAL IDENTIFICATION INFORMATION FOR SURGICAL VIDEO DE-IDENTIFICATION}

본원은 수술 동영상의 비식별화를 위한 개인식별정보 검출 장치 및 방법에 관한 것이다.

의료정보기술은 최근 빅 데이터 및 인공지능 기술과 접목하여 비약적으로 발전하고 있으며, 이에 따라 기존의 텍스트 기반의 의무 기록과 같은 정형 데이터뿐만 아니라 MRI, X-Ray 등 정지영상 외에도 내시경/복강경 등의 장비에 의해 촬영 및 저장된 비디오와 같은 비정형 데이터의 생산과 활용이 증가하고 있다.

이러한 외과적 수술 과정 등을 비디오로 기록하는 사례가 증가하면서, 최근에는 수술 과정을 기록한 비디오의 풍부한 임상정보 보유 특성으로 인하여 비디오와 같은 비정형 데이터가 의료정보기술의 새로운 서비스 창출 및 연구개발을 위한 중요한 데이터로서 그 가치를 새롭게 평가 받고 있다.

한편, 보건의료분야는 행정, 안전, 금융 등 다른 분야와 마찬가지로 개인정보의 취급과 보호가 매우 중요하다. 의과학연구에서의 개인정보와 비식별화에 대한 기준은 개인정보관련 생명윤리법과 IRB 운영지침, 개인정보 비식별 조치 가이드라인 등을 참고할 수 있다. 그러나 이러한 가이드라인에서 제시하는 익명성 방법의 경우 영상 장비마다 형식이 달라 일괄적으로 적용하기 어렵다는 한계가 있다.

따라서, 비디오를 데이터로 이용하기 위하여, 비디오 내 각 프레임에 포함된 수집 대상 정보(개인식별정보)를 검출하고, 이를 인덱싱한 후 적절한 비식별화 처리 방법과 연동하는 방안의 필요성이 점차 높아지고 있다.

그러나, 종래에는 비디오의 전체 프레임을 검사하여 개인식별정보를 선별하는 일련의 과정을 육안 검사 및 수작업에 의존하고 있어 외과적 수술 과정 등에서 생산된 풍부한 임상정보를 수록한 비디오 데이터를 적극적으로 활용하기 어려웠다.

이와 관련하여, 의료정보 비디오 데이터를 활용하기 위한 시스템을 구축하기 위해서는 비디오와 같은 비정형 데이터에 포함된 개인식별정보에 대한 처리 또는 이를 위한 의사결정을 지원할 수 있는 방안이 필요하다. 예를 들어 복강경 수술 과정에서 수술 도구의 교체 등을 목적으로 카메라가 체외에서 머물 때 의도하지 않게 환자의 얼굴 또는 의료진의 모습이 촬영된 경우, 이러한 식별요소와 그 발생 시점을 별도로 기록하는 과정이 필요하지만 일반적으로 의료현장에서 비디오의 관리는 의사 개인의 재량에 따라 이루어지고 있어 이를 강제하기 어려울 뿐만 아니라, 의료 정보 비디오를 연구에 이용하고자 할 때마다 육안 검사에 의존할 수 밖에 없다는 문제점이 있다.

또한, 정지영상과 달리 대용량인 비디오의 경우 연속된 다수의 프레임으로 이루어지는데, 외과적 수술의 경우 30분 내외에서 길게는 수 시간 이상 소요될 수 있어 비디오의 재생 시간에 비례하여 검수 및 분석에 소요되는 시간은 급격히 증가할 수 밖에 없다. 또한, 의료현장에서 생산되는 비디오는 촬영 환경과 방식의 다양성, 검진 또는 수술에 이용되는 영상장치의 특성과 용도에 따라 진료 정보의 표현 형식을 달리하는 등 내용상의 다양성을 가진다. 결국 비디오에 대한 육안 검사는 비용 측면에서 비효율적이며, 검수자의 숙련도에 따라 검수 및 분석 결과에 대한 품질을 보장하기 어려운 문제가 발생할 수 있다.

또한, 종래의 의료영상을 위한 자동화된 개인정보 비식별화 방법도 정지영상을 주요 대상으로 하며, 영상 헤더에 포함된 정보와 같은 정형 데이터를 획득하는데 국한될 뿐이어서 이를 그대로 비정형 데이터인 다량 및 대용량의 비디오에 적용하기 어려운 문제가 있다.

본원의 배경이 되는 기술은 한국등록특허공보 제10-1946333호에 개시되어 있다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 수술 동영상에 포함될 수 있는 개인식별정보를 자동적으로 검출하고, 검출된 개인식별정보에 대한 인덱싱을 제공함으로써 개인정보 비식별화 작업에 필요한 빠르고 유효한 의사결정을 보조할 수 있는 수술 동영상의 비식별화를 위한 개인식별정보 검출 장치 및 방법을 제공하려는 것을 목적으로 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법은, 입력된 수술 동영상의 프레임 각각에 대하여 비식별화가 필요한 개인식별정보 후보에 해당하는 텍스트 및 인물을 포함하는 객체를 검출하는 단계 및 상기 객체가 검출되면, 상기 객체가 검출된 프레임의 프레임 번호 및 상기 프레임과 연계된 타임 코드를 포함하는 인덱스 정보를 생성하는 단계를 포함할 수 있다.

또한, 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법은, 상기 객체를 검출하는 단계 이전에, 각각이 소정의 프레임을 포함하는 복수의 장면으로 상기 수술 동영상을 분할하는 단계 및 분할된 상기 복수의 장면을 체내 촬영 장면 및 체외 촬영 장면으로 분류하는 단계를 포함할 수 있다.

또한, 상기 분할하는 단계는, 상기 수술 동영상의 프레임 각각에 대하여 RGB 채널별로 기 설정된 가중치에 기초하여 결정되는 색상 정보 및 Kirsch 에지 검출기에 기초하여 결정되는 지역 방향 패턴 정보에 기초하여 상기 수술 동영상을 분할할 수 있다.

또한, 상기 분할하는 단계는, 기 설정된 복수의 특징 각각에 대응하는 프레임별 히스토그램에 기초하여 상기 수술 동영상의 인접 프레임 간의 거리 차이를 계산하는 단계 및 계산된 상기 거리 차이와 기 설정된 임계값을 비교하여 상기 수술 동영상에 포함된 프레임들 중 장면 경계 프레임을 결정하는 단계를 포함할 수 있다.

또한, 상기 객체를 검출하는 단계는, 상기 체내 촬영 장면 및 상기 체외 촬영 장면에 포함되는 프레임에 대하여 텍스트를 검출하는 단계 및 상기 체외 촬영 장면에 포함되는 프레임에 대하여 인물을 검출하는 단계를 포함할 수 있다.

또한, 상기 텍스트를 검출하는 단계는, 광학 문자 판독 장치(Optical Character Reader, OCR)에 기초하여 기 설정된 소정 길이 이상의 문자열이 탐지되면 상기 텍스트가 검출된 것으로 판단할 수 있다.

또한, 상기 인물을 검출하는 단계는, 딥러닝 기반의 인공지능 모델에 기초하여 환자 또는 의료진을 포함하는 인물의 신체 일부가 탐지되면 상기 인물이 검출된 것으로 판단할 수 있다.

또한, 상기 체내 촬영 장면 및 체외 촬영 장면으로 분류하는 단계는, 분할된 상기 복수의 장면 각각의 색상(Hue), 채도(Saturation) 및 밝기(Intensity)에 기초하여 각각의 상기 장면을 상기 체내 촬영 장면 및 상기 체외 촬영 장면 중 어느 하나로 결정하는 단계를 포함할 수 있다.

또한, 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법은, 상기 인덱스 정보를 상기 수술 동영상과 연계된 메타데이터로 매칭하여 상기 수술 동영상을 상기 인덱스 정보와 함께 기 설정된 스토리지에 저장하는 단계를 포함할 수 있다.

또한, 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법은, 상기 인덱스 정보에 기초하여 상기 수술 동영상에 등장한 상기 개인식별정보 후보 중 적어도 일부에 대한 비식별화를 수행하는 단계를 포함할 수 있다.

한편, 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 장치는, 각각이 소정의 프레임을 포함하는 복수의 장면으로 상기 수술 동영상을 분할하는 장면 분할부, 분할된 상기 복수의 장면을 체내 촬영 장면 및 체외 촬영 장면으로 분류하는 장면 분류부, 입력된 수술 동영상의 프레임 각각에 대하여 비식별화가 필요한 개인식별정보 후보에 해당하는 텍스트 및 인물을 포함하는 객체를 검출하는 객체 검출부 및 상기 객체가 검출되면, 상기 객체가 검출된 프레임의 프레임 번호 및 상기 프레임과 연계된 타임 코드를 포함하는 인덱스 정보를 생성하는 인덱싱부를 포함할 수 있다.

또한, 상기 장면 분할부는, 기 설정된 복수의 특징 각각에 대응하는 프레임별 히스토그램에 기초하여 상기 수술 동영상의 인접 프레임 간의 거리 차이를 계산하고, 계산된 상기 거리 차이와 기 설정된 임계값을 비교하여 상기 수술 동영상에 포함된 프레임들 중 장면 경계 프레임을 결정할 수 있다.

또한, 상기 객체 검출부는, 상기 체내 촬영 장면 및 상기 체외 촬영 장면에 포함되는 프레임에 대하여 텍스트를 검출하는 텍스트 검출부 및 상기 체외 촬영 장면에 포함되는 프레임에 대하여 인물을 검출하는 인물 검출부를 포함할 수 있다.

또한, 상기 텍스트 검출부는, 광학 문자 판독 장치(Optical Character Reader, OCR)와 연계된 플러그인 형태로 구비되고, 상기 인물 검출부는, 딥러닝 기반의 인공지능 모델과 연계된 플러그인 형태로 구비될 수 있다.

또한, 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 장치는, 상기 인덱스 정보를 상기 수술 동영상과 연계된 메타데이터로 매칭하여 상기 수술 동영상을 상기 인덱스 정보와 함께 저장하는 저장부 및 상기 인덱스 정보에 기초하여 상기 수술 동영상에 등장한 상기 개인식별정보 후보 중 적어도 일부에 대한 비식별화를 수행하는 비식별화부를 포함할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 수술 동영상에 포함될 수 있는 개인식별정보를 자동적으로 검출하고, 검출된 개인식별정보에 대한 인덱싱을 제공함으로써 개인정보 비식별화 작업에 필요한 빠르고 유효한 의사결정을 보조할 수 있는 수술 동영상의 비식별화를 위한 개인식별정보 검출 장치 및 방법을 제공할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 대용량 및 다량의 수술 동영상에 대한 효과적인 비식별화 요소의 검수 자동화 체계를 구축할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 종래의 정지영상에 국한된 의료영상의 비식별화 체계를 개선하고 의료현장에서 필요로 하는 비디오를 활용한 데이터 연구를 지원할 수 있다.

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.

도 1은 본원의 일 실시예에 따른 수술 동영상 비식별화 시스템의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 체내 촬영 장면 및 체외 촬영 장면을 설명하기 위한 도면이다.
도 3은 본원의 일 실시예에 따른 비식별화가 필요한 개인식별정보 후보에 해당하는 인물이 검출된 프레임을 예시적으로 나타낸 도면이다.
도 4는 본원의 일 실시예에 따른 인덱스 정보를 설명하기 위한 도면이다.
도 5는 본원의 일 실시예에 따른 표준 플러그인 API 기반의 수술 동영상 처리 방식을 설명하기 위한 개념도이다.
도 6은 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 장치의 개략적인 구성도이다.
도 7은 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법에 대한 동작 흐름도이다.
도 8은 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법과 연계된 일 실험예로서 복수의 샘플 수술 동영상에 대한 인덱싱 처리 속도 측정 결과를 나타낸 도표이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

본원은 수술 동영상의 비식별화를 위한 개인식별정보 검출 장치 및 방법에 관한 것이다.

도 1은 본원의 일 실시예에 따른 수술 동영상 비식별화 시스템의 개략적인 구성도이다.

도 1을 참조하면, 본원의 일 실시예에 따른 수술 동영상 비식별화 시스템(10)은, 수술 동영상의 비식별화를 위한 개인식별정보 검출 장치(100)(이하, '개인식별정보 검출 장치(100)'라 한다.), 통합 관리 서버(200), 검수자 단말(300) 및 사용자 단말(400)을 포함할 수 있다.

개인식별정보 검출 장치(100), 통합 관리 서버(200), 검수자 단말(300) 및 사용자 단말(400) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

검수자 단말(300) 및 사용자 단말(400)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다.

본원의 실시예에 관한 설명에서, 검수자 단말(300)은 개인식별정보 검출 장치(100)에 의해 추출된 개인식별정보 후보에 관한 인덱스 정보와 함께 저장된 수술 동영상을 확인하고, 개인식별정보 후보 각각에 대한 적절성을 검토하거나 인덱스 정보를 고려하여 수술 동영상 내 개인식별정보 후보 중 적어도 일부에 대한 비식별화를 수행하는 주체가 보유한 단말일 수 있다.

본원의 실시예에 관한 설명에서, 사용자 단말(400)은 수술 동영상 내에 등장한 개인식별정보에 대한 비식별화 처리가 완료된 수술 동영상을 제공받아 비식별화 처리된 수술 동영상 내지 이러한 수술 동영상을 포함하는 컨텐츠을 시청(재생)하기 위한 단말일 수 있다.

개인식별정보 검출 장치(100)는 수술 동영상(1)을 수신할 수 있다. 여기서, 개인식별정보 검출 장치(100)가 수신하는 수술 동영상(1)은 비식별화 처리가 수행되기 전의 원시(원본) 비디오를 의미하는 것일 수 있다. 예를 들어, 수술 동영상(1)은 내시경을 이용한 진단 또는 복강경 수술 등의 과정에서 생성된 원시 비디오일 수 있다.

개인식별정보 검출 장치(100)는 복수의 프레임을 포함하는 수술 동영상(1)을 복수의 장면으로 분할할 수 있다. 즉, 개인식별정보 검출 장치(100)는 각각이 소정의 프레임을 포함하는 복수의 장면으로 수신된 수술 동영상(1)을 분할할 수 있다.

본원의 일 실시예에 따르면, 개인식별정보 검출 장치(100)는 수술 동영상(1)의 프레임 각각에 대하여 RGB 채널별로 기 설정된 가중치에 기초하여 결정되는 색상 정보 및 Kirsch 에지 검출기에 기초하여 결정되는 지역 방향 패턴 정보에 기초하여 수술 동영상(1)을 복수의 장면으로 분할할 수 있다.

구체적으로, 본원의 일 실시예에 따르면, 개인식별정보 검출 장치(100)는 빠르고 안정적인 장면 분할을 위해 가중치에 따라 RGB 각 채널로부터 선택된 6비트의 색상 정보와 Kirsch 에지 반응에 따라 최대 값, 두 번째 반응 값 및 세 번째 반응 값의 인덱스로 구성된 6비트의 지역 방향 패턴 정보를 결합하는 CeLDP 기법을 적용하는 것일 수 있다. 이해를 돕기 위해 덧붙이면, CeLDP를 이용한 장면 분할 기법에 의할 때 개인식별정보 검출 장치(100)는 수술 동영상(1)의 매 프레임으로부터 소정의 수(예를 들어, 4096개)의 특징을 표현하는 히스토그램을 도출하여 도출된 히스토그램에 기초하여 인접 프레임간 거리 차이를 구하고, 설정된 임계값에 따라 장면 경계를 결정할 수 있다. 여기서, 개인식별정보 검출 장치(100)는 결정된 장면 경계 사이의 복수의 프레임을 하나의 장면으로 통합하도록 동작할 수 있다.

달리 말해, 개인식별정보 검출 장치(100)는 기 설정된 복수의 특징 각각에 대응하는 프레임별 히스토그램에 기초하여 수술 동영상(1)의 인접 프레임 간의 거리 차이를 계산하고, 계산된 거리 차이와 기 설정된 임계값을 비교하여 수술 동영상에 포함된 프레임들 중 장면 경계 프레임을 결정할 수 있다. 여기서, 기 설정된 복수의 특징은 상술한 색상 정보 및 지역 방향 패턴 정보를 포함할 수 있다.

이와 관련하여, 본원의 개인식별정보 검출 장치(100)는 개인식별정보 후보를 빠르게 검출하고, 검출된 개인식별정보 후보에 대한 인덱스 정보를 생성하기 위하여 수술 동영상(1)의 전체 프레임이 아닌 유의미한 최소 단위 검사(검출)를 수행할 수 있도록, 수술 동영상(1)의 각각의 프레임의 특징을 기초로 최소 검사 단위에 대응될 수 있는 각각의 장면으로 수술 동영상(1)을 분할하는 것일 수 있다. 예를 들어, 수술 동영상(1)을 '장면'으로 분할하는 것은 수술 동영상(1) 내 모든 프레임을 샷(Shot)과 씬(Scene)의 논리적 계층구조로 분할하는 것으로 이해될 수 있으며, 이를 통해 개인식별정보 검출 장치(100)는 수술 동영상의 구조 정보를 획득할 수 있다.

또한, 개인식별정보 검출 장치(100)는 분할된 복수의 장면을 체내 촬영 장면 및 체외 촬영 장면으로 분류할 수 있다.

도 2는 본원의 일 실시예에 따른 체내 촬영 장면 및 체외 촬영 장면을 설명하기 위한 도면이다.

도 2를 참조하면, 도 2의 (a)는 채내 촬영 장면으로 분류된 장면 내 프레임을 예시적으로 나타낸 것이고, 도 2의 (b)는 체외 촬영 장면으로 분류된 장면 내 프레임을 예시적으로 나타낸 것이다. 본원의 일 실시예에 따르면, 개인식별정보 검출 장치(100)는 분할된 복수의 장면 각각의 색상(Hue), 채도(Saturation) 및 밝기(Intensity)에 기초하여 각각의 장면을 체내 촬영 장면 및 체외 촬영 장면 중 어느 하나로 결정할 수 있다. 달리 말해, 개인식별정보 검출 장치(100)는 HSI 컬러 모델과 연계된 지식 기반 검출 기법을 적용하여 체내 촬영 장면과 체외 촬영 장면을 구분하도록 동작할 수 있다.

또한, 개인식별정보 검출 장치(100)는 입력된 수술 동영상(1)의 프레임 각각에 대하여 비식별화가 필요한 개인식별정보 후보에 해당하는 텍스트 및 인물을 포함하는 객체를 검출할 수 있다. 여기서, 개인식별정보 후보란 수술 동영상(1) 내에 그래픽 형태로(달리 말해, 시각을 통해 확인할 수 있는 형태로) 포함된 텍스트 형태의 환자 인적 사항 정보, 의료 정보를 비롯하여 환자 또는 의료진의 얼굴 및 신체 일부 등 시각적으로 환자 또는 의료진의 신원을 직, 간접적으로 파악할 수 있는 요소를 의미하는 것일 수 있다. 즉, 개인식별정보 검출 장치(100)는 수술 동영상(1)의 프레임 각각을 탐색하여 비식별화가 필요할 것으로 예상되는 시각 요소인 개인식별정보 후보를 검출하도록 동작할 수 있다.

또한, 본원의 일 실시예에 따르면, 개인식별정보 검출 장치(100)는 선행된 장면 분할 결과 및 장면 분류 결과(체외 촬영 장면 또는 체외 촬영 장면)를 고려하여 프레임 각각에 대한 개인식별정보 후보 탐색 유형을 다르게 적용할 수 있다. 구체적으로, 개인식별정보 검출 장치(100)는 체내 촬영 장면 및 체외 촬영 장면에 포함되는 프레임에 대하여 텍스트를 검출할 수 있다. 또한, 개인식별정보 검출 장치(100)는 체외 촬영 장면에 포함되는 프레임에 대하여 인물을 검출할 수 있다.

이와 관련하여, 수술 과정을 기록한 수술 동영상(1) 내 프레임들은 수술 당시의 상황에 따라 수술 도구에 장착된 카메라가 체내와 체외를 오갈 수 있는데, 이때 의도하지 않게 환자 또는 의료진의 모습이 영상에 포함될 수 있다. 그러나, 일반적인 수술 동영상(1)의 경우 환자의 체내를 촬영한 프레임에서 인물의 신체 일부(예를 들면, 얼굴 등)이 등장할 가능성은 현저히 낮다고 할 수 있다. 즉 복강경 수술과 같이 비디오의 전체 프레임 중 대부분이 체내를 촬영한 경우 모든 프레임에서 인물을 검출하는 것은 비효율적일 수 있으므로, 본원의 개인식별정보 검출 장치(100)는 개인식별정보 후보 검출의 목적, 실시된 수술의 유형 등에 따라 객체 검출의 대상이 되는 현재 프레임이 체내 또는 체외인 경우에 한정적으로 동작하도록 하여 처리 효율성을 높일 수 있다. 다만, 이에만 한정되는 것은 아니며, 본원의 구현예에 따라 개인식별정보 후보 검출의 목적, 실시된 수술의 유형 등에 따라 체내 촬영 장면에 해당하는 장면 내 프레임에 대하여도 인물 검출 프로세스가 수행되도록 개인식별정보 검출 장치(100)가 동작할 수 있다.

구체적으로, 프레임 내의 텍스트 검출 프로세스와 관련하여, 개인식별정보 검출 장치(100)는 광학 문자 판독 장치(Optical Character Reader, OCR)에 기초하여 기 설정된 소정 길이 이상의 문자열이 소정의 프레임 내에서 탐지되면 텍스트가 검출된 것으로 판단할 수 있다.

이와 관련하여, 수술 동영상(1) 내에 표시될 수 있는 환자 진료 정보 등의 텍스트 타입 객체는 해당 수술에 활용된 장비의 특성과 수술 운용 환경 등에 따라 다양하게 나타날 수 있다. 따라서, 본원의 일 실시예에 따른 개인식별정보 검출 장치(100)는 OCR 등의 방법으로 인식된 모든 텍스트에 대하여 정규 표현식을 적용하는 경우 효율성이 떨어지거나 연산 속도가 느려질 수 있으므로, 오픈 소스 OCR 프로젝트 중 하나인 Tesseract 엔진을 활용하여 프레임 내에서 텍스트를 검출하되, 소정의 길이 이상의 문자가 탐지된 경우에 한하여 유의미한 텍스트가 포함된 것으로 판단할 수 있다. 여기서, 전술한 Tesseract 엔진을 활용하는 경우, 디코딩된 프레임의 버퍼가 아닌 이미지 파일이 입력으로 인가될 것이 요구되므로, 개인식별정보 검출 장치(100)는 개인식별정보 검출 장치(100)로 전달된 프레임 버퍼에 대하여 이미지 파일(예를 들면, TIFF 형식)로 저장한 후 이를 Tesseract 엔진으로 전달하도록 동작할 수 있다.

도 3은 본원의 일 실시예에 따른 비식별화가 필요한 개인식별정보 후보에 해당하는 인물이 검출된 프레임을 예시적으로 나타낸 도면이다.

도 3을 참조하면, 프레임 내의 인물 검출 프로세스와 관련하여, 개인식별정보 검출 장치(100)는 딥러닝 기반의 인공지능 모델에 기초하여 환자 또는 의료진을 포함하는 인물의 신체 일부가 탐지되면 인물이 검출된 것으로 판단할 수 있다.

본원의 일 실시예에 따르면, 수술 동영상(1) 내에서 인물(예를 들면, 환자 또는 의료진 등)을 검출하기 위하여 개인식별정보 검출 장치(100)는 소정의 인물의 얼굴을 검출하거나 얼굴을 제외한 신체 일부를 검출할 수 있다. 그런데 수술 동영상(1)이 촬영되는 특수한 환경을 고려하면 의료진의 경우 마스크 등을 착용하는 것이 대부분이며, 환자의 경우에도 호흡기 등을 장착하고 있는 경우가 대부분이어서 종래의 특징점(랜드마크)을 이용하는 얼굴 검출 알고리즘은 적용하기 어려울 수 있다. 이에 따라 본원의 개인식별정보 검출 장치(100)는 수술 동영상 내에 인물이 등장하는 경우, 해당 인물은 최소한 두부와 상반신의 일부가 나타남을 가정하고 딥러닝 기반의 YOLO(You Look Only Once) 모델을 활용하여 인물을 검출할 수 있다. 상술한 YOLO 모델의 경우 인물 검출 성능은 타 모델과 동등하면서도 높은 처리 속도를 가지므로 대량의 프레임을 포함하는 수술 동영상(1)을 처리하기에 적합한 이점이 있다. 다만, 개인식별정보 검출 장치(100)가 인물 검출을 위하여 활용하는 모델(알고리즘)은 상술한 YOLO 모델에 한정되는 것은 아니며, R-CNN(Recursive Convolutional Neural Netwwork), Fast R-CNN, SSD(Single Shot multibox Detector) 등 종래에 이미 공지되었거나 향후 개발되는 다양한 인공 지능 기반 객체 인식 알고리즘 모델이 적용될 수 있다.

도 4는 본원의 일 실시예에 따른 인덱스 정보를 설명하기 위한 도면이다.

도 4를 참조하면, 개인식별정보 검출 장치(100)는 객체가 검출되면, 객체가 검출된 프레임의 프레임 번호 및 해당 프레임과 연계된 타임 코드를 포함하는 인덱스 정보를 생성할 수 있다. 여기서, 인덱스 정보는 개인식별정보 후보에 해당하는 텍스트 또는 인물이 검출되는 경우, 해당 개인식별정보 후보가 검출된 수술 동영상(1) 내의 시점 정보, 검출된 개인식별정보 후보의 유형 정보 등을 포괄하는 정보를 의미하는 것일 수 있다. 또한, 인덱스 정보는 검출된 개인식별정보 후보 각각의 고유 식별자 정보(예를 들면, ID, 고유 번호 등)를 포함할 수 있다.

또한, 도 4는 생성된 인덱스 정보를 확인하기 위한 사용자 인터페이스를 나타낸 것일 수 있다. 본원의 일 실시예에 따르면, 인덱스 정보를 확인하기 위한 사용자 인터페이스는 개인식별정보 검출 장치(100)와 연계된 검수자 단말(300) 등에서 표시되는 것일 수 있다. 도 4를 참조하면, 인덱스 정보 표시 인터페이스는 검출된 개인식별정보 후보의 유형 정보 탭(A)을 포함할 수 있다. 또한, 인덱스 정보 표시 인터페이스는 검출된 개인식별정보 후보 각각에 대하여 구획된 인덱스 정보 탭(B)을 포함할 수 있다. 구체적으로, 인덱스 정보 탭(B)은 해당 개인식별정보 후보가 등장한 대표 프레임의 축소 화면, 프레임 번호(Frame), 타임 코드(Time), 유형 정보(Error Type) 등을 포함할 수 있다. 여기서, 개인식별정보 후보의 유형 정보는 인물 검출(Person Detection) 유형 및 텍스트 검출(Text Detection) 유형을 포함할 수 있다.

전술한 인덱스 정보 표시 인터페이스는 비식별화 처리 담당자 등의 검수자 단말(300)의 사용자로 하여금 개인식별정보 후보에 대한 재작업(재검출) 또는 추가 작업(검출) 등의 여부와 비식별화를 작업의 진행 등의 적절한 의사 결정을 보조하기 위한 시각화 도구로 기능할 수 있다.

또한, 개인식별정보 검출 장치(100)는 생성된 인덱스 정보를 수술 동영상(1)과 연계된 메타데이터로 매칭하여 해당 수술 동영상(1)을 생성된 인덱스 정보와 함께 기 설정된 스토리지에 저장할 수 있다. 본원의 일 실시예에 따르면, 인덱스 정보가 메타데이터로 매칭(삽입)된 수술 동영상(1)은 통합 관리 서버(200)에 구비되는 기 설정된 스토리지에 저장되는 것일 수 있다. 달리 말해, 개인식별정보 검출 장치(100)는 생성된 인덱스 정보를 메타데이터로 하여 수술 동영상(1)과 함께 스토리지에 아카이빙(Archiving)할 수 있다.

통합 관리 서버(200)는 인덱스 정보가 매칭(삽입)된 수술 동영상(1)을 개인식별정보 검출 장치(100)로부터 획득하여 검수자 단말(300)에 전송할 수 있다. 또한, 통합 관리 서버(200)는 검수자 단말(300)에 의해 비식별화 처리가 완료된 수술 동영상(1)을 검수자 단말(300) 또는 개인식별정보 검출 장치(100)로부터 획득하여 사용자 단말(400)로 제공할 수 있다. 또한, 본원의 일 실시예에 따르면, 통합 관리 서버(200)는 입력된 수술 동영상에 대한 트랜스코딩 및 웹 UI를 통한 미리보기 서비스를 제공하는 스트리밍 서버(미도시), 서비스 관리 및 컨텐츠 조회를 위한 웹 서비스를 제공하는 WAS(미도시) 등을 하위 요소로 포함할 수 있다.

또한, 개인식별정보 검출 장치(100)는 특정 수술 동영상(1)에 대하여 매칭(삽입)된 인덱스 정보에 기초하여 해당 수술 동영상(1)에 등장한 개인식별정보 후보 중 적어도 일부에 대한 비식별화를 수행할 수 있다. 본원의 일 실시예에 따르면, 개인식별정보 검출 장치(100)는 검수자 단말(300)에 인가되는 비식별화와 관련된 사용자 입력을 수신하여, 수신된 사용자 입력에 기초하여 비식별화를 수행하도록 동작할 수 있다. 여기서, 비식별화는 제3자에게 공개되지 않도록 비식별화 처리될 필요가 있는 환자 얼굴, 의료진 얼굴 등의 개인식별정보 후보에 대하여 스크램블링, 암호화, Defacing 등의 비식별 처리를 수행하거나 환자 진료 정보 등의 텍스트 타입의 개인식별정보 후보에 대하여 익명화, 마스킹 등의 비식별 처리를 수행하는 등 프라이버시 보호를 위한 소정의 조치를 통합적으로 지칭하는 것으로 이해될 수 있다.

또한, 본원의 일 실시예에 따르면, 개인식별정보 검출 장치(100)는 수술 동영상(1)의 활용 목적과 접근 권한, 처리 기준에 따라 비식별화 유형을 필요에 따라 변경하여 적용하도록 동작할 수 있다.

도 5는 본원의 일 실시예에 따른 표준 플러그인 API 기반의 수술 동영상 처리 방식을 설명하기 위한 개념도이다.

도 5를 참조하면, 개인식별정보 검출 장치(100)는 개인식별정보 후보를 검출할 수 있는 알고리즘의 외부 시스템과의 연동성 및 확장 용이성을 확보하기 위하여, 개인식별정보 후보를 검출 알고리즘 각각을 표준 플러그인 API 방식에 기반하여 탑재할 수 있다. 달리 말해, 본원의 개인식별정보 후보 검출을 통한 객체화를 수행하는 각각의 검출 알고리즘은 자체 정의된 표준 플러그인 API 규격에 따라 시스템에 대한 추가와 제거가 용이한 플러그인으로 구현될 수 있다.

구체적으로, 도 5를 참조하면, 개인식별정보 검출과 연계된 작업 정보가 생성되고 작업 스케줄러(Job Scheduler)에 의해 플러그인 실행 관리가 이루어질 수 있다. 여기서, 작업 스케줄러(Job Scheduler)는 소정의 수술 동영상(1)을 개인식별정보 검출 장치(100)에 할당하고 입력되는 수술 동영상(1)의 비트 스트림을 디코딩하여 프레임 단위로 개인식별정보 검출 장치(100) 내 각각의 플러그인에 표준 API를 통해 전달할 수 있다. 디코딩된 프레임을 수신한 각각의 플러그인은 표준 API로 정의된 콜백 함수(Result callback)를 이용하여 처리 결과를 반환하고, 모든 플러그인이 현재 프레임에 대한 처리를 완료한 경우 플러그인 실행 관리자(Plug-In Execution Manager)는 입력 스트림 처리기(Input Stream Handler)에 대하여 다음 프레임을 요청하는 과정을 반복하여 비디오의 마지막 프레임까지의 처리를 완료할 수 있다. 여기서, 표준 플러그인 API 방식에 기반하여 탑재되는 검출 알고리즘 각각은 검출 대상에 따라 텍스트 검출 알고리즘 및 인물 검출 알고리즘으로 구분될 수 있다. 달리 말해, 개인식별정보 검출 장치(100)는 텍스트 검출 플러그인 및 인물 검출 플러그인을 보유할 수 있다.

도 6은 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 장치의 개략적인 구성도이다.

도 6을 참조하면, 개인식별정보 검출 장치(100)는, 장면 분할부(110), 장면 분류부(120), 객체 검출부(130), 인덱싱부(140), 저장부(150) 및 비식별화부(160)를 포함할 수 있다. 또한, 도 6을 참조하면, 객체 검출부(130)는 텍스트 검출부(131) 및 인물 검출부(132)를 포함할 수 있다.

장면 분할부(110)는, 각각이 소정의 프레임을 포함하는 복수의 장면으로 입력된 수술 동영상(1)을 분할할 수 있다.

장면 분류부(120)는, 분할된 복수의 장면을 체내 촬영 장면 및 체외 촬영 장면으로 분류할 수 있다.

객체 검출부(130)는, 입력된 수술 동영상(1)의 프레임 각각에 대하여 비식별화가 필요한 개인식별정보 후보에 해당하는 텍스트 및 인물을 포함하는 객체를 검출할 수 있다.

구체적으로, 텍스트 검출부(131)는, 체내 촬영 장면 및 체외 촬영 장면에 포함되는 프레임에 대하여 텍스트를 검출할 수 있다. 또한, 본원의 일 실시예에 따르면, 텍스트 검출부(131)는, 광학 문자 판독 장치(Optical Character Reader, OCR)와 연계된 플러그인 형태로 구비될 수 있다. 또한, 텍스트 검출부(131)는 광학 문자 판독 장치(Optical Character Reader, OCR)에 기초하여 기 설정된 소정 길이 이상의 문자열이 탐지되면 텍스트가 검출된 것으로 판단할 수 있다.

또한, 인물 검출부(132)는, 체외 촬영 장면에 포함되는 프레임에 대하여 인물을 검출할 수 있다. 또한, 본원의 일 실시예에 따르면, 인물 검출부(132)는, 딥러닝 기반의 인공지능 모델과 연계된 플러그인 형태로 구비될 수 있다. 또한, 인물 검출부(132)는, 딥러닝 기반의 인공지능 모델에 기초하여 환자 또는 의료진을 포함하는 인물의 신체 일부가 탐지되면 인물이 검출된 것으로 판단할 수 있다.

인덱싱부(140)는, 객체 검출부(130)에 의해 개인식별정보 후보에 해당하는 객체가 검출되면, 해당 객체가 검출된 프레임의 프레임 번호 및 해당 프레임과 연계된 타임 코드를 포함하는 인덱스 정보를 생성할 수 있다.

저장부(150)는, 인덱스 정보를 수술 동영상(1)과 연계된 메타데이터로 매칭하여 해당 수술 동영상(1)을 인덱스 정보와 함께 저장할 수 있다. 또한, 본원의 일 실시예에 따르면, 개인식별정보 검출 장치(100)는 저장부(150)와 연계하여 통합 관리 서버(200)로 저장된 수술 동영상(1) 및 해당 수술 동영상(1)에 대하여 매칭된 인덱스 정보를 전송하는 전송부(미도시)를 포함할 수 있다.

비식별화부(160)는, 인덱스 정보에 기초하여 해당 인덱스 정보와 매칭된 수술 동영상(1)에 등장한 개인식별정보 후보 중 적어도 일부에 대한 비식별화를 수행할 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.

도 7은 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법에 대한 동작 흐름도이다.

도 7에 도시된 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법은 앞서 설명된 개인식별정보 검출 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 개인식별정보 검출 장치(100)에 대하여 설명된 내용은 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법에 대한 설명에도 동일하게 적용될 수 있다.

도 7을 참조하면, 단계 S710에서 장면 분할부(110)는 각각이 소정의 프레임을 포함하는 복수의 장면으로 입력된 수술 동영상(1)을 분할할 수 있다.

다음으로, 단계 S720에서 장면 분류부(120)는 분할된 복수의 장면을 체내 촬영 장면 및 체외 촬영 장면으로 분류할 수 있다.

다음으로, 단계 S730에서 객체 검출부(130)는 입력된 수술 동영상(1)의 프레임 각각에 대하여 비식별화가 필요한 개인식별정보 후보에 해당하는 텍스트 및 인물을 포함하는 객체를 검출할 수 있다.

구체적으로, 단계 S730에서 텍스트 검출부(131)는, 체내 촬영 장면 및 체외 촬영 장면에 포함되는 프레임에 대하여 텍스트를 검출할 수 있다. 또한, 단계 S730에서 인물 검출부(132)는, 체외 촬영 장면에 포함되는 프레임에 대하여 인물을 검출할 수 있다.

다음으로, 단계 S740에서 인덱싱부(140)는 개인식별정보 후보에 해당하는 객체가 검출되면, 해당 객체가 검출된 프레임의 프레임 번호 및 해당 프레임과 연계된 타임 코드를 포함하는 인덱스 정보를 생성할 수 있다.

다음으로, 단계 S750에서 저장부(150)는 인덱스 정보를 수술 동영상(1)과 연계된 메타데이터로 매칭하여 해당 수술 동영상(1)을 인덱스 정보와 함께 저장할 수 있다.

다음으로, 단계 S760에서 비식별화부(160)는 인덱스 정보에 기초하여 해당 인덱스 정보와 매칭된 수술 동영상(1)에 등장한 개인식별정보 후보 중 적어도 일부에 대한 비식별화를 수행할 수 있다.

상술한 설명에서, 단계 S710 내지 S760은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

도 8은 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법과 연계된 일 실험예로서 복수의 샘플 수술 동영상에 대한 인덱싱 처리 속도 측정 결과를 나타낸 도표이다.

도 8을 참조하면, 작업 속도 측면을 고려하여 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법에 의하여 육안 검사에 의한 방법을 대체 가능한 수준인지를 판단할 수 있다. 특히, 정지 영상과 다르게 수술 동영상은 전술한 바와 같이 적게는 수십 분 분량, 많게는 수 시간 분량의 연속된 프레임으로 이루어지고, 이러한 원시 상태의 수술 동영상을 사용자 요구에 따라 적시에 비식별화하여 제공 가능해야 하는데, 이와 관련하여 본원의 발명자는 공개된 의료용 비디오 데이터셋인 m2cai16-tool 데이터 셋에 대하여 인물과 텍스트를 임의로 조합한 비디오 10건을 순차 입력하여 평균 소요시간을 산출하였다. 여기서, 소요 시간은 각 입력의 첫 프레임으로부터 마지막 프레임의 처리가 완료될 때까지의 소요된 시간을 초 단위로 측정하였으며, 처리 속도는 비디오 샘플의 길이(달리 말해, 재생 시간)을 소요 시간으로 나누어 처리 속도(배속)으로 산출된 것이다. 이렇게 산출된 처리 속도(배속)가 1보다 큰 값을 가질수록 비디오 샘플 각각의 재생 시간 대비 빠른 속도로 처리를 완료하였다고 판단할 수 있다.

구체적으로, 도 8을 참조하면, 본원의 일 실시예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법에 의할 때 평균적으로 485.4초 분량의 입력 비디오에 대하여 평균 217.2초가 소요되어 평균 2.18배속으로 처리를 완료할 수 있음을 확인할 수 있다. 전술한 육안 검사의 경우 전체 프레임을 검수자가 직접 일일이 확인해야 하므로 비디오의 재생 시간 이상의 작업시간을 요함을 가정할 수 있으며, 이러한 육안 검사 방식의 경우 1배속 이하의 작업 속도를 보인다. 따라서 본원에 의할 때 수술 동영상에 포함된 비식별화의 대상이 될 수 있을 것으로 평가되는 개인식별정보 후보에 자동화된 검출 및 검출 결과에 대한 인덱싱을 매우 효과적으로 빠르게 수행할 수 있음을 확인할 수 있다.

본원의 일 실시 예에 따른 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 전술한 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

10: 수술 동영상 비식별화 시스템
100: 수술 동영상의 비식별화를 위한 개인식별정보 검출 장치
110: 장면 분할부
120: 장면 분류부
130: 객체 검출부
131: 텍스트 검출부
132: 인물 검출부
140: 인덱싱부
150: 저장부
160: 비식별화부
20: 네트워크
200: 통합 관리 서버
300: 검수자 단말
400: 사용자 단말

Claims (15)

1. 수술 동영상의 비식별화를 위한 개인식별정보 검출 방법에 있어서,
   입력된 수술 동영상의 프레임 각각에 대하여 비식별화가 필요한 개인식별정보 후보에 해당하는 텍스트 및 인물을 포함하는 객체를 검출하는 단계; 및
   상기 객체가 검출되면, 상기 객체가 검출된 프레임의 프레임 번호 및 상기 프레임과 연계된 타임 코드를 포함하는 인덱스 정보를 생성하는 단계,
   를 포함하는, 개인식별정보 검출 방법.
2. 제1항에 있어서,
   상기 객체를 검출하는 단계 이전에,
   각각이 소정의 프레임을 포함하는 복수의 장면으로 상기 수술 동영상을 분할하는 단계; 및
   분할된 상기 복수의 장면을 체내 촬영 장면 및 체외 촬영 장면으로 분류하는 단계,
   를 더 포함하는 것인, 개인식별정보 검출 방법.
3. 제2항에 있어서,
   상기 분할하는 단계는,
   상기 수술 동영상의 프레임 각각에 대하여 RGB 채널별로 기 설정된 가중치에 기초하여 결정되는 색상 정보 및 Kirsch 에지 검출기에 기초하여 결정되는 지역 방향 패턴 정보에 기초하여 상기 수술 동영상을 분할하는 것인, 개인식별정보 검출 방법.
4. 제3항에 있어서,
   상기 분할하는 단계는,
   기 설정된 복수의 특징 각각에 대응하는 프레임별 히스토그램에 기초하여 상기 수술 동영상의 인접 프레임 간의 거리 차이를 계산하는 단계; 및
   계산된 상기 거리 차이와 기 설정된 임계값을 비교하여 상기 수술 동영상에 포함된 프레임들 중 장면 경계 프레임을 결정하는 단계,
   를 포함하는 것인, 개인식별정보 검출 방법.
5. 제2항에 있어서,
   상기 객체를 검출하는 단계는,
   상기 체내 촬영 장면 및 상기 체외 촬영 장면에 포함되는 프레임에 대하여 텍스트를 검출하는 단계; 및
   상기 체외 촬영 장면에 포함되는 프레임에 대하여 인물을 검출하는 단계,
   를 포함하는 것인, 개인식별정보 검출 방법.
6. 제5항에 있어서,
   상기 텍스트를 검출하는 단계는,
   광학 문자 판독 장치(Optical Character Reader, OCR)에 기초하여 기 설정된 소정 길이 이상의 문자열이 탐지되면 상기 텍스트가 검출된 것으로 판단하는 것인, 개인식별정보 검출 방법.
7. 제5항에 있어서,
   상기 인물을 검출하는 단계는,
   딥러닝 기반의 인공지능 모델에 기초하여 환자 또는 의료진을 포함하는 인물의 신체 일부가 탐지되면 상기 인물이 검출된 것으로 판단하는 것인, 개인식별정보 검출 방법.
8. 제2항에 있어서,
   상기 체내 촬영 장면 및 체외 촬영 장면으로 분류하는 단계는,
   분할된 상기 복수의 장면 각각의 색상(Hue), 채도(Saturation) 및 밝기(Intensity)에 기초하여 각각의 상기 장면을 상기 체내 촬영 장면 및 상기 체외 촬영 장면 중 어느 하나로 결정하는 단계를 포함하는 것인, 개인식별정보 검출 방법.
9. 제2항에 있어서,
   상기 인덱스 정보를 상기 수술 동영상과 연계된 메타데이터로 매칭하여 상기 수술 동영상을 상기 인덱스 정보와 함께 기 설정된 스토리지에 저장하는 단계,
   를 더 포함하는 것인, 개인식별정보 검출 방법.
10. 제9항에 있어서,
    상기 인덱스 정보에 기초하여 상기 수술 동영상에 등장한 상기 개인식별정보 후보 중 적어도 일부에 대한 비식별화를 수행하는 단계를 더 포함하는 것인, 개인식별정보 검출 방법.
11. 수술 동영상의 비식별화를 위한 개인식별정보 검출 장치에 있어서,
    각각이 소정의 프레임을 포함하는 복수의 장면으로 상기 수술 동영상을 분할하는 장면 분할부;
    분할된 상기 복수의 장면을 체내 촬영 장면 및 체외 촬영 장면으로 분류하는 장면 분류부;
    입력된 수술 동영상의 프레임 각각에 대하여 비식별화가 필요한 개인식별정보 후보에 해당하는 텍스트 및 인물을 포함하는 객체를 검출하는 객체 검출부; 및
    상기 객체가 검출되면, 상기 객체가 검출된 프레임의 프레임 번호 및 상기 프레임과 연계된 타임 코드를 포함하는 인덱스 정보를 생성하는 인덱싱부,
    를 포함하는, 개인식별정보 검출 장치.
12. 제11항에 있어서,
    상기 장면 분할부는,
    기 설정된 복수의 특징 각각에 대응하는 프레임별 히스토그램에 기초하여 상기 수술 동영상의 인접 프레임 간의 거리 차이를 계산하고, 계산된 상기 거리 차이와 기 설정된 임계값을 비교하여 상기 수술 동영상에 포함된 프레임들 중 장면 경계 프레임을 결정하는 것인, 개인식별정보 검출 장치.
13. 제11항에 있어서,
    상기 객체 검출부는,
    상기 체내 촬영 장면 및 상기 체외 촬영 장면에 포함되는 프레임에 대하여 텍스트를 검출하는 텍스트 검출부; 및
    상기 체외 촬영 장면에 포함되는 프레임에 대하여 인물을 검출하는 인물 검출부,
    를 포함하는 것인, 개인식별정보 검출 장치.
14. 제13항에 있어서,
    상기 텍스트 검출부는, 광학 문자 판독 장치(Optical Character Reader, OCR)와 연계된 플러그인 형태로 구비되고,
    상기 인물 검출부는, 딥러닝 기반의 인공지능 모델과 연계된 플러그인 형태로 구비되는 것을 특징으로 하는, 개인식별정보 검출 장치.
15. 제13항에 있어서,
    상기 인덱스 정보를 상기 수술 동영상과 연계된 메타데이터로 매칭하여 상기 수술 동영상을 상기 인덱스 정보와 함께 저장하는 저장부; 및
    상기 인덱스 정보에 기초하여 상기 수술 동영상에 등장한 상기 개인식별정보 후보 중 적어도 일부에 대한 비식별화를 수행하는 비식별화부,
    를 더 포함하는 것인, 개인식별정보 검출 장치.

Images