KR101926460B1 - 음성기반 영상판독 시스템 및 방법 - Google Patents

Abstract

초음파 영상 처리 장치로서, 초음파 영상 취득부; 음성 데이터 취득부; 및
상기 초음파 영상 취득부에서 취득한 영상데이터에 상기 음성 데이터 취득부에서 취득한 음성 데이터를 결합하는 데이터 결합부를 포함하는 초음파 영상 처리 장치가 제공된다.

Description

음성기반 영상판독 시스템 및 방법{System and method for reading images based on voice}

본 발명은 음성기반 영상판독 시스템 및 방법에 관한 것으로, 보다 상세하게는 정형화된 촬영 부위별 판독결과의 키워드를 설정한 후, 의료진의 음성데이터와 비교, 매칭되는 키워드를 음성인식 방식으로 판별하여, 표준화된 판독지를 완성하므로, 별도의 판독결과 입력을 위한 불필요한 시간을 없앨 수 있으며, 실시간으로 판독결과의 기입이 가능한 음성기반 영상판독 시스템 및 방법에 관한 것이다.

일반적으로 의료진은 초음파 영상을 이용하여 환자의 상태를 진단하기 위하여 일정 절차에 따라 초음파 영상 취득 후, 기억을 하고 있다가, 다시 영상을 보며 판독하여 진단한다. 이후 판독을 통한 환자의 진단 내용은 초음파 영상을 리뷰하면서 기록을 하게 되며, 그 과정이 실시간 검사와 판독사이의 중복이며 따라서 의료 서비스에 비효율을 초래하는 문제가 있다.

관련하여 대한민국 특허출원 10-2015-0082067호, 특허10-1237298호 등은 초음파 영상에 관한 다양한 기술을 개시하고 있으나, 초음파 영상 자체의 화질을 높이거나 영상 취득에 관한 것으로, 진단 내용과 영상의 결합 방식 등에 대해서는 개시하고 있지 못한 상황이다.

따라서, 본 발명이 해결하고자 하는 과제는 표준화된 판독결과를 가지는 영상정보에 음성인식기술을 적용하여 영상의 판독결과를 음성데이터에 따라 자동으로 인식하여 판독결과를 영상정보에 저장시키는 시스템과 방법을 제공하는 것이다.

상기 과제를 해결하기 위하여, 본 발명은 기설정된 부위별 영상이미지에 대한 판독 키워드가 저장된 키워드저장부; 촬상된 부위별 실제이미지에 대한 의료진의 음성 데이터를 저장하는 이미지-음성저장부; 상기 이미지-음성 매칭부에 의하여 저장된 음성 데이터를 상기 키워드저장부에 저장된 판독 키워드와 비교하는 음성데이터 비교부; 및 상기 음성 데이터 비교부에 의하여 비교된 음성 데이터가 상기 판독 키워드와 매칭하는 경우, 상기 실제이미지에 대한 판독 결과가 상기 실제이미지에 매칭되어 저장되는 판독결과저장부;를 포함하는 것을 특징으로 하는 음성기반 영상판독 시스템을 제공한다.

본 발명의 일 실시예에서, 상기 음성기반 영상판독 시스템은, 상기 실제이미지의 촬상부위를, 상기 기설정된 부위별 영상과 매칭하는 영상판별부를 더 포함한다.

본 발명의 일 실시예에서, 상기 키워드저장부는 사용자에 의하여 키워드가 변경될 수 있다.

본 발명의 일 실시예에서, 상기 음성기반 영상판독 시스템은, 상기 음성 데이터 비교부에 의하여 비교된 음성 데이터가 상기 판독 키워드와 매칭하지 않는 경우, 상기 저장된 키워드를 상기 사용자의 사용자 단말에 제공한다.

본 발명의 일 실시예에서, 상기 음성기반 영상판독 시스템은, 상기 영상이미지를 취득하는 영상기기에 포함된다.

본 발명의 일 실시예에서, 상기 영상은 초음파 영상이며, 상기 이미지-음성저장부는 상기 실제이미지에 대하여 적어도 2회 이상 의료진의 음성데이터를 저장할 수 있다.

본 발명은 음성 기판 영상판독 방법으로, 촬상된 영상에 대한 의료진의 음성데이터가 저장되는 단계; 촬상된 부위에 대하여 기설정된 판독키워드가 상기 저장된 음성데이터가 비교되는 단계; 및 상기 음성데이터가 상기 기설정된 판독키워드와 매칭되는 경우, 상기 매칭된 판독 키워드가 상기 촬상된 영상에 대한 판독결과로 저장되는 단계를 포함하는 것을 특징으로 하는, 음성기반 영상판독 방법을 제공한다.

본 발명의 일 실시예에서, 상기 판독키워드가 판독결과로 저장되는 단계는 복수 회 진행되며, 상기 저장된 판독결과는 문자 형태로 변환되어 상기 촬상된 영상에 표시된다.

본 발명의 일 실시예에서, 상기 음성데이터는 상기 촬상된 이미지가 사용자 단말에 표시된 후 선택적으로 재생될 수 있다.

본 발명의 일 실시예에서, 상기 음성기반 영상판독 방법은, 상기 촬상된 영상에 대한 의료진의 음성데이터가 저장되는 단계 이전, 상기 촬상된 이미지에 대한 해부학적 부위에 대한 정보가 음성을 안내되는 단계를 더 포함하며, 상기 복수 회 진행된 판독결과는 상기 촬상된 영상에 구분되어 저장된다.

본 발명은 상술한 음성기반 영상판독 방법을 구현하기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체를 제공한다.

본 발명에 따르면, 정형화된 촬영 부위별 판독결과의 키워드를 설정한 후, 의료진의 음성데이터와 비교, 매칭되는 키워드를 음성인식 방식으로 판별한다. 따라서, 별도의 판독결과 입력을 위한 불필요한 시간을 없앨 수 있으며, 실시간으로 판독결과의 기입이 가능하다. 특히, 다른 영상검사와는 달리 의사가 직접 환자를 보면서 실시간으로 영상을 만들며 영상진단을 내리는 매우 즉각적이고 검사자의 전문성에 따라 진단의 결과가 크게 영향을 받는 주관성이 강한 초음파 영상의 경우, 실시간으로 해당 영상에 대한 의료진의 판독결과가 음성형태로 저장된 후, 판독 결과가 키워드 중심으로 선택된 후 내려지므로 즉각적인 판독결과의 기록이 가능하다. 따라서, 실시간 판독지 작성 후 재차 판독지를 작성하는 불필요한 과정을 개선하고 중요 정보의 누락을 방지할 수 있고, 또한 검사자로 하여금 필요한 모든 해부학적 부위 및 검사과정을 빠뜨리지 않고 체계적으로 수행하도록 하는 길잡이의 역할을 수행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 음성기반 영상판독 시스템의 블록도이다.
도 2는 특정 부위에 대한 초음파 영상 이미지에 대한 판독 결과의 키워드를 나타낸다.
도 3 및 4는 본 발명의 일 실시예에 따라 표준화된 8개의 어깨 초음파 이미지와 이에 대한 표준화된 부위별 판독 결과를 나타낸다.
도 5는 본 발명의 일 실시예에 따라 음성 인식에 따라 판독 결과가 저장된 영상을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 음성 기반 영상판독 방법의 단계도이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 통상의 기술자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시 예들뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 따른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시 예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 음성기반 영상판독 시스템의 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 음성기반 영상판독 시스템은 기설정된 부위별 영상이미지에 대한 판독 키워드가 저장된 키워드저장부(100)를 포함한다.

본 발명의 일 실시예에 따른 상기 키워드저장부는 표준화된 영상 진단 프로토콜에 따라 도출되는 키워드로서, 예를 들어 어깨 초음파의 경우, 표준화된 영상진단 프로토콜은 8개 부위에 대한 것으로 이는 도 2에 도시된 바와 같다.

해당되는 부위에 대한 판독결과 또한 표준화된 프로토콜을 따르는데, 예를 들어 상완이두근에 관한 "Long Head of Biceps Brachii Tendon"의 경우, 도 3에 도시된 핵심 판독 키워드가 있는데, 본 발명에 따른 상기 키워드 저장부는 이러한 normal, tendinosis 등의 키워드를 해당 상완이두근에 대한 영상 판독 기준으로 저장하게 된다.

본 발명의 일 실시예에서 상기 키워드저장부(100)는 사용자에 의하여 키워드가 변경될 수 있는데, 이를 통하여 표준 판독 방식의 변화에 적극적으로 대응할 수 있는 장점이 있다.

다시 도 1로 돌아가면, 본 발명의 일 실시예에 따른 상기 시스템은, 촬상된 부위별 실제이미지에 대한 의료진의 음성 데이터를 저장하는 이미지-음성저장부(200)를 포함한다. 본 발명의 일 실시예에서 상기 이미지-음성 데이터저장부(200)는 영상 촬상 장치에 구비된 음성 취득 수단 또는 별도의 휴대전화와 같은 사용자 단말에 의하여 취득된 음성을 저장하게 된다.

본 발명에 따른 시스템은 상기 이미지-음성 매칭부에 의하여 저장된 음성 데이터를 상기 키워드저장부에 저장된 판독 키워드와 비교하는 음성데이터 비교부(300)를 포함한다.

즉, 본 발명에 따른 상기 비교부(300)는 상기 의료진의 음성데이터로부터 인식된 단어와 기저장된 판독 키워드를 비교하는 기능을 수행하는데, 이때 통상의 음성인식 기술이 사용될 수 있다.

본 발명의 일 실시예에서, 음성 인식 기술에 따라 만약 인식된 단어와 판독 키워드가 소정 수준 이상으로 매칭되지 않으며, 이에 대한 정보를 의료진 등에게 매칭되지 않았음을 현장에서 즉시 알려줄 수 있다. 하지만, 적어도 소정 수준 이상으로 인식되는 의료진의 단어와 판독 키워드가 매칭되는 경우, 상기 매칭된 키워드는 상기 촬상된 실제이미지에 대한 판독 결과로 기록, 저장된다.

또는, 매칭되지 않는 경우 해당 부위(검사항목)에 매칭된 키워드를 의료진의 단말에 표시되게 하여 의료진이 효과적으로 이를 선택하게 할 수 있다.

또한, 본 발명의 일 실시예에서 상기 저장된 판독결과는 추후 영상 이미지가 사용자 단말에서 재생되는 경우, 영상과 함께 표시될 수 있다.

도 3 및 4는 본 발명의 일 실시예에 따라 표준화된 8개의 어깨 초음파 이미지와 이에 대한 표준화된 부위별 판독 결과를 나타낸다.

도 3을 참조하면, 부위별 8개의 이미지에 대하여 도 2에 도시된 바와 같이 표준 판독 결과를 반영하는 키워드가 매칭되어 저장되며, 이를 판독자인 의료진의 음성과 매칭하여 해당 판독 결과를 음성 기반으로 영상에 저장할 수 있다.

더 나아가 본 발명은 촬영된 영상 이미지가 어떤 부위에 대응하는 이미지인지를 인공 지능에 기반한 영상 인식 기술을 이용, 먼저 해당 부위를 식별하고, 이후 상술한 바에 따라 음성 인식을 이용, 해당 영상에 대한 판독 결과를 기록, 저장할 수 있다. 이 경우, 의료진은 별도로 촬영 영상의 종류를 구분하여 저장할 필요 없이 촬영과 동시에 음성으로 판독 결과를 기록을 하여 영상을 판독할 수 있다.

이를 위하여, 본 발명의 또 다른 일 실시예에 따른 판독 시스템은 상기 실제이미지의 촬상부위를, 상기 기설정된 부위별 영상과 매칭하는 영상판별부(400)를 더 포함할 수 있다(도 1 참조).

도 5는 본 발명의 일 실시예에 따라 음성 인식에 따라 판독 결과가 저장된 영상을 나타낸다.

도 5를 참조하면, 상기 저장된 영상이 재생되는 경우, 해당 영상에 대한 판독자의 음성 판독 기록을 선택적으로 재생할 수 있는데, 이를 통하여 또 다른 의료진은 해당 판독자의 의견을 보다 명확히 파악할 수 있다.

본 발명의 또 다른 일 실시예에 따르면 상기 초음파와 같은 영상의 판독은 상술한 방식으로 복수 회 진행될 수 있다. 이 경우, 판독 음성 기록은 누적되어 저장되며, 사용자는 선택적으로 해당 음성 기록을 재생할 수 있다.

도 6은 본 발명의 일 실시예에 따른 음성 기반 영상판독 방법의 단계도이다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 음성 기반 영상판독 방법은, 촬상된 영상에 대한 의료진의 음성데이터가 저장되는 단계(S100); 촬상된 부위에 대하여 기설정된 판독키워드가 상기 저장된 음성데이터가 비교되는 단계(S200); 및 상기 음성데이터가 상기 기설정된 판독키워드와 매칭되는 경우, 상기 매칭된 판독 키워드가 상기 촬상된 영상에 대한 판독결과로 저장되는 단계(S300)를 포함한다.

본 발명의 일 실시예에서 상기 음성데이터는 촬상기기에 부착된 마이크로폰이나 사용자 단말을 이용하여 녹음된 후, 본 발명에 따른 시스템으로 전송되어 저장된다. 본 발명의 일 실시예에 따른 시스템은 촬상기기 등과 연동된 별도의 서버 형태로 구현될 수 있다.

본 발명에서는 복수 회로 영상 판독이 진행되는 경우, 음성기반 판독기록과 결과 또한 각 진행시마다 저장되어 기록될 수 있다. 이로써 원하는 판독 음성 결과를 영상 재생과 함께 재생하여 확인할 수 있다.

또한, 상술한 바와 같이 음성 형태로 인식된 후 저장된 판독 키워드와 비교된 판독결과는 문자 형태로 변환되어 상기 촬상된 영상에 표시될 수 있으며, 이는 상술한 바와 같으니 이하 상세한 설명은 생략한다.

본 발명은 더 나아가, 영상만으로 어느 부위를 검사 중인지(어깨 초음파 검사항목1~8 중 어느 것인지) 결정하기 어려운 경우를 고러하여, 촬영 항목에 해당하는 부위에 대한 설명이 음성 등의 형태로 적어도 음성데이터 저장 이전에 안내되는 방법도 고려 가능하다. 즉, 인공지능 등의 공지된 기법을 통하여 영상에 대한 해부학적 정보를 파악하고, 이에 대응하는 검사항목의 부위를 의료진에게 안내하게 함으로써 영상 판독의 정확도를 보다 높일 수 있다.

인공지능을 이용하여 영상의 촬영 중

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

1. 기설정된 부위별 영상이미지에 대한 판독 키워드가 저장된 키워드저장부;
   촬상된 부위별 실제이미지에 대한 의료진의 음성 데이터를 저장하는 이미지-음성저장부;
   상기 이미지-음성저장부에 의하여 저장된 음성 데이터를 상기 키워드저장부에 저장된 판독 키워드와 비교하는 음성데이터 비교부; 및
   상기 음성 데이터 비교부에 의하여 비교된 음성 데이터가 상기 판독 키워드와 매칭하는 경우, 상기 실제이미지에 대한 판독 결과가 상기 실제이미지에 매칭되어 저장되는 판독결과저장부;를 포함하는 것을 특징으로 하는 음성기반 영상판독 시스템.
2. 제 1항에 있어서, 상기 음성기반 영상판독 시스템은,
   상기 실제이미지의 촬상부위를, 상기 기설정된 부위별 영상과 매칭하는 영상판별부를 더 포함하는 것을 특징으로 하는 음성기반 영상판독 시스템.
3. 제 1항에 있어서,
   상기 키워드저장부는 사용자에 의하여 키워드가 변경될 수 있는 것을 특징으로 하는 음성기반 영상판독 시스템.
4. 제 1항에 있어서, 상기 음성기반 영상판독 시스템은,
   상기 음성 데이터 비교부에 의하여 비교된 음성 데이터가 상기 판독 키워드와 매칭하지 않는 경우, 상기 저장된 키워드를 사용자의 사용자 단말에 제공하는 것을 특징으로 하는 음성기반 영상판독 시스템.
5. 제 1항 내지 제 4항 중 어느 한 항에 있어서, 상기 음성기반 영상판독 시스템은, 상기 영상이미지를 취득하는 영상기기에 포함되는 것을 특징으로 하는 음성기반 영상판독 시스템.
6. 제 1항 내지 제 4항 중 어느 한 항에 있어서, 상기 영상은 초음파 영상인 것을 특징으로 하는, 음성기반 영상판독 시스템.
7. 제 1항 내지 제 4항 중 어느 한 항에 있어서,
   상기 이미지-음성저장부는 상기 실제이미지에 대하여 적어도 2회 이상 의료진의 음성데이터를 저장할 수 있는 것을 특징으로 하는, 음성기반 영상판독 시스템.
8. 이미지-음성저장부, 음성데이터 비교부, 및 판독결과저장부를 포함하는 음성기반 영상판독 시스템의 음성 기판 영상판독 방법으로,
   상기 이미지-음성저장부를 통해 촬상된 영상에 대한 의료진의 음성데이터가 저장되는 단계;
   상기 음성데이터 비교부를 통해 촬상된 부위에 대하여 기설정된 판독키워드가 상기 저장된 음성데이터가 비교되는 단계; 및상기 음성데이터가 상기 기설정된 판독키워드와 매칭되는 경우, 상기 판독결과저장부를 통해 상기 매칭된 판독 키워드가 상기 촬상된 영상에 대한 판독결과로 저장되는 단계를 포함하는 것을 특징으로 하는, 음성기반 영상판독 방법.
9. 제 8항에 있어서,
   상기 판독키워드가 판독결과로 저장되는 단계는 복수 회 진행되는 것을 특징으로 하는, 음성기반 영상판독 방법.
10. 제 9항에 있어서,
    상기 저장된 판독결과는 문자 형태로 변환되어 상기 촬상된 영상에 표시되는 것을 특징으로 하는, 음성기반 영상판독 방법.
11. 제 10항에 있어서,
    상기 음성데이터는 상기 촬상된 이미지가 사용자 단말에 표시된 후 선택적으로 재생될 수 있는 것을 특징으로 하는, 음성기반 영상판독 방법.
12. 제 9항에 있어서, 상기 음성기반 영상판독 방법은,
    상기 촬상된 영상에 대한 의료진의 음성데이터가 저장되는 단계 이전,
    상기 촬상된 이미지에 대한 해부학적 부위에 대한 정보가 음성을 안내되는 단계를 더 포함하는 것을 특징으로 하는 음성기반 영상판독 방법.
13. 제 11항에 있어서,
    상기 복수 회 진행된 판독결과는 상기 촬상된 영상에 구분되어 저장되는 것을 특징으로 하는, 음성기반 영상판독 방법.
14. 제 8항 내지 제 13항 중 어느 한 항에 따른 음성기반 영상판독 방법을 구현하기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체.

Images