KR102365621B1

KR102365621B1 - 임상 문서에서 사용하기 위한 환자-의사 대화에서 세부 구조 캡처링

Info

Publication number: KR102365621B1
Application number: KR1020197034459A
Authority: KR
Inventors: 크리스토퍼 코; 강 리; 필립 청; 저스틴 폴; 다니엘 싱 션 티에스이; 캐서린 슈; 다이애나 자운즈아이까레; 앨빈 라이코마르
Original assignee: 구글 엘엘씨
Priority date: 2017-10-20
Filing date: 2017-10-20
Publication date: 2022-02-21
Also published as: CN110692102A; JP7174717B2; KR20190140987A; US20230055094A1; JP2020528590A; WO2019078887A1; US20200152302A1; EP3602563A1; US11521722B2

Abstract

환자와 의료 전문가 사이의 대화의 전사에서 단어 또는 텍스트 범위에 라벨을 할당하고 그 전사 내의 그러한 라벨링된 단어 또는 텍스트 범위의 그룹핑을 형성하도록 사용자를 지원하는 방법 및 시스템이 제공된다. 전사는 워크 스테이션의 인터페이스상에 표시된다. 하나 이상의 단어로 구성된 전사의 텍스트 범위를 하이라이트하기 위한 툴이 제공된다. 하이라이트된 텍스트 범위에 라벨을 할당하기 위한 다른 툴이 제공된다. 이 툴에는 하이라이트된 텍스트 범위에 할당할 수 있는 기정의된 라벨 세트를 검색할 수 있는 기능이 있다. 기정의된 라벨은 의료 엔티티 및 그 의료 엔티티의 속성을 인코딩한다. 인터페이스는 관련 하이라이트된 텍스트 범위의 그룹핑을 생성하기 위한 툴을 더 포함한다. 이 툴은 마우스 액션 또는 키 스트로크 또는 이들의 조합으로 구성될 수 있다.

Description

임상 문서에서 사용하기 위한 환자-의사 대화에서 세부 구조 캡처링

본 발명은 의료 접견의 전사된 오디오 또는 시청각 레코딩의 주석을 촉진하기 위한 방법 및 시스템에 관한 것이다.

의사와 간호사 및 그들의 대화와 같은 환자와 의료 실무자 간의 대화가 종종 레코딩된다. 대화의 레코딩 및 전사는 환자의 의료 레코딩의 일부이다. 전사는 음성-텍스트 변환기에 의해 생성되거나 레코딩을 청취하는 숙련된 (인간) 의료 전사가에 의해 생성될 수 있다.

전사의 다수의 라인이나 페이지를 모아 관련 정보를 찾거나 그 전사 내의 다른 의견의 관련성을 이해해야 하기 때문에 주석이 없는 전사는 의사에 의해 검토될 때 유용성이 제한된다.

부가적으로, 의학(적) 접견의 전사 컬렉션은 기계 학습 모델을 트레이닝하는데 사용될 수 있다. 기계 학습 모델을 교육하려면 다량의 고품질 트레이닝 예제, 즉 라벨이 지정된 데이터가 필요한다. 주석이 달린, 즉, 관련 단어 또는 문구가 하이라이트되고 의료 개념과 관련되며 서로 관련되는 것으로 그룹핑된, 의료 접견의 전사의 생성을 촉진하기 위한 방법이 당업계에서 요구된다. 본 발명는 해당 요구를 충족시킨다.

제1양태에서, 의료 실무자-환자 대화의 레코딩의 주석을 촉진하는 방법이 개시된다. 이 방법은, 예를 들어 주석을 수행하는 사람에 의해 사용되는 워크 스테이션("스크라이브 라벨러(scribe labeler)")의 디스플레이에 전사된 오디오 레코딩의 디스플레이(즉, 전사)를 생성하는 단계를 포함한다. 하나 이상의 단어로 구성된 전사 내의 텍스트의 범위를 하이라이트하기 위한 툴이 제공된다. 이 툴은 하나 이상의 단어를 선택하거나 하이라이트하기 위한 간단한 마우스 또는 키보드 단축키일 수 있다.

이 방법은 하이라이트된 텍스트 범위에 라벨을 할당하기 위한 툴을 제공하는 단계를 더 포함한다. 이 툴은 하이라이트된 텍스트 범위에 할당할 수 있는 기정의된 라벨 세트를 통해 검색하는 기능을 포함한다. 예를 들어, 스크라이브 라벨러가 전사에서 "위"와 같은 단어를 하이라이트하는 경우, 사용자가 예를 들어 스크롤하거나 검색 툴을 사용하여 사용 가능한 라벨을 검색할 수 있는 윈도우가 팝업된다. 라벨에는 (증상, 약물 치료, 실험실 결과 등과 같은) 의료 엔티티 및 그 의료 엔티티의 속성(예를 들어, 증상 엔티티의 심각도, 위치, 빈도, 발병 시간)이 인코딩된다.

본 명세서에서, "의료 엔티티"라는 용어는 증상, 약물 치료, 실험실 결과, 바이탈 징후, 주요 불만 사항, 의료 영상, 상태, 의료 장비 등과 같은 개별 의료 토픽의 카테고리를 지칭하는 것으로 의도된다. 의료 엔티티는 라벨링 태스크의 컨텍스트와 관련이 있도록 기정의되어 있으므로, 이 경우 일 실시예에서, 이들은 약물 치료, 절차, 증상, 바이탈, 상태, 소셜 이력, 의학적 상태, 수술, 영상, 제공자, 백신, 생식 이력, 진찰 및 의료 장비의 리스트로 구성될 수 있다. 의료 엔티티 "약물 치료"가 "약물 치료:알레르기"의 형태일 수 있는 것과 같이, 의료 엔티티들은 계층적 방식으로 구조화될 수 있는데, 여기서 "알레르기"는 전체 클래스 "약물 치료"의 유형 또는 서브 클래스이다. 다른 예로서, 의료 엔티티 "증상"은 "증상:눈", "증상:신경학적" 등과 같은 신체의 다른 부분에 대한 계층적 방식의 증상으로 구조화될 수 있다.

"의료 엔티티의 속성"이라는 용어는 예를 들어 "의료 장비"라는 의료 엔티티가 현재 환자가 의료 장비를 사용하고 있음을 의미하는 "환자의 실제 사용"이라는 속성을 가질 수 있는 것과 같이 단순히 의료 엔티티의 설명 속성 또는 특성을 의미한다. 다른 예로서, 증상 의료 엔티티는 "발병"의 속성을 가질 수 있다. "증상/발병"이라는 라벨은 환자가 처음 그 증상을 경험하기 시작한 시점을 나타내는 단어 나 문구가 전사에 있을 때 주석으로서 사용된다. 다른 예로서, "의료 장비/정기적으로"라는 라벨은 환자가 일부 의료 장비를 정기적으로 사용했음을 나타내고 "의료 장비"라는 의료 엔티티의 속성인 "정기적으로"를 갖는 단어나 문구가 전사 내에 있을 경우 주석으로서 사용된다.

상기 방법은 관련 하이라이트된 텍스트 범위를 그룹핑하기 위한 툴을 제공하는 단계를 더 포함한다. 툴은 예를 들어 그룹핑을 설정하기 위해 마우스 클릭 또는 키보드 단축키의 조합일 수 있다. 그룹핑을 통해 하이라이트된 텍스트 범위에 할당된 라벨과 관련된 의료 엔티티를 그룹으로 연관시킬 수 있다. 예를 들어, 환자가 지난 주에 시작된 심한 가슴 통증을 설명하는 대화에서, "심한", "가슴 통증" 및 "지난 주"라는 텍스트는 각각 증상 라벨 및 심각도, 위치 및 발병 시간으로 하이라이트되고 라벨링되어, 서로 관련이 있는 것으로 함께 그룹핑된다.

다른 양태에서, 의료 실무자-환자 대화의 레코딩에 대한 주석을 촉진하는 시스템이 개시된다. 이 시스템은 a) 레코딩의 전사를 디스플레이하는 인터페이스와; b) 하나 이상의 단어로 구성된 전사에서 텍스트 범위를 하이라이트하기 위한 툴과; c) 하이라이트된 텍스트 범위에 라벨을 할당하기 위한 툴과, 상기 툴은 하이라이트된 텍스트 범위에 할당할 수 있는 사전 정의된 라벨들의 세트를 통해 검색할 수 있는 기능을 포함하고, 상기 라벨들은 의료 엔티티들 및 그 의료 엔티티들의 속성을 인코딩하고; 그리고 d) 관련 하이라이트된 텍스트 범위의 그룹핑을 생성하기 위한 툴을 포함한다.

상기 방법 및 시스템은 다른 유형의 전사에 적용 가능한데, 여기서 기정의 된 라벨들의 세트는 예를 들어, 운영자에 의해, 현재 주석 태스크와 관련되도록 설계되고, 상기 라벨들은 엔티티들 및 그 전사 및 주석 태스크와 관련된 속성들과 관련된다. 본 발명의 툴들은 예를 들어 시의회, 의회, 주 의회 등과 같은 행정 기관 이전의 증언 또는 재판, 또는 청문회의 전사와 같은 법적 절차의 전사와 같은 다른 가능한 구현에서 동일한 방식으로 사용된다.

도 1은 방법이 수행될 수 있는 환경을 도시한 흐름도이다.
도 2는 의료 접견의 전사에 주석을 달기 위해 인간("스크라이브 라벨러")에 의해 사용되는 디스플레이 및 사용자 인터페이스를 갖는 워크 스테이션의 예시이다. 사용자 인터페이스는 도 4 내지 도 6과 함께 설명되는 툴을 포함한다. "사용자 인터페이스"라는 용어는 워크 스테이션상의 디스플레이 및 마우스와 키보드와 같이 사용자 입력을 제공하기 위한 관련 디바이스의 조합을 지칭하도록 의도된다.
도 3은 주석을 위해 준비된 전사의 리스트를 보여 주는 도 2의 사용자 인터페이스의 예시이다.
도 4는 스크라이브 라벨러가 텍스트에서 특정 단어나 문구에 주석을 달고 있는 의료 접견의 전사의 예시이다. 도 4는 스크라이브 라벨러가 의료 엔티티 및 관련 속성을 검색할 수 있는 팝업되는 검색 상자를 도시한다. 텍스트의 범위는 단어를 클릭하거나 마우스를 이용한 드래그 기술을 사용하는 등의 툴을 사용하여 하이라이트할 수 있다.
도 5는 스크라이브 라벨러가 텍스트 "상단 좌측" 및 팝업하는 검색 상자에 주석을 달고 있는 도 4의 전사의 예시이다. 부가적으로, 의료 엔티티 "증상" 및 속성 "위치(신체상의)"에 대해 "상단 좌측"이라는 문구에 대한 제안된 라벨도 디스플레이된다. 제안된 라벨은 도 1에 도시된 사전-라벨링 시스템에 의해 생성된다.
도 6은 스크라이브 라벨러가 "위" 및 "3일"이라는 2개의 하이라이트된 텍스트 범위의 그룹을 형성하는 경우의 도 4 및 5의 전사의 예시이다. 그룹을 형성하기 위한 툴은 2개의 텍스트를 하이라이트한 다음 "G"키를 누른 상태에서 하이라이트된 텍스트 범위를 클릭하고 "G"키를 릴리스하는 키보드의 단축키로 구성된다. 도 6은 또한 디스플레이 하단에 전사의 모든 그룹이 나열된 그룹 탭의 그룹 구성을 보여준다.
도 7은 도 1의 사전-라벨러에 대한 보다 상세한 예시도이다.
도 8은 도 1의 특징에 따라 다수의 주석이 달린 전사를 입력으로서 수신하는 기계 학습 모델 트레이닝 시스템의 예시이다.

본 발명는 의학(적) 접견의 레코딩, 즉 환자와 의사 또는 간호사와 같은 의료 실무자 간의 대화의 주석을 촉진하기 위한 방법 및 시스템에 관한 것이다. 레코딩은 오디오 또는 시청각 레코딩일 수 있다. 레코딩은 서면 형태로 전사된다. 전사는 숙련된 의료 전사자에 의해 즉 수작업으로 또는 당 업계에 공지된 음성-텍스트 변환기를 사용하여 생성될 수 있다. 시스템의 출력은 텍스트의 관련 의료 정보(즉, 개별 단어 또는 단어 그룹과 같은 텍스트 범위)가 라벨링되고(즉, 의료 엔티티 및 속성과 연관된 것으로 태깅되고) 그 라벨링된 텍스트 사이의 관련성을 표현하기 위해 그룹화된 전사의 주석(주석된, 주석이 달린) 버전(annotated version)이다.

도 1은 본 발명의 방법 및 시스템이 실시되는 환경을 도시하는 흐름도이다. 의사 또는 간호사와의 접견 레코딩에 대한 환자의 동의는 102에서 이루어진다. 또한, 환자에게 전자 건강 기록에 보관할 레코딩의 전사의 사용을 권고하고 동의를 얻는다. 환자에게 레코딩에 주석을 달수 있으며 기계 학습 모델을 생성 또는 트레이닝하는데 사용될 수 있다고 권고하고 동의를 얻는다. 전사가 주석이 달리거나 기계 학습 모델 트레이닝에 사용되는 모든 경우에, 전사 데이터는 환자의 신원이 식별되지 않으며 HIPAA 하에서 제한된 데이터 세트의 공개 및 사용에 대한 모든 요구 사항을 준수하여 사용된다. 윤리 심의 및 생명 윤리 위원회 면제는 각 기관으로부터 획득한다. 환자 데이터는 임의의 구글 사용자 데이터에 링크되어 있지 않다. 또한, 기계 학습 모델 트레이닝을 위해 주석 달린 전사를 사용하는 시스템(116)의 경우, 규정, 데이터 라이센스 및/또는 데이터 사용 계약에 따라 각 전자 건강 기록(또는 전사) 데이터 세트를 서로 분리하여 유지하는 샌드 박싱(sandboxing) 인프라를 포함한다. 각 샌드 박스의 데이터는 암호화되어, 모든 데이터 액세스는 개별 수준에서 제어되고 로깅되고 감사된다.

단계(104)에서, 필요한 환자 동의가 획득된 후 환자는 의료 실무자와 상담하고, 오디오 또는 시청각의 레코딩이 획득되어 디지털 포멧으로 저장된다.

단계(106)에서, 레코딩의 서면 전사는 숙련된 전사가에 의해 또는 음성-텍스트 변환기의 사용에 의해 획득된다. 전사는 바람직하게는 시간 인덱싱을 수반하는데, 여기서 전사 내의 발화된 단어 또는 텍스트 라인은 이후에 설명되는 바와 같이 그 레코딩의 경과 시간과 관련된다.

단계(108)에서, 전사의 주석은 스크라이브 라벨러에 의해 후속 도면에 기술되고 설명된 방식으로 수행된다. 주석에는 그 주석의 텍스트 범위들에 대한 라벨들의 할당 및 그들의 관련성을 나타내기 위한 텍스트 범위의 그룹핑이 포함된다. 단계(108)에서, 전사된 오디오 레코딩의 디스플레이는 예를 들어 스크라이브 라벨러에 의해 사용되는 워크 스테이션의 디스플레이 상에 생성된다. 도 2 및 도 4 내지 도 6을 참조한다. 하나 이상의 단어로 구성된 상기 전사된 오디오 레코딩에서 텍스트 범위를 하이라이트하기 위해 툴이 제공된다. 이 툴은 하나 이상의 단어를 선택하거나 하이라이트하기 위한 간단한 마우스 또는 키보드 단축키일 수 있다. 하이라이트된 텍스트 범위에 라벨을 할당하기 위한 툴도 제공된다. 이 툴은 하이라이트된 텍스트 범위에 대한 할당에 이용 가능한 기정의된 라벨들을 검색하는 기능을 포함한다. 예를 들어, 스크라이브 라벨러가 전사에서 "위(stomachache)"와 같은 단어를 하이라이트하는 경우 사용자가 사용 가능한 라벨을 검색할 수 있는 리스트가 팝업되고, 그 라벨 리스트를 통해 단어 검색을 수행하기 위한 검색 툴이 제공된다. 라벨들에는 의료 엔티티(예를 들어, 증상, 약물 치료, 실험실 결과 등) 및 그 의료 엔티티늬 속성(예를 들어, 증상 엔티티의 심각도, 위치, 빈도, 발병 시간)이 인코딩된다.

하이라이트된 텍스트 범위를 그룹핑하기 위한 툴도 제공된다. 그룹핑은 라벨과 연관된 의료 엔티티들을 함께 그룹핑할 수 있다. 예를 들어, 환자가 지난 주에 시작된 심한 가슴 통증을 설명하는 대화에서, "심한", "가슴 통증" 및 "지난 주"라는 텍스트는 모두 환자의 단일 건강 상태와 관련이 있기 때문에, 증상 라벨 및 심각도, 위치 및 발병 시간의 속성으로 하이라이트되고 라벨링되어, 함께 그룹핑된다. 이 툴은 아래 설명된 대로 키보드 및/또는 마우스 액션으로 구성될 수 있다.

이 시스템은 도 7에 보다 상세히 도시된 사전(pre)-라벨러(110)를 포함할 수 있다. 사전-라벨러는 라벨링 또는 그룹핑의 대상이 될 가능성이 있는 전사에서 단어 또는 텍스트 범위를 식별하는 학습된 자동 단어 인식 모델을 구현하는 컴퓨터 시스템이다. 사전-라벨러(110)는 스크라이브 라벨러가 전사의 주석을 수행할 때 하이라이트된 텍스트 범위에 대해 제안된 라벨을 제공함으로써 주석 단계(108)로의 입력을 제공한다. 이것은 도 5에 보다 상세히 도시되어 있다.

주석 단계(108)의 결과로서, 주석이 달린 전사 파일(112)이 생성되는데, 이는 전사뿐만 아니라 라벨링된 또는 태깅된 텍스트 범위 형태의 주석과 그 태깅된 텍스트 범위의 그룹핑으로 구성된다. 주석이 달린 전사 파일(112)은 그 파일의 주석 및 그룹핑이 메타 데이터 등의 디지털 형식으로 되어 있다. 그런 다음 주석이 달린 전사 파일(112)은 환자의 전자 건강 기록(EHR)(114)에 추가되거나 기계 학습 모델 트레이닝 시스템(116)으로 제공된다. 기계 학습 모델 트레이닝 시스템(116)은 예를 들어, 의료 접견의 전사에 자동으로 주석을 달기 위해 기계 학습 모델을 트레이닝하는 시스템일 수 있다. 대안적으로, 기계 학습 모델은 환자 건강 기록에서 주석이 달린 전사 및 다른 데이터를 사용하여 개별 환자뿐만 아니라 다수의 다른 환자에 대해, 예를 들어 계류중인 미국 가출원 번호 62/538,112에 기술된 바와 같이 미래의 의료 사건의 예측을 생성할 수 있으며, 그 내용은 본 명세서에 참조로 포함된다. EHR(114)은 점선(114)으로 표시된 바와 같이 시스템(116)에 제공될 수 있다.

주석이 달린 전사 파일(112)은 점선(120)에 의해 지시된 바와 같이, 기계 학습 사전-라벨러(110)를 추가로 트레이닝시킬 수 있도록 사전-라벨러로 다시 공급될 수 있다. 이 양태은 나중에 더 상세히 설명될 것이다.

도 2는 도 1의 주석 단계(108) 동안 스크라이브 라벨러에 의해 사용되는 워크 스테이션(200)의 예시이다. 워크 스테이션은 의료 접견의 전사의 디스플레이를 제공하는 애플리케이션을 실행하는 중앙 처리 유닛(범용 컴퓨터(210)) 및 키보드(212), 마우스(214) 및 모니터(216)로 구성된 사용자 인터페이스가 텍스트 범위(단어 또는 문구(230))의 하이라이팅, 그 텍스트 범위에 대한 라벨 할당 및 아래에서 논의되는 바와같이 하이라이트된 텍스트 범위의 그룹핑을 가능케하는 툴을 포함한다. 모니터(216)는 전사(222)의 디스플레이(218) 및 사용자가 전사의 다양한 부분을 이동(navigate)할 수 있게 하는 스크롤 바(224)를 포함한다. 전사의 시간 인덱스(220)가 디스플레이(218)의 상단에 도시되어 있다. 시간 인덱스는 앞뒤로 수평으로 움직일 때 특정 경과 시간과 관련된 전사의 일부가 디스플레이(118)의 상단에 디스플레이될 수 있게 하는 슬라이더(221)를 포함한다. 이 경우, 시간 인덱스(220)는 전사가 13분 24초의 지속 시간이고 슬라이더(221)가 왼쪽으로 끝났음을 나타내므로, 전사의 시작 부분이 디스플레이의 상단에 표시된다. 전사는 번호가 매겨진 라인의 형태이고, 말하고 있는 사람(의사 또는 환자)의 식별과 그 뒤에 말한 내용의 텍스트 전사가 온다.

도 3은 스크라이브 라벨러가 도 2의 워크 스테이션에 로그온할 때 도 2의 사용자 인터페이스에 제공되는 주석이 필요한 전사의 "할 일(to-do)" 리스트의 디스플레이를 도시한다. 개별 전사는 환자가 비-식별(즉, 이름이 아닌 열(302)의 환자 번호로만 식별)된다. 열(304)은 경과 시간을 나타내고, 열(306)은 전사의 텍스트 라인 수를 나타내고, 열(308)은 의료 접견과 관련된 환자의 주요 불만을 나타내고, 열(310)은 의료 접견의 성격 또는 유형을 나타낸다. 전사들 중 하나가 도 3에서 선택되면(예를 들어, 열(302)의 번호를 클릭함으로써) 도 2의 디스플레이가 생성된다.

도 4는 전사(222) 및 시간 인덱스(220)와 함께 사용자 인터페이스의 디스플레이(218)의 예시이다. 각 발언(문장 또는 단어)에 대한 시간 세그먼트 정보가 전사에 제공되고, 시간 인덱스(220)는 전사의 다른 부분으로 점프하기 위해 좌우로 이동하는 슬라이더 툴(221)을 제공한다.

인터페이스는 텍스트 하이라이트하기 위한 툴을 제공한다. 특히 마우스 및 키보드 단축키를 사용하면 텍스트 범위를 쉽게 하이라이트할 수 있다. 예를 들어, 사용자가 주어진 단어를 더블 클릭하면 단어가 자동으로 디스플레이상에서 하이라이트된다. 개별 문자가 아닌 단어만 하이라이트하여 오류를 줄이고 주석 속도를 높일 수 있다. 마우스를 사용한 클릭 및 드래그 기술, 키보드 스트로크(예를 들어, 단어 위에 커서를 놓고 H 또는 CTRL-H와 같은 특정 키를 누르는 것), 또는 키보드 스트로크와 마우스 액션 조합과 같은 다른 툴이 하이라이트에 사용될 수 있다.

도 4의 예에서 사용자는 "위(stomachache)"라는 단어를 하이라이트했다(400 참조). 사용자 인터페이스는 텍스트 태깅, 즉 하이라이트된 용어를 라벨링하는 툴을 제공한다. 라벨들은 하이라이트된 텍스트 범위에 기본적으로 적용되어, 예를 들어 하이라이트된 텍스트 "stomachache"가 증상 또는 위장 증상임을 나타내기 위해, 스크라이브 라벨러가 전사에 정보를 삽입할 수 있도록 한다. 특히, 사용자가 용어 "stomachache"를 하이라이트한 경우, 의료 엔티티의 리스트(404) 및 관련 속성, 그 리스트(404)를 검색할 수 있는 검색어 입력 필드(405), 및 스크라이브 라벨러가 리스트를 스크롤하여 하이라이트된 테스트에 적합한 의료 엔티티 및 연관 속성을 선택할 수 있게 하는 스크롤 바(406)를 나타내는 박스(툴)(402)가 팝업된다. 도 4의 예에서, 의료 엔티티 "증상(Symptom): GI" 및 관련 속성 "복부 통증(abdominal pain)"을 리스트(404)에서 발견하고, 사용자는 그 의료 엔티티 및 속성의 조합을 클릭했다. 디스플레이는 의료 엔티티, 속성, 전사에서의 위치(라인 4) 및 관련 텍스트 범위("stomachache")를 포함하여, 라벨링된 텍스트 범위를 디스플레이의 하단에 나열하는 테이블 탭(410)을 포함한다.

스크라이브 라벨러는 동일한 프로세스를 수행하고 동일한 툴을 사용하여, 텍스트 범위 "3일(three days)"을 하이라이트하고, 하이라이트된 텍스트 범위 "three days"에 의료 엔티티 "SymAttr" 및 속성 "지속 시간(duration)" ("Symattr/duration")을 할당하면 이 추가 주석이 주석 테이블(410)에 표시된다.

이어서 스크라이브 라벨러는 텍스트 범위(412) "upper left"를 하이라이트 표시한다. 스크라이브 라벨러는 다시 툴(402)를 사용하여 텍스트 범위 "upper left"에 라벨을 추가한다. 다시 이 작업은 도 4에 기술된 툴을 사용하여 수행될 수 있다. 도 5에 도시된 바와 같이, 전사의 사전-라벨링이 있는 일 실시예에서, 사용자가 텍스트 범위 "upper left"를 하이라이트할 때 제안된 라벨이 박스(502)에 도시된다. 이 제안된 라벨은 도 1의 사전-라벨러에 의해 텍스트 범위 "upper left"에 할당된다. 사용자는 박스(502)를 클릭하여 제안을 수락하거나 X 아이콘(504)을 클릭하여 제안을 거부할 수 있다. 도 5의 상황에서, 스크라이브 라벨러는 마우스 클릭(또는 키보드 단축키 등과 같은 임의의 다른 대안적인 적절한 사용자 인터페이스 액션)에 의해 제안을 수락하였고, 주석이 506에서 도 5에 도시된 바와 같이 테이블410)에 추가된다. 스크라이브 라벨러가 제안을 거부하면 팝업 검색 툴(402)를 사용하거나 라벨 리스트를 스크롤하여 적절한 라벨을 찾을 수 있다.

검색 툴(402)은 스크라이브 라벨러가 텍스트 범위를 하이라이트하기 위해 액션을 취할 때 팝업될 수 있고, 라벨이 할당된 후에 사라지거나, 또는 대안으로서 주석 달기 동안 사용자 인터페이스의 지속적인 기능일 수 있다는 것을 이해할 것이다.

전술한 바와 같이, 도 2 및 도 4-6의 사용자 인터페이스는 스크라이브 라벨러가 서로 개념적으로 또는 인과적으로 관련되어 하이라이트되고 라벨링된 텍스트 범위를 함께 그룹핑할 수 있게 하는 툴을 포함한다. 예를 들어, 도 6에서 텍스트 범위 "stomachache" 및 "three days"는 위장 증상, 즉 증상 유형 및 증상 지속 기간과 관련이 있다. 이 그룹핑을 하기 위해, 인터페이스는 도시된 실시예에서 키 스트로크 및 마우스 액션의 조합 형태의 툴을 제공한다. 특히, 스크라이브 라벨러는 "G"키를 누르고, 2개의 하이라이트된 텍스트 범위를 클릭한 다음 "G"키를 릴리스한다. 물론, 그룹핑을 형성하기 위한 툴의 이러한 특정 예로부터의 변형이 가능하고, 그 변형은 마우스 액션 단독(예를 들어, 좌측 클릭으로 텍스트 범위 선택한 다음 우측 클릭으로 그룹 형성), 키 스트로크 단독(예를 들어, ALT-G로 하이라이트된 텍스트 범위를 선택한 다음 Enter 키를 눌러 그룹 형성), 또는 마우스 액션 및 키 스트로크의 다른 다양한 가능 조합과 같이 본 발명의 범위 내에 있다. 도 6에서, "2"아이콘(602)은 그룹핑의 요소 수(여기서는 2개)를 나타낸다. "X" 아이콘(604)은 그룹핑을 삭제하기 위한 클릭 타겟이다. 사용자는 그룹 탭(606)을 토글하고, "stomachache" 및 "threedays"의 그룹은 전사 내의 위치(이 예에서 그룹의 첫 번째 요소 위치는 라인 4)와 함께 608에 표시된 바와 같이 도시된다.

도 4의 검색 툴(402)은 관련 라벨을 쉽게 네비케이트할 수 있는 프로세스를 과정을 안내한다. 의료 전사의 예에서, 선택할 수 있는 수백 가지의 가능한 라벨이 있을 수 있다. 예를 들어, 각각의 의료 엔티티에 대해 10개 또는 20개의 기정의된 다른 의료 엔티티 및 10 개 또는 20 개 이상의 다른 속성이 있을 수 있다. 의료 엔티티는 전술한 바와 같이 계층적 방식으로 커스터마이즈되고 구성될 수 있다. 이들 라벨은 의료 문서용으로 특별히 설계된 의료 온톨로지(ontology)를 인코딩한다. 이들 라벨은 약물 치료, 절차, 증상, 상태 등과 같은 의학 엔티티 정보뿐만 아니라 증상의 발병, 심각도, 빈도 등과 같은 엔티티의 속성, 및 환자가 의학적 절차(엔티티)를 거절 또는 거부(속성)했는지 여부를 인코딩한다.

도 6에 도시된 바와 같이 텍스트 그룹핑은 스크라이브 라벨러가 전사에 추가 정보를 삽입하고 특히 개념들 간의 관계 또는 관련성을 식별할 수 있게 한다. 예를 들어, 본 발명의 시스템 및 방법은 엔티티들이 그룹으로서 속성들과 연관될 수 있도록 스크라이브 라벨러가 하이라이트된 텍스트의 그룹을 할당할 수 있게 한다.

도 1의 사전-라벨링 시스템(110)이 도 7에 보다 상세히 도시되어 있다. 시스템(110)으로의 입력은 도 1의 단계(108)에서 생성된 텍스트 전사(702)이다. 시스템(110)은 사전-주석된 전사(704)의 형태로, 트레이닝된 예제로부터의 지도 학습에 기초하여 전사 내의 후보 정보(단어 또는 문구) 및 이러한 단어 또는 문구에 대한 제안된 라벨을 식별하는 기계 학습 의료 엔티티명 인식(NER) 모델(703)을 사용한다. 엔티티명 인식 모델은 기계 학습 분야에서 잘 알려져 있으며 과학 문헌에 광범위하게 설명되어 있다. NER 모델(703)에는 그의 고유한 라벨링된 트레이닝 데이터가 필요하다. 이 트레이닝 데이터를 위해 우리는 기존 의학 온톨로지(예를 들어, UMLS : 통합 의료 언어 시스템) and SNOMED : 체계화된 의약품 명명법)의 대형 어휘집과 함께 딥 러닝 단어 임베딩을 사용하는 의학 텍스트 북(120,000개 이상의 의학 텍스트 북)의 대형 코퍼스(corpus, 말뭉치)을 사용한다. 또한, NER은 주석된 의학 접견 전사들로부터 트레이닝될 수 있다. NER 모델은 또한 의료 및 임상 텍스트 북, 의사-환자 대화의 주석된 전사 및 다수 환자의 익명화된 전자 건강 기록에 포함된 임상 문서를 포함할 수 있는 데이터 소스의 하이브리드로부터 트레이닝될 수 있다. NER 모델은 도 1 및 도 7에서 수행된 바와 같이 전사의 주석의 피드백으로부터 추가로 트레이닝될 수 있다. 예를 들어, 사전-라벨링 시스템이 사전-주석된 전사(704)를 생성하고 스크라이브 라벨러가 단계(108)에서 주석을 완료하도록 진행 한 후, 사전-주석된 전사(704) 내의 제안된 주석 및 주석된 전사(112) 사이의 정정의 피드백이 다시 NER 모델로 돌아갈 수 있다.

도 8에 도시된 바와 같이, 주석된 전사(112)는 기계 학습 모델 트레이닝 시스템에 제공될 수 있다. 일 형태에서, 모델 트레이닝 시스템(116)은 다수의 환자로부터의 다른 환자 데이터와 함께 전사를 사용하여, 건강 예측을 하기 위한 기계 학습 모델을 생성한다. 대안적으로, 주석된 전사는 시스템(116)에서 의료 접견의 주석된 전사를 생성하는 프로세스를 자동화하기 위한 심층 학습 모델을 개발하는데 사용될 수 있다.

본 발명의 시스템 및 방법은 몇 가지 장점을 갖는다. 많은 자연어 처리 텍스트 주석 툴에서, 관계는 명시적이고 번거로운 방식으로 식별되어야 한다. 대조적으로, 본 발명에서, (주석 태스크와 관련된 기정의된 라벨을 포함하는) 라벨들 및 라벨링 및 그룹핑 툴은 이러한 관계가 쉽게 지정될 수 있게 한다. 사용자는 도면들에 도시된 바와같이 검색 툴을 사용하여 라벨들을 빠르게 검색하고, 마우스 클릭과 같은 간단한 사용자 인터페이스 액션으로 그들 라벨을 선택할 수 있다. 더욱이, 개념적으로 또는 인과적으로 관련된 하이라이트된 텍스트 범위의 그룹핑은 전술한 바와 같이 키보드, 마우스 또는 이들의 조합을 사용하는 간단한 사용자 인터페이스 액션으로 매우 빠르게 생성될 수 있다.

예시된 실시예는 의학 접견의 전사를 라벨링하는 것을 돕는 인터페이스 및 툴을 기술했지만, 본 발명의 원리는 다른 상황에 적용될 수 있다. 특히, 기정의된 라벨 리스트는 엔티티 및 그 엔티티의 속성에 대해 생성된다(예를 들어, 전사 내의 가능한 모든 카테고리 또는 관심의 단어의 클래스 및 의료 엔티티의 속성과 유사한 각각의 카테고리 또는 클래스에 관련된 속성을 나열함). 위에서 설명한 사용자 인터페이스 액션은 일반적으로 동일한 방식으로 수행된다. 즉, 스크라이브 라벨러는 간단한 사용자 인터페이스 툴을 사용하여 주석 태스크와 관련된 전사를 읽고 단어 또는 다른 텍스트 범위를 하이라이트한 다음, 스크라이브 라벨러가 사용 가능한 라벨을 검색하여 그들을 하이라이트된 텍스트 범위에 할당할 수 있는 툴이 활성화된다. 또한 그룹핑 툴이 제공되어 관련 하이라이트된 텍스트 범위의 그룹을 형성한다. 그 결과는 주석된 전사이다. 이 방법은 법조계의 맥락에서의 증언 또는 재판 전사, 정부 기관의 증언의 청문회 전사 등과 같은 다른 유형의 전사에 유용할 수 있다.

의료 전사 주석에 사용되는 라벨 리스트의 예는 아래 테이블 1에 나와 있다. 물론, 리스트로부터의 변형이 가능하고 다른 컨텍스트에서는 다른 라벨이 정의될 것임이 이해될 것이다. 리스트에서, 엔티티 1은 의료 엔티티이고, 엔티티 2는 엔티티 1의 의료 엔티티의 서브 카테고리 또는 의료 엔티티의 속성이며, 엔티티 3은 의료 엔티티의 속성 또는 계층적 스키마에서 엔티티 1의 의료 엔티티의 추가 서브 카테고리이다.

테이블 1

Claims

의사-환자 대화의 레코딩에 대한 주석을 촉진하는 방법으로서,
a) 컴퓨터에 의해, 레코딩의 전사의 디스플레이를 생성하는 단계;
b) 컴퓨터에 의해, 하나 이상의 단어로 구성된 전사에서 텍스트 범위를 하이라이트하기 위한 툴(tool)을 제공하는 단계, 상기 텍스트 범위는 의사-환자 대화에서 환자의 건강 상태를 설명하는 텍스트에 기초하여 하이라이트되고;
c) 컴퓨터에 의해, 하이라이트된 텍스트 범위에 라벨을 할당하기 위한 툴을 제공하는 단계, 상기 툴은 하이라이트된 텍스트 범위에 할당될 수 있는 기정의된 라벨들의 세트를 검색하는 기능을 포함하고, 상기 라벨들은 의료 엔티티들 및 그 의료 엔티티들의 속성을 인코딩하고; 및
d) 컴퓨터에 의해, 관련 하이라이트된 텍스트 범위의 그룹핑을 생성하기 위한 툴을 제공하는 단계를 포함하고, 상기 그룹핑은 하이라이트된 텍스트 범위에 할당된 라벨들과 관련된 의료 엔티티들을 환자의 단일 의료 상태와 관련된 그룹에 연관시키는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 전사된 레코딩은 시간 세그먼트 정보로 인덱싱되는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 툴 b)는
개별 문자가 아닌 단어 또는 단어 그룹만 하이라이트되도록 허용하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 의료 엔티티들은,
약물 치료, 절차, 증상, 바이탈, 상태, 소셜 이력, 건강 상태 , 수술, 영상, 제공자, 백신, 생식 이력, 진찰 및 의료 장비를 포함하는 것을 특징으로 하는 방법.
제4항에 있어서,
상기 의료 엔티티들 중 적어도 하나는 계층적 방식으로 배열되는 것을 특징으로 하는 방법.
제5항에 있어서,
상기 의료 엔티티들 중 적어도 하나는 증상 의료 엔티티 및 그 증상 의료 엔티티 내의 신체의 다른 부분을 포함하는 것을 특징으로 하는 방법.
제4항에 있어서,
상기 의료 엔티티들 중 하나는 증상 의료 엔티티로 구성되고, 상기 증상 의료 엔티티는 적어도 심각도, 빈도, 발병, 위치의 속성을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
컴퓨터에 의해, 상기 전사를 사전-라벨링 시스템에 제공하는 단계 및 상기 사전-라벨링 시스템으로부터 전사의 텍스트 범위에 대해 제안된 라벨을 포함하는 사전-주석된 전사를 수신하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제8항에 있어서,
상기 툴 c)는
사전-주석된 전사로부터 제안된 라벨의 디스플레이 및 그 제안된 라벨을 거부 또는 수락하기 위한 옵션을 더 포함하는 것을 특징으로 하는 방법.
제8항에 있어서,
상기 사전-라벨링 시스템은 의료 텍스트 북, 임상 용어 어휘집, 전자 건강 기록의 임상 문서, 및 의사-환자 대화의 주석된 전사 중 적어도 하나에 대해 트레이닝된 엔티티명 인식 모델을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 툴 b) 및 툴 d)는
키 스트로크(들), 마우스 액션 또는 이 둘의 조합을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 툴 c)에서 검색하기 위한 기능은 이용 가능한 라벨의 스크롤 가능 리스트의 디스플레이 및 그 이용 가능한 라벨의 리스트를 검색하기 위한 검색어를 입력하기 위한 검색 박스를 포함하고,
상기 툴 c)는 라벨을 할당하기 위해 키 스트로크(들), 마우스 액션 또는 이 둘의 조합을 더 포함하는 것을 특징으로 하는 방법.
의사-환자 대화의 레코딩에 대한 주석을 촉진하는 시스템으로서,
a) 레코딩의 전사를 디스플레이하는 인터페이스;
b) 하나 이상의 단어로 구성된 전사에서 텍스트 범위를 하이라이트하기 위한 툴, 상기 텍스트 범위는 의사-환자 대화에서 환자의 건강 상태를 설명하는 텍스트에 기초하여 하이라이트되고;
c) 하이라이트된 텍스트 범위에 라벨을 할당하기 위한 툴, 상기 툴은 하이라이트된 텍스트 범위에 할당할 수 있는 기정의된 라벨들의 세트를 통해 검색할 수 있는 기능을 포함하고, 상기 기정의된 라벨들은 의료 엔티티들 및 그 의료 엔티티들의 속성을 인코딩하고; 및
d) 관련 하이라이트된 텍스트 범위의 그룹핑을 생성하기 위한 툴을 포함하고, 상기 그룹핑은 하이라이트된 텍스트 범위에 할당된 라벨들과 관련된 의료 엔티티들을 환자의 단일 의학 상태와 관련된 그룹에 연관시키는 것을 특징으로 하는 시스템.
제13항에 있어서,
상기 전사된 레코딩은 시간 세그먼트 정보로 인덱싱되는 것을 특징으로 하는 시스템.
제13항에 있어서,
상기 툴 b)는
개별 문자가 아닌 단어 또는 단어 그룹만 하이라이트되도록 허용하는 것을 특징으로 하는 시스템.
제13항에 있어서,
상기 의료 엔티티들은,
약물 치료, 절차, 증상, 바이탈, 상태, 소셜 이력, 건강 상태 , 수술, 이미징, 제공자, 백신, 생식 이력, 진찰 및 의료 장비를 포함하는 것을 특징으로 하는 시스템.
제16항에 있어서,
상기 의료 엔티티들 중 적어도 하나는 계층적 방식으로 기정의되는 것을 특징으로 하는 시스템.
제17항에 있어서,
상기 의료 엔티티들 중 적어도 하나는 증상 의료 엔티티 및 그 증상 의료 엔티티 내의 신체의 다른 부분을 포함하는 것을 특징으로 하는 시스템.
제16항에 있어서,
상기 의료 엔티티들 중 하나는 증상 의료 엔티티로 구성되고, 상기 증상 의료 엔티티는 적어도 심각도, 빈도, 발병, 위치의 속성을 포함하는 것을 특징으로 하는 시스템.
제13항에 있어서,
상기 전사 내의 텍스트 범위에 대해 제안된 라벨을 포함하는 사전-주석된 전사를 생성하는 사전-라벨링 시스템을 추가로 포함하는 것을 특징으로 하는 시스템.
제20항에 있어서,
상기 툴 c)는 사전-주석된 전사로부터 제안된 라벨의 디스플레이 및 그 제안된 라벨을 거부 또는 수락하기 위한 옵션을 더 포함하는 것을 특징으로 하는 시스템.
제20항에 있어서,
상기 사전-라벨링 시스템은,
의료 텍스트 북, 임상 용어 어휘집, 전자 건강 기록의 임상 문서, 및 의사-환자 대화의 주석된 전사 중 적어도 하나에 대해 트레이닝된 엔티티명 인식 모델을 포함하는 것을 특징으로 하는 시스템.
제13항에 있어서,
주석된 전사 오디오 레코딩을 자동으로 생성하도록 구성된 기계 학습 모델을 생성하기 위한 시스템을 더 포함하는 것을 특징으로 하는 시스템.
제13항에 있어서,
건강 예측을 생성하도록 구성된 기계 학습 모델을 생성하기 위한 시스템을 더 포함하는 것을 특징으로 하는 시스템.
제13항에 있어서,
상기 툴 b) 및 상기 툴 d)는,
키 스트로크(들), 마우스 액션 또는 이 둘의 조합을 포함하는 것을 특징으로 하는 시스템.
제13항에 있어서,
상기 툴 c)에서 검색하기 위한 기능은 이용 가능한 라벨의 스크롤 가능 리스트의 디스플레이 및 그 이용 가능한 라벨의 리스트를 검색하기 위한 검색어를 입력하기 위한 검색 박스를 포함하고,
상기 툴 c)는 라벨을 할당하기 위해 키 스트로크(들), 마우스 액션 또는 이 둘의 조합을 더 포함하는 것을 특징으로 하는 시스템.
대화의 레코딩의 주석을 촉진하는 방법으로서,
a) 컴퓨터에 의해, 레코딩의 전사의 디스플레이를 생성하는 단계;
b) 컴퓨터에 의해 사전-라벨링 시스템으로부터, 전사의 텍스트 범위에 대한 제안된 라벨들을 포함하는 사전-주석된 전사를 수신하는 단계, 상기 사전-라벨링 시스템은 주석된 전사 레코딩을 자동으로 생성하도록 구성된 명명된(named) 엔티티 인식 모델을 포함하고;
c) 컴퓨터에 의해, 하나 이상의 단어로 구성된 전사에서 텍스트 범위를 하이라이트하기 위한 툴을 제공하는 단계, 상기 텍스트 범위는 의사-환자 대화에서 환자의 건강 상태를 설명하는 텍스트에 기초하여 하이라이트되고;
d) 컴퓨터에 의해, 하이라이트된 텍스트 범위에 라벨을 할당하기 위한 툴을 제공하는 단계, 상기 라벨은 하이라이트된 텍스트 범위에 인접한 영역에 상기 제안된 라벨을 거부하거나 수락하기 위한 옵션과 함께 상기 사전-주석된 전사로부터 제안되고, 상기 툴은 하이라이트된 텍스트 범위에 할당할 수 있는 기정의된 라벨을 검색하는 기능을 포함하고, 그리고 상기 라벨들은 의료 엔티티들 및 그 의료 엔티티들의 속성을 인코딩하고;
e) 컴퓨터에 의해, 관련 하이라이트된 텍스트 범위의 그룹핑을 생성하기 위한 툴 제공하는 단계, 상기 그룹핑은 하이라이트된 텍스트 범위에 할당된 라벨들과 관련된 의료 엔티티들을 환자의 단일 의학 상태와 관련된 그룹에 연관시키고;
f) 컴퓨터에 의해, 하이라이트된 텍스트 범위에 대한 라벨 및 관련 하이라이트된 텍스트 범위의 그룹핑을 포함하는 레코딩의 주석된 전사를 생성하는 단계; 및
g) 컴퓨터에 의해 사전-라벨링 시스템으로, 명명된 엔티티 인식 모델의 트레이닝을 가능하게 하기 위해 상기 생성된 주석된 전사를 피드백으로서 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
제27항에 있어서,
상기 레코딩은 환자와 의사 사이의 레코딩으로 구성되는 것을 특징으로 하는 방법.
삭제
제27항에 있어서,
상기 전사된 레코딩은 시간 세그먼트 정보로 인덱싱되는 것을 특징으로 하는 방법.
제27항에 있어서,
상기 툴 c) 및 상기 툴 e)는,
키 스트로크(들), 마우스 액션 또는 이 둘의 조합을 포함하는 것을 특징으로 하는 방법.
제27항에 있어서,
상기 툴 d)에서 검색하기 위한 기능은 이용 가능한 라벨의 스크롤 가능 리스트의 디스플레이 및 그 이용 가능한 라벨의 리스트를 검색하기 위한 검색어를 입력하기 위한 검색 박스를 포함하고,
상기 툴 d)는 라벨을 할당하기 위해 키 스트로크(들), 마우스 액션 또는 이 둘의 조합을 더 포함하는 것을 특징으로 하는 방법.
삭제
제27항에 있어서,
상기 엔티티들 중 적어도 하나는 계층적 방식으로 정의되는 것을 특징으로 하는 방법.