KR20150085943A - 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치 - Google Patents

의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치 Download PDF

Info

Publication number
KR20150085943A
KR20150085943A KR1020140005956A KR20140005956A KR20150085943A KR 20150085943 A KR20150085943 A KR 20150085943A KR 1020140005956 A KR1020140005956 A KR 1020140005956A KR 20140005956 A KR20140005956 A KR 20140005956A KR 20150085943 A KR20150085943 A KR 20150085943A
Authority
KR
South Korea
Prior art keywords
information
image
read
readout
interest
Prior art date
Application number
KR1020140005956A
Other languages
English (en)
Other versions
KR101576047B1 (ko
Inventor
김한영
장대근
Original Assignee
주식회사 인피니트헬스케어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인피니트헬스케어 filed Critical 주식회사 인피니트헬스케어
Priority to KR1020140005956A priority Critical patent/KR101576047B1/ko
Publication of KR20150085943A publication Critical patent/KR20150085943A/ko
Application granted granted Critical
Publication of KR101576047B1 publication Critical patent/KR101576047B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법은 3차원 의료 영상에 대한 판독 과정에서 사용자 인터페이스를 이용한 사용자의 입력으로부터 관심 영역 정보를 획득하는 단계; 상기 획득된 상기 관심 영역에 대한 장기 정보, 병변 크기, 주석, 위치 정보, 마크 중 적어도 하나를 포함하는 영상 정보를 상기 사용자의 입력에 기반하여 획득하는 단계; 상기 획득된 상기 관심 영역 정보와 상기 영상 정보를 포함하는 판독 정보를 미리 정의된 구조화된 정보 형태로 생성하는 단계; 상기 생성된 상기 판독 정보를 판독 정보 리스트에 추가하는 단계; 및 상기 사용자의 입력에 기반하여 상기 판독 정보 리스트에 포함된 적어도 하나 이상의 판독 정보 각각에 대응하는 캡쳐 영상을 획득하는 단계를 포함한다.

Description

의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치 {Method and apparatus of generating structured report including region of interest information in medical image reading processing}
본 발명은 관심 영역 정보 생성에 대한 것으로, 상세하게는 의료 영상 판독 과정에서 관심 영역 또는 관심 병변에 대한 정보를 구조화된 정보 형태로 생성하여 판독 효율성을 향상시킬 수 있는 방법 및 장치에 관한 것이다.
본 발명은 보건복지부 및 한국보건산업진흥원의 보건의료연구개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: A121996, 과제명: MR 영상 기반 뇌졸중 컴퓨터 보조 진단 시스템의 개발 및 상용화].
컴퓨터 단층촬영(CT: Computer Tomography), 자기공명영상(MRI: Magnetic Resonance Imaging) 등의 의료 영상 장비들은 현대의학에서는 필수적인 장비가 되었으며, 의료 기술의 발전으로 인하여 환자의 생명을 다루는 의료 행위에 있어서 의료 영상 장비를 이용한 임상 진단의 역할은 더욱 비중이 높아질 전망이다.
임상 진단의 편의를 위하여 의료 영상(예를 들어 X-선 촬영 영상, CT 영상, MRI 영상 또는 초음파 영상)을 디지털 데이터로 변환하여 데이터베이스화한 다음, 서버와 연결된 대형 저장매체에 저장하여 두고, 필요 시에 각 진료실에서 컴퓨터 모니터를 통해 원하는 환자의 의료 영상을 조회할 수 있도록 하는 의료 영상 저장 전송 시스템(PACS: Picture Archiving and Communication System)이 도입되었다.
PACS는 의료 영상, 특히 방사선학적 진단 영상들을 디지털 형태로 획득(Acquisition)한 후, 고속의 통신망(Network)을 통하여 전송하고, 의료 영상은 과거의 X-ray 필름 대신에 디지털 데이터로 보관되기 때문에 판독의(radiologist)들과 임상의(clinician)들이 기존의 필름 뷰박스(Film view box) 대신에 영상 조회장치(예를 들어, PACS 뷰어)를 이용하여 환자를 진료하는 포괄적인 디지털 영상 관리 시스템 및 전송 시스템을 말한다.
의료 영상을 판독(reading)하는 이를 판독의(radiologist)라 하고, 판독의의 의견을 청취한 뒤 임상 진단을 내리는 이를 임상의(clinician)라 부르기도 한다. 판독의는 의료 영상의 판독 전문가이며, 의료 영상 장비와 의료 영상 처리 기술에 대한 전문 지식을 가지고 있지만 환자를 직접 대면하거나 상담하지 않기 때문에, 최종적인 임상 진단은 환자와 직접 대면하고 검진을 수행한 임상의의 몫이다.
현재의 병/의원에서 수행되는 영상 진단 절차는, 임상의가 환자와 상담 또는 환자를 진찰한 후 의료 영상의 촬영을 의뢰하고, 촬영된 의료 영상을 판독의에게 판독하도록 의뢰한다. 판독의는 임상의가 판독을 수행하도록 리포트(report)를 작성하여 전달하는데, 최근의 PACS는 이러한 리포팅 시스템까지 포괄하는 경우가 있다.
3차원(3D) 의료 영상의 판독 과정에 대해 살펴보면, 판독의(radiologist)는 3D 판독 과정에서 3D 의료 영상에서 관심 병변을 등록한 후 리포팅(reporting) 정보를 의료 영상 저장 전송 시스템(PACS; Picture Archiving and Communication System)로 전송한다.
판독의는 새로운 의료 영상의 판독 시, 연관되는 이전 의료 영상을 호출하여 관련된 리포트를 참고하기도 하는데, 이 과정의 번거로움을 해소하기 위한 리포팅 시스템의 일 예로 선행기술인 한국등록특허 제10-1241060호 "의료 영상 정보 저장과 표시 방법 및 그 장치"가 개발된 바 있다.
그러나 이러한 선행기술에 의하더라도 판독의 또는 임상의가 리포트를 불러 오는 과정의 시간을 단축하고, 과거 리포트를 편리하게 참고할 수 있지만, 판독의가 리포트를 작성하는 과정은 여전히 불편함이 남아 있었다.
종래 3D 의료 영상의 판독 과정에 대해 살펴보면, 종래에는 판독의에 의해 하나의 병변이 탐색되면 탐색된 병변을 포함하는 판독 정보를 캡쳐한 후 PACS로 전송하고, 그 다음 병변을 탐색하여 병변이 탐색되면 탐색된 병변을 포함하는 판독 정보를 캡쳐한 후 PACS로 전송하는 탐색, 캡쳐, 전송 과정을 반복적으로 수행하게 된다.
하지만, 종래 3D 의료 영상의 판독 방법은 탐색, 캡쳐, 전송 과정이 반복적으로 수행되기 때문에 판독 과정의 병변 탐색에 있어 집중력과 효율성을 저해하는 문제점이 있다. 즉, 병변 하나에 대해 탐색하고 캡쳐한 후에야 비로소 다음 병변을 탐색할 수 있거나, 캡쳐한 병변을 PACS로 전송한 후에 다음 병변을 탐색할 수 있기 때문에 판독 흐름이 끊어져 전체적인 판독 효율성을 떨어뜨리고, 불필요한 반복 작업으로 인해 판독 시간을 증가시키는 문제점을 가지고 있다.
따라서, 판독의가 3차원 의료 영상을 판독하는 과정에서 판독 효율성을 향상시킬 수 있는 방법의 필요성이 대두된다.
한국등록특허 10-1241060호 "의료 영상 정보 저장과 표시 방법 및 그 장치" (등록일: 2013. 03. 04)
본 발명은 상기와 같은 종래 기술의 문제점을 해결하고자 도출된 것으로서, 의료 영상 판독 과정에서 관심 병변 탐색 및 리포팅(reporting)을 위한 구조화된 정보 형태를 제공함으로써, 판독 시간을 줄이고, 판독 효율성을 향상시킬 수 있는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 의료 영상 판독 과정에서 복수의 관심 병변 정보와 복수의 관심 병변에 대한 판독 정보의 캡쳐 영상들을 획득 한 후 캡쳐 영상들과 복수의 관심 병변 정보를 의료 영상 저장 전송 시스템으로 일괄적으로 한번에 전송할 수 있는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 복수의 관심 병변 정보에 포함된 계층적인 정보를 이용하여 관심 병변 정보를 그룹핑(grouping)할 수 있는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치를 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법은 3차원 의료 영상에 대한 판독 과정에서 사용자 인터페이스를 이용한 사용자의 입력으로부터 관심 영역 정보를 획득하는 단계; 상기 획득된 상기 관심 영역에 대한 장기 정보, 병변 크기, 주석, 위치 정보, 마크 중 적어도 하나를 포함하는 영상 정보를 상기 사용자의 입력에 기반하여 획득하는 단계; 상기 획득된 상기 관심 영역 정보와 상기 영상 정보를 포함하는 판독 정보를 미리 정의된 구조화된 정보 형태로 생성하는 단계; 상기 생성된 상기 판독 정보를 판독 정보 리스트에 추가하는 단계; 및 상기 판독 정보 리스트에 포함된 적어도 하나 이상의 판독 정보 각각에 대응하는 캡쳐 영상을 획득하는 단계를 포함한다.
나아가, 본 발명에 따른 방법은 상기 판독 정보 리스트에 상기 생성된 상기 판독 정보가 추가되면, 상기 판독 정보 리스트에 포함된 복수의 판독 정보를 상기 복수의 판독 정보 각각의 관심 영역 정보와 영상 정보 중 적어도 하나를 이용하여 그룹핑(grouping)하는 단계를 더 포함할 수 있다.
상기 그룹핑하는 단계는 상기 복수의 판독 정보 각각에 포함된 상기 장기 정보와 상기 장기 정보에 대응하는 장기의 미리 정의된 복수 영역 중 해당 영역 정보를 이용하여 상기 복수의 판독 정보를 그룹핑하거나 상기 복수의 판독 정보 각각에 포함된 상기 사용자에 의해 입력된 텍스트 또는 태그를 파싱(parsing)하고 상기 파싱된 정보를 이용하여 상기 복수의 판독 정보를 그룹핑할 수 있다.
상기 구조화된 정보 형태로 생성하는 단계는 상기 관심 영역 정보에 포함된 정보와 상기 영상 정보에 포함된 정보를 이용하여 상기 판독 정보를 상기 사용자에 의해 미리 정의된 계층적인 정보 형태로 생성할 수 있다.
상기 캡쳐 영상을 획득하는 단계는 상기 획득된 상기 캡쳐 영상을 이용하여 상기 캡쳐 영상을 획득한 시점의 작업 환경 정보를 재현할 수 있도록 상기 작업 환경 정보를 상기 획득된 상기 캡쳐 영상과 연관지어 저장할 수 있다. 이 때 상기 캡쳐 영상을 획득하는 단계는 사용자의 제2 입력에 기반하여 실행되거나, 판독 정보를 구조화된 정보의 형태로 저장하는 동안 백그라운드에서 실행될 수도 있다.
더 나아가, 본 발명에 따른 방법은 상기 적어도 하나 이상의 판독 정보 각각에 대응하는 캡쳐 영상 획득 후 상기 하나 이상의 판독 정보와 상기 하나 이상의 판독 정보 각각에 대응 하는 캡쳐 영상을 의료 영상 저장 전송 시스템으로 전송하는 단계를 더 포함할 수 있다.
상기 캡쳐 영상을 획득하는 단계에서 상기 판독 정보 리스트에 포함된 복수의 판독 정보 각각에 대응하는 캡쳐 영상은 미리 정의된 하나의 사용자 입력에 기반하여 획득될 수 있다.
본 발명의 일 실시예에 따른 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 장치는 3차원 의료 영상에 대한 판독 과정에서 사용자 인터페이스를 이용한 사용자의 입력으로부터 관심 영역 정보를 획득하고, 상기 획득된 상기 관심 영역에 대한 장기 정보, 병변 크기, 주석, 위치 정보, 마크 중 적어도 하나를 포함하는 영상 정보를 상기 사용자의 입력에 기반하여 획득하는 정보 획득부; 상기 획득된 상기 관심 영역 정보와 상기 영상 정보를 포함하는 판독 정보를 미리 정의된 구조화된 정보 형태로 생성하고, 상기 생성된 상기 판독 정보를 판독 정보 리스트에 추가하는 판독 정보 생성부; 및 상기 판독 정보 리스트에 포함된 적어도 하나 이상의 판독 정보 각각에 대응하는 캡쳐 영상을 획득하는 영상 캡쳐부를 포함한다.
나아가, 본 발명에 따른 장치는 상기 적어도 하나 이상의 판독 정보 각각에 대응하는 캡쳐 영상 획득 후 상기 하나 이상의 판독 정보와 상기 하나 이상의 판독 정보 각각에 대응 하는 캡쳐 영상을 의료 영상 저장 전송 시스템으로 전송하는 판독 정보 전송부를 더 포함할 수 있다.
본 발명에 따르면, 의료 영상 판독 과정에서 관심 병변 탐색 및 리포팅(reporting)을 위한 구조화된 정보 형태를 제공하고, 복수의 관심 병변 정보와 복수의 관심 병변에 대한 판독 정보의 캡쳐 영상들을 획득 한 후 캡쳐 영상들과 복수의 관심 병변 정보를 의료 영상 저장 전송 시스템으로 일괄적으로 한번에 전송할 수 있기 때문에 판독 흐름이 끊기는 것을 방지하여 판독 효율성을 향상시키고, 판독 시간을 줄일 수 있다.
또한, 본 발명에 따르면, 복수의 관심 영역 정보 각각에 포함된 계층적인 정보 형태를 이용하여 관심 병변 정보를 그룹핑(grouping)할 수 있기 때문에 관심 병변 정보를 관리하기 용이하고, 판독된 병변들에 대한 정보를 확인하기 용이하다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 본 발명의 다른 일 실시예에 따른 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 계층적인 관심 병변 정보를 사용자 입력 기반으로 획득하는 일 예시도를 나타낸 것이다.
도 4는 콜론의 경우 관심 병변의 위치 정보를 설명하기 위한 일 예시도를 나타낸 것이다.
도 5는 캡쳐 영상의 종류를 설정하기 위한 사용자 인터페이스에 대한 일 예를 나타낸 것이다.
도 6은 폐에 대한 캡쳐 영상과 판독 정보 리스트에 대한 일 예시도를 나타낸 것이다.
도 7은 콜론에 대한 캡쳐 영상과 판독 정보 리스트에 대한 일 예시도를 나타낸 것이다.
도 8은 심장에 대한 캡쳐 영상과 판독 정보 리스트에 대한 일 예시도를 나타낸 것이다.
도 9는 의료 영상 저장 전송 시스템에 저장된 판독 정보 리스트를 탐색한 결과에 대한 일 예시도를 나타낸 것이다.
도 10은 본 발명의 일 실시예에 따른 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 장치에 대한 구성을 나타낸 것이다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시 예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
일반적으로 판독의(radiologist)가 의료 영상을 검토하는 과정을 판독(reading)이라 하며, 판독 또한 진단(diagnosis)의 일 부분을 구성한다. 판독의는 판독 의견을 임상의(clinician)에게 전달하고, 임상의는 자신이 환자를 직접 대하여 얻은 판단과 판독의의 판독 의견을 종합하여 최종적인 임상 진단을 내리게 된다. 본 명세서에서 사용된 "판독"과 "진단"은 이러한 의미에서 채택된 단어이다.
그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명은, 예를 들면, 이하의 뇌 자기공명영상(MRI)의 병변을 검출하고 진단/판독 리포트를 작성하는 과정에서 그 효과를 명백하게 보일 수 있다.
뇌 자기공명영상에서는 병변(lesion)의 분할(segmentation), 정합(registration) 프로토콜을 이용하여 뇌경색 의심 환자의 FLAIR MRI 병변(White Matter Hyperintensity, Micro/Macrobleeds acute infarct, chronic infarct)을 찾을 수 있다.
이 때 본 발명의 일 실시예에 따른 뇌 자기공명영상의 병변 분할/정합 및 정량화 프로토콜은 다음과 같은 순서로 이루어질 수 있다.
① 원본 영상을 테이블의 Pre-processing도구를 이용하여 작업이 용이하도록 이미지를 수정한다.
② 테이블의 mesh control을 이용하여 병변의 크기가 Template size에 맞게 옮겨질수 있도록 mesh 크기를 조절한다.
③ 마우스 버튼과 휠, 키보드 상의 단축키 등을 이용하여 Selection window를 형성할 수 있는데, Selection window를 이용하여 순차적으로 병변 영역을 대략적으로 설정 후 자세한 병변 영역은 마우스 등의 인터페이스를 이용한 수동의 free-draw로 그려낼 수도 있다.
④ 병변을 그린 후 특정의 예약된 키(예를 들면, space bar)를 이용하여 수집된 병변들을 관리하는 Lesion window로 병변을 옮긴다.
⑤ 병변에 대한 수치 정보를 입력한다.
⑥ 병변에 대한 수치 정보와 병변을 포함하는 의료 영상의 일부가 캡쳐된 영상을 포함하는 리포트를 생성한다.
본 발명에서 판독의는 ①부터 ⑤까지의 과정을 여러 병변에 대하여 반복적으로 수행한 후 ⑥ 과정을 복수의 병변에 대하여 일괄적으로 수행할 수 있다.
의료 영상의 캡쳐 과정은 과정 ⑥에서 이루어질 수도 있으며, 과정 ④에서 백그라운드로 이루어질 수도 있다. 다만 과정 ⑥에서 병변의 영역이나 정보를 판독의가 수정하는 경우에는 과정 ④에서 미리 이루어진 캡쳐 데이터는 무시되고 새로이 영상의 캡쳐가 이루어지게 될 것이다.
이하에서는, 본 발명의 일 실시 예에 따른 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치를 첨부된 도 1 내지 도 10을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법에 대한 동작 흐름도를 나타낸 것이다.
도 1을 참조하면, 본 발명에 따른 방법은 판독을 위한 의료 영상 예를 들어, 3차원 의료 영상을 뷰어(viewer) 등의 화면에 디스플레이하고, 사용자 인터페이스를 이용한 사용자 입력 즉, 판독의(radiologist) 입력을 통해 3차원 의료 영상에서 관심 영역 정보를 획득한다(S110, S120).
여기서, 관심 영역 정보는 관심 병변 정보를 포함할 수 있고, 관심 병변 정보는 병변의 종류, 병변의 크기 정보를 포함할 수 있다.
단계 S120에서, 판독의는 사용자 인터페이스를 이용하여 미리 정의된 병변 정보들로부터 해당 관심 병변 종류를 선택함으로써 관심 병변 정보를 입력할 수도 있고, 사용자 인터페이스를 통해 관심 병변 종류를 직접 입력함으로써 관심 병변 정보를 입력할 수도 있다. 그리고, 병변의 크기는 사용자 인터페이스에서 제공하는 크기 측정 기능을 이용하여 판독의가 직접 크기를 측정함으로써 획득될 수 있다.
사용자 입력 기반으로 관심 영역 정보가 획득되면, 획득된 관심 영역 정보에 대한 영상 정보를 사용자 입력을 통해 획득한다(S130).
이 때, 관심 영역에 대한 영상 정보는 관심 영역 즉, 병변이 위치한 해부학적 장기 명칭과 세부 장기 명칭, 관심 영역의 위치 정보, 판독의에 입력된 주석과 마크 등의 정보를 포함할 수 있으며, 세부 장기 명칭은 해당 장기가 미리 정의된 복수 영역으로 분할되는 경우 복수 영역에 대응하는 명칭을 의미할 수 있다. 예를 들어, 해당 장기가 심장인 경우 세부 장기 명칭은 좌심방, 우심방, 좌심실, 우심실 등이 될 수 있다.
단계 S130에서, 판독의는 사용자 인터페이스를 이용하여 미리 정의된 장기 명칭들, 세부 장기 명칭들로부터 해당 장기 명칭, 세부 장기 명칭을 선택하거나 사용자 인터페이스를 이용하여 해당 장기 명칭, 세부 장기 명칭을 직접 입력함으로써 영상 정보에 포함되는 장기 명칭과 세부 장기 명칭을 입력할 수 있다. 물론, 세부 장기 명칭이 없는 경우 영상 정보에는 세부 장기 명칭이 포함되지 않을 수 있다.
그리고, 관심 병변에 대한 주석과 마크 등에 대한 정보 또한 사용자 인터페이스를 통한 판독의의 직접적인 입력을 통해 획득될 수 있다. 관심 영역의 위치 정보 또한 사용자(판독의)가 3차원 의료 영상에서 관심 영역으로 클릭한 위치에 대한 정보로서, 단계 S130에서의 영상 정보는 사용자가 클릭한 관심 영역의 위치 정보를 기반으로 획득될 수 있다.
단계 S120, S130에 의해 관심 영역 정보(관심 병변 정보)와 관심 영역 정보에 대한 영상 정보가 획득되면, 획득된 관심 영역 정보와 영상 정보를 포함하는 판독 정보를 구조화된 정보 형태로 생성한다(S140).
여기서, 구조화된 정보 형태는 계층적인 정보 형태를 가질 수 있으며, 예를 들어, 관심 병변 종류, 장기 명칭, 세부 장기 명칭 순으로 계층적인 정보 형태를 가질 수도 있고, 관심 병변 종류, 장기 명칭, 병변 크기 순으로 계층적인 정보 형태를 가질 수도 있다.
단계 S140에 의해 생성된 판독 정보는 관심 병변 정보를 포함하는 북마크(bookmark) 정보가 될 수도 있다.
이런 구조화된 정보 형태는 본 발명이 적용되는 뷰어 또는 장치에서 제공하는 사용자 인터페이스를 이용하여 미리 정의된 정보들 중에서 판독의가 직접 계층적인 구조 순으로 정보를 선택함으로써 설정될 수도 있고, 정보들의 계층 구조가 미리 정의된 복수의 구조화된 정보 형태들 중에서 어느 하나의 구조화된 정보 형태를 판독의가 선택함으로써 설정될 수도 있다. 예를 들어, 도 3에 도시된 일 예와 같이, 해부학적 장기 명칭 하부에 RCA(Right Coronary Artery), LAD(Left Anterior Descending), LCX(Left Circumflex) 등의 세부 장기 또는 세부 위치에 대한 관심 병변 정보 예를 들어, Proximal Lesion, Distal Lesion, Mid Lesion 등을 판독의가 사용자 인터페이스를 통해 직접 등록하여 관리할 수 있다.
단계 S140에 의해 구조화된 정보 형태로 판독 정보가 생성되면 생성된 판독 정보를 판독 정보 리스트에 추가하고, 판독 정보 리스트에 이미 추가된 다른 판독 정보들과 단계 S140에서 추가된 판독 정보를 구조화된 정보들을 이용하여 그룹핑(grouping)한다(S150, S160).
단계 S150에서 판독 정보 리스트에 추가되는 판독 정보는 판독 정보 리스트 ID 또는 판독 정보 ID, 관심 병변의 위치 정보, 관심 병변 정보와 영상 정보 등을 포함할 수 있는 구조로 이루어질 수 있으며, 위치 정보, 관심 병변 정보 및 영상 정보는 판독 정보를 그룹핑할 때 사용될 수 있다.
단계 S160은 복수의 판독 정보들 각각에 포함된 관심 영역 또는 관심 병변 정보와 영상 정보 중 적어도 하나를 이용하여 복수의 판독 정보들을 그룹핑할 수 있다. 예를 들어, 그룹핑은 병변 종류와 장기 명칭을 기준으로 그룹핑될 수도 있고, 병변 종류, 장기 명칭과 세부 장기 명칭을 기준으로 그룹핑될 수도 있다. 즉, 단계 S160은 복수의 계층 레벨들에서 일정 레벨의 정보를 가지고 그룹핑할 수 있다.
다른 일 예로, 단계 S160은 판독 정보에 사용자 즉, 판독의에 의해 텍스트와 태그 등이 입력된 경우 입력된 텍스트 또는 태그를 파싱(parsing)하고 파싱된 정보를 이용하여 복수의 판독 정보들을 그룹핑할 수도 있다. 여기서, 텍스트는 주석 등이 될 수도 있고, 사용자에 의해 별도로 입력된 정보일 수도 있다.
이런 그룹핑 정보는 판독 정보를 관리하는데 용이하고, 판독의가 판독 정보를 리포팅할 때 용이하게 사용할 수도 있다. 즉, 판독의가 판독 정보들을 탐색할 때 그룹핑 정보를 이용하여 용이하게 탐색할 수도 있고, 그룹핑 정보를 이용하여 판독 정보들을 화면에 용이하게 디스플레이(display)시킬 수도 있다.
도 1에서 그룹핑하는 단계 160의 과정을 도시하였지만, 그룹핑 단계는 상황에 따라 생략될 수도 있다.
판독의는 3차원 의료 영상에서 판독하고자 하는 다른 관심 영역 또는 다른 관심 병변이 존재하는지 확인하고, 다른 관심 영역 또는 다른 관심 병변이 존재하는 경우 단계 S120 내지 S160 과정을 반복 수행한다(S170).
사용자 인터페이스를 이용하여 3차원 의료 영상의 판독 완료에 대한 사용자 입력이 수신되면, 판독 정보 리스트에 포함된 판독 정보들 각각에 대응하는 캡쳐 영상을 획득한다(S180).
여기서, 단계 S180은 판독 정보의 영상 정보에 포함된 관심 병변의 위치 정보를 이용하여 영상을 캡쳐(capture)함으로써, 캡쳐 영상을 획득할 수 있다.
나아가, 본 발명에서 단계 S180은 캡쳐 영상을 획득할 때 캡쳐 영상을 획득한 시점의 작업 환경 정보를 재현할 수 있도록 캡쳐 영상과 작업 환경 정보를 연관지어 저장할 수도 있다. 이 때, 작업 환경 정보는 행잉 프로토콜(hanging protocol) 정보, 사용자 인터페이스 정보 등 해당 작업을 수행하는 시점의 뷰어에 대한 환경 정보일 수 있다.
도 1에서 도시된 것처럼, 사용자(예를 들면 판독의, radiologist)는 의료 영상에서 병변을 발견하고 병변에 대하여 미리 정의된 사용자 입력(영역 설정, 윈도우 설정 또는 마우스를 이용한 free draw)을 입력할 수 있다. 이 때 본 발명의 사용자 인터페이스는 단계 S120 내지 S140을 거쳐 병변에 대한 구조화된 판독 정보를 생성할 수 있다. 구조화된 판독 정보는 판독 정보 리스트에 추가되며(S150), 사용자가 병변을 발견한 이후에 미리 정의된 사용자 입력에 의하여 자동적으로 단계 S120 내지 S150까지가 진행될 수 있다. 이 때 단계 S120 내지 S150 의 과정 중에는 사용자의 추가적인 입력이 요구될 수도 있겠으나, 이는 다음 단계로의 진행을 위한 확인 버튼을 클릭하는 정도에 불과할 것이다.
사용자가 복수의 구조화된 판독 정보를 판독 정보 리스트에 추가한 상태에서 복수의 구조화된 판독 정보는 단계 S180을 거쳐 캡쳐 영상의 형태로 획득되어야 한다. 이 때 사용자의 미리 정의된 입력(예를 들면, "캡쳐" 버튼을 마우스로 클릭하거나, "다음 단계" 버튼을 마우스로 클릭하는 등의 입력)이 있으면, 사용자 인터페이스는 판독이 완료된 것으로 간주하고(S170), 단계 S180을 거쳐 복수의 구조화된 판독 정보 리스트에 대한 캡쳐 영상을 획득한다.
즉, 사용자는 한번의 입력("다음 단계" 버튼을 마우스로 클릭하는 등)을 통하여 복수의 병변들에 대한 구조화된 판독 정보 리스트에 대한 캡쳐 영상을 자동적으로 제공받을 수 있는 것이다.
이 때 단계 S170에서 "판독 완료"라는 표현을 사용하였으나, 이는 하나의 표현에 불과할 뿐, 실제로는 사용자의 미리 정의된 입력(예를 들면 "다음 단계" 버튼을 마우스로 클릭)을 수신하였음을 의미할 수 있다. 단계 S170에서 판독 완료의 의미는 영구적인 판독 완료를 의미하는 것이 아니라 다음 단계로 진행하기 위한 단계 S120 내지 S160까지의 과정이 일시적으로 완료되었음을 의미할 수 있다.
캡쳐 영상을 획득하기 위한 관심 병변의 위치 정보는 관심 병변이 위치한 좌표 정보가 될 수도 있고, 도 4에 도시된 일 예와 같이, 3D 의료 영상이 콜론(colon)인 경우 관심 병변의 위치 정보는 항문에서부터의 거리 정보일 수도 있다.
단계 S180에서 캡쳐되는 캡쳐 영상의 종류는 미리 설정될 수 있으며, 설정된 캡쳐 영상에 대한 종류는 도 5에 도시된 바와 같이, 판독의에 의해 변경 가능할 수 있다. 즉, 관심 병변의 캡쳐 영상은 도 5에 도시된 바와 같이, 새지탈(sagittal) 단면 영상, 액시얼(axial) 단면 영상, 코로날(coronal) 단면 영상, 3차원 영상(3D) 등과 같은 영상 종류가 장치에 의해 미리 설정될 수 있지만, 이렇게 설정된 캡쳐 영상의 영상 종류는 해당 사용자 인터페이스를 이용한 사용자 입력을 통해 추가, 삭제, 변경될 수도 있다. 도 5는 캡쳐 영상의 종류를 설정, 변경할 수 있는 일 예를 도시한 것으로, 캡쳐 영상의 종류를 설정, 변경할 수 있는 항목들은 콜론, 심장, 폐 등의 영상 종류에 따라 다르게 구성될 수도 있다.
그리고, 캡쳐 영상은 하나의 영상이 될 수도 있지만, 이에 한정하지 않고 상이한 종류의 복수 영상이 될 수도 있다.
일 예로, 3차원 의료 영상이 폐(lung)에 대한 영상이고, 단계 S180에 의해 설정된 캡쳐 영상의 종류가 액시얼 단면 영상인 경우 도 6에 도시된 일 예와 같이, 캡쳐 영상은 폐에 대한 액시얼 영상이 될 수 있다. 도 6에 도시된 finding lists는 폐에서의 관심 병변에 대한 판독 정보들 각각일 수도 있고, 판독 정도들이 추가된 판독 정보 리스트일 수도 있다.
다른 일 예로, 3차원 의료 영상이 콜론(colon)에 대한 영상이고, 단계 S180에 의해 설정된 캡쳐 영상의 종류가 내시경(endo)영상, 3차원(3D) 영상, 밴드(band) 영상, 와 네비게이터(navigator)에 대한 영상의 복수의 영상인 경우 도 7에 도시된 일 예와 같이, 캡쳐 영상은 콜론의 판독 정보에 대한 내시경 영상(720), 3차원 영상(710), 밴드 영상(730)과 네비게이터 영상(740)일 수 있다. 마찬가지로, 도 7에 도시된 finding lists는 콜론에서의 관심 병변에 대한 판독 정보들 각각일 수도 있고, 판독 정도들이 추가된 판독 정보 리스트일 수도 있다.
또 다른 일 예로, 3차원 의료 영상이 심장(cardiac)에 대한 영상이고, 단계 S180에 의해 설정된 캡쳐 영상의 종류가 VR(volume rendering) 영상, CPR(curved planar reconstruction) 영상, S-CPR(standard CPR) 영상의 복수의 영상인 경우 도 8에 도시된 일 예와 같이, 심장에 대한 VR 영상(820), CPR 영상(810)과 S-CPR 영상(830)일 수 있다. 마찬가지로, 도 8에 도시된 finding lists는 심장에서의 관심 병변에 대한 판독 정보들 각각일 수도 있고, 판독 정도들이 추가된 판독 정보 리스트일 수도 있다.
전체 판독 정보들 각각에 대한 캡쳐 영상이 모두 획득되면, 획득된 모든 캡쳐 영상과 판독 정보들을 의료 영상 저장 전송 시스템으로 일괄적으로 전송한다(S190).
이 때, 의료 영상 저장 전송 시스템으로 전송되는 정보는 캡쳐 영상과 판독 정보들 뿐만 아니라 환자 정보, 의료 영상을 촬영한 장치에 대한 정보 등을 포함할 수도 있다.
상술한 단계 S180과 S190은 사용자 입력 기반으로 수행되는 것으로, 사용자 인터페이스를 이용하여 사용자로부터 일괄 캡쳐 및 전송에 대한 입력이 수신되는 경우 수행되는 것으로, 도 3과 도 4에 도시된 일괄 캡쳐 및 전송 버튼(310, 410)이 사용자 인터페이스를 통해 입력되면 단계 S180과 S190이 수행된다.
이와 같이, 본 발명에 따른 방법은 관심 병변 정보를 포함하는 판독 정보를 미리 정의된 구조화된 정보 형태를 이용하여 생성하고, 판독 정보들에 대응하는 캡쳐 영상을 사용자 입력 기반으로 일괄적으로 캡쳐한 후 의료 영상 저장 전송 시스템으로 전송하기 하기 때문에 판독 흐름이 끊기는 것을 방지하여 판독 효율성을 향상시키고, 판독 시간을 줄일 수 있다.
또한, 본 발명에 따른 방법은 복수의 관심 영역 정보 각각에 포함된 계층적인 정보 형태를 이용하여 관심 병변 정보를 그룹핑할 수 있기 때문에 관심 병변 정보를 관리하기 용이하고, 판독된 병변들에 대한 정보를 확인하기 용이하다.
나아가, 본 발명은 사용자 입력을 기반으로 관심 병변을 판독하기 때문에 판독의의 입력 없이 병변에 대한 정보가 자동으로 생성되는 것을 방지할 수 있다.
본 발명에 의해 의료 영상 저장 전송 시스템(PACS)에 저장된 판독 정보들은 판독의 또는 전문의에 의해 검색될 수 있으며, 이 때, 그룹핑 정보가 이용될 수도 있다.
예를 들어, 도 9에 도시된 일 예와 같이, 전문의 또는 판독의에 의해 판독 정보가 검색되면 검색된 판독 정보 예를 들어, 병변 종류, 장기 명칭 등이 캡쳐된 캡쳐 영상과 함께 구조화된 정보 형태로 디스플레이되고, 검색된 판독 정보들 중에서 확인하고자 하는 판독 정보가 선택되면 선택된 판독 정보의 캡쳐 영상이 캡쳐된 시점의 작업 환경 정보를 이용하여 판독 정보에 대한 작업 환경을 화면에 디스플레이할 수 있다.
도 2는 본 발명의 다른 일 실시예에 따른 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법에 대한 동작 흐름도를 나타낸 것으로, 도 1과 비교해서 캡쳐 영상을 획득하는 시점이 상이한 것이다.
도 2를 참조하면, 본 발명에 따른 방법은 판독을 위한 3차원 의료 영상을 뷰어(viewer) 등의 화면에 디스플레이하고, 사용자 인터페이스를 이용한 판독의(radiologist) 입력을 통해 3차원 의료 영상에서 관심 영역 정보를 획득한다(S210, S220).
여기서, 관심 영역 정보는 관심 병변 정보를 포함할 수 있고, 관심 병변 정보는 병변의 종류, 병변의 크기 정보를 포함할 수 있다.
단계 S220에서, 판독의는 사용자 인터페이스를 이용하여 미리 정의된 병변 정보들로부터 해당 관심 병변 종류를 선택함으로써 관심 병변 정보를 입력할 수도 있고, 사용자 인터페이스를 통해 관심 병변 종류를 직접 입력함으로써 관심 병변 정보를 입력할 수도 있다. 그리고, 병변의 크기는 사용자 인터페이스에서 제공하는 크기 측정 기능을 이용하여 판독의가 직접 크기를 측정함으로써 획득될 수 있다.
사용자 입력 기반으로 관심 영역 정보가 획득되면, 획득된 관심 영역 정보에 대한 영상 정보를 사용자 입력을 통해 획득한다(S230).
이 때, 관심 영역에 대한 영상 정보는 관심 영역 즉, 병변이 위치한 해부학적 장기 명칭과 세부 장기 명칭, 관심 영역의 위치 정보, 판독의에 입력된 주석과 마크 등의 정보를 포함할 수 있으며, 세부 장기 명칭은 해당 장기가 미리 정의된 복수 영역으로 분할되는 경우 복수 영역에 대응하는 명칭을 의미할 수 있다. 예를 들어, 해당 장기가 폐인 경우 세부 장기 명칭은 좌폐, 우폐 등이 될 수 있다.
단계 S230에서, 판독의는 사용자 인터페이스를 이용하여 미리 정의된 장기 명칭들, 세부 장기 명칭들로부터 해당 장기 명칭, 세부 장기 명칭을 선택하거나 사용자 인터페이스를 이용하여 해당 장기 명칭, 세부 장기 명칭을 직접 입력함으로써 영상 정보에 포함되는 장기 명칭과 세부 장기 명칭을 입력할 수 있다. 물론, 세부 장기 명칭이 없는 경우 영상 정보에는 세부 장기 명칭이 포함되지 않을 수 있다.
그리고, 관심 병변에 대한 주석과 마크 등에 대한 정보 또한 사용자 인터페이스를 통한 판독의의 직접적인 입력을 통해 획득될 수 있다. 관심 영역의 위치 정보 또한 판독의가 3차원 의료 영상에서 관심 영역으로 클릭한 위치에 대한 정보로서, 단계 S230에서의 영상 정보는 사용자가 클릭한 관심 영역의 위치 정보를 기반으로 획득될 수 있다.
단계 S220, S230에 의해 관심 영역 정보(관심 병변 정보)와 관심 영역 정보에 대한 영상 정보가 획득되면, 획득된 관심 영역 정보와 영상 정보를 포함하는 판독 정보를 구조화된 정보 형태로 생성한다(S240).
여기서, 구조화된 정보 형태는 계층적인 정보 형태를 가질 수 있으며, 예를 들어, 관심 병변 종류, 장기 명칭, 세부 장기 명칭 순으로 계층적인 정보 형태를 가질 수도 있고, 관심 병변 종류, 장기 명칭, 병변 크기 순으로 계층적인 정보 형태를 가질 수도 있다.
단계 S240에 의해 생성된 판독 정보는 관심 병변 정보를 포함하는 북마크(bookmark) 정보가 될 수도 있다.
이런 구조화된 정보 형태는 본 발명이 적용되는 뷰어 또는 장치에서 제공하는 사용자 인터페이스를 이용하여 미리 정의된 정보들 중에서 판독의가 직접 계층적인 구조 순으로 정보를 선택함으로써 설정될 수도 있고, 정보들의 계층 구조가 미리 정의된 복수의 구조화된 정보 형태들 중에서 어느 하나의 구조화된 정보 형태를 판독의가 선택함으로써 설정될 수도 있다.
단계 S240에 의해 구조화된 정보 형태로 판독 정보가 생성되면 생성된 판독 정보에 대응하는 캡쳐 영상을 획득한다(S250).
여기서, 단계 S250은 판독 정보의 영상 정보에 포함된 관심 병변의 위치 정보를 이용하여 영상을 캡쳐(capture)함으로써, 캡쳐 영상을 획득할 수 있다.
나아가, 본 발명에서 단계 S250은 캡쳐 영상을 획득할 때 캡쳐 영상을 획득한 시점의 작업 환경 정보를 재현할 수 있도록 캡쳐 영상과 작업 환경 정보를 연관지어 저장할 수도 있다. 이 때, 작업 환경 정보는 행잉 프로토콜(hanging protocol) 정보, 사용자 인터페이스 정보 등 해당 작업을 수행하는 시점의 뷰어에 대한 환경 정보일 수 있다.
캡쳐 영상을 획득하기 위한 관심 병변의 위치 정보는 관심 병변이 위치한 좌표 정보가 될 수도 있고, 3D 의료 영상이 콜론(colon)인 경우 관심 병변의 위치 정보는 항문에서부터의 거리 정보일 수도 있다.
본 발명의 단계 S250은 사용자 입력을 통해 캡쳐 영상을 획득할 수도 있지만, 이에 한정하지 않으며 판독 정보가 생성되면(S240) 생성된 판독 정보를 이용하여 캡쳐 영상을 자동적으로 획득할 수도 있다.
단계 S250에서 캡쳐되는 캡쳐 영상의 종류는 미리 설정될 수 있으며, 설정된 캡쳐 영상에 대한 종류는 판독의에 의해 변경 가능할 수 있다. 그리고, 관심 병변의 캡쳐 영상은 새지탈(sagittal) 단면 영상, 액시얼(axial) 단면 영상, 코로날(coronal) 단면 영상, 3차원 영상(3D) 등과 같은 영상 종류가 장치에 의해 미리 설정될 수 있지만, 이렇게 설정된 캡쳐 영상의 영상 종류는 해당 사용자 인터페이스를 이용한 사용자 입력을 통해 추가, 삭제, 변경될 수도 있다. 이런, 캡쳐 영상의 종류는 콜론, 심장, 폐 등의 영상 종류에 따라 다르게 구성될 수 있으며, 캡쳐 영상은 하나의 영상이 될 수도 있지만, 이에 한정하지 않고 상이한 종류의 복수 영상이 될 수도 있다.
캡쳐 영상이 획득되면, 획득된 캡쳐 영상과 생성된 판독 정보를 판독 정보 리스트에 추가하고, 판독 정보 리스트에 이미 추가된 다른 판독 정보들과 단계 S240에서 추가된 판독 정보를 구조화된 정보들을 이용하여 그룹핑(grouping)한다(S260, S270).
단계 S260에서 판독 정보 리스트에 추가되는 판독 정보는 판독 정보 리스트 ID 또는 판독 정보 ID, 관심 병변의 위치 정보, 관심 병변 정보와 영상 정보 등을 포함할 수 있는 구조로 이루어질 수 있으며, 위치 정보, 관심 병변 정보 및 영상 정보는 판독 정보를 그룹핑할 때 사용될 수 있다.
단계 S270은 복수의 판독 정보들 각각에 포함된 관심 영역 또는 관심 병변 정보와 영상 정보 중 적어도 하나를 이용하여 복수의 판독 정보들을 그룹핑할 수 있다. 일 예로, 그룹핑은 병변 종류와 장기 명칭을 기준으로 그룹핑될 수도 있고, 병변 종류, 장기 명칭과 세부 장기 명칭을 기준으로 그룹핑될 수도 있다. 다른 일 예로, 단계 S270은 판독 정보에 사용자 즉, 판독의에 의해 텍스트와 태그 등이 입력된 경우 입력된 텍스트 또는 태그를 파싱(parsing)하고 파싱된 정보를 이용하여 복수의 판독 정보들을 그룹핑할 수도 있다. 여기서, 텍스트는 주석 등이 될 수도 있고, 사용자에 의해 별도로 입력된 정보일 수도 있다.
이런 그룹핑 정보는 판독 정보를 관리하는데 용이하고, 판독의가 판독 정보를 리포팅할 때 용이하게 사용할 수도 있다. 즉, 판독의가 판독 정보들을 탐색할 때 그룹핑 정보를 이용하여 용이하게 탐색할 수도 있고, 그룹핑 정보를 이용하여 판독 정보들을 화면에 용이하게 디스플레이(display)시킬 수도 있다.
판독의는 3차원 의료 영상에서 판독하고자 하는 다른 관심 영역 또는 다른 관심 병변이 존재하는지 확인하고, 다른 관심 영역 또는 다른 관심 병변이 존재하는 경우 단계 S220 내지 S270 과정을 반복 수행한다(S280).
전체 판독 정보들과 캡쳐 영상들이 판독 정보 리스트에 모두 추가되면, 사용자 입력 기반으로 모든 캡쳐 영상과 판독 정보들을 의료 영상 저장 전송 시스템으로 일괄적으로 전송한다(S290).
이 때, 의료 영상 저장 전송 시스템으로 전송되는 정보는 캡쳐 영상과 판독 정보들 뿐만 아니라 환자 정보, 의료 영상을 촬영한 장치에 대한 정보 등을 포함할 수 있다.
상술한 단계 S290은 사용자 입력 기반으로 수행되는 것으로, 사용자 인터페이스를 이용하여 사용자로부터 전송에 대한 입력이 수신되는 경우 수행되는 것으로, 사용자 인터페이스에 미리 정의된 전송 버튼이 판독의에 의해 선택되면 단계 S190이 수행된다.
도 10은 본 발명의 일 실시예에 따른 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 장치에 대한 구성을 나타낸 것이다.
도 10을 참조하면, 본 발명에 따른 장치(1000)는 사용자 입력부(1010), 디스플레이부(1020), 정보 획득부(1030), 판독 정보 생성부(1040), 영상 캡쳐부(1050) 및 판독 정보 전송부(1060)를 포함한다.
사용자 입력부(1010)는 장치에 판독의에 의해 선택된 입력을 장치에 제공하는 구성으로, 마우스, 키보드, 터치 스크린 등의 모든 입력 장치를 포함할 수 있다.디스플레이부(1020)는 사용자 인터페이스, 3차원 의료 영상, 판독 정보 등의 본 발명에서 화면에 표시할 수 있는 모든 정보를 표시하는 구성으로, 도 3 내지 도 9에 도시된 예들을 디스플레이한다.
이 때, 디스플레이부(1020)는 행잉 프로토콜을 이용하여 사용자 인터페이스를 구성하고, 본 발명에 대한 메뉴와 기능들을 제공할 수 있다.
정보 획득부(1030)는 디스플레이부(1020)에 디스플레이된 3차원 의료 영상에 대한 판독 과정에서 사용자 인터페이스를 이용한 사용자(판독의)의 입력으로부터 관심 영역 정보(또는 관심 병변 정보)를 획득하고, 획득된 관심 영역에 대한 영상 정보를 사용자의 입력에 기반하여 획득한다.
여기서, 관심 영역 정보는 관심 병변 정보를 포함할 수 있고, 관심 병변 정보는 병변의 종류, 병변의 크기 정보를 포함할 수 있으며, 영상 정보는 병변이 위치한 해부학적 장기 명칭과 세부 장기 명칭, 관심 영역의 위치 정보, 판독의에 입력된 주석과 마크 등의 정보를 포함할 수 있다. 세부 장기 명칭은 해당 장기가 미리 정의된 복수 영역으로 분할되는 경우 복수 영역에 대응하는 명칭을 의미할 수 있다.
정보 획득부(1030)는 사용자 입력부(1010)를 통해 판독의가 미리 정의된 병변 정보들로부터 해당 관심 병변 종류를 선택함으로써 관심 병변 정보를 획득할 수도 있고, 사용자 입력부(1010)를 통해 판독의가 관심 병변 종류를 직접 입력함으로써 관심 병변 정보를 획득할 수도 있으며, 병변의 크기는 사용자 인터페이스에서 제공하는 크기 측정 기능을 이용하여 판독의가 직접 크기를 측정함으로써 획득될 수 있다.
정보 획득부(1030)는 판독의가 사용자 인터페이스를 이용하여 미리 정의된 장기 명칭들, 세부 장기 명칭들로부터 해당 장기 명칭, 세부 장기 명칭을 선택하거나 사용자 인터페이스를 이용하여 해당 장기 명칭, 세부 장기 명칭을 직접 입력함으로써 영상 정보를 획득할 수 있다.
또한, 정보 획득부(1030)는 사용자 인터페이스를 통한 판독의의 직접적인 입력을 통해 관심 병변에 대한 주석과 마크 등에 대한 정보를 획득할 수도 있으며, 판독의가 3차원 의료 영상에서 관심 영역으로 클릭한 위치에 대한 정보를 관심 영역의 위치 정보로 획득할 수 있다.
판독 정보 생성부(1040)는 정보 획득부(1030)에 의해 획득된 관심 영역 정보와 영상 정보를 포함하는 판독 정보를 미리 정의된 구조화된 정보 형태로 생성하고, 생성된 판독 정보를 판독 정보 리스트에 추가한다.
여기서, 구조화된 정보 형태는 판독의 또는 장치에서 미리 정의된 계층적인 정보 형태를 의미할 수 있는데, 일 예로, 관심 병변 종류, 장기 명칭, 세부 장기 명칭 순으로 계층적인 정보 형태를 가질 수도 있고, 다른 일 예로, 관심 병변 종류, 장기 명칭, 병변 크기 순으로 계층적인 정보 형태를 가질 수도 있다.
이 때, 판독 정보 생성부(1040)는 판독 정보 리스트에 판독 정보가 추가되면, 판독 정보 리스트에 포함된 복수의 판독 정보를 복수의 판독 정보 각각의 관심 영역 정보와 영상 정보 중 적어도 하나를 이용하여 그룹핑(grouping)할 수도 있는데, 1) 복수의 판독 정보 각각에 포함된 장기 정보와 장기 정보에 대응하는 장기의 미리 정의된 복수 영역 중 해당 영역 정보를 이용하여 복수의 판독 정보를 그룹핑할 수도 있고, 2) 복수의 판독 정보 각각에 포함된 판독의에 의해 입력된 텍스트 또는 태그를 파싱(parsing)하고 파싱된 정보를 이용하여 복수의 판독 정보를 그룹핑할 수도 있다.
판독 정보 생성부(1040)에 의해 생성되는 판독 정보의 구조화된 정보 형태는 장치에서 제공하는 사용자 인터페이스를 이용하여 미리 정의된 정보들 중에서 판독의가 직접 계층적인 구조 순으로 정보를 선택함으로써 설정될 수도 있고, 정보들의 계층 구조가 미리 정의된 복수의 구조화된 정보 형태들 중에서 어느 하나의 구조화된 정보 형태를 판독의가 선택함으로써 설정될 수도 있다.
영상 캡쳐부(1050)는 사용자의 입력에 기반하여 판독 정보 리스트에 포함된 적어도 하나 이상의 판독 정보 각각에 대응하는 캡쳐 영상을 획득한다.
이 때, 영상 캡쳐부(1050)는 획득된 캡쳐 영상을 이용하여 캡쳐 영상을 획득한 시점의 작업 환경 정보를 재현할 수 있도록 작업 환경 정보를 캡쳐 영상과 연관지어 저장할 수 있는데, 작업 환경 정보는 행잉 프로토콜(hanging protocol) 정보, 사용자 인터페이스 정보 등 해당 작업을 수행하는 시점의 뷰어에 대한 환경 정보일 수 있다.
또한, 영상 캡쳐부(1050)는 미리 설정된 캡쳐 영상의 종류에 대한 정보를 이용하여 영상을 캡쳐할 수 있으며, 설정된 캡쳐 영상에 대한 종류는 판독의에 의해 변경 가능할 수 있다. 그리고, 관심 병변의 캡쳐 영상은 새지탈(sagittal) 단면 영상, 액시얼(axial) 단면 영상, 코로날(coronal) 단면 영상, 3차원 영상(3D) 등과 같은 영상 종류가 장치에 의해 미리 설정될 수 있지만, 이렇게 설정된 캡쳐 영상의 영상 종류는 해당 사용자 인터페이스를 이용한 사용자 입력을 통해 추가, 삭제, 변경될 수도 있다. 이런, 캡쳐 영상의 종류는 콜론, 심장, 폐 등의 영상 종류에 따라 다르게 구성될 수 있으며, 캡쳐 영상은 하나의 영상이 될 수도 있지만, 이에 한정하지 않고 상이한 종류의 복수 영상이 될 수도 있다.
판독 정보 전송부(1060)는 적어도 하나 이상의 판독 정보 각각에 대응하는 캡쳐 영상 획득 후 하나 이상의 판독 정보와 하나 이상의 판독 정보 각각에 대응 하는 캡쳐 영상을 사용자 입력에 기반하여 의료 영상 저장 전송 시스템으로 전송한다.
이 때, 판독 정보 전송부(1060)는 캡쳐 영상과 판독 정보들 뿐만 아니라 환자 정보, 의료 영상을 촬영한 장치에 대한 정보 등을 의료 영상 저장 전송 시스템으로 전송할 수 있다.
본 발명의 일 실시예에 따른 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (14)

  1. 3차원 의료 영상에 대한 판독 과정에서 사용자 인터페이스를 이용한 사용자의 입력으로부터 관심 영역 정보를 획득하는 단계;
    상기 획득된 상기 관심 영역에 대한 장기 정보, 병변 크기, 주석, 위치 정보, 마크 중 적어도 하나를 포함하는 영상 정보를 상기 사용자의 입력에 기반하여 획득하는 단계;
    상기 획득된 상기 관심 영역 정보와 상기 영상 정보를 포함하는 판독 정보를 미리 정의된 구조화된 정보 형태로 생성하는 단계;
    상기 생성된 상기 판독 정보를 판독 정보 리스트에 추가하는 단계; 및
    상기 판독 정보 리스트에 포함된 적어도 하나 이상의 판독 정보 각각에 대응하는 캡쳐 영상을 획득하는 단계
    를 포함하는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법.
  2. 제1항에 있어서,
    상기 판독 정보 리스트에 상기 생성된 상기 판독 정보가 추가되면, 상기 판독 정보 리스트에 포함된 복수의 판독 정보를 상기 복수의 판독 정보 각각의 관심 영역 정보와 영상 정보 중 적어도 하나를 이용하여 그룹핑(grouping)하는 단계
    를 더 포함하는 것을 특징으로 하는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법.
  3. 제2항에 있어서,
    상기 그룹핑하는 단계는
    상기 복수의 판독 정보 각각에 포함된 상기 장기 정보와 상기 장기 정보에 대응하는 장기의 미리 정의된 복수 영역 중 해당 영역 정보를 이용하여 상기 복수의 판독 정보를 그룹핑하거나 상기 복수의 판독 정보 각각에 포함된 상기 사용자에 의해 입력된 텍스트 또는 태그를 파싱(parsing)하고 상기 파싱된 정보를 이용하여 상기 복수의 판독 정보를 그룹핑하는 것을 특징으로 하는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법.
  4. 제1항에 있어서,
    상기 구조화된 정보 형태로 생성하는 단계는
    상기 관심 영역 정보에 포함된 정보와 상기 영상 정보에 포함된 정보를 이용하여 상기 판독 정보를 상기 사용자에 의해 미리 정의된 계층적인 정보 형태로 생성하는 것을 특징으로 하는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법.
  5. 제1항에 있어서,
    상기 캡쳐 영상을 획득하는 단계는
    상기 획득된 상기 캡쳐 영상을 이용하여 상기 캡쳐 영상을 획득한 시점의 작업 환경 정보를 재현할 수 있도록 상기 작업 환경 정보를 상기 획득된 상기 캡쳐 영상과 연관지어 저장하는 것을 특징으로 하는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법.
  6. 제1항에 있어서,
    상기 적어도 하나 이상의 판독 정보 각각에 대응하는 캡쳐 영상 획득 후 상기 하나 이상의 판독 정보와 상기 하나 이상의 판독 정보 각각에 대응 하는 캡쳐 영상을 의료 영상 저장 전송 시스템으로 전송하는 단계
    를 더 포함하는 것을 특징으로 하는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법.
  7. 제1항에 있어서,
    상기 캡쳐 영상을 획득하는 단계는
    상기 판독 정보 리스트에 포함된 복수의 판독 정보 각각에 대응하는 캡쳐 영상을 미리 정의된 하나의 사용자 입력에 기반하여 획득되는 것을 특징으로 하는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법.
  8. 3차원 의료 영상에 대한 판독 과정에서 사용자 인터페이스를 이용한 사용자의 입력으로부터 관심 영역 정보를 획득하고, 상기 획득된 상기 관심 영역에 대한 장기 정보, 병변 크기, 주석, 위치 정보, 마크 중 적어도 하나를 포함하는 영상 정보를 상기 사용자의 입력에 기반하여 획득하는 정보 획득부;
    상기 획득된 상기 관심 영역 정보와 상기 영상 정보를 포함하는 판독 정보를 미리 정의된 구조화된 정보 형태로 생성하고, 상기 생성된 상기 판독 정보를 판독 정보 리스트에 추가하는 판독 정보 생성부; 및
    상기 판독 정보 리스트에 포함된 적어도 하나 이상의 판독 정보 각각에 대응하는 캡쳐 영상을 획득하는 영상 캡쳐부
    를 포함하는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 장치.
  9. 제8항에 있어서,
    상기 판독 정보 생성부는
    상기 판독 정보 리스트에 상기 생성된 상기 판독 정보가 추가되면, 상기 판독 정보 리스트에 포함된 복수의 판독 정보를 상기 복수의 판독 정보 각각의 관심 영역 정보와 영상 정보 중 적어도 하나를 이용하여 그룹핑(grouping)하는 것을 특징으로 하는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 장치.
  10. 제9항에 있어서,
    상기 판독 정보 생성부는
    상기 복수의 판독 정보 각각에 포함된 상기 장기 정보와 상기 장기 정보에 대응하는 장기의 미리 정의된 복수 영역 중 해당 영역 정보를 이용하여 상기 복수의 판독 정보를 그룹핑하거나 상기 복수의 판독 정보 각각에 포함된 상기 사용자에 의해 입력된 텍스트 또는 태그를 파싱(parsing)하고 상기 파싱된 정보를 이용하여 상기 복수의 판독 정보를 그룹핑하는 것을 특징으로 하는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 장치.
  11. 제8항에 있어서,
    상기 판독 정보 생성부는
    상기 관심 영역 정보에 포함된 정보와 상기 영상 정보에 포함된 정보를 이용하여 상기 판독 정보를 상기 사용자에 의해 미리 정의된 계층적인 정보 형태로 생성하는 것을 특징으로 하는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 장치.
  12. 제8항에 있어서,
    상기 영상 캡쳐부는
    상기 획득된 상기 캡쳐 영상을 이용하여 상기 캡쳐 영상을 획득한 시점의 작업 환경 정보를 재현할 수 있도록 상기 작업 환경 정보를 상기 획득된 상기 캡쳐 영상과 연관지어 저장하는 것을 특징으로 하는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 장치.
  13. 제8항에 있어서,
    상기 적어도 하나 이상의 판독 정보 각각에 대응하는 캡쳐 영상 획득 후 상기 하나 이상의 판독 정보와 상기 하나 이상의 판독 정보 각각에 대응 하는 캡쳐 영상을 의료 영상 저장 전송 시스템으로 전송하는 판독 정보 전송부
    를 더 포함하는 것을 특징으로 하는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 장치.
  14. 제8항에 있어서,
    상기 영상 캡쳐부는
    상기 판독 정보 리스트에 포함된 복수의 판독 정보 각각에 대응하는 캡쳐 영상을 미리 정의된 하나의 사용자 입력에 기반하여 획득하는 것을 특징으로 하는 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 장치.
KR1020140005956A 2014-01-17 2014-01-17 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치 KR101576047B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140005956A KR101576047B1 (ko) 2014-01-17 2014-01-17 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140005956A KR101576047B1 (ko) 2014-01-17 2014-01-17 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20150085943A true KR20150085943A (ko) 2015-07-27
KR101576047B1 KR101576047B1 (ko) 2015-12-09

Family

ID=53874902

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140005956A KR101576047B1 (ko) 2014-01-17 2014-01-17 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101576047B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016032300A1 (ko) * 2014-08-29 2016-03-03 서울시립대학교산학협력단 일반화된 시간 의존도를 고려한 음파에 대한 은폐 방법 및 그 장치
WO2016032301A1 (ko) * 2014-08-29 2016-03-03 서울시립대학교산학협력단 공간적 주기성을 가지는 산란매체를 이용한 음파에 대한 은폐 방법 및 그 장치
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
KR20190117187A (ko) * 2018-04-06 2019-10-16 주식회사 뷰노 의료 영상을 시각화하는 방법 및 이를 이용한 장치
KR20200043185A (ko) * 2018-10-17 2020-04-27 (의료)길의료재단 의료 영상 판독 문구 태깅 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
WO2022149836A1 (ko) * 2021-01-11 2022-07-14 한림대학교 산학협력단 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
KR20230147235A (ko) 2022-04-13 2023-10-23 오스템임플란트 주식회사 툴 사용 정보를 제공하는 방법 및 디바이스

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097815A1 (ko) * 2020-11-03 2022-05-12 한국 한의학 연구원 열화상 카메라를 이용한 한의사의 복부 촉진기반 냉감 영역 재현 진단모델 개발 기술

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100868339B1 (ko) 2007-11-15 2008-11-12 주식회사 인트로메딕 의료용 영상 데이터의 디스플레이 방법과 의료용 영상데이터를 이용한 캡쳐 영상 제공 시스템 및 그 방법
JP5677807B2 (ja) * 2010-11-04 2015-02-25 株式会社日立メディコ 医用画像表示装置とその方法及びプログラム
KR101241060B1 (ko) * 2011-03-29 2013-03-11 주식회사 인피니트헬스케어 의료 영상 정보 저장과 표시 방법 및 그 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016032300A1 (ko) * 2014-08-29 2016-03-03 서울시립대학교산학협력단 일반화된 시간 의존도를 고려한 음파에 대한 은폐 방법 및 그 장치
WO2016032301A1 (ko) * 2014-08-29 2016-03-03 서울시립대학교산학협력단 공간적 주기성을 가지는 산란매체를 이용한 음파에 대한 은폐 방법 및 그 장치
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN109583440B (zh) * 2017-09-28 2021-12-17 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
KR20190117187A (ko) * 2018-04-06 2019-10-16 주식회사 뷰노 의료 영상을 시각화하는 방법 및 이를 이용한 장치
KR20200043185A (ko) * 2018-10-17 2020-04-27 (의료)길의료재단 의료 영상 판독 문구 태깅 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
WO2022149836A1 (ko) * 2021-01-11 2022-07-14 한림대학교 산학협력단 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
KR20220102172A (ko) * 2021-01-11 2022-07-20 한림대학교 산학협력단 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
US11935239B2 (en) 2021-01-11 2024-03-19 Industry Academic Cooperation Foundation, Hallym University Control method, apparatus and program for system for determining lesion obtained via real-time image
KR20230147235A (ko) 2022-04-13 2023-10-23 오스템임플란트 주식회사 툴 사용 정보를 제공하는 방법 및 디바이스

Also Published As

Publication number Publication date
KR101576047B1 (ko) 2015-12-09

Similar Documents

Publication Publication Date Title
KR101576047B1 (ko) 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치
US11631495B2 (en) Systems and methods for contextual imaging workflow
JP5670079B2 (ja) 医用画像表示装置および方法、並びにプログラム
US8744149B2 (en) Medical image processing apparatus and method and computer-readable recording medium for image data from multiple viewpoints
JP5349384B2 (ja) 医用画像表示装置および方法並びにプログラム
CN103460212B (zh) 基于图像数据生成报告
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
JP5274180B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
US20150235007A1 (en) System and method for generating a report based on input from a radiologist
JP5390805B2 (ja) 出力装置およびその方法、プログラム、記録媒体
JP2009086765A (ja) 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
US20100082365A1 (en) Navigation and Visualization of Multi-Dimensional Image Data
JP2007037781A (ja) 画像処理装置及び画像処理システム
US20170262584A1 (en) Method for automatically generating representations of imaging data and interactive visual imaging reports (ivir)
KR101352999B1 (ko) 특성정보를 활용하는 의료영상 북마크 장치 및 방법
JP2019153249A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP2016040688A (ja) 読影レポート作成支援装置
JP2007072649A (ja) 読影レポート作成装置
JP2015171456A (ja) 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム
JP6579849B2 (ja) 読影レポート作成支援システム、読影レポート作成支援方法、及び読影レポート作成支援プログラム
JP2003175039A (ja) 医用画像診断装置及び医用画像診断装置の制御方法
KR20210148132A (ko) 스닙-트리거링된 디지털 영상 보고서 생성
JP2010227207A (ja) 読影レポート作成支援装置及びプログラム
WO2022220158A1 (ja) 作業支援装置、作業支援方法、及び作業支援プログラム
WO2021172477A1 (ja) 文書作成支援装置、方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant