KR102665091B1 - Apparatus and method for processing medical information - Google Patents
Apparatus and method for processing medical information Download PDFInfo
- Publication number
- KR102665091B1 KR102665091B1 KR1020180158244A KR20180158244A KR102665091B1 KR 102665091 B1 KR102665091 B1 KR 102665091B1 KR 1020180158244 A KR1020180158244 A KR 1020180158244A KR 20180158244 A KR20180158244 A KR 20180158244A KR 102665091 B1 KR102665091 B1 KR 102665091B1
- Authority
- KR
- South Korea
- Prior art keywords
- medical information
- information
- medical
- user
- dimensional
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 12
- 238000000034 method Methods 0.000 title abstract description 35
- 230000010365 information processing Effects 0.000 claims abstract description 43
- 230000003993 interaction Effects 0.000 claims abstract description 41
- 238000012800 visualization Methods 0.000 claims abstract description 25
- 230000002452 interceptive effect Effects 0.000 claims abstract description 21
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 28
- 201000010099 disease Diseases 0.000 claims description 28
- 230000006399 behavior Effects 0.000 claims description 18
- 238000003672 processing method Methods 0.000 claims description 12
- 230000009023 proprioceptive sensation Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000003745 diagnosis Methods 0.000 description 11
- 206010003246 arthritis Diseases 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000052 comparative effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000003325 tomography Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008685 targeting Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
Abstract
의료 정보 처리 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 의료 정보 처리 장치는 의료 정보를 입력 받아 빅데이터 기반 정보 탐색을 수행하여 초기 작업 환경을 설정하는 상호 작용 가이드부; 상기 의료 정보를 3차원 공간 상에 배치시키고, 상기 의료 정보에 상응하는 의료 보조 정보를 상기 3차원 공간 상에 추가로 배치하는 의료 정보 가시화부 및 상기 3차원 공간에서 상기 의료 보조 정보를 이용하여 상기 의료 정보에 대한 가상 진단을 제공하기 위한 3차원 상호 작용 인터페이스를 제공하는 3차원 공간 정보 탐색부를 포함한다.A medical information processing device and method are disclosed. A medical information processing device according to an embodiment of the present invention includes an interaction guide unit that receives medical information and performs big data-based information search to set an initial work environment; A medical information visualization unit that arranges the medical information in a three-dimensional space and additionally arranges medical assistance information corresponding to the medical information in the three-dimensional space, and uses the medical assistance information in the three-dimensional space to display the medical information. It includes a 3D spatial information exploration unit that provides a 3D interactive interface for providing virtual diagnosis of medical information.
Description
본 발명은 가상/증강/혼합현실과 빅데이터 처리 기술에 관한 것으로, 보다 상세하게는 가상/증강/혼합현실에 기반하여 데이터를 가시화하고, 의료 정보로 대표되는 빅데이터를 처리하는 기술에 관한 것이다.The present invention relates to virtual/augmented/mixed reality and big data processing technology, and more specifically, to technology for visualizing data based on virtual/augmented/mixed reality and processing big data represented by medical information. .
현재는 과학과 의료 기술의 발전에 따라서 질병의 진단과 진료 진행을 위한 환자와 관련된 검사 및 진료 과정에서 생성되는 데이터가 기하급수적으로 증가하는 추세이다. 그러나, 빅데이터로 표현되는 대용량의 데이터로부터 사용자(의사)의 목적에 부합하는 정보를 획득하기 위한 자료의 검색(search & browsing) 기술은 좁은 2차원 스크린(모니터) 공간에서 데스크톱 입력 인터페이스(예; 키보드, 마우스)를 중심으로 단속적인 (discrete) 자료의 입력 및 2차원 적인 선택 기능을 지원하는 수준이다.Currently, with the advancement of science and medical technology, the data generated during patient-related examinations and treatment for disease diagnosis and treatment is increasing exponentially. However, data search (search & browsing) technology to obtain information that meets the purpose of the user (doctor) from large amounts of data expressed as big data is a desktop input interface (e.g., a desktop input interface) in a narrow two-dimensional screen (monitor) space. This level supports discrete data input and two-dimensional selection functions centered on keyboard and mouse.
현재의 정보 검색 상호작용 방법은 작업의 결과가 사용자(의사) 개개인의 숙련도에 크게 의존하는 시스템을 형성해서, 빅데이터가 제공되어도 획득할 수 있는 정보의 수준에 격차가 발생하는 한계가 있다. 그러므로, 항상 최고의 의료 서비스를 희망하는 일반 소비자 입장에서는 동일한 정량적 데이터를 기반으로 차별적인 숙련도의 의사가 가진 문제 해결 능력 기반의 서비스를 일정 수준 이상으로 품질을 제공할 수 있도록 추가적인 기술이 개발될 필요성이 있다.The current information search interaction method forms a system in which the results of the work are greatly dependent on the skill level of each user (doctor), so there is a limit to the gap in the level of information that can be obtained even when big data is provided. Therefore, from the perspective of general consumers who always hope for the best medical service, there is a need to develop additional technologies to provide quality services above a certain level based on the problem-solving ability of doctors with differentiated skills based on the same quantitative data. there is.
한편, 한국공개특허 제 10-2011-0048118 호“의료 진단 장비 및 데이터 전송방법”는 의료검사장치에서 획득한 진단 대상체의 2차원 및 3차원 영상데이터를 사용자 단말에서 검색하여 조회할 수 있도록 함에 있어 보다 신속하고 효율적으로 대용량의 영상데이터들을 관리 및 제공할 수 있는 의료진단 시스템 및 데이터 전송방법 에 관하여 개시하고 있다.Meanwhile, Korean Patent Publication No. 10-2011-0048118 “Medical diagnostic equipment and data transmission method” allows users to search and view 2-dimensional and 3-dimensional image data of diagnostic objects obtained from medical examination devices on a user terminal. A medical diagnosis system and data transmission method that can manage and provide large amounts of image data more quickly and efficiently are disclosed.
본 발명은 의료 분야의 빅데이터 대상으로 사용자에게 가장 적합한 정보를 검색, 가공, 유지 및 재활용하는 것을 목적으로 한다.The purpose of the present invention is to search, process, maintain, and recycle information most suitable for users as a big data target in the medical field.
또한, 본 발명은 2차원적인 자료를 대상으로 일정한 패턴으로 수행되는 의료 정보 탐색 및 서비스 과정에 인공지능 학습 기술을 도입해서, 해당 서비스의 프로세스에 자동화된 보조 정보 지원 기능을 추가하는 것을 목적으로 한다.In addition, the present invention aims to add an automated auxiliary information support function to the service process by introducing artificial intelligence learning technology into the medical information search and service process performed in a certain pattern on two-dimensional data. .
또한, 본 발명은 의료 분야의 빅데이터에 대한 검색 인터페이스/상호작용 방법/가시화 방법을 VR/AR/MR 기술을 기반으로 단순 텍스트, 키워드, 이미지 및 동영상 등의 2차원 환경에서 검토하는 행위의 효율성을 개선하는 것을 목적으로 한다.In addition, the present invention addresses the efficiency of reviewing search interfaces/interaction methods/visualization methods for big data in the medical field in a two-dimensional environment such as simple text, keywords, images, and videos based on VR/AR/MR technology. The purpose is to improve.
또한, 본 발명은 의료 분야의 빅데이터 노출의 초기 설정 상태를 자동적으로 제시하는 지능형 학습 구조를 제안하는 것을 목적으로 한다.Additionally, the purpose of the present invention is to propose an intelligent learning structure that automatically presents the initial setting state of big data exposure in the medical field.
또한, 본 발명은 사용자 개개인의 노하우를 정량적인 형태로 기록하여 사용자의 작업 성능 향상을 유도하고, 동일 분야의 사용자는 일정 수준 이상의 지식을 공유할 수 있는 플랫폼을 확보하는 것을 목적으로 한다.In addition, the purpose of the present invention is to record each user's know-how in a quantitative form to improve the user's work performance, and to secure a platform where users in the same field can share knowledge above a certain level.
또한, 본 발명은 3차원 공간에서의 정보 검색 작업을 수행하는 방법을 제공하는 것을 목적으로 한다.Additionally, the present invention aims to provide a method for performing an information search task in three-dimensional space.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 의료 정보 처리 장치는 의료 정보를 입력 받아 빅데이터 기반 정보 탐색을 수행하여 초기 작업 환경을 설정하는 상호 작용 가이드부; 상기 의료 정보를 3차원 공간 상에 배치시키고, 상기 의료 정보에 상응하는 의료 보조 정보를 상기 3차원 공간 상에 추가로 배치하는 의료 정보 가시화부 및 상기 3차원 공간에서 상기 의료 보조 정보를 이용하여 상기 의료 정보에 대한 가상 진단을 제공하기 위한 3차원 상호 작용 인터페이스를 제공하는 3차원 공간 정보 탐색부를 포함한다.A medical information processing device according to an embodiment of the present invention for achieving the above object includes an interaction guide unit that receives medical information and performs big data-based information search to set an initial work environment; A medical information visualization unit that arranges the medical information in a three-dimensional space and additionally arranges medical auxiliary information corresponding to the medical information in the 3-dimensional space, and uses the medical auxiliary information in the 3-dimensional space to It includes a 3D spatial information explorer that provides a 3D interactive interface for providing virtual diagnosis of medical information.
본 발명은 의료 분야의 빅데이터 대상으로 사용자에게 가장 적합한 정보를 검색, 가공, 유지 및 재활용할 수 있다.The present invention is a big data target in the medical field and can search, process, maintain, and recycle information most suitable for users.
또한, 본 발명은 2차원적인 자료를 대상으로 일정한 패턴으로 수행되는 의료 정보 탐색 및 서비스 과정에 인공지능 학습 기술을 도입해서, 해당 서비스의 프로세스에 자동화된 보조 정보 지원 기능을 추가할 수 있다.In addition, the present invention introduces artificial intelligence learning technology into the medical information search and service process that is performed in a certain pattern on two-dimensional data, making it possible to add an automated auxiliary information support function to the service process.
또한, 본 발명은 의료 분야의 빅데이터에 대한 검색 인터페이스/상호작용 방법/가시화 방법을 VR/AR/MR 기술을 기반으로 단순 텍스트, 키워드, 이미지 및 동영상 등의 2차원 환경에서 검토하는 행위의 효율성을 개선할 수 있다.In addition, the present invention addresses the efficiency of reviewing search interfaces/interaction methods/visualization methods for big data in the medical field in a two-dimensional environment such as simple text, keywords, images, and videos based on VR/AR/MR technology. can be improved.
또한, 본 발명은 의료 분야의 빅데이터 노출의 초기 설정 상태를 자동적으로 제시하는 지능형 학습 구조를 제안할 수 있다.Additionally, the present invention can propose an intelligent learning structure that automatically presents the initial setting state of big data exposure in the medical field.
또한, 본 발명은 사용자 개개인의 노하우를 정량적인 형태로 기록하여 사용자의 작업 성능 향상을 유도하고, 동일 분야의 사용자는 일정 수준 이상의 지식을 공유할 수 있는 플랫폼을 확보할 수 있다.In addition, the present invention records each user's know-how in a quantitative form, thereby improving the user's work performance, and secures a platform where users in the same field can share knowledge above a certain level.
또한, 본 발명은 3차원 공간에서의 정보 검색 작업을 수행하는 방법을 제공할 수 있다. Additionally, the present invention can provide a method of performing an information retrieval task in three-dimensional space.
도 1은 본 발명의 일실시예에 따른 의료 정보 처리 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 의료 정보 처리부의 일 예를 세부적으로 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 의료 정보 처리 방법을 나타낸 동작흐름도이다.
도 4는 본 발명의 일실시예에 따른 관절염 질환 대상에 대한 의료 정보 처리 방법을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.1 is a block diagram showing a medical information processing device according to an embodiment of the present invention.
FIG. 2 is a block diagram showing in detail an example of the medical information processing unit shown in FIG. 1.
Figure 3 is an operation flowchart showing a medical information processing method according to an embodiment of the present invention.
Figure 4 is a diagram showing a method of processing medical information for a subject with arthritis disease according to an embodiment of the present invention.
Figure 5 is a diagram showing a computer system according to an embodiment of the present invention.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the attached drawings as follows. Here, repeated descriptions, known functions that may unnecessarily obscure the gist of the present invention, and detailed descriptions of configurations are omitted. Embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer explanation.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part “includes” a certain element, this means that it may further include other elements rather than excluding other elements, unless specifically stated to the contrary.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the attached drawings.
본 발명은 가상현실(virtual reality)/ 증강현실(Augmented Reality)/ 혼합현실(Mixed Reality) 기술이 적용되는 분야를 대상 기술이 구체화 되어 제시된다. 앞의 환경에서 사용자가 컴퓨터 자원을 활용해서 의료 정보로 대표되는 빅데이터(BigData) 성격의 많은 정보를 포함하고 있는 대상을 검토(Browsing, searching)할 때, 사용자의 작성 성능 (task performace)를 높이기 위해서 컴퓨터와 사용자 사이의 행위를 모델링하고 입출력 정보의 가시화 형태(visualization)와 조작 방법(예; Interaction Metaphor) 등을 연구하는 인간-컴퓨터 상호작용(HCI; Human Computer Interaction) 기술을 개발하는 분야에 속한다.The present invention presents the target technology in detail in fields where virtual reality/augmented reality/mixed reality technology is applied. In the previous environment, when a user utilizes computer resources to review (browsing, searching) an object containing a lot of information in the nature of Big Data, such as medical information, the user's task performance is improved. It belongs to the field of developing human-computer interaction (HCI) technology that models behavior between computers and users and studies visualization and manipulation methods (e.g. Interaction Metaphor) of input and output information. .
본 발명의 기술분야를 특정 응용 시나리오인 의료 정보 데이터를 분석하는 상황으로 한정해서 예를 들면, 의사가 특정 환자를 기준으로 진료 및 진단 행위를 할 때 검토하게 되는 해당 환자 및 동일 질병/질환의 통계 데이터(Bigdata 성격의 대용량 정보)를 분석하는 행위를 돕는 기술을 제공하는 연구에 해당될 수 있다.By limiting the technical field of the present invention to a situation where medical information data is analyzed, which is a specific application scenario, for example, when a doctor performs treatment and diagnosis based on a specific patient, the statistics of the patient and the same disease/disease are reviewed. This may apply to research that provides technology to help analyze data (large amounts of information in the nature of Bigdata).
도 1은 본 발명의 일실시예에 따른 의료 정보 처리 장치를 나타낸 블록도이다.1 is a block diagram showing a medical information processing device according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 의료 정보 처리 장치는 의료 정보 처리부(110), 의료 정보 빅데이터 데이터베이스(120) 및 사용자 경험 데이터베이스(130)를 포함한다.Referring to FIG. 1, the medical information processing device according to an embodiment of the present invention includes a medical
의료 정보 처리부(110)는 사용자의 필요에 의해서 3차원 가상공간으로 데이터베이스의 정보를 초기화(로드)할 수 있다.The medical
의료 정보 빅데이터 데이터베이스(120)는 의료 정보 연동 표준에 따르는 DICOM 포멧의 이미지 및 PACS 시스템에 연동된 다양한 환자 의료 정보를 입력 데이터베이스로 준비할 수 있다.The medical information
사용자 경험 데이터베이스(130)는 시스템 운영에 따른 사용자 경험을 관리하는 데이터베이스를 준비할 수 있다.The
이 때, 의료 정보 처리부(110)는 상호 작용 가이드부(111), 의료 정보 가시화부(112) 및 3차원 공간 정보 탐색부(113)을 포함할 수 있다.At this time, the medical
상호 작용 가이드부(111)는 의료 정보를 입력 받아 빅데이터 기반 정보 탐색을 수행하여 초기 작업 환경을 설정할 수 있다.The interaction guide unit 111 can set an initial work environment by receiving medical information and performing big data-based information search.
이 때, 상호 작용 가이드부(111)는 현재 사용자 조건에 적합한(최적화된) 정보를 선별하고 가시화 성능을 높이는 형태로 3차원 공간 의료 정보 배치 및 가시화의 초기 입력값의 형태(외형적 데이터의 종류, 3차원 공간 배치의 형상, 사용자의 탐색 명령에 따르는 반응 효과 등)을 결정할 수 있다.At this time, the interaction guide unit 111 selects information suitable (optimized) for the current user conditions and improves visualization performance by arranging 3D spatial medical information and arranging the initial input value for visualization (type of external data). , the shape of the three-dimensional spatial arrangement, the response effect according to the user's navigation command, etc.) can be determined.
의료 정보 가시화부(112)는 상기 의료 정보를 3차원 공간 상에 배치시키고, 상기 의료 정보에 상응하는 의료 보조 정보를 상기 3차원 공간 상에 추가로 배치할 수 있다.The medical information visualization unit 112 may place the medical information in a three-dimensional space and may additionally place medical auxiliary information corresponding to the medical information in the three-dimensional space.
이 때, 의료 정보 가시화부(112)는 3차원 공간에 의료 정보 및 의료 보조 정보가 일정한 기준으로 로드하여 배치시키고, 사용자에 의해 현재 작업 목적에 적합하도록 초기 데이터의 위치 및 노출된 정보의 종류(예; 텍스트, 이미지, 음성 메모 파일, 동영상 등)를 설정할 수 있다.At this time, the medical information visualization unit 112 loads and arranges medical information and medical auxiliary information in a three-dimensional space according to a certain standard, and determines the location of the initial data and the type of exposed information ( (e.g. text, image, voice memo file, video, etc.) can be set.
이 때, 상호 작용 가이드부(111)는 데이터베이스로부터 로드된 초기 데이터의 3차원 공간 배치 및 정보 노출의 속성을 변경하는 경우, 사용자의 모든 변경 상황을 기록하고, 사용자의 과거 행동 학습을 기준으로 다음 작업시의 초기 작업 환경 설정을 수정할 수 있다.At this time, when changing the three-dimensional spatial arrangement and information exposure properties of the initial data loaded from the database, the interaction guide unit 111 records all changes made by the user and makes the next change based on the user's past behavior learning. You can modify the initial work environment settings when working.
3차원 공간 정보 탐색부(113)는 상기 3차원 공간에서 상기 의료 보조 정보를 이용하여 상기 의료 정보에 대한 가상 진단을 제공하기 위한 3차원 상호 작용 인터페이스를 제공할 수 있다.The 3D spatial information explorer 113 may provide a 3D interactive interface for providing a virtual diagnosis of the medical information using the medical assistance information in the 3D space.
예를 들면, 3차원 공간 정보 탐색부(113)는 사용자의 왼손에 관절의 3D 모델이 매핑된 3차원 상호 작용 인터페이스를 제공할 수 있다. 3차원 상호 작용 인터페이스는 자기동작감각(proprioception)에 연계된 방향으로 3차원 공간에서의 직관적인 회전 작업을 수행할 수 있다(비교 설명: 기존에는 키보드 또는 마우스를 사용해서 특정 객체를 선택하고, 그 객체의 특정 축을 기준으로 선형적인 회전 정보를 입력하는 등의 직관성이 떨어지는, 일정 수준의 학습이 필요한 상호작용 방법을 적용했던 것이 일반적이었다.).For example, the 3D spatial information search unit 113 may provide a 3D interactive interface in which a 3D model of a joint is mapped to the user's left hand. The 3D interactive interface can perform intuitive rotation operations in 3D space in a direction linked to proprioception (comparative explanation: Conventionally, a specific object is selected using a keyboard or mouse, and the It was common to apply interaction methods that were less intuitive and required a certain level of learning, such as inputting linear rotation information based on a specific axis of the object.)
3차원 상호 작용 인터페이스는 왼손의 움직임으로 관절염 판정을 위한 정확한 시점을 선정한 후, 사용자는 오른손(가락)에 매핑된 가상의 탐침(예; virtual pointing ray 또는 virtual slicing plane)으로 3D 모델을 지칭(pointing)하는 작업을 하면, 시스템은 해당 위치의 보다 상세도 높은 분석 결과(예; 단층 이미지, 다른 차원의 분석 결과를 3차원 공간에 확장하여 표시, 다중 레이어로 증강 가시화)를 제시할 수 있다. The 3D interactive interface selects the exact time point for determining arthritis by moving the left hand, and then the user points to the 3D model with a virtual probe (e.g. virtual pointing ray or virtual slicing plane) mapped to the right hand (finger). ), the system can present more detailed analysis results of the location (e.g., tomography image, display of analysis results from other dimensions expanded in 3D space, augmented visualization with multiple layers).
이 때, 3차원 공간 정보 탐색부(113)는 사용자는 특정 질환의 상태 점검 및 특정 질병의 징후를 찾기 위한 의료 정보의 탐색 및 분석 행동을 수행할 수 있다.At this time, the 3D spatial information search unit 113 allows the user to search and analyze medical information to check the condition of a specific disease and find signs of a specific disease.
이 때, 상호 작용 가이드부(111)는 3차원 공간 정보 탐색부(113)의 의료 정보의 탐색 및 분석 행동을 관찰 및 학습할 수 있고, 사용자의 주요 관심 정보와 질환/질병 탐색에 따른 주요 의료 정보의 분석 기준을 자동으로 학습하는 서비스를 제공할 수 있다.At this time, the interaction guide unit 111 can observe and learn the medical information search and analysis behavior of the 3D spatial information explorer 113, and provide information on the user's main interest and main medical care according to the disease/disease search. A service that automatically learns information analysis standards can be provided.
즉, 3차원 공간 정보 탐색부(113)가 사용자에 의해 특정 질병의 판정여부를 측정하기 위해 의료 영상 정보를 대상으로 검색 작업(예; 특정 시점에서의 이미지 선정, 특정 기관에 대한 수치 측정, 특정 부분에 대한 검사 결과지의 열람 및 특정 수치에 대한 점검을 하는 행위)을 수행 하는 경우, 상호 작용 가이드부(111)는 해당 질병과의 특정 값의 관계로는 높게 평가하고 기록하는 과정을 통해서 사용자(의사)의 의료 정보 분석 행위를 모니터링하고 학습을 진행할 수 있다.In other words, the 3D spatial information search unit 113 performs a search task (e.g., selecting an image at a specific point in time, measuring numerical values for a specific organ, performing a specific When performing the act of viewing the test result sheet for the part and checking the specific value, the interaction guide unit 111 provides the user ( You can monitor and learn from the doctor's medical information analysis behavior.
이 때, 상호 작용 가이드부(111)는 유사 질환/질병에 대한 작업이 실행되는 경우 과거 사용자 경험 데이터베이스(130)의 데이터를 참고하여, 현재 로드되는 의로 정보 빅데이터 데이터베이스(120)의 의료 정보를 대상으로 선행적으로 사용자(의사)의 탐색 작업의 초기 행위를 수행할 수 있다.At this time, when a task for a similar disease/disease is executed, the interaction guide unit 111 refers to data from the past
이를 통해, 본 발명의 일실시예에 따른 의료 정보 처리 장치는 전체 의료 정보 처리 작업 시간을 단축시킬 수 있고, 상호 작용 가이드부(111)는 다양한 경험 DB의 축적으로 동일 분야의 다수의 사용자(의사)들의 정보 탐색 방법론(프로세스)를 학습 및 가이드 함으로써 다양한 사용자(의사)가 일정 수준 이상의 정보 탐색 성능을 발휘할 수 있도록 가이드를 제공할 수 있다.Through this, the medical information processing device according to an embodiment of the present invention can shorten the overall medical information processing time, and the interaction guide unit 111 allows multiple users (doctors) in the same field to accumulate various experience databases. By learning and guiding the information search methodology (process) of ), it is possible to provide guidance so that various users (doctors) can achieve a certain level of information search performance.
상기의 과정을 통해서 사용자의 목적이 달성된 경우, 의료 정보 처리부(110)는 의료 정보를 처리한 결과에 상응하는 최종 사용자의 결정(예; 진료차트)의 갱신 상태를 사용자 경험 데이터베이스(130)에 기록할 수 있다.When the user's purpose is achieved through the above process, the medical
이 때, 상호 작용 가이드부(111)는 기설정된 기준의 의료 정보 빅데이터를 대상으로 현재 사용자의 진단(의료 정보 탐색) 결정 내용의 매핑 관계를 학습할 수 있다.At this time, the interaction guide unit 111 may learn the mapping relationship of the current user's diagnosis (medical information search) decision based on medical information big data of a preset standard.
도 2는 도 1에 도시된 의료 정보 처리부의 일 예를 세부적으로 나타낸 블록도이다.FIG. 2 is a block diagram showing in detail an example of the medical information processing unit shown in FIG. 1.
도 2를 참조하면, 의료 정보 처리부(110)는 상호 작용 가이드부(111), 의료 정보 가시화부(112) 및 3차원 공간 정보 탐색부(113)을 포함할 수 있다.Referring to FIG. 2, the medical
상호 작용 가이드부(111)는 의료 정보를 입력 받아 빅데이터 기반 정보 탐색을 수행하여 초기 작업 환경을 설정할 수 있다.The interaction guide unit 111 can set an initial work environment by receiving medical information and performing big data-based information search.
이 때, 상호 작용 가이드부(111)는 현재 사용자 조건에 적합한(최적화된) 정보를 선별하고 가시화 성능을 높이는 형태로 3차원 공간 의료 정보 배치 및 가시화의 초기 입력값의 형태(외형적 데이터의 종류, 3차원 공간 배치의 형상, 사용자의 탐색 명령에 따르는 반응 효과 등)을 결정할 수 있다.At this time, the interaction guide unit 111 selects information suitable (optimized) for the current user conditions and improves visualization performance by arranging 3D spatial medical information and arranging the initial input value for visualization (type of external data). , the shape of the three-dimensional spatial arrangement, the response effect according to the user's navigation command, etc.) can be determined.
의료 정보 가시화부(112)는 상기 의료 정보를 3차원 공간 상에 배치시키고, 상기 의료 정보에 상응하는 의료 보조 정보를 상기 3차원 공간 상에 추가로 배치할 수 있다.The medical information visualization unit 112 may place the medical information in a three-dimensional space and may additionally place medical auxiliary information corresponding to the medical information in the three-dimensional space.
이 때, 의료 정보 가시화부(112)는 3차원 공간에 의료 정보 및 의료 보조 정보가 일정한 기준으로 로드하여 배치시키고, 사용자에 의해 현재 작업 목적에 적합하도록 초기 데이터의 위치 및 노출된 정보의 종류(예; 텍스트, 이미지, 음성 메모 파일, 동영상 등)를 설정할 수 있다.At this time, the medical information visualization unit 112 loads and arranges medical information and medical auxiliary information in a three-dimensional space according to a certain standard, and determines the location of the initial data and the type of exposed information ( (e.g. text, image, voice memo file, video, etc.) can be set.
이 때, 상호 작용 가이드부(111)는 데이터베이스로부터 로드된 초기 데이터의 3차원 공간 배치 및 정보 노출의 속성을 변경하는 경우, 사용자의 모든 변경 상황을 기록하고, 사용자의 과거 행동 학습을 기준으로 다음 작업시의 초기 작업 환경 설정을 수정할 수 있다.At this time, when changing the three-dimensional spatial arrangement and information exposure properties of the initial data loaded from the database, the interaction guide unit 111 records all changes made by the user and makes the next change based on the user's past behavior learning. You can modify the initial work environment settings when working.
3차원 공간 정보 탐색부(113)는 상기 3차원 공간에서 상기 의료 보조 정보를 이용하여 상기 의료 정보에 대한 가상 진단을 제공하기 위한 3차원 상호 작용 인터페이스를 제공할 수 있다.The 3D spatial information explorer 113 may provide a 3D interactive interface for providing a virtual diagnosis of the medical information using the medical assistance information in the 3D space.
예를 들면, 3차원 공간 정보 탐색부(113)는 사용자의 왼손에 관절의 3D 모델이 매핑된 3차원 상호 작용 인터페이스를 제공할 수 있다. 3차원 상호 작용 인터페이스는 자기동작감각(proprioception)에 연계된 방향으로 3차원 공간에서의 직관적인 회전 작업을 수행할 수 있다(비교 설명: 기존에는 키보드 또는 마우스를 사용해서 특정 객체를 선택하고, 그 객체의 특정 축을 기준으로 선형적인 회전 정보를 입력하는 등의 직관성이 떨어지는, 일정 수준의 학습이 필요한 상호작용 방법을 적용했던 것이 일반적이었다.).For example, the 3D spatial information search unit 113 may provide a 3D interactive interface in which a 3D model of a joint is mapped to the user's left hand. The 3D interactive interface can perform intuitive rotation operations in 3D space in a direction linked to proprioception (comparative explanation: Conventionally, a specific object is selected using a keyboard or mouse, and the It was common to apply interaction methods that were less intuitive and required a certain level of learning, such as inputting linear rotation information based on a specific axis of the object.)
3차원 상호 작용 인터페이스는 왼손의 움직임으로 관절염 판정을 위한 정확한 시점을 선정한 후, 사용자는 오른손(가락)에 매핑된 가상의 탐침(예; virtual pointing ray 또는 virtual slicing plane)으로 3D 모델을 지칭(pointing)하는 작업을 하면, 시스템은 해당 위치의 보다 상세도 높은 분석 결과(예; 단층 이미지, 다른 차원의 분석 결과를 3차원 공간에 확장하여 표시, 다중 레이어로 증강 가시화)를 제시할 수 있다. The 3D interactive interface selects the exact time point for determining arthritis by moving the left hand, and then the user points to the 3D model with a virtual probe (e.g. virtual pointing ray or virtual slicing plane) mapped to the right hand (finger). ), the system can present more detailed analysis results of the location (e.g., tomography image, display of analysis results from other dimensions expanded in 3D space, augmented visualization with multiple layers).
이 때, 3차원 공간 정보 탐색부(113)는 사용자는 특정 질환의 상태 점검 및 특정 질병의 징후를 찾기 위한 의료 정보의 탐색 및 분석 행동을 수행할 수 있다.At this time, the 3D spatial information search unit 113 allows the user to search and analyze medical information to check the condition of a specific disease and find signs of a specific disease.
이 때, 상호 작용 가이드부(111)는 3차원 공간 정보 탐색부(113)의 의료 정보의 탐색 및 분석 행동을 관찰 및 학습할 수 있고, 사용자의 주요 관심 정보와 질환/질병 탐색에 따른 주요 의료 정보의 분석 기준을 자동으로 학습하는 서비스를 제공할 수 있다.At this time, the interaction guide unit 111 can observe and learn the medical information search and analysis behavior of the 3D spatial information explorer 113, and provide information on the user's main interest and main medical care according to the disease/disease search. A service that automatically learns information analysis standards can be provided.
즉, 3차원 공간 정보 탐색부(113)가 사용자에 의해 특정 질병의 판정여부를 측정하기 위해 의료 영상 정보를 대상으로 검색 작업(예; 특정 시점에서의 이미지 선정, 특정 기관에 대한 수치 측정, 특정 부분에 대한 검사 결과지의 열람 및 특정 수치에 대한 점검을 하는 행위)을 수행 하는 경우, 상호 작용 가이드부(111)는 해당 질병과의 특정 값의 관계로는 높게 평가하고 기록하는 과정을 통해서 사용자(의사)의 의료 정보 분석 행위를 모니터링하고 학습을 진행할 수 있다.In other words, the 3D spatial information search unit 113 performs a search task (e.g., selecting an image at a specific point in time, measuring numerical values for a specific organ, performing a specific When performing the act of viewing the test result sheet for the part and checking the specific value, the interaction guide unit 111 provides the user ( You can monitor and learn from the doctor's medical information analysis behavior.
이 때, 상호 작용 가이드부(111)는 유사 질환/질병에 대한 작업이 실행되는 경우 과거 사용자 경험 데이터베이스(130)의 데이터를 참고하여, 현재 로드되는 의로 정보 빅데이터 데이터베이스(120)의 의료 정보를 대상으로 선행적으로 사용자(의사)의 탐색 작업의 초기 행위를 수행할 수 있다.At this time, when a task for a similar disease/disease is executed, the interaction guide unit 111 refers to data from the past
이를 통해, 본 발명의 일실시예에 따른 의료 정보 처리 장치는 전체 의료 정보 처리 작업 시간을 단축시킬 수 있고, 상호 작용 가이드부(111)는 다양한 경험 DB의 축적으로 동일 분야의 다수의 사용자(의사)들의 정보 탐색 방법론(프로세스)를 학습 및 가이드 함으로써 다양한 사용자(의사)가 일정 수준 이상의 정보 탐색 성능을 발휘할 수 있도록 가이드를 제공할 수 있다.Through this, the medical information processing device according to an embodiment of the present invention can shorten the overall medical information processing time, and the interaction guide unit 111 allows multiple users (doctors) in the same field to accumulate various experience databases. By learning and guiding the information search methodology (process) of ), it is possible to provide guidance so that various users (doctors) can achieve a certain level of information search performance.
상기의 과정을 통해서 사용자의 목적이 달성된 경우, 의료 정보 처리부(110)는 의료 정보를 처리한 결과에 상응하는 최종 사용자의 결정(예; 진료차트)의 갱신 상태를 사용자 경험 데이터베이스(130)에 기록할 수 있다.When the user's purpose is achieved through the above process, the medical
이 때, 상호 작용 가이드부(111)는 기설정된 기준의 의료 정보 빅데이터를 대상으로 현재 사용자의 진단(의료 정보 탐색) 결정 내용의 매핑 관계를 학습할 수 있다.At this time, the interaction guide unit 111 may learn the mapping relationship of the current user's diagnosis (medical information search) decision based on medical information big data of a preset standard.
도 3은 본 발명의 일실시예에 따른 의료 정보 처리 방법을 나타낸 동작흐름도이다.Figure 3 is an operation flowchart showing a medical information processing method according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일실시예에 따른 의료 정보 처리 방법은 먼저 의료 정보를 준비할 수 있다(S210).Referring to FIG. 3, the medical information processing method according to an embodiment of the present invention may first prepare medical information (S210).
즉, 단계(S210)는 의료 정보를 입력 받아 빅데이터 기반 정보 탐색을 수행하여 초기 작업 환경을 설정할 수 있다.That is, in step S210, the initial work environment can be set by receiving medical information and performing big data-based information search.
이 때, 단계(S210)는 현재 사용자 조건에 적합한(최적화된) 정보를 선별하고 가시화 성능을 높이는 형태로 3차원 공간 의료 정보 배치 및 가시화의 초기 입력값의 형태(외형적 데이터의 종류, 3차원 공간 배치의 형상, 사용자의 탐색 명령에 따르는 반응 효과 등)을 결정할 수 있다.At this time, step (S210) selects information suitable (optimized) for the current user conditions and improves visualization performance. The form of the initial input value for 3D spatial medical information placement and visualization (type of external data, 3D The shape of the spatial arrangement, the response effect according to the user's navigation command, etc.) can be determined.
또한, 본 발명의 일실시예에 따른 의료 정보 처리 방법은 의료 정보를 가시화할 수 있다(S220).Additionally, the medical information processing method according to an embodiment of the present invention can visualize medical information (S220).
즉, 단계(S220)는 상기 의료 정보를 3차원 공간 상에 배치시키고, 상기 의료 정보에 상응하는 의료 보조 정보를 상기 3차원 공간 상에 추가로 배치할 수 있다.That is, in step S220, the medical information may be placed in a three-dimensional space, and medical assistance information corresponding to the medical information may be additionally placed in the three-dimensional space.
이 때, 단계(S220)는 3차원 공간에 의료 정보 및 의료 보조 정보가 일정한 기준으로 로드하여 배치시키고, 사용자에 의해 현재 작업 목적에 적합하도록 초기 데이터의 위치 및 노출된 정보의 종류(예; 텍스트, 이미지, 음성 메모 파일, 동영상 등)를 설정할 수 있다.At this time, step S220 loads and arranges medical information and medical auxiliary information in a three-dimensional space according to a certain standard, and determines the location of the initial data and the type of exposed information (e.g., text) to suit the current work purpose by the user. , images, voice memo files, videos, etc.) can be set.
이 때, 단계(S220)는 데이터베이스로부터 로드된 초기 데이터의 3차원 공간 배치 및 정보 노출의 속성을 변경하는 경우, 사용자의 모든 변경 상황을 기록하고, 사용자의 과거 행동 학습을 기준으로 다음 작업시의 초기 작업 환경 설정을 수정할 수 있다.At this time, in step S220, when changing the three-dimensional spatial arrangement and information exposure properties of the initial data loaded from the database, all change situations of the user are recorded, and the next operation is performed based on the user's past behavior learning. You can modify the initial working environment settings.
또한, 본 발명의 일실시예에 따른 의료 정보 처리 방법은 3차원 공간 정보를 탐색할 수 있다(S230).Additionally, the medical information processing method according to an embodiment of the present invention can search 3D spatial information (S230).
즉, 단계(S230)는 3차원 공간에서 상기 의료 보조 정보를 이용하여 상기 의료 정보에 대한 가상 진단을 제공하기 위한 3차원 상호 작용 인터페이스를 제공할 수 있다.That is, step S230 may provide a 3D interaction interface for providing a virtual diagnosis of the medical information using the medical assistance information in 3D space.
예를 들면, 단계(S230)는 사용자의 왼손에 관절의 3D 모델이 매핑된 3차원 상호 작용 인터페이스를 제공할 수 있다. 3차원 상호 작용 인터페이스는 자기동작감각(proprioception)에 연계된 방향으로 3차원 공간에서의 직관적인 회전 작업을 수행할 수 있다(비교 설명: 기존에는 키보드 또는 마우스를 사용해서 특정 객체를 선택하고, 그 객체의 특정 축을 기준으로 선형적인 회전 정보를 입력하는 등의 직관성이 떨어지는, 일정 수준의 학습이 필요한 상호작용 방법을 적용했던 것이 일반적이었다.).For example, step S230 may provide a 3D interactive interface in which a 3D model of a joint is mapped to the user's left hand. The 3D interactive interface can perform intuitive rotation operations in 3D space in a direction linked to proprioception (comparative explanation: Conventionally, a specific object is selected using a keyboard or mouse, and the It was common to apply interaction methods that were less intuitive and required a certain level of learning, such as inputting linear rotation information based on a specific axis of the object.)
3차원 상호 작용 인터페이스는 왼손의 움직임으로 관절염 판정을 위한 정확한 시점을 선정한 후, 사용자는 오른손(가락)에 매핑된 가상의 탐침(예; virtual pointing ray 또는 virtual slicing plane)으로 3D 모델을 지칭(pointing)하는 작업을 하면, 시스템은 해당 위치의 보다 상세도 높은 분석 결과(예; 단층 이미지, 다른 차원의 분석 결과를 3차원 공간에 확장하여 표시, 다중 레이어로 증강 가시화)를 제시할 수 있다. The 3D interactive interface selects the exact time point for determining arthritis by moving the left hand, and then the user points to the 3D model with a virtual probe (e.g. virtual pointing ray or virtual slicing plane) mapped to the right hand (finger). ), the system can present more detailed analysis results of the location (e.g., tomography image, display of analysis results from other dimensions expanded in 3D space, augmented visualization with multiple layers).
이 때, 단계(S230)는 사용자는 특정 질환의 상태 점검 및 특정 질병의 징후를 찾기 위한 의료 정보의 탐색 및 분석 행동을 수행할 수 있다.At this time, in step S230, the user can perform search and analysis actions on medical information to check the condition of a specific disease and find signs of a specific disease.
이 때, 단계(S230)는 3차원 공간 정보 탐색부(113)의 의료 정보의 탐색 및 분석 행동을 관찰 및 학습할 수 있고, 사용자의 주요 관심 정보와 질환/질병 탐색에 따른 주요 의료 정보의 분석 기준을 자동으로 학습하는 서비스를 제공할 수 있다.At this time, step S230 can observe and learn the medical information search and analysis behavior of the 3D spatial information search unit 113, and analyze the main medical information according to the user's main interest information and disease/disease search. A service that automatically learns standards can be provided.
즉, 단계(S230)는 사용자에 의해 특정 질병의 판정여부를 측정하기 위해 의료 영상 정보를 대상으로 검색 작업(예; 특정 시점에서의 이미지 선정, 특정 기관에 대한 수치 측정, 특정 부분에 대한 검사 결과지의 열람 및 특정 수치에 대한 점검을 하는 행위)을 수행 하는 경우, 해당 질병과의 특정 값의 관계로는 높게 평가하고 기록하는 과정을 통해서 사용자(의사)의 의료 정보 분석 행위를 모니터링하고 학습을 진행할 수 있다.In other words, step S230 is a search operation targeting medical image information (e.g., selecting an image at a specific point in time, numerical measurement for a specific organ, and test results for a specific part) in order to determine whether a specific disease has been determined by the user. When performing the act of reading information and checking specific values, the user's (doctor's) medical information analysis behavior can be monitored and learned through the process of highly evaluating and recording the relationship between the specific value and the disease in question. You can.
이 때, 단계(S230)는 유사 질환/질병에 대한 작업이 실행되는 경우 과거 사용자 경험 데이터베이스(130)의 데이터를 참고하여, 현재 로드되는 의로 정보 빅데이터 데이터베이스(120)의 의료 정보를 대상으로 선행적으로 사용자(의사)의 탐색 작업의 초기 행위를 수행할 수 있다.At this time, step S230 refers to the data of the past
이를 통해, 본 발명의 일실시예에 따른 의료 정보 처리 장치는 전체 의료 정보 처리 작업 시간을 단축시킬 수 있고, 단계(S230)는 다양한 경험 DB의 축적으로 동일 분야의 다수의 사용자(의사)들의 정보 탐색 방법론(프로세스)를 학습 및 가이드 함으로써 다양한 사용자(의사)가 일정 수준 이상의 정보 탐색 성능을 발휘할 수 있도록 가이드를 제공할 수 있다.Through this, the medical information processing device according to an embodiment of the present invention can shorten the overall medical information processing time, and step (S230) is the accumulation of various experience DBs to obtain information from multiple users (doctors) in the same field. By learning and guiding the search methodology (process), guidance can be provided so that various users (doctors) can achieve a certain level of information search performance.
또한, 본 발명의 일실시예에 따른 의료 정보 처리 방법은 결과를 기록할 수 있다(S240).Additionally, the medical information processing method according to an embodiment of the present invention can record results (S240).
즉, 단계(S240)는 의료 정보를 처리한 결과에 상응하는 최종 사용자의 결정(예; 진료차트)의 갱신 상태를 사용자 경험 데이터베이스(130)에 기록할 수 있다.That is, step S240 may record the update status of the end user's decision (eg, medical chart) corresponding to the result of processing the medical information in the
이 때, 상호 작용 가이드부(111)는 단계(S240)는 기설정된 기준의 의료 정보 빅데이터를 대상으로 현재 사용자의 진단(의료 정보 탐색) 결정 내용의 매핑 관계를 학습할 수 있다.At this time, the interaction guide unit 111 may learn the mapping relationship of the current user's diagnosis (medical information search) decision based on medical information big data of a preset standard in step S240.
도 4는 본 발명의 일실시예에 따른 관절염 질환 대상에 대한 의료 정보 처리 방법을 나타낸 도면이다.Figure 4 is a diagram showing a method of processing medical information for a subject with arthritis disease according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 일실시예에 따른 관절염 질환 대상에 대한 의료 정보 처리 방법의 구체적인 실시 예를 나타낸 것을 알 수 있다.Referring to FIG. 4, it can be seen that a specific example of a method of processing medical information for a subject with arthritis disease according to an embodiment of the present invention is shown.
이 때, 도 4는 관절염 진단을 대상으로 지능형 의료 보조 정보 증강 가시화 및 상호작용 사례를 설명한 것을 알 수 있다.At this time, it can be seen that Figure 4 illustrates an example of augmented visualization and interaction of intelligent medical assistance information targeting arthritis diagnosis.
의료 정보 DB 준비 단계에서는 환자의 관절을 촬영한 다양한 의료 영상 이미지(예; MRI, CT, X-ray 등)가 일정한 공유 포멧(예; DICOM)의 형태로 데이터베이스가 준비될 수 있다. 그리고, 질환과 관련된 환자의 개인 정보, 진료 차트 및 통계 데이터가 추가적인 의료 보조 정보로 데이터베이스로 구축된 형태로 준비 될 수 있다.In the medical information DB preparation stage, a database may be prepared with various medical imaging images (e.g., MRI, CT, X-ray, etc.) of the patient's joints in a shared format (e.g., DICOM). In addition, the patient's personal information, medical chart, and statistical data related to the disease can be prepared in a database as additional medical auxiliary information.
환자 가상 모델 단계에서는 현재 환자의 치료 부위를 디지털화시킨 가상의 인체 모델(예; 개인과 수치 및 물성 정보가 일치된 3차원 복원 인체 모델)이 준비 될 수 있다.In the patient virtual model stage, a virtual human body model that digitizes the current patient's treatment area (e.g., a 3D restored human body model with matching individual, numerical, and physical property information) may be prepared.
복합 정보 가시화 단계에서는 사용자(의사)가 질환 진단 등의 작업을 목적으로 분석할 데이터를 3차원 공간에 로드(초기화) 시킬 수 있다.In the complex information visualization stage, the user (doctor) can load (initialize) data to be analyzed for the purpose of disease diagnosis, etc. into a three-dimensional space.
이 때, 복합 정보 가시화 단계에서는 사용자에 의해 현재 인체모델(진료 대상 환자)와 관련성이 높은 정보를 의료 보조 정보 데이터베이스(빅데이터)에서 선별해서 공간에 배치하는 작업을 수행할 수 있다.At this time, in the complex information visualization stage, the user can select information highly relevant to the current human body model (patient to be treated) from the medical auxiliary information database (big data) and place it in space.
3차원 공간 정보 탐색 단계에서는 사용자에 의해 3차원 공간상에 펼쳐진 다양한 미디어 데이터(예; 3D 모델, 시뮬레이션 결과, 애니메이션, 검사 수치 그래프, 의료 영상 이미지, 진료차트, 연구 결과, 음성 메모 및 동영상 등)를 직관적인 상호작용 방법(예; 맨손 양손 기반의 3D 객체 조작 기술)으로 목표되는 정보를 얻기 위한 정보 공간 탐색 작업(가상 진단) 작업을 수행할 수 있다.In the 3D spatial information exploration stage, various media data (e.g. 3D models, simulation results, animations, test numerical graphs, medical imaging images, treatment charts, research results, voice memos and videos, etc.) spread out in 3D space by the user. Information space exploration work (virtual diagnosis) to obtain target information can be performed using an intuitive interaction method (e.g., 3D object manipulation technology based on bare and two hands).
예를 들면, 사용자의 왼손에는 관절의 3D 모델이 매핑된 3차원 상호 작용 인터페이스를 제공할 수 있다. 3차원 상호 작용 인터페이스는 자기동작감각(proprioception)에 연계된 방향으로 3차원 공간에서의 직관적인 회전 작업을 수행할 수 있다(비교 설명: 기존에는 키보드 또는 마우스를 사용해서 특정 객체를 선택하고, 그 객체의 특정 축을 기준으로 선형적인 회전 정보를 입력하는 등의 직관성이 떨어지는, 일정 수준의 학습이 필요한 상호작용 방법을 적용했던 것이 일반적이었다.). 3차원 상호 작용 인터페이스는 왼손의 움직임으로 관절염 판정을 위한 정확한 시점을 선정한 후, 사용자는 오른손(가락)에 매핑된 가상의 탐침(예; virtual pointing ray 또는 virtual slicing plane)으로 3D 모델을 지칭(pointing)하는 작업을 하면, 시스템은 해당 위치의 보다 상세도 높은 분석 결과(예; 단층 이미지, 다른 차원의 분석 결과를 3차원 공간에 확장하여 표시, 다중 레이어로 증강 가시화)를 제시할 수 있다.For example, a 3D interactive interface with a 3D model of the joint mapped to the user's left hand can be provided. The 3D interactive interface can perform intuitive rotation operations in 3D space in a direction linked to proprioception (comparative explanation: Conventionally, a specific object is selected using a keyboard or mouse, and the It was common to apply interaction methods that were less intuitive and required a certain level of learning, such as inputting linear rotation information based on a specific axis of the object.) The 3D interactive interface selects the exact time point for arthritis diagnosis by moving the left hand, and then the user points to the 3D model with a virtual probe (e.g. virtual pointing ray or virtual slicing plane) mapped to the right hand (finger). ), the system can present more detailed analysis results of the location (e.g., tomography image, display of analysis results from other dimensions expanded in 3D space, augmented visualization with multiple layers).
결과 기록 단계에서는 의료 정보 처리 장치의 지능적인 보조 정보 제공이 만족스러운 경우, 의료 정보 처리 장치는 사용자에 의해 현재 환자의 질환 상태에 대한 본인의 진단 결과를 음성 메모로 남기거나 가상 진료 차트를 작성해서 저장할 수 있다.In the result recording stage, if the medical information processing device's provision of intelligent auxiliary information is satisfactory, the medical information processing device allows the user to leave a voice memo or create a virtual treatment chart with the patient's diagnosis results regarding the patient's current disease state. You can save it.
상기에서 설명한 각각의 단계에서 상호 작용 가이드부(111)에서는 사용자의 가시화 배치 행위 및 3차원 공간의 객체 조작에 대한 특징을 기록 및 학습한 후, 관련 사용자의 작업 특성(예; 정형외과 의사의 관절염 판정 작업의 행위)을 수집 및 공유하는 방법으로 일정 수준 이상의 작업 성능(진단 효과)의 지원을 보증할 수 있는 가이드 서비스를 제공할 수 있다.In each step described above, the interaction guide unit 111 records and learns the characteristics of the user's visualization arrangement behavior and object manipulation in three-dimensional space, and then records and learns the relevant user's work characteristics (e.g., an orthopedic surgeon's arthritis). By collecting and sharing judgment work behavior, it is possible to provide a guide service that can guarantee support for work performance (diagnosis effect) above a certain level.
예를 들면, 3차원 모델의 특정 지점(POI)&시점에 대한 세부/추가 적인 의료 데이터 점검 후, 일정한 수준의 관절염 판단을 한 경우 의사 결정 정보들의 상관 관계를 학습한 후 사용자 경험 데이터베이스(130)에 기록하고, 재활용 함으로써, 시간의 흐름에 따른 시스템의 보조 정보 증강 지원에 대한 신뢰도와 정확도가 향상되는 효과를 얻을 수 있다.For example, after checking detailed/additional medical data for a specific point (POI) and time point of the 3D model, if a certain level of arthritis is determined, the correlation between decision-making information is learned and the user experience database (130) By recording and recycling, the reliability and accuracy of the system's auxiliary information augmentation support can be improved over time.
도 5는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.Figure 5 is a diagram showing a computer system according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 일실시예에 따른 의료 정보 처리 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 5에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.Referring to FIG. 5, the medical information processing device according to an embodiment of the present invention may be implemented in a computer system 1100 such as a computer-readable recording medium. As shown in Figure 5, computer system 1100 includes one or more processors 1110, memory 1130, user interface input device 1140, and user interface output device 1150 that communicate with each other through bus 1120. and storage 1160. Additionally, the computer system 1100 may further include a network interface 1170 connected to the network 1180. The processor 1110 may be a central processing unit or a semiconductor device that executes processing instructions stored in the memory 1130 or storage 1160. Memory 1130 and storage 1160 may be various types of volatile or non-volatile storage media. For example, the memory may include ROM 1131 or RAM 1132.
이상에서와 같이 본 발명의 일실시예에 따른 의료 정보 처리 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the medical information processing device and method according to an embodiment of the present invention are not limited to the configuration and method of the embodiments described above, but the embodiments can be modified in various ways. All or part of each embodiment may be selectively combined.
110: 의료 정보 처리부 111: 상호 작용 가이드부
112: 의료 정보 가시화부 113: 3차원 공간 정보 탐색부
120: 의료 정보 빅데이터 데이터베이스
130: 사용자 경험 데이터베이스
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크110: Medical information processing unit 111: Interaction guide unit
112: Medical information visualization unit 113: 3D spatial information exploration unit
120: Medical information big data database
130: User experience database
1100: computer system 1110: processor
1120: Bus 1130: Memory
1131: Romans 1132: Ram
1140: User interface input device
1150: User interface output device
1160: Storage 1170: Network Interface
1180: network
Claims (10)
상기 의료 정보를 3차원 공간 상에 배치시키고, 상기 의료 정보에 상응하는 의료 보조 정보를 상기 3차원 공간 상에 추가로 배치하는 의료 정보 가시화부; 및
상기 3차원 공간에서 상기 의료 보조 정보를 이용하여 상기 의료 정보에 대한 가상 진단을 제공하기 위한 3차원 상호 작용 인터페이스를 제공하는 3차원 공간 정보 탐색부;
를 포함하고,
현재 작업 목적에 적합하도록 초기 데이터의 3차원 공간 배치 및 노출된 정보의 종류를 설정하고,
상기 상호 작용 가이드부는
상기 초기 데이터의 3차원 공간 배치 및 노출된 정보의 종류을 변경하는 경우, 사용자의 모든 변경 상황을 기록하고, 사용자의 과거 행동 학습을 기준으로 다음 작업시의 초기 작업 환경 설정을 수정하고,
상기 3차원 공간 정보 탐색부는
자기동작감각(proprioception)에 연계된 방향으로 3차원 공간에서의 직관적인 회전 작업을 수행하는 상기 3차원 상호 작용 인터페이스를 제공하는 것을 특징으로 하는 의료 정보 처리 장치.An interactive guide unit that receives medical information and performs big data-based information exploration to set up the initial work environment;
a medical information visualization unit that arranges the medical information in a three-dimensional space and additionally arranges medical auxiliary information corresponding to the medical information in the three-dimensional space; and
a 3D space information search unit providing a 3D interaction interface for providing a virtual diagnosis of the medical information using the medical auxiliary information in the 3D space;
Including,
Set the three-dimensional spatial arrangement of the initial data and the type of exposed information to suit the purpose of the current work,
The interaction guide unit
When changing the three-dimensional spatial arrangement of the initial data and the type of exposed information, all changes made by the user are recorded, and the initial work environment settings for the next work are modified based on the user's past behavior learning,
The 3D spatial information search unit
A medical information processing device, characterized in that it provides the three-dimensional interactive interface that performs an intuitive rotation operation in three-dimensional space in a direction linked to proprioception.
상기 3차원 공간 정보 탐색부는
사용자가 상기 3차원 상호 작용 인터페이스를 이용한 작업의 수행 결과를 분석하여 3차원 공간에 분석 결과를 표시하여 제공하는 것을 특징으로 하는 의료 정보 처리 장치.In claim 1,
The 3D spatial information search unit
A medical information processing device that analyzes the results of a user's performance of a task using the three-dimensional interactive interface and displays and provides the analysis results in a three-dimensional space.
상기 3차원 공간 정보 탐색부는
상기 사용자에 대한 특정 질병의 상태 및 징후를 찾기 위해 상기 의료 정보의 탐색 및 분석 행동을 수행하는 것을 특징으로 하는 의료 정보 처리 장치.In claim 2,
The 3D spatial information search unit
A medical information processing device, characterized in that it performs search and analysis actions on the medical information to find conditions and signs of a specific disease for the user.
상기 상호 작용 가이드부는
상기 의료 정보의 탐색 및 분석 행동을 학습하고, 상기 사용자의 주요 관심 정보와 주요 의료 정보의 분석 기준을 학습하는 것을 특징으로 하는 의료 정보 처리 장치.In claim 3,
The interaction guide unit
A medical information processing device, characterized in that it learns the search and analysis behavior of the medical information, and learns the user's main interest information and analysis standards of the main medical information.
상기 3차원 공간 정보 탐색부는
상기 의료 정보의 탐색 및 분석 행동과 상응하는 특정 값들의 상관 관계를 학습하는 것을 특징으로 하는 의료 정보 처리 장치.In claim 4,
The 3D spatial information search unit
A medical information processing device, characterized in that it learns the correlation between specific values corresponding to the search and analysis behavior of the medical information.
의료 정보를 입력 받아 빅데이터 기반 정보 탐색을 수행하여 초기 작업 환경을 설정하는 단계;
상기 의료 정보를 3차원 공간 상에 배치시키고, 상기 의료 정보에 상응하는 의료 보조 정보를 상기 3차원 공간 상에 추가로 배치하는 단계;
상기 3차원 공간에서 상기 의료 보조 정보를 이용하여 상기 의료 정보에 대한 가상 진단을 제공하기 위한 3차원 상호 작용 인터페이스를 제공하는 단계; 및
상기 가상 진단에 대한 의료 정보를 처리한 분석 결과를 기록하는 단계;
를 포함하고,
상기 배치하는 단계는
현재 작업 목적에 적합하도록 초기 데이터의 3차원 공간 배치 및 노출된 정보의 종류를 설정하고,
상기 초기 데이터의 3차원 공간 배치 및 노출된 정보의 종류을 변경하는 경우, 사용자의 모든 변경 상황을 기록하고, 사용자의 과거 행동 학습을 기준으로 다음 작업시의 초기 작업 환경 설정을 수정하고,
상기 제공하는 단계는
자기동작감각(proprioception)에 연계된 방향으로 3차원 공간에서의 직관적인 회전 작업을 수행하는 상기 3차원 상호 작용 인터페이스를 제공하는 것을 특징으로 하는 의료 정보 처리 방법.In the medical information processing method of the medical information processing device,
Setting up an initial work environment by receiving medical information and performing big data-based information exploration;
Arranging the medical information in a three-dimensional space and additionally arranging medical assistance information corresponding to the medical information in the three-dimensional space;
providing a three-dimensional interaction interface for providing a virtual diagnosis for the medical information using the medical assistance information in the three-dimensional space; and
recording analysis results of processing medical information for the virtual diagnosis;
Including,
The placement step is
Set the three-dimensional spatial arrangement of the initial data and the type of exposed information to suit the purpose of the current work,
When changing the three-dimensional spatial arrangement of the initial data and the type of exposed information, all changes made by the user are recorded, and the initial work environment settings for the next work are modified based on learning of the user's past behavior,
The steps provided above are
A medical information processing method comprising providing the three-dimensional interactive interface that performs an intuitive rotation operation in three-dimensional space in a direction linked to proprioception.
상기 3차원 상호 작용 인터페이스를 제공하는 단계는
사용자가 상기 3차원 상호 작용 인터페이스를 이용한 작업의 수행 결과를 분석하여 3차원 공간에 분석 결과를 표시하여 제공하는 것을 특징으로 하는 의료 정보 처리 방법.In claim 6,
The step of providing the three-dimensional interaction interface
A medical information processing method characterized by analyzing the results of a user's performance of a task using the three-dimensional interactive interface and displaying and providing the analysis results in a three-dimensional space.
상기 3차원 상호 작용 인터페이스를 제공하는 단계는
상기 사용자에 대한 특정 질병의 상태 및 징후를 찾기 위해 상기 의료 정보의 탐색 및 분석 행동을 수행하는 것을 특징으로 하는 의료 정보 처리 방법.In claim 7,
The step of providing the three-dimensional interaction interface
A medical information processing method characterized by performing search and analysis actions on the medical information to find conditions and signs of a specific disease for the user.
상기 기록하는 단계는
상기 의료 정보의 탐색 및 분석 행동을 학습하고, 상기 사용자의 주요 관심 정보와 주요 의료 정보의 분석 기준을 학습하는 것을 특징으로 하는 의료 정보 처리 방법.In claim 8,
The recording step is
A medical information processing method characterized by learning the search and analysis behavior of the medical information, and learning the user's main interest information and analysis standards of the main medical information.
상기 기록하는 단계는
상기 의료 정보의 탐색 및 분석 행동과 상응하는 특정 값들의 상관 관계를 학습하는 것을 특징으로 하는 의료 정보 처리 방법.In claim 9,
The recording step is
A medical information processing method characterized by learning the correlation between search and analysis behavior of the medical information and corresponding specific values.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180158244A KR102665091B1 (en) | 2018-12-10 | Apparatus and method for processing medical information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180158244A KR102665091B1 (en) | 2018-12-10 | Apparatus and method for processing medical information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200070752A KR20200070752A (en) | 2020-06-18 |
| KR102665091B1 true KR102665091B1 (en) | 2024-05-13 |
Family
ID=
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018093921A1 (en) | 2016-11-16 | 2018-05-24 | Terarecon, Inc. | System and method for three-dimensional printing, holographic and virtual reality rendering from medical image processing |
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018093921A1 (en) | 2016-11-16 | 2018-05-24 | Terarecon, Inc. | System and method for three-dimensional printing, holographic and virtual reality rendering from medical image processing |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10818048B2 (en) | Advanced medical image processing wizard | |
| CN108701370B (en) | Content-based medical imaging rendering based on machine learning | |
| Kurzhals et al. | Evaluating visual analytics with eye tracking | |
| CN1977283B (en) | Methods and system for intelligent qualitative and quantitative analysis for medical diagnosis | |
| Calisto et al. | BreastScreening: on the use of multi-modality in medical imaging diagnosis | |
| US20190051215A1 (en) | Training and testing system for advanced image processing | |
| CN109460756B (en) | Medical image processing method and device, electronic equipment and computer readable medium | |
| CN105447070B (en) | Medical image diagosis method and system | |
| JP2014012208A (en) | Efficient imaging system and method | |
| Mercan et al. | Characterizing diagnostic search patterns in digital breast pathology: scanners and drillers | |
| JP7071441B2 (en) | Equipment, methods, systems and programs | |
| CN111223556B (en) | Integrated medical image visualization and exploration | |
| US10395762B1 (en) | Customized presentation of data | |
| Kelahan et al. | The radiologist’s gaze: mapping three-dimensional visual search in computed tomography of the abdomen and pelvis | |
| RU2559712C2 (en) | Relevance feedback for extraction of image on basis of content | |
| CN101118574A (en) | Systems and methods for rule-based volume rendition and navigation | |
| Vázquez-Ingelmo et al. | Usability study of CARTIER-IA: a platform for medical data and imaging management | |
| Amara et al. | Augmented reality visualisation and interaction for COVID-19 Ct-scan NN automated segmentation: A validation study | |
| KR102665091B1 (en) | Apparatus and method for processing medical information | |
| JP2020098488A (en) | Medical information processing unit and medical information processing system | |
| JP2006235971A (en) | Image referencing apparatus and method for classifying and searching for image | |
| KR20200070752A (en) | Apparatus and method for processing medical information | |
| Tang et al. | Impact of different artificial intelligence user interfaces on lung nodule and mass detection on chest radiographs | |
| JP2021532888A (en) | Medical image processing | |
| WO2023054646A1 (en) | Information processing device, information processing method, and information processing program |