KR20210005206A

KR20210005206A - 이미지 처리 방법, 전자 기기 및 저장 매체

Info

Publication number: KR20210005206A
Application number: KR1020207034398A
Authority: KR
Inventors: 지아후이 리; 지치앙 후; 웬지 왕; 유신 야오
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2018-07-23
Filing date: 2018-11-28
Publication date: 2021-01-13
Also published as: CN109003270B; SG11202011952YA; WO2020019614A1; TWI742408B; CN109003270A; JP2021529061A; US20210082112A1; TW202008211A

Abstract

본 출원 실시예는 이미지 처리 방법, 전자 기기 및 저장 매체를 개시하였고, 상기 방법은, 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환하는 단계; 상기 목표 이미지에 따라 목표 수치 인덱스를 획득하는 단계; 및 상기 목표 수치 인덱스에 따라, 상기 목표 이미지에 대한 타이밍 예측 처리를 수행하여, 타이밍 상태 예측 결과를 획득하는 단계를 포함으로써, 좌심실 기능 스케일링을 구현하여, 이미지 처리 효율을 높이며, 심장 기능 인덱스의 예측 정확도를 향상시킨다.

Description

이미지 처리 방법, 전자 기기 및 저장 매체

본 출원은 출원 번호가 CN201810814377.9이고, 출원일이 2018년 7월 23일인 중국 특허 출원에 기반하여 제출된 것이며, 상기 중국 특허 출원의 우선권을 주장하며, 상기 중국 특허 출원의 전부 내용은 본 출원에 원용되어 참조된다.

본 출원은 이미지 처리 분야에 관한 것이며, 구체적으로 이미지 처리 방법, 전자 기기 및 저장 매체에 관한 것이다.

이미지 처리는 컴퓨터로 이미지를 분석하여 원하는 결과를 얻는 기술이다. 이미지 처리는 일반적으로 디지털 이미지 처리를 의미하며, 디지털 이미지는 산업용 카메라, 카메라, 스캐너와 같은 기기로 촬영하여 얻은 하나의 대형 2차원 어레이를 의미하며, 상기 어레이의 요소를 픽셀이라 하고, 그 값을 그레이 스케일 값이라고 한다. 이미지 처리는 많은 분야, 특히 의료 분야에서 중요한 역할을 한다.

현재, 좌심실 기능 스케일링은 심장병 진단을 위한 진단 절차에서 가장 중요한 단계이다. 좌심실 기능 스케일링은 상이한 환자의 심장 구조의 다양성과 심장 박동의 시계열 복잡성으로 인해 여전히 어려운 작업이다. 좌심실 기능 스케일링된 구체적인 목표는 좌심실의 각 조직의 구체적인 인덱스를 출력하는 것이다. 과거에 컴퓨터 지원이 없었을 때, 상기 인덱스 계산을 완료하는 프로세스는 다음과 같은 바, 의사는 심장의 의료 이미지에서 수동으로 심방실 및 심근층의 윤곽을 그리며, 주축 방향을 보정한 다음, 구체적인 인덱스를 수동으로 측정하므로, 상기 과정은 시간을 낭비하고 작업량이 크며, 의사 간에 판단의 차이가 현저하다.

의료 기술의 발달과 성숙에 따라, 컴퓨터 지원으로 인덱스를 계산하는 방법도 점차 널리 적용되고 있다. 하지만, 원본 이미지의 입출력 픽셀을 분할된 후 인덱스를 계산하는 방법을 사용하면, 일반적으로 이미지 흐릿한 경계 부분의 분할은 정확하지 않으며, 의사가 개입하여 경계 보정을 수행하여야만 정확한 인덱스를 얻을 수 있으므로, 다만 의사가 심근과 심방실 영역을 판단하는 시간을 절약할 뿐, 좌심실 기능 스케일링된 이미지 처리에서, 이러한 유형의 방법은 처리 효율이 낮고, 획득한 인덱스의 정확도는 높지 않다.

본 출원 실시예는 이미지 처리 방법, 전자 기기 및 저장 매체를 제공한다.

본 출원 실시예의 제1 측면은 이미지 처리 방법을 제공하며, 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환하는 단계; 상기 목표 이미지에 따라 목표 수치 인덱스를 획득하는 단계; 및 상기 목표 수치 인덱스에 따라, 상기 목표 이미지에 대해 시계열 예측 처리를 수행하여, 시계열 상태 예측 결과를 획득하는 단계를 포함한다.

하나의 선택적인 실시형태에 있어서, 상기 목표 이미지에 대해 시계열 예측 처리를 수행하여, 시계열 상태 예측 결과를 획득하는 단계는, 파라미터리스(parameterless) 시퀀스 예측 전략을 사용하여, 상기 목표 이미지에 대해 시계열 예측 처리를 수행함으로써, 시계열 상태 예측 결과를 획득하는 단계를 포함한다.

하나의 선택적인 실시형태에 있어서, 상기 목표 이미지에 따라 목표 수치 인덱스를 획득하는 단계는, 상기 목표 이미지 및 딥 레이어 융합 네트워크 모델에 따라 목표 수치 인덱스를 획득하는 단계를 포함한다.

하나의 선택적인 실시형태에 있어서, 상기 원본 이미지는 심장 자기 공명 영상이고, 상기 목표 수치 인덱스는 심방실 면적, 심근 면적, 60도 마다의 심방실 직경, 60도 마다의 심근층 두께 중 적어도 하나를 포함한다.

하나의 선택적인 실시형태에 있어서, 상기 목표 수치 인덱스를 획득하는 단계는, M 프레임 목표 이미지의 M 개의 예측 심방실 면적 값을 각각 획득하는 단계를 포함하고; 상기 목표 수치 인덱스에 따라, 파라미터리스 시퀀스 예측 전략을 사용하여, 상기 목표 이미지에 대해 시계열 예측 처리를 수행함으로써, 시계열 상태 예측 결과를 획득하는 단계는, 다항식 곡선을 사용하여 상기 M 개의 예측 심방실 면적 값을 피팅함으로써, 회귀 곡선을 획득하는 단계; 상기 회귀 곡선의 최고 프레임과 최저 프레임을 획득하여, 심장 상태가 수축 상태인지 또는 이완 상태인지를 판단하기 위한 판단 구간을 획득하는 단계; 및 상기 판단 구간에 따라 상기 심장 상태를 판단하는 단계 - 상기 M은 1보다 큰 정수임 - 를 포함한다.

하나의 선택적인 실시형태에 있어서, 상기 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환하기 전에, 상기 방법은, 상기 원본 이미지를 포함하는 영상 데이터에서, M 프레임의 원본 이미지를 추출하는 단계 - 상기 M 프레임의 원본 이미지는 적어도 하나의 심장 박동 주기를 포함함 - 를 더 포함하고; 상기 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환하는 단계는, M 프레임의 원본 이미지를 상기 목표 파라미터에 부합되는 M 프레임 목표 이미지로 전환하는 단계를 포함한다.

하나의 선택적인 실시형태에 있어서, 상기 방법은,상기 딥 레이어 융합 네트워크 모델의 개수는 N이고, 상기 N 개의 딥 레이어 융합 네트워크 모델은 트레이닝 데이터에 대해 교차 검증 트레이닝을 진행함으로써 획득하는 단계 - 상기 N은 1보다 큰 정수임 - 를 더 포함한다.

하나의 선택적인 실시형태에 있어서, 상기 M 프레임 목표 이미지는 제1 목표 이미지를 포함하고, 상기 목표 이미지를 딥 레이어 융합 네트워크 모델에 입력하여, 목표 수치 인덱스를 획득하는 단계는, 상기 제1 목표 이미지를 상기 N 개의 딥 레이어 융합 네트워크 모델에 입력하여, N 개의 초기 예측 심방실 면적 값을 획득하고; 상기 M 프레임 목표 이미지의 M 개의 예측 심방실 면적 값을 각각 획득하는 단계는, 상기 N 개의 초기 예측 심방실 면적 값에 대해 평균을 취하여, 상기 제1 목표 이미지에 대응하는 예측 심방실 면적 값으로서 사용하고, 상기 M 프레임 목표 이미지에서의 각 프레임의 이미지에 대해 동일한 단계를 실행하여, 상기 M 프레임 목표 이미지에 대응하는 M 개의 예측 심방실 면적 값을 획득하는 단계를 포함한다.

하나의 선택적인 실시형태에 있어서, 상기 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환하는 단계는, 상기 원본 이미지에 대해 히스토그램 등화 처리를 수행하여, 그레이 스케일 값이 목표 동적 범위를 만족시키는 상기 목표 이미지를 획득하는 단계를 포함한다 .

본 출원 실시예의 제2 측면에 따르면, 이미지 전환 모듈, 인덱스 예측 모듈 및 상태 예측 모듈을 포함하는 전자 기기를 제공하며, 상기 이미지 전환 모듈은, 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환하도록 구성되고; 상기 인덱스 예측 모듈은, 상기 이미지 전환 모듈에 의해 전환된 상기 목표 이미지에 따라 목표 수치 인덱스를 획득하도록 구성되며; 상기 상태 예측 모듈은, 상기 인덱스 예측 모듈에 의해 획득된 상기 목표 수치 인덱스에 따라, 상기 목표 이미지에 대해 시계열 예측 처리를 수행하여, 시계열 상태 예측 결과를 획득하도록 구성된다.

하나의 선택적인 실시형태에 있어서, 상기 인덱스 예측 모듈은, 파라미터리스 시퀀스 예측 전략을 사용하여, 상기 목표 이미지에 대해 시계열 예측 처리를 수행함으로써, 시계열 상태 예측 결과를 획득하도록 구성된다.

하나의 선택적인 실시형태에 있어서, 상기 인덱스 예측 모듈은, 상기 목표 이미지 및 딥 레이어 융합 네트워크 모델에 따라 목표 수치 인덱스를 획득하도록 구성된다.

하나의 선택적인 실시형태에 있어서, 상기 인덱스 예측 모듈은 제1 예측 유닛을 포함하며, 상기 제1 예측 유닛은, M 프레임 목표 이미지의 M 개의 예측 심방실 면적 값을 각각 획득하도록 구성되고; 상기 상태 예측 모듈은, 다항식 곡선을 사용하여 상기 M 개의 예측 심방실 면적 값을 피팅함으로써, 회귀 곡선을 획득하도록 구성되며; 상기 회귀 곡선의 최고 프레임과 최저 프레임을 획득하여, 심장 상태가 수축 상태인지 또는 이완 상태인지를 판단하기 위한 판단 구간을 획득하도록 구성되며; 상기 판단 구간에 따라 상기 심장 상태를 판단 - 상기 M은 1보다 큰 정수임 - 하도록 구성된다.

하나의 선택적인 실시형태에 있어서, 상기 전자 기기는 상기 원본 이미지를 포함하는 영상 데이터에서, M 프레임의 원본 이미지를 추출하도록 구성되는 이미지 추출 모듈을 더 포함하고, 상기 M 프레임의 원본 이미지는 적어도 하나의 심장 박동 주기를 포함하며; 상기 이미지 전환 모듈은, M 프레임의 원본 이미지를 상기 목표 파라미터에 부합되는 M 프레임 목표 이미지로 전환하도록 구성된다.

하나의 선택적인 실시형태에 있어서, 상기 인덱스 예측 모듈의 상기 딥 레이어 융합 네트워크 모델의 개수는 N이고, 상기 N 개의 딥 레이어 융합 네트워크 모델은 트레이닝 데이터에 대해 교차 검증 트레이닝을 진행함으로써 획득하며, 상기 N은 1보다 큰 정수이다.

하나의 선택적인 실시형태에 있어서, 상기 M 프레임 목표 이미지는 제1 목표 이미지를 포함하고, 상기 인덱스 예측 모듈은, 상기 제1 목표 이미지를 상기 N 개의 딥 레이어 융합 네트워크 모델에 입력하여, N 개의 초기 예측 심방실 면적 값을 획득하도록 구성되고; 상기 제1 예측 유닛은, 상기 N 개의 초기 예측 심방실 면적 값에 대해 평균을 취하여, 상기 제1 목표 이미지에 대응하는 예측 심방실 면적 값으로서 사용하고, 상기 M 프레임 목표 이미지에서의 각 프레임의 이미지에 대해 동일한 단계를 실행하여, 상기 M 프레임 목표 이미지에 대응하는 M 개의 예측 심방실 면적 값을 획득하도록 구성된다.

하나의 선택적인 실시형태에 있어서, 상기 이미지 전환 모듈은, 상기 원본 이미지에 대해 히스토그램 등화 처리를 수행하여, 그레이 스케일 값이 목표 동적 범위를 만족시키는 상기 목표 이미지를 획득하도록 구성된다.

본 출원 실시예의 제3 측면에 따르면 프로세서 및 메모리를 포함하는 다른 전자 기기를 제공하며, 상기 메모리는 하나 또는 복수 개의 프로그램을 저장하기 위한 것이며, 상기 하나 또는 복수 개의 프로그램은 상기 프로세서에 의해 실행되도록 구성되며, 상기 프로그램은 본 출원 실시예의 제1 측면에 따른 임의의 방법에서 설명한 부분 또는 전부 단계를 포함한다.

본 출원 실시예의 제4 측면에 따르면 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 판독 가능 저장 매체는 전자 데이터 교환을 위한 컴퓨터 프로그램을 저장하고, 여기서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 본 출원 실시예의 제1 측면의 임의의 방법에서 설명한 부분 또는 전부 단계를 실행하도록 한다.

본 출원 실시예는 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환함으로써, 상기 목표 이미지에 따라 목표 수치 인덱스를 획득하는 단계; 및 상기 목표 수치 인덱스에 따라, 상기 목표 이미지에 대해 시계열 예측 처리를 수행하여, 시계열 상태 예측 결과를 획득하는 단계를 포함하며, 좌심실 기능에 대한 정량화를 수행하여, 이미지 처리 효율을 높이고, 일반 처리 과정에 수동 참여로 인한 인력 소모 및 오류를 감소시켜, 심장 기능 인덱스의 예측 정확도를 향상시킨다.

본 출원 실시예 또는 종래 기술에서의 기술방안을 보다 명확하게 설명하기 위해, 실시예 또는 종래 기술을 설명하는데 필요한 첨부 도면을 간단히 소개한다.
도 1은 본 출원 실시예에 개시된 이미지 처리 방법의 흐름 모식도이다.
도 2는 본 출원 실시예에 개시된 다른 이미지 처리 방법의 흐름 모식도이다.
도 3은 본 출원 실시예에 개시된 전자 기기의 구조 모식도이다.
도 4는 본 출원 실시예에 개시된 다른 전자 기기의 구조 모식도이다.

당업자로 하여금 본 발명의 방안을 더 잘 이해하도록 하기 위해, 아래에 본 출원 실시예에서의 도면을 참조하여, 본 출원 실시예에서의 기술방안을 명확하고 완전하게 설명하며, 서명된 실시예는 본 발명 실시예 중 일부일 뿐이며, 모든 실시예가 아님은 명백하다. 본 발명 실시예에 기반하여, 본 분야 기술자가 발명적 작업을 부여하지 않은 전제 하에서 얻은 다른 모든 실시예는 모두 본 발명의 청구범위에 속한다.

본 출원 실시예의 명세서, 청구범위 및 상기 도면에서의 용어 “제1 ", “제2 ” 등은 상이한 대상을 구별하기 위한 것이지, 특정 순서를 설명하기 위한 것은 아니다. 또한, 용어 “포함” 및 “갖는” 및 그것들의 임의의 변형은 비배타적인 포함을 포함하도록 의도된다. 예를 들어, 일련의 단계 또는 유닛이 포함된 과정, 방법, 시스템, 제품 또는 기기는 나열된 단계 또는 유닛에 한정되지 않으며, 선택적으로 나열되지 않은 단계 또는 유닛을 더 포함하거나, 선택적으로 이러한 과정, 방법, 제품 또는 기기에 고유한 다른 단계 또는 유닛을 더 포함한다.

본문에서 “실시예”에 대한 언급은, 실시예와 결합하여 설명된 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있음을 의미한다. 명세서에서 각 위치에서 상기 문구의 출현은 반드시 동일한 실시예를 지칭하는 것은 아니며, 다른 실시예와 상호 배타적인 독립적이거나 대안적인 실시예도 아니다. 본 기술분야의 기술자는 본문에 설명된 실시예가 다른 실시예에 결합될 수 있음을 명백하고 암시적으로 이해한다.

본 출원 실시예에 따른 전자 기기는 복수 개의 다른 단말 기기에 의한 액세스를 허용할 수 있다. 상기 전자 기기는 단말 기기를 포함하며, 특정 구현에서, 상기 단말 기기는 터치 감지 표면(예를 들어, 터치 스크린 및/또는 터치 패드)을 갖는 휴대 전화, 랩톱 컴퓨터 또는 태블릿 컴퓨터와 같은 다른 휴대용 기기를 포함하지만, 이에 한정되지 않는다. 또한 이해해야 할 것은, 일부 실시예에서, 상기 기기는 휴대용 통신 기기가 아니라 터치 감지 표면(예를 들어, 터치 스크린 및/또는 터치 패드)을 갖는 데스크탑 컴퓨터이다.

본 출원 실시예에서의 딥 러닝의 개념은 인공 뉴럴 네트워크의 연구로부터 도출된다. 숨겨진 레이어가 여러 개인 다층 퍼셉트론은 딥 러닝 구조이다. 딥 러닝은 저수준 특징을 결합하여 보다 추상적인 고수준 표현 속성 카테고리 또는 특징을 형성하여, 데이터의 분산된 특징 표현을 발견한다.

딥 러닝은 기계 러닝에서 데이터의 표현 학습을 기반으로 하는 방법이다. 관측값(예를 들어, 하나의 이미지)은 각각의 픽셀 강도 값의 벡터와 같은 다양한 형태로 표현될 수 있거나, 더 추상적으로 일련의 에지, 특정 형상을 갖는 영역 등으로 표현될 수 있다. 일부 특정된 표현 방법을 사용하면 예로부터 작업(예를 들어, 얼굴 인식 또는 표정 인식)을 쉽게 배울 수 있다. 딥 러닝의 장점은 수동으로 획득한 특징을 감독 또는 반 감독 특징 러닝 및 계층적 특징 추출 고효율 알고리즘으로 대체하는 것이다. 딥 러닝은 기계 러닝 연구에서의 새로운 분야이며, 그 동기는 분석 학습을 위한 인간 두뇌의 뉴럴 네트워크를 구축하고 시뮬레이션하는 것이며, 이미지, 사운드 및 텍스트와 같은 데이터를 해석하기 위한 인간 두뇌의 메커니즘을 시뮬레이션한다.

아래에 본 출원 실시예를 상세하게 소개한다.

도 1을 참조하면, 도 1은 본 출원 실시예에 개시된 이미지 처리 방법의 흐름 모식도이며, 도 1에 도시된 바와 같이, 상기 이미지 처리 방법은 상기 전자 기기에 의해 실행될 수 있으며, 다음의 단계를 포함한다.

단계 101에 있어서, 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환한다.

딥 러닝 모델을 통해 이미지 처리를 실행하기 전에, 원본 이미지에 대해 먼저 이미지 전처리를 수행하여, 목표 파라미터에 부합하는 목표 이미지로 전환한 후, 단계 102를 실행한다. 이미지 전처리의 주요 목적은 이미지에서 관련이 없는 정보를 제거하고, 유용한 실제 정보를 복원하며, 관련 정보의 검출 가능성을 향상시키며, 데이터를 최대한도로 간소화시킴으로써, 특징 추출, 이미지 분할, 매칭 및 인식의 신뢰성을 향상시킨다.

본 출원 실시예에서 언급된 원본 이미지는 다양한 의료 이미지 기기를 통해 획득된 심장 이미지일 수 있고, 다양성을 가지며, 이미지에서 콘트라스트, 밝기와 같은 매크로 특징의 다양성으로서 구현된다. 본 출원 실시예에서의 원본 이미지의 개수는 하나 이상일 수 있으며, 일반적인 기술과 같이 전처리되지 않은 경우, 새로운 이미지가 마침 이전에 학습되지 않았던 매크로 특징에 위치하면, 모델은 큰 오류를 가질 수 있다.

상기 목표 파라미터는 이미지 특징을 설명하는 파라미터, 즉 원본 이미지를 통일된 타입의 규정 파라미터로 이해될 수 있다. 예를 들어, 상기 목표 파라미터는 이미지 해상도, 이미지 그레이 스케일, 이미지 크기와 같은 특징을 설명하기 위한 파라미터를 포함할 수 있으며, 상기 목표 이미지 파라미터는 전자 기기에 저장될 수 있다. 본 출원 실시예에서, 이미지 그레이 스케일 값의 범위를 설명하는 파라미터가 선택될 수 있다.

하나의 예로서, 상기 목표 파라미터에 부합하는 목표 이미지를 획득하는 방식은, 상기 원본 이미지에 대해 히스토그램 등화 처리를 수행하여, 그레이 스케일 값이 목표 동적 범위를 만족시키는 상기 목표 이미지를 획득하는 단계를 포함할 수 있다.

하나의 이미지의 픽셀이 많은 그레이 스케일 레벨을 차지하고 균일하게 분포되면, 이러한 이미지는 흔히 높은 콘트라스트 및 다양한 그레이 스케일 톤을 갖는다. 본 출원 실시예에서 언급된 히스토그램 등화는 이미지 히스토그램 정보를 입력하는 것만으로 이러한 효과를 자동으로 달성할 수 있는 함수이며, 그의 기본 사상은 이미지에서 많은 픽셀 개수를 갖는 그레이 스케일 레벨을 넓히고, 이미지에서 적은 픽셀 개수를 갖는 그레이 스케일을 압축함으로써, 픽셀 값의 동적 범위를 확장하여, 콘트라스트 및 그레이 스케일 톤의 변화가 개선되어, 이미지를 더욱 선명해지게 한다.

본 출원 실시예는 히스토그램 등화 방법을 사용하여 원본 이미지를 전처리하여, 이미지 간의 다양성을 감소시킬 수 있다. 그레이 스케일 값에 대한 목표 동적 범위는 전자 기기에 미리 저장되어 있으며, 사용자에 의해 미리 설정될 수 있으며, 원본 이미지에 대해 히스토그램 등화 처리를 수행할 때, 이미지의 그레이 스케일 값이 목표 동적 범위(예컨대, 모든 원본 이미지가 최대 그레이 스케일 동적 범위까지 늘어남)를 만족시키도록 하고, 즉 상기 목표 이미지를 얻는다.

원본 이미지를 전처리함으로써, 그 다양성을 감소시킬 수 있으며, 상기 히스토그램 등화에 의해 비교적 통일되고, 명확한 목표 이미지를 획득한 후, 다시 후속 이미지 처리 단계를 수행하고, 딥 러닝 모델은 더욱 안정적인 판단을 제공할 수 있다.

하나의 선택적인 예에 있어서, 상기 단계 101은 메모리에 저장된 상응하는 명령어를 호출함으로써 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 이미지 전환 모듈(310)에 의해 실행될 수 있다.

단계 102에 있어서, 상기 목표 이미지에 따라 목표 수치 인덱스를 획득한다.

하나의 실시 형태로서, 인덱스 예측 모듈에 의해 좌심실 기능 스케일링된 복수 개의 인덱스를 획득할 수 있다. 여기서, 본 출원 실시예에서 인덱스 예측 모듈은 목표 수치 인덱스를 얻기 위해 딥 러닝 네트워크 모델을 실행할 수 있고, 상기 딥 러닝 네트워크 모델은 예를 들어 딥 레이어 융합 네트워크 모델일 수 있다.

본 출원 실시예에서 사용되는 딥 러닝 네트워크는 딥 레이어 융합 네트워크(Deep Layer Aggregation, DLANet)라고 지칭하며, 딥 레이어 융합 구조라고도 하며, 표준 시스템 구조는 각 레이어의 정보를 더 잘 융합하기 위해 더 깊은 융합을 통해 확장되며, 딥 레이어 융합은 특징 계층 구조를 반복적 및 계층적 방식으로 결합하여 네트워크로 하여금 더 높은 정확도와 더 적은 파라미터를 가지도록 한다. 트리 구조를 사용하여 이전 아키텍처의 선형 구조를 대체하여, 네트워크의 기울기 백홀 길이에 대해 선형 압축이 아닌 로그 레벨 압축을 구현하여, 학습된 특징이 더 나은 설명 능력을 갖도록 하여, 상기 수치 인덱스의 예측 정확도를 효과적으로 향상시킬 수 있다.

상기 딥 레이어 융합 네트워크 모델을 통해, 상기 목표 이미지에 대한 처리를 진행하여, 상응하는 목표 수치 인덱스를 획득한다. 좌심실 기능 스케일링된 구체적인 목표는 좌심실의 각 조직의 구체적인 인덱스를 출력하는 것이며, 상기 인덱스는 일반적으로 심방실 면적, 심근 면적, 60도 마다의 심방실 직경 및 60도 마다의 심근층 두께를 포함하며, 각각 1, 1, 3, 6 개의 수치 출력 인덱스인 총 11 개의 수치 출력 인덱스를 가진다. 구체적으로, 상기 원본 이미지는 심장 자기 공명 영상(Magnetic Resonance Imaging, MRI)일 수 있으며, 심혈관 질환의 경우 각 챔버, 큰 혈관 및 판막의 해부학적 변화를 관찰할 수 있을 뿐만 아니라, 정성 및 반정량 진단을 수행하기 위한 심실 분석을 진행하고, 복수 개의 단면도를 만들 수 있어, 공간 해상도가 높고, 심장과 병변의 전체 모습 및 주변 구조와의 관계를 표시한다.

상기 목표 수치 인덱스는 심방실 면적, 심근 면적, 60도 마다의 심방실 직경, 60도 마다의 심근층 두께 중 임의의 하나 또는 복수 개를 포함할 수 있다. 상기 딥 레이어 융합 네트워크 모델을 사용함으로써, 환자의 심장 MRI 중간 값 슬라이스가 획득된 후, 이미지에서의 심장의 상기 심방실 면적, 심근층 면적, 심방실 직경, 심근 두께와 같은 물리적 인덱스를 계산하여, 후속의 의료 치료 분석에 사용한다.

또한, 상기 단계의 구체적인 실시 과정에서, 관련된 딥 레이어 융합 네트워크는 대량의 원본 이미지에 의해 트레이닝될 수 있으며, 원본 이미지의 데이터 세트를 사용하여 네트워크 모델이 트레이닝될 때, 상기 전처리 단계가 여전히 먼저 실행될 수 있으며, 즉 히스토그램 등화의 방법을 통해 먼저 원본 이미지 간의 다양성을 감소시킴으로써, 모델의 학습 및 판단 정확도를 향상시킨다.

하나의 선택적인 예에 있어서, 상기 단계 102는 메모리에 저장된 상응하는 명령어를 호출함으로써 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 인덱스 예측 모듈(320)에 의해 실행될 수 있다.

단계 103에 있어서, 상기 목표 수치 인덱스에 따라, 상기 목표 이미지에 대해 시계열 예측 처리를 수행하여, 시계열 상태 예측 결과를 획득한다.

상기 목표 수치 인덱스를 획득한 후, 심장의 수축과 이완의 시계열 상태 예측을 수행할 수 있으며, 일반적으로, 상태를 예측하기 위해 순환 네트워크를 사용하며, 주로 심방실 면적 값을 사용하여 판단한다. 본 출원 실시예에서 심장의 수축과 이완의 시계열 상태를 예측할 때, 파라미터리스 시퀀스 예측 전략을 사용하여 시계열 예측을 수행하고, 파라미터리스 시퀀스 예측 전략은 추가 파라미터를 도입하지 않은 예측 전략을 지칭한다.

구체적으로, 한 환자의 심장 박동 영상 데이터에 대해, 멀티 프레임 이미지를 획득할 수 있으며, 먼저, 딥 레이어 융합 네트워크는 각 프레임 이미지의 심방실 면적 값을 예측하여, 예측 포인트로서 각 프레임의 심방실 면적 값의 예측을 얻고; 다음, 다차 다항식 곡선을 사용하여 예측 포인트를 피팅하고, 마지막으로, 회귀 곡선의 최고 프레임과 최저 프레임을 취하여, 심장의 수축과 이완을 판단한다.

하나의 선택적인 예에 있어서, 상기 단계 103은 메모리에 저장된 상응하는 명령어를 호출함으로써 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 상태 예측 모듈(330)에 의해 실행될 수 있다.

구체적으로, 상기 단계 102에서 목표 수치 인덱스를 획득하는 단계는,

M 프레임 목표 이미지의 M 개의 예측 심방실 면적 값을 각각 획득하는 단계를 포함할 수 있으며;

단계 103은 다음의 단계를 포함할 수 있다.

단계 (1)에 있어서, 다항식 곡선을 사용하여 상기 M 개의 예측 심방실 면적 값을 피팅함으로써, 회귀 곡선을 획득한다.

단계 (2)에 있어서, 상기 회귀 곡선의 최고 프레임과 최저 프레임을 획득하여, 심장 상태가 수축 상태인지 또는 이완 상태인지를 판단하기 위한 판단 구간을 획득한다.

단계 (3)에 있어서, 상기 판단 구간에 따라 상기 심장 상태를 판단하고, M은 1보다 큰 정수이다.

데이터 피팅은 곡선 피팅이라고도 하는데, 통속적으로 풀(pull) 곡선이라 지칭하며, 기존 데이터를 수학적인 방법으로 수식 표현으로 대체되는 표현 방식이다. 과학 및 공학 문제에서, 약간의 이산 데이터는 샘플링, 실험과 같은 방법으로 회득할 수 있으며, 이러한 데이터에 따르면, 알려진 데이터에 부합되는 연속된 함수(즉 곡선) 또는 더욱 밀집된 이산 방정식을 얻기를 종종 원하는데, 이 과정을 피팅(fitting)이라 한다.

기계 러닝 알고리즘에서, 데이터의 비선형 함수를 기반으로 하는 선형 모델은 일반적이며, 이러한 방법은 선형 모델처럼 효율적인 연산을 가능하게 하는 동시에 모델을 보다 광범위한 데이터에 적용할 수 있도록 한다.

상기 M 프레임 목표 이미지는 적어도 하나의 심장 박동 주기를 커버할 수 있으며, 즉 하나의 심장 박동 주기 동안 샘플링된 멀티 프레임 이미지에 대한 예측을 수행하고, 심장 상태의 판단을 보다 정확하게 수행할 수 있다. 예를 들어, 환자의 하나의 심장 박동 주기 동안 20 프레임 목표 이미지를 획득할 수 있으며, 먼저, 단계 102에서의 딥 레이어 융합 네트워크가 상기 20 프레임 목표 이미지의 각 프레임 이미지에 대해 예측 처리를 수행하여, 각 프레임 목표 이미지에 대응하는 예측 심방실 면적 값을 획득함으로써, 20 개의 예측 포인트를 얻으며; 다시 11 차 다항식 곡선을 사용하여 상기 20 개의 예측 포인트에 대해 피팅을 수행하며, 마지막으로, 회귀 곡선의 최고 프레임과 최저 프레임을 취하여, 상기 판단 구간을 계산하며, 예컨대, (최고 포인트, 최저 포인트] 간의 프레임은 수축 상태 0인 것으로 판단되고, (최저 포인트, 최고 포인트] 간의 프레임은 이완 상태 1인 것으로 판단되며, 즉 상기 수축과 이완의 시계열 상태 예측을 획득할 수 있어, 후속적인 의료 분석을 용이하게 하고, 의사가 병리학적 상황에 대한 맞춤형 치료를 수행하도록 돕는다.

본 출원 실시예에서의 시계열 네트워크(Long Short Term Memory Networks, LSTM)는 상태와 전환의 두 가지 기본 개념에 의해 시스템의 상태 및 그 전환 방식을 설명하는 특수 개념 모드를 지칭한다. 수축과 이완 상태 예측을 위해, 파라미터리스(parameterless) 시퀀스 예측 전략의 사용은, 일반적으로 사용되는 시계열 네트워크보다 더 높은 판단 정확도를 달성하고 불연속 예측 문제를 해결할수 있다. 일반적인 방법에서, 심장의 수축과 이완 상태의 예측은 시계열 네트워크를 통해 수행되며, 시계열 네트워크 방식을 사용하는 경우, 예를 들어, “0-1-0-1”(1은 수축, 0은 이완을 의미함)과 같은 판단이 불가피하게 방생하므로, 상기 불연속 예측 문제를 야기하지만, 실제상 심장은 빈번한 상태 변화 없이 한주기에서 전체가 수축되고, 전체가 이완되어야 한다. 상기 파라미터리스 시퀀스 예측 전략을 사용하여 상기 시계열 네트워크를 대체하면, 불연속 예측의 문제가 근본적으로 해결되고, 모르는 데이터에 대한 판단이 더 안정적이며, 추가 파라미터가 없으므로, 전략의 로버스트(Robust)가 더 강하고, 시계열 네트워크가 있을 때보다 더 높은 예측 정확도를 획득될 수 있다. 소위 로버스트는, 일정한(구조, 크기) 파라미터 섭동 하에서, 제어 시스템이 다른 일부 성능을 유지하는 특성을 의미하며, 영어로 건장하고 강력함을 의미하며, 비정상적이고 위험한 상황에서 시스템이 생존하는 관건이다. 예컨대, 컴퓨터 소프트웨어가 입력 오류, 디스크 오류, 네트워크 과부하 또는 의도된 공격 상황에서, 다운되지 않고 충돌되지 않을 수 있는지 여부가 바로 이 소프트웨어의 로버스트이다.

본 출원 실시예는 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환함으로써, 목표 이미지에 따라 목표 수치 인덱스를 획득하는 단계, 및 목표 수치 인덱스에 따라, 파라미터리스 시퀀스 예측 전략을 사용하여, 목표 이미지에 대해 시계열 예측 처리를 수행하여, 시계열 상태 예측 결과를 획득하는 단계를 포함하며, 좌심실 기능 스케일링을 구현하여, 이미지 처리 효율을 높이고, 일반 처리 과정에 수동 참여로 인한 인력 소모 및 오류를 감소시켜, 심장 기능 인덱스의 예측 정확도를 향상시킨다.

도 2를 참조하면, 도 2는 본 출원 실시예에 개시된 다른 이미지 처리 방법의 흐름 모식도이며, 도 2는 도 1의 기반 하에 추가로 얻는다. 본 출원 실시예의 단계의 주체는 의료 영상 처리를 위한 전자 기기일 수 있다. 도 2에 도시된 바와 같이, 상기 이미지 처리 방법은 다음의 단계를 포함한다.

단계 201에 있어서, 상기 원본 이미지를 포함하는 영상 데이터에서, M 프레임의 원본 이미지를 추출하며, 상기 M 프레임의 원본 이미지는 적어도 하나의 심장 박동 주기를 포함한다.

상기 M 프레임 목표 이미지는 적어도 하나의 심장 박동 주기를 커버할 수 있으며, 즉 하나의 심장 박동 주기 동안 샘플링된 멀티 프레임 이미지에 대해 예측을 수행하여, 심장 상태 판단을 수행할 때 보다 정확하게 수행된다.

단계 202에 있어서, 상기 M 프레임의 원본 이미지를 상기 목표 파라미터에 부합되는 M 프레임 목표 이미지로 전환한다.

여기서, 상기 M은 1보다 큰 정수이고, 선택적으로, M은 20일 수 있으며, 즉 환자의 하나의 심장 박동 주기 내의 20 프레임 목표 이미지를 획득한다. 상기 단계 202의 이미지 전처리 과정은 도 1에 도시된 실시예의 단계 101에서의 구체적인 설명을 참조할 수 있으며, 여기서 더이상 설명하지 않는다.

단계 203에 있어서, 상기 M 프레임 목표 이미지는 제1 목표 이미지를 포함하고, 상기 제1 목표 이미지를 상기 N 개의 딥 레이어 융합 네트워크 모델에 입력하여, N 개의 초기 예측 심방실 면적 값을 획득한다.

설명 및 이해의 편의를 위해, M 프레임 목표 이미지 중의 하나의 프레임, 즉 상기 제1 목표 이미지를 예로서 구체적으로 설명한다. 본 출원 실시예에서의 딥 레이어 융합 네트워크 모델의 개수는 N일 수 있으며, 여기서, N은 1보다 큰 정수이다. 선택적으로, N 개의 딥 레이어 융합 네트워크 모델은 트레이닝 데이터에 대해 교차 검증 트레이닝을 진행함으로써 획득한다.

본 출원 실시예에서 언급된 교차 검증(Cross-validation)은, 주로 주성분 분석(PCR) 및 부분 최소 제곱 회귀(PLS) 모델링과 같은 모델링 적용에 사용된다. 구체적으로, 주어진 모델링 샘플에서, 대부분의 샘플이 모델을 구축하기 위해 취해지고, 소부분의 샘플을 남겨서 방금 구축된 모델을 사용하여 예보하고, 이 소부분의 샘플의 예보 오차를 구하여, 그것들의 제곱의 합을 기록한다.

본 출원 실시예에서, 교차 검증 트레이닝 방법을 사용할 수 있으며, 선택적으로, 5 교차 검증 트레이닝을 선택하고, 기존의 트레이닝 데이터에 대해 5 교차 트레이닝을 수행하여, 5 개의 모델(딥 레이어 융합 네트워크 모델)을 얻을 수 있으며, 검증 시 전체 데이터 세트를 사용하여 알고리즘 결과를 구현할 수 있다. 구체적으로, 데이터가 5 개의 부분으로 분할 될 때, 먼저, 전처리된 각 원본 이미지의 그레이 스케일 히스토그램 및 심장 기능 인덱스(전술한 11 개의 인덱스일 수 있음)를 추출할 수 있고, 상기 목표 이미지의 기술어로서 연결될 수 있으며, 다음, 평균값 K는 상기 트레이닝 데이터를 감독 없이 5 가지 유형으로 나누는데 사용되며, 다시 5 가지 트레이닝 데이터에서 각 유형을 5 등분으로 나누며, 각 데이터는 각 유형의 데이터의 5 등분 중에서 하나를 취하고(4 개의 등분은 트레이닝에 사용되고, 한 등분은 검증에 사용될 수 있음), 상기 조작을 통해 5 개의 모델은 5 교차 검증 시 각 유형의 데이터의 특징을 광범위하게 학습할 수 있어, 모델의 로버스트를 향상시킬 수 있다.

또한, 일반적인 이미지 처리에서의 랜덤 분할과 비교하면, 상기 5 교차 검증 트레이닝의 경우, 얻은 모델은 데이터 트레이닝의 불균형으로 인하여 극단적인 편차를 나타낼 가능성이 적다.

상기 N 개의 모델을 통해 제1 목표 이미지의 N 개의 초기 예측 심방실 면적 값을 획득한 후, 단계 204를 실행할 수 있다.

단계 204에 있어서, 상기 N 개의 초기 예측 심방실 면적 값에 대해 평균을 취하여, 상기 제1 목표 이미지에 대응하는 예측 심방실 면적 값으로서 사용한다.

단계 205에 있어서, 상기 M 프레임 목표 이미지에서의 각 프레임의 이미지에 대해 동일한 단계를 실행하여, 상기 M 프레임 목표 이미지에 대응하는 M 개의 예측 심방실 면적 값을 획득한다.

상기 단계 203 및 단계 204는 하나의 프레임 목표 이미지에 대해 처리하는 것이고, 상기 M 프레임 목표 이미지에 대해 동일한 단계를 모두 실행하여, 각 프레임 목표 이미지에 대응하는 예측 심방실 면적 값을 획득할 수 있으며, 상기 M 프레임 목표 이미지의 처리는 처리 효율성과 정확성을 향상시키기 위해 동기식으로 수행될 수 있다.

상기 5 교차 검증 트레이닝 방법을 통해, 새로운 데이터(새로운 원본 이미지)를 예측할 때, 상기 5 개의 모델을 통해 5 개의 심방실 면적의 예측 결과를 얻으며, 다시 평균을 취하여, 최종 회귀 예측 결과를 얻을 수 있으며, 상기 예측 결과는 단계 206 및 이후의 시계열 판단 과정에 사용될 수 있다. 다중 모델 융합을 통해, 예측 인덱스의 정확성을 향상시킨다.

단계 206에 있어서, 다항식 곡선을 사용하여 상기 M 개의 예측 심방실 면적 값을 피팅함으로써, 회귀 곡선을 획득한다.

단계 207에 있어서, 상기 회귀 곡선의 최고 프레임과 최저 프레임을 획득하여, 심장 상태가 수축 상태인지 또는 이완 상태인지를 판단하기 위한 판단 구간을 획득한다.

단계 208에 있어서, 상기 판단 구간에 따라 상기 심장 상태를 판단한다.

여기서, 상기 단계 206 - 단계 208은 도 1에 도시된 실시예의 단계 103의 단계 (1) - 단계 (3)의 구체적인 설명을 참조할 수 있으며, 여기서 더이상 설명하지 않는다.

본 출원 실시예는 임상 의료 보조 진단에 적용 가능하다. 환자의 심장 MRI 이미지 중간 값 슬라이스를 획득한 이후, 심장이 이미지에서의 심방실 면적, 심근층 면적, 심방실 직경, 심근 두께와 같은 물리적 인덱스를 계산할 필요가 있으며, 상기 방법을 사용하여, 의사가 심장의 물리적 인덱스에 따라 질병을 결정하도록 돕기 위해, 이미지에 대해 시간이 많이 걸리고 힘든 수동 측정 계산 없이, 상기 인덱스를 신속하게 얻어(0.2 초 내에 완료될 수 있음) 보다 정확한 결정을 할 수 있다.

본 출원 실시예는 상기 원본 이미지를 포함하는 영상 데이터에서, M 프레임의 원본 이미지를 추출하고, 상기 M 프레임의 원본 이미지는 적어도 하나의 심장 박동 주기를 포함하며, 다시 M 프레임의 원본 이미지를 상기 목표 파라미터에 부합되는 M 프레임 목표 이미지로 전환하며, 여기서, 상기 M 프레임 목표 이미지는 제1 목표 이미지를 포함하고, 상기 제1 목표 이미지를 상기 N 개의 딥 레이어 융합 네트워크 모델에 입력하여, N 개의 초기 예측 심방실 면적 값을 획득하고, 다시 상기 N 개의 초기 예측 심방실 면적 값에 대해 평균을 취하여, 상기 제1 목표 이미지에 대응하는 예측 심방실 면적 값으로서 사용하고, 상기 M 프레임 목표 이미지에서의 각 프레임의 이미지에 대해 모두 동일한 단계를 실행하여, 상기 M 프레임 목표 이미지에 대응하는 M 개의 예측 심방실 면적 값을 획득한 다음, 다항식 곡선을 사용하여 상기 M 개의 예측 심방실 면적 값을 피팅함으로써, 회귀 곡선을 획득하며, 상기 회귀 곡선의 최고 프레임과 최저 프레임을 획득하여, 심장 상태가 수축 상태인지 또는 이완 상태인지를 판단하기 위한 판단 구간을 획득하여, 상기 판단 구간에 따라 상기 심장 상태를 판단함으로써, 좌심실 기능 스케일링을 구현하여, 이미지 처리 효율을 높이고, 일반 처리 과정에 수동 참여로 인한 인력 소모 및 오류를 감소시켜, 심장 기능 인덱스의 예측 정확도를 향상시킨다.

상기 설명은 주로 방법측으로부터 과정을 실행하는 관점에서 본 출원 실시예의 방안을 소개한다. 이해할 수 있는 것은, 전자 기기는 상기 기능을 구현하기 위해, 각 기능을 실행하는 상응하는 하드웨어 구조 및/또는 소프트웨어 모듈을 포함한다. 본 분야의 통상의 기술자는 본문에 개시된 실시예에서 설명한 각 예의 유닛 및 알고리즘(algorithm) 단계와 결합하여, 본 발명에서 하드웨어 또는 하드웨어와 컴퓨터 소프프웨어의 결합의 형태로 구현될 수 있다는 것을 쉽게 이해할 것이다. 어느 기능이 하드웨어에 의해 실행되거나 컴퓨터 소프트웨어가 하드웨어를 구동하는 방식에 의해 구현될지는 기술방안의 특정 응용 및 설계 한정 조건에 따라 결정된다. 전문 기술자는 각 특정된 응용에 대해 상이한 방법을 사용하여 서술한 기능을 구현할 수 있지만, 이러한 구현이 본 발명의 범위를 벗어난다고 생각해서는 안 된다.

본 출원 실시예는 상기 방법의 예들에 따라 전자 기기에 대해 기능 모듈의 분할을 수행할 수 있으며, 예를 들어, 각 기능 모듈은 각 기능에 따라 분할될 수 있거나, 둘 또는 둘 이상의 기능은 하나의 처리 모듈에 통합될 수도 있다. 상기 통합된 모듈은 하드웨어 또는 소프트웨어 기능 모듈의 형태로 구현될 수 있다. 설명해야 할 것은, 본 출원의 실시예에서 모듈에 대한 분할은 개략적이고, 다만 논리적 기능 분할일 뿐이며, 실제 구현에는 다른 분할 방식이 있을 수 있다.

도 3을 참조하면, 도 3은 본 출원 실시예에 개시된 전자 기기의 구조 모식도이다. 도 3에 도시된 바와 같이, 상기 전자 기기(300)는, 이미지 전환 모듈(310), 인덱스 예측 모듈(320) 및 상태 예측 모듈(330)을 포함하며, 여기서,

상기 이미지 전환 모듈(310)은, 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환하도록 구성되고;

상기 인덱스 예측 모듈(320)은, 상기 이미지 전환 모듈(310)에 의해 전환된 상기 목표 이미지에 따라 목표 수치 인덱스를 획득하도록 구성되며;

상기 상태 예측 모듈(330)은, 상기 인덱스 예측 모듈(320)에 의해 획득된 상기 목표 수치 인덱스에 따라, 상기 목표 이미지에 대해 시계열 예측 처리를 수행하여, 시계열 상태 예측 결과를 획득하도록 구성된다.

선택적으로, 상기 인덱스 예측 모듈(320)은, 파라미터리스 시퀀스 예측 전략을 사용하여, 상기 목표 이미지에 대해 시계열 예측 처리를 수행함으로써, 시계열 상태 예측 결과를 획득하도록 구성된다.

선택적으로, 상기 인덱스 예측 모듈(320)은, 상기 목표 이미지 및 딥 레이어 융합 네트워크 모델에 따라 목표 수치 인덱스를 획득하도록 구성된다.

선택적으로, 상기 원본 이미지는 심장 자기 공명 영상이고;

상기 목표 수치 인덱스는 심방실 면적, 심근 면적, 60도 마다의 심방실 직경, 60도 마다의 심근층 두께 중 적어도 하나를 포함한다.

선택적으로, 상기 인덱스 예측 모듈(320)은, 제1 예측 유닛(321)을 포함하고, 상기 제1 예측 유닛(321)은, M 프레임 목표 이미지의 M 개의 예측 심방실 면적 값을 각각 획득하도록 구성되며;

상기 상태 예측 모듈(330)은, 다항식 곡선을 사용하여 상기 M 개의 예측 심방실 면적 값을 피팅함으로써, 회귀 곡선을 획득하고; 상기 회귀 곡선의 최고 프레임과 최저 프레임을 획득하여, 심장 상태가 수축 상태인지 또는 이완 상태인지를 판단하기 위한 판단 구간을 획득하며; 상기 판단 구간에 따라 상기 심장 상태를 판단 - 상기 M은 1보다 큰 정수임 - 하도록 구성된다.

선택적으로, 상기 전자 기기(300)는 이미지 추출 모듈(340)을 더 포함하고, 상기 원본 이미지를 포함하는 영상 데이터에서, M 프레임의 원본 이미지를 추출 - 상기 M 프레임의 원본 이미지는 적어도 하나의 심장 박동 주기를 포함함 - 하도록 구성되며;

상기 이미지 전환 모듈(310)은, M 프레임의 원본 이미지를 상기 목표 파라미터에 부합되는 M 프레임 목표 이미지로 전환하도록 구성된다.

선택적으로, 상기 인덱스 예측 모듈(320)의 상기 딥 레이어 융합 네트워크 모델의 개수는 N이고, 상기 N 개의 딥 레이어 융합 네트워크 모델은 트레이닝 데이터에 대해 교차 검증 트레이닝을 진행함으로써 획득하며, 상기 N은 1보다 큰 정수이다.

선택적으로, 상기 M 프레임 목표 이미지는 제1 목표 이미지를 포함하고, 상기 인덱스 예측 모듈(320)은, 상기 제1 목표 이미지를 상기 N 개의 딥 레이어 융합 네트워크 모델에 입력하여, N 개의 초기 예측 심방실 면적 값을 획득하고;

상기 제1 예측 유닛(321)은, 상기 N 개의 초기 예측 심방실 면적 값에 대해 평균을 취하여, 상기 제1 목표 이미지에 대응하는 예측 심방실 면적 값으로서 사용하고, 상기 M 프레임 목표 이미지에서의 각 프레임의 이미지에 대해 동일한 단계를 실행하여, 상기 M 프레임 목표 이미지에 대응하는 M 개의 예측 심방실 면적 값을 획득하도록 구성된다.

선택적으로, 상기 이미지 전환 모듈(310)은, 상기 원본 이미지에 대해 히스토그램 등화 처리를 수행하여, 그레이 스케일 값이 목표 동적 범위를 만족시키는 상기 목표 이미지를 획득하도록 구성된다.

도 3에 도시된 전자 기기(300)를 실시하여, 전자 기기(300)는 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환할 수 있으며, 상기 목표 이미지에 따라 목표 수치 인덱스를 획득하고, 목표 수치 인덱스에 따라, 목표 이미지에 대해 시계열 예측 처리를 수행하여, 시계열 상태 예측 결과를 획득할 수 있으며, 좌심실 기능 스케일링을 구현할 수 있어, 이미지 처리 효율을 높이고, 일반 처리 과정에 수동 참여로 인한 인력 소모 및 오류를 감소시켜, 심장 기능 인덱스의 예측 정확도를 향상시킨다.

도 4를 참조하면, 도 4는 본 출원 실시예에 개시된 다른 전자 기기의 구조 모식도이다. 도 4에 도시된 바와 같이, 상기 전자 기기(400)는 프로세서(401) 및 메모리(402)를 포함하며, 상기 메모리(402)는 하나 또는 복수 개의 프로그램을 저장하기 위한 것이고, 상기 하나 또는 복수 개의 프로그램은 상기 프로세서(401)에 의해 실행되도록 구성되고, 상기 프로그램은 본 출원 실시예 상기 방법을 실행하기 위한 명령어를 포함한다 .

여기서, 전자 기기(400)는 버스(403)를 더 포함할 수 있으며, 프로세서(401) 및 메모리(402)는 버스(403)를 통해 서로 연결될 수 있으며, 버스(403)는 주변 구성 요소 상호 연결(Peripheral Component Interconnect, PCI) 버스 또는 확장 업계 표준 구조(Extended Industry Standard Architecture, EISA) 버스 등이다. 버스(403)는 어드레스 버스, 데이터 버스, 제어 버스 등으로 구분될 수 있다. 표현의 용이함을 위해, 도 4에서 다만 하나의 굵은 선으로 표시하였으나, 하나의 버스 또는 하나의 버스 유형만 있는 것은 아니다. 여기서, 전자 기기(400)는 입출력 기기(404)를 더 포함할 수 있고, 입출력 기기(404)는 액정 디스플레이 스크린과 같은 디스플레이 스크린을 포함할 수 있다. 메모리(402)는 명령어를 포함하는 하나 또는 복수 개의 프로그램을 저장하기 위한 것이고; 프로세서(401)는 메모리(402)에 저장된 명령어를 호출하여 상기 도 1 및 도 2의 실시예에 언급된 부분 또는 전부 방법의 단계를 실행하기 위한 것이다. 상기 프로세서(401)는 도 3의 전자 기기(300) 중의 각 모듈의 기능을 상응하게 구현할 수 있다.

하나의 예로서, 프로세서(401)가 메모리(402)에 저장된 프로그램을 실행할 때, 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환하도록 실행하기 위한 것이며, 상기 목표 이미지에 따라 목표 수치 인덱스를 획득하고, 목표 수치 인덱스에 따라, 목표 이미지 시계열 예측 처리를 수행하여, 시계열 상태 예측 결과를 획득할 수 있어, 좌심실 기능 스케일링을 높이고, 이미지 처리 효율을 높이고, 일반 처리 과정에 수동 참여로 인한 인력 소모 및 오류를 감소시켜, 심장 기능 인덱스의 예측 정확도를 향상시킨다.

본 출원 실시예는 또한 컴퓨터 저장 매체를 제공하며, 여기서, 상기 컴퓨터 저장 매체는 전자 데이터 교환을 위한 컴퓨터 프로그램을 저장하기 위한 것이며, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 상기 방법 실시예에 기재된 이미지 처리 방법 중 어느 하나의 부분 또는 전부 단계를 실행하도록 한다.

설명해야 할 것은, 전술한 각 방법 실시예에 대해, 간단한 설명을 위해, 이들 모두를 일련의 동작 조합으로 표현하였지만, 본 기술분야의 기술자는, 일부 단계들이 본 발명에 따라 다른 순서를 사용하거나 동시에 진행할 수 있으므로, 본 발명에서 설명된 동작 순서의 제한을 받지 않음을 잘 알고 있을 것이다. 다음, 본 기술분야의 기술자는, 명세서에서 설명된 실시예가 모두 바람직한 실시예에 속하며, 언급된 동작과 모듈은 본 발명에 반드시 필요한 것은 아니라는 것을 잘 알고 있을 것이다.

상기 실시예에서, 각 실시예의 설명은 각각의 중점을 가지며, 어느 한 실시예에서 상세하게 설명하지 않은 부분에 대해서는, 다른 실시예의 관련 설명을 참조할 수 있다.

본 출원에서 제공하는 몇 가지 실시예에서 개시된 장치는, 다른 방식에 의해 구현될 수 있음을 이해해야 한다. 예를 들어, 전술한 장치 실시예는 다만 개략적인 것이며, 예를 들어, 상기 모듈 (또는 유닛)의 분할은, 다만 논리적 기능 분할이며, 실제 구현 시 다른 분할 방식이 있을 수 있으며, 예를 들어, 복수 개의 모듈 또는 구성 요소가 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징이 무시되거나 실행되지 않을 수 있다. 또한, 기재 또는 논의된 서로 간의 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스, 장치 또는 모듈의 간접 커플링 또는 통신을 통해 연결될 수 있고, 전기적 또는 다른 형태일 수 있다.

상기 분리 부재로서 설명된 모듈은 물리적으로 분리되거나 분리되지 않을 수 있고, 모듈로서 표시되는 부재는 물리적 모듈일 수도 있고 아닐 수도 있으며, 즉 한 위치에 있거나 복수의 네트워크 모듈에 분산될 수 있다. 모듈의 일부 또는 전부는 실시예의 방안의 목적을 달성하기 위한 실제 필요에 따라 선택될 수 있다.

또한, 본 발명의 실시예에서의 기능 모듈은 하나의 처리 모듈에 통합될 수 있거나, 각각의 모듈이 물리적으로 단독으로 존재할 수 있거나, 둘 이상의 모듈이 하나의 모듈에 통합될 수 있다. 상기 통합된 모듈은 하드웨어 또는 소프트웨어 기능 모듈의 형태로 구현될 수 있다.

상기 통합된 모듈이 소프트웨어 기능 모듈의 형태로 구현되어 독립적인 제품으로서 판매 또는 사용되는 경우, 통합 모듈은 컴퓨터 판독 가능 메모리에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 기술방안은 본질적으로 종래 기술에 기여하는 부분 또는 상기 기술방안의 전부 또는 부분은 소프트웨어 제품의 형태로 구현될 수 있으며, 상기 컴퓨터 소프트웨어 제품은 하나의 메모리에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등)가 본 발명의 각 실시예의 상기 방법의 전부 또는 부분 단계를 실행하도록 여러 명령어를 포함한다. 전술한 메모리는, USB 플래시 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 모바일 하드 디스크, 플로피 디스크 또는 광 디스크와 같은 프로그램 코드가 저장된 매체를 포함한다.

당업자는 상기 실시예의 방법의 전부 또는 부분 단계가 관련 하드웨어를 지시하기 위한 프로그램에 의해 완료될 수 있으며, 상기 프로그램은 컴퓨 판독 가능 메모리에 저장될 수 있으며, 메모리는 플래시 디스크, 판독 전용 메모리, 랜덤 액세스 메모리, 자기 디스크 또는 광 디스크를 포함한다.

본 출원 실시예는 위에서 상세히 설명되었고, 본문에서는 구체적인 예를 적용하여 본 발명의 원리 및 실시형태를 기술하였고, 이상의 실시예의 설명은 다만 본 발명의 방법 및 이의 핵심 사상의 이해를 돕기 위해서만 사용되며; 동시에, 당업자는 본 발명의 사상에 따라 구체적인 실시형태 및 응용범위에 변화가 있으며, 결론적으로, 본 명세서의 내용은 본 발명을 한정하는 것이 아니라는 것을 이해할 것이다.

Claims

이미지 처리 방법으로서,
상기 방법은,
원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환하는 단계;
상기 목표 이미지에 따라 목표 수치 인덱스를 획득하는 단계; 및
상기 목표 수치 인덱스에 따라, 상기 목표 이미지에 대해 시계열 예측 처리를 수행하여, 시계열 상태 예측 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 목표 이미지에 대해 시계열 예측 처리를 수행하여, 시계열 상태 예측 결과를 획득하는 단계는,
파라미터리스 시퀀스 예측 전략을 사용하여, 상기 목표 이미지에 대해 시계열 예측 처리를 수행함으로써, 시계열 상태 예측 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 또는 제2항에 있어서,
상기 목표 이미지에 따라 목표 수치 인덱스를 획득하는 단계는,
상기 목표 이미지 및 딥 레이어 융합 네트워크 모델에 따라 목표 수치 인덱스를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 원본 이미지는 심장 자기 공명 영상이고,
상기 목표 수치 인덱스는 심방실 면적, 심근 면적, 60도 마다의 심방실 직경, 60도 마다의 심근층 두께 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 목표 수치 인덱스를 획득하는 단계는,
M 프레임 목표 이미지의 M 개의 예측 심방실 면적 값을 각각 획득하는 단계를 포함하고;
상기 목표 수치 인덱스에 따라, 파라미터리스 시퀀스 예측 전략을 사용하여, 상기 목표 이미지에 대해 시계열 예측 처리를 수행함으로써, 시계열 상태 예측 결과를 획득하는 단계는,
다항식 곡선을 사용하여 상기 M 개의 예측 심방실 면적 값을 피팅하여, 회귀 곡선을 획득하는 단계;
상기 회귀 곡선의 최고 프레임과 최저 프레임을 획득하여, 심장 상태가 수축 상태인지 또는 이완 상태인지를 판단하기 위한 판단 구간을 획득하는 단계; 및
상기 판단 구간에 따라 상기 심장 상태를 판단하는 단계 - 상기 M은 1보다 큰 정수임 - 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제5항에 있어서,
상기 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환하기 전에, 상기 방법은,
상기 원본 이미지를 포함하는 영상 데이터에서, M 프레임의 원본 이미지를 추출하는 단계 - 상기 M 프레임의 원본 이미지는 적어도 하나의 심장 박동 주기를 포함함 - 를 더 포함하고;
상기 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환하는 단계는,
M 프레임의 원본 이미지를 상기 목표 파라미터에 부합되는 M 프레임 목표 이미지로 전환하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제3항 내지 제6항에 있어서,
상기 방법은,
상기 딥 레이어 융합 네트워크 모델의 개수는 N이고, 상기 N 개의 딥 레이어 융합 네트워크 모델은 트레이닝 데이터에 대해 교차 검증 트레이닝을 진행함으로써 획득하는 단계 - 상기 N은 1보다 큰 정수임 - 를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제7항에 있어서,
상기 M 프레임 목표 이미지는 제1 목표 이미지를 포함하고, 상기 목표 이미지를 딥 레이어 융합 네트워크 모델에 입력하여, 목표 수치 인덱스를 획득하는 단계는,
상기 제1 목표 이미지를 상기 N 개의 딥 레이어 융합 네트워크 모델에 입력하여, N 개의 초기 예측 심방실 면적 값을 획득하는 단계를 포함하고;
상기 M 프레임 목표 이미지의 M 개의 예측 심방실 면적 값을 각각 획득하는 단계는,
상기 N 개의 초기 예측 심방실 면적 값에 대해 평균을 취하여, 상기 제1 목표 이미지에 대응하는 예측 심방실 면적 값으로서 사용하고, 상기 M 프레임 목표 이미지에서의 각 프레임의 이미지에 대해 동일한 단계를 실행하여, 상기 M 프레임 목표 이미지에 대응하는 M 개의 예측 심방실 면적 값을 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환하는 단계는,
상기 원본 이미지에 대해 히스토그램 등화 처리를 수행하여, 그레이 스케일 값이 목표 동적 범위를 만족시키는 상기 목표 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
이미지 전환 모듈, 인덱스 예측 모듈 및 상태 예측 모듈을 포함하는 전자 기기로서,
상기 이미지 전환 모듈은 원본 이미지를 목표 파라미터에 부합하는 목표 이미지로 전환하도록 구성되고;
상기 인덱스 예측 모듈은 상기 이미지 전환 모듈에 의해 전환된 상기 목표 이미지에 따라 목표 수치 인덱스를 획득하도록 구성되며;
상기 상태 예측 모듈은 상기 인덱스 예측 모듈에 의해 획득된 상기 목표 수치 인덱스에 따라, 상기 목표 이미지에 대해 시계열 예측 처리를 수행하여, 시계열 상태 예측 결과를 획득하도록 구성되는 것을 특징으로 하는 전자 기기.
제10항에 있어서,
상기 인덱스 예측 모듈은 파라미터리스 시퀀스 예측 전략을 사용하여, 상기 목표 이미지에 대해 시계열 예측 처리를 수행함으로써, 시계열 상태 예측 결과를 획득하도록 구성되는 것을 특징으로 하는 전자 기기.
제10항 또는 제11항에 있어서,
상기 인덱스 예측 모듈은 상기 목표 이미지 및 딥 레이어 융합 네트워크 모델에 따라 목표 수치 인덱스를 획득하도록 구성되는 것을 특징으로 하는 전자 기기.
제10항 내지 제12항 중 어느 한 항에 있어서,
상기 원본 이미지는 심장 자기 공명 영상이고,
상기 목표 수치 인덱스는 심방실 면적, 심근 면적, 60도 마다의 심방실 직경, 60도 마다의 심근층 두께 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 기기.
제10항 내지 제13항 중 어느 한 항에 있어서,
상기 인덱스 예측 모듈은 제1 예측 유닛을 포함하며, 상기 제1 예측 유닛은 M 프레임 목표 이미지의 M 개의 예측 심방실 면적 값을 각각 획득하도록 구성되며;
상기 상태 예측 모듈은, 다항식 곡선을 사용하여 상기 M 개의 예측 심방실 면적 값을 피팅함으로써, 회귀 곡선을 획득하고; 상기 회귀 곡선의 최고 프레임과 최저 프레임을 획득하여, 심장 상태가 수축 상태인지 또는 이완 상태인지를 판단하기 위한 판단 구간을 획득하며; 상기 판단 구간에 따라 상기 심장 상태를 판단 - 상기 M은 1보다 큰 정수임 - 하도록 구성되는 것을 특징으로 하는 전자 기기.
제14항에 있어서,
상기 전자 기기는 상기 원본 이미지를 포함하는 영상 데이터에서, M 프레임의 원본 이미지를 추출하도록 구성되는 이미지 추출 모듈을 더 포함하고, 상기 M 프레임의 원본 이미지는 적어도 하나의 심장 박동 주기를 포함하며;
상기 이미지 전환 모듈은 M 프레임의 원본 이미지를 상기 목표 파라미터에 부합되는 M 프레임 목표 이미지로 전환하도록 구성되는 것을 특징으로 하는 전자 기기.
제12항 내지 제15항 중 어느 한 항에 있어서,
상기 인덱스 예측 모듈의 상기 딥 레이어 융합 네트워크 모델의 개수는 N이고, 상기 N 개의 딥 레이어 융합 네트워크 모델은 트레이닝 데이터에 대해 교차 검증 트레이닝을 진행함으로써 획득하며, 상기 N은 1보다 큰 정수인 것을 특징으로 하는 전자 기기.
제16항에 있어서,
상기 M 프레임 목표 이미지는 제1 목표 이미지를 포함하고, 상기 인덱스 예측 모듈은, 상기 제1 목표 이미지를 상기 N 개의 딥 레이어 융합 네트워크 모델에 입력하여, N 개의 초기 예측 심방실 면적 값을 획득하도록 구성되고;
상기 제1 예측 유닛은, 상기 N 개의 초기 예측 심방실 면적 값에 대해 평균을 취하여, 상기 제1 목표 이미지에 대응하는 예측 심방실 면적 값으로서 사용하고, 상기 M 프레임 목표 이미지에서의 각 프레임의 이미지에 대해 동일한 단계를 실행하여, 상기 M 프레임 목표 이미지에 대응하는 M 개의 예측 심방실 면적 값을 획득하도록 구성되는 것을 특징으로 하는 전자 기기.
제10항 내지 제17항 중 어느 한 항에 있어서,
상기 이미지 전환 모듈은, 상기 원본 이미지에 대해 히스토그램 등화 처리를 수행하여, 그레이 스케일 값이 목표 동적 범위를 만족시키는 상기 목표 이미지를 획득하도록 구성되는 것을 특징으로 하는 전자 기기.
프로세서 및 메모리를 포함하는 전자 기기로서,
상기 메모리는 하나 또는 복수 개의 프로그램을 저장하기 위한 것이며, 상기 하나 또는 복수 개의 프로그램은 상기 프로세서에 의해 실행되도록 구성되며, 상기 프로그램은 제1항 내지 제9항 중 어느 한 항에 따른 방법을 실행하기 위한 명령어를 포함하는 것을 특징으로 하는 전자 기기.
전자 데이터 교환을 위한 컴퓨터 프로그램을 저장하기 위한 컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 프로그램은 컴퓨터로 하여금 제1항 내지 제9항 중 어느 한 항에 따른 방법을 실행하도록 하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.