KR20210115010A - 이미지 처리 방법 및 장치, 전자 기기 - Google Patents

Abstract

본 발명의 실시예는 이미지 처리 방법 및 장치, 전자 기기를 개시한다. 상기 이미지 처리 방법은, 타겟 대상을 포함하는 이미지 데이터를 획득하는 단계 - 상기 타겟 대상은 적어도 하나의 서브 대상을 포함함 - ; 및 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하는 단계 - 상기 타겟 이미지 데이터는 적어도 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함함 - 를 포함한다.

Description

이미지 처리 방법 및 장치, 전자 기기

관련 출원의 상호 참조

본 발명은 출원번호가 201910473265.6이고, 출원일이 2019년 05월 31일인 중국 특허 출원에 기반하여 제출하였으며, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 전부 내용은 인용을 통해 본 발명에 결합된다.

본 발명은 이미지 처리 기술에 관한 것으로, 구체적으로 이미지 처리 방법 및 장치, 전자 기기에 관한 것이다.

일반적으로, 인간의 척추는 위에서 아래로 순차적으로 배열된 26개의 척추로 구성된다. 척추은 인체 위치의 중요한 기준 물체이다. 26개의 척추의 중심을 감지, 포지셔닝 및 인식하면, 다른 장기 및 조직의 포지셔닝에 대한 상대적 위치 정보를 제공할 수 있고, 이는 수술 계획, 병리학적 감지, 수술 후 효과 평가 등과 같은 후속 활동에 유리하며; 한편으로, 척추 중심을 감지 및 포지셔닝하면, 척추를 수학적으로 모델링할 수 있으므로, 척추 모양의 사전 정보를 제공하여, 척추 및 다른 조직의 분할을 용이하게 할 수 있다. 따라서, 척추 중심의 포지셔닝은 중요한 응용 가치가 있다.

현재, 척추 중심의 포지셔닝은 주로 하기와 같은 방식을 이용한다. 첫 번째는 수동적 포지셔닝인데, 3 차원 전산화 단층 촬영(CT, Computed Tomography) 이미지에서 척추 유형에 대한 인식 및 척추 중심에 대한 포지셔닝은 시간이 매우 많이 걸릴 뿐만 아니라 매우 힘들며, 또한 인위적 오류가 쉽게 발생하고, 어렵고 복잡한 일부 이미지에서, 수동적 포지셔닝은 다소 주관적이고, 오류가 발생할 수 있으며; 두 번째는 자동 진단 시스템을 이용하는 것인데, 현재의 자동 진단 시스템에서 이용되는 알고리즘은 수동 선택의 특징을 이용하여, 일반화 성능이 저하되어, 시스템 성능이 저하되고 척추 중심에 대한 포지셔닝의 정확도가 낮다.

본 발명의 실시예는 이미지 처리 방법 및 장치, 전자 기기를 제공한다.

본 발명의 실시예의 기술적 해결수단은 하기와 같이 구현된다.

본 발명의 실시예는 이미지 처리 방법을 제공하고, 상기 이미지 처리 방법은, 타겟 대상을 포함하는 이미지 데이터를 획득하는 단계 - 상기 타겟 대상은 적어도 하나의 서브 대상을 포함함 - ; 및 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하는 단계 - 상기 타겟 이미지 데이터는 적어도 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함함 - 를 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하는 단계는, 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하는 단계를 포함하고, 상기 타겟 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하는 단계는, 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 제1 이미지 데이터를 획득하는 단계 - 상기 제1 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함함 - ; 및 제2 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하는 단계 - 상기 제2 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 카테고리를 지시함 - 를 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하는 단계는, 상기 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 상기 이미지 데이터에서의 픽셀에 대응되는 제1 변위 데이터를 획득하는 단계 - 상기 제1 변위 데이터는 상기 픽셀과 상기 픽셀에 가장 가까운 서브 대상의 중심점 사이의 변위를 가리킴 - ; 상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하는 단계 - 상기 제1 서브 대상은 상기 적어도 하나의 서브 대상 중 임의의 하나의 서브 대상임 - ; 및 상기 이미지 데이터 중의 적어도 일부 픽셀에 대응되는 상기 제1 서브 대상의 중심점의 초기 위치를 획득하는 단계 - 위치가 동일한 초기 위치의 개수를 결정하며, 개수가 가장 많은 초기 위치에 기반하여 상기 제1 서브 대상의 중심점을 결정함 - 를 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하기 전에, 상기 이미지 처리 방법은, 상기 이미지 데이터에서의 적어도 하나의 픽셀에 대응되는 제1 변위 거리에 기반하여 상기 적어도 하나의 픽셀을 선별함으로써, 상기 적어도 하나의 픽셀에 가장 가까운 제1 서브 대상의 중심 사이와의 거리가 특정 조건을 만족하는 적어도 하나의 제1 픽셀을 획득하는 단계를 더 포함하며; 상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하는 단계는, 상기 제1 픽셀의 제1 변위 데이터 및 상기 제1 픽셀의 위치 데이터에 기반하여 상기 제1 서브 대상의 중심점의 초기 위치를 결정하는 단계를 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 제2 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하는 단계는, 상기 이미지 데이터 및 상기 제1 이미지 데이터를 병합하여, 타겟 이미지 데이터를 획득하는 단계; 제2 완전 컨볼루션 신경망에 기반하여 상기 타겟 이미지 데이터를 처리하여, 상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하고, 최대 확률치에 대응되는 서브 대상의 카테고리를 상기 픽셀이 속한 서브 대상의 카테고리로 결정하는 단계; 및 상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리에 기반하여 제2 이미지 데이터를 획득하는 단계를 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하고, 최대 확률치에 대응되는 서브 대상의 카테고리를 상기 픽셀이 속한 서브 대상의 카테고리로 결정하는 단계는, 상기 타겟 이미지 데이터에서의 제2 서브 대상의 중심점에 대응하는 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하는 단계 - 상기 제2 서브 대상은 상기 적어도 하나의 서브 대상 중 임의의 하나의 서브 대상임 - ; 및 최대 확률치에 대응되는 제2 서브 대상의 카테고리를 상기 제2 서브 대상의 카테고리로 결정하는 단계를 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 제2 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하는 단계는, 상기 이미지 데이터를 다운 샘플링 처리하여, 제3 이미지 데이터를 획득하는 단계; 및 제2 완전 컨볼루션 신경망에 기반하여 상기 제3 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하는 단계를 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 제1 완전 컨볼루션 신경망의 트레이닝 과정은, 타겟 대상을 포함하는 제1 샘플 이미지 데이터 및 상기 제1 샘플 이미지 데이터에 대응되는 제1 라벨 데이터를 획득하는 단계 - 상기 제1 라벨 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 중심점을 지시하기 위한 것임 - ; 및 상기 제1 샘플 이미지 데이터 및 대응되는 제1 라벨 데이터에 따라 상기 제1 완전 컨볼루션 신경망을 트레이닝하는 단계를 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 제1 샘플 이미지 데이터 및 대응되는 제1 라벨 데이터에 따라 상기 제1 완전 컨볼루션 신경망을 트레이닝하는 단계는, 제1 완전 컨볼루션 신경망에 따라 상기 제1 샘플 이미지 데이터를 처리하여, 초기 이미지 데이터를 획득하는 단계 - 상기 초기 이미지 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 초기 중심점을 포함함 - ; 및 상기 초기 이미지 데이터 및 상기 제1 라벨 데이터에 기반하여 손실 함수를 결정하고, 상기 손실 함수에 기반하여 상기 제1 완전 컨볼루션 신경망의 파라미터를 조정하여, 상기 제1 완전 컨볼루션 신경망을 트레이닝하는 단계를 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 제2 완전 컨볼루션 신경망의 트레이닝 과정은, 타겟 대상을 포함하는 제1 샘플 이미지 데이터, 상기 제1 샘플 이미지 데이터와 관련된 제2 샘플 이미지 데이터 및 상기 제1 샘플 이미지 데이터에 대응되는 제2 라벨 데이터를 획득하는 단계 - 상기 제2 샘플 이미지 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 중심점을 포함하며, 상기 제2 라벨 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 카테고리를 지시하기 위한 것임 - ; 및 상기 제1 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝하는 단계를 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 제1 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝하는 단계는, 상기 제1 샘플 이미지 데이터를 다운 샘플링 처리하여, 제3 샘플 이미지 데이터를 획득하는 단계; 및 상기 제3 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝하는 단계를 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 타겟 대상은 적어도 하나의 척추를 포함하는 척추뼈를 포함한다.

본 발명의 실시예는 이미지 처리 장치를 더 제공하고, 상기 이미지 처리 장치는 획득 유닛 및 이미지 처리 유닛을 포함하고, 상기 획득 유닛은, 타겟 대상을 포함하는 이미지 데이터를 획득하며, 상기 타겟 대상은 적어도 하나의 서브 대상을 포함하며; 상기 이미지 처리 유닛은 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하고, 상기 타겟 이미지 데이터는 적어도 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 이미지 처리 유닛은, 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하고, 상기 타겟 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함하도록 구성된다.

본 발명의 일부 선택 가능한 실시예에서, 상기 이미지 처리 유닛은, 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 제1 이미지 데이터를 획득하고, 상기 제1 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함하며; 제2 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하고, 상기 제2 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 카테고리를 지시하도록 구성된다.

본 발명의 일부 선택 가능한 실시예에서, 상기 이미지 처리 유닛은, 상기 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 상기 이미지 데이터에서의 픽셀에 대응되는 제1 변위 데이터를 획득하고; 상기 제1 변위 데이터는 상기 픽셀과 상기 픽셀에 가장 가까운 서브 대상의 중심점 사이의 변위를 가리키며; 상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하고; 상기 제1 서브 대상은 상기 적어도 하나의 서브 대상 중 임의의 하나의 서브 대상이며; 상기 이미지 데이터 중의 적어도 일부 픽셀에 대응되는 상기 제1 서브 대상의 중심점의 초기 위치를 획득하고, 위치가 동일한 초기 위치의 개수를 결정하며, 개수가 가장 많은 초기 위치에 기반하여 상기 제1 서브 대상의 중심점을 결정하도록 구성된 제1 프로세싱 모듈을 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 제1 프로세싱 모듈은, 상기 이미지 데이터에서의 적어도 하나의 픽셀에 대응되는 제1 변위 거리에 기반하여 상기 적어도 하나의 픽셀을 선별함으로써, 상기 적어도 하나의 픽셀에 가장 가까운 제1 서브 대상의 중심 사이와의 거리가 특정 조건을 만족하는 적어도 하나의 제1 픽셀을 획득하며; 상기 제1 픽셀의 제1 변위 데이터 및 상기 제1 픽셀의 위치 데이터에 기반하여 상기 제1 서브 대상의 중심점의 초기 위치를 결정하도록 구성된다.

본 발명의 일부 선택 가능한 실시예에서, 상기 이미지 처리 유닛은, 상기 이미지 데이터 및 상기 제1 이미지 데이터를 병합하여, 타겟 이미지 데이터를 획득하고; 제2 완전 컨볼루션 신경망에 기반하여 상기 타겟 이미지 데이터를 처리하여, 상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하며, 최대 확률치에 대응되는 서브 대상의 카테고리를 상기 픽셀이 속한 서브 대상의 카테고리로 결정하고; 상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리에 기반하여 제2 이미지 데이터를 획득하도록 구성된 제2 프로세싱 모듈을 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 제2 프로세싱 모듈은, 상기 타겟 이미지 데이터에서의 제2 서브 대상의 중심점에 대응하는 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하고, 상기 제2 서브 대상은 상기 적어도 하나의 서브 대상 중 임의의 하나의 서브 대상이며; 최대 확률치에 대응되는 제2 서브 대상의 카테고리를 상기 제2 서브 대상의 카테고리로 결정하도록 구성된다.

본 발명의 일부 선택 가능한 실시예에서, 상기 이미지 처리 유닛은, 상기 이미지 데이터를 다운 샘플링 처리하여, 제3 이미지 데이터를 획득하고; 제2 완전 컨볼루션 신경망에 기반하여 상기 제3 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하도록 구성된다.

본 발명의 일부 선택 가능한 실시예에서, 상기 이미지 처리 장치는, 타겟 대상을 포함하는 제1 샘플 이미지 데이터 및 상기 제1 샘플 이미지 데이터에 대응되는 제1 라벨 데이터를 획득하고; 상기 제1 라벨 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 중심점을 지시하며; 상기 제1 샘플 이미지 데이터 및 대응되는 제1 라벨 데이터에 따라 상기 제1 완전 컨볼루션 신경망을 트레이닝하도록 구성된 제1 트레이닝 유닛을 더 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 제1 트레이닝 유닛은, 제1 완전 컨볼루션 신경망에 따라 상기 제1 샘플 이미지 데이터를 처리하여, 초기 이미지 데이터를 획득하고, 상기 초기 이미지 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 초기 중심점을 포함하며; 상기 초기 이미지 데이터 및 상기 제1 라벨 데이터에 기반하여 손실 함수를 결정하고, 상기 손실 함수에 기반하여 상기 제1 완전 컨볼루션 신경망의 파라미터를 조정하여, 상기 제1 완전 컨볼루션 신경망을 트레이닝하도록 구성된다.

본 발명의 일부 선택 가능한 실시예에서, 상기 이미지 처리 장치는, 타겟 대상을 포함하는 제1 샘플 이미지 데이터, 상기 제1 샘플 이미지 데이터와 관련된 제2 샘플 이미지 데이터 및 상기 제1 샘플 이미지 데이터에 대응되는 제2 라벨 데이터를 획득하고; 상기 제2 샘플 이미지 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 중심점을 포함하며; 상기 제2 라벨 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 카테고리를 지시하기 위한 것이고; 상기 제1 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝하도록 구성된 제2 트레이닝 유닛을 더 포함한다.

본 발명의 일부 선택 가능한 실시예에서, 상기 제2 트레이닝 유닛은, 상기 제1 샘플 이미지 데이터를 다운 샘플링 처리하여, 제3 샘플 이미지 데이터를 획득하고; 상기 제3 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝하도록 구성된다.

본 발명의 일부 선택 가능한 실시예에서, 상기 타겟 대상은 적어도 하나의 척추를 포함하는 척추뼈를 포함한다.

본 발명의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 프로그램은 프로세서에 의해 실행될 경우, 본 발명의 실시예에 따른 방법의 단계를 구현한다.

본 발명의 실시예는 메모리, 프로세서 및 메모리에 저장되어 프로세서에서 실행 가능한 컴퓨터 프로그램을 포함하는 전자 기기를 더 제공하고, 상기 프로세서는 상기 프로그램을 실행할 경우, 본 발명의 실시예에 따른 방법의 단계를 구현한다.

본 발명의 실시예는 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중의 프로세서가 본 발명의 실시예에 따른 이미지 처리 방법을 실행한다.

본 발명의 실시예는 이미지 처리 방법 및 장치, 전자 기기를 제공하고, 상기 이미지 처리 방법은, 타겟 대상을 포함하는 이미지 데이터를 획득하는 단계 - 상기 타겟 대상은 적어도 하나의 서브 대상을 포함함 - ; 및 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하는 단계 - 상기 타겟 이미지 데이터는 적어도 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함함 - 를 포함한다. 본 발명의 실시예의 기술적 해결수단을 이용하여, 완전 컨볼루션 신경망을 통해 이미지 데이터를 처리하여, 적어도 타겟 대상에서 적어도 하나의 서브 대상의 중심점을 포함하는 타겟 이미지 데이터를 획득하고, 예를 들어, 적어도 척추뼈에서 각각의 척추의 중심점을 포함하는 타겟 이미지 데이터를 획득함으로써, 한편으로, 수동 선택 특징의 방식에 비해, 완전 컨볼루션 신경망을 통해 자동으로 진행되는 이미지 데이터의 특징 인식, 특징 선택 및 특징 분류는, 시스템 성능을 향상시키고, 척추 중심에 대한 포지셔닝의 정확도를 향상시키며; 다른 한편으로, 완전 컨볼루션 신경망을 통해 각각의 픽셀점을 분류할 수 있고, 즉, 완전 컨볼루션 신경망은 척추 사이의 공간 관계를 더 많이 활용하여 트레이닝 효율을 향상시켜, 네트워크 성능을 향상시킬 수 있다.

도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 제1 흐름 모식도이다.
도 2는 본 발명의 실시예에 따른 이미지 처리 방법의 제2 흐름 모식도이다.
도 3은 본 발명의 실시예에 따른 이미지 처리 방법의 제3 흐름 모식도이다.
도 4는 본 발명의 실시예에 따른 이미지 처리 방법의 제4 흐름 모식도이다.
도 5는 본 발명의 실시예에 따른 이미지 처리 방법 중의 네트워크 트레이닝 방법의 흐름 모식도이다.
도 6은 본 발명의 실시예에 따른 이미지 처리 방법 중의 네트워크 트레이닝 방법의 다른 흐름 모식도이다.
도 7은 본 발명의 실시예에 따른 이미지 처리 장치의 제1 구성 구조 모식도이다.
도 8은 본 발명의 실시예에 따른 이미지 처리 장치의 제2 구성 구조 모식도이다.
도 9는 본 발명의 실시예에 따른 이미지 처리 장치의 제3 구성 구조 모식도이다.
도 10은 본 발명의 실시예에 따른 이미지 처리 장치의 제4 구성 구조 모식도이다.
도 11은 본 발명의 실시예에 따른 이미지 처리 장치의 제5 구성 구조 모식도이고;
도 12는 본 발명의 실시예에 따른 전자 기기의 구성 구조 모식도이다.

이하, 도면 및 구체적 실시예를 결부하여 본 발명을 더 상세히 설명할 것이다.

본 발명의 실시예는 이미지 처리 방법을 제공한다. 도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 제1 흐름 모식도이고, 도 1에 도시된 바와 같이, 상기 이미지 처리 방법은 아래와 같은 단계를 포함한다.

단계 101에 있어서, 타겟 대상을 포함하는 이미지 데이터를 획득하고, 상기 타겟 대상은 적어도 하나의 서브 대상을 포함한다.

단계 102에 있어서, 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하며, 상기 타겟 이미지 데이터는 적어도 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함한다.

본 실시예의 단계 101에서, 이미지 데이터는 타겟 대상을 포함하는 이미지 데이터이고; 본 실시예에 따른 이미지 데이터는 타겟 대상을 포함하는 3 차원 이미지 데이터이다. 본 실시예에서, 상기 타겟 대상은 적어도 하나의 척추를 포함하는 척추뼈를 포함한다. 이하 각 실시예에서, 타겟 대상이 모두 척추뼈(즉, 타겟 대상은 적어도 하나의 척추를 포함함)인 것을 예로 설명하고, 다른 실시예에서, 타겟 대상은 척추뼈에 한정되지 않으며, 본 실시예에서는 이에 대해 한정하지 않는다.

일례로, 상기 이미지 데이터는 영상 기술을 통해 획득된 척추뼈를 포함하는 3 차원 이미지 데이터일 수 있고, 예를 들어, 상기 이미지 데이터는 척추뼈를 포함하는 전자 전산화 단층 촬영(Computed Tomography, CT) 이미지 데이터 및 자기 공명 영상(Nuclear Magnetic Resonance Imaging, MRI) 이미지 데이터 등일 수 있으며, 물론, 본 실시예에서의 이미지 데이터는 상기 방식에 의해 획득한 이미지 데이터에 한정되지 않고, 다른 임의의 영상 기술을 통해 획득한 척추뼈의 3 차원 이미지 데이터는 모두 본 실시예에서의 이미지 데이터이다.

여기서, 본 실시예에서의 척추뼈는 인간의 척추뼈를 포함하지만, 이에 한정되지 않으며, 척추가 있는 다른 동물의 척추뼈일 수도 있다. 일반적으로, 인간을 예로 들면 척추뼈는 26개의 척추를 포함하고, 여기서, 24개의 척추(경추 7개, 흉추 12 개 및 요추 5 개), 하나의 천골 및 하나의 미골을 포함하며, 본 실시예에 따른 이미지 데이터는 26개의 척추 중 적어도 일부 척추를 포함한다. 상기 이미지 데이터는 완전한 척추를 포함할 수 있고, 일부 척추만 포함할 수도 있다는 것을 이해할 수 있을 것이다. 이미지 데이터에 일부 척추만 포함하는 경우, 척추 분류는 더 어렵고, 즉, 어느 척추 중심이 어느 척추에 속하는지를 결정하는 것은 더 어렵다.

본 실시예의 단계 102에서, 상기 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하는 단계는, 상기 이미지 데이터를 트레이닝된 완전 컨볼루션 신경망에 입력 데이터로서 입력하여, 적어도 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함하는 타겟 이미지 데이터를 획득하는 단계를 포함한다.

타겟 대상이 척추뼈인 것을 예로 들면, 본 실시예는 완전 컨볼루션 신경망을 통해 상기 이미지 데이터를 처리하여, 적어도 척추뼈에서 각각의 척추의 중심점을 포함하는 타겟 이미지 데이터를 획득한다. 여기서, 한편으로, 수동 선택 특징의 방식에 비해, 완전 컨볼루션 신경망을 통해 자동으로 진행되는 이미지 데이터의 특징 인식, 특징 선택 및 특징 분류는, 시스템 성능을 향상시키고, 척추 중심에 대한 포지셔닝의 정확도를 향상시키며; 다른 한편으로, 완전 컨볼루션 신경망을 통해 각각의 픽셀점을 분류할 수 있고, 즉, 완전 컨볼루션 신경망은 척추 사이의 공간 관계를 더 많이 활용하여 트레이닝 효율을 향상시켜, 네트워크 성능을 향상시킬 수 있다.

전술한 실시예의 단계 101 내지 단계 102에 기반하여, 본 발명의 실시예는 이미지 처리 방법을 더 제공한다. 본 실시예는 단계 102에 대해 더 설명한다. 구체적으로, 단계 102에서, 상기 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하는 단계는, 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하는 단계를 포함하고, 상기 타겟 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함한다.

본 실시예에서, 타겟 대상이 척추뼈인 것을 예로 들면, 제1 완전 컨볼루션 신경망을 통해 척추뼈에서 각각의 척추의 중심점에 대한 포지셔닝을 구현한다. 제1 완전 컨볼루션 신경망은 미리 트레이닝하여 획득되고, 이미지 데이터를 제1 완전 컨볼루션 신경망에 입력하여, 상기 척추뼈에서 각각의 척추의 중심점을 포함하는 타겟 이미지 데이터를 획득하여, 상기 타겟 이미지 데이터를 통해 각각의 척추의 중심점의 위치를 결정하도록 한다는 것을 이해할 수 있을 것이다. 이로써, 사용자(예를 들어, 전문의)는 타겟 이미지 데이터를 획득한 후, 경험에 기반하여 각 중심점이 속한 척추 카테고리를 결정할 수 있고, 즉, 수동 방식을 이용하여 중심점에 대응되는 척추 카테고리를 결정할 수 있다.

본 발명의 선택 가능한 실시예에서, 상기 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 데이터를 획득하는 단계는, 상기 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 상기 이미지 데이터에서의 픽셀에 대응되는 제1 변위 데이터를 획득하는 단계 - 상기 제1 변위 데이터는 상기 픽셀과 상기 픽셀에 가장 가까운 서브 대상의 중심점 사이의 변위를 가리킴 - ; 상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하는 단계 - 상기 제1 서브 대상은 상기 적어도 하나의 서브 대상 중 임의의 하나의 서브 대상임 - ; 상기 이미지 데이터 중의 적어도 일부 픽셀에 대응되는 상기 제1 서브 대상의 중심점의 초기 위치를 획득하고, 위치가 동일한 초기 위치의 개수를 결정하며, 개수가 가장 많은 초기 위치에 기반하여 상기 제1 서브 대상의 중심점을 결정하는 단계; 및 결정된 상기 제1 서브 대상의 중심점에 기반하여 타겟 이미지 데이터를 획득하는 단계를 포함한다.

본 실시예에서, 이미 트레이닝된 제1 완전 컨볼루션 신경망을 통해 척추뼈를 포함하는 이미지 데이터를 처리하여, 상기 이미지 데이터에서 각 픽셀이 가장 가까운 척추의 중심으로부터의 제1 변위 데이터를 획득하고, 상기 제1 변위 데이터는 x 축 방향, y 축 방향 및 z 축 방향인 3 개 방향의 변위 데이터를 포함하며; 나아가, 픽셀의 위치 및 상기 픽셀에 대응되는 제1 변위 데이터에 기반하여 상기 픽셀이 가장 가까운 척추의 중심점의 초기 위치를 결정한다. 각각의 픽셀은 모두 상기 픽셀에 가장 가까운 척추의 중심점의 초기 위치를 결정할 수 있고, 동일한 척추에 대해, 이미지 데이터 중의 일부 픽셀에 기반하여 상기 척추에 대응되는 복수의 초기 위치를 결정할 수 있으며, 결정된 복수의 초기 위치는 부분적으로 동일할 수도 있고, 부분적으로 상이할 수도 있음을 이해할 수 있고; 이에 기반하여, 본 실시예에서는 투표법을 이용하며, 즉, 동일한 초기 위치의 개수를 통계하고, 예를 들어, 100 개의 초기 위치가 있을 경우 여기서, 50 개의 초기 위치가 a이고, 20 개의 초기 위치가 b이며, 15 개의 초기 위치가 c이고, 10개의 초기 위치가 d이며, 5 개의 초기 위치가 e이면, 초기 위치가 a인 초기 위치는 상기 척추의 중심점의 위치로 결정된다.

일 실시형태로서, 상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하기 전에, 상기 이미지 처리 방법은, 상기 이미지 데이터에서의 적어도 하나의 픽셀에 대응되는 제1 변위 거리에 기반하여 상기 적어도 하나의 픽셀을 선별함으로써, 상기 적어도 하나의 픽셀에 가장 가까운 제1 서브 대상의 중심 사이와의 거리가 특정 조건을 만족하는 적어도 하나의 제1 픽셀을 획득하는 단계를 더 포함하며; 상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하는 단계는, 상기 제1 픽셀의 제1 변위 데이터 및 상기 제1 픽셀의 위치 데이터에 기반하여 상기 제1 서브 대상의 중심점의 초기 위치를 결정하는 단계를 포함한다.

본 실시예에서, 척추의 중심점의 초기 위치를 결정하기 전에, 우선 초기 위치 결정에 참여한 픽셀을 초보적으로 선별할 수 있고, 즉, 이미지 데이터에서 모든 픽셀을 척추 중심점의 초기 위치를 결정하는데 관여할 필요는 없다. 구체적으로, 각각의 픽셀에 대응되는 제1 변위 거리는 상기 픽셀이 상기 픽셀에 가장 가까운 척추의 중심의 변위를 가리키므로, 척추의 중심점의 초기 위치를 결정하는 과정에서, 척추의 중심점으로부터의 거리가 특정 범위 내의 픽셀만 이용할 수 있다.

일 실시형태로서, 상기 적어도 하나의 픽셀에 가장 가까운 제1 서브 대상의 중심 사이와의 거리가 특정 조건을 만족하는 적어도 하나의 제1 픽셀을 획득하는 단계는, 상기 적어도 하나의 픽셀에 가장 가까운 제1 서브 대상의 중심 사이와의 거리가 기설정된 임계값보다 작은 적어도 하나의 제1 픽셀을 획득하는 단계를 포함한다. 실제 응용에서, 제1 변위 데이터는 x 축 방향, y 축 방향 및 z 축 방향인 3 개 방향의 변위 데이터를 포함하므로, 상기 제1 변위 데이터에서 x 축 방향, y 축 방향 및 z 축 방향인 3 개 방향의 변위 데이터의 수치가 모두 상기 기설정된 임계값보다 작은지 여부를 판단할 수 있고; 제1 변위 데이터에서 x 축 방향, y 축 방향 및 z 축 방향인 3 개 방향의 변위 데이터의 수치가 모두 상기 기설정된 임계값보다 작을 경우, 상기 픽셀은 특정 조건을 만족시키는 제1 픽셀임을 의미한다. 선별된 적어도 하나의 제1 픽셀의 제1 변위 데이터 및 상기 제1 픽셀의 위치 데이터를 통해 상기 제1 서브 대상의 중심점의 초기 위치를 결정하고, 이러한 방식은 데이터 처리량을 대폭 감소시킬 수 있다.

본 실시예는 제1 완전 컨볼루션 신경망을 통해 상기 이미지 데이터를 처리하여, 타겟 대상에서 적어도 하나의 서브 대상의 중심점을 적어도 포함하는 타겟 이미지 데이터를 획득하고, 예를 들어, 척추뼈에서 각각의 척추의 중심점을 포함하는 타겟 이미지 데이터를 적어도 획득한다. 여기서, 한편으로, 수동 선택 특징의 방식에 비해, 제1 완전 컨볼루션 신경망을 통해 자동으로 진행되는 이미지 데이터의 특징 인식, 특징 선택 및 특징 분류는, 시스템 성능을 향상시키고, 척추 중심에 대한 포지셔닝의 정확도를 향상시키며; 다른 한편으로, 완전 컨볼루션 신경망을 통해 각각의 픽셀점을 분류할 수 있고, 즉, 제1 완전 컨볼루션 신경망은 척추 사이의 공간 관계를 더 많이 활용하여 트레이닝 효율을 향상시켜, 네트워크 성능을 향상시킬 수 있다.

본 발명의 실시예는 이미지 처리 방법을 더 제공한다. 도 2는 본 발명의 실시예에 따른 이미지 처리 방법의 제2 흐름 모식도이고; 도 2에 도시된 바와 같이, 상기 이미지 처리 방법은 아래와 같은 단계를 포함한다.

단계 201에 있어서, 타겟 대상을 포함하는 이미지 데이터를 획득하고, 상기 타겟 대상은 적어도 하나의 서브 대상을 포함한다.

단계 202에 있어서, 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 제1 이미지 데이터를 획득하며, 상기 제1 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함한다.

단계 203에 있어서, 제2 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하고, 상기 제2 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 카테고리를 지시한다.

본 실시예의 단계 201에 대한 설명은 전술한 실시예에서 단계 101의 상세 설명을 참조할 수 있고, 편폭을 절약하기 위해, 여기서는 반복하지 않는다.

본 실시예의 단계 202에서, 제1 완전 컨볼루션 신경망을 통해 척추뼈에서 각각의 척추의 중심점에 대한 포지셔닝을 구현한다. 제1 완전 컨볼루션 신경망은 미리 트레이닝하여 획득되고, 이미지 데이터를 제1 완전 컨볼루션 신경망에 입력하여, 상기 척추뼈에서 각각의 척추의 중심점을 포함하는 제1 이미지 데이터를 획득하여, 상기 제1 이미지 데이터를 통해 각각의 척추의 중심점의 위치를 결정하도록 한다는 것을 이해할 수 있을 것이다.

본 발명의 선택 가능한 실시예에서, 상기 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 제1 이미지 데이터를 획득하는 단계는, 상기 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 상기 이미지 데이터에서의 픽셀에 대응되는 제1 변위 데이터를 획득하는 단계 - 상기 제1 변위 데이터는 상기 픽셀과 상기 픽셀에 가장 가까운 서브 대상의 중심점 사이의 변위를 가리킴 - ; 상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하는 단계 - 상기 제1 서브 대상은 상기 적어도 하나의 서브 대상 중 임의의 하나의 서브 대상임 - ; 상기 이미지 데이터 중의 적어도 일부 픽셀에 대응되는 상기 제1 서브 대상의 중심점의 초기 위치를 획득하고, 위치가 동일한 초기 위치의 개수를 결정하며, 개수가 가장 많은 초기 위치에 기반하여 상기 제1 서브 대상의 중심점을 결정하는 단계; 및 결정된 상기 제1 서브 대상의 중심점에 기반하여 제1 이미지 데이터를 획득한다.

본 실시예에서, 이미 트레이닝된 제1 완전 컨볼루션 신경망을 통해 척추뼈를 포함하는 이미지 데이터를 처리하여, 상기 이미지 데이터에서 각 픽셀이 가장 가까운 척추의 중심으로부터의 제1 변위 데이터를 획득하고, 상기 제1 변위 데이터는 x 축 방향, y 축 방향 및 z 축 방향인 3 개 방향의 변위 데이터를 포함하며; 나아가, 픽셀의 위치 및 상기 픽셀에 대응되는 제1 변위 데이터에 기반하여 상기 픽셀이 가장 가까운 척추의 중심점의 초기 위치를 결정한다. 각각의 픽셀은 모두 상기 픽셀에 가장 가까운 척추의 중심점의 초기 위치를 결정할 수 있고, 동일한 척추에 대해, 이미지 데이터 중의 일부 픽셀에 기반하여 상기 척추에 대응되는 복수의 초기 위치를 결정할 수 있으며, 결정된 복수의 초기 위치는 부분적으로 동일할 수도 있고, 부분적으로 다를 수도 있음을 이해할 수 있고; 이에 기반하여, 본 실시예에서는 투표법을 이용하며, 즉, 동일한 초기 위치의 개수를 통계하고, 예를 들어, 100 개의 초기 위치가 있을 경우 여기서, 50 개의 초기 위치가 a이고, 20 개의 초기 위치가 b이며, 15 개의 초기 위치가 c이고, 10 개의 초기 위치가 d이며, 5 개의 초기 위치가 e이면, 초기 위치가 a인 초기 위치는 상기 척추의 중심점의 위치로 결정된다.

일 실시형태로서, 상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하기 전에, 상기 이미지 처리 방법은, 상기 이미지 데이터에서의 적어도 하나의 픽셀에 대응되는 제1 변위 거리에 기반하여 상기 적어도 하나의 픽셀을 선별함으로써, 상기 적어도 하나의 픽셀에 가장 가까운 제1 서브 대상의 중심 사이와의 거리가 특정 조건을 만족하는 적어도 하나의 제1 픽셀을 획득하는 단계를 더 포함하며; 상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하는 단계는, 상기 제1 픽셀의 제1 변위 데이터 및 상기 제1 픽셀의 위치 데이터에 기반하여 상기 제1 서브 대상의 중심점의 초기 위치를 결정하는 단계를 포함한다.

본 실시예에서, 척추의 중심점의 초기 위치를 결정하기 전에, 우선 초기 위치 결정에 참여한 픽셀을 초보적으로 선별할 수 있고, 즉, 이미지 데이터에서 모든 픽셀을 척추 중심점의 초기 위치를 결정하는데 모두 관여할 필요는 없다. 구체적으로, 각각의 픽셀에 대응되는 제1 변위 거리는 상기 픽셀이 상기 픽셀에 가장 가까운 척추의 중심의 변위를 가리키므로, 척추의 중심점의 초기 위치를 결정하는 과정에서, 척추의 중심점으로부터의 거리가 일정 범위 내의 픽셀만 이용할 수 있다.

일 실시형태로서, 상기 적어도 하나의 픽셀에 가장 가까운 제1 서브 대상의 중심 사이와의 거리가 특정 조건을 만족하는 적어도 하나의 제1 픽셀을 획득하는 단계는, 상기 적어도 하나의 픽셀에 가장 가까운 제1 서브 대상의 중심 사이와의 거리가 기설정된 임계값보다 작은 적어도 하나의 제1 픽셀을 획득하는 단계를 포함한다. 실제 응용에서, 제1 변위 데이터는 x 축 방향, y 축 방향 및 z 축 방향인 3 개 방향의 변위 데이터를 포함하므로, 상기 제1 변위 데이터에서 x 축 방향, y 축 방향 및 z 축 방향인 3 개 방향의 변위 데이터의 수치가 모두 상기 기설정된 임계값보다 작은지 여부를 판단할 수 있고; 제1 변위 데이터에서 x 축 방향, y 축 방향 및 z 축 방향인 3 개 방향의 변위 데이터의 수치가 모두 상기 기설정된 임계값보다 작을 경우, 상기 픽셀은 특정 조건을 만족시키는 제1 픽셀임을 의미한다. 선별된 적어도 하나의 제1 픽셀의 제1 변위 데이터 및 상기 제1 픽셀의 위치 데이터를 통해 상기 제1 서브 대상의 중심점의 초기 위치를 결정하고, 이러한 방식은 데이터 처리량을 대폭 감소시킬 수 있다.

제1 이미지 데이터 중의 중심점이 어느 척추에 속하는지에 관한 문제를 더 잘 결정하기 위해, 본 실시예의 단계 203에서, 제2 완전 컨볼루션 신경망을 통해 척추뼈에서 각각의 척추의 카테고리를 분류하여, 이미지 데이터에서 각각의 척추의 카테고리를 결정하고, 제1 이미지 데이터 중의 중심점에 대응시키며, 상응한 중심점이 속한 척추 유형을 결정한다. 제2 완전 컨볼루션 신경망은 미리 트레이닝하여 획득한 것이고, 상기 이미지 데이터 및 상기 제1 이미지 데이터를 제2 완전 컨볼루션 신경망에 입력하여 상기 척추뼈에서 각각의 척추의 카테고리를 지시하는 제2 이미지 데이터를 획득한다는 것을 이해할 수 있을 것이다.

본 발명의 선택 가능한 실시예에서, 상기 제2 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하는 단계는, 상기 이미지 데이터 및 상기 제1 이미지 데이터를 병합하여, 타겟 이미지 데이터를 획득하는 단계; 제2 완전 컨볼루션 신경망에 기반하여 상기 타겟 이미지 데이터를 처리하여, 상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하고, 최대 확률치에 대응되는 서브 대상의 카테고리를 상기 픽셀이 속한 서브 대상의 카테고리로 결정하는 단계; 및 상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리에 기반하여 제2 이미지 데이터를 획득하는 단계를 포함한다.

본 실시예에서, 이미 트레이닝된 제2 완전 컨볼루션 신경망을 통해, 척추뼈를 포함하는 이미지 데이터 및 척추뼈에서 각각의 척추의 중심점을 포함하는 제1 이미지 데이터를 처리하되; 우선 이미지 데이터 및 제1 이미지 데이터를 병합 처리하고, 실제 응용에서, 이미지 데이터 중의 각각의 픽셀의 대응 채널 데이터에 대해 병합하여, 타겟 이미지 데이터를 획득하며, 또한 제2 완전 컨볼루션 신경망을 통해 상기 타겟 이미지 데이터를 처리하여, 타겟 이미지 데이터에서 각각의 픽셀 또는 일부 픽셀이 속한 척추 카테고리의 확률치를 획득하고, 최대 확률치에 대응되는 척추 카테고리를 상기 픽셀이 속한 척추 카테고리로 결정할 수 있다. 예를 들어, 어느 픽셀이 제1 척추에 속하는 확률은 0.01이고, 제2 척추에 속하는 확률은 0.02이며, 제3 척추에 속하는 확률은 0.2이고, 제4 척추에 속하는 확률은 0.72이며, 제5 척추에 속하는 확률은 0.15이고, 제6 척추에 속하는 확률은 0.03 등이며, 결정된 확률 최대치가 0.72일 경우, 상기 픽셀이 제4 척추에 속한다는 것을 결정할 수 있다.

다른 실시형태에서, 타겟 이미지 데이터에서 각각의 픽셀이 속한 척추 카테고리를 결정하여, 각각의 픽셀이 속한 척추 카테고리에 기반하여 척추뼈에 포함되는 적어도 하나의 척추를 분할하고, 상기 타겟 이미지 데이터에 포함되는 적어도 하나의 척추를 결정할 수 있다.

일 실시형태로서, 상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하고, 최대 확률치에 대응되는 서브 대상의 카테고리를 상기 픽셀이 속한 서브 대상의 카테고리로 결정하는 단계는, 상기 타겟 이미지 데이터에서의 제2 서브 대상의 중심점에 대응하는 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하는 단계 - 상기 제2 서브 대상은 상기 적어도 하나의 서브 대상 중 임의의 하나의 서브 대상임 - ; 및 최대 확률치에 대응되는 제2 서브 대상의 카테고리를 상기 제2 서브 대상의 카테고리로 결정하는 단계를 포함한다.

본 실시예에서, 상기 실시형태를 통해, 척추 중심점에 따른 척추 카테고리를 직접 결정할 수 있으면, 상기 척추 중심점이 소재한 척추의 카테고리를 결정할 수 있다.

다른 일 실시형태로서, 상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하고, 최대 확률치에 대응되는 서브 대상의 카테고리를 상기 픽셀이 속한 서브 대상의 카테고리로 결정하는 단계는, 상기 타겟 이미지 데이터에서의 제2 서브 대상의 중심점 대응 픽셀이 속한 서브 대상의 카테고리의 제1 확률치, 및 상기 중심점으로부터 특정 임계값만큼 떨어진 다른 픽셀이 속한 서브 대상의 카테고리의 제2 확률치를 획득하여, 상기 제1 확률치 및 상기 제2 확률치에서 동일한 수치를 가진 확률치의 개수를 결정하고, 개수가 가장 많은 확률치에 대응되는 서브 대상의 카테고리를 상기 제2 서브 대상의 카테고리로 결정하는 단계를 포함한다.

본 실시예에서, 척추 중심점 및 척추 중심점에 근접한 다른 픽셀을 통해 상기 척추 카테고리를 결정한다. 실제 응용에서, 각각의 픽셀은 모두 대응되는 척추 카테고리를 결정할 수 있고, 척추 중심점 및 척추 중심점에 근접한 다른 픽셀이 결정된 척추 카테고리가 상이할 수 있다면, 본 실시예에서는 투표법을 이용하여, 척추 중심점 및 척추 중심점에 근접한 다른 픽셀을 통해 결정된 척추 카테고리에서 동일한 카테고리의 개수를 통계할 수 있으며, 예를 들어, 제4 척추의 개수가 가장 많다고 결정되면, 상기 척추의 카테고리는 제4 척추임을 결정할 수 있다.

본 실시예에서의 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터는 전술한 실시예에서의 타겟 이미지 데이터에 대응되고, 즉, 타겟 이미지 데이터는 2 개이고, 척추 중심점을 결정하는 제1 이미지 데이터 및 척추 카테고리를 지시하는 제2 이미지 데이터를 포함한다는 것을 이해할 수 있을 것이다.

본 실시예는 제1 완전 컨볼루션 신경망을 통해 상기 이미지 데이터가 포함된 척추뼈에서 각각의 척추의 중심점을 포지셔닝하고, 제2 완전 컨볼루션 신경망을 통해 이미지 데이터가 포함된 척추뼈에서 각각의 척추의 카테고리를 분류하며, 제1 완전 컨볼루션 신경망을 통해 이미지 데이터의 일부 정보를 처리하여, 각각의 척추의 중심점을 결정하고; 제2 완전 컨볼루션 신경망을 통해 이미지 데이터의 전부 정보를 처리하여, 각각의 척추의 카테고리를 결정하는 것에 해당된다. 한편으로, 수동 선택 특징의 방식에 비해, 완전 컨볼루션 신경망(제1 완전 컨볼루션 신경망 및 제2 완전 컨볼루션 신경망을 포함함)을 통해 자동으로 진행되는 이미지 데이터의 특징 인식, 특징 선택 및 특징 분류는, 시스템 성능을 향상시키고, 척추 중심에 대한 포지셔닝의 정확도를 향상시키며; 다른 한편으로, 완전 컨볼루션 신경망을 통해 각각의 픽셀점을 분류할 수 있고, 즉, 완전 컨볼루션 신경망은 척추 사이의 공간 관계를 더 많이 활용하여 트레이닝 효율을 향상시켜, 구체적으로 제2 완전 컨볼루션 신경망을 통해 이미지 데이터의 전부 정보를 처리하고, 척추뼈에서 각각의 척추 사이의 공간 관계에 따라 제2 완전 컨볼루션 신경망을 트레이닝하여, 네트워크 성능을 향상시킬 수 있다.

전술한 실시예에 기반하여, 본 발명의 실시예는 이미지 처리 방법을 더 제공한다. 도 3은 본 발명의 실시예에 따른 이미지 처리 방법의 제3 흐름 모식도이고; 도 3에 도시된 바와 같이, 상기 이미지 처리 방법은 아래와 같은 단계를 포함한다.

단계 301에 있어서, 타겟 대상을 포함하는 이미지 데이터를 획득하고, 상기 타겟 대상은 적어도 하나의 서브 대상을 포함한다.

단계 302에 있어서, 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 제1 이미지 데이터를 획득하며, 상기 제1 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함한다.

단계 303에 있어서, 상기 이미지 데이터를 다운 샘플링 처리하여, 제3 이미지 데이터를 획득한다.

단계 304에 있어서, 제2 완전 컨볼루션 신경망에 기반하여 상기 제3 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하고, 상기 제2 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 카테고리를 지시한다.

본 실시예의 단계 301 내지 단계 302의 상세 설명은 구체적으로 전술한 단계 201 내지 단계 202의 상세한 설명을 참조할 수 있고, 편폭을 절약하기 위해, 여기서는 반복하지 않는다.

전술한 실시예와 구별되는 점은, 본 실시예에서 제2 완전 컨볼루션 신경망에 기반하여 제2 이미지 데이터를 획득하기 전에, 상기 이미지 데이터를 다운 샘플링 처리하여, 즉, 상기 이미지 데이터를 축소하여, 제3 이미지 데이터를 획득하고, 상기 제3 이미지 데이터 및 상기 제1 이미지 데이터를 상기 제2 완전 컨볼루션 신경망에 입력하여, 제2 이미지 데이터를 획득한다. 여기서, 이미지 데이터를 축소하는 작용은 데이터 양을 감소시키는 것이고, 비디오 메모리의 제한성 문제를 해결하며, 다른 한편으로, 이미지의 전부 정보를 통합함으로써(즉, 척추의 관련 정보를 통해, 즉, 척추의 “콘텍스트 정보”를 통해), 시스템 성능을 대폭 향상시킨다.

이하, 구체적인 적용 시나리오에 결부하여 본 발명의 실시예의 이미지 처리 수단을 설명한다.

도 4는 본 발명의 실시예에 따른 이미지 처리 방법의 제4 흐름 모식도이며; 도 4에 도시된 바와 같이, 척추가 손상된 환자가 병원에서 치료 받을 경우, 척추에 대한 CT 이미지(상기CT 이미지는 구체적으로 3 차원 이미지임)를 촬영하고; 의사는 본 발명의 실시예의 이미지 처리 수단을 통해 CT 이미지에서의 척추의 중심점을 포지셔닝할 수 있다.

구체적으로, 도 4에 도시된 바와 같이, 촬영된CT 이미지를 원본 CT 이미지로 기록한다고 가정하고, 한편으로, 제1 완전 컨볼루션 신경망을 통해 원본 CT 이미지를 처리하여, 제1 이미지 데이터를 획득하며; 상기 제1 이미지 데이터는 상기 척추뼈에서 각각의 척추의 중심점을 포함한다. 여기서, 각각의 척추의 중심점은 독립적으로 존재하는 것이므로, 다른 척추의 영향을 받지 않고, 어느 척추 및 이의 주변의 이미지가 주어지면 제1 완전 컨볼루션 신경망을 통해 상기 척추의 중심점을 결정할 수 있지만, 척추 중심점은 예를 들어, 척추 경계 등과 같은 세부정보를 통해 결정되므로, 본 실시예에서 상기 제1 완전 컨볼루션 신경망을 통해 원본 CT 이미지에서 각 척추의 중심점을 포지셔닝하며, 더 많은 세부정보를 보류하는 원본 CT 이미지를 통해 각 척추의 중심점을 포지셔닝하고, 상기 제1 완전 컨볼루션 신경망은 일부 정보를 처리하는데 사용된다는 것을 이해할 수 있을 것이다.

다른 한편으로, 데이터 양을 감소시키고, 비디오 메모리의 제한성 문제를 해결하기 위해, 본 실시예는 원본 CT 이미지를 다운 샘플링 처리하여, 축소된 CT 이미지를 획득하며; 제2 완전 컨볼루션 신경망을 통해 축소된 CT 이미지 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하고; 상기 제2 이미지 데이터는 상기 척추뼈에서 각각의 척추의 카테고리를 지시한다.

일 실시형태에서, 경험 등 방식을 통해 제1 이미지 데이터에서 결정된 중심점이 속한 척추 카테고리를 결정할 수 있다. 그러나, 원본 CT 이미지에 척추가 누락되거나, 제1 완전 컨볼루션 신경망을 통해 획득한 제1 이미지 데이터가 척추에 대한 중심점의 포지셔닝 결과가 나쁘고, 일부 척추의 중심점이 누락된 경우, 척추 중심점이 속한 척추 카테고리의 유무를 결정하는 문제를 초래한다. 이에 기반하여, 본 실시예에서는 제2 완전 컨볼루션 신경망을 통해 척추 카테고리를 결정하는 해결수단을 제공한다. 척추 카테고리를 결정하기 위해, 척추와 다른 척추의 상대적 위치 관계를 종합적으로 고려해야 하므로, 상기 제2 완전 컨볼루션 신경망은 전부 정보를 처리하는데 사용되는 것임을 이해할 수 있을 것이다. 실제 응용에서, 완전 컨볼루션 신경망 중의 컨볼루션 커널의 감지도 제한적이고, 입력된 이미지가 과도하게 크면, 컨볼루션 커널은 이미지의 전체적인 상황을 감지할 수 없으며, 이미지의 전부 정보를 통합할 수 없고; 다른 한편으로, 척추의 분류는 척추와 다른 척추의 상대적 관계를 고려해야 하며, 척추 주변의 구체적 세부 정보가 중요하지 않으므로, 본 실시예에서 다운 샘플링 방식을 통해 원본 CT 이미지를 축소하여, 척추 카테고리를 결정하기 위한 입력 데이터로서 사용된다.

전술한 제1 완전 컨볼루션 신경망의 트레이닝 방식에 대해, 도 5는 본 발명의 실시예에 따른 이미지 처리 방법 중의 네트워크 트레이닝 방법의 흐름 모식도이고; 도 5에 도시된 바와 같이, 상기 이미지 처리 방법은 아래와 같은 단계를 포함한다.

단계 401에 있어서, 타겟 대상을 포함하는 제1 샘플 이미지 데이터 및 상기 제1 샘플 이미지 데이터에 대응되는 제1 라벨 데이터를 획득하고, 상기 제1 라벨 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 중심점을 지시한다.

단계 402에 있어서, 상기 제1 샘플 이미지 데이터 및 대응되는 제1 라벨 데이터에 따라 상기 제1 완전 컨볼루션 신경망을 트레이닝한다.

본 실시예에서, 상기 타겟 대상은 적어도 하나의 척추를 포함하는 척추뼈를 포함한다.

본 실시예의 단계 401에서, 제1 샘플 이미지 데이터 및 대응되는 제1 라벨 데이터는 제1 완전 컨볼루션 신경망의 데이터를 트레이닝한다. 여기서, 상기 제1 샘플 이미지 데이터는 예를 들어 척추뼈와 같은 타겟 대상을 포함한다. 실제 응용에서, 제1 완전 컨볼루션 신경망을 트레이닝하기 위해, 복수의 제1 샘플 이미지 데이터를 미리 획득하고, 복수의 제1 샘플 이미지 데이터에 포함된 척추뼈는 동일한 카테고리이며, 상기 카테고리는 예를 들어 인간 또는 척추뼈가 있는 동물 등일 수 있고; 획득한 복수의 제1 샘플 이미지 데이터는 인간 척추뼈를 포함하는 샘플 이미지 데이터이거나, 획득한 복수의 제1 샘플 이미지 데이터는 특정 품종의 강아지의 척추뼈를 포함하는 샘플 이미지 데이터 등임을 이해할 수 있을 것이다.

여기서, 상기 제1 라벨 데이터는 제1 샘플 이미지 데이터 중의 척추뼈에서 각각의 척추의 중심점을 라벨링한다. 일례로, 상기 제1 라벨 데이터는 각각의 척추의 중심점에 대응되는 좌표 데이터일 수 있고; 다른 일례로, 상기 제1 라벨 데이터는 상기 제1 샘플 이미지 데이터에 대응된 각각의 척추의 중심점을 포함하는 이미지 데이터일 수도 있다.

본 실시예의 단계 402에서, 상기 제1 샘플 이미지 데이터 및 대응되는 제1 라벨 데이터에 따라 상기 제1 완전 컨볼루션 신경망을 트레이닝하는 단계는, 제1 완전 컨볼루션 신경망에 따라 상기 제1 샘플 이미지 데이터를 처리하여, 초기 이미지 데이터를 획득하는 단계 - 상기 초기 이미지 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 초기 중심점을 포함함 - ; 및 상기 초기 이미지 데이터 및 상기 제1 라벨 데이터에 기반하여 손실 함수를 결정하고, 상기 손실 함수에 기반하여 상기 제1 완전 컨볼루션 신경망의 파라미터를 조정하여, 상기 제1 완전 컨볼루션 신경망을 트레이닝하는 단계를 포함한다.

본 실시예의 제1 완전 컨볼루션 신경망을 트레이닝하는 과정에서, 상기 제1 샘플 이미지 데이터를 제1 완전 컨볼루션 신경망에 입력하고, 상기 제1 완전 컨볼루션 신경망을 통해 초기 파라미터에 따라 상기 제1 샘플 이미지 데이터를 처리하여, 초기 이미지 데이터를 획득하며; 상기 초기 이미지 데이터는 제1 샘플 이미지 데이터 중의 척추뼈에서 각각의 척추의 초기 중심점을 포함한다. 일반적으로, 획득한 척추의 초기 중심점은 제1 라벨 데이터에 대응되는 척추의 중심점과 차이가 있고, 본 실시예에서는 이러한 차이에 기반하여 손실 함수를 결정하고, 결정된 손실 함수에 기반하여 제1 완전 컨볼루션 신경망의 파라미터를 조정하여, 상기 제1 완전 컨볼루션 신경망을 트레이닝한다. 트레이닝하여 획득한 제1 완전 컨볼루션 신경망에 의해 결정된 척추의 중심점과 제1 라벨 데이터에 대응되는 척추의 중심점 사이의 차이가 기설정된 조건을 만족하면, 상기 기설정된 조건은 기설정된 임계값일 수 있고, 예를 들어, 트레이닝하여 획득한 제1 완전 컨볼루션 신경망에 의해 결정된 척추의 중심점과 제1 라벨 데이터에 대응되는 척추의 중심점 사이의 변위는 상기 기설정된 임계값보다 작을 수 있음을 이해할 수 있을 것이다.

일 실시형태로서, 상기 초기 이미지 데이터 및 상기 제1 라벨 데이터에 기반하여 손실 함수를 결정하는 단계는, 상기 초기 이미지 데이터에서 척추의 초기 중심점의 제1 위치 정보 및 상기 제1 라벨 데이터에 상응한 척추의 중심점의 제2 위치 정보에 기반하여 제1 그룹 변위를 결정하는 단계 - 상기 제1 그룹 변위는 3 개 차원의 변위를 포함함 - ; 상기 제1 그룹 변위에 기반하여 상기 척추의 초기 중심점이 상기 제1 라벨 데이터에 대응되는 척추의 중심점의 기설정된 거리 범위 내에 있는지 여부를 결정하여, 제1 결과 획득하는 단계; 및 상기 제1 그룹 변위 및/또는 상기 제1 결과에 기반하여 손실 함수를 결정하는 단계를 포함한다.

본 실시예에서, 트레이닝되지 않은 제1 완전 컨볼루션 신경망의 파라미터는 최적의 파라미터가 아니므로, 초기 이미지 데이터 중의 척추의 초기 중심점은 정확한 중심점에 비해 차이가 있다. 본 실시예에서의 제1 완전 컨볼루션 신경망은 3 차원 이미지 데이터를 처리하므로, 획득한 초기 중심점의 제1 위치 정보는 3 개 차원의 데이터를 포함한다. 수평면에 x 축 및 y 축을 구축하고, 수평면에 수직되는 방향으로 z 축을 구축하여 xyz 3 차원 좌표계를 생성하면, 상기 제1 위치 정보는 xyz 3 차원 좌표계 중의 (x, y, z) 3 차원 좌표 데이터일 수 있고; 상응하게, 상기 제1 라벨 데이터에 상응한 척추의 중심점은 (x’, y’, z’) 3 차원 좌표 데이터로 표시될 수 있다. 상기 제1 그룹 변위은 ((x’- x), ( y’ -y), (z’- z))로 표시될 수 있다. 나아가, 상기 제1 그룹 변위를 통해 상기 초기 중심점이 제1 라벨 데이터에 대응되는 척추의 중심점의 기설정된 거리 범위에 있는지 여부를 판단할 수 있다. 본 실시예에서 결정된 손실 함수는 상기 제1 그룹 변위 및/또는 상기 제1 결과와 관련될 수 있고; 손실 함수가 제1 그룹 변위 및 제1 결과와 관련된다고 가정하면, 상기 손실 함수에는 (x’ - x), (y’ - y), (z’ - z) 및 상기 척추의 초기 중심점이 상기 제1 라벨 데이터에 대응되는 척추의 중심점의 기설정된 거리 범위 내에 있는지 여부의 제1 결과와 같은 4 개의 관련 파라미터를 포함할 수 있으며; 본 실시예에서 상기 손실 함수(예를 들어, 상기 손실 함수 중의 상기 4 개의 관련 파라미터)에 따라 상기 제1 완전 컨볼루션 신경망의 파라미터를 조정한다. 실제 응용에서, 수차례의 파라미터 조정을 통해 상기 제1 완전 컨볼루션 신경망을 트레이닝해야 하고, 최종적으로 트레이닝하여 획득한 제1 완전 컨볼루션 신경망은, 제1 샘플 이미지 데이터를 처리한 후 획득한 척추 중심점과 상기 제1 라벨 데이터에 대응되는 척추의 중심점 사이의 차이가 기설정된 임계값 범위 내에 있는 것을 만족시킬 수 있다.

본 실시예에서, 상기 제1 완전 컨볼루션 신경망은 인코더-디코더(Encoder-Decoder) 아키텍처를 갖춘 V-Net 완전 컨볼루션 신경망일 수 있다.

본 실시예는 제1 완전 컨볼루션 신경망을 통해 상기 이미지 데이터가 포함된 척추뼈에서 각각의 척추의 중심점을 포지셔닝한다. 한편으로, 수동 선택 특징의 방식에 비해, 제1 완전 컨볼루션 신경망을 통해 자동으로 진행되는 이미지 데이터의 특징 인식, 특징 선택 및 특징 분류는, 시스템 성능을 향상시키고, 척추 중심에 대한 포지셔닝의 정확도를 향상시키며；다른 한편으로, 본 실시예는 제1 완전 컨볼루션 신경망에 대해 단말 간의 트레이닝을 수행하여, 각각의 척추의 중심점의 위치를 정확하게 얻을 수 있다.

전술한 제2 완전 컨볼루션 신경망의 트레이닝 방식에 대해, 도 6은 본 발명의 실시예에 따른 이미지 처리 방법 중의 네트워크 트레이닝 방법의 다른 흐름 모식도이며; 도 6에 도시된 바와 같이, 상기 이미지 처리 방법은 아래와 같은 단계를 포함한다.

단계 501에 있어서, 타겟 대상을 포함하는 제1 샘플 이미지 데이터, 상기 제1 샘플 이미지 데이터와 관련된 제2 샘플 이미지 데이터 및 상기 제1 샘플 이미지 데이터에 대응되는 제2 라벨 데이터를 획득하고, 상기 제2 샘플 이미지 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 중심점을 포함하며, 상기 제2 라벨 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 카테고리를 지시한다.

단계 502에 있어서, 상기 제1 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝한다.

본 실시예의 단계 501에서, 제1 샘플 이미지 데이터 및 대응되는 제1 라벨 데이터는 제1 완전 컨볼루션 신경망의 데이터를 트레이닝한다. 여기서, 상기 제1 샘플 이미지 데이터는 예를 들어 척추뼈와 같은 타겟 대상을 포함한다. 실제 응용에서, 제2 완전 컨볼루션 신경망을 트레이닝하기 위해, 복수의 제1 샘플 이미지 데이터를 미리 획득하고, 복수의 제1 샘플 이미지 데이터에 포함된 척추뼈는 동일한 카테고리이며, 상기 카테고리는 예를 들어 인간 또는 척추뼈가 있는 동물 등일 수 있고; 획득한 복수의 제1 샘플 이미지 데이터는 인간 척추뼈를 포함하는 샘플 이미지 데이터이거나, 획득한 복수의 제1 샘플 이미지 데이터는 어느 품종의 강아지의 척추뼈를 포함하는 샘플 이미지 데이터 등임을 이해할 수 있을 것이다.

여기서, 상기 제2 샘플 이미지 데이터는 제1 샘플 이미지 데이터 중의 타겟 대상(예를 들어, 척추뼈)에 대응되는 각각의 서브 대상(예를 들어, 척추)의 중심점을 포함한다. 일 실시형태로서, 상기 제2 샘플 이미지 데이터는 전술한 트레이닝하여 획득한 제1 완전 컨볼루션 신경망에 의해 획득한 척추 중심점을 포함하는 이미지 데이터일 수 있다.

여기서, 상기 제2 라벨 데이터는 제1 샘플 이미지 데이터에서 각각의 척추 카테고리에 대응되는 데이터이다. 일례로, 상기 제2 라벨 데이터는 예를 들어, 도 4에 도시된 제2 이미지 데이터일 수 있고, 즉, 수동 라벨한 방식에 의해 라벨링된 각각의 카테고리의 척추의 윤곽을 통해 생성된 이미지 데이터일 수 있다.

본 실시예의 단계 502에서, 상기 제1 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝하는 단계는, 상기 제1 샘플 이미지 데이터를 다운 샘플링 처리하여, 제3 샘플 이미지 데이터를 획득하는 단계; 및 상기 제3 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝하는 단계를 포함한다.

본 실시예에서, 네트워크 트레이닝 과정에서의 데이터 양을 감소시키고, 비디오 메모리의 제한성 과제를 해결하기 위해, 제2 완전 컨볼루션 신경망을 트레이닝하기 전에, 우선 제1 샘플 이미지 데이터를 다운 샘플링 처리하여, 제3 샘플 이미지 데이터를 획득하며; 상기 제3 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝한다. 전술한 제1 완전 컨볼루션 신경망의 트레이닝 방식과 유사하게, 상기 제2 완전 컨볼루션 신경망을 통해 초기 파라미터에 따라 상기 제3 샘플 이미지 데이터 및 상기 제2 샘플 이미지 데이터를 처리하여, 각각의 척추의 초기 카테고리를 포함하는 초기 이미지 데이터를 획득하고; 상기 초기 이미지 데이터 및 상기 제2 라벨 데이터 사이의 차이에 기반하여 손실 함수를 결정하며, 상기 손실 함수에 기반하여 상기 제2 완전 컨볼루션 신경망의 파라미터를 조정하여, 상기 제2 완전 컨볼루션 신경망을 트레이닝한다.

본 실시예에서, 상기 제2 완전 컨볼루션 신경망은 V-Net 완전 컨볼루션 신경망일 수 있다.

본 실시예는 제1 완전 컨볼루션 신경망을 통해 상기 이미지 데이터가 포함된 척추뼈에서 각각의 척추의 중심점을 포지셔닝하고, 제2 완전 컨볼루션 신경망을 통해 이미지 데이터가 포함된 척추뼈에서 각각의 척추의 카테고리를 분류하며, 제1 완전 컨볼루션 신경망을 통해 이미지 데이터의 일부 정보를 처리하여, 각각의 척추의 중심점을 결정하고；제2 완전 컨볼루션 신경망을 통해 이미지 데이터의 전부 정보를 처리하여, 각각의 척추의 카테고리를 결정하는 것에 해당된다. 한편으로, 수동 선택 특징의 방식에 비해, 완전 컨볼루션 신경망(제1 완전 컨볼루션 신경망 및 제2 완전 컨볼루션 신경망을 포함함)을 통해 자동으로 진행되는 이미지 데이터의 특징 인식, 특징 선택 및 특징 분류는, 시스템 성능을 향상시키고, 척추 중심에 대한 포지셔닝의 정확도를 향상시키며; 다른 한편으로, 완전 컨볼루션 신경망을 통해 각각의 픽셀점을 분류할 수 있고, 즉, 완전 컨볼루션 신경망은 척추 사이의 공간 관계를 더 많이 활용하여 트레이닝 효율을 향상시키며, 구체적으로 제2 완전 컨볼루션 신경망을 통해 이미지 데이터의 전부 정보를 처리하고, 척추뼈에서 각각의 척추 사이의 공간 관계에 따라 제2 완전 컨볼루션 신경망을 트레이닝하여, 네트워크 성능을 향상시킬 수 있다.

본 발명의 실시예는 이미지 처리 장치를 더 제공한다. 도 7은 본 발명의 실시예에 따른 이미지 처리 장치의 구성 구조 모식도이고; 도 7에 도시된 바와 같이, 상기 이미지 처리 장치는 획득 유닛(61) 및 이미지 처리 유닛(62)을 포함한다.

상기 획득 유닛(61)은 타겟 대상을 포함하는 이미지 데이터를 획득하고, 상기 타겟 대상은 적어도 하나의 서브 대상을 포함하도록 구성되고;

상기 이미지 처리 유닛(62)은 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하도록 구성되며, 상기 타겟 이미지 데이터는 적어도 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함한다.

일 실시형태로서, 상기 이미지 처리 유닛(62)은, 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하도록 구성되고, 상기 타겟 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함한다.

다른 일 실시형태로서, 상기 이미지 처리 유닛(62)은, 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 제1 이미지 데이터를 획득하고, 상기 제1 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함하며; 제2 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하고, 상기 제2 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 카테고리를 지시하도록 구성된다.

본 발명의 선택 가능한 실시예에서, 도 8에 도시된 바와 같이, 상기 이미지 처리 유닛(62)은, 상기 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 상기 이미지 데이터에서의 픽셀에 대응되는 제1 변위 데이터를 획득하고 - 상기 제1 변위 데이터는 상기 픽셀과 상기 픽셀에 가장 가까운 서브 대상의 중심점 사이의 변위를 가리킴 - ; 상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하고 - 상기 제1 서브 대상은 상기 적어도 하나의 서브 대상 중 임의의 하나의 서브 대상임 - ; 상기 이미지 데이터 중의 적어도 일부 픽셀에 대응되는 상기 제1 서브 대상의 중심점의 초기 위치를 획득하고, 위치가 동일한 초기 위치의 개수를 결정하며, 개수가 가장 많은 초기 위치에 기반하여 상기 제1 서브 대상의 중심점을 결정하도록 구성된 제1 프로세싱 모듈(621)을 포함한다.

선택 가능한 실시예에서, 상기 제1 프로세싱 모듈(621)은, 상기 이미지 데이터에서의 적어도 하나의 픽셀에 대응되는 제1 변위 거리에 기반하여 상기 적어도 하나의 픽셀을 선별함으로써, 상기 적어도 하나의 픽셀에 가장 가까운 제1 서브 대상의 중심 사이와의 거리가 특정 조건을 만족하는 적어도 하나의 제1 픽셀을 획득하며; 상기 제1 픽셀의 제1 변위 데이터 및 상기 제1 픽셀의 위치 데이터에 기반하여 상기 제1 서브 대상의 중심점의 초기 위치를 결정하도록 구성된다.

본 발명의 선택 가능한 실시예에서, 도 9에 도시된 바와 같이, 상기 이미지 처리 유닛(62)은, 상기 이미지 데이터 및 상기 제1 이미지 데이터를 병합하여, 타겟 이미지 데이터를 획득하고; 제2 완전 컨볼루션 신경망에 기반하여 상기 타겟 이미지 데이터를 처리하여, 상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하며, 최대 확률치에 대응되는 서브 대상의 카테고리를 상기 픽셀이 속한 서브 대상의 카테고리로 결정하고; 상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리에 기반하여 제2 이미지 데이터를 획득하도록 구성된 제2 프로세싱 모듈(622)을 포함한다.

선택 가능한 실시예에서, 상기 제2 프로세싱 모듈(622)은, 상기 타겟 이미지 데이터에서의 제2 서브 대상의 중심점에 대응하는 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하고, 상기 제2 서브 대상은 상기 적어도 하나의 서브 대상 중 임의의 하나의 서브 대상이며; 최대 확률치에 대응되는 제2 서브 대상의 카테고리를 상기 제2 서브 대상의 카테고리로 결정하도록 구성된다.

본 발명의 선택 가능한 실시예에서, 상기 이미지 처리 유닛(62)은, 상기 이미지 데이터를 다운 샘플링 처리하여, 제3 이미지 데이터를 획득하고; 제2 완전 컨볼루션 신경망에 기반하여 상기 제3 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하도록 구성된다.

본 발명의 선택 가능한 실시예에서, 도 10에 도시된 바와 같이, 상기 이미지 처리 장치는, 타겟 대상을 포함하는 제1 샘플 이미지 데이터 및 상기 제1 샘플 이미지 데이터에 대응되는 제1 라벨 데이터를 획득하고; 상기 제1 라벨 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 중심점을 지시하며; 상기 제1 샘플 이미지 데이터 및 대응되는 제1 라벨 데이터에 따라 상기 제1 완전 컨볼루션 신경망을 트레이닝하도록 구성된 제1 트레이닝 유닛(63)을 더 포함한다.

본 실시예에서, 상기 제1 트레이닝 유닛(63)은, 제1 완전 컨볼루션 신경망에 따라 상기 제1 샘플 이미지 데이터를 처리하여, 초기 이미지 데이터를 획득하고, 상기 초기 이미지 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 초기 중심점을 포함하며; 상기 초기 이미지 데이터 및 상기 제1 라벨 데이터에 기반하여 손실 함수를 결정하고, 상기 손실 함수에 기반하여 상기 제1 완전 컨볼루션 신경망의 파라미터를 조정하여, 상기 제1 완전 컨볼루션 신경망을 트레이닝하도록 구성된다.

본 발명의 선택 가능한 실시예에서, 도 11에 도시된 바와 같이, 상기 이미지 처리 장치는, 타겟 대상을 포함하는 제1 샘플 이미지 데이터, 상기 제1 샘플 이미지 데이터와 관련된 제2 샘플 이미지 데이터 및 상기 제1 샘플 이미지 데이터에 대응되는 제2 라벨 데이터를 획득하고; 상기 제2 샘플 이미지 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 중심점을 포함하며; 상기 제2 라벨 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 카테고리를 지시하고; 상기 제1 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝하도록 구성된 제2 트레이닝 유닛(64)을 더 포함한다.

선택적으로, 상기 제2 트레이닝 유닛(64)은, 상기 제1 샘플 이미지 데이터를 다운 샘플링 처리하여, 제3 샘플 이미지 데이터를 획득하고; 상기 제3 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝하도록 구성된다.

본 실시예에서, 상기 타겟 대상은 적어도 하나의 척추를 포함하는 척추뼈를 포함한다.

본 발명의 실시예에서, 상기 이미지 처리 장치 중의 획득 유닛(61), 이미지 처리 유닛(62)(제1 프로세싱 모듈(621) 및 제2 프로세싱 모듈(622)을 포함), 제1 트레이닝 유닛(63) 및 제2 트레이닝 유닛(64)은, 실제 응용에서 모두 중앙 처리 장치(Central Processing Unit, CPU), 디지털 신호 프로세서(Digital Signal Processor, DSP), 마이크로 제어 장치(Microcontroller Unit, MCU) 또는 필드 프로그래머블 게이트 어레이(Field－Programmable Gate Array)에 의해 구현될 수 있다.

유의해야 할 점은, 상기 실시예에서 제공하는 이미지 처리 장치가 이미지 처리를 수행할 경우, 이상 각 프로그램 모듈의 분할만으로 예를 들어 설명하고, 실제 응용에서, 필요에 따라 상기 처리 배분을 다양한 프로그램 모듈에 의해 완료될 수 있으며, 즉, 장치의 내부 구조를 다양한 프로그램 모듈로 분할하여, 이상 설명한 전체적 또는 부분적 처리를 완료할 수 있다. 또한, 상기 실시예에서 제공하는 이미지 처리 장치 및 이미지 처리 방법의 실시예는 동일한 구상에 속하고, 구체적인 구현 과정은 방법의 실시예를 참조하며, 여기서는 반복하지 않는다.

본 발명의 실시예는 전자 기기를 더 제공하고, 도 12는 본 발명의 실시예에 따른 전자 기기의 구성 구조 모식도이며, 도 12에 도시된 바와 같이, 상기 전자 기기는 메모리(72), 프로세서(71) 및 메모리(72)에 저장되어 프로세서(71)에서 실행 가능한 컴퓨터 프로그램을 포함하고, 상기 프로세서(71)는 상기 프로그램을 실행할 경우, 본 발명의 실시예의 상기 이미지 처리 방법의 단계를 구현한다.

본 실시예에서, 전자 기기 중의 각각의 컴포넌트는 버스 시스템(73)에 의해 커플링될 수 있다. 버스 시스템(73)은 이러한 컴포넌트 사이의 연결 통신을 구현하기 위한 것임을 이해할 수 있을 것이다. 버스 시스템(73)은 데이터 버스를 포함하는 외에, 전원 버스, 제어 버스 및 상태 신호 버스를 더 포함한다. 그러나, 명확히 설명하기 위해, 도 12에서 다양한 버스를 모두 버스 시스템(73)으로 표기한다.

메모리(72)는 휘발성 메모리 또는 비휘발성 메모리일 수 있고, 휘발성 및 비휘발성 메모리를 모두 포함할 수 있음을 이해할 수 있을 것이다. 여기서, 비휘발성 메모리는 판독 전용 메모리(Read-Only Memory,ROM), 프로그래머블 판독 전용 메모리(Programmable Read-Only Memory, PROM), 소거 가능 프로그래머블 판독 전용 메모리(Erasable Programmable Read-Only Memory, EPROM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(Electrically Erasable Programmable Read-Only Memory, EEPROM), 강자성 램덤 액세스 메모리(ferromagnetic random access memory, FRAM), 플래시 메모리(Flash Memory), 자기 표면 메모리, 광 디스크 또는 컴팩트 디스크 판독 전용 메모리(Compact Disc Read-Only Memory, CD-ROM)일 수 있고; 자기 표면 메모리는 디스크 메모리 또는 테이프 메모리일 수 있다. 휘발성 메모리는 외부 캐시(cache)로 사용하는 랜덤 액세스 메모리(Random Access Memory, RAM)일 수 있다. 한정적이 아닌 예시적 설명으로서, 예를 들어 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 동기식 정적 랜덤 액세스 메모리(Synchronous Static Random Access Memory, SSRAM), 동적 랜덤 액세스 메모리(Dynamic Random Access Memory, DRAM), 동기식 동적 랜덤 액세스 메모리(Synchronous Dynamic Random Access Memory, SDRAM), 2배속 동기식 동적 랜덤 액세스 메모리(Double Data Rate Synchronous Dynamic Random Access Memory, DDRSDRAM), 인핸스먼트형 동기식 동적 랜덤 액세스 메모리(Enhanced Synchronous Dynamic Random Access Memory, ESDRAM), 동기식 접속 동적 랜덤 액세스 메모리(SyncLink Dynamic Random Access Memory, SLDRAM), 직접 램버스 랜덤 액세스 메모리(Direct Rambus Random Access Memory, DRRAM) 등 많은 형태의 램(RAM)을 사용할 수 있다. 본 발명의 실시예에서 서술된 메모리(72)는 이들 및 임의의 다른 적합한 유형의 메모리를 포함하지만, 이에 한정되는 것은 아니다.

상기 본 발명의 실시예에서 개시된 방법은 프로세서(71)에 적용되거나, 프로세서(71)에 의해 구현될 수 있다. 프로세서(71)는 신호 처리 기능을 구비한 집적 회로 칩일 수 있다. 구현 과정에서, 상기 이미지 처리 방법의 각 단계들은 프로세서(71)의 하드웨어 집적 논리 회로 또는 소프트웨어 형태의 명령에 의해 완료될 수 있다. 상기 프로세서(71)는 범용 프로세서, 디지털 신호 처리기(Digital Signal Processor, DSP), 또는 다른 프로그램 가능 논리 소자, 개별 게이트, 또는 트랜지스터 논리 소자, 개별 하드웨어 컴포넌트 등일 수 있다. 프로세서(71)는 본 발명의 실시예에 개시된 각 방법, 단계 및 논리 블록도를 구현 또는 수행할 수 있다. 범용 프로세서는 마이크로 프로세서 또는 임의의 일반적인 프로세서 등일 수 있다. 본 발명의 실시예와 결부하여 공개된 방법의 단계들은, 하드웨어 디코딩 프로세서에 의해 직접 실행되거나 디코딩 프로세서의 하드웨어 및 소프트웨어 모듈의 조합에 의해 실행될수 있다. 소프트웨어 모듈은 저장 매체에 위치될 수 있고, 상기 저장 매체는 메모리(72)에 위치하며, 프로세서(71)는 메모리(72)의 정보를 판독한후, 하드웨어와 결합하여 전술한 방법의 단계들을 완료한다.

예시적 실시예에서, 전자 기기는 하나 또는 복수의 전용 집적회로(Application Specific Integrated Circuit, ASIC), DSP, 프로그램 가능 논리 소자(Programmable Logic Device, PLD), 복잡 프로그램 가능 논리 소자(Complex Programmable Logic Device, CPLD), 현장 필드 프로그래머블 게이트 어레이(Field-Programmable Gate Array, FPGA), 범용 프로세서, 제어기, 마이크로 제어 장치(Micro Controller Unit, MCU), 마이크로 프로세서(Microprocessor, MPU) 또는 다른 전자 소자에 의해 구현되며,상기 이미지 처리 방법을 수행한다.

본 발명의 실시예는 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중의 프로세서는 상기 이미지 처리 방법을 수행한다.

본 발명의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 프로그램이 프로세서에 의해 실행될 경우, 본 발명의 실시예에 따른 방법의 단계를 구현한다.

본 발명에서 제공하는 여러 실시예에서, 개시된 장치, 기기, 및 방법은, 다른 방식에 의해 구현될 수 있음을 이해해야 한다. 위에서 설명된 기기 실시예는 단지 예시일 뿐이고, 예를 들어, 상기 유닛의 분할은, 논리 기능적 분할일 뿐이며, 실제로 구현될 경우, 예를 들어, 복수의 유닛 또는 컴포넌트가 결합될 수 있거나, 다른 시스템에 통합될 수 있거나, 일부 특징을 무시할 수 있거나 수행하지 않는 등 다른 분할 방식이 있을 수 있다. 또한, 표시되거나 논의된 각 구성부분 간의 커플링, 또는 직접 커플링, 또는 통신 가능한 연결은 일부 인터페이스, 기기 또는 유닛의 간접적 커플링 또는 통신 가능한 연결일 수 있고, 전기적, 기계적 또는 다른 형태일 수 있다.

상기 분리 부재로서 설명된 유닛은 물리적으로 분리된 것일 수 있거나 물리적으로 분리된 것이 아닐 수도 있고, 유닛으로 표시된 부재는 물리적 유닛일 수 있거나 물리적 유닛이 아닐 수도 있으며, 즉, 하나의 장소에 위치할 수 있고, 복수의 네트워크 유닛에 분산될 수도 있으며; 실제 필요에 따라, 일부 또는 전부 유닛을 선택하여 본 실시예의 해결수단의 목적을 구현할 수 있다.

또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 모두 통합될 수 있고, 각 유닛은 각각 하나의 유닛으로 독립될 수도 있으며, 2 개 이상의 유닛은 하나의 유닛에 통합될 수도 있고; 상기 통합된 유닛은 하드웨어의 형태로 구현될 수 있으며, 하드웨어 및 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 상기 이미지 처리 방법의 실시예의 전부 또는 부분적 단계가 프로그램 명령에 관련된 하드웨어에 의해 완료되고, 전술한 프로그램은 컴퓨터 판독 가능한 저장 매체에 저당될 수 있으며, 상기 프로그램이 실행될 경우, 상기 이미지 처리 방법의 실시예를 포함하는 단계를 수행하고; 전술한 저장 매체는 모바일 저장 장치, ROM, RAM, 자기 디스크 또는 광 디스크 등과 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다는 것을 이해할 수 있을 것이다.

또는, 본 발명에서 통합된 상기 유닛이 소프트웨어 기능 모듈 형태로 구현되어 독립적인 제품으로서 판매되거나 사용될 경우, 컴퓨터 판독 가능한 저장 매체에 저장될 수도 있다. 이러한 이해에 기반하여, 본 발명의 실시예의 기술적 해결수단은 본질적으로 또는 종래 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있고, 상기 검퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 등일 수 있음)가 본 발명의 각각의 실시예에 따른 방법의 전부 또는 부분을 수행하게 하는 약간의 명령을 포함한다. 전술한 저장 매체는 모바일 저장 장치, ROM, RAM, 자기 디스크 또는 광 디스크 등과 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

상기 내용은 본 발명의 구체적인 실시형태일 뿐, 본 발명의 보호 범위는이에 제한되지 않으며, 본 기술분야를 숙지한 기술자가 본 발명에 개시된 기술 범위 내에서 쉽게 생각해낼 수 있는 변경 또는 대체는, 모두 본 발명의 보호 범위 내에 포함되어야 한다. 따라서, 본 발명의 보호 범위는 청구 범위의 보호 범위에 따라야 한다.

Claims (29)

1. 이미지 처리 방법으로서,
   타겟 대상을 포함하는 이미지 데이터를 획득하는 단계 - 상기 타겟 대상은 적어도 하나의 서브 대상을 포함함 - ; 및
   완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하는 단계 - 상기 타겟 이미지 데이터는 적어도 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함함 - 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
2. 제1항에 있어서,
   상기 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하는 단계는,
   제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하는 단계를 포함하고, 상기 타겟 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함하는 것을 특징으로 하는 이미지 처리 방법.
3. 제1항에 있어서,
   상기 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하는 단계는,
   제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 제1 이미지 데이터를 획득하는 단계 - 상기 제1 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함함 - ; 및
   제2 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하는 단계 - 상기 제2 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 카테고리를 지시함 - 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
4. 제2항 또는 제3항에 있어서,
   상기 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하는 단계는,
   상기 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 상기 이미지 데이터에서의 픽셀에 대응되는 제1 변위 데이터를 획득하는 단계 - 상기 제1 변위 데이터는 상기 픽셀과 상기 픽셀에 가장 가까운 서브 대상의 중심점 사이의 변위를 가리킴 - ;
   상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하는 단계 - 상기 제1 서브 대상은 상기 적어도 하나의 서브 대상 중 임의의 하나의 서브 대상임 - ; 및
   상기 이미지 데이터 중의 적어도 일부 픽셀에 대응되는 상기 제1 서브 대상의 중심점의 초기 위치를 획득하고, 위치가 동일한 초기 위치의 개수를 결정하며, 개수가 가장 많은 초기 위치에 기반하여 상기 제1 서브 대상의 중심점을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
5. 제4항에 있어서,
   상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하기 전에, 상기 이미지 처리 방법은,
   상기 이미지 데이터에서의 적어도 하나의 픽셀에 대응되는 제1 변위 거리에 기반하여 상기 적어도 하나의 픽셀을 선별함으로써, 상기 적어도 하나의 픽셀에 가장 가까운 제1 서브 대상의 중심 사이와의 거리가 특정 조건을 만족하는 적어도 하나의 제1 픽셀을 획득하는 단계를 더 포함하며;
   상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하는 단계는,
   상기 제1 픽셀의 제1 변위 데이터 및 상기 제1 픽셀의 위치 데이터에 기반하여 상기 제1 서브 대상의 중심점의 초기 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
6. 제3항에 있어서,
   상기 제2 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하는 단계는,
   상기 이미지 데이터 및 상기 제1 이미지 데이터를 병합하여, 타겟 이미지 데이터를 획득하는 단계;
   제2 완전 컨볼루션 신경망에 기반하여 상기 타겟 이미지 데이터를 처리하여, 상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하고, 최대 확률치에 대응되는 서브 대상의 카테고리를 상기 픽셀이 속한 서브 대상의 카테고리로 결정하는 단계; 및
   상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리에 기반하여 제2 이미지 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
7. 제6항에 있어서,
   상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하고, 최대 확률치에 대응되는 서브 대상의 카테고리를 상기 픽셀이 속한 서브 대상의 카테고리로 결정하는 단계는,
   상기 타겟 이미지 데이터에서의 제2 서브 대상의 중심점에 대응하는 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하는 단계 - 상기 제2 서브 대상은 상기 적어도 하나의 서브 대상 중 임의의 하나의 서브 대상임 - ; 및
   최대 확률치에 대응되는 제2 서브 대상의 카테고리를 상기 제2 서브 대상의 카테고리로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
8. 제3항에 있어서,
   상기 제2 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하는 단계는,
   상기 이미지 데이터를 다운 샘플링 처리하여, 제3 이미지 데이터를 획득하는 단계; 및
   제2 완전 컨볼루션 신경망에 기반하여 상기 제3 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
9. 제2항 내지 제5항 중 어느 한 항에 있어서,
   상기 제1 완전 컨볼루션 신경망의 트레이닝 과정은,
   타겟 대상을 포함하는 제1 샘플 이미지 데이터 및 상기 제1 샘플 이미지 데이터에 대응되는 제1 라벨 데이터를 획득하는 단계 - 상기 제1 라벨 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 중심점을 지시하기 위한 것임 - ; 및
   상기 제1 샘플 이미지 데이터 및 대응되는 제1 라벨 데이터에 따라 상기 제1 완전 컨볼루션 신경망을 트레이닝하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
10. 제9항에 있어서,
    상기 제1 샘플 이미지 데이터 및 대응되는 제1 라벨 데이터에 따라 상기 제1 완전 컨볼루션 신경망을 트레이닝하는 단계는,
    제1 완전 컨볼루션 신경망에 따라 상기 제1 샘플 이미지 데이터를 처리하여, 초기 이미지 데이터를 획득하는 단계 - 상기 초기 이미지 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 초기 중심점을 포함함 - ; 및
    상기 초기 이미지 데이터 및 상기 제1 라벨 데이터에 기반하여 손실 함수를 결정하고, 상기 손실 함수에 기반하여 상기 제1 완전 컨볼루션 신경망의 파라미터를 조정하여, 상기 제1 완전 컨볼루션 신경망을 트레이닝하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
11. 제3항, 제6항 또는 제7항 중 어느 한 항에 있어서,
    상기 제2 완전 컨볼루션 신경망의 트레이닝 과정은,
    타겟 대상을 포함하는 제1 샘플 이미지 데이터, 상기 제1 샘플 이미지 데이터와 관련된 제2 샘플 이미지 데이터 및 상기 제1 샘플 이미지 데이터에 대응되는 제2 라벨 데이터를 획득하는 단계 - 상기 제2 샘플 이미지 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 중심점을 포함하며, 상기 제2 라벨 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 카테고리를 지시하기 위한 것임 - ; 및
    상기 제1 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
12. 제11항에 있어서,
    상기 제1 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝하는 단계는,
    상기 제1 샘플 이미지 데이터를 다운 샘플링 처리하여, 제3 샘플 이미지 데이터를 획득하는 단계; 및
    상기 제3 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 타겟 대상은 척추뼈를 포함하고, 상기 척추뼈는 적어도 하나의 척추를 포함하는 것을 특징으로 하는 이미지 처리 방법.
14. 이미지 처리 장치로서,
    획득 유닛 및 이미지 처리 유닛을 포함하고,
    상기 획득 유닛은 타겟 대상을 포함하는 이미지 데이터를 획득하도록 구성되고, 상기 타겟 대상은 적어도 하나의 서브 대상을 포함하며;
    상기 이미지 처리 유닛은 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하도록 구성되고, 상기 타겟 이미지 데이터는 적어도 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함하는 것을 특징으로 하는 이미지 처리 장치.
15. 제14항에 있어서,
    상기 이미지 처리 유닛은,
    제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 타겟 이미지 데이터를 획득하도록 구성되고, 상기 타겟 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함하는 것을 특징으로 하는 이미지 처리 장치.
16. 제14항에 있어서,
    상기 이미지 처리 유닛은,
    제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 제1 이미지 데이터를 획득하고 - 상기 제1 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 중심점을 포함함 - ; 제2 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득 - 상기 제2 이미지 데이터는 상기 타겟 대상에서의 각각의 서브 대상의 카테고리를 지시함 - 하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
17. 제15항 또는 제16항에 있어서,
    상기 이미지 처리 유닛은,
    상기 제1 완전 컨볼루션 신경망에 기반하여 상기 이미지 데이터를 처리하여, 상기 이미지 데이터에서의 픽셀에 대응되는 제1 변위 데이터를 획득하고 - 상기 제1 변위 데이터는 상기 픽셀과 상기 픽셀에 가장 가까운 서브 대상의 중심점 사이의 변위를 가리킴 - ; 상기 제1 변위 데이터 및 상기 픽셀의 위치 데이터에 기반하여 상기 픽셀에 가장 가까운 제1 서브 대상의 중심점의 초기 위치를 결정하고 - 상기 제1 서브 대상은 상기 적어도 하나의 서브 대상 중 임의의 하나의 서브 대상임 - ; 상기 이미지 데이터 중의 적어도 일부 픽셀에 대응되는 상기 제1 서브 대상의 중심점의 초기 위치를 획득하고, 위치가 동일한 초기 위치의 개수를 결정하며, 개수가 가장 많은 초기 위치에 기반하여 상기 제1 서브 대상의 중심점을 결정하도록 구성된 제1 프로세싱 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
18. 제17항에 있어서,
    상기 제1 프로세싱 모듈은,
    상기 이미지 데이터에서의 적어도 하나의 픽셀에 대응되는 제1 변위 거리에 기반하여 상기 적어도 하나의 픽셀을 선별함으로써, 상기 적어도 하나의 픽셀에 가장 가까운 제1 서브 대상의 중심 사이와의 거리가 특정 조건을 만족하는 적어도 하나의 제1 픽셀을 획득하며; 상기 제1 픽셀의 제1 변위 데이터 및 상기 제1 픽셀의 위치 데이터에 기반하여 상기 제1 서브 대상의 중심점의 초기 위치를 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
19. 제16항에 있어서,
    상기 이미지 처리 유닛은,
    상기 이미지 데이터 및 상기 제1 이미지 데이터를 병합하여, 타겟 이미지 데이터를 획득하고; 제2 완전 컨볼루션 신경망에 기반하여 상기 타겟 이미지 데이터를 처리하여, 상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하며, 최대 확률치에 대응되는 서브 대상의 카테고리를 상기 픽셀이 속한 서브 대상의 카테고리로 결정하고; 상기 타겟 이미지 데이터에서의 픽셀이 속한 서브 대상의 카테고리에 기반하여 제2 이미지 데이터를 획득하도록 구성된 제2 프로세싱 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
20. 제19항에 있어서,
    상기 제2 프로세싱 모듈은,
    상기 타겟 이미지 데이터에서의 제2 서브 대상의 중심점에 대응하는 픽셀이 속한 서브 대상의 카테고리의 확률치를 획득하고, 상기 제2 서브 대상은 상기 적어도 하나의 서브 대상 중 임의의 하나의 서브 대상이며; 최대 확률치에 대응되는 제2 서브 대상의 카테고리를 상기 제2 서브 대상의 카테고리로 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
21. 제16항에 있어서,
    상기 이미지 처리 유닛은,
    상기 이미지 데이터를 다운 샘플링 처리하여, 제3 이미지 데이터를 획득하고; 제2 완전 컨볼루션 신경망에 기반하여 상기 제3 이미지 데이터 및 상기 제1 이미지 데이터를 처리하여, 제2 이미지 데이터를 획득하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
22. 제15항 내지 제18항 중 어느 한 항에 있어서,
    상기 이미지 처리 장치는,
    타겟 대상을 포함하는 제1 샘플 이미지 데이터 및 상기 제1 샘플 이미지 데이터에 대응되는 제1 라벨 데이터를 획득하고； 상기 제1 라벨 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 중심점을 지시하며; 상기 제1 샘플 이미지 데이터 및 대응되는 제1 라벨 데이터에 따라 상기 제1 완전 컨볼루션 신경망을 트레이닝하도록 구성된 제1 트레이닝 유닛을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
23. 제22항에 있어서,
    상기 제1 트레이닝 유닛은, 제1 완전 컨볼루션 신경망에 따라 상기 제1 샘플 이미지 데이터를 처리하여, 초기 이미지 데이터를 획득하고, 상기 초기 이미지 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 초기 중심점을 포함하며; 상기 초기 이미지 데이터 및 상기 제1 라벨 데이터에 기반하여 손실 함수를 결정하고, 상기 손실 함수에 기반하여 상기 제1 완전 컨볼루션 신경망의 파라미터를 조정하여, 상기 제1 완전 컨볼루션 신경망을 트레이닝하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
24. 제16항, 제19항 또는 제20항 중 어느 한 항에 있어서,
    상기 이미지 처리 장치는,
    타겟 대상을 포함하는 제1 샘플 이미지 데이터, 상기 제1 샘플 이미지 데이터와 관련된 제2 샘플 이미지 데이터 및 상기 제1 샘플 이미지 데이터에 대응되는 제2 라벨 데이터를 획득하고; 상기 제2 샘플 이미지 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 중심점을 포함하며; 상기 제2 라벨 데이터는 상기 제1 샘플 이미지 데이터에서의 타겟 대상 중의 각각의 서브 대상의 카테고리를 지시하고; 상기 제1 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝하도록 구성된 제2 트레이닝 유닛을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
25. 제24항에 있어서,
    상기 제2 트레이닝 유닛은,
    상기 제1 샘플 이미지 데이터를 다운 샘플링 처리하여, 제3 샘플 이미지 데이터를 획득하고; 상기 제3 샘플 이미지 데이터, 상기 제2 샘플 이미지 데이터 및 상기 제2 라벨 데이터에 기반하여 상기 제2 완전 컨볼루션 신경망을 트레이닝하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
26. 제14항 내지 제25항 중 어느 한 항에 있어서,
    상기 타겟 대상은 적어도 하나의 척추를 포함하는 척추뼈를 포함하는 것을 특징으로 하는 이미지 처리 장치.
27. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체로서,
    상기 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제13항 중 어느 한 항에 따른 이미지 처리 방법을 구현하는 컴퓨터 판독 가능한 저장 매체.
28. 메모리, 프로세서 및 메모리에 저장되어 프로세서에서 실행 가능한 컴퓨터 프로그램을 포함하는 전자 기기로서,
    상기 프로세서가 상기 프로그램을 실행할 경우, 제1항 내지 제13항 중 어느 한 항에 따른 이미지 처리 방법의 단계를 구현하는 것을 특징으로 하는 전자 기기.
29. 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램으로서,
    상기 컴퓨터 판독 가능한 코드가 전자 기기에서 실행될 경우, 상기 전자 기기에서의 프로세서가 제1항 내지 제13항 중 어느 한 항에 따른 이미지 처리 방법을 실행하는 것을 특징으로 하는 컴퓨터 프로그램.

Images