KR102450931B1 - 이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치 - Google Patents

Abstract

본 발명의 실시예는 이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치를 제공한다. 상기 방법은, 진실 2 차원 이미지 및 기준 2 차원 이미지를 획득하고, 이미지 정합 모델의 가상 이미지 특징 추출 네트워크를 이용하여 기준 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 가상 특징맵을 얻는 단계 - 이미지 정합 모델은 가상 이미지를 이용하여 사전 훈련되고, 가상 이미지 특징 추출 네트워크는 사전 훈련에 참여하며, 가상 이미지는 가상 타깃에 기반하여 생성된 것임 - ; 이미지 정합 모델의 진실 이미지 특징 추출 네트워크를 이용하여 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 진실 특징맵을 얻는 단계 - 진실 이미지 특징 추출 네트워크는 사전 훈련에 참여하지 않음 - ; 및 제1 진실 특징맵 및 제1 가상 특징맵 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하는 단계를 포함한다.

Description

이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치

관련 출원에 대한 상호 참조

본 발명은 출원 번호가 202010477508.6이고 출원일이 2020년 5월 29일인 중국특허 출원에 기반하여 제출한 것이며, 상기 중국특허 출원의 우선권을 주장하고, 상기 중국특허 출원의 전부 내용은 본 발명에 참조자료로 포함된다.

본 발명은 이미지 처리 기술분야에 관한 것으로서, 특히 이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치에 관한 것이다.

이미지 정합은 상이한 시간, 상이한 센서(이미징 기기) 또는 상이한 조건(촬영 위치 및 각도 등)하에서 획득된 두 개 또는 복수 개의 이미지를 매칭하는 과정이다. 의학적인 이미지 정합은 의학적 이미지에 대한 한 가지(또는 일련의) 공간 변환을 추구하여, 다른 의학적 이미지에서의 대응 포인트가 공간 상으로 일치하도록 한다.

신경 네트워크를 이용하여 이미지를 정합하여 큰 잠재력과 응용 가능성을 보여준다. 현재, 훈련된 정합을 위한 신경 네트워크 모델 샘플은 모두 수동으로 정합된 진실 이미지이다. 그러나 진실 이미지를 수동 정합하는 것이 긴 시간이 필요하고, 진실 환경 하에서의 이미징 조건에 한정되므로, 훈련에 사용 가능한 샘플 이미지가 적고, 가격이 높아지도록 초래함으로써, 진실 이미지를 이용하여 훈련된 신경 네트워크 모델의 응용이 한정된다.

본 발명의 실시예는 이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치를 제공한다.

본 발명의 실시예의 제1 측면은 이미지 정합 모델의 훈련 방법을 제공한다. 상기 방법은, 진실 2 차원 이미지 및 기준 2 차원 이미지를 획득하는 단계 - 진실 2 차원 이미지는 이미징 소재를 이용하여 진실 타깃을 이미징하여 얻은 것이고, 기준 2 차원 이미지에서의 진실 타깃이 위치하는 위치는 진실 2 차원 이미지와 매칭됨 - ; 이미지 정합 모델의 가상 이미지 특징 추출 네트워크를 이용하여 기준 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 가상 특징맵을 얻는 단계 - 이미지 정합 모델은 가상 이미지를 이용하여 사전 훈련되고, 가상 이미지 특징 추출 네트워크는 사전 훈련에 참여하며, 가상 이미지는 가상 타깃에 기반하여 생성된 것임 - ; 이미지 정합 모델의 진실 이미지 특징 추출 네트워크를 이용하여 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 진실 특징맵을 얻는 단계 - 진실 이미지 특징 추출 네트워크는 사전 훈련에 참여하지 않음 - ; 및 제1 진실 특징맵 및 제1 가상 특징맵 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하는 단계를 포함한다.

따라서, 먼저 가상 이미지 데이터를 이용하여 초기의 이미지 정합 모델에 대해 사전 훈련을 수행하고, 진실 이미지 특징 추출 네트워크를 사전 훈련된 이미지 정합 모델에 추가하여, 진실 이미지 데이터 및 사전 훈련된 이미지 정합 모델에서의 가상 이미지 특징 추출 네트워크를 이용하여 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하여, 진실 이미지 데이터의 훈련 마이그레이션을 구현하여, 최종적인 이미지 정합 모델을 얻으며, 이미지 정합 모델이 초기에 먼저 가상 이미지 데이터를 이용하여 사전 훈련을 수행하므로, 훈련 시 필요한 진실 샘플 이미지 데이터를 감소시킬 수 있고, 즉 훈련 비용을 저하시키며, 또한, 후기에 진실 이미지 데이터 및 사전 훈련된 이미지 정합 모델을 이용하여 진실 이미지 특징 추출 네트워크를 훈련시켜, 가상 이미지 데이터의 결과를 이용하여 진실 데이터 훈련을 감독하는 것을 구현함으로써, 이미지 정합 모델의 훈련 효과를 향상시켜, 진실 이미지 특징 추출 네트워크가 후속 훈련에 사용 가능하도록 하므로, 이미지 정합 모델이 진실 환경에 더욱 쉽게 적용될 수 있도록 한다.

여기서, 상기 기준 2 차원 이미지를 획득하는 단계는, 진실 2 차원 이미지와 진실 3 차원 이미지 사이의 실제 정합 결과를 이용하여, 진실 타깃이 위치하는 위치가 진실 2 차원 이미지와 일치하는 기준 2 차원 이미지를 생성하는 단계를 포함한다. 따라서, 진실 타깃이 위치하는 위치가 진실 2 차원 이미지와 일치하는 기준 2 차원 이미지를 생성하는 것을 통해, 기준 2 차원 이미지 및 진실 2 차원 이미지는 후속 훈련에 이용될 수 있다.

여기서, 상기 이미지 정합 모델은 사전 훈련에 참여한 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크를 더 포함하고; 상기 제1 진실 특징맵 및 제1 가상 특징맵 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하는 단계 이후, 방법은, 조정된 진실 이미지 특징 추출 네트워크를 이용하여 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 제2 진실 특징맵을 얻는 단계; 진실 2 차원 이미지의 제1 투영 모델 파라미터를 이용하여 진실 3 차원 이미지를 투영하여, 제1 투영 이미지를 얻고, 진실 타깃에서의 특징 포인트가 제1 투영 이미지에서의 제1 실제 2 차원 위치를 획득하는 단계; 투영 이미지 특징 추출 네트워크를 이용하여 제1 투영 이미지에 대해 특징 추출을 수행하여, 제1 투영 특징맵을 얻는 단계; 위치 예측 네트워크를 이용하여, 제1 투영 특징맵에서 제1 실제 2 차원 위치에 대응되는 제1 투영 특징 위치를 결정하고, 제2 진실 특징맵에서 제1 투영 특징맵에서의 제1 투영 특징 위치에 대응되는 진실 특징 위치를 찾으며, 진실 특징 위치를 이용하여 진실 타깃에서의 특징 포인트가 진실 2 차원 이미지에서의 제1 예측 2 차원 위치를 얻는 단계; 제1 예측 2 차원 위치를 이용하여, 진실 2 차원 이미지와 진실 3 차원 이미지의 예측 정합 결과를 획득하는 단계; 및 실제 정합 결과 및 예측 정합 결과 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크, 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크에서의 적어도 하나의 네트워크의 네트워크 파라미터를 조정하는 단계를 더 포함한다. 따라서, 가상 이미지 훈련을 거친 가상 이미지 특징 추출 네트워크, 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크를 이용하여, 진실 이미지 특징 추출 네트워크와 공동으로 훈련하는 것을 통해, 가상 데이터의 결과를 이용하여 진실 데이터 훈련을 감독하는 것을 구현하여, 훈련의 효과를 향상시키며, 또한 진실 데이터 훈련을 거친 이미지 정합 모델이 진실 환경에 더욱 쉽게 적용될 수 있도록 한다. 또한, 사전 훈련된 이미지 정합 모델에 대해, 진실 2 차원 이미지를 이용하여 이미지 정합 모델에 대해 추가적인 훈련을 수행하여, 훈련 시 필요한 대량의 진실 2 차원 이미지를 감소시킬 수 있어, 이미지 정합 모델을 훈련하는 비용이 저하되도록 하므로, 연관된 훈련을 더욱 쉽게 전개할 수 있다.

여기서, 상기 실제 정합 결과 및 예측 정합 결과 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하는 단계는, 제2 진실 특징맵 및 제1 가상 특징맵 사이의 차이, 실제 정합 결과 및 예측 정합 결과 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하는 단계를 포함한다. 따라서, 추가적으로 제2 진실 특징맵 및 제1 가상 특징맵 사이의 차이, 실제 정합 결과 및 예측 정합 결과 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하는 것을 통해, 훈련 효과를 향상시킨다.

여기서, 상기 방법은, 적어도 한 그룹의 가상 2 차원 이미지 및 제2 투영 이미지를 획득하고, 가상 타깃에서의 특징 포인트가 각각 가상 2 차원 이미지에서의 제2 실제 2 차원 위치 및 제2 투영 이미지에서의 제3 실제 2 차원 위치를 획득하는 단계 - 가상 2 차원 이미지는 가상 타깃에 대해 시뮬레이션 이미징을 수행하여 얻은 것이고, 제2 투영 이미지는 가상 타깃에 대해 시뮬레이션 투영을 수행하여 얻은 것임 - ; 각 그룹의 가상 2 차원 이미지, 제2 투영 이미지 및 제3 실제 2 차원 위치를 이미지 정합 모델에 입력하여, 가상 타깃에서의 특징 포인트가 가상 2 차원 이미지에서의 제2 예측 2 차원 위치를 얻는 단계; 및 제2 실제 2 차원 위치 및 제2 예측 2 차원 위치에 기반하여, 이미지 정합 모델의 네트워크 파라미터를 조정하는 단계를 더 포함하여, 이미지 정합 모델에 대해 사전 훈련을 수행한다. 따라서, 가상 이미지를 이용하여 이미지 정합 모델에 대해 사전 훈련을 수행하는 것을 통해, 가상 이미지의 획득 비용이 낮으므로, 훈련 비용을 저하시킬 수 있다. 또한, 가상 이미지는 대량으로 생성될 수 있으므로, 대량의 훈련 데이터를 제공할 수 있음으로써, 훈련의 효과를 향상시킬 수 있다. 또한, 먼저 가상 이미지를 이용하여 이미지 정합 모델에 대해 사전 훈련을 수행한 다음, 진실 이미지를 이용하여 훈련하는 것을 통해, 훈련의 효과를 향상시킬 수 있어, 진실 이미지 훈련을 거친 이미지 정합 모델이 진실 이미지를 더욱 잘 정합하도록 할 수 있다.

여기서, 상기 각 그룹의 가상 2 차원 이미지, 제2 투영 이미지 및 제3 실제 2 차원 위치를 이미지 정합 모델에 입력하여, 가상 타깃에서의 특징 포인트가 가상 2 차원 이미지에서의 제2 예측 2 차원 위치를 얻는 단계는, 이미지 정합 모델의 투영 이미지 특징 추출 네트워크를 이용하여 제2 투영 이미지에 대해 특징 추출을 수행하여, 제2 투영 특징맵을 얻는 단계; 가상 이미지 특징 추출 네트워크를 이용하여 가상 2 차원 이미지에 대해 특징 추출을 수행하여, 제2 가상 특징맵을 얻는 단계; 및 이미지 정합 모델의 위치 예측 네트워크를 이용하여, 제2 투영 특징맵에서 제3 실제2 차원 위치에 대응되는 제2 투영 특징 위치를 결정하고, 제2 가상 특징맵에서 제2 투영 특징맵에서의 제2 투영 특징 위치에 대응되는 가상 특징 위치를 찾으며, 가상 특징 위치를 이용하여 제2 예측 2 차원 위치를 얻는 단계를 포함한다. 따라서, 투영 이미지 특징 추출 네트워크 및 가상 이미지 특징 추출 네트워크를 통해 각각 제2 투영 특징맵 및 제2 가상 특징맵을 얻는 것은, 동일한 특징 추출 네트워크를 사용하여 가상 이미지 및 투영 이미지에 대해 특징 추출을 수행하는 것에 비해, 상기 두 개의 특징 추출 네트워크가 훈련된 후, 각 이미지에 대한 특징 추출이 더욱 정확한 것을 구현할 수 있다.

여기서, 상기 제2 실제 2 차원 위치 및 제2 예측 2 차원 위치에 기반하여, 이미지 정합 모델의 네트워크 파라미터를 조정하는 단계는, 제2 실제 2 차원 위치 및 제2 예측 2 차원 위치에 기반하여, 가상 이미지 특징 추출 네트워크, 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크의 네트워크 파라미터를 조정하는 단계를 포함한다. 따라서, 가상 이미지 특징 추출 네트워크, 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크의 네트워크 파라미터를 조정하는 것을 통해, 이미지 정합 모델의 훈련 효과를 향상시킬 수 있다.

여기서, 상기 제2 진실 특징맵에서 상기 제1 투영 특징맵에서의 상기 제1 투영 특징 위치에 대응되는 진실 특징 위치를 찾는 단계는, 상기 제1 투영 특징맵에서 상기 제1 투영 특징 위치에 위치하는 제1 특징 정보를 찾는 단계; 상기 제2 진실 특징맵에서, 상기 제1 특징 정보 사이의 유사도가 기설정된 유사 조건을 만족하는 제2 특징 정보를 검색하는 단계; 및 상기 제2 특징 정보가 상기 제2 진실 특징맵에서의 진실 특징 위치를 획득하는 단계를 포함한다. 따라서, 특징 정보를 통해 대응되는 특징 포인트를 찾으므로, 특징 정보 카테고리 및 타입에 따라 훈련 결과를 조정할 수 있어, 훈련 효과의 향상에 유리하다.

여기서, 상기 제2 가상 특징맵에서 상기 제2 투영 특징맵에서의 상기 제2 투영 특징 위치에 대응되는 가상 특징 위치를 찾는 단계는, 상기 제2 투영 특징맵에서 상기 제2 투영 특징 위치에 위치하는 제1 특징 정보를 찾는 단계; 상기 제2 가상 특징맵에서, 상기 제1 특징 정보 사이의 유사도가 기설정된 유사 조건을 만족하는 제2 특징 정보를 검색하는 단계; 및 상기 제2 특징 정보가 상기 제2 가상 특징맵에서의 가상 특징 위치를 획득하는 단계를 포함한다. 따라서, 특징 정보를 통해 대응되는 특징 포인트를 찾으므로, 특징 정보 카테고리 및 타입에 따라 훈련 결과를 조정할 수 있어, 훈련 효과의 향상에 유리하다.

여기서, 상기 각 그룹의 가상 2 차원 이미지 및 제2 투영 이미지는 동일한 제2 투영 모델 파라미터를 이용하여 기설정된 포즈 하의 가상 타깃에 대해 시뮬레이션 이미징을 수행하여 얻은 가상 2 차원 이미지, 및 동일한 제2 투영 모델 파라미터를 이용하여 기준 포즈 하의 가상 타깃에 대해 시뮬레이션 투영을 수행하여 얻은 제2 투영 이미지를 포함하고; 여기서, 상이한 그룹의 가상 2 차원 이미지와 제2 투영 이미지에 대응되는 제2 투영 모델 파라미터 및 기설정된 포즈 중 적어도 하나는 상이하다. 따라서, 동일한 타깃에 대한 복수 개의 시각 또는 복수 개의 위치 하의 정합을 구현 가능한 훈련을 생성하는 것을 통해, 이미지 정합 모델이 동일한 타깃의 상이한 시각, 위치의 이미지를 정합할 수 있도록 하여, 훈련 효과, 및 이미지 정합 모델의 적용성을 향상시킨다.

여기서, 상기 방법은, 동일한 기설정된 포즈에 대응되는 복수 개의 가상 2 차원 이미지의 제2 예측 2 차원 위치를 이용하여, 특징 포인트의 예측 3 차원 위치를 결정하는 단계; 및 특징 포인트의 예측 3 차원 위치와 실제 3 차원 위치 사이의 차이를 이용하여, 이미지 정합 모델의 네트워크 파라미터를 조정하는 단계를 더 포함하여, 이미지 정합 모델에 대해 사전 훈련을 수행한다. 따라서, 예측 3 차원 위치와 실제 3 차원 위치 사이의 차이를 이용하여 이미지 정합 모델의 네트워크 파라미터를 조정하는 것을 통해, 훈련 효과를 추가적으로 향상시킬 수 있다.

여기서, 상기 각 그룹의 가상 2 차원 이미지 및 제2 투영 이미지를 획득하는 단계는, 동일한 제2 투영 모델 파라미터로 기설정된 포즈인 가상 타깃에 대해 시뮬레이션 이미징을 수행하여, 가상 2 차원 이미지를 얻고, 제2 투영 모델 파라미터 및 기설정된 포즈의 가상 타깃이 기준 포즈에 대한 강체 변환 파라미터를 기록하는 단계; 및 동일한 제2 투영 모델 파라미터로 기준 포즈인 가상 타깃에 대해 시뮬레이션 투영을 수행하여, 제2 투영 이미지를 얻는 단계를 포함하고; 가상 타깃에서의 특징 포인트가 각각 가상 2 차원 이미지에서의 제2 실제 2 차원 위치 및 제2 투영 이미지에서의 제3 실제 2 차원 위치를 획득하는 단계는, 기준 포즈인 가상 타깃에서의 적어도 하나의 특징 포인트를 결정하는 단계; 가상 2 차원 이미지에 대응되는 제2 투영 모델 파라미터 및 강체 변환 파라미터를 이용하여, 특징 포인트가 가상 2 차원 이미지에서의 제2 실제 2 차원 위치를 결정하는 단계; 및 제2 투영 이미지에 대응되는 제2 투영 모델 파라미터를 이용하여, 특징 포인트가 제2 투영 이미지에서의 제3 실제 2 차원 위치를 결정하는 단계를 포함한다. 가상 2 차원 이미지 및 제2 투영 이미지를 획득할 경우의 투영 모델 파라미터 및 기설정된 포즈가 기준 포즈에 대한 강체 변환 파라미터를 기록하는 것을 통해, 후속 이미지 정합 모델를 훈련할 경우, 이러한 파라미터를 대비의 근거로 사용하여, 이미지 정합 모델의 네트워크 파라미터를 조정함으로써, 이미지 정합 모델의 훈련 효과를 향상시킨다.

여기서, 상기 기준 포즈인 가상 타깃에서의 적어도 하나의 특징 포인트를 결정하는 단계는, 기준 포즈인 가상 타깃에서, 적어도 하나의 특징 포인트를 랜덤으로 선택하는 단계; 또는 제2 투영 이미지에서 가상 타깃에 대응되는 타깃 영역을 식별하고, 타깃 영역의 내부 또는 에지에서 적어도 하나의 투영 포인트를 선택하며, 제2 투영 이미지의 제2 투영 모델 파라미터를 이용하여, 적어도 하나의 투영 포인트를 3 차원 공간에 투영하여, 가상 타깃에서의 적어도 하나의 특징 포인트를 얻는 단계를 포함한다. 특징 포인트를 결정하는 것을 통해, 특징 포인트를 이용하여 정합 훈련을 보조하므로, 훈련의 전개에 편리하고 훈련 효과를 향상시킨다. 또한, 가상 타깃의 내부 또는 에지에서 특징 포인트를 선택하는 것을 통해, 특징 포인트가 후속 정합 훈련을 수행할 경우, 쉽게 찾도록 하여, 이미지 정합 모델의 훈련 효율을 향상시킨다.

본 발명의 실시예의 제2 측면은 이미지 정합 방법을 제공한다. 상기 정합 방법은, 각각 타깃에 대해 이미징을 수행하여 얻은 2 차원 이미지 및 3 차원 이미지를 획득하는 단계; 2 차원 이미지의 투영 모델 파라미터를 이용하여 3 차원 이미지를 투영하여, 투영 이미지를 얻는 단계; 이미지 정합 모델을 이용하여 2 차원 이미지 및 투영 이미지를 처리하여, 타깃에서의 특징 포인트가 2 차원 이미지에서의 2 차원 위치를 얻는 단계; 및 2 차원 위치를 이용하여, 2 차원 이미지와 3 차원 이미지 사이의 정합 결과를 획득하는 단계를 포함하고; 여기서, 이미지 정합 모델은 상기 제1 측면에서 제공한 이미지 정합 모델의 방법에 의해 훈련되어 얻은 것이다. 따라서, 상기 제1 측면에서 제공한 이미지 정합 모델의 방법에 의해 훈련되어 얻은 이미지 정합 모델를 이용하는 것을 통해, 타깃에 대해 이미징하여 얻은 2 차원 이미지 및 3 차원 이미지를 정합할 수 있고, 정합의 결과는 더욱 정확하다.

여기서, 상기 2 차원 위치를 이용하여, 2 차원 이미지와 3 차원 이미지 사이의 정합 결과를 획득하는 단계는, 투영 모델 파라미터를 이용하여 2 차원 위치를 3 차원 공간에 투영하여, 진실 타깃에서의 특징 포인트의 제1 3 차원 위치를 얻는 단계; 진실 타깃에서의 특징 포인트가 3 차원 이미지에서의 제2 3 차원 위치를 획득하는 단계; 및 제1 3 차원 위치 및 제2 3 차원 위치를 이용하여, 3 차원 이미지가 2 차원 이미지에 대한 강체 변환 파라미터를 획득하는 단계를 포함한다. 따라서, 진실 타깃에서의 특징 포인트의 제1 3 차원 위치 및 제2 3 차원 위치를 이용하는 것을 통해, 3 차원 이미지가 2 차원 이미지에 대한 강체 변환 파라미터를 획득할 수 있어, 상기 이미지 정합 방법이 이미지 정합에 적용될 수 있도록 한다.

본 발명의 실시예의 제3 측면은 이미지 정합 모델의 훈련 장치를 제공하고, 상기 장치는, 진실 2 차원 이미지 및 기준 2 차원 이미지를 획득하도록 구성된 제1 획득 모듈 - 진실 2 차원 이미지는 이미징 소재를 이용하여 진실 타깃을 이미징하여 얻은 것이고, 기준 2 차원 이미지에서의 진실 타깃이 위치하는 위치는 진실 2 차원 이미지와 매칭됨 - ; 이미지 정합 모델의 가상 이미지 특징 추출 네트워크를 이용하여 기준 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 가상 특징맵을 얻도록 구성된 제1 특징 추출 모듈 - 이미지 정합 모델은 가상 이미지를 이용하여 사전 훈련되고, 가상 이미지 특징 추출 네트워크는 사전 훈련에 참여하며, 가상 이미지는 가상 타깃에 기반하여 생성된 것임 - ; 이미지 정합 모델의 진실 이미지 특징 추출 네트워크를 이용하여 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 진실 특징맵을 얻도록 구성된 제2 특징 추출 모듈 - 진실 이미지 특징 추출 네트워크는 사전 훈련에 참여하지 않음 - ; 및 제1 진실 특징맵 및 제1 가상 특징맵 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하도록 구성된 조정 모듈을 포함한다. 따라서, 상기 이미지 정합 모델의 훈련 장치를 통해, 가상 이미지에 대해 사전 훈련을 수행한 이미지 정합 모델을 이용하는 것을 통해, 제1 진실 특징맵 및 제1 가상 특징맵 사이의 차이에 따라 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정할 수 있어, 진실 이미지 특징 추출 네트워크에 의해 얻은 제1 진실 특징맵이 제1 가상 특징맵과 대응될 수 있도록 한다. 이로써 가상 데이터의 결과를 이용하여 진실 데이터 훈련을 구현할 수 있음으로써, 이미지 정합 모델 훈련 장치의 훈련 효과를 향상시켜, 이미지 정합 모델의 훈련 장치가 후속 훈련에 사용될 수 있도록 하고, 진실 환경에 더욱 쉽게 적용될 수 있도록 한다.

본 발명의 실시예의 제4 측면은 이미지 정합 장치를 제공한다. 상기 장치는, 각각 타깃에 대해 이미징을 수행하여 얻은 2 차원 이미지 및 3 차원 이미지를 획득하도록 구성된 제2 획득 모듈; 2 차원 이미지의 투영 모델 파라미터를 이용하여 3 차원 이미지를 투영하여, 투영 이미지를 얻도록 구성된 투영 모듈; 이미지 정합 모델을 이용하여 2 차원 이미지 및 투영 이미지를 처리하여, 타깃에서의 특징 포인트가 2 차원 이미지에서의 2 차원 위치를 얻도록 구성된 예측 모듈; 및 2 차원 위치를 이용하여, 2 차원 이미지와 3 차원 이미지 사이의 정합 결과를 획득하도록 구성된 정합 모듈을 포함하고; 여기서, 이미지 정합 모델은 상기 제3 측면에서 설명된 장치에 의해 훈련되어 얻은 것이다. 따라서, 가상 이미지에 대해 사전 훈련을 수행한 이미지 정합 모델을 이용하는 것을 통해, 진실 이미지 특징 추출 네트워크에 의해 얻은 제1 진실 특징맵이 제1 가상 특징맵과 대응될 수 있도록 한다. 이로써 가상 데이터의 결과를 이용하여 진실 데이터 훈련을 구현할 수 있음으로써, 이미지 정합 모델 훈련 장치의 훈련 효과를 향상시켜, 이미지 정합 모델의 훈련 장치가 후속 훈련에 사용될 수 있도록 하고, 진실 환경에 더욱 쉽게 적용될 수 있도록 한다.

본 발명의 실시예의 제5 측면은 이미지 정합 기기를 제공한다. 상기 기기는, 서로 커플링된 프로세서 및 메모리를 포함하고, 여기서, 메모리는 메모리에 저장된 컴퓨터 프로그램을 실행하여 상기 제1 측면에서 설명된 이미지 정합 모델의 훈련 방법, 또는 상기 제2 측면에서 설명된 이미지 정합 방법을 실행하기 위한 것이다.

본 발명의 실시예의 제6 측면은 컴퓨터 판독 가능한 저장 매체를 제공한다. 상기 매체에는 프로세서에 의해 작동 가능한 컴퓨터 프로그램이 저장되고, 컴퓨터 프로그램은 상기 제1 측면 또는 제2 측면에서 설명된 방법을 구현하기 위한 것이다.

본 발명의 실시예의 제7 측면은 컴퓨터 프로그램 제품을 제공한다. 상기 프로그램 제품은 하나 또는 복수 개의 프로글매 명령어를 포함하고, 상기 프로그램 명령어가 프로세서에 의해 로딩되고 실행되어 상기 제1 측면 또는 제2 측면에서 설명된 방법을 구현한다.

본 발명의 실시예는 가상 이미지에 대해 사전 훈련을 수행한 이미지 정합 모델을 이용하는 것을 통해, 제1 진실 특징맵 및 제1 가상 특징맵 사이의 차이에 따라 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정할 수 있어, 진실 이미지 특징 추출 네트워크에 의해 얻은 제1 진실 특징맵이 제1 가상 특징맵과 대응될 수 있도록 한다. 이로써 가상 데이터의 결과를 이용하여 진실 데이터 훈련을 구현할 수 있음으로써, 이미지 정합 모델 훈련 장치의 훈련 효과를 향상시켜, 이미지 정합 모델의 훈련 장치가 후속 훈련에 사용될 수 있도록 하고, 진실 환경에 더욱 쉽게 적용될 수 있도록 한다.

본 발명의 실시예에서의 기술 방안을 더욱 명확하게 설명하기 위해, 아래에 실시예에 대한 설명에 필요한 도면을 간략하게 소개하며, 아래의 설명에서의 도면은 본 발명의 실시예의 일부 실시예일 뿐, 본 기술 분야의 통상의 기술자는, 창조적 작업 없이도, 이러한 도면에 따라 다른 도면을 획득할 수 있는 것은 자명한 것이다. 여기서,
도 1은 본 발명의 실시예에 따른 이미지 정합 모델의 훈련 방법의 흐름 예시도이다.
도 2는 본 발명의 실시예에 따른 다른 이미지 정합 모델의 훈련 방법의 흐름 예시도이다.
도 3은 본 발명의 실시예에 따른 이미지 정합 모델의 훈련 방법의 제1 흐름 예시도이다.
도 4는 본 발명의 실시예에 따른 이미지 정합 모델의 훈련 방법의 제2 흐름 예시도이다.
도 5는 본 발명의 실시예에 따른 이미지 정합 모델의 훈련 방법의 제3 흐름 예시도이다.
도 6은 본 발명의 실시예에 따른 이미지 정합 모델의 훈련 방법의 제4 흐름 예시도이다.
도 7a는 본 발명의 실시예에 따른 이미지 정합 방법 실시예의 흐름 예시도이다.
도 7b는 본 발명의 실시예에 따른 이미지 정합 방법 실시예의 논리 흐름도이다.
도 7c는 본 발명의 실시예에 따른 가상 2 차원 이미지에서의 특징 포인트 투영 좌표를 결정하는 예시도이다.
도 7d는 본 발명의 실시예에서 제공한 진실 X 선 이미지 특징 추출 네트워크의 훈련 과정 흐름도이다.
도 8은 본 발명의 실시예에 따른 이미지 정합 모델의 훈련 장치 실시예의 아키텍처 예시도이다.
도 9는 본 발명의 실시예에 따른 이미지 정합 장치 실시예의 아키텍처 예시도이다.
도 10은 본 발명의 실시예에 따른 이미지 정합 기기 실시예의 구조 예시 블록도이다.
도 11은 본 발명의 실시예에 따른 저장 장치 실시형태의 아키텍처 예시도이다.

아래에 본 발명의 실시예의 첨부 도면을 결부하여, 본 발명의 실시예에서의 기술 방안에 대해 명확하고, 완전하게 설명하고, 설명된 실시예는 본 발명의 실시예의 일부 실시예일 뿐 전부 실시예가 아님은 분명하다. 본 발명의 실시예에서의 실시예에 기반하여, 본 분야 기술자가 창조성 노동 없이 얻은 다른 실시예는 전부 본 발명의 실시예의 보호 범위에 속해야 한다.

도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 이미지 정합 모델의 훈련 방법의 흐름 예시도이다.

단계 S10에 있어서, 진실 2 차원 이미지 및 기준 2 차원 이미지를 획득하고, 여기서, 진실 2 차원 이미지는 이미징 소재를 이용하여 진실 타깃을 이미징하여 얻은 것이고, 기준 2 차원 이미지에서의 진실 타깃이 위치하는 위치는 진실 2 차원 이미지와 매칭된다.

본 발명의 실시예에 있어서, 이미지 정합 모델의 훈련을 구현하기 위해, 먼저 가상 이미지를 이용하여 초기의 이미지 정합 모델에 대해 사전 훈련을 수행할 수 있으며, 여기서, 상기 초기의 이미지 정합 모델은 가상 이미지 특징 추출 네트워크를 포함하며, 상기 가상 이미지 특징 추출 네트워크는 가상 2 차원 이미지에 대해 특징 추출을 수행하는데 사용된다. 상기 사전 훈련을 거친 후, 진실 이미지 특징 추출 네트워크를 사전 훈련된 이미지 정합 모델에 추가하여, 추가적으로 진실 이미지 특징 추출 네트워크를 훈련하여, 최종적인 이미지 정합 모델을 획득한다. 진실 이미지 특징 추출 네트워크의 훈련을 구현하기 위해, 진실 이미지 데이터 및 사전 훈련된 가상 이미지 특징 추출 네트워크를 이용하여 본 발명의 실시예의 방법을 실행할 수 있어, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정한다.

진실 2 차원 이미지는 이미징 소재를 이용하여 진실 타깃을 이미징하여 얻은 것이다. 진실 타깃은 예를 들어 진실 환경 하에서의 컵, 인체의 뼈 등이다. 이미징 소자는 예를 들어 카메라, X 레이 기기, 컴퓨터 단층 스캔(Computed Tomography, CT) 등 이미징 기능을 구비하는 기기이다.

기준 2 차원 이미지에서의 진실 타깃이 위치하는 위치가 진실 2 차원 이미지와 매칭되는 것은, 기준 2 차원 이미지에서의 진실 타깃의 위치와 진실 2 차원 이미지에서의 진실 타깃이 위치하는 위치가 동일한 것이거나, 기준 2 차원 이미지에서의 진실 타깃와 진실 2 차원 이미지에 대응되는 3 차원의 진실 타깃의 강체 변환 파라미터가 기지된 것일 수 있다. 위치가 동일한 것은 진실 타깃이 진실 2 차원 이미지 및 기준 2 차원 이미지에서, 각도, 형태 및 크기 등이 완전히 일치한 것으로 이해할 수 있다. 기준 2 차원 이미지에 대응되는 진실 타깃과 진실 2 차원 이미지에 대응되는 진실 타깃의 강체 변환 파라미터가 기지된 것은, 기준 2 차원 이미지에 대응되는 진실 타깃이 진실 2 차원 이미지에 대응되는 진실 타깃에 비해, 공간 변환의 과정이 기지된 것으로 이해할 수 있다. 예를 들어 진실 2 차원 이미지에 대응되는 진실 타깃은 기지된 강체 변환 파라미터를 이용하여, 기준 2 차원 이미지에 대응되는 진실 타깃 위치와 일치하는 진실 타깃을 얻을 수 있다.

기준 2 차원 이미지는 진실 타깃의 진실 3 차원 이미지를 처리하여 얻은 것일 수 있다. 예를 들어, 진실 2 차원 이미지와 진실 3 차원 이미지 사이의 실제 정합 결과를 이용하여, 진실 타깃이 위치하는 위치가 진실 2 차원 이미지와 일치하는 기준 2 차원 이미지를 생성한다. 물론, 상기 기준 2 차원 이미지는 진실 타깃에 대해 재차 이미징을 수행하여 얻은 것일 수도 있다. 진실 3 차원 이미지의 경우, 3 차원 이미지를 촬영 가능한 이미징 소자를 이용하여 진실 타깃을 촬영하여 얻은 것일 수 있고, 예를 들어 CT 촬영하여 얻은 것일 수 있거나, 3D 스캐너에 의해 스캔되어 얻은 것일 수 있다. 물론, 3 차원 이미지는 진실 타깃에 대해, 3D 모델링 등을 수행하는 형태로 얻은 것일 수도 있다.

진실 2 차원 이미지와 진실 3 차원 이미지의 실제 정합 결과는, 진실 2 차원 이미지를 촬영할 경우의 진실 타깃과 진실 3 차원 이미지 사이의 강체 변환 파라미터가 기지된 것임을 나타낸다. 얻은 진실 3 차원 이미지의 포즈가 진실 2 차원 이미지를 촬영할 경우 진실 타깃의 포즈에 강체 변환이 존재하므로, 실제 정합 결과를 이용하여, 진실 3 차원 이미지의 포즈를 조정할 수 있어, 진실 3 차원 이미지의 포즈와 진실 2 차원 이미지를 촬영할 경우 진실 타깃의 포즈가 일치하도록 한다. 포즈는 진실 타깃의 수평 배치, 수직 배치 또는 대각선 배치 등과 같은 배치 포즈이다.

이 기초 위에, 진실 타깃이 기준 2 차원 이미지에서의 위치와 진실 2 차원 이미지에서의 위치가 일치하는 기준 2 차원 이미지를 얻을 수 있다. 위치가 일치한 것은 진실 타깃이 진실 2 차원 이미지 및 기준 2 차원 이미지에서, 각도, 형태 및 크기 등이 완전히 일치한 것으로 이해될 수 있다. 기준 2 차원 이미지를 생성하는 방법은 예를 들어 투영을 통한 방법이다. 투영의 방식은 시뮬레이션 이미징 등 방식일 수 있다. 3 차원 이미지를 투영할 경우, 투영 모델 파라미터는 진실 2 차원 이미지를 촬영할 경우의 투영 모델 파라미터이다. 모두 동일한 3 차원 이미지의 포즈 및 동일한 투영 모델 파라미터에 기반한 것이므로, 3 차원 이미지를 투영하여 얻은 진실 타깃이 위치하는 위치가 진실 2 차원 이미지와 일치한 기준 2 차원 이미지를 얻을 수 있다.

따라서, 진실 타깃이 위치하는 위치가 진실 2 차원 이미지와 일치하는 기준 2 차원 이미지를 생성하는 것을 통해, 후속 훈련에 기준 2 차원 이미지 및 진실 2 차원 이미지를 이용할 수 있다.

단계 S11에 있어서, 이미지 정합 모델의 가상 이미지 특징 추출 네트워크를 이용하여 기준 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 가상 특징맵을 얻고; 여기서, 이미지 정합 모델은 가상 이미지를 이용하여 사전 훈련되고, 가상 이미지 특징 추출 네트워크는 사전 훈련에 참여하며, 가상 이미지는 가상 타깃에 기반하여 생성된 것이다.

이미지 정합 모델은 이미지를 정합하기 위한 신경 네트워크 모델일 수 있고, 예를 들어, 완전 컨볼루션 신경 네트워크일 수 있고, 컨볼루션 신경 네트워크일 수도 있다. 이미지 정합 모델은 복수 개의 신경 네트워크를 포함할 수 있고, 필요에 따라 조정될 수 있다.

이미지 정합 모델은 가상 이미지 특징 추출 네트워크를 포함하고, 상기 가상 이미지 특징 추출 네트워크는 신경 네트워크이며, 예를 들어 컨볼루션 신경 네트워크이다. 가상 이미지 특징 추출 네트워크의 구조는 한정되지 않고, 특징 추출을 수행할 수 있으면 된다.

가상 이미지는 가상 타깃에 기반하여 생성된 것이다. 상기 가상 이미지는 가상 2 차원 이미지를 포함할 수 있다. 가상 타깃은 인위적인 시뮬레이션으로 생성된 타깃일 수 있고, 시뮬레이션된 것은 진실된 환경에서 존재하는 임의의 물체일 수 있으며, 예를 들어 컵, 또는 인체 각 부위의 뼈 등이다. 가상 이미지를 시뮬레이션하여 생성하는 방식은 예를 들어 시뮬레이션 투영을 통한 방식이다. 인체의 뼈와 같은 진실된 환경에서의 물체가 다른 물체와 연결 관계를 가지거나 특정된 방향에서 중첩될 가능성이 존재하므로, 인체의 다른 뼈 또는 다른 근육 조직과 연결되거나 특정된 방향에서 중첩된다. 따라서, 가상 타깃에 대해 시뮬레이션 이미징을 수행할 경우, 다른 물체에 대해 시뮬레이션 이미징을 수행할 수도 있으므로, 생성된 가상 이미지가 진실된 환경에서 생성된 이미지에 더욱 가까워지도록 할 수 있다. 가상 타깃을 생성하는 것을 통해, 이미지 정합 모델이 진실된 환경에서 존재하는 물체를 훈련시키도록 할 수 있어, 이미지 정합 모델의 응용성을 향상시킨다.

이미지 정합 모델은 가상 이미지를 이용하여 사전 훈련되고, 즉 이미지 정합 모델이 가상 이미지를 이용하여 정합 훈련이 수행되었음을 나타내며, 예를 들어 복수 그룹의 가상 이미지를 훈련 데이터로서, 가상 이미지를 정합하여, 이미지 정합 모델의 네트워크 파라미터를 조정하는 것일 수 있다. 가상 이미지 특징 추출 네트워크는 사전 훈련에 참여하고, 즉 이미지 정합 모델이 가상 이미지를 정합하여, 이미지 정합 모델의 네트워크 파라미터를 조정할 경우, 가상 이미지 특징 추출 네트워크의 네트워크 파라미터도 조정하는 것을 나타낸다. 사전 훈련을 거친 이미지 정합 모델은 가상 이미지의 정합에 사용될 수 있다.

따라서, 본 단계의 이미지 정합 모델은 이미 가상 이미지에 대해 사전 훈련을 수행하였다. 이의 기초 위에, 이미지 정합 모델의 가상 이미지 특징 추출 네트워크를 이용하여 기준 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 가상 특징맵을 얻는다. 가상 이미지 특징 추출 네트워크에 의해 출력된 결과는, 추출된 특징 정보를 포함할 수 있고, 특징 정보는 예를 들어 특징 벡터이며, 128 차원의 특징 벡터이다.

진실 2 차원 이미지를 이용하여 이미지 정합 모델에 대해 정합 훈련을 수행할 경우, 가상 이미지를 이용하여 사전 훈련을 수행한 이미지 정합 모델을 통해 이미지 정합 모델의 네트워크 파라미터가 사전 조정을 거치도록 할 수 있으므로, 진실 2 차원 이미지를 이용하여 훈련하는 진행 속도를 높이고, 훈련의 효율을 향상시킨다. 이와 동시에, 가상 2 차원 이미지는 가상 타깃에 기반하여 생성될 수 있으므로, 대량의 가상 2 차원 이미지를 훈련 데이터로서 생성할 수 있고, 대량의 훈련 데이터는 훈련의 효과를 향상시킬 수도 있다. 또한, 가상 이미지의 획득 비용이 진실 2 차원 이미지보다 낮으므로, 가상 이미지를 이용하여 이미지 정합 모델에 대해 사전 훈련을 수행하여, 필요한 진실 2 차원 이미지를 감소시킬 수 있고, 훈련 비용을 저하시킨다.

단계 S12에 있어서, 이미지 정합 모델의 진실 이미지 특징 추출 네트워크를 이용하여 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 진실 특징맵을 얻고; 여기서, 진실 이미지 특징 추출 네트워크는 사전 훈련에 참여하지 않는다.

본 발명의 실시예에 있어서, 이미지 정합 모델은 진실 이미지 특징 추출 네트워크를 더 포함하고, 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 진실 이미지 특징 추출 네트워크에 의해 출력된 결과를 제1 진실 특징맵으로 정의하는데 사용된다. 진실 이미지 특징 추출 네트워크에 의해 출력된 결과는, 추출된 특징 정보를 포함할 수 있고, 특징 정보는 예를 들어 특징 벡터이며, 128 차원의 특징 벡터이다. 또한, 진실 이미지 특징 추출 네트워크는 사전 훈련에 참여하지 않으며, 이는 진실 이미지 특징 추출 네트워크가 가상 이미지를 이용하여 사전 훈련을 수행하는 과정을 거치지 않은 것을 나타낸다.

진실 이미지 특징 추출 네트워크는 사전 훈련에 참여하지 않으므로, 후속 진실 이미지 특징 추출 네트워크를 훈련할 경우, 진실 2 차원 이미지를 이용하여 수행된 것임으로써, 진실 이미지 특징 추출 네트워크가 진실 2 차원 이미지에 대한 특징 추출 효율을 향상시킬 수 있도록 한다.

이해할 수 있는 것은, 상기 단계 S11 및 단계 S12는 실행될 경우 선후 순서가 존재하지 않는다. 실제 실행 시, 필요에 따라 실행 순서를 조정할 수 있다.

단계 S13에 있어서, 제1 진실 특징맵 및 제1 가상 특징맵 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정한다.

제1 진실 특징맵 및 제1 가상 특징맵을 얻은 후, 상기 두 개의 특징맵을 이용하여 진실 이미지 특징 추출 네트워크와 가상 이미지 특징 추출 네트워크가 특징 추출 측면에서의 차이를 비교할 수 있으며, 차이에 따라 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정할 수 있다. 차이는 추출된 특징 정보의 타입, 특징 정보의 차원 등일 수 있다.

하나의 실시 시나리오에 있어서, 진실 이미지 특징 추출 네트워크에 의해 출력된 제1 진실 특징맵과 가상 이미지 특징 추출 네트워크에 의해 출력된 제1 가상 특징맵은 사이즈 상으로 일치하도록 유지된다. 두 개의 특징맵의 사이즈가 불일치하면, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하여, 상기 두 개의 특징맵이 일치하도록 유지시킬 수 있다.

하나의 실시 시나리오에 있어서, 제1 진실 특징맵과 제1 가상 특징맵의 특징 정보는 타입 상으로 일치하도록 유지되거나 비교적 높은 유사도를 갖는다. 예를 들어, 제1 가상 특징맵의 특징 정보가 특징 벡터일 경우, 제1 진실 특징맵에도 특징 벡터 정보가 포함된다. 제1 가상 특징맵의 특징 정보가 256 차원의 특징 벡터일 경우, 제1 진실 특징맵의 특징 정보도 256 차원이며, 또는 254 차원인 것 등과 같이 256 차원에 가깝다.

가상 이미지 특징 추출 네트워크가 사전 훈련을 거쳤고, 제1 진실 특징맵 및 제1 가상 특징맵 사이의 차이에 따라 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하는 것을 통해, 진실 이미지 특징 추출 네트워크에 의해 얻은 제1 진실 특징맵과 제1 가상 특징맵이 대응될 수 있도록 한다. 이로써 가상 데이터의 결과를 이용하여 진실 데이터 훈련을 감독하는 것을 구현할 수 있음으로써, 이미지 정합 모델의 훈련 효과를 향상시켜, 진실 이미지 특징 추출 네트워크가 후속 훈련에 사용될 수 있도록 하여, 이미지 정합 모델이 진실된 환경에 더욱 쉽게 적용할 수 있도록 한다. 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정한 후, 이미지 특징 추출 네트워크가 후속 훈련의 요구를 만족하였음을 의미하므로, 이미지 정합 모델의 훈련을 계속 수행할 수 있다.

도 2를 참조하면, 도 2는 본 발명의 실시예의 이미지 정합 모델의 훈련 방법의 흐름 예시도이다. 상기 실시예는 상기 도 1의 기초 위에, 이미지 정합 모델에 대한 지속적인 훈련 과정이며, 본 발명의 실시예는 아래와 같은 단계를 포함한다.

단계 S20에 있어서, 진실 2 차원 이미지 및 기준 2 차원 이미지를 획득하고, 여기서, 진실 2 차원 이미지는 이미징 소재를 이용하여 진실 타깃을 이미징하여 얻은 것이고, 기준 2 차원 이미지에서의 진실 타깃이 위치하는 위치는 진실 2 차원 이미지와 매칭된다.

단계 S21에 있어서, 이미지 정합 모델의 가상 이미지 특징 추출 네트워크를 이용하여 기준 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 가상 특징맵을 얻고; 여기서, 이미지 정합 모델은 가상 이미지를 이용하여 사전 훈련되고, 가상 이미지 특징 추출 네트워크는 사전 훈련에 참여하며, 가상 이미지는 가상 타깃에 기반하여 생성된 것이다.

단계 S22에 있어서, 이미지 정합 모델의 진실 이미지 특징 추출 네트워크를 이용하여 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 진실 특징맵을 얻고; 여기서, 진실 이미지 특징 추출 네트워크는 사전 훈련에 참여하지 않는다.

단계 S23에 있어서, 제1 진실 특징맵 및 제1 가상 특징맵 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정한다.

상기 단계 S20 내지 단계 S23은 각각 상기 단계 S10 내지 단계 S13과 일대일 대응되고, 자세한 것은 상기 단계 S10 내지 단계 S13을 참조하며, 여기서 더이상 반복하여 설명하지 않는다.

본 발명의 실시예에 있어서, 이미지 정합 모델은 사전 훈련을 참여한 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크를 더 포함한다. 투영 이미지 특징 추출 네트워크는 투영 이미지에 대해 특징 추출을 수행하는데 사용될 수 있고; 위치 예측 네트워크는 각 특징 추출 네트워크에 의해 추출된 특징 이미지에 따라, 특징 포인트가 각 특징맵에서의 위치 정보를 결정할 수 있다.

투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크는 사전 훈련을 거치고, 즉 상기 두 개의 네트워크는 가상 이미지를 이용하여 사전 훈련을 수행하여, 상응하는 네트워크 파라미터를 조정하였음을 나타내며, 여기서, 투영 이미지 특징 추출 네트워크에 의해 출력된 제1 투영 특징맵과 가상 이미지 특징 추출 네트워크에 의해 출력된 제1 가상 특징맵은 사이즈 및 특징 정보의 타입 상으로 동일하거나 비교적 높은 유사도를 갖는다. 이에 기반하여, 제2 진실 특징맵도 제1 투영 특징맵과 사이즈 및 특징 정보의 타입 상으로 동일하거나 비교적 높은 유사도를 갖는다. 위치 예측 네트워크는 사전 훈련을 거치고, 이는 위치 예측 네트워크가 가상 특징맵에서의 특징 포인트의 위치에 따라, 대응되는 포인트를 검색할 수 있음을 나타낸다.

가상 데이터를 이용하여 진실 데이터의 훈련을 감독하여, 진실 데이터의 훈련 효과를 향상시키는 것을 구현하기 위해, 본 발명의 실시예에서 상기 사전 훈련을 거친 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크를 이용하여 진실 이미지 특징 추출 네트워크을 계속 훈련시킨다.

단계 S24에 있어서, 조정된 진실 이미지 특징 추출 네트워크를 이용하여 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 제2 진실 특징맵을 얻는다.

단계 S23에 있어서, 이미 진실 이미지 특징 추출 네트워크에 대한 파라미터를 조정하였고, 조정된 진실 이미지 특징 추출 네트워크를 이용하여 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 출력된 결과를 제2 진실 특징맵으로 정의한다. 이때의 제2 진실 특징맵과 제1 가상 특징맵은 사이즈 및 특징 정보 측면에서 일치하도록 유지되거나 매우 높은 유사도를 갖는다.

단계 S25에 있어서, 진실 2 차원 이미지의 제1 투영 모델 파라미터를 이용하여 진실 3 차원 이미지를 투영하여, 제1 투영 이미지를 얻고, 진실 타깃에서의 특징 포인트가 제1 투영 이미지에서의 제1 실제 2 차원 위치를 획득한다.

이미징 소재를 이용하여 진실 타깃을 이미징하여 얻은 진실 2 차원 이미지에 있어서, 대응되는 투영 모델 파라미터는 제1 투영 모델 파라미터로 정의된다. 상이한 포즈 하의 복수 그룹의 진실 2 차원 그래픽을 얻고, 이러한 진실 2 차원 이미지를 이용하여 훈련하기 위해, 진실 2 차원 이미지의 제1 투영 모델 파라미터를 이용하여 진실 3 차원 이미지를 투영하여, 얻은 이미지를 제1 투영 이미지로 정의할 수 있다. 투영의 방식은 예를 들어 시뮬레이션 투영의 방식이다.

제1 투영 이미지를 얻은 후, 제1 투영 이미지에서 특징 포인트를 선택하는 것을 통해, 특징 포인트의 위치 정보를 이용하여, 이미지 정합 모델에 대해 훈련을 전개할 수 있다. 3 차원 이미지가 진실 타깃에 의해 얻은 것이므로, 진실 타깃에서 특징 포인트를 선택할 수 있고, 상기 특징 포인트는 진실 타깃에서의 임의의 포인트로 이해될 수 있으며, 타깃 위치를 분석하는 것을 통해 결정될 수 있거나, 인공적으로 지정될 수 있거나, 이미지 정합 모델에 의해 자체적으로 확인될 수 있다. 또는 제1 투영 이미지에서 특징 포인트를 결정한 다음, 특징 포인트가 진실 타깃에서의 위치를 결정한다.

제1 실제 2 차원 위치를 획득하는 것은 예를 들어 특징 포인트가 3 차원 이미지에서의 실제 3 차원 위치를 먼저 결정한 다음, 투영 모델 파라미터에 따라, 특징 포인트가 제1 투영 이미지에서의 제1 실제 2 차원 위치를 얻을 수 있다. 3 차원 이미지에 대한 3 차원 좌표계를 구축할 수 있어, 특징 포인트가 3 차원 이미지에서의 실제 3 차원 위치의 3 차원 좌표를 얻을 수 있다. 이에 대응되게, 얻은 제1 실제 2 차원 위치는 2 차원 좌표이고, 예를 들어 특정된 픽셀 포인트의 위치 (2, 2)이다. 또는 먼저 제1 투영 이미지에서 특징 포인트의 제1 실제 2 차원 위치를 결정한 다음, 제1 투영 모델 파라미터를 이용하여 환산하여 특징 포인트가 3 차원 이미지에서의 실제 3 차원 위치를 얻는다.

단계 S26에 있어서, 투영 이미지 특징 추출 네트워크를 이용하여 제1 투영 이미지에 대해 특징 추출을 수행하여, 제1 투영 특징맵을 얻는다.

제1 투영 이미지를 얻은 후, 투영 이미지 특징 추출 네트워크를 이용하여 제1 투영 이미지에 대해 특징 추출을 수행할 수 있어, 제1 투영 특징맵을 얻을 수 있다.

투영 이미지 특징 추출 네트워크는 신경 네트워크이고, 예를 들어 컨볼루션 신경 네트워크이다. 투영 이미지 특징 추출 네트워크의 구조는 한정되지 않고, 특징 추출을 수행할 수 있으면 된다. 투영 이미지 특징 추출 네트워크를 이용하여 제1 투영 이미지에 대해 특징 추출을 수행할 경우, 상기 네트워크에 의해 출력된 결과를 제1 투영 특징맵으로 정의하도록 설정할 수 있다. 제1 투영 특징맵에서, 제1 투영 특징맵에서의 각 픽셀 포인트에 대응되게, 모두 대응되는 특징 정보가 포함된다. 특징 정보는 예를 들어 특징 벡터이고, 예를 들어 128 차원의 특징 벡터이다.

단계 S27에 있어서, 위치 예측 네트워크를 이용하여, 제1 투영 특징맵에서 제1 실제 2 차원 위치에 대응되는 제1 투영 특징 위치를 결정하고, 제2 진실 특징맵에서 제1 투영 특징맵에서의 제1 투영 특징 위치에 대응되는 진실 특징 위치를 찾으며, 진실 특징 위치를 이용하여 진실 타깃에서의 특징 포인트가 진실 2 차원 이미지에서의 제1 예측 2 차원 위치를 얻는다.

특징 포인트가 제1 투영 이미지에서의 제1 실 제2 차원 위치를 획득한 후, 위치 예측 네트워크를 이용하여 제1 투영 특징맵에서 특징 포인트가 제1 투영 이미지에서의 제1 실 제2 차원 위치에 대응되는 제1 투영 특징 위치를 결정할 수 있다.

특징 추출 네트워크(상기 가상 이미지 특징 추출 네트워크, 진실 이미지 특징 추출 네트워크 및 투영 이미지 특징 추출 네트워크를 포함함)에 의해 출력된 특징맵의 경우, 특징맵이 다만 특징 추출의 동작만 거치므로, 특징맵에서의 위치는 특징을 추출하기 위한 이미지의 위치와 대응 관계를 가진다. 예를 들어, 가상 2 차원 이미지 및 제1 가상 특징맵, 진실 2 차원 이미지 및 제1 진실 특징맵, 진실 2 차원 이미지 및 제2 진실 특징맵, 제1 투영 이미지 및 제1 투영 특징맵의 위치는 모두 대응 관계를 갖는다. 예를 들어, 특징맵에서의 각 픽셀 포인트는 모두 특징을 추출하기 위한 이미지에서의 픽셀 포인트와 대응 관계를 갖는다. 이러한 위치의 대응 관계는 특징맵의 사이즈와 특징을 추출하기 위한 이미지의 사이즈 비례 관계에 따라 결정될 수 있다.

제1 투영 이미지 및 제1 투영 특징맵을 예로 들면, 제1 투영 특징맵의 사이즈는 제1 투영 이미지의 사이즈와 정수 비례 관계를 갖는다. 예를 들어, 입력된 제1 투영 이미지의 사이즈가 256*256 개의 픽셀 포인트이면, 출력된 제1 투영 특징맵의 사이즈는 256*256 개의 픽셀 포인트일 수 있거나, 128*128 개의 픽셀 포인트일 수 있거나, 512*512 개의 픽셀 포인트일 수 있다. 이러한 경우, 제1 투영 특징맵과 제1 투영 이미지의 사이즈 크기가 일치하고, 모두 256*256 개의 픽셀 포인트일 경우, 특징 포인트가 제1 투영 이미지에서의 제3 실제 2 차원 위치가 특정된 픽셀 포인트의 위치 (1, 1)일 경우, 대응되는 제2 투영 특징맵에서의 제2 투영 특징 위치도 (1, 1)이다. 제2 투영 특징맵의 사이즈가 512*512 개의 픽셀 포인트일 경우, 대응되는 제2 투영 특징맵에서의 제2 투영 특징 위치는 (1, 1), (1, 2), (2, 1) 또는 (2, 2)에서의 적어도 하나이고, 또는 상기 4 개의 픽셀 포인트를 연산하여, 새로운 픽셀 포인트를 얻으며, 새로운 픽셀 포인트의 위치를 특징 포인트가 제2 투영 특징맵에서의 제2 투영 특징 위치로 사용한다. 연산된 방법은 예를 들어 보간 연산이다.

따라서, 특징 포인트가 제1 투영 이미지에서의 제1 실제 2 차원 위치를 결정한 후, 위치 예측 네트워크는 제1 투영 이미지 및 제1 투영 특징맵의 위치의 대응 관계에 따라, 특징 포인트가 제1 투영 특징맵에서의 제1 투영 특징 위치를 결정할 수 있다. 예를 들어, 제1 투영 이미지 및 제1 투영 특징맵의 사이즈가 동일한 크기일 경우, 특징 포인트가 제1 투영 이미지에서의 제1 실제 2 차원 위치는 픽셀 포인트 (5, 5)이므로, 특징 포인트가 제1 투영 특징맵에서의 제1 투영 특징 위치도 픽셀 포인트 (5, 5)이다.

특징 포인트가 제1 투영 특징맵에서의 제1 투영 특징 위치를 결정한 후, 위치 예측 네트워크는 제2 진실 특징맵에서 제1 투영 특징맵에서의 제1 투영 특징 위치에 대응되는 진실 특징 위치를 찾을 수 있다. 또한 진실 특징 위치에 의해 진실 2 차원 이미지에서의 제1 예측 2 차원 위치가 얻어진다. 제1 예측 2 차원 위치는 특징 포인트가 진실 2 차원 이미지에서의 예측 위치이다.

이해할 수 있는 것은, 단계 S25 및 단계 S26의 실행 순서는 한정되지 않고, 실제 필요에 따라 조정될 수 있다.

본 단계에서 설명된 “제2 진실 특징맵에서 제1 투영 특징맵에서의 제1 투영 특징 위치에 대응되는 진실 특징 위치를 찾는 것”은, 아래의 단계에 의해 구현될 수 있다.

단계 S271에 있어서, 제1 투영 특징맵에서 제1 투영 특징 위치에 위치한 제1 특징 정보를 찾는다.

위치 예측 네트워크는 특징 포인트가 제1 투영 특징맵에서의 제1 투영 특징 위치에 따라, 상기 위치에 대응되는 제1 특징 정보를 결정할 수 있다. 예를 들어, 투영 특징 위치(제1 투영 특징 위치)가 픽셀 포인트 (1, 1)의 위치일 경우, 제1 특징 정보는 픽셀 포인트 (1, 1)에 대응되는 특징 정보이다. 특징 정보는 특징 벡터일 수 있다.

단계 S272에 있어서, 제2 진실 특징맵에서, 제1 특징 정보 사이와의 유사도가 기설정된 유사 조건을 만족하는 제2 특징 정보를 검색한다.

특징 포인트가 제1 투영 특징맵에서의 제1 특징 정보를 찾은 후, 위치 예측 네트워크는 제1 특징 정보에 따라 제2 진실 특징맵 중 제1 특징 정보와의 유사도가 기설정된 유사 조건을 만족하는 제2 특징 정보를 검색할 수 있다.

제1 특징 정보가 특징 벡터일 경우, 위치 예측 네트워크는 상기 특징 벡터에 따라, 제2 진실 특징맵에서 기설정된 유사 조건을 만족하는 제2 특징 정보를 검색하며, 제2 특징 정보는 또한 특징 벡터이다. 기설정된 유사 조건은 인위적으로 설정될 수 있고, 예를 들어 유사도가 90%~95%이면 찾은 결과가 수락될 수 있음을 나타낸다. 물론, 기설정된 유사 조건은 응용 시나리오에 따라 설정될 수 있고, 여기서 한정하지 않는다. 일 시나리오에 있어서, 기설정된 유사 조건은 유사도가 가장 높은 것에 대응되는 제2 특징 정보일 수 있다.

단계 S273에 있어서, 제2 특징 정보가 제2 진실 특징맵에서의 진실 특징 위치를 획득한다.

특징맵 중 각 위치가 모두 대응되는 특징 정보가 존재하므로, 제2 특징 정보를 검색할 경우, 제2 특징 정보에 따라 제2 진실 특징맵에서 대응되는 진실 특징 위치를 찾을 수 있다.

위치 예측 네트워크는 사전 훈련을 거친 후, 가상 이미지의 특징맵에서의 특징 포인트의 위치에 따라 대응되는 특징 포인트를 찾을 수 있다. 이때, 추가적으로 진실 이미지의 특징맵을 이용하여 위치 예측 네트워크를 훈련하여 진실 이미지의 특징맵에서 대응되는 특징 포인트를 찾으므로, 가상 데이터의 결과를 사용하여 진실 데이터를 감독하는 훈련을 구현할 수 있고, 훈련의 효과를 향상시켜, 이미지 정합 모델이 진실된 환경에 더욱 쉽게 적용할 수 있도록 한다.

특징 포인트가 제2 진실 특징맵에서의 진실 특징 위치를 결정한 후, 위치 예측 네트워크는 제2 진실 특징맵과 진실 2 차원 이미지의 위치 대응 관계에 따라, 특징 포인트가 진실 2 차원 이미지에서의 제1 예측 2 차원 위치를 얻는다.

단계 S28에 있어서, 제1 예측 2 차원 위치를 이용하여, 진실 2 차원 이미지와 진실 3 차원 이미지의 예측 정합 결과를 획득한다.

제1 예측 2 차원 위치를 얻은 후, 위치 예측 네트워크에 의해 특징 포인트가 진실 2 차원 이미지에서의 예측 위치가 얻어졌음을 나타낸다. 이의 기초 위에, 진실 2 차원 이미지를 촬영할 경우의 제1 투영 모델 파라미터에 따라, 환산을 통해 특징 포인트가 진실 2 차원 이미지를 촬영할 경우의 진실 타깃에서의 예측 진실 3 차원 위치를 얻는다. 또한, 단계 S25의 설명에 따라 알 수 있는 것은, 특징 포인트가 제1 투영 이미지 중 진실 타깃에 대응되는 진실 3 차원 이미지에서의 실제 3 차원 위치도 기지된 것이다. 따라서, 특징 포인트가 진실 3 차원 이미지에서의 실제 3 차원 위치 및 얻은 예측 진실 3 차원 위치에 따라 계산할 수 있음으로써, 진실 2 차원 이미지를 촬영할 경우의 진실 타깃과 진실 3 차원 이미지 사이의 예측 강체 변환 파라미터를 얻으므로, 진실 2 차원 이미지를 촬영할 경우의 진실 타깃 포즈가 진실 3 차원 이미지로 조정된 공간 변환 과정도 얻으며, 얻은 예측 강체 변환 파라미터는 예측 정합 결과이다.

단계 S29에 있어서, 실제 정합 결과 및 예측 정합 결과 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크, 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크에서의 적어도 하나의 네트워크의 네트워크 파라미터를 조정한다.

예측 정합 결과를 얻은 후, 예측 정합 결과를 이용하여 실제 정합 결과와 비교한 다음, 비교한 차이에 따라, 관련 네트워크의 효과를 판단할 수 있다. 예를 들어, 예측 정합 결과와 실제 정합 결과를 이용하여 관련된 손실값을 얻을 수 있음으로써, 손실값의 크기에 따라 네트워크 파라미터를 조정한다.

가상 이미지를 이용하여 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크에 대해 사전 훈련을 수행할 수 있다. 이에 기반하여, 위치 예측 네트워크가 진실 이미지 특징 추출 네트워크에 의해 추출된 특징 정보 및 투영 이미지 특징 추출 네트워크에 의해 추출된 특징 정보에 따라, 비교적 좋은 예측 결과를 얻을 수 있도록 하기 위해, 실제 정합 결과 및 예측 정합 결과 사이의 차이를 이용하여, 기준 요소로 사용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정할 수 있다.

또한, 비록 단계 S23에서 이미 제1 진실 특징맵 및 제1 가상 특징맵 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하였지만, 진실 이미지 특징 추출 네트워크에 의해 추출된 특징맵이 제1 가상 특징맵 사이와의 차이가 더욱 작아지도록 하기 위해, 또는 진실 이미지 특징 추출 네트워크에 의해 추출된 특징맵이 위치 예측 네트워크와 더욱 잘 배합되도록 하기 위해, 이때 제2 진실 특징맵 및 제1 가상 특징맵 사이의 차이, 실제 정합 결과 및 예측 정합 결과 사이의 차이를 추가적으로 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정할 수 있어, 훈련 효과를 향상시킨다.

또한, 예측 정합 결과와 실제 정합 결과의 차이는, 위치 예측 네트워크의 예측의 정확도도 반영한다. 그러나 위치 예측 네트워크의 예측의 정확도는 진실 이미지 특징 추출 네트워크와 연관되는 것 외에도, 투영 이미지 특징 추출 네트워크 및 예측 위치 네트워크에도 연관된다. 따라서, 예측 정합 결과와 실제 정합 결과의 차이에 따라, 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크의 네트워크 파라미터를 조정하여, 위치 예측 네트워크의 예측 정확도를 향상시킬 수 있다. 예를 들어 예측 정합 결과와 실제 정합 결과 사이의 손실값에 따라 각 네트워크의 네트워크 파라미터를 조정한다.

이해할 수 있는 것은, 상기 진실 이미지 특징 추출 네트워크에 대한 네트워크 파라미터를 조정하고 투영 이미지 특징 추출 네트워크 및 예측 위치 네트워크의 네트워크 파라미터를 조정하는 단계는, 동시에 수행될 수 있고, 독립적으로 수행될 수도 있으며, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터만 조정할 수 있거나, 투영 이미지 특징 추출 네트워크 및 예측 위치 네트워크의 네트워크 파라미터만 조정할 수도 있으며, 위치 예측 네트워크의 예측의 정확도를 향상시킬 수만 있으면, 네트워크 파라미터 조정 측면은 한정되지 않는다.

가능한 실시 시나리오에 있어서, 훈련하여 안정적이고, 사용 가능한 이미지 정합 모델을 얻기 위해, 이미지 정합 모델의 각 네트워크의 네트워크 파라미터를 조정한 후, 상기 단계 S27 및 이후의 각 단계를 재실행할 수 있거나, 본 발명의 실시예에서 설명된 방법을 재실행할 수 있음으로써, 요구에 부합될 때까지, 제1 예측 2 차원 위치를 찾고, 손실값을 계산하며 네트워크 파라미터를 조정하는 과정을 부단히 실행한다. 여기서 요구에 부합되는 것은 손실값이 기설정된 손실 임계값보다 작고, 손실값이 더이상 감소되지 않는 것일 수 있다.

본 발명의 실시예는 가상 이미지 훈련을 거친 가상 이미지 특징 추출 네트워크, 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크를 이용하여, 진실 이미지 특징 추출 네트워크와 공동으로 훈련하는 것을 통해, 가상 데이터의 결과를 이용하여 진실 데이터 훈련을 감독하는 것을 구현하여, 훈련의 효과를 향상시키며, 또한 진실 데이터 훈련을 거친 이미지 정합 모델이 진실 환경에 더욱 쉽게 적용될 수 있도록 한다. 또한, 사전 훈련된 이미지 정합 모델에 대해, 진실 2 차원 이미지를 이용하여 이미지 정합 모델에 대해 추가적인 훈련을 수행하여, 훈련 시 필요한 대량의 진실 2 차원 이미지를 감소시킬 수 있어, 이미지 정합 모델을 훈련하는 비용이 저하되도록 하므로, 연관된 훈련을 더욱 쉽게 전개할 수 있다.

도 3을 참조하면, 도 3은 본 발명의 실시예에 따른 이미지 정합 모델의 훈련 방법의 제1 흐름 예시도이다. 본 발명의 실시예는 상기 두 개의 실시예에서 언급된 이미지 정합 모델에 대해 사전 훈련을 수행하는 과정이며, 아래와 같은 단계를 포함한다.

단계 S31에 있어서, 적어도 한 그룹의 가상 2 차원 이미지 및 제2 투영 이미지를 획득하고, 가상 타깃에서의 특징 포인트가 각각 가상 2 차원 이미지에서의 제2 실제 2 차원 위치 및 제2 투영 이미지에서의 제3 실제 2 차원 위치를 획득하며, 여기서, 가상 2 차원 이미지는 가상 타깃에 대해 시뮬레이션 이미징을 수행하여 얻은 것이고, 제2 투영 이미지는 가상 타깃에 대해 시뮬레이션 투영을 수행하여 얻은 것이다.

본 발명의 실시예에 있어서, 가상 2 차원 이미지는 가상 타깃에 대해 시뮬레이션 이미징을 수행하여 얻은 것이고, 제2 투영 이미지는 가상 타깃에 대해 시뮬레이션 투영을 수행하여 얻은 것이다. 가상 타깃은 인위적으로 설정된 타깃일 수 있고, 진실된 환경에서 존재하는 임의의 물체일 수 있으며, 예를 들어 컵, 또는 인체 각 부위의 뼈 등이다. 인체의 뼈와 같은 진실된 환경에서의 물체가 다른 물체와 연결 관계를 가지거나 특정된 방향에서 중첩될 가능성이 존재하므로, 인체의 다른 뼈 또는 다른 근육 조직과 연결되거나 특정된 방향에서 중첩되며, 따라서, 가상 타깃에 대해 시뮬레이션 이미징을 수행할 경우, 다른 물체에도 시뮬레이션 이미징을 수행할 수 있어, 생성된 가상 2 차원 이미지가 진실된 환경에서 생성된 이미지에 더욱 가깝도록 한다. 가상 환경에서 가상 타깃을 생성하는 것을 통해, 이미지 정합 모델이 진실된 환경에서 존재하는 물체를 훈련시키도록 할 수 있어, 이미지 정합 모델의 응용성을 향상시킨다. 시뮬레이션 이미징의 방식은 진실 환경에서 3 차원 물체를 이용하여 2 차원 이미지를 생성하는 과정을 시뮬레이션하는 것일 수 있고, 예를 들어 X 선 기계를 이용하여 X 선 이미지를 생성하는 과정이다. 가상 환경에서, 광선 추적의 방법을 이용하여, 포인트 광원을 통해 시뮬레이션된 물체를 투영한 후 얻을 수 있으며, 즉 시뮬레이션 이미징의 방법은 시뮬레이션 투영을 포함한다.

또한, 본 발명의 실시예에서, 제2 투영 이미지는 가상 타깃에 대해 시뮬레이션 투영을 수행하여 얻은 것이다. 제2 투영 이미지는 가상 타깃 자체만 포함할 수 있고, 즉 다만 가상 타깃에 대해 시뮬레이션 투영을 수행하여, 가상 타깃만 존재하는 제2 투영 이미지를 생성한다. 가상 타깃만 포함하는 제2 투영 이미지를 생성하는 것을 통해, 이미지 정합 모델이 맞춤적으로 가상 타깃에 대한 관련 동작을 수행하도록 할 수 있어, 다른 물체의 영향을 배제한다. 예를 들어 후속 특징 추출 과정에서, 다만 가상 타깃에 대해 특징 추출을 수행하여, 추출된 특징 정보가 모두 효과적인 특징 정보이도록 보장한다. 시뮬레이션 투영은 컴퓨터 시뮬레이션을 통해 3 차원 물체를 투영하여 2 차원 이미지를 생성하는 과정일 수 있고, 광선 추적 등 방법을 이용하여 구현될 수 있다.

가상 2 차원 이미지 및 제2 투영 이미지가 가상 환경에서 생성된 것이고, 가상 환경에서, 상기 가상 환경에서의 다양한 파라미터가 모두 기지된 것며, 예를 들어 가상 2 차원 이미지 및 제2 투영 이미지를 생성할 경우 대응되는 투영 모델 파라미터이다. 따라서, 인위적으로 설정된 다양한 파라미터의 경우, 가상 2 차원 이미지 및 제2 투영 이미지의 두 가지 이미지의 정합의 결과는 모두 기지된 것이고, 정밀한 것이며, 즉 생성된 가상 2 차원 이미지 및 제2 투영 이미지는 모두 자동 정합을 통해 태깅된 것이다. 가상 2 차원 이미지 및 제2 투영 이미지가 이미 정합된 경우, 가상 2 차원 이미지에서의 위치 정보가 제2 투영 이미지에서의 위치 정보에 대응될 수 있음을 의미한다. 예를 들어, 하나의 포인트가 가상 2 차원 이미지 및 제2 투영 이미지에 동시에 나타날 경우, 상기 포인트가 가상 2 차원 이미지 및 제2 투영 이미지에서의 위치 정보는 모두 기지된 것이다. 정합을 거친 가상 이미지를 이용하여 이미지 정합 모델을 훈련하여, 이미지 정합 모델의 정합 결과가 더욱 정확해지도록 할 수 있다.

가상 타깃 및 제2 투영 이미지가 모두 시뮬레이션을 통해 3 차원 물체를 투영하여 2 차원 이미지를 생성할 수 있고, 시뮬레이션의 과정에서, 투영 모델 파라미터 및 가상 타깃의 포즈는 생성된 2 차원 이미지에 영향을 준다. 따라서, 상기 두 개의 파라미터에 대해, 상응하는 설정을 수행할 수 있다. 가상 타깃의 포즈은 가상 물체의 위치 및 포즈이며, 예를 들어 가상 물체가 가상 환경에서 위치하는 위치이거나, 가상 물체의 수평 배치, 수직 배치 또는 대각선 배치 등과 같은 배치 포즈이다. 투영 모델 파라미터는 시뮬레이션 투영의 과정에서, 언급된 다양한 파라미터이며, 예를 들어 포인트 광원의 위치, 포인트 광원의 각도, 포인트 광원이 가상 타깃까지의 거리 등이다.

가능한 실시 시나리오에 있어서, 각 그룹의 가상 2 차원 이미지 및 제2 투영 이미지는 동일한 제2 투영 모델 파라미터를 이용하여 기설정된 포즈에서의 가상 타깃에 대해 시뮬레이션 이미징을 수행하여 얻은 가상 2 차원 이미지, 및 동일한 제2 투영 모델 파라미터를 이용하여 기준 포즈에서의 가상 타깃에 대해 시뮬레이션 투영을 수행하여 얻은 제2 투영 이미지를 포함한다. 가상 2 차원 이미지를 생성할 경우, 제2 투영 모델 파라미터를 사전에 설정한 다음, 설정된 투영 모델 파라미터에 따라, 가상 2 차원 이미지를 획득할 수 있다. 또는 가상 2 차원 이미지를 미리 생성한 다음, 대응되는 제2 투영 모델 파라미터를 기록한다. 다시 말해, 동일한 그룹의 가상 2 차원 이미지 및 제2 투영 이미지의 제2 투영 모델 파라미터는 동일하다. 이와 구별되는 것은, 제2 투영 이미지를 획득할 경우, 이때의 가상 타깃의 포즈가 기준 포즈이고, 가상 2 차원 이미지를 획득할 경우의 가상 물체의 포즈가 기설정된 포즈인 것으로 정의한다. 기준 포즈는 기설정된 포즈와 동일할 수 있고, 즉 가상 물체는 아무런 변화도 없다. 기준 포즈는 기설정된 포즈와 상이할 수도 있고, 즉 기설정된 포즈에서의 가상 타깃이 기준 포즈에서의 가상 타깃에 비해, 가상 공간에서, 회전, 평행 이동 또는 역회전의 동작을 수행할 수 있다. 기준 포즈는 인위적으로 지정된 초기 포즈일 수 있고, 즉 기설정된 포즈는 모두 기준 포즈가 평행 이동되거나 회전된 후 얻은 것이다. 이해할 수 있는 것은, 상이한 그룹의 가상 2 차원 이미지와 제2 투영 이미지에 대응되는 제2 투영 모델 파라미터 및 기설정된 포즈 중 적어도 하나는 상이하다.

복수 그룹의 상이한 투영 모델 파라미터 및 기설정된 포즈 중 적어도 하나에 의해 생성된 가상 2 차원 이미지 및 제2 투영 이미지를 생성하는 것을 통해 이미지 정합 모델을 훈련하여, 훈련된 이미지 정합 모델이 상이한 촬영 시각 및 상이한 포즈에서 얻은 이미지를 정합할 수 있도록 하고, 이미지 정합 모델의 적용성 및 정합의 정확성을 향상시킨다.

도 4를 참조하면, 도 4는 본 발명의 실시예의 이미지 정합 모델의 훈련 방법의 제2 흐름 예시도이다. 본 단계에서 설명된 “각 그룹의 가상 2 차원 이미지 및 제2 투영 이미지를 획득하는 단계”는, 아래와 같은 단계를 포함한다.

단계 S311에 있어서, 동일한 제2 투영 모델 파라미터로 기설정된 포즈인 가상 타깃에 대해 시뮬레이션 이미징을 수행하여, 가상 2 차원 이미지를 얻고, 제2 투영 모델 파라미터 및 기설정된 포즈의 가상 타깃이 기준 포즈에 대한 강체 변환 파라미터를 기록한다.

기설정된 포즈 및 기준 포즈는 인위적으로 설정된 가상 3 차원 공간에서의 가상 타깃의 위치 및 포즈일 수 있다. 또한 가상 타깃이 기준 포즈로부터 기설정된 포즈로 조정된 것도 사전에 설정될 수 있다. 즉 가상 타깃이 기준 포즈로부터 기설정된 포즈로 조정되는 강체 변환 과정은, 기재된 것이다. 즉 기설정된 포즈의 가상 타깃이 기준 포즈에 대한 강체 변환 파라미터를 획득할 수 있다. 기설정된 포즈에서의 가상 타깃에 대해, 설정된 제2 투영 모델 파라미터에 따라, 시뮬레이션 이미징을 수행하여 가상 2 차원 이미지를 얻을 수 있다.

후속 이미지 정합 모델을 훈련할 경우, 상기 설정된 제2 투영 모델 파라미터 및 가상 타깃이 기준 포즈로부터 기설정된 포즈로 조정된 강체 변환 파라미터를 사용해야 하므로, 가상 2 차원 이미지를 획득할 경우, 대응되는 투영 모델 파라미터 및 강체 변환 파라미터를 동시에 기록할 수 있다.

가상 2 차원 이미지 및 제2 투영 이미지를 획득할 경우의 투영 모델 파라미터 및 기준 포즈에 대한 강체 변환 파라미터를 기록하는 것을 통해, 후속 모델을 훈련할 경우, 이러한 파라미터를 대비의 근거로 사용하여, 이미지 특징 모델의 네트워크 파라미터를 조정함으로써, 이미지 정합 모델의 훈련 효과를 향상시킨다.

단계 S312에 있어서, 동일한 제2 투영 모델 파라미터로 기준 포즈인 가상 타깃에 대해 시뮬레이션 투영을 수행하여, 제2 투영 이미지를 얻는다.

가상 2 차원 이미지를 획득한 후, 가상 2 차원 이미지를 획득하는 것과 동일한 제2 투영 모델 파라미터를 추가로 이용하여, 가상 타깃에 대해 시뮬레이션 투영을 수행할 수 있어, 제2 투영 이미지를 획득한다. 가상 환경에서, 복수 그룹의 가상 2 차원 이미지 및 제2 투영 이미지를 생성할 수 있다. 상이한 그룹의 가상 2 차원 이미지와 제2 투영 이미지의 경우, 그들의 투영 모델 파라미터, 기설정된 포즈는 모두 상이할 수 있고, 일부가 상이할 수도 있다. 투영 모델 파라미터가 상이한 것은 포인트 광원의 각도(즉 촬영 각도)와 같은 투영 모델 파라미터 중 하나의 파라미터만 변경했을 수 있고, 복수 개 또는 전부 파라미터를 모두 변경했을 수 수도 있다. 기설정된 포즈가 상이한 것은 상이한 그룹의 가상 2 차원 이미지에 대응되는 가상 타깃 물체에 비해, 평행 이동, 회전 또는 역회전의 강체 변환이 존재하는 것이다. 복수 그룹의 상이한 투영 모델 파라미터, 기설정된 포즈의 가상 2 차원 이미지 및 제2 투영 이미지를 생성하는 것을 통해 이미지 정합 모델을 훈련하여, 훈련된 이미지 정합 모델이 상이한 촬영 시각 및 상이한 포즈에서 얻은 이미지를 정합할 수 있도록 하고, 이미지 정합 모델의 적용성 및 정합의 정확성을 향상시킨다.

일 실시 시나리오에 있어서, 상기 가상 2 차원 이미지는 시뮬레이션 X 선 이미지일 수 있고, 제2 투영 이미지는 디지털 재구축 방사선 영상(Digitally Reconstructured Radiograph, DRR) 이미지이다. 상기 실시 시나리오에 있어서, 상기 언급된 이미지 정합 모델은 의료 영역의 이미지 정합에 사용될 수 있다. 또한, 가상 2 차원 이미지를 시뮬레이션 X 선 이미지로, 제2 투영 이미지를 디지털 재구축 방사선 영상 이미지로 결정하는 것을 통해, 훈련된 이미지 정합 모델이 X 선 이미지 및 디지털 재구축 방사선 영상 이미지를 정합하도록 하여, 이미지 정합 모델이 이 타입의 이미지 정합의 훈련 효과를 향상시킨다.

가상 2 차원 이미지 및 제2 투영 이미지를 획득할 경우의 투영 모델 파라미터 및 기설정된 포즈가 기준 포즈에 대한 강체 변환 파라미터를 기록하는 것을 통해, 후속 이미지 정합 모델를 훈련할 경우, 이러한 파라미터를 대비의 근거로 사용하여, 이미지 정합 모델의 네트워크 파라미터를 조정함으로써, 이미지 정합 모델의 훈련 효과를 향상시킨다.

가상 2 차원 이미지 및 제2 투영 이미지를 획득한 후, 특징 포인트를 선택하는 방법을 통해, 특징 포인트의 위치 정보를 이용하여, 이미지 정합 모델에 대한 훈련을 전개할 수 있다. 예를 들어, 가상 타깃에서 적어도 하나의 특징 포인트를 결정할 수 있고, 가상 타깃이 가상 환경에서의 다양한 파라미터가 모두 기지된 것이고, 가상 2 차원 이미지 및 제2 투영 이미지를 생성하는 제2 투영 모델 파라미터, 및 이들 사이의 강체 변환 파라미터도 기지된 것이므로, 특징 포인트가 가상 2 차원 이미지에서의 제2 실제 2 차원 위치 및 제2 투영 이미지에서의 제3 실제 2 차원 위치를 결정할 수 있다. 제2 실제 2 차원 위치 및 제3 실제 2 차원 위치는 2 차원 좌표일 수 있다.

특징 포인트의 경우, 특징 포인트는 가상 2 차원 이미지 및 제2 투영 이미지에서의 픽셀 포인트일 수 있으면, 특징 포인트가 가상 2 차원 이미지 및 제2 투영 이미지에서의 제2 실제 2 차원 위치 및 제3 실제 2 차원 위치는 픽셀 포인트의 위치일 수 있으며, 예를 들어 픽셀 포인트 (1, 1), 픽셀 포인트 (10, 10) 등이다.

일부 가능한 실시예에 있어서, 가상 환경에서 3 차원 좌표계를 구축할 수 있어, 특징 포인트의 3 차원 좌표를 결정한 다음, 제2 투영 모델 파라미터 및 대응되는 강체 변환 파라미터를 통해, 제2 실제 2 차원 위치 및 제3 실제 2 차원 위치를 계산하여 얻을 수 있다.

도 5를 참조하면, 도 5는 본 발명의 실시예의 이미지 정합 모델의 훈련 방법의 제3 흐름 예시도이다. 하나의 가능한 실시형태에 있어서, 가상 타깃에서의 특징 포인트가 각각 가상 2 차원 이미지에서의 제2 실제 2 차원 위치 및 제2 투영 이미지에서의 제3 실제 2 차원 위치를 획득하는 단계는, 아래의 단계를 통해 구현될 수 있다.

단계 S313에 있어서, 기준 포즈인 가상 타깃에서의 적어도 하나의 특징 포인트를 결정한다.

가상 타깃에서 적어도 하나의 특징 포인트를 선택할 경우, 기준 포즈에서의 가상 타깃에서 선택할 수 있다. 기설정된 포즈의 강체 변환 파라미터가 기준 포즈를 초기 위치로 하여 얻은 것이므로, 기준 포즈에서의 가상 타깃에서 특징 포인트를 선택하는 것을 통해, 후속 계산의 단계를 간략화할 수 있어, 이미지 정합 모델의 계산 속도를 향상시킨다.

가능한 실시 시나리오에 있어서, 적어도 하나의 특징 포인트를 랜덤으로 선택할 수 있다. 특징 포인트는 가상 타깃의 내부에 위치할 수 있고, 가상 타깃의 에지에 위치할 수도 있다. 특징 포인트는 가상 타깃에서의 임의의 포인트로 이해될 수 있다. 상기 특징 포인트는 가상 타깃 위치를 분석하는 것을 통해 결정될 수 있거나, 인공으로 지정될 수 있거나, 이미지 정합 모델에 의해 자체적으로 확인될 수 있다.

가능한 실시 시나리오에 있어서, 먼저 제2 투영 이미지에서 가상 타깃에 대응되는 타깃 영역을 식별하여, 가상 타깃이 제2 투영 이미지에서의 위치 분포를 결정할 수 있다. 타깃 영역의 내부 또는 에지에서 적어도 하나의 투영 포인트를 선택하며, 선택된 투영 포인트는 가상 타깃에서의 포인트이다. 제2 투영 이미지의 제2 투영 모델 파라미터를 이용하여, 적어도 하나의 투영 포인트를 3 차원 공간에 투영하여, 가상 타깃에서의 적어도 하나의 특징 포인트를 얻는다. 제2 투영 이미지의 제2 투영 모델 파라미터를 이용하는 것을 통해, 투영 포인트가 3 차원 공간에서 가상 타깃에서의 포인트를 얻을 수 있고, 얻은 포인트를 특징 포인트로 사용한다. 제2 투영 이미지에서의 가상 타깃의 위치 분포에서, 투영 포인트를 선택하는 것을 통해 특징 포인트를 결정하여, 가상 타깃에서의 특징 포인트가 무조건 제2 투영 이미지에 존재하도록 보장할 수 있어, 후속 이미지 정합 모델의 훈련이 계속 수행될 수 있도록 한다.

또한, 가상 타깃의 내부 또는 에지에서 특징 포인트를 선택하는 것을 통해, 특징 포인트가 후속 정합 훈련을 수행할 경우, 쉽게 찾도록 하여, 이미지 정합 모델의 훈련 효율을 향상시킨다.

단계 S314에 있어서, 가상 2 차원 이미지에 대응되는 투영 모델 파라미터 및 강체 변환 파라미터를 이용하여, 특징 포인트가 가상 2 차원 이미지에서의 제2 실제 2 차원 위치를 결정하고; 제2 투영 이미지에 대응되는 투영 모델 파라미터를 이용하여, 특징 포인트가 제2 투영 이미지에서의 제3 실제 2 차원 위치를 결정한다.

기준 포즈의 가상 타깃에서 적어도 하나의 특징 포인트를 결정한 후, 제2 투영 이미지에 대응되는 제2 투영 모델 파라미터에 따라, 특징 포인트가 제2 투영 이미지에서의 제3 실제 2 차원 위치를 계산하여 얻을 수 있다. 가상 환경에서 3 차원 좌표계를 구축한 후, 제3 실제 2 차원 위치는 특징 포인트의 3 차원 좌표 및 제2 투영 모델 파라미터를 이용하여, 계산하여 얻을 수 있다.

기설정된 포즈가 기준 포즈에 대해, 강체 변환이 더 존재하므로, 제2 실제 2 차원 위치를 계산할 경우, 대응되는 투영 모델 파라미터가 필요한 것 외에도, 대응되는 강체 변환 파라미터도 필요하므로, 특징 포인트가 가상 2 차원 이미지에서의 제2 실제 2 차원 위치를 얻을 수 있다. 제2 실제 2 차원 위치는 특징 포인트가 기준 포즈에서의 위치를 이용하여, 기설정된 포즈가 기준 포즈에 대한 강체 변환 파라미터 및 제2 투영 모델 파라미터를 계산하여 얻을 수 있다.

특징 포인트를 결정하는 것을 통해, 후속 이미지 정합 모델을 훈련할 경우, 특징 포인트의 위치 정보를 비교의 근거로 사용하여, 이미지 정합 모델의 훈련 효과를 향상시킬 수 있다.

단계 S32에 있어서, 각 그룹의 가상 2 차원 이미지, 제2 투영 이미지 및 제3 실제 2 차원 위치를 이미지 정합 모델에 입력하여, 가상 타깃에서의 특징 포인트가 가상 2 차원 이미지에서의 제2 예측 2 차원 위치를 얻는다.

가상 2 차원 이미지, 제2 투영 이미지 및 제3 실제 2 차원 위치를 얻은 후, 이미지 정합 모델을 통해 가상 타깃에서의 특징 포인트가 가상 2 차원 이미지에서의 제2 예측 2 차원 위치를 획득할 수 있다. 이해할 수 있는 것은, 제2 예측 2 차원 위치는 이미지 정합 모델을 예측(즉 신경 네트워크를 이용하여 계산)하여 얻은 것이므로, 예측된 결과는 정확하지 않을 수 있다. 후속 훈련 과정에서, 제2 예측 2 차원 위치에 대해 이미지 정합 모델에 대한 관련 네트워크 파라미터 조정을 수행할 수 있다.

도 6을 참조하면, 도 6은 본 발명의 실시예의 이미지 정합 모델의 훈련 방법의 제4 흐름 예시도이다. 단계 S32에서 설명된 “각 그룹의 가상 2 차원 이미지, 제2 투영 이미지 및 제3 실제 2 차원 위치를 이미지 정합 모델에 입력하여, 가상 타깃에서의 특징 포인트가 가상 2 차원 이미지에서의 제2 예측 2 차원 위치를 얻는 단계”는, 아래의 단계를 통해 구현될 수 있다.

단계 S321에 있어서, 이미지 정합 모델의 투영 이미지 특징 추출 네트워크를 이용하여 제2 투영 이미지에 대해 특징 추출을 수행하여, 제2 투영 특징맵을 얻는다.

투영 이미지 특징 추출 네트워크를 이용하여 제2 투영 이미지에 대해 특징 추출을 수행할 경우, 상기 네트워크에 의해 출력된 결과를 제2 투영 특징맵으로 정의한다. 제2 투영 특징맵에서, 제2 투영 특징맵에서의 각 픽셀 포인트에 대응되게, 모두 대응되는 특징 정보가 포함된다. 특징 정보는 예를 들어 특징 벡터이고, 예를 들어 128 차원의 특징 벡터이다.

단계 S322에 있어서, 가상 이미지 특징 추출 네트워크를 이용하여 가상 2 차원 이미지에 대해 특징 추출을 수행하여, 제2 가상 특징맵을 얻는다.

상기 단계에 있어서, 가상 이미지 특징 추출 네트워크에 의해 출력된 이미지를 제2 가상 특징맵으로 정의한다. 제2 가상 특징맵에서, 제2 가상 특징맵에서의 각 픽셀 포인트에 대응되게, 대응되는 특징 정보도 포함된다. 특징 정보는 예를 들어 특징 벡터이고, 예를 들어 128 차원의 특징 벡터이다.

가능한 실시 시나리오에 있어서, 가상 2 차원 이미지 및 제2 투영 이미지, 및 제2 투영 특징맵 및 제2 가상 특징맵의 사이즈 크기는 동일하다. 이로써 직접 특징 포인트가 가상 2 차원 이미지 및 제2 투영 이미지에서의 픽셀 포인트 위치를 통해 특징 포인트가 제2 투영 특징맵 및 제2 가상 특징맵에서의 위치를 각각 결정할 수 있다.

투영 이미지 특징 추출 네트워크 및 가상 이미지 특징 추출 네트워크를 통해 각각 제2 투영 특징맵 및 제2 가상 특징맵을 얻는 것은, 동일한 특징 추출 네트워크를 사용하여 가상 이미지 및 투영 이미지에 대해 특징 추출을 수행하는 것에 비해, 상기 두 개의 특징 추출 네트워크가 훈련된 후, 각 이미지에 대한 특징 추출이 더욱 정확한 것을 구현할 수 있다.

이해할 수 있는 것은, 단계 S321 및 단계 322의 실행 순서는 한정되지 않고, 실제 필요에 따라 조정될 수 있다.

단계 S323에 있어서, 이미지 정합 모델의 위치 예측 네트워크를 이용하여, 제2 투영 특징맵에서 제3 실제2 차원 위치에 대응되는 제2 투영 특징 위치를 결정하고, 제2 가상 특징맵에서 제2 투영 특징맵에서의 제2 투영 특징 위치에 대응되는 가상 특징 위치를 찾으며, 가상 특징 위치를 이용하여 제2 예측 2 차원 위치를 얻는다.

상기 언급된 특징맵의 위치 정보와 특징을 추출하기 위한 이미지의 위치 정보의 대응 관계에 기반하여, 위치 예측 네트워크는 제3 실제 2 차원 위치를 이용하여 제2 투영 특징맵에서의 제2 투영 특징 위치를 결정할 수 있다. 이로써 위치 예측 네트워크에 의해 제2 가상 특징맵 중 제2 투영 특징 위치에 대응되는 가상 특징 위치를 찾게 되고, 가상 특징 위치에 의해 가상 2 차원 이미지에서의 제2 예측 2 차원 위치가 얻어진다. 제2 예측 2 차원 위치는 특징 포인트가 가상 2 차원 이미지에서의 예측 위치이다.

상기 단계에서 설명된 “제2 가상 특징맵에서 제2 투영 특징맵에서의 제2 투영 특징 위치에 대응되는 가상 특징 위치를 찾는 단계”는 아래와 같은 단계를 통해 구현될 수 있다.

단계 S3231에 있어서, 투영 특징맵에서 투영 특징 위치에 위치한 제1 특징 정보를 찾는다.

상기 단계 아래의 투영 특징맵은 제2 투영 특징맵이다. 상기 단계의 투영 특징 위치는 제2 투영 특징 위치이다.

신경 네트워크가 가상 특징 위치를 찾는 것은 특징 정보를 이용하여 찾는 것이다. 따라서, 먼저 제2 투영 특징맵에서 특징 포인트가 상기 이미지에서의 제2 투영 특징 위치, 즉 상기 단계의 투영 특징 위치를 결정한 다음, 상기 투영 특징 위치에 따라 대응되는 특징 정보를 획득할 수 있다.

예를 들어, 특징 포인트가 제2 투영 특징맵에서의 투영 특징 위치가 특정된 픽셀 포인트의 위치 (1, 1)일 경우, 상기 투영 특징 위치의 픽셀 포인트의 특징 정보는 제1 특징 정보이다. 마찬가지로, 제1 특징 정보는 n 차원의 특징 벡터일 수 있다.

단계 S3232에 있어서, 가상 특징맵에서, 제1 특징 정보 사이와의 유사도가 기설정된 유사 조건을 만족하는 제2 특징 정보를 검색한다.

상기 단계 아래의 가상 특징맵은 제2 가상 특징맵이다. 특징 포인트가 제2 투영 특징맵에서의 제1 특징 정보를 찾을 경우, 위치 예측 네트워크는 제1 특징 정보에 따라 제2 가상 특징맵 중 제1 특징 정보 사이와의 유사도가 기설정된 유사 조건을 만족하는 제2 특징 정보를 검색할 수 있다.

제1 특징 정보가 특징 벡터일 경우, 위치 예측 네트워크는 상기 특징 벡터에 따라, 제2 가상 특징맵에서 기설정된 유사 조건을 만족하는 제2 특징 정보를 검색하며, 제2 특징 정보는 마찬가지로 특징 벡터이다. 기설정된 유사 조건은 인위적으로 설정될 수 있고, 예를 들어 유사도가 90% 내지 95%이면 찾은 결과가 수락될 수 있음을 나타낸다. 물론, 기설정된 유사 조건은 응용 시나리오에 따라 설정될 수 있고, 여기서 한정하지 않는다. 일 시나리오에 있어서, 기설정된 유사 조건은 유사도가 가장 높은 것에 대응되는 제2 특징 정보일 수 있다.

단계 S3233에 있어서, 제2 특징 정보가 가상 특징맵에서의 가상 특징 위치를 획득한다.

특징맵에 각 위치에 모두 대응되는 특징 정보가 존재하므로, 제2 특징 정보를 검색할 경우, 제2 특징 정보에 따라 제2 가상 특징맵에서 대응되는 가상 특징 위치를 찾을 수 있다.

단계 S33에 있어서, 제2 실제 2 차원 위치 및 제2 예측 2 차원 위치에 기반하여, 이미지 정합 모델의 네트워크 파라미터를 조정한다.

위치 예측 네트워크에 의해 제2 예측 2 차원 위치가 얻어진 후, 제2 예측 2 차원 위치 및 제2 실제 2 차원 위치에 따라 비교하여, 위치 예측 네트워크에 의해 예측되어 얻은 제2 예측 2 차원 위치가 요구에 만족하는지 여부를 판단할 수 있음으로써, 이미지 정합 모델의 네트워크 파라미터를 조정한다.

제2 예측 2 차원 위치는 제2 실제 2 차원 위치에 비해, 차이가 요구를 만족할 경우, 위치 예측 네트워크에 의해 예측된 결과가 수락 가능한 것으로 간주할 수 있다. 예를 들어 이들의 비교 손실값이 요구에 부합되면, 결과가 수락 가능한 것으로 간주한다.

이에 기반하여, 이미지 정합 모델을 요구에 부합되도록 훈련시키기 위해, 제2 실제 2 차원 위치 및 제2 예측 2 차원 위치를 비교해야 한다. 이해할 수 있는 것은, 가상 이미지 특징 추출 네트워크 및 투영 이미지 특징 추출 네트워크에 의해 추출된 특징 정보는, 위치 예측 네트워크가 특징 정보를 통해 제2 특징 정보 및 이에 대응되는 위치를 검색하는 것에 직접 영향주므로, 훈련의 과정에서, 비교의 결과에 기반하여, 가상 이미지 특징 추출 네트워크, 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크의 네트워크 파라미터를 조정해야 한다. 3 개의 네트워크가 서로 배합될 수 있도록 하여, 최종적으로 제2 예측 2 차원 위치와 제2 실제 2 차원 위치를 비교하여, 요구에 만족할 수 있도록 한다. 물론, 일부 시나리오에 있어서, 3 개의 네트워크에서의 일부 네트워크의 네트워크 파라미터만 조정할 수도 있고, 예를 들어 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크의 파라미터만 조정한다.

이미지 정합 모델에 대한 훈련 효과가 더욱 좋도록 하기 위해, 제2 실제 2 차원 위치 및 제2 예측 2 차원 위치를 비교한 후, 또한 제2 실제 2 차원 위치에 의해 얻은 실제 3 차원 위치 및 제2 예측 2 차원 위치에 의해 얻은 예측 3 차원 위치를 비교하고, 이들 사이의 차이에 따라 이미지 정합 모델의 네트워크 파라미터를 조정할 수 있다.

가능한 실시 시나리오에 있어서, 동일한 기설정된 포즈에 대응되는 복수 개의 가상 2 차원 이미지의 제2 예측 2 차원 위치를 이용하여, 특징 포인트의 예측 3 차원 위치를 결정할 수 있다. 가상 2 차원 이미지에서의 제2 예측 2 차원 위치를 얻은 후, 이에 대응되는 예측 3 차원 위치를 얻을 수 있다. 예를 들어 상기 단계 S31에 대한 설명에 있어서, 가상 2 차원 이미지가 가상 타깃이 기설정된 포즈일 경우 얻은 것이므로, 제2 예측 2 차원 위치에 의해 얻은 예측 3 차원 위치는 가상 2 차원 이미지에 대응되는 가상 타깃이 기설정된 포즈에서의 예측 3 차원 위치이다. 물론, 기설정된 포즈에서의 가상 타깃의 경우, 얻은 복수 개의 가상 2 차원 이미지는 복수 개의 투영 모델 파라미터에 대응되게 얻은 것일 수 있고, 투영 모델 파라미터가 변경될 경우, 이에 대응되는 예측 3 차원 위치도 상응하게 변경된다.

특징 포인트의 예측 3 차원 위치를 얻은 후, 특징 포인트의 예측 3 차원 위치와 실제 3 차원 위치 사이의 차이를 이용하여, 이미지 정합 모델의 네트워크 파라미터를 조정할 수 있다. 제2 투영 이미지와 가상 2 차원 이미지를 생성하는 투영 모델 파라미터는 모두 제2 투영 모델 파라미터이고, 제2 투영 이미지는 가상 타깃이 기준 포즈일 경우 얻은 것이다. 따라서 제2 실제 2 차원 위치 및 제2 투영 모델 파라미터에 따라 특징 포인트가 기준 포즈에서의 실제 3 차원 위치를 얻을 수 있다. 실제 3 차원 위치를 얻은 후, 예측 3 차원 위치와 비교한 다음, 이들 사이의 차이, 예를 들어 손실값에 따라, 이미지 정합 모델의 네트워크 파라미터를 조정할 수 있다. 따라서, 예측 3 차원 위치와 실제 3 차원 위치 사이의 차이를 이용하여 이미지 정합 모델의 네트워크 파라미터를 조정하는 것을 통해, 훈련 효과를 추가적으로 향상시킬 수 있다.

본 발명의 실시예에 있어서, 이미지 정합 모델은 가상 이미지 특징 추출 네트워크, 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크인 3 개의 신경 네트워크를 포함하고, 이미지 정합 모델의 네트워크 파라미터를 조정할 경우, 상기 3 개의 네트워크의 네트워크 파라미터를 조정한다.

가능한 실시 시나리오에 있어서, 훈련하여 안정적이고, 사용 가능한 이미지 정합 모델을 얻기 위해, 이미지 정합 모델의 네트워크 파라미터를 조정한 후, 상기 단계 S32 내지 단계 S33를 재실행하거나 본 발명의 실시예에서 설명된 방법을 재실행할 수 있음으로써, 요구에 부합될 때까지, 제2 예측 2 차원 위치을 찾고, 이미지 정합 모델의 손실값을 계산하며, 네트워크 파라미터를 조정하는 과정을 부단히 실행한다. 요구에 부합되는 것은 손실값이 기설정된 손실 임계값보다 작고, 손실값이 더이상 감소되지 않는 것일 수 있다.

따라서, 가상 이미지를 이용하여 이미지 정합 모델에 대해 사전 훈련을 수행하는 것을 통해, 가상 이미지의 획득 비용이 낮으므로, 훈련 비용을 저하시킬 수 있다. 또한, 가상 이미지는 대량으로 생성될 수 있으므로, 대량의 훈련 데이터를 제공할 수 있음으로써, 훈련의 효과를 향상시킬 수 있다. 또한, 먼저 가상 이미지를 이용하여 이미지 정합 모델에 대해 사전 훈련을 수행한 다음, 진실 이미지를 이용하여 훈련하는 것을 통해, 훈련의 효과를 향상시킬 수 있어, 진실 이미지 훈련을 거친 이미지 정합 모델이 진실 이미지를 더욱 잘 정합하도록 할 수 있다.

가능한 실시 시나리오에 있어서, 상기 기준 2 차원 이미지 및 진실 2 차원 이미지는 X 선 이미지일 수 있고, 제1 투영 이미지는 디지털 재구축 방사선 영상 이미지이며, 제2 투영 이미지는 디지털 재구축 방사선 영상 이미지일 수도 있다. 상기 실시 시나리오에 있어서, 상기 언급된 이미지 정합 모델은 의료 영역의 이미지 정합에 사용될 수 있다. 또한, 기준 2 차원 이미지 및 진실 2 차원 이미지가 X 선 이미지이고, 제1 투영 이미지가 디지털 재구축 방사선 영상 이미지인 것으로 결정하는 것을 통해, 훈련된 이미지 정합 모델이 X 선 이미지 및 디지털 재구축 방사선 영상 이미지를 정합하도록 하여, 이미지 정합 모델이 이 타입의 이미지 정합의 훈련 효과를 향상시킨다.

다른 하나의 개시된 실시예에 있어서, 상기 진실 이미지 특징 추출 네트워크는 직접 상기 가상 이미지 특징 추출 네트워크에 의해 얻어질 수 있고, 즉 가상 이미지 특징 추출 네트워크를 진실 이미지 특징 추출 네트워크로 사용한다. 상기 개시된 실시예 하에서, 이미지 정합 모델은 가상 이미지 특징 추출 네트워크(진실 이미지 특징 추출 네트워크), 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크를 포함한다. 상기 개시된 실시예에 있어서, 직접 가상 이미지 특징 추출 네트워크를 진실 이미지 특징 추출 네트워크로 사용하는 것을 통해, 신경 네트워크의 개수를 감소시키고, 이미지 정합 모델 훈련의 과정을 간략화하여, 이미지 정합 모델의 훈련이 더욱 쉽게 전개되도록 함으로써, 이미지 정합 모델이 진실된 환경에 더욱 쉽게 적용될 수 있도록 한다.

도 7a를 참조하면, 도 7a는 본 발명의 실시예의 이미지 정합 방법 실시예의 흐름 예시도이다. 이미지 정합을 수행할 경우, 상기 실시예에서 설명된 훈련 방법에 의해 훈련되어 얻은 이미지 정합 모델을 이용하여 정합할 수 있다. 상기 이미지 정합 방법은 아래와 같은 단계를 포함할 수 있다.

단계 S71a에 있어서, 각각 진실 타깃에 대해 이미징을 수행하여 얻은 2 차원 이미지 및 3 차원 이미지를 획득한다.

이미지 정합을 수행할 경우 적어도 두 개의 이미지를 정합해야 한다. 본 발명의 실시예에 있어서, 먼저 진실 타깃을 이미징하여, 2 차원 이미지 및 3 차원 이미지를 얻을 수 있다. 진실 타깃은 컵, 인체 내의 뼈 등과 같은 진실된 환경에서 다양한 물체일 수 있다. 타깃을 이미징하고, 즉 다양한 이미징 수단, 예를 들어 카메라, X 선 기계, 3D 스캐너 등을 이용하여 진실 타깃을 이미징하여, 진실 타깃에 관련된 2 차원 이미지 및 3 차원 이미지를 획득한다.

2 차원 이미지는 예를 들어 카메라에 의해 이미징된 후 얻은 2 차원 이미지, 또는 X 선 기계에 의해 이미징된 후 얻은 X 선 이미지이다. 3 차원 이미지는 예를 들어 3D 스캐너에 의해 스캔되어 얻은 3 차원 이미지, 또는 CT에 의해 얻은 3 차원 이미지이다.

단계 S72a에 있어서, 2 차원 이미지의 투영 모델 파라미터를 이용하여 3 차원 이미지를 투영하여, 투영 이미지를 얻는다.

2 차원 이미지를 획득할 경우, 또한 진실 타깃을 이미징하여 2 차원 이미지를 획득할 경우의 투영 모델 파라미터를 동시에 획득할 수 있다. 진실 타깃을 이미징하여 2 차원 이미지를 획득할 경우의 투영 모델 파라미터를 얻은 후, 상기 투영 모델 파라미터에 따라, 진실 타깃에 의해 얻은 3 차원 이미지를 투영하여, 투영 이미지를 획득할 수 있다. 투영의 방식은 컴퓨터를 이용하여 투영 모델 파라미터에 따라 시뮬레이션 투영하는 것일 수 있다.

가능한 실시 시나리오에 있어서, 투영 이미지 및 2 차원 이미지의 사이즈는 동일할 수 있고, 예를 들어 모두 256*256 개의 픽셀 포인트이다.

단계 S73a에 있어서, 이미지 정합 모델을 이용하여 2 차원 이미지 및 투영 이미지를 처리하여, 진실 타깃에서의 특징 포인트가 2 차원 이미지에서의 2 차원 위치를 얻는다.

정합이 필요한 경우, 진실 타깃에서의 특징 포인트의 방법을 결정하는 것을 통해, 보조하여 정합할 수 있다. 가능한 실시 시나리오에 있어서, 투영 이미지에서 특징 포인트를 선택할 수 있고, 특징 포인트는 상기 타깃이 투영 이미지에서의 영역 내부 또는 에지를 선택할 수 있어, 후속 특징 포인트를 찾는데 용이하여, 정합 효율을 향상시킨다. 투영 이미지에서 특징 포인트를 결정한 후, 특징 포인트가 투영 이미지에서의 실제 2 차원 위치를 결정할 수 있다. 다른 가능한 실시 시나리오에 있어서, 3 차원 이미지에서 특징 포인트를 선택할 수도 있어, 특징 포인트가 3 차원 이미지에서의 위치를 결정한 다음, 진실 타깃을 이미징하여 2 차원 이미지를 획득할 경우의 투영 모델 파라미터에 따라, 특징 포인트가 투영 이미지에서의 실제 2 차원 위치를 얻을 수 있다. 예를 들어, 3 차원 이미지가 위치하는 가상 환경에서 3 차원 좌표계를 구축하여, 특징 포인트의 3 차원 좌표를 결정할 수 있다. 다음 투영 모델 파라미터를 통해, 특징 포인트가 투영 이미지에서의 2 차원 좌표를 계산하여 얻을 수 있고, 상기 2 차원 좌표는 특징 포인트가 투영 이미지에서의 실제 2 차원 위치이다. 2 차원 이미지 및 투영 이미지의 경우, 특징 포인트가 상기 두 개의 이미지에서의 위치는 특징 포인트에 대응되는 픽셀 포인트의 위치로 나타낼 수도 있다. 예를 들어, 특징 포인트에 대응되는 픽셀 포인트의 위치가 (2, 2)이면, 특징 포인트가 2 차원 이미지 및 투영 이미지에서의 위치도 (2, 2)이다.

이미지 정합 모델은 2 차원 이미지 및 투영 이미지를 처리하여, 진실 타깃에서의 특징 포인트가 2 차원 이미지에서의 2 차원 위치를 얻는다. 아래와 같은 단계를 포함할 수 있다.

단계 S731a에 있어서, 이미지 정합 모델은 각각 2 차원 이미지 및 투영 이미지에 대해 특징 추출을 수행하여, 2 차원 이미지 특징맵 및 투영 이미지 특징맵을 얻고, 실제 2 차원 위치가 투영 이미지 특징맵에서의 투영 특징 위치를 결정한다.

상기 이미지 정합 모델에 관련된 훈련 방법의 실시예의 설명에 따라 알 수 있는 바, 이미지 정합 모델은 진실 이미지 특징 추출 네트워크 및 투영 이미지 특징 추출 네트워크를 포함한다. 따라서, 진실 이미지 특징 추출 네트워크를 이용하여 2 차원 이미지에 대해 특징 추출을 수행하여, 2 차원 이미지 특징맵를 얻을 수 있고; 투영 이미지 특징 추출 네트워크를 이용하여 투영 이미지에 대해 특징 추출을 수행하여, 투영 이미지 특징맵을 얻을 수 있다. 상기 두 개의 특징맵에서의 픽셀 포인트는 모두 특징 정보를 포함할 수 있고, 특징 정보는 예를 들어 특징 벡터이다.

2 차원 이미지 특징맵이 진실 이미지 특징 추출 네트워크에 의해 2 차원 이미지에 대해 특징 추출이 수행되어 얻어진 것이므로, 투영 이미지 특징맵은 투영 이미지 특징 추출 네트워크에 의해 투영 이미지에 대해 특징 추출이 수행되어 얻은 것이다. 따라서, 특징맵에서의 위치는 2 차원 이미지 또는 투영 이미지에서의 위치와 대응 관계를 구비한 것이다. 상기 대응 관계의 설명에 관련하여, 단계 S113의 관련 설명을 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.

상기 대응 관계에 따라, 특징 포인트가 투영 이미지에서의 실제 2 차원 위치에 따라, 특징 포인트가 투영 이미지에서의 투영 특징 위치를 결정할 수 있다.

단계 S732a에 있어서, 투영 이미지 특징맵에서 투영 특징 위치에 위치하는 제1 특징 정보를 찾고, 2 차원 이미지 특징맵에서 제1 특징 정보 사이와의 유사도가 기설정된 요구를 만족하는 제2 특징 정보를 검색한다.

상기 단계는 단계 S271 및 단계 S272를 참조할 수 있다. 상이한 것은, 단계 S271 및 단계 S272에서의 제2 투영 특징맵은 상기 단계에서의 투영 이미지 특징맵으로 대체되고, 제2 투영 특징 위치는 투영 특징 위치로 대체되며, 제2 가상 특징맵는 2 차원 이미지 특징맵으로 대체된다.

단계 S733a에 있어서, 제2 특징 정보가 2 차원 이미지 특징맵에서의 예측 특징 위치를 획득하고, 예측 특징 위치를 이용하여 2 차원 위치를 얻는다.

상기 단계는 단계 S1133을 참조할 수 있다. 상이한 것은, 단계 S1133의 가상 특징 위치는 상기 단계의 예측 특징 위치로 대체되고, 제2 예측 2 차원 위치는 2 차원 위치로 대체된다.

단계 S74a에 있어서, 2 차원 위치를 이용하여, 2 차원 이미지와 3 차원 이미지 사이의 정합 결과를 획득한다.

특징 포인트가 2 차원 이미지에서의 2 차원 위치를 얻은 후, 상기 2 차원 위치에 따라 관련 연산을 수행하여, 2 차원 이미지와 3 차원 이미지 사이의 정합 결과를 획득할 수 있다. 상기 단계는 아래와 같은 단계에 의해 구현될 수 있다.

단계 S741a에 있어서, 투영 모델 파라미터를 이용하여 2 차원 위치를 3 차원 공간에 투영하여, 특징 포인트의 제1 3 차원 위치를 얻는다.

투영 모델 파라미터를 이용하여 2 차원 위치를 3 차원 공간에 투영하여, 특징 포인트의 제1 3 차원 위치를 얻고, 즉 특징 포인트가 2 차원 이미지에서의 2 차원 위치, 및 타깃을 이미징하여 2 차원 이미지를 획득할 경우의 투영 모델 파라미터를 이용하여, 관련된 연산을 수행한 후, 2 차원 이미지를 촬영할 경우의 특징 포인트가 타깃에서의 3 차원 위치를 얻는다. 계산하는 방법은 본 분야의 범용 방법에 속하고, 여기서 더이상 반복하여 설명하지 않는다.

단계 S742a에 있어서, 진실 타깃에서의 특징 포인트가 3 차원 이미지에서의 제2 3 차원 위치를 획득한다.

상기 단계 S63의 설명에 따르면, 특징 포인트가 투영 이미지에서의 실제 2 차원 위치는, 특징 포인트를 선택할 경우, 이미 결정되었고, 즉 특징 포인트가 투영 이미지에서의 실제 2 차원 위치는 기지된 것이다. 상기 실제 2 차원 위치에 기반하여, 진실 타깃을 이미징하여 2 차원 이미지를 획득할 경우의 투영 모델 파라미터를 이용하여, 특징 포인트가 3 차원 이미지에서의 실제 3 차원 위치를 얻을 수 있다.

단계 S743a에 있어서, 제1 3 차원 위치 및 제2 3 차원 위치를 이용하여, 3 차원 이미지가 2 차원 이미지에 대한 강체 변환 파라미터를 획득한다.

2 차원 이미지를 촬영할 경우의 특징 포인트가 타깃에서의 3 차원 위치, 및 특징 포인트가 3 차원 이미지에서의 실제 3 차원 위치를 얻으면, 상기 두 개의 위치에 따라 계산하여, 특징 포인트가 2 차원 이미지를 촬영할 경우의 타깃과 3 차원 이미지에서의 강체 변환 파라미터를 얻을 수 있다. 즉 2 차원 이미지와 3 차원 이미지 사이의 정합 결과를 얻을 수 있다.

상기 이미지 정합 방법은, 타깃을 이미징하여 얻은 2 차원 이미지 및 3 차원 이미지를 정합할 수 있어, 2 차원 이미지에서의 포인트가 3 차원 이미지의 포인트와 대응되도록 할 수 있으므로, 의료 분야, 산업 분야 등에서 크나큰 응용 전망을 구비한다.

2 차원-3 차원 이미지 강체 정합은 생물 역학 분석, 수술 내비 등 측면에 도움을 제공하고, 그 목적은 3 차원 이미지(예를 들어 CT 이미지) 중 타깃 영역이 공간에서의 위치 및 포즈가, 하나 또는 복수 개의 2 차원 이미지(예를 들어 X 선 이미지)에서의 형성된 이미지와 정렬되도록 하는 것이 목적이다.

현재 최적화 반복에 기반한 정합 방법의 작동 시간이 비교적 길므로, 실시간의 수요를 만족할 수 없고; 딥 러닝에 기반한 정합 방법의 작동 속도가 빠르지만, 기존 방법은 2 차원 이미지 개수가 비고정적이고 촬영 시각이 비고정적일 경우에서의 정합을 만족시킬 수 없고, 대량의 훈련 데이터를 훈련해야 하며, 그렇지 않은 경우 방법은 효과를 잃는다. 이미지를 수동으로 정합하면 시간 소모가 비교적 길고 정밀하지 않으므로, 진실된 응용 환경에서, 정합을 거친 대량의 2 차원-3 차원 이미지를 획득하는 것이 매우 어려워지므로, 실시간 정합 방법의 추가적인 응용에 영향을 준다. 다시 말해, 관련 기술에서는, 최적화 방법에 기반한 정합 방법이 속도가 늦고; 특정된 시각에 대해 정합 모델을 훈련하므로, 임의의 시각의 경우를 처리할 수 없으며; 훈련 데이터가 적을 경우 방법이 효과를 잃는 문제가 존재한다.

본 발명의 실시예는 두 개의 신경 네트워크를 사용하여, 진실 2 차원 이미지를 각각 추출하고 2 차원 이미지(예를 들어 DRR 이미지) 특징을 정합 보조하여, 2 차원 이미지 개수 및 촬영 시각이 비고정적인 경우를 해결한다. 진실 2 차원 이미지와 외관적으로 접근하는 가상 2 차원 이미지를 동시에 사용하여 정합 네트워크를 훈련하고, 가상 2 차원 이미지가 무한으로 생성될 수 있고 정합 태깅이 정밀하므로, 상기 단계에서 결과가 비교적 좋은 정합 모델을 얻을 수 있다. 다음 진실 2 차원 이미지 및 가상 2 차원 이미지의 대응 관계에 따라, 진실 2 차원 이미지에 사용 가능한 정합 모델을 훈련한다.

본 발명의 실시예에서 제공한 정합 네트워크의 훈련 방법은, 두 개의 스탭, 즉 제1 스탭의 가상 2 차원 이미지 훈련 정합 네트워크 및 제2 스탭의 진실 2 차원 이미지 훈련 마이그레이션이다. 도 7b는 본 발명의 실시예의 이미지 정합 방법 실시예의 논리 흐름도이고, 도 7b에 도시된 바와 같이, 제1 스탭은 아래와 같은 단계 S71b 내지 단계 S73b를 통해 실시되며, 제2 스탭은 아래와 같은 단계 S74b 및 단계 S75b를 통해 실시된다.

단계 S71b에 있어서, 3 차원 이미지 중 타깃이 공간에서의 상이한 위치 및 포즈를 시뮬레이션하는 것을 통해, 가상 2 차원 이미지를 생성한다.

먼저 광선 추적과 같은 방법을 사용하여, 3 차원 이미지 중 타깃이 공간에서의 상이한 위치 및 포즈를 시뮬레이션하는 것을 통해, 대량의 진실 2 차원 이미지와 유사한 가상 2 차원 이미지를 생성한다. 3 차원 이미지가 3 차원 공간에서의 강체 변환 파라미터 및 투영 모델 파라미터를 동시에 기록한다.

단계 S72b에 있어서, 3 차원 이미지가 공간에서의 초기 위치 및 투영 모델 파라미터에 따라, DRR 이미지를 생성한다.

생성된 DRR 이미지는 정합을 보조하기 위한 것이다. DRR 이미지에서 정합될 타깃의 형성된 이미지에 따라, 3 차원 이미지의 정합될 타깃 내부 또는 에지의 복수 개의 특징 포인트를 선택하고 3 차원 이미지에서의 위치를 기록하여, 특징 포인트가 투영된 후 DRR 이미지에서 모두 이미징되도록 한다. 투영 모델, 3 차원 이미지가 공간에서의 위치 및 포즈에 따라, 특징 포인트가 DRR 이미지 및 가상 2 차원 이미지에서의 위치를 얻을 수 있다.

단계 S73b에 있어서, 각각 가상 2 차원 이미지 및 DRR 이미지에 대해 특징 추출을 수행하는 것을 통해, DRR 이미지 중 특징 포인트가 가상 2 차원 이미지에서의 특징 포인트 투영 좌표를 결정한다.

각각 가상 2 차원 이미지 특징 추출 네트워크 및 DDR 이미지 특징 추출 네트워크를 통해, 가상 2 차원 이미지의 특징맵 및 DDR 이미지의 특징맵을 추출한다. 도 7c에 도시된 바와 같이, 복수 개의 DRR 이미지(71c)를 DRR 이미지 특징 추출 네트워크(72c)에 입력하고, 네트워크 가장 꼭대기 층은 DRR 사이즈와 일치하며, 특징 차원수는 가상 X 선의 특징 차원수와 일치한 특징맵을 출력하며; 복수 개의 가상 X 선 이미지(74c)를 가상 X 선 특징 추출 네트워크(75c)에 입력하고, 네트워크 가장 꼭대기 층은 가상 이미지와 사이즈가 일치하고, 복수 차원의 특징을 포함하는 특징맵을 출력하며; 특징 포인트가 DRR 이미지에서의 위치에 따라, 특징맵 중 대응되는 위치의 특징 벡터를 추출하고, 가상 X 선의 특징 벡터를 비교하여, 특징 포인트가 가상 X 선 이미지에서의 시각 1 특징 포인트 투영 좌표(73c)를 얻는다. 이로써 복수 시각 이미지를 상기 단계에 따라 수행하여 특징 포인트가 복수 개의 시각 가상 X 선 이미지에서의 위치를 얻는다.

특징 포인트 네트워크 예측 2 차원 투영 좌표 및 참값 차이, 특징 포인트 네트워크 예측 3 차원 좌표 및 참값 차이에 따라, 가상 X 선 특징 추출 네트워크 및 DRR 이미지 특징 추출 네트워크에 대해 역방향 전파 훈련을 수행한다.

단계 S74b에 있어서, 투영 모델 파라미터 및 가상 2 차원 이미지에서의 특징 포인트 투영 좌표에 따라, 가상 2 차원 이미지 및 DDR 이미지의 정합 결과를 결정한다.

투영 모델 파라미터에 따라, 가상 2 차원 이미지에서의 특징 포인트 투영 좌표에 의해 특징 포인트의 3 차원 좌표가 얻어진다. 특징 포인트 세트가 초기 위치에서의 3 차원 좌표 및 가상 2 차원 이미지에 의해 얻은 3 차원 좌표에 따라, 초기 위치로부터 진실 위치의 강체 변환 파라미터, 즉 가상 2 차원 이미지 및 DDR 이미지의 정합 결과를 계산하여 얻는다.

단계 S75b에 있어서, 정합 결과에 따라, 진실 2 차원 이미지 특징 추출 네트워크를 훈련한다.

먼저 가상 데이터를 사용하여 훈련한 다음, 가상 데이터의 결과를 사용하여 진실 데이터 훈련을 감독한다. 훈련 중, 단계 S73b에서 훈련되어 얻은 네트워크 파라미터를 유지하고, 진실 2 차원 이미지 특징 추출 네트워크를 구축한다. 기지된 정합 결과에 따라, 정합될 타깃 위치와 진실 2 차원 이미지가 완전히 일치하는 가상 2 차원 이미지를 생성할 수 있다.

도 7d에 도시된 바와 같이, 진실 X 선 이미지 특징 추출 네트워크의 훈련 과정을 예로 들면, 진실 X 선 이미지(72d)를 진실 X 선 이미지 특징 추출 네트워크(75d)에 입력하고; 이에 대응되는 가상 X 선 이미지(73d)를 단계 S73b에서 형성된 가상 X 선 이미지 특징 추출 네트워크(77d)에 입력하며; 두 개의 네트워크 중간 층의 출력의 차이를 계산하여, 진실 X 선 이미지 특징 추출 네트워크(75d)의 훈련을 역방향 전파로 수행한다. 복수 회 훈련한 후, 특징 오차(78d) 및 정합 오차(76d)를 사용하여 진실 X 선 이미지 특징 추출 네트워크(75d)를 함께 훈련하는 동시에, DRR 이미지(71d)를 이용하여 DRR 이미지 특징 추출 네트워크(74d)를 훈련한다.

본 발명의 실시예는 2 차원-3 차원 이미지 정합 방법을 구현하고, 상기 방법은 3 차원 이미지와 복수 개의 비고정적인 시각의 2 차원 이미지의 쾌속 정합을 구현할 수 있다. 딥 러닝 기술을 사용하여 2 차원-3 차원 이미지 정합을 수행하여, 속도가 빠르다.

본 발명의 실시예는 정합 네트워크의 훈련 방법을 제공하고, 상기 방법은 정합 네트워크가 훈련 데이터가 비교적 적을 경우의 정합 정밀도를 향상시킬 수 있고, 훈련 데이터양이 적은 경우에서 적용될 수 있으며, 딥러닝에 기반한 정합 방법이 스몰 데이터에서 적용하기 어려운 문제를 완화한다.

본 발명의 실시예에서 제공한 메시 구조는 진실 이미지 및 정합 보조 이미지를 각각 처리하고, 단일 네트워크가 모든 시각을 처리한느 경우는, 임의의 각도로 촬영된 2 차원 이미지에 적용될 수 있다.

본 발명의 실시예는 수술 내비에 적용될 수 있다. 응시자가 수술하기 전 무릎 관절의 CT 이미지를 촬영하고, 수술 중 X 선 이미지를 실시간으로 촬영하며, 촬영할 경우 기계의 배치 위치및 촬영 각도는 비고정적일 수 있으며, 본 기술을 통해 CT 이미지와 X 선 이미지를 신속하게 정합하여, 응시자 골격의 위치 포즈를 비침입식으로 획득하고 재구축하여, 수술 내비 시스템에 융합하여 증강 현실의 디스플레이를 구현한다.

도 8을 참조하면, 도 8은 본 발명의 실시예의 이미지 정합 모델의 훈련 장치 실시예의 아키텍처 예시도이다. 상기 훈련 장치(80)는 제1 획득 모듈(81), 제1 특징 추출 모듈(82), 제2 특징 추출 모듈(83) 및 제1 조정 모듈(84)을 포함한다.

제1 획득 모듈(81)은, 진실 2 차원 이미지 및 기준 2 차원 이미지를 획득하도록 구성되고, 여기서, 진실 2 차원 이미지는 이미징 소재를 이용하여 진실 타깃을 이미징하여 얻은 것이고, 기준 2 차원 이미지에서의 진실 타깃이 위치하는 위치는 진실 2 차원 이미지와 매칭된다. 제1 특징 추출 모듈(82)은, 이미지 정합 모델의 가상 이미지 특징 추출 네트워크를 이용하여 기준 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 가상 특징맵을 얻도록 구성되며; 여기서, 이미지 정합 모델은 가상 이미지를 이용하여 사전 훈련되고, 가상 이미지 특징 추출 네트워크는 사전 훈련에 참여하며, 가상 이미지는 가상 타깃에 기반하여 생성된 것이다. 제2 특징 추출 모듈(83)은, 이미지 정합 모델의 진실 이미지 특징 추출 네트워크를 이용하여 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 진실 특징맵을 얻도록 구성되며; 여기서, 진실 이미지 특징 추출 네트워크는 사전 훈련에 참여하지 않는다. 제1 조정 모듈(84)은, 제1 진실 특징맵 및 제1 가상 특징맵 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하도록 구성된다.

제1 획득 모듈(81)은 기준 2 차원 이미지를 획득하도록 구성되고, 또한, 진실 2 차원 이미지와 진실 3 차원 이미지 사이의 실제 정합 결과를 이용하여, 진실 타깃이 위치하는 위치가 진실 2 차원 이미지와 일치하는 기준 2 차원 이미지를 생성하도록 구성된다.

훈련 장치(80)는 제3 특징 추출 예측 모듈 및 제2 조정 모듈을 더 포함한다. 제1 조정 모듈(84)이 제1 진실 특징맵 및 제1 가상 특징맵 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정한 후, 제3 특징 추출 예측 모듈은 조정된 진실 이미지 특징 추출 네트워크를 이용하여 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 제2 진실 특징맵을 얻고; 진실 2 차원 이미지의 제1 투영 모델 파라미터를 이용하여 진실 3 차원 이미지를 투영하여, 제1 투영 이미지를 얻고, 진실 타깃에서의 특징 포인트가 제1 투영 이미지에서의 제1 실제 2 차원 위치를 획득하며; 투영 이미지 특징 추출 네트워크를 이용하여 제1 투영 이미지에 대해 특징 추출을 수행하여, 제1 투영 특징맵을 얻으며; 위치 예측 네트워크를 이용하여, 제1 투영 특징맵에서 제1 실제 2 차원 위치에 대응되는 제1 투영 특징 위치를 결정하고, 제2 진실 특징맵에서 제1 투영 특징맵에서의 제1 투영 특징 위치에 대응되는 진실 특징 위치를 찾으며, 진실 특징 위치를 이용하여 진실 타깃에서의 특징 포인트가 진실 2 차원 이미지에서의 제1 예측 2 차원 위치를 얻으며; 제1 예측 2 차원 위치를 이용하여, 진실 2 차원 이미지와 진실 3 차원 이미지의 예측 정합 결과를 획득하도록 구성된다. 제2 조정 모듈은 실제 정합 결과 및 예측 정합 결과 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크, 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크에서의 적어도 하나의 네트워크의 네트워크 파라미터를 조정하도록 구성된다.

제2 조정 모듈은 실제 정합 결과 및 예측 정합 결과 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하도록 구성되고, 또한 제2 진실 특징맵 및 제1 가상 특징맵 사이의 차이, 실제 정합 결과 및 예측 정합 결과 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하도록 구성된다.

훈련 장치(80)는 사전 훈련 모듈을 더 포함한다. 사전 훈련 모듈은, 적어도 한 그룹의 가상 2 차원 이미지 및 제2 투영 이미지를 획득하고, 가상 타깃에서의 특징 포인트가 각각 가상 2 차원 이미지에서의 제2 실제 2 차원 위치 및 제2 투영 이미지에서의 제3 실제 2 차원 위치를 획득하는 단계 - 가상 2 차원 이미지는 가상 타깃에 대해 시뮬레이션 이미징을 수행하여 얻은 것이고, 제2 투영 이미지는 가상 타깃에 대해 시뮬레이션 투영을 수행하여 얻은 것임 - ; 각 그룹의 가상 2 차원 이미지, 제2 투영 이미지 및 제3 실제 2 차원 위치를 이미지 정합 모델에 입력하여, 가상 타깃에서의 특징 포인트가 가상 2 차원 이미지에서의 제2 예측 2 차원 위치를 얻는 단계; 및 제2 실제 2 차원 위치 및 제2 예측 2 차원 위치에 기반하여, 이미지 정합 모델의 네트워크 파라미터를 조정하는 단계를 실행하여, 이미지 정합 모델을 사전 훈련하도록 구성된다.

사전 훈련 모듈은 각 그룹의 가상 2 차원 이미지, 제2 투영 이미지 및 제3 실제 2 차원 위치를 이미지 정합 모델에 입력하여, 가상 타깃에서의 특징 포인트가 가상 2 차원 이미지에서의 제2 예측 2 차원 위치를 얻도록 구성되고, 또한, 이미지 정합 모델의 투영 이미지 특징 추출 네트워크를 이용하여 제2 투영 이미지에 대해 특징 추출을 수행하여, 제2 투영 특징맵을 얻고; 가상 이미지 특징 추출 네트워크를 이용하여 가상 2 차원 이미지에 대해 특징 추출을 수행하여, 제2 가상 특징맵을 얻으며; 이미지 정합 모델의 위치 예측 네트워크를 이용하여, 제2 투영 특징맵에서 제3 실제2 차원 위치에 대응되는 제2 투영 특징 위치를 결정하고, 제2 가상 특징맵에서 제2 투영 특징맵에서의 제2 투영 특징 위치에 대응되는 가상 특징 위치를 찾으며, 가상 특징 위치를 이용하여 제2 예측 2 차원 위치를 얻도록 구성된다. 사전 훈련 모듈은 제2 실제 2 차원 위치 및 제2 예측 2 차원 위치에 기반하여, 이미지 정합 모델의 네트워크 파라미터를 조정하도록 구성되고, 또한 제2 실제 2 차원 위치 및 제2 예측 2 차원 위치에 기반하여, 가상 이미지 특징 추출 네트워크, 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크의 네트워크 파라미터를 조정하도록 구성된다.

제3 특징 추출 예측 모듈은 제2 진실 특징맵에서 제1 투영 특징맵에서의 제1 투영 특징 위치에 대응되는 진실 특징 위치를 찾도록 구성되고, 또한, 투영 특징맵에서 투영 특징 위치에 위치하는 제1 특징 정보를 찾고; 가상 특징맵 또는 진실 특징맵에서, 제1 특징 정보 사이와의 유사도가 기설정된 유사 조건을 만족하는 제2 특징 정보를 검색하며; 제2 특징 정보가 가상 특징맵에서의 가상 특징 위치 또는 진실 특징맵에서의 진실 특징 위치를 획득하도록 구성된다.

사전 훈련 모듈은 제2 가상 특징맵에서 제2 투영 특징맵에서의 제2 투영 특징 위치에 대응되는 가상 특징 위치를 찾도록 구성되고, 또한, 투영 특징맵에서 투영 특징 위치에 위치하는 제1 특징 정보를 찾고; 가상 특징맵 또는 진실 특징맵에서, 제1 특징 정보 사이와의 유사도가 기설정된 유사 조건을 만족하는 제2 특징 정보를 검색하며; 제2 특징 정보가 가상 특징맵에서의 가상 특징 위치 또는 진실 특징맵에서의 진실 특징 위치를 획득하도록 구성된다.

각 그룹의 가상 2 차원 이미지 및 제2 투영 이미지는 동일한 제2 투영 모델 파라미터를 이용하여 기설정된 포즈 하의 가상 타깃에 대해 시뮬레이션 이미징을 수행하여 얻은 가상 2 차원 이미지, 및 동일한 제2 투영 모델 파라미터를 이용하여 기준 포즈 하의 가상 타깃에 대해 시뮬레이션 투영을 수행하여 얻은 제2 투영 이미지를 포함하고; 여기서, 상이한 그룹의 가상 2 차원 이미지와 제2 투영 이미지에 대응되는 제2 투영 모델 파라미터 및 기설정된 포즈 중 적어도 하나는 상이하다.

사전 훈련 모듈은, 동일한 기설정된 포즈에 대응되는 복수 개의 가상 2 차원 이미지의 제2 예측 2 차원 위치를 이용하여, 특징 포인트의 예측 3 차원 위치를 결정하는 단계; 및 특징 포인트의 예측 3 차원 위치와 실제 3 차원 위치 사이의 차이를 이용하여, 이미지 정합 모델의 네트워크 파라미터를 조정하는 단계를 수행하여, 이미지 정합 모델에 대해 사전 훈련을 수행하도록 구성된다.

사전 훈련 모듈은 각 그룹의 가상 2 차원 이미지 및 제2 투영 이미지를 획득하도록 구성되고, 또한, 동일한 제2 투영 모델 파라미터로 기설정된 포즈인 가상 타깃에 대해 시뮬레이션 이미징을 수행하여, 가상 2 차원 이미지를 얻고, 제2 투영 모델 파라미터 및 기설정된 포즈의 가상 타깃이 기준 포즈에 대한 강체 변환 파라미터를 기록하며; 동일한 제2 투영 모델 파라미터로 기준 포즈인 가상 타깃에 대해 시뮬레이션 투영을 수행하여, 제2 투영 이미지를 얻도록 구성된다. 사전 훈련 모듈은 가상 타깃에서의 특징 포인트가 각각 가상 2 차원 이미지에서의 제2 실제 2 차원 위치 및 제2 투영 이미지에서의 제3 실제 2 차원 위치를 획득하도록 구성되고, 또한, 기준 포즈인 가상 타깃에서의 적어도 하나의 특징 포인트를 결정하고; 가상 2 차원 이미지에 대응되는 제2 투영 모델 파라미터 및 강체 변환 파라미터를 이용하여, 특징 포인트가 가상 2 차원 이미지에서의 제2 실제 2 차원 위치를 결정하며; 제2 투영 이미지에 대응되는 제2 투영 모델 파라미터를 이용하여, 특징 포인트가 제2 투영 이미지에서의 제3 실제 2 차원 위치를 결정하도록 구성된다.

사전 훈련 모듈은 기준 포즈인 가상 타깃에서의 적어도 하나의 특징 포인트를 결정하도록 구성되고, 또한, 기준 포즈에서의 가상 타깃에서, 적어도 하나의 특징 포인트를 랜덤으로 선택하거나; 제2 투영 이미지에서 가상 타깃에 대응되는 타깃 영역을 식별하고, 타깃 영역의 내부 또는 에지에서 적어도 하나의 투영 포인트를 선택하며, 제2 투영 이미지의 제2 투영 모델 파라미터를 이용하여, 적어도 하나의 투영 포인트를 3 차원 공간에 투영하여, 가상 타깃에서의 적어도 하나의 특징 포인트를 얻도록 구성된다.

도 9를 참조하면, 도 9는 본 발명의 실시예의 이미지 정합 장치 실시예의 아키텍처 예시도이다. 상기 이미지 정합 장치(90)는 제2 획득 모듈(91), 투영 모듈(92), 예측 모듈(93) 및 정합 모듈(94)을 포함한다. 제2 획득 모듈(91)은, 각각 타깃에 대해 이미징을 수행하여 얻은 2 차원 이미지 및 3 차원 이미지를 획득하도록 구성되고; 투영 모듈(92)은 2 차원 이미지의 투영 모델 파라미터를 이용하여 3 차원 이미지를 투영하여, 투영 이미지를 얻도록 구성되며; 예측 모듈(93)은 이미지 정합 모델을 이용하여 2 차원 이미지 및 투영 이미지를 처리하여, 타깃에서의 특징 포인트가 2 차원 이미지에서의 2 차원 위치를 얻도록 구성되며; 정합 모듈(94)은 2 차원 위치를 이용하여, 2 차원 이미지와 3 차원 이미지 사이의 정합 결과를 획득하도록 구성되며; 여기서, 이미지 정합 모델은 상기 이미지 정합 모델의 훈련 장치에 의해 훈련되어 얻은 것이다.

본 발명의 일부 실시예에 있어서, 상기 정합 모듈(94)은 또한 투영 모델 파라미터를 이용하여 2 차원 위치를 3 차원 공간에 투영하여, 특징 포인트의 제1 3 차원 위치를 얻도록 구성될 수 있다. 상기 정합 모듈(94)은 또한 진실 타깃에서의 특징 포인트가 3 차원 이미지에서의 제2 3 차원 위치를 획득하도록 구성될 수 있다. 상기 정합 모듈(94)은 또한 제1 3 차원 위치 및 제2 3 차원 위치를 이용하여, 2 차원 이미지가 3 차원 이미지에 대한 정합 결과를 출력하도록 구성될 수 있다.

도 10을 참조하면, 도 10은 본 발명의 실시예의 이미지 정합 기기 실시예의 구조 예시 블록도이다. 상기 이미지 정합 기기는 프로세서(101) 및 프로세서와 커플링된 메모리(102)를 포함한다. 프로세서(101)는 메모리(102)에 저장된 컴퓨터 프로그램을 실행하여, 상기 이미지 정합 모델의 훈련 방법, 또는 이미지 정합 방법을 실행하도록 구성된다.

도 11을 참조하면, 도 11은 본 발명의 실시예의 저장 장치 실시형태의 아키텍처 예시도이다. 상기 저장 장치(110)는 컴퓨터 프로그램을 저장하고, 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 상기 어느 한 실시예에서 이득 조정 방법의 단계를 구현할 수 있다. 상기 컴퓨터 판독 가능한 저장 매체 저장 장치는 U 디스크, 하드 디스크, 판독 전용 메모리(Read Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 컴퓨터 프로그램을 저장할 수 있는 매체일 수 있고, 또는 상기 컴퓨터 프로그램이 저장된 서버일 수도 있으며, 상기 서버는 저장된 컴퓨터 프로그램을 다른 기기에 송신하여 작동할 수 있거나, 상기 저장된 컴퓨터 프로그램을 자체적으로 작동할 수도 있다.

본 발명의 실시예는 컴퓨터 프로그램 제품을 더 제공하고, 상기 컴퓨터 프로그램 제품은 컴퓨터 명령어가 저장되며, 상기 프로그램 명령어는 프로세서에 의해 로딩되고 상기 타깃 데이터 업데이트 방법 실시예에서의 단계를 실행한다.

이해할 수 있는 것은, 본 발명의 실시예에서 제공한 실시예에서, 모든 실시예는 충돌되지 않고, 서로 결합될 수 있다. 본 발명의 실시예에서 제공된 몇 개의 실시예에 있어서, 개시된 방법 및 장치는 다른 방식으로 구현될 수 있음을 이해해야 한다. 예를 들어, 전술된 장치 실시형태는 다만 예시적이며, 예를 들어, 모듈 또는 유닛에 대한 분할은 다만 논리적 기능 분할이고, 실제로 구현될 경우 다른 분할 방식이 있을 수 있으며, 예를 들어 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 나타내거나 논의된 상호간의 결합 또는 직접 결합 또는 통신 연결은, 일부 인터페이스를 통해 구현되며, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결은, 전기, 기계 또는 다른 형태일 수 있다.

분리 부재로서 설명된 유닛은, 물리적으로 분리된 것이거나 아닐 수 있고, 유닛으로서 나타낸 부재는 물리적 유닛이거나 아닐 수 있고, 즉 한 곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시형태 방안의 목적을 구현할 수 있다. 또한, 본 발명의 실시예의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 독립적인 물리적 존재일 수도 있고, 두 개 또는 두 개 이상의 유닛이 한 유닛에 통합될 수도 있다. 상기 통합된 유닛은 하드웨어의 형태를 사용하여 구현될 수 있으며, 소프트웨어 기능 유닛의 형태를 사용하여 구현될 수도 있다.

통합된 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로 판매되거나 사용되는 경우 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 실시예의 기술 방안, 즉 종래 기술에 기여하는 부분 또는 상기 기술 방안의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음) 또는 프로세서(processor)로 하여금 본 발명의 실시예의 각 실시형태의 상기 방법의 전부 또는 일부 단계를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는, USB 디스크, 모바일 하드 디스크, 판독 전용 메모리, 랜덤 액세스 메모리, 자기 디스크 또는 광 디스크 등과 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

본 발명의 실시예에서는 진실 2 차원 이미지 및 기준 2 차원 이미지를 획득하고, 이미지 정합 모델의 가상 이미지 특징 추출 네트워크를 이용하여 기준 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 가상 특징맵을 얻으며; 여기서, 이미지 정합 모델은 가상 이미지를 이용하여 사전 훈련되고, 가상 이미지 특징 추출 네트워크는 사전 훈련에 참여하며, 가상 이미지는 가상 타깃에 기반하여 생성된 것이며; 이미지 정합 모델의 진실 이미지 특징 추출 네트워크를 이용하여 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 진실 특징맵을 얻으며; 여기서, 진실 이미지 특징 추출 네트워크는 사전 훈련에 참여하지 않으며; 제1 진실 특징맵 및 제1 가상 특징맵 사이의 차이를 이용하여, 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정한다. 상기 방법을 통해, 이미지 정합 모델의 훈련 효과를 향상시키고 훈련 비용을 감소시킨다.

Claims (30)

1. 이미지 정합 모델의 훈련 방법으로서,
   진실 2 차원 이미지 및 기준 2 차원 이미지를 획득하는 단계 - 진실 2 차원 이미지는 이미징 소재를 이용하여 진실 타깃을 이미징하여 얻은 것이고, 상기 기준 2 차원 이미지에서의 진실 타깃이 위치하는 위치는 상기 진실 2 차원 이미지에 매칭됨 - ;
   상기 이미지 정합 모델의 가상 이미지 특징 추출 네트워크를 이용하여 상기 기준 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 가상 특징맵을 얻는 단계 - 상기 이미지 정합 모델은 가상 이미지를 이용하여 사전 훈련되고, 상기 가상 이미지 특징 추출 네트워크는 상기 사전 훈련에 참여하며, 상기 가상 이미지는 가상 타깃에 기반하여 생성된 것임 - ;
   상기 이미지 정합 모델의 진실 이미지 특징 추출 네트워크를 이용하여 상기 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 진실 특징맵을 얻는 단계 - 상기 진실 이미지 특징 추출 네트워크는 상기 사전 훈련에 참여하지 않음 - ; 및
   상기 제1 진실 특징맵 및 상기 제1 가상 특징맵 사이의 차이를 이용하여, 상기 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하는 단계를 포함하는 것을 특징으로 하는 이미지 정합 모델의 훈련 방법.
2. 제1항에 있어서,
   상기 기준 2 차원 이미지를 획득하는 단계는,
   상기 진실 2 차원 이미지와 진실 3 차원 이미지 사이의 실제 정합 결과를 이용하여, 상기 진실 타깃이 위치하는 위치가 상기 진실 2 차원 이미지와 일치하는 기준 2 차원 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 이미지 정합 모델의 훈련 방법.
3. 제2항에 있어서,
   상기 이미지 정합 모델은 상기 사전 훈련에 참여한 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크를 더 포함하고;
   상기 제1 진실 특징맵 및 상기 제1 가상 특징맵 사이의 차이를 이용하여, 상기 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하는 단계 이후, 상기 이미지 정합 모델의 훈련 방법은,
   조정된 상기 진실 이미지 특징 추출 네트워크를 이용하여 상기 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 제2 진실 특징맵을 얻는 단계;
   상기 진실 2 차원 이미지의 제1 투영 모델 파라미터를 이용하여 진실 3 차원 이미지를 투영하여, 제1 투영 이미지를 얻고, 상기 진실 타깃에서의 특징 포인트가 상기 제1 투영 이미지에서의 제1 실제 2 차원 위치를 획득하는 단계;
   상기 투영 이미지 특징 추출 네트워크를 이용하여 상기 제1 투영 이미지에 대해 특징 추출을 수행하여, 제1 투영 특징맵을 얻는 단계;
   상기 위치 예측 네트워크를 이용하여, 상기 제1 투영 특징맵에서 상기 제1 실제 2 차원 위치에 대응되는 제1 투영 특징 위치를 결정하고, 상기 제2 진실 특징맵에서 상기 제1 투영 특징맵에서의 상기 제1 투영 특징 위치에 대응되는 진실 특징 위치를 찾으며, 상기 진실 특징 위치를 이용하여 상기 진실 타깃에서의 특징 포인트가 상기 진실 2 차원 이미지에서의 제1 예측 2 차원 위치를 얻는 단계;
   상기 제1 예측 2 차원 위치를 이용하여, 상기 진실 2 차원 이미지와 상기 진실 3 차원 이미지의 예측 정합 결과를 획득하는 단계; 및
   상기 실제 정합 결과 및 상기 예측 정합 결과 사이의 차이를 이용하여, 상기 진실 이미지 특징 추출 네트워크, 투영 이미지 특징 추출 네트워크 및 위치 예측 네트워크에서의 적어도 하나의 네트워크의 네트워크 파라미터를 조정하는 단계를 포함하는 것을 특징으로 하는 이미지 정합 모델의 훈련 방법.
4. 제3항에 있어서,
   상기 실제 정합 결과 및 상기 예측 정합 결과 사이의 차이를 이용하여, 상기 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하는 단계는,
   상기 제2 진실 특징맵 및 상기 제1 가상 특징맵 사이의 차이, 상기 실제 정합 결과 및 상기 예측 정합 결과 사이의 차이를 이용하여, 상기 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하는 단계를 포함하는 것을 특징으로 하는 이미지 정합 모델의 훈련 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 이미지 정합 모델의 훈련 방법은,
   적어도 한 그룹의 가상 2 차원 이미지 및 제2 투영 이미지를 획득하고, 상기 가상 타깃에서의 특징 포인트가 각각 상기 가상 2 차원 이미지에서의 제2 실제 2 차원 위치 및 상기 제2 투영 이미지에서의 제3 실제 2 차원 위치를 획득하는 단계 - 상기 가상 2 차원 이미지는 상기 가상 타깃에 대해 시뮬레이션 이미징을 수행하여 얻은 것이고, 상기 제2 투영 이미지는 상기 가상 타깃에 대해 시뮬레이션 투영을 수행하여 얻은 것임 - ;
   각 그룹의 상기 가상 2 차원 이미지, 상기 제2 투영 이미지 및 상기 제3 실제 2 차원 위치를 상기 이미지 정합 모델에 입력하여, 상기 가상 타깃에서의 특징 포인트가 상기 가상 2 차원 이미지에서의 제2 예측 2 차원 위치를 얻는 단계; 및
   상기 제2 실제 2 차원 위치 및 상기 제2 예측 2 차원 위치에 기반하여, 상기 이미지 정합 모델의 네트워크 파라미터를 조정하는 단계를 더 포함하여, 상기 이미지 정합 모델을 사전 훈련하는 것을 특징으로 하는 이미지 정합 모델의 훈련 방법.
6. 제5항에 있어서,
   상기 각 그룹의 상기 가상 2 차원 이미지, 상기 제2 투영 이미지 및 상기 제3 실제 2 차원 위치를 상기 이미지 정합 모델에 입력하여, 상기 가상 타깃에서의 특징 포인트가 상기 가상 2 차원 이미지에서의 제2 예측 2 차원 위치를 얻는 단계는,
   상기 이미지 정합 모델의 투영 이미지 특징 추출 네트워크를 이용하여 상기 제2 투영 이미지에 대해 특징 추출을 수행하여, 제2 투영 특징맵을 얻는 단계;
   상기 가상 이미지 특징 추출 네트워크를 이용하여 상기 가상 2 차원 이미지에 대해 특징 추출을 수행하여, 제2 가상 특징맵을 얻는 단계; 및
   상기 이미지 정합 모델의 위치 예측 네트워크를 이용하여, 상기 제2 투영 특징맵에서 상기 제3 실제 2 차원 위치에 대응되는 제2 투영 특징 위치를 결정하고, 상기 제2 가상 특징맵에서 상기 제2 투영 특징맵에서의 상기 제2 투영 특징 위치에 대응되는 가상 특징 위치를 찾으며, 상기 가상 특징 위치를 이용하여 상기 제2 예측 2 차원 위치를 얻는 단계를 포함하고;
   상기 제2 실제 2 차원 위치 및 상기 제2 예측 2 차원 위치에 기반하여, 상기 이미지 정합 모델의 네트워크 파라미터를 조정하는 단계는,
   상기 제2 실제 2 차원 위치 및 상기 제2 예측 2 차원 위치에 기반하여, 상기 가상 이미지 특징 추출 네트워크, 상기 투영 이미지 특징 추출 네트워크 및 상기 위치 예측 네트워크의 네트워크 파라미터를 조정하는 단계를 포함하는 것을 특징으로 하는 이미지 정합 모델의 훈련 방법.
7. 제3항에 있어서,
   상기 제2 진실 특징맵에서 상기 제1 투영 특징맵에서의 상기 제1 투영 특징 위치에 대응되는 진실 특징 위치를 찾는 단계는,
   상기 제1 투영 특징맵에서 상기 제1 투영 특징 위치에 위치하는 제1 특징 정보를 찾는 단계;
   상기 제2 진실 특징맵에서, 상기 제1 특징 정보 사이의 유사도가 기설정된 유사 조건을 만족하는 제2 특징 정보를 검색하는 단계; 및
   상기 제2 특징 정보가 상기 제2 진실 특징맵에서의 진실 특징 위치를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 정합 모델의 훈련 방법.
8. 제6항에 있어서,
   상기 제2 가상 특징맵에서 상기 제2 투영 특징맵에서의 상기 제2 투영 특징 위치에 대응되는 가상 특징 위치를 찾는 단계는,
   상기 제2 투영 특징맵에서 상기 제2 투영 특징 위치에 위치하는 제1 특징 정보를 찾는 단계;
   상기 제2 가상 특징맵에서, 상기 제1 특징 정보 사이의 유사도가 기설정된 유사 조건을 만족하는 제2 특징 정보를 검색하는 단계; 및
   상기 제2 특징 정보가 상기 제2 가상 특징맵에서의 가상 특징 위치를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 정합 모델의 훈련 방법.
9. 제5항에 있어서,
   각 그룹의 상기 가상 2 차원 이미지 및 상기 제2 투영 이미지는 동일한 제2 투영 모델 파라미터를 이용하여 기설정된 포즈 하에서의 상기 가상 타깃에 대해 시뮬레이션 이미징을 수행하여 얻은 가상 2 차원 이미지, 및 동일한 상기 제2 투영 모델 파라미터를 이용하여 기준 포즈 하에서의 상기 가상 타깃에 대해 시뮬레이션 투영을 수행하여 얻은 제2 투영 이미지를 포함하고; 상이한 그룹의 상기 가상 2 차원 이미지와 상기 제2 투영 이미지에 대응되는 상기 제2 투영 모델 파라미터 및 상기 기설정된 포즈 중 적어도 하나는 상이한 것을 특징으로 하는 이미지 정합 모델의 훈련 방법.
10. 제9항에 있어서,
    상기 이미지 정합 모델의 훈련 방법은,
    동일한 상기 기설정된 포즈에 대응되는 복수 개의 가상 2 차원 이미지의 제2 예측 2 차원 위치를 이용하여, 상기 가상 타깃에서의 특징 포인트의 예측 3 차원 위치를 결정하는 단계; 및
    상기 가상 타깃에서의 특징 포인트의 예측 3 차원 위치와 실제 3 차원 위치 사이의 차이를 이용하여, 상기 이미지 정합 모델의 네트워크 파라미터를 조정하는 단계를 더 포함하여, 상기 이미지 정합 모델을 사전 훈련하는 것을 특징으로 하는 이미지 정합 모델의 훈련 방법.
11. 제9항에 있어서,
    각 그룹의 상기 가상 2 차원 이미지 및 제2 투영 이미지를 획득하는 단계는,
    동일한 상기 제2 투영 모델 파라미터로 기설정된 포즈인 상기 가상 타깃에 대해 시뮬레이션 이미징을 수행하여, 상기 가상 2 차원 이미지를 얻고, 상기 제2 투영 모델 파라미터 및 상기 기설정된 포즈의 가상 타깃이 기준 포즈에 대한 강체 변환 파라미터를 기록하는 단계; 및
    동일한 상기 제2 투영 모델 파라미터로 상기 기준 포즈인 상기 가상 타깃에 대해 시뮬레이션 투영을 수행하여, 상기 제2 투영 이미지를 얻는 단계를 포함하고;
    상기 가상 타깃에서의 특징 포인트가 각각 상기 가상 2 차원 이미지에서의 제2 실제 2 차원 위치 및 상기 제2 투영 이미지에서의 제3 실제 2 차원 위치를 획득하는 단계는,
    상기 기준 포즈인 상기 가상 타깃에서의 적어도 하나의 특징 포인트를 결정하는 단계;
    상기 가상 2 차원 이미지에 대응되는 상기 제2 투영 모델 파라미터 및 상기 강체 변환 파라미터를 이용하여, 각 상기 특징 포인트가 상기 가상 2 차원 이미지에서의 제2 실제 2 차원 위치를 결정하는 단계; 및, 상기 제2 투영 이미지에 대응되는 상기 제2 투영 모델 파라미터를 이용하여, 각 상기 특징 포인트가 상기 제2 투영 이미지에서의 제3 실제 2 차원 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 정합 모델의 훈련 방법.
12. 제11항에 있어서,
    상기 기준 포즈인 상기 가상 타깃에서의 적어도 하나의 특징 포인트를 결정하는 단계는,
    상기 기준 포즈인 가상 타깃에서, 적어도 하나의 특징 포인트를 랜덤으로 선택하는 단계; 또는
    상기 제2 투영 이미지 중 상기 가상 타깃에 대응되는 타깃 영역을 식별하고, 상기 타깃 영역의 내부 또는 에지에서 적어도 하나의 투영 포인트를 선택하며, 상기 제2 투영 이미지의 상기 제2 투영 모델 파라미터를 이용하여, 상기 적어도 하나의 투영 포인트를 3 차원 공간에 투영하여, 상기 가상 타깃에서의 적어도 하나의 특징 포인트를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 정합 모델의 훈련 방법.
13. 이미지 정합 방법으로서,
    각각 진실 타깃에 대해 이미징을 수행하여 얻은 2 차원 이미지 및 3 차원 이미지를 획득하는 단계;
    상기 2 차원 이미지의 투영 모델 파라미터를 이용하여 상기 3 차원 이미지를 투영하여, 투영 이미지를 얻는 단계;
    이미지 정합 모델을 이용하여 상기 2 차원 이미지 및 상기 투영 이미지를 처리하여, 상기 진실 타깃에서의 특징 포인트가 상기 2 차원 이미지에서의 2 차원 위치를 얻는 단계; 및
    상기 2 차원 위치를 이용하여, 상기 2 차원 이미지와 상기 3 차원 이미지 사이의 정합 결과를 획득하는 단계를 포함하고;
    상기 이미지 정합 모델은 제1항에 따른 이미지 정합 모델의 훈련 방법에 의해 훈련되어 얻은 것임을 특징으로 하는 이미지 정합 방법.
14. 제13항에 있어서,
    상기 2 차원 위치를 이용하여, 상기 2 차원 이미지와 상기 3 차원 이미지 사이의 정합 결과를 획득하는 단계는,
    상기 투영 모델 파라미터를 이용하여 상기 2 차원 위치를 3 차원 공간에 투영하여, 상기 진실 타깃에서의 특징 포인트의 제1 3 차원 위치를 얻는 단계;
    상기 진실 타깃에서의 특징 포인트가 상기 3 차원 이미지에서의 제2 3 차원 위치를 획득하는 단계; 및
    상기 제1 3 차원 위치 및 상기 제2 3 차원 위치를 이용하여, 상기 2 차원 이미지가 상기 3 차원 이미지 사이에 대한 정합 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 정합 방법.
15. 이미지 정합 모델의 훈련 장치로서,
    진실 2 차원 이미지 및 기준 2 차원 이미지를 획득하도록 구성된 제1 획득 모듈 - 상기 진실 2 차원 이미지는 이미징 소재를 이용하여 진실 타깃을 이미징하여 얻은 것이고, 상기 기준 2 차원 이미지에서의 진실 타깃이 위치하는 위치는 상기 진실 2 차원 이미지에 매칭됨 - ;
    상기 이미지 정합 모델의 가상 이미지 특징 추출 네트워크를 이용하여 상기 기준 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 가상 특징맵을 얻도록 구성된 제1 특징 추출 모듈 - 상기 이미지 정합 모델은 가상 이미지를 이용하여 사전 훈련되고, 상기 가상 이미지 특징 추출 네트워크는 상기 사전 훈련에 참여하며, 상기 가상 이미지는 가상 타깃에 기반하여 생성된 것임 - ;
    상기 이미지 정합 모델의 진실 이미지 특징 추출 네트워크를 이용하여 상기 진실 2 차원 이미지에 대해 특징 추출을 수행하여, 제1 진실 특징맵을 얻도록 구성된 제2 특징 추출 모듈 - 상기 진실 이미지 특징 추출 네트워크는 상기 사전 훈련에 참여하지 않음 - ; 및
    상기 제1 진실 특징맵 및 상기 제1 가상 특징맵 사이의 차이를 이용하여, 상기 진실 이미지 특징 추출 네트워크의 네트워크 파라미터를 조정하도록 구성된 제1 조정 모듈을 포함하는 것을 특징으로 하는 이미지 정합 모델의 훈련 장치.
16. 이미지 정합 장치로서,
    각각 타깃에 대해 이미징을 수행하여 얻은 2 차원 이미지 및 3 차원 이미지를 획득하도록 구성된 제2 획득 모듈;
    상기 2 차원 이미지의 투영 모델 파라미터를 이용하여 상기 3 차원 이미지를 투영하여, 투영 이미지를 얻도록 구성된 투영 모듈;
    이미지 정합 모델을 이용하여 상기 2 차원 이미지 및 투영 이미지를 처리하여, 상기 타깃에서의 특징 포인트가 상기 2 차원 이미지에서의 2 차원 위치를 얻도록 구성된 예측 모듈; 및
    상기 2 차원 위치를 이용하여, 상기 2 차원 이미지와 상기 3 차원 이미지 사이의 정합 결과를 획득하도록 구성된 정합 모듈을 포함하고;
    상기 이미지 정합 모델은 제15항에 따른 이미지 정합 모델의 훈련 장치에 의해 훈련되어 얻은 것임을 특징으로 하는 이미지 정합 장치.
17. 이미지 정합 기기로서,
    서로 커플링된 프로세서 및 메모리를 포함하고,
    상기 프로세서는 상기 메모리에 저장된 컴퓨터 프로그램을 실행하여 제1항 내지 제4항 중 어느 한 항에 따른 이미지 정합 모델의 훈련 방법, 또는 제13항 또는 제14항에 따른 이미지 정합 방법을 실행하기 위한 것임을 특징으로 하는 이미지 정합 기기.
18. 컴퓨터 판독 가능한 저장 매체로서,
    프로세서에 의해 작동 가능한 컴퓨터 프로그램을 저장하고, 상기 컴퓨터 프로그램은 제1항 내지 제4항 중 어느 한 항에 따른 이미지 정합 모델의 훈련 방법, 또는 제13항 또는 제14항에 따른 이미지 정합 방법을 구현하기 위한 것임을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
19. 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램으로서,
    하나 또는 복수 개의 프로그램 명령어를 포함하고, 상기 프로그램 명령어가 프로세서에 의해 로딩되고 실행되어 제1항 내지 제4항 중 어느 한 항에 따른 이미지 정합 모델의 훈련 방법, 또는 제13항 또는 제14항에 따른 이미지 정합 방법을 구현하는 것을 특징으로 하는 컴퓨터 프로그램.
    
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제

Images