KR20220013404A - 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품 - Google Patents

이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품 Download PDF

Info

Publication number
KR20220013404A
KR20220013404A KR1020217042439A KR20217042439A KR20220013404A KR 20220013404 A KR20220013404 A KR 20220013404A KR 1020217042439 A KR1020217042439 A KR 1020217042439A KR 20217042439 A KR20217042439 A KR 20217042439A KR 20220013404 A KR20220013404 A KR 20220013404A
Authority
KR
South Korea
Prior art keywords
key point
target
heat map
reliability
image
Prior art date
Application number
KR1020217042439A
Other languages
English (en)
Inventor
유준 구
징 유안
량 자오
닝 황
Original Assignee
상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 filed Critical 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Publication of KR20220013404A publication Critical patent/KR20220013404A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명의 실시예는 이미지 처리 방법 및 장치, 전자 기기, 저장 매체와 프로그램 제품에 관한 것이다. 상기 방법은, 타깃 이미지의 타깃 키 포인트를 획득하는 단계; 상기 타깃 이미지에서의 타깃 대상에 대해 분할을 수행하여, 상기 타깃 대상의 분할 결과를 얻는 단계; 상기 타깃 대상의 처리 타입을 획득하는 단계; 및 상기 타깃 키 포인트, 상기 분할 결과 및 상기 처리 타입에 따라, 상기 타깃 대상의 적어도 하나의 처리 파라미터를 결정하는 단계를 포함한다.

Description

이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품
상관 출원의 상호 참조
본 발명은 출원 번호가 202010646714.5이고, 출원일이 2020년 7월 7일인 중국 특허 출원에 기반하여 제출하였고, 중국 특허 출원의 우선권을 요청하며, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.
본 발명은 이미지 처리 기술분야에 관한 것으로서, 특히 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품에 관한 것이다.
무릎 관절 질환으로 앓는 사람들이 많아짐에 따라, 무릎 관절의 힘을 받는 포스 라인을 중앙 또는 약간 바깥쪽 부분으로 옮겨가므로, 내측 구획에 가해지는 압력을 줄이고, 관절의 교체를 피하거나 지연시키기 위한 경골 고위 절골술이 점점 더 중요해지고 있다. 경골 고위 절골술에서의 하나의 중요한 부분은 경골 절골의 위치를 결정하는 것이고, 경골 절골 위치의 정확성은 경골 고위 절골의 효과에 크나 큰 영향을 미친다.
본 발명의 실시예는 이미지 처리 기술 방안을 제안한다.
본 발명의 실시예의 일 측면에 따르면, 이미지 처리 방법을 제공하고, 상기 방법은,
타깃 이미지의 타깃 키 포인트를 획득하는 단계; 상기 타깃 이미지에서의 타깃 대상에 대해 분할을 수행하여, 상기 타깃 대상의 분할 결과를 얻는 단계; 상기 타깃 대상의 처리 타입을 획득하는 단계; 및 상기 타깃 키 포인트, 상기 분할 결과 및 상기 처리 타입에 따라, 상기 타깃 대상의 적어도 하나의 처리 파라미터를 결정하는 단계를 포함한다.
가능한 실시 형태에 있어서, 상기 타깃 이미지의 타깃 키 포인트를 획득하는 단계는, 상기 타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 신뢰도를 포함하는 타깃 키 포인트를 얻는 단계를 포함한다.
타깃 이미지에 대해 키 포인트 검출을 수행하는 것을 통해, 적어도 두 개의 신뢰도를 포함하는 타깃 키 포인트를 얻는다. 타깃 키 포인트를 획득하는 동시에, 이러한 타깃 키 포인트가 정확한 지 여부를 결정할 수 있고, 일부 원인으로(예를 들어 이미지 화질 저하, 타깃 키 포인트가 존재하지 않는 등) 타깃 키 포인트를 정확하게 예측할 수 없는 경우, 신뢰도에 기반하여 일부 정확도가 낮은 타깃 키 포인트에 대해 제외 또는 추가 처리 보완을 수행하므로, 타깃 키 포인트의 정확도를 향상하여, 후속 얻은 처리 파라미터의 정확도를 향상할 수 있다.
가능한 실시 형태에 있어서, 상기 타깃 이미지의 타깃 키 포인트를 획득하는 단계는, 상기 타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 타깃 키 포인트에 각각 대응되는 히트 맵을 얻는 단계; 및 적어도 두 개의 상기 히트 맵에 대응되는 상기 타깃 키 포인트의 좌표 및 신뢰도를 획득하는 단계를 포함한다.
상기 과정을 통해, 타깃 키 포인트에 대응되는 히트 맵을 얻는 형식을 통해 타깃 키 포인트의 좌표와 신뢰도를 동시에 결정할 수 있으며, 처리 과정이 간단하고 직관적이므로, 타깃 키 포인트를 획득하는 정밀도와 효율성을 향상하므로, 이미지 처리 전체 과정의 정밀도와 효율성을 향상한다.
가능한 실시 형태에 있어서, 상기 타깃 이미지의 타깃 키 포인트를 획득하는 단계는, 상기 타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 타깃 키 포인트에 각각 대응되는 제1 히트 맵과 제2 히트맵을 얻는 단계 - 상기 제1 히트 맵에 대응되는 상기 타깃 키 포인트의 응답 범위는 상기 제2 히트 맵에 대응되는 상기 타깃 키 포인트의 응답 범위보다 큼 - ; 상기 제1 히트 맵에서 제1 키 포인트를 결정하고, 상기 제1 히트 맵에 따라, 상기 제1 키 포인트의 제1 신뢰도를 얻는 단계; 상기 제1 신뢰도에 따라, 상기 제2 히트 맵에서 제2 키 포인트를 결정하고, 상기 제2 히트 맵을 결합하여, 상기 제2 키 포인트의 제2 신뢰도를 얻는 단계; 및 상기 제2 신뢰도에 따라, 상기 제1 키 포인트 또는 상기 제2 키 포인트를 상기 타깃 이미지에서의 타깃 키 포인트로 결정하고, 상기 타깃 키 포인트와 대응되는 신뢰도를 얻는 단계를 포함한다.
타깃 키 포인트에 대응되는 제1 히트 맵과 제2 히트 맵을 각각 얻는 것을 통해, 제1 히트 맵에서 제1 키 포인트 및 제1 키 포인트에 대응되는 제1 신뢰도를 결정하고, 제2 히트 맵에서 제2 키 포인트 및 제2 키 포인트에 대응되는 신뢰도를 결정하는, 상기 과정을 통해, 비교적 거친 포지셔닝 결과를 가진 제1 히트 맵과 비교적 정밀한 포지셔닝 결과를 가진 제2 히트 맵을 효과적으로 이용하여, 타깃 이미지에서 타깃 키 포인트의 위치와 신뢰도를 종합적으로 결정함으로써, 타깃 이미지에서 타깃 키 포인트의 포지셔닝 예측의 정확도와 안정성을 향상하여, 후속 이미지 처리 결과의 정확도와 안정성을 향상할 수 있다.
가능한 실시 형태에 있어서, 상기 제1 신뢰도에 따라, 상기 제2 히트 맵에서 제2 키 포인트를 결정하고, 상기 제2 히트 맵을 결합하여, 상기 제2 키 포인트의 제2 신뢰도를 얻는 단계는, 상기 제1 신뢰도가 제1 신뢰도 임계값보다 큰 경우, 상기 제1 키 포인트가 상기 제1 히트 맵에서의 위치에 따라 응답 영역을 결정하고, 상기 제2 히트 맵의 상기 응답 영역 내에서 제2 키 포인트를 결정하며, 상기 제2 히트 맵의 상기 응답 영역에 따라, 상기 제2 키 포인트의 제2 신뢰도를 얻는 단계; 및 상기 제1 신뢰도가 상기 제1 신뢰도 임계값보다 크지 않는 경우, 상기 제2 히트 맵에서 제2 키 포인트를 결정하고, 상기 제2 히트 맵에 따라, 상기 제2 키 포인트의 제2 신뢰도를 얻는 단계를 포함한다.
상기 과정을 통해, 제1 신뢰도가 제1 신뢰도 임계값보다 클 때, 즉 제1 히트 맵에서 결정된 제1 키 포인트의 위치가 더 정확한 경우, 타깃 이미지에서의 타깃 키 포인트가 응답 영역 내에 있을 가능성이 더 크므로, 직접 제2 히트 맵의 응답 영역에서 제2 키 포인트를 결정하여, 일 측면에서 계산될 데이터 양을 줄일 수 있고, 다른 일 측면에서도 결정된 제2 키 포인트가 높은 신뢰도를 구비할 수 있게 하며; 제1 신뢰도가 제1 신뢰도 임계값보다 크지 않을 때에는, 즉 제1 히트 맵에서 결정된 제1 키 포인트의 위치의 정확도가 낮은 경우, 제1 히트 맵과 제2 히트 맵 사이는 서로 독립되므로, 직접 제2 히트 맵에 따라 제2 키 포인트를 결정하고, 여전히 높은 신뢰도를 구비한 타깃 키 포인트를 얻을 수 있다. 이를 통해 최종 얻은 타깃 키 포인트의 정확도가 크게 향상되어, 이미지 처리의 정밀도가 향상된다.
가능한 실시 형태에 있어서, 상기 제2 신뢰도에 따라, 상기 제1 키 포인트 또는 상기 제2 키 포인트를 상기 타깃 이미지에서의 타깃 키 포인트로 결정하여, 상기 타깃 키 포인트와 대응되는 신뢰도를 얻는 단계는, 상기 제2 신뢰도가 제2 신뢰도 임계값보다 큰 경우, 상기 제2 키 포인트를 상기 타깃 이미지에서의 타깃 키 포인트로 결정하고, 상기 제2 신뢰도를 상기 타깃 키 포인트와 대응되는 신뢰도로 사용하는 단계; 및 상기 제2 신뢰도가 상기 제2 신뢰도 임계값보다 크지 않는 경우, 상기 제1 키 포인트를 상기 타깃 이미지에서의 타깃 키 포인트로 결정하고, 상기 제1 신뢰도를 상기 타깃 키 포인트와 대응되는 신뢰도로 사용하는 단계를 포함한다.
상기 과정은 추가적으로 제2 신뢰도와 제2 신뢰도 임계값의 비교에 기반하여, 제1 키 포인트 또는 제2 키포인트를 선택하여 타깃 이미지의 타깃 키 포인트로 사용하며, 타깃 이미지에서 타깃 키 포인트의 신뢰도를 결정한다. 이를 통해 타깃 이미지에서 타깃 키 포인트의 포지셔닝 예측의 정확도와 안정성을 향상하여, 이미지 처리 결과의 정확도와 안정성을 향상한다.
가능한 실시 형태에 있어서, 상기 타깃 이미지에 대해 키 포인트 검출을 수행하는 것은, 상기 타깃 이미지를 제1 신경 네트워크에 입력하여 키 포인트 검출을 수행하는 것을 포함한다.
타깃 이미지를 제1 신경 네트워크에 입력하는 것을 통해 키 포인트 검출을 수행하고, 신경 네트워크를 통해 키 포인트의 검출 과정을 실현할 수 있으므로, 키 포인트 검출의 안정성, 효율과 정밀도를 효과적으로 향상하여, 이미지 처리의 안정성, 효율과 정밀도를 향상한다. 동시에, 신경 네트워크는 키 포인트가 검출한 실제 상황에 따라 구조와 실시 형태를 유연하게 조절하므로, 따라서, 키 포인트 검출의 유연성을 향상하여, 이미지 처리 방법 구현의 유연성을 향상할 수 있다.
가능한 실시 형태에 있어서, 상기 제1 신경 네트워크는 타깃 키 포인트 위치 라벨을 포함하는 훈련 이미지를 통해 훈련을 수행하며, 상기 훈련은, 상기 타깃 키 포인트의 위치 라벨에 따라, 상기 타깃 키 포인트 위치와 대응되는 타깃 히트 맵을 생성하고; 상기 훈련 이미지를 제1 신경 네트워크에 입력하고, 상기 제1 신경 네트워크가 출력한 히트 맵을 얻고; 상기 출력된 히트 맵과 상기 타깃 히트 맵에 따라, 상기 제1 신경 네트워크의 손실 함수를 결정하며; 상기 손실 함수에 따라, 상기 제1 신경 네트워크의 적어도 하나의 파라미터를 조정하는 것을 포함한다.
타깃 히트 맵을 이용하여, 제1 신경 네트워크가 출력한 히트 맵에 대해 감독하는 것으로, 제1 신경 네트워크의 손실 함수를 결정하고, 손실 함수에 기반하여 제1 신경 네트워크의 적어도 하나의 파라미터를 조절함으로써, 제1 신경 네트워크가 생성한 히트 맵이 타깃 히트 맵에 최대한 가깝게할 수 있으므로, 훈련 후의 제1 신경 네트워크가 높은 정밀도를 구비한다. 훈련 후의 제1 신경 네트워크에 기반하여 획득된 타깃 키 포인트의 정밀도를 향상하므로, 이미지 처리의 정밀도를 향상한다.
가능한 실시 형태에 있어서, 상기 타깃 대상의 처리 타입을 획득하는 단계는, 상기 타깃 키 포인트에 따라, 상기 타깃 대상의 처리 타입을 결정하는 단계를 포함한다.
타깃 키 포인틀 통해 타깃 대상의 처리 타입을 결정하므로, 타깃 대상의 처리 타입의 획득 방식이 타깃 대상 및 응용 시나리오의 상이함에 따라서도 유연하게 변화를 생성한다.
가능한 실시 형태에 있어서, 상기 타깃 키 포인트는 적어도 두 개이고, 상기 적어도 하나의 처리 파라미터는 제1 처리 파라미터와 제2 처리 파라미터를 포함하고, 상기 타깃 키 포인트, 상기 분할 결과 및 상기 처리 타입에 따라, 상기 타깃 대상의 적어도 하나의 처리 파라미터를 결정하는 단계는, 상기 처리 타입에 따라, 상기 타깃 대상의 획득될 제1 처리 파라미터와 제2 파라미터를 결정하는 단계; 적어도 두 개 상기 타깃 키 포인트 및 상기 분할 결과에 따라, 상기 제1 처리 파라미터를 획득하는 단계; 및 적어도 세 개 상기 타깃 키 포인트에 따라, 상기 제1 처리 파라미터를 결합하여, 상기 제2 처리 파라미터를 획득하는 단계를 포함한다.
상기 제1 처리 파라미터는 타깃 키 포인트 및 분할 결과에 기반하여 먼저 얻은 처리 파라미터일 수 있고, 제2 처리 파라미터는 제1 처리 파라미터를 결정한 후, 타깃 키 포인트를 결합하여 추가적으로 획득된 처리 파라미터일 수 있으므로, 처리 타입의 상이함에 따라, 상이한 처리 파라미터 획득을 구현하여, 이미지 처리 방법 구현의 정확성과 유연성을 향상한다.
가능한 실시 형태에 있어서, 상기 타깃 이미지는 전처리된 이미지를 포함하고, 상기 전처리는 이미지 표준화 및/또는 이미지 향상을 포함한다.
이미지 표준화 및/또는 이미지 향상을 통해 얻은 전처리된 이미지를 타깃 이미지로 사용하여, 후속 균일한 규격과 좋은 이미지 효과를 구비한 타깃 이미지에 대해 타깃 키포인트 획득과 분할을 수행하여, 타깃 키 포인트 획득과 분할의 구현 편의성을 향상하는데 편리할 수 있고, 타깃 키 포인트의 정밀도와 분할 정밀도를 향상하여, 이미지 처리의 구현 편의성과 정밀도를 향상시킬수 있다.
가능한 실시 형태에 있어서, 상기 타깃 대상은 경골 대상을 포함하고; 상기 처리 타입은, 내측 폐쇄형, 외측 폐쇄형, 내측 개방형 또는 외측 개방형을 포함하고; 상기 적어도 하나의 처리 파라미터는 피드 포인트, 힌지 포인트, 타깃 포스 라인, 프로세싱 각도 및 프로세싱 거리 중의 하나 또는 복수 개를 포함한다.
이럴 경우, 타깃 대상이 경골 대상인 경우, 처리 타입이 내측에 위치하였는지 외측에 위치하였는지의 상이함에 따라, 획득해야할 제1 처리 파라미터에서 인피드(infeed) 포인트의 결정 기준과 위치는 그에 따른 변화가 발생할 수 있고; 처리 타입이 폐쇄형인지 개방형인지의 상이함에 따라, 획득해야할 제2 처리 피라미터는 폐쇄 각도 또는 개방 각도, 폐쇄 거리 또는 개방 거리 등을 포함할 수 있다. 실제의 응용 시나리오에 따라 처리 타입과 대응되는 처리 파라미터를 유연하게 선택하여, 후속 이미지 처리 결과가 더욱 좋은 처리 효과를 구비하게 한다.
본 발명의 실시예의 일 측면에 따라, 이미지 처리 장치를 제공하고, 타깃 이미지의 타깃 키 포인트를 획득하도록 구성된 타깃 키 포인트 획득 모듈; 상기 타깃 이미지에서의 타깃 대상에 대해 분할을 수행하여, 상기 타깃 대상의 분할 결과를 얻도록 구성된 분할 모듈; 상기 타깃 대상의 처리 타입을 획득하도록 구성된 처리 타입 획득 모듈; 및 상기 타깃 키 포인트, 상기 분할 결과 및 상기 처리 타입에 따라, 상기 타깃 대상의 적어도 하나의 처리 파라미터를 결정하도록 구성된 처리 파라미터 결정 모듈을 포함한다.
본 발명의 실시예의 일 측면에 따라, 전자 기기를 제공하고, 프로세서; 및 프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며; 여기서, 상기 프로세서는 상기 메모리에 저장된 명령어를 호출하여, 상기 이미지 처리 방법을 실행하도록 구현한다.
본 발명의 실시예의 일 측면에 따라, 컴퓨터 프로그램 명령어가 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 경우 상기 이미지 처리 방법을 구현한다.
본 발명의 실시예의 일 측면에 따라, 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 때, 상기 전자 기기에서의 프로세서로 상기 이미지 처리 방법을 실행한다.
본 발명의 실시예에 있어서, 타깃 이미지의 타깃 키 포인트와 타깃 대상의 처리 타입 획득을 통해, 타깃 이미지에서의 타깃 대상에 대해 분할을 수행하여, 타깃 대상의 분할 결과를 얻으므로, 타깃 키 포인트, 분할 결과 및 처리 타입에 따라 타깃 대상의 적어도 하나의 처리 파라미터를 결정한다. 상기 과정을 통해, 분할 결과가 나타내는 타깃 대상이 타깃 이미지에서의 위치와 획득한 타깃 키 포인트를 결합하여, 현재 처리 타입에서, 타깃 대상이 더욱 정확한 처리 파라미터를 얻을 수 있으므로, 이미지 처리의 정밀도와 정확도를 향상한다.
이해해야할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 예시적이고 한정적인 것이며 본 발명의 실시예를 한정하지 않는다.
아래에 첨부 도면에 따라 예시적 실시예를 상세하게 설명하므로, 본 발명의 실시예의 다른 특징 및 측면이 더욱 명확해질 것이다.
아래의 도면은 본 명세서의 일부분으로서 명세서 전체를 구성하며, 이러한 도면은 본 발명의 실시예에 맞는 실시예를 도시하여, 명세서와 함께 본 발명의 실시예의 기술방안을 설명하기 위한것이다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 방법의 흐름도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 경골 고위 절골술의 원리 예시도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 경골 대상의 처리 타입 예시도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 경골 고위 절골술의 엑스레이 필름 예시도를 도시한다.
도 5는 본 발명의 일 실시예에 따른 제1 히트 맵과 제2 히트 맵의 예시도를 도시한다.
도 6은 본 발명의 일 실시예에 따른 처리 파라미터를 획득하는 예시도를 도시한다.
도 7은 본 발명의 일 실시예에 따른 후지사와(fujisawa) 포인트 예시도를 도시한다.
도 8은 본 발명의 일 실시예에 따른 제2 처리 파라미터 예시도를 도시한다.
도 9는 본 발명의 일 응용 예시에서 타깃 키 포인트의 자동 포지셔닝의 예시도를 도시한다.
도 10은 본 발명의 일 응용 예시에서 경골의 자동 분할 예시도를 도시한다.
도 11은 본 발명의 일 실시예에 따른 이미지 처리 장치의 블로도를 도시한다.
도 12는 본 발명의 실시예에 따른 전자 기기의 블로도를 도시한다.
도 13은 본 발명의 실시예에 따른 전자 기기의 블로도를 도시한다.
아래에 도면을 참조하여 본 발명의 실시예의 다양한 예시적 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 도면 표시는 기능이 동일하거나 유사한 구성 요소를 나타낸다. 실시예의 다양한 측면이 도면에 도시되어 있지만, 구체적으로 제기되지 않는 한, 도면은 반드시 비례대로 도시될 필요없다.
여기서 "예시적"이라는 특정한 단어는 "예, 실시예 또는 설명적인 것으로 사용됨"을 의미한다. 여기서 "예시적"으로 설명된 임의의 실시예는 다른 예보다 뛰어나거나 좋은 것으로 해석될 필요는 없다.
본 명세서에서 용어 “ 및 /또는”은 다만 관련 대상의 상관 관계를 설명하기 위한 것일 뿐, 세 가지의 관계가 존재함을 나타내며, 예를 들어, A 및/또는 B는, A가 단독적으로 존재, A 및 B가 동시에 존재, B가 단독적으로 존재하는 세 가지 상황을 나타낸다. 또한, 본 문에서 용어 "적어도 하나"는 복수의 어느 하나 또는 복수의 둘 중 어느 하나의 조합을 의미하고, 예를 들어, A, B, C 중 적어도 하나를 포함하여, A, B 및 C로 구성된 조합에서 선택된 어느 하나 또는 복수 개의 요소를 나타낼 수 있다.
또한, 본 발명의 실시예를 더 잘 설명하기 위해, 아래의 구체적인 실시형태에서 다수의 현실적인 세부 사항을 제공한다. 본 분야의 기술자는 일부 세부 사항이 없이도, 본 발명의 실시예가 마찬가지로 실시될 수 있음을 이해해야 한다. 일부 예에 있어서, 본 분야에게 널리 알려진 방법, 수단, 구성 요소 및 회로는 본 발명의 실시예의 요지를 강조하기 위해, 상세히 설명되지 않는다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 방법의 흐름도를 도시하고, 상기 방법은 이미지 처리 장치에 적용될 수 있고, 이미지 처리 장치는 단말 기기, 서버 또는 다른 처리 기기 등일 수 있다. 여기서, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 개인용 정보 단말기(Personal Digital Assistant, PDA), 핸드 헬드 기기, 컴퓨팅 기기, 차량용 기기, 웨어러블 기기 등일 수 있다. 일부 가능한 실시 형태에 있어서, 상기 이미지 처리 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식을 통해 구현될 수 있다. 도 1에 도시된 바와 같이, 상기 이미지 처리 방법은,
타깃 이미지의 타깃 키 포인트를 획득하는 단계 S11;
타깃 이미지에서의 타깃 대상에 대해 분할을 수행하여, 타깃 대상의 분할 결과를 얻는 단계 S12;
타깃 대상의 처리 타입을 획득하는 단계 S13; 및
타깃 키 포인트, 분할 결과 및 처리 타입에 따라, 타깃 대상의 적어도 하나의 처리 파라미터를 결정하는 단계 S14를 포함할 수 있다.
여기서, 타깃 이미지는 타깃 대상을 포함한 임의의 형식의 이미지일 수 있고, 타깃 이미지의 실시 형태는 타깃 대상의 실제 상황에 따라 유연하게 결정할 수 있다.
타깃 대상은 처리 수요를 구비하는 임의의 대상일 수 있고, 타깃 대상의 실시 형식은 본 발명의 실시예에서 제안한 이미지 처리 방법의 실제 응용 시나리오에 따라 유연하게 결정할 수 있다. 가능한 실시 형태에 있어서, 본 발명의 실시예에서 제안한 방법은 수술 계획 과정에 적용될 수 있고, 타깃 대상은 예를 들어 인체의 특정 부위, 기관 또는 조직 등과 같은 수술 대상일 수 있고, 타깃 이미지는 예를 들어 엑스레이 필름, 컴퓨터 단층촬영(Computed Tomography, CT) 이미지 또는 자기공명영상(MRI, Magnetic Resonance Imaging) 등과 같은 수술 대상을 포함한 이미지일 수 있다. 일 예에서, 본 발명의 실시예에서 제안한 이미지 처리 방법은 경골 고위 절골술의 수술 계획 과정에 적용될 수 있고, 타깃 대상은 고위 절골술 실행이 수요되는 부위, 즉 경골 대상(좌경골일 수도 있고 우경골일 수도 있으며, 경골 절골술의 실제 수요에 따라 결정됨)등일 수 있고, 타깃 이미지는 예를 들어 전신 엑스레이 필름, 하지 엑스레이 필름 또는 경골 부위의 엑스레이 필름 등과 같은 이러한 대상을 포함한 의학 이미지 일 수 있다.
도 2는 본 발명의 일 실시예에 따른 경골 고위 절골술의 원리 예시도를 도시하였고, 도 2에 도시된 바와 같이, 무릎 골관절염의 치료에 대해, 4 개 단계: 내측 응력 집중 단계(21), 근위 경골 절골 단계(22), 포스 라인의 외측 전이 단계(23)와 내측 압력 릴리프 단계(24)가 있으며, 경골 고위 절골술은 내측의 연골이 심하게 마모되기 전에, 무릎 관절의 힘을 받는 포스 라인을 중앙 또는 약간 바깥쪽 부분으로 옮겨가므로, 내측 구획에 가해지는 압력을 줄이고, 무릎 관절의 교체를 피하거나 지연 시키는 것을 알 수 있다. 즉 경골 고위 절골술은 인체 전체 하지가 서 있는 자세에서 힘을 받는 상태에 의거하여 처리 파라미터를 결정해야 할 수 있다. 따라서, 본 발명의 각 발명의 실시예는 모두 타깃 대상을 경골 대상으로 하고, 타깃 이미지는 이미지 처리 과정에 대해 설명하기 위해 하지 엑스레이 필름을 예로 들 수 있으며, 타깃 대상은 다른 대상이거나 또는 타깃 이미지가 다른 형식의 이미지인 상황은 후속 각 발명의 실시예를 참고하여 유연하게 확장될 수 있으며, 하나씩 예를 들지 않는다.
타깃 이미지의 타깃 키 포인트의 수량과 실시 형식은 동일하게 타깃 대상의 실시 형식 또는 이미지 처리 방법의 응용 시나리오에 따라 유연하게 결정된다. 주의해야할 것은, 이미지 처리 방법의 응용 시나리오가 상이함으로, 따라서 타깃 이미지에서의 타깃 키 포인트는, 타깃 대상 내에 포함될 수 있고, 또는 타깃 대상 이외에 위치할 수 있으며, 실제 상황에 따라 결정하면 되며, 여기서 한정하지 않는다. 가능한 실시 형태에 있어서, 타깃 대상이 경골 대상이고 이미지 처리 방법이 경골 절골술의 수행을 보완하는데 적용되는 경우, 상기 발명의 실시예에서 이미 제기하였으므로, 경골 절골술은 인체 하지 전체가 힘을 받는 상태를 고려하여 처리 파라미터를 결정해야할 수 있으며, 따라서 획득된 타깃 키 포인트는 타깃 대상에 속하는 타깃 키 포인트를 포함할 뿐만 아니라, 또한 타깃 대상 이외에 위치한 타깃 키 포인트를 포함할 수도 있다. 가능한 실시 형태에 있어서, 타깃 키 포인트는 대퇴골두의 중심점, 발목 관절의 중심점(발목 관절 간격의 내측 끝점과 발목 관절 간격의 외측 끝점 사이의 중간점으로 정의될 수 있음), 무릎 관절의 중심점(경골 고원의 내측 끝점과 경골 고원의 외측 끝점의 중간점으로 정의될 수 있음), 경골 고원 내측 끝점 및 경골 고원 외측 끝점을 포함할 수 있으며, 가능한 실시 형태에 있어서, 타깃 키 포인트는 상기 각 타깃 키 포인트를 포함하는 기초에서, 대전자의 정점, 내측 대퇴골 과두, 외측 대퇴골 과두, 발목 관절 간격의 내측 끝점 및 발목 관절 간격의 외측 끝점 중의 하나 또는 복수 개 등을 추가로 포함할 수 있다. 실시 과정에서 타깃 이미지의 타깃 키 포인트를 획득하는 방법, 그의 실시 형식은 실제 상황에 따라 유연하게 결정할 수 있으며, 여기서는 확장하지 않으며, 자세한 내용은 후속 각 발명의 실시예를 참조하기 바란다.
타깃 대상의 분할 결과는 본 발명의 실시예에서 한정하지 않으며, 분할의 실시 형식에 따라 유연하게 결정할 수 있으며, 여기서는 확장하지 않으며, 자세한 내용은 후속 각 발명의 실시예를 참조하기 바란다. 주의해야할 것은, 본 발명의 실시예에서, 단계 S11과 단계 S12는 상호 독립적이며, 두 단계의 구현 순서는 제한 받지 않는다. 즉 먼저 타깃 이미지의 타깃 키 포인트를 획득하고, 다음 타깃 이미지에서의 타깃 대상에 대해 분할을 수행할 수 있고; 또한 먼저 타깃 대상에 대해 분할을 수행하고 다음 타깃 이미지의 타깃 키 포인트를 획득할 수 있으며; 또는 타깃 이미지의 타깃 키 포인트를 획득하는 동시에 타깃 대상에 대해 분할을 수행하는 등, 실제 상황에 따라 유연하게 선택하면 된다.
단계 S11을 통해 타깃 이미지의 타깃 키 포인트를 획득하거나 및 단계 S12를 통해 타깃 대상의 분할 결과를 획득하는 이외, 본 발명의 실시예에서, 단계 S13을 통해서도 타깃 대상의 처리 타입을 획득할 수 있다. 일부 타깃 대상에 대해, 타깃 대상에 대응되는 응용 시나리오에는 다양한 처리 방식이 있을 수 있고, 처리 방식이 상이함에 따라, 결정해야할 타깃 대상의 처리 파라미터에도 자연스럽게 변화가 발생하며, 따라서 타깃 대상의 실제 처리 타입 획득을 통해 최종 결정해야 할 처리 파라미터가 명확해진다. 타깃 대상의 처리 타입은 타깃 대상 및 타깃 대상의 응용 시나리오에 따라 공동으로 유연하게 결정할 수 있고, 도 3에서는 본 발명의 일 실시예에 따른 경골 대상의 처리 타입 예시도를 도시하였으며, 도 3에 있어서, 일 예에서, 타깃 대상이 경골 대상이고 이미지 처리 방법이 경골 절골술의 수행을 보완하는 데 적용되는 경우, 도 3에 도시된 바와 같이, 경골 대상의 처리 타입은 내측 폐쇄형(31), 외측 폐쇄형(32), 내측 개방형(33) 또는 외측 개방형(34) 등을 포함할 수 있다. 실시 과정에서 타깃 대상의 처리 방식을 획득하는 방법, 그의 실시 형식은 실제 상황에 따라 유연하게 결정될 수 있으며, 상세한 내용은 하기 각 발명의 실시예를 참조하며, 여기서 확장하지 않는다.
타깃 이미지의 타깃 키 포인트, 타깃 대상의 분할 결과 및 타깃 대상의 처리 타입을 얻은 후, 타깃 키 포인트, 분할 결과 및 처리 타입에 따라, 단계 S14를 통해 타깃 대상의 적어도 하나의 처리 파라미터를 결정한다. 여기서, 타깃 대상의 처리 파라미터의 수량 및 실시 형식은 동일하게 타깃 대상의 실시 형식 및 이미지 처리 방법의 응용 시나리오에 따라 유연하게 결정될 수 있다.
도 4는 본 발명의 일 실시예에 따른 경골 고위 절골술의 엑스레이 필름 예시도를 도시하며, 여기서(a) 부분은 양다리의 하지 전신 엑스레이 필름을 포함하고, (b)부분은 경골 고위 절골술 전의 한쪽 다리의 하지 전신의 엑스레이 필름을 포함하며, (c)부분은 경골 고위 절골술 후의 한쪽 다리의 하지 전신의 엑스레이 필름을 포함하며, 여기서 대퇴골두 중심(41)과 발목 관절 중심(42) 사이의 연결 세그먼트는 하지 포스 라인이다. 도 4에서는, 경골 고위 절골술이 경골에 대해 절골을 수행하는 것을 통해, 하지 포스 라인에 대해 교정을 구현하는 것을 알 수 있다. 경골에 대해 절골을 수행해야 함으로, 절골의 위치 및 절골의 길이 등을 고려해야 한다. 따라서, 가능한 실시 형태에 있어서, 타깃 대상이 경골 대상이고 이미지 처리 방법이 경골 절골술의 수행을 보완하는 데 적용되는 경우, 타깃 대상의 처리 파라미터는 인피드 포인트, 힌지 포인트, 타깃 포스 라인, 프로세싱 각도 및 프로세싱 거리 중의 하나 또는 복수 개 등을 포함할 수 있다. 여기서, 타깃 포스 라인은 상기 발명의 실시예에서 하지 포스 라인의 타깃 위치에 대응되는 세그먼트일 수 있고, 예를 들어 발목 관절 교정 후의 타깃 포인트와 대퇴골두의 중심점 사이의 연결 라인 세그먼트 등일 수 있고; 프로세싱 각도는 경골 절골술에서의 수술 각도일 수 있고, 프로세싱 각도는 처리 타입이 상이함에 따라 변화가 발생할 수 있으며, 예를 들어 처리 타입이 내측 폐쇄형 또는 외측 폐쇄형인 경우, 프로세싱 각도는 폐쇄의 각도일 수 있고, 처리 타입이 내측 개방형 또는 외측 개방형인 경우, 프로세싱 각도는 개방의 각도일 수 있으며; 동일하게, 프로세싱 거리는 경골 절골술에서의 절골 거리일 수 있고, 프로세싱 각도는 또한 처리 타입에 따라 폐쇄 거리 또는 개방 거리 등으로 나뉠수 있다.
실시 과정에서 타깃 키 포인트, 분할 결과와 처리 타입에 따라, 상기 하나 또는 복수 개 처리 파라미터를 결정하는 방법은, 실제 상황에 따라 유연하게 결정할 수 있고, 상세한 내용은 하기 각 발명의 실시예를 참조하며, 여기서 확장하지 않는다.
본 발명의 실시예에 있어서, 타깃 이미지의 타깃 키 포인트와 타깃 대상의 처리 타입 획득을 통해, 타깃 이미지에서의 타깃 대상에 대해 분할을 수행하여, 타깃 대상의 분할 결과를 얻으므로, 타깃 키 포인트, 분할 결과 및 처리 타입에 따라 타깃 대상의 적어도 하나의 처리 파라미터를 결정한다. 상기 과정을 통해, 분할 결과가 나타내는 타깃 대상이 타깃 이미지에서의 위치와 획득한 타깃 키 포인트를 결합하여, 현재 처리 타입에서, 타깃 대상이 더욱 정확한 처리 파라미터를 얻을 수 있으므로, 이미지 처리의 정밀도와 정확도를 향상한다.
상기 발명의 실시예와 같이, 단계 S11에서 타깃 이미지의 타깃 키 포인트를 획득하는 방식은 실제 상황에 따라 유연하게 결정된다. 가능한 실시 형태에 있어서, 단계 S11은, 타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 신뢰도를 포함하는 타깃 키 포인트를 얻는 단계를 포함할 수 있다.
여기서, 상기 각 발명의 실시예와 같이, 타깃 키 포인트의 수량은 실제 상황에 따라 유연하게 결정하며, 가능한 실시 형태에 있어서, 타깃 대상이 경골인 경우, 타깃 키 포인트는 적어도 대퇴골두의 중심점, 발목 관절의 중심점, 무릎 관절의 중심점, 경골 고원의 내측 끝점 및 경골 고원의 외측 끝점을 포함할 수 있다.
타깃 이미지에 대해 타깃 키 포인트 검출의 방식 수행은 실제 상황에 따라 유연하게 결정할 수 있으며, 상세한 내용은 하기 각 발명의 실시예를 참조하며, 여기서 확장하지 않는다. 상이한 타깃 키 포인트 검출은 상이한 검출 결과를 생성할 수 있고, 즉 얻은 타깃 키 포인트가 완전히 정확한 것이 아닐 수 있으며, 따라서, 신뢰도를 통해 얻은 타깃 키 포인트의 정확 정도를 반영할 수 있다. 실시 과정에서 타깃 키 포인트의 신뢰도를 결정하는 방법은, 유연하게 결정될 수 있다. 가능한 실시 형태에 있어서, 검출된 각 타깃 키 포인트의 상대 위치에 따라 직접 각 타깃 키 포인트의 신뢰도를 결정할 수 있으므로, 타깃 이미지에 대해 타깃 키 포인트 검출을 수행하는 것을 통해 직접 신뢰도를 포함하는 타깃 키 포인트를 얻을 수 있다. 가능한 실시 형태에 있어서, 또한 다른 방식을 통해 타깃 키 포인트의 신뢰도를 결정할 수 있으며, 상세한 내용은 하기 각 발명의 실시예를 참조하며, 여기서 확장하지 않는다.
타깃 이미지에 대해 키 포인트 검출을 수행하는 것을 통해, 적어도 두 개의 신뢰도를 포함하는 타깃 키 포인트를 얻는다. 타깃 키 포인트를 획득하는 동시에, 이러한 타깃 키 포인트가 정확한 지 여부를 결정할 수 있고, 일부 원인으로(예를 들어 이미지 화질 저하, 타깃 키 포인트가 존재하지 않는 등) 타깃 키 포인트를 정확하게 예측할 수 없는 경우, 신뢰도에 기반하여 일부 정확도가 낮은 타깃 키 포인트에 대해 제외 또는 추가 처리 보완을 수행하므로, 타깃 키 포인트의 정확도를 향상하여, 후속 얻은 처리 파라미터의 정확도를 향상할 수 있다.
타깃 키 포인트에 대해 추가 처리 보완을 수행하는 방식은 실제 상황에 따라 유연하게 결정할 수 있으며, 본 발명의 실시예에서 한정하지 않는다. 가능한 실시 형태에 있어서, 결측값의 추가 보완 방법을 통해 이러한 타깃 키 포인트를 완성할 수 있고, 즉 신뢰도가 높은 타깃 키 포인트를 이용하여 추측을 수행하여, 신뢰도가 낮은 타깃 키 포인트의 특징 벡터를 결정하므로, 신뢰도가 낮은 타깃 키 포인트 위치를 결정한다.
가능한 실시 형태에 있어서, 단계 S11은, 타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 타깃 키 포인트에 각각 대응되는 히트 맵을 얻는 단계; 및 적어도 두 개 히트 맵에 대응되는 타깃 키 포인트의 좌표 및 신뢰도를 획득하는 단계를 포함할 수 있다.
여기서, 히트 맵은 타깃 키 포인트의 응답 히트 맵일 수 있다. 가능한 실시 형태에 있어서, 히트 맵의 크기는 타깃 이미지와 일치할 수 있다. 히트 맵에서, 타깃 키 포인트의 위치에 더 가까운 거리의 픽셀 포인트는, 더 높은 응답값을 구비할 수 있으므로, 히트 맵에서 각 픽셀 포인트의 응답값을 통해 타깃 키 포인트가 타깃 이미지에서의 위치를 결정할 수 있다. 타깃 이미지에 대해 키 포인트 검출을 수행하는 것으로 히트 맵을 얻는 방식은 실제 상황에 따라 유연하게 결정할 수 있고, 상세한 내용은 하기 각 발명의 실시예를 참조하며, 여기서 확장하지 않는다.
상기 각 발명의 실시예와 같이, 타깃 키 포인트의 수량은 하나의일 수 있고 복수 개일 수도 잇으며, 따라서, 상응하게, 히트 맵의 수량도 실제 상황에 따라 유연하게 결정할 수 있다. 가능한 실시 형태에 있어서, 각 타깃 키 포인트에 따라 각각 대응되는 히트 맵을 얻을 수 있고, 즉 각 타깃 키 포인트는 각각 하나의 히트 맵에 대응되고; 가능한 실시 형태에 있어서, 모든 타깃 키 포인트에 따라 대응되는 히트 맵을 얻을 수도 있고, 즉 하나의 히트 맵에 모든 타깃 키 포인트가 포함된다. 후속 각 발명의 실시예는 모두 각 타깃 키 포인트가 각각 하나의 히트 맵에 대응되는 구현 과정으로 설명을 진행하며, 모든 타깃 키 포인트를 포함하는 하나의 히트 맵의 구현 과정은 후속 각 발명의 실시예를 참조하여 상응하게 확장할 수 있으며, 더이상 설명하지 않는다.
각 타깃 키 포인트가 각각 하나의 히트 맵에 대응되는 경우, 히트 맵에 따라 타깃 키 포인트에 대응되는 좌표를 결정하는 방법은 실제 상황에 따라 유연하게 결정할 수 있으며, 하기 각 발명의 실시예에 한정되지 않는다.
가능한 실시 형태에 있어서, 히트 맵에서 가장 높은 응답값을 구비한 픽셀 포인트를 타깃 키 포인트로 사용할 수 있고, 상기 가장 높은 응답값을 구비한 픽셀 포인트는 히트 맵에서의 좌표, 즉 타깃 키 포인트가 타깃 이미지에서의 좌표로 사용될 수 있다. 가능한 실시 형태에 있어서, 먼저 히트 맵에 기반하여 히트 맵에서의 고응답 영역을 결정할 수도 있고, 고응답 영역의 결정 방식은 실제 상황에 따라 유연하게 설정할 수 있으며, 예를 들어 히트 맵에서의 각 픽셀 포인트를 순회할 수 있고, 응답값이 특정 설정 임계값보다 높은 픽셀 포인트는 모두 고응답 영역에서의 픽셀 포인트로 사용하여, 히트 맵에서 고응답 영역을 결정할 수 있다. 히트 맵의 고응답 영역을 결정한 후, 추가적으로 고응답 영역의 중력 중심을 타깃 키 포인트로 사용할 수 있고, 상기 고응답 영역의 중력 중심은 히트 맵에서의 좌표, 즉 타깃 키 포인트가 타깃 이미지에서의 좌표로 사용될 수 있다.
다른 가능한 실시 형태에 있어서, 타깃 키 포인트 좌표를 얻는 동시에, 타깃 키 포인트의 신뢰도도 얻을 수 있다. 신뢰도의 정의는 상기 각 발명의 실시예를 참조할 수 있고, 타깃 키 포인트의 신뢰도를 얻는 방식도 상기 각 발명의 실시예와 같이 유연하게 결정할 수 있다. 본 발명의 실시예가 타깃 키 포인트에 대응되는 히트 맵을 얻는 방식을 통해 타깃 키 포인트의 좌표를 얻을 수 있으므로, 따라서 가능한 실시 형태에 있어서, 추가적으로 히트 맵을 이용하여 타깃 키 포인트의 신뢰도를 결정할 수 있다. 실시 과정에서 히트 맵에 따라 타깃 키 포인트의 신뢰도를 결정하는 방법의 실시 형식도 실제 상황에 따라 유연하게 결정할 수 있고, 하기 각 발명의 실시예에 한정되지 않는다.
가능한 실시 형태에 있어서, 히트 맵에 따라 타깃 키 포인트의 신뢰도를 결정하는 과정은, 타깃 키 포인트의 응답값에 따라, 히트 맵에서 적어도 하나의 타깃 키 포인트를 포함하는 영역을 선택하는 단계; 및 타깃 키 포인트의 응답값에 따라, 적어도 하나의 타깃 키 포인트를 포함하는 영역의 영역 파라미터를 결합하여, 타깃 키 포인트의 신뢰도를 결정하는 단계를 포함할 수 있다.
여기서, 히트 맵에서 선택된 타깃 키 포인트를 포함하는 영역의 선택 방식은 실제 상황에 따라 유연하게 설정할 수 있다. 가능한 실시 형태에 있어서, 타깃 키 포인트의 응답값을 m로 표기하고, 히트 맵에서 타깃 키 포인트에 가까울수록 픽셀 포인트의 응답값이 높으므로, 따라서 히트 맵을 순회하는 것을 통해, 응답값이 a i *m보다 큰 픽셀 포인트를 선택하며, 이러한 픽셀 포인트로 구성된 영역은 자연스럽게 타깃 키 포인트를 포함할 수 있다. a i 의 값을 수정하는 것을 통해, 복수 개 타깃 키 포인트를 포함하는 상이한 영역을 얻을 수 있고, a i 의 값과 선택된 타깃 키 포인트를 포함하는 영역의 수량은 실제 상황에 따라 유연하게 결정할 수 있고, 하기 각 발명의 실시예에 한정되지 않는다. 일 예에서, 타깃 키 포인트를 포함하는 네 개 영역을 선택할 수 있고, 타깃 키 포인트를 포함한 네 개 영역은 각각 네 개 a i 의 값에 대응되며, 각각 a 0 , a 1 , a 2 와 a 3 ,로 표기하며, 일 예에서, 이러한 네 개 a i 의 값은 a 0 =0.8; a 1 =0.6; a 2 =0.4; a 3 =0.2으로 설정할 수 있다.
이러한 타깃 키 포인트를 포함하는 영역을 얻은 후, 이러한 영역의 영역 파라미터를 결정할 수 있고, 결정된 영역 파라미터와 타깃 키 포인트의 응답값에 따라 타깃 키 포인트의 신뢰도를 결정한다. 타깃 키 포인트를 포함하는 영역의 영역 파라미터의 실시 형식은, 실제 상황에 따라 유연하게 결정할 수 있다. 가능한 실시 형태에 있어서, 영역 파라미터는 영역의 둘레의 길이가 c i ,일 수 있고, 가능한 실시 형태에 있어서, 영역 파라미터는 또한 영역의 면적이 s i 。일 수 있다. 가능한 실시 형태에 있어서, 영역 파라미터는 또한 영역의 둘레의 길이와 면적에 따라 공동으로 결정된 파라미터일 수 있으며, 예를 들어 s i /c i 2 이다.
영역 파라미터 실시 형식이 상이함에 따라, 타깃 키 포인트의 신뢰도를 결정하는 방식도 유연하게 변화가 발생할 수 있으며, 일 예에서, 영역 파라미터가 영역의 둘레의 길이와 면적에 따라 공동으로 결정된 파라미터인 경우, 타깃 키 포인트의 신뢰도의 계산 방식은 아래 공식(1)과 같을 수 있으며:
Figure pct00001
(1);
여기서, Confidence는 타깃 키 포인트의 신뢰도이고, π는 원주율이고, m은 타깃 키 포인트의 응답값이며, M은 기설정된 타깃 키 포인트의 타깃 응답값이고, s i 는 타깃 키 포인트를 포함하는 영역의 면적이며, c i 는 타깃 키 포인트를 포함하는 영역의 둘레의 길이이다.
상기 발명의 실시예를 통해, 가능한 실시 형태에 있어서, 복수 개 타깃 키 포인트가 포함된 영역의 영역 파라미터를 통해 타깃 키 포인트의 신뢰도를 결정할 수 있는 것을 알 수 있다. 가능한 실시 형태에 있어서, 다른 방식을 통해 타깃 키 포인트의 신뢰도를 결정할 수도 있다. 가능한 실시 형태에 있어서, 히트 맵에 따라 타깃 키 포인트의 신뢰도를 결정하는 과정은, 타깃 키 포인트의 좌표에 따라, 타깃 키 포인트 위치와 대응되는 타깃 히트 맵을 생성하는 단계; 타깃 키 포인트와 대응되는 히트 맵에 대해 정규화를 수행하여, 제1 확률 분포를 얻는 단계; 타깃 히트 맵에 대해 정규화를 수행하여, 제2 확률 분포를 얻는 단계; 제1 확률 분포와 제2 확률 분포의 관련 계수를, 타깃 키 포인트의 신뢰도로 사용하는 단계를 포함할 수 있다.
여기서, 타깃 키 포인트와 대응되는 히트 맵, 즉 타깃 이미지에 대해 키 포인트 검출을 수행하는 것을 통해 얻은 히트 맵이고, 타깃 히트 맵은 타깃 키 포인트 좌표에 따라 생성된 히트 맵, 즉 상기 히트 맵에서 결정된 타깃 키 포인트 좌표에 따라, 역방향으로 다시 하나의 히트 맵을 생성하여 타깃 히트 맵으로 사용할 수 있다. 타깃 키 포인트 좌표에 따라 타깃 히트 맵을 생성하는 방식은 실제 상황에 따라 유연하게 결정할 수 있고, 하기 발명의 실시예에 한정되지 않는다. 가능한 실시 형태에 있어서, 타깃 키 포인트 좌표를 통해, 2차원 가우스 함수를 결합하여, 타깃 히트 맵을 생성하고, 2차원 가우스 함수의 실시 형식은 실제 상황에 따라 유연하게 결정할 수 있고, 일 예에서, 타깃 키 포인트 좌표에 따라 생성된 타깃 히트 맵의 방식은 아래의 공식(2)를 통해 구현될 수 있고:
Figure pct00002
(2);
여기서, f(x, y)는 타깃 히트 맵에 대응되는 2차원 가우스 분포 함수이고, x는 타깃 히트 맵에서 픽셀 포인트의 횡좌표이고, y는 타깃 히트 맵에서 픽셀 포인트의 종좌표이며, M은 기설정된 타깃 키 포인트의 타깃 응답값이고, x 0 는 타깃 키 포인트의 횡좌표이고, y 0 는 타깃 키 포인트의 종좌표이며, e는 자연 상수이며, σ는 기설정된 타깃 키 포인트의 응답 범위이다.
타깃 히트 맵을 얻은 후, 각각 히트 맵과 타깃 히트 맵에 각각 정규화를 수행하여, 히트 맵의 제1 확률 분포 및 타깃 히트 맵의 제2 확률 분포를 얻고, 제1 확률 분포와 제2 확률 분포 사이의 관련 계수를, 타깃 키 포인트의 신뢰도로 사용한다.
타깃 이미지에 대해 키 포인트 검출을 수행하는 것을 통해, 적어도 두 개의 타깃 키 포인트에 각각 대응되는 히트 맵을 얻어, 적어도 두 개 히트 맵에 대응되는 타깃 키 포인트의 좌표 및 신뢰도를 획득하고, 상기 과정을 통해, 히트 맵에 기반하여 타깃 키 포인트의 좌표와 신뢰도를 동시에 획득할 수 있으며, 처리 과정이 간단하고 직관적이므로, 타깃 키 포인트의 정밀도와 효율성을 향상하므로, 이미지 처리 전체 과정의 정밀도와 효율성을 향상한다.
가능한 실시 형태에 있어서, 단계 S11는,
타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 타깃 키 포인트에 각각 대응되는 제1 히트 맵과 제2 히트맵을 얻는 단계 S111- 제1 히트 맵에 대응되는 타깃 키 포인트의 응답 범위는 제2 히트 맵에 대응되는 타깃 키 포인트의 응답 범위보다 큼 - ;
제1 히트 맵에서 제1 키 포인트를 결정하고, 제1 히트 맵에 따라, 제1 키 포인트의 제1 신뢰도를 얻는 단계 S112;
제1 신뢰도에 따라, 제2 히트 맵에서 제2 키 포인트를 결정하고, 제2 히트 맵을 결합하여, 제2 키 포인트의 제2 신뢰도를 얻는 단계 S113; 및
제2 신뢰도에 따라, 제1 키 포인트 또는 제2 키 포인트를 타깃 이미지에서의 타깃 키 포인트로 결정하고, 타깃 키 포인트와 대응되는 신뢰도를 얻는 단계 S114를 포함할 수 있다.
여기서, 제1 히트 맵과 제2 히트 맵은 타깃 이미지에 대해 키 포인트 검출을 수행하는 것을 통해 생성된 타깃 키 포인트와 대응되는 두 개 히트 맵일 수 있다. 상기 각 발명의 실시예와 같이, 타깃 키 포인트의 수량은 복수 개일 수 있고, 따라서, 가능한 실시 형태에 있어서, 각 타깃 키 포인트에 대해, 상기 타깃 키 포인트와 대응되는 제1 히트 맵과 제2 히트 맵을 각각 생성하여, 각 타깃 키 포인트에 대해, 각각 그에 대응되는 두 개 히트 맵에 기반하여 상기 타깃 키 포인트의 위치와 신뢰도를 결정할 수 있다. 가능한 실시 형태에 있어서, 부분 타깃 키 포인트를 추출할 수 있고, 다음 추출된 이러한 타깃 키 포인트에 기반하여 각각 상기 타깃 키 포인트에 대응되는 제1 히트 맵과 제2 히트 맵을 생성한다. 가능한 실시 형태에 있어서, 모든 타깃 키 포인트에 대해 전체적인 제1 히트 맵과 제2 히트 맵을 생성하고, 즉 제1 히트 맵과 제2 히트 맵이 모든 타깃 키 포인트의 응답 위치를 포함하므로, 이러한 두 개 전체적인 제1 히트 맵과 제2 히트 맵에 기반하여 각각의 타깃 키 포인트 또는 부분 타깃 키 포인트의 위치와 신뢰도를 결정한다. 후속 각 발명의 실시예는 모두 각 타깃 키 포인트가 상기 타깃 키 포인트와 대응되는 제1 히트 맵과 제2 히트 맵을 각각 생성하는 것을 예로 들어 설명하며, 다른 상황에서는 후속 각 발명의 실시예를 참고하여 확장할 수 있으며, 더이상 설명하지 않는다.
상기 발명의 실시예와 같이, 가능한 실시 형태에 있어서, 제1 히트 맵에 대응되는 타깃 키 포인트의 응답 범위는 제2 히트 맵에 대응되는 타깃 키 포인트의 응답 범위보다 크며, 즉 제1 히트 맵과 제2 히트 맵이 동일한 타깃 키 포인트에 대응되는 경우, 제1 히트 맵이 나타내는 타깃 키 포인트가 위치하는 위치 범위는 제2 히트 맵이 나타내는 위치 범위보다 커야 한다. 도 5는 본 발명의 일 실시예에 따른 제1 히트 맵과 제2 히트 맵의 예시도를 도시하며, 여기서 (a)부부은 제1 히트 맵이고, (b)부분은 제2 히트 맵이며, 보다시피, 제1 히트 맵과 제2 히트 맵은 모두 타깃 키 포인트가 위치한 히트 맵의 중앙 오른쪽의 위치에 위치한 것을 알 수 있지만, 제1 히트 맵에 의해 경계가 정해지는 타깃 키 포인트의 범위는 제2 히트 맵에 의해 경계가 정해지는 타깃 키 포인트의 범위보다 커야 하며, 즉 제1 히트 맵은 타깃 키 포인트에 대해 거친 포지셔닝을 수행하고, 제2 히트 맵은 타깃 키 포인트에 대해 정밀한 포지셔닝을 수행한다.
제1 키 포인트는 제1 히트 맵에 따라 결정된 타깃 키 포인트일 수 있고, 그의 신뢰도는 제1 신뢰도로 표시할 수 있다. 제2 키 포인트는 제2 히트 맵에 따라 결정된 타깃 키 포인트일 수 있으며, 그의 신뢰도는 제2 신뢰도로 표시할 수 있다. 동일한 타깃 키 포인트에 의해 각각 생성된 제1히트 맵과 제2 히트 맵에 대해, 결정된 제1 키 포인트와 제2 키 포인트는 모두 타깃 이미지에서의 동일 타깃 키 포인트에 대응되지만, 각각 제1 히트 맵과 제2 히트 맵에 기반하여 생성되므로, 제1 키 포인트와 제2 키 포인트의 좌표, 및 대응되는 신뢰도는, 일부 차이가 있을 수 있다. 따라서, 추가적으로 제1 키 포인트와 제2 키 포인트의 위치와 신뢰도에 기반하여, 최종적으로 타깃 이미지에서 타깃 키 포인트의 위치와 신뢰도를 얻는다.
타깃 키 포인트에 대응되는 제1 히트 맵과 제2 히트 맵을 각각 얻는 것을 통해, 제1 히트 맵에서 제1 키 포인트 및 제1 키 포인트에 대응되는 제1 신뢰도를 결정하고, 제2 히트 맵에서 제2 키 포인트 및 제2 키 포인트에 대응되는 신뢰도를 결정하는, 상기 과정을 통해, 비교적 거친 포지셔닝 결과를 가진 제1 히트 맵과 비교적 정밀한 포지셔닝 결과를 가진 제2 히트 맵을 효과적으로 이용하여, 타깃 이미지에서 타깃 키 포인트의 위치와 신뢰도를 종합적으로 결정함으로써, 타깃 이미지에서 타깃 키 포인트의 포지셔닝 예측의 정확도와 안정성을 향상하고, 후속 이미지 처리 결과의 정확도와 안정성을 향상할 수 있다.
일부 실시 형태에 있어서, 단계 S112에서 제1 히트 맵에 기반하여 제1 신뢰도를 포함하는 제1 키 포인트를 얻는 방식은 상기 발명의 실시예에서 히트 맵에 기반하여 타깃 키 포인트의 좌표 및 신뢰도를 결정하는 방식을 참조할 수 있고, 여기서 더이상 설명하지 않는다. 제1 키 포인트와 제1 신뢰도를 결정한 후, 제1 신뢰도에 기반하여, 단계 S113을 통해 제2 히트 맵에서 제2 키 포인트를 결정하고 제2 신뢰도를 얻는다. 단계 S113의 실시 형태는 실제 상황에 따라 유연하게 결정할 수 있고, 가능한 실시 형태에 있어서, 단계 S113은,
제1 신뢰도가 제1 신뢰도 임계값보다 큰 경우, 제1 키 포인트가 제1 히트 맵에서의 위치에 따라 응답 영역을 결정하고, 제2 히트 맵의 응답 영역에서 제2 키 포인트를 결정하며, 제2 히트 맵의 응답 영역에 따라, 제2 키 포인트의 제2 신뢰도를 얻는 단계; 및 제1 신뢰도가 제1 신뢰도 임계값보다 크지 않는 경우, 제2 히트 맵에서 제2 키 포인트를 결정하고, 제2 히트 맵에 따라, 제2 키 포인트의 제2 신뢰도를 얻는 단계를 포함할 수 있다.
상기 발명의 실시예를 통해, 가능한 실시 형태에 있어서, 제1 신뢰도와 제1 신뢰도 임계값의 비교에 기반하여, 상이한 방식으로 제2 히트 맵에서 제2 키 포인트 및 대응되는 제2 신뢰도를 결정할 수 있는 것을 알 수 있다. 여기서, 제1 신뢰도 임계값의 값은 본 발명의 실시예에서 한정하지 않으며, 실제 상황에 따라 유연하게 결정할 수 있고, 일 예에서, 제1 신뢰도 임계값을 0.5로 설정할 수 있다.
제1 신뢰도가 제1 신뢰도 임계값보다 큰 경우, 제1 히트 맵에서 결정된 제1 키 포인트의 위치가 비교적 정확한 것을 나타낼 수 있고, 따라서, 추가적으로 제1 히트 맵에서 나타내는 제1 키 포인트의 위치에 따라, 응답 영역을 결정할 수 있으므로, 제2 히트 맵에서, 응답 영역의 위치에 따라 제2 키 포인트를 결정하고, 제2 키 포인트의 제2 신뢰도를 얻는다.
여기서, 응답 영역은 제1 히트 맵에서 제1 키 포인트 위치에 따라 경계가 정해진 하나의 기설정 범위일 수 있고, 기설정된 범위의 크기는 실제 상황에 따라 유연하게 결정할 수 있고, 본 발명의 실시예에서는 한정하지 않는다. 제1 히트 맵과 제2 히트 맵은 동일한 키 포인트에 대한 히트 맵이므로, 응답 영역이 제1 히트 맵과 제2 히트 맵에서의 위치는 일치하고, 즉 제1 히트 맵의 응답 영역은 직접 제2 히트 맵에 대응될 수 있다. 가능한 실시 형태에 있어서, 제2 히트 맵에서 응답 영역 이외에 위치한 픽셀 포인트의 응답값을 모두 0으로 설정할 수 있으므로, 제2 히트 맵에서의 응답 영역만 유지되고, 다른 영역은 제거된다.
응답 영역이 제2 히트 맵에 대응된 후, 제2 히트 맵의 응답 영역에 기반하여 제2 키 포인트를 결정할 수 있고, 제2 히트 맵의 응답 영역에 따라, 제2 키 포인트의 제2 신뢰도를 얻는다. 실시예서 제2 키 포인트와 제2 신뢰도를 얻는 방식은 동일하게 상기 각 발명의 실시예를 참조할 수 있으며, 여기서 더이상 설명하지 않는다.
제1 신뢰도가 제1 신뢰도 임계값보다 크지 않는 경우, 제1 히트 맵에서 결정된 제1 키 포인트의 위치의 정확도가 낮은 것을 나타낼 수 있다. 이때, 제1 히트 맵의 대응 결과를 고려하지 않고, 직접 제2 히트 맵에 따라 제2 키 포인트와 제2 신뢰도를 결정할 수 있으며, 제2 히트 맵에 따라 제2 키 포인트와 제2 신뢰도를 결정하는 방식은 동일하게 상기 각 발명의 실시예를 참조할 수 있으며, 여기서 더이상 설명하지 않는다.
제1 신뢰도가 제1 신뢰도 임계값보다 큰 경우 제1 키 포인트의 위치에 따라 응답 영역을 결정함으로써, 제2 히트 맵의 응답 영역에 따라 제2 키 포인트와 제2 신뢰도를 결정하고, 제1 신뢰도가 제1 신뢰도 임계값보다 크지 않는 경우 직접 제2 히트 맵에 따라 제2 키 포인트와 제2 신뢰도를 결정한다. 상기 과정을 통해, 제1 신뢰도가 제1 신뢰도 임계값보다 클 때, 즉 제1 히트 맵에서 결정된 제1 키 포인트의 위치가 보다 정확한 경우, 타깃 이미지에서의 타깃 키 포인트가 응답 영역 내에 있을 가능성이 더 크므로, 직접 제2 히트 맵의 응답 영역에서 제2 키 포인트를 결정하여, 일 측면에서 계산될 데이터 양을 줄일 수 있고, 다른 일 측면에서도 결정된 제2 키 포인트가 높은 신뢰도를 구비할 수 있게 할 수 있다. 제1 신뢰도가 제1 신뢰도 임계값보다 크지 않을 때에는, 즉 제1 히트 맵에서 결정된 제1 키 포인트의 위치의 정확도가 낮은 경우, 제1 히트 맵과 제2 히트 맵 사이는 서로 독립되므로, 직접 제2 히트 맵에 따라 제2 키 포인트를 결정하고, 여전히 높은 신뢰도를 구비한 타깃 키 포인트를 얻을 수 있다. 이를 통해 최종 얻은 타깃 키 포인트의 정확도가 크게 향상되어, 이미지 처리의 정밀도가 향상된다.
가능한 실시 형태에 있어서, 단계 S113도 다른 구현 방식, 예를 들어 제1 신뢰도의 크기를 고려하지 않고, 직접 제2 히트 맵에 따라 제2 키 포인트와 제2 신뢰도를 얻는 구현 방식을 구비할 수 있다.
제1 키 포인트와 대응되는 제1 신뢰도, 및 제2 키 포인트와 대응되는 제2 신뢰도를 각각 얻은 후, 단계 S114를 통해, 즉 제2 신뢰도에 따라, 제1 키 포인트 또는 제2 키 포인트를 타깃 이미지에서의 타깃 키 포인트로 결정하고, 타깃 키 포인트와 대응되는 신뢰도를 얻을 수 있다. 단계 S114의 구현 방식도 실제 상황에 따라 유연하게 결정할 수 있고, 가능한 실시 형태에 있어서, 단계 S114는, 제2 신뢰도가 제2 신뢰도 임계값보다 큰 경우, 제2 키 포인트를 타깃 이미지에서의 타깃 키 포인트로 결정하고, 제2 신뢰도를 타깃 키 포인트와 대응되는 신뢰도로 사용하는 단계; 및 제2 신뢰도가 제2 신뢰도 임계값보다 크지 않는 경우, 제1 키 포인트를 타깃 이미지에서의 타깃 키 포인트로 결정하고, 제1 신뢰도를 타깃 키 포인트와 대응되는 신뢰도로 사용하는 단계를 포함할 수 있다.
상기 발명의 실시예를 통해, 가능한 실시 형태에 있어서, 제2 신뢰도와 제2 신뢰도 임계값의 비교에 기반하여, 제1 키 포인트 또는 제2 키 포인트를 선택하여 타깃 이미지의 타깃 키 포인트로 사용하는 것을 알 수 있다. 여기서, 제2 신뢰도 임계값의 값은 본 발명의 실시예에서 한정하지 않으며, 실제 상황에 따라 유연하게 결정할 수 있고, 일 예에서, 제2 신뢰도 임계값을 0.5로 설정할 수 있고; 일 예에서, 제1 신뢰도의 값을 제2 신뢰도 임계값으로 설정할 수도 있다.
제2 신뢰도가 제2 신뢰도 임계값보다 큰 경우, 제2 히트 맵에서 결정된 제2 키 포인트의 위치가 보다 정확하다는 것을 나타낼 수 있고, 따라서, 제2 키 포인트를 타깃 이미지의 타깃 키 포인트로 사용할 수 있고, 제2 키 포인트의 제2 신뢰도를 타깃 이미지에서 타깃 키 포인트의 신뢰도로 사용할 수 있다. 제2 신뢰도가 제2 임계값보다 크지 않는 경우, 제2 히트 맵에서 결정된 제2 키 포인트의 위치의 정확도가 낮은 것을 의미하고, 이럴 경우 제1 키 포인트를 타깃 이미지의 타깃 키 포인트로 사용할 수 있고, 제1 키 포인트의 제1 신뢰도를 타깃 이미지에서 타깃 키 포인트의 신뢰도로 사용할 수 있다.
제1 히트 맵은 타깃 키 포인트에 대해 비교적 거친 포지셔닝을 수행할 수 있으므로, 제2 히트 맵은 타깃 키 포인트에 대해 비교적 정밀한 포지셔닝을 수행할 수 있으며, 따라서, 상기 과정을 통해, 타깃 키 포인트에 대해 비교적 정밀한 포지셔닝을 수행한 결과가 보다 정확한 경우, 정밀한 포지셔닝 결과를 선택하고 사용하여 타깃 키 포인트를 결정할 수 있고, 정밀한 포지셔닝 결과의 정확도가 낮은 경우 보다 거친 포지셔닝 결과를 선택하고 사용하여 타깃 키 포인트를 결정하므로, 최종적으로 얻은 타깃 키 포인트의 정확도를 최대한 향상하여, 이미지 처리의 정밀도를 향상시킨다.
일부 가능한 실시예에 있어서, 상기 어떤 구현 단계 S11의 방식에 관계없이, 모두 타깃 이미지에 대해 키 포인트 검출을 수행하는 방식을 통해 타깃 키 포인트 또는 타깃 키 포인트의 히트 맵을 얻을 수 있다. 일부 실시 형태에 있어서, 타깃 이미지에 대해 키 포인트 검출을 수행하는 방식은 실제 상황에 따라 유연하게 결정할 수 있고, 가능한 실시 형태에 있어서, 특정된 키 포인트 검출 알고리즘 또는 키 포인트 히트 맵이 알고리즘을 생성하는 것을 통해 구현할 수 있고, 가능한 실시 형태에 있어서, 신경 네트워크를 통해서도 타깃 키 포인트의 검출을 구현할 수 있다. 따라서, 가능한 실시 형태에 있어서, 타깃 이미지에 대해 키 포인트 검출을 수행하는 것은, 타깃 이미지를 제1 신경 네트워크에 입력하여 키 포인트 검출을 수행하는 것을 포함할 수 있다,
여기서, 제1 신경 네트워크는 키 포인트 검출 기능을 구비한 네트워크일 수 있고, 그의 실제 구현 기능은 단계 S11의 실시 형태의 상이함에 따라 유연하게 변화가 발생할 수 있고, 예를 들어 가능한 실시 형태에 있어서, 제1 신경 네트워크는 타깃 이미지에 따라 타깃 키 포인트 좌표와 타깃 키 포인트 신뢰도를 직접 생성할 수 있고; 가능한 실시 형태에 있어서, 제1 신경 네트워크는 타깃 이미지에 따라서도 복수 개 각 타깃 키 포인트와 각각 대응되는 히트 맵을 생성할 수 있으며, 제1 신경 네트워크가 생성한 히트 맵에 대해 후처리를 수행하는 것을 통해 타깃 키 포인트 좌표와 신뢰도를 얻고; 가능한 실시 형태에 있어서, 제1 신경 네트워크도 타깃 이미지에 따라 복수 개 각 타깃 키 포인트와 각각 대응되는 제1 히트 맵과 제2 히트 맵을 생성할 수 있고, 제1 히트 맵과 제2 히트 맵에 대해 후처리를 수행하는 것을 통해 타깃 키 포인트의 좌표와 신뢰도 등을 얻는다.
제1 신경 네트워크의 실시 형식도 그의 기능과 실제 상황에 따라 유연하게 결정될 수 있으며, 하기 발명의 실시예에 한정되지 않는다. 가능한 실시 형태에 있어서, 제1 신경 네트워크는 인코더, 디코더 및 점프 링크 구조를 포함한 하나의 Unet 신경 네트워크를 통해 구현될 수 있다. 가능한 실시 형태에 있어서, 제1 신경 네트워크는 또한 다른 신경 네트워크 모델 예를 들어 Vnet 등을 통해 구현될 수 있다.
타깃 이미지를 제1 신경 네트워크에 입력하는 것을 통해 키 포인트 검출을 수행하고, 신경 네트워크를 통해 키 포인트의 검출 과정을 구현할 수 있으므로, 키 포인트 검출의 안정성, 효율과 정확도를 효과적으로 향상하고, 이후 이미지 처리의 안정성, 효율과 정확도를 향상한다. 동시에, 신경 네트워크는 키 포인트가 검출한 실제 상황에 따라 구조와 실시 형태를 유연하게 조절하므로, 따라서, 키 포인트 검출의 유연성을 향상하여, 이미지 처리 방법 구현의 유연성을 향상할 수 있다.
제1 신경 네트워크 구현 기능과 실시 형식의 상이함에 따라, 제1 신경 네트워크의 훈련 방식도 유연하게 변화가 발생할 수 있다. 가능한 실시 형태에 있어서, 제1 신경 네트워크가 타깃 이미지에 따라 복수 개 각 타깃 키 포인트와 대응되는 히트 맵을 생성하는 기능을 구현하는 경우, 제1 신경 네트워크는 타깃 키 포인트 위치 라벨을 포함하는 훈련 이미지를 통해 훈련을 수행하며, 훈련 과정은, 타깃 키 포인트 위치 라벨에 따라, 타깃 키 포인트 위치와 대응되는 타깃 히트 맵을 생성하는 단계; 훈련 이미지를 제1 신경 네트워크에 입력하여, 제1 신경 네트워크가 출력한 히트 맵을 얻는 단계; 출력된 히트 맵과 타깃 히트 맵에 따라, 제1 신경 네트워크의 손실 함수를 결정하는 단계; 및 손실 함수에 따라, 제1 신경 네트워크의 적어도 하나의 파라미터를 조정하는 단계를 포함할 수 있다.
여기서, 타깃 키 포인트 위치 라벨은 훈련 이미지에서 타깃 키 포인트의 위치를 나타낼 수있고, 타깃 키 포인트 위치 라벨을 통해 생성된 타깃 히트 맵은, 정확하게 타깃 키 포인트의 응답 상황을 반영할 수 있다. 타깃 키 포인트 위치 라벨에 따라 타깃 히트 맵을 생성한는 방식은 상기 발명의 실시예에서 타깃 키 포인트 좌표에 따라 생성된 타깃 히트 맵의 과정을 참조할 수 있고, 여기서 더이상 설명하지 않는다.
타깃 히트 맵을 얻은 후, 타깃 히트 맵과 제1 신경 네트워크가 훈련 이미지에 기반하여 출력한 히트 맵에 따라, 제1 신경 네트워크의 손실 함수를 결정할 수 있다. 제1 신경 네트워크의 손실 함수를 결정하는 방식은 실제 상황에 따라 유연하게 선택할 수 있고, 하기 발명의 실시예에 한정되지 않는다. 일 예에서, 평균 제곱 오차 손실 함수를 통해, 제1 신경 네트워크의 손실 함수를 얻을 수 있다. 제1 신경 네트워크의 손실 함수를 얻은 후, 손실 함수에 따라 제1 신경 네트워크의 적어도 하나의 파라미터를 조정할 수 있고, 파라미터를 조정하는 방식은 동일하게 유연하며, 하기 실시예에 한정되지 않고, 일 예에서, 역방향 전파 및 랜덤 경사하강법을 통해 역방향으로 제1 신경 네트워크의 파라미터를 조정할 수 있다.
타깃 히트 맵을 이용하여, 제1 신경 네트워크가 출력한 히트 맵에 대해 감독하는 것으로, 제1 신경 네트워크의 손실 함수를 결정하고, 손실 함수에 기반하여 제1 신경 네트워크의 적어도 하나의 파라미터를 조절함으로써, 제1 신경 네트워크가 생성한 히트 맵이 타깃 히트 맵에 최대한 가깝게할 수 있으므로, 훈련 후의 제1 신경 네트워크가 높은 정밀도를 구비한다. 훈련 후의 제1 신경 네트워크에 기반하여 획득된 타깃 키 포인트의 정밀도를 향상하므로, 이미지 처리의 정밀도를 향상한다.
제1 신경 네트워크 구현의 기능이 변화가 발생한 경우, 제1 신경 네트워크의 훈련 과정에도 변화가 발생하며, 상기 각 발명의 실시예에 따라 유연하게 확장될 수 있으며, 여기서 더이상 설명하지 않는다. 주의해야할 것은, 제1 신경 네트워크가 타깃 이미지에 따라 제1 히트 맵과 제2 히트 맵을 생성하는 기능을 구현할 수 있는 경우, 그의 훈련 과정 중 타깃 키 포인트 위치 라벨에 따라 생성된 타깃 히트 맵은 제1 타깃 히트 맵과 제2 타깃 히트 맵일 수 있고, 제1 타깃 히트 맵과 제2 타깃 히트 맵은 모두 상기 발명의 실시예에서 제기한 2차원 가우스 함수를 통해 생성될 수 있다. 일 예에서, σ의 값을 조정하는 것을 통해, 제1 히트 맵에서 타깃 키 포인트의 응답 범위가 제2 히트 맵에서 타깃 키 포인트의 응답 범위보다 크게 하며, 즉 일 예에서, 제1 타깃 히트 맵의 생성 함수 내의 σ의 값은 제2 타깃 히트 맵의 생성 함수 내의 σ의 값보다 클 수 있으며, 나머지 파라미터 값은 모두 동일하게 유지될 수 있다.
단계 S12에서 타깃 이미지에서의 타깃 대상에 대해 분할을 수행하여, 타깃 대상의 분할 결과를 얻는 실시 형태도 실제 상황에 따라 유연하게 결정할 수 있으며, 하기 각 발명의 실시예에 한정되지 않는다. 가능한 실시 형태에 있어서, 픽셀 그레이 값에 기반하는 방법을 통해 타깃 대상에 대해 분할을 수행할 수 있고; 가능한 실시 형태에 있어서, 수평 세트, 활성 윤곽 모델 또는 영역 성장에 기반하는 방법을 통해 타깃 대상에 대해 분할 등을 수행할 수 있다. 가능한 실시 형태에 있어서, 분할 기능을 구비한 신경 네트워크를 통해 타깃 대상의 분할을 구현할 수도 있으며, 따라서, 일 예에서, 단계 S12는, 타깃 이미지를 제2 신경 네트워크에 입력하고 타깃 대상 분할을 수행하여, 타깃 대상의 분할 결과를 얻는 단계를 포함할 수 있다.
여기서, 제2 신경 네트워크는 타깃 대상 예측 분할 기능을 구비한 신경 네트워크일 수 있고, 그의 실시 형식은 실제 상황에 따라 유연하게 결정할 수 있으며, 하기 발명의 실시예에 한정되지 않는다. 가능한 실시 형태에 있어서, 제2 신경 네트워크은 명칭이 Tiramisu인 완전 컨볼루션 신경 네트워크를 사용하여 구현될 수 있고, Tiramisu 신경 네트워크는 다운샘플링 경로, 업샘플링 경로와 점프 연결을 구비하고, DenseNet 구조에서의 밀집 연결 블록(Dense Block)을 컨볼루션 블록으로 사용하고, 더 좋은 특징 재사용 효과를 구비하여, 로버스트의 특징을 얻으며, 여기서, 밀집 연결 블록에는 캐스케이드(cascade) 컨볼루션 층을 포함하고, 각 컨볼루션 층의 입력은 그의 출력과 결합되어 다음 컨볼루션 층의 입력으로 사용한다.
제2 신경 네트워크의 훈련 방식은 실제 상황에 따라 유연하게 결정할 수 있고, 하기 발명의 실시예에 한정되지 않는다. 가능한 실시 형태에 있어서, 크로스 엔트로피 손실 함수를 통해 제2 신경 네트워크가 생성한 분할 결과에 대해 감독을 수행하고, 역방향 전파 및 랜덤 경사하강법 훈련을 사용하여, 제2 신경 네트워크가 생성한 분할 결과가 최대한 인공 라벨된 대퇴골 분할 표준에 가깝게 할 수 있다.
타깃 이미지를 제2 신경 네트워크에 입력하는 것읕 통해, 타깃 대상의 분할 결과를 얻으므로, 타깃 대상의 분할 정밀도와 로버스트를 효과적으로 향상할 수 있어, 이미지 처리의 정밀도와 로버스트를 향상한다.
상기 각 발명의 실시예와 같이, 가능한 실시 형태에 있어서, 타깃 대상은 경골 대상 등 인체에서 양측 구조를 구비한 대상일 수 있으며, 따라서, 타깃 대상에 대해 분할을 수행한 후, 얻은 것은 왼쪽 경골과 오른쪽 경골의 전체 분할 결과일 수 있고, 후속 이미지 처리의 수요에 의해, 얻은 분할 결과에 대해 추가적으로 후처리를 수행하여, 좌 우 두 개 분할 결과를 나누어 놓는다. 분할 결과에 대해 후처리를 수행하는 방식은 실제 상황에 따라 유연하게 결정할 수 있고, 가능한 실시 형태에 있어서, 제2 신경 네트워크가 생성한 경골 분할 결과에 따라 연결된 도메인을 계산하고, 면적이 제일 큰 두 개 연결된 도메인을 유지하며, 중력 중심이 좌측에 있는 연결된 도메인을 좌측 경골 분할 결과로 사용하고, 중력 중심이 우측에 있는 연결된 도메인을 우측 경골 분할 결과로 사용한다.
가능한 실시 형태에 있어서, 제2 신경 네트워크도 직접 좌 우 경골의 분할 기능을 구현할 수 있고, 즉 타깃 이미지를 제2 신경 네트워크에 입력한 후, 제2 신경 네트워크는 그 중의 좌측 경골 대상 또는 우측 경골 대상을 자동 식별할 수 있고, 좌측 경골 대상과 우측 경골 대상에 대해 각각 분할을 수행하므로, 좌측 경골 분할 결과와 우측 경골 분할 결과를 각각 출력한다.
타깃 대상의 타깃 키 포인트 및 타깃 대상의 분할 결과를 획득하는 것 외에도, 단계 S13을 통해 타깃 대상의 처리 타입을 획득할 수 있다. 타깃 대상 처리 타입의 획득 방식은 실제 상황에 따라 유연하게 결정할 수 있으며, 가능한 실시 형태에 있어서, 단계 S13은, 타깃 키 포인트에 따라, 타깃 대상의 처리 타입을 결정하는 단계를 포함할 수 있다.
상기 발명의 실시예에서 제기한 바와 같이, 타깃 대상의 처리 타입은 타깃 대상 및 타깃 대상의 응용 시나리오에 따라 공동으로 유연하게 결정할 수 있고, 따라서 상응하게, 타깃 대상의 처리 타입의 획득 방식이 타깃 대상 및 응용 시나리오의 상이함에 따라서도 유연하게 변화를 생성한다.
가능한 실시 형태에 있어서, 타깃 대상이 경골 대상이고 이미지 처리 방법이 경골 절골술의 수행을 보완하는 데 적용되는 경우, 타깃 대상의 실제 상태에 따라 타깃 대상의 처리 타입을 결정할 수 있다. 상기 발명의 실시예에서 제기한 바와 같이, 경골 고위 절골술은 인체 하지 전체가 힘을 받는 상태를 고려해야 함으로, 따라서 경골 고위 절골술 타입의 선택도, 인체 하지의 현재 힘을 받는 상태 또는 힘을 받는 상황을 고려해야 하며, 가능한 실시 형태에 있어서, 타깃 키 포인트를 통해 인체 하지의 현재 힘을 받는 상태를 결정하고, 적합한 처리 타입을 결정한다.
타깃 키 포인트에 따라 타깃 대상의 처리 타입을 결정하는 방법의 구현 과정은 실제 상황에 따라 유연하게 결정할 수 있다. 가능한 실시 형태에 있어서, 타깃 키 포인트의 위치에 따라 처리 타입과 관련된 계산 파라미터를 계산할 수 있고, 이러한 계산 파라미터를 인간 - 컴퓨터 인터랙션 인터페이스에 피드백하며, 관련 인원은 인간 - 컴퓨터 인터랙션 인터페이스에 피드백된 계산 파라미터에 따라 경험을 통해 처리 타입을 결정하고, 인간 - 컴퓨터 인터랙션 인터페이스를 통해 선택된 처리 타입을 이미지 처리 장치에 전달하여, 처리 타입의 획득을 구현한다. 가능한 실시 형태에 있어서, 타깃 키 포인트의 위치에 따라 처리 타입과 관련된 계산 파라미터를 계산할 수 있고, 계산 파라미터에 기반하여 직접 계산하여 처리 타입을 결정한다. 가능한 실시 형태에 있어서, 타깃 키 포인트에 따라 계산을 수행하여 부분적으로 처리 타입을 결정할 수도 있고, 예를 들어 구현 불가능한 부분 처리 타입을 제외하고, 예를 들어 설명하면, 경골 고위 절골술의 처리 타입을 결정하는 경우, 타깃 키 포인트가 인체 하지를 무릎 내반(예를 들어 O형 다리)이라고 결정하는 경우를 통해, 처리 타입이 내측 폐쇄형 또는 외측 개방형이 아닌 것을 결정할 수 있고, 이런 경우, 처리 타입은 또한 내측 개방형과 외측 폐쇄형을 포함할 수 있고, 다른 수술 방식, 예를 들어 내측 개방형 원위 대퇴골 절골술 또는 외측 폐쇄형 원위 대퇴골 절골술 등도 포함할 수 있고; 일부 가능한 실시예에 있어서, 부분 처리 타입을 제외한 후 또한, 남은 선택 가능한 처리 타입을, 상기 발명의 실시예에서 제기한 방식을 통해 인간 - 컴퓨터 인터랙션 인터페이스에 피드백하므로, 관련 인원의 선택에 따라, 최종적으로 처리 타입을 획득할 수 있다. 가능한 실시 형태에 있어서 또한, 타깃 키 포인트와 처리 타입 라벨을 포함한 훈련 이미지를 통해, 하나의 처리 타입 결정 기능을 구비한 신경 네트워크를 훈련하여 얻고, 타깃 키 포인트를 획득한 타깃 이미지를 상기 신경 네트워크에 입력하여, 상기 타깃 이미지와 대응되는 처리 타입 등을 출력할 수 있다.
상기 임의의 발명의 실시예를 통해 타깃 키 포인트 및 타깃 대상의 분할 결과를 얻은 후, 단계 S13을 통해 적어도 하나의 타깃 키 포인트에 따라, 분할 결과를 결합하여, 타깃 대상의 적어도 하나의 처리 파라미터를 얻을 수 있다. 여기서, 단계 S13의 실시 형태는, 타깃 대상 및 결정해야 할 처리 파라미터의 실제 상황에 따라 유연하게 결정되며, 하기 각 발명의 실시예에 한정되지 않는다. 가능한 실시 형태에 있어서, 타깃 키 포인트는 복수 개일 수 있고, 적어도 하나의 처리 파라미터는 제1 처리 파라미터와 제2 처리 파라미터를 포함할 수 있으며, 단계 S13은,
처리 타입에 따라 타깃 대상의 획득될 제1 처리 파라미터 및 제2 처리 파라미터를 결정하는 단계 S131;
적어도 두 개 타깃 키 포인트 및 분할 결과에 따라, 제1 처리 파라미터를 획득하는 단계 S132; 및
적어도 세 개 타깃 키 포인트에 따라, 제1 처리 파라미터를 결합하여, 제2 처리 파라미터를 획득하는 단계 S132를 포함할 수 있다.
여기서, 제1 처리 파라미터는 타깃 키 포인트 및 분할 결과에 기반하여 먼저 획득된 처리 파라미터일 수 있고, 포함하는 파라미터는 실제 상황에 따라 유연하게 결정할 수 있다. 타깃 대상이 경골 대상이고 이미지 처리 방법이 경골 절골술의 수행을 보완하는 데 적용되는 경우, 인피드 포인트와 힌지 포인트가 먼저 타깃 키 포인트와 분할 결과에 따라 결정될 수 있으므로, 따라서 가능한 실시 형태에 있어서, 제1 처리 파라미터는 힌지 포인트 및/또는 인피드 포인트를 포함할 수 있고, 일부 가능한 실시예에 있어서, 힌지 포인트와 인피드 포인트의 연결 라인은 절골선을 구성할 수 있으므로, 따라서 힌지 포인트와 인피드 포인트에 기반하여 직접 절골선의 길이를 결정할 수 있고, 따라서, 가능한 실시 형태에 있어서, 제1 처리 파라미터는 힌지 포인트, 인피드 포인트 및 절골선 길이 중의 하나 또는 복수 개를 포함할 수 있다.
제2 처리 파라미터는 제1 처리 파라미터를 결정한 후, 타깃 키 포인트를 결합하여 추가적으로 획득된 처리 파라미터일 수 있으며, 포함될 수 있는 파라미터도 실제 상황에 따라 유연하게 결정될 수 있다. 타깃 대상이 경골 대상이고 이미지 처리 방법이 경골 절골술의 수행을 보완하는 데 적용되는 경우, 힌지 포인트와 인피드 포인트를 결정한 후, 결정된 결과에 기반하여, 타깃 키 포인트의 검출 결과를 결합하여, 추가적으로 경골 절골술의 타깃 포스 라인을 결정할 수도 있다. 가능한 실시 형태에 있어서, 제2 처리 파라미터는 타깃 포스 라인을 포함할 수 있고; 경골 절골술의 타깃 포스 라인을 결정한 후, 이미 획득한 각 타입의 타깃 키 포인트에 따라, 추가적으로 개방 각도 또는 폐쇄 각도, 및 개방 거리 또는 폐쇄 거리 등을 얻을 수 있다. 가능한 실시 형태에 있어서, 제2 처리 파라미터는 타깃 포스 라인, 프로세싱 각도 및 프로세싱 거리 중의 하나 또는 복수 개를 포함할 수 있다.
상기 각 발명의 실시예와 같이, 처리 타입의 상이함에 따라, 획득해야할 처리 파라미터의 타입은 유연하게 변화가 발생할 수 있다. 가능한 실시 형태에 있어서, 단계 S132를 통해 제1 처리 파라미터를 결정 및 단계 S133에 따라 제2 처리 파라미터를 결정하기 전에, 먼저 단계 S131를 통해 획득해야할 제1 처리 파라미터와 제2 처리 파라미터를 결정할 수 있다. 예를 들어 설명하면, 처리 타입이 내측 폐쇄형, 외측 폐쇄형, 내측개방형 및 외측개방형을 포함할 수 있으므로, 일 예에서, 처리 타입이 내측에 위치하였는지 외측에 위치하였는지의 상이함에 따라, 획득해야할 제1 처리 파라미터에서 인피드 포인트의 결정 기준과 위치는 그에 따른 변화가 발생할 수 있고; 일 예에서, 처리 타입이 폐쇄형인지 개방형인지의 상이함에 따라, 획득해야할 제2 처리 피라미터는 폐쇄 각도 또는 개방 각도, 폐쇄 거리 또는 개방 거리 등을 포함할 수 있다. 가능한 실시 형태에 있어서, 처리 타입이 내측 폐쇄형인 경우, 제1 처리 파라미터는 변화가 발생할 수 있고, 일 예에서, 내측 폐쇄형에서의 인피드 포인트는 힌지 포인트와 폐쇄 각도에 따라 공동으로 결정되고, 이러한 경우, 제1 처리 파라미터는 힌지 포인트만을 포함하고, 인피드 포인트는 제2 처리 파라미터로 사용되어 획득을 수행한다.
후속 각 발명의 실시예는 처리 타입을 모두 내측 개방형으로 예를 들어 설명하며, 나머지 처리 타입에서, 단계 S13에서 각 단계의 실시 형태는 후속 각 발명의 실시예를 참조하여 유연하게 확장할 수 있으며, 여기서 더이상 일일이 예를 들어 설명하지 않는다.
타깃 대상이 다른 대상이고, 이미지 처리 방법이 다른 타입의 수술 과정의 수행을 보완하는 데 적용되는 경우, 단계 S13의 실시 형식도 유연하게 변화가 발생할 수 있으며, 예를 들어 직접 분할 결과와 타깃 키 포인트에 따라 모든 처리 파라미터를 얻을 수 있고; 또는 먼저 분할 결과에 따라 부분 처리 파라미터를 얻고, 다음 얻은 부분 처리 파라미터에 따라, 타깃 키 포인트를 결합하여 나머지 처리 파라미터를 얻으며; 또는 먼저 타깃 키 포인트에 따라 부분 처리 파라미터를 얻고, 다음 얻은 부분 처리 파라미터에 따라, 분할 결과를 결합하여 나머지 처리 파라미터를 얻는 등, 그의 구현 과정은 타깃 대상의 실제 상황에 기반하며, 하기 각 발명의 실시예를 참조하여 유연하게 확장 변화할 수 있고, 여기서 더이상 일일이 예를 들어 설명하지 않는다.
단계 S132의 구현 과정은 타깃 대상의 실제 상황에 따라 유연하게 결정할 수 있고, 하기 발명의 실시예에 한정되지 않으며, 가능한 실시 형태에 있어서, 단계 S132는 타깃 키 포인트에 따라 제1 처리 파라미터가 속하는 범위를 결정하는 단계; 및 제1 처리 파라미터가 속하는 범위와 분할 결과를 결합하여, 제1 처리 파라미터를 얻는 단계를 포함할 수 있다.
상기 발명의 실시예를 통해, 가능한 실시 형태에 있어서, 제1 처리 파라미터를 획득하는 과정에서, 먼저 타깃 키 포인트에 기반하여 제1 처리 파라미터의 대략적인 범위를 결정하고, 다음 분할 결과에 기반하여 타깃 대상 위치를 제한하며, 결정된 대략적인 범위와 결합하여, 제1 처리 파라미터를 얻을 수 있는 것을 알 수 있다.
상기 각 발명의 실시예와 같이, 타깃 대상이 경골 대상이고 이미지 처리 방법이 경골 절골술의 수행을 보완하는 데 적용되는 경우, 제1 처리 파라미터는 힌지 포인트 및/또는 인피드 포인트를 포함할 수 있고, 따라서 가능한 실시 형태에 있어서, 먼저 타깃 키 포인트에 따라 힌지 포인트와 인피드 포인트가 속하는 범위를 결정하고, 다음 분할 결과에 따라 결정된 속하는 범위를 결합하여, 힌지 포인트와 인피드 포인트의 실제 위치를 얻을 수 있다. 도 6은 본 발명의 일 실시예에 따른 처리 파라미터의 예시도를 도시하고, 일 예에서, 처리 타입이 내측 개방형인 경우, 힌지 포인트 결정을 구현하는 과정은, 획득된 경골 고원의 외측 끝점에서 아래로10밀리미터(mm)의 범위를 힌지 포인트가 속하는 범위로 사용하고, 다음 이 범위에서, 분할 결과에서 경골 외측 윤곽과의 교점을 찾고, 이 교점에 기반하여 경골 내측으로 10mm 이동하여, 제1 처리 파라미터에서의 힌지 포인트를 얻으며, 도 6에 도시한 바와 같이 힌지 포인트(66)는 좌측 경골 니어엔드 세그먼트의 왼쪽 끝점일 수 있다. 일 예에서, 처리 타입이 내측 개방형인 경우, 인피드 포인트 결정의 구현 과정은, 획득된 경골 고원의 내측 끝점에서 아래로 15mm의 범위를 인피드 포인트가 속하는 범위로 사용하고, 다음 이 범위에서, 분할 결과에서 경골 내측 윤곽과의 교점을 찾고, 이 교점을 제1 처리 파라미터에서의 인피드 포인트로 사용하고, 도 6에 도시된 바와 같이 인피드 포인트(67)은 좌측 경골 니어엔드 세그먼트의 오른쪽 끝점일 수 있다. 일 예에서, 힌지 포인트와 인피드 포인트를 결정한 후, 힌지 포인트와 인피드 포인트를 연결하고, 연결된 세그먼트를 절골선으로 사용할 수 있으며, 즉 도 6에서 좌측 경골 니어엔드의 연결 세그먼트일 수 있다.
힌지 포인트와 인피드 포인트를 포함하는 제1 처리 파라미터를 얻은 후, 타깃 키 포인트와 제1 처리 파라미터에 따라, 단계 S133을 통해 추가적으로 제2 처리 파라미터를 결정할 수 있다. 단계 S133의 구현 과정은 동일하게 타깃 대상의 실제 상황에 따라 유연하게 결정할 수 있고, 하기 발명의 실시예에 한정되지 않으며, 가능한 실시 형태에 있어서, 단계 S133은, 제1 처리 파라미터와 적어도 세 개 타깃 키 포인트를 결합하여, 타깃 포스 라인을 얻는 단계; 및 타깃 포스 라인에 따라, 제1 처리 파라미터와 적어도 하나의 타깃 키 포인트를 결합하여, 프로세싱 각도 및/또는 프로세싱 거리를 얻는 단계를 포함할 수 있다.
상기 각 발명의 실시예와 같이, 타깃 포스 라인은 상기 발명의 실시예에서 하지 포스 라인의 타깃 위치일 수 있다. 일부 실시 형태에 있어서, 타깃 포스 라인을 획득하는 방법은, 경골 절골술 수술의 교정 목적의 상이함에 따라 유연하게 결정될 수 있다. 예를 들어 설명하면, 가능한 실시 형태에 있어서, 경골 절골술 수술의 교정 목적은 교정 후의 하지 포스 라인(즉 타깃 포스 라인)이 무릎 관절 중심점을 통하는 것일 수 있고, 가능한 실시 형태에 있어서, 경골 수술의 목적은 또한 교정 후의 하지 포스 라인이 후지사와 포인트를 통하는 것 등일 수도 있다. 여기서, 후지사와 포인트는 경골 내측 끝점과 경골 외측 끝점을 연결 라인의 세그먼트에서, 경골 내측 끝점으로부터 길이가 연결 라인 세그먼트의 62%를 차지하는 점일 수 있다. 도 7은 본 발명의 일 실시예에 따른 후지사와 포인트 예시도를 도시하고, 도 7에서 알 수 있듯이, 화살표가 가리키는 위치가 즉 후지사와 포인트의 위치이다. 후속 각 발명의 실시예는 모두 타깃 포스 라인이 무릎 관절 중심점을 통과하는 것을 예로 들어 설명하며, 타깃 포스 라인이 후지사와 포인트를 통과하는 실시 형태는 후속 각 발명의 실시예를 참조하여 확장할 수 있고, 더이상 설명하지 않는다.
도 6에 도시된 바와 같이, 일 예에서, 타깃 포스 라인이 무릎 관절 중심점을 통과하는 경우, 제1 처리 파라미터와 적어도 세 개 타깃 키 포인트 결합에 따라, 타깃 포스 라인을 얻는 구현 과정은, 대퇴골두의 중심점(61)에서 경골 고원의 내측 끝점(62)과 경골 고원의 외측 끝점(63)의 중점 즉 무릎 관절 중심점까지 연계하여 반직선으로 하고, 힌지 포인트(66)를 원심으로, 힌지 포인트(66)와 발목 관절 간격 내측 끝점(64)과 발목 관절 간격 외측 끝점(65)의 중심 즉 발목 관절의 중심점의 거리를 반경으로 호를 만들며, 상기 호와 상기 반직선 원위의 교점은 발목 관절의 중심점의 교정 타깃으로 사용될 수 있고, 발목 관절의 중심점의 교정 타깃과 대퇴골두의 중심점(61)의 연결 라인 세그먼트는 타깃 포스 라인을 구성한다.
타깃 포스 라인을 결정한 후, 추가적으로 개방 각도와 개방 거리를 얻을 수 있다. 일 예에서, 개방 각도는 힌지 포인트에서 발목 관절의 중심점까지의 반직선, 및 힌지 포인트에서 발목 관절의 중심점의 교정 타깃까지의 반직선, 이 두 개 반직선이 형성한 협각일 수 있고, 개방 거리는 개방 각도를 꼭지각으로 할 수 있고, 허리 길이는 절골선 길이인 이등변 삼각형의 밑변의 길이이며, 도 8은 본 발명의 일 실시예에 따른 제2 처리 파라미터 예시도를 도시하고, 도 8에 도시된 바와 같이, 좌측 절골선 아래의 경골 전체적인 이미지가 힌지 포인트(81)을 중심으로 상기 개방 각도 만큼 회전하는 경우, 하지 포스 라인은 무릎 관절 중심을 지나, 즉 타깃 포스 라인의 위치에 도달할 수 있다.
가능한 실시 형태에 있어서, 처리 타입이 내측 폐쇄형인 경우, 개방 각도는 폐쇄 각도로 변할 수 있으므로, 경골 내측 윤곽에서, 힌지 포인트와 꼭지각이 폐쇄 각도를 형성하는 이등변 삼각형의 두 점에 기반하여 인피드 포인트를 결정할 수 있다.
상기 과정을 통해, 분할 결과를 이용하여, 추가적으로 획득된 타깃 키 포인트를 이용하여 경골 고위 절골술의 인피드 포인트, 힌지 포인트, 개방(또는 폐쇄) 각도 및 개방(또는 폐쇄) 거리 등을 자동으로 얻으므로, 보다 자동화된 이미지 처리 과정을 구현하여, 경골 절골술을 보완하는 데 사용하고, 의료 종사자 인터랙션 효율을 향상시킨다.
상기 과정을 제외한 외에, 본 발명의 실시예가 제기한 이미지 처리 방법은, 타깃 키 포인트 및/또는 분할 결과를 획득하기 전, 또한, 이미지 전처리의 단계를 포함할 수 있고, 즉 가능한 실시 형태에 있어서, 타깃 이미지는 전처리를 거친 이미지를 포함할 수 있고, 여기서, 전처리는 이미지 표준화 및/또는 이미지 향상을 포함할 수 있다.
상기 발명의 실시예에서 이미, 타깃 이미지는 타깃 대상을 포함한 의학 이미지일 수 있고, 예를 들어 전신 엑스레이 필름, 하지 엑스레이 필름 또는 경골 부위의 엑스레이 필름등 일 수 있다고 제기하였다. 상이한 기기로 촬영된 의학 이미지에 대해, 이미지는 일부 차이가 존재할 수 있고, 예를 들어 일부 의학 이미지는 흰색 배경과 검정색 전경을 사용하고, 일부 의학 이미지는 흰색 전경 검은색 배경을 사용하며, 상이한 기기로 촬영된 의학 이미지의 픽셀 피치는 차이가 존재할 수 있다. 따라서, 이러한 의학 이미지에 대해 통일적으로 편리하게 타깃 키 포인트 획득 또는 분할을 수행하기 위해, 가능한 실시 형태에 있어서, 의학 이미지에 대해 이미지 표준화를 수행하여, 전처리를 거친 타깃 이미지를 얻을 수 있다. 가능한 실시 형태에 있어서, 후속 얻은 이미지 처리 결과가 좋은 처리 효과를 구비하도록 하기 위해, 의학 이미지에 대해 이미지 향상을 수행할 수도 있다.
이미지 표준화의 실시 형태는 실제 상황에 따라 유연하게 결정할 수 있고, 하기 각 발명의 실시예에 한정되지 않는다. 가능한 실시 형태에 있어서, 이미지 표준화는 배경 표준화, 픽셀 피치 표준화 및 픽셀 값의 정규화 중의 적어도 하나 또는 복수 개를 포함할 수 있다. 배경 표준화의 방식은 이미지의 배경을 동일한 색상으로 설정할 수 있고, 어떤 색상으로 설정하는지에 대한 제한이 없으며, 일 예에서, 의학 이미지의 배경을 모두 검정색으로 설정하고, 전경을 모두 흰색 등으로 설정할 수 있다. 픽셀 피치 표준화의 방식은 의학 이미지에서의 픽셀 피치를 모두 규정값으로 설정할 수 있고, 규정값의 값은 실제 상황에 따라 유연하게 설정할 수 있다, 일 예에서, 픽셀 피치를 모두 (0.68mm, 0.68mm)로 설정할 수 있다. 픽셀 값 정규화는 이미지에서 픽셀 값을 모두, 예를 들어 [0, 1] 사이 등 특정된 값의 범위 내에 정규화할 수 있고, 여기서 정규화의 방식은 한정 받지 않으며, 일 예에서, 먼저 의학 이미지에서의 픽셀 포인트에 대해 픽셀 값이 작은 것부터 큰 것으로 배열을 수행할 수 있고, 여기서 3% 위치에 위치한 픽셀 값을 제일 낮은 픽셀 값으로 설정하고, 99% 위치에 위치한 픽셀 값을 제일 높은 픽셀 값으로 설정하며, 다음 제일 낮은 픽셀 값보다 낮은 픽셀 포인트의 값을 제일 낮은 픽셀 값으로 수정하고, 제일 높은 픽셀 값보다 높은 픽셀 포인트의 값을 제일 높은 픽셀 값으로 수정하며, 픽셀 값 수정을 완성한 후 픽셀 값을 [0, 1] 사이로 정규화하여, 픽셀 값의 정규화를 완성한다.
이미지 향상의 방식도 실제 상황에 따라 유연하게 결정할 수 있고, 하기 실시예에 한정되지 않으며, 일 예에서, 명암비 제한 적응적 히스토그램 보정 알고리즘(Contrast Limited Adaptive Histogram Equalization, CLAHE)을 통해 의학 이미지의 로컬 대비를 향상하여, 이미지 향상을 구현할 수 있다.
이미지 표준화 및/또는 이미지 향상을 통해 얻은 전처리된 이미지를 타깃 이미지로 사용하여, 후속 균일한 규격과 좋은 이미지 효과를 구비한 타깃 이미지에 대해 타깃 키포인트 획득과 분할을 수행하여, 타깃 키 포인트 획득과 분할의 구현 편의성을 향상하는데 편리할 수 있고, 타깃 키 포인트의 정밀도와 분할 정밀도를 향상하여, 이미지 처리의 구현 편의성과 정밀도를 향상시킬수 있다.
경골 고위 절골술은 초기 무릎 골관절염을 치료하는 효과적인 수단이고, 원래의 관절을 유지할 수 있고, 무릎 관절 부담이 큰 포스 라인 교정을 통해, 연골의 마모를 추가적으로 방지하고, 관절의 안정성을 높이고, 통증을 완화하며, 무릎 관절 기능을 개선하므로, 관절 교체를 피면하거나 최대한 지연시킨다. 여기서, 경골 절골술 위치의 정확도는 경골 고위 절골의 효과에 큰 영향을 준다.
관련 기술에서의 수술 계획 방법은 통상적으로 수공 라벨 방법으로 키 포인트 포지셔닝을 수행하여 수술 계획 프로세스가 복잡하고; 키 포인트 자동 포지셔닝 방법은 높은 안정성과 높은 정확도를 모두 구비하긴 어렵고, 키 포인트의 예측 신뢰도를 주지 못하며, 키 포인트가 일부 원인으로(예를들어 이미지 화질 저하, 키 포인트가 존재하지 않는 등) 정확하게 예측될 수 없을 경우 알고리즘은 편차가 너무 큰 잘못된 예측을 제공하는 문제가 존재한다. 동시에 상기 방법은 수동으로 인피드 포인트, 힌지 포인트를 설정해야, 후속의 개방(폐쇄) 각도, 개방(폐쇄) 거리의 계산을 수행할 수 있으므로, 의료 종사자 인터랙션 효율이 높지 않다.
본 발명 응용 예는 이미지 처리 방법을 제기하며, 한 측면에서 딥 러닝 모델을 이용하여 하지 전체 길이 X선 필름에서의 키 포인트를 자동으로 포지셔닝하고, 상기 모델은 동시에 거친 포지셔닝 히트 맵과 정밀한 포지셔닝 히트 맵을 이용하여 포지셔닝 예측을 수행하여, 높은 안정성과 높은 정확도를 겸비하며, 키 포인트의 예측 신뢰도를 줄 수 있고; 다른 한 측면에서 딥 러닝 모델을 이용하여 하지 전체 길이 X선 필름에서의 경골 분할을 자동 예측하며, 추가적으로 경골 고원의 외측 끝점과 내측 끝점을 이용하여 경골 고위 절골술의 인피드 포인트, 힌지 포인트, 개방(폐쇄) 각도, 개방(폐쇄) 거리를 추천한다. 본 발명의 실시예는 이미지 처리 방법을 제기하고, 이 처리 방법은 엑스레이 필름에 기반하여 경골 절골술 과정에서의 절골 위치를 결정하며, 상기 이미지 처리의 과정은 아래와 같을 수 있다.
제1 단계에 있어서, 하지 엑스레이 필름에서 타깃 키 포인트를 자동으로 포지셔닝한다. 도 9는 타깃 키 포인트의 자동 포지셔닝의 흐름을 도시하였고, 도 9에서, 본 발명 응용 예가 하지 엑스레이 필름에서 좌측 과 우측의 대퇴골두 중심, 대전자의 첨단, 내측 대퇴과, 외측 대퇴과, 경골 고원의 내측 끝점, 경골 고원의 외측 끝점, 발목 관절 간격의 내측 끝점, 발목 관절 간격의 외측 끝점, 무릎 관절 중심, 발목 관절 중심을 구현할 수 있고, 총 10*2=20가지 타깃 키 포인트를 자동 포지셔닝(좌 우 각 10가지 타깃 키 포인트)하는 것을 알 수 있다. 여기서 무릎 관절 중심점은 경골 고원의 내측 끝점과 경골 고원의 외측 끝점의 중점으로 정의할 수 있고, 발목 관절의 중심점은 발목 관절 간격의 내측 끝점과 발목 관절 간격의 외측 끝점의 중점으로 정의할 수 있으며, 일 예에서, 먼저 정의에 기반하여 각 중심점 좌 우 양측의 끝점을 포지셔닝하고, 다음 포지셔닝된 두 개 끝점의 중점을 계산하여 상기 중심점을 얻으며; 일 예에서, 상기 중심점의 위치를 직접 포지셔닝할 수도 있다. 후속 경골 절골술의 각 처리 파라미터의 결정을 구현하기 위해, 예측된 타깃 키 포인트는 적어도 대퇴골두의 중심점, 발목 관절의 중심점, 무릎 관절의 중심점, 경골 고원의 내측 끝점 및 경골 고원의 외측 끝점 등을 포함한다.
일부 실시 형태에 있어서, 타깃 키 포인트의 포지셔닝과정은 아래의 몇 개 단게로 나뉠 수 있다.
먼저 입력 이미지(91)에 대해, 엑스레이 이미지를 통일적으로 배경을 검정색으로, 전경을 흰색으로 처리하는 단계; 이미지의 픽셀 피치를 (0.68mm, 0.68mm)로 통일하는 단계; 픽셀 값을 정규화하고, 먼저 제3 백분위 수보다 낮은 수와 제99 백분위 수보다 높은 수의 값을 각각 제3 백분위수, 제99 백분위수로 설정하고, 다음 값을 [0, 1]로 정규화하는 단계; 다음 CLAHE 방법을 이용하여 이미지의 로컬 대비를 향상하는 단계에 따라 차례로 이미지 전처리(92)를 수행한다.
다음 미치 처리 후의 이미지를 완전 컨볼루션 신경 네트워크(93)(즉 상기 발명의 실시예에서의 제1 신경 네트워크)에 입력하고, 본 발명 응용 예에서, 하나의 인코더-디코더 및 점프 링크 구조의 Unet 네트워크를 사용하여, 각 타깃 키 포인트에 대해 각각 거친 포지셔닝 히트 맵(즉 상기 발명의 실시예에서의 제1 히트 맵)과 정밀한 포지셔닝 히트 맵(즉 상기 발명의 실시예에서의 제2 히트 맵)을 생성할 수 있다.
제1 신경 네트워크의 훈련 단계에서, 각 입력된 훈련 이미지에서 각 타깃 키 포인트 위치의 실제 값(즉 라벨 값)에 따라, 상기 타깃 키 포인트에 대응되는 거친 포지셔닝 타깃 히트 맵 및 정밀한 포지셔닝 타깃 히트 맵을 계산하고, 다음 평균 제곱 오차 손실 함수를 통해 제1 신경 네트워크가 생성한 히트 맵(94)에 대해 감독을 수행하며, 역방향 전파 및 랜덤 경사하강법 훈련을 사용하여, 제1 신경 네트워크가 생성한 히트 맵이 최대한 전술한 타깃 히트 맵에 가까워지게 할 수 있다. 거친 포지셔닝 타깃 히트 맵과 정밀한 포지셔닝 타깃 히트 맵은 모두 상기 공식(2)이 도시한 2차원 가우스 함수의 형식으로 나타낼 수 있다. 상기 발명의 실시예에서의 도 5에 도시된 바와 같이, 제1 히트 맵 즉 거친 포지셔닝 타깃 히트 맵에서 σ의 값은 비교적 정밀한 포지셔닝 히트 맵에서보다 크고, 따라서 더 큰 범위에 높은 응답 값이 있다. 구현 방안에서의 타깃 히트 맵도 유사한 성질의(타깃 키 포인트 위치에 가까울수록 더 큰 응답 값이 있고, 거친 포지셔닝 히트 맵은 비교적 정밀한 포지셔닝 히트 맵보다 더 큰 범위에서 높은 응답 값이 있음)함수로 구현될 수 있고, 본 응용 예에서 제기한 형식에 한정되지 않는다.
거친 포지셔닝 히트 맵과 정밀한 포지셔닝 히트 맵을 생성한 후, 그에 대해 후처리(95)를 수행하여, 타깃 키 포인트의 포지셔닝 결과(96)을 얻고, 여기서, 거친 포지셔닝 히트 맵과 정밀한 포지셔닝 히트 맵의 후처리에 대해 총체적으로 아래의 단계로 나눌수 있다.
우선 거친 포지셔닝 좌표(즉 상기 발명의 실시예에서의 제1 키 포인트의 좌표)와 거친 포지셔닝 신뢰도(즉 상기 발명의 실시예에서의 제1 신뢰도)의 계산을 수행하고, 본 발명 응용 예에 잇어서, 거친 포지셔닝 히트 맵에서 제일 큰 값의 좌표를 거친 포지셔닝 좌표로 사용하고; 다음 거친 포지셔닝 히트 맵에서의 값이 제일 큰 값보다 a i 배율 큰 영역(즉 상기 발명의 실시예에서의 타깃 키 포인트를 포함하는 영역)의 둘레의 길이 c i 와 면적 s i 을 계산하고, 본 발명의 응용 예에 있어서, 4 개 a i 값을 선택 사용하여, 각각 a 0 =0.8; a 1 =0.6; a 2 =0.4; a 3 =0.2로 표기할 수 있다. 거친 포지셔닝 신뢰도는 상기 공식(1)을 통해 계산할 수 있다.
다음 정밀한 포지셔닝 좌표(즉 상기 발명의 실시예에서 제2 키 포인트의 좌표)와 정밀한 포지셔닝 신뢰도(즉 상기 발명의 실시예에서의 제2 신뢰도)의 계산을 수행하고, 본 발명의 응용 예에 있어서, 만약 거친 포지셔닝 신뢰도가 0.5보다 크면, 거친 포지셔닝이 거의 정확하다고 생각할 수 있고, 정밀한 포지셔닝 히트 맵에서 거친 포지셔닝 좌표 부근의 일정한 범위(즉 상기 발명의 실시예에서의 응답 영역) 내의 응답 값을 유지할 수 있으며, 정밀한 포지셔닝 히트 맵에서 응답 영역 범위를 벗어난 값을 0으로 설정하여, 정밀한 포지셔닝 좌표가 항상 거친 포지셔닝 좌표 부근에 있게하고; 만약 거친 포지셔닝 신뢰도가 0.5보다 작거나 같으면, 원래의 정밀한 포지셔닝 히트 맵을 유지한다. 다음 거친 포지셔닝 히트 맵에서와 유사한 방법을 통해, 처리 후 또는 원래의 정밀한 포지셔닝 히트 맵에 따라, 정밀한 포지셔닝 좌표와 정밀한 포지셔닝 신뢰도를 계산한다.
거친 포지셔닝 히트 맵과 정밀한 포지셔닝 히트 맵의 관련 계산을 각각 완성한 후, 최종 타깃 키 포인트의 예측 결과를 선택할 수 있고, 구현 과정은, 정밀한 포지셔닝 신뢰도가 0.5보다 크거나 또는 정밀한 포지셔닝 신뢰도가 거친 포지셔닝 신뢰도보다 큰 경우, 정밀한 포지셔닝 좌표 및 정밀한 포지셔닝 신뢰도를 선택하여 최종 출력된 타깃 키 포인트 포지셔닝좌표와 신뢰도로 하고; 아니면 거친 포지셔닝 좌표 및 거친 포지셔닝 신뢰도를 선택하여 최종 출력된 타깃 키 포인트 포지셔닝 좌표와 신뢰도로 사용하는 것일 수 있다.
본 발명의 응용 예에 있어서, 거친 또는, 정밀한 포지셔닝 좌표와 정밀한 포지셔닝 신뢰도의 구체적인 계산 방법은 다른 계산 방식, 예를 들어 히트 맵에서 높은 응답 영역의 중력 중심에 따라 히트 맵에서의 포지셔닝 좌표를 결정하거나, 또는 히트 맵과 포지셔닝 좌표에 대응되는 타깃 히트 맵의 상관 계수 예측을 통해 신뢰도를 계산하는 등 방식을 사용할 수도 있다
제2 단계에 있어서, 하지 엑스레이 필름에서 경골의 자동 분할을 수행한다. 도 10은 자동 분할의 프로세스를 도시하고, 도 10에서, 본 발명의 응용 예에 있어서, 경골 자동 분할의 과정은 하기 단계를 통해 구현될 수 있는 것을 알 수 있다.
먼저 입력 이미지(101)에 대해 이미지 전처리(102)를 수행하고, 본 발명의 응용 예에 있어서, 전술한 타깃 키 포인트 자동 포지셔닝 과정과 동일한 이미지 전처리 단계를 사용할 수 있고, 여기서 더이상 설명하지 않는다.
다음 전처리 후의 이미지를 경골 분할을 예측하는 완전 컨볼루션 신경 네트워크(103)(즉 상기 발명의 실시예에서의 제2 신경 네트워크)에 입력한다. 본 발명의 응용 예에 있어서, 명칭이 Tiramisu인 완전 컨볼루션신경 네트워크를 사용하여 대퇴골 분할을 수행하고, 상기 Tiramisu 네트워크와 Unet 네트워크는 유사하게, 다운샘플링 경로, 업샘플링 경로와 점프 연결을 구비한다. 동시에 상기 Tiramisu 네트워크 구조는 DenseNet 구조에서의 밀집 연결 블록을 사용하여 캐스케이드 컨볼루션 층으로 구성된 컨볼루션 블록을 대체하여, 더 좋은 특징 재사용을 구현하고, 로버스트의 특징을 얻는다. 밀집 연결 블록에는 캐스케이드 컨볼루션 층이 포함되었을 뿐만 아니라, 각 컨볼루션 층의 입력과 그의 출력을 결합하여 다음 컨볼루션 층의 입력으로 사용한다.
제2 신경 네트워크의 훈련 단계에서, 크로스 엔트로피 손실 함수를 통해 제2 신경 네트워크가 생성한 경골 분할 결과(134)에 대해 감독을 수행하고, 역방향 전파 및 랜덤 경사하강법 훈련을 사용하여, 제2 신경 네트워크가 생성한 분할 결과가 최대한 인공 라벨된 경골 분할 표준에 가깝게할 수 있다. 본 발명의 응용 예에 있어서, 제2 신경 네트워크는 양측 경골 분할 예측을 구현할 수 있고, 가능한 실시 형태에 있어서, 제2 신경 네트워크를 통해 직접 좌측 경골 분할 예측 및/또는 우측 경골 분할을 구현할 수도 있다.
상기 경골 분할 결과(104)를 얻은 후, 경골 분할 결과에 대해 후처리(105)를 수행할 수 있고, 분할 결과에 대해 후처리하는 과정은, 제2 신경 네트워크가 생성한 경골 분할 결과에 따라 연결된 도메인을 계산하고, 여기서 제일 큰 두 개 연결된 도메인을 유지하며, 여기서 중력 중심이 좌측에 있는 연결된 도메인을 좌측 경골 분할 결과(106)로 사용하고, 여기서 중력 중심이 우측에 있는 연결된 도메인을 우측 경골 분할 결과(107)로 사용하며; 이 두 개 연결된 도메인의 경계를 취하여, 각각 좌측 경골 윤곽과 우측 경골 윤곽으로 사용한다.
제3 단계에 있어서, 타깃 키 포인트 위치와 경골 윤곽에 기반하여, 경골 절골술의 각 처리 파라미터를 결정한다.
본 발명 응용 예는 내측 개방형의 경골 고위 절골술의 각 처리 파라미터 획득을 예로 들어 설명하면,
우선, 타깃 키 포인트와 경골 윤곽 및 인피드 포인트, 힌지 포인트 간의 기하학적 위치 관계를 이용하여 인피드 포인트와 힌지 포인트를 획득할 수 있다. 일부 실시 형태에 있어서, 在경골 외측 윤곽에서 경골 고원의 외측 끝점 아래로 10mm인 점을 획득하고, 상기 점은 다시 경골 내측 10mm 위치의 점 즉 힌지 포인트로 사용할 수 있으며; 경골 내측 윤곽에서 경골 고원의 내측 끝점 아래로 15mm인 점을 찾아 즉 인피드 포인트로 사용할 수 있고, 힌지 포인트와 인피드 포인트의 연결 세그먼트 즉 절골선이다. 상기 발명의 실시예에서의 도 6에 도시된 바와 같이, 좌측 경골 니어엔드 세그먼트는 절골선이고, 그의 좌측 끝점은 힌지 포인트(66)이고, 우측 끝점은 인피드 포인트(67)이다.
이어서 경골 고위 절골술의 교정 타깃에 따라 타깃 포스 라인(하지 포스 라인은 대퇴골두 중심과 발목 관절 중심의 연결 세그먼트일 수 있고, 타깃 포스 라인은 하지 포스 라인의 교정 타깃일 수 있음)을 결정할 수 있다. 예를 들어 교정 타깃이 타깃 포스 라인이 무릎 관절 중심을 거치는 경우, 대퇴골두 중심에서 무릎 관절 중심까지를 반직선으로 하고, 힌지 포인트를 원심으로, 힌지 포인트와 발목 관절 중심의 거리를 반경으로 호를 만들며, 상기 호와 반직선 끝점의 교점은 발목 관절 중심 교정 타깃으로 될 수 있고, 발목 관절 중심 교정 타깃과 대퇴골두 중심의 연결 세그먼트는 타깃 포스 라인으로 사용될 수 있다.
타깃 포스 라인을 결정한 후, 개방 각도와 개방 거리를 추가적으로 결정할 수 있다. 여기서, 개방 각도는 힌지 포인트에서 발목 관절 중심점까지의 반직선이, 힌지 포인트에서 발목 관절 중심 교정 타깃 점까지의 반직선과 형성한 협각일 수 있다. 개방 거리는 개방 각도가 꼭지각일 수 있고, 허리 길이는 절골선 길이인 이등변 삼각형의 밑변의 길이와 같다.
일부 가능한 실시예에 있어서, 본 발명 응용 예에서 경골 고위 절골술의 처리 타입은 내측 개방형에서 내측 폐쇄형, 외측 개방형 또는 외측 폐쇄형으로 대체될 수 있고, 개방 각도, 인피드 포인트, 힌지 포인트의 추천 방법은 상응하게 변화가 발생할 수 있으며, 예를 들어 처리 타입이 내측 폐쇄형인 경우, 폐쇄 각도를 사용하여 개방 각도를 대체할 수 있고, 인피드 포인트의 위치는, 경골 내측 윤곽에서 힌지 포인트와 꼭지각이 폐쇄 각도인 이등변 삼각형의 두 점을 형성하는 이런 방식을 통해 결정될 수 있다. 본 발명 응용 예에서의 교정 타깃도 유연하게 변화할 수 있으며, 일 예에서, 교정 타깃은 상기 발명의 실시예에서 제기한 후지사와 포인트을 거치는 타깃 포스 라인으로 변할 수 있고, 타깃 포스 라인및 발목 관절 중심 교정 타깃의 계산 방법은 상응하게 변화가 발생할 수 있다.
상기 출원의 응용 예를 통해, 제1 신경 네트워크를 이용하여 하지 X선 필름에서의 타깃 키 포인트를 자동 포지셔닝하여, 수공으로 타깃 키 포인트를 라벨하는 과정을 줄이므로, 수술 계획 프로세스를 간략화하여, 의료 종사자 인터랙션 효율을 향상할 수 있고; 제1 신경 네트워크는 동시에 거친 포지셔닝 히트 맵과 정밀한 포지셔닝 히트 맵을 이용하여 타깃 키 포인트의 포지셔닝 예측을 수행하여, 높은 안정성과 높은 정확도를 겸비할 수 있으며; 동시에 각 타깃 키 포인트가 예측한 신뢰도를 줄 수 있으므로, 타깃 키 포인트가 일부 원인으로(예를 들어 이미지 화질 저하, 타깃 키 포인트가 존재하지 않는 등) 인해 정확하게 예측될 수 없을 때 편차가 너무 큰 잘못 예측한 결과를 얻는 경우를 최대한 줄이며, 동시에 결측값의 추가 보완 방법을 사용하여 예측 실패한 타깃 키 포인트에 대해 후속 보완하는데 편리하다.
동시에, 본 발명 응용 예는 제2 신경 네트워크를 이용하여 자동으로 하지 X선 필름에서의 경골 분할을 구현하고, 추가적으로 경골 고원의 외측 끝점과 내측 끝점을 이용하여 자동으로 경골 고위 절골술의 인피드 포인트, 힌지 포인트, 개방(폐쇄) 각도, 개방(폐쇄) 거리를 결정할 수 있다. 따라서 높은 자동화, 정확도가 높은 경골 고위 절골술에서 각 처리 파라미터의 예측을 구현하여, 수술 계획 프로세스를 간략화하며, 의료 종사자 인터랙션 효율을 향상한다.
본 발명 응용 예는 하지 전체 길이 X선 필름片에 대해 높은 안정성, 높은 정확도, 높은 일치성 키 포인트 자동 포지셔닝을 제공할 수 있고, 전통적인 이미지 판독 프로세스에서 의사가 수동으로 키 포인트를 라벨하는 시간과 정력의 문제 및 시니어 의사의 라벨 일치성이 차한 문제를 해결하고; 본 방안은 하지 전체 길이 X선 필름에 대해 자동으로 경골 분할을 수행할 수 있고, 의사가 선택한 경골 고위 절골술 종류 및 교정 타깃에 따라, 키 포인트 및 경골 윤곽을 이용하여 자동으로 인피드 포인트, 힌지 포인트, 개방 또는 폐쇄 각도, 개방 또는 폐쇄 거리를 추천하여, 의사가 수동으로 복잡한 도면, 기하학적 계산 및 측정을 통해 수술 계획의 단계를 수행할 필요가 없으며, 자동화 정도가 높다. 총괄적으로, 본 발명의 응용 예는 경골 고위 절골술의 수술 계획 과정을 간략화하여, 의료 종사자 인터랙션 효율을 향상시킬 수 있다.
설명해야할 것은, 본 발명의 실시예의 이미지 처리 방법은 상기 하지 엑스레이 필름 이미지의 처리에만 적용된다고 한정하지 않고, 경골 절골의 위치만을 결정한다고도 한정하지 않으며, 임의의 이미지 처리, 및 임의의 관련 처리 파라미터의 결정 과정에 적용될 수 있고, 본 발명의 실시예는 이에 대해 한정하지 않는다.
이해할 수 있는 것은, 본 발명의 실시예에서 제기한 상기 각 방법의 실시예는, 원리 논리를 위반하지 않는 한, 상호 결합되어 결합된 실시예를 형성할 수 있고, 편폭의 제한으로, 본 발명의 실시예에서 더이상 반복하여 설명하지 않는다. 본 분야의 기술자는 구체적인 실시형태의 상기 방법에서, 각 단계의 기록 순서는 엄격한 실행 순서를 의미하지 않고, 각 단계의 실행 순서는 그 기능 및 가능한 내측 논리에 의해 결정된다.
또한, 본 발명의 실시예는 이미지 처리 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 프로그램 제품을 더 제공하고, 상기 분배 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 프로그램은 모두 본 발명의 실시예에서 제공한 어느 하나의 이미지 처리 방법을 구현하는데 사용될 수 있으며, 상응하는 기술방안 및 설명 및 참조 방법 부분의 상응하는 기재는, 여기서 더이상 반복하여 설명하지 않는다.
도 11은 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 도시한다. 상기 이미지 처리 장치는 단말 기기, 서버 또는 다른 처리 기기 등일 수 있다. 여기서, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 개인용 정보 단말기(Personal Digital Assistant, PDA), 핸드 헬드 기기, 컴퓨팅 기기, 차량용 기기, 웨어러블 기기 등일 수 있다. 일부 가능한 실시 형태에 있어서, 상기 이미지 처리 장치는 프로세서가 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식을 통해 구현될 수 있다. 도 11에 도시된 바와 같이, 상기 이미지 처리 장치(110)는, 타깃 이미지의 타깃 키 포인트를 획득하도록 구성된 타깃 키 포인트 획득 모듈(111); 타깃 이미지에서의 타깃 대상에 대해 분할을 수행하여, 타깃 대상의 분할 결과를 얻도록 구성된 분할 모듈(112); 타깃 대상의 처리 타입을 획득하도록 구성된 처리 타입 획득 모듈(113); 타깃 키 포인트, 분할 결과 및 처리 타입에 따라, 타깃 대상의 적어도 하나의 처리 파라미터를 결정하도록 구성된 처리 파라미터 결정 모듈(114)을 포함할 수 있다.
가능한 실시 형태에 있어서, 타깃 키 포인트 획득 모듈(111)은, 타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 신뢰도를 포함하는 타깃 키 포인트를 얻도록 구성된다.
가능한 실시 형태에 있어서, 타깃 키 포인트 획득 모듈(111)은, 타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 타깃 키 포인트에 각각 대응되는 히트 맵을 얻고; 적어도 두 개 히트 맵에 대응되는 타깃 키 포인트의 좌표 및 신뢰도를 획득하도록 구성된다.
가능한 실시 형태에 있어서, 타깃 키 포인트 획득 모듈(111)은, 타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 타깃 키 포인트에 각각 대응되는 제1 히트 맵과 제2 히트맵을 얻고, 여기서, 제1 히트 맵에 대응되는 타깃 키 포인트의 응답 범위는 제2 히트 맵에 대응되는 타깃 키 포인트의 응답 범위보다 크며; 제1 히트 맵에서 제1 키 포인트를 결정하고, 제1 히트 맵에 따라, 제1 키 포인트의 제1 신뢰도를 얻고; 제1 신뢰도에 따라, 제2 히트 맵에서 제2 키 포인트를 결정하고, 제2 히트 맵을 결합하여, 제2 키 포인트의 제2 신뢰도를 얻으며; 제2 신뢰도에 따라, 제1 키 포인트 또는 제2 키 포인트를 타깃 이미지에서의 타깃 키 포인트로 결정하고, 타깃 키 포인트와 대응되는 신뢰도를 얻도록 구성된다.
가능한 실시 형태에 있어서, 타깃 키 포인트 획득 모듈(111)은 또한, 제1 신뢰도가 제1 신뢰도 임계값보다 큰 경우, 제1 키 포인트가 제1 히트 맵에서의 위치에 따라 응답 영역을 결정하고, 제2 히트 맵의 응답 영역 내에서 제2 키 포인트를 결정하며, 제2 히트 맵의 응답 영역에 따라, 제2 키 포인트의 제2 신뢰도를 얻고; 제1 신뢰도가 제1 신뢰도 임계값보다 크지 않는 경우, 제2 히트 맵에서 제2 키 포인트를 결정하고, 제2 히트 맵에 따라, 제2 키 포인트의 제2 신뢰도를 얻도록 구성된다.
가능한 실시 형태에 있어서, 타깃 키 포인트 획득 모듈(111)은 또한, 제2 신뢰도가 제2 신뢰도 임계값보다 큰 경우, 제2 키 포인트를 타깃 이미지에서의 타깃 키 포인트로 결정하고, 제2 신뢰도를 타깃 키 포인트와 대응되는 신뢰도로 사용하며; 제2 신뢰도가 제2 신뢰도 임계값보다 크지 않는 경우, 제1 키 포인트를 타깃 이미지에서의 타깃 키 포인트로 결정하고, 제1 신뢰도를 타깃 키 포인트와 대응되는 신뢰도로 사용하도록 구성된다.
가능한 실시 형태에 있어서, 타깃 키 포인트 획득 모듈(111)은 타깃 이미지를 제1 신경 네트워크에 입력하여 키 포인트 검출을 수행하도록 구성된다.
가능한 실시 형태에 있어서, 제1 신경 네트워크는 타깃 키 포인트 위치 라벨을 포함하는 훈련 이미지를 통해 훈련을 수행하며, 훈련은, 타깃 키 포인트 위치 라벨에 따라, 타깃 키 포인트 위치와 대응되는 타깃 히트 맵을 생성하고; 훈련 이미지를 제1 신경 네트워크에 입력하여, 제1 신경 네트워크가 출력한 히트 맵을 얻으며; 출력된 히트 맵과 타깃 히트 맵에 따라, 제1 신경 네트워크의 손실 함수를 결정하고; 손실 함수에 따라, 제1 신경 네트워크의 적어도 하나의 파라미터를 조정하는 것을 포함한다.
가능한 실시 형태에 있어서, 처리 타입 획득 모듈(113)은, 타깃 키 포인트에 따라, 타깃 대상의 처리 타입을 결정하도록 구성된다.
가능한 실시 형태에 있어서, 타깃 키 포인트는 적어도 두 개이고, 적어도 하나의 처리 파라미터는 제1 처리 파라미터와 제2 처리 파라미터를 포함하고, 처리 파라미터 결정 모듈(114)은, 처리 타입에 따라, 타깃 대상의 획득될 제1 처리 파라미터와 제2 처리 파라미터를 결정하고; 적어도 두 개 타깃 키 포인트 및 분할 결과에 따라, 제1 처리 파라미터를 획득하며; 적어도 세 개 타깃 키 포인트에 따라, 제1 처리 파라미터를 결합하여, 제2 처리 파라미터를 획득하도록 구성된다.
가능한 실시 형태에 있어서, 타깃 이미지는 전처리된 이미지를 포함하고, 전처리는 이미지 표준화 및/또는 이미지 향상을 포함한다.
가능한 실시 형태에 있어서, 타깃 대상은 경골 대상을 포함하고; 처리 타입은, 내측 폐쇄형, 외측 폐쇄형, 내측 개방형 또는 외측 개방형을 포함하고; 적어도 하나의 처리 파라미터는 피드 포인트, 힌지 포인트, 타깃 포스 라인, 프로세싱 각도 및 프로세싱 거리 중의 하나 또는 복수 개를 포함한다.
본 발명의 실시예는 또한 컴퓨터 판독 가능 저장 매체를 제공하고, 컴퓨터 프로그램 명령어가 저장되어 있고, 상기 컴퓨터 프로그램 명령어는 프로세서에 의해 실행될 때 상기 방법을 구현한다. 컴퓨터 판독 가능 저장 매체는 비휘발성 컴퓨터 판독 가능 저장 매체일 수 있다.
본 발명의 실시예는 또한 전자 기기를 제공하며, 프로세서; 및 프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며; 여기서, 상기 프로세서는 상기 메모리에 저장된 명령어를 호출하여, 상기 방법을 실행하도록 구성된다. 전자 기기는 단말, 서버 또는 다른 형태의 기기로 제공될 수 있다.
본 발명의 실시예는 또한 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품을 제공하고, 컴퓨터 판독 가능한 코드가 기기에서 작동될 경우, 기기에서의 프로세서는 전술한 어느 한 실시예에서 제공한 이미지 처리 방법을 구현하기 위한 명령어를 실행한다.
본 발명의 실시예는 또한 컴퓨터 판독 가능한 명령어를 저장하기 위한 다른 컴퓨터 프로그램 제품을 제공하고, 명령어가 실행될 경우 컴퓨터가 전술한 어느 한 실시예에서 제공한 이미지 처리 방법의 동작을 실행하도록 한다.
도 12는 본 발명의 실시예에 따른 전자 기기(800)의 블록도를 도시한다. 예를 들어, 전자 기기(800)는 휴대폰, 컴퓨터, 디지털 방송 단말, 메시징 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기 및 개인 휴대용 단말 등 단말일 수 있다. 도 12를 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(Input/Output, I/O)의 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.
처리 컴포넌트(802)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 전자 기기(800)의 전체적인 동작을 제어한다. 처리 컴포넌트(802)는 상기 방법 단계의 전부 또는 일부를 구현하기 위한 명령어를 실행하기 위한 하나 또는 복수 개의 프로세서(820)를 포함할 수 있다. 또한, 처리 컴포넌트(802)는 처리 컴포넌트(802) 및 다른 컴포넌트 사이의 인터랙션을 용이하게 하기 위한 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808) 및 처리 컴포넌트(802) 사이의 인터랙션을 용이하게 하기 위한 멀티미디어 모듈을 포함할 수 있다.
메모리(804)는 전자 기기(800)의 동작을 지원하기 위해, 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 전자 기기(800)에서 동작하도록 구성된 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는, 정적 랜덤 액세스 메모리(Static Random-Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 판독 전용 메모리(Electrically Erasable Programmable Read-Only Memory, EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(Erasable Programmable Read-Only Memory, EPROM), 프로그래머블 판독 전용 메모리(Programmable Read-Only Memory, PROM), 판독 전용 메모리(Read Only Memory, ROM), 자기 메모리, 플래쉬 메모리, 자기 디스크 또는 광 디스크와 같은 임의의 타입의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.
전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 복수 개의 전원 및 전자 기기(800)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.
멀티미디어 컴포넌트(808)는 상기 전자 기기(800) 및 사용자 사이의 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 디스플레이(Liquid Crystal Display, LCD) 및 터치 패널(TouchPanel, TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하기 위해 스크린은 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 수 있을 뿐만 아니라, 상기 터치나 슬라이드 동작과 관련된 지속 시간 및 압력을 검출할 수도 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및 하나의 후방 카메라 중 적어도 하나를 포함한다. 전자 기기(800)가 촬영 모드 또는 비디오 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외측의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.
오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크로폰(Microphone, MIC)을 포함하며, 전자 기기(800)가 콜 모드, 녹음 모드 및 음성 인식 모드와 같은 동작 모드에 있을 경우, 마이크로폰은 외측 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(804)에 추가로 저장되거나 통신 컴포넌트(816)에 의해 송신될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.
I/ O 인터페이스(812)는 처리 컴포넌트(802)와 외측 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 외측 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.
센서 컴포넌트(814)는 전자 기기(800)에 대해 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 컴포넌트의 상대 위치를 검출할 수 있으며, 예를 들어, 상기 컴포넌트는 전자 기기(800)의 모니터와 키패드이며, 센서 컴포넌트(814)는 전자 기기(800) 또는 전자 기기(800)에서 하나의 컴포넌트의 위치 변화, 사용자와 전자 기기(800) 접촉의 존재 유무, 전자 기기(800) 방향 또는 가속/감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없이 근처의 물체의 존재를 검출하도록 구성되는 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 상보성 금속 산화막 반도체(Complementary Metal-Oxide-Semiconductor, CMOS) 또는 전하 결합 소자(Charge Coupled Device, CCD) 이미지 센서와 같은 광센서를 더 포함할 수 있고, 이미징 애플리케이션에 사용되기 위한 것이다. 일부 실시예에 있어서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.
통신 컴포넌트(816)는 전자 기기(800)와 다른 기기 사이의 유선 또는 무선 방식으로 통신을 용이하게 하도록 구성된다. 전자 기기(800)는 Wi-Fi(Wireless Fidelity), 2 세대 이동 통신 기술The 2nd Generation, 2G) 또는 3세대 이동 통신 기술(The 3nd Generation, 3G), 또는 이들의 조합과 같은 통신 표준에 기반한 무선 네트워크에 액세스할 수 있다. 하나의 예시적인 실시예에서, 통신 컴포넌트(816)는 방송 채널을 통해 외측 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 하나의 예시적 실시예에 있어서, 상기 통신 부재(816)는 근거리 통신을 추진하는 근거리 무선 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별자(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역(Ultra Wide Band, UWB) 기술, 블루투스(Blue Tootht, BT) 기술 및 다른 기술에 기반하여 구현될 수 있다.
예시적 실시예에서, 전자 기기(800)는 상기 방법을 실행하기 위해, 하나 또는 복수 개의 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 장치(Digital Signal Processing Device, DSPD), 프로그래머블 논리 장치(Programmable Logic Device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 소자에 의해 상기 방법을 구현할 수 있다.
예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 메모리(804)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완료하도록 전자 기기(800)의 프로세서(820)에 의해 실행된다.
도 13은 본 발명의 실시예에 따른 전자 기기(1900)의 블록도를 도시한다. 예를 들어, 전자 기기(1900)는 하나의 서버로 제공될 수 있다. 도 13을 참조하면, 전자 기기(1900)는 하나 또는 복수 개의 프로세서를 더 포함하는 처리 컴포넌트(1922), 및 처리 컴포넌트(1922)에 의해 실행되는 명령어를 저장하기 위한 메모리(1932)로 대표되는 메모리 자원을 포함한다. 메모리(1932)에 저장된 애플리케이션 프로그램은 하나 또는 하나 이상의 각 명령어 세트에 대응되는 모듈을 포함할 수 있다. 또한, 처리 컴포넌트(1922)는 명령어를 실행하여, 상기 이미지 처리 방법을 실행하도록 구성된다.
전자 기기(1900)는 전자 기기(1900)의 전원 관리를 실행하도록 구성된 하나의 전력 컴포넌트(1926), 전자 기기(1900)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(1950) 및 하나의 I/O 인터페이스(1958)를 더 포함할 수 있다. 전자 기기(1900)는 예를 들어 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 시스템 등과 같은 메모리(1932)에 저장된 것에 기반한 운영 시스템을 조작할 수 있다.
예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 메모리(1932)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완료하도록 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행된다.
본 발명의 실시예는 시스템, 방법 및/또는 컴퓨터 프로그램 제품 중 적어도 하나일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능한 저장 매체를 포함할 수 있고, 컴퓨터 판독 가능한 저장 매체에는 프로세서가 본 발명의 실시예의 각 측면을 구현하도록 하는 컴퓨터 판독 가능한 프로그램 명령어가 존재한다.
컴퓨터 판독 가능한 저장 매체는 명령어 실행 기기에 의해 사용되는 명령어를 유지 및 저장할 수 있는 형태가 존재하는 기기일 수 있다. 컴퓨터 판독 가능한 저장 매체는 예를 들어 축전 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 전술한 축전 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기의 임의의 적절한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능한 저장 매체는, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(Random Access Memory, RAM), 판독 전용 메모리 및 소거 가능하고 프로그램 가능한 판독 전용 메모리((Erasable Programmable Read Only Memory, EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 휴대용 컴팩트 디스크 판독 전용 메모리(Compact Disk Read-Only Memory, CD-ROM), DVD (Digital Video Disc), 메모리 스틱, 플로피 디스크, 명령어가 저장된 장치와 같은 기계적 코딩 장치 홀 카드 또는 그루브에서의 볼록한 구조 및 전술한 임의의 적절한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능한 저장 매체는 무선 전자파 또는 다른 자유롭게 전파되는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통한 광펄스), 또는 와이어를 통해 전송되는 전기 신호와 같은 순간 신호 자체로 해석되지 않아야 한다.
여기서 설명한 컴퓨터 판독 가능한 프로그램 명령어는 컴퓨터 판독 가능한 저장 매체로부터 각 컴퓨팅/처리 기기로 다운 로드될 수 있거나, 인터넷, 근거리 통신망, 광역 통신망 및 무선 네트워크 중 적어도 하나와 같은 네트워크를 통해, 외측 컴퓨터 또는 외측 저장 기기로 다운 로드될 수 있다. 네트워크는 구리 전송 케이블, 광 섬유 전송, 무선 전송, 라우터, 방화벽, 스위치, 게이트웨이 컴퓨터 및 에지 서버 중 적어도 하나를 포함할 수있다. 각 컴퓨팅/처리 기기의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능한 프로그램 명령어를 수신하고, 각 컴퓨팅/처리 기기에서의 컴퓨터 판독 가능한 저장 매체에 저장하기 위해, 컴퓨터 판독 가능한 프로그램 명령어를 전달한다.
본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령어는 어셈블리 명령어, 명령어 세트 아키텍처(Industry Standard Architecture, ISA) 명령어, 머신 명령어, 머신 관련 명령어, 마이크로 코드, 펌웨어 명령어, 상태 설정 데이터, 또는 하나 또는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 객체 코드일 수 있고, 상기 프로그래밍 언어에는 스몰 토크, C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 언어 또는 유사한 프로그래밍 언어와 같은 기존 프로그래밍 언어가 포함된다. 컴퓨터 판독 가능한 프로그램 명령어는 사용자 컴퓨터에서 완전히 또는 부분적으로 실행될수 있고, 독립형 소프트웨어 패키지로 실행되며, 부분적으로 사용자 컴퓨터에서, 부분적으로 원격 컴퓨터에서 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터와 관련된 상황에서, 원격 컴퓨터는 근거리 통신망(Local Area Network, LAN) 또는 광대역 통신망(Wide Area Network, WAN)을 포함하는 모든 타입의 네트워크를 통해 사용자 컴퓨터에 연결되거나 외측 컴퓨터에 연결(예를 들어 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해 연결)될 수 있다. 일부 실시예에 있어서, 프로그램 가능한 논리 회로, 필드 프로그래머블 게이트 어레이 또는 프로그램 가능한 논리 어레이와 같은 전자 회로는 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 이용하여 개인화될 수 있고, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령어를 실행할 수 있음으로써, 본 발명의 실시예의 다양한 측면을 구현한다.
여기서 본 발명의 실시예의 각 측면은 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및 블록도 중 적어도 하나를 참조하여 설명하였다. 이해해야 할 것은, 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도의 각 블록의 조합은, 모두 컴퓨터 판독 가능 프로그램 명령어에 의해 구현될 수 있다.
이러한 컴퓨터 판독 가능한 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서에 제공 될 수 있음으로써, 이에 의해 이러한 명령어가 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서에 의해 실행되도록 하는 기계가 생성되고, 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/ 동작을 구현하는 장치가 생성된다. 이러한 컴퓨터 판독 가능한 프로그램 명령어를 컴퓨터 판독 가능한 저장 매체에 저장할 수도 있으며, 이러한 명령어는 컴퓨터, 프로그램 가능한 데이터 처리 장치 및 다른 기기가 특정한 방식으로 작동될 수 있도록 함으로써, 명령어가 저장되어 있는 컴퓨터 판독 가능한 매체는 제조품을 포함하며, 상기 제조품은 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/ 동작을 구현하는 명령어를 포함한다.
컴퓨터 판독 가능한 프로그램 명령어는 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에 로딩될 수 있어, 컴퓨터로 구현되는 과정을 생성하기 위해, 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 수행되도록 함으로써, 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 실행되는 명령어는 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현한다.
도면의 흐름도 및 블록도는 본 발명의 실시예의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계 아키텍처, 기능 및 동작을 디스플레이한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 모듈, 프로그램 세그먼트 또는 명령어의 일부를 나타낼 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령어의 일부는 하나 또는 복수 개의 지정된 논리적 기능을 구현하기 위한 실행 가능한 명령어를 포함한다. 일부 대안적인 구현에서, 블록에 표시된 기능은 도면에 표시된 것과 다른 순서로 발생될 수도 있다. 예를 들어, 두 개의 연속적인 블록은 실제로 병렬로 실행될 수 있으며, 때로는 관련 기능에 따라 역순으로 실행될 수도 있으며, 이는 관련된 기능에 의해 결정된다. 또한 유의해야 할 것은, 블록도 및흐름도 중 적어도 하나의 각 블록, 블록도 및 흐름도 중 적어도 하나의 블록의 조합은, 규정된 기능 또는 동작을 실행하는 특수 목적의 하드웨어 기반 시스템에 의해 구현될 수 있으며, 또는 특수 목적 하드웨어와 컴퓨터 명령어의 조합으로 구현될 수 있다.
상기 컴퓨터 프로그램 제품은 하드웨어, 소프트웨어 또는 이들의 조합에 의해 구현된다. 선택 가능한 실시예에 있어서, 상기 컴퓨터 프로그램 제품은 컴퓨터 저장 매체로 구현되며, 다른 선택 가능한 실시예에 있어서, 컴퓨터 프로그램 제품은 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로서 구체적으로 구현된다.
이상 본 발명의 각 실시예를 설명하였고, 상기 설명은 예시적이고, 비철저하며, 개시된 각 실시예에 한정되지도 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 한, 많은 수정 및 변경은 본 기술분야의 기술자에게는 자명한 것이다. 본 명세서에서 사용된 용어의 선택은 각 실시예의 원리, 실제 응용 또는 시장에서의 기술에 대한 개선을 가장 잘 해석하거나, 당업자가 본 명세서에 개시된 각 실시예를 이해할 수 있도록 의도된다.
본 발명의 실시예는 이미지 처리 방법 및 장치, 전자 기기, 저장 매체와 프로그램 제품에 관한 것이다. 상기 방법은, 타깃 이미지의 타깃 키 포인트를 획득하는 단계; 상기 타깃 이미지에서의 타깃 대상에 대해 분할을 수행하여, 상기 타깃 대상의 분할 결과를 얻는 단계; 상기 타깃 대상의 처리 타입을 획득하는 단계; 및 상기 타깃 키 포인트, 상기 분할 결과 및 상기 처리 타입에 따라, 상기 타깃 대상의 적어도 하나의 처리 파라미터를 결정하는 단계를 포함한다. 상기 과정을 통해, 이미지 처리의 정밀도와 정확도를 향상할 수 있다.

Claims (27)

  1. 이미지 처리 방법으로서,
    타깃 이미지의 타깃 키 포인트를 획득하는 단계;
    상기 타깃 이미지에서의 타깃 대상에 대해 분할을 수행하여, 상기 타깃 대상의 분할 결과를 얻는 단계;
    상기 타깃 대상의 처리 타입을 획득하는 단계; 및
    상기 타깃 키 포인트, 상기 분할 결과 및 상기 처리 타입에 따라, 상기 타깃 대상의 적어도 하나의 처리 파라미터를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 타깃 이미지의 타깃 키 포인트를 획득하는 단계는,
    상기 타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 신뢰도를 포함하는 타깃 키 포인트를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  3. 제1항에 있어서,
    상기 타깃 이미지의 타깃 키 포인트를 획득하는 단계는,
    상기 타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 타깃 키 포인트에 각각 대응되는 히트 맵을 얻는 단계; 및
    적어도 두 개의 상기 히트 맵에 대응되는 상기 타깃 키 포인트의 좌표 및 신뢰도를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 타깃 이미지의 타깃 키 포인트를 획득하는 단계는,
    상기 타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 타깃 키 포인트에 각각 대응되는 제1 히트 맵과 제2 히트맵을 얻는 단계 - 상기 제1 히트 맵에 대응되는 상기 타깃 키 포인트의 응답 범위는 상기 제2 히트 맵에 대응되는 상기 타깃 키 포인트의 응답 범위보다 큼 - ;
    상기 제1 히트 맵에서 제1 키 포인트를 결정하고, 상기 제1 히트 맵에 따라, 상기 제1 키 포인트의 제1 신뢰도를 얻는 단계;
    상기 제1 신뢰도에 따라, 상기 제2 히트 맵에서 제2 키 포인트를 결정하고, 상기 제2 히트 맵을 결합하여, 상기 제2 키 포인트의 제2 신뢰도를 얻는 단계; 및
    상기 제2 신뢰도에 따라, 상기 제1 키 포인트 또는 상기 제2 키 포인트를 상기 타깃 이미지에서의 타깃 키 포인트로 결정하고, 상기 타깃 키 포인트와 대응되는 신뢰도를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  5. 제4항에 있어서,
    상기 제1 신뢰도에 따라, 상기 제2 히트 맵에서 제2 키 포인트를 결정하고, 상기 제2 히트 맵을 결합하여, 상기 제2 키 포인트의 제2 신뢰도를 얻는 단계는,
    상기 제1 신뢰도가 제1 신뢰도 임계값보다 큰 경우, 상기 제1 키 포인트가 상기 제1 히트 맵에서의 위치에 따라 응답 영역을 결정하고, 상기 제2 히트 맵의 상기 응답 영역 내에서 제2 키 포인트를 결정하며, 상기 제2 히트 맵의 상기 응답 영역에 따라, 상기 제2 키 포인트의 제2 신뢰도를 얻는 단계; 및
    상기 제1 신뢰도가 상기 제1 신뢰도 임계값보다 크지 않는 경우, 상기 제2 히트 맵에서 제2 키 포인트를 결정하고, 상기 제2 히트 맵에 따라, 상기 제2 키 포인트의 제2 신뢰도를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  6. 제4항 또는 제5항에 있어서,
    상기 제2 신뢰도에 따라, 상기 제1 키 포인트 또는 상기 제2 키 포인트를 상기 타깃 이미지에서의 타깃 키 포인트로 결정하고, 상기 타깃 키 포인트와 대응되는 신뢰도를 얻는 단계는,
    상기 제2 신뢰도가 제2 신뢰도 임계값보다 큰 경우, 상기 제2 키 포인트를 상기 타깃 이미지에서의 타깃 키 포인트로 결정하고, 상기 제2 신뢰도를 상기 타깃 키 포인트와 대응되는 신뢰도로 사용하는 단계; 및
    상기 제2 신뢰도가 상기 제2 신뢰도 임계값보다 크지 않는 경우, 상기 제1 키 포인트를 상기 타깃 이미지에서의 타깃 키 포인트로 결정하고, 상기 제1 신뢰도를 상기 타깃 키 포인트와 대응되는 신뢰도로 사용하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  7. 제2항 내지 제6항 중 어느 한 항에 있어서,
    상기 타깃 이미지에 대해 키 포인트 검출을 수행하는 것은, 상기 타깃 이미지를 제1 신경 네트워크에 입력하여 키 포인트 검출을 수행하는 것을 포함하는 것을 특징으로 하는 이미지 처리 방법.
  8. 제7항에 있어서,
    상기 제1 신경 네트워크는 타깃 키 포인트 위치 라벨을 포함하는 훈련 이미지를 통해 훈련을 수행하며, 상기 훈련은,
    상기 타깃 키 포인트의 위치 라벨에 따라, 상기 타깃 키 포인트 위치와 대응되는 타깃 히트 맵을 생성하고; 상기 훈련 이미지를 상기 제1 신경 네트워크에 입력하고, 상기 제1 신경 네트워크가 출력한 히트 맵을 얻고; 상기 출력된 히트 맵과 상기 타깃 히트 맵에 따라, 상기 제1 신경 네트워크의 손실 함수를 결정하며; 상기 손실 함수에 따라, 상기 제1 신경 네트워크의 적어도 하나의 파라미터를 조정하는 것을 포함하는 것을 특징으로 하는 이미지 처리 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 타깃 대상의 처리 타입을 획득하는 단계는,
    상기 타깃 키 포인트에 따라, 상기 타깃 대상의 처리 타입을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 타깃 키 포인트는 적어도 두 개이고 , 상기 적어도 하나의 처리 파라미터는 제1 처리 파라미터와 제2 처리 파라미터를 포함하고, 상기 타깃 키 포인트, 상기 분할 결과 및 상기 처리 타입에 따라, 상기 타깃 대상의 적어도 하나의 처리 파라미터를 결정하는 단계는,
    상기 처리 타입에 따라, 상기 타깃 대상의 획득될 제1 처리 파라미터와 제2 파라미터를 결정하는 단계;
    적어도 두 개 상기 타깃 키 포인트 및 상기 분할 결과에 따라, 상기 제1 처리 파라미터를 획득하는 단계; 및
    적어도 세 개 상기 타깃 키 포인트에 따라, 상기 제1 처리 파라미터를 결합하여, 상기 제2 처리 파라미터를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 타깃 이미지는 전처리된 이미지를 포함하고, 상기 전처리는 이미지 표준화 또는 이미지 향상을 포함하는 것을 특징으로 하는 이미지 처리 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 타깃 대상은 경골 대상을 포함하고; 상기 처리 타입은, 내측 폐쇄형, 외측 폐쇄형, 내측 개방형 또는 외측 개방형을 포함하고; 상기 적어도 하나의 처리 파라미터는 인피드 포인트, 힌지 포인트, 타깃 포스 라인, 프로세싱 각도 및 프로세싱 거리 중의 하나 또는 복수 개를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  13. 이미지 처리 장치로서,
    타깃 이미지의 타깃 키 포인트를 획득하도록 구성된 타깃 키 포인트 획득 모듈;
    상기 타깃 이미지에서의 타깃 대상에 대해 분할을 수행하여, 상기 타깃 대상의 분할 결과를 얻도록 구성된 분할 모듈;
    상기 타깃 대상의 처리 타입을 획득하도록 구성된 처리 타입 획득 모듈; 및
    상기 타깃 키 포인트, 상기 분할 결과 및 상기 처리 타입에 따라, 상기 타깃 대상의 적어도 하나의 처리 파라미터를 결정하도록 구성된 처리 파라미터 결정 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  14. 제13항에 있어서,
    상기 타깃 키 포인트 획득 모듈은,
    상기 타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 신뢰도를 포함하는 타깃 키 포인트를 얻도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
  15. 제13항에 있어서,
    상기 타깃 키 포인트 획득 모듈은,
    상기 타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 타깃 키 포인트에 각각 대응되는 히트 맵을 얻고; 및 적어도 두 개의 상기 히트 맵에 대응되는 상기 타깃 키 포인트의 좌표 및 신뢰도를 획득하도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
  16. 제13항에 있어서,
    상기 타깃 키 포인트 획득 모듈은 상기 타깃 이미지에 대해 키 포인트 검출을 수행하여, 적어도 두 개의 타깃 키 포인트에 각각 대응되는 제1 히트 맵과 제2 히트맵을 얻고, 상기 제1 히트 맵에 대응되는 상기 타깃 키 포인트의 응답 범위는 상기 제2 히트 맵에 대응되는 상기 타깃 키 포인트의 응답 범위보다 크며; 상기 제1 히트 맵에서 제1 키 포인트를 결정하고; 상기 제1 히트 맵에 따라, 상기 제1 키 포인트의 제1 신뢰도를 얻으며; 상기 제1 신뢰도에 따라, 상기 제2 히트 맵에서 제2 키 포인트를 결정하고; 상기 제2 히트 맵을 결합하여, 상기 제2 키 포인트의 제2 신뢰도를 얻으며; 상기 제2 신뢰도에 따라, 상기 제1 키 포인트 또는 상기 제2 키 포인트를 상기 타깃 이미지에서의 타깃 키 포인트로 결정하고, 상기 타깃 키 포인트와 대응되는 신뢰도를 얻도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
  17. 제16항에 있어서,
    상기 타깃 키 포인트 획득 모듈은 또한, 상기 제1 신뢰도가 제1 신뢰도 임계값보다 큰 경우, 상기 제1 키 포인트가 상기 제1 히트 맵에서의 위치에 따라 응답 영역을 결정하고, 상기 제2 히트 맵의 상기 응답 영역 내에서 제2 키 포인트를 결정하며, 상기 제2 히트 맵의 상기 응답 영역에 따라, 상기 제2 키 포인트의 제2 신뢰도를 얻으며; 상기 제1 신뢰도가 상기 제1 신뢰도 임계값보다 크지 않는 경우, 상기 제2 히트 맵에서 제2 키 포인트를 결정하고, 상기 제2 히트 맵에 따라, 상기 제2 키 포인트의 제2 신뢰도를 얻도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
  18. 제16항 또는 제17항에 있어서,
    상기 타깃 키 포인트 획득 모듈은 또한, 상기 제2 신뢰도가 제2 신뢰도 임계값보다 큰 경우, 상기 제2 키 포인트를 상기 타깃 이미지에서의 타깃 키 포인트로 결정하고, 상기 제2 신뢰도를 상기 타깃 키 포인트와 대응되는 신뢰도로 사용하며; 상기 제2 신뢰도가 상기 제2 신뢰도 임계값보다 크지 않는 경우, 상기 제1 키 포인트를 상기 타깃 이미지에서의 타깃 키 포인트로 결정하고, 상기 제1 신뢰도를 상기 타깃 키 포인트와 대응되는 신뢰도로 사용하도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
  19. 제14항 내지 제18항 중 어느 한 항에 있어서,
    상기 타깃 키 포인트 획득 모듈은 또한, 상기 타깃 이미지를 제1 신경 네트워크에 입력하여 키 포인트 검출을 수행하도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
  20. 제19항에 있어서,
    상기 제1 신경 네트워크는 타깃 키 포인트 위치 라벨을 포함하는 훈련 이미지를 통해 훈련을 수행하며, 상기 장치는 또한, 상기 타깃 키 포인트의 위치 라벨에 따라, 상기 타깃 키 포인트 위치와 대응되는 타깃 히트 맵을 생성하고; 상기 훈련 이미지를 상기 제1 신경 네트워크에 입력하고, 상기 제1 신경 네트워크가 출력한 히트 맵을 얻으며; 상기 출력된 히트 맵과 상기 타깃 히트 맵에 따라, 상기 제1 신경 네트워크의 손실 함수를 결정하고; 상기 손실 함수에 따라, 상기 제1 신경 네트워크의 적어도 하나의 파라미터를 조정하도록 구성된 네트워크 훈련 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  21. 제13항 내지 제20항 중 어느 한 항에 있어서,
    상기 처리 타입 획득 모듈은,
    상기 타깃 키 포인트에 따라, 상기 타깃 대상의 처리 타입을 결정하도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
  22. 제13항 내지 제21항 중 어느 한 항에 있어서,
    상기 타깃 키 포인트는 적어도 두 개이고, 상기 적어도 하나의 처리 파라미터는 제1 처리 파라미터와 제2 처리 파라미터를 포함하고, 상기 처리 파라미터 결정 모듈은, 상기 처리 타입에 따라, 상기 타깃 대상의 획득될 제1 처리 파라미터와 제2 파라미터를 결정하고; 적어도 두 개 상기 타깃 키 포인트 및 상기 분할 결과에 따라, 상기 제1 처리 파라미터를 획득하며; 적어도 세 개 상기 타깃 키 포인트에 따라, 상기 제1 처리 파라미터를 결합하여, 상기 제2 처리 파라미터를 획득하도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
  23. 제13항 내지 제22항 중 어느 한 항에 있어서,
    상기 타깃 이미지는 전처리된 이미지를 포함하고, 상기 전처리는 이미지 표준화 또는 이미지 향상을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  24. 제13항 내지 제23항 중 어느 한 항에 있어서,
    상기 타깃 대상은 경골 대상을 포함하고; 상기 처리 타입은, 내측 폐쇄형, 외측 폐쇄형, 내측 개방형 또는 외측 개방형을 포함하며; 상기 적어도 하나의 처리 파라미터는 인피드 포인트, 힌지 포인트, 타깃 포스 라인, 프로세싱 각도 및 프로세싱 거리 중의 하나 또는 복수 개를 포함하는 것을 특징으로 하는 이미지 처리 장치.
  25. 전자 기기로서,
    프로세서; 및
    상기 프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며; 상기 프로세서는 상기 메모리에 저장된 명령어를 호출하여, 제1항 내지 제12항 중 어느 한 항에 따른 이미지 처리 방법을 실행하는 것을 특징으로 하는 전자 기기.
  26. 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램 명령어가 저장되며, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 때 제1항 내지 제12항 중 어느 한 항에 따른 이미지 처리 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
  27. 컴퓨터 프로그램 제품으로서,
    컴퓨터 판독 가능한 코드를 포함하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 제1항 내지 제12항 중 어느 한 항에 따른 이미지 처리 방법을 구현하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
KR1020217042439A 2020-07-07 2020-12-22 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품 KR20220013404A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010646714.5A CN111768399A (zh) 2020-07-07 2020-07-07 图像处理方法及装置、电子设备和存储介质
CN202010646714.5 2020-07-07
PCT/CN2020/138438 WO2022007342A1 (zh) 2020-07-07 2020-12-22 图像处理方法及装置、电子设备、存储介质和程序产品

Publications (1)

Publication Number Publication Date
KR20220013404A true KR20220013404A (ko) 2022-02-04

Family

ID=72724799

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217042439A KR20220013404A (ko) 2020-07-07 2020-12-22 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품

Country Status (5)

Country Link
JP (1) JP2022542780A (ko)
KR (1) KR20220013404A (ko)
CN (1) CN111768399A (ko)
TW (1) TW202203153A (ko)
WO (1) WO2022007342A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768399A (zh) * 2020-07-07 2020-10-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112348892A (zh) * 2020-10-29 2021-02-09 上海商汤智能科技有限公司 点定位方法及相关装置、设备
KR102395664B1 (ko) * 2022-01-26 2022-05-09 주식회사 몰팩바이오 Hsv 색 공간과 clahe를 이용한 병리 슬라이드 이미지 색감 표준화 방법 및 장치
CN115131301B (zh) * 2022-06-15 2023-04-18 北京长木谷医疗科技有限公司 基于深度学习的智能识别骨关节炎的方法及系统
CN115225710A (zh) * 2022-06-17 2022-10-21 中国电信股份有限公司 数据包的传输方法、装置、电子设备及存储介质
CN115187821B (zh) * 2022-07-05 2024-03-22 阿波罗智能技术(北京)有限公司 验证模型转换前后正确性的方法、相关装置及程序产品
CN115018834B (zh) * 2022-08-08 2022-10-25 山东光岳九州半导体科技有限公司 一种半导体晶片图像对准方法
CN117058149B (zh) * 2023-10-12 2024-01-02 中南大学 一种用于训练识别骨关节炎的医学影像测量模型的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4068203A1 (en) * 2017-05-09 2022-10-05 HeartFlow, Inc. Systems and methods for anatomic structure segmentation in image analysis
CN108205655B (zh) * 2017-11-07 2020-08-11 北京市商汤科技开发有限公司 一种关键点预测方法、装置、电子设备及存储介质
CN110533639B (zh) * 2019-08-02 2022-04-15 杭州依图医疗技术有限公司 一种关键点定位方法及装置
CN111768400A (zh) * 2020-07-07 2020-10-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111768399A (zh) * 2020-07-07 2020-10-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
JP2022542780A (ja) 2022-10-07
CN111768399A (zh) 2020-10-13
WO2022007342A1 (zh) 2022-01-13
TW202203153A (zh) 2022-01-16

Similar Documents

Publication Publication Date Title
KR20220013404A (ko) 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품
JP7085062B2 (ja) 画像セグメンテーション方法、装置、コンピュータ機器およびコンピュータプログラム
US20210319560A1 (en) Image processing method and apparatus, and storage medium
Wang et al. Smartphone-based wound assessment system for patients with diabetes
WO2022151755A1 (zh) 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
WO2022036972A1 (zh) 图像分割方法及装置、电子设备和存储介质
US10891473B2 (en) Method and device for use in hand gesture recognition
WO2021135145A1 (zh) 图像分割方法及装置、电子设备和存储介质
JP2022521130A (ja) ネットワークトレーニング、画像処理方法および電子機器、記憶媒体並びにコンピュータプログラム
CN111768400A (zh) 图像处理方法及装置、电子设备和存储介质
CN111091576A (zh) 图像分割方法、装置、设备及存储介质
KR20210153700A (ko) 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램
CN112541928A (zh) 网络训练方法及装置、图像分割方法及装置和电子设备
CN113222038B (zh) 基于核磁图像的乳腺病灶分类和定位方法及装置
CN110517254B (zh) 基于深度学习的临床靶区自动勾画方法、装置及相关设备
CN110832498A (zh) 使图像中的对象的面部特征模糊
WO2023050691A1 (zh) 图像处理方法及装置、电子设备、存储介质和程序
CN112967291B (zh) 图像处理方法及装置、电子设备和存储介质
WO2022156235A1 (zh) 神经网络训练和图像处理方法及装置、电子设备及存储介质
Jaworek-Korjakowska et al. Eskin: study on the smartphone application for early detection of malignant melanoma
WO2021082517A1 (zh) 神经网络训练及图像分割方法、装置、设备、介质和程序
WO2022022350A1 (zh) 图像处理方法及装置、电子设备、存储介质和计算机程序产品
CN113034491A (zh) 一种冠脉钙化斑块检测方法及装置
JP2022548453A (ja) 画像分割方法及び装置、電子デバイス並びに記憶媒体
WO2022100005A1 (zh) 牙齿图像的处理方法、装置、电子设备、存储介质及程序

Legal Events

Date Code Title Description
A201 Request for examination