KR20210113336A - 머신 러닝에 기반한 타깃 객체 속성 예측 방법 및 관련 디바이스 - Google Patents
머신 러닝에 기반한 타깃 객체 속성 예측 방법 및 관련 디바이스 Download PDFInfo
- Publication number
- KR20210113336A KR20210113336A KR1020217025407A KR20217025407A KR20210113336A KR 20210113336 A KR20210113336 A KR 20210113336A KR 1020217025407 A KR1020217025407 A KR 1020217025407A KR 20217025407 A KR20217025407 A KR 20217025407A KR 20210113336 A KR20210113336 A KR 20210113336A
- Authority
- KR
- South Korea
- Prior art keywords
- feature
- target object
- rule
- characteristic
- detection
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000010801 machine learning Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 310
- 230000004048 modification Effects 0.000 claims abstract description 12
- 238000012986 modification Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims description 160
- 238000004364 calculation method Methods 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 22
- 230000007246 mechanism Effects 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000012731 temporal analysis Methods 0.000 claims description 14
- 238000000700 time series analysis Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 23
- 238000003745 diagnosis Methods 0.000 abstract description 21
- 230000008569 process Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 16
- 238000003759 clinical diagnosis Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
머신 러닝에 기반한 타깃 객체 속성 예측 방법 및 관련 디바이스를 제공하며, 이는 데이터 예측 기술 분야에 속한다. 상기 방법은 검출 특징의 이력 변경 규칙 및 미래 변경 규칙을 지시하는 정규 특징에 기반하여 타깃 객체의 글로벌 특징을 결정하고, 글로벌 특징을 정제하여 타깃 객체의 적어도 하나의 로컬 특징을 획득하며 - 정제된 로컬 특징은 타깃 객체의 특징을 더 잘 반영할 수 있음 -, 추가로, 로컬 특징에 기반하여 타깃 객체의 속성을 예측할 수 있으며, 이는 예측 속성의 정확도를 향상시킬 수 있으며, 타깃 객체의 속성이 예측 진단 결과일 때 예측된 진단 결과의 정확도를 개선할 수 있다.
Description
본 출원은, 2019년 5월 9일에 중국 국가 특허청에 출원되고 발명의 명칭이 "속성 예측 방법 및 장치, 컴퓨터 디바이스, 그리고 컴퓨터가 판독 가능한 저장 매체"인 중국 특허 출원 번호 제201910386448.4호에 대한 우선권을 주장하는 바이며, 상기 문헌의 내용은 그 전체로서 원용에 의해 본 명세서에 포함된다.
본 개시는 데이터 예측 기술 분야에 관한 것으로, 특히 머신 러닝(machine learning) 기반한 타깃 객체의 속성(attribute) 예측(attribute)에 관한 것이다.
전자 건강 기록(electronic health record, EHR) 데이터는 타깃 객체의 모든 상담 기록(consultation record)을 기록할 수 있다. 기술의 발전으로 점점 더 많은 임상 진단 추정 모델(clinical diagnosis estimation)이 사용자의 미래 이환율(morbidity)을 예측하기 위해 환자의 EHR 데이터를 기반으로 의사의 진단 과정을 시뮬레이션할 수 있다.
종래에는 다음과 같은 과정을 통해 사용자의 미래 이환율을 예측할 수 있다. EHR 데이터 중 의료 번호(medical number) 데이터는 환자의 속성으로서 임상 진단 추정 모델에 입력된다. 임상 진단 추정 모델은 의료 번호 데이터를 훈련하고(train), 예측된 진단 결과를 출력한다. 임상 진단 추정 모델에 의해 의료 번호 데이터를 훈련시키는 과정은 의사의 진단을 시뮬레이션하는 임상 진단 추정 모델의 과정으로 간주될 수 있으므로, 임상 진단 추정 모델에 의해 예측된 진단 결과에 따라 추후 환자의 이환율을 예측할 수 있다.
그러나, 진단 예측 과정에서 임상 진단 추정 모델에 의해 예측된 진단 결과의 정확도(accuracy)가 낮기 때문에, 예측된 진단 결과를 기반으로 결정된 환자의 미래 이환율이 부정확하다.
임상 진단 추정 모델에 의해 예측된 진단 결과의 정확도가 낮은 문제를 해결하기 위해, 본 개시의 실시예에 따른 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법 및 관련 디바이스가 제공된다. 다음과 같은 기술적 솔루션이 제공된다.
일 측면에 따르면, 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법이 제공된다. 상기 방법은 컴퓨터 디바이스에 의해 수행되며,
상기 타깃 객체의 검출 데이터 및 상기 검출 데이터에 대응하는 속성에 따라 상기 타깃 객체의 검출 특징을 결정하는 단계;
상기 검출 특징을 제1 신경망에 입력하는 단계;
상기 검출 특징의 각 시계열에서의 검출 특징에 대해, 상기 제1 신경망을 사용하여 2개의 상이한 시계열 계산(time series calculation)을 통해 제1 규칙 특징 및 상기 제1 규칙 특징과 상이한 제2 규칙 특징을 출력하는 단계 - 상기 제1 규칙 특징은 상기 검출 특징의 이력 변경 규칙(historical change rule)을 지시하고, 상기 제2 규칙 특징은 상기 검출 특징의 미래(future) 변경 규칙을 지시함 -
상기 제1 규칙 특징 및 상기 제2 규칙 특징에 기반하여 상기 타깃 객체의 글로벌(global) 특징을 결정하는 단계;
상기 글로벌 특징을 제2 신경망에 입력하는 단계;
상기 제2 신경망을 사용하여, 상기 글로벌 특징으로부터 상기 타깃 객체의 하나 이상의 로컬(local) 특징을 추출하고 상기 하나 이상의 로컬 특징을 출력하는 단계; 및
상기 타깃 객체의 하나 이상의 로컬 특징에 기반하여 상기 타깃 객체의 속성을 예측하는 단계를 포함한다.
다른 측면에 따르면, 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 장치가 제공된다. 상기 장치는, 획득 모듈, 계산 모듈, 추출 모듈 및 예측 모듈을 포함하고,
상기 획득 모듈은, 상기 타깃 객체의 검출 데이터 및 상기 검출 데이터에 대응하는 속성에 따라 상기 타깃 객체의 검출 특징을 결정하도록 구성되며;
상기 계산 모듈은, 상기 검출 특징을 제1 신경망에 입력하고, 상기 검출 특징의 각 시계열에서의 검출 특징에 대해, 상기 제1 신경망을 사용하여 2개의 서로 다른 시계열 계산을 통해 제1 규칙 특징 및 상기 제1 규칙 특징과 상이한 제2 규칙 특징을 출력하도록 구성되고, 상기 제1 규칙 특징은 상기 검출 특징의 이력 변경 규칙을 지시하고, 상기 제2 규칙 특징은 상기 검출 특징의 미래 변경 규칙을 지시하며;
상기 획득 모듈은 추가로, 상기 제1 규칙 특징 및 상기 제2 규칙 특징에 기반하여 상기 타깃 객체의 글로벌 특징을 결정하도록 구성되고,
상기 추출 모듈은 상기 글로벌 특징을 제2 신경망에 입력하고, 상기 제2 신경망을 사용하여, 상기 글로벌 특징으로부터 상기 타깃 객체의 하나 이상의 로컬 특징을 추출하고, 상기 하나 이상의 로컬 특징을 출력하도록 구성되며; 그리고
상기 예측 모듈은 상기 타깃 객체의 하나 이상의 로컬 특징에 기반하여 상기 타깃 객체의 속성을 예측하도록 구성된다.
다른 측면에 따르면, 컴퓨터 디바이스가 제공된다. 상기 컴퓨터 디바이스는 프로세서 및 컴퓨터 프로그램을 저장하도록 구성된 메모리를 포함한다. 상기 프로세서는 상기 메모리에 저장된 상기 컴퓨터 프로그램을 수행하여, 전술한 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법에 의해 수행되는 작동을 구현하도록 구성된다.
다른 측면에 따르면, 컴퓨터가 판독 가능한 저장 매체가 제공된다. 상기 컴퓨터가 판독 가능한 저장 매체는 컴퓨터 프로그램을 저장한다. 상기 컴퓨터 프로그램은 컴퓨터에 의해 실행될 때, 전술한 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법에 의해 수행되는 작동을 구현한다.
다른 측면에 따르면, 명령을 포함하는, 컴퓨터 프로그램 제품이 제공된다. 상기 명령은 컴퓨터 상에서 실행될 때, 상기 컴퓨터가 전술한 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법에 의해 수행되는 작동을 수행하게 한다.
본 개시의 실시예에서 제공되는 기술적 솔루션은 다음과 같은 유익한 효과를 갖는다.
타깃 객체의 글로벌 특징은 검출 특징의 이력 변경 규칙 및 미래 변경 규칙을 각각 지시하는 규칙 특징에 기반하여 결정되고, 글로벌 특징은 타깃 객체의 하나 이상의 로컬 특징을 획득하기 위해 정제된다(refined). 정제된 로컬 특징은 타깃 객체의 특징을 더 잘 반영할 수 있고, 타깃 객체의 속성은 로컬 특징에 기반하여 더욱 예측된다. 이러한 방식으로, 예측 속성의 정밀도가 향상될 수 있다. 타깃 객체의 속성이 예측 진단 결과인 경우, 예측 진단 결과의 정확도를 높일 수 있다.
본 개시의 실시예의 기술적 방안을 보다 명확하게 설명하기 위하여, 이하에서는 실시예를 설명하는데 필요한 첨부 도면을 간략히 소개한다. 명백하게, 다음 설명에서 첨부된 도면은 본 개시의 일부 실시예만을 도시하고, 당업자는 창의적인 노력 없이도 이러한 첨부된 도면으로부터 다른 도면을 여전히 도출할 수 있다.
도 1은 본 개시의 실시예에 따른 구현 환경의 개략도이다.
도 2는 본 개시의 실시예에 따른 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법의 흐름도이다.
도 3은 본 개시의 실시예에 따른 진단 추정 모델의 개략도이다.
도 4는 본 개시의 실시예에 따른 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 장치의 개략적인 구조도이다.
도 5는 본 개시의 실시예에 따른 컴퓨터 디바이스의 개략적인 구조도이다.
도 1은 본 개시의 실시예에 따른 구현 환경의 개략도이다.
도 2는 본 개시의 실시예에 따른 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법의 흐름도이다.
도 3은 본 개시의 실시예에 따른 진단 추정 모델의 개략도이다.
도 4는 본 개시의 실시예에 따른 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 장치의 개략적인 구조도이다.
도 5는 본 개시의 실시예에 따른 컴퓨터 디바이스의 개략적인 구조도이다.
본 개시에서 제공되는 속성을 예측하는 방법에 대한 이해를 돕기 위해, 먼저 속성 예측의 관련 기술 및 본 발명자들의 연구 결과를 설명하면 다음과 같다.
종래에는 다음과 같은 과정을 수행하여 사용자의 미래 이환율(future morbidity)을 예측할 수 있다. EHR 데이터 중 의료 번호 데이터(medical number data)는 환자의 속성(attribute)으로서 임상 진단 추정 모델(clinical diagnosis estimation model)에 입력된다. 임상 진단 추정 모델은 의료 번호 데이터를 훈련하고(train), 예측된 진단 결과를 출력한다. 임상 진단 추정 모델에 의해 의료 번호 데이터를 훈련시키는 과정은 의사의 진단을 시뮬레이션하는 임상 진단 추정 모델의 과정으로 간주될 수 있으므로, 훈련된 임상 진단 추정 모델에 의해 예측된 진단 결과에 따라 추후 환자의 미래 이환율을 예측할 수 있다.
전술한 진단 예측 과정에서 임상 진단 추정 모델에 입력되는 의료 번호 데이터는 수천 가지의 질병에 대한 데이터를 포함하며, 각 환자는 하나 또는 여러 개의 질병을 앓을 수 있으며, 다양한 질병으로 고통받을 가능성이 낮음을 관련 기술 분야에 대한 연구에서 본 발명자들에 의해 발견되었다. 이 경우, 의료 번호 데이터에서 유용한 데이터는 의료 번호 데이터에서 상대적으로 희박하고 불연속적으로 분포된다. 또한, 의료 번호 데이터는 환자가 질병을 앓고 있음을 지시할(indicate) 수 있을 뿐 환자의 전반적인 신체 상태를 나타낼 수 없다. 이 경우, 이러한 의료 번호 데이터를 훈련시킨 후 임상 진단 추정 모델에 의해 출력되는 예측 진단 결과는 상대적으로 정확도가 낮아서, 예측 진단 결과를 기반으로 결정된 환자의 미래 이환율이 부정확하게 된다.
종래 기술의 기술적 문제점을 해결하기 위해, 본 개시에서는 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법을 제공한다. 상기 방법은, 타깃 객체의 검출 데이터 및 검출 데이터에 대응하는 속성에 따라 타깃 객체의 검출 특징(detection feature)을 결정하는 단계; 검출 특징을 제1 신경망에 입력하는 단계; 검출 특징의 각 시계열에서의 검출 특징에 대해, 제1 신경망을 사용하여 2개의 상이한 시계열 계산(time series calculation)을 통해 제1 규칙 특징(rule feature) 및 제1 규칙 특징과 상이한 제2 규칙 특징을 출력하는 단계 - 제1 규칙 특징은 검출 특징의 이력 변경 규칙(historical change rule)을 지시하고, 제2 규칙 특징은 검출 특징의 미래 변경 규칙(future change rule)을 지시함 -; 제1 규칙 특징 및 제2 규칙 특징에 기반하여 타깃 객체의 글로벌 특징(global feature)을 결정하는 단계; 글로벌 특징을 제2 신경망에 입력하는 단계; 제2 신경망을 사용하여 글로벌 특징에서 타깃 객체의 하나 이상의 로컬 특징(local feature)을 추출하고 하나 이상의 로컬 특징을 출력하는 단계; 및 타깃 객체의 하나 이상의 로컬 특징에 기반하여 타깃 객체의 속성을 예측하는 단계를 포함한다.
본 개시에서 제공되는 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법에서, 타깃 객체의 글로벌 특징은 검출 특징의 이력 변경 규칙 및 미래 변경 규칙을 각각 지시하는 규칙 특징에 기반하여 결정되며, 글로벌 특징은 타깃 객체의 하나 이상의 로컬 특징을 획득하기 위해 정제됨을 알 수 있다. 정제된 로컬 특징은 타깃 객체의 특징을 더 잘 반영할 수 있고, 타깃 객체의 속성은 로컬 특징에 기반하여 더욱 예측된다. 이러한 방식으로, 예측 속성의 정밀도(precision)가 향상될 수 있다. 타깃 객체의 속성이 예측 진단 결과인 경우, 예측 진단 결과의 정밀도를 높일 수 있다.
본 개시의 실시예에서 제공되는 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법은 머신 러닝 기술에 기반하여 구현된다. 머신 러닝(Machine learning, ML) 기술은 확률 이론, 통계, 근사 이론, 콘벡스(convex) 분석 및 알고리즘 복잡도 이론과 같은 여러 분야를 포함하는 학제적 대상(interdisciplinary subject)이다. 머신 러닝 기술에서, 컴퓨터가 인간의 학습 행동을 시뮬레이션하거나 구현하는 방법을 연구하여 새로운 지식이나 기술을 습득하고, 기존 지식 구조를 재구성하여 성능 자체를 계속 향상시킨다. 머신 러닝 기술은 인공지능 기술의 핵심이고, 컴퓨터를 지능화하는 기본적인 방법이며, 인공지능의 다양한 분야에 적용되고 있다. 머신 러닝과 딥 러닝(deep learning)은, 일반적으로 인공 신경망, 빌리프(belief) 네트워크, 강화 학습(reinforcement learning), 전이 학습(transfer learning), 귀납 학습(inductive learning) 및 데모 학습과 같은 기술을 포함한다.
또한, 머신 러닝은 인공 지능(artificial intelligence, AI) 기술의 중요한 방향이다. 인공 지능은 디지털 컴퓨터 또는 디지털 컴퓨터에 의해 제어되는 머신을 사용하여 인간의 지능을 시뮬레이션, 확대(extend) 및 확장하고(expand), 환경을 인식하며, 지식을 획득하고, 지식을 사용하여 최상의 결과를 획득하는 이론, 방법, 기술 및 애플리케이션 시스템이다. 다시 말해서, 인공지능 기술은 지능의 본질을 이해하고 인간의 지능과 유사한 방식으로 대응할 수 있는 새로운 지능 머신을 생산하는 것을 목적으로 하는 컴퓨터 과학의 종합 기술이다. 인공 지능 기술은 다양한 지능형 머신의 설계 원리와 구현 방법을 연구하여, 머신이 지각, 추론 및 의사 결정(decision-making)의 기능을 가질 수 있도록 하는 것이다.
인공 지능 기술은 포괄적인 학문으로서, 하드웨어 수준의 기술과 소프트웨어 수준의 기술을 모두 포함하는 광범위한 분야와 관련이 있다. 인공지능 기반 기술은 일반적으로 센서, 전용 인공지능 칩, 클라우드 컴퓨팅, 분산 스토리지(distributed storage), 빅데이터 처리 기술, 운영/상호작용 시스템, 전기머신적 통합(electromechanical integration) 등의 기술을 포함한다. 인공 지능 소프트웨어 기술은 주로 컴퓨터 비전 기술, 음성 처리 기술, 자연어 처리 기술, 머신 러닝/딥 러닝과 같은 여러 측면을 포함한다.
이상으로부터, 본 개시의 실시예에서 제공되는 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법은, 인공 지능 기술, 특히 인공 지능 기술에서의 머신 러닝에 관한 것임을 알 수 있다.
본 개시의 실시예에서 제공되는 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법은 단말 디바이스 또는 서버와 같이 데이터를 처리할 수 있는 컴퓨터 디바이스에 적용될 수 있음을 이해해야 한다. 단말 디바이스는 스마트폰, 컴퓨터, PDA(Personal Digital Assistant), 태블릿 컴퓨터 등일 수 있다. 서버는 애플리케이션 서버 또는 웹 서버일 수 있다. 실제 배포에서, 서버는 독립 서버일 수도 있고 클러스터 서버일 수도 있다.
본 개시의 실시예에서 제공되는, 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법이 단말 디바이스에서 수행되는 경우, 단말 디바이스는 사용자에 의해 입력된 타깃 객체의 검출 데이터와 검출 데이터에 대응하는 속성에 따라 타깃 객체의 속성을 직접 예측하고, 사용자가 볼 수 있도록 예측 결과를 디스플레이할 수 있다. 본 개시의 실시예에서 제공되는, 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법이 서버에서 수행되는 경우, 서버는 먼저 단말 디바이스에 의해 업로드되는 타깃 객체의 검출 데이터 및 검출 데이터에 대응하는 속성에 따라 타깃 객체의 속성을 예측하여 예측 결과를 획득하고; 예측 결과를 단말 디바이스에 송신하므로, 단말 디바이스가 수신된 예측 결과를 사용자가 볼 수 있도록 디스플레이한다.
본 개시의 실시예에서 제공되는 기술적 솔루션의 이해를 돕기 위해, 본 개시의 실시예에서 제공되는 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법이 적용 가능한 애플리케이션 시나리오를, 본 개시의 실시예에서 제공되는 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법이 단말 디바이스에 적용되는 예를 사용하여 예시적으로 설명한다.
본 개시의 실시예에서 제공되는 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법의 가능한 애플리케이션 시나리오에서, 단말 디바이스와 사용자가 관련된다. 단말 디바이스는 본 개시의 실시예에서 제공되는 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법을 수행하여, 타깃 객체의 속성을 예측하고, 사용자가 볼 수 있는 예측 결과를 획득하도록 구성된다.
사용자에 의해 트리거된 속성 예측 명령을 수신한 후, 단말 디바이스는 타깃 객체의 검출 데이터 및 검출 데이터에 대응하는 속성에 따라 타깃 객체의 검출 특징을 결정하고; 검출 특징을 제1 신경망에 입력하며; 그리고 검출 특징의 각 시계열에서의 검출 특징에 대해, 제1 신경망을 사용하여 2개의 상이한 시계열 계산을 통해 제1 규칙 특징 및 제1 규칙 특징과 상이한 제2 규칙 특징을 출력한다. 제1 규칙 특징은 검출 특징의 이력 변경 규칙을 지시하고, 제2 규칙 특징은 검출 특징의 미래 변경 규칙을 지시한다. 다음으로, 단말 디바이스는 제1 규칙 특징 및 제2 규칙 특징에 기반하여 타깃 객체의 글로벌 특징을 결정하고, 글로벌 특징을 제2 신경망에 입력하며, 제2 신경망을 사용하여 글로벌 특징으로부터 타깃 객체의 하나 이상의 로컬 특징을 추출하고 하나 이상의 로컬 특징을 출력하며, 타깃 객체의 하나 이상의 로컬 특징에 기반하여 타깃 객체의 속성을 예측하여 예측 결과를 획득하므로, 단말 디바이스가 예측 결과를 사용자에게 디스플레이한다.
실제 애플리케이션에서, 본 개시의 실시예에서 제공되는 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법은 서버에 적용될 수 있음을 이해해야 한다. 이에 기반하여, 본 개시의 실시예에서 제공되는 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법의 다른 가능한 애플리케이션 시나리오에서, 서버, 단말 디바이스 및 사용자가 관련된다. 사용자에 의해 트리거된 속성 예측 명령을 수신한 후, 단말 디바이스는 속성 예측 명령에 응답하여 속성 예측 요청을 생성하고, 속성 예측 요청을 서버에 송신하므로, 서버는 단말 디바이스에 의해 송신된 속성 예측 요청을 수신한 후 다음 과정을 수행할 수 있다. 서버는 타깃 객체의 검출 데이터와 검출 데이터에 대응하는 속성에 따라 타깃 객체의 검출 특징을 결정하고, 검출 특징을 제1 신경망에 입력하며, 검출 특징의 각 시계열에서의 검출 특징에 대해, 제1 신경망을 사용하여 2개의 서로 다른 시계열 계산을 통해 제1 규칙 특징 및 제1 규칙 특징과 상이한 제2 규칙 특징을 출력한다. 제1 규칙 특징은 검출 특징의 이력 변경 규칙을 지시하고 제2 규칙 특징은 검출 특징의 미래 변경 규칙을 지시한다. 다음에, 서버는 제1 규칙 특징 및 제2 규칙 특징에 기반하여 타깃 객체의 글로벌 특징을 결정하고, 글로벌 특징을 제2 신경망에 입력하며, 제2 신경망을 사용하여 글로벌 특징으로부터 타깃 객체의 하나 이상의 로컬 특징을 추출하고, 하나 이상의 로컬 특징을 출력하며, 타깃 객체의 하나 이상의 로컬 특징에 기반하여 타깃 객체의 속성을 예측하여 예측 결과를 획득하므로, 서버는 획득된 예측 결과를 단말 디바이스에 피드백할 수 있으며, 사용자는 단말 디바이스 상에서 예측 결과를 볼 수 있다.
전술한 애플리케이션 시나리오는 단지 예일뿐임을 이해해야 한다. 실제 애플리케이션에서, 본 개시의 실시예에서 제공되는 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법은 속성 예측을 위한 다른 애플리케이션 시나리오에도 적용될 수 있다. 본 개시의 실시예에서 제공되는 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법은 이에 한정되지 않는다.
본 개시의 목적, 기술적 방안 및 이점을 보다 명확하게 하기 위하여, 첨부된 도면을 참조하여 본 개시의 실시예를 더욱 상세히 설명한다.
도 1은 본 개시의 실시예에 따른 구현 환경의 개략도이다. 도 1을 참조하면, 환경은 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 시스템(100)을 포함한다. 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 시스템은 전처리(preprocessing) 모듈(101), 검출 특징 추출 모듈(102), 규칙 특징 추출 모듈(103) 및 예측 모듈(104)을 포함한다.
전처리 모듈(101)은 타깃 객체의 검출 데이터 및 검출 데이터에 대응하는 속성을 처리하도록 구성된다. 전처리 모듈은 사용자의 검출 데이터 및 검출 데이터에 대응하는 속성을 검출 특징 추출 모듈(102)이 처리할 수 있는 데이터로 변환할 수 있다.
검출 특징 추출 모듈(102)은 검출 데이터의 특징과 검출 데이터에 대응하는 속성의 혼합 특징(mixture feature)을 추출하도록 구성된다. 추출된 혼합 특징은 타깃 객체의 검출 특징으로 사용될 수 있다. 검출 특징 추출 모듈(102)은 먼저 전처리 모듈(101)에서 처리된 데이터를 기반으로 속성의 특징 및 검출 데이터의 특징을 추출하고, 추출된 속성의 특징과 검출 데이터의 특징을 스플라이스할(splice) 수 있다. 마지막으로, 검출 특징 추출 모듈(102)은 스플라이싱 결과에 기반하여 검출 특징을 추출한다.
규칙 특징 추출 모듈(103)은 규칙 특징을 추출하고 타깃 객체의 글로벌 특징을 생성하도록 구성된다. 규칙 특징은 검출 특징의 글로벌 변경 규칙을 지시하는 데 사용된다. 규칙 특징 추출 모듈(103)은 먼저 검출 특징 추출 모듈(102)에 의해 추출된 검출 특징의 이력 변경 규칙 및 미래 변경 규칙을 추출할 수 있고, 규칙 특징 추출 모듈(103)은 검출 특징의 이력 변경 규칙과 미래 변경 규칙에 기반하여 검출 특징의 글로벌 변경 규칙을 획득하고, 그리고 최종적으로 글로벌 변경 규칙을 지시하는 규칙 특징에 따라 타깃 객체의 글로벌 특징을 결정할 수 있다.
예측 모듈(104)은 타깃 객체의 속성을 예측하도록 구성된다. 예측 모듈(104)은 규칙 특징 추출 모듈(103)에 의해 생성된 글로벌 특징을 신경망을 사용하여 정제하여 타깃 객체의 로컬 특징을 획득할 수 있다. 다음으로, 예측 모듈(104)은 다수의 획득된 로컬 특징을 표현하기(express) 위해 타깃 로컬 특징 세트를 결정한다. 마지막으로, 예측 모듈(104)은 타깃 로컬 특징에 기반하여 타깃 객체의 속성을 예측한다.
머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 시스템(100)에서 모듈의 기능은 하나의 컴퓨터 디바이스 또는 여러 컴퓨터 디바이스를 사용하여 구현될 수 있음에 유의해야 한다. 모듈의 기능을 구현하는 컴퓨터 디바이스의 수량은 본 개시의 실시예에서 제한되지 않는다.
도 1은 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 시스템에서 모듈의 기능을 나타낸다. 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 시스템이 속성을 예측하는 구체적인 과정을 설명하면 다음과 같다. 도 2를 참조하면, 도 2는 본 개시의 일 실시예에 따른 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법의 흐름도이다. 도 2에 도시된 바와 같이, 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법은 다음과 같은 단계(201 내지 205)를 포함한다.
201에서, 컴퓨터 디바이스는 타깃 객체의 검출 데이터 및 검출 데이터에 대응하는 속성에 따라 타깃 객체의 검출 특징을 결정한다.
컴퓨터 디바이스는 임의의 컴퓨터 디바이스로 구현될 수 있다. 타깃 객체는 임의의 사용일 수 있다.
타깃 객체의 검출 데이터는 이력 기간(historical time period)에서 각 검출에서의 타깃 객체의 검출 데이터를 포함할 수 있고, 각 검출에서의 검출 데이터는 하나의 검출 시간에 대응한다. 이 경우, 각 검출에서의 검출 데이터는 타깃 객체와 관련된 다수 유형의 데이터를 포함할 수 있다. 타깃 객체에 대한 물리적 징후(physical sign) 검출을 예로 들면, 각 검출에서 검출되는 데이터는 심장 박동 데이터, 혈압 데이터 및 기타 유형의 데이터를 포함할 수 있다. 임의의 유형의 데이터에 대해, 각 검출에서 다수(multiple) 데이터가 검출될 수 있으며, 각 검출에서 검출된 다수의 데이터가 이 검출 시간과 관련된 시계열 시퀀스(time series sequence)를 형성할 수 있다. 따라서 하나의 검출 시간은 다수의 시계열 시퀀스에 대응할 수 있다. 시계열 시퀀스의 각 유형은 동일한 검출 시간에서 다수 유형의 검출 데이터를 구별하기 위해 레이블링될(labeled) 수 있다. 본 개시의 이 실시예에서 검출 시간은 제한되지 않으며, 2개의 검출 시간 사이의 시간 간격은 여기서 제한되지 않는다는 점에 유의해야 한다. 또한, 이력 기간은 본 개시의 이 실시예에서 제한되지 않으며, 이력 기간은 컴퓨터 디바이스가 속성 예측 방법에 의해 타깃 객체의 속성을 예측하기 전의 임의의 기간(time period)일 수 있다.
검출 데이터가 타깃 객체의 물리적 징후 데이터인 경우, 검출 데이터는 EHR 데이터에 저장된 시계열 데이터일 수 있다. 시계열 데이터는 각 조회(inquiry)에서, 타깃 객체의 조회 시간과 각 조회 시간에서 검출된 타깃 객체의 물리적 징후 데이터를 포함한다. 조회 시간은 또한 검출 시간임을 이해해야 한다.
속성은 타깃 객체의 적어도 하나의 상태(state)를 지시하는 데 사용되며, 속성의 각 위치는 하나의 상태에 대응한다. 상태 식별자(state identifier)는 타깃 객체가 대응하는 상태를 가지고 있는지를 지시하는 데 사용될 수 있다. 상태 식별자는 제1 상태 식별자 및 제2 상태 식별자를 포함할 수 있다. 제1 상태 식별자는 타깃 객체가 대응하는 상태를 가짐을 지시하는 데 사용되며, 제2 상태 식별자는 타깃 객체가 대응하는 상태를 갖지 않음을 지시하는 데 사용된다. 예를 들어, 속성에서 어느 하나의 위치가 제1 상태 식별자를 갖는 경우, 이는 타깃 객체가 상기 위치에 대응하는 상태를 갖는다는 것을 지시한다. 또한, 속성에서 어느 하나의 위치가 제2 상태 식별자를 갖는 경우, 이는 타깃 객체가 상기 위치에 대응하는 상태를 갖지 않음을 지시한다. 또한, 제1 상태 식별자와 제2 상태 식별자를 나타내기 위해 서로 다른 문자열(character string)이 사용될 수 있다. 제1 상태 식별자 또는 제2 상태 식별자를 지시하는 문자열은 본 개시의 이 실시예에서 제한되지 않는다.
타깃 객체를 매번 검출하는 것에 의해, 현재 검출 데이터를 획득할 수 있다. 현재 검출 데이터에 기반하여 타깃 객체의 속성을 결정할 수 있고, 결정된 타깃 객체의 속성에 대응하는 검출 시간은 현재 검출 데이터에 대응하는 검출 시간이다. 본 개시의 이 실시예에서, 각각의 속성은 하나의 검출 시간에 대응함을 알 수 있다. 타깃 객체의 검출 데이터가 적어도 하나의 검출 시간을 포함하면, 타깃 객체의 검출 데이터는 적어도 하나의 속성에 대응한다.
적어도 하나의 상태는 타깃 객체의 아픈 상태(sick state) 또는 다른 상태일 수 있으며, 이는 본 개시의 이 실시예에서 제한되지 않는다. 타깃 객체가 아픈 상태인 경우, 검출 데이터에 대응하는 속성은 의료 번호 데이터일 수 있다. 의료 번호 데이터는 0과 1로 구성될 수 있다. 의료 번호 데이터의 각 위치는 하나의 질병(disease)에 대응한다. 어느 한 위치의 데이터가 0인 경우, 이는 타깃 객체가 그 위치에서의 질병을 앓고 있지 않음을 지시한다. 어느 한 위치의 데이터가 1인 경우, 이는 타깃 객체가 그 위치에서의 질병을 앓고 있음을 지시한다. 여기에서 0은 제2 상태 식별자와 동등하고(equivalent), 여기에서 1은 제1 상태 식별자와 동등하다는 것을 이해해야 한다.
계산을 용이하게 하기 위해, 컴퓨터 디바이스는 먼저 타깃 객체의 검출 데이터 및 검출 데이터에 대응하는 속성을 전처리하므로, 검출 데이터 및 검출 데이터에 대응하는 속성이 후속 계산에 필요한 형식을 따른다. 다음으로, 컴퓨터 디바이스는 처리된 데이터에 대해 특징 추출을 수행하여 타깃 객체의 검출 특징을 획득한다. 가능한 구현에서, 단계(201)는 다음 단계(2011 내지 2014)를 수행하는 것에 의해 구현될 수 있다.
단계(2011)에서, 컴퓨터 디바이스는 검출 데이터에 대응하는 속성을 완전 연결된 신경망(fully connected neural network)에 입력하고, 완전 연결된 신경망을 사용하여 검출 데이터에 대응하는 속성에서 타깃 상태를 선별하며(screens out), 타깃 상태에 대해 가중치 부여(weighting)를 수행하여 검출 데이터에 대응하는 속성의 특징을 출력한다.
다수의 상태가 타깃 객체의 속성에 저장되기 때문에, 타깃 객체는 속성에서 일부 상태를 가진다. 타깃 객체가 가지고 있는 상태를 타깃 상태라고 한다.
계산을 용이하게 하기 위해, 컴퓨터 디바이스는 검출 데이터에 대응하는 속성을 전처리한다. 가능한 구현에서, 컴퓨터 디바이스는 검출 데이터에 대응하는 속성을 전처리하기 위해 멀티-핫 벡터(mulit-hot vector)를 사용하여 검출 데이터에 대응하는 속성을 나타낼 수 있다. 멀티-핫 벡터는 0과 1로 구성되며, 0은 타깃 객체가 대응하는 상태를 갖지 않음을 지시하고, 1은 타깃 객체가 대응하는 상태를 가짐을 지시한다.
이 경우, 컴퓨터 디바이스는 멀티-핫 벡터를 완전 연결된 신경망에 입력하고, 인코딩 행렬(encoding matrix)을 사용하여 완전 연결된 네트워크에 의해 타깃 객체의 타깃 상태를 선별하며, 선별된 타깃 상태에 대해 가중치 부여를 수행하여 검출 데이터에 대응하는 속성의 특징을 출력한다. 본 개시에서는 선별된 타깃 상태에 대해 가중치 부여를 수행하는 것에 의해, 처리된 결과가 멀티-핫 벡터에 대응하는 속성의 특징을 집중시킬(concentrate) 수 있다.
완전히 연결된 네트워크의 각 네트워크 노드는 제1 수식에 따라 멀티-핫 벡터의 데이터를 계산할 수 있다. 제1 수식은 
표현될 수 있으며, 여기서 
는 인코딩 특징 행렬을 나타내고, 이는 사전에 훈련된 행렬이거나 또는 완전 연결된 신경망이 속성의 특징을 계산하는 과정에서 훈련된 행렬일 수 있으며, 
는 j번째 검출 시간의 수를 나타내고, 
는 j번째 검출 시간에 대응하는 속성의 멀티-핫 벡터이며, 즉 
는 j번째 검출에서 속성의 멀티-핫 벡터를 나타내고, 
는 j번째 검출 시간에 대응하는 속성의 특징 벡터를 나타내며, 특징 벡터는 j번째 검출에서 속성의 특징을 나타내고, 여기서 j는 1보다 크거나 같은 정수이며, 
는 바이어스(bias) 파라미터를 나타내고, 이는 사전에 훈련된 파라미터일 수 있거나 또는 완전 연결된 신경망이 속성의 특징을 계산하는 과정에서 훈련된 파라미터일 수 있다.
타깃 객체의 총 검출 수량(total quantity of detections)은 J로 나타낼 수 있다. 컴퓨터 디바이스는 완전 연결된 신경망을 사용하여 검출 데이터에 대응하는 모든 속성을 계산하고, 검출 데이터에 대응하는 속성의 특징 
을 획득할 수 있다. 컴퓨터 디바이스는 완전 연결된 신경망이 아닌 다른 신경망을 사용하여 속성의 특징을 계산할 수도 있음에 유의해야 한다.
각 속성은 타깃 객체의 적어도 하나의 상태를 지시하는 데 사용된다. 속성이 더 많은 상태를 지시하는 경우, 속성을 나타내는 멀티-핫 벡터는 상대적으로 높은 차원을 갖는다. 이 경우, 타깃 상태를 선별하는 것에 의해 속성의 특징 
의 차원이 멀티-핫 벡터의 차원보다 작으므로, 단계(2011)에서 나타낸 과정이 차원 축소 과정으로 간주하여, 후속 계산을 용이하게 할 수 있다.
단계(2012)에서, 컴퓨터 디바이스는 검출 데이터를 시계열 분석 도구에 입력하고, 시계열 분석 도구를 사용하여 각 시계열의 검출 데이터에서 각 데이터 유형의 특징(feature of each type of data)을 추출하여 특징 세트를 출력한다.
시계열 분석 도구는 고도 비교 시계열(highly comparative time-series, HCTSA) 코드베이스로 구현될 수 있다. 각 시계열에서 각 데이터 유형의 특징은 각 데이터 유형의 데이터 분포, 엔트로피, 스케일 속성 등을 각각 나타내는 특징을 포함할 수 있다. 특징이 이러한 데이터 유형의 자기상관 구조를 지시할 수 있음을 알 수 있다. 또한, 실제 검출 데이터를 기반으로 특징을 획득하므로, 특징에 대한 해석 가능성이 있다.
컴퓨터 디바이스가 j번째 검출에서의 검출 데이터를 시계열 분석 도구에 입력한 후, 시계열 분석 도구는 미리 설정된 특징 추출 규칙에 기반하여 j번째 검출에서의 검출 데이터로부터 각 데이터 유형의 특징 
을 추출할 수 있으며, 
는 j번째 검출에서 k번째 데이터 유형의 시계열 특징을 나타내고, z는 양의 정수이며, 
는 데이터 유형의 일련 번호이고, j는 j번째 검출의 일련 번호를 나타내며, 그리고 또한 j번째 검출 시간의 일련 번호이고, j는 양의 정수이며, 1≤j≤J이고, J는 타깃 객체의 총 검출 수량을 나타낸다. 미리 설정된 특징 추출 규칙은 본 개시의 이 실시예에서 제한되지 않는다는 점에 유의해야 한다.
J는 타깃 객체의 총 검출 수량을 나타낸다. 시계열 분석 도구를 사용하여 모든 J개의 검출의 검출 데이터를 처리한 후 시계열 분석 도구는 매번 추출된 검출 데이터의 특징을 특징 세트 
에 저장한다. 시계열 분석 도구는 특징 세트를 출력할 수 있으므로, 컴퓨터 디바이스가 특징 세트를 획득할 수 있다.
특징 세트의 특징은 이러한 데이터 유형의 자기상관 구조만을 나타낼 수 있고 검출 데이터의 특징을 반영할 수 없기 때문에, 컴퓨터 디바이스도 다음 단계(2013)를 수행하여 검출 데이터의 특징을 획득해야 한다.
단계(2013)에서, 컴퓨터 디바이스는 특징 세트를 딥 & 크로스 신경망으로 입력하고, 딥 & 크로스 신경망을 사용하여 특징 세트에서 각 시계열의 특징에 대해 크로스 처리를 수행하여, 검출 데이터의 특징을 출력한다.
딥 & 크로스 신경망(deep & cross network, DCN)은 크로스 네트워크 및 딥 네트워크를 포함한다. 컴퓨터 디바이스는 특징 세트를 크로스 네트워크 및 딥 네트워크에 입력할 수 있다. 특징 세트의 다수의 시계열 특징은 크로스 네트워크를 사용하여 교차되어 교차된 특징을 출력할 수 있다. 특징 세트에 있는 모든 특징의 일반 특징(normal feature)은 딥 네트워크를 사용하여 추출된다. DCN에서 출력된 교차된 특징과 딥 네트워크에 의해 추출된 일반 특징을 조합하여(combine) 검출 데이터의 특징을 획득한다.
단계(2011) 내지 단계(203)의 실행 시퀀스는 본 개시의 이 실시예에서 제한되지 않는다는 점에 유의해야 한다. 예를 들어, 컴퓨터 디바이스는 단계(2011)를 먼저 수행하고, 그 다음에 단계(2012) 및 단계(2013)를 수행할 수 있다. 컴퓨터 디바이스는 또한 단계(2012) 및 단계(2013)를 먼저 수행한 후 단계(2011)를 수행할 수도 있다. 컴퓨터 디바이스는 또한 단계(2011)를 수행할 때 단계(2012) 및 단계(2013)를 동시에 수행할 수 있다.
단계(2014)에서, 컴퓨터 디바이스는 속성의 특징과 검출 데이터의 특징을 딥 신경망에 입력하고, 딥 신경망을 사용하여 검출 데이터와 검출 데이터에 대응하는 속성의 혼합 특징을 추출하고, 검출 특징을 출력한다.
컴퓨터 디바이스는 먼저 속성의 특징과 검출 데이터의 특징을 스플라이스하여 스플라이스된 특징을 획득한 다음 스플라이스된 특징을 신경망에 입력할 수 있다.
가능한 구현에서, j번째 검출에 대응하는 속성의 특징 
및 j번째 검출에서의 검출 데이터의 특징 
은 어레이(array)를 연결하기 위한 함수 concat[]을 사용하여 
로 스플라이스되며, 여기서 
이다. 그 다음, 
는 딥 신경망의 입력으로 사용되며, 딥 신경망의 각 노드는 다음과 같은 제2 수식에 따라 
에서 데이터를 계산할 수 있으므로, 딥 신경망은 j 번째 검출 시간에서 검출 특징 
을 출력할 수 있다. 제2 수식은 
로 표현될 수 있으며, 여기서 
는 제1 가중치 행렬이고, 
는 
의 전치 행렬이며, 
는 제1 바이어스 파라미터이다.
각 검출 시간에 대응하는 속성의 특징과 검출 데이터의 특징이 스플라이스된 후, 컴퓨터 디바이스는 딥 신경망을 사용하여 각 검출 시간에서 검출 특징을 추출할 수 있다. 설명의 편의를 위해 각 검출 시간에서의 검출 특징을 서브 검출 특징이라고 한다. 이 경우, 딥 신경망에 의해 최종적으로 출력되는 검출 특징은 적어도 하나의 서브 검출 특징을 포함한다. 컴퓨터 디바이스는 검출 특징 
을 획득하기 위해 시계열에 따른 검출 특징에서 적어도 하나의 서브 검출 특징을 저장할 수 있으며, 여기서 
는 j번째 서브 검출 특징, 즉, j번째 검출 시간에 대응하는 검출 특징이고, j는 양의 정수이며, 1≤j≤J이고, J는 타깃 객체의 총 검출 횟수(total quantity of detection times)를 나타낸다.
검출 데이터의 특징과 속성의 특징은 각 시계열에서 다양한 데이터 유형의 특징을 포함하기 때문에, 검출 특징은 다중 모드(multi-mode)를 가지며, 검출 특징은 다중 모드 특징으로 간주될 수 있다.
검출 특징은 검출 데이터 및 검출 데이터에 대응하는 속성에 기반하여 획득되기 때문에, 본 개시의 이 실시예에서의 검출 특징은 타깃 객체의 특징이 검출 데이터를 기반으로만 획득되는 경우에 비해, 검출 동안 타깃 객체의 특징을 더 잘 반영할 수 있다. 또한, 검출 데이터는 실제로 검출된 데이터이며, 획득된 검출 특징이 해석 가능성을 갖도록 객관적인 근거로 사용될 수 있다. 검출 데이터에 대응하는 속성은 주관적인 판단(subjective judgment)의 결과이다. 이와 같이, 속성 및 검출 데이터에 기반하여 획득된 검출 특징은 비교적 높은 정밀도를 갖는다.
단계(2011)부터 단계(2014)까지의 과정에 대한 이해를 돕기 위해, 도 3에 도시된 다중 모드 특징 추출 부분을 참조하여 설명하며, 도 3은 본 개시의 일 실시예에 따른 진단 추정 모델의 개략도이다. 다중 모드 특징 추출 부분에서, 컴퓨터 디바이스는 먼저 의료 번호 데이터(즉, 검출 데이터에 대응하는 속성)를 멀티-핫 벡터로 변환하고, 멀티-핫 벡터를 완전 연결된 신경망에 입력한다. 완전 연결된 신경망은 의료 번호 데이터의 특징(즉, 속성의 특징)을 계산을 통해 출력할 수 있다. 완전 연결된 신경망이 의료 번호 데이터의 특징을 계산을 통해 출력하는 과정이 의료 번호 데이터를 임베딩하는(embedding) 과정임을 유의해야 한다.
그런 다음 컴퓨터 디바이스는 시계열 데이터(즉, 검출 데이터)로부터 특징을 추출하여 특징 세트를 획득한다. 다음에, 컴퓨터 디바이스는 특징 세트를 DCN에 입력한다. DCN은 교차 다수 시계열 특징 혼합(cross multiple time series feature mixture), 즉 검출 데이터의 특징을 출력한다. 마지막으로, 컴퓨터 디바이스는 교차 다수 시계열 특징 혼합을 속성의 특징과 혼합하고, 혼합을 통해 획득된 특징에 기반하여 다중 모드 특징(즉, 검출 특징)을 획득한다.
컴퓨터 디바이스는 딥 신경망 이외의 신경망을 사용하여 검출 데이터의 특징을 획득할 수 있음에 유의해야 한다.
202에서, 컴퓨터 디바이스는 검출 특징을 제1 신경망에 입력하고, 검출 특징의 각 시계열에서의 검출 특징에 대해, 제1 신경망은 2개의 상이한 시계열 계산을 통해 제1 규칙 특징 및 제1 규칙 특징과 상이한 제2 규칙 특징을 출력한다. 제1 규칙 특징은 검출 특징의 이력 변경 규칙을 지시하고, 제2 규칙 특징은 검출 특징의 미래 변경 규칙을 지시한다.
제1 신경망은 어텐션 메커니즘(attention mechanism)을 갖는 양방향 순환 신경망(bidirectional recurrent neural network, BiRNN)일 수 있다. BiRNN은 하나의 제1 서브 네트워크 및 하나의 제2 서브 네트워크를 포함할 수 있다. 제1 서브 네트워크는 제1 규칙 특징을 획득하도록 구성된다. 제2 서브 네트워크는 제2 규칙 특징을 획득하도록 구성된다.
가능한 구현에서, 컴퓨터 디바이스는 역방향 시계열 시퀀스(backward time series sequence)에 따라 제1 신경망의 제1 서브 네트워크에 검출 특징을 입력하고, 제1 서브 네트워크를 사용하여 검출 특징에 대해 역방향 시계열 계산을 수행하여 제1 규칙 특징을 획득한다. 또한, 컴퓨터 디바이스는 순방향(forward) 시계열 시퀀스에 따라 제1 신경망의 제2 서브 네트워크에 검출 특징을 입력하고, 제1 서브 네트워크를 사용하여 검출 특징에 대해 순방향 시계열 계산을 수행하여 제2 특징 규칙을 획득한다.
검출 특징의 적어도 하나의 서브 검출 특징이 시간 시퀀스에 따라 분류되기 때문에, 컴퓨터 디바이스는 검출 특징을 순방향 시계열 방식으로 제1 서브 네트워크에 입력할 수 있고, 검출 특징을 역방향 시계열 방식으로 제2 서브 네트워크에 입력할 수 있다.
가능한 구현에서, 컴퓨터 디바이스는 뒤에서 앞으로의 시퀀스에 따라 검출 특징 
의 각 서브 검출 특징을 제1 서브 네트워크의 입력 레이어의 노드에 순차적으로 입력한다. 구체적으로, 컴퓨터 디바이스는 
를 제1 서브 네트워크의 입력 레이어의 제1 노드에 입력하고, 
를 제1 서브 네트워크의 입력 레이어의 제2 노드에 입력한다. 컴퓨터 디바이스가 검출 특징을 제1 서브 네트워크에 입력한 후, 제1 서브 네트워크는 제1 서브 네트워크에서의 미리 설정된 계산 규칙에 기반하여 검출 특징의 각 서브 특징을 계산할 수 있으므로, 제1 서브 네트워크는 제1 규칙 특징 
을 출력하며, 여기서 b는 역방향(backward direction)을 지시하는 데 사용된다. 제1 서브 네트워크에서 미리 설정된 계산 규칙은 본 개시의 이 실시예에서 제한되지 않는다.
가능한 구현에서, 컴퓨터 디바이스는 앞에서 뒤로의 시퀀스에 따라 검출 특징에서의 각 서브 검출 특징 
을 제2 서브 네트워크의 입력 레이어의 노드에 순차적으로 입력한다. 구체적으로, 컴퓨터 디바이스는 
를 제1 서브 네트워크의 입력 레이어의 제1 노드에 입력하고, 
를 제1 서브 네트워크의 입력 레이어의 제2 노드에 입력한다. 컴퓨터 디바이스가 검출 특징을 제2 서브 네트워크에 입력한 후, 제2 서브 네트워크는 제2 서브 네트워크에서의 미리 설정된 계산 규칙에 기반하여 검출 특징의 각 서브 특징을 계산할 수 있으므로, 제2 서브 네트워크는 제2 규칙 특징 
를 출력하며, 여기서 f는 순방향(forward direction)을 지시하는 데 사용된다. 제2 서브 네트워크에서 미리 설정된 계산 규칙은 본 개시의 이 실시예에서 제한되지 않는다.
203에서, 컴퓨터 디바이스는 제1 규칙 특징 및 제2 규칙 특징에 기반하여 타깃 객체의 글로벌 특징을 결정한다.
검출 특징의 이력 변경 규칙은 제1 규칙 특징으로 지시되고 검출 특징의 미래 변경 규칙은 제2 규칙 특징으로 지시되므로, 제1 규칙 특징과 제2 규칙 특징 모두 검출 특징의 글로벌 변경 규칙을 지시할 수 없다. 타깃 객체의 보다 정확한 글로벌 특징을 획득하기 위해, 컴퓨터 디바이스는 먼저 제1 규칙 특징 및 제2 규칙 특징에 기반하여 검출 특징의 글로벌 변경 규칙을 지시하는 규칙 특징을 획득한 다음, 규칙 특징에 따라 글로벌 특징을 획득할 수 있다.
가능한 구현에서, 단계(203)는 단계(2031) 내지 단계(2033)에 도시된 과정을 통해 구현될 수 있다.
단계(2031)에서, 컴퓨터 디바이스는 제1 규칙 특징과 제2 규칙 특징을 스플라이스하여 제3 규칙 특징을 획득한다.
제1 서브 네트워크가 제1 규칙 특징 
을 출력하고 제2 서브 네트워크가 제2 규칙 특징 
을 출력한 후, 컴퓨터 디바이스는 제1 신경망을 사용하여 제1 규칙 특징을 스플라이스하여 제3 규칙 특징 
을 획득할 수 있으며, 여기서 
이고, j는 양의 정수이며, 1≤j≤J이고, J는 타깃 객체의 총 검출 횟수를 나타낸다.
단계(2032)에서, 컴퓨터 디바이스는 제3 규칙 특징에 대해 가중치 부여를 수행하여 제4 규칙 특징을 획득한다. 제4 규칙 특징은 검출 특징의 글로벌 변경 규칙을 지시하는 데 사용된다.
컴퓨터 디바이스는 제1 신경망의 어텐션 메커니즘을 사용하여 제3 규칙 특징에 대해 가중치 부여를 수행할 수 있다. 가능한 구현에서, 단계(2032)는 단계(11) 내지 단계(13)에 도시된 과정을 통해 구현될 수 있다.
단계(11)에서, 컴퓨터 디바이스는 제1 어텐션 메커니즘 및 제3 규칙 특징에 기반하여 가중치 학습을 수행하여 하나 이상의 제1 가중치를 획득한다. 제1 가중치는 하나의 검출 데이터의 중요도(importance)와 하나의 검출 데이터에 대응하는 속성을 지시하는 데 사용된다.
제1 어텐션 메커니즘은 제1 신경망에서의 어느 하나의 어텐션 메커니즘이다. 컴퓨터 디바이스는 제1 어텐션 메커니즘의 가중치 학습 정책에 기반하여 가중치 학습을 수행할 수 있다. 가중치 학습 정책은 위치 기반 어텐션 가중치 학습 정책일 수 있으며, 이는 
로 표현될 수 있으며, 여기서 
는 제2 가중치 벡터이고, 
는 
의 전치 행렬이며, 
는 제2 바이어스 파라미터이고, 그리고 
는 j번째 검출에 대응하는 제1 가중치이다.
컴퓨터 디바이스는 제3 규칙 특징 
에서의 각 규칙 특징 및 위치 기반 어텐션 가중치 학습 정책에 기반하여 가중치 학습을 수행하여, J개의 제1 가중치를 획득할 수 있다. J개의 제1 가중치는 하나 이상의 제1 가중치이다.
제1 어텐션 메커니즘의 가중치 학습 정책은 본 개시의 이 실시예에서 제한되지 않는 다른 어텐션 가중치 학습 정책에 의해 또한 구현될 수 있다는 점에 유의해야 한다.
단계(12)에서, 컴퓨터 디바이스는 하나 이상의 제1 가중치를 정규화하여 하나 이상의 제2 가중치를 획득한다.
단계(11)의 제1 가중치는 수학적 계산을 통해 획득된 값이기 때문에, 하나 이상의 제1 가중치는 지나치게 크거나 너무 작을 수 있다. 계산의 용이함을 위해, 하나 이상의 제1 가중치가 정규화될 수 있으므로, 처리 후에 획득되는 각각의 제2 가중치는 비교적 온건하다(moderate). 제1 가중치가 과도하게 크면, 제1 가중치는 비례하여 감소될 수 있다. 제1 가중치가 지나치게 작으면, 제1 가중치는 비례적으로 확대되어 하나 이상의 제1 가중치를 정규화할 수 있다.
각각의 제2 가중치는 하나의 제1 가중치를 정규화한 결과일 뿐이므로, 제2 가중치는 제1 가중치와 동일한 기능을 가지며, 둘 다 하나의 검출 데이터의 중요도와 하나의 검출 데이터에 대응하는 속성을 지시하는 데 사용된다.
단계(13)에서, 컴퓨터 디바이스는 하나 이상의 제2 가중치에 기반하여 제3 규칙 특징에 대해 가중치 부여를 수행하여 제4 규칙 특징을 획득한다.
컴퓨터 디바이스는 하나 이상의 제2 가중치 
를 제3 수식으로 대체하고, 제3 수식의 출력을 제4 규칙 특징으로서 사용하여 제3 규칙 특징에 가중치를 부여한다. 제3 수식은 
로 표현될 수 있으며, 여기서 
는 제4 규칙 특징이고, 
는 j번째 검출에 대응하는 제2 가중치이며, J는 타깃 객체의 총 검출 횟수이다.
각각의 제2 가중치는 하나의 검출 데이터의 중요도와 하나의 검출 데이터에 대응하는 속성을 나타내기 위해 사용되기 때문에, 적어도 하나의 제2 가중치를 사용하여 제3 규칙 특징에 가중치를 부여하는 것에 의해 제3 규칙 특징이 보다 집중적으로 표현된다. 따라서 제4 규칙 특징은 검출 특징의 글로벌 변경 규칙을 나타낼 수 있다.
제1 규칙 특징과 제2 규칙 특징에 가중치가 부여되고 제1 규칙 특징과 제2 규칙 특징이 제4 규칙 특징에 의해 통합적으로 표현될 수 있으므로, 제4 규칙 특징은 제1 규칙 특징에 의해 표현되는 이력 변경 규칙을 나타낼 뿐만 아니라, 제1 규칙 특징에 의해 표현되는 미래 변경 규칙도 나타낼 수 있다. 따라서, 제4 규칙 특징은 검출 특징의 글로벌 변경 규칙을 나타낼 수 있다.
단계(2033)에서, 컴퓨터 디바이스는 제3 규칙 특징 및 제4 규칙 특징에 기반하여 글로벌 특징을 결정한다.
인접 검출 데이터 간의 상관도와 인접 속성 간의 상관도가 가장 높다. 다음 검출 동안 타깃 객체의 속성을 더 예측하기 위해, 컴퓨터 디바이스는 제3 규칙 특징 및 제4 규칙 특징에서 마지막 검출 시간에 대응하는 규칙 특징을 제4 수식으로 대체하고, 제4 수식의 출력을 글로벌 특징으로 사용한다. 제4 수식은 
로 표현될 수 있으며, 여기서 
는 글로벌 특징이고, 
는 제3 규칙 특징에서 타깃 객체의 마지막 검출 시간에 대응하는 규칙 특징이며, 
는 
및 c가 스플라이스된 후 획득된 벡터이고, 
는 제3 가중치 행렬이며,
는 
의 전치 행렬이고, 
는 제3 바이어스 파라미터이며, 
는 정제된 선형 단위 함수(rectified linear unit function)를 나타낸다.
제4 규칙 특징은 검출 특징의 글로벌 변경 규칙을 지시하기 때문에, 제1 규칙 특징은 검출 특징의 이력 변경 규칙을 지시할 수 있고 제2 규칙 특징은 검출 특징의 미래 변경 규칙을 지시할 수 있으며, 3개의 규칙 특징에 가중치를 부여하는 것에 의해 획득된 결과는 타깃 객체의 글로벌 특징을 지시할 수 있다.
204에서, 컴퓨터 디바이스는 글로벌 특징을 제2 신경망에 입력하고; 제2 신경망은 글로벌 특징으로부터 타깃 객체의 하나 이상의 로컬 특징을 추출하고, 타깃 객체의 하나 이상의 로컬 특징을 출력한다.
제2 신경망은 HMCN(hierarchical multi-label classification network)일 수 있고, 제2 신경망은 입력된 글로벌 특징으로부터 로컬 특징을 추출할 수 있다. 글로벌 특징은 타깃 객체의 세부 사항(detail)을 나타낼 수 없으므로, 제2 신경망을 사용하여 타깃 객체의 세부 사항을 추출할 수 있다. 제2 신경망은 레벨별로 타깃 객체의 세부 사항을 추출할 수 있으므로, 최종적으로 추출된 세부 사항이 속성 예측의 요건을 충족할 수 있다.
제2 신경망의 각 레이어는 하나의 로컬 특징을 출력할 수 있다. 컴퓨터 디바이스가 글로벌 특징을 제2 신경망에 입력한 후, 글로벌 특징은 제2 신경망의 입력 레이어에서 출력 레이어로 입력될 수 있다. 제2 신경망은 글로벌 특징을 레이어별로 계산할 수 있다. 제2 신경망의 제1 타깃 레이어는 제2 타깃 레이어의 출력 데이터에 기반하여 제1 타깃 레이어의 계층적 특징(hierarchical feature) 및 제1 타깃 레이어에서의 타깃 객체의 로컬 특징을 계산할 수 있으며, 여기서 제1 타깃 레이어는 제2 신경망의 임의의 하나의 레이어이고, 제2 타깃 레이어는 제2 신경망에서 제1 타깃 레이어의 상위(upper) 레이어이다. 계층적 특징은 제2 신경망의 네트워크 레이어에서 글로벌 특징의 상태를 나타내는 데 사용되며, 제1 타깃 레이어의 계층적 특징은 글로벌 특징과 제2 타깃 레이어의 계층적 특징에 의해 결정된다.
제2 신경망의 제2 타깃 레이어가 제2 타깃 레이어의 계층적 특징과 제2 타깃 레이어에서의 타깃 객체의 로컬 특징을 생성한 후, 제2 타깃 레이어는 제2 타깃 레이어의 계층적 특징과 글로벌 특징(제2 타깃 레이어의 출력 데이터)를 제1 타깃 레이어로 송신하므로, 제1 타깃 레이어는 제2 타깃 레이어의 계층적 특징과 글로벌 특징을 수신할 수 있다. 글로벌 특징이 제2 신경망의 각 네트워크 레이어에 의해 출력됨에 따라, 글로벌 특징이 제2 신경망의 각 네트워크 레이어에 입력될 수 있다.
제1 타깃 레이어의 계층적 특징은 글로벌 특징과 제2 타깃 레이어의 계층적 특징에 의해 결정되기 때문에, 제1 타깃 레이어는 제2 타깃 레이어의 계층적 특징과 글로벌 특징을 수신한 후 제2 타깃 레이어의 계층적 특징과 글로벌 특징에 기반하여 제1 타깃 레이어의 계층적 특징을 계산할 수 있다. 가능한 구현에서, 제2 신경망의 i번째 레이어의 계층적 특징 
은 
로 표현될 수 있으며, 여기서 
는 글로벌을 나타내고, 
는 제4 가중치 행렬이며, 
는 (i-1)번째 레이어의 계층적 특징이고, 
는 i번째 레이어의 계층적 특징을 나타내며, 
는 제4 바이어스 파라미터이다. i번째 레이어는 제1 타깃 레이어로 간주될 수 있다.
제1 타깃 레이어의 노드는 제1 타깃 레이어의 계층적 특징 및 글로벌 특징에 기반하여 제1 타깃 레이어에서 타깃 객체의 로컬 특징을 획득할 수 있다. 가능한 구현에서, i번째 레이어의 타깃 객체의 로컬 특징 
은 
로 표현될 수 있으며, 여기서 
는 네트워크 레이어를 나타내고, 
는 제5 가중치 행렬이며, 
는 제5 바이어스 파라미터이다.
제2 신경망의 각 레이어는 상위 레이어의 계층적 특징과 글로벌 특징에 기반하여 계산을 수행하기 때문에 제2 신경망의 각 레이어에서 타깃 객체의 로컬 특징은 상위 레이어의 로컬 특징에 영향을 받는다. 각 레이어의 계층적 표현은 이 레이어의 계층적 특징에 의해 결정되기 때문에, 제2 신경망에서 임의의 네트워크 레이어에 의해 생성된 로컬 특징은 다음 네트워크 레이어에 의해 생성된 로컬 특징의 부모로서 기능할 수 있다. 이러한 방식으로 제2 신경망은 레벨별로 타깃 객체의 세부 사항을 추출할 수 있다.
205에서, 컴퓨터 디바이스는 타깃 객체의 하나 이상의 로컬 특징에 기반하여 타깃 객체의 속성을 예측한다.
하나의 로컬 특징은 타깃 객체의 상이한 레벨의 세부 사항을 나타낼 수 있다. 세부 사항의 수량이 많다는 점을 고려하면, 세부 사항을 중앙에서 처리하여 보다 상세한 로컬 특징을 획득하고, 보다 상세한 로컬 특징에 따라 속성 예측을 수행할 수 있다.
가능한 구현에서, 단계(205)는 단계(2051) 및 단계(2052)에 도시된 과정을 통해 구현될 수 있다.
단계(2051)에서, 컴퓨터 디바이스는 타깃 객체의 하나 이상의 로컬 특징에 대해 가중치 부여를 수행하여, 타깃 로컬 특징을 획득한다.
타깃 로컬 특징은 더 상세한 로컬 특징이기도 한다. 컴퓨터 디바이스는 제2 신경망에서 어텐션 메커니즘을 사용하여 타깃 객체의 로컬 특징에 대해 가중치 부여를 수행할 수 있다. 가능한 구현에서, 단계(2051)는 단계(21) 및 단계(22)에 도시된 과정을 통해 구현될 수 있다.
단계(21)에서, 컴퓨터 디바이스는 제2 어텐션 메커니즘 및 하나 이상의 로컬 특징에 기반하여 가중치 학습을 수행하여 하나 이상의 제3 가중치를 획득한다. 각 제3 가중치는 하나의 로컬 특징의 중요도를 나타내는 데 사용된다.
제2 어텐션 메커니즘은 제2 신경망에서 임의의 하나의 어텐션 메커니즘이다. 컴퓨터 디바이스는 제2 어텐션 메커니즘 및 하나 이상의 로컬 특징에 기반하여 가중치 학습을 수행하고, 제2 어텐션 메커니즘에서의 가중치 학습 정책을 사용하여 가중치를 학습할 수 있다. 제2 어텐션 메커니즘에서의 가중치 학습 정책은 다음:
과 같이 표현될 수 있으며, 여기서,
는 i번째 제3 가중치이고, 
는 제6 가중치 행렬이며, 
는 제6 바이어스 파라미터이고, 
는 j번째 검출 시간에 대응하는 파라미터 가중치이며, M은 로컬 특징의 수량을 나타낸다.
제2 어텐션 메커니즘에서의 가중치 학습 정책은 또한 다른 가중치 학습 정책일 수 있으며, 이는 본 개시의 이 실시예에서 제한되지 않음에 유의해야 한다.
단계(22)에서, 컴퓨터 디바이스는 하나 이상의 제3 가중치에 기반하여 타깃 객체의 하나 이상의 로컬 특징에 대해 가중치 부여를 수행하여, 타깃 로컬 특징을 획득한다.
컴퓨터 디바이스는 타깃 객체의 적어도 하나의 제3 가중치 및 적어도 하나의 로컬 특징을 제5 수식으로 대체하고, 제5 수식의 출력을 타깃 로컬 특징으로서 사용하여 타깃 객체의 적어도 하나의 로컬 특징에 대해 가중치 부여를 수행한다. 제5 수식은 다음:
과 같이 표현할 수 있으며, 여기서 
는 현재 시계열에서의 검출 데이터에 대응하는 속성이고, N은 제2 신경망의 레이어의 수량이다.
각각의 제3 가중치는 하나의 로컬 특징의 중요도를 나타내기 때문에, 획득된 타깃 로컬 특징이 하나 이상의 제3 가중치를 사용하여 하나 이상의 로컬 특징에 가중치를 부여하는 것에 의해 보다 상세해진다.
단계(2052)에서, 타깃 로컬 특징에 기반하여 타깃 객체의 속성을 예측한다.
컴퓨터 디바이스는 타깃 로컬 특징을 타깃 객체의 속성을 예측하기 위해 제6 수식으로 대체할 수 있다. 제6 수식은 타깃 객체의 속성을 예측하는 데 사용된다. 제6 수식은 
로 표현될 수 있으며, 여기서 
는 (J+1)번째 데이터 검출에 대응하는 타깃 객체의 예측 속성을 나타내고, 
는 제7 가중치 행렬이며, 
는 제7 바이어스 파라미터를 나타낸다.
일부 실시예에서, 제2 신경망은 제2 신경망의 글로벌 손실(loss) 및 로컬 손실에 따라 현재 예측된 속성의 출력 여부를 판정할 수 있다.
일부 가능한 구현에서, 글로벌 특징이 제2 신경망에 입력된 후, 제2 신경망의 글로벌 손실 및 로컬 손실이 미리 설정된 조건을 충족하면 제2 신경망은 현재 예측된 속성을 출력하고; 그렇지 않으면, 제2 신경망은 제2 신경망의 글로벌 손실 및 로컬 손실이 미리 설정된 조건을 충족할 때까지 제2 신경망의 가중치 행렬을 조정한다. 로컬 손실은 제2 신경망의 각 레이어에서 예상되는 출력 데이터와 실제 출력 데이터 간의 차이이다. 글로벌 손실은 예상되는 최종 출력 데이터와 제2 신경망의 실제 최종 데이터 간의 차이이다.
제2 신경망의 임의의 레이어 계산이 완료된 후, 제2 신경망은 다음 검출 시점에서 임의의 레이어의 로컬 특징(예측 로컬 특징(predicted local feature)이라 함)을 예측할 수 있다. 이 경우, i번째 레이어의 예측된 로컬 특징 
은 다음:
과 같이 표현될 수 있으며, 여기서 
는 i번째 레이어의 제8 가중치 행렬이고, 
는 제8 바이어스 파라미터이다.
제2 신경망은 적어도 하나의 타깃 객체의 속성을 예측할 수 있다. 제2 신경망에 기반하여 적어도 하나의 타깃 객체의 속성을 예측할 때, 제2 신경망은 크로스 엔트로피 정책(cross entropy policy)을 사용하여, 임의의 하나의 레이어의 예측된 로컬 특징에 기반하여 임의의 하나의 레이어의 로컬 손실을 계산할 수 있다. 이 경우, i번째 레이어의 로컬 손실 
은 다음:
과 같이 표현될 수 있으며, 여기서 Q는 타깃 객체의 수량이고, 
는 Q번째 타깃 객체의 글로벌 특징에 기반한 i번째 레이어의 실제 출력 데이터이며, 
는 Q번째 타깃 객체의 글로벌 특징에 기반한 i번째 레이어의 예측된 출력 데이터이다.
제2 신경망에 기반하여 적어도 하나의 타깃 객체의 속성을 예측할 때, 제2 신경망의 각 레이어의 계산이 완료되면, 제2 신경망은 다음 검출 동안 적어도 하나의 타깃 객체의 속성을 계산할 수 있다. 제2 신경망은 크로스 엔트로피 정책을 사용하여 다음 검출 동안 적어도 하나의 타깃 객체의 예측된 속성에 기반하여 글로벌 손실 
을 계산할 수 있다. 
는 다음:
과 같이 표현할 수 있으며, 여기서 
는 다음 검출 동안 Q번째 타깃 객체의 실제 출력된 속성이고, 
는 다음 검출 동안 Q번째 타깃 객체의 예측된 속성이다.
미리 설정된 조건은 
로 표현될 수 있으며, 여기서 P는 2보다 큰 정수이고, 예를 들어, p = 3이며, 
는 미리 설정된 수렴 값이고, 
는 글로벌 손실과 로컬 손실의 균형을 맞추기 위한 미리 정의된 파라미터이다. 컴퓨터 디바이스는 
, 
, 
, 
, ..., 및 
를 미리 설정된 조건의 수식에 입력한다. 수식이 성립하면 제2 신경망에서의 글로벌 손실과 로컬 손실이 미리 설정된 조건을 충족하고; 그렇지 않으면 제2 신경망에서의 글로벌 손실과 로컬 손실이 미리 설정된 조건을 충족하지 않는다.
제2 신경망에서의 글로벌 손실과 로컬 손실이 미리 설정된 조건을 만족하는 경우, 이는 제2 신경망의 각 레이어의 생성된 로컬 특징과 예상된 로컬 특징의 차이가 미리 설정된 정밀도에 도달하여, 제2 신경망의 각 레이어의 로컬 특징의 비교적 높은 정밀도를 보장하고 예측된 속성의 정밀도를 더욱 향상시킴을 지시한다.
제2 신경망은 값에 기반하여 계산을 수행하고 타깃 객체의 속성에 있는 각 상태는 실제로 상태 식별자로 표현되며, 이 경우 컴퓨터 디바이스는 추가로, 제2 신경망에 의해 실제로 출력된 데이터를 상태 식별자에 의해 형성된 속성으로 변환해야 함을 유의해야 한다. 제2 신경망에 의해 실제로 출력되는 데이터는 적어도 하나의 확률 값(probability value)을 포함할 수 있다. 각 확률 값은 타깃 객체의 속성에 있는 하나의 상태에 대응한다. 임의의 하나의 확률 값이 타깃 값보다 큰 경우, 이는 타깃 객체가 임의의 하나의 확률에 대응하는 타깃 상태를 가지고 있음을 지시하며, 컴퓨터 디바이스는 속성에서의 타깃 상태의 위치에 제1 상태 식별자를 저장한다. 임의의 하나의 확률 값이 타깃 값보다 작거나 같은 경우, 이는 타깃 객체가 임의의 하나의 확률에 대응하는 타깃 상태를 갖지 않음을 지시하고, 컴퓨터 디바이스는 속성에서의 타깃 상태의 위치에 제2 상태 식별자를 저장한다. 이와 같이 각각의 확률 값을 판단하여 속성의 실제 표현을 획득할 수 있다. 본 개시의 이 실시예에서 타깃 값은 제한되지 않는다.
단계(203) 및 단계(204)에 도시된 과정을 추가로 예시하기 위해, 도 3의 뉴럴 레벨 다중 레이블 모델링 부분(neural level multi-label modeling part)을 참조하여 다음 설명이 제공된다. 이 부분에서 어텐션 순환 네트워크(attention recurrent network)의 출력 데이터(즉, 글로벌 특징)가 뉴럴 레벨 다중 레이블 모델링 부분에 입력되고, 어텐션 순환 네트워크가 제1 신경망과 동등함을 알 수 있다. 컴퓨터 디바이스는 뉴럴 레벨 다중 레이블 모델링 부분에서 제2 신경망의 각 레이어에 글로벌 특징을 입력한다. 제1 레이어는 글로벌 특징에 따라 제1 레이어의 계층적 특징 
을 생성하고, 추가로 
에 따라 제1 레이어의 로컬 특징 
을 생성한다. 데이터 예측은 
에 기반하여 수행되어 제1 레이어에 의해 예측된 출력 데이터 
를 획득할 수 있다. 컴퓨터 디바이스는 제1 레이어의 로컬 손실 
을 계산한다. 제1 레이어는 
를 제2 레이어로 출력하므로, 제2 레이어는 제1 레이어와 유사한 계산 과정을 수행할 수 있다. 마지막으로, 제2 신경망의 모든 레이어 각각은 하나의 
를 획득할 수 있다. 컴퓨터 디바이스는 M개의 
를 어텐션 앙상블(attentional ensembel)에 출력한다. 어텐션 앙상블에서, 예측된 출력 데이터 
는 제2 어텐션 메커니즘에 기반하여 생성된다. 글로벌 손실 
는 예측된 출력 데이터 
에 따라 생성된다. 글로벌 손실 
및 로컬 손실 
는 모두 미리 설정된 조건을 만족하며, 제2 신경망은 
를 출력할 수 있다.
본 개시의 실시예에서 제공되는 방법에서, 검출 특징의 이력 변경 규칙 및 미래 변경 규칙을 각각 지시하는 규칙 특징에 기반하여 타깃 객체의 글로벌 특징을 결정하고, 글로벌 특징을 정제하여 하나 이상의 타깃 객체의 로컬 특징을 획득한다. 정제된 로컬 특징은 타깃 객체의 특징을 더 잘 반영할 수 있고, 타깃 객체의 속성은 로컬 특징에 기반하여 더욱 예측된다. 이러한 방식으로 예측 속성의 정밀도가 향상될 수 있다. 타깃 객체의 속성이 예측 진단 결과인 경우, 예측 진단 결과의 정확도를 높일 수 있다. 또한, 검출 데이터 및 검출 데이터에 대응하는 속성에 기반하여 검출 특징을 획득하기 때문에, 본 개시의 본 실시예에서의 검출 특징은 타깃 객체의 특징이 검출 데이터를 기반으로만 획득되는 경우에 비해, 검출 동안 타깃 객체의 특징을 더 잘 반영할 수 있다. 또한, 검출 데이터는 실제로 검출된 데이터이며, 그리고 객관적인 근거로 사용될 수 있으므로, 획득된 검출 특징이 해석 가능성을 갖는다. 검출 데이터에 대응하는 속성은 주관적인 판단의 결과이다. 이와 같이, 속성 및 검출 데이터에 기반하여 획득된 검출 특징은 비교적 높은 정밀도를 갖는다. 또한, 제2 신경망의 글로벌 손실과 로컬 손실이 미리 설정된 조건을 만족하는 경우, 이는 제2 신경망의 각 레이어에서 생성된 로컬 특징이 예상 값에 도달하여, 제2 신경망의 출력 레이어에 의해 출력된 로컬 특징의 상대적으로 높은 정밀도를 보장함을 지시한다.
도 4는 본 개시의 일 실시예에 따른 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 장치의 개략적인 구조도이다. 장치는 획득 모듈(401), 계산 모듈(402), 추출 모듈(403), 및 예측 모듈(404)을 포함한다.
획득 모듈(401)은 타깃 객체의 검출 데이터 및 검출 데이터에 대응하는 속성에 따라 타깃 객체의 검출 특징을 결정하도록 구성된다.
계산 모듈(402)은 검출 특징을 제1 신경망에 입력하고; 그리고 검출 특징의 각 시계열에서의 검출 특징에 대해, 제1 신경망을 사용하여 2개의 상이한 시계열 계산을 통해 제1 규칙 특징 및 제1 규칙 특징과 상이한 제2 규칙 특징을 출력하도록 구성된다. 제1 규칙 특징은 검출 특징의 이력 변경 규칙을 지시한다. 제2 규칙 특징은 검출 특징의 미래 변경 규칙을 지시한다.
획득 모듈(401)은 추가로, 제1 규칙 특징 및 제2 규칙 특징에 기반하여 타깃 객체의 글로벌 특징을 결정하도록 구성되고;
추출 모듈(403)은 글로벌 특징을 제2 신경망에 입력하고, 그리고 제2 신경망에 의해 글로벌 특징으로부터 타깃 객체의 하나 이상의 로컬 특징을 추출하고 하나 이상의 로컬 특징을 출력하도록 구성된다.
예측 모듈(404)은 타깃 객체의 하나 이상의 로컬 특징에 기반하여 타깃 객체의 속성을 예측하도록 구성된다.
선택적으로, 획득 모듈(401)은,
검출 데이터에 대응하는 속성을 완전 연결된 신경망에 입력하고, 완전 연결된 신경망을 사용하여 검출 데이터에 대응하는 속성에서 불필요한 팩터(factor)를 삭제하여 검출 데이터에 대응하는 속성의 특징을 획득하고;
검출 데이터를 시계열 분석 도구에 입력하고, 시계열 분석 도구를 사용하여 각 시계열의 검출 데이터에서 각 데이터 유형의 특징을 추출하여 특징 세트를 출력하며;
특징 세트를 딥 & 크로스 네트워크에 입력하고, 딥 & 크로스 네트워크를 사용하여 특징 세트에서의 각 시계열의 특징에 대해 크로스 처리를 수행하여 검출 데이터의 특징을 획득하고; 그리고
검출 데이터에 대응하는 속성의 특징과 검출 데이터의 특징을 딥 신경망에 입력하고, 딥 신경망을 사용하여 검출 데이터와 검출 데이터에 대응하는 속성의 혼합 특징을 추출하여 검출 특징을 출력하도록 구성된다.
선택적으로, 획득 모듈(401)은,
제1 규칙 특징과 제2 규칙 특징을 스플라이스하여 제3 규칙 특징을 획득하고;
제3 규칙 특징에 대해 가중치 부여를 수행하여 제4 규칙 특징을 획득하며 - 제4 규칙 특징은 검출 특징의 글로벌 변경 규칙을 지시함 -, 그리고
제3 규칙 특징과 제4 규칙 특징에 기반하여 글로벌 특징을 결정하도록 구성된다.
선택적으로, 획득 모듈(401)은,
제1 어텐션 메커니즘 및 제3 규칙 특징에 기반하여 가중치 학습을 수행하여 하나 이상의 제1 가중치를 획득하고 - 제1 가중치 각각은 하나의 검출 데이터 및 하나의 검출 데이터에 대응하는 속성의 중요도를 지시함 -;
하나 이상의 제1 가중치를 정규화하여 하나 이상의 제2 가중치를 획득하며; 그리고
하나 이상의 제2 가중치에 기반하여 제3 규칙 특징에 대해 가중치 부여를 수행하여 제4 규칙 특징을 획득하도록 구성된다.
선택적으로, 예측 모듈(404)은 처리 유닛 및 예측 유닛을 포함한다.
처리 유닛은 타깃 객체의 하나 이상의 로컬 특징에 대해 가중치 부여를 수행하여 타깃 로컬 특징을 획득하도록 구성된다.
예측 유닛은 타깃 로컬 특징에 기반하여 타깃 객체의 속성을 예측하도록 구성된다.
선택적으로, 처리 유닛은,
제2 어텐션 메커니즘 및 하나 이상의 로컬 특징에 기반하여 가중치 학습을 수행하여 하나 이상의 제3 가중치를 획득하고 - 제3 가중치 각각은 로컬 특징 중 하나의 중요도를 지시함 -, 그리고
하나 이상의 제3 가중치에 기반하여 하나 이상의 로컬 특징에 대해 가중치 부여를 수행하여 타깃 로컬 특징을 획득하도록 구성된다.
선택적으로, 제2 신경망의 각 레이어는 로컬 특징 중 하나를 출력한다.
선택적으로, 장치는 출력 모듈을 더 포함한다. 출력 모듈은, 글로벌 특징이 제2 신경망에 입력된 후, 제2 신경망의 글로벌 손실 및 로컬 손실이 미리 설정된 조건을 충족하는 경우 제2 신경망을 사용하여 현재 예측된 속성을 출력하도록 구성된다. 로컬 손실은 제2 신경망의 각 레이어에서 예상되는 출력 데이터와 실제 출력 데이터 사이의 차이이다. 글로벌 손실은 예상되는 최종 출력 데이터와 제2 신경망의 실제 최종 데이터 사이의 차이이다.
선택적으로, 장치는 생성 모듈을 더 포함한다. 생성 모듈은 제2 신경망에서의 제1 타깃 레이어의 계층적 특징 및 제2 신경망의 제2 타깃 레이어에 의해 생성된 로컬 특징에 기반하여, 제1 타깃 레이어에 의해 출력된 로컬 특징을 생성하도록 구성된다. 제1 타깃 레이어의 계층적 특징은 제1 타깃 레이어 글로벌 특징의 상태를 지시한다. 제2 타깃 레이어는 제2 신경망에서 제1 타깃 레이어의 상위 레이어이다.
선택적으로, 제1 타깃 레이어의 계층적 특징은 글로벌 특징과 제2 타깃 레이어의 계층적 특징에 의해 결정된다.
도 5는 본 개시의 일 실시예에 따른 컴퓨터 디바이스의 개략적인 구조도이다. 컴퓨터 디바이스(500)는 상이한 구성 또는 성능으로 인해 크게 변할 수 있고, 하나 이상의 중앙 처리 유닛(central processing unit, CPU)(501) 및 하나 이상의 메모리(502)를 포함할 수 있다. 메모리(502)는 적어도 하나의 명령을 저장한다. 적어도 하나의 명령은 프로세서(501)에 의해 로딩되고 수행되어, 방법 실시예에 따른 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법을 구현한다. 컴퓨터 디바이스(500)는 입력 및 출력을 용이하게 하기 위해 유선 또는 무선 네트워크 인터페이스, 키보드 및 입력/출력 인터페이스와 같은 구성 요소를 더 포함할 수 있다. 컴퓨터 디바이스(500)는 디바이스의 기능을 구현하기 위한 다른 구성 요소를 더 포함할 수 있다. 그 세부 사항은 여기에서 설명되지 않는다.
예시적인 실시예에서, 컴퓨터가 판독 가능한 저장 매체, 예를 들어, 명령을 포함하는 메모리가 더 제공된다. 명령은 단말의 프로세서에 의해 실행되어, 전술한 실시예에서 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법을 구현할 수 있다. 예를 들어, 컴퓨터가 판독 가능한 저장 매체는 ROM(Read-Only Memory), RAM(Random Access Memory), CD-ROM(Compact Disc Read-Only Memory), 자기 테이프, 플로피 디스크, 광 데이터 저장 디바이스 등일 수 있다.
예시적인 실시예에서, 명령을 포함하는 컴퓨터 프로그램 제품이 더 제공된다. 명령은 컴퓨터 상에서 실행될 때 컴퓨터가, 전술한 실시예에서의 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법을 수행하게 한다.
전술한 선택적 기술적 솔루션의 임의의 조합을 사용하여 본 개시의 선택적 실시예를 형성할 수 있다. 그 세부 사항은 여기에서 설명되지 않는다.
또한, 전술한 실시예에 따른 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 장치가 속성을 예측할 때, 전술한 기능 모듈의 분할만이 예를 들어 설명된다는 점에 유의해야 한다. 실제 적용 시, 요건에 따라 전술한 기능은 상이한 기능 모듈에 할당되고 완료될 수 있으며, 즉, 장치의 내부 구조를 상이한 기능 모듈로 분할하여 전술한 기능의 전부 또는 일부를 완료할 수 있다. 또한, 전술한 실시예에서 제공된 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 장치는, 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법의 실시예와 동일한 개념에 속한다. 특정 구현 과정에 대해서는 방법 실시예가 참조되며 그 세부사항은 여기에서 설명되지 않는다.
당업자는 전술한 실시예의 단계의 전부 또는 일부가 하드웨어에 의해 구현될 수 있거나 관련 하드웨어에 명령하는 프로그램이 구현될 수 있음을 이해할 수 있을 것이다. 프로그램은 컴퓨터가 판독 가능한 저장 매체에 저장될 수 있다. 저장 매체는 읽기 전용 메모리, 자기 디스크 또는 광 디스크일 수 있다.
이상의 설명은 본 개시의 예시적인 실시예일 뿐, 본 개시를 한정하려는 의도는 아니다. 본 개시의 사상과 원칙 내에서 이루어진 모든 수정, 균등 교체 또는 개선 등은 본 개시의 보호 범위에 속한다.
Claims (16)
- 컴퓨터 디바이스에 의해 수행되는, 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법으로서,
상기 타깃 객체의 검출 데이터 및 상기 검출 데이터에 대응하는 속성에 따라 상기 타깃 객체의 검출 특징을 결정하는 단계;
상기 검출 특징을 제1 신경망에 입력하는 단계;
상기 검출 특징의 각 시계열에서의 검출 특징에 대해, 상기 제1 신경망을 사용하여 2개의 상이한 시계열 계산(time series calculation)을 통해 제1 규칙 특징 및 상기 제1 규칙 특징과 상이한 제2 규칙 특징을 출력하는 단계 - 상기 제1 규칙 특징은 상기 검출 특징의 이력 변경 규칙(historical change rule)을 지시하고, 상기 제2 규칙 특징은 상기 검출 특징의 미래(future) 변경 규칙을 지시함 -
상기 제1 규칙 특징 및 상기 제2 규칙 특징에 기반하여 상기 타깃 객체의 글로벌(global) 특징을 결정하는 단계;
상기 글로벌 특징을 제2 신경망에 입력하는 단계;
상기 제2 신경망을 사용하여, 상기 글로벌 특징으로부터 상기 타깃 객체의 하나 이상의 로컬(local) 특징을 추출하고 상기 하나 이상의 로컬 특징을 출력하는 단계; 및
상기 타깃 객체의 하나 이상의 로컬 특징에 기반하여 상기 타깃 객체의 속성을 예측하는 단계
를 포함하는, 타깃 객체의 속성을 예측하는 방법. - 제1항에 있어서,
상기 타깃 객체의 검출 데이터 및 상기 검출 데이터에 대응하는 속성에 따라 상기 타깃 객체의 검출 특징을 결정하는 단계는,
상기 검출 데이터에 대응하는 속성을 완전 연결된 신경망(fully connected neural network)에 입력하고, 상기 완전 연결된 신경망을 사용하여 상기 검출 데이터에 대응하는 속성에서 타깃 상태를 선별하고(screening out), 상기 타깃 상태에 대해 가중치 부여(weighting)를 수행하여, 상기 검출 데이터에 대응하는 속성의 특징을 출력하는 단계;
상기 검출 데이터를 시계열 분석 도구에 입력하고, 상기 시계열 분석 도구를 사용하여 각 시계열에서의 검출 데이터에서 각 데이터 유형의 특징(feature of each type of data)을 추출하여 특징 세트를 출력하는 단계;
상기 특징 세트를 딥 & 크로스 신경망(deep & cross neural network)에 입력하고, 상기 딥 & 크로스 신경망을 사용하여 각 특징 세트에서 각 시계열의 특징에 대해 크로스 처리를 수행하여, 상기 검출 데이터의 특징을 획득하는 단계; 및
상기 검출 데이터에 대응하는 속성의 특징 및 상기 검출 데이터의 특징을 딥 신경망(deep neural network)에 입력하고, 상기 딥 신경망을 사용하여 상기 검출 데이터와 상기 검출 데이터에 대응하는 속성의 혼합 특징(mixture feature)을 추출하여 상기 검출 특징을 출력하는 단계
를 포함하는, 타깃 객체의 속성을 예측하는 방법. - 제1항에 있어서,
상기 제1 규칙 특징 및 상기 제2 규칙 특징에 기반하여 상기 타깃 객체의 글로벌 특징을 결정하는 단계는,
상기 제1 규칙 특징과 상기 제2 규칙 특징을 스플라이스하여(splicing) 제3 규칙 특징을 획득하는 단계;
상기 제3 규칙 특징에 대해 가중치 부여를 수행하여 제4 규칙 특징을 획득하는 단계 - 상기 제4 규칙 특징은 상기 검출 특징의 글로벌 변경 규칙을 지시함 -; 및
상기 제3 규칙 특징 및 상기 제4 규칙 특징에 기반하여 상기 글로벌 특징을 결정하는 단계
를 포함하는, 타깃 객체의 속성을 예측하는 방법. - 제3항에 있어서,
상기 제3 규칙 특징에 대해 가중치 부여를 수행하여 제4 규칙 특징을 획득하는 단계는,
제1 어텐션 메커니즘(attention mechanism) 및 상기 제3 규칙 특징에 기반하여 가중치 학습(weight learning)을 수행하여, 하나 이상의 제1 가중치를 획득하는 단계 - 상기 제1 가중치 각각은 하나의 검출 데이터의 중요도(importance) 및 상기 하나의 검출 데이터에 대응하는 속성을 지시함 -;
상기 하나 이상의 제1 가중치를 정규화하여 하나 이상의 제2 가중치를 획득하는 단계; 및
상기 하나 이상의 제2 가중치에 기반하여 상기 제3 규칙 특징에 대해 가중치 부여를 수행하여 상기 제4 규칙 특징을 획득하는 단계
를 포함하는, 타깃 객체의 속성을 예측하는 방법. - 제1항에 있어서,
상기 타깃 객체의 하나 이상의 로컬 특징에 기반하여 상기 타깃 객체의 속성을 예측하는 단계는,
상기 타깃 객체의 하나 이상의 로컬 특징에 대해 가중치 부여를 수행하여 타깃 로컬 특징을 획득하는 단계; 및
상기 타깃 로컬 특징에 기반하여 상기 타깃 객체의 속성을 예측하는 단계
를 포함하는, 타깃 객체의 속성을 예측하는 방법. - 제5항에 있어서,
상기 타깃 객체의 하나 이상의 로컬 특징에 대해 가중치 부여를 수행하여 타깃 로컬 특징을 획득하는 단계는,
제2 어텐션 메커니즘 및 상기 하나 이상의 로컬 특징에 기반하여 가중치 학습을 수행하여 하나 이상의 제3 가중치를 획득하는 단계 - 상기 제3 가중치 각각은 상기 로컬 특징 중 하나의 중요도를 지시함; 및
상기 하나 이상의 제3 가중치에 기반하여 상기 하나 이상의 로컬 특징에 대해 가중치 부여를 수행하여, 상기 타깃 로컬 특징을 획득하는 단계
를 포함하는, 타깃 객체의 속성을 예측하는 방법. - 제1항에 있어서,
상기 제2 신경망의 각 레이어는 상기 로컬 특징 중 하나를 출력하는, 타깃 객체의 속성을 예측하는 방법. - 제1항에 있어서,
상기 글로벌 특징을 제2 신경망에 입력하는 단계 이후에, 상기 방법은,
상기 제2 신경망에서의 글로벌 손실(loss) 및 로컬 손실이 미리 설정된 조건을 만족하는 경우, 상기 제2 신경망은 현재 예측된 속성을 출력하는 단계 - 상기 로컬 손실은 상기 제2 신경망의 각각의 레이어에서, 예상되는 출력 데이터(expected output data)와 실제 출력 데이터 사이의 차이이며, 상기 글로벌 손실은 예상되는 최종 출력 데이터와 상기 제2 신경망의 실제 최종 데이터 사이의 차이임 -
를 더 포함하는, 타깃 객체의 속성을 예측하는 방법. - 제1항에 있어서,
상기 제2 신경망에서의 제1 타깃 레이어의 계층적 특징(hierarchical feature) 및 상기 제2 신경망에서의 제2 타깃 레이어에 의해 생성된 로컬 특징에 기반하여, 상기 제1 타깃 레이어에 의해 출력되는 로컬 특징을 생성하는 단계 - 상기 제1 타깃 레이어의 계층적 특징은 상기 제1 타깃 레이어에서 상기 글로벌 특징의 상태를 지시하고, 상기 제2 타깃 레이어는 상기 제2 신경망에서 상기 제1 타깃 레이어의 상위(upper) 레이어임 -
를 더 포함하는, 타깃 객체의 속성을 예측하는 방법. - 제9항에 있어서,
상기 제1 타깃 레이어의 계층적 특징은 상기 글로벌 특징 및 상기 제2 타깃 레이어의 계층적 특징에 의해 결정되는, 타깃 객체의 속성을 예측하는 방법. - 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 장치로서,
상기 타깃 객체의 속성을 예측하는 장치는,
획득 모듈, 계산 모듈, 추출 모듈 및 예측 모듈을 포함하고,
상기 획득 모듈은, 상기 타깃 객체의 검출 데이터 및 상기 검출 데이터에 대응하는 속성에 따라 상기 타깃 객체의 검출 특징을 결정하도록 구성되며;
상기 계산 모듈은, 상기 검출 특징을 제1 신경망에 입력하고, 상기 검출 특징의 각 시계열에서의 검출 특징에 대해, 상기 제1 신경망을 사용하여 2개의 서로 다른 시계열 계산을 통해 제1 규칙 특징 및 상기 제1 규칙 특징과 상이한 제2 규칙 특징을 출력하도록 구성되고, 상기 제1 규칙 특징은 상기 검출 특징의 이력 변경 규칙을 지시하고, 상기 제2 규칙 특징은 상기 검출 특징의 미래 변경 규칙을 지시하며;
상기 획득 모듈은 추가로, 상기 제1 규칙 특징 및 상기 제2 규칙 특징에 기반하여 상기 타깃 객체의 글로벌 특징을 결정하도록 구성되고,
상기 추출 모듈은 상기 글로벌 특징을 제2 신경망에 입력하고, 상기 제2 신경망을 사용하여, 상기 글로벌 특징으로부터 상기 타깃 객체의 하나 이상의 로컬 특징을 추출하고, 상기 하나 이상의 로컬 특징을 출력하도록 구성되며; 그리고
상기 예측 모듈은 상기 타깃 객체의 하나 이상의 로컬 특징에 기반하여 상기 타깃 객체의 속성을 예측하도록 구성되는, 타깃 객체의 속성을 예측하는 장치. - 제11항에 있어서,
상기 획득 모듈은,
상기 검출 데이터에 대응하는 속성을 완전 연결된 신경망에 입력하고, 상기 완전 연결된 신경망을 사용하여 상기 검출 데이터에 대응하는 속성에서 불필요한 팩터(unessential factor)를 삭제하여 상기 검출 데이터에 대응하는 속성의 특징을 획득하고;
상기 검출 데이터를 시계열 분석 도구에 입력하고, 상기 시계열 분석 도구를 사용하여 각 시계열에서의 검출 데이터에서 각 데이터 유형의 특징을 추출하여 특징 세트를 출력하며;
상기 특징 세트를 딥 & 크로스 신경망으로 입력하고, 상기 딥 & 크로스 신경망을 사용하여 각 특징 세트에서 각 시계열의 특징에 대해 크로스 처리를 수행하여, 상기 검출 데이터의 특징을 획득하고; 그리고
상기 검출 데이터에 대응하는 속성의 특징 및 상기 검출 데이터의 특징을 딥 신경망에 입력하고, 상기 딥 신경망을 사용하여 상기 검출 데이터와 상기 검출 데이터에 대응하는 속성의 혼합 특징을 추출하여 상기 검출 특징을 출력하도록 구성되는, 타깃 객체의 속성을 예측하는 장치. - 제11항에 있어서,
상기 획득 모듈은,
상기 제1 규칙 특징과 상기 제2 규칙 특징을 스플라이스하여 제3 규칙 특징을 획득하고;
상기 제3 규칙 특징에 대해 가중치 부여를 수행하여 제4 규칙 특징을 획득하며 - 상기 제4 규칙 특징은 상기 검출 특징의 글로벌 변경 규칙을 지시함 -; 그리고
상기 제3 규칙 특징 및 상기 제4 규칙 특징에 기반하여 상기 글로벌 특징을 결정하도록 구성되는, 타깃 객체의 속성을 예측하는 장치. - 컴퓨터 디바이스로서,
하나 이상의 프로세서; 및
적어도 하나의 명령을 저장하는 하나 이상의 메모리
를 포함하고,
상기 적어도 하나의 명령은 상기 하나 이상의 프로세서에 의해 로딩되고 실행되어, 제1항 내지 제10항 중 어느 한 항에 따른 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법을 구현하는, 컴퓨터 디바이스. - 적어도 하나의 명령을 저장하는, 컴퓨터가 판독 가능한 저장 매체로서,
상기 적어도 하나의 명령은 프로세서에 의해 로딩되고 실행되어, 제1항 내지 제10항 중 어느 한 항에 따른 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법을 구현하는, 컴퓨터가 판독 가능한 저장 매체. - 컴퓨터 상에서 실행될 때, 상기 컴퓨터가 제1항 내지 제10항 중 어느 한 항에 따른 머신 러닝에 기반하여 타깃 객체의 속성을 예측하는 방법을 수행하게 하는 명령을 포함하는 컴퓨터 프로그램 제품.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910386448.4 | 2019-05-09 | ||
| CN201910386448.4A CN110111885B (zh) | 2019-05-09 | 2019-05-09 | 属性预测方法、装置、计算机设备及计算机可读存储介质 |
| PCT/CN2020/086007 WO2020224433A1 (zh) | 2019-05-09 | 2020-04-22 | 基于机器学习的目标对象属性预测方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210113336A true KR20210113336A (ko) | 2021-09-15 |
Family
ID=67489143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217025407A KR20210113336A (ko) | 2019-05-09 | 2020-04-22 | 머신 러닝에 기반한 타깃 객체 속성 예측 방법 및 관련 디바이스 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20210406687A1 (ko) |
| EP (1) | EP3968337A4 (ko) |
| JP (1) | JP7191443B2 (ko) |
| KR (1) | KR20210113336A (ko) |
| CN (1) | CN110111885B (ko) |
| WO (1) | WO2020224433A1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111885B (zh) * | 2019-05-09 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 属性预测方法、装置、计算机设备及计算机可读存储介质 |
| CN112133441B (zh) * | 2020-08-21 | 2024-05-03 | 广东省人民医院 | 一种mh术后裂孔状态预测模型的建立方法和终端 |
| CN114925806A (zh) * | 2022-03-30 | 2022-08-19 | 北京达佳互联信息技术有限公司 | 信息处理方法、信息处理模型训练方法及装置 |
| CN115994632A (zh) * | 2023-03-24 | 2023-04-21 | 北京搜狐新动力信息技术有限公司 | 一种点击率预测方法、装置、设备及可读存储介质 |
| CN116072298B (zh) * | 2023-04-06 | 2023-08-15 | 之江实验室 | 一种基于层级标记分布学习的疾病预测系统 |
| CN116824281B (zh) * | 2023-08-30 | 2023-11-14 | 浙江大学 | 一种隐私保护的图像分类方法及装置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3302081B2 (ja) * | 1993-03-23 | 2002-07-15 | 北陸電力株式会社 | 電力需要量予測装置 |
| JP3767954B2 (ja) * | 1996-11-07 | 2006-04-19 | 富士通株式会社 | 需要予測装置 |
| US6171256B1 (en) * | 1998-04-30 | 2001-01-09 | Physio-Control Manufacturing Corporation | Method and apparatus for detecting a condition associated with acute cardiac ischemia |
| US7634360B2 (en) * | 2003-09-23 | 2009-12-15 | Prediction Sciences, LL | Cellular fibronectin as a diagnostic marker in stroke and methods of use thereof |
| US20080010024A1 (en) * | 2003-09-23 | 2008-01-10 | Prediction Sciences Llp | Cellular fibronectin as a diagnostic marker in cardiovascular disease and methods of use thereof |
| WO2014055718A1 (en) * | 2012-10-04 | 2014-04-10 | Aptima, Inc. | Clinical support systems and methods |
| JP6276681B2 (ja) | 2014-11-14 | 2018-02-07 | アオイ電子株式会社 | 試料固定装置および試料分析装置 |
| US10699151B2 (en) * | 2016-06-03 | 2020-06-30 | Miovision Technologies Incorporated | System and method for performing saliency detection using deep active contours |
| CN106777874A (zh) * | 2016-11-18 | 2017-05-31 | 中国科学院自动化研究所 | 基于循环神经网络构建预测模型的方法 |
| CN106778014B (zh) * | 2016-12-29 | 2020-06-16 | 浙江大学 | 一种基于循环神经网络的患病风险预测建模方法 |
| CN110532571B (zh) * | 2017-09-12 | 2022-11-18 | 腾讯科技（深圳）有限公司 | 文本处理方法及相关装置 |
| CN108648829A (zh) * | 2018-04-11 | 2018-10-12 | 平安科技（深圳）有限公司 | 疾病预测方法及装置、计算机装置及可读存储介质 |
| US11101029B2 (en) * | 2018-07-17 | 2021-08-24 | Petuum Inc. | Systems and methods for predicting medications to prescribe to a patient based on machine learning |
| CN109599177B (zh) * | 2018-11-27 | 2023-04-11 | 华侨大学 | 一种基于病历的深度学习预测医疗轨迹的方法 |
| CN109698017B (zh) * | 2018-12-12 | 2020-11-27 | 中电健康云科技有限公司 | 医疗病历数据生成方法及装置 |
| CN110111885B (zh) * | 2019-05-09 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 属性预测方法、装置、计算机设备及计算机可读存储介质 |
-
2019
- 2019-05-09 CN CN201910386448.4A patent/CN110111885B/zh active Active
-
2020
- 2020-04-22 EP EP20801439.9A patent/EP3968337A4/en active Pending
- 2020-04-22 JP JP2021562367A patent/JP7191443B2/ja active Active
- 2020-04-22 WO PCT/CN2020/086007 patent/WO2020224433A1/zh unknown
- 2020-04-22 KR KR1020217025407A patent/KR20210113336A/ko active IP Right Grant
-
2021
- 2021-09-08 US US17/469,270 patent/US20210406687A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP3968337A1 (en) | 2022-03-16 |
| CN110111885B (zh) | 2023-09-19 |
| WO2020224433A1 (zh) | 2020-11-12 |
| JP2022530868A (ja) | 2022-07-04 |
| EP3968337A4 (en) | 2022-06-29 |
| CN110111885A (zh) | 2019-08-09 |
| JP7191443B2 (ja) | 2022-12-19 |
| US20210406687A1 (en) | 2021-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210113336A (ko) | 머신 러닝에 기반한 타깃 객체 속성 예측 방법 및 관련 디바이스 | |
| CN112116090B (zh) | 神经网络结构搜索方法、装置、计算机设备及存储介质 | |
| JP7466058B2 (ja) | グラフニューラルネットワークに基づく臨床オミックスデータ処理方法、装置、電子機器、及びコンピュータプログラム | |
| Sharma et al. | Application of fuzzy logic and genetic algorithm in heart disease risk level prediction | |
| CN110032631B (zh) | 一种信息反馈方法、装置和存储介质 | |
| CN116994709A (zh) | 一种个性化的饮食与运动推荐方法、系统及电子设备 | |
| CN113673244A (zh) | 医疗文本处理方法、装置、计算机设备和存储介质 | |
| Wang et al. | Patient admission prediction using a pruned fuzzy min–max neural network with rule extraction | |
| CN113707323A (zh) | 基于机器学习的疾病预测方法、装置、设备及介质 | |
| CN117521814A (zh) | 一种基于多模态输入和知识图谱的问答方法及装置 | |
| CN108280160A (zh) | 一种消息推送方法、装置、服务器和计算机可读存储介质 | |
| Turgut et al. | A framework proposal for machine learning-driven agent-based models through a case study analysis | |
| CN117688974A (zh) | 基于知识图谱的生成式大模型建模方法、系统及设备 | |
| CN116612843B (zh) | 一种心理测评掩饰性行为识别方法及系统 | |
| CN112466401B (zh) | 利用人工智能ai模型组分析多类数据的方法及装置 | |
| KR20190082453A (ko) | 기계학습 모델링을 위한 신규 학습 콘텐츠 분석 방법, 장치 및 컴퓨터 프로그램 | |
| Duhayyim et al. | Bald Eagle Search Algorithm with Hierarchical Deep Learning for Internet of Things Assisted Sleep Quality Recognition | |
| Hossain et al. | Dm-Health App: Diabetes diagnosis using machine learning with smartphone | |
| Jindal et al. | Design and Development of Cardiovascular Disease Prediction System Using Voting Classifier | |
| Titu et al. | Acquiring businesss intelligence through data science: A practical approach | |
| Oba et al. | Empirical Bayesian significance measure of neuronal spike response | |
| CN118039157B (zh) | 一种基于图神经网络的ii型糖尿病并发症协同预测方法 | |
| Zeng | Deep Learning-based Image Analysis for High-content Screening | |
| Qiu et al. | The Diagnosis of Alzheimer’s Disease: An Ensemble Approach | |
| Shah et al. | Heart disease prediction and recommendation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |