TWI792560B - 資訊處理裝置及資訊處理方法 - Google Patents

資訊處理裝置及資訊處理方法 Download PDF

Info

Publication number
TWI792560B
TWI792560B TW110134193A TW110134193A TWI792560B TW I792560 B TWI792560 B TW I792560B TW 110134193 A TW110134193 A TW 110134193A TW 110134193 A TW110134193 A TW 110134193A TW I792560 B TWI792560 B TW I792560B
Authority
TW
Taiwan
Prior art keywords
samples
domain
level
distribution
target
Prior art date
Application number
TW110134193A
Other languages
English (en)
Other versions
TW202226077A (zh
Inventor
穆罕默德 艾奎瑪
Original Assignee
日商樂天集團股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商樂天集團股份有限公司 filed Critical 日商樂天集團股份有限公司
Publication of TW202226077A publication Critical patent/TW202226077A/zh
Application granted granted Critical
Publication of TWI792560B publication Critical patent/TWI792560B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10009—Improvement or modification of read or write signals
    • G11B20/10305—Improvement or modification of read or write signals signal quality assessment
    • G11B20/10361—Improvement or modification of read or write signals signal quality assessment digital demodulation process
    • G11B20/10379—Improvement or modification of read or write signals signal quality assessment digital demodulation process based on soft decisions, e.g. confidence values, probability estimates, likelihoods values or path metrics of a statistical decoding algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Signal Processing (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Hardware Redundancy (AREA)

Abstract

[課題] 即使在目標域之樣本並未充分對應於來源域之樣本的情況下，仍要獲得高精度之處理結果。 [解決手段] 資訊處理裝置係具備：特徵抽出部，係從來源域中所含之第1級別之樣本及第2級別之樣本、與目標域中所含之前記第1級別之樣本，分別抽出特徵；和擬似樣本生成部，係基於已被特徵抽出部所抽出之特徵之特徵空間中的目標域中所含之第1級別之樣本之分布，而生成目標域之第2級別之擬似樣本；和資料轉換部，係藉由機器學習而進行資料轉換，以使得於特徵空間中，來源域中所含之第1級別之樣本及第2級別之樣本之分布，會貼近於目標域中所含之第1級別之樣本及前記第2級別之擬似樣本之分布。

Description

資訊處理裝置及資訊處理方法
本發明係有關於資訊處理裝置及資訊處理方法，特別是有關於，令學習模型進行機器學習所需之技術。
於監督式機器學習中，係使用由教師樣本(標本)與教師標籤所成之教師資料集，令教師樣本與標籤之關係被反映在學習模型上，而令學習模型進行機器學習。將藉由此種機器學習所得的已學習模型，於推論階段中對未被賦予標籤之未知的樣本做適用，就可獲得例如影像辨識、分類等所望之處理結果。
若將使用某個教師資料集而進行過學習的已學習模型，直接適用於以與該當教師資料集不同領域的資料集為對象的任務，則會導致推論的精度降低。此處，所謂領域(domain)，係指資料集的資料的種類、範圍、分布等。 於是，有一種使用與對象之資料集相同領域的目標域之樣本，令已學習模型再度進行機器學習，藉此以使已學習模型可對目標域做適用的技術，這被稱為遷移學習(Transfer Learning)。
該遷移學習之1種，係有所謂的領域適應(Domain Adaptation)。在該領域適應中，是以教師資料集之領域與對象之資料集之領域間樣本的分布為不同來作為前提，以使得適用來源的教師資料集的領域(來源域)之分布，貼近於適用目標的對象之資料集的領域(目標域)之分布的方式，令學習模型進行學習。
專利文獻1係揭露，將相機所拍攝到的車輛影像進行分類的任務中的領域適應化手法。 具體而言，在專利文獻1的標註系統中，係將表示藉由相同相機而被取得之影像的標籤化特徵向量當作對象領域訓練集，作為藉由其他複數個相機而分別被取得之複數個來源域訓練集而使用，以使得領域間之差異被學習，將加速分類器進行訓練。藉此，利用藉由早期被導入的相機或被設置在其他位置的相機而被收集到的影像，而將車輛影像進行分類。 [先前技術文獻] [專利文獻]
[專利文獻1]日本特開2016-58079號公報
[發明所欲解決之課題]
可是，在領域適應中，雖然對來源域中所含之教師樣本係被賦予有標籤，但對目標域中所含之對象資料之樣本，不一定已被賦予標籤。對目標域之樣本未被賦予標籤之情況的領域適應，係也被稱為非監督式領域適應。 無論在哪種情況，於領域適應中係想定為，目標域係包含有，來源域中所屬之樣本上所被賦予之所有標籤所對應之樣本。
然而，作為目標域之樣本，並不一定總是能夠準備對應於來源域之所有標籤的樣本。如此，若目標域欠缺來源域中所屬之樣本上所被賦予之一部分標籤所對應之樣本，則在專利文獻1的技術中，在令來源域往目標域進行領域適應之際，無法使來源域之樣本分布充分貼近於目標域之樣本分布。 因此，對已學習模型的領域適應之精度會降低，進而導致使用該當已學習模型來做推論的各種處理之精度也會有跟著降低的疑慮。
本發明係為了解決上記課題而研發，其目的在於提供一種，即使在目標域之樣本並未充分對應於來源域之樣本的情況下，仍可獲得高精度之處理結果的資訊處理裝置、資訊處理方法及程式。 [用以解決課題之手段]
為了解決上記課題，本發明所述之資訊處理裝置之一態樣，係具備：特徵抽出部，係從來源域中所含之第1級別之樣本及第2級別之樣本、與目標域中所含之前記第1級別之樣本，分別抽出特徵；和擬似樣本生成部，係基於已被前記特徵抽出部所抽出之前記特徵之特徵空間中的前記目標域中所含之前記第1級別之樣本之分布，而生成前記目標域之前記第2級別之擬似樣本；和資料轉換部，係藉由機器學習而進行資料轉換，以使得於前記特徵空間中，前記來源域中所含之前記第1級別之樣本及前記第2級別之樣本之分布，會貼近於前記目標域中所含之前記第1級別之樣本及前記第2級別之前記擬似樣本之分布。
前記擬似樣本生成部，係可將前記特徵空間中的前記目標域中所含之前記第1級別之樣本之分布之第1信賴度加以推定，基於已被推定之前記第1信賴度之梯度，而生成前記擬似樣本。
前記擬似樣本生成部，係可在已被推定之前記第1信賴度為低的前記特徵空間之領域中，生成前記擬似樣本。
前記擬似樣本生成部，係可將前記特徵空間中的前記來源域中所含之前記第2級別之樣本之分布之第2信賴度加以推定，基於已被推定之前記第2信賴度之梯度，而生成前記擬似樣本。
前記擬似樣本生成部，係可將前記第1信賴度與前記第2信賴度做結合，基於已被結合之信賴度，而將已被生成之前記擬似樣本進行重新取樣，以使其被分布在前記特徵空間中前記已被結合之信賴度為較高之領域中。
前記擬似樣本生成部，係可基於前記特徵空間中的前記來源域中所含之前記第1級別之樣本之分布與前記第2級別之樣本之分布之間的距離，而生成前記擬似樣本。
還具備：領域分類器，係將樣本分類成前記來源域及前記目標域之任一者；前記擬似樣本生成部，係可令前記領域分類器進行學習，以使得前記領域分類器對於已被分類成前記目標域之樣本，會賦予高於已被分類成前記來源域之樣本的權重。
還具備：級別分類器，係將樣本分類成前記第1級別及前記第2級別之任一者；前記擬似樣本生成部，係可令前記級別分類器進行學習，以使得前記級別分類器對於已被分類成前記第2級別之樣本，會賦予高於已被分類成前記第1級別之樣本的權重。
前記資料轉換部，係可將前記領域分類器及前記級別分類器之至少1者進行機器學習，以使得使用第1損失函數而被算出的前記特徵空間中的交叉熵損失會變小。
前記資料轉換部係可進行機器學習，以使得使用第2損失函數而被算出的前記特徵空間中的前記來源域與前記目標域之間的Wasserstein距離會變小。
本發明所述之資訊處理方法之一態樣，係為資訊處理裝置所執行的資訊處理方法，其係含有：從來源域中所含之第1級別之樣本及第2級別之樣本、與目標域中所含之前記第1級別之樣本，分別抽出特徵之步驟；和基於已被抽出之前記特徵之特徵空間中的前記目標域中所含之前記第1級別之樣本之分布，而生成前記目標域之前記第2級別之擬似樣本之步驟；和藉由機器學習而進行資料轉換，以使得於前記特徵空間中，前記來源域中所含之前記第1級別之樣本及前記第2級別之樣本之分布，會貼近於前記目標域中所含之前記第1級別之樣本及前記第2級別之前記擬似樣本之分布之步驟。
本發明所述之資訊處理程式之一態樣，係為用來令電腦執行資訊處理所需之資訊處理程式儲存在電腦可讀記憶媒體，該程式係用來令前記電腦執行包含以下之處理：特徵抽出處理，係從來源域中所含之第1級別之樣本及第2級別之樣本、與目標域中所含之前記第1級別之樣本，分別抽出特徵；和擬似樣本生成處理，係基於已被前記特徵抽出處理所抽出之前記特徵之特徵空間中的前記目標域中所含之前記第1級別之樣本之分布，而生成前記目標域之前記第2級別之擬似樣本；和資料轉換處理，係藉由機器學習而進行資料轉換，以使得於前記特徵空間中，前記來源域中所含之前記第1級別之樣本及前記第2級別之樣本之分布，會貼近於前記目標域中所含之前記第1級別之樣本及前記第2級別之前記擬似樣本之分布。 [發明效果]
若依據本發明，則即使在目標域之樣本並未充分對應於來源域之樣本的情況下，仍可獲得高精度之處理結果。 上記本發明之目的、態樣及效果以及未被上記的本發明之目的、態樣及效果，係只要是當業者就可藉由參照添附圖式及申請專利範圍之記載而能理解下記的用以實施發明所需之形態。
以下參照添附圖式，詳細說明用以實施本發明所需之實施形態。以下所揭露的構成要素之中，具有相同機能者係標示相同的符號，並省略其說明。此外，以下所揭露的實施形態，係作為本發明的實現手段之一例，必須隨著本發明所被適用的裝置之構成或各種條件而做適宜修正或變更，本發明係不限定於以下的實施形態。又，本實施形態中所說明的特徵之組合之全部並不一定是本發明的解決手段所必須者。
本實施形態所述之學習裝置，係將來源域之樣本及目標域之樣本之特徵分別予以抽出，將來源域之樣本上所被賦予之複數個標籤(級別)之中未被目標域所充分包含的標籤(級別)之樣本，當作擬似樣本，在特徵空間中的目標域之領域中予以生成，並使用已被生成之擬似樣本，而將目標域之樣本予以補全。 本實施形態所述之學習裝置還進行機器學習，以使得來源域會往擬似樣本已被補全之目標域，進行領域適應。
以下雖然說明，本實施形態是被適用於例如將影像進行辨識及分類之用途的一例，但本實施形態係不限定於此，可隨應於學習模型所欲被適用的應用，而對任何種類之資料或領域做適用。
＜學習裝置的機能構成＞ 圖1係本實施形態所述之學習裝置1的機能構成之一例的區塊圖。 圖1所示的學習裝置1係具備：資料取得部11、特徵抽出部12、擬似樣本生成部13、資料轉換部14、及推論部15。 學習裝置1，係可與由PC(Personal Computer)等所構成的客戶端裝置(未圖示)透過網路而連接成可通訊。此情況下，學習出裝置1係被實作成伺服器，客戶端裝置係可提供用來讓學習裝置1與外部執行資訊之輸出入之際的使用者介面，又，亦可具備學習裝置1的各元件11~15的部分或全部。
資料取得部11，係從來源資料集2取得來源域之樣本，從目標資料集3取得目標域之樣本，將已被取得之來源域之樣本及目標域之樣本，供給至特徵抽出部12。
來源資料集2，係由HDD(Hard Disk Drive)、SSD(Solid State Drive)等之非揮發性記憶裝置所構成，係將領域適應來源的來源域中所屬之樣本(標本)，加以儲存。來源域中所屬之樣本，稱作來源樣本。來源樣本，係為令學習模型進行事前學習所需之教師資料，各來源樣本係被標註有，表示分類上之正確答案的級別。
目標資料集3，係和來源資料集2同樣地，是由HDD、SSD等之非揮發性記憶裝置所構成，係將領域適應目標的目標域中所屬之樣本，加以儲存。目標域中所屬之樣本，稱作目標樣本。目標樣本，係為欲將學習模型做適用之任務是與處理對象之資料屬於相同之領域的樣本，各目標樣本，係亦可已被標註有級別，但並不一定要被標註有級別。 此外，所謂領域(domain)，係指從某1個機率分布所產生的資料之所屬領域，例如，藉由資料的種類、範圍、分布等之屬性，而構成了領域。
資料取得部11，係亦可藉由將來源資料集2及目標資料集3中已被預先儲存之來源樣本及目標樣本予以讀出，以取得來源樣本及目標樣本，或者亦可從記憶著來源樣本及目標樣本的相同或不同的對向裝置，透過通訊I/F而予以接收。
資料取得部11係還會受理，於學習裝置1中為了執行領域適應之機器學習處理所需要的各種參數之輸入。資料取得部11，係可透過與學習裝置1連接成可通訊的客戶端裝置的使用者介面，而受理各種參數之輸入。
特徵抽出部12，係從被資料取得部11所供給之來源樣本，抽出各來源樣本之特徵。 特徵抽出部12，係還從被資料取得部11所供給之目標樣本，抽出各目標樣本之特徵。 特徵抽出部12，係將已被抽出之來源樣本之特徵及目標樣本之特徵，供給至擬似樣本生成部13。
擬似樣本生成部13，係基於從特徵抽出部12所被供給之來源樣本之特徵及目標樣本之特徵，而將目標域之目標樣本中所未出現、或不足的級別之目標樣本，當作擬似樣本而加以生成。
在本實施形態中，擬似樣本生成部13，係將從特徵抽出部12所被供給之來源樣本之特徵及目標樣本之特徵映射至特徵空間上，將特徵空間上的目標樣本之分布之信賴度加以推定，基於已被推定之信賴度而生成擬似樣本，藉此以將目標域之目標樣本予以補全。擬似樣本生成部13還可將特徵空間上的來源樣本之分布之信賴度加以推定，基於已被推定之信賴度而生成擬似樣本。 擬似樣本生成部13所執行的擬似樣本生成處理之細節，係參照圖5而後述。
資料轉換部14，係執行資料轉換，以使得從特徵抽出部12所被供給之來源域之來源樣本之特徵之分布，會與目標域之目標樣本之特徵之分布一致。亦即，資料轉換部14，係將來源樣本之特徵及目標樣本之特徵當作輸入，將欲令學習模型進行學習的教師資料，從來源域之資料轉換成目標域之資料，執行此種領域適應。
於本實施形態中，資料轉換部14，係使用已被擬似樣本生成部13所生成之擬似樣本來將目標域予以補全，將擬似樣本已被補全之目標域之目標樣本之特徵當作輸入，執行從來源域往目標域的領域適應。 資料轉換部14，係使用已被轉換之教師資料(學習資料)，而將學習模型中的領域適應之函數的參數值，進行機器學習。
推論部15，係藉由以資料轉換部14適用了領域適應的已學習完畢的學習模型，來對輸入資料，輸出各種處理結果。 如此已被進行過機器學習的已學習完畢之學習模型，係於目標域中，作為擬似樣本而被生成的目標樣本是將未出現級別之目標樣本進行了補全，因此可有效防止各種推論處理時的精度之降低。
＜領域適應與擬似樣本生成＞ 圖2係本實施形態所述之來源域與目標域的樣本分布之非對稱性(領域平移)的說明圖。 圖2(a)係表示，來源域中所屬之來源樣本之特徵值P s(x)之分布，與目標域中所屬之目標樣本之特徵值P t(x)之分布。如圖2(a)所示，目標樣本之特徵值之分布，係與來源樣本之特徵值之分布不一致，相對於來源樣本之特徵值之分布，是朝正方向做了共變量(covariate)平移(P s(x)≠P t(x))。
圖2(b)係表示，來源域中所屬之來源樣本之各級別之分布(P s(y))，與目標域中所屬之目標樣本之各級別之分布(P t(y))。在圖2(b)中，假設來源域及目標域係皆具有2個級別(-1、+1)。 如圖2(b)所示，於來源域中，係已被標註成級別(-1)的來源樣本數與已被標註成級別(+1)的來源樣本數，係幾乎為同數。另一方面，於目標域中，係已被標註成級別(-1)的目標樣本數，係與級別(-1)之來源樣本數幾乎為同數，而相對於此，已被標註成級別(+1)的目標樣本數，係顯著低於級別(+1)之來源樣本數，目標域係於級別分布中也發生了平移(P s(y=+1)≠P t(y=+1))。
作為非限定性一例可考慮，來源域係為繪製影像，目標域係為實攝影像，為了獲得可將輸入影像分類成狗影像與貓影像任一級別的學習模型，而對學習模型適用領域適應的情況。 來源域之來源樣本，係含有描繪了狗的狗之繪製影像(P s(y=-1))、與描繪了貓的貓之繪製影像(P s(y=+1))之雙方，各來源樣本係已經被標註有狗之級別(-1)與貓之級別(+1)之任一者。 另一方面，目標域之目標樣本，係假設如圖2(b)所示般地，幾乎全部都是拍攝了狗的狗之實攝影像(P t(y=-1))，而拍攝了貓的貓之實攝影像(P t(y=+1))則是幾乎沒有，或者只能夠準備非常少量。
在實際使用學習模型的推論階段，亦即將輸入影像進行級別分類的任務的階段中，由於想定不只有狗之實攝影像就連貓之實攝影像也會被輸入，因此被要求能夠高精度地區別狗之實攝影像與貓之實攝影像。 然而，如圖2(b)所示，由於在目標域中貓之實攝影像(P t(y=+1))為不足，因此即使對學習模型適用領域適應，將貓之實攝影像與狗之實攝影像進行區別而分類的精度仍會降低。
本實施形態，係針對這點，在令學習模型進行領域適應之際，將目標域中為不足的貓之實攝影像(P t(y=+1))，當作擬似樣本而加以生成，使用已被生成之擬似樣本而將目標域予以補全。
圖3係經過本實施形態所述之學習裝置1所執行的擬似樣本生成處理而已被進行領域適應的來源域與目標域的說明圖。 圖3(a)係表示，領域適應後的來源域中所屬之來源樣本之特徵值(P s(x))之分布，與目標域中所屬之目標樣本之特徵值(P t(x))之分布。如圖3(a)所示，目標樣本之特徵值之分布，係與來源樣本之特徵值之分布，幾乎一致(P s(x)≈P t(x))。
圖3(b)係表示，來源域中所屬之來源樣本之級別(+1)之分布(P s(y))，與目標域中所屬之目標樣本群之級別(+1)之分布(P t(y))。 在領域適應之際，由於是用針對級別(+1)而已被生成之擬似樣本來將目標域進行了補全，因此如圖3(b)所示，來源域中的已被標註成級別(+1)的來源樣本數，與目標域中的已被標註成級別(+1)的目標樣本數，係幾乎變成同數(P s(y=+1)≈P t(y=+1))。 如圖3(a)及圖3(b)所示，若依據本實施形態，則在來源域與目標域間所可能發生的，不只特徵值分布之平移，就連級別間之平移，都能獲得解決。
＜機器學習用學習模型的模組構成＞ 圖4係將本實施形態所述之學習裝置1實作成機器學習模型之情況的模組構成及概略處理程序之一例的概念圖。 參照圖4，學習裝置1係可由：特徵抽出模組121、122、編碼模組141、擬似樣本生成模組13、分類器模組142、及資料轉換模組143所構成。圖4所示的各模組之中，編碼模組141、擬似樣本生成模組13、分類器模組142、及資料轉換模組143，是構成了作為特徵抽出模組121、122之後段的領域適應模組14。
在圖4中係說明，令將輸入影像進行辨識及分類的學習模型，進行學習的例子。 此外，圖4的各特徵抽出模組121、122，係對應於學習裝置1的特徵抽出部12，擬似樣本生成模組13，係對應於學習裝置1的擬似樣本生成部13，含有編碼模組141、分類器模組142、及資料轉換模組143的領域適用模組14，係對應於學習裝置1的資料轉換部14。
特徵抽出模組121，係將來源域之來源影像當作輸入，從各來源影像抽出特徵，將來源影像之特徵予以輸出。 特徵抽出模組122，係將目標域之目標影像當作輸入，從各目標影像抽出特徵，將目標影像之特徵予以輸出。 此外，在令學習模型進行學習之際，亦可平行地執行特徵抽出模組121、122，亦可令特徵抽出模組121、122之任一方優先而另一方較後地依序執行。
將來源影像及目標影像之影像特徵予以抽出的特徵抽出模組121、122，係可由例如卷積神經網路(Convolutional Neural Network：CNN)來加以構成。 特徵抽出模組121、122亦可還對來源影像及目標影像，適用資料增補(data augmentation)之演算法，以將影像中的解析對象之物件(例如人)在影像中央以適切的尺寸而做定位，或去除背景等等。 特徵抽出模組121、122亦可甚至適用例如Attention Branch Network(ABN)等之注意力機構，從來源影像及目標影像，將影像中的注視領域之地圖(attention map)予以生成、並做最佳化，而將已被抽出之影像特徵進行加權。
領域適應模組14的編碼模組141，係將特徵抽出模組所輸出的來源影像之特徵及目標影像之特徵，在共通之特徵空間中進行編碼(Encoding)。 此處，假設在來源域中係含有：正(positive)級別之特徵向量z s +，與負(negative)級別之特徵向量z s -之雙方(z s +, z s -∈ℝ d)。另一方面，假設在目標域中係僅含有負級別之特徵向量z t -(z t -∈ℝ d)。亦即，正級別，係為目標域中未出現(未觀測)之級別。被輸入至編碼模組141的這些特徵向量，係假設是d維之特徵向量。
編碼模組141，係將領域不變(domain invariant)的特徵空間之參數加以學習，可被實作成例如，作為可學習之映射函數G的全連結層(Fully Connected Layer)。 編碼模組141，係將已被編碼之特徵向量^z s -、^z s +、^z t -，予以輸出。這些編碼特徵向量，係假設是m維(m＜d)之特徵向量(^z∈ℝ m)。
擬似樣本生成模組13，係將已被映射至共通之特徵空間的，已被編碼之特徵向量^z s -、^z s +、^z t -當作輸入，將目標域中未出現的正(positive)級別之擬似樣本予以生成，將已被生成之正級別之擬似樣本視作正級別之特徵向量^z t +，將目標域之樣本予以補全。 此外，雖然在圖4中，擬似樣本生成模組13，係將擬似樣本生成處理，在編碼模組141所致之特徵向量之編碼之後加以執行，但亦可取而代之，將擬似樣本生成處理，在編碼模組141所致之特徵向量之編碼之前就加以執行。 擬似樣本生成模組所致之擬似樣本生成處理的細節，係參照圖5而後述。
在S5中，領域適應模組的分類器模組142(discriminator)，係將已被編碼之特徵向量^z，予以分類(^z∈ℝ m)。 分類器模組142係可具備：將所被輸入之編碼特徵向量分類成來源域及目標域之任一領域的領域分類器(C_d)；和將所被輸入之編碼特徵向量分類成正級別及負級別之任一級別的級別分類器(C_c)。
分類器模組142係可被實作成例如，作為可學習之映射函數C的全連結層(Fully Connected Layer)，亦可藉由將ℝ m映射至ℝ c而執行分類。上記的領域分類器及級別分類器中，c=2。 分類器模組142係使用例如，用來使以下的式1所示的損失呈最小化所需之損失函數Lc，以使得領域間或級別間的二值交叉熵(binary cross entropy)損失會變得較小的方式，進行機器學習，藉此就可維持分類性能。
Figure 02_image001
其中，
Figure 02_image003
係表示第i個來源樣本的二值標籤，
Figure 02_image005
係為指標函數。此外，分類器模組，係在上記式1中，亦可取代二值交叉熵損失，改為算出平方誤差等其他損失。
領域適應模組14的資料轉換模組143，係以使得來源域與目標域之間的資料之不一致(discrepancy)會呈最小化的方式，將已被編碼之特徵向量表現^z(^z∈ℝ m)，轉換成實數z(z∈ℝ)。亦即，資料轉換模組143，係為將領域適應進行評價的模組(domain critic)。 資料轉換模組143係可被實作成例如，作為可學習之轉換函數F的全連結層。
具體而言，資料轉換模組143，係將已被編碼之來源域之特徵向量^z s -、^z s +，與已被編碼之目標域之特徵向量^z t -及擬似樣本的正級別之特徵向量^z t +當作輸入，將來源域之編碼特徵向量^z s -、^z s +與目標域之編碼特徵向量^z t -、^z t +之間的於共通之特徵空間中的距離加以推定，以使得該距離呈最小化的方式進行機器學習，藉此以使來源域之編碼特徵向量往目標域之編碼特徵向量進行領域適應。 該距離係可為例如，距離空間上的作為機率分布間之距離的Wasserstein距離，但資料轉換模組143係亦可使用其他距離。 資料轉換模組143係使用例如，用來使以下的式2所示的損失呈最小化所需之損失函數Lw，在來源域與目標域之間以使得樣本分布間之距離之損失會變得較小的方式執行機器學習，藉此以執行領域適應。
Figure 02_image007
此處，n s係表示來源域中的正級別及負級別之樣本數，n t係表示目標域中的正級別及負級別之樣本數。 在本實施形態中，由於已被擬似樣本生成模組13所生成之擬似正樣本之編碼特徵向量係被追加至目標域，因此資料轉換模組143係可使用已被追加至目標域中的擬似正樣本之編碼特徵向量，而高精度地執行領域適應。
此外，在令學習模型進行機器學習之際，亦可平行地執行分類器模組142及資料轉換模組143，亦可令分類器模組142及資料轉換模組143之任一方優先而另一方較後地依序執行。分類器模組142所致之學習及資料轉換模組143所致之學習，係亦可作為敵對性學習而被執行。
令學習模型進行學習的領域適應模組14，係以使得映射函數G、映射函數C、及轉換函數F之各參數被最佳化，以使得上記損失函數的總和的損失呈最小化的方式，重複進行機器學習。藉此，領域不變的共通之特徵空間之參數係被學習，來源域之特徵空間中的正樣本分布及負樣本分布，就會往目標域之特徵空間中的正樣本分布及負樣本分布，高精度地進行領域適應。 此外，圖4所示的學習模型的模組構成係為一例，本實施形態所述之學習裝置1，係亦可使用其他特徵抽出或領域適應之手法。
＜擬似樣本生成處理的詳細處理程序＞ 圖5係本實施形態所述之學習裝置1的擬似樣本生成部13所執行的擬似樣本生成處理的詳細處理程序之一例的流程圖。 此外，圖5的各步驟，係藉由將學習裝置1的HDD等之記憶裝置中所被記憶的程式，由CPU予以讀出、執行，而加以實現。又，圖5所示的流程圖之至少一部分亦可藉由硬體來加以實現。藉由硬體來加以實現的情況下，例如，只要使用所定之編譯器，從用以實現各步驟所需之程式，而在FPGA(Field Programmable Gate Array)上自動地生成專用電路即可。又，亦可與FPGA同樣地形成Gate Array電路，以硬體方式來加以實現。又，亦可藉由ASIC (Application Specific Integrated Circuit)來加以實現。
在S51中，學習裝置1的擬似樣本生成部13，係令用來將樣本分類成來源域及目標域之任一領域的領域分類器，進行事前學習。領域分類器係被訓練成，對被分類成目標域之樣本，會賦予高於被分類成來源域之樣本的權重。 自S51中，擬似樣本生成部13係還令，用來將樣本分類成正(positive)級別及負(negative)級別之任一級別的級別分類器，進行事前學習。級別分類器係被訓練成，對被分類成正級別之樣本，會賦予高於被分類成負級別之樣本的權重。
在S52中，學習裝置1的擬似樣本生成部13，係從特徵空間上的目標域之負級別樣本之分布，推定出目標域之負級別樣本之信賴度。 具體而言，擬似樣本生成部13，係將特徵空間上的目標域之負級別樣本之分布之平均向量(mean vector)及共分散矩陣(covariance matrix)加以推定，將相對於目標域之負級別樣本之分布的負級別樣本機率值(probability value)，當作目標域之負級別樣本之信賴度(confidence score)而加以推定。此處，負級別樣本之分布，係可視作是高斯(Gaussian)分布(正規分布)。
在S53中，學習裝置1的擬似樣本生成部13，係在特徵空間上的目標域之領域中生成擬似正級別樣本。 若假設S52中所被推定的，特徵空間上的目標域之負級別樣本之信賴度分數是p(D t -|x +)，則特徵空間上的目標域之擬似正級別樣本之信賴度，係可作為以下的式3而推定。 p(D t +|x +)=1-p(D t -|x +)　　　(式3)
具體而言，擬似樣本生成部13，係基於目標域之負級別樣本之信賴度的特徵空間上的梯度，而在目標域之負級別樣本之信賴度為低的領域周圍，均勻地生成目標域之擬似正級別樣本。
擬似樣本生成部13，係可在基於來源域中的正級別樣本及負級別樣本的級別間距離的平均及標準差而被決定的目標域之領域中，生成擬似正級別樣本。 亦即，來源域中的正級別樣本及負級別樣本的級別間距離，係可視作與目標域中的正級別樣本及負級別樣本的級別間距離相等。因此，擬似樣本生成部13，係可在從目標域之負級別樣本所分布之領域起隔開了上記級別間距離份的領域中，生成目標域之擬似正級別樣本。
擬似樣本生成部13還可將與來源域之正級別樣本之數量同數的擬似正級別樣本，在目標域之領域加以生成(N t +=N s +)。領域分類器(C_d)，係將已被生成之擬似正級別樣本，分類至目標域。
在S54中，學習裝置1的擬似樣本生成部13，係將特徵空間上的來源域之正級別樣本之分布之平均向量及共分散矩陣加以推定，將相對於來源域之正級別樣本之分布的正級別樣本機率值，當作來源域之正級別樣本之信賴度而加以推定。此處，正級別樣本之分布，係也可視作是高斯分布(正規分布)。擬似樣本生成部13，係可和S53同樣地，基於來源域之正級別樣本之信賴度之特徵空間上的梯度，在來源域之正級別樣本之信賴度為低的領域周圍，均勻地生成目標域之擬似正級別樣本。 級別(內容)分類器(C_c)，係可使用來源域之正級別樣本之信賴度p(D s +|x +)，而將擬似正級別樣本之信賴度予以更新。
在S55中，學習裝置1的擬似樣本生成部13，係使用S51中已做了學習的領域分類器及級別分類器，而將目標域之負級別樣本之信賴度及來源域之正級別樣本之信賴度予以結合，將樣本之權重予以更新。目標域之負級別樣本之信賴度，係如式3所示，被轉換成目標域之正級別樣本之信賴度。 此處，已被分類成正級別(y=+1)之樣本，係具有較高的權重。又，如以下的式4所示，來源域之正樣本之分布(D s +)與目標域之正樣本之分布(D t +)係被推定為，是附帶條件的獨立。 p(D s +, D t +|x +)=p(D s +|x +)p(D t +|x +)　　　(式4)
在S56中，學習裝置1的擬似樣本生成部13，係將S55中已被賦予較高權重的樣本之參數分布予以算出，在特徵空間上將目標域之擬似正級別樣本進行重新取樣。 具體而言，擬似樣本生成部13，係將信賴度當作權重，將帶有較高信賴度的擬似正級別樣本之領域中的樣本數予以增大(up-sample)，將帶有較低信賴度的擬似正級別樣本之領域中的樣本數予以減少(down-sample)。
在S57中，學習裝置1的擬似樣本生成部13，會一直重複S51~S56之處理，直到達到所定之收斂條件為止。 作為收斂條件係例如，將S54~S55之處理予以繞過而不使用來源域之正級別樣本之資訊的情況下，則可將圖5所示的處理重複進行了所定次數的這件事情，視作收斂。 或者，在使用來源域之正級別樣本之資訊的情況下，係亦可以重複的次數來設定收斂條件，但例如，亦可將距離的閾值加以設定，而把來源域之正級別樣本與負級別樣本之分布之間的距離，和目標域之正級別樣本與負級別樣本之分布之間的距離，是已收斂在所定之閾值內的這件事情，當作收斂條件而加以設定。又，亦可取代樣本之分布之間的距離，改為使用樣本之信賴度之間的距離。此處，作為距離，係可使用例如Jensen-Shannon散度。
圖6係在特徵空間上，從目標域及來源域之樣本而生成目標域之擬似正級別樣本的程序之一例的說明用模式圖。 參照圖6(a)，在特徵空間上，左側係表示來源域之領域，右側係表示目標域之領域。垂直線61係表示，藉由領域分類器而被劃定的特徵空間上的來源域與目標域之交界。 來源域之領域係含有：以(-)而被表示的負級別樣本之分布、和位於負級別樣本之分布之上方，以(+)而被表示的正級別樣本之分布。另一方面，目標域之領域，係含有以(-)而被表示的負級別樣本之分布，但正級別樣本之分布係沒有出現。
參照圖6(b)，學習裝置1的擬似樣本生成部13，係在特徵空間上的目標域之領域中，生成擬似正級別樣本。於交界61之右側的目標域之領域中，以(-)而被表示的負級別樣本之分布，係表示這是目標域之負級別樣本之信賴度為高的領域。 擬似樣本生成部13，係由於越是遠離該目標域之以(-)而被表示的負級別樣本之分布，則目標域之負級別樣本之信賴度就為越低的領域，因此，判斷其係為目標域之擬似正級別樣本之信賴度為高的領域，並在目標域之以(-)而被表示的負級別樣本之分布的周圍，均勻地生成複數個擬似正級別樣本之領域63~67(圖5的S53)。
參照圖6(c)，學習裝置1的擬似樣本生成部13，係於特徵空間上的目標域之領域中，將擬似正級別樣本進行重新取樣。水平線62係表示，藉由級別分類器而被劃定的正級別與負級別之交界。
擬似樣本生成部13，係在圖6(b)中已被生成在目標域中的複數個擬似正級別樣本之領域63~67之中，將相對於來源域之以(+)而被表示的正級別樣本之分布而言距離較近的領域63，判斷其係為擬似正級別樣本之信賴度為高的領域，而賦予較高的權重。 另一方面，在複數個擬似正級別樣本之領域63~67之中，相對於來源域之以(+)而被表示的正級別樣本之分布而言距離較遠的領域64~67，係判斷成擬似正級別樣本之信賴度為低的領域，而賦予較低的權重。又，水平線62之下方的擬似正級別樣本之領域65~67，係由於被級別分類器判斷成是負級別之領域，因此亦可賦予較水平線62之上方的擬似正級別樣本之領域還要更低的權重，也可將擬似正級別樣本予以刪除。 擬似樣本生成部13，最終而言，只要在已被算出較高信賴度的擬似正級別樣本之領域63中，生成擬似正級別樣本即可。
圖7係在特徵空間上，從目標域及來源域之樣本而生成目標域之擬似正級別樣本的程序之另一例的說明用模式圖。 參照圖7(a)，在特徵空間上，左側係表示來源域之領域，右側係表示目標域之領域。垂直線71係表示，藉由領域分類器而被劃定的特徵空間上的來源域與目標域之交界。 來源域之領域係含有：以(-)而被表示的負級別樣本之分布、和位於負級別樣本之分布之上方，以(+)而被表示的正級別樣本之分布。另一方面，目標域之領域，係含有以(-)而被表示的負級別樣本之分布，但正級別樣本之分布係沒有出現。但是，與圖6(a)不同，目標域之以(-)而被表示的負級別樣本之分布，係隔著交界71，從來源域之以(-)而被表示的負級別樣本之分布而相鄰於以(+)而被表示的正級別樣本之分布。
參照圖7(b)，學習裝置1的擬似樣本生成部13，係在特徵空間上的目標域之領域中，生成擬似正級別樣本。於交界71之右側的目標域之領域中，以(-)而被表示的負級別樣本之分布，係表示這是目標域之負級別樣本之信賴度為高的領域。 擬似樣本生成部13，係由於越是遠離該目標域之以(-)而被表示的負級別樣本之分布，則目標域之負級別樣本之信賴度就為越低的領域，因此，判斷其係為目標域之擬似正級別樣本之信賴度為高的領域，並在目標域之以(-)而被表示的負級別樣本之分布的周圍，均勻地生成複數個擬似正級別樣本之領域73~77(圖5的S53)。
參照圖7(c)，學習裝置1的擬似樣本生成部13，係於特徵空間上的目標域之領域中，將擬似正級別樣本進行重新取樣。斜線72係表示，藉由級別分類器而被劃定的正級別與負級別之交界。
擬似樣本生成部13，係在圖7(b)中已被生成在目標域中的複數個擬似正級別樣本之領域73~77之中，將相對於來源域之以(+)而被表示的正級別樣本之分布而言距離較近的領域73，判斷其係為擬似正級別樣本之信賴度為高的領域，而賦予較高的權重。 另一方面，在複數個擬似正級別樣本之領域73~77之中，相對於來源域之以(+)而被表示的正級別樣本之分布而言距離較遠的領域74~77，係判斷成擬似正級別樣本之信賴度為低的領域，而賦予較低的權重。又，斜線72之下方的擬似正級別樣本之領域75~77，係由於被級別分類器判斷成是負級別之領域，因此亦可賦予較斜線72之上方的擬似正級別樣本之領域還要更低的權重，也可將擬似正級別樣本予以刪除。 擬似樣本生成部13，最終而言，只要在已被算出較高信賴度的擬似正級別樣本之領域73中，生成擬似正級別樣本即可。
＜學習裝置的硬體構成＞ 圖8係為本實施形態所述之學習裝置1的硬體構成之非限定性一例的圖示。 本實施形態所述之學習裝置1，係亦可實作於單一或複數之任何的電腦、行動裝置、或其他任意處理平台上。 參照圖8，雖然圖示了學習裝置1係被實作於單一之電腦的例子，但本實施形態所述之學習裝置1，係亦可被實作於含有複數個電腦的電腦系統中。複數個電腦，係可藉由有線或無線之網路而被連接成可相互通訊。
如圖8所示，學習裝置1係可具備有：CPU81、ROM82、RAM83、HDD84、輸入部85、顯示部86、通訊I/F87、系統匯流排88。學習裝置1還可具備有外部記憶體。 CPU(Central Processing Unit)81，係統籌控制學習裝置1的動作，透過資料傳輸路徑也就是系統匯流排88，來控制各構成部(82~87)。 學習裝置1還可具備有GPU(Graphics Processing Unit)。GPU，係具有高於CPU81的計算機能，藉由使複數或多數之GPU平行動作，尤其像是本實施形態的使用機器學習的影像處理等之應用上，可提供更高的處理效能。GPU，通常係含有處理器和共用記憶體。各個處理器係從高速的共用記憶體取得資料，執行共通程式，藉此可大量且高速地執行同種類的計算處理。
ROM(Read Only Memory)82，係將CPU81執行處理所必須的控制程式等加以記憶的非揮發性記憶體。此外，該當程式係亦可被記憶在HDD(Hard Disk Drive)84、SSD(Solid State Drive)等之非揮發性記憶體或可裝卸式的記憶媒體(未圖示)等之外部記憶體。 RAM(Random Access Memory)83係為揮發性記憶體，是作為CPU81的主記憶體、工作區等而發揮機能。亦即，CPU81係在處理執行之際，從ROM82將必要的程式等載入至RAM83中，藉由執行該當程式等以實現各種機能動作。
HDD84係將例如，CPU81使用程式進行處理之際所必須的各種資料或各種資訊等，加以記憶。又，HDD84中係還記憶有例如，CPU81使用程式等進行處理所得到的各種資料或各種資訊等。 輸入部85，係由鍵盤或滑鼠等之指標裝置所構成。 顯示部86係由液晶顯示器(LCD)等之螢幕所構成。顯示部86，係機器學習處理中所被使用的各種參數、或與其他裝置之通訊中所被使用的通訊參數等，對參數調整裝置1進行指示輸入所需之使用者介面GUI(Graphical User Interface)，加以提供。
通訊I/F87係為控制學習裝置1與外部裝置之通訊的介面。 通訊I/F87，係提供與網路之介面，並透過網路而執行與外部裝置的通訊。透過通訊I/F87，而與外部裝置之間會收送各種資料或各種參數等。在本實施形態中，通訊I/F87係可透過依據乙太網路(註冊商標)等之通訊規格的有線LAN(Local Area Network)或專線而執行通訊。但是，本實施形態中所能利用的網路係不限定於此，亦可由無線網路所構成。該無線網路係包含Bluetooth(註冊商標)、ZigBee(註冊商標)、UWB(Ultra Wide Band)等之無線PAN(Personal Area Network)。又，亦包含Wi-Fi(Wireless Fidelity)(註冊商標)等之無線LAN(Local Area Network)、或WiMAX(註冊商標)等之無線MAN(Metropolitan Area Network)。甚至還包含LTE/3G、4G、5G等之無線WAN(Wide Area Network)。此外，網路係只要能夠將各機器相互可通訊地連接、可進行通訊即可，通訊的規格、規模、構成係不限於上記。
圖1所示的學習裝置1的各要素之中至少一部分之機能，係可藉由CPU81執行程式而加以實現。但是，圖1所示的學習裝置1的各元件之中至少一部分之機能亦可作為專用之硬體而作動。此情況下，專用的硬體，係基於CPU81的控制而作動。
如以上說明，若依據本實施形態，則學習裝置，係將來源域之樣本及目標域之樣本之特徵分別予以抽出，在來源域之樣本上所被標註的複數個級別之中未被目標域所充分包含的級別之樣本，當作擬似樣本，在特徵空間中的目標域之領域中予以生成，並使用已被生成之擬似樣本，而將目標域之樣本予以補全。 本實施形態所述之學習裝置還進行機器學習，以使得來源域會往擬似樣本已被補全之目標域，進行領域適應。
因此，即使在來源域之樣本與目標域之樣本並未充分對應的情況下，仍可獲得高精度的處理結果。 例如，即使在映像中偵測出只以極低頻率出現的異常場景(anomaly scene)的任務中，仍可在目標域中，生成必須濾除的異常場景之擬似樣本，使用已被生成之擬似樣本而將目標域予以補全，藉此可以消除來源域及目標域的級別間之非對稱性。 藉此，可高精度地實現領域適應，可期待機器學習模型的可用性提升。
此外，雖然於上記中說明了特定的實施形態，但該當實施形態係僅為單純的例示，並非意圖限定本發明的範圍。本說明書中所記載的裝置及方法係亦可於上記以外的形態中做具體化。又，亦可在不脫離本發明的範圍下，對上記的實施形態適宜地進行省略、置換及變更。進行了所述的省略、置換及變更的形態，係被申請專利範圍中所記載之事項及其均等物之範疇所包含，而仍屬於本發明的技術範圍內。
1:學習裝置
2:來源資料集
3:目標資料集
11:資料取得部
12:特徵抽出部
13:擬似樣本生成部
14:資料轉換部
15:推論部
61:垂直線
62:水平線
63~67:領域
71:垂直線
72:斜線
73~77:領域
81:CPU
82:ROM
83:RAM
84:HDD
85:輸入部
86:顯示部
87:通訊I/F
88:系統匯流排
121:特徵抽出模組
122:特徵抽出模組
141:編碼器(編碼模組)
142:分類器模組
143:資料轉換模組
[圖1]圖1係本發明的實施形態所述之學習裝置的機能構成之一例的區塊圖。 [圖2]圖2係本實施形態所述之來源域與目標域的樣本分布之非對稱性(領域平移)的說明圖。 [圖3]圖3係經過本實施形態所述之學習裝置所執行的擬似樣本生成處理而已被進行領域適應的來源域與目標域的說明圖。 [圖4]圖4係將本實施形態所述之學習裝置，實作成機器學習之情況的學習模型的模組構成及概略處理程序之一例的概念圖。 [圖5]圖5係本實施形態所述之學習裝置的擬似樣本生成部所執行的擬似樣本生成處理的詳細處理程序之一例的流程圖。 [圖6]圖6係在特徵空間上，從目標域及來源域之樣本而生成目標域之擬似樣本的程序之一例的說明用模式圖。 [圖7]圖7係在特徵空間上，從目標域及來源域之樣本而生成目標域之擬似樣本的程序之另一例的說明用模式圖。 [圖8]圖8係本實施形態所述之學習裝置的硬體構成之一例的區塊圖。
1:學習裝置
2:來源資料集
3:目標資料集
11:資料取得部
12:特徵抽出部
13:擬似樣本生成部
14:資料轉換部
15:推論部

Claims (12)

  1. 一種資訊處理裝置，其特徵為，具備： 特徵抽出部，係從來源域中所含之第1級別之樣本及第2級別之樣本、與目標域中所含之前記第1級別之樣本，分別抽出特徵；和 擬似樣本生成部，係基於已被前記特徵抽出部所抽出之前記特徵之特徵空間中的前記目標域中所含之前記第1級別之樣本之分布，而生成前記目標域之前記第2級別之擬似樣本；和 資料轉換部，係藉由機器學習而進行資料轉換，以使得於前記特徵空間中，前記來源域中所含之前記第1級別之樣本及前記第2級別之樣本之分布，會貼近於前記目標域中所含之前記第1級別之樣本及前記第2級別之前記擬似樣本之分布。
  2. 如請求項1所記載之資訊處理裝置，其中， 前記擬似樣本生成部，係將前記特徵空間中的前記目標域中所含之前記第1級別之樣本之分布之第1信賴度加以推定，基於已被推定之前記第1信賴度之梯度，而生成前記擬似樣本。
  3. 如請求項2所記載之資訊處理裝置，其中， 前記擬似樣本生成部，係在已被推定之前記第1信賴度為低的前記特徵空間之領域中，生成前記擬似樣本。
  4. 如請求項1至3之任1項所記載之資訊處理裝置，其中， 前記擬似樣本生成部，係將前記特徵空間中的前記來源域中所含之前記第2級別之樣本之分布之第2信賴度加以推定，基於已被推定之前記第2信賴度之梯度，而生成前記擬似樣本。
  5. 如請求項4所記載之資訊處理裝置，其中， 前記擬似樣本生成部，係將前記第1信賴度與前記第2信賴度做結合，基於已被結合之信賴度，而將已被生成之前記擬似樣本進行重新取樣，以使其被分布在前記特徵空間中前記已被結合之信賴度為較高之領域中。
  6. 如請求項1所記載之資訊處理裝置，其中， 前記擬似樣本生成部，係基於前記特徵空間中的前記來源域中所含之前記第1級別之樣本之分布與前記第2級別之樣本之分布之間的距離，而生成前記擬似樣本。
  7. 如請求項1所記載之資訊處理裝置，其中， 還具備：領域分類器，係將樣本分類成前記來源域及前記目標域之任一者； 前記擬似樣本生成部，係令前記領域分類器進行學習，以使得前記領域分類器對於已被分類成前記目標域之樣本，會賦予高於已被分類成前記來源域之樣本的權重。
  8. 如請求項7所記載之資訊處理裝置，其中， 還具備：級別分類器，係將樣本分類成前記第1級別及前記第2級別之任一者； 前記擬似樣本生成部，係令前記級別分類器進行學習，以使得前記級別分類器對於已被分類成前記第2級別之樣本，會賦予高於已被分類成前記第1級別之樣本的權重。
  9. 如請求項8所記載之資訊處理裝置，其中， 前記資料轉換部，係將前記領域分類器及前記級別分類器之至少1者進行機器學習，以使得使用第1損失函數而被算出的前記特徵空間中的交叉熵損失會變小。
  10. 如請求項1所記載之資訊處理裝置，其中， 前記資料轉換部係進行機器學習，以使得使用第2損失函數而被算出的前記特徵空間中的前記來源域與前記目標域之間的Wasserstein距離會變小。
  11. 一種資訊處理方法，係為資訊處理裝置所執行的資訊處理方法，其特徵為，含有： 從來源域中所含之第1級別之樣本及第2級別之樣本、與目標域中所含之前記第1級別之樣本，分別抽出特徵之步驟；和 基於已被抽出之前記特徵之特徵空間中的前記目標域中所含之前記第1級別之樣本之分布，而生成前記目標域之前記第2級別之擬似樣本之步驟；和 藉由機器學習而進行資料轉換，以使得於前記特徵空間中，前記來源域中所含之前記第1級別之樣本及前記第2級別之樣本之分布，會貼近於前記目標域中所含之前記第1級別之樣本及前記第2級別之前記擬似樣本之分布之步驟。
  12. 一種資訊處理程式，係為用來令電腦執行資訊處理所需之資訊處理程式被儲存在電腦可讀記憶媒體，其特徵為，該程式係用來令前記電腦執行包含以下之處理： 特徵抽出處理，係從來源域中所含之第1級別之樣本及第2級別之樣本、與目標域中所含之前記第1級別之樣本，分別抽出特徵；和 擬似樣本生成處理，係基於已被前記特徵抽出處理所抽出之前記特徵之特徵空間中的前記目標域中所含之前記第1級別之樣本之分布，而生成前記目標域之前記第2級別之擬似樣本；和 資料轉換處理，係藉由機器學習而進行資料轉換，以使得於前記特徵空間中，前記來源域中所含之前記第1級別之樣本及前記第2級別之樣本之分布，會貼近於前記目標域中所含之前記第1級別之樣本及前記第2級別之前記擬似樣本之分布。
TW110134193A 2020-12-25 2021-09-14 資訊處理裝置及資訊處理方法 TWI792560B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020216626A JP7062747B1 (ja) 2020-12-25 2020-12-25 情報処理装置、情報処理方法およびプログラム
JP2020-216626 2020-12-25

Publications (2)

Publication Number Publication Date
TW202226077A TW202226077A (zh) 2022-07-01
TWI792560B true TWI792560B (zh) 2023-02-11

Family

ID=78413632

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110134193A TWI792560B (zh) 2020-12-25 2021-09-14 資訊處理裝置及資訊處理方法

Country Status (4)

Country Link
EP (1) EP4020338A1 (zh)
JP (1) JP7062747B1 (zh)
CN (1) CN114757358A (zh)
TW (1) TWI792560B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI823817B (zh) * 2023-05-12 2023-11-21 和碩聯合科技股份有限公司 資料處理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325525A (zh) * 2018-08-31 2019-02-12 阿里巴巴集团控股有限公司 样本属性评估模型训练方法、装置及服务器
US20190385079A1 (en) * 2018-06-13 2019-12-19 Royal Bank Of Canada Correcting bias in supervised machine learning data
US20200302339A1 (en) * 2019-03-22 2020-09-24 Sri International Generative memory for lifelong machine learning

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710729B2 (en) 2014-09-04 2017-07-18 Xerox Corporation Domain adaptation for image classification with class priors
JP6884517B2 (ja) * 2016-06-15 2021-06-09 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6919990B2 (ja) * 2017-10-17 2021-08-18 株式会社日立製作所 オンライン認識装置、オンライン認識方法、及びそれに用いる設定画面
JP2020071694A (ja) * 2018-10-31 2020-05-07 株式会社日立製作所 計算機システム
JP2020198041A (ja) * 2019-06-05 2020-12-10 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 訓練装置、訓練方法、推定装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190385079A1 (en) * 2018-06-13 2019-12-19 Royal Bank Of Canada Correcting bias in supervised machine learning data
CN109325525A (zh) * 2018-08-31 2019-02-12 阿里巴巴集团控股有限公司 样本属性评估模型训练方法、装置及服务器
TW202011285A (zh) * 2018-08-31 2020-03-16 香港商阿里巴巴集團服務有限公司 樣本屬性評估模型訓練方法、裝置及伺服器
US20200302339A1 (en) * 2019-03-22 2020-09-24 Sri International Generative memory for lifelong machine learning

Also Published As

Publication number Publication date
CN114757358A (zh) 2022-07-15
US20220207865A1 (en) 2022-06-30
EP4020338A1 (en) 2022-06-29
JP2022102095A (ja) 2022-07-07
JP7062747B1 (ja) 2022-05-06
TW202226077A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN109145979B (zh) 敏感图像鉴定方法及终端系统
JP6781415B2 (ja) ニューラルネットワーク学習装置、方法、プログラム、およびパターン認識装置
JP6330385B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR102548732B1 (ko) 신경망 학습 방법 및 이를 적용한 장치
KR102517513B1 (ko) 인공지능 기반 수목 데이터 관리 시스템 및 수목 데이터 관리 방법
CN112307883B (zh) 训练方法、装置、电子设备以及计算机可读存储介质
CN116844217B (zh) 用于生成人脸数据的图像处理系统及方法
CN111127360A (zh) 一种基于自动编码器的灰度图像迁移学习方法
CN116486408B (zh) 遥感图像跨域语义分割方法及装置
AU2017443986B2 (en) Color adaptation using adversarial training networks
TWI792560B (zh) 資訊處理裝置及資訊處理方法
Rajpal et al. XAI-FR: explainable AI-based face recognition using deep neural networks
CN108319891A (zh) 基于稀疏表达和改进的lda的人脸特征提取方法
Duman et al. Distance estimation from a monocular camera using face and body features
CN113297964A (zh) 基于深度迁移学习的视频目标识别模型及方法
CN111062406B (zh) 一种面向异构领域适应的半监督最优传输方法
JP7225731B2 (ja) 多変数データシーケンスの画像化
Hazra et al. Handwritten English character recognition using logistic regression and neural network
CN115797701A (zh) 目标分类方法、装置、电子设备及存储介质
JP7277645B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2022025392A (ja) 機械学習装置及び機械学習方法
US12002488B2 (en) Information processing apparatus and information processing method
Metre et al. Research opportunities for the detection and classification of plant leaf diseases
CN117435916B (zh) 航片ai解译中的自适应迁移学习方法
Swathi et al. A Reliable Novel Approach of Bio-Image Processing—Age and Gender Prediction