JP6831453B2 - 信号検索装置、方法、及びプログラム - Google Patents
信号検索装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP6831453B2 JP6831453B2 JP2019515738A JP2019515738A JP6831453B2 JP 6831453 B2 JP6831453 B2 JP 6831453B2 JP 2019515738 A JP2019515738 A JP 2019515738A JP 2019515738 A JP2019515738 A JP 2019515738A JP 6831453 B2 JP6831453 B2 JP 6831453B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- attribute
- value
- hidden variable
- hidden
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 203
- 230000008859 change Effects 0.000 claims description 106
- 238000000605 extraction Methods 0.000 claims description 37
- 239000000284 extract Substances 0.000 claims description 6
- 238000009826 distribution Methods 0.000 description 82
- 238000006243 chemical reaction Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 24
- 238000012549 training Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 210000003323 beak Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000009827 uniform distribution Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000004800 variational method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Description
本願は、2017年5月2日に、日本へ出願された特願2017−091735号に基づき優先権を主張し、その内容をここに援用する。
また、CNN(Convolutional Neural Networks)を用いて、画像のエンコードを行う方法が知られている(非特許文献2)。
本発明は、上記事情を考慮して成されたものであり、属性を変更した信号に類似する信号を検索することができる信号検索装置、方法、及びプログラムを提供することを目的とする。
本発明の一態様は上記の信号検索装置であって、前記信号属性値表示部は、前記属性の値の前記変更指示を受付可能な前記状態として、前記属性の値を示すコントローラで、前記属性の値を表示する。
本発明の一態様は上記の信号検索装置であって、前記変数抽出部は、予め学習されたニューラルネットワークを用いて、前記取得された信号から、隠れ変数を抽出し、前記隠れ変数は、前記属性を表す隠れ変数を含み、前記変更後属性値取得部は、前記属性の値の前記変更指示を受け付けると、前記変更後の前記属性を表す隠れ変数を取得し、前記信号検索部は、前記変更後の前記属性を表す前記隠れ変数と、前記信号蓄積部に蓄積された前記信号の各々について抽出された前記属性を表す隠れ変数とを比較して、前記変更後の前記属性を表す前記隠れ変数に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、前記信号蓄積部に蓄積された前記信号から検索する。
本発明の一態様は上記の信号検索装置であって、前記変数抽出部は、前記取得された信号から、前記信号の個体性を表す第1の隠れ変数と、前記第1の隠れ変数とは独立した第2の隠れ変数であって前記信号の各属性を表す隠れ変数又は前記隠れ変数に基づく隠れ変数と、を含む複数の隠れ変数を抽出し、前記信号属性値表示部は、前記第2の隠れ変数を出力し、前記変更後属性値取得部は、前記第2の隠れ変数を変換することにより変更後の各属性を表す第3の隠れ変数を取得し、前記信号検索部は、前記信号を前記第3の隠れ変数に基づいて変更した信号に類似する信号を、前記信号蓄積部に蓄積された信号から検索する。
本発明の一態様は上記の信号検索装置であって、前記変数抽出部によって抽出された各属性を表す第2の隠れ変数のうち、変更対象の属性を表す隠れ変数の値を、変更後属性値取得部によって取得された変更後の値で置き換えることにより、前記変更対象の属性を表す第2の隠れ変数の値を変更する変更部をさらに備え、前記信号蓄積部は、蓄積された信号に関する第1の隠れ変数と第2の隠れ変数とを前記蓄積されたとともに記憶しており、前記信号検索部は、前記第3の隠れ変数と、前記蓄積された信号に関する第2の隠れ変数とを比較することにより、前記信号蓄積部に蓄積されている前記第2の隠れ変数のうち前記第3の隠れ変数に最も類似する隠れ変数に対応する前記信号を検索する。
まず、本発明の第1の実施の形態における概要を説明する。
次に、本発明の第1の実施の形態に係る信号検索装置の構成について説明する。図5に示すように、本発明の第1の実施の形態に係る信号検索装置100は、CPU(Central Processing Unit)と、RAM(Random Access Memory)と、後述する学習処理ルーチン及び検索処理ルーチンを実行するためのプログラムや各種データを記憶したROM(Read Only Memory)と、を含むコンピュータで構成することが出来る。図5に示すように、この信号検索装置100は、機能的には、入力部10と、演算部20と、出力部90とを備えている。
また、あるデータ分布から属性を表す隠れ変数zaを生成する際には、例えば、属性を表す隠れ変数zaが離散的である場合、学習部30は、以下の式に従って、属性を表す隠れ変数zaを生成する。
また、属性を表す隠れ変数zaが連続的である場合には、学習部30は、以下の式に従って、属性を表す隠れ変数zaを生成する。
なお、他の分布に従う隠れ変数zaや変換を採用することができる。例えば、隠れ変数zaの分布として、一様分布(Unif(−1,1))ではなく、正規分布を用いることが可能であり、また、値の範囲を変更することも可能である。
また、
また、
また、
また、Eは期待値を表す。
また、属性「前髪」や属性「化粧」など、属性の有無に関わる隠れ変数に対応するスライドバー96に対する操作を受け付けた場合には、変更後属性値取得部56は、操作されたスライドバー96の位置に対して予め定められた、変更対象の属性を表す隠れ変数za’の変更後の値を取得する。
また、属性「男性/女性」や属性「笑顔でない/笑顔」など、属性の正負に関わる隠れ変数に対応するスライドバー96に対する操作を受け付けた場合には、変更後属性値取得部56は、操作されたスライドバー96の位置に対して予め定められた、変更対象の属性を表す隠れ変数za’の変更後の値を取得する。
次に、本発明の第1の実施の形態に係る信号検索装置100の作用について説明する。信号検索装置100は、以下に説明する学習処理ルーチンと検索処理ルーチンを実行する。
また、生成器2としてのニューラルネットワークGの学習の際に、近似分布Q(za’|x,y)を推定するニューラルネットワークを一緒に学習した場合は、この近似分布を推定するニューラルネットワークを用いて、属性を表す隠れ変数za’を推定するようにし、エンコーダ1としてのニューラルネットワークEは、個体性を表す隠れ変数ziだけを推定するようにしてもよい。
また、エンコーダ1としてのニューラルネットワークEを使わずに、生成器2としてのニューラルネットワークGに任意の個体性を表す隠れ変数ziを入力し、生成器2としてのニューラルネットワークGの出力が目的画像xに近づくように勾配法で個体性を表す隠れ変数ziを更新していくことで、最適な個体性を表す隠れ変数ziを求めるようにしてもよい。また、エンコーダ1としてのニューラルネットワークEで、属性を表す隠れ変数za’と個体性を表す隠れ変数ziを求めた後、これらを初期値にして、生成器2としてのニューラルネットワークGに個体性を表す隠れ変数ziを入力し、生成器2としてのニューラルネットワークGの出力が目的画像xに近づくように勾配法で個体性を表す隠れ変数ziを更新していくことで、最適な個体性を表す隠れ変数ziを求めるようにしてもよい。また、エンコーダ1としてのニューラルネットワークE、または、予測器としてのニューラルネットワークを生成器2としてのニューラルネットワークGおよび識別器3としてのニューラルネットワークDと一緒に学習しても良い。
次に、本発明の第2の実施の形態における概要を説明する。
本発明の第2の実施の形態に係る信号検索装置100において、入力部10は、学習データとして、複数の画像データxを受け付ける。また、入力部10は、検索対象となる複数の蓄積画像データと、検索のための変更対象となる画像データxを受け付ける。
また、上記の第2の実施の形態では、各属性を表す隠れ変数c3’同士を比較して、類似する蓄積画像データを検索する場合を例に説明した。しかし、比較の対象は、これに限定されるものではない。例えば、更に、各属性を表す隠れ変数c2’同士を比較して、類似する蓄積画像データを検索すると共に、各属性を表す隠れ変数c1同士を比較して、類似する蓄積画像データを検索することにより、各階層で類似する蓄積画像データを検索するようにしてもよい。また、更に、個体性を表す隠れ変数zi(z1、z2、z3)同士を比較して、類似する蓄積画像データを検索したり、画像データ同士を比較して、類似する蓄積画像データを検索したりするようにしてもよい。
また、上述した実施の形態では、識別器、生成器、予測器、及び近似分布としてのニューラルネットワークとして、CNNを用いる場合を例に説明した。しかし、ニューラルネットワークの構造は、これに限定されるものではなく、他のニューラルネットワーク構造を用いてもよい。例えば、時系列性を考慮したモデルであるRNN(Recurrent Neural Network、例えばLSTM(Long short-term memory)など)やFully Connectedなどを用いてもよい。
また、エンコーダとしてのニューラルネットワークを使わずに、生成器としてのニューラルネットワークに任意の個体性を表す隠れ変数zi(z1、z2、z3)を入力し、出力が目的画像xに近づくように勾配法で個体性を表す隠れ変数zi(z1、z2、z3)を更新していくことで、最適な個体性を表す隠れ変数zi(z1、z2、z3)を求めるようにしてもよい。また、予測器としてのニューラルネットワークで属性を表す隠れ変数c1を求め、エンコーダとしてのニューラルネットワークで、属性を表す隠れ変数c2’、c3’と個体性を表す隠れ変数z1、z2、z3を求めた後、これらを初期値にして、生成器としてのニューラルネットワークに個体性を表す隠れ変数zi(z1、z2、z3)を入力し、出力が目的画像xに近づくように勾配法で個体性を表す隠れ変数zi(z1、z2、z3)を更新していくことで、最適な個体性を表す隠れ変数zi(z1、z2、z3)を求めるようにしてもよい。
また、エンコーダとしてのニューラルネットワークを用いて、個体性を表す隠れ変数zi(z1、z2、z3)と同時に、属性を表す隠れ変数c2、c3を推定する場合には、エンコーダとしてのニューラルネットワークは、推定された各属性を表す隠れ変数c2、c3と、予測された1層目の各属性を表す隠れ変数c1とに基づいて、各属性を表す隠れ変数c2’、c3’を求める。各属性を表す隠れ変数c3’は、以下のように得られる。
まず、2層目の各属性を表す隠れ変数c2’が、1層目の各属性を表す隠れ変数c1の値により、2層目の各属性を表す隠れ変数c2を変換することにより得られる。次に、3層目の各属性を表す隠れ変数c3’が、2層目の各属性を表す隠れ変数c2の変換結果c2’の値により、3層目の各属性を表す隠れ変数c3を変換することにより得られる。
また、エンコーダとしてのニューラルネットワーク、または、予測器としてのニューラルネットワークを生成器としてのニューラルネットワークおよび識別器としてのニューラルネットワークと一緒に学習してもよい。
各ニューラルネットワークの学習において、学習部30は、学習対象となる1つのニューラルネットワーク以外の他のニューラルネットワークのパラメータを固定して、学習対象のニューラルネットワークのパラメータを更新する。学習部30が有するニューラルネットワークそれぞれの学習は、第1及び第2の実施の形態において説明した学習と同様に、学習データごとに繰り返し行われる。
ニューラルネットワークQ1の学習を行う際、学習部30は、予め定められた初期値を設定した隠れ変数c2、c3と、あるデータ分布から生成される隠れ変数z3、c1とに基づいて、ニューラルネットワークQ1のパラメータを更新する。ニューラルネットワークQ2の学習を行う際、学習部30は、初期値を設定した隠れ変数c3と、あるデータ分布から生成される隠れ変数z3、c1、c2とに基づいて、ニューラルネットワークQ2のパラメータを更新する。ニューラルネットワークQ3の学習を行う際、学習部30は、あるデータ分布から生成される隠れ変数z3、c1、c2、c3に基づいて、ニューラルネットワークQ3のパラメータを更新する。
属性を表す隠れ変数c2、c3に設定する初期値は、例えば、隠れ変数c2、c3が取り得る値の期待値、平均値に基づいて決定される。あるいは、隠れ変数c2、c3に含まれる変数の数に基づいて初期値を決定してもよい。ニューラルネットワークG3、D3の学習は、第2の実施の形態において説明した学習と同様である。
信号検索装置は、生成した画像データに対して、既知の画像処理技術を適用してもよい。例えば、信号検索装置は、生成した画像に対して超解像処理や画質の補正を行ってもよい。
2 生成器
3 識別器
10 入力部
20 演算部
30 学習部
40 ニューラルネットワーク記憶部
42 予測部
44 変数抽出部
46 信号蓄積部
50 予測部
52 変数抽出部
53 信号出力部
54 信号属性値表示部
56 変更後属性値取得部
62 変更部
64 信号検索部
66 類似信号出力部
90 出力部
92 属性変更画面
94 ラジオボタン
96 スライドバー
98A 画像表示領域
100 信号検索装置
292 属性変更画面
294 ラジオボタン
298A、298B 音声表示領域
299 ボタン
392 属性変更画面
398A テキスト表示領域
492 属性変更画面
498A 動画表示領域
499 ボタン
E,D,G,Q1,Q2,Q3 ニューラルネットワーク
Claims (10)
- 取得された信号を出力する信号出力部と、
信号を蓄積する信号蓄積部と、
前記取得された信号が表現する対象を構成する要素、又は信号発生源に関する属性の値の変更指示を受付可能な状態で、前記属性の値を表示する信号属性値表示部と、
前記属性の値の前記変更指示を受け付けると、変更後の属性の値を取得する変更後属性値取得部と、
前記変更後属性値取得部によって取得された前記変更後の前記属性の値に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、前記信号蓄積部に蓄積された前記信号から検索する信号検索部と、
前記取得された信号から、前記信号の個体性を表す第1の隠れ変数と、前記信号の各属性を表す隠れ変数又は前記隠れ変数に基づく隠れ変数である、前記第1の隠れ変数とは独立した第2の隠れ変数と、を含む複数の隠れ変数をフィルタ関数を用いて抽出する変数抽出部と
を含み、
前記信号属性値表示部は、前記第2の隠れ変数を出力し、
前記変更後属性値取得部は、前記第2の隠れ変数を変換することにより変更後の各属性を表す第3の隠れ変数を取得し、
前記信号検索部は、前記信号を前記第3の隠れ変数に基づいて変更した信号に類似する信号を、前記信号蓄積部に蓄積された信号から検索し、
前記隠れ変数は、前記信号の各属性を表す隠れ変数が、2階層以上の隠れ変数へ階層的に変換される階層構造を有する
信号検索装置。 - 前記取得された信号、前記信号蓄積部に蓄積された前記信号、前記変更後の信号、および、前記変更後の信号に類似する前記信号の各々は、画像であり、
前記属性は、前記画像が表現する被写体を構成する要素に関する属性である
請求項1記載の信号検索装置。 - 前記信号属性値表示部は、前記属性の値の前記変更指示を受付可能な前記状態として、前記属性の値を示すコントローラで、前記属性の値を表示する
請求項1又は2記載の信号検索装置。 - 取得された信号を出力する信号出力部と、
信号を蓄積する信号蓄積部と、
前記取得された信号が表現する対象を構成する要素、又は信号発生源に関する属性の値を前記取得された信号から抽出する変数抽出部と、
前記取得された信号の前記属性の値の変更指示を受付可能な状態で、前記属性の値を表示する信号属性値表示部と、
前記属性の値の前記変更指示を受け付けると、変更後の属性の値を取得する変更後属性値取得部と、
前記変更後の前記属性の値と、前記信号蓄積部に蓄積された前記信号の各々について抽出された属性の値とに基づいて、前記変更後の前記属性の値に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、前記信号蓄積部に蓄積された前記信号から検索する信号検索部と、
を含み、
前記変数抽出部は、前記取得された信号から、前記信号の個体性を表す第1の隠れ変数と、前記信号の各属性を表す隠れ変数又は前記隠れ変数に基づく隠れ変数である、前記第1の隠れ変数とは独立した第2の隠れ変数と、を含む複数の隠れ変数をフィルタ関数を用いて抽出し、
前記信号属性値表示部は、前記第2の隠れ変数を出力し、
前記変更後属性値取得部は、前記第2の隠れ変数を変換することにより変更後の各属性を表す第3の隠れ変数を取得し、
前記信号検索部は、前記信号を前記第3の隠れ変数に基づいて変更した信号に類似する信号を、前記信号蓄積部に蓄積された信号から検索し、
前記隠れ変数は、前記信号の各属性を表す隠れ変数が、2階層以上の隠れ変数へ階層的に変換される階層構造を有する
信号検索装置。 - 前記信号検索部は、前記変更後の前記属性の値と、前記信号蓄積部に蓄積された前記信号の各々について抽出された前記属性の値とを比較して、前記変更後の信号に類似する前記信号を前記信号蓄積部に蓄積された前記信号から検索する
請求項4記載の信号検索装置。 - 前記変数抽出部は、予め学習されたニューラルネットワークを用いて、前記取得された信号から、隠れ変数を抽出し、前記隠れ変数は、前記属性を表す隠れ変数を含み、
前記変更後属性値取得部は、前記属性の値の前記変更指示を受け付けると、前記変更後の前記属性を表す隠れ変数を取得し、
前記信号検索部は、前記変更後の前記属性を表す前記隠れ変数と、前記信号蓄積部に蓄積された前記信号の各々について抽出された前記属性を表す隠れ変数とを比較して、前記変更後の前記属性を表す前記隠れ変数に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、前記信号蓄積部に蓄積された前記信号から検索する
請求項4又は5記載の信号検索装置。 - 前記変数抽出部によって抽出された各属性を表す第2の隠れ変数のうち、変更対象の属性を表す隠れ変数の値を、変更後属性値取得部によって取得された変更後の値で置き換えることにより、前記変更対象の属性を表す第2の隠れ変数の値を変更する変更部をさらに備え、
前記信号蓄積部は、蓄積された信号に関する第1の隠れ変数と第2の隠れ変数とを前記蓄積された信号とともに記憶しており、
前記信号検索部は、前記第3の隠れ変数と、前記蓄積された信号に関する第2の隠れ変数とを比較することにより、前記信号蓄積部に蓄積されている前記第2の隠れ変数のうち前記第3の隠れ変数に最も類似する隠れ変数に対応する前記信号を検索する、
請求項4〜6の何れか1項記載の信号検索装置。 - コンピュータを、請求項1〜請求項7の何れか1項記載の信号検索装置を構成する各部として機能させるためのプログラム。
- 信号出力部が、取得された信号を出力し、
信号属性値表示部が、前記取得された信号が表現する対象を構成する要素、又は信号発生源に関する属性の値の変更指示を受付可能な状態で、前記属性の値を表示し、
変更後属性値取得部が、前記属性の値の前記変更指示を受け付けると、変更後の属性の値を取得し、
信号検索部が、前記変更後属性値取得部によって取得された前記変更後の前記属性の値に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、信号を蓄積した信号蓄積部から検索し、
変数抽出部が、前記取得された信号から、前記信号の個体性を表す第1の隠れ変数と、前記信号の各属性を表す隠れ変数又は前記隠れ変数に基づく隠れ変数である、前記第1の隠れ変数とは独立した第2の隠れ変数と、を含む複数の隠れ変数をフィルタ関数を用いて抽出し、
前記信号属性値表示部が、前記第2の隠れ変数を出力し、
前記変更後属性値取得部が、前記第2の隠れ変数を変換することにより変更後の各属性を表す第3の隠れ変数を取得し、
前記信号検索部が、前記信号を前記第3の隠れ変数に基づいて変更した信号に類似する信号を、前記信号蓄積部に蓄積された信号から検索し、
前記隠れ変数は、前記信号の各属性を表す隠れ変数が、2階層以上の隠れ変数へ階層的に変換される階層構造を有する
信号検索方法。 - 信号出力部が、取得された信号を出力し、
変数抽出部が、前記取得された信号が表現する対象を構成する要素、又は信号発生源に関する属性の値を前記取得された信号から抽出し、
信号属性値表示部が、前記取得された信号の前記属性の値の変更指示を受付可能な状態で、前記属性の値を表示し、
変更後属性値取得部が、前記属性の値の前記変更指示を受け付けると、変更後の属性の値を取得し、
信号検索部が、前記変更後の前記属性の値と、信号蓄積部に蓄積された信号の各々について抽出された属性の値とに基づいて、前記変更後の前記属性の値に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、前記信号蓄積部に蓄積された前記信号から検索し、
前記変数抽出部が、前記取得された信号から、前記信号の個体性を表す第1の隠れ変数と、前記信号の各属性を表す隠れ変数又は前記隠れ変数に基づく隠れ変数である、前記第1の隠れ変数とは独立した第2の隠れ変数と、を含む複数の隠れ変数をフィルタ関数を用いて抽出し、
前記信号属性値表示部が、前記第2の隠れ変数を出力し、
前記変更後属性値取得部が、前記第2の隠れ変数を変換することにより変更後の各属性を表す第3の隠れ変数を取得し、
前記信号検索部が、前記信号を前記第3の隠れ変数に基づいて変更した信号に類似する信号を、前記信号蓄積部に蓄積された信号から検索し、
前記隠れ変数は、前記信号の各属性を表す隠れ変数が、2階層以上の隠れ変数へ階層的に変換される階層構造を有する
信号検索方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017091735 | 2017-05-02 | ||
JP2017091735 | 2017-05-02 | ||
PCT/JP2018/017430 WO2018203555A1 (ja) | 2017-05-02 | 2018-05-01 | 信号検索装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018203555A1 JPWO2018203555A1 (ja) | 2019-12-19 |
JP6831453B2 true JP6831453B2 (ja) | 2021-02-17 |
Family
ID=64016106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019515738A Active JP6831453B2 (ja) | 2017-05-02 | 2018-05-01 | 信号検索装置、方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11335118B2 (ja) |
JP (1) | JP6831453B2 (ja) |
WO (1) | WO2018203555A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6831453B2 (ja) * | 2017-05-02 | 2021-02-17 | 日本電信電話株式会社 | 信号検索装置、方法、及びプログラム |
JP7023669B2 (ja) * | 2017-10-26 | 2022-02-22 | 株式会社Preferred Networks | 画像生成方法、画像生成装置、及び画像生成プログラム |
US11797864B2 (en) * | 2018-06-18 | 2023-10-24 | Fotonation Limited | Systems and methods for conditional generative models |
US11663441B2 (en) | 2018-09-27 | 2023-05-30 | Deepmind Technologies Limited | Action selection neural network training using imitation learning in latent space |
US11055514B1 (en) * | 2018-12-14 | 2021-07-06 | Snap Inc. | Image face manipulation |
US11157763B2 (en) * | 2020-02-07 | 2021-10-26 | Wipro Limited | System and method for identifying target sections within images |
US11301724B2 (en) * | 2020-04-30 | 2022-04-12 | Robert Bosch Gmbh | Semantic adversarial generation based function testing method in autonomous driving |
US20230306055A1 (en) * | 2020-10-29 | 2023-09-28 | Nec Corporation | Search device, search method, and recording medium |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002183205A (ja) * | 2000-12-11 | 2002-06-28 | Minolta Co Ltd | データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置 |
US7039222B2 (en) * | 2003-02-28 | 2006-05-02 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
US8620038B2 (en) * | 2006-05-05 | 2013-12-31 | Parham Aarabi | Method, system and computer program product for automatic and semi-automatic modification of digital images of faces |
US7684651B2 (en) * | 2006-08-23 | 2010-03-23 | Microsoft Corporation | Image-based face search |
US11074495B2 (en) * | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
US20140153832A1 (en) * | 2012-12-04 | 2014-06-05 | Vivek Kwatra | Facial expression editing in images based on collections of images |
CN107408401B (zh) * | 2015-03-27 | 2020-07-03 | 谷歌有限责任公司 | 用于图像的简化调整的用户滑块 |
JP6733672B2 (ja) * | 2015-07-21 | 2020-08-05 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP6548998B2 (ja) * | 2015-09-07 | 2019-07-24 | 株式会社東芝 | 人物検索システムおよび人物検索方法 |
WO2018008138A1 (ja) * | 2016-07-08 | 2018-01-11 | 株式会社オプティム | 化粧品情報提供システム、化粧品情報提供装置、化粧品情報提供方法、及びプログラム |
US10824942B1 (en) * | 2017-04-10 | 2020-11-03 | A9.Com, Inc. | Visual similarity and attribute manipulation using deep neural networks |
JP6831453B2 (ja) * | 2017-05-02 | 2021-02-17 | 日本電信電話株式会社 | 信号検索装置、方法、及びプログラム |
JP6908863B2 (ja) * | 2017-05-02 | 2021-07-28 | 日本電信電話株式会社 | 信号変更装置、方法、及びプログラム |
US10891509B2 (en) * | 2017-10-27 | 2021-01-12 | Avigilon Corporation | Method and system for facilitating identification of an object-of-interest |
EP3769267B1 (en) * | 2018-03-23 | 2024-04-24 | Motorola Solutions, Inc. | Method and system for interfacing with a user to facilitate an image search for an object-of-interest |
WO2019209431A1 (en) * | 2018-04-23 | 2019-10-31 | Magic Leap, Inc. | Avatar facial expression representation in multidimensional space |
JP7080212B2 (ja) * | 2019-12-27 | 2022-06-03 | グリー株式会社 | コンピュータプログラム、サーバ装置及び方法 |
-
2018
- 2018-05-01 JP JP2019515738A patent/JP6831453B2/ja active Active
- 2018-05-01 WO PCT/JP2018/017430 patent/WO2018203555A1/ja active Application Filing
- 2018-05-01 US US16/609,642 patent/US11335118B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2018203555A1 (ja) | 2019-12-19 |
US20200065560A1 (en) | 2020-02-27 |
US11335118B2 (en) | 2022-05-17 |
WO2018203555A1 (ja) | 2018-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6831453B2 (ja) | 信号検索装置、方法、及びプログラム | |
JP6908863B2 (ja) | 信号変更装置、方法、及びプログラム | |
CN107609572B (zh) | 基于神经网络和迁移学习的多模态情感识别方法、系统 | |
KR102252081B1 (ko) | 이미지 특성의 획득 | |
Fabius et al. | Variational recurrent auto-encoders | |
KR102601848B1 (ko) | 데이터 인식 모델 구축 장치 및 방법과 데이터 인식 장치 | |
CN112800998B (zh) | 融合注意力机制和dmcca的多模态情感识别方法及系统 | |
KR102517513B1 (ko) | 인공지능 기반 수목 데이터 관리 시스템 및 수목 데이터 관리 방법 | |
KR102281590B1 (ko) | 음성인식 성능 향상을 위한 비 지도 가중치 적용 학습 시스템 및 방법, 그리고 기록 매체 | |
CN112949647B (zh) | 三维场景描述方法、装置、电子设备和存储介质 | |
US20110060708A1 (en) | Information processing device, information processing method, and program | |
JP7078875B2 (ja) | 信号生成装置、信号生成学習装置、方法、及びプログラム | |
KR20200123544A (ko) | 동의어 추출 방법 | |
CN113297369B (zh) | 基于知识图谱子图检索的智能问答系统 | |
KR20200078214A (ko) | 스타일 변환을 위한 영상 처리 장치 및 방법 | |
KR20200052453A (ko) | 딥러닝 모델 학습 장치 및 방법 | |
CN111462762B (zh) | 一种说话人向量正则化方法、装置、电子设备和存储介质 | |
CN115564027A (zh) | 多模态学习行为分析方法、系统及存储介质 | |
JP6886120B2 (ja) | 信号検索装置、方法、及びプログラム | |
Devi et al. | Dive in Deep Learning: Computer Vision, Natural Language Processing, and Signal Processing | |
Gatto et al. | Discriminative singular spectrum classifier with applications on bioacoustic signal recognition | |
KR20220006990A (ko) | 뉴럴 네트워크의 온라인 학습을 위한 저장소 관리 장치 및 방법 | |
Elibol et al. | Semi-supervised and population based training for voice commands recognition | |
KR102337678B1 (ko) | 그래프 유사 여부를 분석하기 위하여 기계학습을 이용한 전자 장치 및 그 제어 방법 | |
CN117668701B (zh) | Ai人工智能机器学习系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190806 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6831453 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |