JP6998959B2 - 神経生理学的信号を使用する反復分類のためのシステムと方法 - Google Patents
神経生理学的信号を使用する反復分類のためのシステムと方法 Download PDFInfo
- Publication number
- JP6998959B2 JP6998959B2 JP2019533183A JP2019533183A JP6998959B2 JP 6998959 B2 JP6998959 B2 JP 6998959B2 JP 2019533183 A JP2019533183 A JP 2019533183A JP 2019533183 A JP2019533183 A JP 2019533183A JP 6998959 B2 JP6998959 B2 JP 6998959B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- target
- neural network
- observer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 162
- 230000001537 neural effect Effects 0.000 title claims description 81
- 238000013528 artificial neural network Methods 0.000 claims description 86
- 238000012549 training Methods 0.000 claims description 50
- 230000000007 visual effect Effects 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 21
- 210000004556 brain Anatomy 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 10
- 230000000295 complement effect Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 230000008786 sensory perception of smell Effects 0.000 claims 1
- 238000000537 electroencephalography Methods 0.000 description 24
- 210000002569 neuron Anatomy 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 15
- 238000000513 principal component analysis Methods 0.000 description 14
- 238000005315 distribution function Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 238000004088 simulation Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000007477 logistic regression Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012880 independent component analysis Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000007177 brain activity Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000193 eyeblink Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012432 intermediate storage Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000035943 smell Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000001595 mastoid Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Biodiversity & Conservation Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
本出願は、2016年12月21日に出願された米国仮特許出願第62/437,065号の優先権の利益を主張し、その内容全体を参照により本明細書に援用する。
ここで、上記の記載と共に本発明を限定することなく説明する以下の実施例に参照する。
代表的な実践態様(Representative Implementation)
この例は、本実施形態の技術の代表的な実践態様を説明する。この実践態様は、本方法によってタイリングされる大きな入力画像の場合について、説明する。本明細書に記載された詳細情報を提供された当業者は、画像組の個々の画像の場合についても、この技術をどのように実践するかが分かるであろう。
コンピュータシミュレーション
このフレームワークへの入力画像は、図7に示された大きな空中画像であった。ターゲットは、人造の建物として定義した。入力画像には、合計101個のターゲットが含まれていた。
オートエンコーダを用いたマルチモーダルネットワークの動作性能
動作性能を、以下、被験者A及び被験者Bと呼ぶ2人の被験者が関与した12の相異なるRSVPセッション(各々の被験者につき6セッション)について、評価した。タスクは、人造のオブジェクトを検出することであった。以下の表1は、各々のセッションについての動作性能をまとめたものである。
Claims (15)
- 画像分類ニューラルネットワークをトレーニングする方法であって、
識別されるべきターゲットに関するアプリオリの知識を観察者に提供するステップであって、前記ターゲットは、第1の複数の画像の少なくとも1つの画像内にある、提供するステップと、
前記観察者の脳から神経生理学的信号を収集しながら、前記観察者に前記第1の複数の画像を視覚刺激として提示するステップと、
前記神経生理学的信号を処理して、前記第1の複数の画像のうちの少なくとも1つの画像における前記観察者による前記ターゲットの検出を示す神経生理学的事象を識別するステップと、
前記神経生理学的事象の前記識別に基づいて前記少なくとも1つの画像にラベル又はスコアを割り当て、前記少なくとも1つの画像を前記画像分類ニューラルネットワークに供給することによって、前記少なくとも1つの画像内の前記ターゲットを識別するように前記画像分類ニューラルネットワークをトレーニングするステップと、
前記トレーニング済み画像分類ニューラルネットワークをコンピュータ可読記憶媒体に記憶するステップと、
を備えた、前記方法。 - 前記トレーニング済み画像分類ニューラルネットワークを第2の複数の画像に適用して、そのうちで前記ターゲットによって占められていると疑われる候補画像を検出するステップであり、前記第2の複数の画像が前記第1の複数の画像の少なくとも1つの画像を含んでいる、該検出するステップと、
前記第2の複数の画像を再定義するステップであり、前記再定義済み第2の複数の画像のうちの少なくとも1つの画像が、前記トレーニング済み画像分類ニューラルネットワークによって検出された候補画像である、該再定義するステップと、
前記再定義済み第2の複数の画像のうちの少なくとも1つの画像について、前記提示と、前記神経生理学的信号の前記収集及び処理と、前記トレーニングとを繰り返すことによって、前記画像分類ニューラルネットワークを反復的にトレーニングするステップと、
を更に備えた、請求項1に記載の方法。 - 教師なしクラスタリングを前記第2の複数の画像に適用するステップと、前記教師なしクラスタリングに基づく前記第2の複数の画像から前記第1の複数の画像を選択するステップと、を更に備えた請求項2に記載の方法。
- 前記第2の複数の画像から第1の複数の画像をランダムに選択するステップを備えた、請求項2に記載の方法。
- 前記ターゲットを含む基準画像を受信するステップと、前記基準画像に応じて前記第2の複数の画像から第1の複数の画像を選択するステップと、を備えた、請求項2に記載の方法。
- 前記画像分類ニューラルネットワークが、前記神経生理学的信号を受信して処理するように構成された第1のニューラルサブネットワークと、前記第2の複数の画像を受信して処理するように構成された第2のニューラルサブネットワークと、前記第1のニューラルサブネットワーク及び前記第2のニューラルサブネットワークの両方からの出力を受信して組み合わせるニューラルネットワーク層を有する共有サブネットワークと、を備えている、請求項2~5のいずれか一項に記載の方法。
- 前記画像分類ニューラルネットワークが畳み込みニューラルネットワークであり、前記第1及び前記第2のニューラルサブネットワークの少なくとも一方が畳み込みニューラルサブネットワークである、請求項6に記載の方法。
- 前記画像分類ニューラルネットワークが、第1のスコアを出力する前記第1のニューラルサブネットワーク用の第1の個別出力層と、第2のスコアを出力する前記第2のニューラルサブネットワーク用の第2の個別出力層と、を備えており、前記方法が、前記第1のスコアと前記第2のスコアとを組み合わせて組み合わせ済みスコアにするステップと、前記組み合わせ済みスコアで前記画像をラベル付けするステップと、前記トレーニングの少なくとも1回の反復において前記ラベル付けのラベルを使用するステップと、を備えている、請求項6及び7のいずれか一項に記載の方法。
- 前記神経生理学的信号を用いて前記神経生理学的事象にスコアを付けるステップを更に備えており、前記トレーニングが少なくとも部分的に前記スコアに基づいている、請求項1~8のいずれか一項に記載の方法。
- 前記スコアを使用して、前記観察者によって観察される画像内のオブジェクトと前記ターゲットとの類似性のレベルを判定するステップを更に備えた、請求項9に記載の方法。
- 前記第1の複数の画像の前記提示の前に、前記ターゲットを表す刺激を前記観察者に提示するステップを更に備えており、前記刺激が、視覚刺激と、テキスト刺激と、聴覚刺激と、嗅覚刺激とで構成される群から選択される少なくとも1つの刺激を含んでいる、請求項1~9のいずれか一項に記載の方法。
- 前記第1の複数の画像の前記提示の前に、前記ターゲットに対して補完的である刺激を前記観察者に提示するステップを更に備えており、前記刺激が、視覚刺激と、テキスト刺激と、聴覚刺激と、嗅覚刺激とで構成される群から選択される少なくとも1つの刺激を含んでいる、請求項1~9のいずれか一項に記載の方法。
- 画像分類ニューラルネットワークをトレーニングするためのシステムであって、
観察者の脳から神経生理学的信号を収集するように構成された神経生理学的信号収集システムと、
前記神経生理学的信号収集システムと通信し、請求項1~12のいずれか一項に記載の方法を実行するように構成されたデータプロセッサと、
を備えた前記システム。 - 画像を分類する方法であって、
請求項1~12のいずれか一項に記載の方法を実行して画像分類ニューラルネットワークをトレーニングするステップと、
前記トレーニング済み画像分類ニューラルネットワークを前記画像に適用して、前記トレーニング済み画像分類ニューラルネットワークの出力層によって生成されたスコアに基づいて、前記画像内における前記ターゲットの存在を判定するステップと、
を備えた前記方法。 - 画像を分類する方法であって、
請求項1~12のいずれか一項に記載の方法を前記画像に適用するステップと、
前記トレーニング済み画像分類ニューラルネットワークを前記画像に適用して、前記画像がターゲットによって占められていると疑われるか否かを判定するステップと、
観察者の脳から神経生理学的信号を収集しながら、前記画像を前記観察者に視覚刺激として提示するステップと、
前記神経生理学的事象の前記識別に、少なくとも部分的に、基づいて、前記画像内における前記ターゲットの存在を判定するステップと、
を備えた前記方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662437065P | 2016-12-21 | 2016-12-21 | |
US62/437,065 | 2016-12-21 | ||
PCT/IB2017/058297 WO2018116248A1 (en) | 2016-12-21 | 2017-12-21 | System and method for iterative classification using neurophysiological signals |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020502683A JP2020502683A (ja) | 2020-01-23 |
JP2020502683A5 JP2020502683A5 (ja) | 2020-03-05 |
JP6998959B2 true JP6998959B2 (ja) | 2022-01-18 |
Family
ID=62626017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019533183A Active JP6998959B2 (ja) | 2016-12-21 | 2017-12-21 | 神経生理学的信号を使用する反復分類のためのシステムと方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11580409B2 (ja) |
EP (1) | EP3558102A4 (ja) |
JP (1) | JP6998959B2 (ja) |
CN (1) | CN110139597B (ja) |
CA (1) | CA3046939A1 (ja) |
IL (1) | IL267518B2 (ja) |
WO (1) | WO2018116248A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3558102A4 (en) | 2016-12-21 | 2020-07-22 | Innereye Ltd. | SYSTEM AND METHOD FOR REPEATED CLASSIFICATION USING NEUROPHYSIOLOGICAL SIGNALS |
US11586928B2 (en) * | 2018-03-09 | 2023-02-21 | Tata Consultancy Services Limited | Method and system for incorporating regression into stacked auto encoder (SAE) |
KR20200003444A (ko) * | 2018-07-02 | 2020-01-10 | 삼성전자주식회사 | 영상 모델 구축 장치 및 방법 |
GB2575852B (en) * | 2018-07-26 | 2021-06-09 | Advanced Risc Mach Ltd | Image processing |
US11158063B2 (en) * | 2018-07-30 | 2021-10-26 | Hewlett Packard Enterprise Development Lp | Objects and features neural network |
KR102608981B1 (ko) * | 2018-10-24 | 2023-12-01 | 한국전자통신연구원 | 향 시각화 시스템 및 방법 |
JP7103237B2 (ja) * | 2019-01-09 | 2022-07-20 | 株式会社明電舎 | 流量予測装置及び流量予測方法 |
US11715043B2 (en) * | 2019-03-01 | 2023-08-01 | Apple Inc. | Semantics preservation for machine learning models deployed as dependent on other machine learning models |
US10878298B2 (en) | 2019-03-06 | 2020-12-29 | Adobe Inc. | Tag-based font recognition by utilizing an implicit font classification attention neural network |
US10803231B1 (en) | 2019-03-29 | 2020-10-13 | Adobe Inc. | Performing tag-based font retrieval using combined font tag recognition and tag-based font retrieval neural networks |
US10984560B1 (en) * | 2019-03-29 | 2021-04-20 | Amazon Technologies, Inc. | Computer vision using learnt lossy image compression representations |
CN110084309B (zh) * | 2019-04-30 | 2022-06-21 | 北京市商汤科技开发有限公司 | 特征图放大方法、装置和设备及计算机可读存储介质 |
US11361189B2 (en) * | 2019-12-03 | 2022-06-14 | Ping An Technology (Shenzhen) Co., Ltd. | Image generation method and computing device |
CN111338482B (zh) * | 2020-03-04 | 2023-04-25 | 太原理工大学 | 一种基于监督自编码的脑控字符拼写识别方法及系统 |
CN111783942B (zh) * | 2020-06-08 | 2023-08-01 | 北京航天自动控制研究所 | 一种基于卷积循环神经网络的脑认知过程模拟方法 |
CN112800971A (zh) * | 2021-01-29 | 2021-05-14 | 深圳市商汤科技有限公司 | 神经网络训练及点云数据处理方法、装置、设备和介质 |
CN113116306A (zh) * | 2021-04-21 | 2021-07-16 | 复旦大学 | 一种基于听觉诱发脑电信号分析的意识障碍辅助诊断系统 |
CN113095297B (zh) * | 2021-05-11 | 2022-07-15 | 昆明理工大学 | 一种基于一维投影跟踪眼动速率的疲劳检测方法 |
CN113995423B (zh) * | 2021-06-21 | 2022-12-02 | 西安电子科技大学 | 基于相位保持网络的连续快速视觉演示脑电信号分类方法 |
EP4300265A1 (en) * | 2022-06-29 | 2024-01-03 | Copysan Communicaciones, SL | Method, system and computer programs for the automatic labeling of images for defect detection |
CN116383600A (zh) * | 2023-03-16 | 2023-07-04 | 上海外国语大学 | 一种单试次脑电波信号分析方法和系统 |
CN117056831A (zh) * | 2023-10-13 | 2023-11-14 | 南京龙垣信息科技有限公司 | 基于卷积神经网络的内心独白识别方法 |
CN117494061A (zh) * | 2024-01-03 | 2024-02-02 | 中国科学院自动化研究所 | 用户兴趣挖掘方法、装置、电子设备及介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016193979A1 (en) | 2015-06-03 | 2016-12-08 | Innereye Ltd. | Image classification by brain computer interface |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5513649A (en) | 1994-03-22 | 1996-05-07 | Sam Technology, Inc. | Adaptive interference canceler for EEG movement and eye artifacts |
US6278961B1 (en) * | 1997-07-02 | 2001-08-21 | Nonlinear Solutions, Inc. | Signal and pattern detection or classification by estimation of continuous dynamical models |
WO2005101298A2 (en) * | 2004-04-14 | 2005-10-27 | Imperial Innovations Limited | Estimation of within-class matrix in image classification |
US8374687B2 (en) | 2006-01-21 | 2013-02-12 | Honeywell International Inc. | Rapid serial visual presentation triage prioritization based on user state assessment |
US8244475B2 (en) * | 2007-12-27 | 2012-08-14 | Teledyne Scientific & Imaging, Llc | Coupling human neural response with computer pattern analysis for single-event detection of significant brain responses for task-relevant stimuli |
JP5544620B2 (ja) * | 2010-09-01 | 2014-07-09 | 独立行政法人産業技術総合研究所 | 意思伝達支援装置及び方法 |
US9111125B2 (en) * | 2013-02-08 | 2015-08-18 | Apple Inc. | Fingerprint imaging and quality characterization |
US20160103487A1 (en) * | 2013-03-15 | 2016-04-14 | Glen J. Anderson | Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals |
CA2909017C (en) | 2013-04-14 | 2022-10-18 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Classifying eeg signals in response to visual stimulus |
TWI508702B (zh) | 2013-07-10 | 2015-11-21 | Univ Nat Chiao Tung | 即時多通道自動眼動雜訊去除器 |
US9436279B2 (en) * | 2014-03-31 | 2016-09-06 | Rovi Guides, Inc. | Systems and methods for controlling user devices based on brain activity |
EP3149662A4 (en) * | 2014-05-30 | 2018-05-23 | The Regents of The University of Michigan | Brain-computer interface for facilitating direct selection of multiple-choice answers and the identification of state changes |
US11071501B2 (en) * | 2015-08-14 | 2021-07-27 | Elucid Bioiwaging Inc. | Quantitative imaging for determining time to adverse event (TTE) |
US10413724B2 (en) * | 2015-10-23 | 2019-09-17 | Hrl Laboratories, Llc | Method for low latency automated closed-loop synchronization of neurostimulation interventions to neurophysiological activity |
CN105868712A (zh) * | 2016-03-28 | 2016-08-17 | 中国人民解放军信息工程大学 | 基于后验概率模型的脑电与机器视觉目标图像检索方法 |
EP3558102A4 (en) | 2016-12-21 | 2020-07-22 | Innereye Ltd. | SYSTEM AND METHOD FOR REPEATED CLASSIFICATION USING NEUROPHYSIOLOGICAL SIGNALS |
US20190035113A1 (en) * | 2017-07-27 | 2019-01-31 | Nvidia Corporation | Temporally stable data reconstruction with an external recurrent neural network |
US11154251B2 (en) * | 2018-02-10 | 2021-10-26 | The Governing Council Of The University Of Toronto | System and method for classifying time series data for state identification |
EP3674999A1 (en) * | 2018-12-27 | 2020-07-01 | Bull SAS | Method of classification of images among different classes |
EP3674994A1 (en) * | 2018-12-27 | 2020-07-01 | Bull SAS | Method of blocking or passing messages sent via a firewall based on parsing of symbols strings contained in messages among different keywords |
US11423118B2 (en) * | 2019-01-07 | 2022-08-23 | Massachusetts Institute Of Technology | Model agnostic time series analysis via matrix estimation |
US11481578B2 (en) * | 2019-02-22 | 2022-10-25 | Neuropace, Inc. | Systems and methods for labeling large datasets of physiological records based on unsupervised machine learning |
US11562278B2 (en) * | 2019-05-16 | 2023-01-24 | Siemens Aktiengesellschaft | Quantum machine learning algorithm for knowledge graphs |
CA3174390A1 (en) * | 2020-04-03 | 2021-10-07 | Aifred Health | Systems and methods for treatment selection |
US11468288B2 (en) * | 2020-07-28 | 2022-10-11 | Oken Technologies, Inc. | Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data |
US20220122250A1 (en) * | 2020-10-19 | 2022-04-21 | Northwestern University | Brain feature prediction using geometric deep learning on graph representations of medical image data |
-
2017
- 2017-12-21 EP EP17883157.4A patent/EP3558102A4/en active Pending
- 2017-12-21 CN CN201780081627.6A patent/CN110139597B/zh active Active
- 2017-12-21 JP JP2019533183A patent/JP6998959B2/ja active Active
- 2017-12-21 WO PCT/IB2017/058297 patent/WO2018116248A1/en unknown
- 2017-12-21 US US16/471,587 patent/US11580409B2/en active Active
- 2017-12-21 CA CA3046939A patent/CA3046939A1/en active Pending
- 2017-12-21 IL IL267518A patent/IL267518B2/en unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016193979A1 (en) | 2015-06-03 | 2016-12-08 | Innereye Ltd. | Image classification by brain computer interface |
Also Published As
Publication number | Publication date |
---|---|
CN110139597B (zh) | 2022-12-30 |
IL267518B1 (en) | 2023-12-01 |
CA3046939A1 (en) | 2018-06-28 |
CN110139597A (zh) | 2019-08-16 |
US20200193299A1 (en) | 2020-06-18 |
IL267518A (en) | 2019-08-29 |
WO2018116248A1 (en) | 2018-06-28 |
US11580409B2 (en) | 2023-02-14 |
IL267518B2 (en) | 2024-04-01 |
EP3558102A1 (en) | 2019-10-30 |
EP3558102A4 (en) | 2020-07-22 |
US20230185377A1 (en) | 2023-06-15 |
JP2020502683A (ja) | 2020-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6998959B2 (ja) | 神経生理学的信号を使用する反復分類のためのシステムと方法 | |
JP6959419B2 (ja) | ブレインコンピュータインタフェースによる画像の分類 | |
Tirupattur et al. | Thoughtviz: Visualizing human thoughts using generative adversarial network | |
EP2986203B1 (en) | Classifying eeg signals in response to visual stimulus | |
Shimpi et al. | A machine learning approach for the classification of cardiac arrhythmia | |
Cecotti et al. | Best practice for single-trial detection of event-related potentials: Application to brain-computer interfaces | |
Ko et al. | Semi-supervised deep adversarial learning for brain-computer interface | |
CN115272295A (zh) | 基于时域-空域联合状态的动态脑功能网络分析方法及系统 | |
Fan et al. | DC-tCNN: A deep model for EEG-based detection of dim targets | |
IL300879A (en) | A method and system for quantifying attention | |
CN113627391A (zh) | 一种考虑个体差异的跨模式脑电信号识别方法 | |
CN113011340B (zh) | 一种基于视网膜图像的心血管手术指标风险分类方法及系统 | |
US12001607B2 (en) | System and method for iterative classification using neurophysiological signals | |
Abdullah et al. | Assessment and Evaluation of cancer CT images using deep learning Techniques | |
Sharifi et al. | Autism Diagnosis from EEG Signals Using Machine Learning Algorithms and Convolutional Neural Networks | |
Gadekallu et al. | Two-phase classification: ANN and A-SVM classifiers on motor imagery BCI | |
Remagnino et al. | Botanists’ Vision | |
Cheikh | Monitoring Neurological Disorder Patients via Deep Learning Based Facial Expressions Analysis | |
Romero et al. | A system for epileptic seizure focus detection based on EEG analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20191030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20191031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6998959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |