JP6678246B2 - 大域的最適化に基づく意味的セグメント化 - Google Patents
大域的最適化に基づく意味的セグメント化 Download PDFInfo
- Publication number
- JP6678246B2 JP6678246B2 JP2018540811A JP2018540811A JP6678246B2 JP 6678246 B2 JP6678246 B2 JP 6678246B2 JP 2018540811 A JP2018540811 A JP 2018540811A JP 2018540811 A JP2018540811 A JP 2018540811A JP 6678246 B2 JP6678246 B2 JP 6678246B2
- Authority
- JP
- Japan
- Prior art keywords
- segmentation
- score
- final
- unit
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Description
本願は、2016年2月4日出願の米国特許第62/291,076号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
意味的セグメント化は、入って来るデータを、たとえばグラフィックイメージの形で受け取り、そのデータを論理セグメントに分割しようとするものである。イメージを処理する場合、セグメント化される出力は、たとえば人、道路、樹木、またはその他の独特のイメージ特徴を表すピクセルを共にグループ化してもよい。
本発明の実施形態は、イメージ特徴を識別するために畳み込みニューラルネットワーク(CNN)を使用し、さらにセグメント化出力における平滑さを保証するために変分反応拡散(VRD)を使用する、イメージセグメント化を提供する。VRDは、CNNのトレーニング期間に、CNNにおける重みを調整するために使用してよい逆伝搬導関数を生成するためにも使用される。本明細書に記載されているVRDプロセスは、ピクセル数におけるN log N時間(N log N time)で正確な推定および損失導関数を提供する。
Claims (28)
- ニューラルネットワークが、各ユニットに複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、入力データセットの各ユニットについて初期セグメント化スコアを決定することと、
セグメント化モジュールが、平滑さ基準を強調することによって、前記入力データセットの各ユニットについて最終セグメント化スコアを決定することと、
前記セグメント化モジュールが、前記最終セグメント化スコアに従って、前記入力データセットをセグメント化することと、
を含む、データセグメント化のための方法であって、
前記最終セグメント化スコアを決定することは、変分反応拡散(VRD)を適用することを含み、
前記VRDを適用することは、前記初期セグメント化スコアおよび正定値パラメータ行列に基づいて、最適化問題を解決することを含み、
前記最適化問題は、
- 前記最適化問題を解決することは、偏微分方程式のシステムを解決することを含む、請求項1に記載の方法。
- 前記最終セグメント化スコアおよびエラー信号を使用して前記ニューラルネットワークをトレーニングするために、情報を逆伝搬することをさらに含む、請求項1に記載の方法。
- 情報を逆伝搬することは、前記正定値パラメータ行列に関して前記エラー信号の導関数を決定することを含む、請求項4に記載の方法。
- 前記入力データセットはイメージであり、前記入力データセットの各ユニットは前記イメージ内のピクセルである、請求項1に記載の方法。
- 各ユニットに複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、入力データセットの各ユニットについて初期セグメント化スコアを決定するように構成された、ニューラルネットワークと、
平滑さ基準を強調することによって前記入力データセットの各ユニットについて最終セグメント化スコアを決定し、前記最終セグメント化スコアに従って前記入力データセットをセグメント化するように構成されたセグメント化モジュールと、
を有する、データセグメント化のためのシステムであって、
前記セグメント化モジュールは、前記最終セグメント化スコアを決定するために変分反応拡散(VRD)を適用し、前記初期セグメント化スコアおよび正定値パラメータ行列に基づいて最適化問題を解決するようにさらに構成され、
前記最適化問題は、
- 前記セグメント化モジュールは、前記最適化問題を解決するために、偏微分方程式のシステムを解決するようにさらに構成される、請求項7に記載のシステム。
- 前記ニューラルネットワークは、前記最終セグメント化スコアおよびエラー信号を使用して前記ニューラルネットワークをトレーニングするために、情報を逆伝搬するようにさらに構成される、請求項7に記載のシステム。
- 前記ニューラルネットワークは、前記正定値パラメータ行列に関して前記エラー信号の導関数を決定するようにさらに構成される、請求項10に記載のシステム。
- 前記入力データセットはイメージであり、前記入力データセットの各ユニットは前記イメージ内のピクセルである、請求項7に記載のシステム。
- ビデオフィードを監視するための方法であって、
1つまたは複数のカメラが、個々のイメージを有する入力データセットを生成するために、監視される領域を表す入力データをキャプチャすることと、
ニューラルネットワークが、各イメージに複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、前記入力データの各イメージについて初期セグメント化スコアを決定することと、
セグメント化モジュールが、平滑さ基準を強調することによって、前記入力データセットの各イメージについて最終セグメント化スコアを決定することと、
前記セグメント化モジュールが、前記最終セグメント化スコアに従って、前記入力データセットをセグメント化することと、
警報モジュールが、前記セグメント化された入力データセットに基づいて、警報条件に合致するかどうかを決定することと、
前記警報条件に合致する場合に、前記警報モジュールが、警報を生成することと、
を含み、
前記最終セグメント化スコアを決定することは、変分反応拡散(VRD)を適用することを含み、
前記VRDを適用することは、前記初期セグメント化スコアおよび正定値パラメータ行列に基づいて、最適化問題を解決することを含み、
前記最適化問題は、
- 前記最適化問題を解決することは、偏微分方程式のシステムを解決することを含む、請求項13に記載の方法。
- 前記最終セグメント化スコアおよびエラー信号を使用して前記ニューラルネットワークをトレーニングするために、情報を逆伝搬することをさらに有する、請求項13に記載の方法。
- 情報を逆伝搬することは、前記正定値パラメータ行列に関して前記エラー信号の導関数を決定することを有する、請求項16に記載の方法。
- 前記警報条件は、しきい値を超える前記複数のセグメント化クラスのうちの所定の1つについての最終セグメント化スコアと、しきい値を超える前記最終セグメント化スコアにおける変化とのセットから選択される、条件を有する、請求項13に記載の方法。
- 個々のイメージを有する入力データセットを生成するように構成された、1つまたは複数のカメラと、
各イメージに複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、入力データセットの各イメージについて初期セグメント化スコアを決定するように構成された、ニューラルネットワークと、
平滑さ基準を強調することによって前記入力データセットの各イメージについて最終セグメント化スコアを決定し、前記最終セグメント化スコアに従って前記入力データセットをセグメント化するように構成された、セグメント化モジュールと、
前記セグメント化された入力データセットに基づいて、警報条件に合致するかどうかを決定し、前記警報条件に合致する場合に、警報を生成するように構成された、警報モジュールと、を有し、
前記セグメント化モジュールは、前記最終セグメント化スコアを決定するために変分反応拡散(VRD)を適用し、前記初期セグメント化スコアおよび正定値パラメータ行列に基づいて最適化問題を解決するようにさらに構成され、
前記最適化問題は、
- 前記セグメント化モジュールは、前記最適化問題を解決するために、偏微分方程式のシステムを解決するようにさらに構成される、請求項19に記載のシステム。
- 前記ニューラルネットワークは、前記最終セグメント化スコアおよびエラー信号を使用して前記ニューラルネットワークをトレーニングするために、情報を逆伝搬するようにさらに構成される、請求項19に記載のシステム。
- 前記ニューラルネットワークは、前記正定値パラメータ行列に関して前記エラー信号の導関数を決定するようにさらに構成される、請求項22に記載のシステム。
- 前記警報条件は、しきい値を超える前記複数のセグメント化クラスのうちの所定の1つについての最終セグメント化スコアと、しきい値を超える前記最終セグメント化スコアにおける変化とのセットから選択された条件を有する、請求項19に記載のシステム。
- ニューラルネットワークが、各ユニットに複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、入力データセットの各ユニットについて初期セグメント化スコアを決定することと、
セグメント化モジュールが、平滑さ基準を強調することによって、前記入力データセットの各ユニットについて最終セグメント化スコアを決定することと、
前記セグメント化モジュールが、前記最終セグメント化スコアに従って、前記入力データセットをセグメント化することと、
を含む、データセグメント化のための方法であって、
前記最終セグメント化スコアを決定することは、変分反応拡散(VRD)を適用することを含み、
前記VRDを適用することは、前記初期セグメント化スコアおよび正定値パラメータ行列に基づいて、最適化問題を解決することを含み、
前記最適化問題を解決することは、偏微分方程式のシステムを解決することを含み、
前記偏微分方程式のシステムは、
- 各ユニットに複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、入力データセットの各ユニットについて初期セグメント化スコアを決定するように構成された、ニューラルネットワークと、
平滑さ基準を強調することによって前記入力データセットの各ユニットについて最終セグメント化スコアを決定し、前記最終セグメント化スコアに従って前記入力データセットをセグメント化するように構成されたセグメント化モジュールと、
を有する、データセグメント化のためのシステムであって、
前記セグメント化モジュールは、前記最終セグメント化スコアを決定するために変分反応拡散(VRD)を適用し、前記初期セグメント化スコアおよび正定値パラメータ行列に基づいて最適化問題を解決するようにさらに構成され、
前記セグメント化モジュールは、前記最適化問題を解決するために、偏微分方程式のシステムを解決するようにさらに構成され、
前記偏微分方程式のシステムは、
- ビデオフィードを監視するための方法であって、
1つまたは複数のカメラが、個々のイメージを有する入力データセットを生成するために、監視される領域を表す入力データをキャプチャすることと、
ニューラルネットワークが、各イメージに複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、前記入力データの各イメージについて初期セグメント化スコアを決定することと、
セグメント化モジュールが、平滑さ基準を強調することによって、前記入力データセットの各イメージについて最終セグメント化スコアを決定することと、
前記セグメント化モジュールが、前記最終セグメント化スコアに従って、前記入力データセットをセグメント化することと、
警報モジュールが、前記セグメント化された入力データセットに基づいて、警報条件に合致するかどうかを決定することと、
前記警報条件に合致する場合に、前記警報モジュールが、警報を生成することと、を含み、
前記最終セグメント化スコアを決定することは、変分反応拡散(VRD)を適用することを含み、
前記VRDを適用することは、前記初期セグメント化スコアおよび正定値パラメータ行列に基づいて、最適化問題を解決することを含み、
前記最適化問題を解決することは、偏微分方程式のシステムを解決することを含み、
前記偏微分方程式のシステムは、
- 個々のイメージを有する入力データセットを生成するように構成された、1つまたは複数のカメラと、
各イメージに複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、入力データセットの各イメージについて初期セグメント化スコアを決定するように構成された、ニューラルネットワークと、
平滑さ基準を強調することによって前記入力データセットの各イメージについて最終セグメント化スコアを決定し、前記最終セグメント化スコアに従って前記入力データセットをセグメント化するように構成された、セグメント化モジュールと、
前記セグメント化された入力データセットに基づいて、警報条件に合致するかどうかを決定し、前記警報条件に合致する場合に、警報を生成するように構成された、警報モジュールと、を有し、
前記セグメント化モジュールは、前記最終セグメント化スコアを決定するために変分反応拡散(VRD)を適用し、前記初期セグメント化スコアおよび正定値パラメータ行列に基づいて最適化問題を解決するようにさらに構成され、
前記セグメント化モジュールは、前記最適化問題を解決するために、偏微分方程式のシステムを解決するようにさらに構成され、
前記偏微分方程式のシステムは、
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662291076P | 2016-02-04 | 2016-02-04 | |
US62/291,076 | 2016-02-04 | ||
US15/402,680 | 2017-01-10 | ||
US15/402,652 | 2017-01-10 | ||
US15/402,652 US10235758B2 (en) | 2016-02-04 | 2017-01-10 | Semantic segmentation based on global optimization |
US15/402,680 US10290106B2 (en) | 2016-02-04 | 2017-01-10 | Video monitoring using semantic segmentation based on global optimization |
PCT/US2017/013846 WO2017136137A1 (en) | 2016-02-04 | 2017-01-18 | Semantic segmentation based on global optimization |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019508805A JP2019508805A (ja) | 2019-03-28 |
JP6678246B2 true JP6678246B2 (ja) | 2020-04-08 |
Family
ID=59497782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018540811A Active JP6678246B2 (ja) | 2016-02-04 | 2017-01-18 | 大域的最適化に基づく意味的セグメント化 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10235758B2 (ja) |
JP (1) | JP6678246B2 (ja) |
DE (1) | DE112017000669T5 (ja) |
WO (1) | WO2017136137A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018106783A1 (en) * | 2016-12-06 | 2018-06-14 | Siemens Energy, Inc. | Weakly supervised anomaly detection and segmentation in images |
US10275820B2 (en) | 2017-01-31 | 2019-04-30 | Walmart Apollo, Llc | Systems and methods for utilizing a convolutional neural network architecture for visual product recommendations |
CN107610129B (zh) * | 2017-08-14 | 2020-04-03 | 四川大学 | 一种基于cnn的多模态鼻咽部肿瘤联合分割方法 |
CN107705334B (zh) * | 2017-08-25 | 2020-08-25 | 北京图森智途科技有限公司 | 一种摄像机异常检测方法及装置 |
CN107564032A (zh) * | 2017-09-01 | 2018-01-09 | 深圳市唯特视科技有限公司 | 一种基于外观网络的视频跟踪对象分割方法 |
CN107590813A (zh) * | 2017-10-27 | 2018-01-16 | 深圳市唯特视科技有限公司 | 一种基于深层交互式测地距离的图像分割方法 |
CN108319972B (zh) * | 2018-01-18 | 2021-11-02 | 南京师范大学 | 一种针对图像语义分割的端到端差异网络学习方法 |
CN109166141A (zh) * | 2018-08-10 | 2019-01-08 | Oppo广东移动通信有限公司 | 危险提醒方法、装置、存储介质及移动终端 |
CN109460744B (zh) * | 2018-11-26 | 2021-08-27 | 南京邮电大学 | 一种基于深度学习的视频监控系统 |
CN110705756B (zh) * | 2019-09-07 | 2023-05-12 | 创新奇智(重庆)科技有限公司 | 一种基于输入凸神经网络的电力能耗优化控制方法 |
CN111932529B (zh) * | 2020-09-10 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 一种图像分类分割方法、装置及系统 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001282728A (ja) * | 2000-03-30 | 2001-10-12 | Canon Inc | Wwwサーバにおけるクライアントデータ処理装置および方法並びに記憶媒体 |
US7308132B2 (en) * | 2003-07-18 | 2007-12-11 | Siemens Medical Solutions Usa, Inc. | Method for robust scale-space analysis of 3D local structures in medical images |
US20060159325A1 (en) * | 2005-01-18 | 2006-07-20 | Trestle Corporation | System and method for review in studies including toxicity and risk assessment studies |
CA2595248A1 (en) * | 2005-01-18 | 2006-07-27 | Trestle Corporation | System and method for creating variable quality images of a slide |
US20080072182A1 (en) * | 2006-09-19 | 2008-03-20 | The Regents Of The University Of California | Structured and parameterized model order reduction |
US9147129B2 (en) * | 2011-11-18 | 2015-09-29 | Honeywell International Inc. | Score fusion and training data recycling for video classification |
US8938413B2 (en) * | 2012-09-12 | 2015-01-20 | Numerica Corp. | Method and system for predicting a location of an object in a multi-dimensional space |
JP6214180B2 (ja) * | 2013-03-22 | 2017-10-18 | 株式会社メガチップス | 人物検出装置 |
WO2015054666A1 (en) * | 2013-10-10 | 2015-04-16 | Board Of Regents, The University Of Texas System | Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes |
US9665823B2 (en) * | 2013-12-06 | 2017-05-30 | International Business Machines Corporation | Method and system for joint training of hybrid neural networks for acoustic modeling in automatic speech recognition |
US10366342B2 (en) * | 2014-03-10 | 2019-07-30 | Fair Isaac Corporation | Generation of a boosted ensemble of segmented scorecard models |
US20170109584A1 (en) * | 2015-10-20 | 2017-04-20 | Microsoft Technology Licensing, Llc | Video Highlight Detection with Pairwise Deep Ranking |
-
2017
- 2017-01-10 US US15/402,652 patent/US10235758B2/en active Active
- 2017-01-10 US US15/402,680 patent/US10290106B2/en active Active
- 2017-01-18 WO PCT/US2017/013846 patent/WO2017136137A1/en active Application Filing
- 2017-01-18 DE DE112017000669.4T patent/DE112017000669T5/de active Pending
- 2017-01-18 JP JP2018540811A patent/JP6678246B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US10290106B2 (en) | 2019-05-14 |
JP2019508805A (ja) | 2019-03-28 |
US20170228873A1 (en) | 2017-08-10 |
US20170228617A1 (en) | 2017-08-10 |
WO2017136137A1 (en) | 2017-08-10 |
DE112017000669T5 (de) | 2018-11-29 |
US10235758B2 (en) | 2019-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6678246B2 (ja) | 大域的最適化に基づく意味的セグメント化 | |
US11170210B2 (en) | Gesture identification, control, and neural network training methods and apparatuses, and electronic devices | |
US20230367809A1 (en) | Systems and Methods for Geolocation Prediction | |
US11557085B2 (en) | Neural network processing for multi-object 3D modeling | |
US9111375B2 (en) | Evaluation of three-dimensional scenes using two-dimensional representations | |
WO2021093468A1 (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
JP6771645B2 (ja) | ドメイン分離ニューラルネットワーク | |
US11688105B2 (en) | Facial expression image processing method and apparatus | |
JP7286013B2 (ja) | ビデオコンテンツ認識方法、装置、プログラム及びコンピュータデバイス | |
KR20170000767A (ko) | 신경망, 신경망 학습 방법 및 이미지 신호 처리 튜닝 시스템 | |
CN108230346B (zh) | 用于分割图像语义特征的方法和装置、电子设备 | |
US11017296B2 (en) | Classifying time series image data | |
CA3193958A1 (en) | Processing images using self-attention based neural networks | |
JPWO2019220609A1 (ja) | 異常検出装置、異常検出方法及びプログラム | |
JP2022537542A (ja) | 動的な画像解像度評価 | |
US11443045B2 (en) | Methods and systems for explaining a decision process of a machine learning model | |
WO2018211602A1 (ja) | 学習装置、推定装置、学習方法及びプログラム | |
US11507836B1 (en) | Federated learning using local ground truth estimation | |
US11562467B2 (en) | Method and system for designing an optical filter | |
JP2023540933A (ja) | 多様な人分析のための勾配分割によるマルチタスク学習 | |
KR20220155882A (ko) | 뉴럴 네트워크를 이용하는 데이터 처리 방법 및 장치 | |
EP4105876A1 (en) | Method and apparatus with image enhancement | |
CA3091650C (en) | Method and system for designing an optical filter | |
EP4276759A1 (en) | Method and apparatus with object tracking | |
US20240169762A1 (en) | Methods for featureless gaze tracking in ecologically valid conditions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180803 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190814 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6678246 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |