JP6960722B2 - 生成装置、生成方法、及び生成プログラム - Google Patents
生成装置、生成方法、及び生成プログラム Download PDFInfo
- Publication number
- JP6960722B2 JP6960722B2 JP2016106559A JP2016106559A JP6960722B2 JP 6960722 B2 JP6960722 B2 JP 6960722B2 JP 2016106559 A JP2016106559 A JP 2016106559A JP 2016106559 A JP2016106559 A JP 2016106559A JP 6960722 B2 JP6960722 B2 JP 6960722B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- intermediate images
- generation
- generation device
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 64
- 238000012545 processing Methods 0.000 claims description 67
- 239000002131 composite material Substances 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 38
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 21
- 230000002194 synthesizing effect Effects 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 31
- 239000000284 extract Substances 0.000 description 28
- 238000013527 convolutional neural network Methods 0.000 description 15
- 241000282693 Cercopithecidae Species 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 7
- 230000010365 information processing Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 101000821981 Homo sapiens Sarcoma antigen 1 Proteins 0.000 description 3
- 102100021466 Sarcoma antigen 1 Human genes 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 102100034323 Disintegrin and metalloproteinase domain-containing protein 2 Human genes 0.000 description 1
- 101100444028 Drosophila melanogaster Dso2 gene Proteins 0.000 description 1
- 101000780288 Homo sapiens Disintegrin and metalloproteinase domain-containing protein 2 Proteins 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
〔1.生成処理〕
図1及び図2を用いて、実施形態に係る生成処理の一例について説明する。図1及び図2は、実施形態に係る生成処理の一例を示す図である。例えば、図1及び図2に示す生成システム1には、生成装置100や、画像の加工を依頼する依頼主の端末装置(図示省略)等が含まれる。図1に示す生成装置100は、画像に含まれる対象物の数を認識する学習器から取得した中間画像を用いて画像を加工する。具体的には、生成装置100は、学習器から取得した中間画像を用いて画像の所定の領域ごとにスコアを算出し、スコアに基づいて画像をクロッピングする。例えば、画像に含まれる対象物の数を認識する学習器については、非特許文献4に示すようなCNN(Convolutional Neural Network)での個数の検出等の種々の従来技術を適宜用いて生成された学習器であってもよい。なお、ここでいうクロッピングとは画像から所定の領域を切り取る処理をいう。また、生成装置100がクロッピングにより生成した画像は、例えば所定のコンテンツの画像として配信されるが、詳細は後述する。
次に、図3を用いて、実施形態に係る生成装置100の構成について説明する。図3は、実施形態に係る生成装置100の構成例を示す図である。図3に示すように、生成装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、生成装置100は、生成装置100の管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークと有線または無線で接続され、例えば生成システム1に含まれる端末装置との間で情報の送受信を行う。
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部120は、図3に示すように、学習情報記憶部121と、画像情報記憶部122とを有する。
実施形態に係る学習情報記憶部121は、学習に関する各種情報を記憶する。例えば、図4では、学習情報記憶部121は、所定の学習処理により生成された学習器LEに関する学習情報(モデル)を記憶する。図4に、実施形態に係る学習情報記憶部121の一例を示す。図4に示す学習情報記憶部121は、「重み(wij)」を記憶する。
実施形態に係る画像情報記憶部122は、画像に関する各種情報を記憶する。図5に、実施形態に係る画像情報記憶部122の一例を示す。図5に示す画像情報記憶部122は、「画像ID」、「画像」といった項目を有する。
図3の説明に戻って、制御部130は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、生成装置100内部の記憶装置に記憶されている各種プログラム(生成プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
取得部131は、画像を取得する。例えば、取得部131は、外部の情報処理装置から画像を取得する。図1では、取得部131は、外部の情報処理装置から画像IM10を取得する。なお、画像情報記憶部122に元となる画像(例えば、画像IM10)が記憶される場合、取得部131は、画像情報記憶部122から画像(例えば、画像IM10)を取得してもよい。また、取得部131は、中間画像MM11〜MM19を含む中間画像群MG10を取得する。
生成部132は、取得部131により取得された中間画像を合成した合成画像を生成する。例えば、生成部132は、加工による対象物の数の認識率の変化に応じて重み付けした中間画像を合成した合成画像を生成する。例えば、生成部132は、上記式(5)を用いて、加工による対象物の数の認識率の変化に応じて重み付けした中間画像を合成した合成画像を生成する。図1では、生成部132は、中間画像群MG10に含まれる中間画像MM11〜MM19を合成した合成画像CM10を生成する。
算出部133は、各種情報を算出する。例えば、算出部133は、上記式(6)を用いて関心領域のスコアを算出する。図2では、算出部133は、補正画像CM11において切取枠AR10に含まれる領域の画素の特徴量を用いてスコアを算出する。例えば、算出部133は、切取枠AR10のアスペクト比1:1を維持しつつ、切取枠AR10のサイズを拡縮したり、位置を移動させたりすることにより、切取枠AR10に含まれる領域を変動させて、各スコアを算出する。
加工部134は、合成画像に基づいて画像を加工する。例えば、加工部134は、合成画像をリサイズした補正画像に基づいて画像を加工する。例えば、加工部134は、合成画像に基づいて、画像の一部を加工画像として取り出す。例えば、加工部134は、合成画像のアスペクト比を画像のアスペクト比に基づいて変更した補正画像を用いて、画像の一部を加工画像として取り出す。例えば、加工部134は、補正画像において所定の閾値以上である特徴量を含む領域に基づいて、画像から加工画像を取り出す(クロッピングする)。例えば、加工部134は、補正画像における特徴量により算出されるスコアに基づいて、画像から加工画像を取り出す。例えば、加工部134は、補正画像における所定の領域と、所定の領域に含まれる特徴量とにより算出されるスコアに基づいて、画像から加工画像を取り出す。
送信部135は、外部の情報処理装置へ各種情報を送信する。例えば、送信部135は、加工部134により生成された画像を外部の情報処理装置へ送信する。図1では、送信部135は、加工画像IM12を送信する。また、送信部135は、生成装置100がコンテンツを配信する場合、コンテンツを要求した端末装置等の外部装置へ加工画像IM12を含むコンテンツを送信してもよい。
ここで、図6を用いて、実施形態に係る生成装置100による合成画像の生成処理の手順について説明する。図6は、実施形態に係る合成画像の生成の一例を示すフローチャートである。
次に、図7を用いて、実施形態に係る生成装置100による合成画像を用いた画像の加工処理の手順について説明する。図7は、実施形態に係る画像の加工の一例を示すフローチャートである。
次に、図8を用いて、生成装置100により生成された加工画像IM12の表示例を示す。図8は、実施形態に係る端末装置における加工画像の表示例を示す図である。
上述した例では、画像中においてクロッピングする領域のアスペクト比が「1:1」に指定された場合を例に説明したが、アスペクト比は「1:1」に限らず、種々のアスペクト比であってもよい。この点について図9を用いて説明する。図9は、実施形態に係るアスペクト比に基づく加工画像の生成例を示す図である。
上述してきたように、実施形態に係る生成装置100は、取得部131と、生成部132とを有する。取得部131は、画像中の対象物の数を認識するニューラルネットワークの中間層における中間画像を取得する。生成部132は、取得部131により抽出された中間画像を合成した合成画像を生成する。
上述してきた実施形態に係る生成装置100は、例えば図10に示すような構成のコンピュータ1000によって実現される。図10は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
121 学習情報記憶部
122 画像情報記憶部
130 制御部
131 取得部
132 生成部
133 算出部
134 加工部
135 送信部
Claims (11)
- 画像中の対象物の数を認識するニューラルネットワークであって、1つの入力画像が入力されたニューラルネットワークの中間層における複数の中間画像であって、前記1つの入力画像を基に前記ニューラルネットワークで生成される複数の中間画像を取得する取得部と、
前記取得部により取得された前記複数の中間画像を合成した合成画像を生成する生成部と、
を備え、
前記生成部は、
前記複数の中間画像の各々への加工に応じた前記対象物の数の認識の変化に基づく前記複数の中間画像の各々に対応する重みを用いて、前記複数の中間画像を合成した合成画像を生成することを特徴とする生成装置。 - 前記生成部により生成された前記合成画像に基づいて、前記画像を加工する加工部、
をさらに備えることを特徴とする請求項1に記載の生成装置。 - 前記加工部は、
前記合成画像に基づいて、前記画像の一部を加工画像として取り出す
ことを特徴とする請求項2に記載の生成装置。 - 前記加工部は、
前記合成画像のアスペクト比を前記画像のアスペクト比に基づいて変更した補正画像を用いて、前記画像の一部を加工画像として取り出す
ことを特徴とする請求項3に記載の生成装置。 - 前記加工部は、
前記補正画像における特徴量に基づいて、前記画像から前記加工画像を取り出す
ことを特徴とする請求項4に記載の生成装置。 - 前記加工部は、
前記補正画像における特徴量により算出されるスコアに基づいて、前記画像から前記加工画像を取り出す
ことを特徴とする請求項5に記載の生成装置。 - 前記加工部は、
前記補正画像における所定の領域と、前記所定の領域に含まれる特徴量とにより算出されるスコアに基づいて、前記画像から前記加工画像を取り出す
ことを特徴とする請求項6に記載の生成装置。 - 前記加工部は、
所定のアスペクト比により形成される前記所定の領域に基づいて、前記画像から前記加工画像を取り出す
ことを特徴とする請求項7に記載の生成装置。 - 前記取得部は、
畳み込み処理及びプーリング処理を行うニューラルネットワークの中間層における複数の中間画像を取得する
ことを特徴とする請求項1〜8のいずれか1項に記載の生成装置。 - コンピュータが実行する生成方法であって、
画像中の対象物の数を認識するニューラルネットワークであって、1つの入力画像が入力されたニューラルネットワークの中間層における複数の中間画像であって、前記1つの入力画像を基に前記ニューラルネットワークで生成される複数の中間画像を取得する取得工程と、
前記取得工程により取得された前記複数の中間画像を合成した合成画像を生成する生成工程と、
を含み、
前記生成工程は、
前記複数の中間画像の各々への加工に応じた前記対象物の数の認識の変化に基づく前記複数の中間画像の各々に対応する重みを用いて、前記複数の中間画像を合成した合成画像を生成することを特徴とする生成方法。 - 画像中の対象物の数を認識するニューラルネットワークであって、1つの入力画像が入力されたニューラルネットワークの中間層における複数の中間画像であって、前記1つの入力画像を基に前記ニューラルネットワークで生成される複数の中間画像を取得する取得手順と、
前記取得手順により取得された前記複数の中間画像を合成した合成画像を生成する生成手順と、
をコンピュータに実行させ、
前記生成手順は、
前記複数の中間画像の各々への加工に応じた前記対象物の数の認識の変化に基づく前記複数の中間画像の各々に対応する重みを用いて、前記複数の中間画像を合成した合成画像を生成することを特徴とする生成プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016106559A JP6960722B2 (ja) | 2016-05-27 | 2016-05-27 | 生成装置、生成方法、及び生成プログラム |
US15/455,711 US10445910B2 (en) | 2016-05-27 | 2017-03-10 | Generating apparatus, generating method, and non-transitory computer readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016106559A JP6960722B2 (ja) | 2016-05-27 | 2016-05-27 | 生成装置、生成方法、及び生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017211939A JP2017211939A (ja) | 2017-11-30 |
JP6960722B2 true JP6960722B2 (ja) | 2021-11-05 |
Family
ID=60418167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016106559A Active JP6960722B2 (ja) | 2016-05-27 | 2016-05-27 | 生成装置、生成方法、及び生成プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10445910B2 (ja) |
JP (1) | JP6960722B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10366497B2 (en) * | 2016-06-10 | 2019-07-30 | Apple Inc. | Image/video editor with automatic occlusion detection and cropping |
JP7054603B2 (ja) | 2016-08-03 | 2022-04-14 | ヤフー株式会社 | 判定装置、判定方法、及び判定プログラム |
DE102017211331A1 (de) * | 2017-07-04 | 2019-01-10 | Robert Bosch Gmbh | Bildauswertung mit zielgerichteter Vorverarbeitung |
JP2019096006A (ja) * | 2017-11-21 | 2019-06-20 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP6985977B2 (ja) * | 2018-05-14 | 2021-12-22 | ヤフー株式会社 | 出力装置、出力方法、出力プログラム及び出力システム |
EP3791316A1 (en) * | 2018-06-13 | 2021-03-17 | Siemens Healthcare GmbH | Localization and classification of abnormalities in medical images |
JP6994572B2 (ja) * | 2018-06-28 | 2022-01-14 | オリンパス株式会社 | データ処理システムおよびデータ処理方法 |
CN110163932A (zh) * | 2018-07-12 | 2019-08-23 | 腾讯数码(天津)有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
JP7055211B2 (ja) * | 2018-08-31 | 2022-04-15 | オリンパス株式会社 | データ処理システムおよびデータ処理方法 |
CN110930298A (zh) * | 2019-11-29 | 2020-03-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
US20240112449A1 (en) | 2021-02-24 | 2024-04-04 | Panasonic Intellectual Property Management Co., Ltd. | Image identifying apparatus, video reproducing apparatus, image identifying method, and recording medium |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07141316A (ja) * | 1993-11-12 | 1995-06-02 | Sankyo Seiki Mfg Co Ltd | ニュ−ラルネットワークの学習状態の観測システム |
JP2002298155A (ja) * | 2001-03-29 | 2002-10-11 | Hic:Kk | 感情による3dコンピュータグラフィックス表情モデル形成システム |
JP4794938B2 (ja) * | 2005-07-27 | 2011-10-19 | 富士フイルム株式会社 | 監視システム、監視装置、監視方法、及びプログラム |
US8009921B2 (en) * | 2008-02-19 | 2011-08-30 | Xerox Corporation | Context dependent intelligent thumbnail images |
JP2014509435A (ja) * | 2010-12-22 | 2014-04-17 | コーニンクレッカ フィリップス エヌ ヴェ | 照明制御システム |
KR102288280B1 (ko) * | 2014-11-05 | 2021-08-10 | 삼성전자주식회사 | 영상 학습 모델을 이용한 영상 생성 방법 및 장치 |
US9852492B2 (en) * | 2015-09-18 | 2017-12-26 | Yahoo Holdings, Inc. | Face detection |
US9858675B2 (en) * | 2016-02-11 | 2018-01-02 | Adobe Systems Incorporated | Object segmentation, including sky segmentation |
-
2016
- 2016-05-27 JP JP2016106559A patent/JP6960722B2/ja active Active
-
2017
- 2017-03-10 US US15/455,711 patent/US10445910B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US10445910B2 (en) | 2019-10-15 |
JP2017211939A (ja) | 2017-11-30 |
US20170345196A1 (en) | 2017-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6960722B2 (ja) | 生成装置、生成方法、及び生成プログラム | |
US9299004B2 (en) | Image foreground detection | |
CN108140032B (zh) | 用于自动视频概括的设备和方法 | |
US9361510B2 (en) | Efficient facial landmark tracking using online shape regression method | |
Hu et al. | A novel object tracking algorithm by fusing color and depth information based on single valued neutrosophic cross-entropy | |
US9330334B2 (en) | Iterative saliency map estimation | |
JP6188400B2 (ja) | 画像処理装置、プログラム及び画像処理方法 | |
US9552510B2 (en) | Facial expression capture for character animation | |
US10019823B2 (en) | Combined composition and change-based models for image cropping | |
US10984272B1 (en) | Defense against adversarial attacks on neural networks | |
JP2020126614A (ja) | 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置{method for auto−labeling training images for use in deep learning network to analyze images with high precision, and auto−labeling device using the same} | |
JP6798183B2 (ja) | 画像解析装置、画像解析方法およびプログラム | |
US9454712B2 (en) | Saliency map computation | |
US10762662B2 (en) | Context based position estimation of target of interest in videos | |
US9367762B2 (en) | Image processing device and method, and computer readable medium | |
JP2005284487A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
CN110909724B (zh) | 一种多目标图像的缩略图生成方法 | |
CN111274981B (zh) | 目标检测网络构建方法及装置、目标检测方法 | |
CN111814753A (zh) | 针对雾天条件下的目标检测方法和装置 | |
JP2007249852A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
EP2613294A1 (en) | System and method for synthesizing portrait sketch from photo | |
Aroulanandam et al. | Object Detection in Convolution Neural Networks Using Iterative Refinements. | |
JP2017059090A (ja) | 生成装置、生成方法、及び生成プログラム | |
KR20210088656A (ko) | 이미지 생성 및 신경망 트레이닝 방법, 장치, 기기 및 매체 | |
CN115311550B (zh) | 遥感影像语义变化检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20160623 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190319 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200408 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200818 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200818 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200826 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200901 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20201016 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20201020 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210413 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210518 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210708 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210824 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210928 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210928 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211012 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6960722 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |