JP7148878B2 - 動画像符号化システム及び動画像符号化方法 - Google Patents
動画像符号化システム及び動画像符号化方法 Download PDFInfo
- Publication number
- JP7148878B2 JP7148878B2 JP2017242086A JP2017242086A JP7148878B2 JP 7148878 B2 JP7148878 B2 JP 7148878B2 JP 2017242086 A JP2017242086 A JP 2017242086A JP 2017242086 A JP2017242086 A JP 2017242086A JP 7148878 B2 JP7148878 B2 JP 7148878B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- camera
- unit
- signal processing
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 63
- 238000012545 processing Methods 0.000 claims description 363
- 230000015654 memory Effects 0.000 claims description 66
- 230000008859 change Effects 0.000 claims description 42
- 238000004458 analytical method Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 26
- 238000001514 detection method Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000009467 reduction Effects 0.000 description 15
- 238000012937 correction Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 101150013335 img1 gene Proteins 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000003381 stabilizer Substances 0.000 description 2
- 206010024796 Logorrhoea Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 101150071665 img2 gene Proteins 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Description
図1は、各実施の形態に係る動画像符号化システム100のシステム構成例を示すブロック図である。動画像符号化システム100は、例えば監視用途のために被監視スペース(上述参照)の天井面もしくは壁面に設置された少なくとも1台のカメラ10と、監視室(上述参照)に設置されたレコーダ30と、監視室(上述参照)に設置されたクライアント端末50とを含む構成である。図1ではカメラ10は1台のみ図示されているが、同様な構成を有する複数台のカメラ10がネットワークNWに接続されてよい。レコーダ30とクライアント端末50は同一の監視室に設置されてもよいし、異なる監視室において設置されてもよい。
(強度の値Aに対応する3*3のフィルタ係数)
-4/32 -4/32 -4/32
-4/32 64/32 -4/32 ・・・(F1)
-4/32 -4/32 -4/32
(強度の値Bに対応する3*3のフィルタ係数)
-0/32 -0/32 -0/32
-0/32 32/32 -0/32 ・・・(F2)
-0/32 -0/32 -0/32
図6において、信号処理部13は、例えばメモリM1に保持されている設定情報に含まれる自動ゲイン制御の実行の有無に関する情報に基づいて、自動ゲイン制御(例えばゲインアップ)を実行するかどうかを判断する(S1)。自動ゲイン制御を実行しないと判断された場合には(S1、NO)、信号処理部13の処理はステップS3に進む。一方、信号処理部13は、自動ゲイン制御を実行すると判断した場合には(S1、YES)、自動ゲイン制御(例えばゲインアップ)をゲイン制御部131において実行する(S2)。これにより、カメラ10は、例えば図5Bに示すように、レコーダ30もしくはクライアント端末50における動画像を用いた認識処理に適する明るさを有した動画像のデータを得ることができる。
図6において、信号処理部39,59は、例えばメモリM2,M3に保持されている設定情報に含まれる自動ゲイン制御の実行の有無に関する情報に基づいて、自動ゲイン制御(例えばゲインアップ)を実行するかどうかを判断する(S1)。自動ゲイン制御を実行しないと判断された場合には(S1、NO)、信号処理部39,59の処理はステップS3に進む。
図7において、信号処理部13は、例えばメモリM1に保持されている設定情報に含まれる暗号化の実行の有無に関する情報に基づいて、符号化部15により符号化された動画像のデータを暗号化するかどうかを判断する(S11)。信号処理部13は、符号化部15により符号化された動画像のデータを暗号化すると判断した場合には(S11、YES)、自動ゲイン制御(例えばゲインアップ)を実行しないと判断する(S12)。これは、前述したように、動画像のデータが暗号化部17において暗号化される場合には、そのデータがレコーダ30もしくはクライアント端末50において復号されるまで動画像の中身が第三者に見られる可能性が低く、レコーダ30もしくはクライアント端末50において上述した所定の視認性(高画質)と同等の視認性を有する動画像に復元されれば良く、カメラ10においてわざわざ上述した所定の視認性(高画質)の動画像を生成してカメラ10の符号量を増大させる必要がないからである。ステップS12の後、信号処理部13の処理はステップS3に進む。
図7において、信号処理部39,59は、例えばメモリM2,M3に保持されている設定情報に含まれる暗号化(エンクリプト)に対する復号(デクリプト)の実行の有無に関する情報に基づいて、暗号化に対する復号を実行するかどうかを判断する(S11)。信号処理部39,59は、暗号化に対する復号を実行すると判断した場合には(S11、YES)、自動ゲイン制御(例えばゲインアップ)を実行すると判断する(S12)。これは、カメラ10において動画像のデータに対して暗号化が行われた場合には、自動ゲイン制御(例えばゲインアップ)が行われておらず、レコーダ30もしくはクライアント端末50において所定の視認性(高画質)と同等の視認性を有する動画像が得られるように画質調整が必要となるからである。ステップS12の後、信号処理部39,59の処理はステップS3に進む。
実施の形態2では、レコーダ30もしくはクライアント端末50が画質調整指示に基づいて画質調整(言い換えると、再現、復元)して取得した動画像のデータを用いて認識処理を行った結果としてその認識処理が失敗した場合に、カメラ10における符号化パラメータや画像処理パラメータの変更を指示する例を説明する。
11 撮像部
13、39、59 信号処理部
15 符号化部
17 暗号化部
19 通信部
30 レコーダ
31 受信部
33、53 記録部
35、55 デコード部
37、57 解析部
41、61 出力制御部
43 再配信部
50 クライアント端末
100 動画像符号化システム
131、391、591 ゲイン制御部
132、392、592 NR部
133、393、593 エッジ強調部
134、394、594 信号処理制御部
DP1、DP2 出力部
M1、M2、M3 メモリ
Claims (10)
- 動画像を撮像するカメラと、前記カメラにより撮像された動画像を出力する動画像出力装置と、が互いに通信可能に接続された動画像符号化システムであって、
前記カメラは、
前記動画像を符号化する時の符号量を低減する信号処理を行って、前記動画像出力装置が行う前記カメラの被写体の認識処理に用いる第2の動画像を符号化する時の符号量より符号量が少ない第1の動画像を生成し、
生成された前記第1の動画像を符号化して、前記第2の動画像を生成するためのパラメータとともに前記動画像出力装置に送信し、
前記動画像出力装置は、
前記カメラから送信された前記第1の動画像を復号し、
復号された前記第1の動画像に基づいて、前記動画像出力装置が行う前記認識処理に用いる前記第2の動画像を取得するための信号処理を解析し、更に、その解析結果に基づいて、前記パラメータを用いて前記第1の動画像にゲインアップ制御またはエッジ強調を行うことにより前記第2の動画像を生成する、
動画像符号化システム。 - 前記カメラは、
前記動画像出力装置に送信するデータに対する暗号化の有無を示す設定情報をメモリに保持し、
前記暗号化を行う旨の設定情報が前記メモリに保持される場合に、前記第1の動画像を暗号化してから符号化する、
請求項1に記載の動画像符号化システム。 - 前記カメラは、
前記カメラが前記第1の動画像を生成するための第1のモードと、前記カメラが前記第2の動画像を生成するための第2のモードと、のうちいずれかに切り替えるためのスイッチ、を更に有し、
前記第1のモードの場合に、
前記カメラは、前記第1の動画像と前記パラメータを生成し、生成された前記第1の動画像と前記パラメータを符号化して前記動画像出力装置に送信し、
前記動画像出力装置は、前記第1の動画像と前記パラメータを復号し、前記パラメータを用いて前記第1の動画像に前記ゲインアップ制御または前記エッジ強調を行うことにより前記第2の動画像を生成し、
前記第2のモードに切り替えられた場合に、
前記カメラは、ゲインアップ制御またはエッジ強調を行うことにより 前記第2の動画像を生成し、生成された前記第2の動画像を符号化して前記動画像出力装置に送信し、
前記動画像出力装置は、前記第2の動画像を復号 する、
請求項1又は2に記載の動画像符号化システム。 - 前記カメラは、
現在のモードが前記第1のモード又は前記第2のモードのいずれであるかを示す情報を保持するメモリ、を更に有する、
請求項3に記載の動画像符号化システム。 - 前記カメラは、
前記動画像出力装置に送信するデータに対する暗号化の実行の指示に応じて、現在のモードを前記第1のモードに切り替える、
請求項3に記載の動画像符号化システム。 - 前記動画像出力装置は、
接続される前記カメラの品番あるいは製造番号の情報を取得するとともに、取得された前記カメラの品番あるいは製造番号の情報が前記第1の動画像を生成するための第1のモードと前記第2の動画像を生成するための第2のモードとの両方の動作モードに対応可能である場合に、現在のモードを、前記第1のモードに切り替える旨の切替指示を前記カメラに送信し、
前記カメラは、
前記動画像出力装置から送信された前記切替指示に応じて、現在のモードを前記第1のモードに切り替える、
請求項1~5のうちいずれか一項に記載の動画像符号化システム。 - 前記動画像出力装置は、
前記認識処理が失敗した場合に、前記第1の動画像の画質より低い画質を有する動画像を生成可能に前記カメラが行う前記信号処理の画像処理パラメータを変更する旨の変更指示を前記カメラに送信し、
前記カメラは、
前記動画像出力装置から送信された前記変更指示に応じて、前記画像処理パラメータを変更し、変更後の前記画像処理パラメータを用いて、前記第1の動画像の画質より低い画質を有する動画像を生成する、
請求項1~6のうちいずれか一項に記載の動画像符号化システム。 - 前記動画像出力装置は、
前記認識処理が失敗した場合に、前記第1の動画像の符号化に用いる符号化率を低く変更する旨の変更指示を前記カメラに送信し、
前記カメラは、
前記動画像出力装置から送信された前記変更指示に応じて、前記符号化率を変更し、変更後の前記符号化率を用いて、前記第1の動画像を符号化する、
請求項1~6のうちいずれか一項に記載の動画像符号化システム。 - 前記画像処理パラメータは、エッジ強調におけるフィルタ係数に関する情報を含む、
請求項7に記載の動画像符号化システム。 - カメラと前記カメラにより撮像された動画像を出力する動画像出力装置とが互いに通信可能に接続された動画像符号化システムを用いた動画像符号化方法であって、
前記カメラは、
前記動画像を符号化する時の符号量を低減する信号処理を行って、前記動画像出力装置が行う前記カメラの被写体の認識処理に用いる第2の動画像を符号化する時の符号量より符号量が少ない第1の動画像を生成し、
生成された前記第1の動画像を符号化して、前記第2の動画像を生成するためのパラメータとともに前記動画像出力装置に送信し、
前記動画像出力装置は、
前記カメラから送信された前記第1の動画像を復号し、
復号された前記第1の動画像に基づいて、前記動画像出力装置が行う前記認識処理に用いる前記第2の動画像を取得するための信号処理を解析し、更に、その解析結果に基づいて、前記パラメータを用いて前記第1の動画像にゲインアップ制御またはエッジ強調を行うことにより前記第2の動画像を生成する、
動画像符号化方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017242086A JP7148878B2 (ja) | 2017-12-18 | 2017-12-18 | 動画像符号化システム及び動画像符号化方法 |
US16/222,658 US11102456B2 (en) | 2017-12-18 | 2018-12-17 | Video encoding system and video encoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017242086A JP7148878B2 (ja) | 2017-12-18 | 2017-12-18 | 動画像符号化システム及び動画像符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019110433A JP2019110433A (ja) | 2019-07-04 |
JP7148878B2 true JP7148878B2 (ja) | 2022-10-06 |
Family
ID=66815331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017242086A Active JP7148878B2 (ja) | 2017-12-18 | 2017-12-18 | 動画像符号化システム及び動画像符号化方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11102456B2 (ja) |
JP (1) | JP7148878B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6732059B1 (ja) | 2019-01-18 | 2020-07-29 | パナソニックi−PROセンシングソリューションズ株式会社 | カメラ装置およびカメラ装置の撮像制御方法 |
US11669743B2 (en) * | 2019-05-15 | 2023-06-06 | Huawei Technologies Co., Ltd. | Adaptive action recognizer for video |
JP2021118478A (ja) | 2020-01-28 | 2021-08-10 | パナソニックi−PROセンシングソリューションズ株式会社 | 監視カメラ、カメラパラメータ決定方法およびプログラム |
CN113810409A (zh) * | 2021-09-16 | 2021-12-17 | 公安部第三研究所 | 实现视频加密及智能应用的边缘处理系统 |
WO2023053382A1 (ja) * | 2021-09-30 | 2023-04-06 | 日本電気株式会社 | 情報処理システム、情報処理方法、及び情報処理装置 |
JPWO2023053387A1 (ja) * | 2021-09-30 | 2023-04-06 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006074777A (ja) | 2004-08-31 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 動画像符号化方法および動画像復号方法 |
WO2008084745A1 (ja) | 2007-01-09 | 2008-07-17 | Panasonic Corporation | 画像符号化装置および画像復号化装置 |
JP2011249903A (ja) | 2010-05-24 | 2011-12-08 | Panasonic Corp | 録画パラメータ設定装置、方法、システムおよびプログラム |
JP2016046707A (ja) | 2014-08-25 | 2016-04-04 | ルネサスエレクトロニクス株式会社 | 画像通信装置、画像送信装置および画像受信装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1118070A (ja) * | 1997-06-26 | 1999-01-22 | Matsushita Electric Ind Co Ltd | 画像圧縮装置および画像伸長装置および伝送装置 |
US8073492B2 (en) * | 2005-10-24 | 2011-12-06 | Broadcom Corporation | Simultaneously multi-networked handheld multimedia gateways |
JP5517806B2 (ja) * | 2010-07-16 | 2014-06-11 | キヤノン株式会社 | 撮像装置及びコンピュータプログラム |
WO2012115593A1 (en) * | 2011-02-21 | 2012-08-30 | National University Of Singapore | Apparatus, system, and method for annotation of media files with sensor data |
JP6024952B2 (ja) | 2012-07-19 | 2016-11-16 | パナソニックIpマネジメント株式会社 | 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム |
CN105144230A (zh) * | 2013-04-30 | 2015-12-09 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
KR101713684B1 (ko) * | 2016-09-21 | 2017-03-08 | 주식회사 에스카 | 시정상태의 변화에 강인한 복합 필터링 방식의 감시카메라 및 그것이 적용된 영상감시시스템 |
-
2017
- 2017-12-18 JP JP2017242086A patent/JP7148878B2/ja active Active
-
2018
- 2018-12-17 US US16/222,658 patent/US11102456B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006074777A (ja) | 2004-08-31 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 動画像符号化方法および動画像復号方法 |
WO2008084745A1 (ja) | 2007-01-09 | 2008-07-17 | Panasonic Corporation | 画像符号化装置および画像復号化装置 |
JP2011249903A (ja) | 2010-05-24 | 2011-12-08 | Panasonic Corp | 録画パラメータ設定装置、方法、システムおよびプログラム |
JP2016046707A (ja) | 2014-08-25 | 2016-04-04 | ルネサスエレクトロニクス株式会社 | 画像通信装置、画像送信装置および画像受信装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2019110433A (ja) | 2019-07-04 |
US20190191129A1 (en) | 2019-06-20 |
US11102456B2 (en) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7148878B2 (ja) | 動画像符号化システム及び動画像符号化方法 | |
US10009630B2 (en) | System and method for encoding video content using virtual intra-frames | |
US9883146B2 (en) | Communication system, communication apparatus and communication method | |
JP6964647B2 (ja) | オブジェクトのプライバシが保護されるイメージフレームのシーケンスをエンコーディング及びデコーディングする方法及びデバイス | |
US20180176503A1 (en) | Signature generation system, signature generation apparatus, and signature generation method | |
JP4825449B2 (ja) | 映像配信システム | |
US10574991B2 (en) | Apparatus and method for processing image | |
KR102140721B1 (ko) | 안전한 암호화 정보 전송이 가능한 ip 카메라 보안 시스템 | |
KR101707663B1 (ko) | Cctv 카메라를 이용한 영상 이미지 퍼즐 보안 전송 시스템 및 그 제어방법 | |
KR101692430B1 (ko) | 경찰청 영상 관제 시스템 | |
JP2012114654A (ja) | 監視カメラおよび蓄積装置、並びに監視画像改ざん検出方法 | |
WO2022090738A1 (en) | Selective video modification | |
US9565395B1 (en) | Video image processing apparatus and recording medium | |
KR20150095080A (ko) | 영상 데이터 전송 장치 및 방법 | |
JP5022581B2 (ja) | 画像伝送システム及び画像伝送方法 | |
JP6627459B2 (ja) | 情報送信装置、情報処理システム、送信方法およびプログラム | |
TW202220452A (zh) | 用於視訊處理的方法及影像處理裝置 | |
CN118413328A (zh) | 用于验证视频序列的发射机、接收机以及其中的方法 | |
KR20100047747A (ko) | 영상 녹화 장치, 영상 서비스 시스템 및 그 방법 | |
JP2008219310A (ja) | リモート撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190731 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201009 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20201224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7148878 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |