JP7230174B2 - 内視鏡システム、画像処理装置および画像処理装置の制御方法 - Google Patents
内視鏡システム、画像処理装置および画像処理装置の制御方法 Download PDFInfo
- Publication number
- JP7230174B2 JP7230174B2 JP2021503298A JP2021503298A JP7230174B2 JP 7230174 B2 JP7230174 B2 JP 7230174B2 JP 2021503298 A JP2021503298 A JP 2021503298A JP 2021503298 A JP2021503298 A JP 2021503298A JP 7230174 B2 JP7230174 B2 JP 7230174B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- image
- unit
- endoscope
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00018—Operational features of endoscopes characterised by signal transmission using electrical cables
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Description
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。図2は、本実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。
一方、フリーズ処理部506は、フリーズ指示信号の入力を受け付けていない場合、第2フレームメモリ522における所定の画像データ、例えば取得(撮像)時刻が最新の画像データをガンマ処理部507に出力する。ここで、フリーズ処理部506は、最新の画像データを取得する際には、WB処理部505から画像データを取得してもよい。
なお、フリーズ処理部506は、フリーズ対象の画像データを選択後、フリーズ処理による静止画表示期間内では、WB処理部505から入力される画像データを第2フレームメモリ522に出力する処理のみを行う。フリーズ処理部506は、フリーズ処理が解除された後、WB処理部505から新たに入力される画像データを含めて、第2フレームメモリ522から最新の画像データの選択を行う。このため、フリーズ処理後において表示装置4に表示される画像は、フリーズ処理による静止画表示期間における最新の画像データが抜けた、フリーズ処理前とは時系列で間があいた画像が表示されることになる。所定のフレーム数の画像データが抜けることによって、フリーズ処理前後に表示される画像において、時系列で隣り合う画像を動画表示する場合と比して、被写体像の変化が大きくなる場合がある。
このため、照明部3a、画像処理部31、制御部37、内視鏡2は、生成された同期信号によって、互いに同期をとって動作する。
フレーム単位で表示に遅延が生じる場合、例えば、2フレーム分遅延する場合、内視鏡2の先端部24が、像F13が写る位置にある一方で、表示装置4の表示部42には、像F11に応じた画像F41が表示される。この場合、内視鏡2の実際の位置と、術者が認識する内視鏡2の位置であって、表示部42に表示される画像から識別される内視鏡2の位置とにずれが発生する。遅延フレーム数が大きくなれば、その分ずれも大きくなる。
処理装置3は、電源投入後、内視鏡2および表示装置4が接続されると、メモリ247、44から各装置の処理情報(遅延時間)を取得する(ステップS101)。
ここで、制御部37は、各装置の遅延時間の総和が閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合(ステップS103:Yes)、ステップS104に移行する。一方、制御部37は、各装置の遅延時間の総和が閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合(ステップS103:No)、遅延検出処理を終了する。
この際、報知の強度を段階的に変化させてもよい。例えば、報知用の複数の閾値を設定しておき、総遅延時間(フレーム数)が大きくなるほど、音の大きさや、光の強度を変化させてもよい。
また、報知部43のほか、入出力部36が報知処理を実行してもよい。
次に、本発明の実施の形態2について、図6を参照して説明する。図6は、本発明の実施の形態2にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。なお、本実施の形態2にかかる内視鏡システムは、上述した内視鏡システムと構成が同じであるため、説明を省略する。以下、実施の形態1とは異なる処理について説明する。
ここで、制御部37は、各装置の遅延時間の総和が閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合(ステップS203:Yes)、ステップS204に移行する。一方、制御部37は、各装置の遅延時間の総和が閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合(ステップS203:No)、ステップS205に移行する。
なお、異なる焦点の画像を合成して全焦点画像を生成する処理や、三次元画像を生成する処理、4K解像度に対応させる処理、動画の色ずれ補正処理等を実施する場合には、これらの処理が間引き対象の処理となる。
このほか、モニタ出力フォーマットに制約を加えて遅延時間を削減してもよいし、Display Portや、HDMI、DVIを用いている場合は、SDI等への変更を促してもよい。SDIに変更することによって、Display Portや、HDMI、DVIと比して、遅延時間を削減できる。
次に、本発明の実施の形態3について、図7を参照して説明する。図7は、本発明の実施の形態3にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。なお、本実施の形態3にかかる内視鏡システムは、上述した内視鏡システムと構成が同じであるため、説明を省略する。以下、実施の形態1、2とは異なる処理について説明する。実施の形態3では、遅延時間に基づいて、報知処理、または画像処理の変更処理を実行する。
ここで、制御部37は、各装置の遅延時間の総和が第1閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合(ステップS303:Yes)、ステップS304に移行する。一方、制御部37は、各装置の遅延時間の総和が第1閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合(ステップS303:No)、遅延検出処理を終了する。
ここで、制御部37は、各装置の遅延時間の総和が第2閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合(ステップS304:Yes)、ステップS305に移行する。一方、制御部37は、各装置の遅延時間の総和が第2閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合(ステップS304:No)、ステップS306に移行する。
次に、本発明の実施の形態4について、図8、9を参照して説明する。図8は、本発明の実施の形態4にかかる内視鏡システムの概略構成を示すブロック図である。
位相比較部392は、テストパターン出力部391が出力したパターンの画像と、表示装置4Aにおいて処理された表示画像のパターンとの位相を比較する。ここでの位相は、順次出力される画像の明度の出現パターンをさす。位相比較部392は、テストパターン出力部391が出力したパターンの画像と、表示装置4Aにおいて処理された表示画像のパターンとの位相の差を、遅延時間として求める。
2 内視鏡
3 処理装置
3a 照明部
3b プロセッサ部
4 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
31 画像処理部
32 第1通信部
33 総遅延時間検出部
34 同期信号生成部
35 第2通信部
36 入出力部
37 制御部
38 記憶部
39 遅延時間取得部
41 表示処理部
42 表示部
43 報知部
44、247 メモリ
241 ライトガイド
242 照明レンズ
243 光学系
244 撮像素子
245 CDS部
246、511 A/D変換部
501 D/A変換部
502 調光検波部
503 AGC部
504 ノイズ除去部
505 WB処理部
506 フリーズ処理部
507 ガンマ処理部
508 カラーマトリクス処理部
509 拡大縮小処理部
510 強調処理部
521 第1フレームメモリ
522 第2フレームメモリ
523 第3フレームメモリ
Claims (8)
- 被検体を撮像して撮像信号を出力する内視鏡と、
前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置と、
前記画像処理装置によって画像処理が施された前記撮像信号に基づいて前記被検体の画像を表示する表示装置と、
を備え、
前記内視鏡、前記画像処理装置および前記表示装置のいずれかに設けられ、前記内視鏡において前記撮像信号を生成して出力するまでに要する第1の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第2の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第3の処理時間との総和を算出する総処理時間検出部、
を有する内視鏡システム。 - 前記内視鏡は、
受光した光を光電変換し、該光電変換した電気信号を読み出すことによって前記撮像信号を生成する撮像素子と、
前記撮像素子が生成した前記撮像信号に対して信号処理を施す第1の処理部と、
を有し、
前記画像処理装置は、
前記内視鏡から入力される前記撮像信号に対して複数種類の処理を施す第2の処理部、
を有し、
前記表示装置は、
前記画像処理装置から入力される前記撮像信号に基づいて、画像表示にかかる処理を施す第3の処理部、
を有し、
前記総処理時間検出部は、前記撮像素子および前記第1の処理部が処理に要する第1の処理時間と、前記第2の処理部が処理に要する第2の処理時間と、前記第3の処理部が処理に要する第3の処理時間とを総和する
請求項1に記載の内視鏡システム。 - 前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記内視鏡の現在位置と、前記表示装置において表示される被検体の画像から認識される前記内視鏡の位置とにずれが生じていることを報知する報知部、
をさらに備える請求項1に記載の内視鏡システム。 - 前記画像処理装置は、
前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記第2の処理部に、当該第2の処理部が実施する処理の一部を間引いた間欠処理を実施させる制御部、
をさらに備える請求項2に記載の内視鏡システム。 - 前記画像処理装置は、
予め設定されている基準画像データを前記表示装置に出力する基準画像データ出力部と、
前記表示装置の前記第3の処理部によって処理された前記基準画像データを取得して、前記基準画像データ出力部が前記表示装置に出力した第1の基準画像データと、前記表示装置から取得した第2の基準画像データとの位相を比較することによって、前記第3の処理部が処理に要する前記第3の処理時間を取得する位相比較部と、
を備え、
前記総処理時間検出部は、前記第1および第2の処理時間と、前記位相比較部が取得した、前記第3の処理時間との総和を算出する
請求項2に記載の内視鏡システム。 - 前記総処理時間検出部は、前記内視鏡に格納された前記第1の処理時間と、前記画像処理装置に格納された前記第2の処理時間と、前記表示装置に格納された前記第3の処理時間との総和を算出する
請求項1に記載の内視鏡システム。 - 被検体を撮像して撮像信号を出力する内視鏡と、前記被検体の画像を表示する表示装置とに接続し、前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置であって、
前記内視鏡において前記撮像信号を生成して出力するまでに要する第1の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第2の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第3の処理時間との総和を算出する総処理時間検出部、
を備える画像処理装置。 - 画像処理装置の制御方法であって、
当該画像処理装置が備える総処理時間検出部が、
内視鏡における撮像信号を生成して出力するまでに要する第1の処理時間を取得するステップと、
当該画像処理装置における前記撮像信号が入力されてから表示装置に出力するまでの処理に要する第2の処理時間を取得するステップと、
前記表示装置における前記撮像信号が入力されてから前記撮像信号に基づき画像が表示されるまでの処理に要する第3の処理時間を取得するステップと、
前記第1の処理時間と、前記第2の処理時間と、前記第3の処理時間との総和を算出するステップと、
を含む画像処理装置の制御方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/008466 WO2020178962A1 (ja) | 2019-03-04 | 2019-03-04 | 内視鏡システムおよび画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020178962A1 JPWO2020178962A1 (ja) | 2021-12-02 |
JP7230174B2 true JP7230174B2 (ja) | 2023-02-28 |
Family
ID=72337719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021503298A Active JP7230174B2 (ja) | 2019-03-04 | 2019-03-04 | 内視鏡システム、画像処理装置および画像処理装置の制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210307587A1 (ja) |
JP (1) | JP7230174B2 (ja) |
CN (1) | CN113271838A (ja) |
WO (1) | WO2020178962A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019163470A1 (ja) * | 2018-02-22 | 2019-08-29 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
CN109222854A (zh) * | 2018-11-19 | 2019-01-18 | 苏州新光维医疗科技有限公司 | 内窥镜摄像系统及其图像信号传输方法 |
CN114112456B (zh) * | 2021-10-25 | 2024-04-02 | 新光维医疗科技(苏州)股份有限公司 | 内窥镜系统成像检测装置及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017126333A1 (ja) | 2016-01-21 | 2017-07-27 | ソニー株式会社 | 画像処理装置および方法 |
WO2018047730A1 (ja) | 2016-09-08 | 2018-03-15 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理システム、画像処理方法およびコンピュータプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4199510B2 (ja) * | 2002-09-30 | 2008-12-17 | Hoya株式会社 | 診断補助用装置 |
JP5096090B2 (ja) * | 2007-09-19 | 2012-12-12 | オリンパスメディカルシステムズ株式会社 | 生体内画像受信装置および生体内画像取得システム |
JP5317886B2 (ja) * | 2009-08-13 | 2013-10-16 | Hoya株式会社 | 電子内視鏡システムおよび電子内視鏡用プロセッサ |
CN102753078B (zh) * | 2010-09-24 | 2015-03-18 | 奥林巴斯医疗株式会社 | 图像显示装置以及胶囊型内窥镜系统 |
JP2014204851A (ja) * | 2013-04-12 | 2014-10-30 | オリンパス株式会社 | 内視鏡装置 |
JP6389352B2 (ja) * | 2013-08-13 | 2018-09-12 | Hoya株式会社 | 内視鏡システム |
JP5884873B1 (ja) * | 2014-08-19 | 2016-03-15 | カシオ計算機株式会社 | 画像抽出装置、画像抽出方法及びプログラム |
JP6602969B2 (ja) * | 2016-05-23 | 2019-11-06 | オリンパス株式会社 | 内視鏡画像処理装置 |
JP2017225648A (ja) * | 2016-06-23 | 2017-12-28 | Hoya株式会社 | 電子内視鏡システム |
JP6465452B2 (ja) * | 2016-12-22 | 2019-02-06 | オリンパス株式会社 | 内視鏡挿入形状観測装置 |
-
2019
- 2019-03-04 JP JP2021503298A patent/JP7230174B2/ja active Active
- 2019-03-04 WO PCT/JP2019/008466 patent/WO2020178962A1/ja active Application Filing
- 2019-03-04 CN CN201980087161.XA patent/CN113271838A/zh active Pending
-
2021
- 2021-06-17 US US17/350,657 patent/US20210307587A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017126333A1 (ja) | 2016-01-21 | 2017-07-27 | ソニー株式会社 | 画像処理装置および方法 |
WO2018047730A1 (ja) | 2016-09-08 | 2018-03-15 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理システム、画像処理方法およびコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210307587A1 (en) | 2021-10-07 |
CN113271838A (zh) | 2021-08-17 |
WO2020178962A1 (ja) | 2020-09-10 |
JPWO2020178962A1 (ja) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210307587A1 (en) | Endoscope system, image processing device, total processing time detection method, and processing device | |
WO2012033200A1 (ja) | 撮像装置 | |
JP6378846B2 (ja) | 画像処理装置 | |
JP6109456B1 (ja) | 画像処理装置および撮像システム | |
WO2016104386A1 (ja) | 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム | |
WO2017022324A1 (ja) | 画像信号処理方法、画像信号処理装置および画像信号処理プログラム | |
US10574934B2 (en) | Ultrasound observation device, operation method of image signal processing apparatus, image signal processing method, and computer-readable recording medium | |
WO2016088628A1 (ja) | 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム | |
JP6430880B2 (ja) | 内視鏡システム、及び、内視鏡システムの作動方法 | |
US10462440B2 (en) | Image processing apparatus | |
JP6137892B2 (ja) | 撮像システム | |
JP6937902B2 (ja) | 内視鏡システム | |
US20180267291A1 (en) | Endoscope system | |
JP2017123997A (ja) | 撮像システムおよび処理装置 | |
JP7224963B2 (ja) | 医療用制御装置及び医療用観察システム | |
JP7234320B2 (ja) | 画像処理装置および画像処理装置の作動方法 | |
JP6801990B2 (ja) | 画像処理システムおよび画像処理装置 | |
WO2017022323A1 (ja) | 画像信号処理方法、画像信号処理装置および画像信号処理プログラム | |
JPWO2020003601A1 (ja) | 光源装置、光源の制御方法および内視鏡システム | |
JP2020171599A (ja) | 画像生成装置、コンピュータプログラム及び画像生成方法 | |
JP2017221276A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210519 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7230174 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |