JP6578619B1 - 画像分析装置及び画像分析プログラム - Google Patents
画像分析装置及び画像分析プログラム Download PDFInfo
- Publication number
- JP6578619B1 JP6578619B1 JP2019075351A JP2019075351A JP6578619B1 JP 6578619 B1 JP6578619 B1 JP 6578619B1 JP 2019075351 A JP2019075351 A JP 2019075351A JP 2019075351 A JP2019075351 A JP 2019075351A JP 6578619 B1 JP6578619 B1 JP 6578619B1
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- moving image
- image
- still image
- clear value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本形態に係る画像分析装置10は、被検者の体内に挿入可能、かつ画像を撮影可能な内視鏡装置(特に図示しておらず)により所定の対象箇所を所定時間に亘り撮影した動画像について所定の測定や判定を行うとともに、当該測定や判定に関する表示を行うものであり、各種装置を備えたコンピュータ(情報処理装置)により構成されている。
次に、画像分析装置10の機能的構成について説明する。
本形態に係る画像分析装置10は、図2に示すように、大別して、次の(1)〜(7)までの処理手段を備える。
(1)動画像読み込み手段100
(2)測定動画像設定手段110
(3)静止画像取得手段120
(4)明瞭値測定手段130
(5)色判定手段140
(6)位置ずれ判定手段150
(7)表示制御手段160
なお、画像分析装置10は、上述以外の処理手段(機能)を備えていてもよい。
動画像読み込み手段100は、上述の測定や判定の対象となる動画像のデータを画像分析装置10に読み込むためのものであり、上述の画像分析プログラムを読み込んだCPU11やGPU14により構成されるものである。
測定動画像設定手段110は、上述の測定や判定を行うにあたり、動画像読み込み手段100により読み込まれた動画像のデータについての各種設定を行うためのものであり、上述の画像分析プログラムを読み込んだCPU11やGPU14により構成されるものである。
たとえば、読み込まれた動画像のデータが1時間10分20秒の長さ(すなわち、0:0′0″〜1:10′20″までのデータ)であった場合には、0:0′0″〜1:10′20″までの間において測定開始位置及び測定終了位置を設定可能である。そして、たとえば、測定開始位置として「0:0′0″」、測定終了位置として「1:10′20″」を設定したときには、この動画像のデータの全部(開始位置から終了位置まで)を対象として、上述の測定や判定が行われることとなる。また、たとえば、測定開始位置として「0:30′0″」、測定終了位置として「0:35′0″」を設定したときには、この動画像のデータにおける開始後30分の位置から5分間分を対象として、上述の測定や判定が行われることとなる。
たとえば、読み込まれた動画像を撮影した際のフレームレートが30フレーム/秒(すなわち、1秒あたりに30フレームの静止画像が記録されるもの)であった場合には、動画像のフレームレートとして、単位時間「1秒」、静止画像のフレーム数「30フレーム」を設定する。また、たとえば、読み込まれた動画像を撮影した際のフレームレートが60フレーム/秒(すなわち、1秒あたりに60フレームの静止画像が記録されるもの)であった場合には、動画像のフレームレートとして、単位時間「1秒」、静止画像のフレーム数「60フレーム」を設定する。
たとえば、読み込まれた動画像のデータが1時間10分20秒の長さであった場合において、測定開始位置が「0:0′0″」、測定終了位置が「1:10′20″」に設定され、かつ動画像のフレームレートとして、単位時間が「1秒」、静止画像のフレーム数が「30フレーム」が設定されたときには、126,600フレーム(=4220秒×30フレーム)の静止画像が取得される。また、測定開始位置が「0:30′0″」、測定終了位置が「0:35′0″」に設定され、かつ動画像のフレームレートとして、単位時間が「1秒」、静止画像のフレーム数が「60フレーム」が設定されたときには、18,000フレーム(=300秒×60フレーム)の静止画像が取得される。
これにより、上述の測定や判定のために取得される静止画像のフレームの総数をユーザーが容易に把握できることとなる。
上述の中からいずれかの形状及びサイズが選択されると、選択内容に応じた測定領域が静止画像の中央に設定される。そして、上述のように取得された静止画像ごとに、当該静止画像における全領域のうち設定された測定領域を対象として、上述の測定や判定が行われる。
また、上述のように設定された測定領域の位置は移動可能となっている。たとえば、静止画像における全領域の左上部を測定領域として設定したい場合には、静止画像の中央に位置している測定領域を左上部へ移動させればよい。
静止画像取得手段120は、上述の測定や判定を行うにあたり、動画像読み込み手段100により読み込まれた動画像のデータから、測定動画像設定手段110による設定内容に基づいて1フレームごとに静止画像を取得するものであり、上述の画像分析プログラムを読み込んだCPU11やGPU14により構成されるものである。
この静止画像取得手段120により取得された静止画像は、RAM13や記憶装置50における所定の記憶領域に一時的に記憶され、この記憶された静止画像に基づいて上述の測定や判定が行われるようになっている。
明瞭値測定手段130は、上述の明瞭値を測定するものであり、上述の画像分析プログラムを読み込んだCPU11やGPU14により構成されるものである。
ここで、明瞭値は、撮影された動画像の明瞭さを判断するための指標となる値であり、静止画像取得手段120により取得された静止画像において測定動画像設定手段110により設定された測定領域に含まれる全画素のうち、対象となる画素全てについて横方向に隣接する画素との輝度の差分を算出し、この差分を平均した値である。
明瞭値は、上述のように、横方向に隣接する画素の輝度の差分の平均であるため、時間経過に伴って明瞭値が低下した場合には、横方向に隣接する画素の輝度の差が小さくなったということになる。また、横方向に隣接する画素の輝度の差が小さくなったということは、横方向に隣接する画素の境界が不鮮明になった、すなわち動画像の明瞭さが低下したということになる。横方向に隣接する画素が不鮮明となる(動画像の明瞭さが低下する)理由としては、内視鏡装置のレンズのピントのずれ、当該レンズの曇り、内視鏡装置の位置のずれ等が考えられる。したがって、時間経過に伴って明瞭値が低下した場合には、内視鏡装置のレンズにおけるピントのずれ、当該レンズの曇り、内視鏡装置の位置のずれが発生した等と判断することができる。
静止画像取得手段120により、1フレームの静止画像が取得され当該静止画像が上述の所定の記憶領域に記憶されると、明瞭値測定手段130は、当該静止画像をモノクロ変換するとともに、設定された測定領域に含まれる全画素の輝度を算出する。輝度は、0.299×R(赤成分の値)+0.587×G(緑成分の値)+0.114×B(青成分)との計算式により算出され、0(黒)〜255(白)の範囲におけるいずれかの値となる。
なお、輝度の算出にあたりR、G、Bに乗算される係数は、上述の内容に限定されるものではなく、画像の記録形式等に応じて調整された種々の値を用いてもよい。
たとえば、取得された静止画像の測定領域が2段×12列となっており、1段目の画素の輝度が50、52、51、50、84、82、84、83、82、80、205、210で、2段目の画素の輝度が81、83、87、88、86、88、90、84、80、81、82、83であったものとする。また、原点位置は1段目の1列目の画素、輝度の測定対象範囲は0〜200、第1の閾値は3、第2の閾値は6であったものとする。
さらに、明瞭値測定手段130は、1段9列目の画素及び1段10列目の画素については明瞭値の測定の対象でないと判定し、1段11列目の画素及び1段12列目の画素の輝度はいずれも、測定対象範囲外であるため、これらの画素についても明瞭値の測定の対象でないと判定する。
これにより、時間経過に伴う明瞭値の変化を把握することができることとなる。そして、たとえば、所定の静止画像の明瞭値が上述の1.375であって、これ以降に取得された静止画像の明瞭値が1.375から次第に低下した場合には、上述のように、内視鏡装置のレンズにおけるピントのずれ、当該レンズの曇り、内視鏡装置の位置のずれが発生した等と判断することができる。
色判定手段140は、静止画像取得手段120により取得された静止画像の測定領域に含まれる全画素の色を判定するものであり、上述の画像分析プログラムを読み込んだCPU11やGPU14により構成されるものである。
具体的には、静止画像取得手段120により1フレームの静止画像が取得され当該静止画像が上述の所定の記憶領域に記憶されると、色判定手段140は、測定領域に含まれる全画素の色について1つずつ所定の範囲(たとえば、256色、1677万色等)に属するいずれに相当するかを判定する。当該判定は、静止画像取得手段120により取得された1フレームの静止画像ごとに行われる。
位置ずれ判定手段150は、所定の対象箇所を撮影している内視鏡装置の位置にずれが生じたか否かを判定するものであり、上述の画像分析プログラムを読み込んだCPU11やGPU14により構成されるものである。
具体的には、静止画像取得手段120により測定開始位置の静止画像が取得され当該静止画像が上述の所定の記憶領域に記憶されると、位置ずれ判定手段150は、当該静止画像の測定領域における所定の判定位置(たとえば、測定領域の中央)に位置する所定個数の画素(たとえば、3段×3列から構成される9個の画素)の輝度をそれぞれ算出した上で、算出された全画素の輝度とその配置とを紐付けた輝度パターンデータを作成し、RAM13や記憶装置15の所定の一時記憶領域に記憶する。その後、静止画像取得手段120により1フレームの静止画像が取得されるごとに、位置ずれ判定手段150は、上述の一時記憶領域に記憶された輝度パターンデータが上述の判定位置から所定の範囲内(たとえば、上述の判定位置から上下左右50画素以内)に位置しているか否かを判定する。
なお、明瞭値が低下したものの、輝度パターンデータが上述の判定位置から所定の範囲内に位置していた場合には、内視鏡装置の位置にずれは生じておらず、内視鏡装置のレンズにおけるピントのずれ、当該レンズの曇りが発生したと判定することができる。
表示制御手段160は、表示装置40の表示画面(特に図示しておらず)に、画像分析装置10による所定の内容に関する画像やテキスト、各種画面等を表示するための制御を行うものであり、上述の画像分析プログラムを読み込んだCPU11やGPU14により構成されるものである。
テキストや画像、各種画面の表示には、上述の画像分析プログラムにより構築される専用の表示ブラウザや、ウェブ閲覧用のブラウザ等を使用することができる。
このメイン画面200には、図3に示すように、大別して、読み込まれた動画像を表示(再生)する動画像表示領域210、1フレームの静止画像ごとに測定された明瞭値を表示する明瞭値表示領域220、測定開始位置からの明瞭値を折れ線グラフで表示するグラフ表示領域230、動画像の再生位置を示すゲージを表示するゲージ表示領域240、動画像の表示に関する各種操作を行うための操作ボタンを表示する動画像操作ボタン表示領域250、上述の測定や判定を行うための測定開始位置及び測定終了位置を表示する測定範囲表示領域260、読み込まれた動画像のデータのファイル名を表示するファイル表示領域270、及び上述の測定や判定に関する各種操作を行うための操作ボタンを表示する測定操作ボタン表示領域280が設けられている。
なお、初期状態においては、動画像の再生を開始する位置は動画像の開始位置に設定されており、上述の矢印アイコン242がタイムゲージ241の左端に表示されるが、この矢印アイコン242は入力装置20によりユーザーが自由に移動させることができ、矢印アイコン242の位置を変更することで動画像の再生を開始する位置を自由に変更できるようになっている。
また、動画像の再生中に、入力装置20により停止ボタン253の押下操作の入力が行われると、動画像の再生が停止する。動画像の再生が停止した場合には、再度、入力装置20により再生ボタン251の押下操作の入力が行われると、先頭から動画像の再生が行われる。
また、動画像が一時停止した状態で、入力装置20によりコマ送りボタン254の押下操作の入力が行われると、当該動画像の1フレームごとのコマ送り再生が行われるようになっている。
そして、開始位置バー262を設定ゲージ261中のいずれかの位置に配置した状態で、入力装置20により開始位置ボタン255の押下操作の入力が行われると、上述の位置が測定開始位置として設定される。また、終了位置バー263を設定ゲージ261中のいずれかの位置に配置した状態で、入力装置20により終了位置ボタン256の押下操作の入力が行われると、上述の位置が測定終了位置として設定される。
測定開始位置及び測定終了位置が任意で設定された状態で、入力装置20により指定解除ボタン257の押下操作の入力が行われると、設定された測定開始位置及び測定終了位置が解除され、測定開始位置として動画像の開始位置、及び測定終了位置として動画像の終了位置が設定されるとともに、開始位置バー262が設定ゲージ261の左端に表示され、かつ終了位置バー263が設定ゲージ261の右端に表示される。
動画像の再生を一時停止した状態で、入力装置20により画像保存ボタン258の押下操作の入力が行われると、静止画像取得手段120により当該時点における静止画像が取得され、明瞭値測定手段130により当該静止画像の明瞭値が測定される。そして、取得された静止画像と測定された明瞭値とを対応付けた測定画像データが作成され、上述の記憶領域に記憶される。このように記憶された測定画像データは、当該記憶領域にアクセスすることで自由に内容を確認することができるようになっている。
この設定画面300には、図4に示すように、測定開始位置、測定終了位置、動画像のフレームレート、測定領域の形状及びサイズの入力領域が表示され、入力装置20によりこれらの内容を入力できるようになっている。そして、これらの内容が入力されて所定の確定操作(たとえば、設定画面300に設けられたOKボタン(特に図示しておらず)の押下操作の入力)が行われると、測定動画像設定手段110により上述の内容がRAM13や記憶装置15の所定の記憶領域に記憶され、設定が完了する。
なお、上述の如く、測定開始位置、測定終了位置、動画像のフレームレートが入力されると、取得される静止画像のフレーム数が設定画面300に表示される(図4参照)。
たとえば、内視鏡装置のレンズにおけるピントのずれ、レンズの曇りが発生したと判断された場合には「C」の文字マークが表示され、内視鏡装置の位置のずれが発生したと判断された場合には「M」の文字マークが表示され、内視鏡装置が被検体の体外にあると判断された場合には「O」の文字マークが表示される(図3参照)。
次に、上記構成を有する画像分析装置10において、分析表示ボタン283又は分析保存ボタン284の押下操作の入力が行われた場合のメイン処理の流れを、図5のフローに基づき説明する。
以上のように、本形態に係る画像解析装置10によれば、入力装置20により分析表示ボタン283又は分析保存ボタン284の押下操作の入力が行われると、動画像表示領域210において、設定された測定開始位置から動画像の再生が行われる。また、この動画像の再生に伴って、設定された測定開始位置から1フレームずつ静止画像が取得され、取得された静止画像について、明瞭値の測定、色の判定、内視鏡装置の位置のずれの判定が行われる。そして、1フレームの静止画像ごとに測定された明瞭値が、明瞭値表示領域220に表示されるとともに、測定開始位置からの明瞭値を示す折れ線グラフ(時間経過に伴う明瞭値の変化を示すグラフ)が、グラフ表示領域230に表示される。さらに、内視鏡装置のレンズにおけるピントのずれ、レンズの曇りが発生したと判断された場合には、折れ線グラフの対応する位置に「C」の文字マークが表示され、内視鏡装置の位置のずれが発生したと判断された場合には、折れ線グラフの対応する位置に「M」の文字マークが表示され、内視鏡装置が被検体の体外にあると判断された場合には、折れ線グラフの対応する位置に「O」の文字マークが表示される。
これにより、内視鏡装置のレンズにおけるピントのずれやレンズの曇りの発生、内視鏡装置が被検体の体外に出た等、内視鏡装置に所定の事象が発生したことを判断できる。
上述の実施の形態では、内視鏡装置により撮影された動画像のデータに基づいて明瞭値の測定等の各種処理が実行されるようになっていたが、これに限定されるものではない。たとえば、内視鏡装置により撮影中の動画像をリアルタイムに画像解析装置10に読み込んで、当該動画像に基づいて、上述の実施の形態と同様の処理を行うようにしてもよい。
また、内視鏡装置ではなく、他の撮影装置(デジタルカメラ、携帯電話やスマートフォンに内蔵されたカメラ等)により撮影された動画像を対象として、上述の実施の形態と同様の処理を行うようにしてもよい。
12 ROM 13 RAM
14 GPU 20 入力装置
30 読み出し装置 40 表示装置
50 記憶装置 100 動画像読み込み手段
110 測定動画像設定手段 120 静止画像取得手段
130 明瞭値測定手段 140 色判定手段
150 位置ずれ判定手段 160 表示制御手段
200 メイン画面 210 動画像表示領域
211 測定領域枠 220 明瞭値表示領域
230 グラフ表示領域 240 ゲージ表示領域
241 タイムゲージ 242 矢印アイコン
250 動画像操作ボタン表示領域 251 再生ボタン
252 一時停止ボタン 253 停止ボタン
254 コマ送りボタン 255 開始位置ボタン
256 終了位置ボタン 257 指定解除ボタン
258 画像保存ボタン 260 測定範囲表示領域
261 設定ゲージ 262 開始位置バー
263 終了位置バー 270 ファイル表示領域
280 測定操作ボタン表示領域 281 読み込みボタン
282 取り込み設定ボタン 283 分析表示ボタン
284 分析保存ボタン 285 明瞭値動画表示ボタン
286 終了ボタン 300 設定画面
Claims (4)
- 所定の撮影装置により撮影された動画像を読み込む動画像読み込み手段と、
読み込まれた前記動画像における、所定の測定開始位置から所定の測定終了位置までの1フレームごとの静止画像を取得する静止画像取得手段と、
取得された前記静止画像ごとに、当該静止画像における所定の測定領域内に含まれる画素の中から所定条件を満たす画素である測定対象画素を抽出し、抽出された各測定対象画素と隣接する画素との輝度の差分を平均した値である明瞭値を測定する明瞭値測定手段と、
所定の表示装置において、読み込まれた前記動画像の再生を行うとともに、取得された前記静止画像ごとの明瞭値の表示、及び前記測定開始位置からの時間経過に伴う明瞭値の変化を示すグラフの表示を行う表示制御手段と、を備えたことを特徴とする画像分析装置。 - 前記所定条件は、
画素の輝度が所定の範囲内であること、隣接する画素との輝度の差分が第1の閾値未満であること、及び2つ隣りの画素との輝度の差分が前記第1の閾値よりも大きい第2の閾値未満であることを特徴とする請求項1記載の画像分析装置。 - 測定された明瞭値を前記静止画像ごとに記憶する記憶手段を備え、
前記表示制御手段は、
動画像の全体について明瞭値の測定が終了した場合、その後に当該動画像についての再生が行われると、当該再生の開始時点で、前記記憶手段に記憶された明瞭値に基づいて当該動画像の開始位置から終了位置までの前記グラフの表示を行うことを特徴とする請求項1又は2記載の画像分析装置。 - コンピュータに、
所定の撮影装置により撮影された動画像を読み込むステップと、
読み込まれた前記動画像における、所定の測定開始位置から所定の測定終了位置までの1フレームごとの静止画像を取得するステップと、
取得された前記静止画像ごとに、当該静止画像における所定の測定領域内に含まれる画素の中から所定条件を満たす画素である測定対象画素を抽出し、抽出された各測定対象画素と隣接する画素との輝度の差分を平均した値である明瞭値を測定するステップと、
所定の表示装置において、読み込まれた前記動画像の再生を行うとともに、取得された前記静止画像ごとの明瞭値の表示、及び前記測定開始位置からの時間経過に伴う明瞭値の変化を示すグラフの表示を行うステップと、を実行させることを特徴とする画像分析プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075351A JP6578619B1 (ja) | 2019-04-11 | 2019-04-11 | 画像分析装置及び画像分析プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075351A JP6578619B1 (ja) | 2019-04-11 | 2019-04-11 | 画像分析装置及び画像分析プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6578619B1 true JP6578619B1 (ja) | 2019-09-25 |
JP2020171525A JP2020171525A (ja) | 2020-10-22 |
Family
ID=68053536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019075351A Active JP6578619B1 (ja) | 2019-04-11 | 2019-04-11 | 画像分析装置及び画像分析プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6578619B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021171465A1 (ja) * | 2020-02-27 | 2021-09-02 | オリンパス株式会社 | 内視鏡システム及び内視鏡システムによる管腔走査方法 |
CN113411571A (zh) * | 2021-06-16 | 2021-09-17 | 福建师范大学 | 一种基于滑窗梯度熵的视频帧清晰度检测方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7334373B1 (ja) | 2023-02-28 | 2023-08-28 | あいおいニッセイ同和損害調査株式会社 | 動画分割プログラム、動画分割方法及び動画分割装置 |
-
2019
- 2019-04-11 JP JP2019075351A patent/JP6578619B1/ja active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021171465A1 (ja) * | 2020-02-27 | 2021-09-02 | オリンパス株式会社 | 内視鏡システム及び内視鏡システムによる管腔走査方法 |
JPWO2021171465A1 (ja) * | 2020-02-27 | 2021-09-02 | ||
JP7385731B2 (ja) | 2020-02-27 | 2023-11-22 | オリンパス株式会社 | 内視鏡システム、画像処理装置の作動方法及び内視鏡 |
CN113411571A (zh) * | 2021-06-16 | 2021-09-17 | 福建师范大学 | 一种基于滑窗梯度熵的视频帧清晰度检测方法 |
CN113411571B (zh) * | 2021-06-16 | 2023-07-14 | 福建师范大学 | 一种基于滑窗梯度熵的视频帧清晰度检测方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020171525A (ja) | 2020-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6578619B1 (ja) | 画像分析装置及び画像分析プログラム | |
JP4338551B2 (ja) | 画像再生方法、画像再生装置及び画像再生プログラム | |
JP5107806B2 (ja) | 画像処理装置 | |
JP2005318515A5 (ja) | ||
JP5086711B2 (ja) | 映像表示装置 | |
US20130202163A1 (en) | Subject determination apparatus that determines whether or not subject is specific subject | |
JP5393237B2 (ja) | 画像表示装置及びその制御方法、並びにプログラム及び記憶媒体 | |
JP2013219589A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2010146378A (ja) | 色補正装置、カメラ、色補正方法および色補正用プログラム | |
JP2008141411A5 (ja) | ||
JP4350741B2 (ja) | 画像処理方法およびその装置 | |
JP2006309661A (ja) | 画像再生装置及び画像再生プログラム | |
US11210762B2 (en) | Information processing apparatus, control method thereof, and non-transitory computer-readable storage medium | |
US20080151077A1 (en) | Image processor and imaging device | |
JP4641515B2 (ja) | 画像再生装置及び画像再生方法 | |
JP2010154365A (ja) | 色補正装置、カメラ、色補正方法および色補正用プログラム | |
JP4982331B2 (ja) | 画像評価装置、および画像評価プログラム | |
JP2012010133A (ja) | 画像処理装置および画像処理プログラム | |
JP2011160062A5 (ja) | ||
JP5167964B2 (ja) | 表示制御装置、表示制御方法およびプログラム | |
JP2006148273A5 (ja) | ||
JP5782548B2 (ja) | 画像処理装置および画像処理方法 | |
JP2013013145A (ja) | 画像処理装置 | |
JP2004222076A (ja) | 画像処理プログラム及び方法 | |
JP7096228B2 (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190521 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190521 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6578619 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |