JP6731861B2 - 医用画像表示装置 - Google Patents

医用画像表示装置 Download PDF

Info

Publication number
JP6731861B2
JP6731861B2 JP2017003848A JP2017003848A JP6731861B2 JP 6731861 B2 JP6731861 B2 JP 6731861B2 JP 2017003848 A JP2017003848 A JP 2017003848A JP 2017003848 A JP2017003848 A JP 2017003848A JP 6731861 B2 JP6731861 B2 JP 6731861B2
Authority
JP
Japan
Prior art keywords
image
importance
medical
medical image
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017003848A
Other languages
English (en)
Other versions
JP2018110752A (ja
Inventor
佐々木 孝明
孝明 佐々木
白旗 崇
崇 白旗
菜緒子 中山
菜緒子 中山
陽士 山口
陽士 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2017003848A priority Critical patent/JP6731861B2/ja
Publication of JP2018110752A publication Critical patent/JP2018110752A/ja
Application granted granted Critical
Publication of JP6731861B2 publication Critical patent/JP6731861B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波装置などを含む医用画像診断装置から得られた医用画像を表示する医用画像表示装置に関する。
X線CT装置やMRI装置などの医用画像診断装置によって得られた画像を用いて画像診断する場合、特に検診等の目的で撮影された画像に関しては、撮影された全ての画像をスキップすることなく観察する必要がある。その際、操作者は画像を1枚ずつシネ表示して観察する場合がある。複数の画像を連続表示させるためのGUIとして、上下の矢印ボタンと矢印ボタンによって動くスライダが設けられることが一般的である。矢印ボタンでは画像を1枚ずつ表示することができるが、画像枚数が多いとそれに比例して末尾画像まで辿り着く時間も長くなる。それによって画像診断に多くの時間を要してしまう。一方、スライダによる操作の場合、末尾画像まで辿り着く時間は大幅に短縮されるが、途中の画像がスキップされたり、動きが速すぎて所望の位置で止めづらかったり等の問題がある。また、マウスの移動範囲が限られている場合、一度に末尾画像まで辿り着けず、一旦マウスを元の位置に戻して再度操作するといった手間が生じる。
特許文献1では管腔臓器の展開画像中の位置に応じて偽像率を算出し、この偽像率に基づき表示速度を変更することで操作者の負担を軽減する方法が開示されている。すなわち、偽像率が高い場合にはスクロール速度を高速にし、偽像率が低い場合にはスクロール速度を低速にすることにより、管腔臓器の展開画像上の偽像率が小さい箇所に集中することができ、展開画像に基づく画像診断の誤診を低減することができるものである。
WO2010/64687号公報 特開2015−102954号公報 特開2011−36684号公報
特許文献1では、偽像率の算出に曲率という1つのパラメータしか使用していないため、スクロール速度を制御するのに用いる偽像率を曲率でしか判定できず、複数の要因が関わってくる場合に対応できなかった。診断目的によって、重要性を判断する基準が異なることも一般的である。
本発明はこのような事情を鑑みてなされたもので、医用画像診断装置によって得られた医用画像を表示する医用画像表示装置において、複数の画像をシネ表示する際に、画像診断の効率化を図り、ユーザーの負担を軽減することを目的とする。
上記課題を解決するために、プロセッサと、メモリと、表示装置と、入力装置と、メモリに読み込まれてプロセッサにより実行される医用画像表示プログラム、複数の医用画像、診断目的ごとに医用画像の重要度を判断するための項目と項目ごとの重み係数とを含む複数の重み付けテーブルを格納する記憶装置とを有する医用画像表示装置において、医用画像表示プログラムは、医用画像の重要度を算出する重要度算出部と、医用画像を表示装置に表示する画像表示制御部とを有し、重要度算出部は、入力装置により選択された診断目的に対応する重み付けテーブルを記憶装置から取得し、取得された重み付けテーブルの項目ごとの評価値を複数の医用画像のそれぞれに対して決定し、決定された項目ごとの評価値及び項目ごとの重み係数に基づき重要度を算出し、画像表示制御部は、重要度算出部により算出された複数の医用画像のそれぞれの重要度に基づき、複数の医用画像の画像送り速度を制御してシネ表示する。
複数の医用画像をシネ表示する際に、画像診断の効率化を図り、ユーザーの負担を軽減することができる。
医用画像表示装置のハードウェア構成を示す図である。 第1の実施例の処理の流れを示す図である。 画像の重要度を算出する処理の流れを示す図である。 第2の実施例の処理の流れを示す図である。 第3の実施例の処理の流れを示す図である。 重み付けテーブルのデータ構造を示す図である。 画像評価テーブルのデータ構造を示す図である。 医用画像表示プログラムを示す図である。
以下、添付図面にしたがって医用画像表示装置の実施例について説明する。
図1は医用画像表示装置1のハードウェア構成を示す図である。医用画像表示装置1は、CPU(Central Processing Unit)2、主メモリ3、記憶装置4、表示メモリ5、表示装置6、マウス8に接続されたインタフェース7、キーボード9、通信インタフェース10がシステムバス11によって信号送受可能に接続されて構成される。また、医用画像表示装置1は、ネットワーク12を介して医用画像撮影装置13や医用画像データベース14と信号送受可能に接続される。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。
CPU2は各構成要素の動作を制御するプロセッサである。CPU2は記憶装置4に格納されるプログラムやプログラム実行に必要なデータを主メモリ3にロードして実行する。記憶装置4には、医用画像撮影装置13により撮影された医用画像情報が格納される。記憶装置4としてはハードディスクが一般的であるが、フレシキブルディスク、光(磁気)ディスク、ZIPメモリ、USBメモリ等の可搬性記録媒体とデータの受け渡しをする装置であっても良い。医用画像情報はLAN(Local Area Network)等のネットワーク12を介して医用画像撮影装置13や医用画像データベース14から取得される。また、記憶装置4にはCPU2が実行するプログラムやプログラム実行に必要なデータが格納される。主メモリ3は、CPU2が実行するプログラムや演算処理の途中経過を記憶するものである。
表示メモリ5は、液晶ディスプレイやCRT(Cathode Ray Tube)等の表示装置6に表示するための表示データを一時格納するものである。マウス8やキーボード9は、操作者が医用画像表示装置1に対して操作指示を行う入力装置である。マウス8はトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。インタフェース7は、マウス8の状態を検出して、表示装置6上のマウスポインタの位置を取得し、取得した位置情報等をCPU2へ出力するものである。通信インタフェース10は、医用画像表示装置1をLAN、電話回線、インターネット等のネットワーク12に接続するためのものである。
医用画像撮影装置13は、被検体の断層画像等の医用画像情報を取得する装置である。医用画像撮影装置13は、例えば、MRI装置やX線CT装置、超音波診断装置、シンチレーションカメラ装置、PET(Positron Emission Tomography)装置、SPECT(Single Photon Emission Computed Tomography)装置などである。医用画像データベース14は、医用画像撮影装置13によって撮影された医用画像情報を記憶するデータベースシステムである。
CPU2が、記憶装置4に格納される医用画像表示プログラムを主メモリ3にロードし、実行することにより、各画像の重要度が算出され、算出された重要度に応じて複数の画像の画像送り速度が制御されて表示装置6にシネ表示される。以下に、医用画像表示プログラムにより実行される処理の流れについて説明する。
図2は、第1の実施例での処理の流れを示す図である。以下、図2の各ステップについて図6,7のテーブルを参照しながら詳細に説明する。
ステップS201:CPU2は、患者の複数の画像データを記憶装置4または医用画像データベース14から取得する。ここで複数の画像データとは患者を撮影して得られた数枚から数百枚の断層画像であり、ある方向、例えば断層面に垂直な方向に連続して並んで構成されるものである。
ステップS202:CPU2は、表示装置6に表示されているシステムのGUIから入力装置8,9により、ユーザーによって選択された診断目的を取得する。診断目的の選択方法は、予め決められた選択肢から選ぶようにすることが便利である。あるいは、画像の撮影条件や、予め画像と関連付けられた情報をもとにシステムが自動で選択するようにしてもよい。以下の処理については、「肺がん検診」を診断目的として選択した場合を例にして説明する。
ステップS203:図6に示すように、あらかじめ、診断目的64毎に、項目62及び各項目の重み係数(W〜W)63(mは項目数)が設定された重み付けテーブル61が用意されている。この重み付けテーブルは記憶装置4に格納されている。CPU2は、ステップS202で取得した診断目的をもとに重み付けテーブルを取得する。
ユーザーの診断目的によって各画像の重要度が変化するため、図6に示すように診断目的64毎に各項目の重み係数(W〜W)が設定された重み付けテーブル61を用意するものである。図6の例では「肺がん検診」(m=3)の場合に、項目Pとして画像に肺が写っているかどうか、項目Pとして選択した複数の画像データに対してコンピュータ支援診断(CAD:Computer-aided Diagnosis)を実施した結果(CAD結果)、項目Pとして過去画像における異常の有無を設定している。なお、図6に示した項目は一例であり、例えば「肺がん検診」の場合転移の可能性が高い部位を項目として設定することで、転移の可能性が高い部位(例えば、脳や肝臓)の画像についてもユーザーに重要画像として示すことができる。重み係数63は数字が大きいほど当該診断目的において重要な項目であることを意味している。重み付けテーブル61内の重み係数63は統計的データによって決定する。例えば医師がどの項目を重要視するのか予めデータを収集しておき、その統計をもとに重み係数を算出することができる。
ステップS204:CPU2は、ステップS203で取得した重み付けテーブルを参照しながら各画像の重要度を算出する。本ステップの詳細は図3を用いて後述する。
ステップS205:CPU2は、ステップS204で算出された各画像の重要度をもとに重要画像か否かを判定する。判定方法は、予め閾値を設定しておき、算出された各画像の重要度が閾値を超えていれば重要画像としてフラグを立てる。超えていなければ非重要画像と判定し、フラグは立てない。この処理により、フラグが立っている画像を重要画像として抽出することができる。閾値の設定はユーザーが自由に設定変更できるようにすることで、重要画像をより少なく、またはより多く表示させることができる。
ステップS206:CPU2は、ステップS205で重要または非重要と判定した画像の画像送り速度を決定する。重要画像と判定された画像の画像送り速度は低速にし、非重要画像と判定された画像の画像送り速度は高速にする。重要画像を表示する際低速にするだけでなく、重要画像やその手前で停止してもよい。また、非重要画像を表示する際高速にせず通常の速度としてもよい。すなわち、重要画像と非重要画像との間で画像送り速度の区別が付けば、速さは自由に変更してよい。さらに、ステップS204で算出した各画像の重要度を重要度が高い順にソートし、重要画像の中でも重要度に応じて画像送り速度を細かく区別してもよい。あるいは、重要/非重要を区別せず、選択した画像群の各画像を重要度(すなわち、算出値)が高い順にソートし、重要度(算出値)が高くなるにつれ徐々に低速になるようにしてもよい。
ステップS207:CPU2はステップS206で決定した画像送り速度に応じて表示メモリ5を更新するタイミングを変化させることにより、表示装置6にユーザーが選択した画像群を、その重要度に応じて異なる画像送り速度にてシネ表示する。
次に図3を用いて各画像の重要度を算出する処理の流れについて説明する。
ステップS301:CPU2は、画像毎に各項目の評価値を決定する。図6に示した項目を例に説明する。例えば、項目Pの評価値は肺が写っていれば1、写っていなければ0とする。部位の抽出には、パターンマッチングや特許文献2に開示されるように体形データから肺の存在位置を特定し、特定した位置の画像を抽出するといった公知の技術を用いることができる。次に、項目Pは選択した画像群に対して、CADシステムにより病変候補を抽出し、個数や大きさ、形状、濃度などをもとに総合評価した値を評価値とする。例えば、個数が多かったり、大きさが大きかったり、濃度が濃かったりすると評価値が大きくなるし、また、形状によって進行度等が判断できればそれにより評価値が変わる。項目Pは選択した画像群と過去画像の同スライス位置を比較し、同スライス位置において過去に病変が見つかっているか否かで評価値を決定する。このためには、まず選択した画像群と同一患者の同一部位の過去画像を取得する。この例では、同一患者の肺の過去画像を取得することになる。撮影時期が異なるため、撮影始点の違いやスライス間隔の違いがある場合にはスライス位置を合わせる必要がある。この場合には、特許文献3に示されるような公知の技術を用いて位置合わせを行うことができる。位置合わせを行ったあと、過去画像の同スライス位置において過去に病変が見つかっていれば1とし、見つかっていなければ0とする。評価値は異常あり/なしだけでなく、異常があった場合の個数や大きさ、形状、濃度などを考慮して評価値を決めてもよい。
この結果、図7に示すような画像毎の各項目の評価値を記憶する画像評価テーブル71が作成され、記憶装置4に格納される。画像評価テーブル71は、画像i(i=1〜n、nは画像枚数)に対して各項目(P,P,P)に対する評価値(α,β,γ)を格納する。
ステップS302:CPU2は、ステップS301で決定した画像毎の各項目(P,P,P)の評価値(α,β,γ)と重み付けテーブル内の各項目に設定された重み係数(W,W,W)とをそれぞれ乗算する。ここで得られた結果が画像iにおける各項目の重要度になる。
ステップS303:CPU2は、ステップS302で算出した各項目の重要度を加算する。すなわち、画像iの重要度Iは以下の式1で表せる。
重要度I=Wα+Wβ+Wγ (式1)
ステップS304:CPU2は、ユーザーが選択した画像群の枚数分、ステップS301〜S303までの処理を繰り返す。選択したすべての画像について重要度Iが算出されたら処理を終了する。
以上のように複数の医用画像をシネ表示する際に、診断目的に応じた複数の項目に基づき画像毎の重要度を算出し、より重要度の高い医用画像がより重要度の低い医用画像と区別されるように、より重要度の高い医用画像の画像送り速度をより重要度の低い医用画像の画像送り速度よりも遅らせることにより、画像診断の効率化やユーザーの負担を軽減することができる。画像送り速度は、画像毎の重要度に基づき閾値判定して異ならせてもよいし、画像毎の重要度の算出値に応じた速度としてもよい。
図4は、第2の実施例での処理の流れを示す図である。第1の実施例と同じステップ(同じステップ符号を付す)については説明を省略し、新たなステップについて説明を行う。
ステップS401:CPU2は、ステップS204で算出された各画像の重要度と各項目の評価値をもとに(式2)を用いて各項目の占有率を算出する。ここで占有率とは、ステップS204で算出された重要度が主にどの項目に起因するものかを示す値であり、各項目が重要度に占める割合である。
占有率O=(Wα/I,Wβ/I,Wγ/I) (式2)
ステップS402:CPU2は、ステップS401で算出された占有率を画像とともに表示装置6に表示する。重要画像に対してのみ表示してもよいし、選択した全画像に対して表示してもよい。また、すべての項目についての占有率Oを表示してもよく、最も高い占有率を示した項目についてのみ、その項目名と占有率を表示するようにしてもよい。
これにより、複数の画像をシネ表示する際に、さらに各画像の重要度がどの項目に起因するものであるのかを表示することができる。
図5は、第3の実施例での処理の流れを示す図である。第1または第2の実施例と同じステップ(同じステップ符号を付す)については説明を省略し、新たなステップについて説明を行う。なお、図5は第2の実施例にステップS501を追加したものになっているが、第1の実施例にステップS501を追加する、すなわち、占有率の算出、表示を行うことなく、下記に説明するステップS501の処理を実行するものであってもよい。
ステップS501:CPU2は、ステップS204で決定した評価項目P「過去画像」の評価値γが0でない場合に、過去の病変画像を併せて表示する。過去の病変画像とは、項目Pに対する評価値γを決定したときに参照した画像のことである。
これにより、複数の画像をシネ表示する際に、過去に異常ありと診断された画像を参照画像として表示できる。この場合の画像送り速度は、例えば重要度の高い画像の画像送り速度と同じ速度とする。
図8に記憶装置4に格納される医用画像表示プログラム81の構成例を示す。医用画像表示プログラムは画像表示制御部82、重要度算出部83、占有率算出部84を有する。重要度算出部83は図2、図3にて説明した診断目的に対応した重み付けテーブルを取得し、各画像の重要度を算出するプログラム部分である。占有率算出部84は、図4、図5にて説明した各画像の重要度における各項目の占有率を算出するプログラム部分である。画像表示制御部82は、医用画像を取得したり、重要度に基づきシネ表示の速度制御をおこなったり、占有率を示す情報を画像に表示したりする表示装置6への医用画像の表示制御を実行するプログラム部分である。
以上、実施例について説明したが、これらに限定されるものではなく、種々変形等可能なものである。
1:医用画像表示装置、2:CPU、3:主メモリ、4:記憶装置、5:表示メモリ、6:表示装置、7:インタフェース、8:マウス、9:キーボード、10:通信インタフェース、11:システムバス、12:ネットワーク、13:医用画像撮影装置、14:医用画像データベース。

Claims (6)

  1. プロセッサと、
    メモリと、
    表示装置と、
    入力装置と、
    上記メモリに読み込まれ、上記プロセッサにより実行される医用画像表示プログラム、複数の医用画像、診断目的ごとに医用画像の重要度を判断するための項目と項目ごとの重み係数とを含む複数の重み付けテーブルを格納する記憶装置とを有し、
    上記医用画像表示プログラムは、医用画像の重要度を算出する重要度算出部と、医用画像を上記表示装置に表示する画像表示制御部とを有し、
    上記重要度算出部は、上記入力装置により選択された診断目的に対応する重み付けテーブルを上記記憶装置から取得し、取得された重み付けテーブルの項目ごとの評価値を上記複数の医用画像のそれぞれに対して決定し、決定した項目ごとの評価値及び項目ごとの重み係数に基づき重要度を算出し、
    上記画像表示制御部は、上記重要度算出部により算出された上記複数の医用画像のそれぞれの重要度に基づき、上記複数の医用画像の画像送り速度を制御してシネ表示する医用画像表示装置。
  2. 請求項1において、
    上記画像表示制御部は、上記重要度算出部により算出された上記複数の医用画像のそれぞれの重要度に応じて上記複数の医用画像を重要画像または非重要画像に区分し、上記区分に応じて医用画像の画像送り速度を異ならせる医用画像表示装置。
  3. 請求項1において、
    上記画像表示制御部は、医用画像の画像送り速度を、上記重要度算出部により算出された上記複数の医用画像のそれぞれの重要度の値に応じた速度とする医用画像表示装置。
  4. 請求項1〜3のいずれか一項において、
    上記医用画像表示プログラムは、上記重要度算出部により算出された医用画像の重要度が重み付けテーブルのどの項目に起因するかを示す占有率を算出する占有率算出部を有し、
    上記画像表示制御部は、医用画像とともに上記占有率算出部により算出された占有率を示す情報を表示する医用画像表示装置。
  5. 請求項1〜3のいずれか一項において、
    上記重み付けテーブルの項目として過去画像を含み、
    上記重要度算出部は、過去に異常ありと診断された画像の有無に基づき、上記重み付けテーブルの過去画像の項目の評価値を算出し、
    上記画像表示制御部は、上記重要度算出部が上記重み付けテーブルの過去画像についての評価値を決定したときに参照した画像を表示する医用画像表示装置。
  6. 請求項5において、
    上記画像表示制御部は、上記重要度算出部が上記重み付けテーブルの過去画像についての評価値を決定したときに参照した画像を、重要度の高い医用画像と同じ画像送り速度でシネ表示する医用画像表示装置。
JP2017003848A 2017-01-13 2017-01-13 医用画像表示装置 Active JP6731861B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017003848A JP6731861B2 (ja) 2017-01-13 2017-01-13 医用画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017003848A JP6731861B2 (ja) 2017-01-13 2017-01-13 医用画像表示装置

Publications (2)

Publication Number Publication Date
JP2018110752A JP2018110752A (ja) 2018-07-19
JP6731861B2 true JP6731861B2 (ja) 2020-07-29

Family

ID=62911541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017003848A Active JP6731861B2 (ja) 2017-01-13 2017-01-13 医用画像表示装置

Country Status (1)

Country Link
JP (1) JP6731861B2 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165787A (ja) * 2000-02-22 2002-06-11 Nemoto Kyorindo:Kk 医療用断層画像表示装置
JP2006130049A (ja) * 2004-11-05 2006-05-25 Fuji Photo Film Co Ltd 画像読影支援方法、およびシステム、ならびにプログラム
JP2009238039A (ja) * 2008-03-27 2009-10-15 Fujifilm Corp 医用レポートシステム、医用レポート閲覧装置、医用レポートプログラム、及び医用レポート閲覧方法
US8401260B2 (en) * 2008-09-22 2013-03-19 General Electric Company Systems and methods for analyzing growth of computer detected patterns on digital medical images
JP2013126492A (ja) * 2011-12-19 2013-06-27 Canon Inc 読影装置及びその制御方法
JP2013146422A (ja) * 2012-01-20 2013-08-01 Toshiba Corp 画像処理装置及び画像処理方法
JP2014059892A (ja) * 2013-11-05 2014-04-03 Canon Inc 医用情報処理装置、医用情報処理方法、及びプログラム
JP6556426B2 (ja) * 2014-02-27 2019-08-07 キヤノンメディカルシステムズ株式会社 レポート作成装置

Also Published As

Publication number Publication date
JP2018110752A (ja) 2018-07-19

Similar Documents

Publication Publication Date Title
US11185228B2 (en) Control method of information terminal and computer-readable recording medium
US9436915B2 (en) Medical decision making support apparatus and control method for the same
US10222954B2 (en) Image display apparatus, display control apparatus and display control method using thumbnail images
JP6542004B2 (ja) 医用画像処理装置、および医用画像処理システム
WO2018070285A1 (ja) 画像処理装置、及び画像処理方法
US20170308661A1 (en) Diagnosis support apparatus and method of controlling the same
KR101495102B1 (ko) 표시장치 및 표시 방법
WO2011074162A1 (en) Image processing apparatus, image processing method, image processing system, and program
JP2018157968A (ja) 放射線画像処理装置及び放射線画像撮影システム
JP2019097805A (ja) 情報処理装置、情報処理方法およびプログラム
JP2015016098A (ja) 診断支援システム、その制御方法、およびプログラム
US9269395B2 (en) Display control apparatus, display apparatus, and method for controlling the same
US20150363054A1 (en) Medical image display apparatus, method for controlling the same
EP3362925B1 (en) Systems and methods for generating correct radiological recommendations
JP6220435B2 (ja) 診断支援装置及びその制御方法
JP6731861B2 (ja) 医用画像表示装置
WO2015130388A1 (en) Image generating apparatus, radiation tomography imaging apparatus, and image generating method and program
JP2010035635A (ja) Ardsの重症度のスコアを算出する方法、装置およびプログラム
JP5557687B2 (ja) 検査計画作成装置
JP7332362B2 (ja) 医用画像処理装置、医用画像処理システム、及び、医用画像処理方法
JP6841136B2 (ja) 医用画像表示装置及びプログラム
US20090276392A1 (en) Dynamic sequencing display protocols for medical imaging data
JP6543308B2 (ja) 情報処理装置、情報処理装置の作動方法および情報処理システム
JP6193964B2 (ja) 情報処理装置、情報処理装置の作動方法および情報処理システム
JP6925795B2 (ja) 医用画像診断支援装置、その制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200707

R150 Certificate of patent or registration of utility model

Ref document number: 6731861

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250