JP6821752B2 - 被検体情報取得装置、表示方法、プログラム、処理装置 - Google Patents

被検体情報取得装置、表示方法、プログラム、処理装置 Download PDF

Info

Publication number
JP6821752B2
JP6821752B2 JP2019140173A JP2019140173A JP6821752B2 JP 6821752 B2 JP6821752 B2 JP 6821752B2 JP 2019140173 A JP2019140173 A JP 2019140173A JP 2019140173 A JP2019140173 A JP 2019140173A JP 6821752 B2 JP6821752 B2 JP 6821752B2
Authority
JP
Japan
Prior art keywords
distribution
characteristic
subject
characteristic information
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019140173A
Other languages
English (en)
Other versions
JP2019177298A (ja
Inventor
阿部 浩
浩 阿部
歩美 蒲田
歩美 蒲田
雅恵 鳥井
雅恵 鳥井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2019177298A publication Critical patent/JP2019177298A/ja
Application granted granted Critical
Publication of JP6821752B2 publication Critical patent/JP6821752B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、被検体情報取得装置、表示方法、プログラム、処理装置に関する。特に、光によって発生する音響波を受信して特性情報を取得する技術に関する。
光源から被検体に光を照射し、入射した光に基づいて得られる被検体内の特性情報を画像化する光イメージング技術の一つとして、光音響イメージング(Photo Acoustic Imaging)がある。光音響イメージングでは、光源から発生したパルス光を被検体に照射し、被検体内で伝播・拡散したパルス光のエネルギーを吸収した部位から発生した音響波(典型的には超音波)を受信する。そして、その受信信号を用いて被検体内の特性情報を画像化する。
すなわち、光音響イメージングは、腫瘍などの被検部位とそれ以外の部位との光エネルギーの吸収率の差を利用することにより、被検体内の各位置の光の吸収に関する特性情報の分布(特性分布)を得ることができる。得られる特性分布としては、初期音圧分布、光吸収係数分布、物質の濃度分布等がある。
非特許文献1では、光音響顕微鏡により被検体内のトータルヘモグロビン濃度分布を取得することで血管を画像化している。非特許文献1の光音響顕微鏡は、被検体表面の一点一点(位置毎)に順番に光をフォーカスさせて、その一点一点から発生する音響波を順次取得するものである。そして、各位置からの音響波に基づく特性情報を一点一点並べていく。この非特許文献1では、光音響顕微鏡を用いて取得された、血液中の酸素飽和度の経時変化等の酸素代謝データが示されており、このような酸素代謝が診断の指標として有用であるとの認識が記載されている。
Label−free oxygen−metabolic photoacoustic microscopy in vivo,Journal Of Biomedical Optics 16(7) 076003(2011)
腫瘍等の診断においては、非特許文献1に記載されているように、特性情報の時間変動が診断指標として有用となる可能性がある。しかしながら、非特許文献1に記載の光音響顕微鏡の場合、特性情報の時間変動を、操作者(ユーザー)にどのように提示すべきかが言及されていない。診断に用いるこのような装置の場合、ユーザへのデータの提示方法や使い勝手を向上することは重要である。
また非特許文献1の光音響顕微鏡は、光を被検体表面の一点一点にフォーカスさせながら順次スキャンして、得られる特性情報を一点一点並べていく方式である。このような方式とは異なる方式として、複数位置に一度に光を照射し、複数位置から発生した音響波に基づく複数の受信信号を用いて画像再構成する方式がある。非特許文献1の光音響顕微鏡の方式は、前記した画像再構成を行う方式に比べ、高解像度であるという利点はあるが、時間がかかってしまう。特に、乳房等の比較的広範囲の被検体を検査する場合、長時間かかり使い勝手に課題がある。
そこで、本発明は、使い勝手のよく、診断に有用な提示を行うことのできる被検体情報取得装置、表示方法、プログラム及び処理装置を提供することを目的とする。
本発明の被検体情報取得装置は、光を発生する光源と、前記光源からの光が照射されることにより被検体内で発生した音響波を受信して複数の受信信号に変換する複数の変換素子と、前記複数の受信信号を用いて前記被検体内の複数の位置に夫々対応した特性情報の分布を示す特性分布を取得する処理部と、を有する被検体情報取得装置であって、
前記処理部は、前記特性分布を用いて作成された分布画像と、前記分布画像のうちの所定の領域内における特性情報の時間変動を示すデータと、を表示部の同じ画面内に表示させるための画像情報を出力することを特徴とする。
本発明の表示方法は、光が照射された被検体内で発生する音響波を受信することにより被検体情報取得装置で取得された特性分布を用いて、画像を表示部に表示する表示方法であって、
前記取得された特性分布は、前記音響波を受信して得られる複数の受信信号を用いて取得された前記被検体内の複数の位置に夫々対応した特性情報の分布であり、
前記特性分布を用いて作成された分布画像と、前記分布画像のうちの所定の領域内における特性情報の時間変動を示すデータと、を前記表示部の同じ画面内に表示するステップを有することを特徴とする。
本発明により、ユーザの使い勝手よく、診断に有用な提示を行うことが可能となる。
第1の実施形態に係る被検体情報取得装置の模式図である。 第1の実施形態に係る音響波の受信タイミングを示すタイミングチャートである。 第1の実施形態に係る処理装置の模式図である。 第1の実施形態の表示方法のフローを示すフローチャートである。 第1の実施形態により表示部に表示される画面の一例を示す模式図である。 第1の実施形態により表示部に表示される画面の一例を示す模式図である。 第2の実施形態により表示部に表示される画面の一例を示す模式図である。
以下、本発明の実施の形態について、図面を用いて説明する。同一の構成要素には原則として同一の符号を付して、説明を省略する。
なお、以下の説明において、音響波とは、光音響波、光超音波、音波、超音波と呼ばれる弾性波を含み、光照射により発生する音響波を、特に「光音響波」と呼ぶ。以下の実施形態の被検体情報取得装置は、少なくとも、被検体に光(可視光線や赤外線を含む電磁波)を照射することにより被検体内の複数の位置(部位)で発生した光音響波を受信し、被検体内の複数の位置に夫々対応する特性情報の分布を示す特性分布を取得する。
光音響波により取得される特性情報とは、光の吸収に関わる特性情報を示し、光照射によって生じた光音響波の初期音圧、あるいは初期音圧から導かれる光エネルギー吸収密度や、吸収係数、組織を構成する物質の濃度、等を反映した特性情報を含む。物質の濃度とは、例えば、酸素飽和度やトータルヘモグロビン濃度や、オキシヘモグロビンあるいはデオキシヘモグロビン濃度などである。
また、音響波のうち、プローブから送信される音響波を「超音波」と呼び、送信された超音波が被検体内で反射したものを特に「反射波」と呼ぶ場合もある。このように、以下の実施形態の被検体情報取得装置は、光音響波の受信だけでなく、超音波エコーによる反射波を受信することにより、被検体内の音響特性に関する分布を取得してもよい。この音響特性に関する分布は、被検体内部の組織の音響インピーダンスの違いを反映した分布を含む。ただし、本発明において超音波の送受信や音響特性に関する分布を取得することは必須ではない。
さらに、以下の実施形態の被検体情報取得装置は、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを主な目的とする。よって、被検体としては生体、具体的には人や動物の乳房、頸部、腹部などの診断対象が想定される。
また、被検体内部にある光吸収体としては、被検体内部で相対的に吸収係数が高い組織を示す。例えば、人体の一部が被検体であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを多く含む血管、あるいは新生血管を多く含む腫瘍、頸動脈壁のプラークなどがある。さらには、金粒子やグラファイトなどを利用して、悪性腫瘍などと特異的に結合する分子プローブや、薬剤を伝達するカプセルなども光吸収体となる。
<第1の実施形態>
以下、第1の実施形態について図面を用いて説明する。以下では、まず被検体情報処理装置の構成について説明し、その後、表示方法について説明する。
(全体構成)
まず、図1を用いて、本実施形態の被検体情報取得装置の全体構成について説明する。図1(a)は、本実施形態の被検体情報取得装置の模式図であり、図1(b)は、プローブ130の模式図である。本実施形態の被検体情報取得装置は、少なくとも、光源110、複数の変換素子131を備えたプローブ130、処理部としての処理装置140を備える。また、本実施形態のプローブ130は、光音響波の受信と、超音波の送信及び受信と、をどちらも行うことができるよう構成されている。そして、処理装置140は、光音響波に基づく特性分布と、超音波エコーによる反射波に基づく音響特性に関する分布と、のどちらも取得することができる。
図1(a)において、光源110により発生した光は、バンドルファイバ等の光学部材を介してプローブ130内へ引きこまれ、プローブ130内の出射端120から被検体100へ光が照射される。被検体100へ照明された光は被検体内部で拡散し、被検体内部の光吸収体101に吸収されることで光音響波が発生する。プローブ130が有する複数の変換素子131は、被検体100から発生した光音響波を受信して夫々電気信号(受信信号)に変換する。プローブ130から出力される複数の受信信号は処理装置140へ送られる。
本実施形態の装置は、光音響顕微鏡のように被検体表面の1位置(1点)に光を集束させるのではなく、1照射分の光が被検体内の複数の位置に到達する構成である。また、プローブ130は複数の変換素子131を備えている。よって、少なくとも1回の光照射により、被検体内の複数の位置から発生する光音響波を受信することができる。つまり、複数の位置(複数点)からなる所定の領域内における特性情報群(位置毎の特性情報の分布を示す特性分布に相当)を取得することができる。
また、上記した光音響波の受信とタイミングをずらして、複数の変換素子131は、被検体100に超音波を送信する。送信された超音波は被検体内で反射され、複数の変換素子131は返ってきた反射波を受信して夫々アナログ電気信号(受信信号)に変換する。複数の変換素子131から出力される複数の受信信号は、処理装置140へ送られる。
ここで、光源110からの発光、光音響波の受信、超音波の送信、及び、反射波の受信、の各タイミング制御について説明する。
(発光及び送受信のタイミング)
図2は各タイミングを示すタイミングチャートを示している。図2において、発光トリガは、光の照射タイミングを示しており、光源110からの光を検出するフォトダイオード等の光センサからの検出信号や、処理装置140からの発光指示信号を、発光のトリガとして用いることができる。光の伝搬速度は音響波の伝搬速度に比べて十分高速であるため、光源による発光タイミングと光が被検体に照射されるタイミングとは同じ時刻として扱うことができる。
図2(a)において、処理装置140は、光源からの発光後、送受信部6に光音響波を受信させる。発光から光音響波の受信開始までは、できる限り短いほうが好ましい。次に、処理装置140は光音響波の受信後、変換素子131から超音波を送信させるための送信信号を変換素子131に送る。なお、図2(a)での超音波送受信は、発光と発光との間で一回だけだが、これに限定されず、図2(b)のように発光と発光との間で複数回超音波を送受信してもよい。図2(b)は超音波送受信を3回行っているが、その回数も任意である。
さらに、発光と発光との間では超音波の送受信を行わずに発光と光音響波の受信を所定回数繰り返した後、その最後の(所定回数目の)発光と光音響波受信後に、超音波送受信を行っても良い。あるいは、超音波の送信と受信を所定回数繰り返した後、その最後の(所定回数目の)超音波の送信と受信後に、発光と光音響波の受信を行っても良い。
次に、本実施形態の被検体情報取得装置の各構成について詳細に説明する。
(光源110)
光源110としては、ナノ秒からマイクロ秒オーダーのパルス光を発生可能なパルス光源が好ましい。具体的には効率的に光音響波を発生させるため、10ナノ秒程度のパルス幅が使われる。また、波長としては500nmから1200nm程度の波長が好ましい。具体的な光源としては、Nd:YAGレーザやアレクサンドライトレーザなどパルスレーザが好ましい。また、Nd:YAGレーザ光を励起光とするTi:saレーザやOPOレーザを用いても良い。このほか固体レーザ、ガスレーザ、色素レーザ、半導体レーザなども使用可能である。また、光源110からプローブ130までの光伝送には、バンドルファイバやミラー、プリズムなどの光学部材を用いるとよい。
(プローブ130)
プローブ130は、図1(b)に示すように、複数の変換素子131を備える変換器と、照射部としての出射端120と、を備える。プローブ130は、ハウジング132により覆われていることが好ましい。出射端120は、ファイバやレンズ、拡散板等から構成され、被検体に所望な形状の光を照射する。複数の変換素子131は光音響波を受信して、夫々受信信号(第1の受信信号)に変換する。
また、本実施形態の変換素子131は、処理装置140からの送信信号に基づいて、被検体に超音波を送信することもできる。送信された超音波は、被検体内の音響インピーダンスの差に基づき反射する。複数の変換素子131は被検体から返ってきた反射波を受信して夫々受信信号(第2の受信信号)に変換する。
変換素子131は、圧電現象を用いた圧電素子等の変換素子、光の共振を用いた変換素子、CMUT等の静電容量の変化を用いた変換素子など、音響波を受信して電気信号に変換できるものであればどのようなものを用いてもよい。なお、本実施形態では、光音響波を受信する変換素子と、超音波を送信して反射波を受信する変換素子と、が共通の変換素子131により行われる。ただし、本発明のプローブとしては、光音響波を受信する複数の変換素子を備えた変換器と、超音波を送受信する複数の変換素子を備えた変換器と、が別々に構成されていてもよい。また、本実施形態のプローブ130は、ユーザが手で持って操作するタイプだけでなく、プローブ130を機械的に移動させるタイプでもよい。
また、複数の変換素子131は、1Dアレイ、1.5Dアレイ、1.75Dアレイ、2Dアレイ、と呼ばれるような平面内に並ぶように配置されうる。また、アーク状に並ぶように配置してもよい。
さらに、複数の変換素子131は、ボウル状の支持体に配置してもよい。具体的には、国際公開第2010/030817号に記載されているように、支持体のボウル状の内側表面に、複数の変換素子131の受信面が3次元スパイラル状に並ぶように配置される構成でもよい。このような配置は、広い角度で光音響波を受信することができるため好ましい。また、このような配置は、複数の変換素子131のうち少なくとも一部の変換素子のそれぞれの指向軸(受信感度の最も高い方向に沿った軸)が特定の領域に集まるような配置である。
そして、このような配置により、その特定の領域から発生した音響波をより高感度に受信することができる。このように配置された変換素子131から得られる受信信号を用いることで、血管などの検査対象のつながりが良く、分解能の高い分布画像が得られる。
ボウルの内側に配置された複数の変換素子131の受信面と被検体との間には、液体やゲル等の音響インピーダンスが被検体に近い音響媒体(例えば水でも可)を設けることが好ましい。
(処理装置140)
処理装置140は、プローブ130から出力される、光音響波起因の受信信号(光音響波を受信することにより得られる受信信号)や超音波起因の受信信号(反射波を受信することにより得られる受信信号)の増幅やデジタル変換処理、フィルタ処理等を行う。そして、信号処理された夫々の受信信号を用いて、光音響画像データや、超音波画像データを作成することができる。以下、処理装置140の詳細な構成について図3を用いて説明する。
図3(a)は、本実施形態に係る処理装置140の構成を示す模式図である。図3(a)における、処理装置140は、プローブ130と処理装置140の接続状態を切り替える接続切替え部701、送信制御部702、信号受信部703、情報処理部704、制御部としての制御用CPU705、を備える。
制御用CPU705は、各ブロックをコントロールするのに必要なデータや制御信号を供給する。具体的には制御用CPU705は、光源110へ発光を指示する発光指示信号や、送信制御部702が変換素子131に送る送信信号の制御を行う。また、制御用CPU705は、接続切替え部701へ、複数の変換素子131の接続先を切り替えるための信号を送り、信号受信部703には信号受信制御に必要となる制御信号やパラメータを供給する。さらに、制御用CPU705は、情報処理部704に対して、信号受信部703から情報処理部704に転送されたデジタル信号が、光音響由来か超音波由来かを情報処理部704が判別するためのパラメータや制御信号等を供給する。
送信制御部702は、制御用CPU705の制御に従って、送信信号を出力する。信号受信部703は、複数の変換素子131から出力された複数の受信信号をデジタル信号へと変換する。信号受信部703は、A/D変換部、データメモリ、マルチプレクサなどで構成される。光音響波由来の受信信号と超音波由来の受信信号とはチャネルごとに用意された共通のA/D変換部やデータメモリ等を用いて処理されてもよく、光音響波由来の受信信号用と超音波由来の受信信号用とで、夫々別のA/D変換部やデータメモリ等を用意してもよい。信号受信部703において生成されたデジタル信号は、情報処理部704に転送される。
接続切替え部701は、複数の変換素子131の接続先を切り替える。接続切替え部701により、複数の変換素子131が、送信制御部702と接続されたり、信号受信部703と接続されたりする。
情報処理部704は、信号受信部703から転送された、光音響波起因のデジタル信号と超音波起因のデジタル信号とから、それぞれ光音響画像データと超音波画像データとを作成する。情報処理部704は、受信信号が光音響波に起因する信号か、反射波に起因する信号か、に応じて適切な信号処理や画像処理を施すことができる。典型的には、超音波画像データを生成する際には、各素子からの受信信号に、反射波の到達時間に応じた遅延時間を与えて位相を調整した後、加算する整相加算(Delay & Sum)が行われる。光音響画像データを生成する際には、整相加算とは別のアルゴリズムを適用した画像再構成を行ってもよい。例えば、光音響画像を生成する画像再構成方法としては、トモグラフィー技術で通常に用いられるタイムドメインあるいはフーリエドメインでの逆投影法などがある。このような構成とすることにより、受信信号に基づき光音響画像データや超音波画像データを取得することができる。また、情報処理部704で作成される画像は、2D画像、3D画像のいずれでもよい。
情報処理部704は、光音響画像データとして、少なくとも1回の光照射により、被検体内の複数の位置に夫々対応した特性情報の分布を示す特性分布を取得することができる。複数の位置に夫々対応した特性情報とは、作成される画像内の複数のピクセル又はボクセルに対応した値であり、各ピクセル値やボクセル値が、初期音圧値や、吸収係数値、物質の濃度値、等を反映している。
また、図2(c)のように複数の光照射を繰り返す場合、複数の光照射により得られる複数の特性分布を合成(コンパウンド)した合成分布を、光音響画像データとして生成することもできる。なお、合成とは、複数の画像や、各画像間の変位量に対して変位補正をした複数の画像に対して相加平均処理、相乗平均処理、調和平均処理などの画像間の重ね合わせ処理が行われることを指す。
情報処理部704は、作成した光音響画像データに対して、輝度の調整や歪補正、注目領域の切り出しなどの各種補正処理を適用して、表示のための分布画像を作成する。さらに、光音響画像データと超音波画像データとを重畳し、図5に示すような重畳画像を分布画像として作成し表示させることもできる。なお、得られる超音波画像データとしては、被検体内の音響特性に関する分布がある。
さらに、複数の光照射により時系列に得られる複数の特性分布を、一定の時間間隔で時系列に切替えて(更新して)表示してもよい。一定の時間間隔とは、例えば発光と同じ周期(10Hzの発光の場合0.1sec間隔)でも良いし、目視可能なように1sec間隔でもよい。また、特性分布だけでなく、上述した合成分布においても、合成分布が得られる度に更新してもよい。
さらに、本実施形態の情報処理部704は、作成した分布画像のうちの所定領域内における特性情報の時間変動を示すデータを作成することもできる。特性情報の時間変動とは、所定の位置の特性情報の時間変動でもよいし、所定領域内の複数の位置に夫々対応する特性情報(つまり複数の特性情報)の統計量の時間変動でもよい。統計量とは、平均値、中央値、最頻値、最大値や、標準偏差、二乗平均誤差などの統計解析結果を指す。つまり、指定領域内の複数の特性情報の統計量とは、指定領域内の複数のピクセル値やボクセル値の平均等を示す。情報処理部704が作成する特性情報の時間変動を示すデータとしては、図5で示すような折れ線グラフのように経時変化が分かるものであればどのようなデータでもよい。
本実施形態の情報処理部704は、特性分布を用いて作成された分布画像と、時間変動を示すデータと、を同じ画面内に表示するための画像情報を作成し、表示装置160に出力することができる。表示方法のフローや表示画面の例については、図4、5を用いて後述することとし、以下ではまず情報処理部704の具体的な構成について説明する。
(情報処理部704の具体的構成)
図3(b)は、本実施形態に係る情報処理部704とその周辺の構成を示す図である。情報処理部704は、典型的にはGPU(Graphics Processing Unit)やCPUを搭載したワークステーションなどから構成される。
記憶部722は、信号受信部703から転送されたデジタル信号や測定動作に関する設定情報を記憶する。信号受信部703から転送された光音響由来、もしくは超音波由来のデジタル信号は、まず記憶部722に記憶される。
CPU724は、操作部723を介してユーザからの各種操作に関する指示を受け付けて、必要な制御情報を生成し、システムバス725を介して各機能を制御する。また、CPU724は、記憶部722に記憶された光音響波由来のデジタル信号に対して積算処理などを行うことができる。積算処理は、被検体に対して同じ位置(走査位置)において光照射と光音響波の受信を繰り返し行うことにより、得られた複数の受信信号同士を積算する(積算平均を含む)処理である。この積算処理により、システムノイズが低減し受信信号のS/N比が向上する。また、造影剤などの時間とともに光音響波の発生源が移動する対象物を検査対象とする場合は、積算した時間分の移動経路を把握することができる。なお、同様の処理は、制御用CPU705やGPU721等でも可能である。
CPU724は積算処理後のデジタル信号を記憶部722に再度書き込む。GPU721による光音響画像データの生成に供される。また、CPU724は、ユーザにより指定された指定領域の情報を受け付けて、その指定領域内の複数の位置に夫々対応する特性情報の統計量を算出することができる。
FPGA726は、記憶部722に書き込まれた超音波起因のデジタル信号を用いて整相加算を行い超音波画像データを作成する。FPGA726は、FPGA(Field Programmable Gate Array)チップにより構成される。
GPU721は、CPU724により積算処理され記憶部722に書き込まれたデジタル信号を用いて光音響画像データを作成する。また、GPU721は、作成された光音響画像データや超音波画像データに対して、輝度の調整や歪補正、注目領域の切り出しなどの各種補正処理を適用して、分布画像を作成することができる。さらに、GPU721は、光音響画像データと超音波画像データとを重畳した重畳画像を分布画像として作成する処理や、特性情報の時間変動を示すデータと分布画像とを並べて表示するための画像情報を生成することができる。同様の処理は、CPU724等でも可能である。また、本実施形態では、光音響画像データはGPU721により作成され、超音波画像データはFPGA726により作成されているが、光音響画像データも超音波画像データも共通のGPUやFPGA、CPU等で作成することも可能である。
(操作部723)
操作部723は、ユーザが、特性情報の取得動作に関するパラメータの指定や各種入力を行うための入力装置である。操作部723により、後述する並列表示の入力や、指定領域としてのROI(関心領域)の設定も行われる。なお、分布画像として3D画像を表示する場合は、ROIも3Dで指定することができる。ROIのサイズや座標系は任意に変更することができ、ROIの範囲は分布画像に重畳表示されることで、ユーザが確認しながら指定することができる。操作部723は、一般的に、マウスやキーボード、タッチパネルなどで構成される。なお、操作部723は、被検体情報処理装置が有する構成とはせずに、別に用意して被検体情報取得装置に接続しても良い。
(表示装置160)
表示部である表示装置160は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)、有機ELディスプレイ等で構成される。なお、表示装置160は、被検体情報処理装置が有する構成とはせずに、別に用意して被検体情報取得装置に接続しても良い。
次に、本実施形態の表示方法や表示画面の例について説明する。
(表示方法及び表示画面)
図4、図5を用いて本実施形態の表示フローについて説明する。図4は本実施形態の表示フローを示すフローチャートであり、図5は本実施形態の表示画面の例を示す模式図である。
本実施形態の表示フローは、光音響画像データとしての合成分布と、超音波画像データと、が作成された状態をスタートして説明する。具体的には、被検体に光が複数回照射(例えば30回程度の所定回数照射)された場合に、処理装置140は、複数の変換素子から出力される複数の受信信号を、発光タイミング毎(例えば10Hzの周波数の発光タイミング毎)に、所定回数分受信する。そして処理装置140は、所定回数分の特性分布を作成して相加平均し、合成分布を作成する。
図4のS101では、処理装置140は、合成分布と超音波画像とを重畳し、表示装置160に分布画像として重畳画像を表示させる。図5の上図に、その際の表示画面を示す。図5の分布画像202は重畳画像であるため、超音波画像により被検体内部の音響インピーダンスの差が示され、癌の境界などの形態情報が示される。また、光音響波画像からはヘモグロビンなどの特定の物質の濃度等の機能情報が示される。重畳画像を表示する際は、超音波画像はグレースケールで表示し、光音響画像はカラースケールで表示し、かつ透明度を設定することにより、夫々の画像を視認しやすくなる。このような重畳表示により、音響インピーダンスの差が大きな領域である癌患部等と思われる領域210や、光の吸収が大きい領域である血管と思われる領域200を表示することができる。
次に、分布画像202が表示されている状態で、ユーザが操作部723であるマウスを用いて画面上のROI設定アイコン230をクリックすると、分布画像上に矩形のROI220が表示される。マウス操作により矩形のROI220を移動して確定すると、S102で、処理装置140は、ユーザからの指定領域の情報としてROIの設定情報を受け付ける。
そして、ユーザが並列表示アイコン201をクリックすると、S103で、処理装置140は、並列表示モードの入力を受け付ける。
処理装置140は、並列表示モードの入力を受けると、S104で、ROI内の複数の特性情報の統計量として、ROI内の複数の特性情報の平均値を算出する。つまり、ROI内の複数のピクセル値やボクセル値の平均値を算出する。この際、合成分布を作成する際に用いている複数の特性分布毎に、この平均値を算出する。
次に、S105において、処理装置140は、分布画像202の隣に、算出した統計量の時間変動を示すデータ240として、算出された複数の特性情報の平均値の光照射毎の時間変動を示すデータ240を並べて表示させる(図5下図参照)。なお、本明細書において「並列表示」とは、図5のように画面内の左右に並べる場合だけでなく、上下に並べたり、不規則に配置してもよく、1つの画面内にそれらが表示されていればよい。
また、本実施形態としては、並列表示だけでなく、分布画像202と時間変動を示すデータ240とが重なっていてもよい。
つまり、処置装置140は、分布画像202と時間変動を示すデータ240とがあるタイミングにおいて共に表示されている状態となるよう制御することが好ましい。共に表示されている状態とは、分布画像202と時間変動を示すデータ240とが同時に表示される(表示開始タイミングが同じ)場合だけでない。分布画像2020と時間変動を示すデータ204とが別々のタイミングで表示開始されたとしても、あるタイミングにおいてはどちらも表示されている状態を有していればよい。
このように処理装置140は、分布画像202と時間変動を示すデータ240とを、同じ画面内に表示するための画像情報を表示装置160に出力する。これにより分布画像と時間変動に関するデータとを対比しやすく、且つ、ユーザはどの位置の時間変動か把握しやすいため使い勝手が向上する。
また、図5の下図において、表示されている時間変動を示すデータ240は、光の照射毎の特性情報の平均値の時間変動(つまり、光の照射周期と同じ周期の時間変動)を示しており、例えば10Hzの発光周波数であれば0.1sec刻みの特性情報の変化が表示される。これにより、例えば、血管の脈動に起因した収縮の違いによる、特性情報のROI内平均強度の時間推移を確認することができる。その結果、局所的な血液不足状況の確認や、がん患部への血管を通じた薬の伝搬の判断などが可能となり、診断確度が向上する可能性がある。ただし、時間変動を示す周期としては、光照射毎の時間変動だけでなく、所定回数の光照射毎の時間変動でもよい。また、光照射とは関係なく所定の周期(好ましくは1sec以下の周期)の時間変動を表示するようにしてもよい。
なお、本実施形態においては、S102とS103のステップは逆でもよい。また、並列表示アイコン201を省略し、S102においてROIの設定を受けると、S103とS104のステップが自動で行われるようにしてもよい。また、ROIの設定の際、マウスのクリックアンドドラッグによって画面上で閉曲線を作成し、自由な形状のROIを設定してもよい。自由な形状のROIを設定できると、アーティファクトと呼ばれるノイズや、意図的に排除したい領域を避けることができるため、診断に必要な領域のみ抽出することができ、使い勝手が向上する。
また、図5の例では、ユーザにより指定されたROI内の特性情報の時間変動を表示しているが、ユーザにより指定されたROIだけでなく、処理装置140が分布画像をもとに抽出した領域内の特性情報の時間変動を表示してもよい。具体的には、処理装置140が、分布画像における特性情報の値が所定値よりも大きな領域をROIとして自動抽出することが考えられる。
また、分布画像としては、合成分布(光音響画像である特性分布の合成画像)と音響特性に関する分布(超音波画像)との重畳画像だけでなく、特性分布だけや合成分布だけの分布画像でも良い。
さらに、時系列に得られる分布画像が、一定の時間間隔で時系列に切替えて(更新して)表示されてもよい。一定の時間間隔とは、分布画像が取得される周期等の所定の時間間隔であり、例えば発光と同じ周期(10Hzの発光の場合0.1sec間隔)でも良いし、目視可能なように1sec間隔でもよい。さらに、分布画像の表示として、合成分布の表示と、時系列の画像の切替え表示と、が選択可能になっていてもよい。
また、一定の時間間隔で分布画像を更新して表示する場合、特性情報の時間変動を示すデータも更新表示されることが好ましい。さらに、並列表示されている分布画像に対応するプロット点の色や大きさなどが、分布画像の更新にあわせて変更されることが好ましい。また、取得された分布画像や時間変動を示すデータが全て更新表示された場合、再表示や1回目の取得表示に戻ってもよい。
さらに、分布画像と時間変動を示すデータとで夫々異なる特性情報を示していても良い。つまり、分布画像として吸収係数(第1の特性情報)の分布を示し、時間変動を示すデータとして酸素飽和度(第2の特性情報)の時間変動を示すデータを表示してもよい。
また、上記例ではユーザからの並列表示モードの入力を受けて、特性情報の時間変動を示すデータ240を並べて表示している(つまり、並列表示モードの入力が無い場合は分布画像202のみ表示)。しかしながら、分布画像を表示する場合は、自動的に(デフォルトで)所定領域の特性情報の時間変動を示すデータを表示するようにしてもよい。さらに、処理装置140は、並列表示モードと単独表示モードとを選択的に実行可能にしてもよい。つまり、ユーザにより単独表示モードの入力があった場合は、分布画像と特性情報の時間変動を示すデータとを並べて表示せず、分布画像と特性情報の時間変動を示すデータとのうち、どちらか一方のみを表示するようにしてもよい。
さらに、本実施形態においては、光照射や音響波の受信等の測定が続き、分布画像が更新されている場合でも、一度ROIが設定されると、分布画像の更新にあわせて、設定されたROI内の特性情報の時間変動も更新されることが好ましい。具体的には、S104とS105とを繰り返すことで、指定されたROI内の特性情報の算出と、その特性情報の値のプロットと、が繰り返される。そこ結果、特性情報の値が更新されたデータ240が表示される。
以下、本実施形態における応用例について説明する。
(応用例1)
本応用例では、処理装置140がROI内の複数の特性情報の統計量を求める場合に、ROI内の全ての特性情報を用いず、ROI内の一部の特性情報のみを用いる。具体的には、特性情報の値(信号強度)に閾値を設け、その閾値を満たす特性情報のみを用いて平均値等の算出を行う。典型的には、特性情報の値(信号強度)が、ノイズ程度の強度に相当する特性情報は除き、所定の閾値よりも大きい値の特性情報を用いると良い。ノイズ程度の80dBを閾値とした場合、80dB以下の信号強度の特性情報を外し、80dBより大きい信号強度の特性情報を用いて平均を行うとよい。
また、下限の閾値だけでなく、上限の閾値(例えば150dB)を設け、突発的に信号強度が大きくなった特性情報を除き、150dBより小さい信号強度の特性情報を用いて平均することもできる。さらに、下限と上限の両方の閾値を設けても良い。
このように、平均だけでなくその他の統計量の場合においても、統計量を求める場合に、下限の閾値及び上限の閾値のうち少なくともいずれかを設けることにより、ノイズや突発的な変動値をもつ特性情報を除くことができる。よって、より有効な領域部分の特性情報の時間変動を抽出することができ、より特性情報の時間変動が確認しやすくなる。
(応用例2)
本応用例では、処理装置140が、ユーザからの入力を受けて、複数のROIを設定することを特徴とする。図6は本応用例における表示画面の模式図である。まず、ユーザが、画面上に表示されたマウスカーソルでROI設定アイコン330を確定すると、分布画像302上に矩形のROI320が表示される。このROI320をユーザが所望の位置に移動させて確定すると、処理装置140は、ROI320の設定を受け、このROI320内の特性情報の統計量の時間変動を示すデータ340を表示する。
さらに、ユーザによりROI設定アイコン330が再度クリックされると、分布画像302上に別の矩形のROI321が表示される。そして、このROI321をユーザが所望の位置に移動させて確定すると、処理装置140は、このROI321内の特性情報の統計量の時間変動を示すデータ341を表示する。
このように、複数のROIを設定することが可能であると、同一の分布画像内の複数個所のROIの特性情報の変化を同時に観察することができる。よって、異なる領域間での特性情報の信号の大小や振幅量の違いを容易に認識できるため、例えば血液や薬の伝達状況等の違いを確認することができ、さらに診断確度が向上する可能性がある。
<第2の実施形態>
本実施形態は、処理装置140の処理内容が第1の実施形態と異なる。本実施形態の被検体情報取得装置は、図1及び図3で示した装置と同様の構成の装置を用いる。また、表示方法の概略も図4で説明したフローと基本的に同じであるため、以下では、図7を用いて第1の実施形態とは異なる部分に絞って説明する。
本実施形態は、特性情報の時間変動を示すデータに基づいて、合成分布を再度作成することを特徴とする。図7は、本実施形態において表示される特性情報の時間変動を示すデータ401を説明するための模式図である。
図7に示す特性情報の時間変動を示すデータは、第1の実施形態に記載の方法を用いて作成されるデータである。具体的には、図4のフローで説明したように、処理装置140が、複数の光照射により得られる複数の特性分布を合成して合成分布を表示する。そして、合成分布内においてROIが設定されると、処理装置140は、ROI内の特性情報の統計量を、合成分布に用いられている特性分布毎に算出し、特性情報の時間変動として表示する。つまり、図7のデータは、複数回の光照射により得られる特性分布分の特性情報が並べられているため、光の照射毎の特性情報の時間変動として示されることになる。
ここで、特性情報の時間変動を示すデータ401において、特異的に値が大きくなっている特異点410と、特異的に値が小さくなっている特異点411が確認できる。このような特異点410や特異点411は、測定時のプローブと被検体との相対位置ズレ等の影響が考えられる。しかしながら、表示している合成分布は、特異点410や特異点411に対応する時間の特性分布も用いて合成されているため、信頼性が低下する可能性がある。
そこで、本実施形態では、ユーザが特異点410や特異点411を、マウスを用いて指定することにより、処理装置140は、その指定された特異点410や特異点411に対応する時間の特性分布を除いて、再度合成分布を作成することができる。よって、本実施形態により、より信頼度の高い分布画像を提示することができる。
<第3の実施形態>
本発明は、以下の処理を実行することによっても実現される。即ち、上述した各実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
以上、各実施形態を説明したが、本発明はこれらの実施形態に限らず、特許請求の範囲を逸脱しない限りにおいて、種々の変形例、応用例も包含するものである。
110 光源
120 出射端
130 プローブ
131 変換素子
140 処理装置
160 表示装置

Claims (22)

  1. 光を照射する光源と、
    前記光源から光が照射されることにより被検体内で発生した音響波を受信して受信信号に変換する変換素子と、
    前記受信信号を用いて前記被検体内の複数の位置に夫々対応した特性情報の分布を示す特性分布を取得する処理部と、を有する被検体情報取得装置であって、
    前記処理部は、前記光源から光が複数回照射されることによって複数の特性分布を取得し、前記複数の特性分布を合成した合成分布を用いて作成された分布画像と、
    前記分布画像における所定の領域に対して前記光源から光が複数回照射されることによって取得されたそれぞれの特性分布に対応する特性情報の時間変動を示すデータと、を表示部に表示させるための画像情報を出力することを特徴とする被検体情報取得装置。
  2. 前記処理部は、
    前記所定の領域における複数の位置の特性情報の統計量を算出し、
    前記特性情報の時間変動を示すデータとして、前記統計量の時間変動を示すデータを表示させることを特徴とする請求項1に記載の被検体情報取得装置。
  3. 前記処理部は、少なくとも並列表示モードと単独表示モードとを選択的に実行可能に構成されており、
    ユーザにより前記並列表示モードの入力を受けた場合は、前記分布画像と、前記特性情報の時間変動を示すデータと、を前記表示部に表示させ、
    前記並列表示モードの入力がない場合、又は、ユーザにより前記単独表示モードの入力を受けた場合は、前記分布画像と、前記特性情報の時間変動を示すデータと、を前記表示部に表示しないことを特徴とする請求項1又は2に記載の被検体情報取得装置。
  4. 前記処理部は、前記分布画像のうちのユーザにより指定された指定領域の情報を受け、前記分布画像の前記指定領域における特性情報の時間変動を示すデータを表示させることを特徴とする請求項1乃至3のいずれか1項に記載の被検体情報取得装置。
  5. 前記処理部は、前記被検体に光が所定回数照射された場合に、前記光の照射毎に前記複数の変換素子から出力される複数の受信信号を前記所定回数分受信することにより、前記所定回数分の特性分布を生成し、
    前記所定回数分の特性分布を合成した合成分布を、前記分布画像として表示させることを特徴とする請求項1乃至4のいずれか1項に記載の被検体情報取得装置。
  6. 前記処理部は、前記被検体に前記光が複数回照射された場合に、前記光の照射毎に前記複数の変換素子から出力される複数の受信信号を受信することにより、前記光の照射毎の前記特性情報の時間変動を示すデータを表示させることを特徴とする請求項1乃至5のいずれか1項に記載の被検体情報取得装置。
  7. 前記処理部は、
    前記特性情報として、第1の特性情報と、前記第1の特性情報とは異なる第2の特性情報と、を取得し、
    前記被検体内の複数の位置に夫々対応した前記第1の特性情報の分布を示す特性分布を用いて作成された分布画像と、前記分布画像の前記所定の領域における前記第2の特性情報の時間変動を示すデータと、を前記表示部に表示させることを特徴とする請求項1乃至6のいずれか1項に記載の被検体情報取得装置。
  8. 前記処理部は、前記特性情報として、前記光を吸収することにより発生する音響波の音圧、前記光の吸収係数、酸素飽和度、物質の濃度、のうちの少なくともいずれかを反映した情報を取得することを特徴とする請求項1乃至7のいずれか1項に記載の被検体情報取得装置。
  9. 光の照射により発生する音響波を受信して複数の第1の受信信号に変換するための複数の変換素子と、
    音響波を送信して、前記被検体内で反射された反射波を受信して複数の第2の受信信号に変換するための複数の変換素子と、を備え、
    前記処理部は、
    前記複数の第1の受信信号を用いて前記特性分布又は前記特性分布が合成された合成分布を作成し、
    前記複数の第2の受信信号を用いて音響特性に関する分布を作成し、
    前記特性分布又は前記合成分布と、前記音響特性に関する分布と、を重畳して重畳画像を前記分布画像として表示させることを特徴とする請求項1乃至8のいずれか1項に記載の被検体情報取得装置。
  10. 前記表示部は、前記光源から光が複数回照射されることによって複数の特性分布を取得し、前記複数の特性分布を合成した合成分布を用いて作成された分布画像と、前記分布画像における所定の領域に対して前記光源から光が複数回照射されることによって取得されたそれぞれの特性分布に対応する特性情報の時間変動を示すデータとを同一画面に表示することを特徴とする請求項1に記載の被検体情報取得装置。
  11. 前記処理部は、前記特性情報の時間変動における特異点に基づいて、前記特異点に対応する時間の特性分布を除いた複数の特性分布を合成した合成分布を用いて分布画像を作成することを特徴とする請求項1に記載の被検体情報取得装置。
  12. 前記特性情報の時間変動における特異点を指定する指定手段を備え、前記処理部は、前記特異点に対応する時間の特性分布を除いた複数の特性分布を合成した合成分布を用いて分布画像を作成することを特徴とする請求項1に記載の被検体情報取得装置。
  13. 被検体への光照射により発生する音響波に基づいて生成された前記被検体の特性情報を取得する処理部を有し、
    前記処理部は、
    複数回の光照射に対応する複数の特性分布を取得し、前記複数の特性分布を合成した合成分布を用いて作成された分布画像と、
    前記分布画像の関心領域において複数回の光照射によって取得されたそれぞれの特性分布に対応する特性情報の時間変動を示すデータとを表示部に表示させることを特徴とする処理装置。
  14. 光が照射された被検体内で発生する音響波を受信することにより被検体情報取得装置で取得された特性分布を用いて、画像を表示部に表示する表示方法であって、
    前記取得された特性分布は、前記音響波を受信して得られる受信信号を用いて取得された前記被検体内の複数の位置に夫々対応した特性情報の分布であり、
    複数回の光照射に対応する複数の特性情報を取得するステップと、
    前記複数の特性分布を合成した合成分布を用いて作成された分布画像と、前記分布画像における所定の領域に対して複数回の光照射によって取得されたそれぞれの特性分布に対応する特性情報の時間変動を示すデータとを前記表示部に表示するステップとを有することを特徴とする表示方法。
  15. 前記表示するステップでは、
    前記特性情報の時間変動を示すデータとして、前記所定の領域における複数の位置の特性情報の統計量の時間変動を示すデータを表示することを特徴とする請求項14に記載の表示方法。
  16. 少なくとも並列表示モードと単独表示モードとを選択的に実行可能であり、
    ユーザにより前記並列表示モードの入力を受けた場合は、前記分布画像と、前記特性情報の時間変動を示すデータと、を前記表示部に表示し、
    前記並列表示モードの入力がない場合、又は、ユーザにより前記単独表示モードの入力を受けた場合は、前記分布画像と、前記特性情報の時間変動を示すデータと、を前記表示部に表示しないことを特徴とする請求項14又は15に記載の表示方法。
  17. ユーザにより指定された指定領域の情報を受けるステップをさらに有し、
    前記表示するステップでは、前記分布画像の前記指定領域における特性情報の時間変動を示すデータを表示することを特徴とする請求項14乃至16のいずれか1項に記載の表示方法。
  18. 前記表示するステップでは、
    前記被検体に光が所定回数照射された場合に、前記光の照射毎に得られる前記所定回数分の特性分布が合成された合成分布を前記分布画像として表示することを特徴とする請求項14乃至17のいずれか1項に記載の表示方法。
  19. 前記表示するステップでは、
    前記被検体に光が所定回数照射された場合に、前記時間変動を示すデータとして前記光の照射毎の前記特性情報の時間変動を示すデータを表示することを特徴とする請求項14乃至18のいずれか1項に記載の表示方法。
  20. 前記取得された特性情報は、第1の特性情報と、前記第1の特性情報とは異なる第2の特性情報と、を含み、
    前記表示するステップでは、
    前記被検体内の複数の位置に夫々対応した前記第1の特性情報の分布を示す特性分布を用いて作成された分布画像と、前記分布画像の所定の領域における前記第2の特性情報の時間変動を示すデータと、を前記表示部に表示することを特徴とする請求項14乃至19のいずれか1項に記載の表示方法。
  21. 音響波を送信して前記被検体内で反射した反射波を受信することにより被検体情報取得装置で取得された被検体内の音響特性に関する分布の情報を受けるステップをさらに有し、
    前記表示するステップでは、
    前記特性分布又は前記特性分布が合成された合成分布と、前記音響特性に関する分布と、が重畳された重畳画像を前記分布画像として表示することを特徴とする請求項14乃至20のいずれか1項に記載の表示方法。
  22. 請求項14乃至21のいずれか1項に記載の表示方法の各ステップをコンピュータに実行させるためのプログラム。
JP2019140173A 2012-12-28 2019-07-30 被検体情報取得装置、表示方法、プログラム、処理装置 Active JP6821752B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012286683 2012-12-28
JP2012286683 2012-12-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018016509A Division JP2018086291A (ja) 2012-12-28 2018-02-01 被検体情報取得装置、表示方法、プログラム、処理装置

Publications (2)

Publication Number Publication Date
JP2019177298A JP2019177298A (ja) 2019-10-17
JP6821752B2 true JP6821752B2 (ja) 2021-01-27

Family

ID=62494000

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018016509A Pending JP2018086291A (ja) 2012-12-28 2018-02-01 被検体情報取得装置、表示方法、プログラム、処理装置
JP2019140173A Active JP6821752B2 (ja) 2012-12-28 2019-07-30 被検体情報取得装置、表示方法、プログラム、処理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018016509A Pending JP2018086291A (ja) 2012-12-28 2018-02-01 被検体情報取得装置、表示方法、プログラム、処理装置

Country Status (1)

Country Link
JP (2) JP2018086291A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3410821B2 (ja) * 1993-07-12 2003-05-26 株式会社東芝 超音波診断装置
JP3697292B2 (ja) * 1995-05-17 2005-09-21 株式会社東芝 超音波診断装置
JP4643153B2 (ja) * 2004-02-06 2011-03-02 株式会社東芝 非侵襲生体情報映像装置
JP5419404B2 (ja) * 2008-09-04 2014-02-19 キヤノン株式会社 光音響装置

Also Published As

Publication number Publication date
JP2018086291A (ja) 2018-06-07
JP2019177298A (ja) 2019-10-17

Similar Documents

Publication Publication Date Title
US11323625B2 (en) Subject information obtaining apparatus, display method, program, and processing apparatus
JP6440140B2 (ja) 被検体情報取得装置、処理装置、および信号処理方法
JP6335612B2 (ja) 光音響装置、処理装置、処理方法、及びプログラム
JP6132466B2 (ja) 被検体情報取得装置及び被検体情報取得方法
JP6498036B2 (ja) 光音響装置、信号処理方法、及びプログラム
JP6525565B2 (ja) 被検体情報取得装置および被検体情報取得方法
JP2015085013A (ja) 被検体情報取得装置、表示方法、被検体情報取得方法、及びプログラム
JP2018011949A (ja) 超音波画像及び光音響画像を表示させる装置、方法、及びプログラム
US11006929B2 (en) Object information acquiring apparatus and signal processing method
JP6742745B2 (ja) 情報取得装置および表示方法
JP2018061725A (ja) 被検体情報取得装置および信号処理方法
EP3415097B1 (en) Acoustic wave image generation device and acoustic wave image generation method
JP6821752B2 (ja) 被検体情報取得装置、表示方法、プログラム、処理装置
JP6942847B2 (ja) 被検体情報取得装置および信号処理方法
CN110384480B (zh) 被检体信息取得装置、被检体信息处理方法和存储介质
JP7314371B2 (ja) 被検体情報取得装置、被検体情報処理方法、およびプログラム
JP6513121B2 (ja) 処理装置、被検体情報取得装置、光音響画像の表示方法、及びプログラム
JP2019136520A (ja) 処理装置、光音響画像の表示方法、及びプログラム
JP2018175497A (ja) 情報処理装置、被検体情報取得装置および情報処理方法
JP2018038693A (ja) 光音響装置および信号処理方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190821

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210106

R151 Written notification of patent or utility model registration

Ref document number: 6821752

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151