JP5322662B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP5322662B2
JP5322662B2 JP2009002439A JP2009002439A JP5322662B2 JP 5322662 B2 JP5322662 B2 JP 5322662B2 JP 2009002439 A JP2009002439 A JP 2009002439A JP 2009002439 A JP2009002439 A JP 2009002439A JP 5322662 B2 JP5322662 B2 JP 5322662B2
Authority
JP
Japan
Prior art keywords
breast
image
supine
region
position image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009002439A
Other languages
English (en)
Other versions
JP2010158386A (ja
Inventor
恭子 佐藤
仁 山形
重治 大湯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2009002439A priority Critical patent/JP5322662B2/ja
Publication of JP2010158386A publication Critical patent/JP2010158386A/ja
Application granted granted Critical
Publication of JP5322662B2 publication Critical patent/JP5322662B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、画像処理装置に関する。
近年、癌疾患死亡者数に占める乳癌の割合が増加傾向にある。このため、乳癌検診においては、X線CT(Computed Tomography)装置や超音波診断装置による検診に加え、乳腺専用コイルを用いたMRI(Magnetic Resonance Imaging)装置による検診が推奨されている。乳腺専用コイルを用いて撮像された乳房の画像は、乳腺や腫瘍等、軟組織の微小な変化を鮮明に描出するからである。
乳腺専用コイルを用いた撮像は腹臥位で行われるので、乳房は下垂状態になり、乳腺も乳頭付近に集中する。一方、治療時等には仰臥位になることが多いので、乳房は胸骨上面で潰れた状態になり、乳腺も移動する。このため、腹臥位で撮像された画像から乳腺や腫瘍の位置情報を取得しても、仰臥位になる治療時には該位置情報を用いることができず、仰臥位で撮像された画像から改めて乳腺や腫瘍の位置情報が取得される。
なお、従来、形状変化を抑えて乳房を撮像する手法として、乳房を収容するカップや医療用シートを用いる手法がある。また、皮膚に添着されたマーカを使用して形状変化する乳房の位置情報を計算する手法がある。
特開2006−325972号公報 実用新案登録第3128904号 特開2003−260038号公報 特開2007−282960号公報 特開2007−50159号公報 特表2001−511691号公報
上記した従来の技術では、腹臥位で撮像された乳房の画像を有効活用することができないという課題があった。例えば、腹臥位で撮像された乳房の画像から乳腺や腫瘍の位置情報を取得しても、仰臥位になる治療時には乳腺や腫瘍が移動してしまい、該位置情報を用いることができない。また、例えば、腹臥位で撮像された乳房の画像が乳腺専用コイルを用いて撮像された画像である場合、画像は、乳腺や腫瘍を鮮明に描出する画質の良い画像となる。しかしながら、形状変形に伴い乳腺や腫瘍の位置情報が変わる問題には対応できない。
なお、形状変化を抑えて乳房を撮像する手法では、カップや医療用シートが治療の妨げとなる場合があり、また、マーカを使用して位置情報を計算する手法は、皮膚にマーカを添着するものであり、いずれも上記した課題を適切に解決し得るものではない。
そこで、本発明は、上記した従来の技術の課題を解決するためになされたものであり、腹臥位で撮像された乳房の画像を有効活用することが可能な画像処理装置を提供することを目的とする。
上述した課題を解決し、目的を達成するため、請求項1に係る発明は、被検体の乳房が乳腺専用コイルを用いて腹臥位で撮像された腹臥位画像から、該乳房の形状変化を追従する乳房モデルを作成する乳房モデル作成手段と、前記被検体の乳房が仰臥位で撮像された仰臥位画像に前記乳房モデル作成手段によって作成された乳房モデルを適用し、該仰臥位画像に描出された乳房領域をシミュレーションすることで、前記腹臥位画像に描出された乳房領域の画素と該仰臥位画像に描出された乳房領域の画素との対応関係を取得するシミュレーション手段と、前記シミュレーション手段によって取得された対応関係に従って、前記腹臥位画像に描出された乳房領域の画素を該仰臥位画像に描出された乳房領域の画素に合成する合成手段とを備えたことを特徴とする。
また、請求項5に係る発明は、被検体の乳房が腹臥位で撮像された腹臥位画像から、該乳房の形状変化を追従する乳房モデルを作成する乳房モデル作成手段と、前記被検体の乳房が仰臥位で撮像された仰臥位画像に前記乳房モデル作成手段によって作成された乳房モデルを適用し、該仰臥位画像に描出された乳房領域をシミュレーションすることで、前記腹臥位画像に描出された乳房領域内の関心領域と該仰臥位画像に描出された乳房領域内の関心領域との対応関係を取得するシミュレーション手段と、前記シミュレーション手段によって取得された対応関係を該仰臥位画像に描出する描出手段とを備えたことを特徴とする。
請求項1の発明によれば、腹臥位で撮像された乳房の画像を有効活用することが可能になる。腹臥位画像に描出された乳房領域の画素を仰臥位画像に描出された乳房領域の画素に合成する結果、腹臥位画像に鮮明に描出された画素が仰臥位画像に合成されることになり、仰臥位画像の画質を向上することが可能になる。
請求項5の発明によれば、腹臥位で撮像された乳房の画像を有効活用することが可能になる。腹臥位画像に描出された乳房領域の画素を仰臥位画像に描出された乳房領域の画素に合成する結果、腹臥位画像に鮮明に描出された画素が仰臥位画像に合成されることになり、仰臥位画像の画質を向上することが可能になる。
図1は、実施例1に係る画像処理装置の概要を説明するための図である。 図2は、実施例1に係る画像処理装置の構成を示す機能ブロック図である。 図3は、実施例1に係る画像処理装置による処理手順を示すフローチャートである。 図4は、乳房形状抽出処理を説明するための図である。 図5は、乳房モデル作成処理を説明するための図である。 図6は、位置合わせ/形状補正処理を説明するための図である。 図7は、仰臥位シミュレーション処理を説明するための図である。 図8は、表示画像合成処理を説明するための図である。 図9は、実施例2に係る画像処理装置の構成を示す機能ブロック図である。 図10は、乳房弾性率算出部を説明するための図である。 図11は、実施例3に係る画像処理装置の概要を説明するための図である。 図12は、実施例3に係る画像処理装置の構成を示す機能ブロック図である。 図13は、実施例3に係る画像処理装置による処理手順を示すフローチャートである。
以下に添付図面を参照して、本発明に係る画像処理装置の実施例を詳細に説明する。まず、実施例1に係る画像処理装置の概要を説明し、続いて、実施例1に係る画像処理装置の構成、処理手順及び効果を順に説明する。その後、他の実施例を説明する。
[実施例1に係る画像処理装置の概要]
図1を用いて、実施例1に係る画像処理装置の概要を説明する。図1は、実施例1に係る画像処理装置の概要を説明するための図である。図1に示すように、4枚の医用画像の内の左側2枚が、被検体の乳房が乳腺専用コイルを用いて腹臥位で撮像された画像(以下、腹臥位画像)であり、右下が、被検体の乳房が仰臥位で撮像された画像(以下、仰臥位画像)であり、右上が、仰臥位で撮像された画像と腹臥位で撮像された画像の合成画像である。
まず、実施例1に係る画像処理装置は、(1)に示すように、腹臥位画像から乳房モデルを作成する。ここで、乳房モデルとは、乳房の形状変化を追従する物理モデルである。
次に、画像処理装置は、(2)に示すように、仰臥位画像に乳房モデルを適用し、仰臥位画像に描出された乳房領域をシミュレーションする。
続いて、画像処理装置は、(3)に示すように、腹臥位画像に描出された乳房領域の画素と仰臥位画像に描出された乳房領域の画素との対応関係を取得する。
そして、画像処理装置は、(4)に示すように、取得した対応関係に従って、腹臥位画像に描出された乳房領域の画素を仰臥位画像に描出された乳房領域の画素に合成する。
このように、実施例1に係る画像処理装置によれば、腹臥位画像に描出された乳房領域の画素を仰臥位画像に描出された乳房領域の画素に合成する結果、腹臥位画像に鮮明に描出された画素が仰臥位画像に合成されることになり、仰臥位画像の画質を向上することが可能になる。
[実施例1に係る画像処理装置の構成]
次に、図2を用いて、実施例1に係る画像処理装置の構成を説明する。図2は、実施例1に係る画像処理装置の構成を示す機能ブロック図である。
実施例1に係る画像処理装置100は、図2に示すように、腹臥位画像処理部10と乳房モデル処理部20と仰臥位画像処理部30とシミュレーション部40と画像出力部50とを備える。なお、実施例1に係る画像処理装置100は、PACS(Picture Archiving and Communication System)のネットワークを介して外部装置である医用画像撮像装置と接続され、DICOM(Digital Imaging and Communications in Medicine)規格に則って医用画像撮像装置から送信された医用画像を受信する。
腹臥位画像処理部10は、図2に示すように、腹臥位画像入力部11と乳房形状抽出部12と乳房内特徴領域抽出部13とを備える。
腹臥位画像入力部11は、腹臥位画像の入力を受け付ける。具体的には、腹臥位画像入力部11は、外部装置である医用画像撮像装置から送信された医用画像を受信することで腹臥位画像の入力を受け付けると、受け付けた腹臥位画像を乳房形状抽出部12に送信する。なお、腹臥位画像入力部11は、画像処理装置100の操作者によって入力された腹臥位画像を受け付けてもよい。
ここで、実施例1における腹臥位画像は、被検体の乳房がMRI装置の乳腺専用コイルを用いて腹臥位で撮像された画像(複数の体軸断面画像など)である。乳房と腫瘍の判別が可能であれば、造影画像である必要はない。
乳房形状抽出部12は、腹臥位画像から乳房の形状を示す乳房領域を抽出する。具体的には、乳房形状抽出部12は、腹臥位画像入力部11から送信された腹臥位画像から乳房領域を抽出し、抽出した乳房領域および腹臥位画像を乳房内特徴領域抽出部13およびシミュレーション部40に送信する。
乳房内特徴領域抽出部13は、乳房領域から特徴領域を抽出する。具体的には、乳房内特徴領域抽出部13は、乳房形状抽出部12から送信された腹臥位画像の内、乳房形状抽出部12から送信された乳房領域内から特徴領域を抽出する。また、乳房内特徴領域抽出部13は、腹臥位画像、乳房領域および特徴領域を乳房モデル処理部20に送信し、特徴領域をシミュレーション部40に送信する。
乳房モデル処理部20は、図2に示すように、乳房モデル作成部21とモデル係数設定部22とを備える。
乳房モデル作成部21は、腹臥位画像から乳房モデルを作成する。具体的には、乳房モデル作成部21は、乳房内特徴領域抽出部13から送信された腹臥位画像の内、乳房内特徴領域抽出部13から送信された乳房領域および特徴領域を再分割し、乳房モデルを作成する。また、乳房モデル作成部21は、乳房モデルをモデル係数設定部22に送信する。
モデル係数設定部22は、乳房モデルの係数を設定する。具体的には、モデル係数設定部22は、乳房モデル作成部21から送信された乳房モデルに係数を設定し、係数を設定した乳房モデルをシミュレーション部40に送信する。
仰臥位画像処理部30は、仰臥位画像入力部31と乳房形状抽出部32と乳房内特徴領域抽出部33とを備える。
仰臥位画像入力部31は、仰臥位画像の入力を受け付ける。具体的には、仰臥位画像入力部31は、外部装置である医用画像撮像装置から送信された医用画像を受信することで仰臥位画像の入力を受け付けると、受け付けた仰臥位画像を乳房形状抽出部32に送信する。なお、仰臥位画像入力部31は、画像処理装置100の操作者によって入力された仰臥位画像を受け付けてもよい。
ここで、実施例1における仰臥位画像は、被検体の乳房がMRI装置を用いて仰臥位で撮像された画像である。なお、仰臥位画像は、乳房専用コイルを用いずに撮像された画像を想定しているので、画質が悪いことが想定される。
乳房形状抽出部32は、仰臥位画像から乳房の形状を示す乳房領域を抽出する。具体的には、乳房形状抽出部32は、仰臥位画像入力部31から送信された仰臥位画像から乳房領域を抽出し、抽出した乳房領域および仰臥位画像を乳房内特徴領域抽出部33およびシミュレーション部40に送信する。なお、実施例1における乳房形状抽出部32による処理は、乳房形状抽出部12による処理と同様である。
乳房内特徴領域抽出部33は、乳房領域から特徴領域を抽出する。具体的には、乳房内特徴領域抽出部33は、乳房形状抽出部32から送信された仰臥位画像の内、乳房形状抽出部32から送信された乳房領域内から特徴領域を抽出する。また、乳房内特徴領域抽出部33は、特徴領域をシミュレーション部40に送信する。なお、実施例1における乳房内特徴領域抽出部33による処理は、乳房内特徴領域抽出部13による処理と同様であるが、仰臥位画像は、乳房専用コイルを用いずに撮像された画像を想定しているので、画質が悪く、抽出される特徴領域も異なることが想定される。
シミュレーション部40は、位置合わせ/形状補正部41と仰臥位シミュレーション部42とを備える。
位置合わせ/形状補正部41は、仰臥位画像に乳房モデルを適用する。モデル係数設定部22から送信された乳房モデルと乳房形状抽出部32から送信された仰臥位画像とを位置合わせするとともに乳房の形状を補正し、補正後の乳房モデルおよび仰臥位画像を仰臥位シミュレーション部42に送信する。
この時、位置合わせ/形状補正部41は、乳房形状抽出部12から送信された乳房領域および腹臥位画像、乳房内特徴領域抽出部13から送信された特徴領域、乳房形状抽出部32から送信された乳房領域および仰臥位画像、乳房内特徴領域抽出部33から送信された特徴領域を適宜用いる。
仰臥位シミュレーション部42は、仰臥位画像に描出された乳房領域をシミュレーションすることで、腹臥位画像に描出された乳房領域の画素と仰臥位画像に描出された乳房領域の画素との対応関係を取得する。具体的には、仰臥位シミュレーション部42は、位置合わせ/形状補正部41から送信された乳房モデルおよび仰臥位画像を用いて仰臥位画像に描出された乳房領域をシミュレーションし、画素の対応関係を取得すると、取得した対応関係を画像出力部50に送信する。
画像出力部50は、表示画像合成部51と画像表示部52とを備える。
表示画像合成部51は、腹臥位画像に描出された乳房領域の画素を仰臥位画像に描出された乳房領域の画素に合成する。具体的には、表示画像合成部51は、仰臥位シミュレーション部42から送信された対応関係に従って、腹臥位画像に描出された乳房領域の画素を仰臥位画像に描出された乳房領域の画素に合成し、合成後の仰臥位画像を画像表示部52に送信する。
画像表示部52は、合成後の仰臥位画像を表示する。具体的には、画像表示部52は、表示画像合成部51から送信された合成後の仰臥位画像をモニタなどの出力部に表示する。なお、仰臥位画像は、3D画像として表示してもよい。
[実施例1に係る画像処理装置による処理手順]
続いて、図3〜8を用いて、実施例1に係る画像処理装置による処理手順を説明する。図3は、実施例1に係る画像処理装置による処理手順を示すフローチャートであり、図4は、乳房形状抽出処理を説明するための図であり、図5は、乳房モデル作成処理を説明するための図であり、図6は、位置合わせ/形状補正処理を説明するための図であり、図7は、仰臥位シミュレーション処理を説明するための図であり、図8は、表示画像合成処理を説明するための図である。なお、以下では、図2に示した画像処理装置の構成を用いて説明する。
ステップS101では、腹臥位画像入力部11が、腹臥位画像の入力を受け付けたか否かを判定しており(、入力を受け付けない場合には(ステップS101否定)、入力を受け付けたか否かを判定する処理に戻る。
腹臥位画像入力部11が腹臥位画像の入力を受け付けると(ステップS101肯定)、次に、ステップS102では、乳房形状抽出部12が、腹臥位画像から乳房領域を抽出し、乳房内特徴領域抽出部13が、乳房領域から特徴領域を抽出する。
乳房形状抽出部12は、公知の画像処理手法を用いて乳房領域を抽出することができるが、実施例1においては、画素値を閾値とする画像処理手法を用いる。また、乳房内特徴領域抽出部13は、公知の画像処理手法を用いて特徴領域を抽出することができるが、実施例1においては、画素値を閾値とする画像処理手法を用いる。
ここで、図4を用いて、まず、乳房形状抽出部12による処理を詳述する。図4に示す腹臥位画像は、任意の体軸断面(Axial断面)を示すものである。乳房形状抽出部12による処理の概念を説明すると、まず、乳房形状抽出部12は、胸骨(大胸筋)が持つ画素値を閾値に設定し、腹臥位画像から胸骨(大胸筋)領域を抽出する。次に、乳房形状抽出部12は、体表面(輪郭)が持つ画素値を閾値に設定し、腹臥位画像から体表面(輪郭)を抽出する。
そして、乳房形状抽出部12は、胸骨領域内の重心Oを求め、重心Oを含み冠状断面(Coronal断面)に平行な面PCrと胸骨との交点を胸骨の境界点SRi/SLi(i=0、・・・、N)として求め、冠状断面に平行な面PCrと体表面との交点を乳房の境界点BRi/BLi(i=0、・・・、N)として求める。最後に、乳房形状抽出部12は、冠状断面に平行な面PCrよりも体位前側(Anterior側)に存在する胸骨領域(SRi−SLi)、乳房輪郭(BRi−BLi)、および各境界点(BRi−SRi、SLi−BLi)を繋ぐ領域を全て繋げることで、閉じた領域として乳房領域(SRi−SLi−BLi−BRi−SRi)を抽出する。
続いて、乳房内特徴領域抽出部13が、抽出対象の特徴領域として、腫瘍、乳腺、乳管、乳房提靱帯等を抽出する。もっとも、例えば乳房提靱帯は、撮像手法によっては描出されない場合や、画質により境界が判別できず抽出が難しい場合などがある。このため、乳房内特徴領域抽出部13が抽出する特徴領域の対象は、腹臥位画像の撮像手法等によって予め設定されるものであるとする。腫瘍が関心領域である場合には、乳房内特徴領域抽出部13は、少なくとも腫瘍領域を特徴領域として抽出する。
まず、乳房内特徴領域抽出部13は、任意の画素値を閾値に設定し、乳房領域から腫瘍領域を抽出する。また、乳房内特徴領域抽出部13は、抽出した腫瘍領域の輪郭を抽出する。その他、乳腺、乳管、乳房提靱帯等の特徴領域が抽出可能な画像である場合には、乳房内特徴領域抽出部13は、同様に、これらの特徴領域を抽出する。
ステップS103では、乳房モデル作成部21が、腹臥位画像から乳房モデルを作成し、モデル係数設定部22が、乳房モデルに係数を設定する。
ここで、図5を用いて、乳房モデル作成部21による処理を詳述する。乳房モデル作成部21は、公知の物理モデルを用いて作成することができるが、例えば、図5の(a)に示す腹臥位画像から図5の(b)に示すバネ−質点モデルを作成する。バネ−質点モデルとは、質点と各質点間をバネ/ダンパーで連結したモデルである。なお、領域を三角形のパッチで分割する有限要素モデルを作成する手法でもよい。
続いて、モデル係数設定部22が、乳房モデルに必要な係数として弾性率等を設定する。なお、実施例1におけるモデル係数設定部22は、弾性率として、脂肪組織や腫瘍組織として一般に算出されている値を用いるものとする。また、モデル係数設定部22は、乳房モデルがバネ−質点モデルの場合には、弾性率をバネ−ダンパー値に変換してから設定するなど、弾性率を乳房モデルに応じて変換してから設定する。
ステップS104では、仰臥位画像入力部31も、仰臥位画像の入力を受け付けたか否かを判定しており、入力を受け付けない場合には(ステップS104否定)、入力を受け付けたか否かを判定する処理に戻る。
仰臥位画像入力部31が仰臥位画像の入力を受け付けると(ステップS104肯定)、次に、ステップS105では、乳房形状抽出部32が、仰臥位画像から乳房領域を抽出し、乳房内特徴領域抽出部33が、乳房領域から特徴領域を抽出する。なお、乳房領域から特徴領域を抽出する処理は、ステップS102と同様の処理である。
ステップS106では、位置合わせ/形状補正部41が、乳房モデルの作成と仰臥位画像からの特徴領域の抽出とが完了したか否かを判定しており、完了していない場合には(ステップS106否定)、完了したか否かを判定する処理に戻る。
完了したと判定すると(ステップS106肯定)、ステップS107では、位置合わせ/形状補正部41が、乳房モデルと仰臥位画像とを位置合わせするとともに乳房の形状を補正する。
ここで、図6を用いて、位置合わせ/形状補正部41による処理を詳述する。図6の(a)および(b)に示すように、胸骨領域は、腹臥位もしくは仰臥位の体位によって変形しない固定領域である。このため、位置合わせ/形状補正部41は、乳房モデルの胸骨領域と仰臥位画像の胸骨領域とを位置合わせする。また、位置合わせ/形状補正部41は、図6の(b)に示すように、仰臥位画像の乳房領域の輪郭に乳房モデルの境界点が重なるように移動し、乳房の形状を補正する。
ステップS108では、仰臥位シミュレーション部42が、仰臥位画像に位置合わせされ補正された乳房モデルをシミュレーションし、腹臥位画像に描出された乳房領域の画素と仰臥位画像に描出された乳房領域の画素との対応関係を取得する。
ここで、図7を用いて、仰臥位シミュレーション部42による処理を詳述する。仰臥位シミュレーション部42は、図7の(a)に示すように、乳房の形状が補正された乳房モデルを用いて乳房領域をシミュレーションすることで、図7の(b)に示すように、乳房モデルの質点と仰臥位画像に描出された乳房領域の画素との対応関係を取得する。この時、乳房モデルの質点と腹臥位画像に描出された乳房領域の画素との対応関係は既知であるので、結果として、仰臥位シミュレーション部42は、腹臥位画像に描出された乳房領域の画素と仰臥位画像に描出された乳房領域の画素との対応関係を取得する。
ステップS109では、表示画像合成部51が、ステップS108において取得された対応関係に従って、腹臥位画像に描出された乳房領域の画素を仰臥位画像に描出された乳房領域の画素に合成する。
ここで、図8を用いて、表示画像合成部51による処理を詳述する。表示画像合成部51は、図8の(a)に示す対応関係に従って、図8の(b)に示すように、腹臥位画像に描出された乳房領域の画素を、仰臥位画像上でシミュレーションされた乳房モデルの対応する位置にマッピングする。この時、実施例1においては、腹臥位画像の画質が、仰臥位画像の画質よりも良いことを想定しているので、図8の(b)に示すように、合成後の仰臥位画像は、乳腺や腫瘍を鮮明に描出する画質の良い画像となる。
なお、乳房内特徴領域抽出部13において、腫瘍、乳腺、乳管、乳房提靱帯等の特徴領域が抽出されている場合には、表示画像合成部51は、これらの特徴領域を合成後の仰臥位画像にさらに合成してもよい。
その後、ステップS110では、画像表示部52が、合成後の仰臥位画像をモニタなどの出力部に表示する。
[実施例1の効果]
上記してきたように、実施例1によれば、画像処理装置100は、乳房モデル作成部21が、被検体の乳房が乳腺専用コイルを用いて腹臥位で撮像された腹臥位画像から、該乳房の形状変化を追従する乳房モデルを作成する。また、仰臥位シミュレーション部42が、被検体の乳房が仰臥位で撮像された仰臥位画像に乳房モデルを適用し、該仰臥位画像に描出された乳房領域をシミュレーションすることで、腹臥位画像に描出された乳房領域の画素と該仰臥位画像に描出された乳房領域の画素との対応関係を取得する。また、表示画像合成部51が、取得した対応関係に従って、腹臥位画像に描出された乳房領域の画素を該仰臥位画像に描出された乳房領域の画素に合成する。また、画像表示部52が、仰臥位画像をモニタに表示する。
このように、腹臥位画像に描出された乳房領域の画素を仰臥位画像に描出された乳房領域の画素に合成する結果、腹臥位画像に鮮明に描出された画素が仰臥位画像に合成されることになり、仰臥位画像の画質を向上することが可能になる。
すなわち、実施例1によれば、乳腺専用コイルなどの専用機器を使用できないために診断時よりも画質が悪く分かりにくい画像に対し、腫瘍および周辺組織の形状情報を補い、仰臥位による乳房変形や治療中の乳房変形に対し、乳房形状および腫瘍の位置をシミュレーションすることで、腫瘍の位置確認作業を支援することが可能になる。
また、従来、乳房の変形を押さえるために固定器具を装着した場合、腫瘍の位置により治療のアプローチの妨げとなっていた。また、固定器具を外した場合、治療時に乳房が任意に変形するため、その都度移動する腫瘍の位置を確認するために、触診もしくは画像の再撮像が必要になっていた。このように、治療中に腫瘍の位置が容易に把握できなければ、治療が困難になり時間がかかる上、患者にも負担になっていた。
この点、実施例1によれば、脂肪のような柔らかい組織と腫瘍のような硬い組織を持つ乳房モデルを適用して仰臥位の乳房形状をシミュレーションし、シミュレーションした仰臥位画像に対し、乳腺専用コイルを用いて撮像された腹臥位画像の画素をマッピングして合成し、乳腺専用コイルで撮像された鮮明な画像で、仰臥位での乳房形状や腫瘍を提示することが可能になる。この結果、術者の負担が軽減されて治療(腫瘍の確認時間など)の時間が短縮され、患者の負担も軽減される。
実施例2においては、腹臥位画像の乳房モデルと仰臥位画像の乳房モデルとを作成し、乳房モデルに設定される係数に、両モデルから算出される弾性率を用いる。すなわち、実施例2においては、仰臥位画像に適用される乳房モデルに、被検体に固有に固有の弾性率が設定される。
[実施例2に係る画像処理装置の構成]
まず、図9を用いて、実施例2に係る画像処理装置の構成を説明する。図9は、実施例2に係る画像処理装置の構成を示す機能ブロック図である。
図9に示すように、実施例2に係る画像処理装置200は、弾性情報処理部60を備える点が、実施例1に係る画像処理装置100と異なる。また、弾性情報処理部60は、乳房弾性率算出部61を備える。なお、実施例2においては、乳房モデル作成部21が、実施例1と同様の手法で、腹臥位画像および仰臥位画像の双方から乳房モデルを作成しているものとする。
乳房弾性率算出部61は、乳房モデルに設定される弾性率を算出する。具体的には、乳房弾性率算出部61は、乳房モデル作成部21において作成された腹臥位画像の乳房モデルおよび仰臥位画像の乳房モデルを用いて弾性率を算出し、算出した弾性率をモデル係数設定部22に送信する。
ここで、図10を用いて、実施例2における乳房弾性率算出部61による処理を説明する。図10は、乳房弾性率算出部を説明するための図である。乳房弾性率算出部61は、図10の(c)に示すように、腹臥位画像の乳房モデル(図10の(a))と仰臥位画像の乳房モデル(図10の(b))とを固定領域の胸骨領域で位置合わせする。そして、乳房弾性率算出部61は、両乳房モデルの形状を比較し、各質点の変化量から弾性率を算出する。なお、弾性率の算出は、公知の手法を用いて算出することができる。
[実施例2の効果]
上記してきたように、実施例2によれば、画像処理装置200は、乳房モデル作成部21が、仰臥位画像からも乳房モデルを作成し、乳房弾性率算出部61が、腹臥位画像の乳房モデルと仰臥位画像の乳房モデルとから両モデルの変化量を算出し、該腹臥位画像の乳房モデルに適用される弾性率を算出する。
このようなことから、実施例2によれば、乳房モデルの弾性率として一般に算出されている値を用いるのではなく、被検体に固有の弾性率を用いることになるので、乳房モデルの精度がより高くなる。この結果、腹臥位画像の画素が合成された仰臥位画像の画質も、より精度よく向上することが可能になる。
さて、本発明は、例えば超音波診断装置によって撮像された仰臥位画像のように、時間軸上連続して撮像された仰臥位画像の入力を連続して受け付ける場合にも適用することができる。以下では、実施例3として、時間軸上連続して撮像された仰臥位画像に適用する場合を説明する。
[実施例3に係る画像処理装置の概要]
まず、図11を用いて、実施例3に係る画像処理装置の概要を説明する。図11は、実施例3に係る画像処理装置の概要を説明するための図である。
図11に示すように、実施例3に係る画像処理装置は、最初に入力を受け付けた仰臥位画像(仰臥位画像の入力1)については、実施例1や実施例2と同様、腹臥位画像から作成された乳房モデルを適用し、シミュレーションすることで、腹臥位画像の乳房領域の画素を仰臥位画像の乳房領域の画素に合成し、入力1の仰臥位画像の画質を向上する。
ところで、実施例3に係る画像処理装置は、図11に示すように、仰臥位画像の入力1に連続して次の仰臥位画像の入力を受け付ける(仰臥位画像の入力2)。すると、実施例3に係る画像処理装置は、入力1で受け付けた仰臥位画像に乳房モデルが適用されてシミュレーションされたシミュレーション結果を取得する。そして、画像処理装置は、取得したシミュレーション結果を用いて入力2で受け付けた仰臥位画像に描出された乳房領域をシミュレーションすることで、腹臥位画像の画素と仰臥位画像の画素との対応関係を取得する。続いて、実施例3に係る画像処理装置は、図11に示すように、取得された対応関係に従って、腹臥位画像の画素を仰臥位画像の画素に合成し、入力2の仰臥位画像の画質を向上する。
同様に、実施例3に係る画像処理装置は、図11に示すように、仰臥位画像の入力2に連続して次の仰臥位画像の入力を受け付ける(仰臥位画像の入力3)。すると、実施例3に係る画像処理装置は、入力2で受け付けた仰臥位画像に乳房モデルが適用されてシミュレーションされたシミュレーション結果を取得する。そして、画像処理装置は、取得したシミュレーション結果を用いて入力3で受け付けた仰臥位画像に描出された乳房領域をシミュレーションすることで、腹臥位画像の画素と仰臥位画像の画素との対応関係を取得する。続いて、実施例3に係る画像処理装置は、図11に示すように、取得された対応関係に従って、腹臥位画像の画素を仰臥位画像の画素に合成し、入力3の仰臥位画像の画質を向上する。
このように、実施例3に係る画像処理装置によれば、例えば超音波診断装置によって撮像された仰臥位画像のように、時間軸上連続して撮像された仰臥位画像の入力を連続して受け付ける場合にも適用することができる。また、実施例3に係る画像処理装置によれば、連続して受け付けられる仰臥位画像について行われたシミュレーション結果を次の仰臥位画像のシミュレーションに用いるので、シミュレーションの効率を向上させることができる。
すなわち、時間軸上連続して撮像された仰臥位画像であれば、固定領域である胸骨領域の位置は原則として移動しないはずである。連続して受け付けた仰臥位画像について、その都度、腹臥位画像から作成された乳房モデルを適用しようとすると、その都度、胸骨領域を用いて位置合わせをしなければならない。これに対し、実施例3に係る画像処理装置によれば、一旦仰臥位画像に適用されてシミュレーションされたシミュレーション結果の乳房モデルを基準にシミュレートすればよいので、胸骨領域を用いた位置合わせが不要になり、さらには、形状変化が無い場合もしくは小さい場合には、形状補正も効率的に行うことができる。なお、患者の体位が変わった場合や深呼吸などで胸骨が移動した場合には、固定領域である胸骨領域の位置が移動することもあるので、適宜、胸骨領域を用いた位置合わせを併用してもよい。
もっとも、実施例3の場合には、画像処理装置の処理速度が速いことが望ましい。すなわち、実施例3に係る画像処理装置の場合、仰臥位画像が入力されると、仰臥位画像に対してシミュレーションが実行され、シミュレーション結果を用いて合成された仰臥位画像がモニタに表示され、これが連続して行われることになる。この時、画像処理装置の処理速度が速く、仰臥位画像の入力とモニタへの表示とがほぼ同時に行われることが望ましい。医師によって画像が連続して入力されている場合に、画質が向上された仰臥位画像がリアルタイムにモニタに表示されることが望ましいからである。もっとも、例えば医師が手を止めた際に、シミュレーションの実行や画像の合成が追従し、やや遅れて画質が向上された仰臥位画像がモニタに表示されてもよい。あるいは、必要に応じて入力される画像のフレームを間引くなどの工夫をしてもよい。
[実施例3に係る画像処理装置の構成]
次に、図12を用いて、実施例3に係る画像処理装置の構成を説明する。図12は、実施例3に係る画像処理装置の構成を示す機能ブロック図である。
図12に示すように、実施例3に係る画像処理装置300は、リアルタイム画像処理部70を備える点が、実施例2に係る画像処理装置200と異なる。また、リアルタイム画像処理部70は、仰臥位リアルタイム画像入力部71と乳房形状抽出部72とを備える。なお、実施例3においては、最初に入力を受け付けた仰臥位画像については、仰臥位画像処理部30が処理を行うものとし、続いて連続して受け付けられる仰臥位画像については、リアルタイム画像処理部70が処理を行うものとする。
仰臥位リアルタイム画像入力部71は、連続して撮像された仰臥位画像の入力を連続して受け付ける。具体的には、仰臥位リアルタイム画像入力部71は、例えば、超音波診断装置から連続して送信される仰臥位画像の入力を連続して受け付ける。また、仰臥位リアルタイム画像入力部71は、受け付けた仰臥位画像を乳房形状抽出部72に送信する。なお、仰臥位画像は、例えば超音波エラストグラフィのような弾性画像などでもよい。
乳房形状抽出部72は、仰臥位画像から乳房の形状を示す乳房領域を抽出する。具体的には、乳房形状抽出部72は、仰臥位リアルタイム画像入力部71から送信された仰臥位画像から乳房領域を抽出し、抽出した乳房領域および仰臥位画像をシミュレーション部40に送信する。なお、実施例3における乳房形状抽出部72による処理は、乳房形状抽出部12による処理と同様である。
[実施例3に係る画像処理装置による処理手順]
続いて、図13を用いて、実施例3に係る画像処理装置による処理手順を説明する。図13は、実施例3に係る画像処理装置による処理手順を示すフローチャートである。なお、図13においては、最初の仰臥位画像の入力を受け付けた際の処理手順を割愛し、最初の仰臥位画像に連続する2枚目以降の仰臥位画像を受け付けた際の処理手順を示す。
図13に示すように、ステップS201では、仰臥位リアルタイム画像入力部71が、仰臥位画像の入力を受け付けたか否かを判定しており、入力を受け付けない場合には(ステップS201否定)、入力を受け付けたか否かを判定する処理に戻る。
仰臥位リアルタイム画像入力部71が仰臥位画像の入力を受け付けると(ステップS201肯定)、次に、ステップS202では、乳房形状抽出部72が、仰臥位画像から乳房領域を抽出する。
そして、ステップS203では、位置合わせ/形状補正部41が、1つ前に受け付けられた仰臥位画像のシミュレーション結果を仰臥位シミュレーション部42から取得し、取得したシミュレーション結果を用いて乳房の形状を補正する。
次に、ステップS204では、仰臥位シミュレーション部42が、補正された乳房モデルをシミュレーションし、腹臥位画像に描出された乳房領域の画素と仰臥位画像に描出された乳房領域の画素との対応関係を取得する。
続いて、ステップS205では、表示画像合成部51が、ステップS204において取得された対応関係に従って、腹臥位画像に描出された乳房領域の画素を仰臥位画像に描出された乳房領域の画素に合成し、ステップS206では、画像表示部52が、合成後の仰臥位画像をモニタなどの出力部に表示する。
その後、ステップS207では、画像処理装置300は、終了指示を受け付けたか否かを判定し、終了指示を受け付けた場合には(ステップS207肯定)、処理を終了するが、受け付けていない場合には(ステップS207否定)、再び、仰臥位リアルタイム画像入力部71が、仰臥位画像の入力を受け付けたか否かを判定する処理に戻る。
[実施例3の効果]
上記してきたように、実施例3によれば、画像処理装置300は、仰臥位リアルタイム画像入力部71が、時間軸上連続して撮像された仰臥位画像を連続して受け付ける。また、仰臥位シミュレーション部42は、所定の仰臥位画像が受け付けられると、該所定の仰臥位画像よりも時間軸上1つ前に受け付けられた仰臥位画像に乳房モデルが適用されてシミュレーションされたシミュレーション結果を取得し、取得したシミュレーション結果を用いて該所定の仰臥位画像に描出された乳房領域をシミュレーションすることで、腹臥位画像に描出された乳房領域の画素と該所定の仰臥位画像に描出された乳房領域の画素との対応関係を取得する。そして、表示画像合成部51が、取得した対応関係に従って、腹臥位画像に描出された乳房領域の画素を、所定の仰臥位画像に描出された乳房領域の画素に合成する。
このようなことから、実施例3によれば、画像処理装置300は、例えば超音波診断装置によって撮像された仰臥位画像のように、連続して撮像された仰臥位画像の入力を連続して受け付ける場合にも適用することができる。
なお、これまで本発明の実施例1〜3について説明してきたが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
上記の実施例1〜3においては、画像処理装置は、腹臥位画像の画素を合成した仰臥位画像をモニタに表示していた。しかしながら必ずしもモニタに表示することは必須ではなく、画像処理装置は、腹臥位画像の画素を合成した仰臥位画像を作成し、作成した仰臥位画像を、例えばPACSのネットワークを介して外部装置に送信してもよい。
また、上記の実施例1〜3においては、腹臥位画像として、MRI装置の乳腺専用コイルを用いて腹臥位で撮像された画像を想定していた。しかしながら本発明はこれに限られるものではなく、乳腺専用コイルを用いて撮像された画像でない場合や、MRI装置によって撮像された画像でない場合にも、同様に適用することができる。これらの場合には、画像処理装置は、腹臥位画像から該乳房の形状変化を追従する乳房モデルを作成する。また、画像処理装置は、仰臥位画像に乳房モデルを適用し、該仰臥位画像に描出された乳房領域をシミュレーションすることで、腹臥位画像に描出された乳房領域内の関心領域(例えば腫瘍など)と該仰臥位画像に描出された乳房領域内の関心領域との対応関係を取得する。そして、画像処理装置は、取得した対応関係を該仰臥位画像に描出する。例えば、画像処理装置は、腹臥位画像に描出された腫瘍の位置を乳房モデルのシミュレーションによって追従することで、仰臥位画像上において腫瘍の位置を特定する。そして、画像処理装置は、特定した腫瘍の位置が仰臥位画像上において明示されるように強調表示するなどする。
このような画像処理装置によれば、腹臥位画像から取得された関心領域(腫瘍など)の位置情報を仰臥位になる治療時にも用いることができるようになり、仰臥位になることで移動してしまった関心領域(腫瘍など)の位置を仰臥位画像上において簡単に特定することができるので、腹臥位で撮像された乳房の画像を有効活用することが可能になる。
以上のように、本発明に係る画像処理装置は、画像を処理することに有用であり、特に、腹臥位で撮像された乳房の画像を有効活用することに適する。
100 画像処理装置
10 腹臥位画像処理部
11 腹臥位画像入力部
12 乳房形状抽出部
13 乳房内特徴領域抽出部
20 乳房モデル処理部
21 乳房モデル作成部
22 モデル係数設定部
30 仰臥位画像処理部
31 仰臥位画像入力部
32 乳房形状抽出部
33 乳房内特徴領域抽出部
40 シミュレーション部
41 位置合わせ/形状補正部
42 仰臥位シミュレーション部
50 画像出力部
51 表示画像合成部
52 画像表示部
60 弾性情報処理部
61 乳房弾性率算出部
70 リアルタイム画像処理部
71 仰臥位リアルタイム画像入力部
72 乳房形状抽出部

Claims (5)

  1. 被検体の乳房が乳腺専用コイルを用いて腹臥位で撮像された腹臥位画像から、該乳房の形状変化を追従する乳房モデルを作成する乳房モデル作成手段と、
    前記被検体の乳房が仰臥位で撮像された仰臥位画像に前記乳房モデル作成手段によって作成された乳房モデルを適用し、該仰臥位画像に描出された乳房領域をシミュレーションすることで、前記腹臥位画像に描出された乳房領域の画素と該仰臥位画像に描出された乳房領域の画素との対応関係を取得するシミュレーション手段と、
    前記シミュレーション手段によって取得された対応関係に従って、前記腹臥位画像に描出された乳房領域の画素を該仰臥位画像に描出された乳房領域の画素に合成する合成手段と
    を備えたことを特徴とする画像処理装置。
  2. 前記合成手段によって合成された前記仰臥位画像を出力手段に表示する画像表示手段を備えたことを特徴とする請求項1に記載の画像処理装置。
  3. 前記乳房モデル作成手段は、前記仰臥位画像からも乳房モデルを作成し、
    前記乳房モデル作成手段によって作成された腹臥位画像の乳房モデルと仰臥位画像の乳房モデルとから両モデルの変化量を算出し、該腹臥位画像の乳房モデルに適用される弾性率を算出する弾性率算出手段をさらに備えたことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記被検体の乳房が仰臥位で時間軸上連続して撮像された仰臥位画像を連続して受け付ける受付手段と、
    前記受付手段によって所定の仰臥位画像が受け付けられると、該所定の仰臥位画像よりも時間軸上1つ前に受け付けられた仰臥位画像に乳房モデルが適用されてシミュレーションされたシミュレーション結果を取得し、取得したシミュレーション結果を用いて該所定の仰臥位画像に描出された乳房領域をシミュレーションすることで、前記腹臥位画像に描出された乳房領域の画素と該所定の仰臥位画像に描出された乳房領域の画素との対応関係を取得する第二のシミュレーション手段と、
    前記第二のシミュレーション手段によって取得された対応関係に従って、前記腹臥位画像に描出された乳房領域の画素を、前記受付手段によって受け付けられた前記所定の仰臥位画像に描出された乳房領域の画素に合成する第二の合成手段と
    をさらに備えたことを特徴とする請求項1〜3のいずれか一つに記載の画像処理装置。
  5. 被検体の乳房が腹臥位で撮像された腹臥位画像から、該乳房の形状変化を追従する乳房モデルを作成する乳房モデル作成手段と、
    前記被検体の乳房が仰臥位で撮像された仰臥位画像に前記乳房モデル作成手段によって作成された乳房モデルを適用し、該仰臥位画像に描出された乳房領域をシミュレーションすることで、前記腹臥位画像に描出された乳房領域内の関心領域と該仰臥位画像に描出された乳房領域内の関心領域との対応関係を取得するシミュレーション手段と、
    前記シミュレーション手段によって取得された対応関係を該仰臥位画像に描出する描出手段と
    を備えたことを特徴とする画像処理装置。
JP2009002439A 2009-01-08 2009-01-08 画像処理装置 Active JP5322662B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009002439A JP5322662B2 (ja) 2009-01-08 2009-01-08 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009002439A JP5322662B2 (ja) 2009-01-08 2009-01-08 画像処理装置

Publications (2)

Publication Number Publication Date
JP2010158386A JP2010158386A (ja) 2010-07-22
JP5322662B2 true JP5322662B2 (ja) 2013-10-23

Family

ID=42576009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009002439A Active JP5322662B2 (ja) 2009-01-08 2009-01-08 画像処理装置

Country Status (1)

Country Link
JP (1) JP5322662B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5586917B2 (ja) * 2009-10-27 2014-09-10 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP5858636B2 (ja) * 2011-04-13 2016-02-10 キヤノン株式会社 画像処理装置、その処理方法及びプログラム
JP5977041B2 (ja) * 2012-02-17 2016-08-24 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 数値シミュレーション装置及びそのコンピュータプログラム
JP6202960B2 (ja) * 2013-09-17 2017-09-27 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6541334B2 (ja) * 2014-11-05 2019-07-10 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2017116512A1 (en) * 2015-12-28 2017-07-06 Metritrack, Inc. System and method for the coregistration of medical image data
KR102006795B1 (ko) * 2017-12-26 2019-08-02 아주대학교산학협력단 유방 형상 변형 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008086400A (ja) * 2006-09-29 2008-04-17 Gifu Univ 乳房画像診断システム
US7792348B2 (en) * 2006-12-19 2010-09-07 Fujifilm Corporation Method and apparatus of using probabilistic atlas for cancer detection

Also Published As

Publication number Publication date
JP2010158386A (ja) 2010-07-22

Similar Documents

Publication Publication Date Title
JP7162793B2 (ja) 超音波拓本技術に基づく脊椎画像生成システム及び脊柱手術用のナビゲーション・位置確認システム
JP5322662B2 (ja) 画像処理装置
US10154823B2 (en) Guiding system for positioning a patient for medical imaging
US8787648B2 (en) CT surrogate by auto-segmentation of magnetic resonance images
JP2021533484A (ja) 術中変位に見舞われた内部器官の解剖学的部分の手術を支援する外科支援装置
CN110047128A (zh) 从几个x射线放射照片3d重建x射线ct体积和分割掩模的方法和系统
US20160228075A1 (en) Image processing device, method and recording medium
KR20220112246A (ko) 증강 현실을 사용하는 의료 절차
JP6207936B2 (ja) 医用画像処理装置及び放射線治療装置
CN108701170A (zh) 用于产生解剖部分的三维(3d)视图的图像处理系统和方法
JP2012205899A (ja) 3次元的モデルを利用した身体臓器の映像生成方法及び装置並びにコンピュータ読み取り可能な記録媒体
JP2011160882A (ja) 医用画像表示装置及び医用画像表示方法並びにプログラム
JP2019514632A (ja) 超音波融合撮像システムにおけるプローブ誘導変形の補正
Catherwood et al. Validation of a passive stereophotogrammetry system for imaging of the breast: a geometric analysis
Alam et al. Medical image registration: Classification, applications and issues
KR20210052270A (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR101118549B1 (ko) 의료용 융합영상 획득장치 및 획득방법
JP6967983B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR101988531B1 (ko) 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
Humbert et al. 3D reconstruction of both shape and bone mineral density distribution of the femur from DXA images
KR102527017B1 (ko) 평면 보간 기반 2차원 의료 영상을 생성하는 방법 및 장치
KR101663129B1 (ko) 어깨 회전근개의 3차원 자동 모델링 방법, 이를 수행하는 3차원 자동 모델링 서버, 및 이를 저장하는 기록매체
Schenkenfelder et al. Elastic registration of abdominal MRI scans and RGB-D images to improve surgical planning of breast reconstruction
JP7387409B2 (ja) 医用画像処理装置、医用画像処理方法、医用画像処理プログラム
Al-Shayea et al. An efficient approach to 3d image reconstruction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130716

R150 Certificate of patent or registration of utility model

Ref document number: 5322662

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350