JP5717524B2 - 3次元超音波診断装置およびその動作方法 - Google Patents

3次元超音波診断装置およびその動作方法 Download PDF

Info

Publication number
JP5717524B2
JP5717524B2 JP2011093532A JP2011093532A JP5717524B2 JP 5717524 B2 JP5717524 B2 JP 5717524B2 JP 2011093532 A JP2011093532 A JP 2011093532A JP 2011093532 A JP2011093532 A JP 2011093532A JP 5717524 B2 JP5717524 B2 JP 5717524B2
Authority
JP
Japan
Prior art keywords
image
video data
fetus
diagnostic apparatus
ultrasonic diagnostic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011093532A
Other languages
English (en)
Other versions
JP2011251114A (ja
Inventor
クァン ヒ リ,
クァン ヒ リ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Medison Co Ltd
Original Assignee
Samsung Medison Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Medison Co Ltd filed Critical Samsung Medison Co Ltd
Publication of JP2011251114A publication Critical patent/JP2011251114A/ja
Application granted granted Critical
Publication of JP5717524B2 publication Critical patent/JP5717524B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993Three dimensional imaging systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0858Detecting organic movements or changes, e.g. tumours, cysts, swellings involving measuring tissue layers, e.g. skin, interfaces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52074Composite displays, e.g. split-screen displays; Combination of multiple images or of images and alphanumeric tabular information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52073Production of cursor lines, markers or indicia by electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明の実施形態は、人体内の対象体をスキャンして得た映像データ内にある開始点に基づいて、前記映像データから対象体の上面映像を抽出し、その抽出した上面映像を用いて映像データを回転することによって、対象体のサジタルビュー(sagittal view)を自動的に設定する3次元超音波診断装置およびその動作方法に関する。
超音波システムは、人体の体表から体内の所定部位(すなわち、胎児または臓器などの対象体)に向けて超音波信号を送信し、体内の組織から反射される超音波信号の情報を用いて軟部組織の断層像や血流に関する映像を取得する装置である。このような超音波システムは、小型かつ低廉であり、映像をリアルタイムで表示可能である上、X線などのような被爆がなく、安全性が高いという長所を有している。このため、現在この装置は、X線診断装置、CT(Computerized Tomography)スキャナ、MRI(Magnetic Resonance Image)装置、核医学診断装置などの他の画像診断装置と共に広く用いられている。
一方、ダウン症候群の胎児を鑑別する一般的な方法として、超音波システムによって胎児の項部透明帯(nuchal translucency、NT)の厚さを測定する方法がある。この方法は、1992年にニコーライズ(Nicolaides)によって開発された方法であって、胎児に異常がある場合、項の皮下組織に体液が蓄積されて項部透明帯が厚くなることが知られている。また、ダウン症候群だけでなく、胎児が染色体異常や心臓の奇形を有すると、項部透明帯が厚くなる場合が多い。
また、ダウン症候群の胎児を鑑別する他の方法として、口蓋と鼻骨との間の角度、すなわち、FMF角度(Frontmaxillary Facial Angle)を測定する方法がある。例えば、正常児を78.1度とし、88.7度以上である場合にはダウン症候群である確率が極めて高い。
したがって、ダウン症候群の胎児を容易に鑑別するために、胎児の項部透明帯の厚さ、または口蓋と鼻骨との間の角度をより容易かつ正確に測定することができる装置が求められている。
しかし、胎児の項部透明帯の厚さ、または鼻骨と口蓋との間の角度は、胎児の位置や角度によって変わるため、正確な測定を行うためには、胎児に対するサジタルビューの正確な調整が必要である。
したがって、胎児に対するサジタルビューの正確な調整技術の開発が求められる。
本発明に係る一実施形態の目的は、人体内の対象体をスキャンして得た映像データに対する開始点に基づいて、映像データから対象体の上面映像を抽出し、その抽出した上面映像を用いて映像データを回転することによって、対象体に対するサジタルビューを自動的に設定することにある。
また、本発明の一実施形態の目的は、人体内の対象体が胎児である場合、胎児の頭方向を用いて、対象体をスキャンして得た映像データから映像データの回転に対する基本データに該当する対象体の上面映像を容易に抽出することによって、対象体に対するサジタルビューを迅速に調整することにある。
前記の目的を達成するための3次元超音波診断装置は、人体内の対象体に超音波信号を送信し、前記対象体から反射される超音波エコー信号を受信して超音波データを取得する超音波データ取得部と、前記超音波データを用いて前記対象体の側面映像を含む映像データを形成する映像データ形成部と、前記人体内の前記対象体の前記映像データから開始点を決定する第1プロセッサと、前記開始点に基づいて、前記映像データから前記対象体の前記側面映像に直交する上面映像を抽出する第2プロセッサと、前記上面映像を用いて前記映像データを回転し、前記対象体に対するサジタルビューを調整する制御部とを含む。
前記の目的を達成するための技術的な方法として、3次元超音波診断装置の動作方法は、人体内の対象体に超音波信号を送信し、前記対象体から反射される超音波エコー信号を受信して超音波データを取得するステップと、前記超音波データから前記対象体の側面映像を含む映像データを形成するステップと、前記人体内の前記対象体の前記映像データから開始点を決定するステップと、前記開始点に基づいて前記映像データから前記対象体の前記側面映像に直交する上面映像を抽出するステップと、前記上面映像を用いて前記映像データを回転し、前記対象体に対するサジタルビューを調整するステップとを含む。
本発明の一実施形態によれば、人体内の対象体をスキャンして得た映像データに対する開始点に基づいて、映像データから対象体の上面映像を抽出し、その抽出した上面映像を用いて映像データを回転することによって、対象体に対するサジタルビューを自動的に設定することができる。
また、本発明の一実施形態によれば、人体内の対象体が胎児である場合、胎児の頭方向を用いて、対象体をスキャンして得た映像データから映像データの回転に対する基本データに該当する対象体の上面映像を容易に抽出することによって、対象体に対するサジタルビューを迅速に調整することができる。
本発明の一実施形態に係る3次元超音波診断装置の構成を示す図である。 本発明の一実施形態に係る3次元超音波診断装置から抽出する対象体に対する方向別の映像の一例を示す図である。 本発明の一実施形態に係る3次元超音波診断装置によって、対象体をスキャンした映像データから開始点を決定する方法を説明するための図である。 本発明の一実施形態に係る3次元超音波診断装置によって、対象体の方向を決定する方法を説明するための図である。 本発明の一実施形態に係る3次元超音波診断装置によって、サジタルビューを調整するための基本データであって、対象体の上面映像を抽出する一例を示す図である。 本発明の一実施形態に係る3次元超音波診断装置によって、対象体の正面映像を補正する一例を示す図である。 本発明の一実施形態に係る3次元超音波診断装置によって、対象体の映像データを回転してサジタルビューを調整する一例を示す図である。 本発明の一実施形態に係る3次元超音波診断装置の動作方法を示すフローチャートである。
以下、本発明に係る実施形態を添付の図面を参照して詳細に説明する。しかし、本発明が実施形態によって制限されたり限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。
図1は、本発明の一実施形態に係る3次元超音波診断装置の構成を示す図である。
図1に示すように、本発明の一実施形態に係る3次元超音波診断装置101は、スキャナ103、第1プロセッサ105、第2プロセッサ107および制御部113を備える。また、3次元超音波診断装置は、図示しない、超音波データ取得部と、映像データ形成部と、表示部とを備える。
超音波データ取得部は、対象体に超音波信号を送信し、対象体から反射される超音波エコー信号を受信して超音波データを取得する。
映像データ形成部は、超音波データ取得部が取得した超音波データを用いて、対象体の映像データを形成する。この映像データは、対象体の側面映像(図2における第1平面201に直交する方向(以下、側面方向)から見た映像)、上面映像(図2における第2平面203に直交する方向(以下、上面方向)から見た映像)、正面映像(図2における第3平面205に直交する方向(以下、正面方向)から見た映像)の2次元超音波映像や、複数の2次元超音波映像で構成される3次元超音波映像を含む。
表示部は、映像データ形成部で形成された映像データを画面に表示する。
スキャナ103は、人体内の対象体をスキャンして得た映像データから、対象体の側面映像(側面方向のAプレーン)、上面映像(上面方向のBプレーン)または正面映像(正面方向のCプレーン)のうち少なくとも1つを抽出し、画面に表示する。このとき、スキャナ103は、各映像からノイズを除去して対象体の映像の輪郭がクリアに表示されるようにする。
第1プロセッサ105は、人体内の対象体をスキャンして得た映像データから開始点(start point)を決定する。ここで、人体内の対象体には、胎児または臓器が含まれている。このとき、対象体が胎児である場合、第1プロセッサ105は、映像データからスキャナ103が抽出した胎児の側面映像から胎児の鼻骨を識別し、その鼻骨を用いて開始点を決定する。
具体的に、第1プロセッサ105は、映像データからスキャナ103が抽出した胎児の側面映像の輝度値を用いて胎児の鼻骨または口蓋を識別する。このとき、第1プロセッサ105は、側面映像で胎児の項部透明帯(NT)にシード(seed)を位置させ、そのシードを基準としてウィンドウ領域(図3参照)を設定する。そしてウィンドウ領域を上方向に移動させながらウィンドウ領域内で輝度値が最も大きい部分を鼻骨または口蓋であると確定する。これは、骨で最も超音波の反射が強いことから、骨が位置した領域が最も明るく現れることに起因する。
また、第1プロセッサ105は、鼻骨および口蓋を用いて胎児の鼻骨と口蓋との間のFMF角度(Frontmaxillary Facial Angle)を測定する。
その後、第1プロセッサ105は、鼻骨の終点301を通過する垂直線303と胎児の項部透明帯(NT)を通過する水平線305とが交差する地点から上方に、ある設定した距離(例えば、1.3cm〜1.5cm)だけ離隔された仮想307点を開始点と定める。
第2プロセッサ107は、開始点に基づいて映像データから対象体の上面映像を抽出する。具体的に、第2プロセッサ107は前処理部109、処理部111を備えている。
前処理部109は、対象体が胎児である場合、胎児の頭方向を決める。例えば、前処理部109は、側面方向の第1仮想平面を、映像データに対して第1仮想平面と直交する方向(側面方向)に一定の間隔で移動させながら、第1仮想平面に含まれる複数の映像データを抽出する。その後、前処理部109は、第1仮想平面に含まれる複数の映像データから胎児の鼻骨と口蓋との間のFMF角度の方向を識別する。そして第1方向(例えば、側面映像において頭が左側に向く方向)のFMF角度を含む映像データ値が第2方向(例えば、側面映像において頭が右側に向く方向)のFMF角度を含む映像データ値よりも大きい場合、第1方向を胎児の頭方向(頭頂方向)と決定する。
処理部111は、上面方向の第2仮想平面を、映像データに対して開始点から胎児の頭方向に一定の間隔で移動させて、第2仮想平面に含まれる複数の映像データを抽出する。
その後、処理部111は、第2仮想平面に含まれる複数の映像データのうちいずれか1つを上面映像として抽出する。このとき、処理部111は、第2仮想平面に含まれる映像データから映像の外形周縁長を測定し、その測定された値が外形周縁長の平均値よりも大きい周縁長を有する映像データを選別する。そして平均値より大きい周縁長を有する映像データのうち、テンプレート照合(template matching)エネルギーが最も少ない映像データを上面映像として抽出する。
例えば、処理部111は、対象体が胎児である場合、第2仮想平面に含まれる複数の映像データから胎児の頭に該当する楕円の周縁長を測定し、そこで測定された楕円の周縁長の平均値よりも大きい周縁長を有する映像データのうちテンプレート照合のエネルギーが最も少ない映像データを上面映像として抽出する。このとき、処理部111は、選ばれたテンプレート(例えば、長軸の長さが2.5cm、アスペクト比が1.5である楕円)と高いマッチングを有する楕円の映像データを上面映像として抽出する。
このようにして、処理部111は、開始点から頭方向に第2仮想平面を移動させることによって、足先から頭まで胎児の全体に対して第2仮想平面を移動させることに比べ、上面映像を迅速に抽出することができる。
制御部113は、映像データから抽出した胎児に対する側面映像の輝度値を用いて胎児の鼻骨を識別し、鼻骨の位置が最も高いところに位置するように前記映像データを正面方向に沿った軸を基準に、または側面方向に沿った軸を基準に回転させ、鼻骨の位置を移動する。このとき、制御部113は、鼻骨の位置が最も高いところに位置するよう前記映像データを回転させるが、胎児が斜めに位置しないようにすることで胎児に対する正面映像において胎児が左右対称になるように制御する。
また、制御部113は、上面映像を用いて映像データを回転し、対象体に対するサジタルビューを調整する。このとき、制御部113は上面方向の第2仮想平面内の任意の一点を貫通し、側面映像を通過する仮想軸を基準として映像データを回転する。
このようにして、制御部113は、側面映像に含まれる映像の輝度値または上面映像に含まれる映像の左右マッチング度(左右の対称度)を用いて映像データを回転することによって、対象体に対するサジタルビューを自動的に調整する。
1)ファルクス(falx)領域を用いた映像データの回転
対象体が胎児である場合、制御部113は、映像データから胎児の側面映像を抽出し、その側面映像に含まれる胎児のファルクス領域の輝度値(brightness intensity)が最大になるように映像データを回転する。
ここで、側面映像が中央サジタル(mid−sagittal)であれば、胎児の一部分、すなわち、ファルクス領域が一様に明るくなる。ところが、側面映像が中央サジタルでなければ、ファルクス領域は一様に明るくならず、暗い領域が現れる。
従って、制御部113は、まず、このような特性を用いて頭の中心を基準にして超音波データを移動および回転しながらファルクス領域が最も明るく、かつ一様に分布するように映像データを回転する。
2)左右マッチング度を用いた映像データの回転
また、制御部113は、上面映像に含まれている胎児に相当する図形をマッチングし、そのマッチングされた図形の左右マッチング度が最大になるように映像データを回転して、対象体に対するサジタルビューを自動的に調整する。
例えば、制御部113は、マッチングされる図形が楕円である場合、楕円の長軸を垂直に位置させ、長軸を基準として左側と右側の映像が対称になるように映像データを回転する。
また、制御部113は、スキャナ101と、第1プロセッサ105と、第2プロセッサ107と、超音波取得部と、映像データ形成部と、表示部とを制御する。
本発明の一実施形態によれば、人体内の対象体をスキャンして得た映像データに対する開始点に基づいて、映像データから対象体の上面映像を抽出し、その抽出した上面映像を用いて映像データを回転することによって対象体に対するサジタルビューを自動的に設定する。
本発明の一実施形態によれば、人体内の対象体が胎児である場合、胎児の頭方向を用いて、対象体をスキャンして得た映像データから映像データの回転に対する基本データに該当する対象体の上面映像を容易に抽出することによって、対象体に対するサジタルビューを迅速に調整することができる。
図2は、本発明の一実施形態に係る3次元超音波診断装置から抽出する、対象体に対する方向別の映像の一例を示す図である。
図2に示すように、3次元超音波診断装置は、人体内の対象体をスキャンして得た映像データから側面映像、上面映像、または正面映像を抽出して表示する。
例えば、3次元超音波診断装置は、対象体をスキャンして得た映像データから「第1平面」201を眺める側面方向の側面映像を抽出して画面上の第1領域211に表示し、「第2平面」203を眺める上面方向の上面映像を抽出して画面上の第2領域213に表示する。また、3次元超音波診断装置は、対象体をスキャンして得た映像データから「第3平面」205を眺める正面方向の正面映像を抽出して画面上の第3領域215に表示する。
また、3次元超音波診断装置は、選定された基準により、映像データを回転または移動させることによって側面映像、上面映像、または正面映像を更新して表示することで、3次元の対象体を容易に把握することができる。
図3は、本発明の一実施形態に係る3次元超音波診断装置によって対象体をスキャンして得た映像データから開始点を決定する方法を説明するための図である。
図3に示すように、3次元超音波診断装置は、胎児をスキャンして得た映像データから胎児の側面映像を抽出し、その側面映像の明るさを用いて胎児の鼻骨または口蓋を認知することができる。例えば、3次元超音波診断装置は、側面映像の輝度値が最も大きい部分を鼻骨または口蓋であると認知することができる。
このとき、3次元超音波診断装置は、鼻骨の終点301を通過する垂直線303と胎児の項部透明帯(NT)を通過する水平線305とが交差する地点から上方に、ある設定された距離だけ離隔された仮想点307を開始点と定める。
図4は、本発明の一実施形態に係る3次元超音波診断装置によって対象体の方向を決める方法を説明するための図である。
図4に示すように、3次元超音波診断装置は、対象体が胎児である場合、胎児をスキャンして得た映像データから胎児の頭方向を決める。
例えば、3次元超音波診断装置は、側面方向の第1仮想平面401を映像データに対して、第1仮想平面401と直交する方向(側面方向)403に一定の間隔で移動させながら、第1仮想平面401に含まれる複数の映像データを抽出する。このとき、3次元超音波診断装置は鼻骨と口蓋を正確かつ容易に抽出するために、トップハット変換(top−hat transform)を映像データに適用する。
その後、3次元超音波診断装置は、第1仮想平面401に含まれる複数の映像データから、胎児の鼻骨と口蓋との間のFMF角度の方向を識別する。
3次元超音波診断装置は、第1方向(例えば、側面映像において頭が左側に向く方向)のFMF角度405を含む映像のデータ値が第2方向(例えば、側面映像において頭が右側に向く方向)のFMF角度407を含む映像のデータ値よりも大きい場合、第1方向を胎児の頭方向(頭頂方向)と決定する。具体的には、3次元超音波診断装置は、第1仮想平面に含まれる複数の映像データに対する推定された頭方向を「左:右=7:3」のように点数付与する。この後、最終的に胎児の頭方向を点数が相対的に高く付与された左側方向に決定する。
図5は、本発明の一実施形態に係る3次元超音波診断装置によってサジタルビューで調整するための基本映像であって、対象体の上面映像を抽出する一例を示す図である。
図5に示すように、3次元超音波診断装置は、上面方向の第2仮想平面501を、胎児をスキャンした映像データに対して開始点501から胎児の頭方向503(矢印の方向)に一定の間隔で移動させながら、第2仮想平面501に含まれる複数の映像データを抽出する。
その後、3次元超音波診断装置は、第2仮想平面501に含まれる複数の映像データから胎児の頭に該当する複数の楕円の周縁長を測定し、その測定された複数の楕円の周縁長の平均値よりも大きい周縁長を有する映像データを選別する。例えば、3次元超音波診断装置は、第2仮想平面501に含まれる複数の映像データが10個である場合、楕円の周縁長が平均周縁長、すなわち、8.6cmよりも大きい周縁長を有する4個の映像データを選別する(図5参照)。
3次元超音波診断装置は、楕円の周縁長が平均値よりも大きい映像データのうちテンプレート照合のエネルギーが最も少ない映像データを上面映像として抽出する。例えば、3次元超音波診断装置は、楕円の周縁長が平均周縁長、すなわち、8.6cmよりも大きい周縁長を有する4個の映像データのうち、選定されたテンプレート(例えば、長軸の長さが2.5cm、アスペクト比が1.5である楕円)とのマッチング度が最も高い映像データを上面映像として抽出する。
ここで、3次元超音波診断装置は、各映像データで胎児の頭に該当する楕円に楕円テンプレート505を表示し、胎児の頭に該当する楕円にマッチングするように楕円テンプレート505の短軸または長軸の長さを変形してもよい。このとき、3次元超音波診断装置は、楕円テンプレート505の変形を最小化して、楕円テンプレート505に対するマッチングが最も高い映像データを抽出する。
図6は、本発明の一実施形態に係る3次元超音波診断装置によって対象体の正面映像を補正する一例を示す図である。
図6に示すように、3次元超音波診断装置は、胎児をスキャンして得た映像データから胎児の側面映像を抽出し、その側面映像で胎児の鼻骨の位置が最も高いところに位置するように、前記映像データを、正面方向に沿った軸を基準に、側面映像に対して直交する方向(側面方向)601に回転させ、鼻骨の位置を移動する。
このとき、3次元超音波診断装置は、鼻骨の位置が最も高いところに位置するように、前記映像データを動かすことで、胎児が斜めに位置しないようにする。この結果、胎児に対する正面映像が左右対称に表示されるようにする。すなわち、3次元超音波診断装置は、正面映像で、胎児の顔、腕、足の位置ができるだけ対称に表示されるようにする。
図7は、本発明の一実施形態に係る3次元超音波診断装置によって対象体の映像データを回転してサジタルビューを調整する一例を示す図である。
図7に示すように、3次元超音波診断装置は、対象体をスキャンして得た映像データから上面映像を抽出し、その上面映像を用いて映像データを回転することによって、対象体に対するサジタルビューを調整する。
例えば、3次元超音波診断装置は、上面映像にウィンドウ領域703を設定して上面映像に含まれた胎児に相当する図形をマッチングし、ウィンドウ領域703を基準としてマッチングされた図形の左右マッチング度が最も高くなるように映像データを回転して、対象体に対するサジタルビューを自動的に調整する。すなわち、3次元超音波診断装置は、マッチングされる図形が楕円である場合、楕円の長軸を垂直に位置させ、長軸を基準として楕円の左側と右側が最も対称になるように映像データを回転する。
このとき、3次元超音波診断装置は、上面映像の楕円が傾いた場合、上面方向に第2仮想平面内の任意の一点を貫通し、側面映像を通過する仮想軸701を基準軸として映像データを回転し、上面映像の楕円が傾かないように調整することによって楕円の周縁に対する左右マッチング度を高める。
図8は、本発明の一実施形態に係る3次元超音波診断装置の動作方法を示すフローチャートである。
図8に示すように、ステップS801において、3次元超音波診断装置は、人体内の対象体をスキャンして得た映像データから開始点を決定する。
このとき、対象体が胎児である場合、3次元超音波診断装置は映像データから胎児に対する側面映像を抽出し、その側面映像から胎児の鼻骨を識別し、その鼻骨を用いて開始点を決定する。
まず、3次元超音波診断装置は、映像データから胎児の側面映像を抽出し、その側面映像の輝度値を用いて胎児の鼻骨または口蓋を識別する。このとき、3次元超音波診断装置は、骨からの超音波反射が最も強いことを用いて、側面映像において輝度値が最も大きくなる部分を鼻骨または口蓋であると確定する。
その後、3次元超音波診断装置は、鼻骨の終点301を通過する垂直線303と胎児の項部透明帯(NT)を通過する水平線305とが交差する地点から上部に、ある設定された距離(例えば、1.3cm〜1.5cm)だけ離隔した仮想点307を開始点と定める。
ステップS803において、3次元超音波診断装置は対象体が胎児である場合、胎児の頭方向を決める。
例えば、3次元超音波診断装置は、側面方向の第1仮想平面を映像データに対して、第1仮想平面と直角方向に一定の間隔で移動させながら第1仮想平面に含まれる複数の映像データを抽出する。
その後、3次元超音波診断装置は、第1仮想平面に含まれる複数の映像データから胎児の鼻骨と口蓋との間のFMF角度の方向を識別し、第1方向(例えば、側面映像において頭が左側に向く方向)のFMF角度を含む映像のデータ値が第2方向(例えば、側面映像において頭が右側に向く方向)のFMF角度を含む映像のデータ値よりも大きい場合、第1方向を胎児の頭方向と確定する。
ステップS805において、3次元超音波診断装置は、上面方向の第2仮想平面を、映像データに対して開始点から胎児の頭方向に一定の間隔で移動させながら、第2仮想平面に含まれる複数の映像データを抽出する。
ステップS807において、3次元超音波診断装置は、第2仮想平面に含まれる複数の映像データのうち1つの映像データを上面映像として選択する。
このとき、3次元超音波診断装置は、第2仮想平面に含まれる映像データから映像の外形周縁長を測定し、そこで測定された外形周縁長の平均値を算出する。3次元超音波診断装置は、外形周縁長が平均値よりも大きい周縁長を有する映像データを選別し、その大きい周縁長を有する映像データのうちで、テンプレート照合のエネルギーが最も少ない映像データを上面映像として抽出する。
また、3次元超音波診断装置は、胎児が斜めに位置する場合、胎児の側面映像における鼻骨を用いて映像データを移動する。すなわち、3次元超音波診断装置は、胎児に対する側面映像において鼻骨の位置が最も高いところに位置するよう、前記映像データを、正面方向に沿った軸を中心軸に側面映像と直角方向に回転させ、鼻骨の位置を移動し、胎児の正面映像において胎児が左右対称になるように制御する。
ステップS809において、3次元超音波診断装置は、上面映像を用いて映像データを回転し、対象体に対するサジタルビューを調整する。このとき、3次元超音波診断装置は、上面方向に第2仮想平面内の任意の一点を貫通し、側面映像を通過する仮想軸701を基準軸として映像データを回転する。
具体的には、3次元超音波診断装置は、対象体が胎児である場合、映像データから胎児の側面映像を抽出し、その側面映像に含まれた胎児のファルクス領域に対する輝度値が最も大きくなるように映像データを回転して、対象体に対するサジタルビューを自動的に調整する。
また、3次元超音波診断装置は、他の一例として対象体が胎児である場合、上面映像に含まれた胎児に相当する図形をマッチングし、そのマッチングされた図形の左右マッチング度が最も高くなるように映像データを回転して対象体に対するサジタルビューを自動的に調整する。
本発明の実施形態は、多様なコンピュータにより行われるプログラム命令により実現され、また、コンピュータ読取可能な記録媒体に記録されてもよい。前記コンピュータ読取可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて構成することもできる。前記媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、オプティカルディスクのような磁気−光媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。
上述したように、本発明を、限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような発明から多様な修正および変形が可能である。
したがって、本発明の範囲は説明された実施形態に限定されて決められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められなければならない。
101 3次元超音波診断装置
103 スキャナ
105 第1プロセッサ
107 第2プロセッサ
109 前処理部
111 処理部
113 制御部
201 第1平面
203 第2平面
205 第3平面
211 第1領域
213 第2領域
215 第3領域
301 終点
303 垂直線
305 仮想線
307 仮想点
401 第1仮想平面
403 方向
405 FMF角度
407 FMF角度
501 開始点
503 頭方向
505 楕円テンプレート
601 方向
701 仮想線
703 ウィンドウ領域

Claims (18)

  1. 人体内の対象体に超音波信号を送信し、前記対象体から反射される超音波エコー信号を受信して超音波データを取得する超音波データ取得部と、
    前記超音波データを用いて前記対象体の側面映像を含む映像データを形成する映像データ形成部と、
    前記人体内の前記対象体の前記映像データから開始点を決める第1プロセッサと、
    前記対象体の前記側面映像に直交する映像を前記開始点から前記対象体の頭頂方向に移動させながら、前記映像に含まれる複数の映像データを抽出し、前記複数の映像データのうちのいずれか1つを上面映像として抽出する第2プロセッサと、
    前記上面映像を用いて前記映像データを回転して、前記対象体に対するサジタルビューを調整する制御部と、
    を含むことを特徴とする3次元超音波診断装置。
  2. 前記対象体が胎児である場合、
    前記第1プロセッサは、前記映像データから抽出した前記胎児の前記側面映像の輝度値を用いて前記胎児の鼻骨を識別し、前記鼻骨の終端を通過する垂直線と前記胎児の項部透明帯(NT)を通過する水平線とが交差する地点からある選定された距離だけ離隔された仮想点を前記映像データの開始点として定めることを特徴とする請求項1に記載の3次元超音波診断装置。
  3. 前記第2プロセッサは、前記対象体が胎児である場合、前記胎児の前記頭頂方向を識別する前処理部を含むことを特徴とする請求項1または2に記載の3次元超音波診断装置。
  4. 前記映像データは、前記側面映像に対応する第1仮想平面を含み、
    前記前処理部は、前記第1仮想平面を、前記映像データに対して前記第1仮想平面と直交する方向に一定の間隔で移動させながら、前記第1仮想平面に含まれ、前記胎児の鼻骨と口蓋との間のFMF角度を有する映像から前記胎児の頭が位置する第1方向を識別し、
    前記第1方向のFMF角度を含む映像のデータ値が前記第1方向に反対の第2方向のFMF角度を含む映像のデータ値よりも大きい場合、前記第1方向を前記胎児の前記頭頂方向に定めることを特徴とする請求項3に記載の3次元超音波診断装置。
  5. 前記映像データは、前記映像に対応する第2仮想平面を含み、
    前記第2プロセッサは、前記第2仮想平面を、前記映像データに対して前記開始点から前記胎児の前記頭頂方向に一定の間隔で移動させながら、前記第2仮想平面に含まれる映像データのうちいずれか1つを前記上面映像として抽出する処理部を含むことを特徴とする請求項3または4に記載の3次元超音波診断装置。
  6. 前記第2プロセッサは、前記第2仮想平面に含まれる前記映像データから前記胎児の頭の外形周縁長を測定し、前記測定された外形周縁長の平均値よりも大きい周縁長を有する映像データを選別し、前記選別された映像データのうちテンプレート照合のエネルギーが最も少ない映像データを前記上面映像として抽出することを特徴とする請求項5に記載の3次元超音波診断装置。
  7. 前記対象体が胎児である場合、
    前記制御部は、前記映像データから抽出した前記胎児の前記側面映像の輝度値を用いて前記胎児の鼻骨を識別し、前記鼻骨の位置が最も高いところに位置するよう、前記側面映像と直交する方向に前記映像データの片側を移動することを特徴とする請求項1ないし6のいずれかに記載の3次元超音波診断装置。
  8. 前記対象体が胎児である場合、
    前記制御部は、前記映像データから前記胎児の前記側面映像を抽出し、前記側面映像に含まれた前記胎児のファルクス領域(falx area)の輝度値が最大になるように前記映像データを回転することを特徴とする請求項1ないし7のいずれかに記載の3次元超音波診断装置。
  9. 前記対象体が胎児である場合、
    前記制御部は、前記上面映像に含まれる前記胎児の頭に相当する図形をマッチングし、そのマッチングされた図形の左右マッチング度が最大になるように前記映像データを回転することを特徴とする請求項1ないし7のいずれかに記載の3次元超音波診断装置。
  10. 人体内の対象体に超音波信号を送信し、前記対象体から反射される超音波エコー信号を受信して超音波データを取得するステップと、
    前記超音波データから前記対象体の側面映像を含む映像データを形成するステップと、
    前記人体内の前記対象体の前記映像データから開始点を決定するステップと、
    前記対象体の前記側面映像に直交する映像を前記開始点から前記対象体の頭頂方向に移動させながら、前記映像に含まれる複数の映像データを抽出し、前記複数の映像データのうちのいずれか1つを前記上面映像として抽出するステップと、
    前記上面映像を用いて前記映像データを回転し、前記対象体に対するサジタルビューを調整するステップと、
    を含むことを特徴とする3次元超音波診断装置の動作方法。
  11. 前記対象体が胎児である場合、
    前記開始点を決定するステップは、前記映像データから抽出した前記胎児の前記側面映像の輝度値を用いて、前記胎児の鼻骨を識別するステップと、
    前記鼻骨の終端を通過する垂直線と前記胎児の項部透明帯(NT)を通過する水平線とが交差する地点からある選定された距離だけ離隔された仮想点を前記開始点と定めるステップと、
    を含むことを特徴とする請求項10に記載の3次元超音波診断装置の動作方法。
  12. 前記対象体の上面映像を抽出するステップは、前記対象体が胎児である場合、前記胎児の前記頭頂方向を決定するステップを含むことを特徴とする請求項10または11に記載の3次元超音波診断装置の動作方法。
  13. 前記映像データは前記側面映像に対応する第1仮想平面を含み、前記対象体が胎児である場合、
    前記対象体の前記上面映像を抽出するステップは、
    前記第1仮想平面を、前記映像データに対して前記第1仮想平面と直交する方向に一定の間隔で移動させながら、前記第1仮想平面に含まれ、前記胎児の鼻骨と口蓋との間のFMF角度を有する映像から前記胎児の頭が位置する第1方向を識別するステップと、
    前記第1方向のFMF角度を含む映像のデータ値が前記第1方向と反対の第2方向のFMF角度を含む映像のデータ値よりも大きい場合、前記第1方向を前記胎児の前記頭頂方向に決定するステップと、
    を含むことを特徴とする請求項12に記載の3次元超音波診断装置の動作方法。
  14. 前記映像データは、前記映像に対応する第2仮想平面を含み、前記対象体が胎児である場合、
    前記対象体の上面映像を抽出するステップは、前記第2仮想平面を、前記映像データに対して前記開始点から前記胎児の前記頭頂方向に一定の間隔で移動させながら、前記第2仮想平面に含まれる映像データのうちいずれか1つを前記上面映像として抽出するステップを含むことを特徴とする請求項12または13に記載の3次元超音波診断装置の動作方法。
  15. 前記対象体が胎児である場合、
    前記対象体の上面映像を抽出するステップは、
    前記第2仮想平面に含まれる前記映像データから前記胎児の頭の外形周縁長を測定するステップと、
    前記測定された外形周縁長の平均値よりも大きい周縁長を有する映像データを選別するステップと、
    前記選別された映像データのうちテンプレート照合のエネルギーが最も少ない映像データを前記上面映像として抽出するステップと、
    を含むことを特徴とする請求項14に記載の3次元超音波検査機の動作方法。
  16. 前記対象体が胎児である場合、
    前記映像データから抽出した前記胎児の前記側面映像の輝度値を用いて前記胎児の鼻骨を識別するステップと、
    前記鼻骨の位置が最も高いところに位置するように、前記側面映像と直交する方向に前記映像データの片側を移動するステップと、
    をさらに含むことを特徴とする請求項10ないし15のいずれかに記載の3次元超音波診断装置の動作方法。
  17. 前記対象体に対するサジタルビューを調整するステップは、
    前記対象体が胎児である場合、前記映像データから前記胎児の前記側面映像を抽出し、前記側面映像に含まれる前記胎児のファルクス領域の輝度値が最大になるように前記映像データを回転するステップを含むことを特徴とする請求項10ないし16のいずれかに記載の3次元超音波診断装置の動作方法。
  18. 前記対象体に対するサジタルビューを調整するステップは、
    前記対象体が胎児である場合、前記上面映像に含まれた前記胎児の頭に相当する図形をマッチングし、そのマッチングされた図形の左右マッチング度が最高になるように前記映像データを回転するステップを含むことを特徴とする請求項10ないし16のいずれかに記載の3次元超音波診断装置の動作方法。
JP2011093532A 2010-05-31 2011-04-19 3次元超音波診断装置およびその動作方法 Active JP5717524B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100051144A KR101229490B1 (ko) 2010-05-31 2010-05-31 3차원 초음파 검사기 및 3차원 초음파 검사기의 동작 방법
KR10-2010-0051144 2010-05-31

Publications (2)

Publication Number Publication Date
JP2011251114A JP2011251114A (ja) 2011-12-15
JP5717524B2 true JP5717524B2 (ja) 2015-05-13

Family

ID=44168876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011093532A Active JP5717524B2 (ja) 2010-05-31 2011-04-19 3次元超音波診断装置およびその動作方法

Country Status (4)

Country Link
US (1) US20110295120A1 (ja)
EP (1) EP2390839A1 (ja)
JP (1) JP5717524B2 (ja)
KR (1) KR101229490B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9263225B2 (en) 2008-07-15 2016-02-16 Rapiscan Systems, Inc. X-ray tube anode comprising a coolant tube

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130158437A1 (en) * 2011-12-14 2013-06-20 Sharon Moalem System For Diagnosing and Identifying Genetic Features, Genetic and Congenital Syndromes And Developmental Abnormalities
US8891881B2 (en) * 2012-01-25 2014-11-18 General Electric Company System and method for identifying an optimal image frame for ultrasound imaging
KR101423923B1 (ko) * 2012-02-06 2014-08-13 삼성메디슨 주식회사 대상체의 대칭 정보를 획득하는 방법 및 장치
WO2014142468A1 (en) 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Method of providing copy image and ultrasound apparatus therefor
US11096668B2 (en) 2013-03-13 2021-08-24 Samsung Electronics Co., Ltd. Method and ultrasound apparatus for displaying an object
KR101495528B1 (ko) * 2013-03-28 2015-03-02 삼성메디슨 주식회사 대상체의 방향 정보를 제공하는 초음파 시스템 및 방법
US20160081663A1 (en) * 2014-09-18 2016-03-24 General Electric Company Method and system for automated detection and measurement of a target structure
WO2016176863A1 (zh) 2015-05-07 2016-11-10 深圳迈瑞生物医疗电子股份有限公司 三维超声成像方法和装置
JP6731369B2 (ja) * 2017-03-23 2020-07-29 株式会社日立製作所 超音波診断装置及びプログラム
JP6761365B2 (ja) * 2017-03-23 2020-09-23 株式会社日立製作所 超音波診断装置及びプログラム
US11798677B2 (en) 2019-12-31 2023-10-24 GE Precision Healthcare LLC Method and system for providing a guided workflow through a series of ultrasound image acquisitions with reference images updated based on a determined anatomical position

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6939301B2 (en) * 2001-03-16 2005-09-06 Yaakov Abdelhak Automatic volume measurements: an application for 3D ultrasound
US8083678B2 (en) * 2003-04-16 2011-12-27 Eastern Virginia Medical School System, method and medium for acquiring and generating standardized operator independent ultrasound images of fetal, neonatal and adult organs
US7252638B2 (en) * 2003-06-23 2007-08-07 Siemens Medical Solutions Usa, Inc. Method and system for simultaneously displaying relationships of measurements of features associated with a medical image
US7244233B2 (en) * 2003-07-29 2007-07-17 Ntd Laboratories, Inc. System and method for utilizing shape analysis to assess fetal abnormality
US7783095B2 (en) * 2005-08-11 2010-08-24 Siemens Medical Solutions Usa, Inc. System and method for fetal biometric measurements from ultrasound data and fusion of same for estimation of fetal gestational age
US7922660B2 (en) * 2006-08-01 2011-04-12 Sonek Jiri D Methods of prenatal screening for trisomy 21
KR100875620B1 (ko) * 2006-11-09 2008-12-26 주식회사 메디슨 초음파 영상 시스템 및 방법
JP4922006B2 (ja) * 2007-02-16 2012-04-25 日立アロカメディカル株式会社 超音波診断装置およびデータ処理方法
WO2009136332A2 (en) * 2008-05-09 2009-11-12 Koninklijke Philips Electronics N.V. Automatic ultrasonic measurement of nuchal fold translucency

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9263225B2 (en) 2008-07-15 2016-02-16 Rapiscan Systems, Inc. X-ray tube anode comprising a coolant tube

Also Published As

Publication number Publication date
EP2390839A1 (en) 2011-11-30
JP2011251114A (ja) 2011-12-15
US20110295120A1 (en) 2011-12-01
KR101229490B1 (ko) 2013-02-04
KR20110131614A (ko) 2011-12-07

Similar Documents

Publication Publication Date Title
JP5717524B2 (ja) 3次元超音波診断装置およびその動作方法
JP5771397B2 (ja) 人体内の対象体をスキャンする3次元超音波検査機および3次元超音波検査機の動作方法
JP5836632B2 (ja) 図形テンプレートを用いて映像を測定する超音波診断装置およびその映像の表示方法
JP2012066069A (ja) 映像フィルタリングを用いた3次元超音波診断装置およびその操作方法
US20130072797A1 (en) 3d ultrasound apparatus and method for operating the same
Nahm et al. Accurate registration of cone-beam computed tomography scans to 3-dimensional facial photographs
JP2017525445A (ja) 超音波撮像装置
KR20130072810A (ko) 초음파 영상을 이용하여 정중 시상면을 자동으로 검출하는 방법 및 그 장치
JP5836735B2 (ja) 対象体のスライス映像表示超音波診断装置およびその方法
JP5907667B2 (ja) 3次元超音波診断装置およびその操作方法
JP2011240118A (ja) 超音波診断装置のディスプレイシステムおよびディスプレイ方法
KR101144867B1 (ko) 인체 내 오브젝트를 스캔하는 3차원 초음파 검사기 및 3차원 초음파 검사기 동작 방법
JP2023036805A (ja) 人体部分の撮像方法、コンピュータ、コンピュータ読み取り可能記憶媒体、コンピュータプログラム、および医療システム
JP7141875B2 (ja) 放射線治療システム
JP2013135869A (ja) 医用画像処理装置
KR101194284B1 (ko) 이미지의 각을 측정하는 초음파 검사기 및 초음파 검사기의 동작 방법
JP6994608B2 (ja) 骨折を検出するための装置及び方法
JP2018183447A (ja) 情報処理装置、情報処理方法、およびプログラム
KR101194283B1 (ko) 도형 템플릿을 이용하여 이미지를 측정하는 초음파 검사기 및 초음파 검사기의 동작 방법
Beigi Image-based enhancement and tracking of an epidural needle in ultrasound using time-series analysis
Cheung Development of 3D ultrasound system for assessing adolescent idiopathic scoliosis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150317

R150 Certificate of patent or registration of utility model

Ref document number: 5717524

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250