JP5943373B2 - 超音波診断装置、超音波画像処理装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム - Google Patents

超音波診断装置、超音波画像処理装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム Download PDF

Info

Publication number
JP5943373B2
JP5943373B2 JP2011235252A JP2011235252A JP5943373B2 JP 5943373 B2 JP5943373 B2 JP 5943373B2 JP 2011235252 A JP2011235252 A JP 2011235252A JP 2011235252 A JP2011235252 A JP 2011235252A JP 5943373 B2 JP5943373 B2 JP 5943373B2
Authority
JP
Japan
Prior art keywords
ultrasonic
histogram
image data
gradation correction
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011235252A
Other languages
English (en)
Other versions
JP2012105973A (ja
Inventor
佐々木 琢也
琢也 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Medical Systems Corp filed Critical Toshiba Medical Systems Corp
Priority to JP2011235252A priority Critical patent/JP5943373B2/ja
Publication of JP2012105973A publication Critical patent/JP2012105973A/ja
Application granted granted Critical
Publication of JP5943373B2 publication Critical patent/JP5943373B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Clinical applications
    • A61B8/0883Clinical applications for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20008Globally adaptive
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30044Fetus; Embryo

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、超音波プローブを用いて超音波走査して得られた信号から画像を生成し表示する場合に、適切な階調補正を行う目的で使用される超音波診断装置、超音波画像処理装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラムに関する。
超音波診断装置は、超音波プローブに設けられた振動素子から発生する超音波パルスを被検体内に放射し、被検体組織の音響インピーダンスの差異によって生ずる超音波反射波を前記振動素子により受信して生体情報を収集するものである。超音波プローブを体表に接触させるだけの簡単な操作で画像データのリアルタイム表示が可能であり、例えば、心臓等、動きのある対象物を観察出来るため、循環器領域、各種臓器の形態診断や機能診断に広く用いられている。この様な超音波診断装置によって取得される超音波画像を見易くするためには、対象物に応じて輝度の濃淡(階調)等を適切に設定・調整する必要がある。
ところで、生体内の構造、部位(臓器) によっては、診断に不要なノイズ等が多くなり、超音波画像のコントラストを好適にするための調整が困難な場合や、ユーザ自身が調整可能な範囲内では適切に調整することができない場合等がある。しかしながら、従来の超音波診断装置は操作性が低く、例えば上記各場合において、画像の階調の設定・調整を適切に支援することができない。
上記事情を鑑みてなされたもので、従来の超音波診断装置に比して、画像の階調を適切に設定・調整することができる超音波診断装置、超音波画像処理装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラムを提供することを目的としている。
一実施形態に係る超音波診断装置は、被検体の診断対象を含む所定領域内に超音波を送信し、前記所定領域内からの反射波を受信し、前記反射波に基づいて超音波画像データを取得する画像データ取得ユニットと、前記超音波画像データの階調補正を実行する補正ユニットと、を具備し、前記補正ユニットは、前記階調補正において、前記画像データの輝度に関するヒストグラムを算出し、前記ヒストグラムの二階微分から得られる特徴点を用いて前記診断対象に対応する輝度分布範囲と階調補正関数とを算出すること、を特徴とするものである。
図1は、実施形態に係る超音波診断装置1のブロック構成図を示している。 図2は、本階調最適化機能に従う処理において実行される各処理の流れを示したフローチャートである。 図3は、本階調最適化機能に従う処理において実行される各処理の流れを示したフローチャートである。 図4は、階調最適化処理において取得されるヒストグラム及びヒストグラム累積和の一例を示した図である。 図5は、階調最適化処理において取得されるヒストグラムの微分の一例を示した図である。 図6は、階調最適化処理において取得されるヒストグラムの二階微分の一例を示した図である。 図7は、特徴点を用いた輝度分布範囲の設定処理を説明するための図である。 図8は、本階調最適化処理が施されていない超音波画像の一例を示した図である。 図9は、図8の画像に対して本階調最適化処理を施した超音波画像の一例を示した図である。 図10は、第2零点P2における平滑化累積値の傾きを正規化して算出したA2の傾きを採用する変形例を示した図である。 図11は、本実施形態の変形例2を説明するための図である。 図12は、本実施形態の変形例3を説明するための図である。 図13は、本実施形態の変形例3を説明するための図である。 図14は、本実施形態の変形例3を説明するための図である。 図15は、本階調最適化処理を動画像表示に適用する場合(変形例5に係る場合)のフローチャートの一例である。 図16は、所定の超音波画像のゲイン調整前の輝度値に関するヒストグラムの一例を示した図である。 図17は、図16に示したヒストグラムの第一次導関数のグラフを示した図である。 図18は、図16に示したヒストグラムの第二次導関数のグラフを示した図である。 図19は、図16に示したヒストグラムの第三次導関数のグラフを示した図である。 図20は、ゲインを上げた場合の超音波画像の輝度値に関するヒストグラムの一例を示した図である。 図21は、図20に示したヒストグラムの第一次導関数のグラフを示した図である。 図22は、図20に示したヒストグラムの第二次導関数のグラフを示した図である。 図23は、図20に示したヒストグラムの第三次導関数のグラフを示した図である。 図24は、ゲインを下げた場合の超音波画像の輝度値に関するヒストグラムの一例を示した図である。 図25は、図24に示したヒストグラムの第一次導関数のグラフを示した図である。 図26は、図24に示したヒストグラムの第二次導関数のグラフを示した図である。 図27は、図24に示したヒストグラムの第三次導関数のグラフを示した図である。
以下、本実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
(第1実施形態)
図1は、本実施形態に係る超音波診断装置1のブロック構成図を示している。同図に示すように、本超音波診断装置1は、超音波プローブ12、入力装置13、モニター14、超音波送信ユニット21、超音波受信ユニット22、Bモード処理ユニット23、血流検出ユニット24、RAWデータメモリ25、画像処理ユニット26、階調最適化ユニット280を有する表示処理ユニット28、制御プロセッサ(CPU)29、記憶ユニット30、インタフェースユニット31を具備している。以下、個々の構成要素の機能について説明する。
超音波プローブ12は、被検体に対して超音波を送信し、当該送信した超音波に基づく被検体からの反射波を受信するデバイス(探触子)であり、その先端に複数に配列された圧電振動子、整合層バッキング材等を有している。圧電振動子は、超音波プローブ12は、超音波送信ユニット21からの駆動信号に基づきスキャン領域内の所望の方向に超音波を送信し、当該被検体からの反射波を電気信号に変換する。整合層は、当該圧電振動子に設けられ、超音波エネルギーを効率良く伝播させるための中間層である。バッキング材は、当該圧電振動子から後方への超音波の伝播を防止する。当該超音波プローブ12から被検体Pに超音波が送信されると、当該送信超音波は、体内組織の音響インピーダンスの不連続面で次々と反射され、エコー信号として超音波プローブ12に受信される。このエコー信号の振幅は、反射することになった不連続面における音響インピーダンスの差に依存する。また、送信された超音波パルスが、移動している血流で反射された場合のエコーは、ドプラ効果により移動体の超音波送信方向の速度成分に依存して、周波数偏移を受ける。
なお、ボリュームデータを取得する場合には、超音波プローブ12として、例えば二次元アレイプローブ(複数の超音波振動子が二次元マトリックス状に配列されたプローブ)、又はメカニカル4Dプローブ(超音波振動子列をその配列方向と直交する方向に機械的に煽りながら超音波走査を実行可能なプローブ)を採用するようにしてもよい。しかしながら、当該例に拘泥されず、例えば一次元アレイプローブを超音波プローブ12として採用し、これを手動によって揺動させながら超音波走査をすることでも、ボリュームデータを取得することは可能である。
入力装置13は、装置本体11に接続され、オペレータからの各種指示、条件、関心領域(ROI)の設定指示、種々の画質条件設定指示等を装置本体11にとりこむための各種スイッチ、ボタン、トラックボール、マウス、キーボード等を有している。また、入力装置13は、後述する階調最適化機能において、その開始指示や対象とする超音波画像の選択指示等を有している。
モニター14は、画像処理ユニット28からのビデオ信号に基づいて、生体内の形態学的情報や、血流情報を画像として表示する。
超音波送信ユニット21は、図示しないトリガ発生回路、遅延回路およびパルサ回路等を有している。トリガ発生回路では、所定のレート周波数fr Hz(周期;1/fr秒)で、送信超音波を形成するためのトリガパルスが繰り返し発生される。また、遅延回路では、チャンネル毎に超音波をビーム状に集束し且つ送信指向性を決定するのに必要な遅延時間が、各トリガパルスに与えられる。パルサ回路は、このトリガパルスに基づくタイミングで、プローブ12に駆動パルスを印加する。
なお、超音波送信ユニット21は、制御プロセッサ28の指示に従って所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に送信駆動電圧の変更については、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、又は複数の電源ユニットを電気的に切り替える機構によって実現される。
超音波受信ユニット22は、図示していないアンプ回路、A/D変換器、加算器等を有している。アンプ回路では、プローブ12を介して取り込まれたエコー信号をチャンネル毎に増幅する。A/D変換器では、増幅されたエコー信号に対し受信指向性を決定し、受信ダイナミックフォーカスを行うのに必要な遅延時間を与え、その後加算器において加算処理を行う。この加算により、エコー信号の受信指向性に応じた方向からの反射成分が強調され、受信指向性と送信指向性とにより超音波送受信の総合的なビームが形成される。
Bモード処理ユニット23は、受信ユニット22からエコー信号を受け取り、対数増幅、包絡線検波処理などを施し、信号強度が輝度の明るさで表現されるデータを生成する。
血流検出ユニット24は、受信ユニット22から受け取ったエコー信号から血流信号を検出し、血流データを生成する。血流信号の検出は、通常CFM(Color Flow Mapping)で行われる。この場合、血流信号を解析し、血流データとして平均速度、分散、パワー等の血流情報を多点について求める。
RAWデータメモリ25は、Bモード処理ユニット23から受け取ったBモードデータ、血流検出ユニット24から受け取った血流データを用いて、フレーム毎のBモードRAWデータ、血流RAWデータをそれぞれ生成する。また、RAWデータメモリ25は、必要に応じてRAW−ボクセル変換を実行することにより、RAWデータからボリュームデータを生成する。
画像処理ユニット28は、RAWデータメモリ25から受け取るRAWデータに対して、スキャンコンバージョン処理等を実行する。また、画像処理ユニット28は、RAWデータメモリ25から受け取るボリュームデータに対して、ボリュームレンダリング、多断面変換表示(MPR:multi planar reconstruction)、最大値投影表示(MIP:maximum intensity projection)等の所定の画像処理を行う。なお、ノイズ低減や画像の繋がりを良くすることを目的として、画像処理ユニット28の後に二次元的なフィルタを挿入し、空間的なスムージングを行うようにしてもよい。
表示処理ユニット28は、画像処理ユニット28において生成・処理された各種画像データに対し、ダイナミックレンジ、輝度(ブライトネス)、コントラスト、γカーブ補正、RGB変換等の各種を実行する。さらに、表示処理ユニット28が有する階調最適化ユニット280は、後述する階調最適化機能に従う処理を、制御プロセッサ29からの制御に従って実行する。
制御プロセッサ29は、情報処理装置(計算機)としての機能を持ち、本超音波診断装置本体の動作を制御する。制御プロセッサ29は、記憶ユニット30から後述する階調最適化機能を実現するための専用プログラムを読み出して自身が有するメモリ上に展開し、各種処理に関する演算・制御等を実行する。
記憶ユニット30は、後述する階調最適化機能を実現するための専用プログラムや、診断情報(患者ID、医師の所見等)、診断プロトコル、送受信条件、スペックル除去機能を実現するためのプログラム、ボディマーク生成プログラム、その他のデータ群が保管されている。また、必要に応じて、RAWデータメモリ中の画像の保管などにも使用される。記憶ユニット30のデータは、インタフェースユニット31を経由して外部周辺装置へ転送することも可能となっている。
インタフェースユニット31は、入力装置13、ネットワーク、新たな外部記憶装置(図示せず)に関するインタフェースである。当該装置によって得られた超音波画像等のデータや解析結果等は、インタフェースユニット31よって、ネットワークを介して他の装置に転送可能である。
(階調最適化機能)
次に、本超音波診断装置1が有する、階調最適化機能について説明する。この機能は、取得された個々の超音波画像データを用いて生成されたヒストグラム、当該ヒストグラムの一階微分、二階微分から特徴点を算出し、診断対象に対応する輝度分布範囲を設定する。また、算出された特徴点を用いて制御条件を設定し、設定された制御条件を用いて、画像毎の階調補正関数を算出するものである。
図2、図3は、本階調最適化機能に従う処理(階調最適化処理)において実行される各処理の流れを示したフローチャートである。以下、各ステップにおける処理の内容について説明する。
なお、以下の説明においては、説明を具体的にするため、Bモードによって心筋を含む二次元領域を超音波走査し所得する超音波画像に対して階調最適化処理を行う場合を例とする。また、超音波画像処理装置において本階調最適化処理を実現する場合には、例えばステップS2において生成される超音波画像データを予め記憶しておき、ステップS3以降の処理を実行することになる。係る場合の超音波画像処理装置は、図1の破線内の構成を具備するものとなる。
[患者情報・送受信条件を入力受:ステップS1]
入力装置13を介して患者情報の入力、送受信条件(被走査領域の大きさ、焦点位置、送信電圧等)、被検体の所定領域を超音波走査するための撮像モード、スキャンシーケンス等の選択が実行される(ステップS1)。入力、選択された各種情報・条件等は、自動的に記憶ユニット30に記憶される。
[超音波走査・超音波画像の生成:ステップS2、S3]
超音波プローブ12が被検体表面の所望の位置に当接され、診断部位(今の場合、心臓)を含む二次元領域を被走査領域として、Bモードによる超音波走査が実行される(ステップS2)。Bモードによる超音波走査によって取得されたエコー信号は、逐次超音波受信ユニット22を経由してBモード処理ユニット23に送られる。Bモード処理ユニット23は、対数増幅処理、包絡線検波処理等を実行し複数のBモードデータを生成する。RAWデータメモリ25は、Bモード処理ユニット23から受け取った複数のBモードデータを用いてBモードRAWデータを生成する。画像処理ユニット26は、生成されたBモードRAWデータに対してスキャンコンバージョンを実行することで、フレーム毎の超音波画像を生成する(ステップS3)。
[階調最適化処理:ステップS4]
次に、階調最適化ユニット280は、画像処理ユニット26において生成された超音波画像に対して、図3に示すような階調最適化処理を実行する。すなわち、階調最適化ユニット280は、まず、画像処理ユニット26から受け取った超音波画像の輝度に関するヒストグラムを生成し、得られたヒストグラムに対して平滑化処理を実行する(ステップS41)。その後、階調最適化ユニット280は、得られたヒストグラムを用いて、図4に示すようにヒストグラムの累積和を算出し、平滑化処理を実行する(ステップS42)。
次に、階調最適化ユニット280は、ヒストグラムの微分(或いは差分)を算出した後平滑化処理を実行し、図5に示すような結果を得る(ステップS43)。さらに、階調最適化ユニット280は、ヒストグラムの二階微分(或いは二階差分)を算出した後平滑化処理を実行し、図6に示すような結果を得る(ステップS44)。
次に、階調最適化ユニット280は、算出されたヒストグラムの二階微分を用いて、ヒストグラムの特徴点を算出する(ステップS45)。本実施形態では、ヒストグラムの特徴点の例として、ヒストグラム二階微分の負の最低(極大)値(ヒストグラムの正のピーク位置(最大値或いは極大値)に相当)、ヒストグラム二階微分の第二零点(ヒストグラムの裾領域における変曲点:ヒストグラム微分の負のピーク位置に相当)、ヒストグラムの裾領域における変曲点、ヒストグラム二階微分の第三零点(例えば、心筋領域からの信号とそれ以外の領域からの信号との分岐点に相当)の4点を採用するものとする。
次に、階調最適化ユニット280は、算出された特徴点を用いて輝度分布範囲を設定する(ステップS46)。例えば、階調最適化ユニット280は、図7に示すように、ヒストグラム二階微分の負の最低値(極大値)P1を下限としヒストグラム二階微分の第三零点P4を上限とする輝度分布範囲Lを設定する。
次に、階調最適化ユニット280は、算出された特徴点と設定される制御条件と輝度分布範囲Lとを用いて、階調特性関数を算出する(ステップS47)。一例を示せば、階調最適化ユニット280は、以下の制御条件(1)〜(5)によって階調特性関数を算出する。
(1)ヒストグラム二階微分の負の最低値(極大値)P1における平滑化累積値の傾きを正規化して、階調特性関数の傾きとする。
(2)入力最小値は出力最小値に対応させる(図7下の点B1)。
(3)ノイズレベル上限は、変曲点(二階微分の第2零点)とし、所望の出力値に対応させる(図7下の点B2)。
(4)対象物領域(今の場合心筋領域)は、ノイズレベル条件(変曲点)から第3零点とし、第3零点における出力値は、所望の傾きで求めた値に対応させる(図7下の点B3)。
(5)入力最大値は出力最大値に対応させる(図7下の点B4)。
次に、階調最適化ユニット280は、ステップS47において得られた階調特性関数を補間(例えばスプライン補間)して、例えば図7下の階調補正関数C1を算出し(ステップS48)、算出した階調補正関数C1を用いて、超音波画像に対して階調最適化処理を実行する(ステップS49)。
[超音波画像表示:ステップS5]
次に、モニター14は、階調最適化処理が施された超音波画像を、所定の形態で表示する(ステップS5)。
図8は、本階調最適化処理が施されていない超音波画像の一例を示した図であり、図9は、図8の画像に対して本階調最適化処理を施した超音波画像の一例を示した図である。図8と図9とを比較して解るように、本階調最適化処理によって階調調整された超音波画像の方が、コントラストが明瞭であり見易い画像となっている。
なお、階調最適化処理の内容は、上記例に拘泥されない。以下、本階調最適化処理の変形例について説明する。
(変形例1)
例えば、図10に示すように、第2零点P2における平滑化累積値の傾きを正規化して算出したA2の傾きを採用し、階調補正関数C2を算出することも可能である。また、対象物領域に対応する範囲(例えば、輝度分布範囲P2−P3)の傾きを平均して算出したものを採用するようにしてもよい。
(変形例2)
上記(1)〜(5)に対し、更なる制御条件を追加して階調特性関数を算出するようにしてもよい。例えば、高輝度領域の傾きを抑制することを目的とした、次の制御条件を加えることができる。
(6)第3零点から入力最大値(例えば階調256)までの間に存在する入力値を選択し、当該入力値が所望の出力値に対応させる(例えば、図11下の点B5)。
なお、この様な制御条件(6)の追加は、階調特性関数の算出において制御条件(1)〜(5)に対し並列的に追加してもよい。また、制御条件(1)〜(5)を用いて算出された階調特性関数の結果を踏まえ必要に応じて制御条件(6)を追加し、改めて階調特性関数を算出するようにしてもよい。また、追加した制御条件に対応する位置の階調特性が例えば255を下回る場合には、特性の乱れを抑制するために、階調特性関数が単調増加となるように補正することが好ましい。
(変形例3)
必要に応じて階調伸張処理を行うようにしてもよい。階調伸張処理を行うか否かの判定例としては、例えば、入力画像のヒストグラム累積和の所定量以上になる位置が、平滑化の端部処理領域より前において到達する場合には、画像取得時のダイナミックレンジ(DR)や階調特性が適当でなかったとして、例えばステップS47の算出において、図12から図13に示すような階調特性の伸張を行うようにする。
(変形例4)
輝度分布範囲は任意に変更することができる。例えば、上述した図7の輝度分布範囲L(下限:ヒストグラム二階微分の負の最低値。上限:第三零点)を、任意のタイミングで図14に示す輝度分布範囲L1(下限:第2零点。上限:第3零点)に変更することができる。これにより、対象物をより好適に抽出できる場合がある。
(変形例5)
本階調最適化処理は、動画像を取得し表示する場合においても適用可能である。
図15は、本階調最適化処理を動画像表示に適用する場合のフローチャートの一例である。図3に示したフローチャートと比較した場合、ステップS40の「ヒストグラム解析画像の選択処理」が追加される点が異なる。
ヒストグラム解析画像の選択処理(ステップS40)においては、取得された複数の超音波画像(例えば、一心拍や複数心拍に亘る心臓のついての超音波画像)のうち、いずれかの画像を選択してステップS41以降の階調最適化処理が実行されることになる。ヒストグラム解析画像は、例えば、予め設定された時相やタイミングに対応する画像、所定期間の最初、中央或いは最後の時相に対応する画像、画像の輝度平均が最大である画像、画像の輝度平均が複数画像のうちで平均的である画像等を選択することができる。どの様な画像をヒストグラム解析画像とするかは自由であるが、診断対象を心臓とする場合、ヒストグラム累積和は収縮・拡張に合わせて周期的に変動する等の理由から、真っ暗な画像、対象物が適切に映像化されていない画像等は、選択しないようにすべきである。
(変形例6)
本階調最適化処理は、例えば超音波画像データを取得する毎に実行することができる。また、全ての画像に対して常に実行する必要がない場合には、例えばユーザから入力装置13を介して入力される指示に応答して、任意のタイミングで実行するようにしてもよい。
(応用例)
以上述べた実施形態では、超音波画像の輝度値に関するヒストグラムの第二次導関数の第1番目の極値、第2、第3番目の零点等を特徴点として算出する例を示した。しかしながら、本階調最適化機能は、当該例に拘泥されず、例えば第n次導関数の、第i番目の極値、第j番目の零点(ただし、n,i,jはそれぞれ任意の自然数)を特徴点として算出し、得られた特徴点を用いて輝度分布範囲、階調補正曲線を算出するようにしてよい。
以上述べた構成によれば、以下の効果を得ることができる。
本超音波診断装置によれば、取得された超音波画像データを用いて生成されたヒストグラム、当該ヒストグラムの一階微分、二階微分等から特徴点を算出し、診断対象に対応する輝度分布範囲を設定する。また、算出された特徴点を用いて制御条件を設定し、設定された制御条件を用いて、階調補正関数を算出する。従って、個々の画像の階調特性に応じた適切な輝度分布範囲、階調補正関数を定義することができる。その結果、診断対象や個体差、撮像状況に応じて、迅速且つ簡単に階調補正を最適化することができる。
(第2実施形態)
次に、第2実施形態に係る超音波診断装置について説明する。本階調最適化処理の対象となる超音波画像のゲイン調整を行った場合、ゲイン調整後の輝度値に関するヒストグラムの形状は変化し、その結果ヒストグラムの累積和、第n次階導関数(ただし、nは自然数)の形状も変化することになる。本実施形態では、このようにゲイン調整によってヒストグラムの形状が変化する場合の階調最適化処理について説明する。
所定の超音波画像が取得され、当該画像のゲイン調整前の輝度値に関するヒストグラムが図16の様に得られた場合を想定する。係る場合、ヒストグラムの第一次導関数、第二次導関数、第三次導関数は、それぞれ図17、図18、図19に示す様になる。
現状の超音波画像(図16のヒストグラムに対応する超音波画像)に対してゲインを上げる処理を施した場合、ゲインを上げた後の輝度値に関するヒストグラム、ヒストグラムの第一次導関数、第二次導関数、第三次導関数は、それぞれ図20、図21、図22、図23に示す様になる。ここで、例えば図16と図20とを比較すると、ゲインを上げた結果ヒストグラムのピーク位置が移動(右方向にシフト)していることがわかる。また、図17と図21、図18と図22、図19と図23とをそれぞれ比較すると、ゲインを上げた結果、各階の導関数において各極値と各零点の位置も移動(右方向にシフト)していることがわかる。特に、図19と図23とを見ると、図19において最初に出現する極値の極性は負であるのに対し、図23において最初に出現する極値の極性は正となっている。従って、例えばゲイン調整前における「図19に示す第三次導関数の第1、第2極値を特徴点として採用する」という条件は、ゲイン調整後における「図23に示すゲイン調整前の第三次導関数の第2、第3極値を特徴点として採用する」という条件に対応することになる。
また、現状の超音波画像に対してゲインを下げる処理を施した場合、ゲインを下げた後の輝度値に関するヒストグラム、ヒストグラムの第一次導関数、第二次導関数、第三次導関数は、それぞれ図24、図25、図26、図27に示す様になる。ここで、例えば図16と図24とを比較すると、ゲインを下げた結果ヒストグラムのピーク位置が左方向にシフトしていることがわかる。また、図17と図25、図18と図26、図19と図27とをそれぞれ比較すると、ゲインを下げた結果、各次(各階)の導関数において各極値と各零点の位置も左方向にシフトしていることがわかる。特に、ゲイン上昇前後において第一次導関数、第二次導関数、第三次導関数のそれぞれを比較すると、それぞれ同じ順番の極値の極性が逆転していることがわかる(例えば、第一次導関数において、ゲイン上昇前の最初の極値の極性は正であるのに対し、ゲイン上昇後の最初の極値の極性は負となっている)。従って、例えばゲイン調整前における「図18に示す第二次導関数の第2、第3零点を特徴点として採用する」という条件は、ゲイン調整後における「図26に示すゲイン調整前の第二次導関数の第1、第2零点を特徴点として採用する」という条件に対応することになる。
すなわち、ヒストグラムのピーク位置、及びヒストグラムの第n次階導関数の各極値の極性、各零点の位置は、ゲイン調整によって変わる。従って、階調最適化処理における特徴点の算出に用いる第i番目の極値、第j番目の零点(i,jは自然数)は、ゲイン補正後のヒストグラム、第n次導関数の位置、形状に応じて個別に適切に選択されることが好ましい。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。具体的な変形例としては、例えば次のようなものがある。
(1)本実施形態に係る各機能は、当該処理を実行するプログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、半導体メモリなどの記録媒体に格納して頒布することも可能である。
(2)上記実施形態においては、Bモードによって心筋を含む二次元領域を超音波走査し所得する超音波画像に対して階調最適化処理を行う場合を例とした。しかしながら、本階調最適化機能は、当該例に拘泥されない。例えば、心臓以外の部位を診断対象とする場合、Bモードではなく血流検出モード(CFMモード等)によって撮像する場合、三次元領域を超音波走査する場合等にも適用可能である。特に、三次元領域を超音波走査する場合においては、ボリュームデータを構成する各二次元画像、MPR画像等のそれぞれに対して、上記階調最適化処理を適用することで、好適な超音波画像を取得することができる。
(3)上記各実施形態においては、超音波診断装置によって取得された超音波画像データに対して階調最適化処理を実行する場合を例に説明した。しかしながら、本階調最適化処理に対象は超音波画像データに限定されず、X線診断装置、X線コンピュータ断層撮像装置、磁気共鳴イメージング装置等の医用画像診断装置によって取得された各医用画像に対しても適用可能である。また、各種医用画像診断装置によって取得された画像を、医用画像処理装置を用いて、階調最適化処理を事後的に行うようにしてもよい。
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
10…超音波診断装置、12…超音波プローブ、13…入力装置、14…モニター、21…超音波送信ユニット、22…超音波受信ユニット、23…Bモード処理ユニット、24…血流検出ユニット、25…RAWデータメモリ、26…ボリュームデータ生成ユニット、27…管腔近傍血流描出ユニット、28…画像処理ユニット、29…制御プロセッサ、30…表示処理ユニット、31…記憶ユニット、32…インタフェースユニット

Claims (17)

  1. 被検体の診断対象を含む所定領域内に超音波を送信し、前記所定領域内からの反射波を受信し、前記反射波に基づいて超音波画像データを取得する画像データ取得ユニットと、
    前記超音波画像データの階調補正を実行する補正ユニットと、を具備し、
    前記補正ユニットは、前記階調補正において、
    前記超音波画像データの輝度に関するヒストグラムを算出し、
    前記ヒストグラムの二階微分から得られる特徴点を用いて前記診断対象に対応する輝度分布範囲と階調補正関数とを算出する超音波診断装置。
  2. 前記補正ユニットは、
    前記ヒストグラムの累積和を算出し、
    前記輝度分布範囲における前記累積和の傾きを利用して前記階調補正関数の傾きを算出する請求項1記載の超音波診断装置。
  3. 前記補正ユニットは、前記ヒストグラムの変曲点を前記特徴点として、前記輝度分布範囲と前記階調補正関数とを算出する請求項2記載の超音波診断装置。
  4. 前記補正ユニットは、前記ヒストグラム二階微分の最低値、最大値、第2零点、第3零点の少なくともいずれかを前記特徴点として、前記階調補正関数を算出する請求項2記載の超音波診断装置。
  5. 前記補正ユニットは、入力装置を介して指定される任意の点を前記特徴点として、前記階調補正関数を算出する請求項2記載の超音波診断装置。
  6. 被検体の診断対象を含む所定領域内に超音波を送信し、前記所定領域内からの反射波を受信し、前記反射波に基づいて超音波画像データを取得する画像データ取得ユニットと、
    前記超音波画像データの階調補正を実行する補正ユニットと、を具備し、
    前記補正ユニットは、前記階調補正において、
    前記超音波画像データの輝度に関するヒストグラムを算出し、
    記ヒストグラムのn階微分(ただし、nは自然数)から得られる特徴点を用いて、前記診断対象に対応する輝度分布範囲と階調補正関数とを算出する超音波診断装置。
  7. 前記補正ユニットは、前記ヒストグラムの変曲点を前記特徴点として、前記輝度分布範囲と前記階調補正関数とを算出する請求項6記載の超音波診断装置。
  8. 前記補正ユニットは、前記ヒストグラムn階微分の第i番目の極値、第j番目の零点(ただし、n,i,jはそれぞれ自然数)の少なくともいずれかを前記特徴点として、前記階調補正関数を算出する請求項6記載の超音波診断装置。
  9. 前記補正ユニットは、入力装置を介して指定される任意の点を前記特徴点として、前記階調補正関数を算出する請求項6記載の超音波診断装置。
  10. 前記補正ユニットは、ゲイン調整がなされた場合には、ゲイン調整後の前記画像データの輝度に関する前記ヒストグラムを算出する請求項1乃至9のうちいずれか一項記載の超音波診断装置。
  11. 前記診断対象は心臓であり、
    前記補正ユニットは、前記ヒストグラムの心筋に対応する領域を前記輝度分布範囲として決定する請求項1乃至10のうちいずれか一項記載の超音波診断装置。
  12. 前記階調補正の開始指示を入力するための入力ユニットをさらに具備し、
    前記補正ユニットは、前記入力ユニットを介して入力される前記開始指示に応答して、前記階調補正を実行する請求項1乃至11のうちいずれか一項記載の超音波診断装置。
  13. 前記補正ユニットは、前記画像データ取得ユニットが超音波画像データを取得する毎に、前記階調補正を実行する請求項1乃至12のうちいずれか一項記載の超音波診断装置。
  14. 被検体の診断対象を含む所定領域内に超音波を送信し、前記所定領域内からの反射波を受信し、前記反射波に基づいて取得された超音波画像データを記憶する記憶ユニットと、
    前記超音波画像データの階調補正を実行する補正ユニットと、を具備し、
    前記補正ユニットは、前記階調補正において、
    前記超音波画像データの輝度に関するヒストグラムを算出し、
    前記ヒストグラムの二階微分から得られる特徴点を用いて前記診断対象に対応する輝度分布範囲と階調補正関数とを算出する超音波画像処理装置。
  15. 被検体の診断対象を含む所定領域に関する画像データを取得する画像データ取得ユニットと、
    記画像データの階調補正を実行する補正ユニットと、を具備し、
    前記補正ユニットは、前記階調補正において、
    前記画像データの輝度に関するヒストグラムを算出し、
    前記ヒストグラムの二階微分から得られる特徴点を用いて前記診断対象に対応する輝度分布範囲と階調補正関数とを算出する医用画像診断装置。
  16. 被検体の診断対象を含む所定領域に関する画像データを記憶する記憶ユニットと、
    前記画像データの階調補正を実行する補正ユニットと、を具備し、
    前記補正ユニットは、前記階調補正において、
    前記画像データの輝度に関するヒストグラムを算出し、
    前記ヒストグラムの二階微分から得られる特徴点を用いて前記診断対象に対応する輝度分布範囲と階調補正関数とを算出する医用画像処理装置。
  17. コンピュータに、
    被検体の診断対象を含む所定領域に関する画像データの階調補正を実行させるものであって、
    前記階調補正において、
    前記画像データの輝度に関するヒストグラムを算出するヒストグラム算出機能と、
    前記ヒストグラムの二階微分から得られる特徴点を用いて前記診断対象に対応する輝度分布範囲と階調補正関数とを算出する関数算出機能と、
    を実現させる医用画像処理プログラム。
JP2011235252A 2010-10-26 2011-10-26 超音波診断装置、超音波画像処理装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム Active JP5943373B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011235252A JP5943373B2 (ja) 2010-10-26 2011-10-26 超音波診断装置、超音波画像処理装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010240112 2010-10-26
JP2010240112 2010-10-26
JP2011235252A JP5943373B2 (ja) 2010-10-26 2011-10-26 超音波診断装置、超音波画像処理装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2012105973A JP2012105973A (ja) 2012-06-07
JP5943373B2 true JP5943373B2 (ja) 2016-07-05

Family

ID=45993917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011235252A Active JP5943373B2 (ja) 2010-10-26 2011-10-26 超音波診断装置、超音波画像処理装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム

Country Status (5)

Country Link
US (1) US9743910B2 (ja)
EP (1) EP2633818B1 (ja)
JP (1) JP5943373B2 (ja)
CN (1) CN102596048B (ja)
WO (1) WO2012057211A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2633818B1 (en) * 2010-10-26 2020-01-15 Toshiba Medical Systems Corporation Ultrasonic diagnostic apparatus
EP3023058B1 (en) * 2013-07-18 2023-07-12 Olympus Corporation Ultrasound observation apparatus, method for operating ultrasound observation apparatus, and program for operating ultrasound observation apparatus
JP6274495B2 (ja) 2013-10-25 2018-02-07 キヤノンメディカルシステムズ株式会社 画像処理装置および超音波診断装置
CN104918029A (zh) * 2014-03-11 2015-09-16 南京巨鲨显示科技有限公司 增强显示器图像景深的方法
US9460499B2 (en) * 2014-05-30 2016-10-04 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Systems and methods for selective enhancement of a region of interest in an image
EP2989986B1 (en) * 2014-09-01 2019-12-18 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus and method of operating the same
CN104490418A (zh) * 2014-09-25 2015-04-08 深圳市恩普电子技术有限公司 一种基于信号统计分析的超声图像自动优化方法
CN107894204B (zh) * 2016-10-04 2020-02-21 财团法人工业技术研究院 干涉仪及其成像方法
CN117717416A (zh) * 2017-02-01 2024-03-19 直观外科手术操作公司 图像引导手术的配准系统和方法
DE102017107151A1 (de) * 2017-04-03 2018-10-04 Herrmann Ultraschalltechnik Gmbh & Co. Kg Ultraschallbearbeitungsmaschine mit zwei Sonotroden und Verfahren zum Betreiben einer solchen
CN107582099B (zh) * 2017-09-22 2019-12-27 杭州创影健康管理有限公司 回声强度处理方法、装置及电子设备
CN110200640B (zh) * 2019-05-14 2022-02-18 南京理工大学 基于双模态传感器的非接触式情绪识别方法
EP3804628A1 (en) * 2019-10-07 2021-04-14 Koninklijke Philips N.V. Ultrasound interface unit and method
KR102355438B1 (ko) * 2019-11-28 2022-01-26 주식회사 씨자인 초음파 센서를 이용한 사물 인식 시스템 및 그 인식 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4662380A (en) * 1985-10-31 1987-05-05 General Electric Company Adaptive time gain compensation system for ultrasound imaging
US4868651A (en) * 1988-05-17 1989-09-19 S&S Inficon, Inc. Digital radiography with image brightness and contrast normalization
US5313948A (en) * 1991-11-28 1994-05-24 Aloka Co., Ltd. Ultrasonic diagnostic apparatus
JP3696616B2 (ja) * 1994-05-27 2005-09-21 フクダ電子株式会社 超音波診断装置
JPH08206117A (ja) 1994-05-27 1996-08-13 Fujitsu Ltd 超音波診断装置
US5579768A (en) * 1995-03-21 1996-12-03 Acuson Corporation Automatic gain compensation in an ultrasound imaging system
JP4054454B2 (ja) * 1998-09-25 2008-02-27 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
JP2002209891A (ja) * 2001-01-18 2002-07-30 Matsushita Electric Ind Co Ltd 超音波装置、超音波信号変換方法、およびプログラム
KR100438903B1 (ko) * 2002-01-31 2004-07-02 한국전자통신연구원 초음파 영상으로부터 대상 장기의 지방량을 정량적으로 측정하는 장비
JP4626138B2 (ja) * 2003-09-30 2011-02-02 コニカミノルタエムジー株式会社 画像処理装置、画像処理方法およびプログラム
US7248725B2 (en) * 2004-01-07 2007-07-24 Ramot At Tel Avia University Ltd. Methods and apparatus for analyzing ultrasound images
US7676091B2 (en) * 2004-01-07 2010-03-09 Ramot At Tel Aviv University Ltd. Method and apparatus for analysing ultrasound images
JP4575738B2 (ja) * 2004-09-29 2010-11-04 富士フイルム株式会社 超音波画像境界抽出方法及び超音波画像境界抽出装置、並びに、超音波撮像装置
US7586653B2 (en) * 2005-04-22 2009-09-08 Lexmark International, Inc. Method and system for enhancing an image using luminance scaling
JP4807824B2 (ja) * 2005-07-07 2011-11-02 株式会社日立メディコ 医用画像診断システム
WO2007049630A1 (ja) 2005-10-27 2007-05-03 Konica Minolta Medical & Graphic, Inc. 小規模診断システム
JP2007117351A (ja) * 2005-10-27 2007-05-17 Konica Minolta Medical & Graphic Inc 小規模診断支援システム
JP4525719B2 (ja) * 2007-08-31 2010-08-18 カシオ計算機株式会社 階調補正装置、階調補正方法、及び、プログラム
JP5106091B2 (ja) * 2007-12-26 2012-12-26 株式会社東芝 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2010154132A (ja) * 2008-12-24 2010-07-08 Toshiba Corp ガンマ補正回路およびガンマ補正方法
JP2011188391A (ja) * 2010-03-10 2011-09-22 Sony Corp 画像処理装置および方法、並びにプログラム
EP2633818B1 (en) * 2010-10-26 2020-01-15 Toshiba Medical Systems Corporation Ultrasonic diagnostic apparatus
JP6476898B2 (ja) * 2014-03-07 2019-03-06 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記憶媒体

Also Published As

Publication number Publication date
CN102596048B (zh) 2014-12-10
EP2633818A4 (en) 2015-09-02
CN102596048A (zh) 2012-07-18
JP2012105973A (ja) 2012-06-07
EP2633818A1 (en) 2013-09-04
US9743910B2 (en) 2017-08-29
US20130237825A1 (en) 2013-09-12
WO2012057211A1 (ja) 2012-05-03
EP2633818B1 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
JP5943373B2 (ja) 超音波診断装置、超音波画像処理装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
US20230380797A1 (en) Ultrasound diagnosis apparatus and controlling method
JP5972569B2 (ja) 超音波診断装置、超音波画像処置装置、医用画像診断装置及び超音波画像処理プログラム
US10335118B2 (en) Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image parallel display method
JP5586203B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP7370903B2 (ja) 超音波診断装置、学習装置、画像処理方法およびプログラム
JP5897674B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP5106091B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5259175B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP6640444B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2013000414A (ja) 超音波診断装置、超音波画像処理装置及び超音波画像取得プログラム
JP7258538B2 (ja) 超音波診断装置、医用情報処理装置、医用情報処理プログラム
JP2015231436A (ja) 超音波診断装置及び医用画像処理装置
JP6012941B2 (ja) 超音波診断装置
JP5196994B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP6727363B2 (ja) 医用診断装置、医用画像処理装置及び医用画像処理方法
JP4786229B2 (ja) 超音波診断装置
JP2008264314A (ja) 超音波診断装置及び超音波画像データ生成プログラム
JP5944761B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP5797514B2 (ja) 超音波診断装置、画像処理装置及びプログラム
JP5570927B2 (ja) 超音波診断装置、超音波画像処置装置、医用画像処理装置及び超音波画像処理プログラム
JP2007044354A (ja) 超音波診断装置及び超音波診断装置制御プログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131212

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160419

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160518

R150 Certificate of patent or registration of utility model

Ref document number: 5943373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350