JP5597021B2 - 画像処理装置及びプログラム - Google Patents
画像処理装置及びプログラム Download PDFInfo
- Publication number
- JP5597021B2 JP5597021B2 JP2010094142A JP2010094142A JP5597021B2 JP 5597021 B2 JP5597021 B2 JP 5597021B2 JP 2010094142 A JP2010094142 A JP 2010094142A JP 2010094142 A JP2010094142 A JP 2010094142A JP 5597021 B2 JP5597021 B2 JP 5597021B2
- Authority
- JP
- Japan
- Prior art keywords
- special light
- image
- light image
- attention area
- guidance information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Description
まず、本実施形態の手法について説明する。内視鏡を用いた観察においては、病変部を一度検出しても、病変部が表示対象範囲から外れることで、見失ってしまうことが考えられる。しかし、消失した病変部(注目領域)を再度発見することは容易ではない。特に、ドクターが他の作業に集中していた、或いは、注目領域の検出が非常に短い時間であった等、そもそもドクターが注目領域の検出に気づかなかったケース等では、消失した注目領域の発見は偶然によるものしか期待できないといってもよい。
本発明の第1の実施形態に係る画像処理装置を含む内視鏡システムについて、図1を参照して説明する。本実施形態に係る内視鏡システムは、光源部100と、挿入部200と、画像処理部300と、出力部400(表示部)と、外部I/F部500を含む。
g2(1,2) = [g2(0,2)+g2(1,1)+g2(1,3)+g2(2,2)] / 4 ・・・・・(2)
ここで、MAX関数は複数の引数の中で最大のものを出力する関数とする。
maxが0の場合、
H = 0 ・・・・・(4)
maxが0以外の場合、
d = MAX(r,g,b)- MIN(r,g,b) ・・・・・(5)
ここで、MIN関数は複数の引数の中で最小のものを出力する関数とする。
r,g,bのうちrが最大の場合、
H = 60 *(g-b)/ d ・・・・・(6)
r,g,bのうちgが最大の場合、
H = 60 * {2+(b-r)} / d ・・・・・(7)
r,g,bのうちbが最大の場合、
H = 60 * {4+(r-g)} / d ・・・・・(8)
なお、Hが<0になった場合には、Hに360を加える。また、H=360の場合、H=0とする。
加工部3421は、注目領域検出部341で注目領域が検出された場合、注目領域検出部341から出力された注目領域情報を用いて、通常光画像取得部320から出力された通常光画像を加工する。図13(A)は通常光画像取得部320から出力された通常光画像と、注目領域検出部341から出力された注目領域情報を示した一例である。ここでは、点線で示した注目領域群に含まれるすべての画素の位置情報が注目領域情報として加工部3421に入力される。
g_out(x,y)= gain*g(x,y)+(1-gain)* T_g ・・・・・(10)
b_out(x,y)= gain*b(x,y)+(1-gain)* T_b ・・・・・(11)
g_out(x,y)= T_g ・・・・・(13)
b_out(x,y)= T_b ・・・・・(14)
このような処理を行うことで、図13(D)に示すように通常光画像に対して注目領域群が任意の目標色に囲まれた部分として重畳して表示することができる。
次に誘導情報生成部3422は算出された動きベクトル(Vx,Vy)から、例えば下式(16)で注目領域群の消失方向を決定する。
(Vy<0,Vx>0,|Vy|<|Vx|)の場合 消失方向 右
(Vy>0,Vx>0,|Vy|<|Vx|)の場合 消失方向 右
(Vy>0,Vx>0,|Vy|>|Vx|)の場合 消失方向 下
(Vy>0,Vx<0,|Vy|>|Vx|)の場合 消失方向 下
(Vy>0,Vx<0,|Vy|<|Vx|)の場合 消失方向 左
(Vy<0,Vx<0,|Vy|<|Vx|)の場合 消失方向 左
(Vy<0,Vx<0,|Vy|>|Vx|)の場合 消失方向 上 ・・・・・(16)
次に本実施形態の変形例について説明する。以上の説明では、誘導情報として方向情報を用いていたが、これだけに限定されるものではない。動きベクトルは方向と大きさを持っているため、動きベクトルの大きさに基づいて誘導情報の出力態様を制御してもよい。動きベクトルの大きさは消失注目領域への距離に関する情報に相当するため、消失注目領域群が遠い距離にあるか、近い距離にあるかに応じて、処理を変更すること等が可能になる。
また以上では、説明を簡単にするため、特殊光画像1及び特殊光画像2で1つの注目領域群が検出されていた場合について説明したが、複数の注目領域群が検出されていた場合、誘導情報の出力態様が問題となる。複数の誘導情報を同時に出力する場合には、例えば、右の矢印と左の矢印が同時に表示されてしまうケース等が考えられ、ユーザーを混乱させてしまう。誘導情報の出力を1つに限定する場合には、どの注目領域群に関する誘導情報を出力するのか選択し、かつ、特殊光画像1と特殊光画像2で、注目領域群同士のマッチング処理を行う必要がある。そこで本実施形態では、誘導情報生成部3422は例えば以下のような処理を行ってもよい。
また、注目領域群が多数同時に検出されるような場合には、同じような特徴量、信頼度をもつ注目領域群が複数存在することが考えられ、注目領域群同士のマッチング処理が適切に行われない可能性が生ずる。マッチング処理が適切に行われないと、誤った消失方向を決定してしまう可能性が高くなる。
また、本実施の形態では、画像処理部300を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル内視鏡などの撮像装置を用いて予め取得された画像に対して、CPUが各部の処理を行う構成とし、CPUがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
以上の本実施形態では、画像処理装置は、図1に示すように特殊光画像を取得する特殊光画像取得部330を含む。また、図7に示すように注目すべき領域である注目領域を検出する注目領域検出部341を含む。さらに、図11に示すように消失有無判定部及び誘導情報生成部3422を含む。消失有無判定部は、表示対象範囲からの注目領域の消失の有無を判定し、誘導情報生成部は、消失した注目領域への誘導情報を生成する。また、図1に示すように誘導情報を含む情報の出力制御を行う出力制御部360を含む。
本発明の第2の実施形態にかかる画像処理装置を含む内視鏡システムについて、図21を参照して説明する。本実施形態に係る内視鏡システムは、光源部100と、挿入部200と、画像処理部300と、出力部400と、外部I/F部500を含む。
200 挿入部、210 ライトガイドファイバ、220 照明レンズ、
230 対物レンズ、240 ハーフミラー、250 第1撮像素子、
260 第2撮像素子、270 バリアフィルタ、280 ダイクロイックミラー、
300 画像処理部、310 A/D変換部、320 通常光画像取得部、
321 通常光画像生成部、322 通常光画像記憶部、330 特殊光画像取得部、
331 特殊光画像生成部、332 特殊光画像記憶部、340 出力画像生成部、
341 注目領域検出部、342 表示態様決定部、350 制御部、
360 出力制御部、400 出力部、500 外部I/F部、
3411 局所領域設定部、3412 特徴量算出部、3414 注目候補領域設定部、
3415 信頼度算出部、3416 注目領域設定部、3421 加工部、
3422 誘導情報生成部、3423 記憶部
Claims (27)
- 特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、
前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、
消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、
生成された前記誘導情報を含む情報の出力制御を行う出力制御部と、
を備え、
前記特殊光画像取得部は、第1の特殊光画像、第2の特殊光画像及び第3の特殊光画像を取得し、
前記注目領域検出部は、取得された前記第1の特殊光画像、前記第2の特殊光画像及び前記第3の特殊光画像のそれぞれにおいて、前記注目領域を検出し、
前記消失有無判定部は、前記第1の特殊光画像、前記第2の特殊光画像及び前記第3の特殊光画像のそれぞれにおける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、前記消失有無判定部により、前記第3の特殊光画像において、前記注目領域が前記表示対象範囲から消失したと判定され、かつ、前記第1の特殊光画像及び前記第2の特殊光画像において、前記注目領域が消失していないと判定された場合には、前記第1の特殊光画像における前記注目領域の画像上の位置である第1の画像上位置と、前記第2の特殊光画像における前記注目領域の画像上の位置である第2の画像上位置に基づいて、前記誘導情報を生成することを特徴とする画像処理装置。 - 請求項1において、
前記誘導情報生成部は、
前記表示対象範囲に対応する生体内の場所から、前記消失注目領域に対応する生体内の場所への方向を示す方向情報を、前記誘導情報として生成することを特徴とする画像処理装置。 - 請求項2において、
前記誘導情報生成部は、
前記表示対象範囲に対応する生体内の場所から、前記消失注目領域に対応する生体内の場所への距離に応じた距離情報を、前記誘導情報として生成することを特徴とする画像処理装置。 - 請求項1において、
前記誘導情報生成部は、
前記第1の画像上位置と前記第2の画像上位置の差分に基づいて、前記誘導情報を生成することを特徴とする画像処理装置。 - 請求項4において、
前記誘導情報生成部は、
前記第1の特殊光画像における前記注目領域の画像上の重心位置を前記第1の画像上位置として算出するとともに、前記第2の特殊光画像における前記注目領域の画像上の重心位置を前記第2の画像上位置として算出し、算出した前記第1の画像上位置と前記第2の画像上位置の差分に基づいて、前記誘導情報を生成する
ことを特徴とする画像処理装置。 - 請求項4において、
前記誘導情報生成部は、
前記第1の画像上位置と前記第2の画像上位置の差分に基づいて、前記注目領域間の動きベクトルを算出し、算出した動きベクトルに基づいて前記誘導情報を生成することを特徴とする画像処理装置。 - 請求項6において、
前記出力制御部は、
算出された前記動きベクトルに基づいて、前記誘導情報を出力する時間を制御する
ことを特徴とする画像処理装置。 - 請求項7において、
前記出力制御部は、
算出された前記動きベクトルの大きさが大きい場合には、前記誘導情報を出力する時間を短くする制御を行い、前記動きベクトルの大きさが小さい場合には、前記誘導情報を出力する時間を長くする制御を行うことを特徴とする画像処理装置。 - 請求項6において、
前記誘導情報生成部は、
前記動きベクトルの各座標成分に基づいて、前記動きベクトルを第1〜第N(Nは2以上の整数)の方向情報のうちのいずれかに対応付ける消失方向決定部を含み、
前記誘導情報生成部は、前記動きベクトルに対応づけられた方向情報を前記誘導情報として生成することを特徴とする画像処理装置。 - 請求項1において、
前記出力制御部は、
前記消失有無判定部による判定結果に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。 - 請求項10において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記出力制御部は、
第N(Nは3以上の整数)のタイミングにおいて誘導情報の出力が開始され、かつ、第N〜第N+K(Kは1以上の整数)のタイミングの間で、前記注目領域が消失し続けていると判定された場合には、前記第N〜第N+Kのタイミングにおいては、前記第Nのタイミングで生成された前記誘導情報の出力を継続することを特徴とする画像処理装置。 - 請求項11において、
前記出力制御部は、
第N+1〜第N+Kのタイミングにおいて、前記注目領域が検出された場合には、前記誘導情報の出力を停止することを特徴とする画像処理装置。 - 請求項11において、
前記出力制御部は、
第N+K+1のタイミングにおいては、前記注目領域の消失及び非消失にかかわらず、前記第Nのタイミングで生成された前記誘導情報の出力を停止することを特徴とする画像処理装置。 - 請求項11において、
前記出力制御部は、
第N+1〜第N+Kのタイミングにおいて、前記第Nのタイミングにおいて生成された前記誘導情報を継続して出力する時間に対応する、残存出力時間情報を設定する残存出力時間設定部を含み、
前記残存出力時間設定部は、
前記残存出力時間情報を設定するための情報として、前記Kを設定することを特徴とする画像処理装置。 - 請求項10において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記出力制御部は、
前記消失有無判定部により、連続したタイミングにおいて前記注目領域が消失し続けていると判定された場合には、前記連続したタイミング内においては、過去に生成された誘導情報の提示を継続する制御を行うことを特徴とする画像処理装置。 - 請求項1において、
前記特殊光画像において検出された前記注目領域の、注目度合いを示す注目度情報を算出する注目度算出部を含み、
前記出力制御部は、
算出された前記注目度情報に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。 - 請求項16において、
前記出力制御部は、
算出された前記注目度情報に基づいて、より注目すべきであると判定された前記注目領域に関連する誘導情報を優先的に出力する制御を行うことを特徴とする画像処理装置。 - 請求項16において、
前記注目度情報は、
前記特殊光画像の画素の特徴量及び信頼度の少なくとも一方を含むことを特徴とする画像処理装置。 - 請求項1において、
前記出力制御部は、
出力すべき前記誘導情報の上限数を設定する上限数設定部を含み、
前記出力制御部は、
生成された前記誘導情報の数と、設定された前記上限数との比較結果に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。 - 請求項19において、
前記出力制御部は、
生成された前記誘導情報の数が設定された前記上限数を超えた場合、生成された前記誘導情報の出力をスキップする制御を行うことを特徴とする画像処理装置。 - 請求項1において、
白色光の波長帯域における情報を有する被写体像を含む画像を通常光画像として取得する通常光画像取得部を含むことを特徴とする画像処理装置。 - 請求項21において、
前記出力制御部は、
生成された前記誘導情報を取得された前記通常光画像に対応づけて出力するよう制御することを特徴とする画像処理装置。 - 請求項1において、
前記注目領域は、
病変部を示す領域であることを特徴とする画像処理装置。 - 請求項1において、
前記特定の波長帯域は、
白色光の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。 - 特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、
前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、
消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、
生成された前記誘導情報を含む情報の出力制御を行う出力制御部と、
を備え、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、
前記消失有無判定部により第m(mは3以上の整数)のタイミングで取得された特殊光画像内で前記注目領域が消失したと判定され、かつ、前記第mのタイミングよりも過去のタイミングで取得された少なくとも2つの特殊光画像において前記注目領域が消失していないと判定された場合に、前記誘導情報を生成することを特徴とする画像処理装置。 - 特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、
前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、
消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、
生成された前記誘導情報を含む情報の出力制御を行う出力制御部と、
を備え、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、
前記消失有無判定部により第m(mは3以上の整数)のタイミングで取得された特殊光画像内で前記注目領域が消失したと判定され、かつ、前記第mのタイミングよりも過去のタイミングで取得された複数の特殊光画像のうち、前記注目領域が消失していないと判定された特殊光画像が1つ以下である場合には、前記誘導情報の生成をスキップすることを特徴とする画像処理装置。 - 特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、
前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、
消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、
生成された前記誘導情報を含む情報の出力制御を行う出力制御部として、
コンピュータを機能させ、
前記特殊光画像取得部は、第1の特殊光画像、第2の特殊光画像及び第3の特殊光画像を取得し、
前記注目領域検出部は、取得された前記第1の特殊光画像、前記第2の特殊光画像及び前記第3の特殊光画像のそれぞれにおいて、前記注目領域を検出し、
前記消失有無判定部は、前記第1の特殊光画像、前記第2の特殊光画像及び前記第3の特殊光画像のそれぞれにおける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、前記消失有無判定部により、前記第3の特殊光画像において、前記注目領域が前記表示対象範囲から消失したと判定され、かつ、前記第1の特殊光画像及び前記第2の特殊光画像において、前記注目領域が消失していないと判定された場合には、前記第1の特殊光画像における前記注目領域の画像上の位置である第1の画像上位置と、前記第2の特殊光画像における前記注目領域の画像上の位置である第2の画像上位置に基づいて、前記誘導情報を生成することを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010094142A JP5597021B2 (ja) | 2010-04-15 | 2010-04-15 | 画像処理装置及びプログラム |
CN201110092180.7A CN102247116B (zh) | 2010-04-15 | 2011-04-13 | 图像处理装置 |
US13/087,779 US8681208B2 (en) | 2010-04-15 | 2011-04-15 | Image processing device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010094142A JP5597021B2 (ja) | 2010-04-15 | 2010-04-15 | 画像処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011224038A JP2011224038A (ja) | 2011-11-10 |
JP5597021B2 true JP5597021B2 (ja) | 2014-10-01 |
Family
ID=44787928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010094142A Active JP5597021B2 (ja) | 2010-04-15 | 2010-04-15 | 画像処理装置及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8681208B2 (ja) |
JP (1) | JP5597021B2 (ja) |
CN (1) | CN102247116B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11871903B2 (en) | 2018-06-19 | 2024-01-16 | Olympus Corporation | Endoscopic image processing apparatus, endoscopic image processing method, and non-transitory computer readable recording medium |
Families Citing this family (70)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10524645B2 (en) | 2009-06-18 | 2020-01-07 | Endochoice, Inc. | Method and system for eliminating image motion blur in a multiple viewing elements endoscope |
US9474440B2 (en) | 2009-06-18 | 2016-10-25 | Endochoice, Inc. | Endoscope tip position visual indicator and heat management system |
US10663714B2 (en) | 2010-10-28 | 2020-05-26 | Endochoice, Inc. | Optical system for an endoscope |
US9706908B2 (en) | 2010-10-28 | 2017-07-18 | Endochoice, Inc. | Image capture and video processing systems and methods for multiple viewing element endoscopes |
US10517464B2 (en) | 2011-02-07 | 2019-12-31 | Endochoice, Inc. | Multi-element cover for a multi-camera endoscope |
EP2724658B1 (en) * | 2011-12-07 | 2017-11-01 | Olympus Corporation | Endoscope device |
JP6039903B2 (ja) | 2012-01-27 | 2016-12-07 | キヤノン株式会社 | 画像処理装置、及びその作動方法 |
WO2013115323A1 (ja) | 2012-01-31 | 2013-08-08 | オリンパス株式会社 | 生体観察装置 |
CN103284677A (zh) * | 2012-03-02 | 2013-09-11 | 熊大曦 | 一种用于生物组织观测的成像装置 |
CN103717118B (zh) * | 2012-03-30 | 2017-03-29 | 奥林巴斯株式会社 | 内窥镜装置 |
JP5993184B2 (ja) * | 2012-04-04 | 2016-09-14 | オリンパス株式会社 | 蛍光観察装置および蛍光観察装置の作動方法 |
JP6017219B2 (ja) * | 2012-08-01 | 2016-10-26 | オリンパス株式会社 | 蛍光観察装置および蛍光観察システム |
JP2014036759A (ja) | 2012-08-17 | 2014-02-27 | Hoya Corp | 電子内視鏡システムおよび内視鏡用光源装置 |
KR20150076186A (ko) * | 2012-10-19 | 2015-07-06 | 인터페이즈 코퍼레이션 | 쌍방향 디스플레이 시스템에서의 모션 보상 |
EP2957211A4 (en) * | 2013-02-13 | 2016-11-16 | Olympus Corp | FLUORESCENT LIGHT OBSERVATION DEVICE |
US10595714B2 (en) | 2013-03-28 | 2020-03-24 | Endochoice, Inc. | Multi-jet controller for an endoscope |
US9636003B2 (en) | 2013-06-28 | 2017-05-02 | Endochoice, Inc. | Multi-jet distributor for an endoscope |
JP6669647B2 (ja) | 2013-05-07 | 2020-03-18 | エンドチョイス インコーポレイテッドEndochoice, Inc. | 内視鏡とともに使用するためのホワイトバランス補正デバイス及びホワイトバランス補正の実行方法 |
CN105324064B (zh) | 2013-05-30 | 2017-10-27 | Hoya株式会社 | 生成示出生物组织中生物物质浓度分布图像的方法和装置 |
JP6150617B2 (ja) | 2013-05-30 | 2017-06-21 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
JP6168876B2 (ja) | 2013-06-24 | 2017-07-26 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
US10064541B2 (en) * | 2013-08-12 | 2018-09-04 | Endochoice, Inc. | Endoscope connector cover detection and warning system |
JP6535435B2 (ja) * | 2013-09-04 | 2019-06-26 | Hoya株式会社 | プロセッサ及び内視鏡システム |
US9943218B2 (en) | 2013-10-01 | 2018-04-17 | Endochoice, Inc. | Endoscope having a supply cable attached thereto |
US9968242B2 (en) | 2013-12-18 | 2018-05-15 | Endochoice, Inc. | Suction control unit for an endoscope having two working channels |
WO2015112747A2 (en) | 2014-01-22 | 2015-07-30 | Endochoice, Inc. | Image capture and video processing systems and methods for multiple viewing element endoscopes |
EP4345527A2 (en) | 2014-07-21 | 2024-04-03 | EndoChoice, Inc. | Multi-focal, multi-camera endoscope systems |
CN111990946A (zh) | 2014-08-29 | 2020-11-27 | 恩多巧爱思股份有限公司 | 改变内窥镜插入管的刚度的系统和方法 |
JP6204314B2 (ja) | 2014-09-03 | 2017-09-27 | Hoya株式会社 | 電子内視鏡システム |
WO2016076914A1 (en) * | 2014-11-13 | 2016-05-19 | Intel Corporation | Facial liveness detection in image biometrics |
JP6356051B2 (ja) | 2014-11-21 | 2018-07-11 | Hoya株式会社 | 分析装置及び分析装置の作動方法 |
WO2016100173A1 (en) | 2014-12-18 | 2016-06-23 | Endochoice, Inc. | System and method for processing video images generated by a multiple viewing elements endoscope |
US10376181B2 (en) | 2015-02-17 | 2019-08-13 | Endochoice, Inc. | System for detecting the location of an endoscopic device during a medical procedure |
JP6473222B2 (ja) | 2015-03-04 | 2019-02-20 | オリンパス株式会社 | 画像処理装置、生体観察装置および画像処理装置の制御方法 |
US10078207B2 (en) | 2015-03-18 | 2018-09-18 | Endochoice, Inc. | Systems and methods for image magnification using relative movement between an image sensor and a lens assembly |
JP6396577B2 (ja) * | 2015-03-19 | 2018-09-26 | オリンパス株式会社 | 内視鏡装置 |
US10401611B2 (en) | 2015-04-27 | 2019-09-03 | Endochoice, Inc. | Endoscope with integrated measurement of distance to objects of interest |
JP6577031B2 (ja) * | 2015-07-08 | 2019-09-18 | オリンパス株式会社 | 内視鏡装置 |
US20170119474A1 (en) | 2015-10-28 | 2017-05-04 | Endochoice, Inc. | Device and Method for Tracking the Position of an Endoscope within a Patient's Body |
US10898062B2 (en) | 2015-11-24 | 2021-01-26 | Endochoice, Inc. | Disposable air/water and suction valves for an endoscope |
JP2019507628A (ja) | 2016-02-24 | 2019-03-22 | エンドチョイス インコーポレイテッドEndochoice, Inc. | Cmosセンサを用いた複数ビュー要素内視鏡のための回路基板アセンブリ |
US10292570B2 (en) | 2016-03-14 | 2019-05-21 | Endochoice, Inc. | System and method for guiding and tracking a region of interest using an endoscope |
EP3918972B1 (en) | 2016-06-21 | 2023-10-25 | EndoChoice, Inc. | Endoscope system with multiple connection interfaces to interface with different video data signal sources |
JP6514155B2 (ja) * | 2016-07-22 | 2019-05-15 | Hoya株式会社 | 電子内視鏡システムおよび内視鏡用光源装置 |
JPWO2018078724A1 (ja) | 2016-10-25 | 2019-09-05 | オリンパス株式会社 | 内視鏡画像処理装置及び内視鏡画像処理方法 |
CN110325100B (zh) | 2017-03-01 | 2021-09-24 | 富士胶片株式会社 | 内窥镜系统及其操作方法 |
JPWO2018179610A1 (ja) * | 2017-03-27 | 2020-02-06 | ソニー・オリンパスメディカルソリューションズ株式会社 | 制御装置、内視鏡システム、処理方法およびプログラム |
CN110461209B (zh) | 2017-03-30 | 2021-10-29 | 富士胶片株式会社 | 内窥镜系统及处理器装置 |
WO2018198161A1 (ja) * | 2017-04-24 | 2018-11-01 | オリンパス株式会社 | 内視鏡画像処理装置及び内視鏡画像処理方法 |
CN110662476B (zh) * | 2017-05-25 | 2022-02-11 | 日本电气株式会社 | 信息处理装置、控制方法和程序 |
CN110663251B (zh) * | 2017-06-02 | 2021-12-31 | 富士胶片株式会社 | 医疗图像处理装置 |
JPWO2019054265A1 (ja) | 2017-09-15 | 2020-10-01 | 富士フイルム株式会社 | 医療画像処理装置 |
WO2019106712A1 (ja) * | 2017-11-28 | 2019-06-06 | オリンパス株式会社 | 内視鏡画像処理装置及び内視鏡画像処理方法 |
JP7082896B2 (ja) * | 2018-03-30 | 2022-06-09 | 株式会社 ゼンショーホールディングス | 食物の殺菌方法 |
JP2019180966A (ja) * | 2018-04-13 | 2019-10-24 | 学校法人昭和大学 | 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム |
JP2022010368A (ja) * | 2018-04-13 | 2022-01-14 | 学校法人昭和大学 | 大腸内視鏡観察支援装置、大腸内視鏡観察支援方法、及びプログラム |
WO2019207740A1 (ja) * | 2018-04-26 | 2019-10-31 | オリンパス株式会社 | 移動支援システム及び移動支援方法 |
EP4339900A2 (en) | 2018-07-27 | 2024-03-20 | FUJI-FILM Corporation | Medical image processing apparatus, endoscope system, and method of operating medical image processing apparatus |
JP6936401B2 (ja) * | 2018-08-20 | 2021-09-15 | 富士フイルム株式会社 | 医療画像処理システム |
EP3841958B1 (en) * | 2018-08-20 | 2023-09-27 | FUJIFILM Corporation | Endoscopic system |
JP7079849B2 (ja) * | 2018-08-20 | 2022-06-02 | 富士フイルム株式会社 | 医療画像処理システム |
WO2020054542A1 (ja) * | 2018-09-11 | 2020-03-19 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム |
JP7047122B2 (ja) * | 2018-09-26 | 2022-04-04 | 富士フイルム株式会社 | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 |
JP7017646B2 (ja) * | 2018-10-26 | 2022-02-08 | オリンパス株式会社 | 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム |
JP7038641B2 (ja) * | 2018-11-02 | 2022-03-18 | 富士フイルム株式会社 | 医療診断支援装置、内視鏡システム、及び作動方法 |
JP6681971B2 (ja) * | 2018-12-27 | 2020-04-15 | Hoya株式会社 | プロセッサ及び内視鏡システム |
CN113226151A (zh) * | 2018-12-28 | 2021-08-06 | 奥林巴斯株式会社 | 内窥镜图像处理装置、内窥镜图像处理方法及程序 |
DE102019217541A1 (de) | 2019-11-13 | 2021-05-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Medizinische Bildgebungseinrichtung, Verfahren und Verwendung |
CN112674703A (zh) * | 2020-12-01 | 2021-04-20 | 泰州国安医疗用品有限公司 | 电子化现场炎症识别系统 |
JPWO2023281607A1 (ja) * | 2021-07-05 | 2023-01-12 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5902230A (en) * | 1995-02-06 | 1999-05-11 | Asahi Kogaku Kogyo Kabushiki Kaisha | Electronic endoscope system with information combined in digital output |
JP3664541B2 (ja) * | 1996-04-30 | 2005-06-29 | 富士写真フイルム株式会社 | 蛍光診断装置 |
WO2002007588A1 (fr) * | 2000-07-21 | 2002-01-31 | Olympus Optical Co., Ltd. | Endoscope |
US7172553B2 (en) * | 2001-05-16 | 2007-02-06 | Olympus Corporation | Endoscope system using normal light and fluorescence |
JP4885388B2 (ja) * | 2001-09-25 | 2012-02-29 | オリンパス株式会社 | 内視鏡挿入方向検出方法 |
CA2479958C (en) * | 2002-03-22 | 2009-11-03 | Holofiber, Llc | Polymeric fiber composition and method |
JP4054222B2 (ja) * | 2002-06-05 | 2008-02-27 | オリンパス株式会社 | 内視鏡装置用光源装置 |
JP2004024656A (ja) * | 2002-06-27 | 2004-01-29 | Fuji Photo Film Co Ltd | 蛍光内視鏡装置 |
JP2006512109A (ja) * | 2002-08-01 | 2006-04-13 | ザ ジョンズ ホプキンズ ユニバーシティ | 蛍光発光を用いた、分子構造の特定技術、および身体内腔の内側に並ぶ細胞種の治療技術 |
US7252633B2 (en) * | 2002-10-18 | 2007-08-07 | Olympus Corporation | Remote controllable endoscope system |
EP2316328B1 (en) * | 2003-09-15 | 2012-05-09 | Super Dimension Ltd. | Wrap-around holding device for use with bronchoscopes |
JP4009626B2 (ja) * | 2004-08-30 | 2007-11-21 | オリンパス株式会社 | 内視鏡用映像信号処理装置 |
JP4025764B2 (ja) | 2004-08-31 | 2007-12-26 | オリンパス株式会社 | 内視鏡装置 |
JP4615963B2 (ja) * | 2004-10-29 | 2011-01-19 | オリンパス株式会社 | カプセル型内視鏡装置 |
JP4575124B2 (ja) * | 2004-11-29 | 2010-11-04 | オリンパス株式会社 | 画像表示装置 |
JP5028008B2 (ja) * | 2004-12-08 | 2012-09-19 | オリンパス株式会社 | 蛍光内視鏡装置 |
JP4587811B2 (ja) * | 2005-01-11 | 2010-11-24 | オリンパス株式会社 | 蛍光観察内視鏡装置 |
US8005279B2 (en) * | 2005-03-22 | 2011-08-23 | Osaka University | Capsule endoscope image display controller |
KR100927286B1 (ko) * | 2005-06-08 | 2009-11-18 | 올림푸스 메디칼 시스템즈 가부시키가이샤 | 내시경 장치 및 화상 처리 장치 |
JP4472585B2 (ja) * | 2005-06-14 | 2010-06-02 | オリンパス株式会社 | 送信装置および被検体内情報取得システム |
JP4823659B2 (ja) * | 2005-11-24 | 2011-11-24 | オリンパスメディカルシステムズ株式会社 | 生体内画像表示装置 |
US20070120976A1 (en) * | 2005-11-28 | 2007-05-31 | Pentax Corporation | Method and device for compressing image signal and endoscope system using such device |
JP2007208781A (ja) * | 2006-02-03 | 2007-08-16 | Olympus Corp | 撮像装置 |
JP4818753B2 (ja) | 2006-02-28 | 2011-11-16 | オリンパス株式会社 | 内視鏡システム |
JP2007319442A (ja) * | 2006-06-01 | 2007-12-13 | Fujifilm Corp | カプセル内視鏡システム、および画像処理装置 |
JP4805056B2 (ja) * | 2006-08-02 | 2011-11-02 | オリンパス株式会社 | 被検体内導入装置、体外受信装置、及び被検体内情報収集システム |
JP5025720B2 (ja) * | 2007-02-22 | 2012-09-12 | オリンパスメディカルシステムズ株式会社 | 被検体内導入システム |
JP4961475B2 (ja) * | 2007-06-20 | 2012-06-27 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
EP2241244A1 (en) * | 2008-06-04 | 2010-10-20 | Fujifilm Corporation | Illumination device for use in endoscope |
JP5394675B2 (ja) * | 2008-08-22 | 2014-01-22 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
US8314835B2 (en) * | 2009-01-23 | 2012-11-20 | Olympus Corporation | Endoscope adapter including light emitting diode, and adapter type endoscope |
JP5802364B2 (ja) * | 2009-11-13 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、電子機器、内視鏡システム及びプログラム |
JP5658873B2 (ja) * | 2009-11-13 | 2015-01-28 | オリンパス株式会社 | 画像処理装置、電子機器、内視鏡システム及びプログラム |
US9654745B2 (en) * | 2010-03-17 | 2017-05-16 | Haishan Zeng | Rapid multi-spectral imaging methods and apparatus and applications for cancer detection and localization |
-
2010
- 2010-04-15 JP JP2010094142A patent/JP5597021B2/ja active Active
-
2011
- 2011-04-13 CN CN201110092180.7A patent/CN102247116B/zh active Active
- 2011-04-15 US US13/087,779 patent/US8681208B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11871903B2 (en) | 2018-06-19 | 2024-01-16 | Olympus Corporation | Endoscopic image processing apparatus, endoscopic image processing method, and non-transitory computer readable recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP2011224038A (ja) | 2011-11-10 |
US8681208B2 (en) | 2014-03-25 |
CN102247116B (zh) | 2015-05-13 |
CN102247116A (zh) | 2011-11-23 |
US20110254937A1 (en) | 2011-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5597021B2 (ja) | 画像処理装置及びプログラム | |
JP5658873B2 (ja) | 画像処理装置、電子機器、内視鏡システム及びプログラム | |
JP5802364B2 (ja) | 画像処理装置、電子機器、内視鏡システム及びプログラム | |
US11033175B2 (en) | Endoscope system and operation method therefor | |
JP6840846B2 (ja) | 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置 | |
WO2017057574A1 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
EP2904956B1 (en) | Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device | |
JP6336949B2 (ja) | 画像処理装置及び画像処理方法、並びに内視鏡システム | |
JP6420492B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 | |
WO2011080996A1 (ja) | 画像処理装置、電子機器、プログラム及び画像処理方法 | |
JP7337073B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
JP2011255006A (ja) | 画像処理装置、内視鏡装置、プログラム及び画像処理方法 | |
WO2017057572A1 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
WO2017057573A1 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
JP2023080276A (ja) | 医用画像処理装置、作動方法、プログラム、及び記録媒体、診断支援装置並びに内視鏡システム | |
JP6469558B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JP2020037003A (ja) | 内視鏡システム及び内視鏡システムの駆動方法 | |
JP2018051128A (ja) | プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法 | |
JP7130043B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
JP2017060682A (ja) | 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム | |
WO2018235179A1 (ja) | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム | |
WO2016121811A1 (ja) | 画像処理装置及び画像処理方法、並びに内視鏡システム | |
US20240049944A1 (en) | Recording Medium, Method for Generating Learning Model, and Surgery Support Device | |
JP7256275B2 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム | |
WO2020008528A1 (ja) | 内視鏡装置、内視鏡装置の作動方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140805 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140808 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5597021 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |