JP7074065B2 - 医療用画像処理装置、医療用画像処理方法、プログラム - Google Patents
医療用画像処理装置、医療用画像処理方法、プログラム Download PDFInfo
- Publication number
- JP7074065B2 JP7074065B2 JP2018548628A JP2018548628A JP7074065B2 JP 7074065 B2 JP7074065 B2 JP 7074065B2 JP 2018548628 A JP2018548628 A JP 2018548628A JP 2018548628 A JP2018548628 A JP 2018548628A JP 7074065 B2 JP7074065 B2 JP 7074065B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- value
- special
- threshold value
- normal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 130
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims description 62
- 238000004364 calculation method Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 25
- 230000001678 irradiating effect Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 description 86
- 230000033001 locomotion Effects 0.000 description 82
- 239000013598 vector Substances 0.000 description 61
- 210000004204 blood vessel Anatomy 0.000 description 57
- 238000012937 correction Methods 0.000 description 49
- 230000015654 memory Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 31
- 101100377097 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) yth-1 gene Proteins 0.000 description 29
- 238000003384 imaging method Methods 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 22
- 238000001514 detection method Methods 0.000 description 19
- 238000002674 endoscopic surgery Methods 0.000 description 19
- 238000001356 surgical procedure Methods 0.000 description 16
- 210000001519 tissue Anatomy 0.000 description 15
- 210000003205 muscle Anatomy 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 11
- 239000002131 composite material Substances 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 239000000203 mixture Substances 0.000 description 11
- 230000007704 transition Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000005284 excitation Effects 0.000 description 10
- 210000001165 lymph node Anatomy 0.000 description 10
- 238000002156 mixing Methods 0.000 description 10
- 210000000013 bile duct Anatomy 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000010336 energy treatment Methods 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 208000005646 Pneumoperitoneum Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 4
- 229960004657 indocyanine green Drugs 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 210000000626 ureter Anatomy 0.000 description 4
- 239000003153 chemical reaction reagent Substances 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
- A61B5/7214—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using signal cancellation, e.g. based on input of two identical physiological sensors spaced apart, or based on two signals derived from the same sensor, for different optical wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/0016—Holding or positioning arrangements using motor drive units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Psychiatry (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
本開示に係る技術は、さまざまな製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。またここでは、内視鏡手術システムを例に挙げて説明をするが、本技術は、外科手術システム、顕微鏡下手術システムなどにも適用できる。
支持アーム装置40は、ベース部41から延伸するアーム部43を備える。図示する例では、アーム部43は、関節部45a、45b、45c、およびリンク47a、47bから構成されており、アーム制御装置57からの制御により駆動される。アーム部43によって内視鏡20が支持され、その位置および姿勢が制御される。これにより、内視鏡20の安定的な位置の固定が実現され得る。
内視鏡20は、先端から所定の長さの領域が患者75の体腔内に挿入される鏡筒21と、鏡筒21の基端に接続されるカメラヘッド23と、から構成される。図示する例では、硬性の鏡筒21を有するいわゆる硬性鏡として構成される内視鏡20を図示しているが、内視鏡20は、軟性の鏡筒21を有するいわゆる軟性鏡として構成されてもよい。
CCU51は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡20および表示装置53の動作を統括的に制御する。具体的には、CCU51は、カメラヘッド23から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU51は、当該画像処理を施した画像信号を表示装置53に提供する。また、CCU51は、カメラヘッド23に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
支持アーム装置40は、基台であるベース部41と、ベース部41から延伸するアーム部43と、を備える。図示する例では、アーム部43は、複数の関節部45a、45b、45cと、関節部45bによって連結される複数のリンク47a、47bと、から構成されているが、図1では、簡単のため、アーム部43の構成を簡略化して図示している。
光源装置55は、内視鏡20に術部を撮影する際の照射光を供給する。光源装置55は、例えばLED、レーザ光源またはこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度および出力タイミングを高精度に制御することができるため、光源装置55において撮像画像のホワイトバランスの調整を行うことができる。
図2を参照して、内視鏡20のカメラヘッド23およびCCU51の機能についてより詳細に説明する。図2は、図1に示すカメラヘッド23およびCCU51の機能構成の一例を示すブロック図である。
図4は、通常フレームと特殊フレームの撮像タイミングの一例を示している。
次に、図5は、画像処理部114の構成例を示している。
図6は、動きベクトル検出部122の構成例を示している。動きベクトル検出部122は、フレームメモリ131および132、フレーム選択部133、ブロックマッチング部134、並びにベクトル補正部135から構成される。
次に、画像処理部114による画像合成処理について図7を参照して説明する。図7は、画像合成処理を説明するフローチャートである。この画像合成処理はフレーム周期毎に実行される。
上記したように、通常フレームと特殊フレームを重畳するとき、単に画素値を加算して合成フレームを生成した場合、信号が飽和してしまう領域、換言すれば、デジタル信号値が取り得る範囲の最大を超えてしまう領域があり、視認性の悪い画像、特に特殊画像の詳細な情報が失われた画像となってしまう可能性がある。
図11は、重畳処理部126の内部構成例を示す図である。重畳処理部126は、画素値算出部401と通常フレーム重畳率算出部402を含む構成とされている。
重畳フレーム303の画素値
=(通常フレーム301の画素値)×(通常フレーム重畳率305)
+(特殊フレーム302の画素値)×(特殊フレーム重畳率306) ・・・(1)
(特殊フレーム重畳率306)=1-(通常フレーム重畳率305)
Cbov=R×Cbwl+(1.0-R)×Cbfl
Crov=R×Crwl+(1.0-R)×Crfl
Gov=R×Gwl+(1.0-R)×Gfl
Bov=R×Bwl+(1.0-R)×Bfl
ここで、重畳制御情報304について説明を加える。重畳制御情報304は、例えば、図12に示すグラフ(適宜、重畳率定義関数と記述する)で定義される情報である。
強度値Y<閾値Yth1 である場合、
通常フレーム重畳率305=閾値Rth1
とされる。
重畳フレーム303の画素値=(通常フレーム301の画素値)×0.8
+(特殊フレーム302の画素値)×0.2
となる。このような演算により、重畳フレーム303の画素値が算出される。
閾値Yth1≦強度値Y<閾値Yth2 である場合、
次式(2)で算出される値Rが、通常フレーム重畳率305に設定される。
a=(Rth2-Rth1)/(Yth2-Yth1) , b=Rth1-a×Yth1
・・・(2)
重畳フレーム303の画素値=(通常フレーム301の画素値)×0.5
+(特殊フレーム302の画素値)×0.5
となる。このような演算により、重畳フレーム303の画素値が算出される。
閾値Yth2≦強度値Y である場合、
通常フレーム重畳率305=閾値Rth2
とされる。
重畳フレーム303の画素値=(通常フレーム301の画素値)×0.2
+(特殊フレーム302の画素値)×0.8
となる。このような演算により、重畳フレーム303の画素値が算出される。
(通常フレーム重畳率305)+(特殊フレーム重畳率306)=1.0
を満たす関係にある。よって、通常フレーム重畳率305と特殊フレーム重畳率306をグラフにして表すと、図15に示したようになる。
次に、上記したように、重畳制御情報304が設定(調整)されることについて、具体的な例を挙げて説明する。
具体例1として、図17に示すような組織表層血管を観察する場合について説明する。図17に示した組織表層血管は、横方向から見たときの状態を表しており、図中下側に筋組織601があり、その上部に脂肪602がある状態である。また、筋組織601と脂肪602との間に、リンパ節603-1とリンパ節603-2がある状態である。
具体例2として、図19に示すような筋組織深部の血管を観察する場合について説明する。図19に示した筋組織深部の血管は、横方向から見たときの状態を表しており、図中下側に筋組織701-1があり、その上部に血管702があり、さらにその上部に筋組織701-2がある状態を示している。
具体例3として、特殊フレーム302の強度値Yに設定される閾値Yth1と閾値Yth2を調整し、遷移区間を短くした重畳率定義関数を用いる場合について説明する。
次に、図23に示したフローチャートを参照し、重畳処理部126(図11)が行う処理について説明を加える。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
(1)
被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得する取得部と、
前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を算出する重畳率算出部と、
前記通常フレームと前記特殊フレームを、前記重畳率に基づき重畳処理する重畳処理部と
を備える医療用画像処理装置。
(2)
前記特殊フレームの強度値が大きい場合、前記特殊フレームの重畳率は高く設定され、前記特殊フレームの強度値が小さい場合、前記特殊フレームの重畳率は低く設定される
前記(1)に記載の医療用画像処理装置。
(3)
前記強度値が取り得る範囲内に、第1の閾値と第2の閾値が設定され、前記第1の閾値よりも前記強度値が小さい場合、前記通常フレームの重畳率が前記特殊フレームの重畳率よりも高く設定され、前記第2の閾値よりも前記強度値が大きい場合、前記通常フレームの重畳率が前記特殊フレームの重畳率よりも低く設定される
前記(1)または(2)に記載の医療用画像処理装置。
(4)
前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第2の閾値は、小さい値に設定される
前記(3)に記載の医療用画像処理装置。
(5)
前記特殊フレームの微弱な信号による影響を低減させたい場合、前記第1の閾値は、大きい値に設定される
前記(3)または(4)に記載の医療用画像処理装置。
(6)
前記通常フレームの重畳率として取り得る範囲内に、第3の閾値と第4の閾値が設定され、前記第3の閾値は、前記強度値が小さいときに前記通常フレームの重畳率として適用される値であり、前記第4の閾値は、前記強度値が大きいときに前記通常フレームの重畳率として適用される値である
前記(1)乃至(5)のいずれかに記載の医療用画像処理装置。
(7)
前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第4の閾値は、小さい値に設定される
前記(6)に記載の医療用画像処理装置。
(8)
前記特殊フレームの微弱な信号による影響を低減させたい場合、前記第3の閾値は、大きい値に設定される
前記(6)または(7)に記載の医療用画像処理装置。
(9)
前記強度値が取り得る範囲内に、第1の閾値と第2の閾値が設定され、前記通常フレームの重畳率として取り得る範囲内に、第3の閾値と第4の閾値が設定され、前記第1乃至第4の閾値は、観察対象とされる前記被写体に適した値に設定される
前記(1)乃至(8)のいずれかに記載の医療用画像処理装置。
(10)
前記重畳率算出部は、前記第1乃至第4の閾値を用いて重畳率を算出する
前記(9)に記載の医療用画像処理装置。
(11)
前記重畳率算出部は、前記第1乃至第4の閾値で定義される関数を用いて重畳率を算出する
前記(9)に記載の医療用画像処理装置。
(12)
前記特殊フレーム内で特殊光を照射したことにより発光しているか否かを明確に判定する用途の場合、前記第1の閾値と前記第3の閾値は大きい値に設定され、前記第2の閾値と前記第4の閾値は小さい値に設定される
前記(9)に記載の医療用画像処理装置。
(13)
被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得し、
前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を算出し、
前記通常フレームと前記特殊フレームを、前記重畳率に基づき重畳処理する
ステップを含む医療用画像処理方法。
(14)
コンピュータに、
被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得し、
前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を算出し、
前記通常フレームと前記特殊フレームを、前記重畳率に基づき重畳処理する
ステップを含む処理を実行させるためのプログラム。
Claims (11)
- 被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得する取得部と、
前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を画素毎に算出する重畳率算出部と、
前記通常フレームと前記特殊フレームを、前記重畳率に基づき画素毎に重畳処理する重畳処理部と
を備え、
前記強度値が取り得る範囲内に、第1の閾値と第2の閾値が設定され、前記通常フレームの重畳率として取り得る範囲内に、第3の閾値と第4の閾値が設定され、
前記重畳率算出部は、前記第1乃至第4の閾値を用いて重畳率を算出し、
前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第2の閾値は、小さい値に設定される
医療用画像処理装置。 - 前記特殊フレームの強度値が大きい場合、前記特殊フレームの重畳率は高く設定され、前記特殊フレームの強度値が小さい場合、前記特殊フレームの重畳率は低く設定される
請求項1に記載の医療用画像処理装置。 - 前記第1の閾値よりも前記強度値が小さい場合、前記通常フレームの重畳率が前記特殊フレームの重畳率よりも高く設定され、前記第2の閾値よりも前記強度値が大きい場合、前記通常フレームの重畳率が前記特殊フレームの重畳率よりも低く設定される
請求項1または2に記載の医療用画像処理装置。 - 前記特殊フレームの微弱な信号による影響を低減させたい場合、前記第1の閾値は、大きい値に設定される
請求項1乃至3のいずれかに記載の医療用画像処理装置。 - 前記第3の閾値は、前記強度値が小さいときに前記通常フレームの重畳率として適用される値であり、前記第4の閾値は、前記強度値が大きいときに前記通常フレームの重畳率として適用される値である
請求項1乃至4のいずれかに記載の医療用画像処理装置。 - 前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第4の閾値は、小さい値に設定される
請求項1乃至5のいずれかに記載の医療用画像処理装置。 - 前記特殊フレームの微弱な信号による影響を低減させたい場合、前記第3の閾値は、大きい値に設定される
請求項1乃至6のいずれかに記載の医療用画像処理装置。 - 前記第1乃至第4の閾値は、観察対象とされる前記被写体に適した値に設定される
請求項1乃至7のいずれかに記載の医療用画像処理装置。 - 前記特殊フレーム内で特殊光を照射したことにより発光しているか否かを明確に判定する用途の場合、前記第1の閾値と前記第3の閾値は大きい値に設定され、前記第2の閾値と前記第4の閾値は小さい値に設定される
請求項1乃至8のいずれかに記載の医療用画像処理装置。 - 医療用画像処理装置が、
被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得し、
前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を画素毎に算出し、
前記通常フレームと前記特殊フレームを、前記重畳率に基づき画素毎に重畳処理し、
前記強度値が取り得る範囲内に、第1の閾値と第2の閾値を設定し、前記通常フレームの重畳率として取り得る範囲内に、第3の閾値と第4の閾値を設定し、
前記重畳率を、前記第1乃至第4の閾値を用いて算出し、
前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第2の閾値を、小さい値に設定する
医療用画像処理方法。 - コンピュータに、
被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得し、
前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を画素毎に算出し、
前記通常フレームと前記特殊フレームを、前記重畳率に基づき画素毎に重畳処理し、
前記強度値が取り得る範囲内に、第1の閾値と第2の閾値を設定し、前記通常フレームの重畳率として取り得る範囲内に、第3の閾値と第4の閾値を設定し、
前記重畳率を、前記第1乃至第4の閾値を用いて算出し、
前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第2の閾値を、小さい値に設定する
ステップを含む処理を実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016216179 | 2016-11-04 | ||
JP2016216179 | 2016-11-04 | ||
PCT/JP2017/037969 WO2018084003A1 (ja) | 2016-11-04 | 2017-10-20 | 医療用画像処理装置、医療用画像処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018084003A1 JPWO2018084003A1 (ja) | 2019-09-19 |
JP7074065B2 true JP7074065B2 (ja) | 2022-05-24 |
Family
ID=62075573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018548628A Active JP7074065B2 (ja) | 2016-11-04 | 2017-10-20 | 医療用画像処理装置、医療用画像処理方法、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11216941B2 (ja) |
JP (1) | JP7074065B2 (ja) |
WO (1) | WO2018084003A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11980507B2 (en) | 2018-05-02 | 2024-05-14 | Augmedics Ltd. | Registration of a fiducial marker for an augmented reality system |
US11766296B2 (en) | 2018-11-26 | 2023-09-26 | Augmedics Ltd. | Tracking system for image-guided surgery |
US11280737B2 (en) * | 2019-06-20 | 2022-03-22 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
US11793399B2 (en) | 2019-06-20 | 2023-10-24 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system |
US11398011B2 (en) | 2019-06-20 | 2022-07-26 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed laser mapping imaging system |
US11276148B2 (en) * | 2019-06-20 | 2022-03-15 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
US11288772B2 (en) * | 2019-06-20 | 2022-03-29 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
US11980506B2 (en) | 2019-07-29 | 2024-05-14 | Augmedics Ltd. | Fiducial marker |
CN114650763A (zh) * | 2019-11-14 | 2022-06-21 | 索尼集团公司 | 信息处理装置、生成方法和生成程序 |
US11896445B2 (en) | 2021-07-07 | 2024-02-13 | Augmedics Ltd. | Iliac pin and adapter |
DE102021124010A1 (de) * | 2021-09-16 | 2023-03-16 | Xion Gmbh | Verfahren und Vorrichtung zur Videoendoskopie mit Fluoreszenzlicht |
WO2023203521A1 (en) * | 2022-04-21 | 2023-10-26 | Augmedics Ltd. | Systems and methods for medical image visualization |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008111180A1 (ja) | 2007-03-13 | 2008-09-18 | Olympus Corporation | 画像信号処理装置、画像信号処理プログラム、画像信号処理方法 |
JP2011104011A (ja) | 2009-11-13 | 2011-06-02 | Olympus Corp | 画像処理装置、電子機器、内視鏡システム及びプログラム |
JP2011194111A (ja) | 2010-03-23 | 2011-10-06 | Olympus Corp | 画像処理装置、画像処理方法及びプログラム |
JP2015095890A (ja) | 2013-11-14 | 2015-05-18 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5749830A (en) * | 1993-12-03 | 1998-05-12 | Olympus Optical Co., Ltd. | Fluorescent endoscope apparatus |
US20020138008A1 (en) * | 2000-01-13 | 2002-09-26 | Kazuhiro Tsujita | Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images |
EP1731087A3 (en) | 2000-07-14 | 2008-08-06 | Novadaq Technologies Inc. | Compact fluorescent endoscopy video system |
US6582363B2 (en) * | 2000-08-25 | 2003-06-24 | Pentax Corporation | Video endoscope system and illumination optical system |
US7307766B2 (en) * | 2003-04-04 | 2007-12-11 | Good News Enterprises Limited | Black and white image detection |
JP4597744B2 (ja) * | 2004-11-08 | 2010-12-15 | 株式会社トプコン | 光画像計測装置及び光画像計測方法 |
JP2007313171A (ja) | 2006-05-29 | 2007-12-06 | Olympus Corp | 内視鏡システム |
JP5184016B2 (ja) | 2007-09-12 | 2013-04-17 | オンセミコンダクター・トレーディング・リミテッド | 撮像装置 |
WO2009142758A1 (en) * | 2008-05-23 | 2009-11-26 | Spectral Image, Inc. | Systems and methods for hyperspectral medical imaging |
ATE506000T1 (de) * | 2008-06-04 | 2011-05-15 | Fujifilm Corp | Beleuchtungsvorrichtung zur verwendung in endoskopen |
JP5242479B2 (ja) * | 2009-03-26 | 2013-07-24 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法 |
JP5572326B2 (ja) * | 2009-03-26 | 2014-08-13 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 |
EP2526853B1 (en) | 2010-03-09 | 2014-01-08 | Olympus Corporation | Fluorescence endoscope device |
JP2011194040A (ja) | 2010-03-19 | 2011-10-06 | Olympus Medical Systems Corp | 医療機器 |
JP2011200367A (ja) * | 2010-03-25 | 2011-10-13 | Fujifilm Corp | 画像撮像方法および装置 |
JP2012024283A (ja) | 2010-07-22 | 2012-02-09 | Fujifilm Corp | 内視鏡診断装置 |
JP5405445B2 (ja) * | 2010-12-17 | 2014-02-05 | 富士フイルム株式会社 | 内視鏡装置 |
JP5309120B2 (ja) * | 2010-12-20 | 2013-10-09 | 富士フイルム株式会社 | 内視鏡装置 |
JP6151882B2 (ja) * | 2010-12-24 | 2017-06-21 | キヤノン株式会社 | 被検体情報取得装置及び被検体情報取得方法 |
EP2679165A4 (en) * | 2011-02-23 | 2017-11-08 | Hitachi, Ltd. | Ultrasound diagnostic device and image display method |
JP5355799B2 (ja) * | 2011-06-07 | 2013-11-27 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置および内視鏡装置の作動方法 |
JP5887350B2 (ja) * | 2011-09-05 | 2016-03-16 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2014175223A1 (ja) * | 2013-04-22 | 2014-10-30 | ローム株式会社 | 癌診断装置、診断システム、診断装置 |
JP6184244B2 (ja) * | 2013-05-30 | 2017-08-23 | 東芝メディカルシステムズ株式会社 | 医用画像処理装置 |
JP6385750B2 (ja) * | 2013-07-30 | 2018-09-05 | キヤノンメディカルシステムズ株式会社 | 医用線量情報管理装置、x線診断装置、および医用線量情報管理方法 |
WO2015049962A1 (ja) * | 2013-10-02 | 2015-04-09 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
TWM481759U (zh) * | 2014-02-27 | 2014-07-11 | Bh Asia Ltd | 健身車的可調整式搖擺裝置 |
JP5992936B2 (ja) * | 2014-02-27 | 2016-09-14 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法 |
JP2018108173A (ja) * | 2016-12-28 | 2018-07-12 | ソニー株式会社 | 医療用画像処理装置、医療用画像処理方法、プログラム |
-
2017
- 2017-10-20 WO PCT/JP2017/037969 patent/WO2018084003A1/ja active Application Filing
- 2017-10-20 US US16/338,692 patent/US11216941B2/en active Active
- 2017-10-20 JP JP2018548628A patent/JP7074065B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008111180A1 (ja) | 2007-03-13 | 2008-09-18 | Olympus Corporation | 画像信号処理装置、画像信号処理プログラム、画像信号処理方法 |
JP2011104011A (ja) | 2009-11-13 | 2011-06-02 | Olympus Corp | 画像処理装置、電子機器、内視鏡システム及びプログラム |
JP2011194111A (ja) | 2010-03-23 | 2011-10-06 | Olympus Corp | 画像処理装置、画像処理方法及びプログラム |
JP2015095890A (ja) | 2013-11-14 | 2015-05-18 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200043160A1 (en) | 2020-02-06 |
US11216941B2 (en) | 2022-01-04 |
WO2018084003A1 (ja) | 2018-05-11 |
JPWO2018084003A1 (ja) | 2019-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7074065B2 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
US20240011909A1 (en) | Imaging system | |
CN110099599B (zh) | 医学图像处理设备、医学图像处理方法和程序 | |
US10904437B2 (en) | Control apparatus and control method | |
WO2017159335A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
JPWO2018221041A1 (ja) | 医療用観察システム及び医療用観察装置 | |
WO2020008920A1 (ja) | 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法 | |
US11699215B2 (en) | Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast | |
WO2021140923A1 (ja) | 医療画像生成装置、医療画像生成方法および医療画像生成プログラム | |
EP3598735A1 (en) | Imaging device, video signal processing device, and video signal processing method | |
WO2020203164A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
US20220261967A1 (en) | Endoscopic surgery system, image processing apparatus, and image processing method | |
US20210228061A1 (en) | Medical observation system, medical observation apparatus, and drive method of medical observation apparatus | |
CN115315210A (zh) | 图像处理装置、图像处理方法、导航方法以及内窥镜系统 | |
JPWO2020045014A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
WO2018043205A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
JP7456385B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP7480779B2 (ja) | 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム | |
WO2022019057A1 (ja) | 医療用アーム制御システム、医療用アーム制御方法及びプログラム | |
WO2022004250A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
JPWO2020050187A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
JP2020525055A (ja) | 医療撮影システム、方法及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200716 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220425 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7074065 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |