JP5801577B2 - Optical tomographic imaging apparatus and control method for optical tomographic imaging apparatus - Google Patents
Optical tomographic imaging apparatus and control method for optical tomographic imaging apparatus Download PDFInfo
- Publication number
- JP5801577B2 JP5801577B2 JP2011058979A JP2011058979A JP5801577B2 JP 5801577 B2 JP5801577 B2 JP 5801577B2 JP 2011058979 A JP2011058979 A JP 2011058979A JP 2011058979 A JP2011058979 A JP 2011058979A JP 5801577 B2 JP5801577 B2 JP 5801577B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- region
- image
- area
- tomographic imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0066—Optical coherence imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B2290/00—Aspects of interferometers not specifically covered by any group under G01B9/02
- G01B2290/70—Using polarization in the interferometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/0209—Low-coherence interferometers
- G01B9/02091—Tomographic interferometers, e.g. based on optical coherence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Ophthalmology & Optometry (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Eye Examination Apparatus (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
本発明は、光断層画像の撮像装置及びその制御方法に関し、特に眼科診療等における光干渉断層計を用いた光断層画像の撮像装置及びその制御方法に関するものである。 The present invention relates to an optical tomographic image capturing apparatus and a control method thereof, and more particularly to an optical tomographic image capturing apparatus using an optical coherence tomography in ophthalmic medical care and the like and a control method thereof.
近年、低コヒーレンス干渉計または白色干渉計の技術を応用した光干渉断層イメージング方法および装置が実用化されている。中でも、多波長光波干渉を利用したオプティカルコヒーレンストモグラフィー(Optical Coherence Tomography:OCT)による光断層画像撮像装置(光干渉計測装置)では、試料の断層像を高分解能で得ることができる。そのため、眼科領域において、眼底・網膜の断層像を得る上で、必要不可欠な装置になりつつある。また、眼科以外でも、皮膚の断層観察や、内視鏡やカテーテルとして構成して消化器、循環器の壁面断層撮影等が試みられている。以下、これをOCT装置と記す。 In recent years, an optical coherence tomographic imaging method and apparatus applying a technique of a low coherence interferometer or a white interferometer has been put into practical use. In particular, in an optical tomographic imaging apparatus (optical interference measuring apparatus) using optical coherence tomography (OCT) using multiwavelength lightwave interference, a tomographic image of a sample can be obtained with high resolution. Therefore, it is becoming an indispensable device for obtaining tomographic images of the fundus and retina in the ophthalmological region. In addition to ophthalmology, tomographic observations of the skin, wall-tomography of the digestive organs and circulatory organs configured as endoscopes and catheters have been attempted. Hereinafter, this is referred to as an OCT apparatus.
近年フーリエドメインOCT(Fourier Domain Optical Coherence Tomography)技術が発展し、従来のタイムドメインOCT(Time Domain Optical Coherence Tomography)に比べ、撮像時間は大幅に短縮した。しかしながら、人眼など被検査物が常に微動している場合、フォーカス位置、撮像範囲の位置などの撮像条件が変化し、コントラストの低下や撮像範囲のフレームアウトという問題が生じる。したがって、フレームアウトを防ぐため、また着目する領域を周辺領域と比較するため、その領域だけでなく周辺領域も含めて画像を取得する必要がある。 In recent years, Fourier Domain OCT (Fourier Domain Optical Coherence Tomography) technology has been developed, and the imaging time has been significantly shortened as compared with conventional time domain OCT (Time Domain Optical Coherence Tomography). However, when an object to be inspected such as the human eye is constantly moving, the imaging conditions such as the focus position and the imaging range change, causing problems such as a decrease in contrast and a frame out of the imaging range. Therefore, in order to prevent frame-out and to compare the region of interest with the peripheral region, it is necessary to acquire an image including not only the region but also the peripheral region.
特許文献1に画像を構築するための信号の強度が所定閾値未満である場合に信号の強度を増大させるための制御を行なう方法が開示されている。 Patent Document 1 discloses a method for performing control for increasing the strength of a signal when the strength of the signal for constructing an image is less than a predetermined threshold.
しかしながら、特許文献1の方法では周辺領域を含む画像全体に関する信号を増大させるための制御を行なった結果、画像中で着目する領域の信号強度が逆に低下してしまう場合があった。信号の強度を指標とする場合だけでなく、SNR、コントラスト等を指標として用いる場合でも同様であった。したがって、OCT画像の着目する領域について、良好な画質かどうかを判断することが課題であった。 However, in the method of Patent Document 1, as a result of performing control for increasing the signal related to the entire image including the peripheral region, the signal intensity of the region of interest in the image may be reduced. The same applies not only when the signal intensity is used as an index but also when SNR, contrast, and the like are used as an index. Therefore, it has been a problem to determine whether or not the region of interest of the OCT image has good image quality.
本発明は上記課題を鑑みてなされたものであり、測定者が着目する領域が良好な画質で得られているかどうか簡便に判断できる光断層撮像装置及びその制御方法を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an optical tomographic imaging apparatus and a control method thereof that can easily determine whether or not an area focused by a measurer is obtained with good image quality. .
以上の課題を解決するため、本発明は、低コヒーレンス光を出力する光源と、低コヒーレンス光を測定光と参照光とに分割し、被検査物に照射された測定光による戻り光と参照光路を経由した参照光とにより合成された干渉光を生成する手段と、干渉光を検出して検出信号を生成する手段と、検出信号に基づいて被検査物の画像を形成する手段とを有する光断層撮像装置において、画像の中で第1の領域と第2の領域を指定する手段と、画像の画質を判断する計算指標と判断基準を設定する手段と、計算指標に基づいて第1の領域と第2の領域の輝度値に対して計算処理を行い、その結果得られた計算値が判断基準に含まれるか否かを判断し、判断結果を出力する手段を有し、計算値は、第1の領域の輝度値の最大値と第2の領域の輝度値の標準偏差の比、または比に基づいて算出される値である光断層撮像装置を提供する。 In order to solve the above-described problems, the present invention provides a light source that outputs low-coherence light, and splits the low-coherence light into measurement light and reference light, and returns light and reference light path by the measurement light irradiated on the inspection object. Light having means for generating interference light combined with reference light that passes through, means for detecting the interference light and generating a detection signal, and means for forming an image of the inspection object based on the detection signal In the tomographic imaging apparatus, means for designating a first area and a second area in an image, a calculation index for determining the image quality of the image, a means for setting a determination criterion, and a first area based on the calculation index When subjected to calculation processing to the luminance value of the second region, it is determined whether the resulting calculated value is included in the criteria, have a means for outputting a determination result, the calculated value, The maximum luminance value of the first area and the luminance value of the second area To provide an optical tomographic imaging apparatus Ru value der calculated based on quasi-deviation ratio or ratios.
本発明の光断層撮像装置によれば、OCT画像の特定の着目する領域を指定し、その領域の画質を判断する適切な計算指標を指定し、計算指標に基づいて得られた計算値により良好な画質かどうか判定できるので、測定者が着目する領域が良好な画質で得られているかどうか簡便に判断することができる。 According to the optical tomography apparatus of the present invention, a specific region of interest of the OCT image is designated, an appropriate calculation index for judging the image quality of the region is specified, and the calculated value obtained based on the calculation index is better. Since it can be determined whether the image quality is high, it can be easily determined whether the region of interest to the measurer is obtained with good image quality.
本発明の実施形態について、図1〜4を用いて説明する。なお、本実施例ではマイケルソン型干渉計を用いたスペクトラルドメイン方式のOCT(Spectral Domain OCT)を採用しているが、これに限るものではない。 An embodiment of the present invention will be described with reference to FIGS. In this embodiment, Spectral Domain OCT (Spectral Domain OCT) using a Michelson interferometer is adopted, but the present invention is not limited to this.
図1に本実施形態の光断層撮像装置の全体構成を示す。
低コヒーレンス光源101より発せられた光は、光ファイバを通りファイバコリメータ102によって平行光になる。この平行光はビームスプリッタ103によって測定光と参照光に分割される。
FIG. 1 shows the overall configuration of the optical tomographic imaging apparatus of the present embodiment.
The light emitted from the low coherence light source 101 passes through the optical fiber and becomes parallel light by the
測定光は、ガルバノミラー2つで構成される走査光学系104、接眼レンズ105を通して被検査物120に照射される。走査光学系104は被検査物120上のビームスポット位置を2次元的に変化させることができる。また、接眼レンズ105は電動ステージ113にて光軸方向に移動させることで、測定光の焦点位置を変化させることができる。被検査物120より反射または散乱された戻り光は、先程の経路を逆に通って、接眼レンズ105、走査光学系104経由でビームスプリッタ103に戻される。
The measurement light is applied to the
一方、参照光は、分散補償ガラス106を通って参照ミラー107より反射され、再び同じ経路を逆に通ってビームスプリッタ103に戻される。参照ミラー107は光軸方向に移動する電動ステージ114上に設置され、参照光路長を調整することができる。分散補償ガラス106は、直角三角形の形状をした分散プリズム2個を、斜辺が向き合うように配置した構成で、その位置をずらすことにより、光路長を調整することができる。通常は、測定光路と参照光路を構成する光学系は異なるため、それぞれの波長分散量が異なり、最適な干渉条件ではない。したがって、波長分散量を調整するために、参照光路に分散補償ガラス106を挿入している。
On the other hand, the reference light is reflected from the reference mirror 107 through the
被検査物120より反射または散乱された戻り光と参照ミラー107によって戻された参照光はビームスプリッタ103によって合成され、干渉光となる。生成した干渉光はファイバコリメータ108によって光ファイバに入力され、検出部110に入力される。検出部110は干渉光を分光する回折格子と分光された干渉光を検出するラインセンサカメラを含み、分光された干渉光をデジタル化された検出信号に変換し、信号処理装置111に送る。信号処理装置111は、検出信号に基づいて被検査物120の画像を形成する画像形成処理ソフトウェアを実行する処理部(不図示)、被検査物120の画像を表示する表示装置112を含む。
The return light reflected or scattered from the
図2に表示装置112の構成を示す。表示装置112は、画像表示部201、領域設定表示部202a、202b、計算指標設定部203、計算値表示部204、判断基準設定部205、および判断結果表示部206からなる。画像表示部201は信号処理装置111で処理された画像データを表示する。領域設定表示部202a、202bは、表示された画像内で設定された画像評価を行なう領域を表示する。ここでは図示しないが、領域設定は信号処理装置111に付随するマウス,キーボードなどの入力部を用いて行う。計算指標設定部203は、表示された画像の画質を判定する計算指標を設定する。計算値表示部204は、設定した計算指標に基づいて、領域設定表示部202a、202bで設定した領域において計算された計算値を表示する。判断結果表示部206は、計算値が判断基準設定部205にて設定された基準内であるかどうかの判断結果を表示する。
FIG. 2 shows the configuration of the display device 112. The display device 112 includes an
また信号処理装置111は、図1に示すように、判断結果を電動ステージ制御装置115に送信するように構成することもできる。これについては後述する。
Further, as shown in FIG. 1, the signal processing device 111 may be configured to transmit the determination result to the electric
図3に、信号処理装置111内の画像形成処理ソフトウェアの処理工程を示す。画像形成処理ソフトウェアを実行することにより信号処理装置111内の処理部は、まず検出部110より送られた検出信号を受け取り、画像形成工程に送る(301)。画像形成工程で検出信号を処理し、被検査物120の画像データを形成する(302)。画像データを画像表示部201に表示し、領域設定表示部202a、202bで表示された領域を受け取る(303)。次に、計算指標設定部203で設定された計算指標を受け取る(304)。さらに、判断基準設定部205で設定された判断基準を受け取る(305)。上記の情報を基に、画像データからそれぞれの領域内の輝度値を抽出し、設定された計算指標に基づいて、輝度値に対して計算処理を行う。その結果得られる計算値を判断基準と比較して、基準内かどうかを判定する(306)。計算値が判断基準内である場合は“○”を出力(307A)、基準外である場合は“×”を出力する(307B)。操作を継続する場合は最初に戻り、終了する場合は処理を終える(308)。
FIG. 3 shows processing steps of the image forming processing software in the signal processing device 111. By executing the image forming processing software, the processing unit in the signal processing device 111 first receives the detection signal sent from the detecting unit 110 and sends it to the image forming process (301). The detection signal is processed in the image forming process to form image data of the inspection object 120 (302). The image data is displayed on the
図4に、図3の画像形成工程(302)の詳細を示す。まず検出部110より送られた検出信号は、低コヒーレンス光源101に含まれる波長に対応した検出信号なので、フーリエ変換処理をする前に波数(波長の逆数)に対応した形に変換する(401)。このデータをフーリエ変換処理し(402)、出力された複素振幅の絶対値を計算する(403)。絶対値データを画像として表示するために、常用対数変換して8ビット(256)階調の輝度値に変換する(404)。この輝度値データを画像の位置座標と対応させ(405)、2次元画像データにして出力する。 FIG. 4 shows details of the image forming step (302) of FIG. First, since the detection signal sent from the detection unit 110 is a detection signal corresponding to the wavelength included in the low-coherence light source 101, the detection signal is converted into a form corresponding to the wave number (the reciprocal of the wavelength) before the Fourier transform process (401) . This data is subjected to Fourier transform (402), and the absolute value of the output complex amplitude is calculated (403). In order to display the absolute value data as an image, common logarithm conversion is performed to convert it into a luminance value of 8 bits (256) gradation (404). The luminance value data is made to correspond to the position coordinates of the image (405) and output as two-dimensional image data.
以上の本実施形態の構成よれば、OCT画像の特定の着目する領域を指定し、その領域の画質を判断する適切な計算指標を指定し、計算指標に基づいて得られた計算値により良好な画質かどうか判定できるので、測定者が着目する領域が良好な画質で得られているかどうか簡便に判断することができる。 According to the configuration of the present embodiment, a specific region of interest in the OCT image is specified, an appropriate calculation index for determining the image quality of the region is specified, and the calculated value obtained based on the calculation index is better. Since it can be determined whether or not the image quality is high, it is possible to easily determine whether or not the region of interest of the measurer is obtained with good image quality.
[実施例1]
図1〜4に示す実施形態における具体的な実施例を説明する。
[Example 1]
A specific example of the embodiment shown in FIGS.
低コヒーレンス光源101として、中心波長840nm、波長幅45nmのスーパールミネッセントダイオード(Super luminescent diode:SLD)光源を用いる。被検査物120は人眼網膜とする。分散補償ガラス106はBK7ガラスで、長辺20mm、短辺15mmの分散プリズム2個を用いて構成する。長辺を光軸に平行に配置し、斜面に屈折率標準液を塗って貼り合わせる。斜面をずらすように動かすことで、光路となるガラスの厚さを約20±10mmの範囲で変えることができる。
As the low-coherence light source 101, a super luminescent diode (SLD) light source having a center wavelength of 840 nm and a wavelength width of 45 nm is used. The
検出部110は次のように構成する。ラインセンサカメラは画素の大きさが14μm角、画素ピッチ14μm、画素数2048で、ラインレートが最大27kHzである。光ファイバで入力された干渉光が、1200line/mmの透過型回折格子によって分光されラインセンサカメラ上に集光するように光学系を配置する。ラインセンサカメラでは干渉光が12bitでアナログ−デジタル変換され、検出信号として信号処理装置111に送られる。 The detection unit 110 is configured as follows. The line sensor camera has a pixel size of 14 μm square, a pixel pitch of 14 μm, a number of pixels of 2048, and a maximum line rate of 27 kHz. The optical system is arranged so that the interference light input through the optical fiber is split by the transmission diffraction grating of 1200 line / mm and condensed on the line sensor camera. In the line sensor camera, the interference light is converted from analog to digital by 12 bits and sent to the signal processing device 111 as a detection signal.
信号処理装置としてパーソナルコンピュータを用いる。また、表示装置112としてパーソナルコンピュータの液晶ディスプレイを用いる。 A personal computer is used as the signal processing device. Further, a liquid crystal display of a personal computer is used as the display device 112.
本実施例では、画像表示部201に表示される画像に対して、網膜色素上皮層のSNR(SN比)に注目し、良好な画質であるかどうか判定する。領域設定表示部202a、202bで第1の領域と第2の領域を表示させ、計算指標設定部203で計算指標を「SNR」、判定基準設定部205で判定基準を40〜60[dB]と設定したものとする。領域設定部202bで設定した第1の領域が網膜色素上皮層の一部を含む領域であり、領域設定部202aで設定した第2の領域を背景としてSNRを判定する。各領域内の画素の輝度値からSNRは次の式で計算される。
SNR=20*log{(領域202bの輝度値の最大値)/(領域202a内の輝度値の標準偏差)}
In this embodiment, the image displayed on the
SNR = 20 * log {(maximum value of luminance value in
計算結果は計算値表示部204に表示される。本例では41.4dBであった。この計算値は判断基準内であるため、判断結果表示部206に“○”が表示される。
The calculation result is displayed on the calculated
本実施例では、判定基準として40〜60dBのように上限下限を設けたが、「40dB以上」または「60dB以下」のように、上限下限を設けなくても良い。なお、上述の例ではSNRの値そのものを表示したが、判定基準40〜60dBを鑑みて、40dBの時を0点、60dBの時を100点として、スケーリングした値を表示するようにするとさらに分かりやすくなる。また、判定結果を“○”、“×”で示したが、判定基準内か否かが明確に区別できる表現方法であれば、光の明暗、色、記号、音、機械的動作などいずれでも良い。 In the present embodiment, the upper and lower limits are provided as determination criteria such as 40 to 60 dB. However, the upper and lower limits may not be provided such as “40 dB or more” or “60 dB or less”. In the above example, the SNR value itself is displayed. However, in view of the determination criteria of 40 to 60 dB, it is further understood that the scaled value is displayed with 0 point at 40 dB and 100 points at 60 dB. It becomes easy. In addition, the determination results are indicated by “◯” and “×”, but any expression method that can clearly distinguish whether it is within the determination criteria, such as light contrast, color, symbol, sound, mechanical operation, etc. good.
本実施例によれば、得られたOCT画像において着目する領域を指定し、背景とのSNRを計算指標とすることで、着目する領域が明瞭に撮像されているかどうかの判定を簡便に行うことができる。 According to the present embodiment, it is possible to easily determine whether or not the region of interest is clearly captured by specifying the region of interest in the obtained OCT image and using the SNR with the background as a calculation index. Can do.
本実施例ではビームスプリッタ103を用いてバルク光学系での例を示したが、ファイバカプラを用いて光ファイバ系で構成しても同様の効果が得られる。また、本実施例ではスペクトラルドメイン方式での信号処理を示したが、スウェプトソース方式(SweptSource OCT)、タイムドメイン方式(Time Domain OCT)でも同様の効果が得られる。
In this embodiment, an example of a bulk optical system using the
[実施例2]
本実施例ではSNR以外の計算指標と領域指定の例について、図5を用いて述べる。
[Example 2]
In this embodiment, a calculation index other than SNR and an example of area designation will be described with reference to FIG.
図5(a)では中心窩直下の視細胞層付近501aの領域を指定する場合を示している。スペクトラルドメイン方式の場合、参照ミラーに位置が近いほど信号強度が強くなる特性があるため、領域を指定しない場合、神経線維層付近502aの信号強度が強くなりがちである。したがって、領域501aを指定し、計算指標を「最大値」とすることで、領域501aの輝度値が良いかどうか判定できる。すなわち、着目する領域を任意に設定し、輝度が高いかどうか簡便に判定できる。
FIG. 5A shows a case in which the region near the photoreceptor layer 501a immediately below the fovea is designated. In the case of the spectral domain method, there is a characteristic that the signal intensity increases as the position is closer to the reference mirror. Therefore, when the area is not specified, the signal intensity in the vicinity of the
図5(b)では内顆粒層付近501bとその隣の層付近502bを指定する場合を示している。この場合計算指標を「コントラスト」とすることで、内顆粒層付近がその周辺部から分離して明瞭に撮像されているか判定することができる。「コントラスト」の計算式は、領域501b内の輝度値の平均値(A1)と標準偏差(δ1)、領域502b内の輝度値の平均値(A2)と標準偏差(δ2)を用いて、通常は次の式で計算される。
|A1−A2|/(A1+A2)
なお、その他の定義式
|A1−A2|/√(δ1^2−δ2^2)
でも良いし、簡単に
A1/A2
でも良い。この方法によれば、着目した領域同士が明瞭に区別できるように撮像できているかどうか簡便に判定できる。
FIG. 5B shows a case in which an inner granule layer vicinity 501b and an adjacent layer vicinity 502b are designated. In this case, by setting the calculation index as “contrast”, it is possible to determine whether the vicinity of the inner granule layer is separated from the peripheral portion and is clearly imaged. The calculation formula of “contrast” is normally obtained by using the average value (A1) and standard deviation (δ1) of the luminance values in the region 501b and the average value (A2) and standard deviation (δ2) of the luminance values in the region 502b. Is calculated by the following formula.
| A1-A2 | / (A1 + A2)
Other defining formulas | A1-A2 | / √ (δ1 ^ 2-δ2 ^ 2)
But it ’s okay, and A1 / A2 is easy.
But it ’s okay. According to this method, it is possible to easily determine whether or not imaging has been performed so that the focused regions can be clearly distinguished from each other.
図5(c)では視細胞層付近を縦に横切るように直線状の領域501cを指定する場合を示している。この場合計算指標を「SMF(Sharpness Metric Function)」とすることで、視細胞層付近の各層が明瞭に解像できているかどうか解像度を判定することができる。この領域501cにおいて、輝度値が所定の閾値(例えば200)を超える画素数Nは10個、領域501cの全画素数Mは41個であった。したがってSMFは例えば次のように計算できる。
SMF=N/M=0.244
また、単純にSMF=Nでも良いし、SMF=1/Nでも良い。
OCT画像の解像度は、光源のスペクトル形状、測定光・参照光の偏光状態、分散補償の度合いなどによって変化する。この方法によれば、着目する領域の解像度が簡便に判定できる。
FIG. 5C shows a case where the
SMF = N / M = 0.244
Further, SMF = N may be simply used, or SMF = 1 / N may be used.
The resolution of the OCT image varies depending on the spectral shape of the light source, the polarization state of the measurement light / reference light, the degree of dispersion compensation, and the like. According to this method, the resolution of the region of interest can be easily determined.
以上、本実施例ではSNR以外の計算指標の計算例を述べたが、実施例1と同様にこれらの計算値をスケーリングして表示しても同様の効果が得られる。 As described above, the calculation example of the calculation index other than the SNR has been described in the present embodiment, but the same effect can be obtained by scaling and displaying these calculation values as in the first embodiment.
[実施例3]
本実施例では特定部位の名称を用いて領域指定を行う例を述べる。
[Example 3]
In this embodiment, an example in which an area is specified using the name of a specific part will be described.
これまでは領域を画像表示部201内の位置座標によって指定する例を述べたが、特定部位の名称を用いて領域指定を行う方が便利な場合もある。
The example in which the area is designated by the position coordinates in the
図6では「視神経線維層」と指定した場合(601a)、「色素上皮層」として指定した場合(601b)を示す。通常OCT画像を用いて病変の診断を行う場合、このように特定の部位の変化に着目することが多いので、位置座標ではなく特定部位の名称を用いて指定できた方が簡便である。 FIG. 6 shows a case where “optic nerve fiber layer” is designated (601a) and a case where “pigment epithelial layer” is designated (601b). Usually, when diagnosing a lesion using an OCT image, attention is often paid to a change in a specific part as described above. Therefore, it is easier to specify using the name of the specific part instead of the position coordinates.
あらかじめ画像データから各層の境界を算出する処理(セグメンテーション)をかけておくことで、各層が分離できる。被検査物120が人眼網膜の場合、「神経線維層」、「外顆粒層」、「内顆粒層」、「色素上皮層」などの選択肢を選べるようにしておき、セグメンテーション結果と対応させたテーブルをパーソナルコンピュータの記憶領域内に保存する処理を行う。特定部位が選択されたら、このテーブルを参照して、領域を指定することができる。
Each layer can be separated by applying a process (segmentation) for calculating the boundary of each layer from image data in advance. When the
この方法によれば、撮像者が着目した領域を簡便に選択することができる。 According to this method, it is possible to easily select an area focused by the photographer.
[実施例4]
本実施例では判断結果の出力を用いて装置を制御する場合を述べる。
これまでの実施例では判断結果を判断結果表示部206に表示するのみであった。判断結果および計算指標の計算値を用いれば、着目した領域の画質が良好な場合に限り自動的に画像データを取得し保存するように制御することが簡便にできる。
[Example 4]
In this embodiment, a case will be described in which the apparatus is controlled using the output of the determination result.
In the embodiments so far, only the determination result is displayed on the determination
図1に示すように、信号処理装置111から電動ステージ制御装置115に判断結果を送信する。電動ステージ制御装置115は、判断結果によって電動ステージ113、114を動作させる。
As shown in FIG. 1, the determination result is transmitted from the signal processing device 111 to the electric
図6のように領域を「視神経線維層」と指定し(601a)、計算指標を「最大値」、判断基準を200〜255とする。電動ステージ制御装置115から電動ステージ113を制御し初期位置を0mmとして、−5mmから+5mmまで0.2mmステップ動かしながら撮像を行う。このとき各ステップで得られた画像データを、図3の手順に従い判定を行い、判断結果と画像データを対応させて信号処理装置(パーソナルコンピュータ)111内の記憶領域に保存しておく。すべて撮像が終わった後、判断結果が“○”の画像データのみ選別すれば、着目する「視神経線維層」の明瞭な画像が得られる。
As shown in FIG. 6, the region is designated as “optic nerve fiber layer” (601 a), the calculation index is “maximum value”, and the determination criterion is 200 to 255. The electric
なお、上述の例では、すべての画像データを保存して後に選別する方法を述べたが、判断結果が“○”の画像が得られた時点で撮像を終了しても良い。また、先に電動ステージ113の各ステップの判断結果のみを保存し、再度判断結果が“○”になる位置に電動ステージを再び動かして撮像を行うこともできる。
同様に、参照ミラー107の電動ステージ114を制御する方法も可能である。また、ここでは図示しないが、低コヒーレンス光源101として用いるSLD光源の光量、スペクトル形状、偏光状態や、走査光学系104による測定光入射位置を制御対象とすることでも同様の効果が得られる。
In the above-described example, the method of storing all the image data and selecting them later is described. However, the imaging may be terminated when an image with a determination result of “◯” is obtained. It is also possible to store only the determination result of each step of the
Similarly, a method of controlling the
[実施例5]
本実施例では、指定した領域または計算指標に応じて計算指標および判断基準が自動的に選択される場合を述べる。
これまでの実施例では領域の指定と計算指標および判断基準の設定を独立した工程として行っていた(図3)。実施例1において、領域指定表示部202a、202bで2か所の領域が表示された場合、計算指標としてSNRが自動的に選択され、判断基準が40〜60dBとなるように、あらかじめ画像処理ソフトウェアで設定されるようにしておく。そうすると他の指標や判断基準を誤って入力することがなくなる。
ここでは実施例1の変形を述べたが、実施例2や実施例3において、特定の領域や特定の部位に特定の計算指標および判断基準を関連付けることも可能である。
この方法によれば,撮像者の計算指標および判断基準の選択ミスがなくなり,確実な判定を行うことができる。
また、計算指標の指定に応じて判断基準が自動的に選択される場合においても同様の効果が得られる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
[Example 5]
In the present embodiment, a case will be described in which a calculation index and a determination criterion are automatically selected according to a designated region or calculation index.
In the embodiments so far, the designation of the area and the setting of the calculation index and the judgment criterion have been performed as independent processes (FIG. 3). In the first embodiment, when two regions are displayed on the region
Although the modification of the first embodiment has been described here, in the second and third embodiments, a specific calculation index and a determination criterion can be associated with a specific region or a specific part.
According to this method, there is no selection error of the photographer's calculation index and determination criterion, and a reliable determination can be made.
In addition, the same effect can be obtained even when the criterion is automatically selected according to the designation of the calculation index.
(Other examples)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
101…低コヒーレンス光源
103…ビームスプリッタ
120…被検査物
107…参照ミラー
110…検出部
111…信号処理装置
112…表示装置
DESCRIPTION OF SYMBOLS 101 ... Low coherence
Claims (5)
前記画像の中で第1の領域と第2の領域を指定する手段と、
前記画像の画質を判断する計算指標と判断基準を設定する手段と、
前記計算指標に基づいて前記第1の領域と前記第2の領域の輝度値に対して計算処理を行い、その結果得られた計算値が前記判断基準に含まれるか否かを判断し、判断結果を出力する手段を有し、
前記計算値は、前記第1の領域の輝度値の最大値と前記第2の領域の輝度値の標準偏差の比、または前記比に基づいて算出される値であることを特徴とする光断層撮像装置。 A light source that outputs low-coherence light, the low-coherence light is divided into measurement light and reference light, and is synthesized by the return light by the measurement light irradiated on the object to be inspected and the reference light that passes through the reference light path In an optical tomographic imaging apparatus, comprising: a means for generating interference light; a means for generating a detection signal by detecting the interference light; and a means for forming an image of the inspection object based on the detection signal.
Means for designating a first region and a second region in the image;
Means for setting a calculation index and a determination criterion for determining the image quality of the image;
Based on the calculation index, a calculation process is performed on the luminance values of the first area and the second area, and it is determined whether or not the calculated value obtained as a result is included in the determination criterion. have a means for outputting a result,
The calculated value, light and the maximum value and the ratio of the standard deviation of luminance values of said second region of the luminance value of the first region or said value der Rukoto calculated based on the ratio, Tomographic imaging device.
前記画像の中で第1の領域と第2の領域を指定する工程と、
前記画像の画質を判断する計算指標と判断基準を設定する工程と、
前記計算指標に基づいて前記第1の領域と前記第2の領域の輝度値に対して計算処理を行い、その結果得られた計算値が前記判断基準に含まれるか否かを判断し、判断結果を出力する工程を有し、
前記計算値は、前記第1の領域の輝度値の最大値と前記第2の領域の輝度値の標準偏差の比、または前記比に基づいて算出される値であることを特徴とする光断層撮像装置の制御方法。 A light source that outputs low-coherence light, the low-coherence light is divided into measurement light and reference light, and is synthesized by the return light by the measurement light irradiated on the object to be inspected and the reference light that passes through the reference light path Optical tomography having means for generating the interference light, means for detecting the generated interference light to generate a detection signal, and means for forming an image of the inspection object based on the generated detection signal In the control method of the optical tomography apparatus in the apparatus ,
Designating a first region and a second region in the image;
Setting a calculation index and a determination criterion for determining the image quality of the image;
Based on the calculation index, a calculation process is performed on the luminance values of the first area and the second area, and it is determined whether or not the calculated value obtained as a result is included in the determination criterion. It has a step of outputting a result,
The calculated value, light and the maximum value and the ratio of the standard deviation of luminance values of said second region of the luminance value of the first region or said value der Rukoto calculated based on the ratio, A method for controlling a tomographic imaging apparatus .
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011058979A JP5801577B2 (en) | 2010-03-25 | 2011-03-17 | Optical tomographic imaging apparatus and control method for optical tomographic imaging apparatus |
PCT/JP2011/057505 WO2011118826A1 (en) | 2010-03-25 | 2011-03-18 | Optical tomographic imaging apparatus |
EP11713097.1A EP2550640B1 (en) | 2010-03-25 | 2011-03-18 | Optical tomographic imaging apparatus |
CN201180015879.1A CN102822866B (en) | 2010-03-25 | 2011-03-18 | Optical fault picture pick-up device |
KR1020127027063A KR101423855B1 (en) | 2010-03-25 | 2011-03-18 | Optical tomographic imaging apparatus |
US13/575,730 US9299134B2 (en) | 2010-03-25 | 2011-03-18 | Optical tomographic imaging apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010070029 | 2010-03-25 | ||
JP2010070029 | 2010-03-25 | ||
JP2011058979A JP5801577B2 (en) | 2010-03-25 | 2011-03-17 | Optical tomographic imaging apparatus and control method for optical tomographic imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011218155A JP2011218155A (en) | 2011-11-04 |
JP5801577B2 true JP5801577B2 (en) | 2015-10-28 |
Family
ID=43927986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011058979A Expired - Fee Related JP5801577B2 (en) | 2010-03-25 | 2011-03-17 | Optical tomographic imaging apparatus and control method for optical tomographic imaging apparatus |
Country Status (6)
Country | Link |
---|---|
US (1) | US9299134B2 (en) |
EP (1) | EP2550640B1 (en) |
JP (1) | JP5801577B2 (en) |
KR (1) | KR101423855B1 (en) |
CN (1) | CN102822866B (en) |
WO (1) | WO2011118826A1 (en) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4842175B2 (en) * | 2007-03-07 | 2011-12-21 | 東京エレクトロン株式会社 | Temperature measuring apparatus and temperature measuring method |
JP5930620B2 (en) * | 2011-06-28 | 2016-06-08 | キヤノン株式会社 | Optical coherence tomography apparatus and method |
JP6023406B2 (en) * | 2011-06-29 | 2016-11-09 | キヤノン株式会社 | Ophthalmic apparatus, evaluation method, and program for executing the method |
JP5374598B2 (en) * | 2012-01-26 | 2013-12-25 | キヤノン株式会社 | Optical tomography system |
JP6227337B2 (en) | 2013-01-24 | 2017-11-08 | 株式会社日立エルジーデータストレージ | Optical measuring device |
KR101438748B1 (en) * | 2013-02-13 | 2014-09-05 | 고려대학교 산학협력단 | Optical coherence tomography device and tomography method thereof |
WO2014203901A1 (en) * | 2013-06-19 | 2014-12-24 | 株式会社トプコン | Ophthalmological imaging device and ophthalmological image display device |
JP6186215B2 (en) | 2013-09-04 | 2017-08-23 | 株式会社日立エルジーデータストレージ | Optical measuring device and optical tomographic observation method |
JP6188521B2 (en) | 2013-10-02 | 2017-08-30 | 株式会社日立エルジーデータストレージ | Optical measuring device |
JP6324709B2 (en) | 2013-11-27 | 2018-05-16 | 株式会社日立ハイテクノロジーズ | Optical measuring device and optical measuring method |
FR3015659B1 (en) * | 2013-12-20 | 2016-01-29 | Centre Nat Rech Scient | APPARATUS AND METHOD FOR OPTICAL TOMOGRAPHY |
JP6653174B2 (en) * | 2013-12-25 | 2020-02-26 | 興和株式会社 | Tomographic imaging system |
JP6227449B2 (en) | 2014-03-14 | 2017-11-08 | 株式会社日立エルジーデータストレージ | Optical tomograph |
JP2017512627A (en) * | 2014-04-07 | 2017-05-25 | ミーモ アクチエンゲゼルシャフトMimo AG | Method for analyzing image data representing a three-dimensional volume of biological tissue |
KR101609365B1 (en) * | 2014-05-27 | 2016-04-21 | 주식회사 고영테크놀러지 | Removable optical coherence tomography apparatus |
JP6231958B2 (en) | 2014-08-20 | 2017-11-15 | 株式会社日立エルジーデータストレージ | Optical image measuring device |
US10048197B2 (en) * | 2015-04-28 | 2018-08-14 | Taiwan Biophotonic Corporation | Optical measurement device and optical measurement method |
JP6523871B2 (en) | 2015-08-26 | 2019-06-05 | 株式会社日立エルジーデータストレージ | Optical measurement device |
US10653310B2 (en) | 2017-02-28 | 2020-05-19 | Canon Kabushiki Kaisha | Imaging apparatus, control method for an imaging apparatus, and program |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08147477A (en) * | 1994-09-20 | 1996-06-07 | Fujitsu Ltd | Local area image tracking device |
US7110604B2 (en) * | 2001-06-26 | 2006-09-19 | Anoto Ab | Processing of digital images |
JP4776122B2 (en) * | 2001-09-27 | 2011-09-21 | 興和株式会社 | Fundus photographing device |
JP2004001260A (en) | 2002-05-31 | 2004-01-08 | Ricoh Co Ltd | Imaging apparatus |
US7840247B2 (en) * | 2002-09-16 | 2010-11-23 | Imatx, Inc. | Methods of predicting musculoskeletal disease |
US20050053309A1 (en) * | 2003-08-22 | 2005-03-10 | Szczuka Steven J. | Image processors and methods of image processing |
JP4363953B2 (en) | 2003-10-23 | 2009-11-11 | 大日本印刷株式会社 | Optical characteristic non-uniformity measuring method and apparatus, and product quality judgment method and apparatus using the same |
AU2004320269B2 (en) | 2004-05-29 | 2011-07-21 | The General Hospital Corporation | Process, system and software arrangement for a chromatic dispersion compensation using reflective layers in optical coherence tomography (OCT) imaging |
DE112004003014T5 (en) * | 2004-11-15 | 2008-01-03 | Kabushiki Kaisha Morita Tokyo Seisakusho | Optical dental diagnostic device |
US8154612B2 (en) * | 2005-08-18 | 2012-04-10 | Qualcomm Incorporated | Systems, methods, and apparatus for image processing, for color classification, and for skin color detection |
EP1943624A2 (en) * | 2005-08-31 | 2008-07-16 | GE Healthcare Limited | Method and system of multivariate analysis on slice-wise data of reference structure normalized images for improved quality in positron emission tomography studies |
US7813564B2 (en) * | 2007-03-30 | 2010-10-12 | Eastman Kodak Company | Method for controlling the amount of compressed data |
JP5117787B2 (en) * | 2007-08-13 | 2013-01-16 | 株式会社トプコン | Optical image measuring device |
US20100049549A1 (en) * | 2008-08-22 | 2010-02-25 | Nelms Benjamin E | Patient-customized medical treatment education system and methods |
JP2010070029A (en) | 2008-09-18 | 2010-04-02 | Toyoda Gosei Co Ltd | Cutoff valve |
US20100142767A1 (en) * | 2008-12-04 | 2010-06-10 | Alan Duncan Fleming | Image Analysis |
JP5649286B2 (en) | 2008-12-26 | 2015-01-07 | キヤノン株式会社 | Optical tomographic imaging apparatus, imaging apparatus for taking image of inspection object, control method of optical tomographic imaging apparatus, and computer program therefor |
CN102428495B (en) * | 2009-05-05 | 2014-09-24 | 皇家飞利浦电子股份有限公司 | Automatic assessment of confidence in imaging data |
JP5725697B2 (en) | 2009-05-11 | 2015-05-27 | キヤノン株式会社 | Information processing apparatus and information processing method |
JP5455515B2 (en) | 2009-09-10 | 2014-03-26 | 株式会社ショーワ | Electric power steering device, control method and program for electric power steering device |
US8559692B2 (en) * | 2010-06-08 | 2013-10-15 | Zakrytoe akcionernoe obshchestvo “Impul's” | Method for correction of digital images |
-
2011
- 2011-03-17 JP JP2011058979A patent/JP5801577B2/en not_active Expired - Fee Related
- 2011-03-18 US US13/575,730 patent/US9299134B2/en not_active Expired - Fee Related
- 2011-03-18 CN CN201180015879.1A patent/CN102822866B/en not_active Expired - Fee Related
- 2011-03-18 KR KR1020127027063A patent/KR101423855B1/en active IP Right Grant
- 2011-03-18 EP EP11713097.1A patent/EP2550640B1/en active Active
- 2011-03-18 WO PCT/JP2011/057505 patent/WO2011118826A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
KR20120135422A (en) | 2012-12-13 |
WO2011118826A1 (en) | 2011-09-29 |
CN102822866B (en) | 2016-01-06 |
KR101423855B1 (en) | 2014-07-25 |
CN102822866A (en) | 2012-12-12 |
EP2550640A1 (en) | 2013-01-30 |
JP2011218155A (en) | 2011-11-04 |
EP2550640B1 (en) | 2020-05-13 |
US9299134B2 (en) | 2016-03-29 |
US20120300217A1 (en) | 2012-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5801577B2 (en) | Optical tomographic imaging apparatus and control method for optical tomographic imaging apparatus | |
US11058293B2 (en) | Image processing apparatus, ophthalmologic imaging apparatus, image processing method, and storage medium | |
EP1961374B1 (en) | Fundus oculi observation device and fundus oculi image processing device | |
US8651662B2 (en) | Optical tomographic imaging apparatus and imaging method for optical tomographic image | |
US9330299B2 (en) | Fundus image acquiring apparatus and control method therefor | |
JP6023406B2 (en) | Ophthalmic apparatus, evaluation method, and program for executing the method | |
EP2620097A1 (en) | Optical tomographic apparatus and control method thereof | |
CN103961061B (en) | Optical tomographic imaging apparatus and control method thereof | |
US9901249B2 (en) | Tomographic image processing apparatus, tomographic image processing method and program | |
WO2017033669A1 (en) | Blood flow measurement device | |
WO2017069019A1 (en) | Blood flow measurement device | |
JP2017202369A (en) | Ophthalmologic image processing device | |
JP6469436B2 (en) | Blood flow measuring device | |
WO2020138224A1 (en) | Blood flow measurement device, control method therefor, program, and recording medium | |
JP6881934B2 (en) | Image generator and image generation method | |
JP6624890B2 (en) | Ophthalmic imaging apparatus, control method therefor, and program | |
JP6453191B2 (en) | Blood flow measuring device | |
JP2022544660A (en) | Method and apparatus for retinal imaging by optical coherence tomography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20120730 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20120731 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120831 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20130701 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150730 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150827 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5801577 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |