JP5624265B2 - Image display device, program, and image display system - Google Patents
Image display device, program, and image display system Download PDFInfo
- Publication number
- JP5624265B2 JP5624265B2 JP2008146026A JP2008146026A JP5624265B2 JP 5624265 B2 JP5624265 B2 JP 5624265B2 JP 2008146026 A JP2008146026 A JP 2008146026A JP 2008146026 A JP2008146026 A JP 2008146026A JP 5624265 B2 JP5624265 B2 JP 5624265B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- display
- fluoroscopic
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 32
- 230000033001 locomotion Effects 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 15
- 230000000747 cardiac effect Effects 0.000 description 11
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 210000004204 blood vessel Anatomy 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010069729 Collateral circulation Diseases 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Engineering & Computer Science (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
Description
本発明は、X線診断装置などにより連続的に収集された周期的に運動する部位に関する複数の透過画像を表示する画像表示装置、プログラム及び画像表示システムに関する。 The present invention relates to an image display device, a program, and an image display system for displaying a plurality of transmission images related to a periodically moving part continuously collected by an X-ray diagnostic apparatus or the like.
心臓冠状動脈インターベンションでは、医師は、事前の血管造影検査などで得られた対象部位の静止画像(以下、参照画像と称する。)を参照しながら、リアルタイムで得られる透視画像によりガイドワイヤの位置を確認して操作を行う。しかし、透視画像上のガイドワイヤは、心拍により動いて表示されるため、ガイドワイヤと参照画像上での血管との位置関係を把握しづらいという問題がある。 In cardiac coronary intervention, a doctor refers to a still image (hereinafter referred to as a reference image) of a target site obtained by a prior angiography examination and the position of a guide wire by a fluoroscopic image obtained in real time. Confirm the operation. However, since the guide wire on the fluoroscopic image is displayed by moving with the heartbeat, there is a problem that it is difficult to grasp the positional relationship between the guide wire and the blood vessel on the reference image.
なお、本願に関連する公知文献としては、例えば次のようなものがある。
上述したように、心臓などの周期的に運動する部位に対してデバイスの操作を行う際に、リアルタイムで表示される透視画像上では心拍などによってデバイスが動いて表示されるため、デバイスの正確な位置などを把握しづらいという問題がある。 As described above, when a device is operated on a periodically moving part such as the heart, the device moves and is displayed by a heartbeat on a fluoroscopic image displayed in real time. There is a problem that it is difficult to grasp the position.
本発明は、上記事情を鑑みてなされたもので、周期的に運動する部位について正確な施術位置を容易に把握できるようにする画像表示装置、プログラム及び画像表示システムを提供することを目的としている。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image display device, a program, and an image display system that make it possible to easily grasp an accurate treatment position with respect to a periodically moving part. .
本発明は、上記目的を達成するため、次のような手段を講じている。
本発明の第1の態様は、連続的に収集された、周期的に運動する部位を含む領域に関する複数の透視画像を記憶する記憶部と、前記複数の透視画像から前記周期内での位相が特定の位相と略同一の複数の画像を抽出する抽出部と、前記収集された透視画像のリアルタイム表示と、前記抽出された複数の画像を収集時の時間間隔に応じて切り替えて表示する参照画像更新表示とを並列表示することにより、それぞれ略同一時刻に得られた画像である、前記透視画像と前記特定の位相にて抽出された画像から一部領域を切り出した画像とを同時に表示する表示部とを具備する画像表示装置を提供する。
In order to achieve the above object, the present invention takes the following measures.
According to a first aspect of the present invention, a storage unit that stores a plurality of fluoroscopic images related to a region including a part that is periodically collected and that is periodically collected, and a phase within the cycle from the plurality of fluoroscopic images are stored. An extraction unit that extracts a plurality of images substantially the same as a specific phase, a real-time display of the collected fluoroscopic images, and a reference image that switches and displays the plurality of extracted images according to a time interval at the time of collection Display that simultaneously displays the fluoroscopic image and an image obtained by extracting a partial region from the image extracted at the specific phase, which are images obtained at substantially the same time, by displaying the update display in parallel. An image display device comprising a unit is provided.
また、本発明の第2の態様は、コンピュータに、連続的に収集された、周期的に運動する部位を含む領域に関する複数の透視画像を記憶する処理と、前記複数の透視画像から前記周期内での位相が特定の位相と略同一の複数の画像を抽出する処理と、前記収集された透視画像のリアルタイム表示と、前記抽出された複数の画像を収集時の時間間隔に応じて切り替えて表示することにより、それぞれ略同一時刻に得られた画像である、前記透視画像と前記特定の位相にて抽出された画像から一部領域を切り出した画像とを同時に表示する参照画像更新表示とを並列表示する処理とを実行させる画像表示プログラムを提供する。
Further, according to a second aspect of the present invention, a process of storing a plurality of fluoroscopic images regarding a region including a periodically moving region, which is continuously collected, in the computer, and the period from the plurality of fluoroscopic images. Processing for extracting a plurality of images whose phase at the phase is substantially the same as a specific phase , real-time display of the collected fluoroscopic images, and switching and displaying the plurality of extracted images according to a time interval at the time of collection In parallel, the fluoroscopic image, which is an image obtained at approximately the same time, and a reference image update display for simultaneously displaying an image obtained by extracting a partial region from the image extracted at the specific phase are displayed in parallel. An image display program for executing a display process is provided.
また、本発明の第3の態様は、周期的に運動する部位を含む領域に関する複数の透視画像を連続的に収集する収集部と、前記部位の運動周期を検知する検知部と、前記複数の透視画像から前記運動周期内での位相が特定の位相と略同一の複数の画像を抽出する抽出部と、前記収集された透視画像のリアルタイム表示と、前記抽出された複数の画像を収集時の時間間隔に応じて切り替えて表示することにより、それぞれ略同一時刻に得られた画像である、前記透視画像と前記特定の位相にて抽出された画像から一部領域を切り出した画像とを同時に表示する参照画像更新表示とを並列表示する表示部とを具備する画像表示システムを提供する。 Further, the third aspect of the present invention includes a collection unit that continuously collects a plurality of fluoroscopic images related to a region including a region that moves periodically, a detection unit that detects a movement cycle of the region, An extraction unit that extracts a plurality of images having a phase within the motion period substantially the same as a specific phase from a fluoroscopic image, a real-time display of the collected fluoroscopic image, and a plurality of the extracted images at the time of collecting By switching and displaying according to the time interval, the fluoroscopic image and an image obtained by cutting out a partial area from the image extracted at the specific phase are displayed at the same time. Provided is an image display system including a display unit that displays a reference image update display in parallel.
以上本発明によれば、周期的に運動する部位について正確な施術位置を容易に把握できるようにする画像表示装置、プログラム及び画像表示システムを提供することができる。 As described above, according to the present invention, it is possible to provide an image display device, a program, and an image display system that make it possible to easily grasp an accurate treatment position for a periodically moving part.
以下、本発明の実施の形態について、本発明に係る画像表示装置がX線診断装置に適用された場合を例に挙げて、図面を参照しながら詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings, taking as an example the case where an image display apparatus according to the present invention is applied to an X-ray diagnostic apparatus.
図1に示すように、X線診断装置は、Cアーム装置5を有する。Cアーム装置5は、Cアーム16と、Cアーム16を直交3軸に関して回転自在に支持する床置き又は天井吊り支持機構と、回転駆動源とを有する。Cアーム16の一端にはX線管1が取り付けられる。X線制御部4は、システム制御部9の制御に従って、X線管1からX線を発生するために、X線管1の電極間に管電圧を印加し、またX線管1の陰極フィラメントに加熱電流を供給する。Cアーム16の他端にはX線検出器2が取り付けられる。X線管1とX線検出器2とは寝台3上の被検体Pを挟んで対向する。X線検出器2は、例えばイメージインテンシファイアとTVカメラとの組み合わせから構成される。または、X線検出器2は、マトリクス状に配列された半導体検出素子を有するフラットパネルディテクタ(FPD:平面型X線検出器)で構成される。Cアーム移動制御部6は、システム制御部9の制御に従って、Cアーム16を回転するためにその駆動源に電力を供給する。また寝台移動機構7は、システム制御部9の制御に従って、寝台3を移動するためにその駆動源に電力を供給する。
As shown in FIG. 1, the X-ray diagnostic apparatus has a C-
本X線診断装置では、被検体Pを計測して心電図を発生するために心電計10が装備される。画像データ記憶部11は、X線検出器2で発生された複数の透過画像に関するデータを、心電図からシステム制御部9により取得される心位相のデータを関連付けて記憶する。なお、心位相とは、心電図のR波から次のR波までの期間内の各時点を規定する尺度として定義され、典型的には、R波から次のR波までの期間を100%に規格化し、当該期間内の各時点をパーセントの単位で表記する。
In the present X-ray diagnostic apparatus, an
複数の投影画像は、動画を構成し、例えば20フレーム/秒、つまり1秒あたり20枚を撮影する速度で、複数の心拍周期、好ましくは少なくとも3心拍周期にわたって継続的に撮影される。複数の投影画像の撮影と並行して心電図が計測され、システム制御部9で特定された心位相(%)のデータとともに複数の投影画像のデータが、画像データ記憶部11に記憶される。また、画像データ記憶部11には、事前の血管造影検査などで得られた対象部位の静止画像が記憶される。この記憶された血管造影画像は、医師が施術の際に血管位置等を確認するために参照する参照画像として用いられる。
The plurality of projection images constitute a moving image, and are continuously captured over a plurality of heartbeat cycles, preferably at least three heartbeat cycles, at a speed of shooting 20 frames / second, that is, 20 frames per second. The electrocardiogram is measured in parallel with the photographing of the plurality of projection images, and the data of the plurality of projection images is stored in the image
操作部8は、ユーザからの各種指令をシステム制御部9に伝達するために設けられ、キーボード、マウス等の各種入力デバイスを有する。モニタ15およびモニタ16は、CRT(cathode-ray tube)や液晶ディスプレイ(LCD:Liquid Crystal Display)等で構成される。例えば、モニタ15には、リアルタイムに収集される透視画像が動画表示され、モニタ16には、血管造影画像等の対象部位が鮮明に表された参照画像が表示され、施術中に医師が対象部位を観察できるように両モニタが並んで配置される。
The
例えば、心臓冠状動脈インターベンションでは、医師は、モニタ15およびモニタ16により、リアルタイムで収集される透視画像と参照画像とを観察しながら、ガイドワイヤの位置を確認して操作を行う。しかしながら、透視画像上のガイドワイヤは、心拍により動いて表示されるため、ガイドワイヤと参照画像上での血管との位置関係を把握しづらいという問題があった。
For example, in cardiac coronary intervention, a doctor confirms the position of the guide wire and performs an operation while observing a fluoroscopic image and a reference image collected in real time on the
そこで、本実施形態では、心拍の影響を受けずに血管とガイドワイヤとの位置関係を容易に把握できるような表示を実現するために、表示画像抽出部12、画像処理部13、および表示制御部14を設ける。表示画像抽出部12は、連続的に収集された複数の透過画像から周期内での位相が略同一の複数の画像を抽出する。表示制御部14は、上記抽出された複数の画像を収集時の時間間隔に応じて(通常速度、倍速などで)切り替えてモニタ16に表示する。また、画像処理部13は、必要に応じて、表示画像抽出部12で抽出された画像に対して特有の画像処理を行う。
Therefore, in the present embodiment, in order to realize a display that can easily grasp the positional relationship between the blood vessel and the guide wire without being affected by the heartbeat, the display
以下、本実施形態により実現される画像表示について、表示画像抽出部12、画像処理部13、および表示制御部14の具体的な処理内容を各実施例にしたがって説明する。
Hereinafter, specific processing contents of the display
(実施例1)
実施例1は、心電図信号をもとに参照画像と同位相の画像を1心拍(1周期)毎に1画像(1フレーム)を抽出して、リアルタイムで収集される透視画像と時刻同期させて、参照画像に重ね合わせて1周期に1回切り替えて表示するものである。
Example 1
In the first embodiment, one image (one frame) is extracted every one heartbeat (one cycle) from the image in phase with the reference image based on the electrocardiogram signal, and time-synchronized with a fluoroscopic image collected in real time. The image is superimposed on the reference image and displayed once in one cycle.
図2は、実施例1における画像表示処理の手順を示した図である。
操作部8においてオペレータにより透視のX線発生操作が行われると、システム制御部9は、表示制御部14に透視画像のリアルタイム表示を指示する。この指示を受けて、表示制御部14は、X線検出器2により発生された透視画像のデータを用いて、モニタ15にリアルタイムの透視画像を表示する。
FIG. 2 is a diagram illustrating a procedure of image display processing in the first embodiment.
When a fluoroscopic X-ray generation operation is performed by the operator in the
また、システム制御部9は、操作部8においてオペレータにより行われる血管造影画像の中からの参照画像の選択を受け付ける(ステップS201)。表示画像抽出部12は、心電図信号をもとに、上記選択された参照画像と同位相の画像を1周期に1画像抽出する(ステップS202)。表示制御部14は、表示画像抽出部12で抽出された画像を収集時の時間間隔に従って1周期に1回切り替えて、モニタ16上に参照画像に重ね合わせて表示する(ステップS203)。
Further, the
すなわち、モニタ16には、モニタ15にリアルタイム表示される透視画像と時刻同期して、参照画像に重ね合わせて参照画像と同位相の透視画像が1周期に1回更新して表示される。このようにすることで、周期的な動きの影響が少なくなり、参照画像上でデバイスと血管との位置関係を容易に把握できるようになる。
That is, on the
(実施例1の変形例1)
上記実施例1では、オペレータにより選択された1枚の血管造影画像を参照画像としこの画像に重ね合わせて表示したが、図3に示すように、参照画像と同位相の画像を抽出して最小値トレースした画像に重ね合わせて表示することもできる。この場合、画像データ記憶部11には数心拍分の血管造影画像を予め記憶しておく。
(
In the first embodiment, one angiographic image selected by the operator is used as a reference image and displayed superimposed on this image. However, as shown in FIG. 3, an image having the same phase as the reference image is extracted and minimized. It can also be displayed superimposed on the value traced image. In this case, angiographic images for several heartbeats are stored in advance in the image
具体的には、図4に示すように、ステップS201とステップS202の間に、後述のステップS401〜S403の処理を追加する。操作部8で参照画像が選択されると、最小値トレース処理を行うか否かをオペレータに選択させる(ステップS401)。最小値トレース処理を行うと選択されると、選択された参照画像と同位相の画像を少なくとも1枚抽出し(ステップS402)、これらの画像を用いて最小値トレース画像を作成する(ステップS403)。表示制御部14は、作成された最小値トレース画像に重ね合わせて、表示画像抽出部12で抽出された画像を収集時の時間間隔に従って1周期に1回切り替えて表示する。これは、例えば、Slow Flowがあったり、側副血行路があったり、対側造影の際に、最適なフレームが選択できない場合に効果がある。
Specifically, as shown in FIG. 4, processing in steps S401 to S403 described later is added between step S201 and step S202. When the reference image is selected by the
(実施例1の変形例2)
上記実施例1では、表示画像抽出部12で抽出された画像を参照画像に通常の重ね合わせた処理で表示したが、図5に示すように、表示画像抽出部12で抽出された画像と参照画像とを差分処理した画像を表示することもできる。
(
In the first embodiment, the image extracted by the display
例えば、図6に示すように、図2のステップS203の代わりに以下のように処理する。差分処理設定がオンの場合は(ステップS601:オン)、画像処理部13において、表示画像抽出部12により周期毎に抽出された画像と参照画像とを差分処理し、表示制御部14は、この差分処理された画像をモニタ16に表示するようにする(ステップS602)。なお、差分処理設定がオフの場合は(ステップS601:オフ)、表示制御部14は、上記実施例1と同様に通常の重ね合わせ処理した画像をモニタ16に表示する(ステップS603)。このようにすることで、ガイドワイヤと血管との位置関係をさらに明確に表示できる場合がある。
For example, as shown in FIG. 6, the following processing is performed instead of step S203 of FIG. When the difference processing setting is ON (step S601: ON), the
(実施例1の変形例3)
また、上記実施例1では、動きは心拍のみとしているが、実際には呼吸や体動による動きも含まれることが多い。このような影響を少なくするために、図7に示すように、抽出された透視画像と参照画像との重ね合わせ処理の際に動き補正を行ってもよい。
(
In the first embodiment, only the heartbeat is used as the movement, but actually, movement by breathing or body movement is often included. In order to reduce such influence, as shown in FIG. 7, motion correction may be performed at the time of superimposing the extracted perspective image and the reference image.
図8に、この変形例3の処理手順を示す。図8では、図2のステップS203の代わりに以下のように処理する。動き補正処理を行う設定がオンの場合は(ステップS801:オン)、画像処理部13において、表示画像抽出部12により周期毎に抽出された画像と参照画像との間の動き補正をした後に(ステップS802)、表示制御部14は、両画像とを重ね合わせてモニタ16に表示する(ステップS803)。なお、動き補正には、例えば、横隔膜やガイドカテーテルを基準に用いる。また、動き補正の設定がオフの場合は(ステップS801:オフ)、表示制御部14は、上記実施例1と同様に通常の重ね合わせ処理した画像をモニタ16に表示する(ステップS804)。このようにすることで、抽出された透視画像と参照画像とが正確に重ね合せて表示されるため、ガイドワイヤ等のデバイスと血管との位置関係をさらに正確に把握できるようになる。
FIG. 8 shows a processing procedure of the third modification. In FIG. 8, the following processing is performed instead of step S203 of FIG. When the setting for performing the motion correction process is on (step S801: on), the
(実施例2)
心臓環状動脈インターベンションでは、透視下でステントを留置する操作を行うことがある。この際にも、透視画像上のステントは、心拍によって動くので位置を把握しづらいという問題がある。そこで、実施例2は、図9に示すように、周期毎に位相が略同一の画像を1枚抽出し、さらに抽出した画像の一部領域を切り出して、リアルタイムで収集される透視画像と時刻同期させて表示する。さらに、切り出した一部領域の画像に対して、特有の画像処理を施して表示する。特有の処理とは、例えば、背景差分、ヒストグラム伸張、ハイパスフィルタ(High Pass Filter)、WW/WL、拡大/縮小、最小値/最大値トレースなどである。
(Example 2)
In cardiac annular artery intervention, an operation of placing a stent under fluoroscopy may be performed. Also in this case, the stent on the fluoroscopic image has a problem that it is difficult to grasp the position because it moves according to the heartbeat. Therefore, in the second embodiment, as shown in FIG. 9, one image having substantially the same phase is extracted for each period, a partial region of the extracted image is cut out, and a fluoroscopic image and time collected in real time are extracted. Display in sync. Further, the image of the cut out partial area is subjected to specific image processing and displayed. Specific processing includes, for example, background difference, histogram expansion, high pass filter, WW / WL, enlargement / reduction, minimum value / maximum value trace, and the like.
図10は、実施例2における画像表示処理の手順を示す図である。なお、装置構成は、上記図1と同一であるため、図1を用いて説明を行う。
操作部8においてオペレータにより透視のX線発生操作が行われると、システム制御部9は、表示制御部14に透視画像のリアルタイム表示を指示する。この指示を受けて、表示制御部14は、X線検出器2を介して収集された透視画像のデータを用いて、モニタ15にリアルタイムの透視画像を表示する。
FIG. 10 is a diagram illustrating a procedure of image display processing according to the second embodiment. The apparatus configuration is the same as that shown in FIG. 1, and will be described with reference to FIG.
When a fluoroscopic X-ray generation operation is performed by the operator in the
また、システム制御部9は、操作部8において表示対象の位相および一部領域の指定を受け付ける(ステップS1001)。表示画像抽出部12は、心電図信号をもとに、上記指定された位相の画像を1周期に1画像抽出し(ステップS1002)、抽出された画像から指定された一部領域を切り出して画像処理部13に供給する(ステップS1003)。画像処理部13は、供給された一部領域の画像に対して所定の特有の画像処理を行う(ステップS1004)。表示制御部14は、モニタ16に、画像処理後の画像を収集時の時間間隔に従って1周期に1回切り替えて表示する(ステップS1005)。
In addition, the
このようにすることで、モニタ16には、モニタ15にリアルタイム表示される透視画像と時刻同期して、透視画像の一部領域が拡大等された画像が1周期に1回更新して表示される。これにより、心拍による動きの影響をほとんど受けずにステントの現在位置を表示することが可能となり、一部領域画像にはステントがほぼ止まって見えるようになる。
In this way, on the
また、通常収集される透視画像は、観察したい部分より広い面積をカバーしている。このため、この透視画像を黒過ぎず、白過ぎずに最適に表示するためには、広い濃度値がすべて適切に表示されるように輝度調整する必要がある。よって観察したい部分の濃度値が見やすい濃度値となっているとは限らない。一方、観察したい部分のみを切り出した場合は、画像全体と比べて狭い濃度値範囲に分布するため、その範囲のみに適した輝度調整をすることにより、観察したい部分をより見やすく表示することが可能となる。つまり、一部領域に特化した画像処理をすることにより、画像全体を最適化した画像よりも見やすい画像ができる。 Further, the normally collected fluoroscopic images cover a larger area than the portion to be observed. For this reason, in order to optimally display the fluoroscopic image without being too black or white, it is necessary to adjust the luminance so that all of the wide density values are appropriately displayed. Therefore, the density value of the portion to be observed is not always an easy-to-see density value. On the other hand, if only the part you want to observe is cut out, it will be distributed in a narrow density value range compared to the entire image, so it is possible to display the part you want to observe more easily by adjusting the brightness suitable for only that range It becomes. In other words, by performing image processing specialized for a partial area, an image that is easier to see than an image in which the entire image is optimized can be obtained.
なお、上記実施例2では、画像の一部領域の切り出し方法は、操作部8からオペレータが指定することとしたが、次のように構成することもできる。例えば、動きのある領域を画像から自動検出し、検出された領域を候補領域としてオペレータに提示して、選択された候補領域を切り出し対象の領域とする。また、切り出し対象の領域のサイズ及び位置をプリセットするようにしてもよい。
In the second embodiment, the method for extracting a partial region of the image is designated by the operator from the
また、上記実施例2では、抽出された一部領域の画像についてのみ画像処理部13で特有の画像処理を行ったが、図11Aのようにリアルタイムで表示される透視画像と抽出された一部領域の画像について異なる処理をして表示することもできる。また、図11Bに示すように、元のリアルタイム透視画像に共通の処理Aを行い、さらに抽出された画像にのみ処理Bを行うようにしてもよい。
In the second embodiment, the
また、画像処理部13で行う特有の画像処理の例を図12に示す。図12Aは、背景差分の処理手順を示したもので、過去画像をもとに背景差分した画像を表示する。図12Bは、ヒストグラム伸張の処理手順を示したもので、濃度値の幅を伸張する処理である。図12Cは、ハイパスフィルタ(High Pass Filter)の処理手順を示したもので、基準以上の高周波成分のみを抽出することができる。図12Dは、ウィンドウレベル最適化の処理手順を示したものである。また、周期運動の検知は、心電図信号に基づいて行うようにしたが、元のリアルタイム透視画像から周期性を検知するようにしてもよい。
An example of specific image processing performed by the
(実施例3)
実施例3は、収集された透視画像から周期毎に位相が略同一の画像を抽出し、抽出された画像を上記透視画像と時刻同期させて表示するものである。なお、装置構成は、上記図1と同一であるため、図1を用いて説明を行う。
Example 3
The third embodiment extracts an image having substantially the same phase for each cycle from the collected fluoroscopic images, and displays the extracted images in time synchronization with the fluoroscopic images. The apparatus configuration is the same as that shown in FIG. 1, and will be described with reference to FIG.
図13は、実施例3の画像表示処理を示す図である。操作部8においてオペレータにより透視のX線発生操作が行われると、システム制御部9は、表示制御部14に透視画像のリアルタイム表示を指示する。この指示を受けて、表示制御部14は、X線検出器2X線検出器2を介して収集された透視画像のデータを用いて、モニタ15にリアルタイムの透視画像を表示する。
FIG. 13 is a diagram illustrating image display processing according to the third embodiment. When a fluoroscopic X-ray generation operation is performed by the operator in the
また、システム制御部9は、操作部8において表示する位相の指定を受け付けると、システム制御部9は、指定された位相を表示画像抽出部12に通知する。この通知を受けて、表示画像抽出部12は、心電図信号をもとに、上記指定された位相(例えば、75%の位相:RR75)の画像を1周期に1画像抽出する。表示制御部14は、モニタ16に、画像処理後の画像を収集時の時間間隔に従って1周期に1回切り替えて表示する。
In addition, when the
このようにすることで、モニタ16には、モニタ15にリアルタイム表示される透視画像と時刻同期して、位相75%の画像が1周期に1回更新して表示される。例えば、図13に示したように、モニタ15にリアルタイムの透視画像7が表示される時刻に、モニタ16に抽出された画像7が表示される。また、図14に示すように、抽出される画像の位相は、所定範囲内であればよい。例えば、RR75と指定された場合でも、表示画像抽出部12は、RR65からRR85までの間で画像を抽出すればよい。
By doing in this way, an image with a phase of 75% is updated and displayed once per cycle in synchronization with the fluoroscopic image displayed on the
また、リアルタイムの透視画像と抽出された1心拍1枚の画像との同期表示についてのバリエーションを図15に示す。図15Aは、本実施例3のように、別々のモニタに表示して時刻同期をさせたものである。この場合、表示制御部14は、2つのモニタで同期表示させるための制御機能を有する。図15Bは、1つのモニタに複数のウィンドウを表示してリアルタイムの透視画像と抽出された1心拍1枚の画像とを時刻同期させて表示させたものである。また、図15Cでは、図15Bのように、1つのモニタに複数のウィンドウを表示してリアルタイムの透視画像と抽出された1心拍1枚の画像とを時刻同期させ、さらに、X線被爆の低減のために、抽出された1心拍1枚の画像の表示領域には自動的にX線遮蔽装置を挿入するようにする。また、抽出された1心拍1枚の画像の一部領域を拡大表示したり、一部領域をリアルタイムの透視画像上に枠で表示することもできる。
Further, FIG. 15 shows a variation of the synchronous display of the real-time fluoroscopic image and the extracted one image of one heartbeat. FIG. 15A shows a case where time synchronization is performed by displaying on separate monitors as in the third embodiment. In this case, the
また、操作部8における位相を指定するためのインタフェースの一例を図16に示す。図16Aは、オペレータがバーを左右に動かすことによって位相を指定するものである。図16Bは、オペレータがキーボード等により数値を入力するものである。図16Cは、オペレータが一部領域を選択した際に用いた画像の心位相を用いるものである。なお、位相は、上記述べたように心電図のRR間隔内の割合「%」で指定する手法のほか、R波からの絶対時間「秒」で指定する手法を用いることができる。
An example of an interface for designating a phase in the
また、図17に、画像処理部13で行われる特有の処理のバリエーションを示す。必要に応じて、表示画像抽出部12で抽出された1心拍1枚の画像に対して、図17に示すような処理を画像処理部13により行うことができる。
FIG. 17 shows a variation of the specific processing performed by the
図17Aは、抽出された1心拍1枚の画像に対して動き補正を行うものである。図17Bは、抽出された1心拍1枚の画像に対して心拍間加算処理を行うものである。また、類似度を検出して類似度が基準より高い場合にのみ加算平均するようにしてもよい。図17Cは、指定された位相の近傍フレームと前回の表示画像との間の類似度を計算して最も類似度が高い画像を表示するようにしたものである。図17Dは、心拍間リカーシブ加算であり、抽出された1心拍1枚の画像に対して重み付きの加算平均を行うものである。図17Eは、上記図17Aに示した動き補正に類似度検索機能付き心拍間加算平均を加えたものである。図17Fは、上記図17Aに示した動き補正に類似度機能付き近傍画像加算平均を加えたものである。 FIG. 17A is for performing motion correction on the extracted image of one heartbeat. FIG. 17B is an example in which the beat-to-beat addition process is performed on one extracted one heartbeat image. Alternatively, the averaging may be performed only when the similarity is detected and the similarity is higher than the reference. FIG. 17C calculates the similarity between the frame near the specified phase and the previous display image, and displays the image with the highest similarity. FIG. 17D shows heartbeat recursive addition, in which a weighted addition average is performed on the extracted image of one heartbeat. FIG. 17E is obtained by adding an average between beats with similarity search function to the motion correction shown in FIG. 17A. FIG. 17F is obtained by adding the neighborhood image addition average with similarity function to the motion correction shown in FIG. 17A.
さらに、上記実施例1乃至3を任意に組み合わせて実施することもできる。例えば、図18に示すように、オペレータから参照画像の選択と共に表示対象の一部領域の指定を受け付ける。また、リアルタイムで収集される透視画像から上記選択された参照画像と同位相の画像の一部領域を1周期毎に抽出する。そして、上記参照画像の一部領域と上記抽出された参照画像と同位相の画像の一部領域とを重ね合わせ、必要に応じて特有の処理を施して、リアルタイムで収集される透視画像と共に時刻同期して表示させる。 Further, the above-described first to third embodiments can be arbitrarily combined. For example, as shown in FIG. 18, the designation of a partial area to be displayed is accepted together with the selection of the reference image from the operator. In addition, a partial region of the image having the same phase as the selected reference image is extracted for each cycle from the fluoroscopic images collected in real time. Then, the partial area of the reference image and the partial area of the image having the same phase as the extracted reference image are overlapped and subjected to a specific process as necessary, and the time is displayed together with the fluoroscopic image collected in real time. Display synchronously.
図19にこの場合の処理手順を示す。なお、装置構成は、上記図1と同一であるため、図1を用いて説明を行う。
操作部8においてオペレータにより透視のX線発生操作が行われると、システム制御部9は、表示制御部14に透視画像のリアルタイム表示を指示する。この指示を受けて、表示制御部14は、X線検出器2を介して収集された透視画像のデータを用いて、モニタ15にリアルタイムの透視画像を表示する。
FIG. 19 shows a processing procedure in this case. The apparatus configuration is the same as that shown in FIG. 1, and will be described with reference to FIG.
When a fluoroscopic X-ray generation operation is performed by the operator in the
また、システム制御部9は、操作部8において血管造影画像の中からの参照画像の選択と、表示対象の一部領域の指定を受け付け、選択された参照画像から一部領域を抽出する(ステップS1901)。また、表示画像抽出部12は、心電図信号をもとに、リアルタイムで収集される透視画像から上記選択された参照画像と同位相の画像の一部領域を1周期毎に抽出する(ステップS1902)。画像処理部13は、参照画像から抽出された一部領域と、上記抽出された参照画像と同位相の画像の一部領域とを重ね合わせ、特有の処理を行う(ステップS1903)。表示制御部14は、この処理後の画像を収集時の時間間隔に従って1周期に1回切り替えてモニタ16に表示することで、リアルタイムで収集される透視画像と共に時刻同期して表示させる。
Further, the
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。具体的な変形例としては、例えば次のようなものがある。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Specific examples of modifications are as follows.
(1)本実施形態に係る各機能は、当該処理を実行するプログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、半導体メモリなどの記録媒体に格納して頒布することも可能である。 (1) Each function according to the present embodiment can also be realized by installing a program for executing the processing in a computer such as a workstation and developing the program on a memory. At this time, a program capable of causing the computer to execute the technique is stored in a recording medium such as a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), or a semiconductor memory. It can also be distributed.
(2)上記各実施形態においては、上記実施形態は、心臓のX線画像を説明に用いたが、X線画像に限らず、MRI画像、超音波画像など他の医用画像にも適用できる。また、心電図信号は必ずしも必須ではなく、心位相に代えて他の周期的な生体運動(例えば呼吸運動)の位相を用いることもできる。 (2) In each of the above-described embodiments, the X-ray image of the heart is used for the description. However, the present invention is not limited to the X-ray image but can be applied to other medical images such as an MRI image and an ultrasonic image. In addition, the electrocardiogram signal is not always essential, and the phase of another periodic biological motion (for example, respiratory motion) can be used instead of the cardiac phase.
(3)上記実施形態では、画像送信装置は、X線診断装置と一体化した構成として説明したが、画像データ記憶部11、表示画像抽出部12、画像処理部13及び表示制御部14を備えた画像表示装置として、別個に独立した構成とすることもできる。
(3) In the above embodiment, the image transmission apparatus has been described as being integrated with the X-ray diagnostic apparatus. However, the image transmission apparatus includes an image
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
1…X線管、2…X線検出器、3…寝台、4…X線制御部、5…Cアーム装置、6…Cアーム移動機構、7…寝台移動機構、8…操作部、9…システム制御部、10…心電計、11…画像データ記憶部、12…表示画像抽出部、13…画像処理部、14…表示制御部、15、16…モニタ。
DESCRIPTION OF
Claims (12)
前記複数の透視画像から前記周期内での位相が特定の位相と略同一の複数の画像を抽出する抽出部と、
前記収集された透視画像のリアルタイム表示と、前記抽出された複数の画像を収集時の時間間隔に応じて切り替えて表示する参照画像更新表示とを並列表示することにより、それぞれ略同一時刻に得られた画像である、前記透視画像と前記特定の位相にて抽出された画像から一部領域を切り出した画像とを同時に表示する表示部とを具備することを特徴とする画像表示装置。 A storage unit for storing a plurality of fluoroscopic images related to a region including a region that is continuously collected and periodically moves;
An extraction unit that extracts a plurality of images having a phase within the period substantially the same as a specific phase from the plurality of fluoroscopic images;
By displaying in parallel the real-time display of the collected fluoroscopic images and the reference image update display for switching and displaying the plurality of extracted images according to the time interval at the time of acquisition, the images are obtained at substantially the same time. An image display device comprising: a display unit that simultaneously displays the fluoroscopic image and an image obtained by extracting a partial region from the image extracted at the specific phase .
前記表示部は、前記参照画像更新表示として、前記リアルタイム表示される透視画像と時刻同期させて、前記抽出された複数の画像を前記静止画像に重ね合わせて1心拍に1回切り替えて表示することをさらに特徴とする請求項1記載の画像表示装置。 The extraction unit extracts one image for each heartbeat from the plurality of fluoroscopic images based on an electrocardiogram signal, the image having substantially the same phase as the still image,
The display unit, as the reference image update display, synchronizes time with the fluoroscopic image displayed in real time and displays the plurality of extracted images superimposed on the still image and switched once per heartbeat. The image display device according to claim 1, further comprising:
前記表示部は、前記参照画像更新表示として、前記静止画像の一部領域と前記抽出された一部領域と同位相の画像の一部領域とを重ね合わせ、前記リアルタイム表示される透視画像と時刻同期させて表示することをさらに特徴とする請求項1記載の画像表示装置。 The extraction unit extracts a partial region having substantially the same phase as the still image from the plurality of fluoroscopic images for each period.
The display unit superimposes the partial region of the still image and the partial region of the image in phase with the extracted partial region as the reference image update display, and the fluoroscopic image displayed in real time and the time The image display apparatus according to claim 1, further displaying in synchronization.
連続的に収集された、周期的に運動する部位を含む領域に関する複数の透視画像を記憶する処理と、
前記複数の透視画像から前記周期内での位相が特定の位相と略同一の複数の画像を抽出する処理と、
前記収集された透視画像のリアルタイム表示と、前記抽出された複数の画像を収集時の時間間隔に応じて切り替えて表示する参照画像更新表示とを並列表示することにより、それぞれ略同一時刻に得られた画像である、前記透視画像と前記特定の位相にて抽出された画像から一部領域を切り出した画像とを同時に表示する処理と
を実行させることを特徴とする画像表示プログラム。 On the computer,
A process of storing a plurality of fluoroscopic images related to a region including a region that is continuously collected and periodically moves;
A process of extracting a plurality of images having a phase within the period substantially the same as a specific phase from the plurality of fluoroscopic images;
By displaying in parallel the real-time display of the collected fluoroscopic images and the reference image update display for switching and displaying the plurality of extracted images according to the time interval at the time of acquisition, the images are obtained at substantially the same time. An image display program for simultaneously displaying the fluoroscopic image and an image obtained by cutting out a partial area from the image extracted at the specific phase .
前記部位の運動周期を検知する検知部と、
前記複数の透視画像から前記運動周期内での位相が特定の位相と略同一の複数の画像を抽出する抽出部と、
前記収集された透視画像のリアルタイム表示と、前記抽出された複数の画像を収集時の時間間隔に応じて切り替えて表示する参照画像更新表示とを並列表示することにより、それぞれ略同一時刻に得られた画像である、前記透視画像と前記特定の位相にて抽出された画像から一部領域を切り出した画像とを同時に表示する表示部とを具備することを特徴とする画像表示システム。 A collection unit that continuously collects a plurality of fluoroscopic images related to a region including a region that moves periodically;
A detection unit for detecting a movement cycle of the part;
An extraction unit that extracts a plurality of images having a phase within the motion period substantially the same as a specific phase from the plurality of fluoroscopic images;
By displaying in parallel the real-time display of the collected fluoroscopic images and the reference image update display for switching and displaying the plurality of extracted images according to the time interval at the time of acquisition, the images are obtained at substantially the same time. An image display system comprising: a display unit that simultaneously displays the fluoroscopic image and an image obtained by extracting a partial region from the image extracted at the specific phase .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008146026A JP5624265B2 (en) | 2008-06-03 | 2008-06-03 | Image display device, program, and image display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008146026A JP5624265B2 (en) | 2008-06-03 | 2008-06-03 | Image display device, program, and image display system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013177405A Division JP2014004465A (en) | 2013-08-28 | 2013-08-28 | Image processing apparatus, x-ray diagnostic apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009291313A JP2009291313A (en) | 2009-12-17 |
JP5624265B2 true JP5624265B2 (en) | 2014-11-12 |
Family
ID=41540073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008146026A Active JP5624265B2 (en) | 2008-06-03 | 2008-06-03 | Image display device, program, and image display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5624265B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5595745B2 (en) * | 2010-01-06 | 2014-09-24 | 株式会社東芝 | X-ray fluoroscope |
JP6039156B2 (en) | 2010-06-08 | 2016-12-07 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
BR112013033913A2 (en) * | 2011-04-28 | 2019-09-24 | Koninl Philips Electronics Nv | medical imaging device |
JP6424623B2 (en) | 2012-10-04 | 2018-11-21 | コニカミノルタ株式会社 | Image processing apparatus and program |
WO2014091977A1 (en) * | 2012-12-12 | 2014-06-19 | コニカミノルタ株式会社 | Image-processing device and program |
JP6750424B2 (en) * | 2016-09-20 | 2020-09-02 | 株式会社島津製作所 | Radiation image processing apparatus and radiation image processing method |
JP6750425B2 (en) * | 2016-09-20 | 2020-09-02 | 株式会社島津製作所 | Radiation image processing apparatus and radiation image processing method |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0779959A (en) * | 1993-09-14 | 1995-03-28 | Toshiba Corp | X-ray diagnostic apparatus |
JP3373055B2 (en) * | 1994-08-11 | 2003-02-04 | 株式会社東芝 | Endoscopy system having fluoroscopy diagnostic device |
JP2004081275A (en) * | 2002-08-23 | 2004-03-18 | Toshiba Corp | Radiodiagnosing system, and its control method |
DE10247299A1 (en) * | 2002-10-10 | 2004-04-22 | Philips Intellectual Property & Standards Gmbh | Image processing unit for medical X-ray apparatus comparing actual image of body volume with preceding image for adjacent movement phase of imaged body volume |
JP4580628B2 (en) * | 2003-09-19 | 2010-11-17 | 株式会社東芝 | X-ray image diagnostic apparatus and image data generation method |
JP2005137798A (en) * | 2003-11-10 | 2005-06-02 | Toshiba Corp | X-ray imaging system and x-ray image data displaying method |
US7378278B2 (en) * | 2004-10-15 | 2008-05-27 | Plant Bioscience Limited | Enzymes involved in triterpene synthesis |
JP4807830B2 (en) * | 2005-11-04 | 2011-11-02 | 株式会社日立メディコ | Diagnostic imaging apparatus and treatment support system |
US8303505B2 (en) * | 2005-12-02 | 2012-11-06 | Abbott Cardiovascular Systems Inc. | Methods and apparatuses for image guided medical procedures |
JP5121173B2 (en) * | 2006-06-29 | 2013-01-16 | 株式会社東芝 | 3D image generator |
-
2008
- 2008-06-03 JP JP2008146026A patent/JP5624265B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009291313A (en) | 2009-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11540790B2 (en) | X-ray diagnosis apparatus and image processing apparatus | |
JP5624265B2 (en) | Image display device, program, and image display system | |
US8379954B2 (en) | Three dimensional image processing apparatus and X-ray diagnosis apparatus | |
US9936928B2 (en) | Medical image processing apparatus and X-ray diagnostic apparatus | |
JP6466132B2 (en) | Medical image processing apparatus and X-ray image diagnostic apparatus | |
JP6062174B2 (en) | X-ray diagnostic apparatus and control program | |
JP2012081180A (en) | Medical image diagnosis device and medical image processing method | |
JP2007136164A (en) | Medical image processor and medical image processing method | |
JP2016034451A (en) | X-ray diagnostic apparatus | |
US20130136332A1 (en) | X-ray image diagnosis apparatus | |
JP4777164B2 (en) | HEART RATE DETERMINATION DEVICE, PROGRAM, AND X-RAY DIAGNOSIS DEVICE | |
JP5215050B2 (en) | Image processing device | |
JP5656361B2 (en) | X-ray diagnostic equipment | |
JP2004105643A (en) | X-ray diagnostic equipment | |
JP4626414B2 (en) | X-ray diagnostic equipment | |
JP2006087631A (en) | Diagnostic imaging apparatus, image processing apparatus, and recording medium with image processing program recorded therein | |
JP2014004465A (en) | Image processing apparatus, x-ray diagnostic apparatus and program | |
JP2016209267A (en) | Medical image processor and program | |
JP5963163B2 (en) | Medical diagnostic imaging equipment | |
JP2007330522A (en) | Recursive filter, x-ray diagnosis apparatus, image processing apparatus, and recursive coefficient setting method | |
JP5727653B2 (en) | Radiation diagnostic apparatus and X-ray computed tomography apparatus | |
JP2018175096A (en) | Dynamic image processing system | |
JP2009240571A (en) | Image transmitter | |
US20200286236A1 (en) | Dynamic analysis device and recording medium | |
JP2023080520A (en) | Medical image processing device, X-ray diagnostic device, and medical image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130430 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130828 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20131015 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20131213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140926 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5624265 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |