JP6249909B2 - Imaging system and processing apparatus - Google Patents
Imaging system and processing apparatus Download PDFInfo
- Publication number
- JP6249909B2 JP6249909B2 JP2014180120A JP2014180120A JP6249909B2 JP 6249909 B2 JP6249909 B2 JP 6249909B2 JP 2014180120 A JP2014180120 A JP 2014180120A JP 2014180120 A JP2014180120 A JP 2014180120A JP 6249909 B2 JP6249909 B2 JP 6249909B2
- Authority
- JP
- Japan
- Prior art keywords
- pulse width
- unit
- imaging
- afterimage
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 97
- 238000012545 processing Methods 0.000 title claims description 75
- 206010047571 Visual impairment Diseases 0.000 claims description 119
- 238000011156 evaluation Methods 0.000 claims description 87
- 239000011159 matrix material Substances 0.000 claims description 6
- 210000001260 vocal cord Anatomy 0.000 description 53
- 238000005286 illumination Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 32
- 238000000034 method Methods 0.000 description 29
- 238000001514 detection method Methods 0.000 description 15
- 238000003780 insertion Methods 0.000 description 14
- 230000037431 insertion Effects 0.000 description 14
- 238000012854 evaluation process Methods 0.000 description 11
- 230000003321 amplification Effects 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 238000005452 bending Methods 0.000 description 6
- 239000000835 fiber Substances 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000001629 suppression Effects 0.000 description 5
- 238000001727 in vivo Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 210000003437 trachea Anatomy 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Landscapes
- Stroboscope Apparatuses (AREA)
- Endoscopes (AREA)
- Exposure Control For Cameras (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
本発明は、照明光を出射する光源と撮像素子とを備えた撮像システム、および撮像素子が生成した電気信号の信号処理を行う処理装置に関する。 The present invention relates to an imaging system including a light source that emits illumination light and an imaging device, and a processing device that performs signal processing of an electrical signal generated by the imaging device.
従来、医療分野においては、被検体内部の観察のために内視鏡システムが用いられている。内視鏡システムは、患者等の被検体内に細長形状をなす可撓性の挿入部を挿入し、この挿入部先端から照明光を照明し、この照明光の反射光を挿入部先端の撮像素子で受光することによって、体内画像を撮像する。このように撮像された生体画像は、この内視鏡システムのディスプレイに表示される。 Conventionally, in the medical field, an endoscope system is used for observing the inside of a subject. An endoscope system inserts a flexible insertion portion having an elongated shape into a subject such as a patient, illuminates illumination light from the distal end of the insertion portion, and captures reflected light of the illumination light at the distal end of the insertion portion. An in-vivo image is taken by receiving light with the element. The biological image captured in this way is displayed on the display of this endoscope system.
撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられる。CMOSイメージセンサは、水平ライン毎にタイミングをずらして読み出しを行うローリングシャッタ方式によって撮像信号を生成する。 As the image sensor, for example, a complementary metal oxide semiconductor (CMOS) image sensor is used. The CMOS image sensor generates an image pickup signal by a rolling shutter method in which reading is performed while shifting the timing for each horizontal line.
内視鏡システムでは、例えば、パルス状の照明光による照明のような間欠照明を照射しながら、ローリングシャッタ方式を用いて声帯のような動きのある被写体の観察を行う場合がある。このような間欠照明を用いる内視鏡システムとして、声帯の振動周波数と同期してパルス状の照明光(以下、パルス光という)を出射する技術が開示されている(例えば、特許文献1を参照)。特許文献1が開示する技術では、パルス光のパルス幅およびパルスゲイン(パルス振幅)の調整を併用することによって照明期間および照明光量を調整して被写体の像の明るさを調整している。
In an endoscope system, for example, a subject moving with a vocal cord or the like may be observed using a rolling shutter system while irradiating intermittent illumination such as illumination with pulsed illumination light. As an endoscope system using such intermittent illumination, a technique for emitting pulsed illumination light (hereinafter referred to as pulsed light) in synchronization with the vibration frequency of the vocal cords is disclosed (for example, see Patent Document 1). ). In the technique disclosed in
ところで、間欠照明を行う場合において、画像の明るさを確保するためにパルスゲイン(照明光量)を上げると、光源に対して瞬間的に高い電圧をかける必要が生じたり、光源の発熱量が増大したりするなどの問題が生じるおそれがあった。光源の発熱量の増大などの問題を考慮すると、パルス幅を調整することで被写体の像の明るさを調整することが好ましい。 By the way, when performing intermittent illumination, if the pulse gain (illumination light quantity) is increased in order to ensure the brightness of the image, it is necessary to apply a high voltage to the light source instantaneously or the amount of heat generated by the light source increases. There was a risk of problems such as Considering problems such as an increase in the amount of heat generated by the light source, it is preferable to adjust the brightness of the image of the subject by adjusting the pulse width.
しかしながら、画像の明るさを確保するためにパルス幅(照明期間)を大きくすると、被写体の動き(振動)により画像中に残像が生じてしまうおそれがあった。特に声帯のような高速で振動する被写体の像を取得する際は、パルス幅を大きくすると、残像が発生しやすくなる。このため、画像の明るさと、残像発生の抑制とを両立し、高画質な画像を取得できるようにパルス幅を設定する必要があった。 However, if the pulse width (illumination period) is increased in order to ensure the brightness of the image, there is a possibility that an afterimage may occur in the image due to the movement (vibration) of the subject. In particular, when acquiring an image of a subject that vibrates at high speed, such as a vocal cord, an afterimage is likely to occur if the pulse width is increased. For this reason, it is necessary to set the pulse width so that both the brightness of the image and the suppression of the afterimage generation can be achieved and a high-quality image can be acquired.
本発明は、上記に鑑みてなされたものであって、画像の明るさと、残像発生の抑制とを両立した画像を取得可能なパルス幅を設定することができる撮像システムおよび処理装置を提供することを目的とする。 The present invention has been made in view of the above, and provides an imaging system and a processing apparatus capable of setting a pulse width capable of acquiring an image that achieves both image brightness and suppression of afterimage generation. With the goal.
上述した課題を解決し、目的を達成するために、本発明にかかる撮像システムは、撮像対象を撮像して撮像信号を出力する撮像部と、パルス光を生成する光源と、前記撮像信号に応じた画像の明るさを検出して、明るさ評価値を算出する明るさ評価部と、前記撮像信号に応じた画像中の残像の大きさを評価し、該評価した結果を残像評価値として出力する残像評価部と、前記明るさ評価値および前記残像評価値をもとに、前記パルス光のパルス幅を算出するパルス幅算出部と、前記パルス幅算出部が算出したパルス幅で前記パルス光を生成するように前記光源を制御する光源制御部と、を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, an imaging system according to the present invention includes an imaging unit that images an imaging target and outputs an imaging signal, a light source that generates pulsed light, and the imaging signal. A brightness evaluation unit that detects the brightness of the image and calculates a brightness evaluation value; evaluates the size of an afterimage in the image according to the imaging signal; and outputs the evaluation result as an afterimage evaluation value An afterimage evaluation unit, a pulse width calculation unit for calculating a pulse width of the pulsed light based on the brightness evaluation value and the afterimage evaluation value, and the pulse light with the pulse width calculated by the pulse width calculation unit. And a light source control unit that controls the light source so as to generate the light source.
また、本発明にかかる撮像システムは、上記発明において、前記撮像部は、マトリックス状に配列され、受光した光を光電変換して電気信号を生成する複数の画素を有する受光部と、前記受光部の画素行ごとに順次電気信号を読み出す読出し部と、を有し、前記残像評価部は、前記読出し部によって読み出された前記電気信号に基づいて、前記残像の大きさを評価することを特徴とする。 The imaging system according to the present invention is the imaging system according to the above invention, wherein the imaging unit is arranged in a matrix and has a plurality of pixels that photoelectrically convert received light to generate an electrical signal; and the light receiving unit A reading unit that sequentially reads out an electric signal for each pixel row, and the afterimage evaluation unit evaluates the size of the afterimage based on the electric signal read out by the reading unit. And
また、本発明にかかる撮像システムは、上記発明において、前記パルス幅算出部がパルス幅を算出するための設定情報を記憶する記憶部をさらに備え、前記パルス幅算出部は、前記記憶部に記憶された前記設定情報に基づき規定されるパルス幅許容範囲内で前記パルス幅を算出することを特徴とする。 The imaging system according to the present invention further includes a storage unit that stores setting information for the pulse width calculation unit to calculate a pulse width in the above-described invention, and the pulse width calculation unit is stored in the storage unit. The pulse width is calculated within a pulse width allowable range defined based on the set information.
また、本発明にかかる撮像システムは、上記発明において、前記設定情報を変更する変更情報を入力する入力手段と、前記入力手段により入力された変更情報に基づいて、前記設定情報を変更する制御部と、をさらに備え、前記パルス幅算出部は、前記制御により変更された設定情報をもとに前記パルス幅を算出することを特徴とする。 In the imaging system according to the present invention, in the above invention, an input unit that inputs change information for changing the setting information, and a control unit that changes the setting information based on the change information input by the input unit. The pulse width calculation unit calculates the pulse width based on the setting information changed by the control.
また、本発明にかかる撮像システムは、上記発明において、前記設定情報は、前記画像の明るさの最小値と、前記残像の品位の基準レベルと、を含み、前記パルス幅算出部は、前記明るさの最小値および前記基準レベルをもとにパルス幅を算出することを特徴とする。 In the imaging system according to the present invention, in the above invention, the setting information includes a minimum value of the brightness of the image and a reference level of the quality of the afterimage, and the pulse width calculation unit includes the brightness The pulse width is calculated based on the minimum value and the reference level.
また、本発明にかかる撮像システムは、上記発明において、前記パルス幅算出部は、前記画像の明るさの最小値に基づき設定されるパルス幅を下限値とし、前記基準レベルに基づき設定されるパルス幅を上限値として前記パルス幅許容範囲を規定することを特徴とする。 In the imaging system according to the present invention as set forth in the invention described above, the pulse width calculation unit uses a pulse width set based on a minimum value of the brightness of the image as a lower limit, and a pulse set based on the reference level. The pulse width allowable range is defined with the width as an upper limit value.
また、本発明にかかる撮像システムは、上記発明において、前記入力手段は、基準位置に対する回動方向および回動量により前記設定情報を入力可能な操作手段を有することを特徴とする。 In the imaging system according to the present invention as set forth in the invention described above, the input unit includes an operation unit capable of inputting the setting information by a rotation direction and a rotation amount with respect to a reference position.
また、本発明にかかる処理装置は、撮像対象を撮像して撮像信号を出力する撮像部を有する撮像装置、および供給されるパルスに基づいてパルス光を生成する光源を有する光源装置とそれぞれ接続し、該撮像装置および該光源装置との間で情報の送受信が可能な処理装置であって、前記撮像信号に基づいて、該撮像信号に応じた画像の明るさを検出して、明るさ評価値を算出する明るさ評価部と、前記撮像信号に基づいて、該撮像信号に応じた画像中の残像の大きさを評価し、該評価した結果を残像評価値として出力する残像評価部と、前記明るさ評価値および前記残像評価値をもとに、前記パルス光のパルス幅を算出するパルス幅算出部と、前記パルス幅算出部が算出したパルス幅で前記パルス光を生成するように前記光源を制御する光源制御部と、を備えたことを特徴とする。 The processing device according to the present invention is connected to an imaging device having an imaging unit that images an imaging target and outputs an imaging signal, and a light source device having a light source that generates pulsed light based on a supplied pulse. A processing device capable of transmitting and receiving information between the imaging device and the light source device, and detecting brightness of an image corresponding to the imaging signal based on the imaging signal, and a brightness evaluation value A brightness evaluation unit that calculates the afterimage evaluation unit that evaluates the size of the afterimage in the image according to the imaging signal based on the imaging signal, and outputs the evaluation result as an afterimage evaluation value; Based on the brightness evaluation value and the afterimage evaluation value, a pulse width calculation unit for calculating a pulse width of the pulsed light, and the light source so as to generate the pulsed light with the pulse width calculated by the pulse width calculation unit Control light source Characterized by comprising a control unit, a.
本発明によれば、画像の明るさと、残像発生の抑制とを両立した画像を取得可能なパルス幅を設定することができるという効果を奏する。 According to the present invention, there is an effect that it is possible to set a pulse width capable of acquiring an image that achieves both image brightness and suppression of afterimage generation.
以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明にかかる撮像システムの一例として、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。 Hereinafter, modes for carrying out the present invention (hereinafter referred to as “embodiments”) will be described. In the embodiment, as an example of an imaging system according to the present invention, a medical endoscope system that captures and displays an image of a body cavity of a subject such as a patient will be described. Moreover, this invention is not limited by this embodiment. Furthermore, in the description of the drawings, the same portions will be described with the same reference numerals.
(実施の形態1)
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す模式図である。図1に示すように、本実施の形態1にかかる内視鏡システム1は、被検体内に導入され、被検体の体内を撮像して被検体内の画像信号を生成する内視鏡2(スコープ)と、音声が入力される音声入力装置3と、内視鏡2によって撮像された撮像信号に対して所定の画像処理を行うとともに内視鏡システム1の各部を制御する処理装置4と、内視鏡2の照明光(観察光)としてパルス光を生成する光源装置5(光源部)と、処理装置4が画像処理を施して生成した画像信号に対応する画像を表示する表示装置6と、を備える。
(Embodiment 1)
FIG. 1 is a schematic diagram illustrating a schematic configuration of the endoscope system according to the first embodiment of the present invention. As shown in FIG. 1, an
内視鏡2は、被検体内に挿入される挿入部21と、挿入部21の基端部側であって術者が把持する操作部22と、操作部22より延伸する可撓性のユニバーサルコード23と、を備える。
The
挿入部21は、照明ファイバ(ライトガイドケーブル)および電気ケーブル等を用いて実現される。挿入部21は、被検体内を撮像する撮像素子を内蔵した撮像部を有する先端部211と、複数の湾曲駒によって構成された湾曲自在な湾曲部212と、湾曲部212の基端部側に設けられた可撓性を有する可撓管部213と、を有する。先端部211には、照明レンズを介して被検体内を照明する照明部、被検体内を撮像する観察部、処理具用チャンネルを連通する開口部および送気・送水用ノズル(図示せず)が設けられている。
The
操作部22は、湾曲部212を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体の体腔内に生体鉗子、レーザメス等の処置具が挿入される処置具挿入部222と、処理装置4、光源装置5、送気装置、送水装置および送ガス装置等の周辺機器の操作を行う複数のスイッチ部223と、を有する。処置具挿入部222から挿入された処置具は、内部に設けられた処置具用チャンネルを経て挿入部21先端の開口部から表出する。
The
ユニバーサルコード23は、照明ファイバおよび電気ケーブル等を用いて構成される。ユニバーサルコード23は、基端で分岐しており、分岐した一方の分岐コード231の端部がコネクタ232であり、他方の基端がコネクタ233である。コネクタ232は、処理装置4に対して着脱自在であり、コネクタ233は、光源装置5に対して着脱自在である。ユニバーサルコード23は、光源装置5から出射された照明光を、コネクタ232、操作部22および可撓管部213を介して先端部211に伝播する。ユニバーサルコード23は、先端部211に設けられた撮像部が撮像した撮像信号を処理装置4に伝送する。
The
挿入部21およびユニバーサルコード23には、光源装置5からの照明光を導光する照明ファイバ214(図2参照)が配設されている。照明ファイバ214の一端は挿入部21の先端面に位置し、他端はユニバーサルコード23の光源装置5との接続面に位置している。
The
音声入力装置3は、被写体が声帯である場合、声帯から発せられた音声が入力される。コード31は、先端が音声入力装置3と接続しており、基端のコネクタ311は、処理装置4に対して着脱自在である。音声入力装置3は、コード31およびコネクタ311を介して、入力された音声を処理装置4に出力する。
When the subject is a vocal cord, the
処理装置4は、ユニバーサルコード23を介して入力された内視鏡2の先端部211における撮像部が撮像した被検体内の撮像信号に対して所定の画像処理を施す。処理装置4は、ユニバーサルコード23を介して内視鏡2の操作部22におけるスイッチ部223から送信された各種の指示信号に基づいて、内視鏡システム1の各部を制御する。
The
光源装置5は、パルス状の白色光を照明光(以下、パルス光という)として発する光源や集光レンズ等を用いて構成される。光源装置5では、処理装置4から調光信号を受信し、該調光信号に基づいて、光源を駆動する駆動タイミング(発光期間)がPWM(Pulse Width Modulation)制御される。このため、照明部31は、照明制御部32の制御のもと、パルス駆動によりパルス光を出射する。光源装置5は、光源からのパルス光を、コネクタ232およびユニバーサルコード23(照明ファイバ)を介して接続された内視鏡2へ、被写体である被検体内へ向けて照明(間欠照明)するための照明光として供給する。
The
表示装置6は、液晶または有機EL(Electro Luminescence)を用いた表示ディスプレイ等を用いて構成される。表示装置6は、映像ケーブル61を介して処理装置4によって生成された表示用の画像信号に対応する画像を含む各種情報を表示する。これにより、術者は、表示装置6が表示する画像(体内画像)を見ながら内視鏡2を操作することにより、被検体内の所望の位置の観察および性状を判定することができる。
The
つぎに、図1で説明した内視鏡2、音声入力装置3、処理装置4および光源装置5の構成について説明する。図2は、内視鏡システム1の構成を模式的に示すブロック図である。
Next, the configuration of the
内視鏡2は、先端部211に撮像部24を有する。撮像部24は、後述する受光部242aの受光面側に配置された対物レンズ等の光学系241と、光学系241の結像位置に設けられ、光学系241が集光した光を受光して電気信号に光電変換する撮像素子242と、を備える。
The
撮像素子242は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いて実現される。撮像素子242は、受光部242aと、読出し部242bと、を有する。
The
受光部242aは、受光面に、光源装置5によるパルス光で照明された被写体からの光を受光し、受光した光を光電変換して電気信号を生成する。具体的には、受光部242aは、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系241からの光を光電変換して電気信号を生成する。受光部242aには、二以上の画素が水平方向に沿って配置する画素行(水平ライン)が、垂直方向に複数並ぶように配置される。
The
読出し部242bは、受光部242aの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する。読出し部242bは、受光部242aにおける複数の画素に対する露光と複数の画素からの電気信号の読み出しとを行う。読出し部242bは、マトリックス状に配列された複数の画素がそれぞれ生成した電気信号を水平ライン(画素行)毎に順次読み出す。読出し部242bは、露光および読み出しを行う撮像動作を先頭の水平ラインから実行し、水平ラインごとにタイミングをずらして、電荷リセット(コンデンサのリセット)、露光および読み出しを行うローリングシャッタ方式によって撮像信号を生成する。
The
したがって、撮像部24においては、1つの撮像期間(フレーム)であっても、水平ラインごとに露光タイミングおよび読み出しタイミングがそれぞれ異なる。読出し部242bは、受光部242aの複数の画素から読み出した電気信号(撮像信号)を、ケーブル(不図示)およびコネクタ232を介して、処理装置4に出力する。
Therefore, in the
次に、処理装置4について説明する。処理装置4は、AGC(Auto Gain Control)401と、ストロボ処理部402と、画像処理部403と、メモリ404と、表示制御部405と、入力部406と、振動周波数検出部407と、光源制御部408と、明るさ評価部409と、残像評価部410と、制御部411と、を備える。本実施の形態では、処理装置4に設けられる図示しないクロック生成器が生成したクロック信号に基づいて、処理装置4ならびに内視鏡2および光源装置5が動作するものとして説明する。
Next, the
AGC401は、電気信号の増幅率(ゲイン)を調整して一定の出力レベルを維持する。
The
ストロボ処理部402は、光源装置5からパルス光による間欠照明の制御用のPWM信号を取得して、該PWM信号と対応付けてAGC401から入力された撮像信号を画像処理部403に出力する。
The
画像処理部403は、撮像部24の読出し部242bによって読み出された複数の画素の電気信号(撮像信号)に対し、所定の信号処理を行って画像信号を生成する。たとえば、画像処理部403は、撮像信号に対して、少なくとも、オプティカルブラック減算処理、ホワイトバランス(WB)調整処理、撮像素子がベイヤー配列の場合には同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。
The
メモリ404は、揮発性メモリや不揮発性メモリを用いて実現され、処理装置4および光源装置5を動作させるための各種プログラムを記憶する。メモリ404は、処理装置4の処理中の情報を一時的に記録する。メモリ404は、受光部242aにおける複数の画素の行列配置に対応させて、読出し部242bによって読み出された撮像信号を、フレーム単位で記憶する。メモリ404は、画像処理部403によって生成された画像信号をフレーム単位で記憶する。メモリ404は、処理装置4の外部から装着されるメモリカード等を用いて構成されてもよい。
The
表示制御部405は、表示装置6の表示周期に合わせて、画像処理部403が生成した複数のフレームの画像信号から表示用の画像信号を選択し、該選択した画像信号を表示装置6に表示させるための画像信号として出力する。あるいは、表示制御部405は、表示装置6の表示周期ごとに、画像処理部403が生成した複数のフレームの画像信号を合成して、表示用画像信号を生成し、表示装置6に出力する。表示制御部405は、表示用の画像信号を、デジタル信号からアナログ信号に変換し、変換したアナログの画像信号をハイビジョン方式等のフォーマットに変更、表示装置6へ出力する。
The
入力部406は、マウス、キーボードおよびタッチパネル等の操作デバイスを用いて実現され、内視鏡システム1の各種指示情報(指示信号)の入力を受け付ける。具体的には、入力部406は、被検体情報(たとえばID、生年月日、名前等)、内視鏡2の識別情報(たとえばIDや検査対応項目)および検査内容等の各種指示情報の入力を受け付ける。
The
振動周波数検出部407は、音声入力装置3に入力され、コード31およびコネクタ311を介して処理装置4に入力された音声の周波数(声帯周波数)を検出する。本実施の形態1において、この音声は、被写体である声帯から発せられたものである。振動周波数検出部407は、検出した音声の周波数を制御部411に出力する。
The vibration
光源制御部408は、光源装置5の動作を制御する。具体的には、光源制御部408は、振動周波数検出部407によって検出された音声の周波数に同期させて、光源51によるパルス光の照明タイミングおよび照明期間を制御する。
The light
また、光源制御部408は、パルス幅算出部408aを有する。パルス幅算出部408aは、明るさ評価部409および残像評価部410からの評価結果に基づいて、光源51によるパルス光の照明期間であるパルス幅(またはデューティ比)を算出する。デューティ(Duty)とは、パルス幅をパルス周期で割った比のことをいう。
In addition, the light
明るさ評価部409は、ストロボ処理部402から入力される撮像信号から、各画素に対応する明るさレベルを検出し、検出した明るさレベルを光源制御部408へ出力する。具体的には、明るさ評価部409は、画像を構成する画素の画素値を検波し、該画素値(輝度)の平均を算出して明るさを評価するための明るさ評価値として光源制御部408に出力する。
The
残像評価部410は、ストロボ処理部402から入力される撮像信号から、受光部242aの画素の水平ラインと直交する方向に配列する画素の画素値を取得して、該画素値の連続性の有無や、非連続性の度合いを評価(検出)することによって残像の大きさの評価を行う。ここでいう残像の大きさとは、残像が生じている場合の残像の存在度を数値化したものである。残像評価部410は、評価結果を光源制御部408に出力する。
The
制御部411は、CPU等を用いて実現される。制御部411は、処理装置4の各部の処理動作を制御する。制御部411は、処理装置4の各構成に対する指示情報やデータの転送等を行うことによって、処理装置4の動作を制御する。制御部411は、各ケーブルを介して撮像部24および光源装置5それぞれに接続されている。なお、制御部411は、撮像部24の動作についても制御を行う。本実施の形態では、撮像素子242および光源51は、制御部411の制御のもと、撮像タイミングおよび照明タイミングの同期をとって駆動するものとして説明する。
The
つぎに、光源装置5について説明する。光源装置5は、光源51と、光源ドライバ52と、パルス生成部53と、を備える。
Next, the
光源51は、パルス状の白色光(パルス光)を発する白色LED等の光源と、集光レンズなどの光学系と用いて構成される。光源51は、内視鏡2に供給する照明光を発生し、照明ファイバなどを介して内視鏡2に照明光を導光する。
The
光源ドライバ52は、パルス生成部53が生成したPWM信号に基づいて、光源51に所定の電力を供給する。これにより、光源51から発せられた光(パルス光)は、コネクタ233およびユニバーサルコード23を介して挿入部21の先端部211から被写体に照明される。
The
パルス生成部53は、振動周波数検出部407が検出した音声の周波数と、パルス幅算出部408aが算出した値(パルス幅またはデューティ比)と、をもとに光源51を駆動するためのパルスを生成し、該パルスを含む光源制御用のPWM信号を生成して光源ドライバ52に出力する。また、パルス生成部53は、生成したPWM信号をストロボ処理部402に出力する。
The
続いて、内視鏡システム1におけるパルス幅の算出処理について、図3を参照して説明する。図3は、本実施の形態1にかかる内視鏡システムのパルス幅算出部が行うパルス幅算出処理を説明する図である。なお、図3に示すグラフは、残像の品位および画像の明るさに対するパルスの時間幅(発光パルス幅)の関係を示している。図3に示すグラフでは、パルスの時間幅を、例えばデューティ比とする。また、残像の品位および明るさの最小値(Min値)の設定値は、予め設定され、メモリ404などに記憶されているものとして説明する。残像の品位は、残像の存在度を示すものであり、画像中の残像の存在度が小さいほど画像の質が良質に向かい、画像中の残像の存在度が大きいほど画像の質が悪質に向かう。例えば、残像の存在度の逆数を残像の品位とする場合、残像の品位の値が大きいほど良質の画像であることを示す。本実施の形態1では、残像評価部410から出力される値に対応して残像の品位の許容レベルとしての設定値(基準レベル)が設定されている。
Next, a pulse width calculation process in the
パルス幅算出部408aは、画像の明るさについて、明るさ評価部409が算出した明るさ検出値や、振動周波数検出部407が検出した周波数などに基づいて曲線S1を生成する。具体的には、パルス幅算出部408aは、画素値(または平均値)と、該画素値(または平均値)を取得した際(撮像時)のデューティ比(パルス幅)と、振動周波数検出部407が検出した周波数と、をもとに、曲線S1を生成(更新)する。画像の明るさは先端部211と被写体との距離に応じて変化するため、パルス幅算出部408aは、明るさ評価部409から明るさ評価値が入力されるたびに、曲線S1を生成する。
The pulse
また、パルス幅算出部408aは、残像の品位について、残像評価部410による残像の評価結果や、振動周波数検出部407が検出した音声の周波数(声帯周波数)に基づいて曲線S2を算出する。具体的には、パルス幅算出部408aは、取得した声帯周波数をもとに、パルス幅を算出する度に曲線S2を生成(更新)する。残像の品位(残像の発生度)は、声帯周波数(パルス幅)に応じて単調に(線形性をもって)変化する。残像の品位は声帯周波数に応じて変化するため、パルス幅算出部408aは、残像評価部410から評価結果が入力されるたびに、曲線S2を生成する。
In addition, the pulse
パルス幅算出部408aは、画像の明るさと発光パルス幅との関係(曲線S1)、および残像の品位と発光パルス幅との関係(曲線S2)を示すグラフ(図3を参照)を生成後、メモリ404などに記憶されている設定値を参照し、曲線S1と観察に必要とされる明るさの最小値との交点S11、および曲線S2と観察において許容される残像の品位(許容レベル)との交点S21を求め、該交点S11,S21との間をパルス幅許容範囲(図3中のハッチング部分)として規定する。パルス幅算出部408aは、規定されたパルス幅許容範囲内でデューティ比(最適ポイント)を調整する。パルス幅算出部408aは、調整したデューティ比と、振動周波数検出部407が検出した周波数(パルス周期)と、をもとにパルス幅を算出し、パルス生成部53に出力する。
The pulse
パルス生成部53は、パルス幅算出部408aからパルス幅を取得すると、該パルス幅と、振動周波数検出部407が検出した声帯周波数と取得したパルス幅とに応じたパルスを生成する。
When the
このようにして、光源51は、光源ドライバ52の制御のもと、パルス生成部53が生成したパルスに応じて光源51を駆動してパルス光を出射する。
In this way, the
次に、残像評価部410が行う残像評価について図面を参照して説明する。図4は、本実施の形態1にかかる内視鏡システムの残像評価部が行う残像評価処理を説明する図であって、声帯の開放状態を模式的に示す図である。声帯は、互いに近接または離間することによって開放状態を変化させる左右一対のひだの間の隙間に、肺から排出される空気を通過させ、振動を引き起こすことで音声を発する。このとき、振動により声帯のひだの隙間の間隔が高速で変化する。例えば、声帯は、図4(a)に示す声帯V1の開放状態(間隔d1)から、図4(b)に示す声帯V2の開放状態(間隔d2)を経て、図4(c)に示す声帯V3の開放状態(間隔d3)となった後、声帯V2の開放状態を経て声帯V1の状態に戻るような変化を繰り返す。一般的に、声帯の画像では、ひだの部分が白く、ひだの間の奥に見える気管が暗く見える。このため、声帯の画像では、ひだと気管との間のコントラストが大きい。
Next, afterimage evaluation performed by the
図5は、本実施の形態1にかかる内視鏡システムの残像評価部が行う残像評価処理を説明する図であって、読出し処理と露光処理とのタイミングを示すタイミングチャート(図5(a))、および一回の発光により得られる疑似フレームに応じた声帯の開放状態を示す画像を模式的に示す図(図5(b))である。なお、図5(a)中のV1〜V3は、その時間における声帯の開放状態を示している。撮像素子242は、図5(a)に示すように、受光部242aの露光処理と、水平ライン毎にタイミングをずらして第1〜第nライン(1フレーム分)の電気信号の読み出しを行う読出し部242bによる読み出し処理と、を交互に繰り返して、被検体の体内画像を含む撮像信号を取得する。また、光源装置5からのパルス光による間欠照明は、上述した声帯V1〜V3の動き(声帯周波数)と同期して行われる(例えば、図5(a)の発光T1〜T3)。
FIG. 5 is a diagram for explaining the afterimage evaluation process performed by the afterimage evaluation unit of the endoscope system according to the first embodiment, and is a timing chart showing the timing of the readout process and the exposure process (FIG. 5A). ), And a diagram (FIG. 5B) schematically showing an image showing a vocal cord open state corresponding to a pseudo frame obtained by one light emission. In addition, V1-V3 in Fig.5 (a) has shown the open state of the vocal cords in the time. As shown in FIG. 5A, the
ここで、例えば発光T2では、発光期間中に互いに異なる開放状態の声帯V1〜V3が照明され、該照明による光を受光部242aが受光して得た像が撮像信号として出力される。例えば、発光T2により得られる声帯画像P1(図5(b)参照)は、フレーム1およびフレーム2として読み出されるべき電気信号が混在した疑似フレームによる画像であり、声帯の開放状態を示す声帯画像である。該疑似フレームは、ストロボ処理部402によってPWM信号と対応付けられた電気信号に基づいて生成することができる。声帯画像P1は、画素の水平ラインに沿って領域が分割され、フレーム1およびフレーム2によって像が生成されている第1領域R1と、フレーム1によって像が生成されている第2領域R2と、フレーム2によって像が生成されている第3領域R3と、からなる。各領域間の境界は、声帯V1〜V3の各開放状態に対する露光時間が異なるため、得られる画像の画素値(隣接する画素における輝度)に差が生じる。
For example, in the light emission T2, different open vocal cords V1 to V3 are illuminated during the light emission period, and an image obtained by the
図6は、本実施の形態1にかかる内視鏡システムの残像評価部が行う残像評価処理を説明する図であって、一回の発光により得られる疑似フレームに応じた声帯の開放状態を示す画像を模式的に示す図(図6(a))、および画像中の直線L1(画素の水平ラインと直交する方向(画素の垂直方向)と平行な直線)に沿った位置と、該位置における出力値(画素値)との関係を示すグラフ(図6(b))である。声帯画像P1に設けられた直線L1(図6(a)参照)上の位置に応じた出力値(画素値)は、第1領域R1〜第3領域R3のそれぞれの領域内では連続的に推移するものの、各領域の境界では、該境界位置における隣接画素(各境界に位置する画素)の出力値が異なり、非連続的に推移している。 FIG. 6 is a diagram for explaining an afterimage evaluation process performed by the afterimage evaluation unit of the endoscope system according to the first embodiment, and shows an open state of a vocal cord according to a pseudo frame obtained by one light emission. A diagram schematically showing the image (FIG. 6A), and a position along a straight line L1 (a straight line parallel to a direction (vertical direction of the pixel) perpendicular to the horizontal line of the pixel) in the image, It is a graph (Drawing 6 (b)) showing relation with an output value (pixel value). The output value (pixel value) corresponding to the position on the straight line L1 (see FIG. 6A) provided in the vocal cord image P1 continuously changes in each of the first region R1 to the third region R3. However, the output values of adjacent pixels (pixels located at each boundary) at the boundary position are different and change discontinuously at the boundary of each region.
図7は、本実施の形態1にかかる内視鏡システムの残像評価部が行う残像評価処理を説明する図であって、声帯の開放状態を模式的に示す図(図7(a))、および一つのフレームにおける読出し処理と露光処理とのタイミングを示すタイミングチャート(図7(b))である。図8は、本実施の形態1にかかる内視鏡システムの残像評価部が行う残像評価処理を説明する図であって、発光幅(発光Tnによる照明期間)が短い場合の水平ライン(H方向)上の位置と、該位置における明るさ(画素値)との関係を示すグラフである。図9は、本実施の形態1にかかる内視鏡システムの残像評価部が行う残像評価処理を説明する図であって、発光幅(発光Tnによる照明期間)が長い場合の水平ライン(H方向)上の位置と、該位置における明るさ(画素値)との関係を示すグラフである。 FIG. 7 is a diagram for explaining an afterimage evaluation process performed by the afterimage evaluation unit of the endoscope system according to the first embodiment, and schematically shows an open state of the vocal cords (FIG. 7A). 8 is a timing chart (FIG. 7B) showing timings of reading processing and exposure processing in one frame. FIG. 8 is a diagram for explaining an afterimage evaluation process performed by the afterimage evaluation unit of the endoscope system according to the first embodiment, where the horizontal line (H direction) when the light emission width (the illumination period by the light emission Tn) is short. ) Is a graph showing the relationship between the upper position and the brightness (pixel value) at the position. FIG. 9 is a diagram for explaining an afterimage evaluation process performed by the afterimage evaluation unit of the endoscope system according to the first embodiment, and is a horizontal line (H direction) when the light emission width (the illumination period by the light emission Tn) is long. ) Is a graph showing the relationship between the upper position and the brightness (pixel value) at the position.
発光Tnにより得られるフレームN(図7(b)参照)において、例えば所定の水平ライン(直線L2)に沿って画素値(明るさ)をみたとき、図8のように、発光幅(発光Tnによる照明期間)が短い場合は、声帯におけるひだと隙間(気管)との間における明るさ(エッジ)が急激に変化する。すなわち、明るさが最大値から最小値まで変化する際の画素数が相対的に少ない。この場合、得られる声帯画像は、ひだと隙間との間のコントラストが高い像、例えば声帯V2の像となる。この場合の発光Tnは、例えば、声帯V1,V3の状態を含まない、声帯V2の状態のみを照明する。 In the frame N (see FIG. 7B) obtained by the light emission Tn, for example, when the pixel value (brightness) is viewed along a predetermined horizontal line (straight line L2), as shown in FIG. 8, the light emission width (light emission Tn) is obtained. When the illumination period is short, the brightness (edge) between the folds and the gap (trachea) in the vocal cords changes abruptly. That is, the number of pixels when the brightness changes from the maximum value to the minimum value is relatively small. In this case, the obtained vocal cord image is an image having a high contrast between the folds and the gap, for example, an image of the vocal cord V2. The light emission Tn in this case, for example, illuminates only the state of the vocal cord V2, not including the state of the vocal cords V1, V3.
一方で、図9のように、発光幅(発光Tnによる照明期間)が長い場合は、声帯におけるひだと隙間との間における明るさ(エッジ)がH方向に沿って緩やかに変化する。すなわち、明るさが最大値から最小値まで変化する際の画素数が相対的に多い。この場合、得られる声帯画像は、ひだと隙間との間のコントラストが低い像となる。この場合の発光Tnは、例えば、声帯V1〜V3の状態を含む。この場合、得られる声帯画像は、声帯V1〜V3に示す開放状態が混在した像となる。 On the other hand, as shown in FIG. 9, when the light emission width (illumination period by the light emission Tn) is long, the brightness (edge) between the folds and the gap in the vocal cords gradually changes along the H direction. That is, the number of pixels when the brightness changes from the maximum value to the minimum value is relatively large. In this case, the obtained vocal cord image is an image with low contrast between the folds and the gap. The light emission Tn in this case includes, for example, the states of vocal cords V1 to V3. In this case, the obtained vocal cord image is an image in which open states shown in vocal cords V1 to V3 are mixed.
残像評価部410は、ストロボ処理部402から入力される撮像信号をもとに得られる、画素の水平ラインと直交する方向の画素値(輝度)の連続性の有無(非連続性を有する箇所の検出)と、画素の水平ライン(H方向)に沿った画素値(輝度)の変化(エッジ検出)と、に基づいて、残像の評価を行う。具体的には、残像評価部410は、画素の垂直方向における第1領域R1〜第3領域R3の各境界における隣接画素の画素値の差が、所定の値より大きい場合に非連続性を有するものとして検出するとともに、その差の大きさに基づいて残像の大きさを判定する。また、残像評価部410は、所定の画素数毎に存在度のレベルを設定し、検出したエッジの範囲に含まれる画素数に基づいて残像の大きさを判定する。残像評価部410は、水平および垂直方向の各残像の大きさをもとに残像の存在度を数値化し、残像評価結果として出力する。残像評価部410は、例えば、各残像の大きさの積の逆数を残像の品位として算出する場合、残像の品位が大きい(1に近い)ほど、残像の品位が良好であることを示す。
The
光源制御部408は、明るさ評価部409および残像評価部410からの評価結果に基づいて、光源51によるパルス光の照明期間であるパルス幅をパルス幅算出部408aに算出させる。具体的には、光源制御部408は、明るさ評価部409から取得した明るさの評価値と、残像評価部410からの残像レベルとをもとに、パルス幅算出部408aにパルス幅を算出させる。
Based on the evaluation results from the
上述した本実施の形態1によれば、明るさ評価部409および残像評価部410からの評価結果に基づいて、光源制御部408がパルス幅算出部408aにパルス幅を算出させ、算出したパルス幅に基づいてパルス生成部53がパルスを生成して光源51による発光を制御するようにしたので、画像の明るさと、残像発生の抑制とを両立した画像を取得可能なパルス幅を設定することができる。
According to the first embodiment described above, based on the evaluation results from the
(実施の形態1の変形例)
次に、本発明の実施の形態1の変形例について説明する。図10は、本実施の形態1の変形例にかかる内視鏡システムの概略構成を示すブロック図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。本変形例にかかる内視鏡システム1aは、上述した内視鏡2、音声入力装置3、光源装置5および表示装置6と、処理装置4aと、を備える。処理装置4aは、上述した実施の形態1の処理装置4の構成に加え、光源制御部408がゲイン値算出部408bを備える。
(Modification of Embodiment 1)
Next, a modification of the first embodiment of the present invention will be described. FIG. 10 is a block diagram illustrating a schematic configuration of an endoscope system according to a modification of the first embodiment. In addition, the same code | symbol is attached | subjected and demonstrated to the structure same as the structure mentioned above. An endoscope system 1a according to this modification includes the
ゲイン値算出部408bは、明るさ検出部410による評価結果に基づいて、AGC401が行うゲイン調整のゲイン調整値を算出し、該算出したゲイン調整値をAGC401に出力する。具体的には、ゲイン値算出部408bは、明るさ評価部409から取得した明るさの評価値(輝度)と、メモリ404に記憶されている明るさの最小値と、に基づいて電気信号の増幅率を算出し、該増幅率をゲイン調整値としてAGC401に出力する。
The gain
上述した変形例によれば、上述した実施の形態1のように、光源51によるパルス光の制御を行うとともに、明るさ評価部409から取得した明るさの評価結果をもとに得られた電気信号の増幅率を算出し、該算出した増幅率に基づいてAGC401がゲイン調整を行うようにしたので、画像の明るさを確実に確保するとともに、残像の発生を抑制した高画質の画像を取得することができる。
According to the modified example described above, as in the first embodiment described above, the pulse light is controlled by the
なお、本変形例のように、AGC401によるゲイン調整を制御するものであってもよいし、光源制御部408が、ゲイン値算出部408bにより得られたゲイン調整値に基づいて、光源51の出力を調整するように光源ドライバ52の制御を行うものであってもよい。
Note that, as in this modification, the gain adjustment by the
(実施の形態2)
次に、本発明の実施の形態2について説明する。図11は、本実施の形態2にかかる内視鏡システムの概略構成を示すブロック図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。上述した実施の形態1では、残像の品位の基準レベルおよび明るさの最小値(Min値)がメモリ404などに記憶され、パルス幅算出部408aが、基準レベルおよび明るさの最小値を参照してパルス幅を算出するものとして説明したが、本実施の形態2では、パルス幅算出部408aが外部からの入力に応じて変更された残像の品位(基準レベル)または明るさの最小値の設定値に基づいてパルス幅の算出を行う。
(Embodiment 2)
Next, a second embodiment of the present invention will be described. FIG. 11 is a block diagram illustrating a schematic configuration of the endoscope system according to the second embodiment. In addition, the same code | symbol is attached | subjected and demonstrated to the structure same as the structure mentioned above. In the first embodiment described above, the reference level of the afterimage quality and the minimum value (Min value) of the brightness are stored in the
本実施の形態2にかかる内視鏡システム1bは、上述した内視鏡2、音声入力装置3、処理装置4、光源装置5および表示装置6と、フットスイッチ7(入力手段)と、を備える。また、本実施の形態2において、内視鏡2には、複数のスイッチ部223の一つとして、パルス幅算出部408aに指示信号を入力するスイッチ223aが設けられている。スイッチ223aは、具体的には、光源51によるパルス光(パルス幅)の制御に対して、AGC401によるゲイン調整を優先する旨の指示信号を制御部411に入力する。
The
図12は、本実施の形態2にかかる内視鏡システムのフットスイッチの構成を模式的に示す図である。図12に示すフットスイッチ7は、基部70と、ペダル71(操作手段)と、を有する。基部70は、略平板状をなし、図示しない信号線を介して処理装置4(制御部411)に指示信号を出力する。ペダル71は、略板状をなし、一端が基部70と連結し、該基部70の主面に対して直交する方向(第1の方向(矢印Q1))に移動可能であるとともに、該ペダル71の主面と平行な方向(第2の方向(矢印Q2))に移動可能である。換言すれば、ペダル71は、該ペダル71の主面と基部70の主面とのなす角度が変更可能(矢印Q1)であるとともに、該ペダル71の主面と直交する軸のまわりに回動可能(矢印Q2)である。フットスイッチ7は、ペダル71が操作されている間、定期的に指示信号を出力し続け、ペダル71が基準位置に戻った際に指示信号の出力を停止する。本実施の形態2における基準位置とは、例えば、予め設定されてペダル71に重力および自重以外の荷重が加わっていない場合に復帰する位置であって、ペダルが基部70に対して所定の角度で立ち上がり、第2の方向の移動範囲の中央となる位置である。なお、本実施の形態2では、ペダルを操作手段として説明するが、術者が手で操作可能なレバーを用いるものであってもよい。
FIG. 12 is a diagram schematically illustrating the configuration of the foot switch of the endoscope system according to the second embodiment. A
フットスイッチ7は、術者のペダル71の操作、例えば術者の足でペダル71が押下され(矢印Q1方向の移動)、または回動すると(矢印Q2方向の移動)、該操作に応じて指示信号を入力する。具体的には、フットスイッチ7は、ペダル71が押下された場合、すなわちペダル71が矢印Q1方向に移動した場合、発光の周波数を調整する旨の指示信号を出力する。例えば、図12の矢印Q1の下方向にペダル71が押下された場合、フットスイッチ7は、押下量に応じて周波数を大きくする旨の指示信号を制御部411に入力する。発光の周波数を調整することにより、発光の周波数と、声帯の周波数との周波数差が調整される。例えば、周波数差がゼロとなれば同一の開放状態の声帯画像が撮像され、周波数差が大きくなるほど異なる開放状態の声帯画像が撮像されることとなる。
The
また、フットスイッチ7は、ペダル71が回動した場合、すなわちペダル71が矢印Q2方向に移動した場合、残像の品位の基準レベルまたは明るさの最小値を調整する旨の指示信号を出力する。例えば、図12の矢印Q2の右方向にペダル71が回動した場合、フットスイッチ7は、回動量に応じて明るさの最小値(Min値)を下げる旨の指示信号を制御部411に出力する。また、図12の矢印Q2の左方向にペダル71が回動した場合、フットスイッチ7は、回動量に応じて残像の品位の基準レベルを下げる旨の指示信号を制御部411に出力する。
Further, when the pedal 71 rotates, that is, when the pedal 71 moves in the direction of the arrow Q2, the
ここで、上述した実施の形態1では、パルス幅算出部408aは、グラフ(図3を参照)を生成後、メモリ404などに記憶されている設定値を参照し、曲線S1と観察に必要とされる明るさの最小値との交点S11、および曲線S2と観察において許容される残像の品位(基準レベル)との交点S21を求め、該交点S11,S21の間(パルス幅許容範囲内)でパルス幅を調整する。
Here, in
図13は、本実施の形態2にかかる内視鏡システムのパルス幅算出部が行うパルス幅算出処理を説明する図であって、最適ポイントが存在しない場合のグラフである。図13に示すグラフは、パルス幅(デューティ比)と画像の明るさとの関係を示す曲線S3と、デューティ比と残像の品位との関係を示す曲線S4と、を示す。声帯のサイズや声量、声帯振動の振幅の大きさにより、最適ポイントが存在しない場合がある。ここでいう最適ポイントとは、得られるパルス幅が所定の値より大きいか否かでその存在を判断し、パルス幅が所定の値より小さい場合に最適ポイントが存在しないものと判断される。最適ポイントが存在しないと、パルス幅算出部408aはパルス幅を算出することができない。
FIG. 13 is a graph for explaining a pulse width calculation process performed by the pulse width calculation unit of the endoscope system according to the second embodiment, and is a graph when there is no optimum point. The graph shown in FIG. 13 shows a curve S3 indicating the relationship between the pulse width (duty ratio) and the brightness of the image, and a curve S4 indicating the relationship between the duty ratio and the quality of the afterimage. Depending on the size and volume of the vocal cords and the amplitude of the vocal cord vibration, there may be no optimum point. Here, the optimum point is determined based on whether or not the obtained pulse width is larger than a predetermined value. If the pulse width is smaller than the predetermined value, it is determined that there is no optimum point. If there is no optimum point, the pulse
この場合、術者は、残像の品位または明るさの最小値の設定値を調整して、曲線S3と観察に必要とされる明るさの最小値(設定されている最小値:設定値)との交点S31、または曲線S4と観察において許容される残像の品位(設定されている基準レベル:設定値)との交点S41の位置を変更することによって最適ポイントが存在するようにフットスイッチ7を操作する。
In this case, the surgeon adjusts the setting value of the quality of the afterimage or the minimum value of brightness, and the curve S3 and the minimum value of brightness required for observation (set minimum value: setting value) and The
図14は、本実施の形態2にかかる内視鏡システムのパルス幅算出部が行うパルス幅算出処理を説明する図であって、明るさの最小値を調整した場合のグラフである。術者の操作によりペダル71が矢印Q2の右方向に回動した場合、フットスイッチ7は、回動量に応じて明るさの最小値を下げる旨の指示信号を制御部411に入力する。制御部411は、入力された指示信号にしたがって明るさの最小値(設定値)を下げて設定値の調整を行い、パルス幅算出部408aに対し、調整後の明るさの最小値(調整値)でパルス幅の算出を行うよう指示する。
FIG. 14 is a diagram for explaining a pulse width calculation process performed by the pulse width calculation unit of the endoscope system according to the second embodiment, and is a graph when the minimum value of brightness is adjusted. When the pedal 71 is rotated in the right direction of the arrow Q2 by the operator's operation, the
パルス幅算出部408aは、制御部411の指示に基づき、曲線S3と調整後の明るさの最小値(調整値)との交点S32を求め、該交点S32と交点S41との間をパルス幅許容範囲(図14中のハッチング部分)として規定する。パルス幅算出部408aは、規定されたパルス幅許容範囲内でパルス幅を調整する。これにより、明るさが若干劣化するものの、残像の少ない(残像の品位を維持した)画像を取得することができる。
Based on the instruction from the
図15は、本実施の形態2にかかる内視鏡システムのパルス幅算出部が行うパルス幅算出処理を説明する図であって、残像の品位を調整した場合のグラフである。術者の操作によりペダル71が矢印Q2の左方向に回動した場合、フットスイッチ7は、回動量に応じて残像の品位の基準レベル(設定値)を下げる旨の指示信号を制御部411に入力する。制御部411は、入力された指示信号にしたがって基準レベル(設定値)を下げて設定値の調整を行い、パルス幅算出部408aに対し、調整後の基準レベル(調整値)でパルス幅の算出を行うよう指示する。
FIG. 15 is a graph for explaining the pulse width calculation process performed by the pulse width calculation unit of the endoscope system according to the second embodiment, and is a graph when the quality of the afterimage is adjusted. When the pedal 71 is rotated in the left direction of the arrow Q2 by the operator's operation, the
パルス幅算出部408aは、制御部411の指示に基づき、曲線S4と調整後の基準レベル(調整値)との交点S42を求め、交点S31と交点S42との間をパルス幅許容範囲(図15中のハッチング部分)として規定する。パルス幅算出部408aは、規定されたパルス幅許容範囲内でパルス幅を調整する。これにより、残像が若干増大するものの、明るさを維持した画像を取得することができる。
Based on an instruction from the
このように、実施の形態2では、パルス幅算出部408aが、画像の明るさの最小値に基づき設定されるパルス幅を下限値とし、基準レベルに基づき設定されるパルス幅を上限値としてパルス幅許容範囲を規定し、該規定したパルス幅許容範囲内でパルス幅を算出する。
As described above, in the second embodiment, the pulse
また、術者は、スイッチ223aを押下した状態でペダル71を矢印Q2方向に回動することにより、ノイズ調整値を変更する。図16は、本実施の形態2にかかる内視鏡システムのパルス幅算出部が行うパルス幅算出処理を説明する図であって、ゲイン調整値を調整した場合のグラフである。例えば、術者の操作によりスイッチ223aが押下されて指示信号が制御部411に入力され、かつペダル71が矢印Q2の右方向に回動して指示信号が入力された場合、フットスイッチ7は、回動量に応じてゲイン調整値を調整、具体的には電気信号の増幅率を大きくする旨の指示信号を制御部411に入力する。
Further, the surgeon changes the noise adjustment value by rotating the pedal 71 in the arrow Q2 direction while pressing the
制御部411は、スイッチ223aおよびフットスイッチ7から指示信号が入力されると、回動量に応じてゲイン調整値(電気信号の増幅率)を調整するようAGC401に指示する。また、パルス幅算出部408aは、変更された増幅率に応じて曲線S3の傾きを修整し、パルス幅(デューティ比)と画像の明るさとの関係を示す曲線S3aを新たに生成する。パルス幅算出部408aは、生成した曲線S3aと調整後の明るさの最小値(設定値)との交点S33を求め、該交点S33と交点S41との間でパルス幅を調整する。
When the instruction signal is input from the
AGC401は、制御部411の指示に基づき、電気信号の増幅率を上げて、撮像部24から入力される電気信号のゲイン調整を行う。これにより、ノイズの発生率が若干増大するものの、明るさを維持し、残像の少ない(残像の品位を維持した)画像を取得することができる。
The
上述した本実施の形態2によれば、外部からの入力に応じてパルス幅算出部408aが設定値を変更してパルス幅を算出し、算出したパルス幅に基づいてパルス生成部53がパルスを生成して光源51による発光を制御するようにしたので、パルス幅を算出するためのグラフにおいて最適ポイントが存在しない場合であっても、画像の明るさと、残像の発生を抑制した高画質とのうち、少なくとも一方を維持し、他方の微調整した画像を取得することができる。
According to the second embodiment described above, the pulse
(実施の形態3)
次に、本発明の実施の形態3について説明する。本実施の形態3は、上述した実施の形態1の構成において、通常観察モードと、スーパースローモードとの二つの観察モードが切り替え可能であり、入力された指示信号に応じて観察モードを切り替えて撮像処理および画像表示処理を行う。
(Embodiment 3)
Next, a third embodiment of the present invention will be described. In the third embodiment, the two observation modes of the normal observation mode and the super slow mode can be switched in the configuration of the first embodiment described above, and the observation mode is switched according to the input instruction signal. An imaging process and an image display process are performed.
制御部411は、例えば入力部406を介して観察モードを切り替える旨の指示信号の入力があると、撮像部24に対して指示信号に応じた観察モードで撮像処理を行うよう指示する。撮像部24は、観察モードが通常観察モードである場合、読出し部242bは、受光部242aにおいて有効画素領域のすべての画素の電気信号を読み出して、AGC401に出力する。
For example, when an instruction signal for switching the observation mode is input via the
一方、観察モードがスーパースローモードである場合、読出し部242bは、受光部242aにおいて有効画素領域の画素のうち一部の画素を間引いて部分的に電気信号を読み出して、AGC401に出力する。例えば、読出し部242bは、各ラインにおいて一つおきに読み出す。なお、撮像部24からの出力ビット数を減らしたり、ケーブルの伝送速度を上げたりして撮像部24の駆動周波数を上げるものであってもよい。スーパースローモードでは隣接画素加算などにより、感度を向上させることが好ましい。
On the other hand, when the observation mode is the super slow mode, the
具体的には、通常観察モードでは、撮像部24、処理装置4および表示装置6は、例えば60Hzの駆動周波数で駆動する。一方、スーパースローモードでは、例えば、撮像部24、処理装置4は480Hzの駆動周波数で駆動し、表示装置6は60Hzの駆動周波数で駆動する。
Specifically, in the normal observation mode, the
図17は、本実施の形態3にかかる内視鏡システムにおける観察モードのフレーム出力を説明するタイミングチャートであって、図17(a)は通常観察モードにおけるタイミングチャートを示し、図17(b)はスーパースローモードにおけるタイミングチャートを示している。通常観察モードでは、撮像処理の駆動周波数と、表示装置6が表示を行うための駆動周波数が同一であるため、表示装置6ではフレームレートと同等の速度で各フレームの画像表示が行われる。このため、表示装置6は、被写体の動きが実際と同等の動作速度となるような動画が再生される。
FIG. 17 is a timing chart for explaining the frame output in the observation mode in the endoscope system according to the third embodiment. FIG. 17A shows a timing chart in the normal observation mode, and FIG. Shows a timing chart in the super slow mode. In the normal observation mode, since the driving frequency of the imaging process is the same as the driving frequency for the
一方、スーパースローモードでは、撮像処理の駆動周波数が、表示装置6が表示を行うための駆動周波数より大きいため、表示装置6ではフレームレートより遅い速度で各フレームの画像表示が行われる。このため、表示装置6は、被写体の動きが実際より遅い動作速度となるような動画が再生される。
On the other hand, in the super slow mode, since the driving frequency of the imaging process is higher than the driving frequency for the
また、メモリ404は、撮像処理時の駆動周波数に応じて記憶する。このため、メモリ404を参照して表示装置6に画像(動画)を表示する際であっても、撮像時の観察モードに応じた動画再生を行うことができる。
Further, the
上述した実施の形態3によれば、観察モードに応じて撮像処理速度および画像表示速度を変更するようにしたので、発光と同期が難しい被写体の振動、例えば、異常声帯振動(声帯振動が不規則、非対称または非周期性となる場合)であっても、声帯のような動く被写体の観察を行なうことができる。また、モードを変更するのみで観察を行なえるため、安価に実現することができる。 According to the third embodiment described above, since the imaging processing speed and the image display speed are changed according to the observation mode, vibration of the subject that is difficult to synchronize with light emission, for example, abnormal vocal cord vibration (voice vocal vibration is irregular) Even when the object is asymmetrical or non-periodic), a moving subject such as a vocal cord can be observed. Moreover, since observation can be performed only by changing the mode, it can be realized at low cost.
なお、上述した実施の形態1,2において、光源51が出射する白色光(照明光)の光路上に配置され、回転することにより、白色光のうち所定の波長帯域の光のみを透過させる複数のフィルタを有する回転フィルタを備えてもよい。回転フィルタを設けることにより、赤色光(R)、緑色光(G)および青色光(B)それぞれの波長帯域を有する光を順次透過させて出射する。回転フィルタをパルス光の出射タイミングに合わせて回転制御することにより、光源51が出射する白色光(W照明)のうち、狭帯域化した赤色光(R照明)、緑色光(G照明)および青色光(B照明)いずれかの光を内視鏡2に順次出射(面順次方式)することができる。また、回転フィルタのほか、各色の波長帯域の光をそれぞれ出射する光源(例えばLED光源)を用いるものであってもよい。
In the first and second embodiments described above, a plurality of light beams that are arranged on the optical path of white light (illumination light) emitted from the
また、上述した実施の形態1,2では、撮像素子242が制御部411の制御のもとで動作するものとして説明したが、タイミング検知部47および照明タイミング設定部48を内視鏡2側に設けて、内視鏡2側で偏光素子53の制御を行うものであってもよい。また、撮像素子242が処理装置4で生成されたクロック信号に基づき動作するものとして説明したが、内視鏡2にクロック生成部を設け、該クロック生成部が生成したクロック信号(内視鏡2で生成されたクロック信号)に基づき動作するものであってもよいし、外部のクロック発生器により生成されたクロック信号に基づいて動作するものであってもよい。
In the first and second embodiments described above, the
また、上述した実施の形態1,2では、AGC401が処理装置4に設けられるものとして説明したが、内視鏡2(例えば撮像部24)に設けられるものであってもよい。また、パルス幅算出部408aおよびゲイン値算出部408bが光源制御部408に設けられるものとして説明したが、光源制御部408とは独立して設けられ、各々が、明るさ評価部409および残像評価部410から評価値を取得するものであってもよい。
In the first and second embodiments described above, the
また、上述した実施の形態1,2では、被写体が声帯であるものとして説明したが、声帯のほか、高速で振動し、振動周波数検出部407により周波数を検出できる被写体であれば適用可能である。
In the first and second embodiments described above, the subject has been described as a vocal cord. However, in addition to the vocal cord, any subject that vibrates at high speed and can detect the frequency by the vibration
以上のように、本発明にかかる撮像システムおよび処理装置は、画像の明るさと、残像発生の抑制とを両立した画像を取得可能なパルス幅を設定するのに有用である。 As described above, the imaging system and the processing apparatus according to the present invention are useful for setting a pulse width capable of acquiring an image that achieves both image brightness and suppression of afterimage generation.
1,1a,1b 内視鏡システム
2 内視鏡
3 音声入力装置
4 処理装置
5 光源装置
6 表示装置
7 フットスイッチ
21 挿入部
22 操作部
23 ユニバーサルコード
24 撮像部
401 AGC
402 ストロボ処理部
403 画像処理部
404 メモリ
405 表示制御部
406 入力部
407 振動周波数検出部
408 光源制御部
408a パルス幅算出部
408b ゲイン値算出部
409 明るさ評価部
410 残像評価部
411 制御部
51 光源
52 光源ドライバ
53 パルス生成部
211 先端部
212 湾曲部
213 可撓管部
231 分岐コード
232,233 コネクタ
242 撮像素子
242a 受光部
242b 読出し部
1, 1a,
402
Claims (8)
パルス光を生成する光源と、
前記撮像信号に応じた画像の明るさを検出して、明るさ評価値を算出する明るさ評価部と、
前記撮像信号に応じた画像中の残像の大きさを評価し、該評価した結果を残像評価値として出力する残像評価部と、
前記明るさ評価値および前記残像評価値をもとに、前記パルス光のパルス幅を算出するパルス幅算出部と、
前記パルス幅算出部が算出したパルス幅で前記パルス光を生成するように前記光源を制御する光源制御部と、
を備えたことを特徴とする撮像システム。 An imaging unit for imaging an imaging target and outputting an imaging signal;
A light source that generates pulsed light;
A brightness evaluation unit that detects brightness of an image according to the imaging signal and calculates a brightness evaluation value;
An afterimage evaluation unit that evaluates the size of an afterimage in the image according to the imaging signal and outputs the evaluation result as an afterimage evaluation value;
Based on the brightness evaluation value and the afterimage evaluation value, a pulse width calculation unit that calculates a pulse width of the pulsed light,
A light source controller that controls the light source to generate the pulsed light with the pulse width calculated by the pulse width calculator;
An imaging system comprising:
マトリックス状に配列され、受光した光を光電変換して電気信号を生成する複数の画素を有する受光部と、
前記受光部の画素行ごとに順次電気信号を読み出す読出し部と、
を有し、
前記残像評価部は、前記読出し部によって読み出された前記電気信号に基づいて、前記残像の大きさを評価することを特徴とする請求項1に記載の撮像システム。 The imaging unit
A light receiving section that is arranged in a matrix and has a plurality of pixels that photoelectrically convert received light to generate an electrical signal;
A readout unit that sequentially reads out an electrical signal for each pixel row of the light receiving unit;
Have
The imaging system according to claim 1, wherein the afterimage evaluation unit evaluates the size of the afterimage based on the electrical signal read by the reading unit.
前記パルス幅算出部は、前記記憶部に記憶された前記設定情報に基づき規定されるパルス幅許容範囲内で前記パルス幅を算出することを特徴とする請求項1または2に記載の撮像システム。 The pulse width calculation unit further includes a storage unit that stores setting information for calculating a pulse width,
The imaging system according to claim 1, wherein the pulse width calculation unit calculates the pulse width within a pulse width allowable range defined based on the setting information stored in the storage unit.
前記入力手段により入力された変更情報に基づいて、前記設定情報を変更する制御部と、
をさらに備え、
前記パルス幅算出部は、前記制御部により変更された設定情報をもとに前記パルス幅を算出することを特徴とする請求項3に記載の撮像システム。 Input means for inputting change information for changing the setting information;
A control unit for changing the setting information based on the change information input by the input means;
Further comprising
The imaging system according to claim 3 , wherein the pulse width calculation unit calculates the pulse width based on setting information changed by the control unit .
前記パルス幅算出部は、前記明るさの最小値および前記基準レベルをもとにパルス幅を算出することを特徴とする請求項3または4に記載の撮像システム。 The setting information includes a minimum value of the brightness of the image and a reference level of the quality of the afterimage,
The imaging system according to claim 3 or 4, wherein the pulse width calculation unit calculates a pulse width based on the minimum value of the brightness and the reference level.
前記撮像信号に基づいて、該撮像信号に応じた画像の明るさを検出して、明るさ評価値を算出する明るさ評価部と、
前記撮像信号に基づいて、該撮像信号に応じた画像中の残像の大きさを評価し、該評価した結果を残像評価値として出力する残像評価部と、
前記明るさ評価値および前記残像評価値をもとに、前記パルス光のパルス幅を算出するパルス幅算出部と、
前記パルス幅算出部が算出したパルス幅で前記パルス光を生成するように前記光源を制御する光源制御部と、
を備えたことを特徴とする処理装置。 An imaging device having an imaging unit that images an imaging target and outputs an imaging signal, and a light source device that has a light source that generates pulsed light based on a supplied pulse are connected to the imaging device and the light source device, respectively. A processing device capable of transmitting and receiving information between,
A brightness evaluation unit that detects brightness of an image according to the imaging signal based on the imaging signal and calculates a brightness evaluation value;
An afterimage evaluation unit that evaluates the size of an afterimage in an image corresponding to the image pickup signal based on the image pickup signal, and outputs the evaluation result as an afterimage evaluation value;
Based on the brightness evaluation value and the afterimage evaluation value, a pulse width calculation unit that calculates a pulse width of the pulsed light,
A light source controller that controls the light source to generate the pulsed light with the pulse width calculated by the pulse width calculator;
A processing apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014180120A JP6249909B2 (en) | 2014-09-04 | 2014-09-04 | Imaging system and processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014180120A JP6249909B2 (en) | 2014-09-04 | 2014-09-04 | Imaging system and processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016052453A JP2016052453A (en) | 2016-04-14 |
JP6249909B2 true JP6249909B2 (en) | 2017-12-20 |
Family
ID=55744587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014180120A Active JP6249909B2 (en) | 2014-09-04 | 2014-09-04 | Imaging system and processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6249909B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020151091A (en) * | 2019-03-19 | 2020-09-24 | ソニー・オリンパスメディカルソリューションズ株式会社 | Light source device, medical observation system, illumination method, and program |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6878024B2 (en) * | 2017-02-02 | 2021-05-26 | キヤノンメディカルシステムズ株式会社 | Medical operation device and X-ray diagnostic device |
US10835116B2 (en) * | 2017-11-16 | 2020-11-17 | Karl Storz Imaging, Inc. | Vocal cord stroboscopy |
WO2019155902A1 (en) | 2018-02-09 | 2019-08-15 | オリンパス株式会社 | Image capturing system |
WO2021161394A1 (en) * | 2020-02-10 | 2021-08-19 | オリンパス株式会社 | Image processing device, imaging system, image processing method, and program |
WO2022014058A1 (en) * | 2020-07-17 | 2022-01-20 | オリンパス株式会社 | Endoscope system, control device, lighting method, and program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0646266B2 (en) * | 1985-12-28 | 1994-06-15 | 株式会社町田製作所 | Illumination light supply device used for electronic endoscope device |
JP2000166867A (en) * | 1998-12-11 | 2000-06-20 | Olympus Optical Co Ltd | Endoscope imager |
JP2000300514A (en) * | 1999-04-16 | 2000-10-31 | Olympus Optical Co Ltd | Image pickup device for endoscope |
JP4027603B2 (en) * | 2001-01-18 | 2007-12-26 | ペンタックス株式会社 | Endoscope light source system and endoscope |
JP2011206227A (en) * | 2010-03-29 | 2011-10-20 | Fujifilm Corp | Endoscopic system |
-
2014
- 2014-09-04 JP JP2014180120A patent/JP6249909B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020151091A (en) * | 2019-03-19 | 2020-09-24 | ソニー・オリンパスメディカルソリューションズ株式会社 | Light source device, medical observation system, illumination method, and program |
JP7239360B2 (en) | 2019-03-19 | 2023-03-14 | ソニー・オリンパスメディカルソリューションズ株式会社 | Light source device, medical observation system, illumination method and program |
US11612041B2 (en) | 2019-03-19 | 2023-03-21 | Sony Olympus Medical Solutions Inc. | Light source device, medical observation system, illumination method, and computer readable recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP2016052453A (en) | 2016-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6249909B2 (en) | Imaging system and processing apparatus | |
JP5452785B1 (en) | Imaging system | |
US10051193B2 (en) | Processing device, imaging device, and endoscope system | |
JP5927370B1 (en) | Imaging apparatus and processing apparatus | |
US20130307951A1 (en) | Imaging apparatus | |
JP7230174B2 (en) | Endoscope system, image processing device, and control method for image processing device | |
JP5467182B1 (en) | Imaging system | |
WO2016104386A1 (en) | Dimmer, imaging system, method for operating dimmer, and operating program for dimmer | |
WO2016039227A1 (en) | Imaging device and processing device | |
WO2015114906A1 (en) | Imaging system and imaging device | |
CN108463157B (en) | Processor for endoscope | |
JP6489644B2 (en) | Imaging system | |
US11503990B2 (en) | Imaging system, processing device and illumination control method to set emission timing of illumination light in readout period of signal value of imager | |
JP6099445B2 (en) | Imaging system | |
JP2020151090A (en) | Medical light source device and medical observation system | |
JP6242552B1 (en) | Image processing device | |
JP6937902B2 (en) | Endoscope system | |
US11399700B2 (en) | Processing device, endoscope, endoscope system, image processing method, and computer-readable recording medium for correcting a defective pixel | |
WO2016047563A1 (en) | Transmission system and processing device | |
JP2009095466A (en) | Endoscope system | |
JP2016025509A (en) | Imaging system and endoscope | |
JP2017109037A (en) | Imaging System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171121 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6249909 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |