JP6230511B2 - Endoscope device - Google Patents

Endoscope device Download PDF

Info

Publication number
JP6230511B2
JP6230511B2 JP2014182903A JP2014182903A JP6230511B2 JP 6230511 B2 JP6230511 B2 JP 6230511B2 JP 2014182903 A JP2014182903 A JP 2014182903A JP 2014182903 A JP2014182903 A JP 2014182903A JP 6230511 B2 JP6230511 B2 JP 6230511B2
Authority
JP
Japan
Prior art keywords
clock
unit
speed clock
control unit
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014182903A
Other languages
Japanese (ja)
Other versions
JP2016054878A (en
Inventor
誠一郎 木許
誠一郎 木許
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014182903A priority Critical patent/JP6230511B2/en
Publication of JP2016054878A publication Critical patent/JP2016054878A/en
Application granted granted Critical
Publication of JP6230511B2 publication Critical patent/JP6230511B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、被検体内に導入されて該被検体内の画像を撮像する内視鏡装置に関する。   The present invention relates to an endoscope apparatus that is introduced into a subject and captures an image in the subject.

従来、内視鏡の分野において、患者等の被検体の消化管内に導入可能な大きさに形成されたカプセル型の筐体の内部に撮像機能および無線通信機能を備えたカプセル型内視鏡が登場している。カプセル型内視鏡は、被検体の口から飲み込まれた後、蠕動運動等によって消化管内を移動する。カプセル型内視鏡は、被検体の消化管内部に導入されてから被検体外部に排出されるまでの期間、この被検体の臓器内部の画像(以下、体内画像という場合がある)を順次取得し、取得した体内画像を被検体外部の受信装置に順次無線送信する(例えば、特許文献1参照)。   2. Description of the Related Art Conventionally, in the field of endoscopes, capsule endoscopes having an imaging function and a wireless communication function inside a capsule-type casing that is formed in a size that can be introduced into the digestive tract of a subject such as a patient. Has appeared. The capsule endoscope moves through the digestive tract by peristaltic movement after being swallowed from the mouth of the subject. Capsule endoscopes sequentially acquire images inside the organ of the subject (hereinafter sometimes referred to as in-vivo images) during the period from when the capsule endoscope is introduced into the digestive tract of the subject until it is discharged outside the subject. Then, the acquired in-vivo images are sequentially wirelessly transmitted to a receiving device outside the subject (see, for example, Patent Document 1).

カプセル型内視鏡によって撮像された各体内画像は、受信装置を介して画像表示装置に取り込まれる。画像表示装置は、取り込んだ各体内画像をディスプレイに静止画表示または動画表示する。医師または看護師等のユーザは、画像表示装置に表示された被検体の各体内画像を観察し、各体内画像の観察を通して被検体の臓器内部を検査する。   Each in-vivo image captured by the capsule endoscope is taken into the image display device via the receiving device. The image display device displays each captured in-vivo image on a display as a still image or a moving image. A user such as a doctor or a nurse observes each in-vivo image of the subject displayed on the image display device, and examines the inside of the organ of the subject through observation of each in-vivo image.

米国特許第6709387号明細書US Pat. No. 6,709,387

カプセル型内視鏡では、動作時間を長くする、あるいは、電池を小型化するために、電気回路の消費電力を抑える取り組みがなされている。また、カプセル型内視鏡に対しては、高フレームレートでの撮影も要求されている。ここで、カプセル型内視鏡が、高フレームレートで撮影するためには、通常のクロックよりも高速のクロックでの動作が必要となる。しかしながら、この高速のクロックを生成するためには、さらに電力が必要となるため、カプセル型内視鏡の消費電力の増大に繋がってしまうという問題があった。   In capsule endoscopes, efforts have been made to reduce the power consumption of electric circuits in order to increase the operating time or to reduce the size of the battery. In addition, photographing at a high frame rate is required for the capsule endoscope. Here, in order for the capsule endoscope to capture images at a high frame rate, it is necessary to operate with a clock faster than a normal clock. However, in order to generate this high-speed clock, more power is required, which leads to an increase in power consumption of the capsule endoscope.

本発明は、上記に鑑みてなされたものであって、通常のクロックよりも高速のクロックを用いた動作を行う場合であっても消費電力の増大を抑制することができる内視鏡装置を提供することを目的とする。   The present invention has been made in view of the above, and provides an endoscope apparatus capable of suppressing an increase in power consumption even when an operation using a clock faster than a normal clock is performed. The purpose is to do.

上述した課題を解決し、目的を達成するために、本発明にかかる内視鏡装置は、照明光を発する照明部と、前記照明光で照明された被写体を撮像する撮像部と、前記撮像部が撮像した撮像信号を処理する信号処理部と、前記信号処理部が処理した撮像信号を無線送信する送信部と、第1のクロックを生成する第1のクロック生成部と、前記第1のクロックよりも周波数が高い第2のクロックを、前記第1のクロックに対応させて、間欠的に生成する第2のクロック生成部と、前記第2のクロックが生成されている間は、前記第2のクロックを用いて、少なくとも前記撮像部を制御する制御部と、を備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, an endoscope apparatus according to the present invention includes an illumination unit that emits illumination light, an imaging unit that captures an object illuminated by the illumination light, and the imaging unit. A signal processing unit that processes an imaging signal captured by the signal processing unit, a transmission unit that wirelessly transmits an imaging signal processed by the signal processing unit, a first clock generation unit that generates a first clock, and the first clock A second clock generation unit that intermittently generates a second clock having a higher frequency than the second clock in correspondence with the first clock, and the second clock is generated while the second clock is generated. And a control unit that controls at least the imaging unit using the clock.

また、本発明にかかる内視鏡装置は、前記制御部は、前記第1のクロックを基準クロックとして前記第2のクロックを用いた制御を開始することを特徴とする。   Moreover, the endoscope apparatus according to the present invention is characterized in that the control unit starts control using the second clock with the first clock as a reference clock.

また、本発明にかかる内視鏡装置は、前記第2のクロック生成部は、前記第1のクロックから前記第2のクロックを生成することを特徴とする。   Moreover, the endoscope apparatus according to the present invention is characterized in that the second clock generation unit generates the second clock from the first clock.

また、本発明にかかる内視鏡装置は、前記制御部は、前記第2のクロックが生成されている間は、前記第2のクロックを用いて前記信号処理部を制御することを特徴とする。   In the endoscope apparatus according to the present invention, the control unit controls the signal processing unit using the second clock while the second clock is generated. .

また、本発明にかかる内視鏡装置は、前記制御部は、前記第2のクロックが生成されている間は、前記第2のクロックを用いて前記照明部を制御することを特徴とする。   Moreover, the endoscope apparatus according to the present invention is characterized in that the control unit controls the illumination unit using the second clock while the second clock is generated.

また、本発明にかかる内視鏡装置は、前記制御部は、前記第2のクロックが生成されている間は、前記第2のクロックを用いて前記送信部を制御することを特徴とする。   In the endoscope apparatus according to the present invention, the control unit controls the transmission unit using the second clock while the second clock is generated.

また、本発明にかかる内視鏡装置は、前記第2のクロック生成部は、周期的に前記第2のクロックを生成することを特徴とする。   Moreover, the endoscope apparatus according to the present invention is characterized in that the second clock generation unit periodically generates the second clock.

また、本発明にかかる内視鏡装置は、前記第2のクロック生成部は、予め設定された期間に前記第2のクロックを生成することを特徴とする。   Moreover, the endoscope apparatus according to the present invention is characterized in that the second clock generation unit generates the second clock during a preset period.

本発明にかかる内視鏡装置によれば、第1のクロックを生成する第1のクロック生成部と、第1のクロックよりも周波数が高い第2のクロックを、第1のクロックに対応させて、間欠的に生成する第2のクロック生成部と、第2のクロックが生成された場合には、少なくとも撮像部を第2のクロックを用いて制御する制御部と、を備え、第2のクロックを用いた撮像部の制御を間欠的に行っているため、第1のクロックよりも周波数が高い第2のクロックを用いた高フレームレートでの撮像動作を可能としながら、消費電力の増大も抑制することができる。   According to the endoscope apparatus according to the present invention, the first clock generation unit that generates the first clock and the second clock having a higher frequency than the first clock are associated with the first clock. A second clock generation unit that generates intermittently, and a control unit that controls at least the imaging unit using the second clock when the second clock is generated, and the second clock Since the image pickup unit is controlled intermittently, it is possible to perform an image pickup operation at a high frame rate using a second clock whose frequency is higher than that of the first clock, while suppressing an increase in power consumption. can do.

図1は、本発明の実施の形態にかかるカプセル型内視鏡システムの概略構成を示す模式図である。FIG. 1 is a schematic diagram showing a schematic configuration of a capsule endoscope system according to an embodiment of the present invention. 図2は、図1に示すカプセル型内視鏡、受信装置および処理装置の構成を示すブロック図である。FIG. 2 is a block diagram illustrating configurations of the capsule endoscope, the reception device, and the processing device illustrated in FIG. 図3は、図2に示すカプセル型内視鏡において生成される低速クロックおよび高速クロックのタイミングチャートである。FIG. 3 is a timing chart of the low-speed clock and the high-speed clock generated in the capsule endoscope shown in FIG.

以下の説明では、本発明を実施するための形態(以下、「実施の形態」という)として、医療用のカプセル型内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。   In the following description, a medical capsule endoscope system will be described as a mode for carrying out the present invention (hereinafter referred to as “embodiment”). Moreover, this invention is not limited by this embodiment. Furthermore, the same code | symbol is attached | subjected to the same part in description of drawing.

(実施の形態)
図1は、本発明の実施の形態にかかるカプセル型内視鏡システムの概略構成を示す模式図である。図1に示すように、本実施の形態にかかるカプセル型内視鏡システム1は、被検体H内に導入されて該被検体H内を撮像することにより撮像信号を取得し、無線信号に重畳して送信するカプセル型内視鏡2と、カプセル型内視鏡2から送信された無線信号を、被検体Hに装着された複数の受信アンテナ3a〜3hを備えた受信アンテナユニット3を介して受信する受信装置4と、カプセル型内視鏡2が撮像した撮像信号を、クレードル7を介して、受信装置4から取り込み、該撮像信号を用いて被検体H内の画像を作成する処理装置5と、を備える。処理装置5によって作成された被検体H内の画像は、例えば、処理装置5に接続する表示装置6から表示出力される。
(Embodiment)
FIG. 1 is a schematic diagram showing a schematic configuration of a capsule endoscope system according to an embodiment of the present invention. As shown in FIG. 1, the capsule endoscope system 1 according to the present embodiment acquires an imaging signal by being introduced into the subject H and imaging the subject H, and is superimposed on the radio signal. The capsule endoscope 2 to be transmitted and the radio signal transmitted from the capsule endoscope 2 via the reception antenna unit 3 including a plurality of reception antennas 3a to 3h attached to the subject H. A receiving device 4 for receiving and an imaging signal captured by the capsule endoscope 2 from the receiving device 4 via the cradle 7, and a processing device 5 for creating an image in the subject H using the imaging signal. And comprising. The image in the subject H created by the processing device 5 is displayed and output from the display device 6 connected to the processing device 5, for example.

図2は、図1に示すカプセル型内視鏡2、受信装置4および処理装置5の構成を示すブロック図である。カプセル型内視鏡2は、被検体Hが嚥下可能な大きさのカプセル形状の筐体に撮像素子等の各種部品を内蔵した装置である。カプセル型内視鏡2は、被検体H内を撮像する撮像部21と、被検体H内を照明する照明部22と、動作制御部23と、メモリ23aと、信号処理部24と、送信部25と、アンテナ26と、低速クロック生成部(第1のクロック生成部)27と、高速クロック生成部(第2のクロック生成部)28と、電源29aと、電源制御部29bと、電源回路29cと、を備える。   FIG. 2 is a block diagram illustrating configurations of the capsule endoscope 2, the receiving device 4, and the processing device 5 illustrated in FIG. The capsule endoscope 2 is a device in which various components such as an image sensor are incorporated in a capsule-shaped housing that is sized to allow the subject H to swallow. The capsule endoscope 2 includes an imaging unit 21 that images the inside of the subject H, an illumination unit 22 that illuminates the inside of the subject H, an operation control unit 23, a memory 23a, a signal processing unit 24, and a transmission unit. 25, an antenna 26, a low-speed clock generation unit (first clock generation unit) 27, a high-speed clock generation unit (second clock generation unit) 28, a power supply 29a, a power supply control unit 29b, and a power supply circuit 29c. And comprising.

撮像部21は、例えば、受光面に結像された光学像から被検体H内を表す撮像信号を生成して出力するCCD撮像素子、CMOS撮像素子などの撮像素子と、該撮像素子の受光面側に配設された対物レンズ等の光学系とを含む。撮像素子は、被検体Hからの光を受光する複数のR,G,B画素がマトリックス状に配列され、各画素が受光した光に対して光電変換を行うことにより、撮像信号を生成する。   For example, the imaging unit 21 generates an imaging signal representing the inside of the subject H from an optical image formed on the light receiving surface, and outputs an imaging device such as a CCD imaging device or a CMOS imaging device, and a light receiving surface of the imaging device. And an optical system such as an objective lens disposed on the side. The imaging element generates a captured image signal by performing photoelectric conversion on the light received by each pixel, in which a plurality of R, G, and B pixels that receive light from the subject H are arranged in a matrix.

照明部22は、例えば、白色光を放射する白色LED(Light Emitting Diode)を有する。ここで、白色LEDの発光方式には、青色LED及び補色である黄色の蛍光体を用いる方式(以下、擬似白色方式という)、紫色(又は近紫外)LED及び赤色・緑色・青色の3種の蛍光体を用いる方式、並びに、赤色・緑色・青色でそれぞれ発光する3種のLEDを組み合わせる方式とが知られている。   The illumination unit 22 includes, for example, a white LED (Light Emitting Diode) that emits white light. Here, the light emitting method of the white LED is a method using a blue LED and a complementary yellow fluorescent material (hereinafter referred to as a pseudo white method), a purple (or near-ultraviolet) LED, and three types of red, green, and blue. A method using a phosphor and a method combining three types of LEDs each emitting red, green, and blue are known.

動作制御部23は、カプセル型内視鏡2の各構成部位の動作処理の制御を行う。   The operation control unit 23 controls the operation process of each component of the capsule endoscope 2.

メモリ23aは、動作制御部23が各種動作を実行するための動作パラメータまたは制御プログラムを記憶する。また、メモリ23aは、後述する信号処理部24において信号処理が施された撮像信号等を一時的に記憶してもよい。   The memory 23a stores operation parameters or a control program for the operation control unit 23 to execute various operations. The memory 23a may temporarily store an imaging signal or the like that has been subjected to signal processing in a signal processing unit 24 described later.

信号処理部24は、撮像部21から出力された撮像信号を処理する。信号処理部24は、撮像部21から出力された撮像信号に対してA/D変換や所定の信号処理を施し、デジタル形式の撮像信号を取得する。信号処理部24は、送信時のデータ量を減らすために、圧縮処理を行ってもよい。   The signal processing unit 24 processes the imaging signal output from the imaging unit 21. The signal processing unit 24 performs A / D conversion and predetermined signal processing on the imaging signal output from the imaging unit 21, and acquires a digital imaging signal. The signal processing unit 24 may perform compression processing in order to reduce the amount of data during transmission.

送信部25は、信号処理部24が処理した撮像信号を関連情報とともに無線信号に重畳して、アンテナ26から外部に無線送信する。関連情報には、カプセル型内視鏡2の個体を識別するために割り当てられた識別情報(例えばシリアル番号)等が含まれる。   The transmission unit 25 superimposes the imaging signal processed by the signal processing unit 24 together with related information on a wireless signal, and wirelessly transmits the signal from the antenna 26 to the outside. The related information includes identification information (for example, serial number) assigned to identify the individual capsule endoscope 2.

低速クロック生成部27は、所定の周波数を有する低速クロック(第1のクロック)を生成する。低速クロック生成部27は、カプセル型内視鏡2の電源がオンされてからは、常時、低速クロックを生成する。低速クロック生成部27は、生成した低速クロックを、動作制御部23および高速クロック生成部28に出力する。動作制御部23は、低速クロックを基準クロックとして、後述する高速クロックを用いた制御を開始する。   The low-speed clock generation unit 27 generates a low-speed clock (first clock) having a predetermined frequency. The low-speed clock generation unit 27 always generates a low-speed clock after the capsule endoscope 2 is turned on. The low speed clock generation unit 27 outputs the generated low speed clock to the operation control unit 23 and the high speed clock generation unit 28. The operation control unit 23 starts control using a high-speed clock, which will be described later, using the low-speed clock as a reference clock.

高速クロック生成部28は、低速クロックよりも周波数が高い高速クロック(第2のクロック)を、低速クロックに対応させて、間欠的に生成する。高速クロック生成部28は、例えばPLL回路によって構成され、低速クロック生成部27によって入力された低速クロックから高速クロックを生成する。高速クロックは、低速クロックの周波数に整数比例するように設定すると構成が簡易となる。その場合、例えば、低速クロックの4倍、あるいは、8倍の周波数を有する。また、高速クロックは、低速クロックの分数比を持つように設計することも可能である。高速クロック生成部28は、生成した高速クロックを動作制御部23に出力する。高速クロック生成部28は、動作制御部23によって、高速クロックの生成および生成の停止が制御される。動作制御部23は、高速クロックが生成されている間は、高速クロックを用いて、少なくとも撮像部21を制御する。高速クロックは、PLL回路等によって低速クロックから生成されるため、高速クロックに基づく動作は、低速クロックのタイミングと対応したタイミングでの動作となる。   The high-speed clock generation unit 28 intermittently generates a high-speed clock (second clock) having a higher frequency than the low-speed clock in association with the low-speed clock. The high-speed clock generation unit 28 is configured by, for example, a PLL circuit, and generates a high-speed clock from the low-speed clock input by the low-speed clock generation unit 27. If the high-speed clock is set to be an integer proportional to the frequency of the low-speed clock, the configuration becomes simple. In that case, for example, the frequency is four times or eight times that of the low-speed clock. The high speed clock can also be designed to have a fractional ratio of the low speed clock. The high speed clock generation unit 28 outputs the generated high speed clock to the operation control unit 23. The high-speed clock generation unit 28 is controlled by the operation control unit 23 to generate a high-speed clock and stop the generation. The operation control unit 23 controls at least the imaging unit 21 using the high-speed clock while the high-speed clock is generated. Since the high-speed clock is generated from the low-speed clock by a PLL circuit or the like, the operation based on the high-speed clock is an operation at a timing corresponding to the timing of the low-speed clock.

電源29a、電源制御部29bおよび電源回路29cは、カプセル型内視鏡2の各構成部に電力を供給する電源部として機能する。電源29aは、ボタン電池等からなるバッテリである。電源制御部29bは、電源29aのオンオフ状態を切り替える電源スイッチを含み、電源スイッチがオンとなった後、カプセル型内視鏡2内の各部に電力を供給するように制御する。電源回路29cは、電源29aから電圧を降圧、昇圧等して、カプセル型内視鏡2の内部回路に電力を供給する。なお、電源スイッチは、例えば外部の磁力によってオンオフ状態が切り替えられるリードスイッチからなり、カプセル型内視鏡2の使用前(被検体Hが嚥下する前)に、該カプセル型内視鏡2に外部から磁力を印加することによりオン状態に切り替えられる。   The power supply 29a, the power supply control unit 29b, and the power supply circuit 29c function as a power supply unit that supplies power to each component of the capsule endoscope 2. The power source 29a is a battery made of a button battery or the like. The power control unit 29b includes a power switch that switches an on / off state of the power source 29a. After the power switch is turned on, the power control unit 29b performs control so that power is supplied to each unit in the capsule endoscope 2. The power supply circuit 29c reduces the voltage from the power supply 29a, boosts the voltage, and supplies power to the internal circuit of the capsule endoscope 2. The power switch is composed of, for example, a reed switch that is turned on and off by an external magnetic force, and is externally connected to the capsule endoscope 2 before the capsule endoscope 2 is used (before the subject H swallows). Is turned on by applying a magnetic force.

このようなカプセル型内視鏡2は、被検体Hに嚥下された後、臓器の蠕動運動等によって被検体Hの消化管内を移動しつつ、生体部位(食道、胃、小腸、及び大腸等)を順次撮像する。そして、この撮像動作により取得された撮像信号及び関連情報を受信装置4に順次無線送信する。   Such a capsule endoscope 2 is swallowed by the subject H and then moves in the digestive tract of the subject H by a peristaltic movement of an organ, etc., while a living body part (esophagus, stomach, small intestine, large intestine, etc.) Are sequentially imaged. Then, the imaging signal and related information acquired by the imaging operation are sequentially wirelessly transmitted to the receiving device 4.

受信装置4は、受信部41と、受信信号処理部42と、制御部43と、メモリ44と、データ送受信部45と、操作部46と、表示部47と、これらの各部に電力を供給する電源部48とを備える。   The receiving device 4 supplies power to the receiving unit 41, the received signal processing unit 42, the control unit 43, the memory 44, the data transmission / reception unit 45, the operation unit 46, the display unit 47, and each of these units. And a power supply unit 48.

受信部41は、カプセル型内視鏡2から無線送信された撮像信号および関連情報を、複数(図2においては8個)の受信アンテナ3a〜3hを有する受信アンテナユニット3を介して受信する。各受信アンテナ3a〜3hは、例えばループアンテナ又はダイポールアンテナを用いて実現され、被検体Hの体外表面上の所定位置に配置される。   The receiving unit 41 receives an imaging signal and related information wirelessly transmitted from the capsule endoscope 2 via the receiving antenna unit 3 having a plurality (eight in FIG. 2) of receiving antennas 3a to 3h. Each receiving antenna 3a-3h is implement | achieved using a loop antenna or a dipole antenna, for example, and is arrange | positioned in the predetermined position on the external surface of the subject H. FIG.

受信信号処理部42は、受信部41が受信した撮像信号に所定の信号処理を施す。制御部43は、受信装置4の各構成部を制御する。メモリ44は、受信信号処理部42において信号処理が施された撮像信号およびその関連情報を記憶する。   The reception signal processing unit 42 performs predetermined signal processing on the imaging signal received by the reception unit 41. The control unit 43 controls each component of the receiving device 4. The memory 44 stores the imaging signal subjected to signal processing in the reception signal processing unit 42 and related information.

データ送受信部45は、USB、又は有線LAN、無線LAN等の通信回線と接続可能なインタフェースである。データ送受信部45は、処理装置5と通信可能な状態で接続された際に、メモリ44に記憶された撮像信号および関連情報を処理装置5に送信する。   The data transmission / reception unit 45 is an interface that can be connected to a communication line such as a USB, a wired LAN, or a wireless LAN. The data transmitting / receiving unit 45 transmits the imaging signal and related information stored in the memory 44 to the processing device 5 when connected to the processing device 5 in a communicable state.

操作部46は、ユーザが当該受信装置4に対して各種設定情報や指示情報を入力する際に用いられる入力デバイスである。   The operation unit 46 is an input device used when the user inputs various setting information and instruction information to the receiving device 4.

表示部47は、カプセル型内視鏡2から受信した画像データに基づく体内画像等を表示する。   The display unit 47 displays an in-vivo image based on the image data received from the capsule endoscope 2.

このような受信装置4は、カプセル型内視鏡2により撮像が行われている間(例えば、カプセル型内視鏡2が被検体Hに嚥下された後、消化管内を通過して排出されるまでの間)、被検体Hに装着されて携帯される。受信装置4は、この間、受信アンテナユニット3を介して受信した撮像信号に、各受信アンテナ3a〜3hにおける受信強度情報や受信時刻情報等の関連情報をさらに付加し、これらの撮像信号および関連情報をメモリ44に記憶させる。   Such a receiver 4 is discharged while passing through the digestive tract while the capsule endoscope 2 is imaging (for example, after the capsule endoscope 2 is swallowed by the subject H). Until the subject H is carried on the subject H. During this time, the reception device 4 further adds related information such as reception intensity information and reception time information at each of the reception antennas 3a to 3h to the imaging signal received via the reception antenna unit 3, and the imaging signal and the related information. Is stored in the memory 44.

カプセル型内視鏡2による撮像の終了後、受信装置4は被検体Hから取り外され、処理装置5と接続されたクレードル7(図1参照)にセットされる。これにより、受信装置4は、処理装置5と通信可能な状態で接続され、メモリ44に記憶された撮像信号および関連情報を処理装置5に転送(ダウンロード)する。   After the imaging by the capsule endoscope 2 is completed, the receiving device 4 is removed from the subject H and set in the cradle 7 (see FIG. 1) connected to the processing device 5. As a result, the receiving device 4 is connected in a communicable state with the processing device 5 and transfers (downloads) the imaging signal and related information stored in the memory 44 to the processing device 5.

処理装置5は、例えば、液晶ディスプレイ等の表示装置6を備えたワークステーションを用いて構成される。処理装置5は、データ送受信部51と、画像処理部52と、表示制御部53と、処理装置5の各部を統括して制御する制御部54と、入力部55と、記憶部56と、を備える。   The processing device 5 is configured using, for example, a workstation including a display device 6 such as a liquid crystal display. The processing device 5 includes a data transmission / reception unit 51, an image processing unit 52, a display control unit 53, a control unit 54 that controls each unit of the processing device 5, an input unit 55, and a storage unit 56. Prepare.

データ送受信部51は、USB、又は有線LANや無線LAN等の通信回線と接続可能なインタフェースであり、USBポート及びLANポートを含んでいる。データ送受信部51は、USBポートに接続されるクレードル7を介して受信装置4と接続され、受信装置4との間でデータの送受信を行う。   The data transmission / reception unit 51 is an interface that can be connected to a communication line such as a USB or a wired LAN or a wireless LAN, and includes a USB port and a LAN port. The data transmission / reception unit 51 is connected to the reception device 4 via the cradle 7 connected to the USB port, and transmits / receives data to / from the reception device 4.

画像処理部52は、制御部54の制御のもと、データ送受信部51から入力された撮像信号や記憶部56に記憶された撮像信号に所定の画像処理を施す。画像処理部52は、オプティカルブラック減算処理、デモザイキング、ゲイン調整処理、撮像信号の同時化処理、ガンマ補正処理、エッジ強調処理等を含む信号処理を行う。   The image processing unit 52 performs predetermined image processing on the imaging signal input from the data transmission / reception unit 51 and the imaging signal stored in the storage unit 56 under the control of the control unit 54. The image processing unit 52 performs signal processing including optical black subtraction processing, demosaicing, gain adjustment processing, imaging signal synchronization processing, gamma correction processing, edge enhancement processing, and the like.

表示制御部53は、画像処理部52が処理した撮像信号から、表示装置6に表示させるための表示用画像信号を生成する。   The display control unit 53 generates a display image signal to be displayed on the display device 6 from the imaging signal processed by the image processing unit 52.

制御部54は、CPU等のハードウェアによって実現され、後述する記憶部56に記憶された各種プログラムを読み込むことにより、後述する入力部55を介して入力された信号や、データ送受信部51から入力された撮像信号等に基づいて、処理装置5を構成する各部への指示やデータの転送等を行い、処理装置5全体の動作を統括的に制御する。   The control unit 54 is realized by hardware such as a CPU, and reads various programs stored in a storage unit 56 (to be described later) to input signals input via the input unit 55 (to be described later) or input from the data transmission / reception unit 51. Based on the captured image signal and the like, instructions to each unit constituting the processing device 5 and data transfer are performed, and the overall operation of the processing device 5 is comprehensively controlled.

入力部55は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現される。入力部55は、ユーザの操作に応じた情報や命令の入力を受け付ける。   The input unit 55 is realized by an input device such as a keyboard, a mouse, a touch panel, and various switches. The input unit 55 receives input of information and commands according to user operations.

記憶部56は、フラッシュメモリ、RAM、ROM等の半導体メモリや、HDD、MO、CD−R、DVD−R等の記録媒体及び該記録媒体を駆動する駆動装置等によって実現される。記憶部56は、処理装置5を動作させて種々の機能を実行させるためのプログラム、該プログラムの実行中に使用される各種情報、並びに、受信装置4を介して取得した撮像信号および関連情報等を記憶する。   The storage unit 56 is realized by a semiconductor memory such as a flash memory, a RAM, and a ROM, a recording medium such as an HDD, an MO, a CD-R, and a DVD-R, and a drive device that drives the recording medium. The storage unit 56 is a program for operating the processing device 5 to execute various functions, various types of information used during the execution of the program, imaging signals and related information acquired via the receiving device 4, and the like Remember.

図3は、カプセル型内視鏡2において生成される低速クロックおよび高速クロックのタイミングチャートである。図3(1)は、低速クロックのタイミングチャートであり、図3(2)は、高速クロックのタイミングチャートである。   FIG. 3 is a timing chart of the low-speed clock and the high-speed clock generated in the capsule endoscope 2. FIG. 3 (1) is a timing chart of the low-speed clock, and FIG. 3 (2) is a timing chart of the high-speed clock.

低速クロック生成部27は、カプセル型内視鏡2の電源が入った後、動作を開始し、低速クロックを連続して生成して、動作制御部23に出力する。低速クロック生成部27は、常時動作しており、図3(1)に示すように、低速クロックを継続して生成し、生成した低速クロックを動作制御部23および高速クロック生成部28に出力する。動作制御部23は、この低速クロックを基準クロックとして用い、照明、撮像、無線送信の動作を行うフレーム単位でのタイミングについては、低速クロックを用いて制御する。   The low-speed clock generation unit 27 starts operation after the capsule endoscope 2 is turned on, continuously generates low-speed clocks, and outputs the low-speed clock to the operation control unit 23. The low-speed clock generation unit 27 is always operating, and continuously generates a low-speed clock and outputs the generated low-speed clock to the operation control unit 23 and the high-speed clock generation unit 28 as shown in FIG. . The operation control unit 23 uses this low-speed clock as a reference clock, and controls the timing in units of frames for performing illumination, imaging, and wireless transmission using the low-speed clock.

高速クロック生成部28は、動作制御部23の制御のもと、高速クロックを周期的に生成し、動作制御部23は、高速クロックを用いた制御を周期的に行う。図3(2)の例では、動作制御部23は、時間taから時間tbまでの期間Ha、および、時間tcから時間tdまでの期間Haにおいて、高速クロックを用いた制御を行う。動作制御部23は、高速クロックで実際の制御を開始する時間ta,tcよりも前のタイミングで高速クロック生成部28を起動し、所定のクロック安定期間Sを経過した後の安定した高速クロックを使用できるようにする。安定期間Sの間に高速クロック生成部28によって生成されるものは、クロックとして機能しないためである。動作制御部23は、高速クロックが安定した後、高速クロックを用いて各部を制御する。この場合、動作制御部23は、高速クロックでの制御を行う各期間Haの開始タイミングおよび終了タイミングについては、低速クロックを基に決めているため、高速クロックが生成されていない間も、各主要タイミングに対する時間カウントができ、一定周期での高速クロック制御が可能となる。   The high-speed clock generation unit 28 periodically generates a high-speed clock under the control of the operation control unit 23, and the operation control unit 23 periodically performs control using the high-speed clock. In the example of FIG. 3B, the operation control unit 23 performs control using a high-speed clock in a period Ha from time ta to time tb and a period Ha from time tc to time td. The operation control unit 23 starts the high-speed clock generation unit 28 at timings before the times ta and tc at which actual control is started with the high-speed clock, and generates a stable high-speed clock after a predetermined clock stabilization period S has elapsed. Make it available. This is because what is generated by the high-speed clock generator 28 during the stable period S does not function as a clock. The operation control unit 23 controls each unit using the high-speed clock after the high-speed clock is stabilized. In this case, the operation control unit 23 determines the start timing and end timing of each period Ha in which the control is performed with the high-speed clock based on the low-speed clock. Time counting with respect to timing can be performed, and high-speed clock control at a fixed period becomes possible.

動作制御部23は、高速クロックが生成されている間、すなわち、期間Haでは、少なくとも撮像部21に対して、高速クロックを用いて制御し、高速での撮像処理を可能とする。さらに、動作制御部23は、高速クロックが生成されている期間Haは、信号処理部24に対しても高速クロックを用いた制御を行ってもよい。また、動作制御部23は、高速クロックが生成されている期間Haは、照明部22に対しても高速クロックを用いた制御を行ってもよい。また、動作制御部23は、高速クロックが生成されている期間Haは、送信部25に対しても高速クロックを用いた制御を行ってもよい。   The operation control unit 23 controls at least the imaging unit 21 using the high-speed clock while the high-speed clock is generated, that is, during the period Ha, and enables high-speed imaging processing. Further, the operation control unit 23 may perform control using the high-speed clock for the signal processing unit 24 during the period Ha in which the high-speed clock is generated. In addition, the operation control unit 23 may perform control using the high-speed clock for the illumination unit 22 during the period Ha in which the high-speed clock is generated. In addition, the operation control unit 23 may perform control using the high-speed clock for the transmission unit 25 during the period Ha in which the high-speed clock is generated.

このように、カプセル型内視鏡2では、動作制御部23が、高速クロックが生成されている期間Haにおいて、撮像部21、照明部22、信号処理部24、送信部25の各部を高速クロックで制御することによって、撮像信号の生成および送信を行う一連の処理の高フレームレート化が可能になる。ここで、期間Haは、例えば、1回の照明、撮像、信号処理および送信処理が行なわれる1フレーム期間である。この場合には、動作制御部23は、1フレーム期間内の照明、露光、読み出し、信号処理および無線送信の全ての動作タイミングを高速クロックを用いて制御する。これに対し、動作制御部23は、1フレーム期間内における照明、信号処理、無線送信の動作タイミングについては低速クロックを用いて制御し、撮像部21における露光動作および各画素からの撮像信号の読み出し動作を高速クロックを用いて制御することもできる。また、期間Haは、複数のフレーム期間であってもよい。すなわち、動作制御部23は、連続する複数のフレーム期間にわたって、高速クロック生成部28を動作させてもよい。この場合には、動作制御部23は、期間Haにおけるフレーム間隔を、低速クロックをカウントして算出してもよく、また、高速クロックをカウントして算出してもよい。   As described above, in the capsule endoscope 2, the operation control unit 23 controls the imaging unit 21, the illumination unit 22, the signal processing unit 24, and the transmission unit 25 in the high-speed clock during the period Ha in which the high-speed clock is generated. By controlling at, it is possible to increase the frame rate of a series of processes for generating and transmitting an imaging signal. Here, the period Ha is, for example, one frame period in which one illumination, imaging, signal processing, and transmission processing are performed. In this case, the operation control unit 23 controls all operation timings of illumination, exposure, readout, signal processing, and wireless transmission within one frame period using a high-speed clock. On the other hand, the operation control unit 23 controls the operation timing of illumination, signal processing, and wireless transmission within one frame period using a low-speed clock, and performs an exposure operation in the imaging unit 21 and readout of an imaging signal from each pixel. The operation can also be controlled using a high-speed clock. Further, the period Ha may be a plurality of frame periods. That is, the operation control unit 23 may operate the high-speed clock generation unit 28 over a plurality of consecutive frame periods. In this case, the operation control unit 23 may calculate the frame interval in the period Ha by counting the low-speed clock or counting the high-speed clock.

そして、動作制御部23は、期間Laでは、低速クロックを用いた低消費電力状態でカプセル型内視鏡2の各部を制御する。動作制御部23は、期間Laにおいても、低速クロックを基に、撮像部21、照明部22、信号処理部24、送信部25に対して、撮像信号の生成および送信に関する一連の処理を実行させることもできる。この場合には、カプセル型内視鏡2では、低フレームレート(例えば、2フレーム/秒)での撮像信号の取得および送信を継続することができる。   In the period La, the operation control unit 23 controls each unit of the capsule endoscope 2 in a low power consumption state using a low-speed clock. Even in the period La, the operation control unit 23 causes the imaging unit 21, the illumination unit 22, the signal processing unit 24, and the transmission unit 25 to execute a series of processes related to generation and transmission of the imaging signal based on the low-speed clock. You can also. In this case, the capsule endoscope 2 can continue to acquire and transmit an imaging signal at a low frame rate (for example, 2 frames / second).

このように、実施の形態にかかるカプセル型内視鏡2では、高速クロック生成部28に間欠的に高速クロックを生成させているため、高速クロック生成部28を常時動作させる場合と比較すると消費電力の低減を図ることができる。また、カプセル型内視鏡2では、高速クロックの生成が停止している場合も、低速クロックは停止せずに動作しているため、この低速クロックを用いて主要動作のタイミングを適切にカウントすることができる。また、カプセル型内視鏡2では、低速クロックから高速クロックを生成しており、低速クロックと高速クロックとが対応付けられているため、高速クロックと低速クロックとを切り替えて制御を行う場合も、動作タイミングがずれることもなく、間欠的に生成される高速クロックを用いた場合も適切な撮像動作が可能となる。   As described above, in the capsule endoscope 2 according to the embodiment, the high-speed clock generation unit 28 generates the high-speed clock intermittently, so that the power consumption is compared with the case where the high-speed clock generation unit 28 is always operated. Can be reduced. Further, in the capsule endoscope 2, even when the generation of the high-speed clock is stopped, the low-speed clock operates without stopping, so the timing of the main operation is appropriately counted using this low-speed clock. be able to. In the capsule endoscope 2, a high-speed clock is generated from a low-speed clock, and the low-speed clock and the high-speed clock are associated with each other. Appropriate imaging operations can be performed even when a high-speed clock generated intermittently is used without shifting the operation timing.

なお、カプセル型内視鏡2では、高速クロック生成部28は、予め決められた期間に高速クロックを生成してもよい。例えば、画像を高フレームレートで撮像したい臓器にカプセル型内視鏡2が位置すると推定できる期間を予め設定して、メモリ23aに記憶させておき、動作制御部23は、このメモリ23aに記憶された期間、高速クロック生成部28に高速クロックを生成させて、該高速クロックを用いた制御を行う。また、カプセル型内視鏡2では、この高速クロックを用いて動作制御部23が制御を行う期間を、外部装置からの制御信号によって変更できるようにしてもよい。例えば、外部装置(処理装置5)は、カプセル型内視鏡2によって送信された一連の体内画像をもとに、カプセル型内視鏡2の動きをモニタリングし、カプセル型内視鏡2の動きが速くなった場合には、高速クロックを用いた制御を指示する制御信号を、カプセル型内視鏡2に無線送信する。   In the capsule endoscope 2, the high-speed clock generation unit 28 may generate a high-speed clock during a predetermined period. For example, a period in which the capsule endoscope 2 can be estimated to be located in an organ whose image is to be captured at a high frame rate is set in advance and stored in the memory 23a, and the operation control unit 23 is stored in the memory 23a. During this period, the high-speed clock generator 28 generates a high-speed clock and performs control using the high-speed clock. In the capsule endoscope 2, the period during which the operation control unit 23 performs control using this high-speed clock may be changed by a control signal from an external device. For example, the external device (processing device 5) monitors the movement of the capsule endoscope 2 based on a series of in-vivo images transmitted by the capsule endoscope 2, and moves the capsule endoscope 2. When the speed becomes faster, a control signal for instructing control using a high-speed clock is wirelessly transmitted to the capsule endoscope 2.

また、カプセル型内視鏡2では、低速クロック発振回路とは独立した高速クロック発振回路を設けて、高速クロックを生成してもよい。   In the capsule endoscope 2, a high-speed clock may be generated by providing a high-speed clock oscillation circuit independent of the low-speed clock oscillation circuit.

1 カプセル型内視鏡システム
2 カプセル型内視鏡
3 受信アンテナユニット
3a〜3h 受信アンテナ
4 受信装置
5 処理装置
6 表示装置
7 クレードル
21 撮像部
22 照明部
23 動作制御部
23a,44 メモリ
24 信号処理部
25 送信部
26 アンテナ
27 低速クロック生成部
28 高速クロック生成部
29a 電源
29b 電源制御部
29c 電源回路
41 受信部
42 受信信号処理部
43,54 制御部
45,51 データ送受信部
46 操作部
47 表示部
48 電源部
52 画像処理部
53 表示制御部
55 入力部
56 記憶部
H 被検体
DESCRIPTION OF SYMBOLS 1 Capsule-type endoscope system 2 Capsule-type endoscope 3 Reception antenna unit 3a-3h Reception antenna 4 Reception apparatus 5 Processing apparatus 6 Display apparatus 7 Cradle 21 Imaging part 22 Illumination part 23 Operation control part 23a, 44 Memory 24 Signal processing Unit 25 transmission unit 26 antenna 27 low-speed clock generation unit 28 high-speed clock generation unit 29a power supply 29b power supply control unit 29c power supply circuit 41 reception unit 42 reception signal processing unit 43, 54 control unit 45, 51 data transmission / reception unit 46 operation unit 47 display unit 48 power supply unit 52 image processing unit 53 display control unit 55 input unit 56 storage unit H subject

Claims (8)

照明光を発する照明部と、
前記照明光で照明された被写体を撮像する撮像部と、
前記撮像部が撮像した撮像信号を処理する信号処理部と、
前記信号処理部が処理した撮像信号を無線送信する送信部と、
常時第1のクロックを生成する第1のクロック生成部と、
前記第1のクロックよりも周波数が高い第2のクロックを、前記第1のクロックに対応させて、間欠的に生成する第2のクロック生成部と、
前記第2のクロックが生成されている間は、前記第2のクロックを用いて、少なくとも前記撮像部を制御する制御部と、
を備えたことを特徴とする内視鏡装置。
An illumination unit that emits illumination light;
An imaging unit for imaging a subject illuminated by the illumination light;
A signal processing unit that processes an imaging signal captured by the imaging unit;
A transmission unit that wirelessly transmits an imaging signal processed by the signal processing unit;
A first clock generator that always generates a first clock;
A second clock generation unit that intermittently generates a second clock having a higher frequency than the first clock in association with the first clock;
While the second clock is being generated, a control unit that controls at least the imaging unit using the second clock;
An endoscope apparatus comprising:
前記制御部は、前記第1のクロックを基準クロックとして前記第2のクロックを用いた制御を開始することを特徴とする請求項1に記載の内視鏡装置。   The endoscope apparatus according to claim 1, wherein the control unit starts control using the second clock using the first clock as a reference clock. 前記第2のクロック生成部は、前記第1のクロックから前記第2のクロックを生成することを特徴とする請求項1または2に記載の内視鏡装置。   The endoscope apparatus according to claim 1, wherein the second clock generation unit generates the second clock from the first clock. 前記制御部は、前記第2のクロックが生成されている間は、前記第2のクロックを用いて前記信号処理部を制御することを特徴とする請求項1〜3のいずれか一つに記載の内視鏡装置。   4. The control unit according to claim 1, wherein the control unit controls the signal processing unit using the second clock while the second clock is generated. 5. Endoscope device. 前記制御部は、前記第2のクロックが生成されている間は、前記第2のクロックを用いて前記照明部を制御することを特徴とする請求項1〜4のいずれか一つに記載の内視鏡装置。   5. The control unit according to claim 1, wherein the control unit controls the illumination unit using the second clock while the second clock is generated. 6. Endoscopic device. 前記制御部は、前記第2のクロックが生成されている間は、前記第2のクロックを用いて前記送信部を制御することを特徴とする請求項1〜5のいずれか一つに記載の内視鏡装置。   6. The control unit according to claim 1, wherein the control unit controls the transmission unit using the second clock while the second clock is generated. 7. Endoscopic device. 前記第2のクロック生成部は、周期的に前記第2のクロックを生成することを特徴とする請求項1〜6のいずれか一つに記載の内視鏡装置。   The endoscope apparatus according to claim 1, wherein the second clock generation unit periodically generates the second clock. 前記第2のクロック生成部は、予め設定された期間に前記第2のクロックを生成することを特徴とする請求項1〜6のいずれか一つに記載の内視鏡装置。   The endoscope apparatus according to claim 1, wherein the second clock generation unit generates the second clock during a preset period.
JP2014182903A 2014-09-09 2014-09-09 Endoscope device Active JP6230511B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014182903A JP6230511B2 (en) 2014-09-09 2014-09-09 Endoscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014182903A JP6230511B2 (en) 2014-09-09 2014-09-09 Endoscope device

Publications (2)

Publication Number Publication Date
JP2016054878A JP2016054878A (en) 2016-04-21
JP6230511B2 true JP6230511B2 (en) 2017-11-15

Family

ID=55756324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014182903A Active JP6230511B2 (en) 2014-09-09 2014-09-09 Endoscope device

Country Status (1)

Country Link
JP (1) JP6230511B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6935017B2 (en) * 2018-08-28 2021-09-15 オリンパス株式会社 Endoscopes, endoscope systems, driving methods and programs
WO2022190256A1 (en) * 2021-03-10 2022-09-15 オリンパスメディカルシステムズ株式会社 In-subject information acquisition device, inspection system, control method, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009034291A (en) * 2007-08-01 2009-02-19 Hoya Corp Capsule endoscope
JP2011096172A (en) * 2009-11-02 2011-05-12 Renesas Electronics Corp Semiconductor device
JP5737373B2 (en) * 2013-11-29 2015-06-17 ソニー株式会社 Capacitive element, solid-state imaging device, and imaging device

Also Published As

Publication number Publication date
JP2016054878A (en) 2016-04-21

Similar Documents

Publication Publication Date Title
TWI222833B (en) A device and system for in vivo imaging
US11234578B2 (en) Receiving apparatus and radio wave interference determination method
US9775492B2 (en) Image device for synchronizing timing of imaging by first and second image sensors, and endoscopic device
US8419632B2 (en) Body-insertable apparatus having light adjustment control unit and in-vivo information acquisition system
JP6230511B2 (en) Endoscope device
JPWO2016098171A1 (en) Imaging apparatus and capsule endoscope
WO2015182185A1 (en) Capsule endoscope apparatus
CN109862820B (en) Receiving antenna, receiving antenna unit, and receiving system
JP5385469B2 (en) Capsule endoscope
US20160317002A1 (en) Capsule endoscope apparatus
JP5932191B1 (en) Transmission system and processing device
JP2019136241A (en) Image processing device, image processing method, and image processing program
JP2006314808A (en) Capsule type endoscope system and capsule type endoscope
JP2019201757A (en) Capsule type endoscope, capsule type endoscope system, and transmission method of capsule type endoscope
JP6326178B1 (en) Image processing apparatus, image processing system, operation method of image processing apparatus, and operation program for image processing apparatus
JP6346721B1 (en) Capsule endoscope, receiving apparatus, capsule endoscope operating method, and capsule endoscope operating program
JP4370198B2 (en) Intra-subject introduction device
WO2019171616A1 (en) Reception device and reception method
WO2019053973A1 (en) Capsule endoscope system, capsule endoscope, and receiving device
WO2022190256A1 (en) In-subject information acquisition device, inspection system, control method, and program
JP5927356B2 (en) Endoscope system and endoscope apparatus
JP2012055630A (en) In-vivo information acquiring system and control method of the in-vivo information acquiring system
JP5815166B1 (en) Capsule endoscope device
WO2019111470A1 (en) Communication module, capsule endoscope and reception unit
JP5896877B2 (en) Light control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171017

R151 Written notification of patent or utility model registration

Ref document number: 6230511

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250