JP5153487B2 - Capsule medical device - Google Patents
Capsule medical device Download PDFInfo
- Publication number
- JP5153487B2 JP5153487B2 JP2008177905A JP2008177905A JP5153487B2 JP 5153487 B2 JP5153487 B2 JP 5153487B2 JP 2008177905 A JP2008177905 A JP 2008177905A JP 2008177905 A JP2008177905 A JP 2008177905A JP 5153487 B2 JP5153487 B2 JP 5153487B2
- Authority
- JP
- Japan
- Prior art keywords
- illumination
- value
- scene
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000002775 capsule Substances 0.000 title claims description 102
- 238000005286 illumination Methods 0.000 claims description 310
- 238000003384 imaging method Methods 0.000 claims description 217
- 210000000056 organ Anatomy 0.000 claims description 59
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 7
- 230000001678 irradiating effect Effects 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000001727 in vivo Methods 0.000 description 198
- 238000012545 processing Methods 0.000 description 36
- 238000000034 method Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 18
- 239000002131 composite material Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000007423 decrease Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 210000001035 gastrointestinal tract Anatomy 0.000 description 4
- 210000000813 small intestine Anatomy 0.000 description 4
- 210000002429 large intestine Anatomy 0.000 description 3
- 238000012887 quadratic function Methods 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 210000001835 viscera Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000002572 peristaltic effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Description
本発明は、被検体の臓器内部に導入され、この臓器内部の画像(以下、体内画像という場合がある)を撮像するカプセル型医療装置に関するものである。 The present invention relates to a capsule medical device that is introduced into an organ of a subject and images an image inside the organ (hereinafter also referred to as an in-vivo image).
従来から、医療分野においては、撮像機能と無線通信機能とを備えた飲込み型のカプセル型医療装置が登場している。カプセル型医療装置は、一般に、被検体内部の観察(検査)のために被検体の口から飲込まれ、その後、蠕動運動等によって被検体の消化管内部を移動しつつ、被検体の体内画像を順次撮像する。この場合、カプセル型医療装置は、照明光を発光して臓器内部を照明し、この照明した臓器内部の画像、すなわち体内画像を撮像する。カプセル型医療装置は、このように撮像した体内画像を被検体外部に無線送信する。かかるカプセル型医療装置は、被検体の外部に排出されるまでの期間、この被検体の体内画像の撮像および無線送信を順次繰り返す。 Conventionally, in the medical field, a swallowable capsule medical device having an imaging function and a wireless communication function has appeared. In general, a capsule medical device is swallowed from the mouth of a subject for observation (examination) inside the subject, and then moves inside the digestive tract of the subject by peristaltic movement or the like, while in-vivo images of the subject Are sequentially imaged. In this case, the capsule medical device emits illumination light to illuminate the inside of the organ, and captures an image inside the illuminated organ, that is, an in-vivo image. The capsule medical device wirelessly transmits the in-vivo image thus captured to the outside of the subject. Such a capsule medical device sequentially repeats in-vivo image capturing and wireless transmission of the subject until it is discharged to the outside of the subject.
かかるカプセル型医療装置から無線送信された体内画像は、被検体外部の受信装置によって受信され、この受信装置内の記憶媒体に蓄積される。この記憶媒体は、被検体の体内画像群を蓄積後、受信装置から取り外され、画像表示装置に挿着される。画像表示装置は、この挿着した記憶媒体内の体内画像群を取り込み、得られた体内画像群をディスプレイに順次表示する。医師または看護師等のユーザは、かかる画像表示装置に表示させた体内画像群を観察することによって、被検体の診断を行うことができる。 The in-vivo image wirelessly transmitted from the capsule medical device is received by a receiving device outside the subject and accumulated in a storage medium in the receiving device. This storage medium is removed from the receiving device after the in-vivo image group of the subject is accumulated, and is inserted into the image display device. The image display device takes in the in-vivo image group in the inserted storage medium and sequentially displays the obtained in-vivo image group on the display. A user such as a doctor or a nurse can diagnose a subject by observing the in-vivo image group displayed on the image display device.
なお、このようなカプセル型医療装置には、例えば、発光体から射出される照明光の光量の軸中心を外側にずらして観察中心部分の照明光の明るさと観察中心部分以外の周辺部分の照明光の明るさとを略同一にしているもの(特許文献1参照)もあれば、光ビーム形状調整ユニットによって撮像装置の全視界範囲における照度を均一にしているもの(特許文献2参照)もある。 In such a capsule medical device, for example, the axial center of the amount of illumination light emitted from the light emitter is shifted outward, and the brightness of the illumination light in the observation center portion and the illumination in the peripheral portions other than the observation center portion Some have the light brightness substantially the same (see Patent Document 1), and others have the light beam shape adjustment unit uniform the illuminance in the entire field of view of the imaging apparatus (see Patent Document 2).
一方、撮像素子に形成される被写体像を複数のエリアに分割し、これら複数のエリアの各々の部分輝度値に対して対応する重み付け係数を乗ずることによって被写体像の全体輝度値を算出し、この全体輝度値と参照輝度値との差に従って絞りを変化させて被写体像の明るさを調整する電子内視鏡装置(特許文献3参照)もあれば、撮像センサからの1フレーム分の輝度画素信号に基づいてヒストグラムを展開し、このヒストグラムに基づいて光源からスコープに導かれる光の光量を調節する電子内視鏡装置(特許文献4参照)もある。また、挿入部に一体に設けられる取付ベースに形状またはサイズの異なる複数種のLEDベアチップを配置できるようにして挿入部の小型化と充分な光量確保とを両立させた内視鏡装置(特許文献5)もあれば、観察部位の形状に応じて光ファイバに入射する光の光量を定めることによって、画面に表示される被写体像の明るさを適切にする電子内視鏡装置(特許文献6)もある。 On the other hand, the subject image formed on the image sensor is divided into a plurality of areas, and the overall luminance value of the subject image is calculated by multiplying the partial luminance value of each of the plurality of areas by a corresponding weighting coefficient. If there is an electronic endoscope apparatus (see Patent Document 3) that adjusts the brightness of the subject image by changing the aperture according to the difference between the overall luminance value and the reference luminance value, the luminance pixel signal for one frame from the image sensor There is also an electronic endoscope apparatus (see Patent Document 4) that develops a histogram based on the above and adjusts the amount of light guided from the light source to the scope based on the histogram. In addition, an endoscope apparatus that allows a plurality of types of LED bare chips of different shapes or sizes to be disposed on a mounting base that is integrally provided in the insertion portion, and that achieves both a reduction in the size of the insertion portion and a sufficient amount of light (Patent Document) 5) If it exists, the electronic endoscope apparatus which makes the brightness of the to-be-photographed object image displayed on a screen appropriate by determining the light quantity of the light which injects into an optical fiber according to the shape of an observation part (patent document 6) There is also.
ところで、上述した従来のカプセル型医療装置は、一般に、小腸または大腸等の管腔臓器の観察に必要な体内画像を撮像するものであるため、管腔臓器の照明に好適な光強度分布を有する照明光を発光して被写体である臓器内部を照明し、体内画像を撮像する。しかしながら、かかる従来のカプセル型医療装置は、胃等の撮像に例示されるように臓器の内壁面に対向して体内画像を撮像する場合であっても、管腔臓器の撮像の場合と同様の照明光を被写体である臓器内壁面に照射して体内画像を撮像するため、撮像視野範囲の中央部の光量が過大になってハレーションを起こした体内画像を撮像する可能性があった。なお、医療分野においては、被検体内部における撮像シーンによらず、適正な明るさの体内画像を撮像可能なカプセル型医療装置が要望されている。 By the way, the above-described conventional capsule medical device generally captures an in-vivo image necessary for observation of a luminal organ such as a small intestine or a large intestine, and thus has a light intensity distribution suitable for illumination of the luminal organ. Illumination light is emitted to illuminate the internal organ, which is the subject, and an in-vivo image is taken. However, such a conventional capsule medical device is similar to the case of imaging a luminal organ even when imaging an in-vivo image facing the inner wall surface of the organ as exemplified by imaging of the stomach or the like. In order to capture an in-vivo image by irradiating illumination light on an inner wall of an organ, which is a subject, there is a possibility of capturing an in-vivo image that has caused halation due to an excessive amount of light at the center of the imaging field of view. In the medical field, there is a demand for a capsule medical device that can capture an in-vivo image with appropriate brightness regardless of the imaging scene inside the subject.
本発明は、上記事情に鑑みてなされたものであって、被検体内部における撮像シーンに対応して照明光の光量を調整でき、適正な明るさの体内画像を撮像できるカプセル型医療装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides a capsule medical device capable of adjusting the amount of illumination light corresponding to an imaging scene inside a subject and capturing an in-vivo image with appropriate brightness. The purpose is to do.
上述した課題を解決し、目的を達成するために、本発明にかかるカプセル型医療装置は、被検体の臓器内部に照明光を照射して被写体を照明する1以上の照明部と、前記照明光によって照明された被写体の画像を撮像する撮像部と、前記撮像部が撮像した画像の輝度情報をもとに前記画像の撮像シーンを判別し、この判別した撮像シーンに対応して前記照明光の光量を制御する制御部と、を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, a capsule medical device according to the present invention includes one or more illumination units that illuminate a subject by irradiating illumination light inside an organ of the subject, and the illumination light. An image capturing unit that captures an image of the subject illuminated by the image capturing unit, and an image capturing scene of the image based on luminance information of the image captured by the image capturing unit, and the illumination light corresponding to the determined image capturing scene. And a control unit for controlling the amount of light.
また、本発明にかかるカプセル型医療装置は、上記の発明において、前記制御部は、前記画像を複数の領域に分割した部分画像領域の各平均輝度値である前記輝度情報を算出し、この算出した前記輝度情報をもとに前記画像の撮像シーンを判別することを特徴とする。 In the capsule medical device according to the present invention, in the above invention, the control unit calculates the luminance information that is each average luminance value of a partial image region obtained by dividing the image into a plurality of regions. The imaging scene of the image is determined based on the luminance information.
また、本発明にかかるカプセル型医療装置は、上記の発明において、前記制御部は、前記複数の部分画像領域の各平均輝度値をもとに輝度比較値を算出し、この算出した輝度比較値と予め設定した輝度目標値とを比較し、前記輝度比較値が前記輝度目標値以下である場合、前記照明光の光量を増加させ、前記輝度比較値が前記輝度目標値に比して大きい場合、前記照明光の光量を減少させることを特徴とする。 In the capsule medical device according to the present invention, in the above invention, the control unit calculates a luminance comparison value based on each average luminance value of the plurality of partial image regions, and the calculated luminance comparison value When the brightness comparison value is equal to or less than the brightness target value, the amount of the illumination light is increased, and the brightness comparison value is larger than the brightness target value. The amount of illumination light is reduced.
また、本発明にかかるカプセル型医療装置は、上記の発明において、前記制御部は、前記画像の撮像シーンに対応して前記輝度比較値の算出方式を切り換えることを特徴とする。 In the capsule medical device according to the present invention as set forth in the invention described above, the control unit switches the calculation method of the luminance comparison value in accordance with the imaging scene of the image.
また、本発明にかかるカプセル型医療装置は、上記の発明において、前記制御部は、前記画像の画面内における輝度変化が所定の基準レベル未満となる撮像シーンである場合、前記画像の全画像領域の平均輝度値である前記輝度比較値を算出し、前記画像の画面内における輝度変化が前記所定の基準レベル以上となる撮像シーンである場合、輝度範囲に対応して異なる各重み付け係数と前記各平均輝度値との各乗算値を平均化して前記輝度比較値を算出することを特徴とする。 In the capsule medical device according to the present invention, in the above invention, when the control unit is an imaging scene in which a luminance change in the screen of the image is less than a predetermined reference level, the entire image region of the image When the luminance comparison value that is the average luminance value of the image is an imaging scene in which the luminance change in the screen of the image is equal to or higher than the predetermined reference level, each weighting coefficient that differs according to the luminance range and each The luminance comparison value is calculated by averaging each multiplication value with the average luminance value.
また、本発明にかかるカプセル型医療装置は、上記の発明において、前記制御部は、前記画像の撮像シーンに対応して前記照明光の発光パターンを切り換えることを特徴とする。 In the capsule medical device according to the present invention as set forth in the invention described above, the control unit switches the light emission pattern of the illumination light in accordance with the imaging scene of the image.
また、本発明にかかるカプセル型医療装置は、上記の発明において、前記1以上の照明部は、複数であり、前記制御部は、前記画像の撮像シーンに対応して前記複数の照明部の中から前記発光パターンの照明光を発光する照明部を選択することを特徴とする。 In the capsule medical device according to the present invention as set forth in the invention described above, the one or more illumination units are plural, and the control unit is included in the plurality of illumination units corresponding to the imaging scene of the image. An illumination unit that emits illumination light of the light emission pattern is selected.
本発明にかかるカプセル型医療装置では、1以上の照明部が、被検体の臓器内部に照明光を照射して被写体を照明し、撮像部が、前記照明光によって照明された被写体の画像を撮像し、制御部が、前記撮像部が撮像した画像の輝度情報をもとに前記画像の撮像シーンを判別し、この判別した撮像シーンに対応して前記照明光の光量を制御するため、被検体内部における撮像シーンが変化する場合であっても、被検体内部における撮像シーンに対応して照明光の光量を調整でき、これによって、撮像シーンに好適な光量の照明光を臓器内部に照射して、適正な明るさの体内画像を撮像可能なカプセル型医療装置を実現できるという効果を奏する。 In the capsule medical device according to the present invention, one or more illumination units illuminate the subject by irradiating illumination light inside the organ of the subject, and the imaging unit captures an image of the subject illuminated by the illumination light. The control unit determines the imaging scene of the image based on the luminance information of the image captured by the imaging unit, and controls the amount of the illumination light corresponding to the determined imaging scene. Even when the imaging scene inside changes, the amount of illumination light can be adjusted according to the imaging scene inside the subject. There is an effect that a capsule medical device capable of capturing an in-vivo image with appropriate brightness can be realized.
以下、図面を参照して、本発明にかかるカプセル型医療装置の好適な実施の形態を詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of a capsule medical device according to the present invention will be described in detail with reference to the drawings. Note that the present invention is not limited to the embodiments.
(実施の形態1)
図1は、本発明の実施の形態1にかかる体内画像取得システムの一構成例を示す模式図である。図1に示すように、この実施の形態1にかかる体内画像取得システムは、被検体1の体内画像を撮像するカプセル型医療装置2と、このカプセル型医療装置2が撮像した被検体1の体内画像を受信する受信装置3と、被検体1の体内画像を表示する画像表示装置4と、かかる受信装置3と画像表示装置4との間のデータの受け渡しを行うための可搬型の記憶媒体5とを備える。
(Embodiment 1)
FIG. 1 is a schematic diagram illustrating a configuration example of the in-vivo image acquisition system according to the first embodiment of the present invention. As shown in FIG. 1, the in-vivo image acquisition system according to the first embodiment includes a capsule
カプセル型医療装置2は、撮像機能と無線通信機能とを備えたカプセル型の医療装置である。具体的には、カプセル型医療装置2は、経口摂取等によって患者等の被検体1の体内に導入され、その後、蠕動運動等によって被検体1の消化管内部を移動し、最終的に被検体1の外部に排出される。かかるカプセル型医療装置2は、被検体1の内部に導入されてから被検体1の外部に排出されるまでの期間、臓器内部における撮像シーン毎に被写体の照明光量を調整しつつ被検体1の体内画像を順次撮像し、得られた体内画像を外部の受信装置3に順次無線送信する。
The capsule
受信装置3は、かかるカプセル型医療装置2によって撮像された被検体1の体内画像群を受信するためのものである。具体的には、受信装置3は、被検体1の体表上に分散配置される複数の受信アンテナ3a〜3hを有し、この被検体1に携帯される。受信装置3は、これら複数の受信アンテナ3a〜3hを介して被検体1内部のカプセル型医療装置2からの無線信号を受信し、その都度、受信した無線信号を画像信号に復調する。受信装置3は、かかる画像信号に基づいた画像データ、すなわち、カプセル型医療装置2が撮像した被検体1の体内画像を順次取得する。また、受信装置3には、記憶媒体5が着脱可能に挿着される。受信装置3は、このように取得した被検体1の体内画像群を記憶媒体5内に蓄積する。
The receiving device 3 is for receiving an in-vivo image group of the
なお、受信アンテナ3a〜3hは、被検体1に着用させるジャケットの所定位置に分散配置されてもよい。この場合、受信アンテナ3a〜3hは、被検体1がこのジャケットを着用することによって、被検体1の体表上に分散配置される。また、かかる受信装置3の受信アンテナは、被検体1の体表上に1以上配置されればよく、その配置数は、特に8つに限定されない。
The receiving antennas 3a to 3h may be distributed at predetermined positions of a jacket worn by the
画像表示装置4は、カプセル型医療装置2によって撮像された被検体1の体内画像等の各種情報を表示するワークステーションのような構成を有する。具体的には、画像表示装置4は、上述した受信装置3から取り外された記憶媒体5を挿着され、この記憶媒体5内に蓄積された被検体1の体内画像群等を取り込む。画像表示装置4は、医師または看護師等のユーザによる操作に対応して、この被検体1の体内画像群をディスプレイに表示する。ユーザは、かかる画像表示装置4に表示させた体内画像群を観察することによって、被検体1の臓器内部を検査することができる。
The image display device 4 has a configuration like a workstation that displays various information such as an in-vivo image of the
記憶媒体5は、上述した受信装置3と画像表示装置4との間におけるデータの受け渡しを行うための可搬型の記憶メディアである。具体的には、記憶媒体5は、受信装置3および画像表示装置4に対して着脱可能であって、両者に対する挿着時にデータの出力および記録が可能な構造を有する。かかる記憶媒体5は、受信装置3に挿着された場合、受信装置3が受信した被検体1の体内画像群等を蓄積し、画像表示装置4に挿着された場合、被検体1の体内画像群等の蓄積データを画像表示装置4に出力する。
The storage medium 5 is a portable storage medium for transferring data between the receiving device 3 and the image display device 4 described above. Specifically, the storage medium 5 is detachable from the receiving device 3 and the image display device 4 and has a structure capable of outputting and recording data when being inserted into both. When the storage medium 5 is inserted into the receiving device 3, the in-vivo image group of the
つぎに、本発明の実施の形態1にかかるカプセル型医療装置2の構成について詳細に説明する。図2は、本発明の実施の形態1にかかるカプセル型医療装置の一構成例を示す模式図である。図3は、図2に示す方向Dから見たカプセル型医療装置を例示する模式図である。図2,3に示すように、この実施の形態1にかかるカプセル型医療装置2は、被検体1の臓器内部に導入可能な大きさのカプセル型筐体20と、被検体1内部における被写体を照明する複数の照明部21a〜21dと、照明部21a〜21dによって照明された臓器内部の画像、すなわち被検体1の体内画像を撮像する撮像部22と、撮像部22によって撮像された体内画像を外部に無線送信する送信ユニット23と、照明部21a〜21dの調光に必要な情報を記憶する記憶部24と、かかるカプセル型医療装置2の各構成部を制御する制御部25と、電池等によって実現される電源ユニット26とを備える。
Next, the configuration of the capsule
カプセル型筐体20は、被検体1の消化管内部に導入可能な大きさに形成されたカプセル型の筐体であり、一端がドーム形状をなす筒状筐体20aの他端(開口端)をドーム形状筐体20bによって塞いで実現される。ドーム形状筐体20bは、可視光等の所定の波長帯域の光に対して透明なドーム形状の光学部材である。一方、筒状筐体20aは、可視光に対して略不透明である。かかる筒状筐体20aとドーム形状筐体20bとによって形成されるカプセル型筐体20の内部には、照明部21a〜21d、撮像部22、送信ユニット23、記憶部24、制御部25および電源ユニット26が液密状態に収容される。
The capsule-
照明部21a〜21dは、撮像部22の被写体を照明するためのものである。具体的には、照明部21a〜21dの各々は、LED等の発光素子を用いて実現される。照明部21a〜21dは、制御部25によって制御された光量の照明光を発光し、ドーム形状筐体20b越しに、この照明光を被検体1の臓器内部に照射して撮像部22の被写体を照明する。
The
撮像部22は、照明部21a〜21dが発光した照明光によって照明された被写体の画像、すなわち被検体1の体内画像を撮像する。具体的には、撮像部22は、集光レンズ等の光学系22aと、CCDまたはCMOSイメージセンサ等の固体撮像素子22bとを備える。光学系22aは、照明部21a〜21dによって照明された被写体からの反射光を集光して、固体撮像素子22bの受光面に被写体の光学像を結像する。固体撮像素子22bは、例えばカプセル型筐体20の長手方向の中心軸CLに平行な方向を撮像方向とし、この撮像方向と画角とによって規定される撮像視野範囲内の被写体の画像を撮像する。この場合、固体撮像素子22bは、光学系22aによって結像された被写体の光学像、すなわち被検体1の体内画像を撮像する。なお、かかる撮像部22の光軸は、カプセル型筐体20の中心軸CLと一致することが望ましい。
The
送信ユニット23は、送信アンテナ23aを備え、この送信アンテナ23aを用いて被検体1外部の受信装置3(図1参照)に被検体1の体内画像を無線送信する。具体的には、送信ユニット23は、撮像部22が撮像した被検体1の体内画像のデータを含む画像信号を取得し、その都度、取得した画像信号に対して所定の変調処理等を行って、被検体1の画像信号を含む無線信号を生成する。送信ユニット23は、このように生成した無線信号を送信アンテナ23aを介して外部に順次送信する。かかる送信ユニット23によって送信された無線信号(すなわち被検体1の体内画像)は、上述した複数の受信アンテナ3a〜3hを介して受信装置3に受信される。
The
記憶部24は、上述した照明部21a〜21dが発光する照明光の光量の制御に必要な各種情報を記憶する。具体的には、記憶部24は、体内画像の撮像シーンの判別処理に用いられるフィルタ係数を含む係数情報24aと、撮像シーンに対応して照明光の光量を制御するために用いられる重み付け係数に関する重み付け情報24bと、体内画像の理想的な明るさを示す輝度目標値を含む調光情報24cとを記憶する。かかる記憶部24は、制御部25の制御に基づいて動作し、制御部25によって読み出し指示された情報を制御部25に送信する。また、記憶部24は、制御部25によって記憶指示された情報を記憶する。
The memory |
ここで、かかる重み付け情報24bに基づく重み付け係数Wijは、撮像シーンに応じた照明光の光量制御において、体内画像の内部に含まれる複数の部分画像領域Aijの平均輝度値Yijの重み付けを行うための係数である。具体的には、重み付け係数Wijは、図4に示すように、体内画像の内部における複数の部分画像領域Aijの平均輝度値Yijの輝度範囲に対応して異なる値に設定される。すなわち、平均輝度値Yijが0〜255の範囲内の輝度値である場合、0〜50の輝度範囲内の平均輝度値Yijに割り当てられる重み付け係数Wijは「0」であり、51〜100の輝度範囲内の平均輝度値Yijに割り当てられる重み付け係数Wijは「0.25」である。また、101〜150の輝度範囲内の平均輝度値Yijに割り当てられる重み付け係数Wijは「0.5」であり、151〜200の輝度範囲内の平均輝度値Yijに割り当てられる重み付け係数Wijは「0.75」であり、201〜255の輝度範囲内の平均輝度値Yijに割り当てられる重み付け係数Wijは「1」である。かかる重み付け係数Wijは、平均輝度値Yijの増大に伴って照明光の光量制御に対する平均輝度値Yijの寄与率を大きくし、平均輝度値Yijの減少に伴って照明光の光量制御に対する平均輝度値Yijの寄与率を小さくする。
Here, the weighting coefficient W ij based on the
なお、かかる部分画像領域Aij、平均輝度値Yijおよび重み付け係数Wijのi,jは、ともに1以上の整数であり、体内画像における部分画像領域Aijのアドレスを示す。例えば、部分画像領域Aijが1フレーム分の体内画像を格子状に複数分割して形成される画像領域である場合、このiは部分画像領域Aijの行数を示し、このjは部分画像領域Aijの列数を示す。 The partial image area A ij , the average luminance value Y ij, and i and j of the weighting coefficient W ij are all integers of 1 or more, and indicate the address of the partial image area A ij in the in-vivo image. For example, when the partial image area A ij is an image area formed by dividing an in-vivo image for one frame into a plurality of grids, i indicates the number of rows of the partial image area A ij , and j is the partial image. The number of columns in the area A ij is shown.
制御部25は、カプセル型医療装置2の各構成部(照明部21a〜21d、撮像部22、送信ユニット23および記憶部24)を制御し、且つ、かかる各構成部間における信号の入出力を制御する。具体的には、制御部25は、照明部21a〜21dが発光した照明光によって照明された臓器内部の画像すなわち体内画像を撮像部22が撮像するように、照明部21a〜21dの発光動作タイミングと撮像部22の撮像動作タイミングとを制御する。
The control unit 25 controls each component (the
また、制御部25は、体内画像の画像信号を生成する信号処理部25aを有する。信号処理部25aは、撮像部22の固体撮像素子22bによって光電変換された信号を取得し、この取得した信号に対して所定の信号処理を行って、被検体1の体内画像のデータを含む画像信号を生成する。制御部25は、かかる信号処理部25aが生成した画像信号を送信ユニット23に順次送信し、かかる画像信号を外部に順次無線送信するように送信ユニット23を制御する。
In addition, the control unit 25 includes a signal processing unit 25a that generates an image signal of the in-vivo image. The signal processing unit 25a acquires a signal photoelectrically converted by the solid-
さらに、制御部25は、シーン判別部25b、比較値算出部25cおよび光量調整部25dを有する。シーン判別部25bは、体内画像の撮像シーンを判別する。具体的には、シーン判別部25bは、撮像部22が体内画像を撮像する都度、撮像された1フレーム分の体内画像に含まれる複数の部分画像領域Aijの輝度情報である各平均輝度値Yijをもとに、この体内画像の撮像シーンを判別する。この場合、シーン判別部25bは、記憶部24内の係数情報24aに含まれる想定撮像シーン別のフィルタ係数と平均輝度値Yijとを用いて、想定する撮像シーン別にシーン判別値を算出する。シーン判別部25bは、かかるシーン判別値の比較処理を行い、この比較処理の結果に基づいて体内画像の撮像シーンを判別する。
Furthermore, the control unit 25 includes a scene determination unit 25b, a comparison value calculation unit 25c, and a light
比較値算出部25cは、体内画像の撮像シーンに対応して照明部21a〜21dの照明光の光量を制御するための輝度比較値を算出する。具体的には、比較値算出部25cは、想定する撮像シーン別に異なる輝度比較値の算出方式を予め設定され、シーン判別部25bによって判別された撮像シーンに対応して輝度比較値の算出方式を切り換える。比較値算出部25cは、かかる撮像シーンに対応して選択した算出方式に基づいて輝度比較値を算出する。より具体的には、比較値算出部25cは、体内画像の撮像シーンが管腔部である場合、1フレーム分の体内画像の全画像領域の平均輝度値を輝度比較値として算出する。一方、比較値算出部25cは、体内画像の撮像シーンが壁面部である場合、1フレーム分の体内画像に含まれる複数の部分画像領域Aijの平均輝度値Yijと記憶部24内の重み付け情報24bに基づく重み付け係数Wijとを用いて、この体内画像に対応する輝度比較値を算出する。
The comparison value calculation unit 25c calculates a luminance comparison value for controlling the amount of illumination light of the
なお、体内画像の撮像シーンの一例である管腔部は、被検体1内部の小腸または大腸等の管腔臓器の内部を撮像する際の撮像シーンであり、例えば、撮像部22内の固体撮像素子22bの受光面と被写体との距離が撮像視野範囲の周辺から中央部に向かって増大する状態の撮像シーンである。すなわち、撮像シーンが管腔部である場合に撮像された体内画像の画面内における輝度変化は、所定の基準レベル未満となる。一方、体内画像の撮像シーンの一例である壁面部は、被検体1内部の胃等の内部空間の径寸法が管腔臓器に比して大きい臓器の内壁面に対向して体内画像を撮像する際の撮像シーンであり、例えば、撮像部22内の固体撮像素子22bの受光面と被写体との距離が撮像視野範囲の周辺と中央部との間において殆ど変化しない状態の撮像シーンである。すなわち、撮像シーンが壁面部である場合に撮像された体内画像の画面内における輝度変化は、この所定の基準レベル以上となる。
Note that a luminal part, which is an example of an in-vivo image capturing scene, is an imaging scene when capturing an inside of a luminal organ such as a small intestine or a large intestine inside the
光量調整部25dは、体内画像の撮像シーンに対応して照明部21a〜21dの照明光の光量を調整する。具体的には、光量調整部25dは、予め設定された輝度目標値を記憶部24内の調光情報24cの中から読み出し、この取得した輝度目標値と上述した比較値算出部25cが算出した輝度比較値とを比較処理する。光量調整部25dは、かかる輝度目標値と輝度比較値との比較処理の結果をもとに、照明部21a〜21dが発光すべき照明光の光量を算出する。光量調整部25dは、この算出した光量と照明光の実際の光量とが一致するように照明部21a〜21dの発光量を調整する。制御部25は、かかる光量調整部25dが調整した発光量の照明光を発光するように照明部21a〜21dを制御する。この場合、制御部25は、照明部21a〜21dの発光時間または通電量(電流値)を制御することによって、照明部21a〜21dの発光量(すなわち照明光の光量)を制御する。
The light
電源ユニット26は、スイッチ回路および電池等を用いて実現される。電源ユニット26は、スイッチ回路によってオン状態に切り替わった際に、カプセル型医療装置2の各構成部に電力を供給し、オフ状態に切り替わった際に、これら各構成部に対する電力供給を停止する。なお、かかる電源ユニット26のスイッチ回路(図示せず)は、外部から印加された外部磁界によってオンオフ状態を切り替える磁気スイッチであってもよいし、外部から入射した所定の光(例えば赤外光等)によってオンオフ状態を切り替える光スイッチであってもよい。
The
つぎに、体内画像の撮像シーンとして管腔部および壁面部を想定した場合を例示して、体内画像の撮像シーンの判別処理に用いられる係数情報24a内のフィルタ係数について説明する。図5は、カプセル型医療装置の照明部が発光する照明光の光強度分布を例示する模式図である。図6は、撮像シーンとして管腔部を想定した場合のフィルタ係数を説明するための模式図である。図7は、撮像シーンとして壁面部を想定した場合のフィルタ係数を説明するための模式図である。 Next, the filter coefficient in the coefficient information 24a used for the discrimination processing of the imaging scene of the in-vivo image will be described by exemplifying a case where a lumen part and a wall surface part are assumed as the imaging scene of the in-vivo image. FIG. 5 is a schematic view illustrating the light intensity distribution of illumination light emitted from the illumination unit of the capsule medical device. FIG. 6 is a schematic diagram for explaining filter coefficients when a lumen is assumed as an imaging scene. FIG. 7 is a schematic diagram for explaining filter coefficients when a wall surface is assumed as an imaging scene.
図2,3に示したカプセル型医療装置2の照明部21a〜21dは、撮像部22が被検体1の体内画像を撮像する際、上述したように、この撮像部22の被写体である被検体1の臓器内部を照明光によって照明する。かかる照明部21a〜21dが発光する照明光は、図5の曲線L1に例示されるような光強度分布を有する。すなわち、かかる照明部21a〜21dの照明光の光強度は、撮像部22の撮像視野の中心部において最大値になり、この撮像視野の中心部から周辺部に向かって二次関数的に減少する。なお、カプセル型医療装置2の中心軸CLと撮像部22の光軸とが一致する場合、かかる撮像部22の撮像視野の中心部は、このカプセル型医療装置2の中心軸CL上の位置になる。
The illuminating
ここで、体内画像の撮像シーンが管腔部である場合、照明部21a〜21dは、曲線L1に例示される光強度分布を有する照明光を管腔状の被写体に照射する。撮像部22は、かかる照明光によって照明された管腔状の被写体からの反射光を受光して、この管腔状の被写体の画像(体内画像)を撮像する。この場合、固体撮像素子22bの受光面に入射する管腔状の被写体からの反射光は、図6の曲線L2に例示されるような光強度分布を有する。すなわち、かかる固体撮像素子22bの受光面における反射光の受光強度(以下、板面照度という)は、この受光面の中心部から縁部近傍までの領域において略一定であり、この縁部近傍から受光面の外周に向けて徐々に増加する。
Here, when the imaging scene of the in-vivo image is a lumen part, the
このような管腔部を体内画像の撮像シーンに想定した場合のフィルタ係数K1ijは、かかる管腔状の被写体からの反射光による板面照度と逆数の関係になる。すなわち、このフィルタ係数K1ijは、図6に示すように、管腔部に対応する板面照度の光強度分布を示す曲線L2と逆数の関係にある曲線L4上の値になる。かかるフィルタ係数K1ijは、体内画像の撮像シーンとして想定される管腔部に対応するフィルタ係数として予め設定される。なお、上述した記憶部24は、かかるフィルタ係数K1ijを係数情報24aの一部として記憶する。
The filter coefficient K1 ij when such a lumen is assumed to be an in-vivo image capturing scene has a reciprocal relationship with the plate surface illuminance due to the reflected light from the lumen-like subject. That is, as shown in FIG. 6, the filter coefficient K1 ij has a value on the curve L4 having a reciprocal relationship with the curve L2 indicating the light intensity distribution of the plate surface illuminance corresponding to the lumen. The filter coefficient K1 ij is set in advance as a filter coefficient corresponding to a lumen portion assumed as an in-vivo image capturing scene. The
一方、体内画像の撮像シーンが壁面部である場合、照明部21a〜21dは、図5に示した曲線L1に例示される光強度分布を有する照明光を臓器壁面状の被写体に照射する。撮像部22は、かかる照明光によって照明された臓器壁面状の被写体からの反射光を受光して、この臓器壁面状の被写体の画像(体内画像)を撮像する。この場合、固体撮像素子22bの受光面に入射する臓器壁面状の被写体からの反射光は、図7の曲線L3に例示されるような光強度分布を有する。すなわち、かかる固体撮像素子22bの受光面における板面照度は、この受光面の中心部において最大値になり、この受光面の中心部から外周に向かって二次関数的に減少する。
On the other hand, when the imaging scene of the in-vivo image is a wall surface portion, the
このような壁面部を体内画像の撮像シーンに想定した場合のフィルタ係数K2ijは、かかる臓器壁面状の被写体からの反射光による板面照度と逆数の関係になる。すなわち、このフィルタ係数K2ijは、図7に示すように、壁面部に対応する板面照度の光強度分布を示す曲線L3と逆数の関係にある曲線L5上の値になる。かかるフィルタ係数K2ijは、体内画像の撮像シーンとして想定される壁面部に対応するフィルタ係数として予め設定される。なお、上述した記憶部24は、かかるフィルタ係数K2ijを係数情報24aの一部として記憶する。
Such a filter coefficient K2 ij when the wall portion is assumed to the image scene of the in-vivo image is a relation of the plate surface illuminance and reciprocal by the reflected light from such organs wall-like object. That is, as shown in FIG. 7, the filter coefficient K2 ij has a value on a curve L5 having a reciprocal relationship with the curve L3 indicating the light intensity distribution of the plate surface illuminance corresponding to the wall surface. The filter coefficient K2 ij is set in advance as a filter coefficient corresponding to a wall surface portion assumed as an in-vivo image capturing scene. The
つぎに、体内画像の撮像シーンに対応して照明光の光量を制御する際のカプセル型医療装置2の動作について説明する。図8は、本発明の実施の形態1にかかるカプセル型医療装置の制御部の処理手順を例示するフローチャートである。カプセル型医療装置2の制御部25は、図8に示す処理手順を行って、体内画像の撮像シーンを判別し、この判別した撮像シーンに対応して照明光の光量を制御する。
Next, the operation of the capsule
すなわち、図8に示すように、制御部25は、まず、被検体1の臓器内部に照明光を照射して撮像部22の被写体を照明するように照明部21a〜21dを制御し、且つ、この照明光によって照明された被写体の画像、すなわち被検体1の体内画像を撮像するように撮像部22を制御する(ステップS101)。このステップS101において、制御部25は、光量調整部25dによって調整された光量の照明光を発光するように照明部21a〜21dを制御する。制御部25は、固体撮像素子22bによって光電変換された信号に基づく1フレーム分の体内画像のデータを取得する。なお、制御部25は、かかる体内画像のデータを含む画像信号を送信ユニット23に送信し、この画像信号を外部の受信装置3(図1参照)に無線送信するように、送信ユニット23を制御する。
That is, as shown in FIG. 8, the control unit 25 first controls the
つぎに、制御部25は、このステップS101において取得した1フレーム分の体内画像内の各部分画像領域の平均輝度値を算出する(ステップS102)。このステップS102において、制御部25は、撮像部22から取得した1フレーム分の体内画像の内部に複数の部分画像領域Aijを設定し、これら複数の部分画像領域Aijの各平均輝度値Yijを各々算出する。
Next, the control unit 25 calculates an average luminance value of each partial image region in the in-vivo image for one frame acquired in step S101 (step S102). In step S102, the control unit 25 sets a plurality of partial image areas A ij inside the in-vivo image for one frame acquired from the
続いて、制御部25は、このステップS102において算出した各平均輝度値Yijをもとに体内画像の撮像シーン判別処理を行う(ステップS103)。その後、制御部25は、このステップS103において判別した撮像シーンが管腔部である場合(ステップS104,管腔)、体内画像の撮像シーンとして管腔部を想定した輝度比較値を算出する(ステップS105)。このステップS105において、比較値算出部25cは、ステップS101において取得した1フレーム分の体内画像の輝度値を全画像領域について平均化する演算処理を行い、これによって、この1フレーム分の体内画像の平均輝度値を輝度比較値として算出する。 Subsequently, the control unit 25 performs an in-vivo image capturing scene determination process based on each average luminance value Y ij calculated in step S102 (step S103). Thereafter, when the imaging scene determined in step S103 is a luminal part (step S104, luminal), the control unit 25 calculates a luminance comparison value assuming the luminal part as the in-vivo image imaging scene (step S104). S105). In step S105, the comparison value calculation unit 25c performs a calculation process for averaging the luminance values of the in-vivo image for one frame acquired in step S101 over the entire image region. The average luminance value is calculated as a luminance comparison value.
一方、制御部25は、ステップS103において判別した撮像シーンが壁面部である場合(ステップS104,壁面)、体内画像の撮像シーンとして壁面部を想定した輝度比較値を算出する(ステップS106)。このステップS106において、比較値算出部25cは、記憶部24から重み付け情報24bを読み出し、この重み付け情報24bに基づいて、各部分画像領域Aijの平均輝度値Yij毎に重み付け係数Wijを各々算出する。この場合、比較値算出部25cは、図4に示したような平均輝度値の輝度範囲と重み付け係数との対応関係に基づいて、各部分画像領域Aijの平均輝度値Yijに各々割り当てる各重み付け係数Wijを算出する。比較値算出部25cは、かかる各平均輝度値Yijと各重み付け係数Wijとを各々乗じた各乗算値Eij(Eij=Yij×Wij)を算出し、この算出した各乗算値Eijの積算値を部分画像領域Aijの数量(=i×j)によって除し、これによって、輝度比較値を算出する。
On the other hand, when the imaging scene determined in step S103 is a wall surface (step S104, wall surface), the control unit 25 calculates a luminance comparison value assuming the wall surface as the in-vivo image capturing scene (step S106). Each In step S106, the comparison value calculation section 25c reads out the
このように、制御部25は、ステップS103において判別した撮像シーンに対応してステップS105の算出方式またはステップS106の算出方式のいずれかに輝度比較値の算出方式を切り換え、選択した算出方式によって輝度比較値を算出する。 As described above, the control unit 25 switches the luminance comparison value calculation method to either the calculation method of step S105 or the calculation method of step S106 corresponding to the imaging scene determined in step S103, and the luminance is determined by the selected calculation method. A comparison value is calculated.
つぎに、制御部25は、上述したように算出した輝度比較値が輝度目標値以下であるか否かを判断する。制御部25は、この輝度比較値が輝度目標値以下である場合(ステップS107,Yes)、照明光の光量を増加するように照明部21a〜21dの発光量を制御し(ステップS108)、この輝度比較値が輝度目標値を超過する場合(ステップS107,No)、照明光の光量を減少するように照明部21a〜21dの発光量を制御する(ステップS109)。その後、制御部25は、上述したステップS101に戻り、このステップS101以降の処理手順を繰り返す。
Next, the control unit 25 determines whether or not the brightness comparison value calculated as described above is equal to or less than the brightness target value. When the brightness comparison value is equal to or less than the brightness target value (step S107, Yes), the control unit 25 controls the light emission amounts of the
かかるステップS107〜S109において、光量調整部25dは、記憶部24内の調光情報24cの中から予め設定された輝度目標値を読み出す。光量調整部25dは、この輝度目標値とステップS105またはステップS106において算出された輝度比較値とを比較処理し、かかる輝度目標値と輝度比較値との差をもとに、照明部21a〜21dが発光すべき照明光の光量を調整する。具体的には、光量調整部25dは、輝度比較値が輝度目標値以下である場合、照明光の光量を現状以上の光量に増加し、輝度比較値が輝度目標値を超過する場合、照明光の光量を現状に比して小さい光量に減少する。この結果、次回に撮像部22が撮像する体内画像の平均輝度値は、この輝度目標値に近づく。
In steps S107 to S109, the light
つぎに、上述したステップS103の撮像シーン判別処理について詳細に説明する。図9は、図8に示すステップS103の撮像シーン判別処理を達成するまでの処理手順を例示するフローチャートである。 Next, the imaging scene determination process in step S103 described above will be described in detail. FIG. 9 is a flowchart illustrating the processing procedure until the imaging scene determination processing in step S103 shown in FIG. 8 is achieved.
上述したステップS103の撮像シーン判別処理を実行する際のカプセル型医療装置2において、制御部25は、図9に示すように、まず、体内画像の撮像シーン判別のためのシーン判別値を算出する(ステップS201)。
In the capsule
このステップS201において、シーン判別部25bは、想定した撮像シーン別にシーン判別値を各々算出する。具体的には、シーン判別部25bは、記憶部24内の係数情報24aの中から、撮像シーンとして管腔部を想定した場合の各フィルタ係数K1ijと、撮像シーンとして壁面部を想定した場合の各フィルタ係数K2ijとを読み出す。シーン判別部25bは、かかる管腔部想定の各フィルタ係数K1ijと上述したステップS102における各平均輝度値Yijとを各々乗じた各乗算値H1ij(H1ij=K1ij×Yij)を算出する。シーン判別部25bは、このように算出した各乗算値H1ijの中から最大値MAX(H1ij)と最小値MIN(H1ij)とを抽出し、この抽出した最大値MAX(H1ij)と最小値MIN(H1ij)との比(=MAX(H1ij)/MIN(H1ij))を管腔部想定のシーン判別値B1として算出する。また、シーン判別部25bは、かかる壁面部想定の各フィルタ係数K2ijと上述したステップS102における各平均輝度値Yijとを各々乗じた各乗算値H2ij(H2ij=K2ij×Yij)を算出する。シーン判別部25bは、このように算出した各乗算値H2ijの中から最大値MAX(H2ij)と最小値MIN(H2ij)とを抽出し、この抽出した最大値MAX(H2ij)と最小値MIN(H2ij)との比(=MAX(H2ij)/MIN(H2ij))を壁面部想定のシーン判別値B2として算出する。
In step S201, the scene determination unit 25b calculates a scene determination value for each assumed imaging scene. Specifically, the scene discrimination unit 25b, from among the coefficient information 24a in the
つぎに、制御部25は、かかる管腔部を想定したシーン判別値B1と壁面部を想定したシーン判別値B2とを比較処理する(ステップS202)。この場合、シーン判別部25bは、上述したステップS201において算出した管腔部想定のシーン判別値B1と壁面部想定のシーン判別値B2とを比較処理し、これによって、かかるシーン判別値B1,B2の大小関係を把握する。 Next, the control unit 25 performs a comparison process between the scene discrimination value B1 assuming the lumen portion and the scene discrimination value B2 assuming the wall surface portion (step S202). In this case, the scene discriminating unit 25b performs a comparison process of the scene discriminating value B1 assumed in the lumen and the scene discriminating value B2 assumed in the wall surface calculated in step S201, and thereby the scene discriminating values B1 and B2 are compared. Understand the size relationship.
制御部25は、かかるシーン判別値B1,B2の比較処理の結果、管腔部想定のシーン判別値B1が壁面部想定のシーン判別値B2に比して大きい場合(ステップS203,Yes)、体内画像の撮像シーンが壁面部であると判別し(ステップS204)、図8に示したステップS103にリターンする。一方、制御部25は、管腔部想定のシーン判別値B1が壁面部想定のシーン判別値B2に比して小さい場合(ステップS203,No)、体内画像の撮像シーンが管腔部であると判別し(ステップS205)、図8に示したステップS103にリターンする。 As a result of the comparison processing of the scene determination values B1 and B2, the control unit 25 determines that the lumen-assumed scene determination value B1 is larger than the wall-surface assumed scene determination value B2 (Yes in step S203). It is determined that the imaging scene of the image is a wall surface (step S204), and the process returns to step S103 shown in FIG. On the other hand, when the scene discriminating value B1 assumed for the lumen portion is smaller than the scene discriminating value B2 assumed for the wall surface portion (No in step S203), the control unit 25 determines that the in-vivo image capturing scene is the lumen portion. It discriminate | determines (step S205) and returns to step S103 shown in FIG.
ここで、上述した管腔部想定の各フィルタ係数K1ijは、図6の曲線L4に例示されるように、管腔状の被写体からの反射光による固体撮像素子22bの板面照度と逆数の関係にある。このため、かかる管腔部想定の各フィルタ係数K1ijと各平均輝度値Yijとを各々乗じた各乗算値H1ijは、現体内画像の撮像シーンが管腔部である場合、「1」または「1」の近似値になる。一方、現体内画像の撮像シーンが壁面部である場合、かかる各乗算値H1ijの最大値MAX(H1ij)と最小値MIN(H1ij)との差は、撮像シーンが管腔部である場合に比して著しく大きくなる。したがって、かかる最大値MAX(H1ij)と最小値MIN(H1ij)との比であるシーン判別値B1は、現体内画像の撮像シーンが管腔部である場合、「1」または「1」の近似値になり、現体内画像の撮像シーンが壁面部である場合、「1」に比して著しく大きくなる。
Here, each filter coefficient K1 ij assumed for the above-described lumen portion has a reciprocal of the plate surface illuminance of the solid-
一方、上述した壁面部想定の各フィルタ係数K2ijは、図7の曲線L5に例示されるように、臓器壁面状の被写体からの反射光による固体撮像素子22bの板面照度と逆数の関係にある。このため、かかる壁面部想定の各フィルタ係数K2ijと各平均輝度値Yijとを各々乗じた各乗算値H2ijは、現体内画像の撮像シーンが壁面部である場合、「1」または「1」の近似値になる。一方、現体内画像の撮像シーンが管腔部である場合、かかる各乗算値H2ijの最大値MAX(H2ij)と最小値MIN(H2ij)との差は、撮像シーンが壁面部である場合に比して著しく大きくなる。したがって、かかる最大値MAX(H2ij)と最小値MIN(H2ij)との比であるシーン判別値B2は、現体内画像の撮像シーンが壁面部である場合、「1」または「1」の近似値になり、現体内画像の撮像シーンが管腔部である場合、「1」に比して著しく大きくなる。
On the other hand, each filter coefficient K2 ij assumed for the wall surface portion described above has a reciprocal relationship with the plate surface illuminance of the solid-
したがって、かかるシーン判別値B1,B2の大小関係は、体内画像の撮像シーンに対応する。具体的には、現体内画像の撮像シーンが管腔部である場合、管腔部想定のシーン判別値B1は壁面部想定のシーン判別値B2に比して小さくなる。一方、現体内画像の撮像シーンが壁面部である場合、管腔部想定のシーン判別値B1は壁面部想定のシーン判別値B2に比して大きくなる。 Therefore, the magnitude relationship between the scene discrimination values B1 and B2 corresponds to the in-vivo image capturing scene. Specifically, when the imaging scene of the in-vivo image is a lumen part, the scene determination value B1 assumed for the lumen part is smaller than the scene determination value B2 assumed for the wall part. On the other hand, when the imaging scene of the in-vivo image is a wall surface portion, the scene determination value B1 assumed for the lumen portion is larger than the scene determination value B2 assumed for the wall surface portion.
つぎに、上述した複数の部分画像領域Aijが体内画像を格子状に25分割したものである場合を例示して、体内画像の撮像シーンに対応して照明光の光量を制御するカプセル型医療装置2の動作を具体的に説明する。図10は、カプセル型医療装置が管腔臓器の内部において体内画像を撮像する状態を例示する模式図である。図11は、管腔部想定のフィルタ係数および壁面部想定のフィルタ係数の一具体例を示す模式図である。図12は、カプセル型医療装置が臓器内壁面に対向して体内画像を撮像する状態を例示する模式図である。以下、上述した図2および図10〜12を参照しつつ、体内画像の撮像シーン判別処理および照明光の光量制御を行う際のカプセル型医療装置2の動作を具体的に説明する。
Next, a capsule medical that controls the amount of illumination light corresponding to the imaging scene of the in-vivo image, exemplifying the case where the plurality of partial image areas A ij described above are obtained by dividing the in-vivo image into 25 grids. The operation of the
カプセル型医療装置2は、図10に示すように小腸等の管腔臓器15の内部に到達した場合、撮像部22は、照明部21a〜21dの照明光によって照明された管腔臓器15内部の体内画像Pを撮像する。この場合、制御部25は、撮像部22から管腔臓器15の体内画像Pのデータを取得し、この取得した体内画像Pを5行×5列の格子状に分割して25分割の部分画像領域A11〜A55を設定する。続いて、制御部25は、かかる部分画像領域A11〜A55の各平均輝度値Y11〜Y55を各々算出する。制御部25は、記憶部24内の係数情報24aの中から、図11に例示されるような管腔部想定の各フィルタ係数K111〜K155と壁面部想定の各フィルタ係数K211〜K255とを読み出し、かかる各平均輝度値Y11〜Y55および各フィルタ係数K111〜K155,K211〜K255を用いて体内画像Pの撮像シーン判別処理を行う。
When the capsule
かかる体内画像Pの撮像シーン判別処理において、シーン判別部25bは、管腔部想定の各フィルタ係数K111〜K155と体内画像Pの各平均輝度値Y11〜Y55とを各々乗じて、各乗算値H111〜H155(H111=K111×Y11、H112=K112×Y12、…、H154=K154×Y54、H155=K155×Y55)を算出する。シーン判別部25bは、このように算出した各乗算値H111〜H155の中から最大値MAX(H1ij)と最小値MIN(H1ij)とを抽出し、この抽出した最大値MAX(H1ij)と最小値MIN(H1ij)との比(=MAX(H1ij)/MIN(H1ij))を管腔部想定のシーン判別値B1として算出する。 In the imaging scene discrimination processing of the in-vivo image P, the scene discrimination unit 25b multiplies respectively each average luminance value Y 11 to Y 55 of each filter coefficient K1 11 ~K1 55-vivo image P of the lumen assumed, Multiplication values H1 11 to H1 55 (H1 11 = K1 11 × Y 11 , H1 12 = K1 12 × Y 12 ,..., H1 54 = K1 54 × Y 54 , H1 55 = K1 55 × Y 55 ) are calculated. . The scene discriminating unit 25b extracts the maximum value MAX (H1 ij ) and the minimum value MIN (H1 ij ) from the multiplication values H1 11 to H1 55 calculated in this way, and this extracted maximum value MAX (H1 The ratio (= MAX (H1 ij ) / MIN (H1 ij )) between the ij ) and the minimum value MIN (H1 ij ) is calculated as the assumed scene discrimination value B1.
また、シーン判別部25bは、壁面部想定の各フィルタ係数K211〜K255と体内画像Pの各平均輝度値Y11〜Y55とを各々乗じて、各乗算値H211〜H255(H211=K211×Y11、H212=K212×Y12、…、H254=K254×Y54、H255=K255×Y55)を算出する。シーン判別部25bは、このように算出した各乗算値H211〜H255の中から最大値MAX(H2ij)と最小値MIN(H2ij)とを抽出し、この抽出した最大値MAX(H2ij)と最小値MIN(H2ij)との比(=MAX(H2ij)/MIN(H2ij))を壁面部想定のシーン判別値B2として算出する。 Further, the scene determination unit 25b multiplies respectively each average luminance value Y 11 to Y 55 of each filter coefficient K2 11 ~K2 55-vivo image P of the wall portion assumed, each multiplier value H2 11 ~H2 55 (H2 11 = K2 11 × Y 11 , H2 12 = K2 12 × Y 12 ,..., H2 54 = K2 54 × Y 54 , H2 55 = K2 55 × Y 55 ). Scene discrimination unit 25b, thus the maximum value MAX from among the multiplied values H2 11 ~H2 55 calculated (H2 ij) and the minimum value MIN (H2 ij) extracts the maximum value MAX (H2 this the extracted The ratio (= MAX (H2 ij ) / MIN (H2 ij )) between the ij ) and the minimum value MIN (H2 ij ) is calculated as the scene discrimination value B2 assuming the wall surface portion.
ここで、この体内画像Pの実際の撮像シーンは、図10に示したように管腔部である。この場合、管腔部想定のシーン判別値B1は「1」または「1」の近似値になり、壁面部想定のシーン判別値B2は「1」に比して著しく大きくなる。シーン判別部25bは、かかるシーン判別値B1,B2を比較処理し、この管腔部想定のシーン判別値B1が壁面部想定のシーン判別値B2に比して小さい旨を把握する。シーン判別部25bは、かかるシーン判別値B1,B2の比較処理の結果に基づいて、体内画像Pの撮像シーンが管腔部であると判別する。 Here, the actual imaging scene of the in-vivo image P is a lumen as shown in FIG. In this case, the scene discriminating value B1 assumed for the lumen portion is “1” or an approximate value of “1”, and the scene discriminating value B2 assumed for the wall surface portion is significantly larger than “1”. The scene discriminating unit 25b compares the scene discriminating values B1 and B2, and grasps that the scene discriminating value B1 assumed for the lumen portion is smaller than the scene discriminating value B2 assumed for the wall surface portion. The scene determination unit 25b determines that the imaging scene of the in-vivo image P is a luminal part based on the result of the comparison processing of the scene determination values B1 and B2.
このように体内画像Pの撮像シーンが管腔部であると判別された場合、制御部25は、この体内画像Pの輝度情報に基づく管腔部想定の輝度比較値を算出する。この場合、比較値算出部25cは、体内画像Pの輝度値を全画像領域について平均化する演算処理を行って、管腔部想定の輝度比較値を算出する。具体的には、比較値算出部25cは、体内画像P内の各部分画像領域A11〜A55の平均輝度値Y11〜Y55を積算し、この算出した積算値を部分画像領域A11〜A55の領域数(=25)によって除して、体内画像P全体の平均輝度値すなわち管腔部想定の輝度比較値を算出する。 In this way, when it is determined that the imaging scene of the in-vivo image P is a lumen part, the control unit 25 calculates a luminance comparison value assumed for the lumen part based on the luminance information of the in-vivo image P. In this case, the comparison value calculation unit 25c performs a calculation process that averages the luminance value of the in-vivo image P over the entire image area, and calculates the luminance comparison value assumed for the lumen. Specifically, the comparison value calculation unit 25c integrates the average luminance value Y 11 to Y 55 of the partial image region A 11 to A 55 in the in-vivo image P, the partial image region A 11 an integrated value obtained by this calculation region number of ~A 55 (= 25) by dividing by calculating the average luminance value or the luminance comparison value lumen assumptions whole vivo image P.
その後、光量調整部25dは、記憶部24内の調光情報24cの中から輝度目標値を読み出し、このように算出された管腔部想定の輝度比較値と輝度目標値とを比較処理する。光量調整部25dは、かかる輝度目標値と管腔部想定の輝度比較値との差をもとに、照明部21a〜21dが発光すべき照明光の光量を調整する。制御部25は、かかる光量調整部25dによって調整された光量の照明光を発光するように照明部21a〜21dを制御し、これによって、撮像シーンである管腔部に応じた照明光の光量制御を達成する。
Thereafter, the light
一方、カプセル型医療装置2は、胃等の内部空間が比較的広い臓器内部に到達した場合、撮像部22は、図12に示すように、照明部21a〜21dの照明光によって照明された臓器内部の体内画像Pを、臓器内壁面16に対向する態様で撮像する。この場合、制御部25は、撮像部22から臓器内壁面16の体内画像Pのデータを取得し、この取得した体内画像Pを5行×5列の格子状に分割して25分割の部分画像領域A11〜A55を設定する。続いて、制御部25は、かかる部分画像領域A11〜A55の各平均輝度値Y11〜Y55を各々算出する。制御部25は、記憶部24内の係数情報24aの中から、図11に例示されるような管腔部想定の各フィルタ係数K111〜K155と壁面部想定の各フィルタ係数K211〜K255とを読み出し、かかる各平均輝度値Y11〜Y55および各フィルタ係数K111〜K155,K211〜K255を用いて体内画像Pの撮像シーン判別処理を行う。
On the other hand, when the capsule
かかる体内画像Pの撮像シーン判別処理において、シーン判別部25bは、上述した管腔臓器15の場合と同様に、管腔部想定の各フィルタ係数K111〜K155と体内画像Pの各平均輝度値Y11〜Y55とを各々乗じた各乗算値H111〜H155を算出し、かかる各乗算値H111〜H155の最大値MAX(H1ij)と最小値MIN(H1ij)との比(=MAX(H1ij)/MIN(H1ij))を管腔部想定のシーン判別値B1として算出する。また、シーン判別部25bは、壁面部想定の各フィルタ係数K211〜K255と体内画像Pの各平均輝度値Y11〜Y55とを各々乗じた各乗算値H211〜H255を算出し、かかる各乗算値H211〜H255の最大値MAX(H2ij)と最小値MIN(H2ij)との比(=MAX(H2ij)/MIN(H2ij))を壁面部想定のシーン判別値B2として算出する。
In the imaging scene discrimination process of the in-vivo image P, the scene discrimination unit 25b, as in the case of the
ここで、この体内画像Pの実際の撮像シーンは、図12に示したように壁面部である。この場合、壁面部想定のシーン判別値B2は「1」または「1」の近似値になり、管腔部想定のシーン判別値B1は「1」に比して著しく大きくなる。シーン判別部25bは、かかるシーン判別値B1,B2を比較処理し、この管腔部想定のシーン判別値B1が壁面部想定のシーン判別値B2に比して大きい旨を把握する。シーン判別部25bは、かかるシーン判別値B1,B2の比較処理の結果に基づいて、体内画像Pの撮像シーンが壁面部であると判別する。 Here, the actual imaging scene of the in-vivo image P is a wall surface portion as shown in FIG. In this case, the scene determination value B2 assumed for the wall surface portion is “1” or an approximate value of “1”, and the scene determination value B1 assumed for the lumen portion is significantly larger than “1”. The scene discriminating unit 25b compares the scene discriminating values B1 and B2, and grasps that the scene discriminating value B1 assumed for the lumen portion is larger than the scene discriminating value B2 assumed for the wall surface portion. The scene determination unit 25b determines that the imaging scene of the in-vivo image P is a wall surface based on the result of the comparison processing of the scene determination values B1 and B2.
このように体内画像Pの撮像シーンが壁面部であると判別された場合、制御部25は、この体内画像Pの輝度情報に基づく壁面部想定の輝度比較値を算出する。この場合、比較値算出部25cは、記憶部24内の重み付け情報24bに基づいて、体内画像Pの各平均輝度値Y11〜Y55に各々割り当てる重み付け係数W11〜W55を算出する。比較値算出部25cは、かかる体内画像Pの各平均輝度値Y11〜Y55と各重み付け係数W11〜W55とを各々乗じて、各乗算値E11〜E55(E11=W11×Y11、E12=W12×Y12、…、E54=W54×Y54、E55=W55×Y55)を算出する。比較値算出部25cは、かかる各乗算値E11〜E55を積算し、この算出した積算値を部分画像領域A11〜A55の領域数(=25)によって除して、壁面部想定の輝度比較値を算出する。
As described above, when it is determined that the imaging scene of the in-vivo image P is the wall surface portion, the control unit 25 calculates the assumed wall surface portion luminance comparison value based on the luminance information of the in-vivo image P. In this case, the comparison value calculation unit 25c, based on the
その後、光量調整部25dは、記憶部24内の調光情報24cの中から輝度目標値を読み出し、このように算出された壁面部想定の輝度比較値と輝度目標値とを比較処理する。光量調整部25dは、かかる輝度目標値と壁面部想定の輝度比較値との差をもとに、照明部21a〜21dが発光すべき照明光の光量を調整する。制御部25は、かかる光量調整部25dによって調整された光量の照明光を発光するように照明部21a〜21dを制御し、これによって、撮像シーンである壁面部に応じた照明光の光量制御を達成する。
Thereafter, the light
以上、説明したように、本発明の実施の形態1では、照明部が被検体の臓器内部に照射した照明光によって照明された被写体の画像、すなわち体内画像を撮像部によって撮像し、この撮像した体内画像に含まれる複数の部分画像領域の各平均輝度値等の輝度情報を算出し、この算出した輝度情報をもとに、この体内画像の撮像シーンを判別し、この判別した撮像シーンに対応して照明光の光量を制御するように構成した。このため、被検体内部における撮像シーンが管腔部または壁面部等に変化する場合であっても、被検体内部における撮像シーンに対応して照明光の光量を調整でき、これによって、撮像シーンに好適な光量の照明光を臓器内部に照射して、ハレーションの発生を抑制しつつ、適正な明るさの体内画像を撮像できるカプセル型医療装置を実現することができる。 As described above, in the first embodiment of the present invention, the imaging unit captures an image of the subject illuminated by the illumination light irradiated by the illumination unit inside the organ of the subject, that is, an in-vivo image. Luminance information such as each average luminance value of a plurality of partial image areas included in the in-vivo image is calculated, and based on the calculated luminance information, the imaging scene of the in-vivo image is determined, and the determined imaging scene is supported. Thus, the light amount of the illumination light is controlled. For this reason, even when the imaging scene inside the subject changes to a lumen part or a wall surface part, the amount of illumination light can be adjusted corresponding to the imaging scene inside the subject. A capsule medical device capable of capturing an in-vivo image with appropriate brightness while suppressing the occurrence of halation by irradiating an appropriate amount of illumination light inside the organ can be realized.
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。上述した実施の形態1では、判別した撮像シーンに対応して照明光の光量を制御していたが、この実施の形態2では、判別した撮像シーンに対応して、照明光の光量および発光パターンを制御するようにしている。
(Embodiment 2)
Next, a second embodiment of the present invention will be described. In the first embodiment described above, the amount of illumination light is controlled corresponding to the identified imaging scene. In the second embodiment, the amount of illumination light and the light emission pattern are associated with the identified imaging scene. To control.
図13は、本発明の実施の形態2にかかるカプセル型医療装置の一構成例を示す模式図である。図14は、図13に示す方向Dから見たカプセル型医療装置を例示する模式図である。図13,14に示すように、この実施の形態2にかかるカプセル型医療装置31は、上述した実施の形態1にかかるカプセル型医療装置2の制御部25に代えて制御部35を備え、照明部21a〜21dに比して指向性の強い照明光を発光する複数の照明部32a〜32dをさらに備える。また、このカプセル型医療装置31において、記憶部24は、上述した係数情報24aに代えて係数情報34aを記憶する。なお、この実施の形態2にかかる体内画像取得システムは、上述した実施の形態1にかかる体内画像取得システム(図1参照)のカプセル型医療装置2に代えてカプセル型医療装置31を備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
FIG. 13 is a schematic diagram illustrating a configuration example of a capsule medical apparatus according to the second embodiment of the present invention. FIG. 14 is a schematic view illustrating the capsule medical device viewed from the direction D shown in FIG. As shown in FIGS. 13 and 14, the capsule
照明部32a〜32dは、上述した照明部21a〜21dに比して指向性の強い照明光源である。具体的には、照明部32a〜32dは、LED等の発光素子を用いて実現され、図14に示すように、照明部21a〜21dと撮像部22との間の基板面、すなわち照明部21a〜21dに比して撮像部22寄り(内側)に配置される。照明部32a〜32dは、制御部35によって制御された光量の照明光を発光し、ドーム形状筐体20b越しに、この照明光を被検体1の臓器内部に照射して撮像部22の被写体を照明する。この場合、かかる照明部32a〜32dからの照明光は、外側の照明部21a〜21dの照明光に比して撮像部22の撮像視野範囲の中央側に集中する。
The
制御部35は、体内画像を撮像した際の照明光の発光パターン(以下、照明パターンという場合がある)に応じた撮像シーンの判別処理機能と、判別した撮像シーンに応じた照明光の光量および照明パターンの制御機能とを有する。具体的には、制御部35は、上述した実施の形態1におけるシーン判別部25bに代えてシーン判別部35bを有し、さらに照明パターン制御のための照明選択部35eを有する。
The
シーン判別部35bは、体内画像を撮像した際の照明パターンに応じて撮像シーンを判別する。具体的には、シーン判別部35bは、撮像部22が体内画像を撮像する都度、この体内画像の撮像時の照明パターンを判断し、この1フレーム分の体内画像に含まれる複数の部分画像領域Aijの輝度情報である各平均輝度値Yijと撮像時の照明パターンとをもとに、この体内画像の撮像シーンを判別する。この場合、シーン判別部35bは、記憶部24内の係数情報34aに含まれる照明パターン別且つ想定撮像シーン別のフィルタ係数と平均輝度値Yijとを用いて、体内画像撮像時の照明パターン別且つ想定する撮像シーン別にシーン判別値を算出する。シーン判別部35bは、かかるシーン判別値の比較処理を行い、この比較処理の結果に基づいて体内画像の撮像シーンを判別する。なお、制御部35は、上述した実施の形態1と同様に、例えば格子状に体内画像を分割して複数の部分画像領域Aijを設定する。
The scene discriminating unit 35b discriminates an imaging scene according to an illumination pattern when an in-vivo image is captured. Specifically, each time the
照明選択部35eは、体内画像の撮像シーンに対応して発光動作対象の照明部を選択する。具体的には、照明選択部35eは、シーン判別部35bによって判別された撮像シーンに対応して、上述した外側の照明部21a〜21dおよび内側の照明部32a〜32dの中から、照明光を発光すべき照明部を選択する。例えば、照明選択部35eは、判別された撮像シーンに対応して、外側の照明部21a〜21d、内側の照明部32a〜32dおよび全ての照明部21a〜21d,32a〜32dのうちのいずれかの照明部群を選択する。制御部35は、かかる照明選択部35eによって選択された照明部群が光量調整部25dによる光量の照明光を発光するように照明部21a〜21d,32a〜32dを制御する。これによって、制御部35は、体内画像の撮像シーンに応じた照明パターンの制御を行う。
The illumination selection unit 35e selects an illumination unit that is a light emission operation target corresponding to the imaging scene of the in-vivo image. Specifically, the illumination selection unit 35e receives illumination light from the
かかる制御部35は、上述したような照明パターンに応じた撮像シーンの判別処理機能と撮像シーンに応じた照明パターンの制御機能以外、実施の形態1にかかるカプセル型医療装置2の制御部25と同様の機能を有する。
The
なお、この実施の形態2において、光量調整部25dは、照明選択部35eによって選択された照明部群の光量を、実施の形態1の場合と同様に調整する。制御部35は、かかる光量調整部25dが調整した光量の照明光を発光するように照明部21a〜21d,32a〜32dを制御する。この場合、制御部35は、照明部21a〜21d,32a〜32dの発光時間または通電量(電流値)を制御することによって、照明部21a〜21d,32a〜32dの発光量(すなわち照明光の光量)を制御する。
In the second embodiment, the light
一方、記憶部24内の係数情報34aには、上述した管腔部および壁面部等の想定する撮像シーン別、且つ体内画像撮像時の照明パターン別に異なる複数種類のフィルタ係数が含まれる。具体的には、体内画像の撮像シーンとして管腔部および壁面部の2つを想定し、照明パターンとして外側の照明部21a〜21dによる通常パターン、内側の照明部32a〜32dによる中央集中パターンおよび全ての照明部21a〜21d,32a〜32dによる合成パターンの3つを想定した場合、記憶部24は、撮像シーン別且つ照明パターン別に異なる6種類のフィルタ係数K1ij〜K6ijを係数情報34aとして記憶する。
On the other hand, the
なお、かかる6種類のフィルタ係数K1ij〜K6ijのうち、フィルタ係数K1ij,K3ij,K5ijは管腔部想定のフィルタ係数であり、フィルタ係数K2ij,K4ij,K6ijは壁面部想定のフィルタ係数である。また、フィルタ係数K1ij,K2ijは、外側の照明部21a〜21dによる照明パターン(通常パターン)に対応するフィルタ係数であり、フィルタ係数K3ij,K4ijは、内側の照明部32a〜32dによる中央集中型の照明パターン(中央集中パターン)に対応するフィルタ係数であり、フィルタ係数K5ij,K6ijは、全ての照明部21a〜21d,32a〜32dによる合成型の照明パターン(合成パターン)に対応するフィルタ係数である。
Of the six types of filter coefficients K1 ij to K6 ij , the filter coefficients K1 ij , K3 ij , K5 ij are filter coefficients assumed for the lumen, and the filter coefficients K2 ij , K4 ij , K6 ij are wall surfaces. This is an assumed filter coefficient. The filter coefficients K1 ij and K2 ij are filter coefficients corresponding to the illumination patterns (normal patterns) by the
つぎに、この実施の形態2にかかるカプセル型医療装置31の照明パターンについて説明する。図15は、内側の照明部による中央集中型の照明パターンを例示する模式図である。図16は、全照明部による合成型の照明パターンを例示する模式図である。
Next, an illumination pattern of the capsule
図13,14に示した内側の照明部32a〜32dは、上述したように外側の照明部21a〜21dに比して指向性の強い照明光源であり、かかる内側の照明部32a〜32dが発光する照明光は、図15の曲線L11に例示されるような光強度分布を有する。すなわち、かかる内側の照明部32a〜32dの照明光の光強度は、上述した照明部21a〜21dの照明光の光強度分布(図5参照)に比して分布幅が狭く、且つ撮像部22の撮像視野の中心部において最大値になり、この撮像視野の中心部から周辺部に向かって二次関数的に減少する。なお、カプセル型医療装置31の中心軸CLと撮像部22の光軸とが一致する場合、かかる撮像部22の撮像視野の中心部は、このカプセル型医療装置31の中心軸CL上の位置になる。
The
図15の曲線L11に例示されるような光強度分布を有する照明光は、外側の照明部21a〜21dの照明光に比して照明幅が狭いが、撮像部22の撮像視野の中心部近傍において外側の照明部21a〜21dの照明光よりも強い光強度を有する。かかる内側の照明部32a〜32dの照明光の発光パターン、すなわち中央集中パターンは、管腔臓器内部の照明に好適であり、特に、小腸等の内部空間の径が比較的小さい管腔臓器内部の照明に好適である。
The illumination light having a light intensity distribution as exemplified by the curve L11 in FIG. 15 has a narrower illumination width than the illumination lights of the
一方、上述した外側および内側の全照明部21a〜21d,32a〜32dが発光する照明光は、図16の曲線L12に例示されるような光強度分布を有する。すなわち、かかる全ての照明部21a〜21d,32a〜32dの照明光の光強度は、外側の照明部21a〜21dの照明光の光強度分布(図5参照)と内側の照明部32a〜32dの照明光の光強度分布(図15参照)とを合成したものになる。
On the other hand, the illumination light emitted by all the outer and
図16の曲線L12に例示されるような光強度分布を有する照明光は、外側の照明部21a〜21dの照明光の照明幅と、撮像部22の撮像視野の中心部近傍における内側の照明部32a〜32dの照明光の光強度とを兼ね備えたものになる。かかる外側の照明部21a〜21dの照明光と内側の照明部32a〜32dの照明光とを合成した照明光の発光パターン、すなわち合成パターンは、管腔臓器内部の照明に好適であり、特に、大腸等の内部空間の径が比較的大きい管腔臓器内部の照明に好適である。
The illumination light having a light intensity distribution as exemplified by the curve L12 in FIG. 16 includes the illumination width of the illumination light of the
ここで、図15の曲線L11に例示される中央集中パターンに対応するフィルタ係数K3ij,K4ijは、この中央集中パターンの照明光によって照明された被写体からの反射光を受光する際の固体撮像素子22bの板面照度と逆数の関係にある。例えば、かかる中央集中パターンの照明光によって臓器の壁面部が照明された場合、この固体撮像素子22bの板面照度は、図15の曲線L13に例示されるような分布になる。この場合、中央集中パターンに対応する壁面部想定のフィルタ係数K4ijは、この壁面部に対応する板面照度の光強度分布を示す曲線L11と逆数の関係にある曲線L13上の値になる。
Here, the filter coefficients K3 ij and K4 ij corresponding to the central concentration pattern exemplified by the curve L11 in FIG. 15 are solid-state imaging when the reflected light from the subject illuminated by the illumination light of the central concentration pattern is received. It has a reciprocal relationship with the plate surface illuminance of the
一方、図16の曲線L12に例示される合成パターンに対応するフィルタ係数K5ij,K6ijは、この合成パターンの照明光によって照明された被写体からの反射光を受光する際の固体撮像素子22bの板面照度と逆数の関係にある。例えば、かかる合成パターンの照明光によって臓器の壁面部が照明された場合、この固体撮像素子22bの板面照度は、図16の曲線L14に例示されるような分布になる。この場合、合成パターンに対応する壁面部想定のフィルタ係数K6ijは、この壁面部に対応する板面照度の光強度分布を示す曲線L12と逆数の関係にある曲線L14上の値になる。
On the other hand, the filter coefficients K5 ij and K6 ij corresponding to the composite pattern exemplified by the curve L12 in FIG. 16 are those of the solid-
つぎに、体内画像の撮像シーンに対応して照明光の光量および照明パターンを制御する際のカプセル型医療装置31の動作について説明する。図17は、本発明の実施の形態2にかかるカプセル型医療装置の制御部の処理手順を例示するフローチャートである。カプセル型医療装置31の制御部35は、図17に示す処理手順を行って、体内画像撮像時の照明パターンを判断し、この判断した照明パターンに応じて体内画像の撮像シーンを判別し、この判別した撮像シーンに対応して照明光の光量および照明パターンを制御する。
Next, the operation of the capsule
すなわち、図17に示すように、制御部35は、まず、被検体1の臓器内部に照明光を照射して撮像部22の被写体を照明するように照明部21a〜21d,32a〜32dを制御し、且つ、この照明光によって照明された被写体の画像、すなわち被検体1の体内画像を撮像するように撮像部22を制御する(ステップS301)。このステップS301において、制御部35は、照明部21a〜21d,32a〜32dの中から照明選択部35eによって選択された照明部群に対して、光量調整部25dによって調整された光量の照明光を発光する制御を行う。また、制御部35は、固体撮像素子22bによって光電変換された信号に基づく1フレーム分の体内画像のデータを取得し、かかる体内画像のデータを含む画像信号を外部の受信装置3(図1参照)に無線送信するように、送信ユニット23を制御する。
That is, as shown in FIG. 17, the
つぎに、制御部35は、ステップS301において体内画像を撮像した際の照明パターンを判断し、照明パターンが通常パターンである場合(ステップS302,通常)、記憶部24内の係数情報34aの中から、通常パターンに対応するフィルタ係数K1ij,K2ijを読み出す(ステップS303)。その後、制御部35は、ステップS303において読み出したフィルタ係数K1ij,K2ijを用いて、体内画像の撮像シーン別の調光処理を行う(ステップS304)。
Next, the
このステップS304において、制御部35は、図8に示したステップS102〜ステップS109と同様の処理手順を適宜行って、照明パターンが通常パターンである場合の体内画像の撮像シーンを判別し、この判別した撮像シーンに対応して照明光の光量を制御する。この場合、シーン判別部35bは、図9に示したステップS201〜S205と同様の処理手順を行って、管腔部想定のシーン判別値B1と壁面部想定のシーン判別値B2とを算出し、かかるシーン判別部B1,B2の比較処理の結果をもとに、照明パターンが通常パターンである場合の体内画像の撮像シーンを判別する。
In step S304, the
一方、制御部35は、ステップS301において体内画像を撮像した際の照明パターンが中央集中パターンである場合(ステップS302,中央集中)、記憶部24内の係数情報34aの中から、中央集中パターンに対応するフィルタ係数K3ij,K4ijを読み出す(ステップS305)。その後、制御部35は、ステップS305において読み出したフィルタ係数K3ij,K4ijを用いて、体内画像の撮像シーン別の調光処理を行う(ステップS306)。
On the other hand, when the illumination pattern when the in-vivo image is captured in step S301 is the central concentration pattern (step S302, central concentration), the
このステップS306において、制御部35は、図8に示したステップS102〜ステップS109と略同様の処理手順を適宜行って、照明パターンが中央集中パターンである場合の体内画像の撮像シーンを判別し、この判別した撮像シーンに対応して照明光の光量を制御する。この場合、シーン判別部35bは、上述した実施の形態1におけるフィルタ係数K1ij,K2ijに代えて中央集中パターンに対応する管腔部想定のフィルタ係数K3ijおよび壁面部想定のフィルタ係数K4ijを用いて、図9に示したステップS201〜S205と同様の処理手順を行う。これによって、シーン判別部35bは、照明パターンが中央集中パターンである場合における管腔部想定のシーン判別値B1と壁面部想定のシーン判別値B2とを算出し、かかるシーン判別部B1,B2の比較処理の結果をもとに、照明パターンが中央集中パターンである場合の体内画像の撮像シーンを判別する。
In step S306, the
一方、制御部35は、ステップS301において体内画像を撮像した際の照明パターンが合成パターンである場合(ステップS302,合成)、記憶部24内の係数情報34aの中から、合成パターンに対応するフィルタ係数K5ij,K6ijを読み出す(ステップS307)。その後、制御部35は、ステップS307において読み出したフィルタ係数K5ij,K6ijを用いて、体内画像の撮像シーン別の調光処理を行う(ステップS308)。
On the other hand, when the illumination pattern when the in-vivo image is captured in step S301 is a composite pattern (step S302, composite), the
このステップS308において、制御部35は、図8に示したステップS102〜ステップS109と略同様の処理手順を適宜行って、照明パターンが合成パターンである場合の体内画像の撮像シーンを判別し、この判別した撮像シーンに対応して照明光の光量を制御する。この場合、シーン判別部35bは、上述した実施の形態1におけるフィルタ係数K1ij,K2ijに代えて合成パターンに対応する管腔部想定のフィルタ係数K5ijおよび壁面部想定のフィルタ係数K6ijを用いて、図9に示したステップS201〜S205と同様の処理手順を行う。これによって、シーン判別部35bは、照明パターンが合成パターンである場合における管腔部想定のシーン判別値B1と壁面部想定のシーン判別値B2とを算出し、かかるシーン判別部B1,B2の比較処理の結果をもとに、照明パターンが合成パターンである場合の体内画像の撮像シーンを判別する。
In step S308, the
上述したステップS304,S306,S308のいずれかを実行した後、制御部35は、判別した撮像シーンに対応して照明パターンを選択し(ステップS309)、その後、上述したステップS301に戻り、このステップS301以降の処理手順を繰り返す。
After executing any of the above-described steps S304, S306, and S308, the
このステップS309において、照明選択部35eは、ステップS304,S306,S308のいずれかにおいてシーン判別部35bが判別した撮像シーンに対応して、全ての照明部21a〜21d,32a〜32dの中から、照明光を発光すべき照明部群を選択する。具体的には、照明選択部35eは、撮像シーンが管腔部である場合、内側の照明部32a〜32dおよび全ての照明部21a〜21d,32a〜32dのうちのいずれかの照明部群を選択し、撮像シーンが壁面部である場合、外側の照明部21a〜21dを選択する。照明選択部35eは、このように照明光を発光すべき照明部群を選択することによって、体内画像の撮像シーンに応じた照明パターンの選択処理を達成する。
In step S309, the illumination selection unit 35e corresponds to the captured scene determined by the scene determination unit 35b in any of steps S304, S306, and S308, from among all the
ここで、上述したようにステップS301〜S309を適宜繰り返す制御部35は、複数の照明パターン別に体内画像の撮像シーンを判別し、この判別した撮像シーンに対応して照明光の光量および照明パターンを制御する。かかる制御部35を備えたカプセル型医療装置31は、被検体1の消化管に沿って移動して管腔臓器に到達した場合、予め設定された複数の照明パターンの中からこの管腔臓器の照明に好適な照明パターン(中央集中パターンまたは合成パターン)を選択し、この管腔臓器の照明に適した光量に調整して、この照明パターンの照明光を被写体に照射し、この管腔臓器内部の画像を撮像する。また、かかるカプセル型医療装置31は、被検体1の臓器内壁面に対向する場合、予め設定された複数の照明パターンの中からこの臓器内壁面の照明に好適な照明パターン(通常パターン)を選択し、この臓器内壁面の照明に適した光量に調整して、この照明パターンの照明光を被写体に照射し、この臓器内壁部の画像を撮像する。
Here, as described above, the
以上、説明したように、本発明の実施の形態2では、撮像部の被写体を照明する照明光の照明パターンを複数種類有し、体内画像を撮像した際の照明パターンに応じて体内画像の撮像シーンを判別し、この判別した撮像シーンに対応して照明光の光量および照明パターンを制御するようにし、その他を実施の形態1と同様に構成した。このため、上述した実施の形態1と同様の作用効果を享受するとともに、被検体内部における撮像シーンの変化に対応して照明光の照明パターンを好適なものに調整でき、これによって、適正な明るさの体内画像をより鮮明に撮像できるカプセル型医療装置を実現することができる。
As described above, in
なお、上述した実施の形態1,2では、体内画像を格子状に分割して設定される複数の部分画像領域を例示したが、これに限らず、1フレーム分の体内画像内に設定する部分画像領域は、複数であれば、所望の態様の領域であってもよい。具体的には、1フレーム分の体内画像の内部に設定する複数の部分画像領域は、図18に示すように体内画像の中央領域から縁部に向けて枠状に分割される部分画像領域A1,A2,…,Aiであってもよいし、図19に示すように体内画像の中央領域と4つ隅領域とに設定される部分画像領域A1〜A5であってもよいし、図20に示すように体内画像の対角線上に設定される部分画像領域Aijであってもよい。 In the first and second embodiments described above, a plurality of partial image areas set by dividing an in-vivo image into a grid shape are illustrated. However, the present invention is not limited to this, and a portion set in an in-vivo image for one frame. As long as there are a plurality of image regions, a region having a desired mode may be used. Specifically, the plurality of partial image areas set in the in-vivo image for one frame are divided into a frame shape from the central area of the in-vivo image toward the edge as shown in FIG. , A2,..., Ai, or partial image areas A1 to A5 set in the central area and the four corner areas of the in-vivo image as shown in FIG. As shown, it may be a partial image area A ij set on a diagonal line of the in-vivo image.
また、上述した実施の形態1,2では、想定撮像シーン別のシーン判別値として、体内画像内の複数の部分画像領域の各平均輝度値と想定撮像シーンに対応した各フィルタ係数とを乗じて算出される各乗算値の最大値と最小値との比を算出していたが、これに限らず、上述したシーン判別値K1,K2に例示される想定撮像シーン別のシーン判別値は、かかる平均輝度値とフィルタ係数との各乗算値の標準偏差値であってもよいし、かかる平均輝度値とフィルタ係数との各乗算値のうちの最大値と最小値との差であってもよい。 In the first and second embodiments described above, the scene discrimination value for each assumed imaging scene is multiplied by each average luminance value of a plurality of partial image regions in the in-vivo image and each filter coefficient corresponding to the assumed imaging scene. Although the ratio between the maximum value and the minimum value of each calculated multiplication value is calculated, the present invention is not limited to this, and the scene determination value for each assumed imaging scene exemplified in the above-described scene determination values K1 and K2 is as follows. It may be a standard deviation value of each multiplication value of the average luminance value and the filter coefficient, or may be a difference between the maximum value and the minimum value of the multiplication values of the average luminance value and the filter coefficient. .
さらに、上述した実施の形態1,2では、上述した管腔部または壁面部等の想定撮像シーン別にシーン判別値を算出し、この算出した各シーン判別値の比較処理結果をもとに体内画像の撮像シーンを判別していたが、これに限らず、いずれかの想定撮像シーンに対応するシーン判別値を算出し、この算出したシーン判別値と予め設定した閾値とを比較処理してもよく、この比較処理の結果をもとに体内画像の撮像シーンを判別してもよい。
Furthermore, in
また、上述した実施の形態1,2では、想定撮像シーンに対応した各フィルタ係数を用いてシーン判別値を算出していたが、これに限らず、かかる各フィルタ係数を用いず、体内画像内の複数の部分画像領域の各平均輝度値を用いてシーン判別値を算出してもよい。この場合、シーン判別値は、かかる部分画像領域の各平均輝度値のうちの最大値と最小値との比であってもよいし、かかる部分画像領域の各平均輝度値の標準偏差値であってもよいし、かかる部分画像領域の各平均輝度値のうちの最大値と最小値との差であってもよい。 In the first and second embodiments described above, the scene discrimination value is calculated using each filter coefficient corresponding to the assumed imaging scene. However, the present invention is not limited to this, and the in-vivo image is not used without using each filter coefficient. The scene discrimination value may be calculated using the average luminance values of the plurality of partial image areas. In this case, the scene discrimination value may be a ratio between the maximum value and the minimum value of the average luminance values of the partial image areas, or the standard deviation value of the average luminance values of the partial image areas. Alternatively, it may be a difference between the maximum value and the minimum value among the average luminance values of the partial image area.
さらに、上述した実施の形態1,2では、図4に例示したように輝度範囲に対応して重み付け係数Wijを算出していたが、これに限らず、体内画像内の複数の部分画像領域の各平均輝度値と予め設定した輝度閾値とを比較し、この輝度閾値を超過する平均輝度値に対して所定の重み付け係数を割り当て、この輝度閾値以下の平均輝度値に対する重み付け係数を零値にしてもよい。この場合、上述した輝度比較値は、かかる輝度閾値超過の平均輝度値と所定の重み付け係数との各乗算値を積算した積算値を平均化することによって算出される。また、これら複数の部分画像領域の各平均輝度値のうちの最大値に対して重み付け係数(=1)を割り当て、残りの平均輝度値に対する重み付け係数を零値にしてもよい。この場合、上述した輝度比較値は、この重み付け係数と最大値との乗算値、すなわち、これら各平均輝度値のうちの最大値になる。このように重み付け係数を設定することによって、体内画像内の複数の部分画像領域の各平均輝度値のうち、所定値よりも大きい平均輝度値の重み付けを大きくすることができる。
Furthermore, in
また、上述した実施の形態1,2では、体内画像の撮像シーンが管腔部であると判別された場合、1フレーム分の体内画像の全画像領域の平均輝度値を管腔部想定の輝度比較値として算出していたが、これに限らず、管腔部想定の輝度比較値は、上述した壁面部想定の輝度比較値の算出方式と略同様に、体内画像内の複数の部分画像領域の各平均輝度値と各重み付け係数とを各々乗じた各乗算値を算出し、この算出した各乗算値の積算値を部分画像領域の数量によって除して算出してもよい。この場合、管腔部想定の輝度比較値を算出する際の重み付け係数と壁面部想定の輝度比較値を算出する際の重み付け係数とを異なるものにすればよい。この場合、管腔部想定の輝度比較値を算出する際の重み付け係数は、体内画像の中央領域から縁部領域に向かって増大する値に設定し、壁面部想定の輝度比較値を算出する際の重み付け係数は、体内画像の中央領域から縁部領域に向かって減少する値に設定してもよい。 In the first and second embodiments described above, when it is determined that the imaging scene of the in-vivo image is a lumen, the average luminance value of all image regions of the in-vivo image for one frame is calculated as the expected luminance of the lumen. Although it was calculated as a comparison value, the present invention is not limited to this, and the luminance comparison value assumed for the lumen portion is substantially the same as the calculation method of the luminance comparison value assumed for the wall surface portion described above. Each multiplication value obtained by multiplying each average luminance value and each weighting coefficient may be calculated, and the integrated value of the calculated multiplication values may be divided by the number of partial image areas. In this case, the weighting coefficient for calculating the luminance comparison value for the lumen portion may be different from the weighting coefficient for calculating the luminance comparison value for the wall surface portion. In this case, the weighting coefficient when calculating the luminance comparison value assumed for the lumen is set to a value that increases from the central region of the in-vivo image toward the edge region, and when calculating the luminance comparison value assumed for the wall surface portion. The weighting coefficient may be set to a value that decreases from the central region of the in-vivo image toward the edge region.
さらに、上述した実施の形態1,2では、被検体1の体内画像を撮像するカプセル型医療装置を例示したが、これに限らず、本発明にかかるカプセル型医療装置は、被検体の体内情報として少なくとも体内画像を取得するものであれば、体内情報として被検体内部のpH値または温度などをさらに計測するカプセル型医療装置であってもよいし、体内情報として生体組織の状態をさらに検出するカプセル型医療装置であってもよい。また、本発明にかかるカプセル型医療装置は、被検体内部に薬剤を散布または注射する機能をさらに備えたカプセル型医療装置であってもよいし、生体組織などの生体内の物質をさらに採取するカプセル型医療装置であってもよい。
Furthermore, in
また、上述した実施の形態1では、被検体の臓器内部を照明する照明光源として4つの照明部21a〜21dを例示したが、これに限らず、実施の形態1にかかるカプセル型医療装置は、撮像部22の被写体を照明する照明光を発光可能な少なくとも一つの照明部を備えていればよく、かかる照明部の配置数量は、特に4つに限定されない。
Moreover, in
さらに、上述した実施の形態2では、被検体の臓器内部を照明する照明光源として、外側に配置された4つの照明部21a〜21dと内側に配置された4つの照明部32a〜32dとを例示したが、これに限らず、実施の形態2にかかるカプセル型医療装置は、撮像部22の被写体を照明する際の照明パターンを複数種類切り換え可能な複数の照明部を備えていればよい。この場合、かかる内側の照明部の配置数量は、特に4つに限定されず、かかる外側の照明部の配置数量は、特に4つに限定されない。
Furthermore, in
1 被検体
2,31 カプセル型医療装置
3 受信装置
3a〜3h 受信アンテナ
4 画像表示装置
5 記憶媒体
15 管腔臓器
16 臓器内壁面
20 カプセル型筐体
20a 筒状筐体
20b ドーム形状筐体
21a〜21b,32a〜32d 照明部
22 撮像部
22a 光学系
22b 固体撮像素子
23 送信ユニット
23a 送信アンテナ
24 記憶部
24a,34a 係数情報
24b 重み付け情報
24c 調光情報
25,35 制御部
25a 信号処理部
25b,35b シーン判別部
25c 比較値算出部
25d 光量調整部
26 電源ユニット
35e 照明選択部
CL 中心軸
DESCRIPTION OF
Claims (7)
前記照明光によって照明された被写体の画像を撮像する撮像部と、
前記撮像部が撮像した画像の輝度情報をもとに前記画像の撮像シーンを判別し、この判別した撮像シーンに対応して前記照明光の光量を制御する制御部と、
を備えたことを特徴とするカプセル型医療装置。 One or more illumination units that illuminate the subject by irradiating illumination light inside the organ of the subject;
An imaging unit that captures an image of a subject illuminated by the illumination light;
A control unit that determines an imaging scene of the image based on luminance information of an image captured by the imaging unit, and controls the amount of the illumination light corresponding to the determined imaging scene;
A capsule-type medical device comprising:
前記制御部は、前記画像の撮像シーンに対応して前記複数の照明部の中から前記発光パターンの照明光を発光する照明部を選択することを特徴とする請求項6に記載のカプセル型医療装置。 The one or more illumination units are plural,
The capsule medical according to claim 6, wherein the control unit selects an illumination unit that emits illumination light of the light emission pattern from the plurality of illumination units corresponding to the imaging scene of the image. apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008177905A JP5153487B2 (en) | 2008-07-08 | 2008-07-08 | Capsule medical device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008177905A JP5153487B2 (en) | 2008-07-08 | 2008-07-08 | Capsule medical device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010017231A JP2010017231A (en) | 2010-01-28 |
JP5153487B2 true JP5153487B2 (en) | 2013-02-27 |
Family
ID=41702720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008177905A Expired - Fee Related JP5153487B2 (en) | 2008-07-08 | 2008-07-08 | Capsule medical device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5153487B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012098791A1 (en) | 2011-01-20 | 2012-07-26 | オリンパスメディカルシステムズ株式会社 | Capsule endoscope |
JP5896877B2 (en) * | 2012-10-18 | 2016-03-30 | オリンパス株式会社 | Light control device |
JP2016129618A (en) * | 2015-01-14 | 2016-07-21 | オリンパス株式会社 | Capsule type endoscope |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07194527A (en) * | 1993-12-30 | 1995-08-01 | Olympus Optical Co Ltd | Endoscope system |
JP2006305322A (en) * | 2005-03-31 | 2006-11-09 | Pentax Corp | Capsule endoscope system |
JP2006288612A (en) * | 2005-04-08 | 2006-10-26 | Olympus Corp | Picture display device |
JP4709579B2 (en) * | 2005-04-26 | 2011-06-22 | オリンパスメディカルシステムズ株式会社 | Capsule endoscope |
JP2007082664A (en) * | 2005-09-21 | 2007-04-05 | Fujifilm Corp | Capsule endoscope |
-
2008
- 2008-07-08 JP JP2008177905A patent/JP5153487B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010017231A (en) | 2010-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102458215B (en) | Capsule type endoscope device | |
EP2338404B1 (en) | Imaging device and imaging system | |
EP1898773B1 (en) | In vivo imaging device, system and method | |
US8866893B2 (en) | Imaging apparatus | |
KR100925008B1 (en) | Apparatus and method for controlling illumination or imager gain in an in-vivo imaging device | |
US20030028078A1 (en) | In vivo imaging device, system and method | |
US20110218398A1 (en) | Image processing system, imaging device, receiving device and image display device | |
EP2601881B1 (en) | Medical instrument | |
JPWO2004096029A1 (en) | Capsule endoscope and capsule endoscope system | |
JP2004535878A5 (en) | ||
WO2020178962A1 (en) | Endoscope system and image processing device | |
JP5153487B2 (en) | Capsule medical device | |
EP2353491B1 (en) | Subject intra-corporeal introduction device and in-vivo information acquiring system | |
US10462440B2 (en) | Image processing apparatus | |
US8830310B2 (en) | Capsule endoscope | |
JP6937902B2 (en) | Endoscope system | |
JP2017123997A (en) | Imaging system and processing device | |
JP4656824B2 (en) | Wireless in-vivo information acquisition device | |
JP4383134B2 (en) | Wireless in-vivo information acquisition device | |
JP2006305322A (en) | Capsule endoscope system | |
WO2021176708A1 (en) | Antenna system, capsule endoscope system, and operating method of antenna system | |
JP5896877B2 (en) | Light control device | |
WO2021064882A1 (en) | Reception system | |
WO2020003601A1 (en) | Endoscope light source device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5153487 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |