WO2020121380A1 - 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム - Google Patents

画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム Download PDF

Info

Publication number
WO2020121380A1
WO2020121380A1 PCT/JP2018/045358 JP2018045358W WO2020121380A1 WO 2020121380 A1 WO2020121380 A1 WO 2020121380A1 JP 2018045358 W JP2018045358 W JP 2018045358W WO 2020121380 A1 WO2020121380 A1 WO 2020121380A1
Authority
WO
WIPO (PCT)
Prior art keywords
position information
image processing
amount
digestive tract
generation unit
Prior art date
Application number
PCT/JP2018/045358
Other languages
English (en)
French (fr)
Inventor
優輔 鈴木
千葉　淳
隆広 飯田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2020558816A priority Critical patent/JPWO2020121380A1/ja
Priority to CN201880099982.0A priority patent/CN113164006A/zh
Priority to PCT/JP2018/045358 priority patent/WO2020121380A1/ja
Publication of WO2020121380A1 publication Critical patent/WO2020121380A1/ja
Priority to US17/340,342 priority patent/US20210290047A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor

Definitions

  • the present invention relates to an image processing device, an image processing device operating method, and an image processing device operating program.
  • the present invention has been made in view of the above, and is an image processing apparatus capable of generating a digestive tract shape model in which the effect of peristaltic movement of the digestive tract is reduced, an image processing apparatus operating method, and image processing.
  • the purpose is to provide a program for operating the device.
  • an image processing apparatus is a position information indicating a position at which each of a plurality of images is captured by a capsule endoscope introduced into the digestive tract.
  • a position calculation unit that calculates the amount of change in the position information between each image, and a direction that detects the amount of movement of the capsule endoscope in the lumen direction when capturing each of the plurality of images.
  • the first position information is selected from the position information based on the detection unit, the amount of change in the position information, and the amount of movement in the lumen direction, and the digestive tract is selected using the first position information.
  • a model generation unit that generates the shape model of.
  • the model generation unit is configured such that a change amount of the position information is smaller than a first threshold value and a movement amount in the lumen direction is a second threshold value. The smaller position information is selected as the first position information.
  • the model generation unit may include, in the position information, second position information, which is position information other than the first position information, on the shape model.
  • the position information indicating the position is corrected.
  • the model generation unit may measure a distance between the first position information pieces adjacent to each other and a distance between the position information pieces adjacent to each other in the image pickup order.
  • the second position information is corrected to the position information indicating the position on the shape model based on the ratio of.
  • the model generation unit corrects the second position information to position information indicating a position projected on the shape model.
  • the position calculation unit calculates the position information indicating the position at which each of the plurality of images captured by the capsule endoscope introduced into the digestive tract, The amount of change in the position information between the images is calculated, and the direction detection unit detects the amount of movement of the capsule endoscope in the lumen direction when capturing the plurality of images, and the model generation unit. Selects the first position information from the position information based on the change amount of the position information and the movement amount in the lumen direction, and uses the first position information to shape the digestive tract. Generate a model.
  • the position calculation unit calculates the position information indicating the position at which each of the plurality of images captured by the capsule endoscope introduced into the digestive tract, The amount of change in the position information between the images is calculated, and the direction detection unit detects the amount of movement of the capsule endoscope in the lumen direction when capturing the plurality of images, and the model generation unit. Selects the first position information from the position information based on the change amount of the position information and the movement amount in the lumen direction, and uses the first position information to shape the digestive tract.
  • the image processing apparatus is caused to execute the process of generating the model.
  • an image processing apparatus an image processing apparatus operating method, and an image processing apparatus operating program capable of generating a digestive tract shape model in which the effect of peristaltic movement of the digestive tract is reduced. it can.
  • FIG. 1 is a schematic diagram showing an endoscope system including an image processing device according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a state in which the recording medium shown in FIG. 1 is connected to the image processing apparatus.
  • FIG. 3 is a diagram illustrating an example of an in-vivo image.
  • FIG. 4 is a diagram illustrating an example of an in-vivo image.
  • FIG. 5 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 6 is a diagram showing how the model generation unit generates a shape model of the digestive tract.
  • FIG. 7 is a diagram illustrating how the model generation unit according to the first modification generates a digestive tract shape model.
  • FIG. 1 is a schematic diagram showing an endoscope system including an image processing device according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a state in which the recording medium shown in FIG. 1 is connected to the image processing apparatus.
  • FIG. 3 is a diagram
  • FIG. 8 is a diagram illustrating how the model generation unit according to the modified example 2 generates a shape model of the digestive tract.
  • FIG. 9 is a diagram illustrating how the model generation unit of the modified example 3 generates a shape model of the digestive tract.
  • FIG. 10 is a diagram illustrating a state in which the display control unit of the modified example 4 displays the shape model of the digestive tract on the display device.
  • Embodiments of an image processing apparatus, an image processing apparatus operating method, and an image processing apparatus operating program according to the present invention will be described below with reference to the drawings.
  • the present invention is not limited to these embodiments.
  • INDUSTRIAL APPLICABILITY The present invention can be applied to an image processing apparatus that performs image processing on an image captured by the capsule endoscope inside the digestive tract of a subject, an operating method of the image processing apparatus, and an operating program of the image processing apparatus in general.
  • FIG. 1 is a schematic diagram showing an endoscope system including an image processing device according to the first embodiment of the present invention.
  • the endoscope system 1 is a system that acquires an in-vivo image inside the subject 100 using a capsule endoscope 2 as a swallowable medical device and allows a doctor or the like to observe the in-vivo image.
  • the endoscope system 1 includes a capsule endoscope 2, a receiving device 3, an image processing device 4, a portable recording medium 5, an input device 6, and a display device. 7 and.
  • the recording medium 5 is a portable recording medium for transferring data between the receiving device 3 and the image processing device 4, and is configured to be attachable to and detachable from the receiving device 3 and the image processing device 4, respectively. There is.
  • the capsule endoscope 2 is a capsule endoscope device having a size that can be introduced into the organ of the subject 100, and is introduced into the organ of the subject 100 by oral intake or the like, and peristaltic movement is performed.
  • the in-vivo images are sequentially captured while moving inside the organ by the above. Then, the capsule endoscope 2 sequentially transmits the image data generated by imaging.
  • the receiving device 3 includes a plurality of receiving antennas 3a to 3h, and receives image data from the capsule endoscope 2 inside the subject 100 using at least one of the plurality of receiving antennas 3a to 3h. Then, the receiving device 3 accumulates the received image data in the recording medium 5 inserted in the receiving device 3.
  • the receiving antennas 3a to 3h may be arranged on the body surface of the subject 100 as shown in FIG. 1 or may be arranged on a jacket worn by the subject 100. Further, the number of receiving antennas included in the receiving device 3 may be one or more, and is not particularly limited to eight.
  • FIG. 2 is a block diagram showing a state in which the recording medium shown in FIG. 1 is connected to the image processing apparatus.
  • the image processing device 4 includes a reader/writer 41, a storage unit 42, and a control unit 43.
  • the reader/writer 41 has a function as an image acquisition unit that externally acquires image data to be processed. Specifically, when the recording medium 5 is inserted into the reader/writer 41, the reader/writer 41, under the control of the control unit 43, stores the image data (capsule endoscope) stored in the recording medium 5. 2 captures an in-vivo image group including a plurality of in-vivo images imaged (acquired) in chronological order. The reader/writer 41 also transfers the captured in-vivo image group to the control unit 43. Then, the in-vivo image group transferred to the control unit 43 is stored in the storage unit 42.
  • the image data capsule endoscope
  • the storage unit 42 stores the in-vivo image group transferred from the control unit 43.
  • the storage unit 42 stores various programs executed by the control unit 43 (including an operation program of the image processing apparatus) and information necessary for the processing of the control unit 43.
  • the storage unit 42 is realized by various IC memories such as a flash memory, a ROM (Read Only Memory) and a RAM (Random Access Memory), and a hard disk electrically connected by a built-in or data communication terminal.
  • the control unit 43 is configured by using a general-purpose processor such as a CPU (Central Processing Unit) or a dedicated processor such as various arithmetic circuits that execute a specific function such as an ASIC (Application Specific Integrated Circuit).
  • the control unit 43 reads the program (including the operation program of the image processing device) stored in the storage unit 42, and controls the operation of the entire endoscope system 1 according to the program.
  • the control unit 43 includes a position calculation unit 431, a direction detection unit 432, a model generation unit 433, and a display control unit 434.
  • the position calculation unit 431 calculates position information indicating the position at which each of the plurality of images is captured by the capsule endoscope 2 introduced into the digestive tract. Specifically, the position calculation unit 431 calculates the position information indicating the position at which each image is captured, based on the signal strength received by each of the receiving antennas 3a to 3h from the capsule endoscope 2. .. Further, the position calculation unit 431 calculates the amount of change in the position information between the images by calculating the difference in the position information between the images that are adjacent to each other in time series. However, the position calculation unit 431 detects the magnetic field from the magnetic field generation unit provided inside the capsule endoscope 2 by the magnetic field detection unit arranged outside the subject 100, and thus the capsule endoscope 2 The position information of may be calculated.
  • the direction detection unit 432 detects the amount of movement of the capsule endoscope 2 in the lumen direction when capturing each of a plurality of images.
  • 3 and 4 are diagrams showing an example of an in-vivo image. 3 and 4 are images adjacent to each other in time series. As shown in FIG. 3, the direction detection unit 432 sets the feature point A in the image.
  • the characteristic point A is, for example, a fold or an end portion of unevenness in the digestive tract.
  • the direction detecting unit 432 determines the movement amount of the capsule endoscope 2 from the movement amount of the feature point A in the lumen direction. To detect.
  • the direction detection unit 432 may detect the amount of movement of the capsule endoscope 2 in the lumen direction by calculating the degree of similarity between images that are adjacent to each other in time series. In addition, the direction detection unit 432 may detect the movement amount of the capsule endoscope 2 in the lumen direction based on the information detected by a sensor such as an acceleration sensor mounted on the capsule endoscope 2. Good.
  • the model generation unit 433 selects the first position information from the position information based on the change amount of the position information and the movement amount in the lumen direction, and uses the first position information to determine the shape of the digestive tract. Generate a model. Specifically, the model generation unit 433 sets the position information in which the change amount of the position information is smaller than the first threshold value and the movement amount in the lumen direction is smaller than the second threshold value as the first position information. To choose as.
  • the first threshold value and the second threshold value are sufficiently small values so that the positional information is not affected by the peristaltic movement of the digestive tract, and may be predetermined values. It may be a set value. Further, the first threshold value and the second threshold value may be variable according to imaging conditions such as the frame rate of the capsule endoscope 2.
  • the display control unit 434 performs predetermined image processing on the image stored in the storage unit 42, and performs predetermined processing such as data thinning according to the display range of the image on the display device 7 and gradation processing. After that, the representative image is displayed on the display device 7.
  • the input device 6 is configured by using a keyboard, a mouse, etc., and accepts a user's operation.
  • the display device 7 is configured by using a liquid crystal display or the like, and displays an image including a representative image under the control of the display control unit 434.
  • FIG. 5 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • the position calculation unit 431 calculates position information indicating a position at which each of the in-vivo image groups is captured by the capsule endoscope 2, and further calculates a change amount of the position information between the images. (Step S1).
  • the direction detection unit 432 detects the amount of movement of the capsule endoscope 2 in the lumen direction when each of the in-vivo image groups is captured (step S2).
  • the model generation unit 433 selects the first position information from the position information based on the change amount of the position information and the movement amount in the lumen direction, and uses the selected first position information to digest the first position information.
  • a tube shape model is generated (step S3).
  • FIG. 6 is a diagram showing how the model generation unit generates a shape model of the digestive tract. As shown in FIG. 6, it is assumed that the model generation unit 433 selects the position information P1 and P8 among the position information P1 to P8 as the first position information. Then, the model generation unit 433 generates a shape model of the digestive tract using the position information P1 and P8.
  • the model generation unit 433 can generate the line L2 in which the influence of the peristaltic movement of the digestive tract is reduced by connecting the position information P1 and P8 that are the first position information with, for example, a straight line.
  • the display control unit 434 causes the display device 7 to display the shape model of the digestive tract generated by the model generation unit 433 (step S4), and a series of processing ends.
  • the model generation unit 433 uses the first position information acquired when the change amount of the position information and the movement amount in the lumen direction are sufficiently small. Since the model is generated, a shape model of the digestive tract in which the influence of the peristaltic movement of the digestive tract is reduced can be generated.
  • the model generation unit 433 corrects the second position information, which is the position information other than the first position information in the position information, to the position information indicating the position on the geometric model. Specifically, the model generation unit 433, based on the ratio between the distance between the adjacent first position information and the distance between the adjacent position information, the second position information in the imaging order. Is corrected to position information indicating the position on the shape model.
  • FIG. 7 is a diagram showing how the model generation unit according to the first modification generates a shape model of the digestive tract.
  • the model generation unit 433 calculates the cumulative distance LN1 between the first adjacent position information and the distance LN11 to LN17 between the adjacent position information on the line L1.
  • LN1 LN11+LN12+...+LN17.
  • the model generation unit 433 calculates the distance LN2 between the adjacent first position information on the line L2. Subsequently, the model generation unit 433 corrects the second position information P2 to P7 to position information indicating the position on the shape model.
  • the first modification it is possible to grasp the position on the shape model even for the image corresponding to the second position information other than the first position information.
  • the model generation unit 433 corrects the second position information to position information indicating the position projected on the shape model.
  • FIG. 8 is a diagram showing how the model generation unit according to the second modification generates a shape model of the digestive tract.
  • the model generation unit 433 corrects the second position information P2 to P7 to the second position information P22 to P27 projected on the shape model. Specifically, the model generation unit 433 projects each of the second position information P2 to P7 in a direction orthogonal to the line L2, and corrects the second position information P22 to P27.
  • FIG. 9 is a diagram illustrating how the model generation unit of the modified example 3 generates a shape model of the digestive tract.
  • the model generation unit 433 may fit the first position information P1, P8, and P11 by the curve L12. Specifically, the model generation unit 433 can calculate the curve L12 that smoothly connects the first position information P1, P8, and P11 using the spline function.
  • FIG. 10 is a diagram illustrating a state in which the display control unit of the modified example 4 displays the shape model of the digestive tract on the display device.
  • the display control unit 434 displays the image Im1 representing the shape model generated by the model generation unit 433 and the in-vivo image Im2 corresponding to the mark M in the shape model side by side on the screen 71 of the display device 7. You may.
  • endoscope system 2 capsule endoscope 3 receiving device 3a to 3h receiving antenna 4 image processing device 5 recording medium 6 input device 7 display device 41 reader/writer 42 storage unit 43 control unit 100 subject 431 position calculation unit 432 direction Detection unit 433 Model generation unit 434 Display control unit

Abstract

画像処理装置は、消化管内に導入されたカプセル型内視鏡が複数の画像それぞれを撮像した位置を示す位置情報を算出し、各画像間の前記位置情報の変化量を算出する位置算出部と、前記複数の画像それぞれを撮像した際の前記カプセル型内視鏡の管腔方向への移動量を検出する方向検出部と、前記位置情報の変化量及び前記管腔方向への移動量に基づいて、前記位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて前記消化管の形状モデルを生成するモデル生成部と、を備える。これにより、消化管の蠕動運動の影響を低減した消化管の形状モデルを生成することができる画像処理装置を提供する。

Description

画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム
　本発明は、画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムに関する。
　従来、被検体の消化管内をカプセル型内視鏡が時系列順に撮像することにより取得した一連の画像群を用いて、被検体の観察を行う技術が知られている。さらに、カプセル型内視鏡の位置情報に基づいて、消化管の形状モデルを生成する技術が知られている。
特許第５２４８８３４号公報
　しかしながら、消化管は蠕動運動により形状が一時的に変化するため、カプセル型内視鏡の位置情報に基づいて消化管の形状モデルを生成すると、実際にはない消化管の湾曲形状が現れてしまう場合があった。
　本発明は、上記に鑑みてなされたものであって、消化管の蠕動運動の影響を低減した消化管の形状モデルを生成することができる画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置は、消化管内に導入されたカプセル型内視鏡が複数の画像それぞれを撮像した位置を示す位置情報を算出し、各画像間の前記位置情報の変化量を算出する位置算出部と、前記複数の画像それぞれを撮像した際の前記カプセル型内視鏡の管腔方向への移動量を検出する方向検出部と、前記位置情報の変化量及び前記管腔方向への移動量に基づいて、前記位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて前記消化管の形状モデルを生成するモデル生成部と、を備える。
　また、本発明の一態様に係る画像処理装置は、前記モデル生成部は、前記位置情報の変化量が第１の閾値よりも小さく、かつ、前記管腔方向への移動量が第２の閾値よりも小さい位置情報を前記第１の位置情報として選択する。
　また、本発明の一態様に係る画像処理装置は、前記モデル生成部は、前記位置情報のうち、前記第１の位置情報以外の位置情報である第２の位置情報を、前記形状モデル上の位置を示す位置情報に補正する。
　また、本発明の一態様に係る画像処理装置は、前記モデル生成部は、撮像された順番に沿って、隣り合う前記第１の位置情報間の距離と、隣り合う前記位置情報間の距離との比に基づいて、前記第２の位置情報を前記形状モデル上の位置を示す位置情報に補正する。
　また、本発明の一態様に係る画像処理装置は、前記モデル生成部は、前記第２の位置情報を前記形状モデル上に投影した位置を示す位置情報に補正する。
　また、本発明の一態様に係る画像処理装置の作動方法は、位置算出部が、消化管内に導入されたカプセル型内視鏡が複数の画像それぞれを撮像した位置を示す位置情報を算出し、各画像間の前記位置情報の変化量を算出し、方向検出部が、前記複数の画像それぞれを撮像した際の前記カプセル型内視鏡の管腔方向への移動量を検出し、モデル生成部が、前記位置情報の変化量及び前記管腔方向への移動量に基づいて、前記位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて前記消化管の形状モデルを生成する。
　また、本発明の一態様に係る画像処理装置の作動プログラムは、位置算出部が、消化管内に導入されたカプセル型内視鏡が複数の画像それぞれを撮像した位置を示す位置情報を算出し、各画像間の前記位置情報の変化量を算出し、方向検出部が、前記複数の画像それぞれを撮像した際の前記カプセル型内視鏡の管腔方向への移動量を検出し、モデル生成部が、前記位置情報の変化量及び前記管腔方向への移動量に基づいて、前記位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて前記消化管の形状モデルを生成する処理を画像処理装置に実行させる。
　本発明によれば、消化管の蠕動運動の影響を低減した消化管の形状モデルを生成することができる画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムを実現することができる。
図１は、本発明の実施の形態１に係る画像処理装置を含む内視鏡システムを示す模式図である。 図２は、図１に示す記録媒体が画像処理装置に接続された状態のブロック図である。 図３は、体内画像の一例を表す図である。 図４は、体内画像の一例を表す図である。 図５は、図２に示した画像処理装置の動作を示すフローチャートである。 図６は、モデル生成部が消化管の形状モデルを生成する様子を表す図である。 図７は、変形例１のモデル生成部が消化管の形状モデルを生成する様子を表す図である。 図８は、変形例２のモデル生成部が消化管の形状モデルを生成する様子を表す図である。 図９は、変形例３のモデル生成部が消化管の形状モデルを生成する様子を表す図である。 図１０は、変形例４の表示制御部が消化管の形状モデルを表示装置に表示させた様子を表す図である。
　以下に、図面を参照して本発明に係る画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、カプセル型内視鏡が被検体の消化管内を撮像した画像に画像処理を施す画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム一般に適用することができる。
　また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理装置を含む内視鏡システムを示す模式図である。内視鏡システム１は、飲み込み型の医療装置としてのカプセル型内視鏡２を用いて、被検体１００内部の体内画像を取得し、当該体内画像を医師等に観察させるシステムである。この内視鏡システム１は、図１に示すように、カプセル型内視鏡２の他、受信装置３と、画像処理装置４と、可搬型の記録媒体５と、入力装置６と、表示装置７と、を備える。
　記録媒体５は、受信装置３と画像処理装置４との間におけるデータの受け渡しを行うための可搬型の記録メディアであり、受信装置３及び画像処理装置４に対してそれぞれ着脱可能に構成されている。
　カプセル型内視鏡２は、被検体１００の臓器内部に導入可能な大きさに形成されたカプセル型の内視鏡装置であり、経口摂取等によって被検体１００の臓器内部に導入され、蠕動運動等によって臓器内部を移動しつつ、体内画像を順次、撮像する。そして、カプセル型内視鏡２は、撮像することにより生成した画像データを順次、送信する。
　受信装置３は、複数の受信アンテナ３ａ～３ｈを備え、これら複数の受信アンテナ３ａ～３ｈのうち少なくとも一つを用いて被検体１００内部のカプセル型内視鏡２からの画像データを受信する。そして、受信装置３は、当該受信装置３に挿着された記録媒体５内に、受信した画像データを蓄積する。なお、受信アンテナ３ａ～３ｈは、図１に示したように被検体１００の体表上に配置されていてもよいし、被検体１００に着用させるジャケットに配置されていてもよい。また、受信装置３が備える受信アンテナ数は、１つ以上であればよく、特に８つに限定されない。
　図２は、図１に示す記録媒体が画像処理装置に接続された状態のブロック図である。図２に示すように、画像処理装置４は、リーダライタ４１と、記憶部４２と、制御部４３と、を備える。
　リーダライタ４１は、外部から処理対象となる画像データを取得する画像取得部としての機能を有する。具体的には、リーダライタ４１は、当該リーダライタ４１に記録媒体５が挿着された際に、制御部４３による制御のもと、記録媒体５に保存された画像データ（カプセル型内視鏡２により時系列順に撮像（取得）された複数の体内画像を含む体内画像群）を取り込む。また、リーダライタ４１は、取り込んだ体内画像群を制御部４３に転送する。そして、制御部４３に転送された体内画像群は、記憶部４２に記憶される。
　記憶部４２は、制御部４３から転送された体内画像群を記憶する。また、記憶部４２は、制御部４３が実行する各種プログラム（画像処理装置の作動プログラムを含む）や制御部４３の処理に必要な情報等を記憶する。記憶部４２は、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）といった各種ＩＣメモリ、及び内蔵若しくはデータ通信端子により電気的に接続されたハードディスク等によって実現される。
　制御部４３は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の汎用プロセッサやＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成されている。制御部４３は、記憶部４２に記憶されたプログラム（画像処理装置の作動プログラムを含む）を読み出し、当該プログラムに従って内視鏡システム１全体の動作を制御する。制御部４３は、図２に示すように、位置算出部４３１と、方向検出部４３２と、モデル生成部４３３と、表示制御部４３４と、を有する。
　位置算出部４３１は、消化管内に導入されたカプセル型内視鏡２が複数の画像それぞれを撮像した位置を示す位置情報を算出する。具体的には、位置算出部４３１は、受信アンテナ３ａ～３ｈの各アンテナがカプセル型内視鏡２から受信した信号強度に基づいて、各画像がそれぞれ撮像された位置を示す位置情報を算出する。さらに、位置算出部４３１は、時系列順に隣り合う各画像間の位置情報の差分を算出することにより、各画像間の位置情報の変化量を算出する。ただし、位置算出部４３１は、カプセル型内視鏡２内に設けられた磁界発生部からの磁界を、被検体１００外に配置された磁界検出部により検出することにより、カプセル型内視鏡２の位置情報を算出してもよい。
　方向検出部４３２は、複数の画像それぞれを撮像した際のカプセル型内視鏡２の管腔方向への移動量を検出する。図３、図４は、体内画像の一例を表す図である。図３、図４は、時系列順に隣り合う画像である。図３に示すように、方向検出部４３２は、画像内に特徴点Ａを設定する。特徴点Ａは、例えば消化管内のひだや凹凸の端部である。図３に示す状態から、図４に示すように、特徴点Ａが移動した場合、方向検出部４３２は、特徴点Ａの移動量からカプセル型内視鏡２の管腔方向への移動量を検出する。ただし、方向検出部４３２は、時系列順に隣り合う画像間の類似度等を算出することにより、カプセル型内視鏡２の管腔方向への移動量を検出してもよい。また、方向検出部４３２は、カプセル型内視鏡２に搭載された加速度センサ等のセンサが検出した情報に基づいて、カプセル型内視鏡２の管腔方向への移動量を検出してもよい。
　モデル生成部４３３は、位置情報の変化量及び管腔方向への移動量に基づいて、位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて消化管の形状モデルを生成する。具体的には、モデル生成部４３３は、位置情報の変化量が第１の閾値よりも小さく、かつ、管腔方向への移動量が第２の閾値よりも小さい位置情報を第１の位置情報として選択する。なお、第１の閾値及び第２の閾値は、位置情報が消化管の蠕動運動の影響を受けない程度に十分小さい値であり、予め定められた値であってよいが、医師等のユーザが設定した値であってもよい。また、第１の閾値及び第２の閾値は、カプセル型内視鏡２のフレームレート等の撮像条件に応じて可変であってもよい。
　表示制御部４３４は、記憶部４２に記憶されている画像に所定の画像処理を施し、表示装置７における画像の表示レンジに応じたデータの間引きや、階調処理などの所定の処理を施した後、代表画像を表示装置７に表示させる。
　入力装置６は、キーボード及びマウス等を用いて構成されており、ユーザによる操作を受け付ける。
　表示装置７は、液晶ディスプレイ等を用いて構成されており、表示制御部４３４による制御のもと、代表画像等を含む画像を表示する。
　次に、画像処理装置４が形状モデルを生成する処理について説明する。図５は、図２に示した画像処理装置の動作を示すフローチャートである。図５に示すように、位置算出部４３１は、カプセル型内視鏡２が体内画像群のそれぞれを撮像した位置を示す位置情報を算出し、さらに各画像間の位置情報の変化量を算出する（ステップＳ１）。
　続いて、方向検出部４３２は、体内画像群のそれぞれが撮像された際のカプセル型内視鏡２の管腔方向への移動量を検出する（ステップＳ２）。
　そして、モデル生成部４３３は、位置情報の変化量及び管腔方向への移動量に基づいて、位置情報の中から第１の位置情報を選択し、選択した第１の位置情報を用いて消化管の形状モデルを生成する（ステップＳ３）。
　図６は、モデル生成部が消化管の形状モデルを生成する様子を表す図である。図６に示すように、モデル生成部４３３は、位置情報Ｐ１～Ｐ８のうち、位置情報Ｐ１及びＰ８を第１の位置情報に選択したとする。そして、モデル生成部４３３は、位置情報Ｐ１及びＰ８を用いて消化管の形状モデルを生成する。
　位置情報Ｐ１～Ｐ８を用いて形状モデルを生成すると、消化管の蠕動運動の影響により実際にはない湾曲形状が現れてしまうため、線Ｌ１のような曲線となる。これに対して、モデル生成部４３３は、第１の位置情報である位置情報Ｐ１及びＰ８を例えば直線で結ぶことにより消化管の蠕動運動の影響を低減した線Ｌ２を生成することができる。
　その後、表示制御部４３４は、モデル生成部４３３が生成した消化管の形状モデルを表示装置７に表示させ（ステップＳ４）、一連の処理が終了する。
　以上説明したように、実施の形態１によれば、モデル生成部４３３が、位置情報の変化量及び管腔方向への移動量が十分小さいときに取得された第１の位置情報を用いて形状モデルを生成するため、消化管の蠕動運動の影響を低減した消化管の形状モデルを生成することができる。
（変形例１）
　変形例１において、モデル生成部４３３は、位置情報のうち、第１の位置情報以外の位置情報である第２の位置情報を、形状モデル上の位置を示す位置情報に補正する。具体的には、モデル生成部４３３は、撮像された順番に沿って、隣り合う第１の位置情報間の距離と、隣り合う位置情報間の距離との比に基づいて、第２の位置情報を形状モデル上の位置を示す位置情報に補正する。
　図７は、変形例１のモデル生成部が消化管の形状モデルを生成する様子を表す図である。図７に示すように、モデル生成部４３３は、線Ｌ１における累積的な隣り合う第１の位置情報間の距離ＬＮ１と、隣り合う位置情報間の距離ＬＮ１１～ＬＮ１７とを算出する。ＬＮ１＝ＬＮ１１＋ＬＮ１２＋・・・＋ＬＮ１７である。さらに、モデル生成部４３３は、線Ｌ２における隣り合う第１の位置情報間の距離ＬＮ２を算出する。続いて、モデル生成部４３３は、第２の位置情報Ｐ２～Ｐ７を形状モデル上の位置を示す位置情報に補正する。具体的には、モデル生成部４３３は、ＬＮ２１＝（ＬＮ１１／ＬＮ１）×ＬＮ２、ＬＮ２２＝（ＬＮ１２／ＬＮ１）×ＬＮ２、・・・、ＬＮ２７＝（ＬＮ１７／ＬＮ１）×ＬＮ２が満たされるように、第２の位置情報Ｐ２～Ｐ７を第２の位置情報Ｐ１２～Ｐ１７に補正する。
　以上説明したように、変形例１によれば、第１の位置情報以外の第２の位置情報に対応する画像についても形状モデル上の位置を把握することができる。
（変形例２）
　変形例２において、モデル生成部４３３は、第２の位置情報を形状モデル上に投影した位置を示す位置情報に補正する。
　図８は、変形例２のモデル生成部が消化管の形状モデルを生成する様子を表す図である。図８に示すように、モデル生成部４３３は、第２の位置情報Ｐ２～Ｐ７を形状モデル上に投影した第２の位置情報Ｐ２２～Ｐ２７に補正する。具体的には、モデル生成部４３３は、第２の位置情報Ｐ２～Ｐ７それぞれを線Ｌ２に直交する方向に投影し、第２の位置情報Ｐ２２～Ｐ２７に補正する。
（変形例３）
　図９は、変形例３のモデル生成部が消化管の形状モデルを生成する様子を表す図である。図９に示すように、モデル生成部４３３は、第１の位置情報Ｐ１、Ｐ８、Ｐ１１を曲線Ｌ１２によりフィッティングしてもよい。具体的には、モデル生成部４３３は、スプライン関数を用いて第１の位置情報Ｐ１、Ｐ８、Ｐ１１を滑らかに結ぶ曲線Ｌ１２を算出することができる。
（変形例４）
　図１０は、変形例４の表示制御部が消化管の形状モデルを表示装置に表示させた様子を表す図である。図１０に示すように、表示制御部４３４は、モデル生成部４３３が生成した形状モデルを表す画像Ｉｍ１と、形状モデルにおける印Ｍに対応する体内画像Ｉｍ２とを並べて表示装置７の画面７１に表示してもよい。
　さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付の請求の範囲及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
　１　内視鏡システム
　２　カプセル型内視鏡
　３　受信装置
　３ａ～３ｈ　受信アンテナ
　４　画像処理装置
　５　記録媒体
　６　入力装置
　７　表示装置
　４１　リーダライタ
　４２　記憶部
　４３　制御部
　１００　被検体
　４３１　位置算出部
　４３２　方向検出部
　４３３　モデル生成部
　４３４　表示制御部

Claims (7)

  1. 　消化管内に導入されたカプセル型内視鏡が複数の画像それぞれを撮像した位置を示す位置情報を算出し、各画像間の前記位置情報の変化量を算出する位置算出部と、
    　前記複数の画像それぞれを撮像した際の前記カプセル型内視鏡の管腔方向への移動量を検出する方向検出部と、
    　前記位置情報の変化量及び前記管腔方向への移動量に基づいて、前記位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて前記消化管の形状モデルを生成するモデル生成部と、
    　を備える画像処理装置。
  2. 　前記モデル生成部は、前記位置情報の変化量が第１の閾値よりも小さく、かつ、前記管腔方向への移動量が第２の閾値よりも小さい位置情報を前記第１の位置情報として選択する請求項１に記載の画像処理装置。
  3. 　前記モデル生成部は、前記位置情報のうち、前記第１の位置情報以外の位置情報である第２の位置情報を、前記形状モデル上の位置を示す位置情報に補正する請求項１又は２に記載の画像処理装置。
  4. 　前記モデル生成部は、撮像された順番に沿って、隣り合う前記第１の位置情報間の距離と、隣り合う前記位置情報間の距離との比に基づいて、前記第２の位置情報を前記形状モデル上の位置を示す位置情報に補正する請求項３に記載の画像処理装置。
  5. 　前記モデル生成部は、前記第２の位置情報を前記形状モデル上に投影した位置を示す位置情報に補正する請求項３に記載の画像処理装置。
  6. 　位置算出部が、消化管内に導入されたカプセル型内視鏡が複数の画像それぞれを撮像した位置を示す位置情報を算出し、各画像間の前記位置情報の変化量を算出し、
    　方向検出部が、前記複数の画像それぞれを撮像した際の前記カプセル型内視鏡の管腔方向への移動量を検出し、
    　モデル生成部が、前記位置情報の変化量及び前記管腔方向への移動量に基づいて、前記位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて前記消化管の形状モデルを生成する画像処理装置の作動方法。
  7. 　位置算出部が、消化管内に導入されたカプセル型内視鏡が複数の画像それぞれを撮像した位置を示す位置情報を算出し、各画像間の前記位置情報の変化量を算出し、
    　方向検出部が、前記複数の画像それぞれを撮像した際の前記カプセル型内視鏡の管腔方向への移動量を検出し、
    　モデル生成部が、前記位置情報の変化量及び前記管腔方向への移動量に基づいて、前記位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて前記消化管の形状モデルを生成する処理を画像処理装置に実行させる画像処理装置の作動プログラム。
PCT/JP2018/045358 2018-12-10 2018-12-10 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム WO2020121380A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020558816A JPWO2020121380A1 (ja) 2018-12-10 2018-12-10 画像処理装置、消化管の形状モデルの生成方法、及び画像処理装置の作動プログラム
CN201880099982.0A CN113164006A (zh) 2018-12-10 2018-12-10 图像处理装置、图像处理装置的工作方法以及图像处理装置的工作程序
PCT/JP2018/045358 WO2020121380A1 (ja) 2018-12-10 2018-12-10 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム
US17/340,342 US20210290047A1 (en) 2018-12-10 2021-06-07 Image processing apparatus, method of operating image processing apparatus, and non-transitory computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/045358 WO2020121380A1 (ja) 2018-12-10 2018-12-10 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/340,342 Continuation US20210290047A1 (en) 2018-12-10 2021-06-07 Image processing apparatus, method of operating image processing apparatus, and non-transitory computer readable recording medium

Publications (1)

Publication Number Publication Date
WO2020121380A1 true WO2020121380A1 (ja) 2020-06-18

Family

ID=71075741

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045358 WO2020121380A1 (ja) 2018-12-10 2018-12-10 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム

Country Status (4)

Country Link
US (1) US20210290047A1 (ja)
JP (1) JPWO2020121380A1 (ja)
CN (1) CN113164006A (ja)
WO (1) WO2020121380A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116781A (ja) * 2001-10-16 2003-04-22 Olympus Optical Co Ltd カプセル型医療機器
JP2008301877A (ja) * 2007-06-05 2008-12-18 Olympus Corp 画像処理装置および画像処理プログラム
WO2017158901A1 (ja) * 2016-03-18 2017-09-21 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2018025444A1 (ja) * 2016-08-02 2018-02-08 オリンパス株式会社 画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724928B2 (en) * 2001-06-20 2010-05-25 Given Imaging, Ltd. Device, system and method for motility measurement and analysis
US7761134B2 (en) * 2006-10-20 2010-07-20 Given Imaging Ltd. System and method for modeling a tracking curve of an in vivo device
EP2422684A4 (en) * 2009-04-20 2014-01-29 Olympus Medical Systems Corp SYSTEM FOR EXAMINING THE BODY OF PERSONS
JP2011156203A (ja) * 2010-02-02 2011-08-18 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP5918548B2 (ja) * 2012-01-24 2016-05-18 富士フイルム株式会社 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
JP6671747B2 (ja) * 2015-12-17 2020-03-25 キヤノンメディカルシステムズ株式会社 医用画像処理装置、その制御方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116781A (ja) * 2001-10-16 2003-04-22 Olympus Optical Co Ltd カプセル型医療機器
JP2008301877A (ja) * 2007-06-05 2008-12-18 Olympus Corp 画像処理装置および画像処理プログラム
WO2017158901A1 (ja) * 2016-03-18 2017-09-21 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2018025444A1 (ja) * 2016-08-02 2018-02-08 オリンパス株式会社 画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム

Also Published As

Publication number Publication date
US20210290047A1 (en) 2021-09-23
CN113164006A (zh) 2021-07-23
JPWO2020121380A1 (ja) 2021-10-28

Similar Documents

Publication Publication Date Title
JP4891636B2 (ja) 画像解析装置
JP5388657B2 (ja) 画像処理装置、画像処理装置の作動方法、およびシステム
US20080212881A1 (en) Image Display Apparatus
JP5444511B1 (ja) 画像処理装置
JP5537744B2 (ja) アンテナ接続ユニット、受信強度補正装置およびカプセル型内視鏡システム
EP2082678A1 (en) Endoscope insertion shape analyzing system, and observation system for living body
US20210004961A1 (en) Image processing apparatus, capsule endoscope system, method of operating image processing apparatus, and computer-readable storage medium
US9521944B2 (en) Endoscope system for displaying an organ model image to which an endoscope image is pasted
JP4855901B2 (ja) 内視鏡挿入形状解析システム
WO2013018464A1 (ja) 位置検出装置、カプセル型内視鏡システムおよびカプセル型内視鏡の位置検出プログラム
EP3245932A1 (en) Medical device, medical image generating method, and medical image generating program
US20100034436A1 (en) Image processing apparatus, computer program product and image processing method
JP2010081975A (ja) 撮像システム
CN110769731B (zh) 内窥镜系统、内窥镜用处理系统、图像处理方法
WO2020121380A1 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム
WO2019003597A1 (ja) 画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
US8692869B2 (en) Image processing device, image processing method, machine readable recording medium, endoscope system
WO2021171464A1 (ja) 処理装置、内視鏡システム及び撮像画像の処理方法
JP2010099139A (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP7100505B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム
JP5797362B1 (ja) 位置検出システム
JP2013075244A (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP2009089910A (ja) 撮像方向判別装置、撮像方向判別方法、撮像方向判別プログラム、及び撮像方向判別プログラムを記録したコンピュータ読み取り可能な記録媒体
JP6333494B1 (ja) 画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
WO2012042966A1 (ja) 画像表示装置、画像表示方法および画像表示プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18943274

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558816

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18943274

Country of ref document: EP

Kind code of ref document: A1