JP7179837B2 - Endoscope device, endoscope image display method, and operation method of endoscope device - Google Patents
Endoscope device, endoscope image display method, and operation method of endoscope device Download PDFInfo
- Publication number
- JP7179837B2 JP7179837B2 JP2020514073A JP2020514073A JP7179837B2 JP 7179837 B2 JP7179837 B2 JP 7179837B2 JP 2020514073 A JP2020514073 A JP 2020514073A JP 2020514073 A JP2020514073 A JP 2020514073A JP 7179837 B2 JP7179837 B2 JP 7179837B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- endoscope
- panorama
- display
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 55
- 238000003384 imaging method Methods 0.000 claims description 101
- 239000000284 extract Substances 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 description 39
- 230000015572 biosynthetic process Effects 0.000 description 30
- 238000003786 synthesis reaction Methods 0.000 description 30
- 239000011159 matrix material Substances 0.000 description 22
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000005286 illumination Methods 0.000 description 12
- 238000003780 insertion Methods 0.000 description 11
- 230000037431 insertion Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000005452 bending Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 5
- 102000001554 Hemoglobins Human genes 0.000 description 4
- 108010054147 Hemoglobins Proteins 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012750 in vivo screening Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Astronomy & Astrophysics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
本発明は内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法に係り、特に内視鏡スコープの先端の操作を支援する技術に関する。 The present invention relates to an endoscope apparatus, an endoscope processor apparatus, and an endoscope image display method, and more particularly to a technique for assisting the operation of the tip of an endoscope.
近年、内視鏡スコープにより撮像された画像(動画)をモニタに表示し、精密な内視鏡検査を行う場合、拡大観察による詳細な観察が求められるケースが増しつつある。 2. Description of the Related Art In recent years, when an image (moving image) captured by an endoscope is displayed on a monitor and a precise endoscopic examination is performed, there are increasing cases where detailed observation by magnifying observation is required.
拡大観察を行う際には、拡大観察をしている局所が、その周囲を含む広範囲領域のどこに位置しているかを見失いがちであり、全体感が欠如することが多い。 When performing magnifying observation, it is easy to lose sight of where the local area under magnifying observation is located in a wide area including its surroundings, often lacking a sense of the whole.
特に領域性をもつ疾患でありながら、ステージの判断には拡大観察が必要である場合には、拡大観察により下したステージ判断が、その周囲のどこまでの範囲において有効であるかの判断が難しい。 In particular, when magnifying observation is necessary to determine the stage of a disease with regional characteristics, it is difficult to determine to what extent the stage determination made by magnifying observation is effective.
従来、広視野化のために、複数の画像からパノラマ画像を作成する画像処理装置が提案されている(特許文献1、2)。特許文献1には、内視鏡により得られる連続的な時系列画像群(X0~Xn)の連結により、拡大された視野を持つ画像を得ることができる記載がある。
Conventionally, an image processing device that creates a panoramic image from a plurality of images has been proposed in order to widen the field of view (
特許文献1に記載の発明は、原画像の欠陥(例えば、ハレーション部等)を除去した新たな画像を構成することを特徴とするものであり、時系列の画像間で、少なくとも1つの画像の一部(欠陥部分)を他の画像の一部(欠陥のない同一部分の画像)を用いて埋め合わせる等の画像合成により、ハレーション部等の異常データを除去した画像を生成している。
The invention described in
一方、特許文献2には、ネットワークカメラで撮影可能な全撮影範囲画像に対応するパノラマ画像を作成し、ネットワークカメラが現在どの領域を撮像しているかを示す表示枠をパノラマ画像に表示する技術が記載されている。 On the other hand, Patent Document 2 discloses a technique of creating a panoramic image corresponding to the entire shooting range image that can be shot by a network camera, and displaying a display frame indicating which area the network camera is currently shooting on the panoramic image. Have been described.
特許文献1に記載の発明は、広視野を持つパノラマ画像を生成することを目的としておらず、複数の画像間で画像合成を行いつつ、一の画像の欠陥箇所は欠陥のない他の画像の同一個所の画像を用いて埋め合わせを行い、このときの複数の画像間の画像合成により、結果的に広い視野をもつ画像が同時に生成されているに過ぎない。したがって、パノラマ画像上に、現在撮像されている動画の撮像領域を示す枠情報等を表示しておらず、パノラマ画像は、内視鏡スコープの先端の操作を支援するものにはなっていない。
The invention described in
一方、特許文献2に記載の発明は、パノラマ画像を用いてカメラの現在の撮影画角よりも広い領域をユーザに確認させることができ、かつパノラマ画像内に表示される現在の撮影画角を示す表示枠により、カメラをどの方向に移動させると、どのような画像が撮像されるかが分かるため、ユーザのカメラ操作を支援することができる。 On the other hand, the invention described in Patent Document 2 allows the user to confirm an area wider than the current shooting angle of view of the camera using a panoramic image, and allows the user to confirm the current shooting angle of view displayed in the panoramic image. With the displayed display frame, it is possible to know what kind of image will be captured by moving the camera in which direction, so that it is possible to assist the user's camera operation.
しかしながら、特許文献2に記載の発明の制御対象はネットワークであり、内視鏡スコープ(スコープ先端のカメラ)ではない。 However, the control target of the invention described in Patent Document 2 is the network, not the endoscope (the camera at the tip of the scope).
ネットワークを含む通常のカメラによる撮像は、カメラを略水平に構えて行われるため、撮像された画像から生成されるパノラマ画像とカメラの現在の撮影画像との天地方向も略一致している。 Since an image is captured by a normal camera including a network, the camera is held substantially horizontally, and therefore the top and bottom directions of the panoramic image generated from the captured image and the currently captured image of the camera are substantially the same.
したがって、カメラを左右方向に移動(パンニング)させ、又は上下方向に移動(チルティング)させると、撮影範囲を示す表示枠もパノラマ画像上で左右方向又は上下方向に移動し、カメラの移動方向と表示枠の移動方向とが一致する。 Therefore, when the camera is moved in the horizontal direction (panning) or moved in the vertical direction (tilting), the display frame indicating the shooting range also moves in the horizontal direction or the vertical direction on the panorama image. Matches the moving direction of the display frame.
これに対し、内視鏡スコープのスコープ先端は、全方向に移動する(曲げられる)とともに回転(ローリング)するため、内視鏡スコープにより撮像されている現在の画像の天地方向(撮像素子の天地方向)と、内視鏡スコープにより撮像された画像から生成されるパノラマ画像の天地方向とは一致しない場合が多い。 On the other hand, the scope tip of an endoscope moves (bends) and rotates (rolls) in all directions, so the vertical direction of the current image captured by the endoscope (the vertical direction of the imaging device) direction) and the vertical direction of a panorama image generated from an image captured by an endoscope often do not match.
したがって、特許文献1に記載の発明によれば、ユーザは、内視鏡スコープにより現在撮像されている画像よりも広い領域をパノラマ画像により確認することができるものの、パノラマ画像の任意の位置を含む領域を撮像する際に、内視鏡スコープの先端をどのように移動させればよいかが分からないという問題がある。
Therefore, according to the invention described in
また、仮に特許文献1に記載の発明に特許文献2に記載の技術を組み合わせ、パノラマ画像上に撮影範囲を示す表示枠を表示させても、その表示枠からは、所望の領域を撮像するために内視鏡スコープの先端をどのように移動させればよいかは分からない。
Further, even if the invention described in
本発明はこのような事情に鑑みてなされたもので、現在の撮像している動画よりも広い領域を確認することができ、かつ広い領域内の所望の領域の動画を撮像する際の内視鏡スコープの操作を支援することができる内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法を提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of such circumstances. An object of the present invention is to provide an endoscope device, an endoscope processor device, and an endoscope image display method that can assist operation of an endoscope.
上記目的を達成するために本発明の一の態様に係る内視鏡装置は、内視鏡スコープにより撮像される動画に基づいてパノラマ画像を生成するパノラマ画像生成部と、内視鏡スコープにより撮像される動画及び生成されたパノラマ画像を表示器に表示させる表示制御部と、を備え、表示制御部は、表示器に表示されたパノラマ画像上に、表示器に表示された現在の動画の撮影位置を示す第1の情報を表示させ、かつパノラマ画像上の任意の位置に対して、任意の位置を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動方向の操作を支援する第2の情報を表示させる。 In order to achieve the above object, an endoscope apparatus according to one aspect of the present invention includes a panoramic image generation unit that generates a panoramic image based on a moving image captured by an endoscope, and an image captured by the endoscope. a display control unit for displaying the generated moving image and the generated panoramic image on a display device, and the display control unit captures the current moving image displayed on the display device on the panoramic image displayed on the display device. A moving direction of the tip of the endoscope for displaying first information indicating a position and capturing an image of an imaging region including an arbitrary position on a panoramic image with the endoscope. Display the second information for assisting the operation.
本発明の一の態様によれば、内視鏡スコープにより撮像される動画に基づいて生成したパノラマ画像を表示器に表示させるようにしたため、ユーザは、現在の撮像している動画よりも広い領域をパノラマ画像により確認することができる。また、ユーザは、パノラマ画像上に表示された第1の情報によりパノラマ画像における現在の動画の撮影位置を確認することができ、更に第2の情報によりパノラマ画像上の任意の位置を含む撮像領域を内視鏡スコープで撮像する際に、内視鏡スコープの先端をどの方向に移動させればよいかが分かり、内視鏡スコープの操作を支援することができる。 According to one aspect of the present invention, the panorama image generated based on the moving image captured by the endoscope is displayed on the display, so that the user can view a wider area than the currently captured moving image. can be confirmed by the panoramic image. Further, the user can confirm the current shooting position of the moving image in the panorama image from the first information displayed on the panorama image, and the imaging area including any position on the panorama image from the second information. When capturing an image with an endoscope, it is possible to know in which direction the distal end of the endoscope should be moved, thereby assisting the operation of the endoscope.
本発明の他の態様に係るにおいて、表示制御部は、動画の各フレームが、パノラマ画像のどの領域に対応するかをテンプレートマッチングにより検出し、テンプレートマッチングにより検出した領域を示す枠情報を第1の情報として、パノラマ画像上に表示させることが好ましい。 According to another aspect of the present invention, the display control unit detects, by template matching, which area of the panoramic image each frame of the moving image corresponds to, and sets frame information indicating the area detected by template matching to the first is preferably displayed on the panorama image.
本発明の更に他の態様に係る内視鏡装置において、表示器に表示されたパノラマ画像上で任意の位置を指定する第1の指示部を備え、表示制御部は、第1の指示部によりパノラマ画像上で任意の位置が指定されると、表示器に表示された現在の動画上に、内視鏡スコープの先端の移動方向を示す第2の情報を表示させることが好ましい。ユーザは、内視鏡スコープの先端の移動方向を示す第2の情報を見ながら、内視鏡スコープの先端の移動方向を操作することで、任意の位置を含む領域を撮像することができる。 The endoscope apparatus according to still another aspect of the present invention includes a first instruction section for designating an arbitrary position on the panoramic image displayed on the display, and the display control section causes the first instruction section to When an arbitrary position is specified on the panorama image, it is preferable to display second information indicating the moving direction of the tip of the endoscope on the current moving image displayed on the display. The user can capture an image of an area including an arbitrary position by manipulating the direction of movement of the tip of the endoscope while viewing the second information indicating the direction of movement of the tip of the endoscope.
本発明の更に他の態様に係る内視鏡装置において、表示制御部は、第1の指示部によりパノラマ画像上で任意の位置が指定されると、パノラマ画像上の任意の位置と現在の動画の中心位置との相対位置、及びパノラマ画像と現在の動画との相対角度を算出し、算出した相対位置及び相対角度に基づいて任意の位置を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動すべき方向を決定し、決定した方向を示す指標を第2の情報として表示器に表示された現在の動画上に表示させることが好ましい。 In the endoscope apparatus according to still another aspect of the present invention, when an arbitrary position on the panoramic image is designated by the first instruction section, the display control section displays the arbitrary position on the panoramic image and the current moving image. , and the relative angle between the panorama image and the current video, and based on the calculated relative position and relative angle, an imaging area including an arbitrary position is captured with an endoscope scope. It is preferable to determine the direction in which the distal end of the endoscope should move, and to display an indicator indicating the determined direction on the current moving image displayed on the display as the second information.
パノラマ画像上の任意の位置と現在の動画の中心位置との相対位置、及びパノラマ画像と現在の動画との相対角度は、例えば、動画の各フレームがパノラマ画像のどの領域に対応するかを検出するテンプレートマッチング時のテンプレート(動画のフレーム)のパノラマ画像に対する移動位置及び回転量により求めることができる。算出した相対位置及び相対角度によりパノラマ画像に対する内視鏡スコープの先端の姿勢等の撮像状態が分かるため、任意の位置を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動すべき方向を決定することができる。この移動すべき方向を示す指標(例えば、矢印)を現在の動画上に表示させ、ユーザは指標が示す方向に内視鏡スコープの先端を移動させることで、内視鏡スコープにより任意の位置を含む撮像領域を撮像することができる。 The relative position between an arbitrary position on the panoramic image and the center position of the current video, and the relative angle between the panoramic image and the current video, for example, detect which area of the panoramic image each frame of the video corresponds to It can be obtained from the movement position and rotation amount of the template (video frame) with respect to the panorama image at the time of template matching. Based on the calculated relative position and relative angle, the imaging state such as the posture of the tip of the endoscope with respect to the panoramic image can be determined. can determine the direction in which to move. An index (for example, an arrow) indicating the movement direction is displayed on the current moving image, and the user moves the tip of the endoscope in the direction indicated by the index to move the endoscope to an arbitrary position. An imaging region containing the image can be imaged.
本発明の更に他の態様に係る内視鏡装置において、表示制御部は、パノラマ画像と現在の動画との相対角度を算出し、表示器に表示されたパノラマ画像上に、算出した相対角度に基づいてパノラマ画像に対する現在の動画の天地方向を示す情報を第2の情報として表示させることが好ましい。パノラマ画像に対する現在の動画の撮像位置に加えて、第2の情報により天地方向が分かれば、ユーザは、パノラマ画像内の任意の位置を撮像する際の内視鏡スコープの先端の移動すべき方向を容易に把握することができる。 In the endoscope apparatus according to still another aspect of the present invention, the display control unit calculates the relative angle between the panoramic image and the current moving image, and displays the calculated relative angle on the panoramic image displayed on the display. Based on this, it is preferable to display, as the second information, information indicating the vertical direction of the current moving image with respect to the panoramic image. If the vertical direction is known from the second information in addition to the current imaging position of the moving image for the panoramic image, the user can determine the direction in which the tip of the endoscope should be moved when capturing an arbitrary position within the panoramic image. can be easily grasped.
本発明の更に他の態様に係る内視鏡装置において、動画の注目領域を指定する領域指定生成モードを設定する領域指定生成モード設定部を備え、パノラマ画像生成部は、領域指定生成モードが設定されると、動画を構成するフレームのうちの領域指定生成モードで指定された注目領域が含まれる複数フレームに基づいてパノラマ画像を生成することが好ましい。これにより、注目領域が撮像されている動画中のフレームからパノラマ画像を生成することができ、全体感をもって局所(動画の注目領域)を拡大観察する際に、好適なパノラマ画像を生成することができる。 An endoscope apparatus according to still another aspect of the present invention includes an area designation generation mode setting section for setting an area designation generation mode for designating an attention area of a moving image, wherein the panoramic image generation section sets the area designation generation mode. Then, it is preferable to generate the panorama image based on a plurality of frames including the attention area designated in the area designation generation mode among the frames constituting the moving image. As a result, a panoramic image can be generated from the frames in the moving image in which the attention area is captured, and a suitable panoramic image can be generated when a local area (attention area of the moving image) is magnified and observed with an overall feeling. can.
本発明の更に他の態様に係る内視鏡装置において、動画の時間範囲を指示する時間指定生成モードを設定する時間指定生成モード設定部を備え、パノラマ画像生成部は、時間指定生成モードが設定されると、動画を構成するフレームのうちの時間指定生成モードで指定された時間範囲内の複数フレームに基づいてパノラマ画像を生成することが好ましい。これにより、指定した時間範囲内の動画からパノラマ画像を生成することができ、ユーザが開始時刻及び終了時刻を指定することで、開始時刻から終了時刻までの間にパノラマ画像の生成に適した動画を撮像することができる。 An endoscope apparatus according to still another aspect of the present invention includes a time-designated generation mode setting unit for setting a time-designated generation mode for designating a time range of a moving image, wherein the panoramic image generation unit is set to the time-designated generation mode. Then, it is preferable to generate a panorama image based on a plurality of frames within a time range designated in the time designation generation mode among the frames constituting the moving image. As a result, a panoramic image can be generated from a moving image within a specified time range. can be imaged.
本発明の更に他の態様に係る内視鏡装置において、表示制御部は、パノラマ画像生成部により生成された生成後のパノラマ画像、及びパノラマ画像生成部により生成途中のパノラマ画像を表示器に表示させることが好ましい。パノラマ画像生成部により生成途中のパノラマ画像も表示することで、生成途中のパノラマ画像に含まれない領域を確認することができる。 In the endoscope apparatus according to still another aspect of the present invention, the display control unit displays the generated panoramic image generated by the panoramic image generating unit and the panoramic image being generated by the panoramic image generating unit on the display. It is preferable to let By displaying the panorama image in the middle of generation by the panorama image generation unit, it is possible to check the area not included in the panorama image in the middle of generation.
本発明の更に他の態様に係る内視鏡装置において、表示器に表示された生成途中のパノラマ画像上で、生成途中のパノラマ画像を拡張させる未撮像の拡張領域を指定する第2の指示部を備え、表示制御部は、第2の指示部により拡張領域が指定されると、内視鏡スコープの先端の移動方向を示す第3の情報であって、拡張領域を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動すべき方向を示す第3の情報を、表示器に表示された現在の動画上に表示させることが好ましい。 In the endoscope apparatus according to still another aspect of the present invention, on the panorama image in the process of being generated displayed on the display, a second instruction unit that designates an uncaptured extension area for extending the panorama image in the process of being generated. When the extension area is specified by the second instruction unit, the display control unit displays third information indicating the moving direction of the distal end of the endoscope scope, the imaging area including the extension area. It is preferable to display the third information indicating the direction in which the tip of the endoscope should move for imaging with the endoscope on the current moving image displayed on the display.
パノラマ画像生成部により生成途中のパノラマ画像も表示することで、生成途中のパノラマ画像に含まれない領域を確認することができ、また、ユーザがパノラマ画像に含まれない領域(未撮像の拡張領域)を指定することで、未撮像の拡張領域を撮像するための内視鏡スコープの移動方向を誘導する第3の情報を取得することができ、これによりパノラマ画像に所望の領域が含まれるようにパノラマ画像を拡張することができる。 By displaying the panorama image in the middle of generation by the panorama image generator, it is possible to check the area not included in the panorama image in the middle of generation, and the user can check the area not included in the panorama image (uncaptured extended area). ), it is possible to acquire the third information that guides the movement direction of the endoscope for imaging the unimaging extended region, thereby including the desired region in the panorama image. panorama image can be extended to
本発明の更に他の態様に係る内視鏡装置において、白色光に対応する通常画像を取得する通常画像撮影モード、又は白色光に対応する通常画像と特殊光に対応する特殊光画像とを交互に取得するマルチフレーム撮影モードを切り替える撮影モード設定部を備え、パノラマ画像生成部は、マルチフレーム撮影モードに切り替えられると、マルチフレーム撮影モードにより撮像された複数の特殊光画像から撮像領域が重複する特殊光画像間の複数組の特徴点を抽出し、抽出した複数組の特徴点に基づいて複数の特殊光画像と同領域を撮像した複数の通常画像間の調整を行ってパノラマ画像を生成することが好ましい。 In the endoscope apparatus according to still another aspect of the present invention, a normal image capturing mode for acquiring a normal image corresponding to white light, or a normal image corresponding to white light and a special light image corresponding to special light alternately and the panorama image generation unit, when switched to the multi-frame imaging mode, overlaps the imaging areas from the plurality of special light images captured in the multi-frame imaging mode. A panoramic image is generated by extracting a plurality of sets of feature points between the special light images and performing adjustment between the plurality of special light images and a plurality of normal images obtained by imaging the same region based on the extracted plurality of sets of feature points. is preferred.
白色光に対応する通常画像よりも特殊光画像の方が特徴点を精度よく抽出できる場合が多いため、複数の特殊光画像から撮像領域が重複する特殊光画像間の複数組の特徴点を抽出する。これらの複数組の特徴点に基づいてパノラマ合成用の情報(例えば、射影変換の変換係数)を求め、パノラマ合成用の情報を、特殊光画像と同領域を撮像した通常画像に適用してパノラマ画像を生成する。尚、動画の表示は、時系列の通常画像により行われるが、パノラマ画像生成時にマルチフレーム撮影モードにより通常画像と特殊光画像とを交互に取得することで、パノラマ画像の作成中も通常画像による動画を表示することができるようにしている。 Since feature points can often be extracted more accurately from special light images than from normal images corresponding to white light, multiple pairs of feature points between special light images with overlapping imaging areas are extracted from multiple special light images. do. Based on these multiple sets of feature points, information for panorama synthesis (for example, conversion coefficients for projective transformation) is obtained, and the information for panorama synthesis is applied to a normal image captured in the same area as the special light image to create a panorama. Generate an image. In addition, the display of moving images is performed using time-series normal images, but by alternately acquiring normal images and special light images in the multi-frame shooting mode when creating a panoramic image, it is possible to use normal images even while creating a panoramic image. It allows you to display videos.
本発明の更に他の態様に係る内視鏡装置において、パノラマ画像生成部は、通常画像撮影モードに切り替えられると、通常画像撮影モードにより撮像された複数の通常画像から撮像領域が重複する通常画像間の複数組の特徴点を抽出し、抽出した複数組の特徴点に基づいて複数の通常画像間の調整を行ってパノラマ画像を生成し、通常画像間の複数組の特徴点の抽出ができない場合に、撮影モード設定部はマルチフレーム撮影モードに切り替えることが好ましい。通常画像間の複数組の特徴点に基づいて複数の通常画像間の調整を行ってパノラマ画像を生成するが、通常画像間の複数組の特徴点の抽出ができない場合にはマルチフレーム撮影モードに切り替え、上記と同様に特殊光画像を利用してパノラマ画像の生成を可能にしている。 In the endoscope apparatus according to still another aspect of the present invention, when the panorama image generation unit is switched to the normal image capturing mode, the normal image having an overlapping imaging area is generated from a plurality of normal images captured in the normal image capturing mode. extracting multiple sets of feature points between them, adjusting between multiple normal images based on the extracted multiple sets of feature points to generate a panorama image, and extracting multiple sets of feature points between the normal images is not possible In this case, it is preferable that the shooting mode setting unit switches to the multi-frame shooting mode. A panoramic image is generated by adjusting multiple normal images based on multiple sets of feature points between the normal images, but if multiple sets of feature points between the normal images cannot be extracted, the multi-frame shooting mode is selected. By switching, it is possible to generate a panorama image using a special light image in the same manner as described above.
本発明の更に他の態様に係る内視鏡装置において、パノラマ画像を生成するパノラマ撮影モードに設定するパノラマ撮影モード設定部を備え、パノラマ画像生成部は、パノラマ撮影モードが設定されると、パノラマ撮影モードが設定された時点を基準にして、パノラマ撮影モードの設定時点の以後に内視鏡スコープにより撮像される動画、パノラマ撮影モードの設定時点の以前に内視鏡スコープにより撮像される動画、又はパノラマ撮影モードの設定時点の前後に内視鏡スコープにより撮像される動画に基づいてパノラマ画像を生成することが好ましい。即ち、パノラマ撮影モードが設定された時点を基準にして取得した動画に基づいてパノラマ画像を生成する。 An endoscope apparatus according to still another aspect of the present invention includes a panoramic imaging mode setting section that sets a panoramic imaging mode for generating a panoramic image, and the panoramic image generating section sets the panoramic imaging mode when the panoramic imaging mode is set. Based on the point in time when the shooting mode was set, a moving image captured by the endoscope after the panorama shooting mode was set, a moving image captured by the endoscope before the panorama shooting mode was set, Alternatively, it is preferable to generate a panoramic image based on a moving image captured by the endoscope before and after setting the panoramic photography mode. That is, a panorama image is generated based on the moving image acquired with reference to the point in time when the panorama shooting mode was set.
本発明の更に他の態様に係る内視鏡装置において、パノラマ画像生成部は、パノラマ画像の生成に使用する動画の各フレームの歪みを補正する歪み補正を行い、歪み補正した各フレームに基づいてパノラマ画像を生成することが好ましい。内視鏡画像は、一般に広角画像であるため、歪曲収差等の収差が大きい。そこで、パノラマ画像を生成する前に、パノラマ画像の生成に使用する動画の各フレームの歪みを補正し、これによりパノラマ画像を良好に生成できるようにしている。 In the endoscope apparatus according to still another aspect of the present invention, the panorama image generation unit performs distortion correction for correcting distortion of each frame of a moving image used for generating the panorama image, and based on the distortion-corrected frames, It is preferable to generate panoramic images. Since an endoscope image is generally a wide-angle image, it has large aberrations such as distortion. Therefore, before generating the panoramic image, the distortion of each frame of the moving image used for generating the panoramic image is corrected so that the panoramic image can be generated satisfactorily.
本発明の更に他の態様に係る内視鏡画像表示方法は、パノラマ画像生成部が、内視鏡スコープにより撮像される動画に基づいてパノラマ画像を生成するステップと、表示制御部が、内視鏡スコープにより撮像される動画及び生成されたパノラマ画像を表示器に表示させるステップと、表示制御部が、表示器に表示されたパノラマ画像上に、表示器に表示された現在の動画の撮影位置を示す第1の情報を表示させるステップと、表示制御部が、パノラマ画像上の任意の位置に対して、任意の位置を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動方向の操作を支援する第2の情報を表示させるステップと、を含む。 An endoscopic image display method according to still another aspect of the present invention includes steps of: a panoramic image generation unit generating a panoramic image based on a moving image captured by an endoscope; a step of displaying the moving image captured by the mirror scope and the generated panoramic image on the display; a step of displaying first information indicating the above; and a display control unit controlling an endoscope scope for imaging an imaging region including an arbitrary position with respect to an arbitrary position on the panoramic image with the endoscope scope and displaying second information to assist in manipulating the direction of movement of the tip.
本発明の更に他の態様に係る内視鏡画像表示方法において、第1の情報を表示させるステップは、動画の各フレームが、パノラマ画像のどの領域に対応するかをテンプレートマッチングにより検出し、テンプレートマッチングにより検出した領域を示す枠情報を第1の情報として、パノラマ画像上に表示させることが好ましい。 In the endoscopic image display method according to still another aspect of the present invention, the step of displaying the first information includes detecting, by template matching, which region of the panoramic image each frame of the moving image corresponds to, and It is preferable to display the frame information indicating the area detected by matching as the first information on the panorama image.
本発明の更に他の態様に係る内視鏡画像表示方法において、第1の指示部により表示器に表示されたパノラマ画像上で任意の位置を指定するステップを含み、第2の情報を表示させるステップは、第1の指示部によりパノラマ画像上で任意の位置が指定されると、表示器に表示された現在の動画上に、内視鏡スコープの先端の移動方向を示す第2の情報を表示させることが好ましい。 An endoscopic image display method according to still another aspect of the present invention includes the step of designating an arbitrary position on the panorama image displayed on the display by a first instruction unit, and displaying second information. In the step, when an arbitrary position on the panorama image is designated by the first instruction unit, the second information indicating the moving direction of the tip of the endoscope is displayed on the current moving image displayed on the display. Display is preferred.
本発明の更に他の態様に係る内視鏡画像表示方法において、第2の情報を表示させるステップは、第1の指示部によりパノラマ画像上で任意の位置が指定されると、パノラマ画像上の任意の位置と現在の動画の中心位置との相対位置、及びパノラマ画像と現在の動画との相対角度を算出し、算出した相対位置及び相対角度に基づいて任意の位置を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動すべき方向を決定し、決定した方向を示す指標を第2の情報として表示器に表示された現在の動画上に表示させることが好ましい。 In the endoscopic image display method according to still another aspect of the present invention, the step of displaying the second information includes: Calculate the relative position between the arbitrary position and the center position of the current video, and the relative angle between the panoramic image and the current video, and view the imaging area including the arbitrary position based on the calculated relative position and relative angle It is preferable to determine the direction in which the tip of the endoscope should move for imaging with the endoscope, and to display an index indicating the determined direction on the current moving image displayed on the display as the second information. .
本発明の更に他の態様に係る内視鏡画像表示方法において、第1の情報を表示させるステップは、パノラマ画像と現在の動画との相対角度を算出し、表示器に表示されたパノラマ画像上に、算出した相対角度に基づいてパノラマ画像に対する現在の動画の天地方向を示す情報を第2の情報として表示させることが好ましい。 In the endoscopic image display method according to still another aspect of the present invention, the step of displaying the first information includes calculating the relative angle between the panoramic image and the current moving image, and calculating the relative angle between the panoramic image and the current moving image, and Secondly, it is preferable to display, as the second information, information indicating the vertical direction of the current moving image with respect to the panoramic image based on the calculated relative angle.
本発明の更に他の態様に係る内視鏡プロセッサ装置は、内視鏡スコープにより撮像される動画に基づいてパノラマ画像を生成するパノラマ画像生成部と、内視鏡スコープにより撮像される動画及び生成されたパノラマ画像を表示器に表示させる表示制御部と、を備え、表示制御部は、表示器に表示されたパノラマ画像上に、表示器に表示された現在の動画の撮影位置を示す第1の情報を表示させ、かつパノラマ画像上の任意の位置に対して、任意の位置を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動方向の操作を支援する第2の情報を表示させる。 An endoscope processor device according to still another aspect of the present invention includes a panoramic image generation unit that generates a panoramic image based on a moving image captured by an endoscope; a display control unit for displaying the displayed panorama image on a display device, the display control unit displaying the current shooting position of the moving image displayed on the display device on the panorama image displayed on the display device; and support the operation of the movement direction of the tip of the endoscope for imaging the imaging area including any position with the endoscope scope for any position on the panoramic image. 2 information is displayed.
本発明によれば、内視鏡スコープにより撮像される動画に基づいて生成したパノラマ画像により現在の撮像している動画よりも広い領域を確認することができ、特にパノラマ画像上に表示された第1の情報によりパノラマ画像における現在の動画の撮影位置を確認することができ、更に第2の情報によりパノラマ画像上の任意の位置を含む撮像領域を内視鏡スコープで撮像する際に、内視鏡スコープの先端をどの方向に移動させればよいかが分かり、内視鏡スコープの操作性を向上させることができる。 According to the present invention, a panoramic image generated based on a moving image captured by an endoscope enables confirmation of a wider area than the currently captured moving image. The first information allows confirmation of the current moving image shooting position in the panoramic image, and the second information enables endoscope imaging of an imaging area including an arbitrary position on the panoramic image with an endoscope. It is possible to know in which direction the distal end of the endoscope should be moved, thereby improving the operability of the endoscope.
以下、添付図面に従って本発明に係る内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法の好ましい実施形態について説明する。 Preferred embodiments of an endoscope apparatus, an endoscope processor apparatus, and an endoscope image display method according to the present invention will be described below with reference to the accompanying drawings.
[内視鏡装置の全体構成]
図1は本発明に係る内視鏡装置10の外観斜視図である。[Overall Configuration of Endoscope Device]
FIG. 1 is an external perspective view of an
図1に示すように内視鏡装置10は、大別して、被検体内の観察対象を撮像する内視鏡スコープ(ここでは軟性内視鏡)11と、光源装置12と、プロセッサ装置(内視鏡プロセッサ装置)13と、液晶モニタ等の表示器14と、を備えている。
As shown in FIG. 1, the
光源装置12は、通常画像の撮像用の白色光、特殊光画像の撮像用の特定の波長帯域の光等の各種の照明光を内視鏡スコープ11へ供給する。
The
プロセッサ装置13は、内視鏡スコープ11により得られた画像信号に基づいて表示用又は記録用の通常画像及び/又は特殊光画像の画像データを生成する機能、光源装置12を制御する機能の他に、本発明に係る時系列の通常画像からパノラマ画像を生成する機能、通常画像とパノラマ画像とを表示器14に表示させる機能等を有する。ここで、本例のパノラマ画像とは、2以上の通常画像から生成される通常画像よりも観察対象の広い範囲を含めた画像である。
The
表示器14は、プロセッサ装置13から入力される表示用の画像データに基づき通常画像又は特殊光画像の他、通常画像とパノラマ画像とを表示する。
The
内視鏡スコープ11は、被検体内に挿入される可撓性の挿入部16と、挿入部16の基端部に連設され、内視鏡スコープ11の把持及び挿入部16の操作に用いられる手元操作部17と、手元操作部17を光源装置12及びプロセッサ装置13に接続するユニバーサルコード18と、を備えている。
The
挿入部16の先端部である挿入部先端部16a(内視鏡スコープの先端)には、照明レンズ42、対物レンズ44、撮像素子45などが内蔵されている(図2参照)。挿入部先端部16aの後端には、湾曲自在な湾曲部16bが連設されている。また、湾曲部16bの後端には、可撓性を有する可撓管部16cが連設されている。
An illuminating
手元操作部17には、アングルノブ21、操作ボタン22、及び鉗子入口23などが設けられている。アングルノブ21は、湾曲部16bの湾曲方向及び湾曲量を調整する際に回転操作される。操作ボタン22は、送気・送水や吸引等の各種の操作に用いられる。鉗子入口23は、挿入部16内の鉗子チャネルに連通している。また、手元操作部17には、各種の設定を行う内視鏡操作部46(図2参照)等が設けられている。
The
ユニバーサルコード18には、送気・送水チャンネル、信号ケーブル、及びライトガイドなどが組み込まれている。ユニバーサルコード18の先端部には、光源装置12に接続されるコネクタ部25aと、プロセッサ装置13に接続されるコネクタ部25bとが設けられている。これにより、コネクタ部25aを介して光源装置12から内視鏡スコープ11に照明光が供給され、コネクタ部25bを介して内視鏡スコープ11により得られた画像信号がプロセッサ装置13に入力される。
The
尚、光源装置12には、電源ボタン、光源を点灯させる点灯ボタン、及び明るさ調節ボタン等の光源操作部12aが設けられ、また、プロセッサ装置13には、電源ボタン、図示しないマウス等のポインティングデバイスからの入力を受け付ける入力部を含むプロセッサ操作部13aが設けられている。
The
[内視鏡装置の電気的構成]
図2は内視鏡装置10の電気的構成を示すブロック図である。[Electrical Configuration of Endoscope Device]
FIG. 2 is a block diagram showing the electrical configuration of the
図2に示すように内視鏡スコープ11は、大別して、ライトガイド40と、照明レンズ42と、対物レンズ44と、撮像素子45と、内視鏡操作部46と、内視鏡制御部47と、ROM(Read Only Memory)48とを有している。
As shown in FIG. 2, the
ライトガイド40は、大口径光ファイバ、バンドルファイバなどが用いられる。ライトガイド40は、その入射端がコネクタ部25aを介して光源装置12に挿入されており、その出射端が挿入部16を通って挿入部先端部16a内に設けられた照明レンズ42に対向している。光源装置12からライトガイド40に供給された照明光は、照明レンズ42を通して観察対象に照射される。そして、観察対象で反射及び/又は散乱した照明光は、対物レンズ44に入射する。
A large-diameter optical fiber, a bundle fiber, or the like is used for the
対物レンズ44は、入射した照明光の反射光又は散乱光(即ち、観察対象の光学像)を撮像素子45の撮像面に結像させる。
The
撮像素子45は、CMOS(complementary metal oxide semiconductor)型又はCCD(charge coupled device)型の撮像素子であり、対物レンズ44よりも奥側の位置で対物レンズ44に相対的に位置決め固定されている。撮像素子45の撮像面には、光学像を光電変換する複数の光電変換素子(フォトダイオード)により構成される複数の画素が2次元配列されている。また、本例の撮像素子45の複数の画素の入射面側には、画素毎に赤(R)、緑(G)、青(B)のカラーフィルタが配置され、これによりR画素、G画素、B画素が構成されている。尚、RGBのカラーフィルタのフィルタ配列は、ベイヤ配列が一般的であるが、これに限らない。
The
撮像素子45は、対物レンズ44により結像される光学像を電気的な画像信号に変換してプロセッサ装置13に出力する。
The
尚、撮像素子45がCMOS型である場合には、A/D(Analog/Digital)変換器が内蔵されており、撮像素子45からプロセッサ装置13に対してデジタルの画像信号が直接出力される。また、撮像素子45がCCD型である場合には、撮像素子45から出力される画像信号は図示しないA/D変換器等でデジタルな画像信号に変換された後、プロセッサ装置13に出力される。
If the
内視鏡操作部46は、図示しない静止画撮像ボタン、通常画像撮影モード、特殊光画像撮影モード、マルチフレーム撮影モード、又はパノラマ撮影モードを設定する撮影モード設定部、又はパノラマ撮影モード等を切替え設定するパノラマ撮影モード設定部、領域指定生成モード設定部、及び時間指定生成モード設定部等を有している。尚、撮影モード設定部、領域指定生成モード設定部、及び時間指定生成モード設定部は、プロセッサ装置13のプロセッサ操作部13aに設けられていてもよい。
The
内視鏡制御部47は、内視鏡操作部46での操作に応じてROM48等から読み出した各種プログラムやデータを逐次実行し、主として撮像素子45の駆動を制御する。例えば、通常画像撮影モードの場合、内視鏡制御部47は、撮像素子45のR画素、G画素及びB画素の信号を読み出すように撮像素子45を制御し、特殊光画像撮影モード又はマルチフレーム撮影モードであって、特殊光画像を取得するために照明光としてV-LED32aから紫色光が発光される場合、又はB-LED32bから青色光が発光される場合には、これらの紫色光、青色光の波長帯域に分光感度を有する撮像素子45のB画素の信号のみを読み出すように撮像素子45を制御する。
The
また、内視鏡制御部47は、プロセッサ装置13のプロセッサ制御部61との間で通信を行い、内視鏡操作部46での操作情報及びROM48に記憶されている内視鏡スコープ11の種類を識別するための識別情報等をプロセッサ装置13に送信する。
In addition, the
光源装置12は、光源制御部31及び光源ユニット32を有している。光源制御部31は、光源ユニット32の制御と、プロセッサ装置13のプロセッサ制御部61との間で通信を行い、各種情報の遣り取りを行う。
The
光源ユニット32は、例えば複数の半導体光源を有している。本実施形態では、光源ユニット32は、V-LED(Violet Light Emitting Diode)32a、B-LED(Blue Light Emitting Diode)32b、G-LED(Green Light Emitting Diode)32c、及びR-LED(Red Light Emitting Diode)32dの4色のLEDを有する。V-LED32aは、中心波長405nmで、波長帯域380~420nmの紫色光を発光する紫色光源である。B-LED32bは、中心波長460nm、波長帯域420~500nmの青色光を発する青色半導体光源である。G-LED32cは、波長帯域が480~600nmに及ぶ緑色光を発する緑色半導体光源である。R-LED32dは、中心波長620~630nmで、波長帯域が600~650nmの赤色光を発光する赤色半導体光源である。尚、V-LED32aとB-LED32bの中心波長は±5nmから±10nm程度の幅を有する。
The
これらの各LED32a~32dの点灯や消灯、点灯時の発光量等は、光源制御部31が各々に独立した制御信号を入力するによって各々に制御することができる。通常画像撮影モードの場合、光源制御部31は、V-LED32a、B-LED32b、G-LED32c、及びR-LED32dを全て点灯させる。このため、通常画像撮影モードでは、紫色光、青色光、緑色光、及び赤色光を含む白色光が照明光として用いられる。
Lighting and extinguishing of each of the
一方、特殊観察モードの場合、光源制御部31は、V-LED32a、B-LED32b、G-LED32c、及びR-LED32dのうちのいずれか1つの光源、又は適宜組み合わせた複数の光源を点灯させ、又は複数の光源を点灯させる場合、各光源の発光量(光量比)を制御し、これにより被検体の深度の異なる複数の層の画像の撮像を可能にする。
On the other hand, in the case of the special observation mode, the light source control unit 31 turns on any one light source of the V-
各LED32a~32dが発する各色の光は、ミラーやレンズ等で形成される光路結合部、及び絞り機構(図示せず)を介して内視鏡スコープ11内に挿通されたライトガイド40に入射される。
Light of each color emitted by each of the
尚、光源装置12の照明光は、白色光(白色の波長帯域の光又は複数の波長帯域の光)、或いは1又は複数の特定の波長帯域の光(特殊光)、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。特殊光の特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
The illumination light of the
特定の波長帯域の第1例は、例えば可視域の青色帯域又は緑色帯域である。この第1例の波長帯域は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域を含み、且つ第1例の光は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域内にピーク波長を有する。 A first example of a specific wavelength band is, for example, the blue band or the green band in the visible range. The wavelength band of this first example includes a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less, and the light of the first example has a peak wavelength within the wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less. .
特定の波長帯域の第2例は、例えば可視域の赤色帯域である。この第2例の波長帯域は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域を含み、且つ第2例の光は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域内にピーク波長を有する。 A second example of a specific wavelength band is, for example, the visible red band. The wavelength band of this second example includes a wavelength band of 585 nm or more and 615 nm or less or 610 nm or more and 730 nm or less, and the light of the second example has a peak wavelength within the wavelength band of 585 nm or more and 615 nm or less or 610 nm or more and 730 nm or less. .
特定の波長帯域の第3例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第3例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第3例の波長帯域は、400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域を含み、且つ第3例の光は、上記400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域にピーク波長を有する。 A third example of the specific wavelength band includes a wavelength band in which oxygenated hemoglobin and reduced hemoglobin have different absorption coefficients, and the light in the third example has a peak wavelength in the wavelength band in which oxygenated hemoglobin and reduced hemoglobin have different absorption coefficients. have The wavelength band of this third example includes a wavelength band of 400±10 nm, 440±10 nm, 470±10 nm, or a wavelength band of 600 nm or more and 750 nm or less, and the light of the third example is the above 400±10 nm, 440±10 nm, 470 It has a peak wavelength in the wavelength band of ±10 nm or from 600 nm to 750 nm.
特定の波長帯域の第4例は、生体内の蛍光物質が発する蛍光の観察(蛍光観察)に用いられ且つこの蛍光物質を励起させる励起光の波長帯域(390nmから470nm)である。 A fourth example of the specific wavelength band is the wavelength band (390 nm to 470 nm) of excitation light used for observation of fluorescence emitted by a fluorescent substance in the living body (fluorescence observation) and for exciting this fluorescent substance.
特定の波長帯域の第5例は、赤外光の波長帯域である。この第5例の波長帯域は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域を含み、且つ第5例の光は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域にピーク波長を有する。 A fifth example of the specific wavelength band is the wavelength band of infrared light. The wavelength band of the fifth example includes a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm, and the light of the fifth example has a peak wavelength in the wavelength band of 790 nm to 820 nm or 905 nm to 970 nm.
プロセッサ装置13は、プロセッサ操作部13a、プロセッサ制御部61、ROM62、デジタル信号処理回路(DSP:Digital Signal Processor)63、画像処理部65、表示制御部66、及び記憶部67等を有している。
The
プロセッサ操作部13aは、電源ボタン、マウスにより表示器14上で指示される座標位置及びクリック(実行指示)等の入力を受け付ける入力部等を含む。
The
プロセッサ制御部61は、プロセッサ操作部13aでの操作情報、及び内視鏡制御部47を介して受信した内視鏡操作部46での操作情報に応じてROM62から必要なプログラムやデータを読み出して逐次処理することで、プロセッサ装置13の各部を制御するとともに、光源装置12を制御する。尚、プロセッサ制御部61は、図示しないインターフェースを介して接続されたキーボード等の他の外部機器から必要な指示入力を受け付けるようにしてもよい。
The
内視鏡スコープ11(撮像素子45)から出力される動画の各フレームの画像データを取得する画像取得部の一形態として機能するDSP63は、プロセッサ制御部61の制御の下、内視鏡スコープ11から入力される動画の1フレーム分の画像データに対し、欠陥補正処理、オフセット処理、ホワイトバランス補正、ガンマ補正、及びデモザイク処理等の各種の信号処理を行い、1フレーム分の画像データを生成する。
Under the control of the
パノラマ画像生成部としての機能を有する画像処理部65は、DSP63から画像データを入力し、入力した画像データに対して、必要に応じて色変換処理、色彩強調処理、及び構造強調処理等の画像処理を施し、観察対象が写った内視鏡画像を示す画像データを生成する。色変換処理は、画像データに対して3×3のマトリックス処理、階調変換処理、及び3次元ルックアップテーブル処理などにより色の変換を行う処理である。色彩強調処理は、色変換処理済みの画像データに対して、例えば血管と粘膜との色味に差をつける方向に色彩を強調する処理である。構造強調処理は、例えば血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像データに対して行う。
An
画像処理部65により処理された動画の各フレームの画像データは、静止画又は動画の撮影指示があると、撮影指示された静止画又は動画として記憶部67に記録される。また、本例では、パノラマ画像の生成に使用する動画の各フレームの画像データも記憶部67に記録される。パノラマ画像生成用の動画は、パノラマ撮影モードが設定された時点を基準にして、パノラマ撮影モードの設定時点の以後に内視鏡スコープ11により撮像される動画、パノラマ撮影モードの設定時点の以前に内視鏡スコープ11により撮像される動画、又はパノラマ撮影モードの設定時点の前後に内視鏡スコープ11により撮像される動画であり、この動画は、所望のパノラマ画像の生成に必要なフレームを含む一定の撮影期間の動画とすることができ、逐次更新することが可能である。また、パノラマ画像生成用に保存された動画は、パノラマ画像生成が生成されると削除してもよい。
The image data of each frame of the moving image processed by the
尚、画像処理部65は、内視鏡スコープ11により撮像される動画に基づいてパノラマ画像を生成するパノラマ画像生成部としての機能を有するが、パノラマ画像生成部として機能する場合の画像処理の詳細については後述する。
The
表示制御部66は、入力する画像データから通常画像、特殊光画像、パノラマ画像を表示器14に表示させるための表示用データを生成し、生成した表示用データを表示器14に出力し、表示器14に表示用画像を表示させる。
The
表示制御部66は、図3に示すように動画の各フレーム90をマスク画像92に基づいてマスク処理を行い、動画の表示用の通常画像100を生成する。マスク画像92は、通常画像100と同一サイズの矩形画像であり、表示エリア(本例では円形のエリア)を露呈する非マスク部とマスク部(黒部)とを有している。尚、マスク処理は、矩形のフレームから円形の表示用画像を生成する場合に限らず、矩形のフレームの四隅をマスキングした八角形の表示用画像を生成したり、矩形のフレームの左右の両端を円弧状にマスキングした樽型の表示用画像に生成する場合等が考えられる。
The
表示制御部66は、表示用の通常画像100を表示器14に出力し、表示器14に通常画像100(動画)を表示させ、パノラマ撮影モード設定部によりパノラマ撮影モードが設定され、画像処理部65のパノラマ画像生成部により生成されたパノラマ画像を入力すると、通常画像100とパノラマ画像200(図7参照)とを表示器14に表示させる。
The
また、表示制御部66は、図7に示すようにパノラマ画像200上に、現在の動画(通常画像100)の撮影位置を示す第1の情報(本例では、円形の通常画像100と同じ領域を示す円形の枠情報202)を表示させる。
7, the
更に、表示制御部66は、図8に示すようにパノラマ画像200上の任意の位置204をマウスによりクリックすると(任意の位置が指定されると)、任意の位置204を含む撮像領域を内視鏡スコープ11で撮像するための内視鏡スコープ11の先端の移動すべき方向を示す指標(本例では矢印102)を、現在の動画である通常画像100上に表示させる。
Furthermore, when an
尚、表示器14に枠情報202及び矢印102を表示させる表示制御部66による表示制御の詳細については後述する。
Details of display control by the
[パノラマ画像の生成]
次に、パノラマ画像生成部として機能する画像処理部65によりパノラマ画像の生成方法について説明する。[Create panorama image]
Next, a method of generating a panoramic image by the
内視鏡操作部46又はプロセッサ操作部13aによりパノラマ撮影モードが設定されると、画像処理部65は、パノラマ画像生成部として機能する。尚、撮影モード設定部により通常画像撮影モードが設定されているものとする。
When the panoramic imaging mode is set by the
通常画像撮影モードのもとでパノラマ撮影モードが設定されると、パノラマ画像生成部は、通常画像撮影モードで撮像される動画の各フレーム(通常画像)によりパノラマ画像を生成するが、内視鏡操作部46又はプロセッサ操作部13aにより設定された「領域指定生成モード」又は「時間指定生成モード」にしたがって、以下のようにパノラマ画像を生成する。
When the panoramic photography mode is set under the normal image photography mode, the panoramic image generator generates a panoramic image from each frame (normal image) of the moving image captured in the normal image photography mode. A panorama image is generated as follows in accordance with the "region designation generation mode" or "time designation generation mode" set by the
<領域指定生成モード>
「領域指定生成モード」は、ユーザ(医師)が、通常画像から注目領域を発見し、注目領域を含む任意の位置を指定すると、パノラマ画像を生成するモードである。<Area specification generation mode>
The "region designation generation mode" is a mode in which a panoramic image is generated when a user (doctor) finds a region of interest in a normal image and designates an arbitrary position including the region of interest.
即ち、領域指定生成モードが設定された後、第1の指示部として機能するマウスを使用し、表示器14に表示された通常画像上で、医師が注目領域内の任意の位置をクリックして指定すると、パノラマ合成を開始する。パノラマ画像生成部は、クリックされた時刻より以前に撮像され、記憶部67に保持された動画から、その動画を構成するフレームのうちの指定された注目領域が含まれる複数フレームを抽出し、抽出した複数フレームを合成してパノラマ画像を生成する。
That is, after the region designation generation mode is set, the doctor clicks an arbitrary position within the region of interest on the normal image displayed on the
図4は、領域指定生成モードでのパノラマ画像の作成方法を概念的に示す図である。 FIG. 4 is a diagram conceptually showing a panorama image creation method in the area specification generation mode.
図4において、フレームI1が領域指定時刻のフレームとすると、医師は、破線の枠で示した注目領域内の任意の位置をマウスでクリックする。パノラマ画像生成部は、フレームI1を含む過去のフレーム群(記憶部67に保持された動画)から、注目領域が含まれる複数のフレームI2,I3,I4、I5を抽出する。In FIG. 4, assuming that the frame I1 is the frame at the region designation time, the doctor clicks with the mouse any position within the region of interest indicated by the dashed frame. The panorama image generator extracts a plurality of frames I 2 , I 3 , I 4 , and I 5 including the attention area from the past frame group (moving image held in the storage unit 67 ) including the
パノラマ画像生成部は、フレームI1を含む複数のフレームI1~I5に基づいてパノラマ画像200を生成する。図4に示す例では、5枚のフレームI1~I5を使用してパノラマ画像200を生成しているが、パノラマ合成に使用されるフレーム数は、5枚に限らず、注目領域が撮像されている全てのフレームを抽出してパノラマ合成することが好ましい。The panorama image generator generates a
尚、領域指定時刻のフレームI1より過去の時刻のフレーム群からパノラマ合成に使用するフレームを抽出しているが、領域指定時刻のフレームI1よりも未来の時刻(領域指定時刻後に撮像される動画のフレーム群)からのパノラマ合成に使用するフレームを抽出してもよいし、領域指定時刻よりも過去及び未来の両方の時刻に撮像された動画のフレーム群からパノラマ合成に使用するフレームを抽出してもよい。Note that the frames used for panorama synthesis are extracted from the group of frames at a time earlier than the frame I1 at the region-designated time, but the frames to be used for panorama synthesis are extracted at a time later than the frame I1 at the region-designated time (imaged after the region-designated time). You may extract the frames used for panorama synthesis from a group of video frames), or extract the frames used for panorama synthesis from a group of video frames captured at times both past and future from the specified region time. You may
また、動画のフレーム群から抽出するフレームは、動画のフレームレート(例えば、30フレーム/秒、60フレーム/秒)よりも時間間隔を空けて抽出したり、フレーム間で一定範囲の移動量を有するフレームを抽出することが好ましい。パノラマ合成するフレーム数を少なくし、かつパノラマ合成されるパノラマ画像の領域を拡張するためである。 In addition, the frames to be extracted from the frame group of the moving image are extracted with a time interval higher than the frame rate of the moving image (for example, 30 frames/second, 60 frames/second), or have a certain amount of movement between frames. It is preferable to extract frames. This is to reduce the number of frames to be panorama-synthesized and expand the area of the panorama image to be panorama-synthesized.
次に、パノラマ画像生成部によりパノラマ画像を生成する具体的なアルゴリズムは、以下の通りである。 Next, a specific algorithm for generating a panorama image by the panorama image generation unit is as follows.
(1) 図5に示すように、あるフレーム間で異なる視点で注目領域が撮像された2枚の画像Ii(i=1,2)が得られたとする。 (1) As shown in FIG. 5, assume that two images Ii (i=1, 2) in which a region of interest is captured from different viewpoints are obtained between certain frames.
(2) 画像Iiに対して、特徴点を抽出する。これにはSIFT(Scale-invariant feature transform)やSURF(Speed-Upped Robust Feature)、ORB(Oriented FAST and Rotated BRIEF)などの特徴点アルゴリズムを用いる。この処理によりそれぞれの画像に対し、ni(i=1,2)個の特徴点Pij=(x_ij,y_ij)(j=1,2,…,n)が検出されたとする。ここで(x,y)は画像平面における座標を表す。 (2) Extract feature points from the image Ii. For this, feature point algorithms such as SIFT (Scale-invariant feature transform), SURF (Speed-Upped Robust Feature), ORB (Oriented FAST and Rotated BRIEF) are used. Assume that ni (i=1, 2) feature points Pij=(x_ij, y_ij) (j=1, 2, . . . , n) are detected for each image by this process. where (x,y) represent the coordinates in the image plane.
(3) 画像Iiに対する特徴点Piが与えられたとき、それぞれの特徴点が持つ特徴量Diをもとに、特徴点同士のマッチングを行う。このとき特徴量Diは特徴点周辺領域の情報をもとに取得された情報がよい。例えばSIFTなら128次元の実数ベクトル、ORBなら256bitのバイナリ列となる。特徴点周辺のW×W領域の画素値としてもよい。画像I1、I2のある特徴点がマッチしているか否かは、その特徴点に対応する特徴量の類似度で評価する。例えば、特徴量がSIFTならそれぞれの実数ベクトルのユークリッド距離がある閾値より小さいときマッチしているとする。(3) When the feature points Pi for the image Ii are given, the feature points are matched based on the feature amount Di of each feature point. At this time, the feature amount Di is preferably information obtained based on the information of the feature point surrounding area. For example, SIFT is a 128-dimensional real number vector, and ORB is a 256-bit binary string. A pixel value in a W×W area around the feature point may be used. Whether or not certain feature points of the images I1 and I2 match is evaluated based on the similarity of feature amounts corresponding to the feature points. For example, if the feature value is SIFT, it is assumed that the Euclidean distance of each real number vector is less than a certain threshold.
(4) マッチングにより、画像I1、I2間で、マッチしている対応点が4組以上見つかった場合、画像合成を行う。(4) When four or more pairs of matching points are found between the images I1 and I2 by matching, image synthesis is performed.
仮に、合成する基準となる画像を画像I1とした場合は、画像I2を画像I1の座標平面に投影(射影変換)する行列Hを求める。画像I2におけるある特徴点P2=(x_2,y_2)が、画像I1におけるある特徴点P1=(x_1,y_1)とマッチしているとき、次式に示す関係が成り立つ。If image I1 is used as a reference image for synthesis, a matrix H for projecting (projective transformation) image I2 onto the coordinate plane of image I1 is obtained. When a feature point P2 =(x_2, y_2) in the image I2 matches a feature point P1 =(x_1, y_1) in the image I1 , the following relationship holds.
マッチした対応点の組に対し、[数1]式を適用し、行列Hの要素に対する連立方程式を解くことで、行列Hが求まる。ここで、行列H中の係数h33は1であるため、8個の係数を求める。4組の対応点(合計8個)の座標から、8個の連立方程式を解くことで、8個の係数(変換係数)を有する行列Hを求めることができる。The matrix H is obtained by applying the formula [Formula 1] to the set of matched corresponding points and solving the simultaneous equations for the elements of the matrix H. Here, since the coefficient h 33 in the matrix H is 1, 8 coefficients are obtained. A matrix H having eight coefficients (transformation coefficients) can be obtained by solving eight simultaneous equations from the coordinates of four sets of corresponding points (eight in total).
4組以上の対応点が見つかった場合は、RANSAC(Random Sampling Consensus)法などでより最適な行列Hを求めることが好ましい。対応点の各組の誤対応や位置のずれなどのノイズの影響を排除し、高精度に行列Hを計算するためである。 If four or more sets of corresponding points are found, it is preferable to obtain a more optimal matrix H by a RANSAC (Random Sampling Consensus) method or the like. This is to eliminate the effects of noise such as erroneous correspondence and positional deviation of each pair of corresponding points, and to calculate the matrix H with high precision.
行列Hが求められたら、画像I2の全ての画素を行列Hによって変換し、画像I1に重畳することで、合成画像(パノラマ画像200)を得る。Once the matrix H is obtained, all pixels of the image I2 are transformed by the matrix H and superimposed on the image I1 to obtain a composite image (panoramic image 200).
次の画像I3を合成する場合には、基準の画像I1と画像I3との重複領域における4組の対応点を求める。適正な4組の対応点が見つからない場合には、射影変換後の画像I2、又は生成途中のパノラマ画像と画像I3との重複領域における4組の対応点を求め、上記と同様にして画像I3を合成することでパノラマ画像を拡張する。以上のパノラマ合成処理を、パノラマ画像の生成に使用する全ての画像に対して行うことで、所望のパノラマ画像を生成することができる。When synthesizing the next image I3 , four sets of corresponding points in the overlapping region of the reference image I1 and image I3 are determined. If the proper 4 pairs of corresponding points are not found, find 4 pairs of corresponding points in the image I2 after projective transformation or in the overlapping area between the panorama image in the process of being generated and the image I3 . The panorama image is extended by synthesizing the image I3 . A desired panoramic image can be generated by performing the above panorama synthesis processing on all the images used for generating the panoramic image.
<時間指定生成モード>
「時間指定生成モード」は、医師が注目領域を発見し、医師がパノラマ撮影を開始したい時刻にて開始の指示を与えると、パノラマ合成(画像の連結)を始め、医師が終了したい時刻にて終了の指示を与えると、画像の連結を終了するモードである。<Time Specified Generation Mode>
In the "Time Specified Generation Mode", when the doctor finds an area of interest and gives an instruction to start panorama imaging at the time the doctor wants to start panorama imaging, panorama synthesis (image linking) will begin, and at the time the doctor wants to finish. This is a mode in which when an end instruction is given, image connection is ended.
即ち、時間指定生成モードが設定された後、医師がパノラマ撮影(パノラマ合成)を開始したい時刻の指示を与えると、パノラマ画像生成部は、その後、取得した動画に基づいてパノラマ合成を開始し、医師が終了したい時刻の指示を与えると、パノラマ合成を終了する。尚、リアルタイムに動画からパノラマ画像を生成できない場合には、記憶部67に一時保持された動画を使用することができる。
That is, after the time-designated generation mode is set, when the doctor gives an instruction of the time at which he/she wants to start panorama imaging (panorama synthesis), the panorama image generation unit then starts panorama synthesis based on the acquired moving image, When the doctor gives an instruction of the desired ending time, the panorama synthesis is ended. If a panoramic image cannot be generated from moving images in real time, the moving images temporarily held in the
図6は、時間指定生成モードでのパノラマ画像の作成方法を概念的に示す図である。 FIG. 6 is a diagram conceptually showing a panorama image creation method in the time-designated generation mode.
図6において、フレームI1は、医師により指示されたパノラマ撮影の開始時刻のフレームを示し、フレームI5は、医師により指示されたパノラマ撮影の終了時刻のフレームを示す。In FIG. 6, frame I1 indicates the frame at the start time of panoramic imaging instructed by the doctor, and frame I5 indicates the frame at the end time of panoramic imaging instructed by the doctor.
パノラマ画像生成部は、フレームI1を含むパノラマ撮影の開始時刻のフレームから、終了時刻までに撮像された動画のフレーム群から、パノラマ合成に使用する複数のフレームI2,I3,I4、I5を抽出し、フレームI1を含む複数のフレームI1~I5に基づいてパノラマ画像200を生成する。尚、パノラマ画像200の生成は、領域指定生成モードでのパノラマ画像の生成と同様に行うことができる。The panorama image generator generates a plurality of frames I2 , I3 , I4 , I 5 is extracted and a
また、パノラマ画像生成部は、パノラマ画像の生成に使用する動画の各フレームの歪みを補正する歪み補正を行い、歪み補正した各フレームに基づいてパノラマ画像を生成することが好ましい。 Further, it is preferable that the panorama image generation unit performs distortion correction for correcting distortion of each frame of the moving image used for generating the panorama image, and generates the panorama image based on each frame subjected to the distortion correction.
近年の内視鏡スコープは広視野角を実現し、より広い範囲を撮像することが可能になってきている。しかし、広視野角にすることで、撮像される画像に歪みが発生する。行列Hは,平行四辺形や台形を任意の矩形に変換するため、直線性は保たれなければならない。しかし、画像の歪みによって直線性が保たれないため、精度よく行列Hが求められないことが考えられる。 2. Description of the Related Art Endoscopes in recent years have realized a wide viewing angle, making it possible to image a wider range. However, widening the viewing angle causes distortion in the captured image. The matrix H transforms parallelograms and trapezoids into arbitrary rectangles, so linearity must be preserved. However, since linearity is not maintained due to image distortion, it is conceivable that the matrix H cannot be obtained with high accuracy.
これを解決するために、パノラマ画像生成部は、行列Hを求める前の前処理として、パノラマ画像の生成に使用する動画の各フレームの歪み補正する。 In order to solve this problem, the panorama image generation unit corrects the distortion of each frame of the moving image used to generate the panorama image as preprocessing before obtaining the matrix H.
歪み補正は、以下の式によって画像Iの全画素位置を変換する。 Distortion correction transforms all pixel positions of image I by the following formula.
ここで、[数2]式中のk1,k2,k3,p1,p2は、歪み係数といい、カメラ固有の値である。歪み係数は拡大率によっても変化するため、各拡大率に応じた歪み係数を使用する。歪み補正は、マッチングの前に行ってもよいし、後に行ってもよい。Here, k 1 , k 2 , k 3 , p 1 , and p 2 in the formula (2) are referred to as distortion coefficients and are camera-specific values. Since the distortion coefficient changes depending on the enlargement ratio, a distortion coefficient corresponding to each enlargement ratio is used. Distortion correction may be performed before or after matching.
<マルチフレーム撮影モードでのパノラマ画像の生成>
次に、撮影モード設定部によりマルチフレーム撮影モードが設定された場合のパノラマ画像の生成方法について説明する。<Generation of panorama image in multi-frame shooting mode>
Next, a method of generating a panorama image when the multi-frame shooting mode is set by the shooting mode setting unit will be described.
マルチフレーム撮影モードが設定されると、光源装置12は、紫色光、青色光、緑色光、及び赤色光を含む白色光と、V-LED32a、B-LED32b、G-LED32c、及びR-LED32dの点灯が制御された1又は複数の特定の波長帯域の光(特殊光)とを交互に発光し、プロセッサ装置13は、内視鏡スコープ11から白色光下の画像(通常画像)と特殊光下の画像(特殊光画像)とを交互に取得する。
When the multi-frame shooting mode is set, the
パノラマ画像生成部(画像処理部65)は、パノラマ合成に使用する複数の通常画像に対応する複数の特殊光画像に基づいて、撮像領域が重複する特殊光画像間の複数組の特徴点(4組の対応点)を求め、[数1]式に示した行列Hを算出する。そして、パノラマ画像を生成する場合は、基準の通常画像に対して合成する通常画像を行列Hによって変換し、基準の通常画像に重畳することで合成画像(パノラマ画像)を生成する。 The panorama image generation unit (image processing unit 65) generates a plurality of sets of feature points (4 pairs of corresponding points) are obtained, and the matrix H shown in the formula [Equation 1] is calculated. When generating a panoramic image, a normal image to be combined with the reference normal image is transformed by the matrix H and superimposed on the reference normal image to generate a composite image (panorama image).
このように特殊光画像を使用してパノラマ合成用のパラメータ([数1]式に示した行列H)を求めるのは、特殊光画像は、被検体の構造(血管)等が見やすくした画像であり、通常画像に比べて多くの特徴点を抽出することができ、精度の高い行列Hを算出することができるからである。 The reason why the special light image is used to obtain the parameters for panorama synthesis (the matrix H shown in Equation 1) is that the special light image is an image in which the structure (blood vessels) of the subject is easy to see. This is because more feature points can be extracted than in a normal image, and the matrix H can be calculated with high accuracy.
一方、医者は、一般に通常画像により生体内のスクリーニング観察を行うため、表示制御部66は、マルチフレーム撮影モードでは通常画像を表示器14に表示させる。この場合、通常画像のフレームレートが半減するため、前後の通常画像間を補間して補間画像を生成し、通常画像のフレームレートが低減しないようにすることが好ましい。
On the other hand, since a doctor generally performs in-vivo screening observation using normal images, the
上記の例では、パノラマ画像生成部は、マルチフレーム撮影モードが設定された場合、常に特殊光画像を使用してパノラマ合成用のパラメータを求めるようにしているが、マルチフレーム撮影モードが設定された場合でも通常画像を使用してパノラマ合成用のパラメータを求め、通常画像では信頼性の高い複数組の対応点が検出できない場合に、特殊光画像を使用してパノラマ合成用のパラメータを求めるようにしてもよい。 In the above example, the panorama image generator always uses the special light image to obtain parameters for panorama synthesis when the multi-frame shooting mode is set. Even in such cases, normal images are used to obtain parameters for panorama synthesis, and when normal images cannot detect multiple sets of highly reliable corresponding points, special light images are used to obtain parameters for panorama synthesis. may
同様に、通常画像撮影モードが設定され、通常画像撮影モードで取得される通常画像では信頼性の高い複数組の対応点が検出できない場合には、撮影モード設定部は、通常画像撮影モードからマルチフレーム撮影モードに切り替え、特殊光画像を使用してパノラマ合成用のパラメータを算出することが好ましい。 Similarly, when the normal image shooting mode is set and it is not possible to detect a plurality of pairs of highly reliable corresponding points in the normal image acquired in the normal image shooting mode, the shooting mode setting unit selects multiple points from the normal image shooting mode. It is preferable to switch to the frame shooting mode and use the special light image to calculate parameters for panorama synthesis.
[動画及びパノラマ画像の表示方法]
前述したように表示制御部66は、図7に示すように表示用の通常画像100を表示器14に出力し、表示器14に通常画像100(動画)を表示させ、パノラマ撮影モードが設定され、画像処理部65のパノラマ画像生成部により生成されたパノラマ画像を入力すると、通常画像100とパノラマ画像200とを表示器14に表示させる。[How to display videos and panorama images]
As described above, the
また、表示制御部66は、図7に示すようにパノラマ画像200上に、現在の動画(通常画像100)と同じ領域を示す枠情報202を表示させる。
Further, the
表示制御部66は、動画の現在の通常画像100が、パノラマ画像200のどの領域に対応するかをテンプレートマッチングにより検出する。テンプレートマッチングは、現在の通常画像100(テンプレート画像)の画像サイズと回転量とを変えながら、テンプレート画像でパノラマ画像200を走査し、テンプレート画像がパノラマ画像200の一部の領域と合致した領域、又は最も一致度の高い領域を検出することで、通常画像100が、パノラマ画像200のどの領域に対応するかを検出する手法である。
The
表示制御部66は、パノラマ画像200上に、テンプレートマッチングにより検出した現在の通常画像100の領域と同じ領域を示す枠情報202を表示させる。医師は、パノラマ画像200上に表示された枠情報202により、パノラマ画像200のどの領域が現在撮像されているかを容易に把握することができる。
The
更に、表示制御部66は、図8に示すようにパノラマ画像200上の任意の位置204をマウスによりクリックすると(任意の位置が指定されると)、任意の位置204を含む撮像領域を内視鏡スコープ11で撮像するための内視鏡スコープ11の先端の移動すべき方向を示す矢印102を、現在の通常画像100上に表示させる。
Furthermore, when an
表示制御部66は、マウスによりパノラマ画像200上で任意の位置204がクリックされると、パノラマ画像200上の任意の位置204と現在の動画(枠情報202で示される通常画像100の領域)の中心位置との相対位置、及びパノラマ画像200と現在の通常画像100との相対角度を算出(取得)する。パノラマ画像200上の任意の位置204と現在の動画(通常画像の領域)の中心位置との相対位置、及びパノラマ画像200と現在の通常画像の領域との相対角度は、動画の現在の通常画像が、パノラマ画像200のどの領域に対応するかをテンプレートマッチングにより検出する際に、最もマッチングしたときの通常画像(テンプレート画像)の移動位置及びテンプレート画像の回転量を、それぞれ相対位置及び相対角度として取得することができる。
When an
表示制御部66は、取得した相対位置及び相対角度に基づいて任意の位置204を含む撮像領域を内視鏡スコープ11で撮像するための内視鏡スコープ11の先端の移動すべき方向を決定する。即ち、パノラマ画像200上の通常画像の領域の中心位置(相対位置)から見た任意の位置204の方向と、パノラマ画像200上の通常画像の領域の天地方向(パノラマ画像200に対する通常画像の相対角度に相当する撮像素子45の上下方向)との成す角度を、内視鏡スコープ11の先端の移動すべき方向として算出する。そして、表示制御部66は、算出した方向を示す矢印102を、通常画像100上に表示させる。
Based on the acquired relative position and relative angle, the
図8では、パノラマ画像200の生成時の基準の画像に対して現在の動画が回転していないため(内視鏡スコープ11の先端が基準の画像の撮像時から回転していないため)、パノラマ画像200上の通常画像の領域の中心位置から見た任意の位置204の方向と矢印102の方向とが一致している。
In FIG. 8, since the current moving image is not rotated with respect to the reference image when the
一方、図9に示すようにパノラマ画像200の生成時の基準の画像に対して現在の動画が回転している場合(例えば、時計回り方向に135度回転している場合)、同じ任意の位置204を含む撮像領域を内視鏡スコープ11で撮像する場合の、内視鏡スコープ11の先端の移動すべき方向は、図8に示した矢印102に対して反時計回り方向に135度回転した方向を示す矢印102が表示されることになる。
On the other hand, as shown in FIG. 9, when the current moving image is rotated with respect to the reference image when the
医師は、任意の位置をクリックしたときに通常画像100上に表示される矢印102の方向に内視鏡スコープ11の先端を移動させることで、指定した任意の位置を含む撮像領域を内視鏡スコープ11で撮像することができる。
By moving the tip of the
矢印102は、指定した任意の位置が内視鏡スコープ11で撮像されると、消去することが好ましい。また、矢印102は、通常画像100に重畳して表示せずに、通常画像100の表示領域外に表示させてもよい。
The
また、表示制御部66は、パノラマ画像生成部(画像処理部65)により生成されるリアルタイムの生成途中のパノラマ画像を取得することで、生成途中のリアルタイムのパノラマ画像を表示器14に表示させることができる。
Further, the
また、この場合、表示器14に表示された生成途中のパノラマ画像上で、任意の位置204を指定する場合と同様に、生成途中のパノラマ画像を拡張させる未撮像の拡張領域を、マウス(第2の指示部)で指定されると、表示制御部66は、内視鏡スコープ11の先端の移動方向を示す矢印(第3の情報)であって、拡張領域を含む撮像領域を内視鏡スコープ11で撮像するための内視鏡スコープの先端の移動すべき方向を示す矢印を、通常画像100上に表示することができる。
Further, in this case, similarly to the case of designating an
パノラマ画像生成部により生成途中のパノラマ画像を表示することで、生成途中のパノラマ画像に含まれない領域を確認することができ、また、パノラマ画像を拡張させたい未撮像の領域の画像を取得することができるように、内視鏡スコープ11の先端の移動すべき方向を誘導することができる。
By displaying the panorama image in the middle of generation by the panorama image generation unit, it is possible to check the area not included in the panorama image in the middle of generation, and to acquire the image of the uncaptured area in which the panorama image is to be expanded. The direction in which the distal end of the
[内視鏡画像表示方法]
次に、本発明に係る内視鏡画像表示方法の実施形態について、図10から図15に示したフローチャートを参照しながら説明する。[Endoscope image display method]
Next, an embodiment of an endoscopic image display method according to the present invention will be described with reference to flowcharts shown in FIGS. 10 to 15. FIG.
<内視鏡画像表示方法の主な流れ>
図10において、通常画像撮影モードが設定されている場合、内視鏡装置10により白色光により動画(通常画像)が撮像される(ステップS10)。<Main flow of endoscopic image display method>
In FIG. 10, when the normal image capturing mode is set, the
撮像された動画は、バッファメモリとして機能する記憶部67に一時的に記憶保持される(ステップS12)。
The captured moving image is temporarily stored in the
続いて、プロセッサ制御部61は、内視鏡操作部46又はプロセッサ操作部13aによりパノラマ撮影モードが設定されている否かを判別する(ステップS14)。パノラマ撮影モードが設定されていない場合には、表示制御部66は、通常画像を表示器14(モニタ)に表示させる(ステップS18)。
Subsequently, the
一方、パノラマ撮影モードが設定されている場合には、ステップS16に遷移し、ここでパノラマ画像が生成されているか否かを判別する。 On the other hand, if the panorama shooting mode is set, the process proceeds to step S16, where it is determined whether or not a panorama image has been generated.
パノラマ画像が生成されていない場合(「No」の場合)には、パノラマ画像生成部(画像処理部65)は、ステップS12の保持した動画、その後撮像される動画等を使用してパノラマ画像を生成する(ステップS20)。 If a panoramic image has not been generated (“No”), the panoramic image generation unit (image processing unit 65) generates a panoramic image using the moving image held in step S12, the moving image captured thereafter, and the like. Generate (step S20).
パノラマ画像が生成されている場合(「Yes」の場合)には、表示制御部66は、現在の通常画像及びパノラマ画像をモニタに表示させる(ステップS30)。
If a panoramic image has been generated (“Yes”), the
<パノラマ画像の生成方法(1)>
図11は、図10に示したステップS20に遷移した場合のパノラマ画像の生成方法の主な流れを示すフローチャートである。<How to generate a panorama image (1)>
FIG. 11 is a flow chart showing the main flow of the panorama image generation method when the process proceeds to step S20 shown in FIG.
図11において、プロセッサ制御部61は、領域指定生成モード設定部又は時間指定生成モード設定部により領域指定生成モード又は時間指定生成モードのいずれが設定されているかを判別する(ステップS21)。
In FIG. 11, the
領域指定生成モードが設定されている場合には、ステップS22に遷移し、ここで通常画像内の注目領域が指定されたか否か(例えば、マウスにより注目領域を含む任意の位置がマウスにより指定されたか否か)を判別する。注目領域が指定されたと判別されると、パノラマ画像生成部は、メモリ(記憶部67)に保持された動画から注目領域を含む画像群を抽出し(ステップS23)、抽出した画像群からパノラマ画像を生成する(ステップS40)。 If the region designation generation mode is set, the process transitions to step S22, where it is determined whether a region of interest in the normal image has been designated (for example, an arbitrary position including the region of interest has been designated with the mouse). or not). When it is determined that the attention area has been specified, the panorama image generation unit extracts an image group including the attention area from the moving image held in the memory (storage unit 67) (step S23), and creates a panorama image from the extracted image group. is generated (step S40).
一方、時間指定生成モードが設定されている場合には、ステップS24に遷移し、ここで動画の時間範囲(パノラマ画像の生成に使用する動画の開始時刻及び終了時刻)が指定されたか否かを判別する。動画の時間範囲が指定されると、動画から指定された開始時刻から終了時刻までの時間範囲内の画像群を抽出し(ステップS25)、抽出した画像群からパノラマ画像を生成する(ステップS40)。 On the other hand, if the time-designated generation mode is set, the process proceeds to step S24, where it is determined whether or not the time range of the moving image (the start time and end time of the moving image used to generate the panorama image) has been designated. discriminate. When the time range of the moving image is designated, the image group within the time range from the designated start time to the end time is extracted from the moving image (step S25), and a panorama image is generated from the extracted image group (step S40). .
この場合、開始時刻が指定されると、その時刻以降に撮像された動画の各フレームに基づいてパノラマ画像の生成を開始し、終了時刻が指定されると、パノラマ合成に使用する新たなフレームを取得せずにパノラマ画像の生成を終了させてもよいし、開始時刻から終了時刻までの時間範囲内の画像群がメモリに保持された後、メモリに保持された動画の各フレームに基づいてパノラマ画像を生成するようにしてもよい。 In this case, when the start time is specified, the generation of the panorama image is started based on each frame of the video captured after that time, and when the end time is specified, new frames to be used for panorama synthesis are generated. Alternatively, after a group of images within the time range from the start time to the end time are held in the memory, the panorama image is generated based on each frame of the moving image held in the memory. An image may be generated.
<パノラマ画像の生成方法(2)>
図12は、図11に示したステップS40に遷移した場合のパノラマ画像の生成方法の具体的なアルゴリズムを示すフローチャートである。<How to generate a panorama image (2)>
FIG. 12 is a flow chart showing a specific algorithm of a method of generating a panorama image when transitioning to step S40 shown in FIG.
図12において、パノラマ画像生成部は、パノラマ画像の生成に使用する通常画像の時系列順を示すパラメータをiとし、パノラマ画像の生成に使用する通常画像の総数をNとすると、まず、パラメータiを1に設定する(ステップS41)。 In FIG. 12, the panorama image generation unit first uses parameter i is set to 1 (step S41).
続いて、パノラマ画像生成部は、通常画像Iiと通常画像Ii+1の2つの画像間の特徴点を抽出し(ステップS42)、2つの画像間の重複領域における互いに対応する複数組の特徴点(本例では4組の対応点)を決定し、4組の対応点の座標から[数1]式の行列Hを求め、合成する通常画像Ii+1の全ての画素を行列Hによって変換(射影変換)し、合成画像(パノラマ画像Pi+1)を生成する(ステップS43)。Subsequently, the panorama image generator extracts feature points between the two images of the normal image Ii and the normal image Ii+1 (step S42), and sets a plurality of sets of feature points corresponding to each other in the overlap region between the two images. (in this example, four sets of corresponding points) are determined, the matrix H of the formula [Equation 1] is obtained from the coordinates of the four sets of corresponding points, and all pixels of the normal image Ii+1 to be synthesized are transformed (projected) by the matrix H. conversion) to generate a synthesized image (panoramic image P i+1 ) (step S43).
次に、パラメータiがN-1(画像合成する回数に相当する値)か否かを判別する(ステップS44)。全ての通常画像のパノラマ合成が終了していない場合(i≠N-1の場合)には、パラメータiを1だけインクリメントし(ステップS45)、ステップS42に遷移させ、全ての通常画像のパノラマ合成が終了した場合(i=N-1の場合)には、パノラマ画像の生成を終了させる。 Next, it is determined whether or not the parameter i is N-1 (a value corresponding to the number of times of image synthesis) (step S44). If panorama synthesis of all normal images has not been completed (if i≠N−1), parameter i is incremented by 1 (step S45), the process proceeds to step S42, and panorama synthesis of all normal images is performed. is finished (when i=N−1), the generation of the panoramic image is finished.
<通常画像とパノラマ画像の表示方法>
図13は、図11に示したステップS30に遷移した場合の通常画像とパノラマ画像の表示方法を示すフローチャートである。<How to display normal images and panorama images>
FIG. 13 is a flow chart showing a method of displaying a normal image and a panorama image when transitioning to step S30 shown in FIG.
図13において、表示制御部66は、画像処理部65から入力する通常画像とパノラマ画像とをモニタ(表示器14)に表示させる(ステップS31)。
In FIG. 13, the
続いて、現在の通常画像とパノラマ画像とをテンプレートマッチングし(ステップS31)、テンプレートマッチングの結果からパノラマ画像上の現在の通常画像の領域及びパノラマ画像に対する通常がぞう相対角度を検出(取得)する(ステップS33)。 Subsequently, the current normal image and the panoramic image are subjected to template matching (step S31), and from the result of template matching, the current normal image area on the panoramic image and the relative angle of the normal image to the panoramic image are detected (obtained) ( step S33).
続いて、表示制御部66は、テンプレートマッチングの結果からパノラマ画像上の現在の通常画像の領域を示す枠情報202をパノラマ画像200上に表示させる(ステップS34、図7参照)。
Subsequently, the
次に、表示制御部66は、パノラマ画像上の任意の位置が指定されたか否かを判別する(ステップS35)。例えば、図8に示すようにパノラマ画像200上の任意の位置204がマウスによりクリックされると、任意の位置204が指定されたと判別する。
Next, the
表示制御部66は、ステップS35においてパノラマ画像上の任意の位置が指定されたと判別すると(「Yes」の場合)、任意の位置を含む撮像領域を内視鏡スコープ11で撮像するためのスコープ先端の移動すべき方向を決定する(ステップS36)。尚、スコープ先端の移動すべき方向方は、パノラマ画像200上の任意の位置204の座標、パノラマ画像200上の現在の通常画像の領域の中心の座標、及びステップS33で取得したパノラマ画像200に対する通常画像100の相対角度から求めることができる。
When the
表示制御部66は、ステップS36で決定した方向を示す指標(矢印102)を、通常画像100上に表示させる(ステップS37、図8、図9の矢印102)。
The
<マルチフレーム撮影モード時のパノラマ画像の生成方法>
図14は、図10に示したステップS20に遷移した場合のパノラマ画像の生成方法の実施形態を示すフローチャートであり、特にマルチフレーム撮影モードが設定された場合に関して示している。<How to generate a panorama image in multi-frame shooting mode>
FIG. 14 is a flow chart showing an embodiment of a panorama image generation method in the case of transition to step S20 shown in FIG. 10, and particularly shows a case where the multi-frame shooting mode is set.
図14において、撮影モード設定部によりマルチフレーム撮影モードに切り替えられ、又はマルチフレーム撮影モードが設定されると(ステップS50)、光源装置12から白色光と特殊光とが交互に発光され、白色光下の画像(通常画像)と特殊光下の画像(特殊光画像)とが交互に撮像される(ステップS51)。
In FIG. 14, when the shooting mode setting unit switches to the multi-frame shooting mode or sets the multi-frame shooting mode (step S50), white light and special light are alternately emitted from the
続いて、パノラマ画像を生成するパノラマ撮影モードが設定され、マルチフレーム撮影モードにより撮像された通常画像と特殊光画像とメモリに一定期間保持されたか否かを判別する(ステップS52)。 Subsequently, a panorama photographing mode for generating a panorama image is set, and it is determined whether or not the normal image and the special light image photographed in the multi-frame photographing mode have been stored in the memory for a certain period of time (step S52).
パノラマ画像生成部は、メモリに一定期間の動画(通常画像及び特殊光画像)が記憶保持されると(「Yes」の場合)、パノラマ画像の生成に必要な通常画像群及び特殊光画像群と抽出する(ステップS53)。 When moving images (normal images and special light images) for a certain period of time are stored in the memory (if “Yes”), the panorama image generation unit generates the normal image group and the special light image group necessary for generating the panorama image. Extract (step S53).
パノラマ画像生成部は、パノラマ合成に使用する複数の通常画像に対応する複数の特殊光画像に基づいて、撮像領域が重複する特殊光画像間の複数組の特徴点(4組の対応点)を求め、パノラマ画像の生成用のパラメータ([数1]式に示した行列H)を算出する。そして、パノラマ画像を生成する場合は、基準の通常画像に対して合成する通常画像を行列Hによって射影変換し、基準の通常画像に重畳することで合成画像(パノラマ画像)を生成する(ステップS55)。 The panorama image generator generates a plurality of sets of feature points (four sets of corresponding points) between special light images having overlapping imaging areas based on a plurality of special light images corresponding to a plurality of normal images used for panorama synthesis. Then, the parameters for generating the panorama image (matrix H shown in Equation 1) are calculated. When generating a panoramic image, the normal image to be synthesized with the reference normal image is projectively transformed by the matrix H, and superimposed on the reference normal image to generate a synthesized image (panorama image) (step S55). ).
<通常画像撮影モードとマルチフレーム撮影モードとの切り替え>
図15は、通常画像撮影モードとマルチフレーム撮影モードと切り替えてパノラマ画像を生成する方法を示すフローチャートである。<Switching between normal image shooting mode and multi-frame shooting mode>
FIG. 15 is a flowchart showing a method of switching between normal image shooting mode and multi-frame shooting mode to generate a panorama image.
図15において、パノラマ画像生成部は、メモリに保持された動画からパノラマ画像の生成に使用する通常画像群を抽出する(ステップS60)。尚、マルチフレーム撮影モードで撮像された動画の場合、通常画像の動画と特殊光画像の動画のうちの通常画像の動画から通常画像群を抽出する。通常画像群の抽出は、領域指定生成モード又は時間指定生成モードに基づいて行うことができる。 In FIG. 15, the panorama image generation unit extracts a group of normal images used to generate a panorama image from the moving image held in the memory (step S60). In addition, in the case of the moving image captured in the multi-frame shooting mode, the normal image group is extracted from the moving image of the normal image out of the moving image of the normal image and the moving image of the special light image. Extraction of the normal image group can be performed based on the area-designated generation mode or the time-designated generation mode.
パノラマ画像生成部は、通常画像群のうちの重複領域を有する2つの通常画像間の特徴点を抽出する(ステップS61)。続いて、撮像領域が重複する通常画像間の複数組の特徴点(4組の対応点)が抽出(検出)されたか否かを判別する(ステップS62)。 The panorama image generation unit extracts feature points between two normal images having overlapping regions in the normal image group (step S61). Subsequently, it is determined whether or not a plurality of pairs of feature points (four pairs of corresponding points) have been extracted (detected) between normal images having overlapping imaging regions (step S62).
適切な4組の対応点が検出された場合(「Yes」の場合)、図11及び図12に示したように通常画像群を使用してパノラマ画像を生成する(ステップS63)。 If four appropriate pairs of corresponding points are detected ("Yes"), a panorama image is generated using the normal image group as shown in FIGS. 11 and 12 (step S63).
一方、適切な4組の対応点が検出されない場合(「No」の場合)、通常画像撮像モードからマルチフレーム撮影モードに切り替え(ステップS64)、その後、マルチフレーム撮影モードで撮像された動画から抽出した通常画像群と特殊光画像群とを使用し、図14に示したようにパノラマ画像を生成する(ステップS65)。 On the other hand, if four sets of appropriate corresponding points are not detected ("No"), the mode is switched from the normal image capturing mode to the multi-frame capturing mode (step S64), and then extracted from the moving image captured in the multi-frame capturing mode. A panorama image is generated as shown in FIG. 14 using the normal image group and the special light image group (step S65).
[内視鏡スコープの先端の移動方向の操作を支援する方法の他の実施形態]
図16及び図17は、それぞれ任意の位置を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動方向の操作を支援する第2の情報の他の表示例を示す図である。[Other Embodiments of Method for Supporting Operation in Moving Direction of Tip of Endoscope]
16 and 17 show other display examples of the second information for assisting the manipulation of the moving direction of the tip of the endoscope for imaging an imaging area including an arbitrary position with the endoscope. It is a diagram.
図8及び図9に示す実施形態では、表示制御部66は、パノラマ画像200上の任意の位置204をマウスによりクリックすると、任意の位置204を含む撮像領域を内視鏡スコープ11で撮像するための内視鏡スコープ11の先端の移動すべき方向を示す矢印102を、現在の通常画像100上に表示させている。
In the embodiment shown in FIGS. 8 and 9, when an
これに対し、図16及び図17に示す他の実施形態では、ユーザがパノラマ画像200上の任意の位置204を撮像する場合、任意の位置204をマウス等で指定することなく、任意の位置204を含む撮像領域を内視鏡スコープ11で撮像する際の、内視鏡スコープ11の先端の移動すべき方向を、ユーザが認識できる(認識を支援する)情報を表示する。
On the other hand, in other embodiments shown in FIGS. 16 and 17, when the user captures an
図16には、図8に示した通常画像100及びパノラマ画像200と同じ通常画像100及びパノラマ画像200が表示されている。
In FIG. 16, the same
図8では、任意の位置204を含む撮像領域を内視鏡スコープ11で撮像するための内視鏡スコープ11の先端の移動すべき方向を示す矢印102を、現在の動画である通常画像100上に表示させているが、図11では、パノラマ画像200に対するパノラマ画像200上の通常画像100の領域の相対角度を示す情報であって、パノラマ画像200に対する現在の動画の天地方向を示す情報(本例では、矢印210)を表示させている。
In FIG. 8, an
パノラマ画像200上の通常画像の領域の天地方向(パノラマ画像200に対する通常画像の相対角度に相当する撮像素子45の上下方向)は、現在の通常画像とパノラマ画像とのテンプレートマッチングにより検出(取得)することができる。
The vertical direction of the normal image area on the panoramic image 200 (vertical direction of the
図8に対応する図16では、パノラマ画像200の生成時の基準の画像に対して現在の動画が回転していないため(内視鏡スコープ11の先端が基準の画像の撮像時から回転していないため)、表示器14に表示された通常画像100と、パノラマ画像200内の通常画像100に対応する領域(枠情報202内の領域)とは相似形であり、かつ同じ方向を向いている。
In FIG. 16 corresponding to FIG. 8, the current moving image is not rotated with respect to the reference image when the
そして、表示制御部66は、パノラマ画像200内の通常画像100に対応する領域の天地方向を示す矢印210を、パノラマ画像200上(枠情報202の近傍)に表示させる。この矢印210の方向は、パノラマ画像200と現在の通常画像100との相対角度により決定することができる。
Then, the
図16に示す表示状態の場合、内視鏡スコープ11の先端を移動させて任意の位置204を含む領域を内視鏡スコープ11で撮像する場合の、内視鏡スコープ11の先端の移動方向は、矢印210の方向に対する任意の位置204により、スコープ先端の右上方向であることが分かる。これは、図8に示した通常画像100上に表示された矢印102が誘導する操作方向と一致する。
In the display state shown in FIG. 16, when the tip of the
一方、図9に対応する図17では、パノラマ画像200に対して現在の通常画像100が時計回り方向に135度回転しているため、パノラマ画像200内の通常画像100に対応する領域の天地方向を示す矢印210は、図17上で右下方向を示している。
On the other hand, in FIG. 17 corresponding to FIG. 9, since the current
したがって、図17に示す表示状態の場合、内視鏡スコープ11の先端を移動させて任意の位置204を含む領域を内視鏡スコープ11で撮像する場合の、内視鏡スコープ11の先端の移動方向は、矢印210の方向に対する任意の位置204により、スコープ先端の左方向であることが分かる。これは、図9に示した通常画像100上に表示された矢印102が誘導する操作方向と一致する。
Therefore, in the case of the display state shown in FIG. The direction is seen by
[その他]
本実施形態では、パノラマ画像上に現在の動画の撮影位置を示す第1の情報として、現在の動画の領域(パノラマ画像上の領域)を囲む枠情報として表示するようにしたが、これに限らず、パノラマ画像上で現在の動画の領域を認識させる情報であれば如何なるものでもよい。同様に、内視鏡スコープの先端の移動方向の操作を支援する第2の情報として、矢印を表示するようにしたが、方向を視認できるものであれば、如何なる指標であってもよい。[others]
In the present embodiment, frame information surrounding the area of the current moving image (area on the panoramic image) is displayed as the first information indicating the shooting position of the current moving image on the panoramic image. However, any information may be used as long as it allows the user to recognize the area of the current moving image on the panorama image. Similarly, the arrow is displayed as the second information for assisting the operation of moving the distal end of the endoscope, but any indicator may be used as long as the direction can be visually recognized.
また、本実施形態では、パノラマ画像の生成する場合に基準の画像に対して合成対象の画像を射影変換して画像合成するようにしたが、射影変換に限らず、アフィン変換、その他の幾何変換を行って画像合成するようにしてもよい。 Further, in the present embodiment, when generating a panoramic image, an image to be synthesized is projectively transformed with respect to a reference image, and image synthesis is performed. may be performed to synthesize images.
また、内視鏡スコープ11により得られた画像信号に基づいて表示用又は記録用の通常画像及び/又は特殊光画像の画像データを生成する機能、光源装置12を制御する機能の他に、本発明に係る時系列の通常画像からパノラマ画像を生成する機能、通常画像とパノラマ画像とを表示器14に表示させる機能等を有するプロセッサ装置13のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の制御部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
In addition to the function of generating image data of a normal image and/or special light image for display or recording based on the image signal obtained by the
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の制御部を1つのプロセッサで構成してもよい。複数の制御部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の制御部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。 One processing unit may be composed of one of these various processors, or composed of two or more processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA). may Also, a plurality of control units may be configured by one processor. As an example of configuring a plurality of control units with a single processor, first, as represented by a computer such as a client or a server, a single processor is configured by combining one or more CPUs and software. There is a form in which a processor functions as multiple controllers. Secondly, as typified by System On Chip (SoC), etc., there is a form of using a processor that realizes the functions of the entire system including multiple control units with a single IC (Integrated Circuit) chip. be. In this way, various control units are configured using one or more of the above various processors as a hardware structure.
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。 Furthermore, the present invention is not limited to the embodiments described above, and it goes without saying that various modifications are possible without departing from the spirit of the present invention.
10 内視鏡装置
11 内視鏡スコープ
12 光源装置
12a 光源操作部
13 プロセッサ装置
13a プロセッサ操作部
14 表示器
16 挿入部
16a 挿入部先端部
16b 湾曲部
16c 可撓管部
17 手元操作部
18 ユニバーサルコード
21 アングルノブ
22 操作ボタン
23 鉗子入口
25a コネクタ部
25b コネクタ部
31 光源制御部
32 光源ユニット
32a V-LED
32b B-LED
32c G-LED
32d R-LED
40 ライトガイド
42 照明レンズ
44 対物レンズ
45 撮像素子
46 内視鏡操作部
47 内視鏡制御部
48、62 ROM
61 プロセッサ制御部
65 画像処理部
66 表示制御部
67 記憶部
100 通常画像
102、210 矢印
200 パノラマ画像
202 枠情報
H 行列
S10~S65 ステップ10
32b B-LED
32c G-LED
32d R-LED
40
61
Claims (14)
前記内視鏡スコープにより撮像される動画及び前記生成されたパノラマ画像を表示器に表示させる表示制御部と、
前記表示器に表示された前記パノラマ画像上で任意の位置を指定する第1の指示部と、を備え、
前記表示制御部は、
前記表示器に表示されたパノラマ画像上に、前記表示器に表示された現在の動画の撮影位置を示す第1の情報を表示させ、
かつ前記パノラマ画像上の任意の位置に対して、前記任意の位置を含む撮像領域を前記内視鏡スコープで撮像するための前記内視鏡スコープの先端の移動方向の操作を支援する第2の情報を表示させ、
前記表示制御部は、前記第1の指示部により前記パノラマ画像上で前記任意の位置が指定されると、前記パノラマ画像上の前記任意の位置と前記現在の動画の中心位置との相対位置、及び前記パノラマ画像と前記現在の動画との相対角度を算出し、前記算出した前記相対位置及び前記相対角度に基づいて前記任意の位置を含む撮像領域を前記内視鏡スコープで撮像するための前記内視鏡スコープの先端の移動すべき方向を決定し、前記決定した方向を示す指標を前記第2の情報として前記表示器に表示された現在の動画上に表示させる内視鏡装置。 a panorama image generation unit that generates a panorama image based on a moving image captured by an endoscope;
a display control unit for displaying a moving image captured by the endoscope and the generated panoramic image on a display;
a first indicator that specifies an arbitrary position on the panoramic image displayed on the display;
The display control unit
displaying on the panorama image displayed on the display device first information indicating the current shooting position of the moving image displayed on the display device;
and a second method for supporting an operation in a moving direction of a distal end of the endoscope for capturing an image of an imaging region including the arbitrary position on the panoramic image with the endoscope. display information,
When the arbitrary position on the panorama image is designated by the first instruction unit, the display control unit is configured to provide a relative position between the arbitrary position on the panorama image and the center position of the current moving image , and calculating a relative angle between the panoramic image and the current moving image , and imaging an imaging region including the arbitrary position with the endoscope based on the calculated relative position and the relative angle. An endoscope apparatus that determines a direction in which a tip of an endoscope should move, and displays an index indicating the determined direction as the second information on a current moving image displayed on the display.
前記内視鏡スコープにより撮像される動画及び前記生成されたパノラマ画像を表示器に表示させる表示制御部と、を備え、
前記表示制御部は、
前記表示器に表示されたパノラマ画像上に、前記表示器に表示された現在の動画の撮影位置を示す第1の情報を表示させ、
かつ前記パノラマ画像上の任意の位置に対して、前記任意の位置を含む撮像領域を前記内視鏡スコープで撮像するための前記内視鏡スコープの先端の移動方向の操作を支援する第2の情報を表示させ、
前記表示制御部は、前記パノラマ画像と前記現在の動画との相対角度を算出し、前記算出した前記相対角度に基づいて前記パノラマ画像に対する前記現在の動画の天地方向を示す情報を、前記第2の情報として前記表示器に表示されたパノラマ画像上に表示させる内視鏡装置。 a panorama image generation unit that generates a panorama image based on a moving image captured by an endoscope;
a display control unit that displays a moving image captured by the endoscope and the generated panoramic image on a display;
The display control unit
displaying on the panorama image displayed on the display device first information indicating the current shooting position of the moving image displayed on the display device;
and a second method for supporting an operation in a moving direction of a distal end of the endoscope for capturing an image of an imaging region including the arbitrary position on the panoramic image with the endoscope. display information,
The display control unit calculates a relative angle between the panoramic image and the current moving image , and transmits information indicating the vertical direction of the current moving image with respect to the panoramic image based on the calculated relative angle . An endoscope apparatus for displaying second information on the panoramic image displayed on the display .
前記パノラマ画像生成部は、前記領域指定生成モードが設定されると、前記動画を構成するフレームのうちの前記領域指定生成モードで指定された注目領域が含まれる複数フレームに基づいてパノラマ画像を生成する請求項1から3のいずれか1項に記載の内視鏡装置。 an area designation generation mode setting unit for setting an area designation generation mode for designating an attention area of the moving image;
When the region designation generation mode is set, the panorama image generation unit generates a panorama image based on a plurality of frames including the attention region designated in the region designation generation mode among the frames constituting the moving image. The endoscope apparatus according to any one of claims 1 to 3 .
前記パノラマ画像生成部は、前記時間指定生成モードが設定されると、前記動画を構成するフレームのうちの前記時間指定生成モードで指定された時間範囲内の複数フレームに基づいてパノラマ画像を生成する請求項1から3のいずれか1項に記載の内視鏡装置。 A time-designated generation mode setting unit that sets a time-designated generation mode that indicates the time range of the moving image,
When the time-specified generation mode is set, the panorama image generation unit generates a panorama image based on a plurality of frames within the time range designated in the time-designated generation mode among the frames constituting the moving image. The endoscope apparatus according to any one of claims 1 to 3 .
前記表示制御部は、前記第2の指示部により前記拡張領域が指定されると、前記内視鏡スコープの先端の移動方向を示す第3の情報であって、前記拡張領域を含む撮像領域を前記内視鏡スコープで撮像するための前記内視鏡スコープの先端の移動すべき方向を示す第3の情報を、前記表示器に表示された現在の動画上に表示させる請求項6に記載の内視鏡装置。 a second instruction unit for designating an uncaptured expansion area for expanding the panorama image in the middle of generation on the panorama image in the middle of generation displayed on the display;
When the extension area is specified by the second instruction unit, the display control unit specifies an imaging area including the extension area, which is third information indicating a movement direction of the distal end of the endoscope. 7. The method according to claim 6 , wherein third information indicating a direction in which the tip of the endoscope should move for imaging by the endoscope is displayed on the current moving image displayed on the display. endoscopic device.
前記パノラマ画像生成部は、前記マルチフレーム撮影モードに切り替えられると、前記マルチフレーム撮影モードにより撮像された複数の特殊光画像から撮像領域が重複する特殊光画像間の複数組の特徴点を抽出し、前記抽出した複数組の特徴点に基づいて前記複数の特殊光画像と同領域を撮像した複数の通常画像間の調整を行って前記パノラマ画像を生成する請求項1から7のいずれか1項に記載の内視鏡装置。 Equipped with a shooting mode setting unit that switches between a normal image shooting mode that acquires a normal image corresponding to white light and a multi-frame shooting mode that alternately acquires a normal image corresponding to white light and a special light image corresponding to special light. ,
When switched to the multi-frame imaging mode, the panorama image generation unit extracts a plurality of sets of feature points between special light images having overlapping imaging areas from a plurality of special light images captured in the multi-frame imaging mode. 8. The panorama image is generated by performing adjustment between the plurality of special light images and a plurality of normal images obtained by imaging the same region based on the plurality of sets of extracted feature points. The endoscope device according to .
前記パノラマ画像生成部は、前記パノラマ撮影モードが設定されると、前記パノラマ撮影モードが設定された時点を基準にして、前記パノラマ撮影モードの設定時点の以後に前記内視鏡スコープにより撮像される動画、前記パノラマ撮影モードの設定時点の以前に前記内視鏡スコープにより撮像される動画、又は前記パノラマ撮影モードの設定時点の前後に前記内視鏡スコープにより撮像される動画に基づいて前記パノラマ画像を生成する請求項1から9のいずれか1項に記載の内視鏡装置。 A panorama shooting mode setting unit for setting a panorama shooting mode for generating the panorama image,
When the panorama imaging mode is set, the panorama image generation unit captures an image with the endoscope after the panorama imaging mode is set, with reference to the time when the panorama imaging mode is set. The panoramic image based on a moving image, a moving image captured by the endoscope before the panoramic imaging mode is set, or a moving image captured by the endoscope before and after the panoramic imaging mode is set. 10. The endoscope apparatus according to any one of claims 1 to 9 , which generates
前記パノラマ画像生成部が、内視鏡スコープにより撮像される動画に基づいてパノラマ画像を生成するステップと、
前記表示制御部が、前記内視鏡スコープにより撮像される動画及び前記生成されたパノラマ画像を前記表示器に表示させるステップと、
前記表示制御部が、前記表示器に表示されたパノラマ画像上に、前記表示器に表示された現在の動画の撮影位置を示す第1の情報を表示させるステップと、
前記表示制御部が、前記第1の指示部により前記表示器に表示された前記パノラマ画像上の前記任意の位置が指定されたか否かを判別するステップと、
前記表示制御部が、前記パノラマ画像上の前記任意の位置に対して、前記任意の位置を含む撮像領域を前記内視鏡スコープで撮像するための前記内視鏡スコープの先端の移動方向の操作を支援する第2の情報を表示させるステップと、を含み、
前記第2の情報を表示させるステップは、前記第1の指示部により前記パノラマ画像上の前記任意の位置が指定されたと判別すると、前記パノラマ画像上の前記任意の位置と前記現在の動画の中心位置との相対位置、及び前記パノラマ画像と前記現在の動画との相対角度を算出し、前記算出した前記相対位置及び前記相対角度に基づいて前記任意の位置を含む撮像領域を前記内視鏡スコープで撮像するための前記内視鏡スコープの先端の移動すべき方向を決定し、前記決定した方向を示す指標を前記第2の情報として前記表示器に表示された現在の動画上に表示させる内視鏡装置の作動方法。 A method of operating an endoscope apparatus comprising a panoramic image generator, a display controller, and a first instruction unit for designating an arbitrary position on a panoramic image displayed on a display, comprising:
a step in which the panoramic image generation unit generates a panoramic image based on a moving image captured by an endoscope;
a step in which the display control unit displays a moving image captured by the endoscope and the generated panoramic image on the display ;
a step in which the display control unit displays, on the panorama image displayed on the display, first information indicating a current shooting position of the moving image displayed on the display;
a step in which the display control unit determines whether or not the arbitrary position on the panoramic image displayed on the display is specified by the first instruction unit ;
The display control unit controls the moving direction of the tip of the endoscope for imaging an imaging region including the arbitrary position on the panoramic image with the endoscope. and displaying second information to assist the operation;
In the step of displaying the second information, when it is determined that the arbitrary position on the panoramic image is designated by the first instruction unit, the arbitrary position on the panoramic image and the current moving image are displayed. calculating a relative position with respect to a center position and a relative angle between the panoramic image and the current moving image, and determining an imaging region including the arbitrary position based on the calculated relative position and the relative angle; A direction in which the tip of the endoscope should move for imaging with the scope is determined, and an index indicating the determined direction is displayed as the second information on the current moving image displayed on the display. A method of operating an endoscopic device .
表示制御部が、前記内視鏡スコープにより撮像される動画及び前記生成されたパノラマ画像を表示器に表示させるステップと、
前記表示制御部が、前記表示器に表示されたパノラマ画像上に、前記表示器に表示された現在の動画の撮影位置を示す第1の情報を表示させるステップと、
前記表示制御部が、前記パノラマ画像上の任意の位置に対して、前記任意の位置を含む撮像領域を前記内視鏡スコープで撮像するための前記内視鏡スコープの先端の移動方向の操作を支援する第2の情報を表示させるステップと、を含み、
前記第2の情報を表示させるステップは、前記パノラマ画像と前記現在の動画との相対角度を算出し、前記算出した前記相対角度に基づいて前記パノラマ画像に対する前記現在の動画の天地方向を示す情報を、前記第2の情報として前記表示器に表示されたパノラマ画像上に表示させる内視鏡画像表示方法。 a panoramic image generation unit generating a panoramic image based on a moving image captured by an endoscope;
a step in which a display control unit displays a moving image captured by the endoscope and the generated panoramic image on a display;
a step in which the display control unit displays, on the panorama image displayed on the display, first information indicating a current shooting position of the moving image displayed on the display;
The display control unit controls a movement direction of a distal end of the endoscope for imaging an imaging region including the arbitrary position on the panoramic image with the endoscope. and causing the supporting second information to be displayed;
The step of displaying the second information includes calculating a relative angle between the panoramic image and the current moving image , and indicating the vertical direction of the current moving image with respect to the panoramic image based on the calculated relative angle. An endoscopic image display method for displaying information as the second information on a panoramic image displayed on the display .
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018079171 | 2018-04-17 | ||
JP2018079171 | 2018-04-17 | ||
PCT/JP2019/014956 WO2019203006A1 (en) | 2018-04-17 | 2019-04-04 | Endoscope device, endoscope processor device, and endoscope image display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019203006A1 JPWO2019203006A1 (en) | 2021-05-13 |
JP7179837B2 true JP7179837B2 (en) | 2022-11-29 |
Family
ID=68239561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020514073A Active JP7179837B2 (en) | 2018-04-17 | 2019-04-04 | Endoscope device, endoscope image display method, and operation method of endoscope device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7179837B2 (en) |
WO (1) | WO2019203006A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021117136A1 (en) * | 2019-12-10 | 2021-06-17 | オリンパス株式会社 | Imaging system and endoscope system |
CN113014871B (en) * | 2021-02-20 | 2023-11-10 | 青岛小鸟看看科技有限公司 | Endoscopic image display method and device and endoscopic surgery auxiliary system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040210105A1 (en) | 2003-04-21 | 2004-10-21 | Hale Eric Lawrence | Method for capturing and displaying endoscopic maps |
WO2010111090A1 (en) | 2009-03-26 | 2010-09-30 | Intuitive Surgical Operations, Inc. | System for providing visual guidance for steering a tip of an endoscopic device towards one or more landmarks and assisting an operator in endoscopic navigation |
JP2017534322A (en) | 2014-09-17 | 2017-11-24 | タリス バイオメディカル エルエルシー | Diagnostic mapping method and system for bladder |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007077768A1 (en) * | 2005-12-28 | 2007-07-12 | Olympus Medical Systems Corp. | System for observing inside of subject and method of observing inside of subject |
JP2011010841A (en) * | 2009-07-01 | 2011-01-20 | Hoya Corp | Endoscopic device |
JP5846841B2 (en) * | 2011-10-14 | 2016-01-20 | 株式会社東芝 | Medical image display device |
JP6323183B2 (en) * | 2014-06-04 | 2018-05-16 | ソニー株式会社 | Image processing apparatus and image processing method |
JP6485694B2 (en) * | 2015-03-26 | 2019-03-20 | ソニー株式会社 | Information processing apparatus and method |
JP6128664B2 (en) * | 2015-10-28 | 2017-05-17 | 国立大学法人 千葉大学 | Panorama image creation program |
-
2019
- 2019-04-04 WO PCT/JP2019/014956 patent/WO2019203006A1/en active Application Filing
- 2019-04-04 JP JP2020514073A patent/JP7179837B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040210105A1 (en) | 2003-04-21 | 2004-10-21 | Hale Eric Lawrence | Method for capturing and displaying endoscopic maps |
WO2010111090A1 (en) | 2009-03-26 | 2010-09-30 | Intuitive Surgical Operations, Inc. | System for providing visual guidance for steering a tip of an endoscopic device towards one or more landmarks and assisting an operator in endoscopic navigation |
JP2017534322A (en) | 2014-09-17 | 2017-11-24 | タリス バイオメディカル エルエルシー | Diagnostic mapping method and system for bladder |
Also Published As
Publication number | Publication date |
---|---|
WO2019203006A1 (en) | 2019-10-24 |
JPWO2019203006A1 (en) | 2021-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5855358B2 (en) | Endoscope apparatus and method for operating endoscope apparatus | |
JP5562808B2 (en) | Endoscope apparatus and program | |
JP5684033B2 (en) | IMAGING DEVICE AND ENDOSCOPE DEVICE OPERATION METHOD | |
US20150272422A1 (en) | Endoscope system, processor device, and method for operating endoscope system | |
CN107113405B (en) | Image processing apparatus, the working method of image processing apparatus, recording medium and endoscope apparatus | |
JPH067289A (en) | Endoscopic image processor | |
JP6150554B2 (en) | Image processing apparatus, endoscope apparatus, operation method of image processing apparatus, and image processing program | |
JP7095693B2 (en) | Medical observation system | |
US20190289235A1 (en) | Imaging element, imaging apparatus, and electronic equipment | |
JP7179837B2 (en) | Endoscope device, endoscope image display method, and operation method of endoscope device | |
JP6150555B2 (en) | Endoscope apparatus, operation method of endoscope apparatus, and image processing program | |
WO2019031000A1 (en) | Signal processing device, image capturing device, signal processing method, and program | |
JP2010220794A (en) | Device, method, and program for rotating endoscope image | |
JP6352673B2 (en) | Endoscope apparatus and operation method of endoscope apparatus | |
US9323978B2 (en) | Image processing device, endoscope apparatus, and image processing method | |
WO2022191058A1 (en) | Endoscopic image processing device, method, and program | |
WO2015194204A1 (en) | Endoscope device | |
JP7456385B2 (en) | Image processing device, image processing method, and program | |
JP2012055412A (en) | Image processor, endoscope apparatus, image processing method, and program | |
JP2933161B2 (en) | Endoscope device | |
JP7411515B2 (en) | Endoscope system and its operating method | |
CN111989026B (en) | Endoscope device, method for operating endoscope device, and recording medium | |
JPH05285102A (en) | Endoscope system | |
CN116402711A (en) | Image processing method, device and computer readable storage medium | |
CN115670358A (en) | Endoscope system and method for operating same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211008 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220203 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220705 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220705 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220713 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7179837 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |