JP5513343B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP5513343B2
JP5513343B2 JP2010237511A JP2010237511A JP5513343B2 JP 5513343 B2 JP5513343 B2 JP 5513343B2 JP 2010237511 A JP2010237511 A JP 2010237511A JP 2010237511 A JP2010237511 A JP 2010237511A JP 5513343 B2 JP5513343 B2 JP 5513343B2
Authority
JP
Japan
Prior art keywords
image
unit
light emitting
light
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010237511A
Other languages
Japanese (ja)
Other versions
JP2012088278A5 (en
JP2012088278A (en
Inventor
英一 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010237511A priority Critical patent/JP5513343B2/en
Publication of JP2012088278A publication Critical patent/JP2012088278A/en
Publication of JP2012088278A5 publication Critical patent/JP2012088278A5/ja
Application granted granted Critical
Publication of JP5513343B2 publication Critical patent/JP5513343B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、狭い空間内に挿入されて画像を取得する撮像装置に関する。   The present invention relates to an imaging device that is inserted into a narrow space and acquires an image.

従来、配管（測定対象物）などのような狭い空間内に小径の挿入部を挿入して、管路内部の画像を取得する様々な撮像装置が用いられている。
この撮像装置の一つとして内視鏡装置が知られている。内視鏡装置は、配管の管路の傷、腐食を観察・計測することを主な目的としているので、配管の管路の局所的な画像を取得することが多い。そのため、一つの画像が他の画像とどのような位置関係にあるのか、この画像は管路全体のどの部位の画像なのか、などを内視鏡装置の使用者が推測していた。 2. Description of the Related Art Conventionally, various imaging apparatuses that acquire an image inside a pipeline by inserting a small diameter insertion portion into a narrow space such as a pipe (measuring object) have been used.
An endoscope apparatus is known as one of the imaging apparatuses. Endoscope devices are mainly intended for observing and measuring damage and corrosion of piping pipelines, and thus often acquire local images of piping pipelines. For this reason, the user of the endoscope apparatus has presumed what positional relationship one image has with other images, and what part of the entire conduit is the image.

測定対象物の長さ方向に垂直な断面形状が比較的一定であるトンネルの内部を観察する撮像装置として、特許文献１のような変状調査システムが開示されている。
この変状調査システムは、搬送台車と、搬送台車上で搬送台車の進行方向（トンネル孔軸方向）回りに回動可能に支持されたＣＣＤカメラとを備えている。搬送台車のトンネル孔軸方向の位置を固定した状態で、ＣＣＤカメラを軸回りに回転させながらトンネルの内面の画像を撮影する。撮影した画像同士を、一部を重ね合わせるようにして合成する。
ＣＣＤカメラの光軸とトンネルの内面である撮影面とが常に垂直になっているとは限らないので、そのままでは画像同士を合成することができない。そこで、変状調査システムでは、ＣＣＤカメラの撮影位置に加えて、撮影面の位置と傾き情報を正確に測定できるようになっており、これらの情報をもとに複数の画像を同一縮尺で同一スケールとする幾何学的画像補正を行い、画像同士を合成して、トンネル内面の検査画像を構築している。
また、トンネル内面を帯状に撮影することと、搬送台車をトンネル孔軸方向に移動させることを交互に繰り返すことで、トンネル内面を全体にわたり撮影する。よって、トンネル内面の画像は基本的に、トンネルの入り口側から出口側まで順に取得され、保存されることになる。 As an imaging apparatus for observing the inside of a tunnel in which a cross-sectional shape perpendicular to the length direction of a measurement object is relatively constant, a deformation investigation system as disclosed in Patent Document 1 is disclosed.
This deformation investigation system includes a conveyance carriage and a CCD camera supported on the conveyance carriage so as to be rotatable about the traveling direction of the conveyance carriage (tunnel hole axis direction). An image of the inner surface of the tunnel is taken while the CCD camera is rotated around the axis while the position of the transport carriage in the axial direction of the tunnel hole is fixed. The captured images are combined so that a part of them is overlapped.
Since the optical axis of the CCD camera and the photographing surface, which is the inner surface of the tunnel, are not always perpendicular to each other, the images cannot be synthesized as they are. Therefore, in the deformation investigation system, it is possible to accurately measure the position and tilt information of the photographing surface in addition to the photographing position of the CCD camera, and based on this information, a plurality of images are the same at the same scale. A geometric image correction is performed on the scale, and the images are combined to construct an inspection image of the tunnel inner surface.
In addition, the entire tunnel inner surface is imaged by alternately repeating photographing the inner surface of the tunnel in a strip shape and moving the transport carriage in the direction of the tunnel hole axis. Therefore, the image of the inner surface of the tunnel is basically acquired and stored in order from the entrance side to the exit side of the tunnel.

特開２００３−１８５５８９号公報JP 2003-185589 A

しかしながら、たとえば工業用の内視鏡装置などの撮像装置を使った検査では、特許文献１に記載された変状調査システムとは異なり、たとえば、地下空洞や被災地の瓦礫下などのように、測定対象物の長さ方向に垂直な断面形状が様々に変化する場合がある。
一般的に、地下空洞などの内部形状は不明確であるとともに、内面には数多くの凹凸が形成されているため、特許文献１に開示された幾何学的画像補正を行いやすいような画像を得ることは難しい。
さらに、内部形状が複雑であるほど、長手方向に順を追って内部形状の画像を取得することが困難になり、既に取得した画像を取得した位置が分かりにくくなる。 However, for example, in an inspection using an imaging apparatus such as an industrial endoscope apparatus, unlike the deformation investigation system described in Patent Document 1, for example, in an underground cavity or under a rubble in a disaster area, The cross-sectional shape perpendicular to the length direction of the measurement object may change variously.
In general, the internal shape of an underground cavity or the like is unclear, and since many irregularities are formed on the inner surface, an image that facilitates the geometric image correction disclosed in Patent Document 1 is obtained. It ’s difficult.
Furthermore, the more complicated the internal shape, the more difficult it becomes to acquire an image of the internal shape in order in the longitudinal direction, and the position where the acquired image has already been acquired becomes difficult to understand.

本発明は、このような問題点に鑑みてなされたものであって、測定対象物の内部が狭く内部形状が複雑であっても、内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向から観察し直すことが容易な撮像装置を提供することを目的とする。   The present invention has been made in view of such problems, and even when the inside of the measurement object is narrow and the internal shape is complicated, while acquiring the internal image while measuring the internal shape as a whole, An object of the present invention is to provide an imaging device that makes it easy to re-observe an acquired image from a desired line-of-sight direction.

上記課題を解決するために、この発明は以下の手段を提案している。
本発明の撮像装置は、可視光線を検出し、検出した前記可視光線から画像を取得する撮像素子と、測定対象物の被照射領域に可視光線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する可視光線の明るさおよび色彩の少なくとも一つを前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの可視光線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、前記画像を表示する表示部と、前記発光部の位置を測定する位置測定部と、前記発光部が可視光線を照射する向きを測定する姿勢測定部と、前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、前記撮像素子、前記発光部および前記受光部が先端側に配置された挿入部と、前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、視線方向を入力するための方向入力部と、仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、を備えることを特徴としている。
In order to solve the above problems, the present invention proposes the following means.
The imaging device of the present invention detects visible light, acquires an image from the detected visible light, and irradiates the irradiated area of the measurement object with visible light, and applies the visible light to the irradiated area in the measurement object. A light emitting unit that distinguishes at least one of brightness and color of visible light reflected by the irradiated region with respect to an adjacent portion so as to be distinguishable by the image, and light reception for detecting visible light from a predetermined light receiving direction A measuring unit that measures a distance from the light emitting unit to the irradiated region, a display unit that displays the image, a position measuring unit that measures the position of the light emitting unit, and the light emitting unit is visible. A posture measuring unit that measures the direction of irradiating light, a position and direction of the light emitting unit, and a region shape that calculates the position and orientation of the irradiated region based on the distance from the light emitting unit to the irradiated region A calculation unit, and an image extraction unit that creates an extracted image by extracting an area containing the irradiated region from the image, the imaging element, and inserted join the club said light emitting portion and said light receiving portion is disposed distally A storage unit that stores the extracted image in association with the position and the direction calculated by the region state calculation unit, a direction input unit for inputting a gaze direction, and the position and the direction in a virtual space. And an image processing unit that creates an entire line-of-sight conversion image obtained by converting the extracted image arranged based on the line-of-sight based on the line-of-sight direction and displays the image on the display unit.

また、本発明の他の撮像装置は、可視光線および赤外線を検出し、検出した前記可視光線および赤外線から画像を取得する撮像素子と、測定対象物の被照射領域に赤外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する赤外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの赤外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、前記画像を表示する表示部と、前記発光部の位置を測定する位置測定部と、前記発光部が赤外線を照射する向きを測定する姿勢測定部と、前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、前記撮像素子、前記発光部および前記受光部が先端側に配置された挿入部と、前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、視線方向を入力するための方向入力部と、仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、を備えることを特徴としている。
In addition, another imaging device of the present invention detects visible light and infrared light, acquires an image from the detected visible light and infrared light, and irradiates the irradiated area of the measurement object with infrared light to measure the measurement object. A light emitting unit for distinguishing the intensity of infrared rays reflected by the irradiated region from a portion of the object adjacent to the irradiated region, and a light receiving unit for detecting infrared rays from a predetermined light receiving direction. A measuring unit that measures the distance from the light emitting unit to the irradiated region, a display unit that displays the image, a position measuring unit that measures the position of the light emitting unit, and the light emitting unit that emits infrared rays. An orientation measuring unit that measures the orientation to be performed, a position and direction of the light emitting unit, and a region state that calculates the position and orientation of the irradiated region based on a distance from the light emitting unit to the irradiated region A detection section, an image clipping unit to create an extraction image by extracting an area containing the irradiated region from the image, the imaging element, and inserted join the club said light emitting portion and said light receiving portion is disposed distally A storage unit that stores the extracted image in association with the position and the direction calculated by the region state calculation unit, a direction input unit for inputting a gaze direction, and the position and the direction in a virtual space. And an image processing unit that creates an entire line-of-sight conversion image obtained by converting the extracted image arranged based on the line-of-sight based on the line-of-sight direction and displays the image on the display unit.

また、本発明の別の他の撮像装置は、可視光線および紫外線を検出し、検出した前記可視光線および紫外線から画像を取得する撮像素子と、測定対象物の被照射領域に紫外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する紫外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの紫外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、前記画像を表示する表示部と、前記発光部の位置を測定する位置測定部と、前記発光部が紫外線を照射する向きを測定する姿勢測定部と、前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、前記撮像素子、前記発光部および前記受光部が先端側に配置された挿入部と、前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、視線方向を入力するための方向入力部と、仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、を備えることを特徴としている。 Further, another imaging device of the present invention detects visible light and ultraviolet light, acquires an image from the detected visible light and ultraviolet light, and irradiates the irradiated region of the measurement object with ultraviolet light. A light emitting unit for distinguishing the intensity of ultraviolet rays reflected by the irradiated region with respect to a portion adjacent to the irradiated region in a measurement object, and a light receiving unit that detects ultraviolet rays from a predetermined light receiving direction. A measuring unit that measures the distance from the light emitting unit to the irradiated region, a display unit that displays the image, a position measuring unit that measures the position of the light emitting unit, and the light emitting unit is an ultraviolet ray A position measurement unit that measures the direction of irradiation, a position and direction of the light emitting unit, and a region that calculates the position and orientation of the irradiated region based on the distance from the light emitting unit to the irradiated region A state calculation unit, and an image extraction unit that creates an extracted image by extracting an area containing the irradiated region from the image, the imaging device, inserted join the club of the light emitting portion and the light receiving portion is disposed distally A storage unit that stores the extracted image in association with the position and the direction calculated by the region state calculation unit, a direction input unit for inputting a gaze direction, and the position and the position in a virtual space. And an image processing unit that generates an entire line-of-sight conversion image obtained by converting the extracted image arranged based on a direction based on the line-of-sight direction and displays the image on the display unit.

また、上記の撮像装置において、前記画像切出し部は、前記被照射領域を通るとともに前記画像を取得したときの前記発光部の向きに直交する基準面を規定したときに、前記抽出画像に写された像の前記基準面上での形状が互いに等しくなるように前記画像から前記抽出画像を抽出し、前記画像処理部は、それぞれの前記抽出画像を前記表示部に表示させることがより好ましい。   Further, in the imaging apparatus, the image cutout unit is copied to the extracted image when a reference plane that passes through the irradiated region and is orthogonal to the direction of the light emitting unit when the image is acquired is defined. More preferably, the extracted image is extracted from the image so that the shapes of the captured images on the reference plane are equal to each other, and the image processing unit displays the extracted image on the display unit.

また、上記の撮像装置において、前記画像処理部は、前記画像切出し部で新たに作成された前記抽出画像である新規抽出画像の前記被照射領域の位置と同一の位置が前記記憶部に既に記憶されていることを検出したときに、前記同一の位置に対応付けられて前記記憶部に既に記憶された前記抽出画像である参照抽出画像を前記新規抽出画像を抽出した前記画像を取得したときの前記発光部の向きに基づいて変換した視線変換画像と、前記新規抽出画像とを前記表示部に表示させることがより好ましい。   In the imaging apparatus, the image processing unit may already store in the storage unit the same position as the position of the irradiated region of a newly extracted image that is the extracted image newly created by the image cutting unit. When the image obtained by extracting the newly extracted image from the reference extracted image, which is the extracted image that is associated with the same position and already stored in the storage unit, is acquired. More preferably, the line-of-sight converted image converted based on the direction of the light emitting unit and the newly extracted image are displayed on the display unit.

また、上記の撮像装置において、前記画像処理部は、前記視線変換全体画像中に、前記撮像素子が新たに取得する前記画像から前記画像切出し部が抽出する前記抽出画像が配置される範囲を重ね合わせた配置範囲表示画像を作成して前記表示部に表示させ、前記表示部には、前記前記撮像素子が新たに取得する前記画像が表示されることがより好ましい。   In the imaging apparatus, the image processing unit overlaps a range in which the extracted image extracted by the image cutout unit is arranged from the image newly acquired by the imaging element in the entire line-of-sight conversion image. More preferably, a combined arrangement range display image is created and displayed on the display unit, and the image newly acquired by the imaging element is displayed on the display unit.

本発明の撮像装置によれば、測定対象物の内部が狭く内部形状が複雑であっても、内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向から容易に観察し直すことができる。   According to the imaging apparatus of the present invention, even when the inside of the measurement object is narrow and the internal shape is complicated, the internal image is acquired while measuring the internal shape as a whole, and the acquired image is obtained from the desired line-of-sight direction. It can be easily observed again.

本発明の第１実施形態の内視鏡装置の全体図である。1 is an overall view of an endoscope apparatus according to a first embodiment of the present invention. 同内視鏡装置のブロック図である。It is a block diagram of the endoscope apparatus. 同内視鏡装置の挿入部の位置によるＣＣＤで取得される画像の違いを説明する図である。It is a figure explaining the difference in the image acquired with CCD by the position of the insertion part of the same endoscope apparatus. 同内視鏡装置の挿入部の位置による画像から抽出される抽出画像の違いを説明する図である。It is a figure explaining the difference of the extraction image extracted from the image by the position of the insertion part of the same endoscope apparatus. 同内視鏡装置の主メモリに記憶されたデータセットの内容を示す図である。It is a figure which shows the content of the data set memorize | stored in the main memory of the same endoscope apparatus. 同内視鏡装置の画像処理部により抽出画像が仮想空間に配置された状態を説明する図である。It is a figure explaining the state by which the extracted image was arrange | positioned in the virtual space by the image process part of the same endoscope apparatus. 同画像処理部により平行投影を用いて作成された視線変換全体画像の図である。It is a figure of the gaze transformation whole picture created using parallel projection by the image processing part. 同画像処理部により透視投影を用いて抽出画像が変換される概要を説明する図である。It is a figure explaining the outline | summary by which the extracted image is converted using perspective projection by the image processing part. 同画像処理部により透視投影を用いて作成された視線変換全体画像の図である。It is a figure of the gaze transformation whole picture created using perspective projection by the image processing part. 本発明の第２実施形態の内視鏡装置で測定対象物の画像を取得する様子を示す図である。It is a figure which shows a mode that the image of a measuring object is acquired with the endoscope apparatus of 2nd Embodiment of this invention. 図１０中の要部拡大図である。It is a principal part enlarged view in FIG. 同内視鏡装置のＬＣＤに表示された新規抽出画像および視線変換画像を説明する図である。It is a figure explaining the new extraction image and line-of-sight conversion image which were displayed on LCD of the same endoscope apparatus. 同ＬＣＤに他の方式で表示された新規抽出画像および視線変換画像を説明する図である。It is a figure explaining the new extraction image and line-of-sight conversion image which were displayed on the LCD with the other system. 図１４（ａ）は同内視鏡装置に通常アダプタを装着したときの視野角を示す図であり、図１４（ｂ）は同内視鏡装置に広角アダプタを装着したときの視野角を示す図である。FIG. 14A is a diagram showing a viewing angle when a normal adapter is attached to the endoscope apparatus, and FIG. 14B shows a viewing angle when a wide-angle adapter is attached to the endoscope apparatus. FIG. 図１５（ａ）は同内視鏡装置に通常アダプタを装着したときの画像と抽出画像とを比較して示す図であり、図１５（ｂ）は同内視鏡装置に広角アダプタを装着したときの画像と抽出画像とを比較して示す図である。FIG. 15A is a diagram showing a comparison between an image obtained when a normal adapter is attached to the endoscope apparatus and an extracted image, and FIG. 15B is a view where a wide-angle adapter is attached to the endoscope apparatus. It is a figure which compares and shows the image of time, and an extraction image. 同内視鏡装置に通常アダプタおよび広角アダプタを装着したときの抽出画像を比較して示す図である。It is a figure which compares and shows the extracted image when a normal adapter and a wide angle adapter are mounted | worn with the same endoscope apparatus. 本発明の第３実施形態の内視鏡装置で測定対象物の画像を取得する様子を示す図である。It is a figure which shows a mode that the image of a measuring object is acquired with the endoscope apparatus of 3rd Embodiment of this invention. 同内視鏡装置のＬＣＤに表示された配置範囲表示画像およびライブ画像を示す図である。It is a figure which shows the arrangement | positioning range display image and live image which were displayed on LCD of the same endoscope apparatus. 同内視鏡装置で画像を連続的に取得する様子を示す図である。It is a figure which shows a mode that an image is continuously acquired with the same endoscope apparatus. 同内視鏡装置のＬＣＤに表示された配置範囲表示画像およびライブ画像を示す図である。It is a figure which shows the arrangement | positioning range display image and live image which were displayed on LCD of the same endoscope apparatus. 本発明の実施形態の変形例における内視鏡装置で測定対象物の表面の傾きを検出する手順を説明する図である。It is a figure explaining the procedure which detects the inclination of the surface of a measuring object with the endoscope apparatus in the modification of embodiment of this invention. 同内視鏡装置のＬＣＤに表示された指標を表す図である。It is a figure showing the parameter | index displayed on LCD of the same endoscope apparatus.

（第１実施形態）
以下、本発明に係る撮像装置の第１実施形態を、撮像装置が内視鏡装置である場合について、図１から図９を参照しながら説明する。内視鏡装置は、地下空洞などに挿入され、内部を観察するとともに地下空洞の内部にある測定対象物までの距離を測定する装置である。
図１に示すように、本内視鏡装置１は、前方を観察するとともに前方の画像を取得可能な小径で長尺の挿入部１０と、挿入部１０の基端に接続され挿入部１０などを操作する操作部４０と、操作部４０に接続された内視鏡本体５０と、挿入部１０で取得された画像などを表示する表示部７０とを備えている。 (First embodiment)
Hereinafter, a first embodiment of an imaging apparatus according to the present invention will be described with reference to FIGS. 1 to 9 in the case where the imaging apparatus is an endoscope apparatus. An endoscope apparatus is an apparatus that is inserted into an underground cavity or the like to observe the inside and measure the distance to a measurement object inside the underground cavity.
As shown in FIG. 1, the endoscope apparatus 1 includes a small-diameter and long insertion portion 10 that is capable of observing the front and acquiring a front image, and the insertion portion 10 that is connected to the proximal end of the insertion portion 10. Are provided with an operation unit 40, an endoscope main body 50 connected to the operation unit 40, and a display unit 70 for displaying an image acquired by the insertion unit 10.

図１および図２に示すように、挿入部１０は、先端側に配置された先端硬質部１１と、先端硬質部１１の基端に接続され湾曲可能な湾曲部１２と、湾曲部１２の基端に接続され可撓性を有する可撓管部１３（図１参照）と、を有している。
一般的に、挿入部の外径として５ｍｍ以上１５ｍｍ以下のものが用いられ、挿入部の長さとして２ｍ以上２０ｍ以下のものが用いられる。
図２に示すように、先端硬質部１１の先端面には、白色の可視光線を前方に照射する発光ダイオードを有する照明ユニット１６および可視光線を集光する観察レンズ１７が配置されている。先端硬質部１１には、可視光線から画像を取得するＣＣＤ（撮像素子）１８、内視鏡本体５０の後述する通信制御部５２との間で信号の送受信を行う通信制御部１９、測定対象物Ｗまでの距離を測定する距離測定部（測定部）２０、距離測定部２０の後述する発光部２６の位置を測定する位置センサ（位置測定部）２１、および発光部２６がレーザー光Ｌ１を照射する向きを測定する姿勢センサ（姿勢測定部）２２が内蔵されている。 As shown in FIGS. 1 and 2, the insertion portion 10 includes a distal end hard portion 11 disposed on the distal end side, a bending portion 12 connected to the proximal end of the distal end hard portion 11, and a base portion of the bending portion 12. And a flexible tube portion 13 (see FIG. 1) connected to the end and having flexibility.
In general, the outer diameter of the insertion part is 5 mm or more and 15 mm or less, and the length of the insertion part is 2 m or more and 20 m or less.
As shown in FIG. 2, an illumination unit 16 having a light emitting diode that irradiates white visible light forward and an observation lens 17 that collects visible light are disposed on the distal end surface of the distal hard portion 11. The distal end hard part 11 includes a CCD (imaging device) 18 that acquires an image from visible light, a communication control part 19 that transmits and receives signals to and from a communication control part 52 (to be described later) of the endoscope body 50, and a measurement object. A distance measuring unit (measuring unit) 20 that measures the distance to W, a position sensor (position measuring unit) 21 that measures the position of a light emitting unit 26 (to be described later) of the distance measuring unit 20, and the light emitting unit 26 irradiate laser light L1. A posture sensor (posture measuring unit) 22 for measuring the direction to be built is incorporated.

ＣＣＤ１８は、可視光線を検出する検出面１８ａを有していて、検出面１８ａで検出した可視光線から画像を取得する。
観察レンズ１７は、挿入部１０の前方における所定の視野角θ１内の可視光線による像を集光し、ＣＣＤ１８の検出面１８ａ上に結像させる。視野角θ１に対応して画像が取得される測定対象物Ｗ上の範囲が、表示部７０で表示される観察視野となる。
通信制御部１９は、通信制御部１９に先端が接続され挿入部１０内を通る電線２５の本数を、たとえば３本にするために、複数の信号を１つの信号に重畳したり分離したりする処理を行う。 The CCD 18 has a detection surface 18a for detecting visible light, and acquires an image from the visible light detected by the detection surface 18a.
The observation lens 17 condenses an image of visible light within a predetermined viewing angle θ 1 in front of the insertion unit 10 and forms an image on the detection surface 18 a of the CCD 18. A range on the measurement object W from which an image is acquired corresponding to the viewing angle θ 1 is an observation field displayed on the display unit 70.
The communication control unit 19 superimposes or separates a plurality of signals on one signal so that the number of the electric wires 25 connected to the communication control unit 19 and passing through the insertion unit 10 is, for example, three. Process.

本実施形態では、距離測定部２０として、レーザー光が照射されてから測定対象物で反射されて検出されるまでの時間に基づいて測定対象物までの距離を測定するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）型の距離センサが用いられている。
距離測定部２０は、赤色のレーザー光Ｌ１を前方に照射する発光部２６と、通信制御部１９からの信号に基づいて発光部２６を制御する光制御部２７と、赤色の可視光線を検出する受光部２８と、受光部２８で検出したレーザー光Ｌ１の信号を増幅する戻光検出部２９と、発光部２６から測定対象物Ｗまでの距離を算出する距離算出部３０とを有している。 In the present embodiment, the distance measuring unit 20 is a TOF (Time Of Flight) type that measures the distance to the measurement object based on the time from when the laser beam is irradiated until it is reflected and detected by the measurement object. Distance sensors are used.
The distance measuring unit 20 detects the red visible light, the light emitting unit 26 that irradiates the red laser light L1 forward, the light control unit 27 that controls the light emitting unit 26 based on the signal from the communication control unit 19, and the like. The light receiving unit 28, the return light detecting unit 29 that amplifies the signal of the laser beam L 1 detected by the light receiving unit 28, and the distance calculating unit 30 that calculates the distance from the light emitting unit 26 to the measurement target W are included. .

発光部２６および受光部２８は、先端硬質部１１の先端面に配置されている。ＣＣＤ１８および発光部２６は、測定誤差を抑えるために、先端硬質部１１の先端面において互いに近い位置に配置されていることが好ましい。
光制御部２７は、通信制御部１９と電気的に接続されていて、通信制御部１９から受信した信号に基づいて、発光部２６への電力の供給状態を切替える。
使用者は、発光部２６が測定対象物Ｗの表面の一部である被照射領域Ｗ１にレーザー光Ｌ１を照射したときに、被照射領域Ｗ１が、観察レンズ１７の視野角θ１内に位置するように、挿入部１０の先端から被照射領域Ｗ１までの距離を調節して使用する。
測定対象物Ｗの表面において、被照射領域Ｗ１、および被照射領域Ｗ１に隣接する隣接領域Ｗ２は、照明ユニット１６により白色の可視光線で照明される。発光部２６は、赤色のレーザー光Ｌ１を被照射領域Ｗ１に照射することで、隣接領域Ｗ２に対して被照射領域Ｗ１が反射する可視光線の色彩を、ＣＣＤ１８が取得する画像により使用者などが識別可能となるように異ならせることができる。 The light emitting unit 26 and the light receiving unit 28 are disposed on the distal end surface of the distal end hard portion 11. The CCD 18 and the light emitting unit 26 are preferably arranged at positions close to each other on the distal end surface of the distal end hard portion 11 in order to suppress measurement errors.
The light control unit 27 is electrically connected to the communication control unit 19, and switches the power supply state to the light emitting unit 26 based on a signal received from the communication control unit 19.
The user, upon irradiation with a laser beam L1 to the light-emitting portion 26 is a part of the surface of the measuring object W to be irradiated region W1, the irradiated region W1 is positioned at the viewing angle θ 1 of the observation lens 17 Thus, the distance from the distal end of the insertion portion 10 to the irradiated region W1 is adjusted and used.
On the surface of the measurement object W, the illuminated area W1 and the adjacent area W2 adjacent to the illuminated area W1 are illuminated with white visible light by the illumination unit 16. The light emitting unit 26 irradiates the irradiated region W1 with the red laser light L1, and the user or the like uses the image acquired by the CCD 18 to reflect the color of the visible light reflected by the irradiated region W1 with respect to the adjacent region W2. It can be different so that it can be identified.

被照射領域Ｗ１と隣接領域Ｗ２とが画像により識別可能となるように色彩を異ならせるために、レーザー光Ｌ１の色彩は測定対象物Ｗの表面の色彩と異なるものを用いることが好ましい。また、たとえば、外界の光を遮断して被照射領域Ｗ１および隣接領域Ｗ２を白色光で１００ｌｘ（ルクス）の照度で照明したときに、被照射領域Ｗ１を照射する赤色のレーザー光Ｌ１の単独の照度を１５０ｌｘ以上とすることが好ましい。   In order to make the colors different so that the irradiated area W1 and the adjacent area W2 can be distinguished from each other by image, it is preferable to use a color of the laser light L1 that is different from the color of the surface of the measuring object W. Further, for example, when the irradiated region W1 and the adjacent region W2 are illuminated with white light at an illuminance of 100 lx (lux) while blocking light from the outside world, the red laser light L1 that irradiates the irradiated region W1 alone The illuminance is preferably 150 lx or more.

受光部２８には、ＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｔｅｃｔｏｒ）やＣＣＤなどの、指向性が高く、前方から受光部２８に向かう受信方向Ｄからの赤色の可視光線を検出する素子を適宜選択して用いることができる。
一般的に、発光部２６から測定対象物Ｗまでの距離は、発光部２６と受光部２８との間の距離に比べて充分大きくなっている。さらに本実施形態では、発光部２６と受光部２８との相対位置が変わらないように構成されているので、湾曲部１２を湾曲したときに、発光部２６がレーザー光Ｌ１を照射する被照射領域Ｗ１から受光部２８に向かう方向が受信方向Ｄとなる。
距離算出部３０は、発光部２６でレーザー光Ｌ１が照射された時から、被照射領域Ｗ１で反射されたレーザー光Ｌ１が受光部２８で受光される時までの時間差に基づいて、発光部２６から測定対象物Ｗの被照射領域Ｗ１までの距離を算出し、その結果を信号として通信制御部１９に送信する。 For the light receiving unit 28, an element that detects red visible light from the reception direction D from the front toward the light receiving unit 28 with high directivity, such as a PSD (Position Sensitive Detector) or a CCD, is appropriately selected and used. it can.
In general, the distance from the light emitting unit 26 to the measurement target W is sufficiently larger than the distance between the light emitting unit 26 and the light receiving unit 28. Further, in the present embodiment, since the relative position between the light emitting unit 26 and the light receiving unit 28 is not changed, the irradiated region where the light emitting unit 26 irradiates the laser beam L1 when the bending unit 12 is bent. The direction from W1 toward the light receiving unit 28 is the reception direction D.
The distance calculation unit 30 is based on a time difference from when the laser beam L1 is irradiated by the light emitting unit 26 to when the laser beam L1 reflected by the irradiated region W1 is received by the light receiving unit 28. The distance from the measurement object W to the irradiated area W1 is calculated, and the result is transmitted to the communication control unit 19 as a signal.

姿勢センサ２２としては、たとえば、加速度センサやジャイロスコープなどを、位置センサ２１としては、加速度センサ、および加速度センサで検出される加速度を積分して位置を算出する装置を組み合わせたものを、それぞれ用いることができる。位置センサ２１は、後述するように内視鏡本体５０に対して定められたグローバル座標（基準座標）における所定の基準位置に対する発光部２６の位置を測定する
これまで説明した距離測定部２０、姿勢センサ２２、および位置センサ２１としては、上述のような公知のセンサを適宜用いることができる。 As the posture sensor 22, for example, an acceleration sensor or a gyroscope is used, and as the position sensor 21, a combination of an acceleration sensor and a device that calculates a position by integrating acceleration detected by the acceleration sensor is used. be able to. The position sensor 21 measures the position of the light emitting unit 26 with respect to a predetermined reference position in global coordinates (reference coordinates) determined with respect to the endoscope main body 50 as will be described later. As the sensor 22 and the position sensor 21, known sensors as described above can be used as appropriate.

図１に示すように、操作部４０には、湾曲部１２を湾曲操作するための湾曲操作ボタン４１と、内視鏡本体５０、および表示部７０などを操作するための主操作ボタン４２とが設けられている。   As shown in FIG. 1, the operation unit 40 includes a bending operation button 41 for operating the bending unit 12, and a main operation button 42 for operating the endoscope body 50, the display unit 70, and the like. Is provided.

内視鏡本体５０は、図１および図２に示すように、ケーシング５１と、ケーシング５１に内蔵された、通信制御部１９との間で信号の送受信を行う通信制御部５２、照明ユニット１６を制御する照明制御部５３、画像から抽出画像を作成する画像切出し部５４、被照射領域Ｗ１の位置および向きを算出する領域状態算出部５５、抽出画像を被照射領域Ｗ１の位置および向きに対応付けて記憶する主メモリ（記憶部）５６、抽出画像を変換した視線変換全体画像を作成して表示部７０に表示させる画像処理部５７、内視鏡本体５０全体としての制御処理を行う処理部５８、および挿入部１０や表示部７０などに電力を供給する電源部５９とを有している。   As shown in FIGS. 1 and 2, the endoscope main body 50 includes a casing 51, a communication control unit 52 built in the casing 51, and a communication control unit 52 that transmits and receives signals between the communication control unit 19 and the illumination unit 16. The illumination control unit 53 that controls the image, the image cutout unit 54 that creates an extracted image from the image, the region state calculation unit 55 that calculates the position and orientation of the irradiated region W1, and the extracted image associated with the position and orientation of the irradiated region W1 A main memory (storage unit) 56 that stores the image, an image processing unit 57 that creates an entire line-of-sight conversion image obtained by converting the extracted image and displays the image on the display unit 70, and a processing unit 58 that performs control processing for the entire endoscope body 50. And a power supply unit 59 for supplying power to the insertion unit 10, the display unit 70, and the like.

前述の電線２５は、中間部が操作部４０に接続されているとともに、基端が通信制御部５２に接続されている。通信制御部５２は、通信制御部１９と同様に信号の重畳、分離処理を行う。通信制御部５２は、照明制御部５３、画像切出し部５４、領域状態算出部５５および電源部５９にそれぞれ電気的に接続されている。
画像切出し部５４、主メモリ５６、および処理部５８は、この順で直列となるように接続されている。
画像切出し部５４は、ＣＣＤ１８が取得した画像から抽出画像を作成するときに、抽出画像が被照射領域Ｗ１を含むように抽出する。抽出画像の抽出方法を図３および図４を用いて説明する。 The electric wire 25 has an intermediate portion connected to the operation unit 40 and a proximal end connected to the communication control unit 52. The communication control unit 52 performs signal superposition and separation processing in the same manner as the communication control unit 19. The communication control unit 52 is electrically connected to the illumination control unit 53, the image cutout unit 54, the region state calculation unit 55, and the power supply unit 59, respectively.
The image cutout unit 54, the main memory 56, and the processing unit 58 are connected in series in this order.
The image cutout unit 54 extracts the extracted image so as to include the irradiated region W1 when creating the extracted image from the image acquired by the CCD 18. The extraction method of an extraction image is demonstrated using FIG. 3 and FIG.

前述したようにＣＣＤ１８は、挿入部１０に配置された観察レンズ１７の視野角θ１内の可視光線による画像を取得する。図３に示すように、測定対象物Ｗに対して挿入部１０が配置された位置によらず視野角θ１は一定である一方で、画像を取得するときの観察レンズ１７の位置である撮像位置Ｐiから被照射領域Ｗ１の位置である測定位置Ｑiまでの距離（距離測定部２０により測定される測定距離ｄi）は、挿入部１０が配置された位置より異なる場合がある。なお、図３には、撮像位置Ｐiなどのｉが１から４までの場合の、４種類の撮像位置Ｐ１〜Ｐ４、および撮像位置Ｐ１〜Ｐ４に対応する測定位置Ｑ１〜Ｑ４、測定距離ｄ１〜ｄ４をそれぞれ示している。
撮像位置Ｐiで取得される画像に測定位置Ｑiにおいて写される長さＶiは、（１）式に従って測定距離ｄiが大きくなるほど大きくなる。
Ｖi＝２ｄi×ｔａｎθ１ ・・（１） As described above, the CCD 18 acquires an image of visible light within the viewing angle θ 1 of the observation lens 17 disposed in the insertion unit 10. As shown in FIG. 3, the viewing angle θ 1 is constant regardless of the position where the insertion unit 10 is disposed with respect to the measurement object W, while the imaging that is the position of the observation lens 17 when an image is acquired. The distance from the position P i to the measurement position Q i that is the position of the irradiated region W1 (measurement distance d i measured by the distance measurement unit 20) may be different from the position where the insertion unit 10 is disposed. Incidentally, in FIG. 3, in the case of i is 1, such as the imaging position P i to 4, four image pickup position P 1 of to P 4, and the measurement positions Q 1 ~ corresponding to the imaging position P 1 to P 4 Q 4 and measurement distances d 1 to d 4 are shown.
The length V i captured at the measurement position Q i in the image acquired at the imaging position P i increases as the measurement distance d i increases according to the equation (1).
V i = 2d i × tan θ 1 (1)

図３に示すように、被照射領域Ｗ１の測定位置Ｑiを通るとともに画像を取得したときの観察レンズ１７の光軸（発光部２６の向き）に直交する基準面Ｓiを規定する。このときに、画像切出し部５４は、図４に示すように、抽出画像に写された像の基準面Ｓi上での形状Ｋiが互いに等しく、たとえば１辺が３０ｍｍの正方形状となるように、画像から抽出画像を抽出する。言い換えれば、基準面Ｓi上で測定位置Ｑiを含んで互いに同一形状となる形状Ｋiに対して、ＣＣＤ１８の検出面１８ａから投影した範囲内の像として、それぞれの画像から抽出画像を抽出する。
本実施形態において、画像および抽出画像は、複数の画素を全体として正方形状に並べることにより構成されている。測定位置Ｑ１〜Ｑ４を通る形状Ｋ１〜Ｋ４は、それぞれが１辺が３０ｍｍの正方形状であるが、たとえば、測定距離ｄ１より測定距離ｄ２の方が長くなっているので、以下に示すように、形状Ｋiに対する撮像位置Ｐiにおける角度αiを調節する。
すなわち、３０ｍｍなどの長さＶ０を予め定めておき、挿入部１０の観察レンズ１７が撮像位置Ｐiにあり、距離測定部２０により測定された撮像位置Ｐiから測定位置Ｑiまでの測定距離ｄiに対して、（２）式により得られる角度αiに対応する一辺の長さを有する正方形状の範囲内の画素からなる抽出画像を抽出する。
αi＝ｔａｎ−１（Ｖi／（２ｄi）） ・・（２）
このため、形状Ｋ１を写した抽出画像の１辺の画素数がたとえば２００であるのに対して、形状Ｋ２を写した抽出画像の一辺の画素数は、２００より少ない１５０となっている。 As shown in FIG. 3, a reference plane S i that passes through the measurement position Q i of the irradiated region W1 and is orthogonal to the optical axis (the direction of the light emitting unit 26) of the observation lens 17 when an image is acquired is defined. At this time, as shown in FIG. 4, the image cutout unit 54 has a shape K i on the reference plane S i of the image copied to the extracted image equal to each other, for example, a square shape with one side of 30 mm. Then, an extracted image is extracted from the image. Extracting other words, with respect to the reference plane S i on the measurement position Q i to comprise shape K i of the same shape to each other, as an image in a range projected from the detection surface 18a of the CCD 18, the extracted image from each image To do.
In the present embodiment, the image and the extracted image are configured by arranging a plurality of pixels in a square shape as a whole. Each of the shapes K 1 to K 4 passing through the measurement positions Q 1 to Q 4 has a square shape with one side of 30 mm. For example, the measurement distance d 2 is longer than the measurement distance d 1 . as shown below, to adjust the angle alpha i in the imaging position P i on the shape K i.
That is, a length V 0 such as 30 mm is determined in advance, the observation lens 17 of the insertion unit 10 is at the imaging position P i , and measurement from the imaging position P i measured by the distance measuring unit 20 to the measurement position Q i is performed. With respect to the distance d i , an extracted image composed of pixels within a square range having a length of one side corresponding to the angle α i obtained by the expression (2) is extracted.
α i = tan −1 (V i / (2d i )) (2)
Thus, while the number of pixels per side of the extracted pictures in the shapes K 1 is 200 for example, number of pixels on one side of the extraction pictures in the shapes K 2 has a 150 less than 200 .

領域状態算出部５５は、抽出画像の被照射領域Ｗ１の向きとして、被照射領域Ｗ１を抽出した画像を取得したときの発光部２６のグローバル座標における向きを求める。また、被照射領域Ｗ１の位置として、画像を取得したときの発光部２６のグローバル座標における位置から前記発光部２６の向きに測定距離ｄi移動した位置を算出して求める。領域状態算出部５５は、求めた被照射領域Ｗ１の位置および向きのデータを主メモリ５６に送信する。
主メモリ５６は、図５に示すように、領域状態算出部５５により送信された被照射領域Ｗ１の位置および向きのデータを、被照射領域Ｗ１を抽出した抽出画像データに対応付けて１つのデータセットとして記憶する。被照射領域Ｗ１の位置データとしては、たとえば直交座標系における座標データ、向きデータとしては、被照射領域Ｗ１における正規化された法線ベクトルなどを用いることができる。
画像処理部５７が行う処理については、後で詳しく説明する。
図２に示すように、処理部５８は、照明制御部５３および画像処理部５７と電気的に接続されている。 The region state calculation unit 55 obtains the orientation of the light emitting unit 26 in the global coordinates when the image obtained by extracting the irradiated region W1 is acquired as the direction of the irradiated region W1 of the extracted image. Further, as the position of the irradiated region W1, a position obtained by moving the measurement distance d i in the direction of the light emitting unit 26 from the position in the global coordinates of the light emitting unit 26 when the image is acquired is calculated. The area state calculation unit 55 transmits the obtained position and orientation data of the irradiated area W1 to the main memory 56.
As shown in FIG. 5, the main memory 56 associates the position and orientation data of the irradiated area W1 transmitted by the area state calculation unit 55 with the extracted image data obtained by extracting the irradiated area W1, and stores one piece of data. Remember as a set. As the position data of the irradiated region W1, for example, coordinate data in an orthogonal coordinate system, and as the orientation data, a normalized normal vector in the irradiated region W1 can be used.
The processing performed by the image processing unit 57 will be described in detail later.
As shown in FIG. 2, the processing unit 58 is electrically connected to the illumination control unit 53 and the image processing unit 57.

図１および図２に示すように、ケーシング５１の外面には、処理部５８および電源部５９に電気的に接続されたコネクタ６２と、挿入部１０の先端硬質部１１が係止されて内視鏡本体５０に対して位置決めされる係止部材６３と、抽出画像を変換する基準となる視線方向などを入力するためのフロントパネル（方向入力部）６４とが取付けられている。
フロントパネル６４には、複数の入力ボタン６４ａが設けられている。入力ボタン６４ａを操作することで、内視鏡装置１全体としての電源のＯＮ／ＯＦＦ操作を行ったり、視線方向を入力したりすることができる。 As shown in FIGS. 1 and 2, a connector 62 electrically connected to the processing unit 58 and the power supply unit 59 and the hard end portion 11 of the insertion unit 10 are locked to the outer surface of the casing 51. A locking member 63 positioned with respect to the mirror main body 50 and a front panel (direction input unit) 64 for inputting a line-of-sight direction serving as a reference for converting the extracted image are attached.
The front panel 64 is provided with a plurality of input buttons 64a. By operating the input button 64a, it is possible to turn on / off the power of the endoscope apparatus 1 as a whole, or to input a line-of-sight direction.

表示部７０は、ケーシング５１に着脱自在に配設されている。表示部７０は、画像などを表示するＬＣＤ７１と、コネクタ６２に着脱可能な配線７２とを有している。
配線７２をコネクタ６２に接続することで、表示部７０は電源部５９から所定の電力を供給されるとともに、処理部５８から送信された画像などをＬＣＤ７１に表示することができる。 The display unit 70 is detachably disposed on the casing 51. The display unit 70 includes an LCD 71 that displays an image and the like, and a wiring 72 that can be attached to and detached from the connector 62.
By connecting the wiring 72 to the connector 62, the display unit 70 is supplied with predetermined power from the power supply unit 59 and can display an image transmitted from the processing unit 58 on the LCD 71.

次に、画像処理部５７が行う処理について説明する。
画像処理部５７は、主メモリ５６に記憶された位置および向きに基づいて、図６に示すように、画像切出し部５４が抽出した抽出画像Ｅ１〜Ｅ４を仮想空間Ｉに配置する。そして、フロントパネル６４から入力される視線方向Ｆに基づいて仮想空間Ｉに配置された抽出画像Ｅ１〜Ｅ４を変換して視線変換全体画像を作成する。
画像処理部５７は、仮想空間Ｉにおいて、抽出画像Ｅi中の被照射領域Ｗ１の像が抽出画像Ｅiに対応付けて記憶された位置に設置されるように抽出画像Ｅiを配置するとともに、抽出画像Ｅiが抽出画像Ｅiに対応付けて記憶された向きに向くように配置する。
視線方向Ｆに基づいて抽出画像Ｅiを変換するとは、抽出画像Ｅiを視線方向Ｆから見たように公知の方法を用いて投影することを意味する。この投影方法としては、抽出画像を充分遠い位置から見たように表した平行投影、抽出画像が配置された位置の遠近感が表現される透視投影などの公知の方法がある。
視線方向Ｆが画像を取得したときの先端硬質部１１の軸線に平行であって平行投影が用いられる場合には、図７に示すように、ＬＣＤ７１に表示された視線変換全体画像７５中の、各抽出画像Ｅ１〜Ｅ４が変換された画像である視線変換画像Ｇ１〜Ｇ４の外形形状は全て同一となる。ただし、抽出画像Ｅiが抽出された画像に対する測定距離ｄiは一部異なっていて、それぞれの視線変換画像Ｇi中の画素ｇの数は測定距離ｄiに対応して異なる。
画像処理部５７は、たとえばアフィン変換という公知の変換方法を用いて、抽出画像Ｅiを視線方向Ｆに基づいて視線変換画像Ｇiに変換する。 Next, processing performed by the image processing unit 57 will be described.
Based on the position and orientation stored in the main memory 56, the image processing unit 57 arranges the extracted images E 1 to E 4 extracted by the image cutout unit 54 in the virtual space I as shown in FIG. Then, the extracted images E 1 to E 4 arranged in the virtual space I are converted based on the line-of-sight direction F input from the front panel 64 to create a line-of-sight conversion whole image.
The image processing unit 57 arranges the extracted image E i in the virtual space I so that the image of the irradiated area W1 in the extracted image E i is installed at a position stored in association with the extracted image E i. The extracted image E i is arranged so as to face the direction stored in association with the extracted image E i .
Converting the extracted image E i based on the line-of-sight direction F means projecting the extracted image E i using a known method as seen from the line-of-sight direction F. As this projection method, there are known methods such as parallel projection in which the extracted image is viewed from a sufficiently distant position, and perspective projection in which the perspective of the position where the extracted image is arranged is expressed.
When parallel projection is used when the line-of-sight direction F is parallel to the axis of the hard tip portion 11 when the image is acquired, the line-of-sight transformation whole image 75 displayed on the LCD 71, as shown in FIG. All the external shapes of the line-of-sight converted images G 1 to G 4 , which are images obtained by converting the extracted images E 1 to E 4, are the same. However, the measurement distance d i with respect to the image from which the extracted image E i is extracted is partially different, and the number of pixels g in each line-of-sight conversion image G i is different corresponding to the measurement distance d i .
The image processing unit 57 converts the extracted image E i into a line-of-sight converted image G i based on the line-of-sight direction F, for example, using a known conversion method called affine transformation.

なお、視線方向Ｆが画像を取得したときの先端硬質部１１の軸線に平行であって透視投影が用いられる場合には、図８に示すように、抽出画像Ｅiは、視点Ａ１を中心とした所定の半径の球面Ａ２上に投影されるように変換される。このため、図９に示すように、視線変換画像Ｇ２〜Ｇ４の外形形状は互いに異なり、遠近感が表現される。 In addition, when the perspective direction F is parallel to the axis of the distal end hard portion 11 when the image is acquired and perspective projection is used, the extracted image E i is centered on the viewpoint A1, as shown in FIG. It is converted so as to be projected onto the spherical surface A2 having a predetermined radius. For this reason, as shown in FIG. 9, the external shapes of the line-of-sight converted images G 2 to G 4 are different from each other, and perspective is expressed.

次に、以上のように構成された内視鏡装置１を地下空洞内に挿入して測定対象物Ｗを観察するときの動作について説明する。
まず、使用者は、係止部材６３に挿入部１０の先端硬質部１１を係止した状態でフロントパネル６４の入力ボタン６４ａを操作することで、内視鏡装置１全体を電源ＯＮ状態、すなわち起動状態にする。このときの内視鏡本体５０に対する先端硬質部１１の位置が、グローバル座標上で基準位置として認識される。
使用者が、挿入部１０を係止部材６３から取外して不図示の地下空洞内に挿入すると、位置センサ２１は発光部２６の位置を、姿勢センサ２２は発光部２６の向きをそれぞれ測定する。測定結果は表示部７０に送信され、ＬＣＤ７１に表示される。
照明ユニット１６により前方を照明するとともに発光部２６から前方に赤色のレーザー光Ｌ１を照射しながら、必要に応じて操作部４０の湾曲操作ボタン４１を操作して湾曲部１２を湾曲させ、挿入部１０を地下空洞内に挿入していく。 Next, an operation when observing the measuring object W by inserting the endoscope apparatus 1 configured as described above into an underground cavity will be described.
First, the user operates the input button 64a of the front panel 64 in a state where the distal end hard portion 11 of the insertion portion 10 is locked to the locking member 63, so that the entire endoscope apparatus 1 is in a power-on state, that is, Set to the start state. The position of the distal end hard portion 11 with respect to the endoscope body 50 at this time is recognized as a reference position on the global coordinates.
When the user removes the insertion portion 10 from the locking member 63 and inserts the insertion portion 10 into an unillustrated underground cavity, the position sensor 21 measures the position of the light emitting portion 26 and the posture sensor 22 measures the orientation of the light emitting portion 26. The measurement result is transmitted to the display unit 70 and displayed on the LCD 71.
While illuminating the front by the illumination unit 16 and irradiating the red laser light L1 forward from the light emitting unit 26, the bending operation button 41 of the operation unit 40 is operated as necessary to bend the bending unit 12, and the insertion unit 10 is inserted into the underground cavity.

使用者は、地下空洞中の所望の位置で、測定対象物Ｗに挿入部１０の先端硬質部１１が対向するように位置決めする。そして、操作部４０を操作することでＣＣＤ１８により被照射領域Ｗ１が写された測定対象物Ｗの画像を取得すると同時に、位置センサ２１および姿勢センサ２２により発光部２６の位置および向きが測定され、距離測定部２０により発光部２６から被照射領域Ｗ１までの測定距離ｄiが算出される。
画像切出し部５４は、抽出画像Ｅiに写された像の基準面Ｓi上での形状Ｋiが互いに等しくなるように、取得された画像から抽出画像Ｅiを抽出して主メモリ５６に送信する。一方で、領域状態算出部５５は、発光部２６の位置および向き、並びに測定距離ｄiから被照射領域Ｗ１の位置および向きを算出して主メモリ５６に送信する。主メモリ５６は、画像切出し部５４から送信された抽出画像Ｅiを領域状態算出部５５から送信された被照射領域Ｗ１の位置および向きに対応付けてデータセットとして記憶する。 The user positions the measurement object W at a desired position in the underground cavity so that the distal end hard portion 11 of the insertion portion 10 faces the measurement object W. Then, by operating the operation unit 40, the CCD 18 acquires an image of the measurement target W in which the irradiated area W <b> 1 is captured, and at the same time, the position sensor 21 and the posture sensor 22 measure the position and orientation of the light emitting unit 26. The distance measurement unit 20 calculates a measurement distance d i from the light emitting unit 26 to the irradiated region W1.
The image clipping unit 54, such that the shape K i on the reference plane S i of an image that was photographed in extracted image E i are equal to each other, in the main memory 56 extracts the extraction image E i from the obtained image Send. On the other hand, the region state calculation unit 55 calculates the position and orientation of the illuminated region W1 from the position and orientation of the light emitting unit 26 and the measurement distance d i and transmits it to the main memory 56. The main memory 56 stores the extracted image E i transmitted from the image cutout unit 54 as a data set in association with the position and orientation of the irradiated region W1 transmitted from the region state calculation unit 55.

測定対象物Ｗの抽出画像Ｅiをたとえば複数取得した後で、使用者はフロントパネル６４を操作して、これらの抽出画像Ｅiを見たい視線方向Ｆを入力する。すると、画像処理部５７は、主メモリ５６に記憶された複数のデータセットを読み出して仮想空間Ｉに複数の抽出画像Ｅiを配置し、視線方向Ｆに基づいて変換して作成した視線変換全体画像７５をＬＣＤ７１に表示する。
必要に応じて視線方向Ｆを繰り返してフロントパネル６４から入力して、抽出画像Ｅiを様々な視線方向Ｆから確認しながら測定対象物Ｗを観察していく。 For example, after acquiring a plurality of extracted images E i of the measurement object W, the user operates the front panel 64 to input a line-of-sight direction F in which the extracted images E i are desired to be viewed. Then, the image processing unit 57 reads the plurality of data sets stored in the main memory 56, arranges the plurality of extracted images E i in the virtual space I, and converts them based on the line-of-sight direction F to create the entire line-of-sight conversion. The image 75 is displayed on the LCD 71.
The line-of-sight direction F is repeatedly input from the front panel 64 as necessary, and the measurement object W is observed while confirming the extracted image E i from various line-of-sight directions F.

以上説明したように、本実施形態の内視鏡装置１によれば、使用者は、ＣＣＤ１８で取得した映像を表示部７０で確認しながら地下空洞内に挿入部１０を挿入していき、測定対象物Ｗの近傍に挿入部１０の先端を配置する。そして、ＣＣＤ１８により可視光線による画像を取得するとともに、発光部２６から赤色のレーザー光Ｌ１を測定対象物Ｗの被照射領域Ｗ１に照射し、受光部２８で被照射領域Ｗ１からの可視光線を検出することで距離測定部２０により発光部２６から被照射領域Ｗ１までの距離を測定する。さらに、位置センサ２１により発光部２６の位置、姿勢センサ２２により発光部２６の向きをそれぞれ測定する。
画像切出し部５４により被照射領域Ｗ１を含んだ領域を抽出して抽出画像Ｅiを作成し、領域状態算出部５５により発光部２６の位置および向き、並びに発光部２６から被照射領域Ｗ１まで距離に基づいて、被照射領域Ｗ１の位置および向きを算出する。主メモリ５６に、算出された被照射領域Ｗ１の位置および向きのデータを、この被照射領域Ｗ１を含む抽出した抽出画像Ｅiに対応付けてデータセットとして記憶する。
さらに、画像処理部５７により、仮想空間Ｉに被照射領域Ｗ１の位置および向きに基づいて配置された抽出画像Ｅiをフロントパネル６４から入力された視線方向Ｆに基づいて変換して視線変換全体画像７５を作成し、表示部７０に表示する。 As described above, according to the endoscope apparatus 1 of the present embodiment, the user inserts the insertion unit 10 into the underground cavity while confirming the image acquired by the CCD 18 with the display unit 70, and performs measurement. The distal end of the insertion portion 10 is disposed in the vicinity of the object W. The CCD 18 acquires an image by visible light, irradiates the irradiated region W1 of the measurement object W with the red laser light L1 from the light emitting unit 26, and detects the visible light from the irradiated region W1 with the light receiving unit 28. As a result, the distance measuring unit 20 measures the distance from the light emitting unit 26 to the irradiated region W1. Further, the position sensor 21 measures the position of the light emitting unit 26, and the orientation sensor 22 measures the direction of the light emitting unit 26.
An area including the irradiated area W1 is extracted by the image cutout section 54 to create an extracted image E i , and the position and orientation of the light emitting section 26 and the distance from the light emitting section 26 to the irradiated area W1 by the area state calculating section 55. Based on the above, the position and orientation of the irradiated region W1 are calculated. In the main memory 56, the calculated position and orientation data of the irradiated area W1 is stored as a data set in association with the extracted extracted image E i including the irradiated area W1.
Further, the image processing unit 57 converts the extracted image E i arranged in the virtual space I based on the position and orientation of the irradiated region W1 based on the line-of-sight direction F input from the front panel 64, and performs the entire line-of-sight conversion. An image 75 is created and displayed on the display unit 70.

このように、ＣＣＤ１８が配置されている挿入部１０が小径かつ長尺であって、ＣＣＤ１８を測定対象物Ｗの広範囲の画像を一度に取得する仕様にできない場合であっても、仮想空間Ｉに複数の抽出画像Ｅiを配置し、所望の視線方向Ｆから見たように表示することができる。これにより、地下空洞内の測定対象物Ｗの各部位の抽出画像Ｅiおよび位置を取得するとともに、後で、取得した抽出画像Ｅiを所望の視線方向Ｆから観察することができる。 As described above, even if the insertion portion 10 in which the CCD 18 is arranged has a small diameter and a long length and the CCD 18 cannot be configured to acquire a wide range image of the measurement object W at a time, the virtual space I can be obtained. A plurality of extracted images E i can be arranged and displayed as viewed from the desired line-of-sight direction F. Thus, to acquire the extraction image E i and the position of each part of the measurement object W in an underground cavity, later, it is possible to observe the obtained extraction image E i from the desired viewing direction F.

また、画像切出し部５４は、抽出画像Ｅiに写された像の基準面Ｓi上での形状Ｋiが互いに等しくなるように画像から抽出画像Ｅiを抽出し、抽出画像Ｅiを表示部７０に表示する。このため、抽出画像Ｅiにおける測定対象物Ｗの大きさの比較を容易に行うことができる。 The image clipping unit 54, extracts image shape K i on the reference plane S i of an image that was photographed in E i extracts the extraction image E i from the image to be equal to each other, displaying the extracted image E i Displayed on the unit 70. For this reason, it is possible to easily compare the size of the measurement object W in the extracted image E i .

（第２実施形態）
次に、本発明の第２実施形態について図２、および図１０から図１６を参照しながら説明するが、前記実施形態と同一の部位には同一の符号を付してその説明は省略し、異なる点についてのみ説明する。
図２に示すように、本実施形態の内視鏡装置２は、前記第１実施形態の内視鏡装置１の画像処理部５７に代えて画像処理部８１を備えている。
画像処理部８１は、画像切出し部５４で新たに作成された新規抽出画像（抽出画像）の被照射領域Ｗ１の位置と同一の位置が主メモリ５６に既に記憶されていることを検出したときに、以下に説明するような処理を行う。すなわち、この同一の位置に対応付けられて主メモリ５６に既に記憶された参照抽出画像（抽出画像）を新規抽出画像を抽出した画像を取得したときの発光部２６の向きに基づいて変換した視線変換画像と、新規抽出画像とを表示部７０に表示させる。 (Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to FIG. 2 and FIGS. 10 to 16. Only the differences will be described.
As shown in FIG. 2, the endoscope apparatus 2 according to the present embodiment includes an image processing unit 81 instead of the image processing unit 57 of the endoscope apparatus 1 according to the first embodiment.
When the image processing unit 81 detects that the same position as the irradiated region W1 of the newly extracted image (extracted image) newly created by the image cutout unit 54 is already stored in the main memory 56 Then, processing as described below is performed. That is, the line of sight converted from the reference extracted image (extracted image) associated with the same position and already stored in the main memory 56 based on the orientation of the light emitting unit 26 when the image obtained by extracting the newly extracted image is acquired. The converted image and the newly extracted image are displayed on the display unit 70.

より具体的に説明すると、主メモリ５６に、図１０に示す参照抽出画像Ｈ１〜Ｈ４が既に記憶されていて、再び測定対象物Ｗの新規抽出画像を取得する場合を考える。このような場合としては、たとえば、地下空洞などに挿入部１０を挿入していくときに参照抽出画像Ｈiを主メモリ５６に既に記憶していて、この地下空洞などから挿入部１０を取出していくときに新規抽出画像を取得する場合や、この参照抽出画像Ｈiを取得し記憶してからたとえば数週間経過した後で再びこの地下空洞に挿入部１０を挿入していきながら新規抽出画像を取得する場合などが挙げられる。 More specifically, let us consider a case where the reference extracted images H 1 to H 4 shown in FIG. 10 are already stored in the main memory 56 and a new extracted image of the measurement object W is acquired again. As such a case, for example, a reference extraction image H i when inserts the insertion unit 10, such as an underground cavity already stored in the main memory 56, taking out the insertion portion 10 and the like the subsurface cavity When a new extracted image is acquired at any time, or after the reference extracted image Hi is acquired and stored, for example, after several weeks have passed, the newly extracted image is acquired while inserting the insertion portion 10 into the underground cavity again. The case where it acquires is mentioned.

使用者は、地下空洞中の所望の位置で、図１０および図１１に示すように、測定対象物Ｗに挿入部１０の先端硬質部１１が対向するように位置決めする。そして、操作部４０を操作することでＣＣＤ１８により被照射領域Ｗ１が写された測定対象物Ｗの画像を取得し、この画像から抽出した新規抽出画像Ｉ３（図１１参照）に写された被照射領域Ｗ１の位置などを算出する。
画像処理部８１は、この算出された位置が、主メモリ５６に既に記憶された、たとえば測定位置Ｑ３と同一の位置であると検出すると、測定位置Ｑ３に対応付けて記憶された参照抽出画像Ｈ３を新規抽出画像Ｉ３を抽出した画像を取得したときの発光部２６の向きＡ３に基づいて変換して視線変換画像を作成する。そして、図１２に示すように、この視線変換画像８２と新規抽出画像Ｉ３とを、表示部７０のＬＣＤ７１に表示させる。 The user positions the measurement object W at the desired position in the underground cavity so that the distal end hard portion 11 of the insertion portion 10 faces the measurement target W as shown in FIGS. Then, by operating the operation unit 40, the CCD 18 acquires an image of the measurement object W in which the irradiated area W1 is copied, and the object to be copied in the newly extracted image I 3 (see FIG. 11) extracted from this image. The position of the irradiation area W1 is calculated.
The image processing unit 81, this calculated position has already been stored in the main memory 56, for example, the measurement position Q 3 and detects that the identical position, the reference is stored in association with the measurement position Q 3 extraction to create a line of sight converted image by converting, based on the orientation A3 of the light emitting portion 26 when the image H 3 was obtained an image obtained by extracting new extracted image I 3. Then, as shown in FIG. 12, the line-of-sight conversion image 82 and the newly extracted image I 3 are displayed on the LCD 71 of the display unit 70.

視線変換画像８２は、参照抽出画像Ｈ３の向きおよび発光部２６の向きＡ３に対応した方向および比率で変形した状態で、ＬＣＤ７１に表示される。図１２に示す例では、視線変換画像８２は元の形状から一方向に圧縮して表示されている。 Gaze converted image 82 is in a state of being deformed in a direction and ratios corresponding to the direction A3 of the orientation and the light emitting portion 26 of the reference extract image H 3, is displayed on the LCD 71. In the example illustrated in FIG. 12, the line-of-sight converted image 82 is displayed by being compressed in one direction from the original shape.

このように構成された本実施形態の内視鏡装置２によれば、測定対象物Ｗの内部が狭く内部形状が複雑であっても、内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向Ｆから容易に観察し直すことができる
さらに、内視鏡装置２は画像処理部８１を備えているため、測定対象物Ｗの同一の位置を写した新規抽出画像Ｉ３と視線変換画像８２とを容易に比較することができる。そして、必要に応じて、不要となった一方の画像を主メモリ５６から消去して、主メモリ５６を効果的に使用することができる。 According to the endoscope apparatus 2 of the present embodiment configured as described above, even if the inside of the measurement object W is narrow and the internal shape is complicated, an internal image is acquired while measuring the entire internal shape. At the same time, it is possible to easily re-observe the acquired image from the desired line-of-sight direction F. Furthermore, since the endoscope apparatus 2 includes the image processing unit 81, a new image showing the same position of the measurement object W is obtained. the extracted image I 3 and gaze converted image 82 can be easily compared. Then, if necessary, one of the unnecessary images can be erased from the main memory 56, and the main memory 56 can be used effectively.

なお、本実施形態では、図１３に示すように、新規抽出画像Ｉ３に写された像の一方の側Ｂ１、および、視線変換画像８２に写された像の他方の側Ｂ２を互いに連続させてＬＣＤ７１に表示してもよい。このように表示することで、新規抽出画像Ｉ３と視線変換画像８２とをさらに容易に比較することができる。 In the present embodiment, as shown in FIG. 13, one side B1 of the image that was photographed in the new extracted image I 3, and, together were continuously other side B2 of the image that was photographed in sight converted image 82 May be displayed on the LCD 71. By thus displaying, it is possible to more easily compare the new extracted image I 3 and gaze converted image 82.

また、本実施形態は、内視鏡装置２が、観察レンズ１７に代えて、互いに視野角が異なってＣＣＤ１８の検出面１８ａ上に可視光線の像を結像させるとともに挿入部１０の先端に着脱可能な通常観察レンズおよび広角観察レンズをそれぞれ有する通常アダプタおよび広角アダプタを備える場合にも効果的である。
図１４（ａ）および図１５（ａ）に、視野角θ１が比較的狭い通常観察レンズを有する通常アダプタを用いた場合の画像Ｍ２と抽出画像Ｅ２との範囲を示し、図１４（ｂ）および図１５（ｂ）に、視野角θ２が比較的広い広角観察レンズを有する広角アダプタを用いた場合の画像Ｍ１１と抽出画像Ｅ１１との範囲を示す。
同一のＣＣＤ１８を用いているため、画像Ｍ２および画像Ｍ１１の画素数は一定であり、さらに、抽出画像Ｅ２および抽出画像Ｅ１１に写された像の基準面Ｓ２上での形状Ｋ２は互いに等しい。このため、図１６に示すように、ＬＣＤ７１に表示された抽出画像Ｅ２および抽出画像Ｅ１１は互いに同一形状となるが、抽出画像Ｅ２より抽出画像Ｅ１１の方が画像が粗くなる。
この場合においても、抽出画像Ｅ２と抽出画像Ｅ１１とを容易に比較することができる。 In this embodiment, the endoscope apparatus 2 forms an image of visible light on the detection surface 18a of the CCD 18 with different viewing angles instead of the observation lens 17, and is attached to and detached from the distal end of the insertion unit 10. It is also effective when a normal adapter and a wide-angle adapter each having a possible normal observation lens and wide-angle observation lens are provided.
FIGS. 14A and 15A show ranges of the image M 2 and the extracted image E 2 in the case of using a normal adapter having a normal observation lens having a relatively narrow viewing angle θ 1 . in b) and FIG. 15 (b), the indicating the range of the image M 11 and extraction image E 11 in the case of using a wide-angle adapter having a viewing angle theta 2 is relatively wide angle viewing lens.
Since the same CCD 18 is used, the number of pixels of the image M 2 and the image M 11 is constant, and the shape K on the reference plane S 2 of the images copied to the extracted image E 2 and the extracted image E 11 is further determined. 2 are equal to each other. Therefore, as shown in FIG. 16, the extraction image E 2 and extraction image E 11 is displayed on the LCD71 is mutually the same shape, towards the extraction image E 11 from extraction image E 2 is the image becomes rough.
In this case, the extraction image E 2 and extraction image E 11 can be easily compared.

（第３実施形態）
次に、本発明の第３実施形態について図２、図１７から図２０を参照しながら説明するが、前記実施形態と同一の部位には同一の符号を付してその説明は省略し、異なる点についてのみ説明する。
図２に示すように、本実施形態の内視鏡装置３は、前記第１実施形態の内視鏡装置１の画像処理部５７に代えて画像処理部９１を備えている。 (Third embodiment)
Next, a third embodiment of the present invention will be described with reference to FIG. 2 and FIG. 17 to FIG. Only the point will be described.
As shown in FIG. 2, the endoscope apparatus 3 of the present embodiment includes an image processing unit 91 instead of the image processing unit 57 of the endoscope apparatus 1 of the first embodiment.

図１７に示すように、参照抽出画像Ｈ１〜Ｈ４が既に主メモリ５６に記憶されていて、再び測定対象物Ｗの抽出画像を取得する場合を考える。
画像処理部９１は、仮想空間Ｉに配置された参照抽出画像Ｈiを視線方向Ｆから見たように変換した図１８に示す視線変換画像Ｇ１〜Ｇ４を含んだ視線変換全体画像中に、ＣＣＤ１８が新たに取得する画像から画像切出し部５４が抽出する抽出画像が配置される抽出画像配置範囲Ｒを重ね合わせた配置範囲表示画像９２を作成してＬＣＤ７１に表示させる。なお、配置範囲表示画像９２中の範囲Ｘは、まだ抽出画像が取得されていない範囲を示す。
ＬＣＤ７１には、ＣＣＤ１８が新たに取得するライブ画像（画像）９３が、配置範囲表示画像９２とともに表示される。 As illustrated in FIG. 17, consider a case where reference extracted images H 1 to H 4 are already stored in the main memory 56 and an extracted image of the measurement object W is acquired again.
The image processing unit 91 converts the reference extracted image H i arranged in the virtual space I into the entire line-of-sight conversion image including the line-of-sight conversion images G 1 to G 4 shown in FIG. Then, an arrangement range display image 92 in which the extracted image arrangement range R in which the extracted image extracted by the image cutout unit 54 is arranged from the image newly acquired by the CCD 18 is superimposed and displayed on the LCD 71. Note that the range X in the arrangement range display image 92 indicates a range for which an extracted image has not yet been acquired.
A live image (image) 93 newly acquired by the CCD 18 is displayed on the LCD 71 together with the arrangement range display image 92.

このように構成された本実施形態の内視鏡装置３によれば、測定対象物Ｗの内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向Ｆから観察し直すことができる。
さらに、仮想空間Ｉにおいて、既に記憶された参照抽出画像Ｈiの位置および範囲、および、これから取得する抽出画像が配置される抽出画像配置範囲Ｒを確認しながら抽出画像を取得する。このため、抽出画像の撮り残しを防止することができる。 According to the endoscope apparatus 3 of the present embodiment configured as described above, an internal image is acquired while measuring the entire internal shape of the measurement target W, and the acquired image is obtained from a desired line-of-sight direction F. Can be observed again.
Further, in the virtual space I, the extracted image is acquired while confirming the position and range of the reference extracted image H i already stored and the extracted image arrangement range R in which the extracted image to be acquired will be arranged. For this reason, it is possible to prevent unexposed portions of the extracted image.

また、本実施形態は、内視鏡装置３が抽出画像を自動で連続的に取得する場合にも効果的である。たとえば、図１９に示すように、測定対象物Ｗに対して内視鏡装置３の挿入部１０を移動させながら、たとえば１秒当たり数枚程度の抽出画像を連続的に取得する場合がある。
この場合、図２０に示すように、ＬＣＤ７１には、連続的に取得している画像から抽出された抽出画像を画像処理部９１で変換した視線変換画像Ｇと、ＣＣＤ１８が新たに取得する画像から画像切出し部５４が抽出する抽出画像が配置される抽出画像配置範囲Ｒとが重ね合わせて表示される。
この場合においても、抽出画像を連続的に取得しながら、抽出画像の撮り残しを防止することができる。 The present embodiment is also effective when the endoscope apparatus 3 automatically and continuously acquires extracted images. For example, as illustrated in FIG. 19, there are cases where, for example, about several extracted images per second are continuously acquired while the insertion unit 10 of the endoscope apparatus 3 is moved with respect to the measurement target W.
In this case, as shown in FIG. 20, the LCD 71 includes a line-of-sight converted image G obtained by converting the extracted image extracted from the continuously acquired image by the image processing unit 91 and an image newly acquired by the CCD 18. The extracted image arrangement range R in which the extracted image extracted by the image cutout unit 54 is arranged is displayed in an overlapping manner.
Even in this case, it is possible to prevent the extracted image from being left unrecorded while continuously acquiring the extracted image.

以上、本発明の第１実施形態から第３実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の構成の変更なども含まれる。さらに、各実施形態で示した構成のそれぞれを適宜組み合わせて利用できることは、言うまでもない。
たとえば、前記第１実施形態から第３実施形態では、発光部２６が赤色のレーザー光Ｌ１を照射し、被照射領域Ｗ１と隣接領域Ｗ２との色彩を異ならせることで、ＣＣＤ１８が取得する画像により使用者などが識別可能となるように構成した。しかし、発光部が所定の照度以上の白色の可視光線を照射して隣接領域Ｗ２より被照射領域Ｗ１の明るさを異ならせることで、被照射領域Ｗ１と隣接領域Ｗ２とを画像により識別可能となるように構成してもよい。
このとき、たとえば、照明ユニット１６が被照射領域Ｗ１および隣接領域Ｗ２を白色光で１００ｌｘの照度で照明したときに、発光部２６が被照射領域Ｗ１を照射する白色光単独の照度を１５０ｌｘ以上とすることが好ましい。 The first to third embodiments of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and the configuration does not depart from the gist of the present invention. Changes are also included. Furthermore, it goes without saying that the configurations shown in the embodiments can be used in appropriate combinations.
For example, in the first to third embodiments, the light emitting unit 26 emits the red laser light L1, and the irradiated region W1 and the adjacent region W2 have different colors, so that the image acquired by the CCD 18 can be obtained. It was configured so that the user could be identified. However, the irradiated region W1 and the adjacent region W2 can be distinguished from each other by irradiating the visible region with the white visible light having a predetermined illuminance or higher and making the brightness of the irradiated region W1 different from that of the adjacent region W2. You may comprise so that it may become.
At this time, for example, when the illumination unit 16 illuminates the irradiated region W1 and the adjacent region W2 with white light at an illuminance of 100 lx, the illuminance of the white light alone that the light emitting unit 26 irradiates the irradiated region W1 is 150 lx or more. It is preferable to do.

また、前記第１実施形態から第３実施形態では、発光部２６が赤色のレーザー光Ｌ１を照射し、ＣＣＤ１８が可視光線を検出するものとし、発光部２６は、照射するレーザー光Ｌ１により被照射領域Ｗ１と隣接領域Ｗ２とを使用者などが識別可能となるように色彩を異ならせるとした。
しかし、発光部が赤外線を照射し、挿入部１０のＣＣＤが赤外線および可視光線を検出可能なものであり、発光部は、自身が照射する赤外線により被照射領域Ｗ１と隣接領域Ｗ２とを識別可能となるように赤外線の強度を異ならせるように構成してもよい。同様に、発光部が紫外線を照射し、ＣＣＤが紫外線および可視光線を検出可能なものであり、発光部は、自身が照射する紫外線により被照射領域Ｗ１と隣接領域Ｗ２とを識別可能となるように紫外線の強度を異ならせるように構成してもよい。 In the first to third embodiments, the light emitting unit 26 emits red laser light L1 and the CCD 18 detects visible light. The light emitting unit 26 is irradiated with the irradiated laser light L1. The region W1 and the adjacent region W2 are made different in color so that the user can identify them.
However, the light emitting unit emits infrared light, and the CCD of the insertion unit 10 can detect infrared light and visible light, and the light emitting unit can distinguish between the irradiated region W1 and the adjacent region W2 by the infrared light irradiated by itself. You may comprise so that the intensity | strength of infrared rays may differ so that it may become. Similarly, the light emitting unit emits ultraviolet rays, and the CCD can detect ultraviolet rays and visible light, and the light emitting unit can distinguish the irradiated region W1 and the adjacent region W2 by the ultraviolet rays irradiated by itself. It may be configured so that the intensity of ultraviolet rays is different.

また、前記第１実施形態から第３実施形態では、図２１に示すように、内視鏡装置が測定対象物Ｗの表面の傾きを検出し、挿入部１０の軸線Ｃに１対する測定対象物Ｗの表面の傾きが所定の値以上である場合には、使用者に注意を促す表示を示したり、音声を発したりするように構成してもよい。
注意を促す条件としては、たとえば、挿入部１０の可撓管部１３の位置を固定した状態で湾曲部１２の先端を角度β湾曲させる前後での測定距離ｄ１、ｄ２に対して（３）式の値が所定の閾値を越えるときとすることができる。
｜ｄ１−ｄ２｜／β ・・（３）
使用者に注意を促す表示としては、図２２に示すように、ＬＣＤ７１に測定対象物Ｗの傾きが大きくなるように従って、正方形から、対向する一辺Ｚ１に対して他辺Ｚ２が短くなる台形に変形する指標Ｚを用いてもよい。また、使用者に注意を促す音声としては、「挿入部が正面を向くように調整してください」などのような文章を用いることができる。 In the first to third embodiments, as shown in FIG. 21, the endoscope apparatus detects the inclination of the surface of the measurement object W, and the measurement object with respect to the axis C of the insertion unit 10. When the inclination of the surface of W is equal to or greater than a predetermined value, it may be configured to display a display that alerts the user or to emit a sound.
As a condition to call attention, for example, (3) with respect to the measurement distances d 1 and d 2 before and after the distal end of the bending portion 12 is bent by an angle β while the position of the flexible tube portion 13 of the insertion portion 10 is fixed. ) When the value of the expression exceeds a predetermined threshold.
| D 1 −d 2 | / β (3)
As a display for alerting the user, as shown in FIG. 22, as the inclination of the measuring object W increases on the LCD 71, the square is transformed into a trapezoid in which the other side Z2 is shorter than the opposite side Z1. The index Z to be used may be used. In addition, a sentence such as “Adjust so that the insertion portion faces the front” can be used as a voice to alert the user.

前記第１実施形態から第３実施形態では、たとえば、観察レンズ１７がピントを調節できる距離の範囲内に距離測定部２０が測定する測定距離ｄiが入ったときに、内視鏡装置が自動的に所定の時間間隔で抽出画像を取得するように構成してもよい。また、距離測定部２０が測定する測定距離ｄiが、観察レンズ１７がピントを調節できる距離よりも長い場合に、「挿入部を測定対象物に近づけて下さい」のような案内の音声を発してもよい。
前記第１実施形態から第３実施形態では、距離測定部２０としてＴＯＦ型の距離センサを用いた。しかし、内視鏡装置で用いられる距離センサはこれに限ることなく、たとえば、三角測量方式、ステレオ計測方式、そしてマルチレーザポイント方式などの周知の距離センサを用いることができる。 In the first to third embodiments, for example, when the measurement distance d i measured by the distance measuring unit 20 is within the distance range in which the observation lens 17 can adjust the focus, the endoscope apparatus automatically operates. In other words, the extracted images may be acquired at predetermined time intervals. When the measurement distance d i measured by the distance measurement unit 20 is longer than the distance that the observation lens 17 can adjust the focus, a guidance voice such as “Please bring the insertion unit closer to the measurement object” is generated. May be.
In the first to third embodiments, a TOF type distance sensor is used as the distance measuring unit 20. However, the distance sensor used in the endoscope apparatus is not limited to this, and a known distance sensor such as a triangulation method, a stereo measurement method, and a multi-laser point method can be used.

また、前記第１実施形態から第３実施形態では、撮像装置が内視鏡装置であるとしたが、撮像装置は内視鏡装置に限ることなく、照明部および撮像素子を有する先端ユニットが挿入部の先端に回動可能に支持されたパイプカメラなどでもよい。
前記第１実施形態から第３実施形態では、２つの画像に写されたものの大きさを比較する必要が無い場合は、抽出画像は画像と同じ大きさであってもよい。 In the first to third embodiments, the imaging device is an endoscope device. However, the imaging device is not limited to the endoscope device, and a tip unit having an illumination unit and an imaging element is inserted. A pipe camera or the like supported rotatably at the tip of the part may also be used.
In the first to third embodiments, the extracted image may be the same size as the image when it is not necessary to compare the sizes of the two images.

１、２、３ 内視鏡装置（撮像装置）
１０ 挿入部
１８ ＣＣＤ（撮像素子）
２０ 距離測定部（測定部）
２１ 位置センサ（位置測定部）
２２ 姿勢センサ（姿勢測定部）
２６ 発光部
２８ 受光部
５４ 画像切出し部
５５ 領域状態算出部
５６ 主メモリ（記憶部）
５７、８１、９１ 画像処理部
６４ フロントパネル（方向入力部）
７０ 表示部
Ｄ 受信方向
Ｅi 抽出画像
Ｆ 視線方向
Ｈ 参照抽出画像
Ｉ 仮想空間
Ｉi 新規抽出画像
Ｍi 画像
Ｓi 基準面
Ｗ 測定対象物
Ｗ１ 被照射領域 1, 2, 3 Endoscopic devices (imaging devices)
10 Insertion section 18 CCD (imaging device)
20 Distance measurement unit (measurement unit)
21 Position sensor (position measuring unit)
22 Attitude sensor (Attitude measurement unit)
26 Light Emitting Unit 28 Light Receiving Unit 54 Image Extraction Unit 55 Region State Calculation Unit 56 Main Memory (Storage Unit)
57, 81, 91 Image processing unit 64 Front panel (direction input unit)
70 display unit D receives the direction E i extracted image F gaze direction H reference extract image I virtual space I i new extraction image M i image S i reference plane W measuring object W1 irradiation regions

Claims (6)

可視光線を検出し、検出した前記可視光線から画像を取得する撮像素子と、
測定対象物の被照射領域に可視光線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する可視光線の明るさおよび色彩の少なくとも一つを前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの可視光線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、
前記画像を表示する表示部と、
前記発光部の位置を測定する位置測定部と、
前記発光部が可視光線を照射する向きを測定する姿勢測定部と、
前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、
前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、
前記撮像素子、前記発光部および前記受光部が先端側に配置された挿入部と、
前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、
視線方向を入力するための方向入力部と、
仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、
を備えることを特徴とする撮像装置。 An image sensor that detects visible light and acquires an image from the detected visible light;
Irradiate the irradiated area of the measurement object with visible light, and at least one of the brightness and color of the visible light reflected by the irradiated area with respect to a portion of the measurement object adjacent to the irradiated area is the image A light-emitting unit that can be discriminated differently, and a light-receiving unit that detects visible light from a predetermined light-receiving direction, and a measuring unit that measures the distance from the light-emitting unit to the irradiated region;
A display unit for displaying the image;
A position measuring unit for measuring the position of the light emitting unit;
A posture measuring unit that measures the direction in which the light emitting unit emits visible light; and
An area state calculation unit that calculates the position and orientation of the irradiated region based on the position and orientation of the light emitting unit and the distance from the light emitting unit to the irradiated region;
An image cutout unit for extracting an area including the irradiated area from the image and creating an extracted image;
And interpolation join the club to the imaging device, the light emitting portion and the light receiving portion is disposed on the distal end side,
A storage unit for storing the extracted image in association with the position and the orientation calculated by the region state calculation unit;
A direction input unit for inputting a gaze direction;
An image processing unit that creates an entire line-of-sight conversion image obtained by converting the extracted image arranged in the virtual space based on the position and the direction based on the line-of-sight direction, and displays the image on the display unit;
An imaging apparatus comprising: 可視光線および赤外線を検出し、検出した前記可視光線および赤外線から画像を取得する撮像素子と、
測定対象物の被照射領域に赤外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する赤外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの赤外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、
前記画像を表示する表示部と、
前記発光部の位置を測定する位置測定部と、
前記発光部が赤外線を照射する向きを測定する姿勢測定部と、
前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、
前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、
前記撮像素子、前記発光部および前記受光部が先端側に配置された挿入部と、
前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、
視線方向を入力するための方向入力部と、
仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、 を備えることを特徴とする撮像装置。 An image sensor that detects visible light and infrared light, and acquires an image from the detected visible light and infrared light,
A light emitting unit that irradiates the irradiated region of the measurement object with infrared rays and distinguishes the intensity of the infrared rays reflected by the irradiated region with respect to a portion adjacent to the irradiated region in the measurement object; And a light receiving unit that detects infrared rays from a predetermined light receiving direction, and a measuring unit that measures a distance from the light emitting unit to the irradiated region;
A display unit for displaying the image;
A position measuring unit for measuring the position of the light emitting unit;
A posture measuring unit that measures the direction in which the light emitting unit emits infrared rays; and
An area state calculation unit that calculates the position and orientation of the irradiated region based on the position and orientation of the light emitting unit and the distance from the light emitting unit to the irradiated region;
An image cutout unit for extracting an area including the irradiated area from the image and creating an extracted image;
And interpolation join the club to the imaging device, the light emitting portion and the light receiving portion is disposed on the distal end side,
A storage unit for storing the extracted image in association with the position and the orientation calculated by the region state calculation unit;
A direction input unit for inputting a gaze direction;
An image processing unit that creates a gaze conversion whole image obtained by converting the extracted image arranged in the virtual space based on the position and the direction based on the gaze direction, and displays the entire image on the display unit. An imaging device. 可視光線および紫外線を検出し、検出した前記可視光線および紫外線から画像を取得する撮像素子と、
測定対象物の被照射領域に紫外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する紫外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの紫外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、
前記画像を表示する表示部と、
前記発光部の位置を測定する位置測定部と、
前記発光部が紫外線を照射する向きを測定する姿勢測定部と、
前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、
前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、
前記撮像素子、前記発光部および前記受光部が先端側に配置された挿入部と、
前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、
視線方向を入力するための方向入力部と、
仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、
を備えることを特徴とする撮像装置。 An imaging device that detects visible light and ultraviolet light, and acquires an image from the detected visible light and ultraviolet light,
A light emitting unit for irradiating the irradiated region of the measurement object with ultraviolet light and distinguishing the intensity of the ultraviolet light reflected by the irradiated region with respect to a portion adjacent to the irradiated region in the measurement object; And a light receiving unit that detects ultraviolet rays from a predetermined light receiving direction, and a measuring unit that measures a distance from the light emitting unit to the irradiated region;
A display unit for displaying the image;
A position measuring unit for measuring the position of the light emitting unit;
An attitude measuring unit that measures the direction in which the light emitting unit emits ultraviolet rays; and
An area state calculation unit that calculates the position and orientation of the irradiated region based on the position and orientation of the light emitting unit and the distance from the light emitting unit to the irradiated region;
An image cutout unit for extracting an area including the irradiated area from the image and creating an extracted image;
And interpolation join the club to the imaging device, the light emitting portion and the light receiving portion is disposed on the distal end side,
A storage unit for storing the extracted image in association with the position and the orientation calculated by the region state calculation unit;
A direction input unit for inputting a gaze direction;
An image processing unit that creates an entire line-of-sight conversion image obtained by converting the extracted image arranged in the virtual space based on the position and the direction based on the line-of-sight direction, and displays the image on the display unit;
An imaging apparatus comprising: 前記画像切出し部は、前記被照射領域を通るとともに前記画像を取得したときの前記発光部の向きに直交する基準面を規定したときに、前記抽出画像に写された像の前記基準面上での形状が互いに等しくなるように前記画像から前記抽出画像を抽出し、
前記画像処理部は、それぞれの前記抽出画像を前記表示部に表示させることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。 When the image cutout section defines a reference plane that passes through the irradiated region and is orthogonal to the direction of the light emitting section when the image is acquired, the image cutout section is on the reference plane of the image copied to the extracted image. Extracting the extracted image from the image so that the shapes of
The imaging apparatus according to claim 1, wherein the image processing unit displays each extracted image on the display unit. 前記画像処理部は、前記画像切出し部で新たに作成された前記抽出画像である新規抽出画像の前記被照射領域の位置と同一の位置が前記記憶部に既に記憶されていることを検出したときに、
前記同一の位置に対応付けられて前記記憶部に既に記憶された前記抽出画像である参照抽出画像を前記新規抽出画像を抽出した前記画像を取得したときの前記発光部の向きに基づいて変換した視線変換画像と、前記新規抽出画像とを前記表示部に表示させることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。 When the image processing unit detects that the same position as the position of the irradiated region of the newly extracted image, which is the extracted image newly created by the image cutout unit, is already stored in the storage unit In addition,
The reference extracted image that is the extracted image that is associated with the same position and is already stored in the storage unit is converted based on the orientation of the light emitting unit when the image obtained by extracting the new extracted image is acquired. The imaging apparatus according to any one of claims 1 to 3, wherein a line-of-sight conversion image and the newly extracted image are displayed on the display unit. 前記画像処理部は、前記視線変換全体画像中に、前記撮像素子が新たに取得する前記画像から前記画像切出し部が抽出する前記抽出画像が配置される範囲を重ね合わせた配置範囲表示画像を作成して前記表示部に表示させ、
前記表示部には、前記前記撮像素子が新たに取得する前記画像が表示されることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。 The image processing unit creates an arrangement range display image in which the range in which the extracted image extracted by the image cutout unit is arranged from the image newly acquired by the imaging device is superimposed on the entire line-of-sight conversion image To display on the display unit,
The imaging apparatus according to claim 1, wherein the image newly acquired by the imaging element is displayed on the display unit.
JP2010237511A 2010-10-22 2010-10-22 Imaging device Expired - Fee Related JP5513343B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010237511A JP5513343B2 (en) 2010-10-22 2010-10-22 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010237511A JP5513343B2 (en) 2010-10-22 2010-10-22 Imaging device

Publications (3)

Publication Number Publication Date
JP2012088278A JP2012088278A (en) 2012-05-10
JP2012088278A5 JP2012088278A5 (en) 2013-12-05
JP5513343B2 true JP5513343B2 (en) 2014-06-04

Family

ID=46260039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010237511A Expired - Fee Related JP5513343B2 (en) 2010-10-22 2010-10-22 Imaging device

Country Status (1)

Country Link
JP (1) JP5513343B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102290991B1 (en) * 2014-12-02 2021-08-18 삼성전자주식회사 The method for generating thermal image and apparatus thereof
JP2019045710A (en) * 2017-09-04 2019-03-22 Ｊｆｅスチール株式会社 Piping internal-diagnosis equipment and piping internal-diagnosis method

Also Published As

Publication number Publication date
JP2012088278A (en) 2012-05-10

Similar Documents

Publication Publication Date Title
US11517200B2 (en) Processing images from annular receptor arrays
US20230073561A1 (en) Device and method for tracking the position of an endoscope within a patient&#39;s body
US9357945B2 (en) Endoscope system having a position and posture calculating portion
US9326660B2 (en) Endoscope system with insertion support apparatus
JP5159995B2 (en) Endoscope system
US20160198982A1 (en) Endoscope measurement techniques
US20110060185A1 (en) Medical device system and calibration method for medical instrument
US9848124B2 (en) Endoscope system and endoscope video processor
US8764635B2 (en) Endoscope apparatus
JP2006325741A (en) Endoscope apparatus for measurement and program for endoscope
JP5608503B2 (en) Imaging device
JP2011234871A (en) Endoscope system
JP5513343B2 (en) Imaging device
JP5953443B2 (en) Endoscope system
US20140253685A1 (en) Medical apparatus
JP6150579B2 (en) Insertion device
CN110769731A (en) Endoscope system and method for operating endoscope system
US10912444B2 (en) Image processing apparatus, image processing method, and endoscope
CN111511282A (en) Endoscope non-contact measuring device
JP2008229219A (en) Electronic endoscope system
JP5576758B2 (en) Guide tube device and endoscope system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131017

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140327

R151 Written notification of patent or utility model registration

Ref document number: 5513343

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

LAPS Cancellation because of no payment of annual fees