WO2018105350A1 - 内視鏡装置及び画像表示方法 - Google Patents
内視鏡装置及び画像表示方法 Download PDFInfo
- Publication number
- WO2018105350A1 WO2018105350A1 PCT/JP2017/041242 JP2017041242W WO2018105350A1 WO 2018105350 A1 WO2018105350 A1 WO 2018105350A1 JP 2017041242 W JP2017041242 W JP 2017041242W WO 2018105350 A1 WO2018105350 A1 WO 2018105350A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- unit
- rotation
- examination
- images
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
Definitions
- the present invention relates to an endoscope apparatus and an image display method.
- Japanese Patent Application Laid-Open No. 2007-113212 discloses that a gas turbine is provided in the gas turbine while rotating the gas turbine at a low speed in a state where the bore scope inserted from the bore scope inspection hole is disposed in the turbine casing. Techniques for inspecting the turbine blades are disclosed.
- an operator confirms a moving image obtained by imaging a rotating blade with an endoscope, and the like, such as scratches and / or breakage caused on the blade.
- the abnormal part is identified visually. For this reason, in the above-described inspection methods, for example, an oversight of an abnormal part due to a low level of skill of an operator or the like is likely to occur, and as a result, an inspection at the time of inspecting a rotatable subject There is a problem that efficiency is lowered.
- Japanese Laid-Open Patent Publication No. 2007-113212 does not particularly disclose a configuration that can solve the above-mentioned problems, that is, there are still problems corresponding to the above-mentioned problems. .
- the present invention has been made in view of the above-described circumstances, and provides an endoscope apparatus and an image display method capable of improving the examination efficiency when examining a rotatable subject as compared with the conventional technique.
- the purpose is that.
- An endoscope apparatus includes an imaging unit that images a subject including a plurality of examination sites that can rotate and move according to a rotational force supplied from a rotation assisting tool, and the imaging unit
- An image generation unit that generates and sequentially outputs an image of the subject imaged by the method, and at least one of the plurality of examination sites that are rotationally moved by the rotation assisting tool has a desired angle of view.
- a control unit that performs an operation for sequentially displaying a plurality of still images obtained by freezing images sequentially output from the image generation unit on the display unit at each timing estimated to be captured in Have
- An endoscope apparatus includes an imaging unit that images a subject including a plurality of examination sites that can rotate and move according to a rotational force supplied from a rotation assisting tool, and the plurality of the imaging units While performing the operation
- parts were imaged with the desired angle of view on the display part, the said 1 currently displayed on the said display part
- a control unit that performs control to rotate and move the plurality of examination parts with the rotation assisting tool so that the one or more examination parts are imaged at the same angle of view as two still images.
- an imaging unit captures an image of a subject including a plurality of examination sites that can be rotated according to a rotational force supplied from a rotation assisting tool
- an image A generation unit generates and sequentially outputs an image of the subject imaged by the imaging unit
- a control unit is one of the plurality of examination sites that are rotated by the rotation assisting tool.
- a plurality of still images obtained by freezing images sequentially output from the image generation unit are sequentially displayed on the display unit at each timing when it is estimated that the above examination site is imaged at a desired angle of view. Performing an operation for.
- An image display method includes a step of imaging an object including a plurality of examination sites that can be rotated and moved in accordance with a rotational force supplied from a rotation assisting tool.
- the unit performs an operation for acquiring and displaying on the display unit one still image in which one or more inspection parts of the plurality of inspection parts are captured at a desired angle of view.
- movement of FIG. The figure which shows an example of the freeze image displayed according to the operation
- movement of FIG. The figure which shows an example of the freeze image displayed according to the operation
- movement of FIG. The flowchart for demonstrating the temporary stop operation
- (First embodiment) 1 to 7 relate to a first embodiment of the present invention.
- the endoscope apparatus 1 includes an insertion portion 2 formed with an elongated shape and flexibility that can be inserted into a casing of a steam turbine, and a proximal end portion of the insertion portion 2. And a main body portion 3 connected to the main body 3.
- An imaging unit configured to capture an image of a turbine blade (hereinafter abbreviated as a blade) 102 of a turbine main body 101 that is an object provided in a casing of the steam turbine, at the distal end of the insertion unit 2. 21 is provided.
- a light guide 22 for guiding illumination light supplied from the main body portion 3 to the distal end portion of the insertion portion 2 and emitting it to the blade 102 which is an inspection site is provided inside the insertion portion 2. .
- the turbine main body 101 includes a plurality of blades 102 and a turbine rotating shaft 103.
- the turbine body 101 is configured to be able to rotate and move the plurality of blades 102 in accordance with the rotation of the turbine rotating shaft 103.
- the imaging unit 21 includes an objective lens unit 21A and an imaging element 21B.
- the objective lens unit 21A includes one or more lenses for forming an image of reflected light from an examination site (subject) illuminated by illumination light emitted through the light guide 22.
- the imaging element 21B is configured to include, for example, a color CCD or a color CMOS. Further, the image sensor 21 ⁇ / b> B is configured to be driven in accordance with an image sensor drive signal output from the main body 3. The imaging element 21B is configured to capture the reflected light imaged by the objective lens unit 21A to generate an imaging signal and to output the generated imaging signal to the main body unit 3.
- the main body 3 is configured to be connectable to a rotation assisting tool 6 provided outside the endoscope apparatus 1 via a signal cable or a communication cable.
- the main unit 3 includes a light source unit 31, a light source driving unit 32, an image sensor driving unit 33, an imaging signal processing unit 34, a display unit 35, a storage unit 36, and an input I / F (interface) unit. 37, a rotation assisting tool control unit 38, and a CPU 39.
- the light source unit 31 includes, for example, an LED or a lamp.
- the light source unit 31 is configured to be turned on or off in accordance with a light source drive signal output from the light source drive unit 32.
- the light source unit 31 is configured to supply, for example, white light having a light amount corresponding to a light source drive signal output from the light source drive unit 32 to the light guide 22 as illumination light.
- the light source driving unit 32 includes, for example, a light source driving circuit. Further, the light source driving unit 32 is configured to generate and output a light source driving signal for driving the light source unit 31 in accordance with the control of the CPU 39.
- the image sensor driving unit 33 includes, for example, an image sensor driving circuit. Further, the image sensor drive unit 33 is configured to generate and output an image sensor drive signal for driving the image sensor 21 ⁇ / b> B under the control of the CPU 39.
- the imaging signal processing unit 34 includes, for example, a signal processing circuit.
- the imaging signal processing unit 34 generates endoscopic image data by performing predetermined signal processing on the imaging signal output from the imaging element 21 ⁇ / b> B according to the control of the CPU 39, and the generated endoscope The mirror image data is sequentially output to the CPU 39. That is, the imaging signal processing unit 34 is configured to have a function as an image generation unit that generates and sequentially outputs an image of the turbine body 101 captured by the imaging unit 21.
- the display unit 35 includes, for example, a liquid crystal panel.
- the display unit 35 is configured to display an image corresponding to the display image data output from the CPU 39 on the display screen.
- the display unit 35 includes a touch panel 35A that detects a touch operation on a GUI (graphical user interface) button or the like displayed on the display screen and outputs an instruction corresponding to the detected touch operation to the CPU 39. Has been.
- GUI graphical user interface
- the storage unit 36 includes, for example, a storage circuit such as a memory.
- the storage unit 36 is configured to store still image data and moving image data according to the endoscope image data generated by the imaging signal processing unit 34.
- the storage unit 36 stores a program used for controlling each unit of the endoscope apparatus 1 by the CPU 39.
- the storage unit 36 is configured to appropriately store data generated in accordance with the operation of the CPU 39.
- the input I / F unit 37 includes a switch or the like that can instruct the CPU 39 according to a user's input operation. Further, the input I / F unit 37 is configured to be able to input rotation control information that is information used for control (described later) of the rotation assisting tool 6 by the CPU 39 in accordance with a user operation.
- the rotation assisting tool control unit 38 includes, for example, a control circuit and a drive circuit. Further, the rotation assist tool control unit 38 is configured to generate and output a rotation assist tool control signal for setting and controlling the rotation assist tool 6 in accordance with the control of the CPU 39. Further, the rotation assist tool control unit 38 is configured to receive rotation information (described later) transmitted from the rotation assist tool 6 and to output the received rotation information to the CPU 39.
- the CPU 39 is based on an instruction made in response to a touch operation on the touch panel 35 ⁇ / b> A and / or an instruction made in response to an operation on the input I / F unit 37, and the light source driving unit 32, the image sensor driving unit 33, and the imaging signal processing unit 34. It is comprised so that control may be performed. Further, the CPU 39 relates to the rotational movement of the plurality of blades 102 based on the rotation control information input according to the operation of the input I / F unit 37 and the rotation information output from the rotation assisting tool control unit 38. The setting and control are performed on the rotation assisting tool control unit 38.
- the CPU 39 can generate display image data in which a GUI button or the like is superimposed on image data such as endoscopic image data output from the imaging signal processing unit 34 and output the display image data to the display unit 35. It is configured. Further, the CPU 39 can encode the endoscope image data output from the imaging signal processing unit 34 into still image data such as JPEG and moving image data such as MPEG4 and store the encoded image data in the storage unit 36. It is configured. Further, the CPU 39 reads the image data (still image data and moving image data) stored in the storage unit 36 based on an instruction made in response to the operation of the touch panel 35A or the input I / F unit 37, and the read The display image data corresponding to the image data can be generated and output to the display unit 35.
- the CPU 39 performs image recognition processing on image data such as endoscopic image data output from the imaging signal processing unit 34, so that scratches and / or defects in the blade 102 included in the image data are detected. It is comprised so that the abnormal location which is an occurrence location can be detected.
- the CPU 39 is configured to generate display image data in which visual information indicating the abnormal portion of the blade 102 detected as described above is superimposed on the image data and output the display image data to the display unit 35.
- the CPU 39 is configured to perform predetermined image processing such as color space conversion, interlace / progressive conversion, and gamma correction on the display image data output to the display unit 35.
- the rotation assist tool 6 is configured to be connectable to the rotation assist tool control unit 38 of the main body 3 via a signal cable or a communication cable.
- the rotation assisting tool 6 includes a rotation mechanism 61 and a rotation information acquisition unit 62.
- the rotation auxiliary tool 6 is configured to be connected to the turbine rotation shaft 103 of the turbine main body 101 via the rotation mechanism 61.
- the rotation assist tool 6 is configured to be able to perform settings related to the operation of the rotation mechanism 61 in accordance with a rotation assist tool control signal output from the main body unit 3.
- the rotation mechanism 61 is configured to include a gear or the like, for example.
- the rotation mechanism 61 generates a rotational force by rotating with parameters set according to the rotation assist tool control signal output from the main body 3, and supplies the generated rotational force to the turbine rotation shaft 103. By doing so, the plurality of blades 102 can be rotated and moved.
- the rotation information acquisition unit 62 acquires, for example, rotation information that is information that can identify the current rotation positions of the plurality of blades 102 that are rotated and moved by the rotation mechanism 61 based on the rotation state of the rotation mechanism 61.
- the acquired rotation information is configured to be transmitted to the main body unit 3.
- FIG. 2 is a flowchart for explaining an operation performed in the endoscope apparatus according to the first embodiment.
- the user inserts the insertion portion 2 into the casing of the steam turbine while checking the live image (moving image) displayed on the display portion 35.
- One blade 102 provided in the turbine main body 101 is fixed by disposing the distal end portion of the insertion portion 2 at a position where it can be imaged at a user's desired angle of view.
- the user connects the main body 3 and the rotation assisting tool 6 using a signal cable or a communication cable.
- the imaging unit 21 captures an image of one blade 102 provided in the turbine main body 101 (at a user's desired angle of view) and outputs an imaging signal.
- the unit 34 generates endoscopic image data corresponding to the imaging signal and outputs it to the CPU 39.
- the user operates the input I / F unit 37 to input an identification number of the turbine body 101 and rotation control information that is information used for controlling the rotation assisting tool 6 by the CPU 39. Further, the user operates the input I / F unit 37 at a desired timing after completing the input of the identification number and the rotation control information of the turbine main body 101 to give an instruction related to the start of inspection of the turbine main body 101. .
- the rotation control information of the present embodiment includes, for example, the blade total number N (2 ⁇ N), which is the total number of blades 102 that rotate and move as the turbine rotation shaft 103 rotates, and is adjacent to the turbine main body 101.
- a rotation amount RQ that is a rotation amount between the provided blades 102, a rotation speed RS that is a rotation speed when the turbine rotation shaft 103 is rotated at a constant speed, and a plurality of blades immediately before the inspection of the turbine body 101 is started.
- Rotation position RP which is information indicating the rotation position 102, is included.
- the blade total number N and the rotation amount RQ are parameters obtained in advance by measurement using the rotation auxiliary tool 6 or the like.
- the rotation speed RS is a parameter that can be set to a value desired by the user.
- the rotational position RP is provided in the input I / F unit 37 or the rotation assisting tool 6 in a period from when the user completes the arrangement of the distal end of the insertion unit 2 to immediately before the rotation control information is input, for example.
- This parameter is obtained in advance by operating an input operation unit (not shown), and instructing the rotation information acquisition unit 62 to acquire rotation information corresponding to the rotation position of the rotation mechanism 61.
- the rotational position RP is in a state where the distal end portion of the insertion portion 2 is disposed at a position where one or more blades 102 provided in the turbine main body 101 can be imaged at a user's desired angle of view. Anything can be acquired. That is, in the present embodiment, one or more blades 102 imaged at a user's desired angle of view, still image data acquired according to the operation of the CPU 39, and a freeze image displayed on the display unit 35. Etc. may be included.
- step S1 in FIG. 2 when the CPU 39 detects that the input of the identification number and the rotation control information of the turbine body 101 has been completed based on the instruction made in response to the operation of the input I / F unit 37 (step S1 in FIG. 2). Then, an operation for associating the identification number and the rotation control information with each other and storing them in the storage unit 36 is performed.
- rotation control information associated with the identification number input in accordance with the operation of the input I / F unit 37 at the time of the second and subsequent inspections of the turbine body 101, for example. Can be read from the storage unit 36. That is, according to the operation of the CPU 39 as described above, it is possible to omit the input of the rotation control information during the second and subsequent inspections of the turbine body 101.
- the CPU 39 performs control for setting the rotation amount RQ and the rotation speed RS included in the rotation control information input in step S1 of FIG. 2 in the rotation auxiliary tool 6 on the rotation auxiliary tool control unit 38 (FIG. 2). Step S2).
- the rotation assisting tool 6 may be set.
- CPU39 performs the operation
- the CPU 39 captures one blade imaged at a user's desired angle of view based on the rotation control information input in step S1 of FIG. 2 and the endoscopic image data sequentially output from the imaging signal processing unit 34.
- the still image data including 102 is acquired, and an operation for generating a freeze image using the acquired still image data and displaying it on the display unit 35 is performed (step S4 in FIG. 2).
- the CPU 39 performs an operation for displaying the freeze image on the display unit 35 in step S4 of FIG. 2, and outputs the rotation control information input in step S1 of FIG. Based on the rotation information to be performed, an operation for specifying the blade number of the blade 102 currently imaged by the imaging unit 21 is performed.
- the blade 102 being imaged immediately after completing the operation of step S3 in FIG. 2 is specified as the blade of blade number 1. Further, according to the operation of the CPU 39 as described above, for example, the blade number of the blade 102 imaged immediately after completing the operation of step S11 in FIG. Can be identified.
- the CPU 39 determines that the blade 102 with the blade number i (1 ⁇ i ⁇ N) is the user based on the rotation control information input in step S1 of FIG. 2 and the rotation information output from the rotation assisting control unit 38. It is estimated that the blade 102 with the blade number i is assumed to be present at a position defined by the rotational position RP, the rotational amount RQ, and the rotational speed RS. At the timing, the endoscope image data sequentially output from the imaging signal processing unit 34 is frozen to obtain still image data of the blade number i.
- the CPU 39 applies a character string indicating the blade number of the blade 102 and one character to the still image data obtained by freezing the endoscope image data sequentially output from the imaging signal processing unit 34 at the aforementioned timing.
- Display image data is generated by superimposing the above GUI buttons, and the generated display image data is displayed on the display unit 35 as a freeze image.
- FIG. 3 is a diagram illustrating an example of a freeze image displayed in accordance with the operation of FIG.
- the Pass button 202 is configured as, for example, a GUI button that can instruct that the blade 102 included in the image displayed on the display unit 35 has passed the inspection in response to a user's touch operation.
- the Fail button 203 is configured as, for example, a GUI button that can instruct that the blade 102 included in the image displayed on the display unit 35 has failed the inspection in response to a user's touch operation.
- the Draw button 204 is configured, for example, as a GUI button capable of giving an instruction related to entry of an arbitrary character string, figure, or the like for the image displayed on the display unit 35 in accordance with a user's touch operation.
- the pause button 205 is configured, for example, as a GUI button capable of giving instructions related to the start and end of a pause operation, which will be described later, according to a user's touch operation.
- the operation of the CPU 39 as described above it is estimated that one or more blades 102 of the plurality of blades 102 rotated by the rotation assisting tool 6 are imaged at a desired angle of view.
- the still image data of blade numbers 1 to N obtained by freezing the endoscope image data sequentially output from the imaging signal processing unit 34 can be sequentially displayed on the display unit 35.
- the total number N of blades, the rotation amount RQ, the rotation speed RS, and the current rotation positions of the plurality of blades 102 that are rotated by the rotation auxiliary tool 6 are obtained.
- the aforementioned timing is estimated based on rotation information that is identifiable information.
- the CPU 39 is an operation for determining the presence / absence of an abnormal portion in the blade 102 included in the still image data based on the processing result obtained by performing the image recognition processing on the still image data acquired in step S4 of FIG. (Step S5 in FIG. 2).
- the CPU 39 performs a process for detecting an abnormal portion corresponding to the attention area for each of the still image data of blade numbers 1 to N acquired by the operation of step S4 in FIG. It has the function as.
- the CPU 39 causes the display unit 35 to display a freeze image in which visual information indicating an abnormal portion of the blade 102 which is a region of interest included in the still image data is superimposed on the still image data acquired in step S4 of FIG. Is performed (step S6 in FIG. 2).
- FIG. 4 is a diagram illustrating an example of a freeze image displayed in accordance with the operation of FIG.
- a freeze image 201 ⁇ / b> C with a frame line added along the outer periphery of the still image data may be displayed on the display unit 35.
- FIG. 5 is a diagram illustrating an example of a freeze image displayed in accordance with the operation of FIG.
- the CPU 39 identifies the turbine body 101 identification number input in step S1 of FIG. 2, the still image data acquired in step S4 of FIG. 2, the blade number of the blade 102 included in the still image data, and the still image.
- An operation for associating the inspection information of the blade 102 included in the data with the information stored in the storage unit 36 is performed (step S7 in FIG. 2).
- the examination information stored in the storage unit 36 in step S7 of FIG. 2 includes, for example, information related to an instruction according to the touch operation of the GUI button on the freeze image displayed on the display unit 35, and the image recognition of the CPU 39.
- Information indicating an abnormal portion of the blade 102 detected by the processing is included. Therefore, for example, when the Pass button 202 included in the freeze image is operated, a flag indicating that the inspection is passed is stored as the inspection information. Further, for example, when the Fail button 203 included in the freeze image is operated, a flag indicating that the inspection is unsuccessful is stored as the inspection information. For example, when the Draw button 204 included in the freeze image is operated, a character string, a figure, and the like written in the freeze image are stored as examination information.
- step S7 in FIG. 2 the CPU 39 performs an operation for detecting an instruction related to the start of the pause operation from the pause button 205 in the freeze image displayed on the display unit 35 (FIG. 2). 2 step S8).
- step S10 When the CPU 39 cannot detect an instruction related to the start of the pause operation from the pause button 205 (S8: NO), the CPU 39 continues the operation of step S10 in FIG. Further, when the CPU 39 can detect an instruction related to the start of the pause operation from the pause button 205 (S8: YES), after performing the operation of step S9 in FIG. 2, the CPU 39 in FIG. The operation of step S10 is performed.
- FIG. 6 is a flowchart for explaining a pause operation performed in the endoscope apparatus according to the first embodiment.
- each parameter included in the rotation control information input in step S1 of FIG. Based on the current rotation position of the rotation mechanism 61 obtained from the output rotation information, the rotation position of the blade 102 is returned to the position of the freeze image displayed on the display unit 35 immediately before the instruction is detected. Control for stopping the rotational movement of the blade 102 is performed on the rotation assisting tool control unit 38 (step S21 and step S22 in FIG. 6).
- the CPU 39 rotates the blade 102 at the position of the freeze image displayed on the display unit 35 immediately before detecting the instruction relating to the start of the pause operation in step S21 of FIG.
- the insertion unit 2 is curved so that the blade 102 is imaged at the same angle of view as the freeze image displayed on the display unit 35 immediately before detecting the instruction. You may make it perform the operation
- the CPU 39 After performing the operations of step S21 and step S22 in FIG. 6, the CPU 39 performs an operation for causing the display unit 35 to display the freeze image 201D on which the LIVE button 206 is superimposed, for example, as shown in FIG. Step S23 in FIG. 6).
- FIG. 7 is a diagram illustrating an example of a freeze image displayed in accordance with the pause operation of FIG.
- the LIVE button 206 is configured as, for example, a GUI button capable of giving an instruction to set (switch) the image displayed on the display unit 35 to either a freeze image or a live image according to a user's touch operation. Has been.
- the CPU 39 performs an operation for detecting whether the image displayed on the display unit 35 is set as a freeze image or a live image based on the instruction made at the LIVE button 206 (step S24 in FIG. 6). .
- the CPU 39 displays the live image corresponding to the moving image of the blade 102 currently captured by the imaging unit 21 on the display unit 35 by releasing the freeze of the endoscope image data output from the imaging signal processing unit 34.
- movement for making it perform is performed (step S25 of FIG. 6). Further, in step S25 of FIG. 6, the CPU 39 performs an operation for causing the display unit 35 to display a live image of the blade 102 that is currently captured by the imaging unit 21, and performs GUI buttons (Pass) other than the LIVE button 206. An operation for invalidating an instruction corresponding to the operation of the button 202, the fail button 203, the draw button 204, and the pause button 205) is performed.
- the image displayed on the display unit 35 is set as a live image, instructions according to operations of the Pass button 202, the Fail button 203, and the Draw button 204 are validated. It may be.
- the CPU 39 detects whether the image displayed on the display unit 35 is set as a freeze image or a live image based on an instruction given in the LIVE button 206 after performing the operation of step S25 in FIG. The operation for this is performed (step S26 in FIG. 6).
- the CPU 39 obtains still image data by freezing the endoscope image data output from the imaging signal processing unit 34, generates a freeze image using the obtained still image data, and displays the freeze image on the display unit 35.
- movement for making it perform is performed (step S27 of FIG. 6). Further, in step S27 in FIG. 6, the CPU 39 performs an operation for displaying the freeze image on the display unit 35, and performs GUI buttons (Pass button 202, Fail button 203, Draw button 204, and temporary button other than the LIVE button 206). An operation for validating an instruction according to the operation of the stop button 205) is performed.
- the CPU 39 causes the display unit 35 to display the instruction immediately before detecting an instruction related to the start of the pause operation from the pause button 205.
- an operation for displaying the freeze image again may be performed.
- the CPU 39 performs an operation for detecting an instruction relating to the end of the pause operation from the pause button 205 in the freeze image displayed on the display unit 35 (step S28 in FIG. 6).
- step S24 of FIG. 6 performs the operation
- the CPU 39 can detect an instruction related to the end of the pause operation from the pause button 205 (S28: YES)
- the CPU 39 displays the LIVE button 206 displayed on the display unit 35 by the operation of step S23 in FIG. After erasing from the frozen image (step S29 in FIG. 6), the operation in step S10 in FIG. 2 is continued.
- the CPU 39 selects any one of the Pass button 202, the Fail button 203, and the Draw button 204 included in the freeze image displayed on the display unit 35.
- an operation for updating the examination information stored in the storage unit 36 according to the operation in step S7 of FIG. 2 may be performed.
- a fine adjustment button which is a simple GUI button, and the LIVE button 206 may be combined and displayed on the display unit 35 so as to be superimposed on the freeze image.
- pause operation for example, when the LIVE button 206 is superimposed on the freeze image and displayed on the display unit 35, an image is captured in response to a touch operation on the upper or lower portion of the freeze image.
- a function capable of giving an instruction to finely adjust the rotational position of the blade 102 currently imaged by the unit 21 in the forward rotation direction or the reverse rotation direction may be validated.
- the CPU 39 performs control for rotationally moving the blade 102 to the rotation assisting tool control unit 38 based on the parameters included in the rotation control information input in step S1 of FIG. 2 (step S10 of FIG. 2). .
- step S10 when the blade number of the blade 102 currently imaged by the imaging unit 21 is 1, the blade 102 starts to rotate by the operation of step S10 in FIG. Further, for example, when the blade number of the blade 102 currently imaged by the imaging unit 21 is any one of Nos. 2 to N and the pause operation in step S9 in FIG. 2 is not performed, The rotational movement of the blade 102 is continued by the operation of step S10 in FIG. Further, for example, when the blade number of the blade 102 currently imaged by the imaging unit 21 is any one of Nos. 2 to N, and the pause operation in step S9 in FIG. The rotational movement of the blade 102 is resumed by the operation in step S10 of step 2.
- the CPU 39 obtains each parameter included in the rotation control information input in step S1 of FIG. 2 and the rotation information output from the rotation assist control unit 38 after performing the operation of step S10 of FIG. Based on the current rotational position of the rotation mechanism 61, an operation for determining the end or continuation of the rotational movement of the blade 102 is performed (step S11 in FIG. 2).
- the CPU 39 determines the current rotation position of the rotation mechanism 61 obtained from the parameters included in the rotation control information input in step S1 of FIG. 2 and the rotation information output from the rotation assisting tool control unit 38. For example, when it is detected that the rotational movement corresponding to blade number N ⁇ 1 has been performed, a determination result to end the rotational movement of the blade 102 is obtained, while the blade number N When it is detected that a rotational movement other than No. 1 is performed, a determination result indicating that the rotational movement of the blade 102 is continued is obtained.
- the rotational movement of the plurality of blades 102 by the rotation assisting tool 6 and the generation of the freeze image by the CPU 39 can be linked. That is, according to the present embodiment, the freeze images (still images) of the blades Nos. 1 to N captured at the user's desired angle of view while rotating the plurality of blades 102 are displayed on the display unit. 35 can be displayed sequentially and at regular time intervals. In addition, according to the present embodiment, still image data of blades Nos. 1 to N captured at a user's desired angle of view are sequentially stored in the storage unit 36 while rotating the plurality of blades 102. Can be stored. Therefore, according to the present embodiment, it is possible to improve the examination efficiency when examining a rotatable subject.
- each parameter (the total number N of blades, the rotation amount RQ, the rotation speed RS, and the rotation position RP) included in the rotation control information depends on the operation of the input I / F unit 37 by the user.
- it may be stored in the storage unit 36 as an initial set value at the time of factory shipment.
- the operation in step S1 in FIG. 2 can be omitted, and the operation after step S2 in FIG. 2 is performed using the initial setting value stored in the storage unit 36. be able to.
- the CPU 39 freezes the endoscope image data sequentially output from the imaging signal processing unit 34, and the current still image data Ic of the blade number i obtained by the storage and the storage unit 36, based on the comparison result obtained by comparing the past still image data Ip with the blade number i already stored in 36, the abnormal part newly detected in the still image data Ic, and the still image data Ip
- the display unit 35 may be operated to display a freeze image on which visual information that can be distinguished from an abnormal point that has already been detected is superimposed.
- the operation for making it may be performed.
- the CPU 39 generates the freeze image 201D instead of the freeze image 201A, and issues an instruction according to the operation of the LIVE button 206 only during the period during which the pause operation is performed. You may perform the operation
- a plurality of still image data (blade numbers 1 to N) captured at a user's desired angle of view after the series of operations in FIG. 2 is performed. Is stored in the storage unit 36, the arrangement position of the distal end portion of the insertion unit 2 is maintained at the same position as when the inspection is started, and the main body unit 3 and the rotation assisting tool 6 are connected. Operations to be performed will be described.
- the user operates the input I / F unit 37 to, for example, give an instruction to display still image data of the turbine body 101 having a desired identification number IDN as a slide show.
- the CPU 39 based on an instruction made in response to the operation of the input I / F unit 37, N still image data from blade numbers 1 to N associated with the identification number IDN, and the N still images.
- the inspection information corresponding to the data is read from the storage unit 36, respectively.
- the CPU 39 sequentially applies the one still image data read from the storage unit 36 and the inspection information corresponding to the one still image data to the display unit 35 from the blade numbers 1 to N on the display unit 35 at regular time intervals. Performs the operation for displaying in.
- the user operates the input I / F unit 37 after performing the inspection while rotating the plurality of blades 102, for example, the still image data of the turbine body 101 having the desired identification number IDN is displayed as a thumbnail. Give instructions to display.
- the CPU 39 based on an instruction made in response to the operation of the input I / F unit 37, N still image data from blade numbers 1 to N associated with the identification number IDN, and the N still images.
- the inspection information corresponding to the data is read from the storage unit 36, respectively.
- the CPU 39 displays a list of thumbnail images obtained by reducing N still image data from blade numbers 1 to N and inspection information corresponding to each of the N still image data on the display unit 35 as a list.
- FIG. 8 is a diagram illustrating an example of a list image displayed in accordance with the operation of the endoscope apparatus according to the second embodiment.
- Each thumbnail image included in the list image 201E of FIG. 8 includes a character string (“# 1” to “# 9”) indicating the blade number.
- “Pass” which is a character string indicating that an instruction corresponding to the operation of the Pass button 202 has been performed on the thumbnail images of blade numbers 1, 3 and 4. Is added.
- the thumbnail image corresponding to each still image data stored in the storage unit 36 is not limited to being displayed as a list, but, for example, a blade including an abnormal portion in each still image data. Only thumbnail images corresponding to the still image data 102 may be displayed as a list. Specifically, according to the present embodiment, for example, among the still image data stored in the storage unit 36, the still image data in which an instruction corresponding to the operation of the Fail button 203 has been performed, and FIG. Only thumbnail images corresponding to still image data in which an abnormal part is detected by the image recognition processing performed in step S5 may be displayed as a list. According to such an operation, for example, in the list image 201E of FIG. 8, only the thumbnail images of the blade numbers 2 and 9 are displayed as a list on the display unit 35.
- the user performs an instruction to select a desired thumbnail image from among the thumbnail images included in the list image 201E by performing a touch operation on the touch panel 35A of the display unit 35.
- the CPU 39 selects one still image data corresponding to one thumbnail image selected by the user from the N still image data read from the storage unit 36 based on an instruction made in response to the touch operation on the touch panel 35A. Is identified. Then, the CPU 39 displays the one still image data specified as described above by superimposing the blade number and inspection information corresponding to the one still image data and one or more GUI buttons. Image data is generated, and the display image data thus generated is displayed on the display unit 35 as an inspection image.
- one blade 102 included in the thumbnail image selected from the list image 201E, and the one blade 102 An inspection image 201F including a corresponding blade number (“# 2”), a Pass button 202, a Fail button 203, a Draw button 204, a LIVE button 206, a Back button 207B, and a Forward button 207F is displayed on the display unit. 35 display screens. Note that “Fail”, which is a character string indicating that an instruction according to the operation of the Fail button 203 has been performed, is added to the inspection image 201F.
- FIG. 9 is a diagram illustrating an example of an inspection image displayed when one thumbnail image is selected from the thumbnail images included in the list image of FIG.
- the LIVE button 206 included in the inspection image 201F can give an instruction to set (switch) the image displayed on the display unit 35 to either the inspection image or the live image, for example, in response to a user's touch operation. It is configured as a possible GUI button.
- the Back button 207B is configured, for example, as a GUI button that can give an instruction to shift the inspection image displayed on the display unit 35 to the blade number one before the current blade number in response to a user's touch operation. Has been.
- the Forward button 207F is configured as a GUI button capable of giving an instruction to shift the inspection image displayed on the display unit 35 to a blade number one after the current blade number, for example, in response to a user's touch operation. Has been.
- the user performs an instruction to switch the image displayed on the display unit 35 from the inspection image to the live image by touching the LIVE button 206 included in the inspection image 201F.
- each parameter included in the rotation control information associated with the identification number IDN, and the rotation assist control unit In order to rotate the blade 102 to the position of the inspection image displayed on the display unit 35 immediately before detecting the instruction based on the current rotation position of the rotation mechanism 61 obtained from the rotation information output from 38.
- the rotation assisting tool control unit 38 is controlled.
- the CPU 39 performs an operation for causing the display unit 35 to display a live image of the blade 102 currently captured by the imaging unit 21 after performing the above-described control on the rotation assisting tool control unit 38.
- N thumbnail images corresponding to the N still image data stored in the storage unit 36 are displayed in a list on the display unit 35, and the N One still image data corresponding to one thumbnail image selected from the thumbnail images is displayed on the display unit 35 as an inspection image.
- the inspection displayed on the display unit 35 is detected when an instruction to switch the image displayed on the display unit 35 from the inspection image to the live image is detected.
- Control for rotating the plurality of blades 102 is performed by the rotation assisting tool 6 so that the blades 102 are imaged at the same angle of view as the image.
- the user performs an instruction to switch the image displayed on the display unit 35 from the live image to the inspection image by touching the LIVE button 206 included in the live image of the blade 102.
- the CPU 39 detects an instruction to switch the image displayed on the display unit 35 from the live image to the inspection image, the CPU 39 performs an operation for displaying the inspection image displayed immediately before displaying the live image again. At the same time, an operation for validating an instruction according to the operation of each GUI button (Pass button 202, Fail button 203, Draw button 204, Back button 207B, and Forward button 207F) other than the LIVE button 206 is performed.
- Pass button 202, Fail button 203, Draw button 204, Back button 207B, and Forward button 207F other than the LIVE button 206 is performed.
- the live image of the blade 102 included in the inspection image 201F of the desired blade number of the user is displayed on the display unit 35. Can do. Therefore, according to the present embodiment, it is possible to improve the examination efficiency when examining a rotatable subject.
- each parameter included in the rotation control information associated with the identification number IDN and the rotation information output from the rotation assisting tool control unit 38 is obtained from each parameter included in the rotation control information associated with the identification number IDN and the rotation information output from the rotation assisting tool control unit 38.
- the blade included in the still image (freeze image and inspection image) displayed on the display unit 35 during and after the inspection of the turbine body 101 with the identification number IDN based on the current rotation position of the rotation mechanism 61 102 live images can be displayed.
Landscapes
- Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
内視鏡装置は、回転補助具から供給される回転力に応じて回転移動することが可能な複数の検査部位を備えた被検体を撮像する撮像部と、撮像部により撮像された被検体の画像を生成して順次出力する画像生成部と、回転補助具により回転移動されている複数の検査部位のうちの1つ以上の検査部位が所望の画角で撮像されていると推定されるタイミング毎に、画像生成部から順次出力される画像をフリーズすることにより得られる複数の静止画像を表示部に順次表示させるための動作を行う制御部と、を有する。
Description
本発明は、内視鏡装置及び画像表示方法に関するものである。
工業分野の内視鏡観察においては、例えば、発電所内に設置された蒸気タービン等の回転可能な被検体の近傍に内視鏡の先端部を配置した状態で当該被検体を回転させつつ、当該被検体に設けられたブレードを検査するような検査手法が従来利用されている。そして、例えば、日本国特開2007-113412号公報には、前述のような検査手法に係る技術が開示されている。
具体的には、日本国特開2007-113412号公報には、ボアスコープ点検孔から挿入したボアスコープをタービンケーシング内に配置した状態でガスタービンを低速で回転させつつ、当該ガスタービンに設けられたタービン翼を点検するような手法が開示されている。
ここで、前述のような検査手法においては、作業者が、回転中のブレードを内視鏡で撮像して得られた動画像を確認しつつ、当該ブレードに生じた傷及び/または破損等の異常箇所を目視で特定するようにしている。そのため、前述のような検査手法においては、例えば、作業者の熟練度の低さ等に起因する異常箇所の見落としが発生しやすくなり、その結果、回転可能な被検体の検査を行う際の検査効率が低下してしまう、という問題点が生じている。
しかし、日本国特開2007-113412号公報には、前述のような問題点を解消可能な構成について特に開示等されておらず、すなわち、前述の問題点に応じた課題が依然として存在している。
本発明は、前述した事情に鑑みてなされたものであり、回転可能な被検体の検査を行う際の検査効率を従来よりも向上させることが可能な内視鏡装置及び画像表示方法を提供することを目的としている。
本発明の一態様の内視鏡装置は、回転補助具から供給される回転力に応じて回転移動することが可能な複数の検査部位を備えた被検体を撮像する撮像部と、前記撮像部により撮像された前記被検体の画像を生成して順次出力する画像生成部と、前記回転補助具により回転移動されている前記複数の検査部位のうちの1つ以上の検査部位が所望の画角で撮像されていると推定されるタイミング毎に、前記画像生成部から順次出力される画像をフリーズすることにより得られる複数の静止画像を表示部に順次表示させるための動作を行う制御部と、を有する。
本発明の一態様の内視鏡装置は、回転補助具から供給される回転力に応じて回転移動することが可能な複数の検査部位を備えた被検体を撮像する撮像部と、前記複数の検査部位のうちの1つ以上の検査部位が所望の画角で撮像された1つの静止画像を取得して表示部に表示させるための動作を行うとともに、前記表示部に表示されている前記1つの静止画像と同じ画角で前記1つ以上の検査部位が撮像されるように、前記回転補助具により前記複数の検査部位を回転移動させるための制御を行う制御部と、を有する。
本発明の一態様の画像表示方法は、撮像部が、回転補助具から供給される回転力に応じて回転移動することが可能な複数の検査部位を備えた被検体を撮像するステップと、画像生成部が、前記撮像部により撮像された前記被検体の画像を生成して順次出力するステップと、制御部が、前記回転補助具により回転移動されている前記複数の検査部位のうちの1つ以上の検査部位が所望の画角で撮像されていると推定されるタイミング毎に、前記画像生成部から順次出力される画像をフリーズすることにより得られる複数の静止画像を表示部に順次表示させるための動作を行うステップと、を有する。
本発明の一態様の画像表示方法は、撮像部が、回転補助具から供給される回転力に応じて回転移動することが可能な複数の検査部位を備えた被検体を撮像するステップと、制御部が、前記複数の検査部位のうちの1つ以上の検査部位が所望の画角で撮像された1つの静止画像を取得して表示部に表示させるための動作を行うとともに、前記表示部に表示されている前記1つの静止画像と同じ画角で前記1つ以上の検査部位が撮像されるように、前記回転補助具により前記複数の検査部位を回転移動させるための制御を行うステップと、を有する。
以下、本発明の実施形態について、図面を参照しつつ説明を行う。
(第1の実施形態)
図1から図7は、本発明の第1の実施形態に係るものである。
図1から図7は、本発明の第1の実施形態に係るものである。
内視鏡装置1は、例えば、図1に示すように、蒸気タービンのケーシング内に挿入可能な細長形状及び可撓性を具備して形成された挿入部2と、挿入部2の基端部に接続された本体部3と、を有して構成されている。
挿入部2の先端部には、蒸気タービンのケーシング内に設けられた被検体であるタービン本体101のタービンブレード(以降、ブレードと略記する)102を撮像することができるように構成された撮像部21が設けられている。また、挿入部2の内部には、本体部3から供給される照明光を挿入部2の先端部に導光して検査部位であるブレード102へ出射するためのライトガイド22が設けられている。
なお、以降においては、タービン本体101が、複数のブレード102と、タービン回転軸103と、を具備して構成されているものとして説明を行う。また、以降においては、タービン本体101が、タービン回転軸103の回転に応じて複数のブレード102を回転移動させることができるように構成されているものとして説明を行う。
撮像部21は、対物レンズユニット21Aと、撮像素子21Bと、を有して構成されている。
対物レンズユニット21Aは、ライトガイド22を経て出射される照明光により照明された検査部位(被写体)からの反射光を結像するための1つ以上のレンズを具備して構成されている。
撮像素子21Bは、例えば、カラーCCDまたはカラーCMOSを具備して構成されている。また、撮像素子21Bは、本体部3から出力される撮像素子駆動信号に応じて駆動するように構成されている。また、撮像素子21Bは、対物レンズユニット21Aにより結像された反射光を撮像して撮像信号を生成するとともに、当該生成した撮像信号を本体部3へ出力するように構成されている。
本体部3は、信号ケーブルまたは通信ケーブルを介し、内視鏡装置1の外部に設けられた回転補助具6に接続することができるように構成されている。また、本体部3は、光源部31と、光源駆動部32と、撮像素子駆動部33と、撮像信号処理部34と、表示部35と、記憶部36と、入力I/F(インターフェース)部37と、回転補助具制御部38と、CPU39と、を有して構成されている。
光源部31は、例えば、LEDまたはランプを具備して構成されている。また、光源部31は、光源駆動部32から出力される光源駆動信号に応じて点灯または消灯するように構成されている。また、光源部31は、例えば、光源駆動部32から出力される光源駆動信号に応じた光量の白色光を照明光としてライトガイド22に供給するように構成されている。
光源駆動部32は、例えば、光源駆動回路を具備して構成されている。また、光源駆動部32は、CPU39の制御に応じ、光源部31を駆動させるための光源駆動信号を生成して出力するように構成されている。
撮像素子駆動部33は、例えば、撮像素子駆動回路を具備して構成されている。また、撮像素子駆動部33は、CPU39の制御に応じ、撮像素子21Bを駆動させるための撮像素子駆動信号を生成して出力するように構成されている。
撮像信号処理部34は、例えば、信号処理回路を具備して構成されている。また、撮像信号処理部34は、CPU39の制御に応じ、撮像素子21Bから出力される撮像信号に対して所定の信号処理を施すことにより内視鏡画像データを生成するとともに、当該生成した内視鏡画像データをCPU39へ順次出力するように構成されている。すなわち、撮像信号処理部34は、撮像部21により撮像されたタービン本体101の画像を生成して順次出力する画像生成部としての機能を具備して構成されている。
表示部35は、例えば、液晶パネルを具備して構成されている。また、表示部35は、CPU39から出力される表示画像データに応じた画像を表示画面に表示するように構成されている。また、表示部35は、表示画面に表示されるGUI(グラフィカルユーザインターフェース)ボタン等に対するタッチ操作を検出するとともに、当該検出したタッチ操作に応じた指示をCPU39へ出力するタッチパネル35Aを有して構成されている。
記憶部36は、例えば、メモリ等の記憶回路を具備して構成されている。また、記憶部36は、撮像信号処理部34により生成された内視鏡画像データに応じた静止画像データ及び動画像データを格納することができるように構成されている。また、記憶部36には、CPU39による内視鏡装置1の各部の制御等に用いられるプログラムが格納されている。また、記憶部36には、CPU39の動作に応じて生成されたデータ等が適宜格納されるように構成されている。
入力I/F部37は、ユーザの入力操作に応じた指示をCPU39に対して行うことが可能なスイッチ等を具備して構成されている。また、入力I/F部37は、ユーザの操作に応じ、CPU39による回転補助具6の制御(後述)に用いられる情報である回転制御情報を入力することができるように構成されている。
回転補助具制御部38は、例えば、制御回路及び駆動回路を具備して構成されている。また、回転補助具制御部38は、CPU39の制御に応じ、回転補助具6の設定及び制御を行うための回転補助具制御信号を生成して出力するように構成されている。また、回転補助具制御部38は、回転補助具6から送信される回転情報(後述)を受信するとともに、当該受信した回転情報をCPU39へ出力するように構成されている。
CPU39は、タッチパネル35Aのタッチ操作に応じてなされた指示及び/または入力I/F部37の操作に応じてなされた指示に基づき、光源駆動部32、撮像素子駆動部33及び撮像信号処理部34に対する制御を行うように構成されている。また、CPU39は、入力I/F部37の操作に応じて入力された回転制御情報と、回転補助具制御部38から出力される回転情報と、に基づき、複数のブレード102の回転移動に係る設定及び制御を回転補助具制御部38に対して行うように構成されている。また、CPU39は、撮像信号処理部34から出力される内視鏡画像データ等の画像データに対してGUIボタン等を重畳した表示画像データを生成して表示部35へ出力することができるように構成されている。また、CPU39は、撮像信号処理部34から出力される内視鏡画像データをJPEG等の静止画像データ、及び、MPEG4等の動画像データにエンコードして記憶部36に格納させることができるように構成されている。また、CPU39は、タッチパネル35Aまたは入力I/F部37の操作に応じてなされた指示に基づき、記憶部36に格納された画像データ(静止画像データ及び動画像データ)を読み込むとともに、当該読み込んだ画像データに応じた表示画像データを生成して表示部35へ出力することができるように構成されている。また、CPU39は、撮像信号処理部34から出力される内視鏡画像データ等の画像データに対して画像認識処理を施すことにより、当該画像データに含まれるブレード102における傷及び/または欠陥等の発生箇所である異常箇所を検出することができるように構成されている。また、CPU39は、前述のように検出したブレード102の異常箇所を示す視覚情報を画像データに重畳した表示画像データを生成して表示部35へ出力することができるように構成されている。また、CPU39は、表示部35へ出力する表示画像データに対して色空間変換、インターレース/プログレッシブ変換及びガンマ補正等の所定の画像処理を施すように構成されている。
回転補助具6は、信号ケーブルまたは通信ケーブルを介し、本体部3の回転補助具制御部38に接続することができるように構成されている。また、回転補助具6は、回転機構61と、回転情報取得部62と、を有して構成されている。また、回転補助具6は、回転機構61を介してタービン本体101のタービン回転軸103に接続することができるように構成されている。また、回転補助具6は、本体部3から出力される回転補助具制御信号に応じ、回転機構61の動作に係る設定を行うことができるように構成されている。
回転機構61は、例えば、ギア等を具備して構成されている。また、回転機構61は、本体部3から出力される回転補助具制御信号に応じて設定されたパラメータで回転することにより回転力を発生するとともに、当該発生した回転力をタービン回転軸103に供給することにより複数のブレード102を回転移動させることができるように構成されている。
回転情報取得部62は、例えば、回転機構61の回転状態に基づき、回転機構61により回転移動される複数のブレード102の現在の回転位置を特定可能な情報である回転情報を取得するとともに、当該取得した回転情報を本体部3へ送信するように構成されている。
続いて、本実施形態の内視鏡装置1の具体的な動作等について、図2を参照しつつ説明する。図2は、第1の実施形態に係る内視鏡装置において行われる動作を説明するためのフローチャートである。
まず、ユーザは、本体部3の電源を投入した後、表示部35に表示されるライブ画像(動画像)を確認しつつ、蒸気タービンのケーシング内に挿入部2を挿入してゆくことにより、タービン本体101に設けられた1つのブレード102をユーザの所望の画角で撮像可能な位置に挿入部2の先端部を配置して固定する。また、ユーザは、信号ケーブルまたは通信ケーブルを用い、本体部3と回転補助具6とを接続する。そして、このようなユーザの操作によれば、撮像部21がタービン本体101に設けられた1つのブレード102を(ユーザの所望の画角で)撮像して撮像信号を出力するとともに、撮像信号処理部34が当該撮像信号に応じた内視鏡画像データを生成してCPU39へ出力する。
その後、ユーザは、入力I/F部37を操作することにより、タービン本体101の識別番号と、CPU39による回転補助具6の制御に用いられる情報である回転制御情報と、をそれぞれ入力する。また、ユーザは、タービン本体101の識別番号及び回転制御情報の入力を完了した後の所望のタイミングにおいて、入力I/F部37を操作することにより、タービン本体101の検査開始に係る指示を行う。
ここで、本実施形態の回転制御情報には、例えば、タービン回転軸103の回転に伴って回転移動するブレード102の総数であるブレード総数N(2≦N)と、タービン本体101において隣接して設けられたブレード102間の回転量である回転量RQと、タービン回転軸103を一定速度で回転させる際の回転速度である回転速度RSと、タービン本体101の検査を開始する直前における複数のブレード102の回転位置を示す情報である回転位置RPと、が含まれている。
ブレード総数N及び回転量RQは、回転補助具6を用いた測定等により予め得られるパラメータである。また、回転速度RSは、ユーザの所望の値に設定可能なパラメータである。また、回転位置RPは、例えば、ユーザが、挿入部2の先端部の配置を完了してから回転制御情報を入力する直前までの期間において、入力I/F部37または回転補助具6に設けられた入力操作部(不図示)を操作し、回転機構61の回転位置に応じた回転情報を回転情報取得部62に取得させるための指示を行うことにより予め得られるパラメータである。
なお、本実施形態においては、回転位置RPが、タービン本体101に設けられた1つ以上のブレード102をユーザの所望の画角で撮像可能な位置に挿入部2の先端部を配置した状態で取得されるものであればよい。すなわち、本実施形態においては、ユーザの所望の画角で撮像された1つ以上のブレード102が、CPU39の動作に応じて取得される静止画像データ、及び、表示部35に表示されるフリーズ画像等に含まれていてもよい。
一方、CPU39は、入力I/F部37の操作に応じてなされた指示に基づき、タービン本体101の識別番号及び回転制御情報の入力が完了した(図2のステップS1)ことを検出した際に、当該識別番号及び当該回転制御情報を関連付けて記憶部36に格納させるための動作を行う。そして、このようなCPU39の動作によれば、例えば、2回目以降のタービン本体101の検査時において、入力I/F部37の操作に応じて入力された識別番号に関連付けられている回転制御情報を記憶部36から読み込むことができる。すなわち、前述のようなCPU39の動作によれば、2回目以降のタービン本体101の検査時における回転制御情報の入力を省略することができる。
CPU39は、図2のステップS1において入力された回転制御情報に含まれる回転量RQ及び回転速度RSを回転補助具6に設定するための制御を回転補助具制御部38に対して行う(図2のステップS2)。
なお、本実施形態においては、例えば、ユーザが、回転補助具6に設けられた入力操作部を操作することにより、図2のステップS1において入力したものと同じ回転量RQ及び回転速度RSを手動で回転補助具6に設定するようにしてもよい。
CPU39は、図2のステップS2における回転補助具6の設定が完了した後、入力I/F部37からの検査開始に係る指示を検出するための動作を行う(図2のステップS3)。
CPU39は、入力I/F部37からの検査開始に係る指示を検出できなかった場合(S3:NO)には、図2のステップS4以降の動作を行わずに待機状態に移行する。また、CPU39は、入力I/F部37からの検査開始に係る指示を検出できた場合(S3:YES)には、図2のステップS4の動作を続けて行う。
CPU39は、図2のステップS1において入力された回転制御情報と、撮像信号処理部34から順次出力される内視鏡画像データと、に基づき、ユーザの所望の画角で撮像された1つのブレード102を含む静止画像データを取得するとともに、当該取得した静止画像データを用いてフリーズ画像を生成して表示部35に表示させるための動作を行う(図2のステップS4)。また、CPU39は、図2のステップS4において、フリーズ画像を表示部35に表示させるための動作を行いつつ、図2のステップS1において入力された回転制御情報と、回転補助具制御部38から出力される回転情報と、に基づき、撮像部21により現在撮像されているブレード102のブレード番号を特定するための動作を行う。そして、このようなCPU39の動作によれば、図2のステップS3の動作を完了した直後に撮像されているブレード102がブレード番号1番のブレードとして特定される。また、前述のようなCPU39の動作によれば、例えば、後述の図2のステップS11の動作を完了した直後に撮像されているブレード102のブレード番号が2番~N番のうちのどれであるかを特定することができる。
ここで、図2のステップS4におけるフリーズ画像の生成及び表示に係る動作の具体例について説明する。
CPU39は、図2のステップS1において入力された回転制御情報と、回転補助具制御部38から出力される回転情報と、に基づき、ブレード番号i(1≦i≦N)番のブレード102がユーザの所望の画角で撮像されているものと推定されるタイミング、すなわち、当該ブレード番号i番のブレード102が回転位置RP、回転量RQ及び回転速度RSにより規定される位置に存在すると推定されるタイミングにおいて、撮像信号処理部34から順次出力される内視鏡画像データをフリーズすることにより、当該ブレード番号i番の静止画像データを取得する。また、CPU39は、撮像信号処理部34から順次出力される内視鏡画像データを前述のタイミングでフリーズすることにより得られる静止画像データに対し、ブレード102のブレード番号を示す文字列と、1つ以上のGUIボタンと、をそれぞれ重畳することにより表示画像データを生成し、当該生成した表示画像データをフリーズ画像として表示部35に表示させる。
そして、以上に述べたようなCPU39の動作によれば、例えば、図3に示すように、ユーザの所望の画角で撮像された1つのブレード102と、当該1つのブレード102に対応するブレード番号と、Passボタン202と、Failボタン203と、Drawボタン204と、一時停止ボタン205と、を含むフリーズ画像201Aが表示部35の表示画面に表示される。なお、図3に例示したフリーズ画像201Aには、フリーズ画像201Aに含まれるブレード102のブレード番号が2番であることを示す文字列である「#2」が含まれている。図3は、図2の動作に応じて表示されるフリーズ画像の一例を示す図である。
Passボタン202は、例えば、ユーザのタッチ操作に応じ、表示部35に表示されている画像に含まれるブレード102が検査合格である旨を指示することが可能なGUIボタンとして構成されている。
Failボタン203は、例えば、ユーザのタッチ操作に応じ、表示部35に表示されている画像に含まれるブレード102が検査不合格である旨を指示することが可能なGUIボタンとして構成されている。
Drawボタン204は、例えば、ユーザのタッチ操作に応じ、表示部35に表示されている画像に対する任意の文字列及び図形等の記入に係る指示を行うことが可能なGUIボタンとして構成されている。
一時停止ボタン205は、例えば、ユーザのタッチ操作に応じ、後述の一時停止動作の開始及び終了に係る指示を行うことが可能なGUIボタンとして構成されている。
すなわち、以上に述べたようなCPU39の動作によれば、回転補助具6により回転移動されている複数のブレード102のうちの1つ以上のブレード102が所望の画角で撮像されていると推定されるタイミング毎に、撮像信号処理部34から順次出力される内視鏡画像データをフリーズすることにより得られるブレード番号1番からN番の静止画像データを表示部35に順次表示させることができる。また、以上に述べたようなCPU39の動作によれば、ブレード総数Nと、回転量RQと、回転速度RSと、回転補助具6により回転移動されている複数のブレード102の現在の回転位置を特定可能な情報である回転情報と、に基づいて前述のタイミングが推定される。
CPU39は、図2のステップS4において取得した静止画像データに対して画像認識処理を施して得られる処理結果に基づき、当該静止画像データに含まれるブレード102における異常箇所の有無を判定するための動作を行う(図2のステップS5)。
すなわち、CPU39は、図2のステップS4の動作により取得されるブレード番号1番からN番の静止画像データ各々に対し、注目領域に相当する異常箇所を検出するための処理を施す注目領域検出部としての機能を具備している。
CPU39は、図2のステップS4において取得した静止画像データに含まれるブレード102に異常箇所があるとの判定結果を得た場合(S5:YES)には、図2のステップS6の動作を続けて行う。また、CPU39は、図2のステップS4において取得した静止画像データに含まれるブレード102に異常箇所がないとの判定結果を得た場合(S5:NO)には、図2のステップS7の動作を続けて行う。
CPU39は、図2のステップS4において取得した静止画像データに対し、当該静止画像データに含まれる注目領域であるブレード102の異常箇所を示す視覚情報を重畳したフリーズ画像を表示部35に表示させるための動作を行う(図2のステップS6)。そして、このようなCPU39の動作によれば、例えば、図4に示すように、図2のステップS4において取得した静止画像データに含まれるブレード102の異常箇所の周囲を丸印で囲んだフリーズ画像201Bが表示部35に表示される。
図4のフリーズ画像201Bには、図3のフリーズ画像201Aと同様に、ユーザの所望の画角で撮像された1つのブレード102と、当該1つのブレード102に対応するブレード番号を示す文字列(「#2」)と、Passボタン202と、Failボタン203と、Drawボタン204と、一時停止ボタン205と、が含まれている。図4は、図2の動作に応じて表示されるフリーズ画像の一例を示す図である。
なお、本実施形態によれば、図2のステップS4において取得した静止画像データに含まれるブレード102に異常箇所があるとの判定結果が得られた場合に、図4のフリーズ画像201Bの代わりに、例えば、図5に示すような、当該静止画像データの外周に沿って枠線を付加したフリーズ画像201Cが表示部35に表示されるようにしてもよい。
図5のフリーズ画像201Cには、図3のフリーズ画像201Aと同様に、ユーザの所望の画角で撮像された1つのブレード102と、当該1つのブレード102に対応するブレード番号を示す文字列(「#2」)と、Passボタン202と、Failボタン203と、Drawボタン204と、一時停止ボタン205と、が含まれている。図5は、図2の動作に応じて表示されるフリーズ画像の一例を示す図である。
CPU39は、図2のステップS1において入力されたタービン本体101の識別番号と、図2のステップS4において取得した静止画像データと、当該静止画像データに含まれるブレード102のブレード番号と、当該静止画像データに含まれるブレード102の検査情報と、を関連付けて記憶部36に格納させるための動作を行う(図2のステップS7)。
なお、図2のステップS7において記憶部36に格納される検査情報には、例えば、表示部35に表示されるフリーズ画像におけるGUIボタンのタッチ操作に応じた指示に関する情報、及び、CPU39の画像認識処理により検出されたブレード102の異常箇所を示す情報が含まれている。そのため、例えば、フリーズ画像に含まれるPassボタン202が操作された場合には、検査合格である旨を示すフラグが検査情報として格納される。また、例えば、フリーズ画像に含まれるFailボタン203が操作された場合には、検査不合格である旨を示すフラグが検査情報として格納される。また、例えば、フリーズ画像に含まれるDrawボタン204が操作された場合には、当該フリーズ画像に記入した文字列及び図形等が検査情報として格納される。
CPU39は、図2のステップS7の動作を行った後で、表示部35に表示されたフリーズ画像における一時停止ボタン205からの一時停止動作の開始に係る指示を検出するための動作を行う(図2のステップS8)。
CPU39は、一時停止ボタン205からの一時停止動作の開始に係る指示を検出できなかった場合(S8:NO)には、後述の図2のステップS10の動作を続けて行う。また、CPU39は、一時停止ボタン205からの一時停止動作の開始に係る指示を検出できた場合(S8:YES)には、図2のステップS9の動作を行った後で、後述の図2のステップS10の動作を行う。
ここで、図2のステップS9において行われる一時停止動作の具体例について、図6を参照しつつ説明する。図6は、第1の実施形態に係る内視鏡装置において行われる一時停止動作を説明するためのフローチャートである。
CPU39は、一時停止ボタン205からの一時停止動作の開始に係る指示を検出できた場合に、図2のステップS1において入力された回転制御情報に含まれる各パラメータと、回転補助具制御部38から出力される回転情報により得られる回転機構61の現在の回転位置と、に基づき、当該指示を検出する直前に表示部35に表示させていたフリーズ画像の位置にブレード102の回転位置を戻してからブレード102の回転移動を停止させるための制御を回転補助具制御部38に対して行う(図6のステップS21及びステップS22)。
すなわち、以上に述べたようなCPU39の動作によれば、一時停止ボタン205からの一時停止動作の開始に係る指示が検出された場合に、表示部35に表示されているフリーズ画像と同じ画角でブレード102が撮像されるように、回転補助具6により複数のブレード102を回転移動させるための制御が行われるようにしている。
なお、撮像部21により現在撮像されているブレード102のブレード番号が1番である場合には、ブレード102の回転移動が開始されていない状態であるため、図6のステップS21及びステップS22の動作がスキップされる。
また、本実施形態によれば、CPU39が、図6のステップS21において、一時停止動作の開始に係る指示を検出する直前に表示部35に表示させていたフリーズ画像の位置にブレード102の回転位置を戻すための動作を行う代わりに、例えば、当該指示を検出する直前に表示部35に表示させていたフリーズ画像の画角と同じ画角でブレード102が撮像されるように挿入部2を湾曲させるための動作を行うようにしてもよい。
CPU39は、図6のステップS21及びステップS22の動作を行った後で、例えば、図7に示すように、LIVEボタン206を重畳したフリーズ画像201Dを表示部35に表示させるための動作を行う(図6のステップS23)。
図7のフリーズ画像201Dには、図3のフリーズ画像201Aと同様に、ユーザの所望の画角で撮像された1つのブレード102と、当該1つのブレード102に対応するブレード番号を示す文字列(「#2」)と、Passボタン202と、Failボタン203と、Drawボタン204と、一時停止ボタン205と、が含まれている。図7は、図6の一時停止動作に応じて表示されるフリーズ画像の一例を示す図である。
LIVEボタン206は、例えば、ユーザのタッチ操作に応じ、表示部35に表示される画像をフリーズ画像またはライブ画像のいずれかに設定する(切り替える)ための指示を行うことが可能なGUIボタンとして構成されている。
CPU39は、LIVEボタン206において行われた指示に基づき、表示部35に表示される画像がフリーズ画像またはライブ画像のどちらに設定されているかを検出するための動作を行う(図6のステップS24)。
CPU39は、表示部35に表示される画像がライブ画像に設定されていることを検出した場合(S24:YES)には、後述の図6のステップS25の動作を続けて行う。また、CPU39は、表示部35に表示される画像がフリーズ画像に設定されていることを検出した場合(S24:NO)には、後述の図6のステップS28の動作を続けて行う。
CPU39は、撮像信号処理部34から出力される内視鏡画像データのフリーズを解除することにより、撮像部21が現在撮像しているブレード102の動画像に相当するライブ画像を表示部35に表示させるための動作を行う(図6のステップS25)。また、CPU39は、図6のステップS25において、撮像部21が現在撮像しているブレード102のライブ画像を表示部35に表示させるための動作を行いつつ、LIVEボタン206以外の各GUIボタン(Passボタン202、Failボタン203、Drawボタン204及び一時停止ボタン205)の操作に応じた指示を無効化するための動作を行う。なお、本実施形態においては、表示部35に表示される画像がライブ画像に設定されている際に、Passボタン202、Failボタン203及びDrawボタン204の操作に応じた指示が有効化されるようにしてもよい。
CPU39は、図6のステップS25の動作を行った後でLIVEボタン206において行われた指示に基づき、表示部35に表示される画像がフリーズ画像またはライブ画像のどちらに設定されているかを検出するための動作を行う(図6のステップS26)。
CPU39は、表示部35に表示される画像がフリーズ画像に設定されていることを検出した場合(S26:YES)には、後述の図6のステップS27の動作を続けて行う。また、CPU39は、表示部35に表示される画像がライブ画像に設定されていることを検出した場合(S26:NO)には、図6のステップS25の動作を再度行う。
CPU39は、撮像信号処理部34から出力される内視鏡画像データをフリーズすることにより静止画像データを取得するとともに、当該取得した静止画像データを用いてフリーズ画像を生成して表示部35に表示させるための動作を行う(図6のステップS27)。また、CPU39は、図6のステップS27において、フリーズ画像を表示部35に表示させるための動作を行いつつ、LIVEボタン206以外の各GUIボタン(Passボタン202、Failボタン203、Drawボタン204及び一時停止ボタン205)の操作に応じた指示を有効化するための動作を行う。
なお、CPU39は、図6のステップS27において、前述のような動作を行う代わりに、例えば、一時停止ボタン205からの一時停止動作の開始に係る指示を検出する直前に表示部35に表示させていたフリーズ画像を再度表示させるための動作を行うものであってもよい。
CPU39は、表示部35に表示されているフリーズ画像における一時停止ボタン205からの一時停止動作の終了に係る指示を検出するための動作を行う(図6のステップS28)。
CPU39は、一時停止ボタン205からの一時停止動作の終了に係る指示を検出できなかった場合(S28:NO)には、図6のステップS24の動作を再度行う。また、CPU39は、一時停止ボタン205からの一時停止動作の終了に係る指示を検出できた場合(S28:YES)には、図6のステップS23の動作により表示部35に表示したLIVEボタン206をフリーズ画像から消去した(図6のステップS29)後、図2のステップS10の動作を続けて行う。
なお、以上に述べたような一時停止動作においては、例えば、CPU39が、表示部35に表示されているフリーズ画像に含まれるPassボタン202、Failボタン203及びDrawボタン204のうちのいずれか1つのGUIボタンの操作に応じた指示を検出した場合に、図2のステップS7の動作により記憶部36に格納した検査情報を当該指示に応じて更新するための動作を行うようにしてもよい。
また、以上に述べたような一時停止動作によれば、例えば、撮像部21により現在撮像されているブレード102の回転位置を正転方向または逆転方向に微調整するための指示を行うことが可能なGUIボタンである微調整ボタンと、LIVEボタン206と、を併せてフリーズ画像に重畳して表示部35に表示させるような動作が行われるものであってもよい。
また、以上に述べたような一時停止動作によれば、例えば、LIVEボタン206をフリーズ画像に重畳して表示部35に表示させる際に、当該フリーズ画像の上部または下部に対するタッチ操作に応じ、撮像部21により現在撮像されているブレード102の回転位置を正転方向または逆転方向に微調整するための指示を行うことが可能な機能を有効化するようにしてもよい。
CPU39は、図2のステップS1において入力された回転制御情報に含まれる各パラメータに基づき、ブレード102を回転移動させるための制御を回転補助具制御部38に対して行う(図2のステップS10)。
そして、例えば、撮像部21により現在撮像されているブレード102のブレード番号が1番である場合には、図2のステップS10の動作によりブレード102の回転移動が開始される。また、例えば、撮像部21により現在撮像されているブレード102のブレード番号が2番~N番のいずれかであり、かつ、図2のステップS9の一時停止動作が行われていない場合には、図2のステップS10の動作によりブレード102の回転移動が継続される。また、例えば、撮像部21により現在撮像されているブレード102のブレード番号が2番~N番のいずれかであり、かつ、図2のステップS9の一時停止動作が行われた場合には、図2のステップS10の動作によりブレード102の回転移動が再開される。
CPU39は、図2のステップS10の動作を行った後で、図2のステップS1において入力された回転制御情報に含まれる各パラメータと、回転補助具制御部38から出力される回転情報により得られる回転機構61の現在の回転位置と、に基づき、ブレード102の回転移動の終了または継続を判定するための動作を行う(図2のステップS11)。
具体的には、CPU39は、図2のステップS1において入力された回転制御情報に含まれる各パラメータと、回転補助具制御部38から出力される回転情報により得られる回転機構61の現在の回転位置と、に基づき、例えば、ブレード番号N番→1番に該当する回転移動が行われたことを検出した場合に、ブレード102の回転移動を終了させる旨の判定結果を得る一方で、ブレード番号N番→1番以外の回転移動が行われたことを検出した場合に、ブレード102の回転移動を継続させる旨の判定結果を得る。
CPU39は、ブレード102の回転移動を継続させる旨の判定結果を得た場合(S11:NO)には、図2のステップS4以降の動作を再度行う。また、ブレード102の回転移動を終了させる旨の判定結果を得た場合(S11:YES)には、ブレード102の回転移動を停止させるための制御を回転補助具制御部38に対して行った(図2のステップS12)後、一連の動作を完了する。
以上に述べたように、本実施形態によれば、回転補助具6による複数のブレード102の回転移動と、CPU39によるフリーズ画像の生成と、を連動させることができる。すなわち、本実施形態によれば、複数のブレード102を回転移動させつつ、ユーザの所望の画角で撮像されたブレード番号1番からN番までのブレード102のフリーズ画像(静止画像)を表示部35に順次かつ一定の時間間隔で表示させることができる。また、本実施形態によれば、複数のブレード102を回転移動させつつ、ユーザの所望の画角で撮像されたブレード番号1番からN番までのブレード102の静止画像データを記憶部36に順次格納させることができる。従って、本実施形態によれば、回転可能な被検体の検査を行う際の検査効率を従来よりも向上させることができる。
なお、本実施形態によれば、例えば、回転制御情報に含まれる各パラメータ(ブレード総数N、回転量RQ、回転速度RS及び回転位置RP)が、ユーザによる入力I/F部37の操作に応じて入力されるものに限らず、例えば、工場出荷時の初期設定値として記憶部36に格納されていてもよい。そして、このような構成によれば、例えば、図2のステップS1の動作を省略することができるとともに、記憶部36に格納された初期設定値を用いて図2のステップS2以降の動作を行うことができる。
また、本実施形態によれば、例えば、CPU39が、撮像信号処理部34から順次出力される内視鏡画像データをフリーズすることにより得られるブレード番号iの現在の静止画像データIcと、記憶部36に既に格納されているブレード番号iの過去の静止画像データIpと、を比較して得られる比較結果に基づき、当該静止画像データIcにおいて新たに検出された異常箇所と、当該静止画像データIpにおいて既に検出済の異常箇所と、を区別可能な視覚情報を重畳したフリーズ画像を表示部35に表示させるための動作を行うものであってもよい。
また、本実施形態によれば、例えば、CPU39が、撮像信号処理部34から順次出力される内視鏡画像データをフリーズして得られる静止画像データに対して画像認識処理を施した際の処理結果に基づき、異常箇所を含むブレード102のフリーズ画像(静止画像データ)を表示部35に表示させる一方で、異常箇所を含まないブレード102のフリーズ画像(静止画像データ)を表示部35に表示させないようにするための動作を行うものであってもよい。
また、本実施形態によれば、例えば、CPU39が、フリーズ画像201Aの代わりにフリーズ画像201Dを生成するとともに、一時停止動作を行っている期間中に限ってLIVEボタン206の操作に応じた指示を有効化するような動作を行うものであってもよい。
(第2の実施形態)
図8及び図9は、本発明の第2の実施形態に係るものである。
図8及び図9は、本発明の第2の実施形態に係るものである。
なお、本実施形態においては、第1の実施形態と同様の構成等を有する部分に関する詳細な説明を省略するとともに、第1の実施形態と異なる構成等を有する部分に関して主に説明を行う。具体的には、本実施形態においては、図2の一連の動作が行われた後において、ユーザの所望の画角で撮像された(ブレード番号1番からN番までの)複数の静止画像データが記憶部36に格納されており、挿入部2の先端部の配置位置が検査開始時と同じ位置に維持されており、かつ、本体部3と回転補助具6とが接続されている状態で行われる動作等について説明する。
ユーザは、入力I/F部37を操作することにより、例えば、所望の識別番号IDNのタービン本体101の静止画像データをスライドショー表示させるための指示を行う。
CPU39は、入力I/F部37の操作に応じてなされた指示に基づき、識別番号IDNに関連付けられたブレード番号1番からN番までのN個の静止画像データと、当該N個の静止画像データに対応する検査情報と、をそれぞれ記憶部36から読み込む。そして、CPU39は、記憶部36から読み込んだ1つの静止画像データと、当該1つの静止画像データに対応する検査情報と、をブレード番号1番からN番にかけて表示部35に順次かつ一定の時間間隔で表示させるための動作を行う。
一方、ユーザは、複数のブレード102を回転移動させつつ検査を行った後において、入力I/F部37を操作することにより、例えば、所望の識別番号IDNのタービン本体101の静止画像データをサムネイル表示させるための指示を行う。
CPU39は、入力I/F部37の操作に応じてなされた指示に基づき、識別番号IDNに関連付けられたブレード番号1番からN番までのN個の静止画像データと、当該N個の静止画像データに対応する検査情報と、をそれぞれ記憶部36から読み込む。そして、CPU39は、ブレード番号1番からN番までのN個の静止画像データを各々縮小したサムネイル画像と、当該N個の静止画像データ各々に対応する検査情報と、を表示部35に一覧表示させるための動作を行う。そして、このようなCPU39の動作によれば、例えば、図8に示すような一覧画像201Eが表示部35に表示される。図8は、第2の実施形態に係る内視鏡装置の動作に応じて表示される一覧画像の一例を示す図である。
なお、図8の一覧画像201Eは、N=9の場合の表示例を示すものであり、ブレード番号1番から9番までの静止画像データを各々縮小した9個のサムネイル画像を含む画像として構成されている。また、図8の一覧画像201Eに含まれる各サムネイル画像には、ブレード番号を示す文字列(「#1」~「#9」)が含まれている。また、図8の一覧画像201Eにおいては、ブレード番号1番、3番及び4番のサムネイル画像に対し、Passボタン202の操作に応じた指示が行われたことを示す文字列である「Pass」が付加されている。また、図8の一覧画像201Eにおいては、ブレード番号2番のサムネイル画像に対し、Failボタン203の操作に応じた指示が行われたことを示す文字列である「Fail」が付加されている。また、図8の一覧画像201Eにおいては、ブレード番号4番のサムネイル画像に対し、Drawボタン204の操作に応じた指示が行われた際にフリーズ画像に記入された矢印及び文字列(「****」)が付加されている。また、図8の一覧画像201Eにおいては、ブレード番号2番及び9番のサムネイル画像に対し、図2のステップS5で行われた画像認識処理により異常箇所が検出されたことを示す丸印及び枠線が付加されている。
なお、本実施形態によれば、記憶部36に格納された各静止画像データに対応するサムネイル画像が一覧表示されるものに限らず、例えば、当該各静止画像データのうち、異常箇所を含むブレード102の静止画像データに対応するサムネイル画像のみが一覧表示されるようにしてもよい。具体的には、本実施形態によれば、例えば、記憶部36に格納された各静止画像データのうち、Failボタン203の操作に応じた指示が行われた静止画像データ、及び、図2のステップS5で行われた画像認識処理により異常箇所が検出された静止画像データに対応するサムネイル画像のみが一覧表示されるようにしてもよい。そして、このような動作によれば、例えば、図8の一覧画像201Eにおいて、ブレード番号2番及び9番のサムネイル画像のみが表示部35に一覧表示される。
ユーザは、表示部35のタッチパネル35Aに対するタッチ操作を行うことにより、一覧画像201Eに含まれる各サムネイル画像の中から所望の1つのサムネイル画像を選択する指示を行う。
CPU39は、タッチパネル35Aのタッチ操作に応じてなされた指示に基づき、記憶部36から読み込んだN個の静止画像データの中から、ユーザにより選択された1つのサムネイル画像に対応する1つの静止画像データを特定する。そして、CPU39は、前述のように特定した1つの静止画像データに対し、当該1つの静止画像データに対応するブレード番号及び検査情報と、1つ以上のGUIボタンと、をそれぞれ重畳することにより表示画像データを生成し、当該生成した表示画像データを検査画像として表示部35に表示させるための動作を行う。
そして、以上に述べたようなCPU39の動作によれば、例えば、図9に示すように、一覧画像201Eの中から選択されたサムネイル画像に含まれる1つのブレード102と、当該1つのブレード102に対応するブレード番号(「#2」)と、Passボタン202と、Failボタン203と、Drawボタン204と、LIVEボタン206と、Backボタン207Bと、Fowardボタン207Fと、を含む検査画像201Fが表示部35の表示画面に表示される。なお、検査画像201Fにおいては、Failボタン203の操作に応じた指示が行われたことを示す文字列である「Fail」が付加されている。また、検査画像201Fにおいては、図2のステップS5で行われた画像認識処理により異常箇所が検出されたことを示す丸印及び枠線が付加されている。図9は、図8の一覧画像に含まれる各サムネイル画像の中から1つのサムネイル画像が選択された際に表示される検査画像の一例を示す図である。
検査画像201Fに含まれるLIVEボタン206は、例えば、ユーザのタッチ操作に応じ、表示部35に表示される画像を検査画像またはライブ画像のいずれかに設定する(切り替える)ための指示を行うことが可能なGUIボタンとして構成されている。
Backボタン207Bは、例えば、ユーザのタッチ操作に応じ、表示部35に表示する検査画像を現在のブレード番号より1つ前のブレード番号に遷移させるための指示を行うことが可能なGUIボタンとして構成されている。
Fowardボタン207Fは、例えば、ユーザのタッチ操作に応じ、表示部35に表示する検査画像を現在のブレード番号より1つ後のブレード番号に遷移させるための指示を行うことが可能なGUIボタンとして構成されている。
ユーザは、検査画像201Fに含まれるLIVEボタン206をタッチ操作することにより、表示部35に表示される画像を検査画像からライブ画像へ切り替えるための指示を行う。
CPU39は、表示部35に表示される画像を検査画像からライブ画像に切り替えるための指示を検出した場合に、識別番号IDNに関連付けられた回転制御情報に含まれる各パラメータと、回転補助具制御部38から出力される回転情報により得られる回転機構61の現在の回転位置と、に基づき、当該指示を検出する直前に表示部35に表示させていた検査画像の位置にブレード102を回転移動させるための制御を回転補助具制御部38に対して行う。また、CPU39は、前述の制御を回転補助具制御部38に対して行った後で、撮像部21が現在撮像しているブレード102のライブ画像を表示部35に表示させるための動作を行いつつ、LIVEボタン206以外の各GUIボタン(Passボタン202、Failボタン203、Drawボタン204、Backボタン207B及びFowardボタン207F)の操作に応じた指示を無効化するための動作を行う。なお、本実施形態においては、表示部35に表示される画像がライブ画像に設定されている際に、Passボタン202、Failボタン203及びDrawボタン204の操作に応じた指示が有効化されるようにしてもよい。
すなわち、以上に述べたようなCPU39の動作によれば、記憶部36に格納されているN個の静止画像データに応じたN個のサムネイル画像が表示部35に一覧表示されるとともに、当該N個のサムネイル画像の中から選択された1つのサムネイル画像に対応する1つの静止画像データが検査画像として表示部35に表示される。また、以上に述べたようなCPU39の動作によれば、表示部35に表示される画像を検査画像からライブ画像に切り替えるための指示が検出された場合に、表示部35に表示されている検査画像と同じ画角でブレード102が撮像されるように、回転補助具6により複数のブレード102を回転移動させるための制御が行われるようにしている。
ユーザは、ブレード102のライブ画像に含まれるLIVEボタン206をタッチ操作することにより、表示部35に表示される画像をライブ画像から検査画像へ切り替えるための指示を行う。
CPU39は、表示部35に表示される画像をライブ画像から検査画像に切り替えるための指示を検出した場合に、ライブ画像を表示する直前に表示していた検査画像を再度表示させるための動作を行いつつ、LIVEボタン206以外の各GUIボタン(Passボタン202、Failボタン203、Drawボタン204、Backボタン207B及びFowardボタン207F)の操作に応じた指示を有効化するための動作を行う。
以上に述べたような動作によれば、例えば、タービン本体101の検査が行われた後に、ユーザの所望のブレード番号の検査画像201Fに含まれるブレード102のライブ画像を表示部35に表示させることができる。従って、本実施形態によれば、回転可能な被検体の検査を行う際の検査効率を従来よりも向上させることができる。
なお、第1の実施形態及び本実施形態において説明した動作によれば、識別番号IDNに関連付けられた回転制御情報に含まれる各パラメータと、回転補助具制御部38から出力される回転情報により得られる回転機構61の現在の回転位置と、に基づき、当該識別番号IDNのタービン本体101の検査中及び検査後において、表示部35に表示される静止画像(フリーズ画像及び検査画像)に含まれるブレード102のライブ画像を表示させることができる。
本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
本出願は、2016年12月6日に日本国に出願された特願2016-237004号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。
Claims (14)
- 回転補助具から供給される回転力に応じて回転移動することが可能な複数の検査部位を備えた被検体を撮像する撮像部と、
前記撮像部により撮像された前記被検体の画像を生成して順次出力する画像生成部と、
前記回転補助具により回転移動されている前記複数の検査部位のうちの1つ以上の検査部位が所望の画角で撮像されていると推定されるタイミング毎に、前記画像生成部から順次出力される画像をフリーズすることにより得られる複数の静止画像を表示部に順次表示させるための動作を行う制御部と、
を有することを特徴とする内視鏡装置。 - 前記制御部は、前記被検体に設けられた検査部位の総数と、前記被検体において隣接して設けられた検査部位間の回転量と、前記回転補助具により前記複数の検査部位を一定速度で回転移動させる際の回転速度と、前記回転補助具により回転移動される前記複数の検査部位の現在の回転位置を特定可能な情報である回転情報と、に基づいて前記タイミングを推定する
ことを特徴とする請求項1に記載の内視鏡装置。 - 前記複数の静止画像各々に対して注目領域を検出するための処理を施す注目領域検出部をさらに有し、
前記制御部は、前記注目領域検出部の処理結果に基づき、前記注目領域を含む静止画像に対して前記注目領域を示す視覚情報を重畳して前記表示部に表示させるための動作をさらに行う
ことを特徴とする請求項1に記載の内視鏡装置。 - 前記制御部は、前記複数の静止画像のうち、前記注目領域を含む静止画像を前記表示部に表示させる一方で、前記注目領域を含まない静止画像を前記表示部に表示させないようにするための動作をさらに行う
ことを特徴とする請求項3に記載の内視鏡装置。 - 回転補助具から供給される回転力に応じて回転移動することが可能な複数の検査部位を備えた被検体を撮像する撮像部と、
前記複数の検査部位のうちの1つ以上の検査部位が所望の画角で撮像された1つの静止画像を取得して表示部に表示させるための動作を行うとともに、前記表示部に表示されている前記1つの静止画像と同じ画角で前記1つ以上の検査部位が撮像されるように、前記回転補助具により前記複数の検査部位を回転移動させるための制御を行う制御部と、
を有することを特徴とする内視鏡装置。 - 前記撮像部により撮像された前記被検体の画像を生成して順次出力する画像生成部をさらに有し、
前記制御部は、前記回転補助具により回転移動されている前記複数の検査部位のうちの1つ以上の検査部位が前記所望の画角で撮像されていると推定されるタイミングにおいて前記画像生成部から順次出力される画像をフリーズすることにより前記1つの静止画像を取得する
ことを特徴とする請求項5に記載の内視鏡装置。 - 前記複数の検査部位のうちの1つ以上の検査部位が前記所望の画角で撮像された複数の静止画像が格納される記憶部をさらに有し、
前記制御部は、前記記憶部に格納されている前記複数の静止画像を前記表示部に一覧表示させるための動作を行うとともに、前記表示部に一覧表示された前記複数の静止画像の中から選択された静止画像を前記1つの静止画像として取得する
ことを特徴とする請求項5に記載の内視鏡装置。 - 撮像部が、回転補助具から供給される回転力に応じて回転移動することが可能な複数の検査部位を備えた被検体を撮像するステップと、
画像生成部が、前記撮像部により撮像された前記被検体の画像を生成して順次出力するステップと、
制御部が、前記回転補助具により回転移動されている前記複数の検査部位のうちの1つ以上の検査部位が所望の画角で撮像されていると推定されるタイミング毎に、前記画像生成部から順次出力される画像をフリーズすることにより得られる複数の静止画像を表示部に順次表示させるための動作を行うステップと、
を有することを特徴とする画像表示方法。 - 前記制御部は、前記被検体に設けられた検査部位の総数と、前記被検体において隣接して設けられた検査部位間の回転量と、前記回転補助具により前記複数の検査部位を一定速度で回転移動させる際の回転速度と、前記回転補助具により回転移動される前記複数の検査部位の現在の回転位置を特定可能な情報である回転情報と、に基づいて前記タイミングを推定する
ことを特徴とする請求項8に記載の画像表示方法。 - 注目領域検出部が、前記複数の静止画像各々に対して注目領域を検出するための処理を施すステップをさらに有し、
前記制御部は、前記注目領域検出部の処理結果に基づき、前記注目領域を含む静止画像に対して前記注目領域を示す視覚情報を重畳して前記表示部に表示させるための動作をさらに行う
ことを特徴とする請求項8に記載の画像表示方法。 - 前記制御部は、前記複数の静止画像のうち、前記注目領域を含む静止画像を前記表示部に表示させる一方で、前記注目領域を含まない静止画像を前記表示部に表示させないようにするための動作をさらに行う
ことを特徴とする請求項10に記載の画像表示方法。 - 撮像部が、回転補助具から供給される回転力に応じて回転移動することが可能な複数の検査部位を備えた被検体を撮像するステップと、
制御部が、前記複数の検査部位のうちの1つ以上の検査部位が所望の画角で撮像された1つの静止画像を取得して表示部に表示させるための動作を行うとともに、前記表示部に表示されている前記1つの静止画像と同じ画角で前記1つ以上の検査部位が撮像されるように、前記回転補助具により前記複数の検査部位を回転移動させるための制御を行うステップと、
を有することを特徴とする画像表示方法。 - 画像生成部が、前記撮像部により撮像された前記被検体の画像を生成して順次出力するステップをさらに有し、
前記制御部は、前記回転補助具により回転移動されている前記複数の検査部位のうちの1つ以上の検査部位が前記所望の画角で撮像されていると推定されるタイミングにおいて前記画像生成部から順次出力される画像をフリーズすることにより前記1つの静止画像を取得する
ことを特徴とする請求項12に記載の画像表示方法。 - 記憶部が、前記複数の検査部位のうちの1つ以上の検査部位が前記所望の画角で撮像された複数の静止画像を格納するステップをさらに有し、
前記制御部は、前記記憶部に格納されている前記複数の静止画像を前記表示部に一覧表示させるための動作を行うとともに、前記表示部に一覧表示された前記複数の静止画像の中から選択された静止画像を前記1つの静止画像として取得する
ことを特徴とする請求項12に記載の画像表示方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016237004 | 2016-12-06 | ||
JP2016-237004 | 2016-12-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018105350A1 true WO2018105350A1 (ja) | 2018-06-14 |
Family
ID=62491191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/041242 WO2018105350A1 (ja) | 2016-12-06 | 2017-11-16 | 内視鏡装置及び画像表示方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2018105350A1 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5660843A (en) * | 1979-10-24 | 1981-05-26 | Zen Nippon Kuuyu Kk | Defect detecting system for jet engine |
JPH01136625A (ja) * | 1987-11-25 | 1989-05-29 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2001346145A (ja) * | 2000-03-28 | 2001-12-14 | Olympus Optical Co Ltd | 画像記録装置 |
JP2004032099A (ja) * | 2002-06-21 | 2004-01-29 | Olympus Corp | 内視鏡装置 |
JP2006078381A (ja) * | 2004-09-10 | 2006-03-23 | Keyence Corp | 画像処理装置のディスプレイ表示方法。 |
JP2007147527A (ja) * | 2005-11-30 | 2007-06-14 | Hitachi High-Technologies Corp | 外観検査装置 |
US20110025844A1 (en) * | 2009-07-31 | 2011-02-03 | Olympus Corporation | Image processing apparatus and method for displaying images |
JP2011058806A (ja) * | 2009-09-04 | 2011-03-24 | Olympus Corp | 画像処理装置およびプログラム |
JP2016019569A (ja) * | 2014-07-11 | 2016-02-04 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システム |
-
2017
- 2017-11-16 WO PCT/JP2017/041242 patent/WO2018105350A1/ja active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5660843A (en) * | 1979-10-24 | 1981-05-26 | Zen Nippon Kuuyu Kk | Defect detecting system for jet engine |
JPH01136625A (ja) * | 1987-11-25 | 1989-05-29 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2001346145A (ja) * | 2000-03-28 | 2001-12-14 | Olympus Optical Co Ltd | 画像記録装置 |
JP2004032099A (ja) * | 2002-06-21 | 2004-01-29 | Olympus Corp | 内視鏡装置 |
JP2006078381A (ja) * | 2004-09-10 | 2006-03-23 | Keyence Corp | 画像処理装置のディスプレイ表示方法。 |
JP2007147527A (ja) * | 2005-11-30 | 2007-06-14 | Hitachi High-Technologies Corp | 外観検査装置 |
US20110025844A1 (en) * | 2009-07-31 | 2011-02-03 | Olympus Corporation | Image processing apparatus and method for displaying images |
JP2011058806A (ja) * | 2009-09-04 | 2011-03-24 | Olympus Corp | 画像処理装置およびプログラム |
JP2016019569A (ja) * | 2014-07-11 | 2016-02-04 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5830270B2 (ja) | 内視鏡装置および計測方法 | |
JP2006198106A (ja) | 電子内視鏡装置 | |
JP5444510B1 (ja) | 内視鏡装置及び医用システム | |
US20110112361A1 (en) | Endoscope device | |
WO2020165978A1 (ja) | 画像記録装置、画像記録方法および画像記録プログラム | |
WO2017104192A1 (ja) | 医用観察システム | |
JP6058235B1 (ja) | 内視鏡システム | |
JPWO2019198364A1 (ja) | 内視鏡装置、内視鏡装置の制御方法及び内視鏡装置の制御プログラム | |
JP2011005002A (ja) | 内視鏡装置 | |
WO2018105350A1 (ja) | 内視鏡装置及び画像表示方法 | |
US10314464B2 (en) | Insertion apparatus | |
JP2012020028A (ja) | 電子内視鏡用プロセッサ | |
JP2009276545A (ja) | 内部検査装置 | |
JP7061506B2 (ja) | 検査システム、検査方法及びプログラム | |
JPWO2014038352A1 (ja) | 光源装置及び内視鏡システム | |
WO2020084752A1 (ja) | 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム | |
US20200021746A1 (en) | Control device, endoscope system, processing method, and program | |
JP2016209460A (ja) | 内視鏡システム | |
WO2019207740A1 (ja) | 移動支援システム及び移動支援方法 | |
JP5159298B2 (ja) | 内視鏡装置 | |
JP7029281B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JP7096713B2 (ja) | 内視鏡システム | |
JPWO2018097060A1 (ja) | 内視鏡装置及び内視鏡装置の制御方法 | |
JP5792415B2 (ja) | 内視鏡システム、内視鏡システムの作動方法 | |
WO2015147070A1 (ja) | 内視鏡装置、内視鏡、初期化方法、及び初期化プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17877413 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17877413 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |