WO2012032914A1 - 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法 - Google Patents

画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法 Download PDF

Info

Publication number
WO2012032914A1
WO2012032914A1 PCT/JP2011/068741 JP2011068741W WO2012032914A1 WO 2012032914 A1 WO2012032914 A1 WO 2012032914A1 JP 2011068741 W JP2011068741 W JP 2011068741W WO 2012032914 A1 WO2012032914 A1 WO 2012032914A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
size
imaging
information
Prior art date
Application number
PCT/JP2011/068741
Other languages
English (en)
French (fr)
Inventor
順平 高橋
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN2011800430856A priority Critical patent/CN103096781A/zh
Publication of WO2012032914A1 publication Critical patent/WO2012032914A1/ja
Priority to US13/778,658 priority patent/US20130165753A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Definitions

  • the present invention relates to an image processing device, an endoscope device, an image processing program, an image processing method, and the like.
  • magnification endoscope an endoscope capable of observing a living body at a magnification equivalent to a microscope.
  • the magnifying endoscope has an magnifying rate that is several tens to several hundreds times that of a normal endoscope.
  • this magnifying endoscope it is possible to observe the pit pattern (microstructure) on the surface of the mucous membrane of a living body. It is known that the pit pattern on the surface layer of the mucous membrane of a living body has different patterns between a lesioned part and a normal part. Therefore, it is possible to easily identify the lesioned part and the normal part by using the magnifying endoscope.
  • the area of interest for example, a lesion area
  • the field of view becomes very narrow, so it is difficult to rediscover the lost area. Therefore, in such a case, the doctor needs to repeat the operation of switching from enlarged observation to normal observation to search for an area that has been lost in a wide field of view, and then switching to enlarged observation again to observe the area. There is. Such repetition of the work is a burden on the doctor and further increases the diagnosis time.
  • Patent Document 1 discloses a technique for correcting blur using motion vectors calculated from a plurality of images captured in time series.
  • this method does not consider the influence of the increase in blur due to the enlargement ratio, there is a problem that the blur correction does not function sufficiently when the enlargement ratio increases.
  • an image processing device an endoscope device, an image processing program, an image processing method, and the like that can perform blur correction according to an enlargement ratio.
  • One aspect of the present invention is an image processing apparatus that processes an image acquired by an imaging unit capable of magnifying observation, and a motion that acquires motion information that is information indicating a relative motion of the imaging unit with respect to a subject.
  • An information acquisition unit an imaging magnification calculation unit that calculates an imaging magnification of the imaging unit; and an image extraction unit that extracts an image in a specific region from the captured image acquired by the imaging unit as an extracted image.
  • the extraction unit sets the position of the specific area in the captured image based on the motion information, and sets the size of a margin area, which is the size of the area excluding the specific area from the captured image, as the imaging magnification.
  • an image processing apparatus that is set based on the motion information.
  • relative motion information between the subject and the imaging unit is acquired, and the imaging magnification of the imaging unit is calculated.
  • the position of the specific area in the captured image is set based on the motion information, and the size of the margin area is set based on the imaging magnification.
  • an extracted image is extracted from the captured image based on the set position of the specific area and the size of the margin area.
  • Another aspect of the present invention relates to an endoscope apparatus including the image processing apparatus described above.
  • a motion information acquisition unit that acquires motion information that is information representing a relative movement of the imaging unit with respect to a subject, and an imaging magnification calculation unit that calculates an imaging magnification of the imaging unit
  • a computer functioning as an image extraction unit that extracts an image in a specific area as an extracted image from the captured image acquired by the imaging unit, and the image extraction unit determines the position of the specific area in the captured image
  • the present invention relates to an image processing program that is set based on motion information and sets a size of a margin area that is a size of an area excluding the specific area from the captured image based on the imaging magnification and the motion information.
  • the movement information that is information representing the relative movement of the imaging unit with respect to the subject is acquired, the imaging magnification of the imaging unit is calculated, and the imaging acquired by the imaging unit
  • An image in a specific area is extracted from the image as an extracted image, the position of the specific area in the captured image is set based on the motion information, and a margin that is the size of the area excluding the specific area from the captured image
  • the present invention relates to an image processing method in which the size of an area is set based on the imaging magnification and the motion information.
  • FIG. 1 is an explanatory diagram of the method of this embodiment.
  • FIG. 2 is an explanatory diagram of the method of the present embodiment.
  • FIG. 3 is an explanatory diagram of the method of the present embodiment.
  • FIG. 4 is an explanatory diagram of the method of the present embodiment.
  • FIG. 5 is a configuration example of an endoscope apparatus.
  • FIG. 6 is a configuration example of a color filter of the light source unit.
  • FIG. 7 shows an example of spectral transmittance characteristics of the color filter of the light source unit.
  • FIG. 8 shows an example of spectral sensitivity characteristics of the image sensor.
  • FIG. 9 is a detailed configuration example of the synchronization processing unit.
  • FIG. 10 is an example of an image acquired by the imaging unit.
  • FIG. 10 is an example of an image acquired by the imaging unit.
  • FIG. 11 shows an example of an image output from the synchronization processing unit.
  • FIG. 12 is a detailed configuration example of an inter-channel motion vector detection unit.
  • FIG. 13 shows an example of setting a local area in the block matching process.
  • FIG. 14 is a detailed configuration example of an inter-frame motion vector detection unit.
  • FIG. 15 is an explanatory diagram of a method for calculating an enlargement ratio.
  • FIG. 16 is a detailed configuration example of the image extraction unit.
  • FIG. 17A is an explanatory diagram of the size of the margin area.
  • FIG. 17B is an explanatory diagram of the start point coordinates of the margin area.
  • FIG. 18 is an explanatory diagram of clip processing.
  • FIG. 19 shows a second configuration example of the endoscope apparatus.
  • FIG. 19 shows a second configuration example of the endoscope apparatus.
  • FIG. 20 shows an example of spectral transmission characteristics of the color filter of the image sensor.
  • FIG. 21 is an explanatory diagram of a second method for calculating the enlargement ratio.
  • FIG. 22 shows a second detailed configuration example of the image extraction unit.
  • FIG. 23 shows a third configuration example of the endoscope apparatus.
  • FIG. 24 shows a second detailed configuration example of the inter-frame motion vector detection unit.
  • FIG. 25 is a detailed configuration example of an enlargement ratio calculation unit.
  • FIG. 26 is an explanatory diagram regarding the definition of the moving direction of the tip of the imaging unit.
  • FIGS. 27A and 27B are explanatory diagrams of the third method for calculating the enlargement ratio.
  • FIG. 28 is a system configuration diagram showing the configuration of a computer system.
  • FIG. 29 is a block diagram illustrating a configuration of a main body in the computer system.
  • FIG. 30 is a flowchart example of processing performed by this embodiment.
  • the tip of the imaging unit 200 moves to a position indicated by P2 at time t.
  • a G image in which the region of interest is captured at a position shifted by Q1 is acquired by the image sensor 240a.
  • the image of the area indicated by A2 that is shifted from the area indicated by A1 by the displacement amount Q1 is used as a display image.
  • This displacement amount Q1 is detected by, for example, a known block matching process using the G images acquired at time t-1 and time t.
  • this method has a problem that blur correction becomes difficult when the displacement amount Q1 is large.
  • the attention area at time t shown in R4 is greatly displaced by the displacement amount Q2 with respect to the attention area at time t-1 shown in R3.
  • the region from which the display image is extracted protrudes outside the captured image, and the signal value of the image does not exist at the right end of the region, so that the display image cannot be extracted.
  • the area used as the display image is reduced according to the enlargement ratio. This is equivalent to enlarging an area not used as a display image (margin area) according to the enlargement ratio.
  • margin area an area not used as a display image (margin area) according to the enlargement ratio.
  • FIG. 5 shows a configuration example of an endoscope device that changes the size of the margin region in accordance with the enlargement ratio.
  • This endoscope apparatus includes a light source unit 100, an imaging unit 200, an image processing unit 300, a display unit 400, and an external I / F unit 500.
  • the light source unit 100 is extracted by a white light source 110 that generates white light, a rotary filter 120 that extracts light in a predetermined band from the white light, a motor 120 a that drives the rotary filter 120, and the rotary filter 120.
  • the lens 130 for condensing the light to the light guide fiber 210 is included.
  • the rotary filter 120 is composed of, for example, three types of color filters Fr, Fg, and Fb having different transmittances as shown in FIG.
  • these three types of color filters have a characteristic of transmitting light with an Fr filter of 580 to 700 nm, an Fg filter of 480 to 600 nm, and an Fb filter of 400 to 500 nm.
  • the motor 120a is bidirectionally connected to the control unit 380. Then, by driving the motor 120a according to the control signal from the control unit 380, the rotary filter 120 rotates, and the color filters Fg, Fr, and Fb inserted in the optical path between the white light source 110 and the lens 130 It is switched sequentially.
  • the motor 120 a outputs information on the color filter inserted in the optical path between the white light source 110 and the lens 130 to the control unit 380.
  • the color filter information is identification information shown below.
  • the control unit 380 outputs this identification information to the synchronization processing unit 310 described later.
  • the color filter is switched by the rotation of the rotation filter 120, and an image corresponding to each color filter is captured by a monochrome imaging device 240a described later. That is, R, G, and B images are acquired in time series.
  • the R image is an image acquired during a period in which the color filter Fr is inserted in the optical path.
  • the G image and the B image are images acquired during a period in which the color filter Fg and the color filter Fb are inserted in the optical path, respectively.
  • the imaging unit 200 is formed to be elongated and bendable so that it can be inserted into a body cavity.
  • the imaging unit 200 has a detachable structure because different imaging units 200 are used depending on the region to be observed.
  • the imaging unit 200 is generally called a scope, and therefore, in the following description, the imaging unit 200 is appropriately called a scope.
  • the imaging unit 200 includes a light guide fiber 210 for guiding the light collected by the light source unit 100, and an illumination lens 220 that diffuses the light guided by the light guide fiber 210 and irradiates the subject.
  • the imaging unit 200 includes a condenser lens 230 that condenses the reflected light from the subject, and an imaging element 240a for detecting the reflected light collected by the condenser lens 230.
  • the image sensor 240a is a monochrome image sensor having the spectral sensitivity characteristic shown in FIG. 8, for example.
  • the imaging unit 200 has a memory 250 inside, and the memory 250 holds an identification number unique to each scope.
  • the memory 250 is connected to the control unit 380.
  • the control unit 380 can identify the type of the connected scope by referring to the identification number held in the memory 250.
  • the condensing lens 230 can variably control the focal position, for example, the focal position can be controlled from dmin to dmax [mm].
  • the focus position d is set to an arbitrary value in the range of dmin to dmax [mm] by the user via the external I / F unit 500.
  • the focus position d set by the user by the external I / F unit 500 is sent to the control unit 380, and the control unit 380 controls the condenser lens 230 according to the focus position d set by the user, and the focus position d To change.
  • dn dmax [mm].
  • the focal position represents the distance between the condenser lens 230 and the subject when the condenser lens 230 is in focus.
  • the normal observation is, for example, to observe a subject by setting a focal position at a maximum distance within a settable focal position range.
  • control range of the focus position described above varies depending on the connected scope.
  • the control unit 380 can identify the type of the connected scope by referring to the identification number unique to each scope held in the memory 250. Therefore, the control unit 380 can acquire information on the focal position control range dmin to dmax [mm] of the connected scope and the focal position dn during normal observation.
  • the control unit 380 outputs information on the focal position to an enlargement factor calculation unit 340a described later.
  • the information to be output includes the focus position d set by the user, information on the focus position dn during normal observation, and the minimum value dmin of the focus position.
  • the image processing unit 300 includes a synchronization processing unit 310, an inter-channel motion vector detection unit 320, an inter-frame motion vector detection unit 330a, an enlargement ratio calculation unit 340a, an image extraction unit 350a, and a normal light image generation unit 360.
  • the control unit 380 includes a synchronization processing unit 310, an inter-channel motion vector detection unit 320, an inter-frame motion vector detection unit 330a, an enlargement ratio calculation unit 340a, an image extraction unit 350a, a normal light image generation unit 360, and a size conversion unit 370. Connected and performs these controls.
  • the synchronization processing unit 310 generates an RGB image from the R, G, and B images acquired in time series in the image sensor 240a by a method described later.
  • the inter-channel motion vector detection unit 320 detects a motion vector between the images of the RGB image generated by the synchronization processing unit 310.
  • the motion vectors between the channels are the motion vector of the R image and the motion vector of the B image when the G image is used as a reference.
  • the inter-frame motion vector detection unit 330 a generates a frame based on the RGB image one frame before stored in the frame memory 331 and the RGB image output from the synchronization processing unit 310. The motion vector between is detected.
  • the enlargement factor calculation unit 340a calculates the enlargement factor using the focal position information output from the control unit 380.
  • the enlargement ratio (imaging magnification) is the enlargement ratio of the subject in the captured image, and is represented, for example, by the relative size ratio of the imaging area size on the subject. That is, when the size of the reference imaging area is set to 1 time, the enlargement ratio of the image obtained by imaging the 1/2 size imaging area is doubled.
  • the image extraction unit 350a extracts an image from the RGB image from the synchronization processing unit 310 based on information output from the inter-channel motion vector detection unit 320, the inter-frame motion vector detection unit 330a, and the enlargement ratio calculation unit 340a. To correct blur. Then, the image extraction unit 350a outputs the extracted image as an R′G′B ′ image. In addition, the image extraction unit 350 a outputs a ratio of the sizes of the RGB image and the R′G′B ′ image to the size conversion unit 370. Details of the inter-channel motion vector detection unit 320, the inter-frame motion vector detection unit 330a, the enlargement ratio calculation unit 340a, and the image extraction unit 350a will be described later.
  • the normal light image generation unit 360 performs, for example, a known white balance process, a color conversion process, and a gradation conversion process on the R′G′B ′ image extracted by the image extraction unit 350a, so that the normal light image Is generated.
  • the size conversion unit 370 performs size conversion processing on the normal light image acquired by the normal light image generation unit 360 so as to have the same size as the RGB image before extraction, and outputs the processed image to the display unit 400. . Specifically, the size conversion unit 370 performs enlargement / reduction processing based on the size ratio between the RGB image and the R′G′B ′ image output from the image extraction unit 350a.
  • the enlargement / reduction process can be realized by, for example, an existing bicubic interpolation process.
  • FIG. 9 shows a detailed configuration example of the synchronization processing unit 310 described above.
  • the synchronization processing unit 310 includes a G image storage unit 311, an R image storage unit 312, a B image storage unit 313, and an RGB image generation unit 314.
  • Each of the G image storage unit 311, the R image storage unit 312, and the B image storage unit 313 is connected to the control unit 380.
  • the G image storage unit 311 refers to the identification information output from the control unit 380, and identifies the period during which the filter Fg is inserted in the optical path. Specifically, when the identification information is “1”, the G image storage unit 311 identifies a period in which the filter Fg is inserted, and a signal output from the image sensor 240a during the period is used as a G image.
  • the identification information is “1”
  • the G image storage unit 311 identifies a period in which the filter Fg is inserted, and a signal output from the image sensor 240a during the period is used as a G image.
  • the R image storage unit 312 refers to the identification information output from the control unit 380, and identifies the period during which the filter Fr is inserted in the optical path. Specifically, when the identification information is “2”, the R image storage unit 312 identifies the period in which the filter Fr is inserted, and the signal output from the image sensor 240a during that period is used as the R image.
  • the identification information is “2”
  • the R image storage unit 312 identifies the period in which the filter Fr is inserted, and the signal output from the image sensor 240a during that period is used as the R image.
  • the B image storage unit 313 refers to the identification information output from the control unit 380, and identifies the period during which the filter Fb is inserted in the optical path. Specifically, when the identification information is “3”, the B image storage unit 313 identifies the period in which the filter Fb is inserted, and the signal output from the image sensor 240a during that period is used as the B image.
  • the G image storage unit 311, the R image storage unit 312, and the B image storage unit 313 stores an image and then outputs a trigger signal to the RGB image generation unit 314.
  • the RGB image generation unit 314 outputs a G image storage unit 311, an R image storage unit 312, and a B image when a trigger signal is output from any of the G image storage unit 311, the R image storage unit 312, and the B image storage unit 313. All the images stored in the image storage unit 313 are read to generate an RGB image.
  • the RGB image generation unit 314 outputs the generated RGB image to the inter-channel motion vector detection unit 320, the inter-frame motion vector detection unit 330a, and the image extraction unit 350a.
  • the inter-channel motion vector detection unit 320 detects the motion vectors of the B image and the R image based on the G image based on the RGB image output from the synchronization processing unit 310.
  • R, G, and B images are acquired in time series, so that the RGB image acquired in the synchronization processing unit 310 has a color shift. Therefore, in this embodiment, the motion vectors of the B image and the R image when the G image is used as a reference are detected by block matching processing. Then, according to the detected motion vector, the image extraction unit 350a controls the coordinates of the image extracted for each RGB image, so that the problem of color misregistration can be solved.
  • the R image lacks structural information such as blood vessels. Therefore, it is difficult to detect the motion vector of the R image by block matching processing. Therefore, in this embodiment, as will be described later, a motion vector of the B image is detected using block matching processing, and a motion vector of the R image is estimated from the motion vector of the B image.
  • the inter-channel motion vector detection unit 320 will be described in detail with reference to FIGS. As shown in FIG. 10, it is assumed that each image is acquired by the imaging unit 200 at each time from time t ⁇ 3 to time t + 3. In this case, the R image, the G image, and the B image shown in FIG. 11 are output as RGB images output from the synchronization processing unit 310 at each time.
  • FIG. 12 shows a detailed configuration example of the inter-channel motion vector detection unit 320.
  • the inter-channel motion vector detection unit 320 includes a G image selection unit 321a, a B image selection unit 322, a gain multiplication unit 323a, a block matching processing unit 324a, and a motion vector interpolation unit 325.
  • the block matching processing unit 324a is connected to the control unit 380.
  • the G image selection unit 321a selects a G image from the RGB images output from the synchronization processing unit 310, and outputs the G image to the gain multiplication unit 323a and the block matching processing unit 324a.
  • the B image selection unit 322 selects a B image from the RGB images output from the synchronization processing unit 310, and outputs the B image to the gain multiplication unit 323a.
  • the gain multiplication unit 323a performs a process of multiplying all the pixels of the B image by a gain so that the average signal value of the B image is equivalent to the average signal value of the G image. Then, the gain multiplication unit 323a outputs the B image after being multiplied by the gain to the block matching processing unit 324a. Specifically, the gain multiplication unit 323a calculates the value of the gain gain to be multiplied by the following equation (1).
  • G_ave represents the average signal value of the entire image of the G image
  • B_ave represents the average signal value of the entire image of the B image.
  • the block matching processing unit 324a first sets a plurality of local regions for the B image output from the gain multiplication unit 323a.
  • FIG. 13 shows an example of setting the local area.
  • the x, y coordinate system shown in FIG. 13 is used as the image coordinate system.
  • the x and y coordinates are two-axis orthogonal coordinates in the image.
  • the x coordinate is a coordinate in the horizontal scanning direction
  • the y coordinate is a coordinate in the vertical direction.
  • the size and number of local areas to be set can be set in advance, or the external I / F unit 500 can set arbitrary values.
  • the block matching processing unit 324a calculates motion vectors for all the set local regions using, for example, a known block matching process. Then, the block matching processing unit 324a outputs the average value of the motion vectors calculated in all local regions to the image extraction unit 350a as an inter-channel motion vector (Vec_Bx, Vec_By) of the B image.
  • Vec_Bx, Vec_By inter-channel motion vector
  • the block matching process described above can be realized by a method of searching for a position of a block having a high correlation with respect to an arbitrary block of the reference image in the target image.
  • the relative shift amount between the blocks corresponds to the motion vector of the block.
  • the B image is a reference image
  • the G image corresponds to a target image for block matching.
  • a square error SSD, an absolute error SAD, or the like may be used as a method for searching for a highly correlated block by block matching.
  • the block area in the reference image is set as I
  • the block area in the target image is set as I ′
  • the position of I ′ having a high correlation with I is obtained.
  • SSD and SAD are defined by the following equations (2) and (3), respectively. The smaller the value, the higher the correlation.
  • p and q each have a two-dimensional value, and I and I 'have a two-dimensional region.
  • p ⁇ I represents that the coordinate p is included in the region I.
  • ⁇ m ⁇ represents a process of acquiring the absolute value of the real value m.
  • Motion vector interpolation unit 325 based on the channel between the motion vectors of the B picture which is outputted from the block matching processing section 324a (Vec_Bx, Vec_By), to estimate the channel between the motion vector of the R image (Vec_Rx, Vec_Ry), the image extraction To the unit 350a.
  • the processing performed by the motion vector interpolation unit 325 will be specifically described with reference to FIG. Since the processing of the motion vector interpolation unit 325 varies depending on time, the processing at the time t, time t + 1, and time t + 2 shown in FIG. 10 will be described as an example.
  • the RGB image output from the synchronization processing unit 310 is acquired in the order of R image (Rt-2) ⁇ B image (Bt-1) ⁇ G image (Gt).
  • the inter-channel motion vector (Vec_Rx, Vec_Ry) of the R image is estimated by, for example, the following equation (4).
  • the inter-channel motion vectors (Vec_Rx, Vec_Ry) of the R image are, for example, Estimated by the following equation (5).
  • the inter-channel motion vectors (Vec_Rx, Vec_Ry) of the R image are expressed by, for example, Estimated by (6).
  • the inter-channel motion vector detection unit 320 sends the inter-channel motion vector (Vec_Bx, Vec_By) of the B image and the inter-channel motion vector (Vec_Rx, Vec_Ry) of the R image obtained as described above to the image extraction unit 350a. Output.
  • FIG. 14 shows a detailed configuration example of the inter-frame motion vector detection unit 330a.
  • the inter-frame motion vector detection unit 330a includes a G image selection unit 321b, a frame memory 331, a gain multiplication unit 323b, and a block matching processing unit 324a.
  • the block matching processing unit 324a is connected to the control unit 380.
  • the inter-frame motion vector detection unit 330a calculates a motion vector between frames of the G image among the RGB images output from the synchronization processing unit 310.
  • a motion vector between frames of the G image among the RGB images output from the synchronization processing unit 310 In the following description, an example of calculating an inter-frame motion vector for a G image of an RGB image acquired at time t shown in FIG. 11 will be described.
  • the G image selection unit 321b first selects a G image Gt from the RGB images output from the synchronization processing unit 310. Next, the G image selection unit 321b extracts the G image held in the frame memory 331. The frame memory 331 holds a G image Gt-3 acquired at time t-1, as will be described later. Then, the G image selection unit 321b outputs Gt and Gt-3 to the gain multiplication unit 323b. Next, the G image selection unit 321 b resets the content held in the frame memory 331 and outputs Gt to the frame memory 331. That is, at time t + 1, Gt held in the frame memory 331 is treated as an image one frame before.
  • the gain multiplication unit 323b performs a process of multiplying each pixel of Gt by a gain so that the average signal value of the G image Gt is equivalent to the average signal value of the G image Gt-3.
  • the gain may be calculated by a method similar to the above equation (1).
  • the block matching processing unit 324a performs block matching processing between the G image Gt and the G image Gt-3. Since this block matching processing is the same as the block matching processing unit 324a in the inter-channel motion vector detection unit 320, description thereof will be omitted as appropriate.
  • the G image Gt corresponds to the reference image
  • the G image Gt-3 corresponds to the target image.
  • the block matching processing unit 324a outputs the obtained motion vector to the image extraction unit 350a as an inter-frame motion vector (Vec_Gx, Vec_Gy) of the G image.
  • the inter-frame motion vector of the G image is “zero”.
  • the enlargement factor calculating unit 340a calculates the enlargement factor Z based on the information on the focal position d set by the user output from the control unit 380 and the information on the focal point dn during normal observation, and the enlargement factor Z is calculated. It outputs to the image extraction part 350a.
  • the imaging area size is Rn when shooting is performed at a distance dn from the subject.
  • the angle of view of the imaging unit 200 is constant regardless of the focal position. In this case, for example, when the focal position d is changed to dn / 2 [mm], focusing is achieved when the distance between the tip of the imaging unit 200 and the subject is halved compared to the normal observation. It will be.
  • the imaging region size R is Rn / 2
  • the enlargement ratio is twice that in normal shooting.
  • the enlargement ratio Z is calculated by the following equation (7) using the focal position d set by the user and the focal position dn during normal observation.
  • the enlargement factor Z is a value in the range of 1 to (dmax / dmin) times.
  • FIG. 16 shows a detailed configuration example of the image extraction unit 350a.
  • the image extraction unit 350a includes an area extraction unit 351a, an extraction area control unit 352a, a margin area calculation unit 353, a motion vector integration unit 354, and a motion vector storage unit 355.
  • the margin area calculation unit 353 and the motion vector integration unit 354 are connected to the control unit 380.
  • the image extraction unit 350a extracts from the RGB image output from the synchronization processing unit 310 based on information output from the inter-channel motion vector detection unit 320, the inter-frame motion vector detection unit 330a, and the enlargement ratio calculation unit 340a. Determine the size and coordinates of the area to be extracted, and extract the R′G′B ′ image. The extracted R′G′B ′ image is output to the normal light image generation unit 360.
  • the motion vector accumulation unit 354 receives the inter-frame motion vector (Vec_Gx, Vec_Gy) of the G image output from the inter-frame motion vector detection unit 330a and the motion vector held in the motion vector storage unit 355.
  • the motion vector integrated value (Sum_Gx, Sum_Gy) and the average value Ave_Gr of the absolute value of the motion vector are calculated.
  • processing at a certain time t will be described as an example.
  • the motion vector storage unit 355 stores an integrated value (Sum_Gx_M, Sum_Gy_M) of inter-frame motion vectors of the G image from the initial frame to time t ⁇ 1, and an integrated value (Abs_Gx_M, Abs_Gy_M) and motion vector integration count T_M are held.
  • the integrated value (Sum_Gx, Sum_Gy) of the motion vector at time t is calculated by the following equation (8).
  • the motion vector integration count T at time t is calculated by the following equation (9). Further, the average value Ave_Gr of the absolute value of the motion vector at time t is calculated by the following equation (10).
  • Abs_Gx and Abs_Gy in the above equation (10) are integrated values of the absolute values of the motion vectors, and are calculated using the following equation (11).
  • the motion vector integrating unit 354 outputs the integrated value (Sum_Gx, Sum_Gy) of the motion vector calculated by the above equation (8) to the extraction region control unit 352a, and the absolute value of the motion vector calculated by the above equation (10).
  • the average value Ave_Gr is output to the margin area calculation unit 353.
  • the contents previously stored in the motion vector storage unit 355 are reset.
  • the margin area calculation unit 353 calculates the size of the margin area when extracting the R′G′B ′ image from the RGB image based on the information of the enlargement ratio Z output from the enlargement ratio calculation unit 340a. Specifically, the sizes of the margin areas Space_X and Space_Y in the x and y directions are calculated using Expression (12).
  • Space_X min and Space_Y min are the sizes of the margin areas during normal observation.
  • Space_X min and Space_Y min is to be also set in advance fixed value may be configured by the user from the external I / F unit 500 is set to any value.
  • the margin area is set in proportion to the enlargement ratio, and the blur correction process can be stably functioned even during enlargement observation.
  • the margin area calculation unit 353 refers to the average value Ave_Gr of the absolute value of the motion vector output from the motion vector integration unit 354, and when the value is larger than the threshold value Vmax, the margin region calculation unit 353 calculates by the above equation (12). The value of the margin area thus updated is updated using the following expression (13).
  • Co max is an arbitrary real value having a value larger than 1
  • Co min is an arbitrary real value having a value smaller than 1. That is, when the average value Ave_Gr of the motion vector is larger than the threshold value Vmax, the margin area is updated to a larger value by the above equation (13). On the other hand, when the average value Ave_Gr of the motion vector is smaller than the threshold value Vmin, the margin area is updated to a smaller value by the above equation (14).
  • threshold values Vmax and Vmin and the coefficients Co max and Co min may be set to predetermined values in advance, or the user may set arbitrary values from the external I / F unit 500.
  • the margin area can be controlled according to the magnitude of the average value Ave_Gr of the absolute value of the motion vector. Therefore, it is possible to perform an appropriate blur correction according to the magnitude of the blur.
  • observation may be performed in a state where a hood is attached to the tip of the imaging unit 200 and the hood is in close contact with the subject.
  • the influence of blurring is reduced.
  • the average value Ave_Gr of the absolute value of the motion vector becomes small. Therefore, by reducing the margin area as shown in the above equation (14), the area used for display can be increased. As a result, it is possible to present a display image obtained by photographing a wider area to the user.
  • the extraction region control unit 352a outputs the margin region output from the margin region calculation unit 353, the motion vector integration value output from the motion vector integration unit 354, and the inter-channel motion vector detection unit 320.
  • conditions for extracting the R′G′B ′ image from the RGB image output from the synchronization processing unit 310 are determined. Specifically, as the conditions for extraction, the starting point coordinates for extracting the R′G′B image and the number of pixels imx and imy in the x and y directions of the R′G′B ′ image are determined.
  • the extraction area control unit 352a calculates the number of pixels imx and imy of the R′G′B ′ image using the following equation (15).
  • XW is the number of pixels in the x direction of the image obtained by the imaging unit 200
  • YH is the number of pixels in the y direction of the image obtained by the imaging unit 200 It is.
  • the extraction region control unit 352a calculates the start point coordinates using the following equation (16).
  • R'G'B'R'G'B start point coordinates for each image is calculated.
  • R′s_x and R′s_y are start point coordinates of the R ′ image in the image acquired by the imaging unit 200.
  • G′s_x and G′s_y are the start point coordinates of the G ′ image, and
  • B′s_x and B′s_y are the start point coordinates of the B ′ image.
  • the extraction region control unit 352a performs the clipping process represented by the following equation (17) on the start point coordinates calculated by the above equation (16). This corresponds to a process of shifting the start point coordinates when the extraction region protrudes from the captured image and the image cannot be extracted, as indicated by A5 in FIG. That is, as shown in A6, the extraction area after the clip process is an area in the captured image. Since this clipping process is the same for the G ′ image and the B ′ image, the description thereof is omitted.
  • the extraction region control unit 352a outputs the start point coordinates after the clip processing and the number of pixels of the R′G′B ′ image to the region extraction unit 351a. Further, the extraction area control unit 352a outputs the ratios zoom_x and zoom_y between the number of pixels of the RGB image and the number of pixels of the R′G′B ′ image to the size conversion unit 370.
  • the ratios zoom_x and zoom_y are calculated using the following equation (18).
  • the region extraction unit 351a extracts the R′G′B ′ image from the RGB image using the start point coordinates output from the extraction region control unit 352a and the information on the number of pixels of the R′G′B ′ image, and the R The “G′B” image is output to the normal light image generation unit 360.
  • “ON / OFF” of the above-described blur correction processing may be switched by the external I / F unit 500. That is, when the shake correction function is set to “OFF” in the external I / F unit 500, the information is sent to the control unit 380. At this time, the control unit 380 outputs a trigger signal indicating that the shake correction process is set to “OFF” to the motion vector integration unit 354 and the margin area calculation unit 353. Note that this trigger signal is continuously output during the period in which the blur correction process is set to “OFF”.
  • the motion vector integration unit 354 sets all the information on the motion vector and the number of integrations held in the motion vector storage unit 355 to “0”.
  • the information on the motion vector integration value (Sum_Gx, Sum_Gy) and the average value Ave_Gr of the motion vector output from the motion vector integration unit 354 is as follows. Set to “zero”. Further, the counting of the number of integrations shown in the above equation (9) is not performed. Further, when the “OFF” trigger signal is output, the margin areas Space_X and Space_Y output from the margin area calculation unit 353 are set to “zero”.
  • an image processing apparatus that processes an image acquired by an imaging unit 200 capable of magnifying observation, the motion information acquisition unit (Inter-channel motion vector detection unit 320, inter-frame motion vector detection unit 330a), an imaging magnification calculation unit (enlargement rate calculation unit 340a), and an image extraction unit 350a.
  • the motion information acquisition unit acquires motion information that is information representing the relative motion of the imaging unit 200 with respect to the subject.
  • the imaging magnification calculator calculates the imaging magnification Z (enlargement factor) of the imaging unit 200.
  • the image extraction unit 350a extracts an image in a specific area as an extracted image from the captured image acquired by the imaging unit 200. As described above with reference to FIG. 17B, the image extraction unit 350a sets the position (R′s_x, R′s_y, etc.) of the specific region in the captured image based on the motion information. In addition, as described above with reference to FIG. 17A, the image extraction unit 350a sets the sizes of the margin areas Space_X and Space_Y, which are the sizes of the areas excluding the specific area from the captured image, based on the imaging magnification Z.
  • the margin area by setting the margin area according to the enlargement ratio, the margin for setting the position of the specific area in the captured image can be changed according to the enlargement ratio.
  • the motion information is information representing the relative motion between the subject and the imaging unit 200 at different timings, for example, information representing the relative position, moving distance, speed, motion vector, and the like.
  • an inter-channel motion vector between the G image and the B image is acquired as motion information between the G image capturing timing and the B image capturing timing.
  • motion information such as a moving distance or speed sensed using a motion sensor or the like may be used.
  • the image extraction unit 350a sets the sizes of the margin areas Space_X and Space_Y in proportion to the imaging magnification Z. More specifically, the image extraction unit 350a sets the size of the margin area Space_X, Space_Y to a size obtained by multiplying the reference size Space_X min , Space_Y min serving as a reference for the size of the margin area by the imaging magnification Z. To do.
  • the margin area can be set to a larger size as the enlargement ratio increases, it is possible to follow a larger blur as the enlargement ratio increases.
  • the present embodiment the case where the sizes of the margin areas Space_X and Space_Y are linearly proportional to the imaging magnification Z has been described as an example, but the present embodiment is not limited to this.
  • the sizes of the margin areas Space_X and Space_Y may increase nonlinearly as the imaging magnification Z increases.
  • the image extracting unit 350a includes a reference size Space_X min, the margin area that is set to the size multiplied by the imaging scale Z relative Space_Y min , Space_X and Space_Y are updated based on the motion information.
  • the update is to reset the value of the variable to a new value.
  • the margin area calculation unit 353 shown in FIG. 16 includes a storage unit (not shown), and stores the size of the margin area in the storage unit. Overwriting the value stored in the area.
  • the sizes of the margin areas Space_X and Space_Y can be adjusted in accordance with the relative movement between the subject and the imaging unit 200.
  • the amount of blur increases, it is possible to increase the margin area and improve the followability of blur correction.
  • the image extraction unit 350a determines the size of the margin area based on the average value Ave_Gr of the motion information in a predetermined period (for example, a period corresponding to the number of integrations T shown in the above equation (9)). Update Space_X and Space_Y.
  • the image extracting unit 350a sets the size of the margin area to a size larger than the size set based on the imaging magnification Z. Update to Co max ⁇ Space_X, Co max ⁇ Space_Y.
  • the size of the margin area is set to a size Co min ⁇ Space_X, Co min ⁇ Space_Y smaller than the size set based on the imaging magnification Z. Update.
  • the size of the margin area can be adjusted according to the amount of blur. That is, when the blur amount is larger than the threshold value, the correctable blur amount can be increased by increasing the size of the margin area. On the other hand, if the amount of blur is smaller than the threshold, the size of the margin area is reduced, so that the amount of information presented to the user can be increased by expanding the display area.
  • the motion information is motion vectors Vec_Gx and Vec_Gy representing the motion of the subject in the captured image. Then, as described above in Expressions (10) and (11), the image extraction unit 350a updates the sizes of the margin areas Space_X and Space_Y based on the average value Ave_Gr of the absolute value of the motion vector in a predetermined period.
  • the size of the motion vector can be used as a blur amount, and the margin area size can be set according to the magnitude of the blur amount.
  • the specific region can be set at a position where the display image can be extracted, and the image can be displayed.
  • the image processing apparatus of the present embodiment includes a focal position information acquisition unit (control unit 380) that acquires focal position information of the imaging unit 200 (condensing lens 230).
  • the imaging magnification Z is changed by changing the distance between the imaging unit 200 and the subject.
  • the imaging magnification calculator calculates the imaging magnification Z based on the focal position information.
  • the imaging magnification calculation unit calculates the imaging magnification Z based on the ratio dn / d between the reference focal position dn and the focal position d represented by the focal position information.
  • the imaging magnification Z can be obtained from the focal position information of the imaging unit 200.
  • the motion information acquisition unit is based on at least two captured images acquired at different times (t ⁇ 1, t, t + 1,). Then, a motion vector (inter-frame motion vector, inter-channel motion vector) representing the motion of the subject in the captured image is acquired.
  • the imaging unit 200 sequentially acquires images of the first to third color signals (R image, G image, B image) as a captured image in time series. Then, the motion information acquisition unit acquires a motion vector representing the motion of the subject between the images of the first to third color signals as an inter-channel motion vector (for example, Vec_Bx, Vec_By).
  • the image extracting unit 350a extracts an extracted image from the first to third color signal images based on the inter-channel motion vector.
  • the image processing apparatus has a predetermined image size that can be displayed on the display unit 400 when the image size of the extracted image changes according to the imaging magnification.
  • a size conversion unit 370 that converts the image size (a predetermined number of pixels; for example, the same size as the captured image) is included. Specifically, the imaging unit 200 acquires a series of moving images as captured images, and the size conversion unit 370 converts a series of extracted images extracted from the series of moving images into the same image size.
  • FIG. 19 shows a second configuration example of the endoscope device as a configuration example in the case of calculating the enlargement ratio based on the viewing angle of the imaging unit 200.
  • the endoscope apparatus includes a light source unit 100, an imaging unit 200, an image processing unit 300, a display unit 400, and an external I / F unit 500.
  • the same components as those described above with reference to FIG. 5 and the like are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the light source unit 100 includes a white light source 110 for generating white light and a lens 130 for condensing the white color on the light guide fiber 210.
  • the imaging unit 200 includes a light guide fiber 210, an illumination lens 220, a condenser lens 270, an imaging element 240b, and a memory 250.
  • the image sensor 240b is an image sensor having Bayer array color filters r, g, and b. As shown in FIG. 20, the r filter has a spectral characteristic that transmits light of 580 to 700 nm, the g filter has a spectral characteristic that transmits light of 480 to 600 nm, and the b filter transmits light of 400 to 500 nm. It has spectral characteristics to transmit.
  • the condensing lens 270 can variably control the angle of view.
  • the angle of view can be controlled in the range of ⁇ min to ⁇ max [°].
  • This angle of view can be set to an arbitrary value by the user from the external I / F unit 500. Then, the information on the angle of view ⁇ set by the user by the external I / F unit 500 is sent to the control unit 380, and the control unit 380 controls the condensing lens 270 in accordance with the view angle information to change the field angle. change.
  • control range ⁇ min to ⁇ max [°] of this angle of view differs depending on the connected scope.
  • the control unit 380 identifies the type of the connected scope by referring to the identification number unique to each scope held in the memory 250, and controls the angle of view control range ⁇ min to ⁇ max [°]. Information of the angle of view ⁇ n [°] during normal observation can be acquired.
  • the control unit 380 outputs information on the enlargement rate to the enlargement rate calculation unit 340b described later.
  • This information is information on the angle of view ⁇ set by the user, information on the angle of view ⁇ n during normal observation, and information on the minimum value ⁇ min of the angle of view.
  • the image processing unit 300 includes an interpolation processing unit 390, an inter-frame motion vector detection unit 330a, an enlargement ratio calculation unit 340b, an image extraction unit 350b, a normal light image generation unit 360, a size conversion unit 370, and a control unit. 380.
  • the interpolation processing unit 390, the inter-frame motion vector detection unit 330a, the enlargement ratio calculation unit 340b, the image extraction unit 350b, the normal light image generation unit 360, and the size conversion unit 370 are each connected to the control unit 380. Note that the processing of the inter-frame motion vector detection unit 330a, the normal light image generation unit 360, and the size conversion unit 370 is the same as the processing described with reference to FIG.
  • the interpolation processing unit 390 generates an RGB image by performing an interpolation process on the Bayer image acquired by the image sensor 240b. For example, a known bicubic interpolation process may be used as the interpolation process. Then, the interpolation processing unit 390 outputs the generated RGB image to the image extraction unit 350b and the inter-frame motion vector detection unit 330a.
  • the enlargement factor calculation unit 340b calculates the enlargement factor Z ′ using the information of the angle of view ⁇ set by the user and the information of the angle of view ⁇ n during normal observation output from the control unit 380, and the enlargement factor Z ′. Is output to the image extraction unit 350b.
  • the enlargement ratio Z ′ is calculated by the following equation (19).
  • the range of the enlargement ratio Z ′ is 1 to ⁇ tan ( ⁇ n / 2) / tan ( ⁇ min / 2) ⁇ times.
  • the image extraction unit 350b Based on the information output from the inter-frame motion vector detection unit 330a and the enlargement ratio calculation unit 340b, the image extraction unit 350b converts an image in a specific region (extraction region) from the RGB image output from the interpolation processing unit 390. Extract as a 'G'B' image.
  • FIG. 22 shows a detailed configuration example of the image extraction unit 350b.
  • the image extraction unit 350b includes an area extraction unit 351b, an extraction area control unit 352b, a margin area calculation unit 353, a motion vector integration unit 354, and a motion vector storage unit 355.
  • the margin area calculation unit 353 and the motion vector integration unit 354 are connected to the control unit 380.
  • the processes of the margin area calculation unit 353, the motion vector integration unit 354, and the motion vector storage unit 355 are the same as those described above with reference to FIG.
  • the extraction area control unit 352b extracts the start point coordinates and the number of pixels when extracting the R′G′B ′ image from the RGB image based on the information of the margin areas Space_X, Space_Y and the motion vector integrated values (Sum_Gx, Sum_Gy). imx and imy are determined. The pixel numbers imx and imy of the R′G′B ′ image are calculated using the above equation (15) in the same manner as described above with reference to FIG.
  • the starting point coordinates are calculated using the following equation (20).
  • the start point coordinates calculated is only one type (I's_x, I's_y).
  • the clip process is performed on the start point coordinates (I's_x, I's_y) calculated by the above equation (20) by the same method as the above equation (17). Further, the extraction region control unit 352b calculates the ratio zoom_x, zoom_y between the number of pixels of the RGB image and the number of pixels of the R′G′B ′ image by the same method as the above equation (18), and the ratio zoom_x, zoom_y is calculated. The data is output to the size conversion unit 370.
  • the angle of view information acquisition unit (control unit 380) for acquiring the angle of view information of the imaging unit 200 is included.
  • the imaging magnification calculation unit calculates the imaging magnification Z ′ based on the field angle information. More specifically, as described above with reference to FIG. 21, the imaging magnification calculation unit sets tan ( ⁇ n / 2) and tan ( ⁇ ) when the reference angle of view is ⁇ n and the angle of view represented by the angle-of-view information is ⁇ .
  • the imaging magnification Z ′ is calculated based on the ratio with ⁇ / 2).
  • the imaging magnification Z ′ of the imaging unit 200 can be obtained from the angle-of-view information at the time of shooting. .
  • FIG. 23 shows a third configuration example of the endoscope device as a configuration example in the case where the enlargement ratio is calculated based on the information from the position sensor and the motion vector.
  • the endoscope apparatus includes a light source unit 100, an imaging unit 200, an image processing unit 300, a display unit 400, and an external I / F unit 500.
  • the same components as those described above with reference to FIG. 5 and the like are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the imaging unit 200 includes a light guide fiber 210, an illumination lens 220, a condenser lens 290, an imaging element 240b, a memory 250, and a position sensor 280.
  • the image sensor 240b and the memory 250 are the same as the components described in FIG.
  • the position sensor 280 is a sensor for detecting the moving amount of the tip of the imaging unit.
  • the position sensor 280 is composed of an acceleration sensor that senses translational movement amounts in three directions, and outputs the movement amount of the distal end of the imaging unit that translates relative to the subject surface.
  • the movement amount is a movement distance of the tip of the imaging unit or a motion vector.
  • the position sensor 280 is connected to the control unit 380, and information regarding the movement amount detected by the position sensor 280 is output to the control unit 380.
  • the position sensor 280 may include a triaxial gyro sensor, and the rotation angle of the imaging unit tip may be output as the movement amount.
  • the image processing unit 300 includes an interpolation processing unit 390, an inter-frame motion vector detection unit 330b, an enlargement ratio calculation unit 340c, an image extraction unit 350b, a normal light image generation unit 360, a size conversion unit 370, and a control unit. 380. Note that the processing of the image extraction unit 350b, the normal light image generation unit 360, the size conversion unit 370, and the interpolation processing unit 390 is the same as the processing described above with reference to FIG.
  • FIG. 24 shows a detailed configuration example of the inter-frame motion vector detection unit 330b.
  • the inter-frame motion vector detection unit 330b includes a G image selection unit 321b, a frame memory 331, a gain multiplication unit 323b, and a block matching processing unit 324b. Processing other than the block matching processing unit 324b is the same as the processing described above with reference to FIG.
  • the block matching processing unit 324b detects motion vectors of all local regions in the same manner as described above with reference to FIG. 13 and the like, and outputs an average value of the motion vectors of the local regions to the image extraction unit 350b. In addition, the block matching processing unit 324b outputs information on all local region coordinates and motion vectors to the enlargement ratio calculation unit 340c.
  • the local area coordinates may be the center coordinates of each local area.
  • the enlargement ratio calculation unit 340c will be described.
  • a method of increasing the magnifying rate by bringing a scope close to a living body that is a subject is generally used. In this case, if the distance between the tip of the imaging unit 200 and the subject is known, the enlargement ratio can be calculated.
  • the enlargement ratio calculation unit 340c outputs the movement amount (for example, motion vector) of the tip of the imaging unit 200 output from the control unit 380, the local region coordinates output from the inter-frame motion vector detection unit 330b, and the motion of the local region. Based on the vector information, the average distance between the tip of the imaging unit 200 and the subject is estimated, and the enlargement ratio is calculated.
  • the movement amount for example, motion vector
  • FIG. 25 shows a detailed configuration example of the enlargement ratio calculation unit 340c.
  • the enlargement rate calculation unit 340c includes an average distance estimation unit 341, an enlargement rate estimation unit 342, and an enlargement rate storage unit 343.
  • the average distance estimation unit 341 is based on the movement amount of the tip of the imaging unit 200 output from the control unit 380, the local region coordinates output from the inter-frame motion vector detection unit 330b, and the motion vector information of the local region.
  • the average distance between the tip of the imaging unit 200 and the subject is estimated.
  • a case where the average distance is calculated at a certain time t will be described as an example.
  • the inter-frame motion vector detection unit 330b outputs a motion vector and local region coordinates calculated from an image acquired at time t and time t-1 one frame before time t. Further, the control unit 380 outputs the amount of movement of the front end of the imaging unit 200 between time t and time t ⁇ 1. Specifically, as the movement amount, the movement amounts of the two axes X and Y are output as shown in FIG.
  • (TX, TY) is the amount of movement of the tip of the imaging unit 200 from time t-1 to time t.
  • the relative positional relationship of the front end of the imaging unit 200 at each time (time t, time t ⁇ 1) is determined by the amount of movement.
  • a motion vector between the images acquired at time t and time t ⁇ 1 is acquired.
  • the tip of the imaging unit 200 is used by using a known triangulation principle. And the average distance diff_val between the subject and the subject can be estimated.
  • FIG. 27 (A) it is assumed that a point PT on the subject appears in a corresponding point PT ′ on the image at time t ⁇ 1.
  • E1 in FIG. 27B it is assumed that the corresponding point PT 'has moved by a distance TX' on the image from time t-1 to t. Since the angle of view ⁇ of the imaging unit 200 is known, the angle ⁇ shown in E2 is obtained from the distance TX ′ on the image. Then, as shown at E3, a right triangle having a base TX at the distance TX on the subject is determined, and a distance diff_val from the tip of the imaging unit 200 to the subject is obtained.
  • the enlargement rate estimation unit 342 has different processing depending on information output from the average distance estimation unit 341. That is, when the average distance diff_val is output from the average distance estimation unit 341, the enlargement rate estimation unit 442 estimates the enlargement rate Z ′′ using the following equation (21).
  • the distance diff_org is an average distance between the tip of the imaging unit 200 and the subject during normal observation.
  • diff_org may be the focal position dn during normal observation, or the user may set an arbitrary value from the external I / F unit 500.
  • the enlargement rate estimation unit 342 outputs the enlargement rate Z ′′ calculated using the above equation (21) to the image extraction unit 350c and the enlargement rate storage unit 343.
  • the enlargement rate storage unit 343 stores one frame before. The enlargement ratio Z ′′ at this point is held.
  • the enlargement rate estimation unit 342 outputs the content held in the enlargement rate storage unit 343 to the image extraction unit 350c as the enlargement rate Z ′′.
  • the movement amount information acquisition unit (the control unit 380 that acquires movement amount information from the position sensor 280) that acquires movement amount information of the imaging unit 200 is included.
  • the imaging magnification calculation unit (enlargement rate calculation unit 340c) calculates the imaging magnification Z ′′ based on the movement amount information and the motion information. More specifically, as described above with reference to FIG.
  • the imaging magnification calculation unit calculates the distance diff_val between the imaging unit 200 and the subject based on the motion information (distance TX ′) and the movement amount information (distance TX), and based on the ratio of the distance diff_val and the reference distance diff_org.
  • An imaging magnification Z ′′ is calculated.
  • the imaging magnification Z ′′ of the imaging unit 200 is determined from the movement amount of the imaging unit 200 sensed by the motion sensor. Can be requested.
  • each unit configuring the image processing unit 300 is configured by hardware.
  • the CPU may be configured to perform processing of each unit, and may be realized as software by the CPU executing a program.
  • a part of processing performed by each unit may be configured by software.
  • software processing may be performed on an image acquired in advance using an imaging device such as a capsule endoscope as well as blur correction of a moving image shot in real time.
  • the imaging unit is a separate unit and the processing performed by each unit of the image processing unit 300 is realized as software
  • a known computer system such as a workstation or a personal computer can be used as the image processing apparatus.
  • a program (image processing program) for realizing processing performed by each unit of the image processing unit 300 is prepared in advance, and the image processing program is executed by the CPU of the computer system.
  • FIG. 28 is a system configuration diagram showing the configuration of the computer system 600 in this modification
  • FIG. 29 is a block diagram showing the configuration of the main body 610 in the computer system 600.
  • the computer system 600 includes a main body 610, a display 620 for displaying information such as an image on a display screen 621 according to an instruction from the main body 610, and various information on the computer system 600.
  • a keyboard 630 for inputting and a mouse 640 for designating an arbitrary position on the display screen 621 of the display 620 are provided.
  • the main body 610 in the computer system 600 includes a CPU 611, a RAM 612, a ROM 613, a hard disk drive (HDD) 614, a CD-ROM drive 615 that accepts a CD-ROM 660, and a USB memory.
  • USB port 616 to which 670 is detachably connected I / O interface 617 to which display 620, keyboard 630 and mouse 640 are connected, and a LAN interface for connection to a local area network or wide area network (LAN / WAN) N1 618.
  • LAN / WAN wide area network
  • the computer system 600 is connected to a modem 650 for connecting to a public line N3 such as the Internet, and is another computer system via a LAN interface 618 and a local area network or a wide area network N1.
  • a personal computer (PC) 681, a server 682, a printer 683, and the like are connected.
  • the computer system 600 refers to an image processing program (for example, FIG. 30) recorded on a predetermined recording medium, reads out and executes an image processing program for realizing a processing procedure described later, thereby performing image processing.
  • the predetermined recording medium is a “portable physical medium” including an MO disk, a DVD disk, a flexible disk (FD), a magneto-optical disk, an IC card, etc., in addition to the CD-ROM 660 and the USB memory 670, a computer A “fixed physical medium” such as HDD 614, RAM 612, and ROM 613 provided inside and outside the system 600, a public line N3 connected via the modem 650, and another computer system (PC) 681 or server 682 are connected. It includes any recording medium that records an image processing program readable by the computer system 600, such as a “communication medium” that stores the program in a short time when transmitting the program, such as a local area network or a wide area network N1.
  • the image processing program is recorded on a recording medium such as “portable physical medium”, “fixed physical medium”, and “communication medium” in a computer-readable manner.
  • An image processing apparatus is realized by reading and executing an image processing program from a medium.
  • the image processing program is not limited to be executed by the computer system 600, and when the other computer system (PC) 681 or the server 682 executes the image processing program or in cooperation therewith.
  • the present invention can be similarly applied to a case where an image processing program is executed.
  • step S1 an R image, a G image, and a B image taken in time series are acquired (step S1).
  • step S2 a synchronization process is performed on these images (step S2), and an inter-channel motion vector is detected from the image after the synchronization process (step S3).
  • step S4 an inter-frame motion vector is detected (step S4), and an enlargement ratio is calculated (step S5).
  • step S6 the size of the margin area and the start point coordinates of the extraction area are calculated from the inter-channel motion vector, the inter-frame motion vector, and the enlargement ratio
  • step S7 the R′G′B ′ image is extracted
  • a normal light image is generated from the extracted R′G′B ′ image (step S8), a size conversion process is performed on the normal light image, and a control for displaying the processed image on the display unit is performed. (Step S9), the process ends.
  • the present embodiment is also applied to a computer program product in which a program code for realizing each part (inter-channel motion vector detection unit, inter-frame motion vector detection unit, enlargement rate calculation unit, image extraction unit, etc.) of the present embodiment is recorded. Applicable.
  • a computer program product includes an information storage medium (an optical disk medium such as a DVD, a hard disk medium, a memory medium, etc.) in which a program code is recorded, a computer in which the program code is recorded, and an Internet system in which the program code is recorded (for example, A system including a server and a client terminal), etc., such as an information storage medium, apparatus, device or system in which a program code is incorporated.
  • an information storage medium an optical disk medium such as a DVD, a hard disk medium, a memory medium, etc.
  • the program code for example, A system including a server and a client terminal, etc., such as an information storage medium, apparatus, device or system in which a program code is incorporated.
  • each component and each processing process of this embodiment are mounted by each module, and the program code constituted by these mounted modules is recorded in the computer program product.
  • magnification rate, translational movement amount, specific region, etc. described together with different terms (imaging magnification, movement amount, extraction region, etc.) in a broader sense or the same meaning at least once are described in the specification. Alternatively, the different terms can be used in any place in the drawings.
  • 100 light source unit 110 white light source, 120 rotating filter, 120a motor, 130 lens, 200 imaging unit, 210 light guide fiber, 220 illumination lens, 230 condenser lens, 240a, 240b image sensor, 250 memory, 270 condenser lens, 280 position sensor, 290 condenser lens, 300 image processing unit, 310 synchronization processing unit, 311 to 313 image storage unit, 314 image generation unit, 320 inter-channel motion vector detector, 321a, 321b G image selection unit, 322 B image selection unit, 323a, 323b gain multiplier, 324a, 324b block matching processing unit, 325 motion vector interpolation unit, 330a, 330b Inter-frame motion vector detection unit, 331 frame memory, 340a, 340b, 340c enlargement ratio calculator, 341 average distance estimation unit, 342 magnification rate estimation unit, 343 magnification rate storage unit, 350a, 350b, 350c image extraction unit, 351a, 351b region extraction unit, 352a,

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

　画像処理装置は、拡大観察が可能な撮像部２００により取得された画像を処理する。この画像処理装置は、被写体に対する撮像部２００の相対的な動きを表す情報である動き情報を取得する動き情報取得部３２０，３３０ａと、撮像部２００の撮像倍率を算出する撮像倍率算出部３４０ａと、撮像部２００により取得された撮像画像から特定領域における画像を抽出画像として抽出する画像抽出部３５０ａを含む。そして、画像抽出部３５０ａは、撮像画像における特定領域の位置を、動き情報に基づいて設定するとともに、撮像画像から特定領域を除く領域の大きさであるマージン領域の大きさを、撮像倍率と動き情報に基づいて設定する。

Description

画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法
　本発明は、画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法等に関する。
　内視鏡診断においては、生体を顕微鏡相当の拡大率で観察可能な内視鏡（以下、拡大内視鏡と呼ぶ）が一般的に用いられている。拡大内視鏡は、通常の内視鏡に比べて数十倍から数百倍の拡大率を有している。
　この拡大内視鏡を用いると、生体の粘膜表層のピットパターン（微細構造）を観察することが可能である。この生体の粘膜表層のピットパターンは、病変部と正常部とで異なるパターンを有することが知られている。そのため、拡大内視鏡を用いることで、病変部と正常部を容易に識別することが可能である。
特開平３－１６４７０号公報
　しかしながら、拡大内視鏡を用いて拡大観察を行う場合には、内視鏡先端の撮像部と観察対象である生体との間の相対的な動きの影響を大きく受けるという課題がある。すなわち、その動きが微小なものであっても、内視鏡モニタ上では、大きなブレとして認識されてしまい、そのブレが診断の妨げとなってしまう。
　またブレの影響により、注目している領域（例えば病変領域）を見失ってしまう場合もある。拡大観察時は、非常に視野が狭くなるため、見失った領域を再発見することは困難である。そのため、このような場合には、医師は拡大観察から通常観察に切り替えて視野を広くした状態で見失った領域を探索し、その後再び拡大観察に切り替えて該領域の観察を行うという作業を繰り返す必要がある。このような作業の繰り返しは、医師の負担となり、さらに診断時間を長引かせる要因にもなる。
　このようなブレを補正する手法として、例えば特許文献１には、時系列で撮像された複数の画像から算出した動きベクトルを用いて、ブレを補正する手法が開示されている。しかしながら、この手法では、拡大率によるブレの増大の影響を考慮していないため、拡大率が大きくなった場合にブレ補正が十分に機能しないという課題がある。
　本発明の幾つかの態様によれば、拡大率に応じたブレ補正が可能な画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法等を提供できる。
　本発明の一態様は、拡大観察が可能な撮像部により取得された画像を処理する画像処理装置であって、被写体に対する前記撮像部の相対的な動きを表す情報である動き情報を取得する動き情報取得部と、前記撮像部の撮像倍率を算出する撮像倍率算出部と、前記撮像部により取得された撮像画像から特定領域における画像を抽出画像として抽出する画像抽出部と、を含み、前記画像抽出部は、前記撮像画像における前記特定領域の位置を、前記動き情報に基づいて設定するとともに、前記撮像画像から前記特定領域を除く領域の大きさであるマージン領域の大きさを、前記撮像倍率及び前記動き情報に基づいて設定する画像処理装置に関係する。
　本発明の一態様によれば、被写体と撮像部の間の相対的な動き情報が取得され、撮像部の撮像倍率が算出される。その動き情報に基づいて撮像画像における特定領域の位置が設定され、その撮像倍率に基づいてマージン領域の大きさが設定される。そして、設定された特定領域の位置とマージン領域の大きさに基づいて撮像画像から抽出画像が抽出される。これにより、撮像倍率に応じたブレ補正等が可能になる。
　また、本発明の他の態様は、上記に記載の画像処理装置を含む内視鏡装置に関係する。
　また、本発明のさらに他の態様は、被写体に対する前記撮像部の相対的な動きを表す情報である動き情報を取得する動き情報取得部と、前記撮像部の撮像倍率を算出する撮像倍率算出部と、前記撮像部により取得された撮像画像から特定領域における画像を抽出画像として抽出する画像抽出部として、コンピュータを機能させ、前記画像抽出部は、前記撮像画像における前記特定領域の位置を、前記動き情報に基づいて設定するとともに、前記撮像画像から前記特定領域を除く領域の大きさであるマージン領域の大きさを、前記撮像倍率及び前記動き情報に基づいて設定する画像処理プログラムに関係する。
　また、本発明のさらに他の態様は、被写体に対する前記撮像部の相対的な動きを表す情報である動き情報を取得し、前記撮像部の撮像倍率を算出し、前記撮像部により取得された撮像画像から特定領域における画像を抽出画像として抽出し、前記撮像画像における前記特定領域の位置を、前記動き情報に基づいて設定するとともに、前記撮像画像から前記特定領域を除く領域の大きさであるマージン領域の大きさを、前記撮像倍率及び前記動き情報に基づいて設定する画像処理方法に関係する。
図１は、本実施形態の手法についての説明図。 図２は、本実施形態の手法についての説明図。 図３は、本実施形態の手法についての説明図。 図４は、本実施形態の手法についての説明図。 図５は、内視鏡装置の構成例。 図６は、光源部の色フィルタの構成例。 図７は、光源部の色フィルタの分光透過率特性の例。 図８は、撮像素子の分光感度特性の例。 図９は、同時化処理部の詳細な構成例。 図１０は、撮像部により取得される画像の例。 図１１は、同時化処理部から出力される画像の例。 図１２は、チャネル間動きベクトル検出部の詳細な構成例。 図１３は、ブロックマッチング処理における局所領域の設定例。 図１４は、フレーム間動きベクトル検出部の詳細な構成例。 図１５は、拡大率の算出手法についての説明図。 図１６は、画像抽出部の詳細な構成例。 図１７（Ａ）は、マージン領域の大きさについての説明図である。図１７（Ｂ）は、マージン領域の始点座標についての説明図である。 図１８は、クリップ処理についての説明図。 図１９は、内視鏡装置の第２の構成例。 図２０は、撮像素子の色フィルタの分光透過特性の例。 図２１は、拡大率の第２の算出手法についての説明図。 図２２は、画像抽出部の第２の詳細な構成例。 図２３は、内視鏡装置の第３の構成例。 図２４は、フレーム間動きベクトル検出部の第２の詳細な構成例。 図２５は、拡大率算出部の詳細な構成例。 図２６は、撮像部先端の移動方向の定義についての説明図。 図２７（Ａ）、図２７（Ｂ）は、拡大率の第３の算出手法についての説明図である。 図２８は、コンピュータシステムの構成を示すシステム構成図。 図２９は、コンピュータシステムにおける本体部の構成を示すブロック図。 図３０は、本実施形態が行う処理のフローチャート例。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　１．本実施形態の手法
　まず、図１を用いてブレ補正の手法について説明する。本実施形態が行うブレ補正では、図１のＢ１に示すように、動画撮影された画像から一部の領域を抽出し、Ｂ２に示すように、その抽出した領域の画像を表示する。そして、Ｂ３に示すように、次のフレームで撮像部が右下方向にブレた場合、画像を抽出する領域を左上にずらし、Ｂ４に示すように、前のフレームと同じ領域を表示させる。このように、画像を抽出する領域をブレを打ち消す方向に動かすことで、撮像部と被写体との間の相対的なブレを補正する。
　次に、図２～図４を用いて上記ブレ補正の課題について説明する。なお説明を簡単にするために、以下ではＧ画像のみに着目して説明する。
　図２に示すように、ある時間ｔ－１（時刻）において、撮像部２００の先端がＰ１に示す位置にあるとする。このとき、図３のＲ１に示すように、画像中央部に注目領域が撮影されたＧ画像が撮像素子２４０ａにより取得される。そして、Ａ１に示す領域の画像を表示画像として利用する。
　次に図２に示すように、時間ｔにおいて、撮像部２００の先端がＰ２に示す位置に移動したとする。このとき、図３のＲ２に示すように、Ｑ１だけずれた位置に注目領域が撮影されたＧ画像が撮像素子２４０ａにより取得される。そして、Ａ１に示す領域から変位量Ｑ１だけずれたＡ２に示す領域の画像を表示画像として利用する。この変位量Ｑ１は、時間ｔ－１と時間ｔで取得されたＧ画像を用いて、例えば公知のブロックマッチング処理により検出される。
　以上の処理により、ブレ補正された表示画像を表示することが可能である。しかしながら、この手法では、変位量Ｑ１が大きい場合にブレ補正が困難となるという課題がある。例えば、図４に示すように、Ｒ３に示す時間ｔ－１での注目領域に対して、Ｒ４に示す時間ｔでの注目領域が変位量Ｑ２だけ大きくずれたとする。この場合、Ａ３に示すように、表示画像を抽出する領域が撮像画像の外にはみ出てしまい、その領域の右端には画像の信号値が存在しないため、表示画像を抽出できなくなってしまう。
　このような状況は、例えば内視鏡診断における拡大観察時に生じる。すなわち、拡大観察時には、拡大率（撮像倍率）に比例して上記変位量が大きくなる傾向にあるため、上述のブレ補正手法をそのまま内視鏡装置に適用すると、補正可能なブレの大きさが制限されるという課題がある。
　そこで本実施形態では、図４のＡ４に示すように、表示画像として利用する領域を拡大率に応じて小さくする。これは、表示画像として利用しない領域（マージン領域）を拡大率に応じて大きくすることに相当する。本実施形態では、このようにマージン領域を大きくすることで、より大きな変位量に対しても抽出領域が画像内に収まり、拡大観察時においても安定してブレ補正が可能となる。
　２．内視鏡装置
　図５に、拡大率に応じてマージン領域のサイズを変更する内視鏡装置の構成例を示す。この内視鏡装置（内視鏡システム）は、光源部１００と、撮像部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。
　光源部１００は、白色光を発生する白色光源１１０と、その白色光から所定の帯域の光を抽出する回転フィルタ１２０と、その回転フィルタ１２０を駆動するためのモータ１２０ａと、回転フィルタ１２０で抽出された光をライトガイドファイバ２１０に集光するためのレンズ１３０を含む。
　回転フィルタ１２０は、例えば図６に示すように、透過率の異なる３種類の色フィルタＦｒ，Ｆｇ，Ｆｂから構成されている。この３種類の色フィルタは、例えば図７に示すように、Ｆｒフィルタが５８０～７００ｎｍ、Ｆｇフィルタが４８０～６００ｎｍ、Ｆｂフィルタが４００～５００ｎｍの光を透過させる特性を有する。
　モータ１２０ａは、制御部３８０と双方向に接続されている。そして、制御部３８０からの制御信号に応じてモータ１２０ａを駆動することで、回転フィルタ１２０が回転し、白色光源１１０とレンズ１３０との間の光路に挿入される色フィルタＦｇ，Ｆｒ，Ｆｂが順次切り替えられる。モータ１２０ａは、白色光源１１０とレンズ１３０との間の光路に挿入されている色フィルタの情報を制御部３８０に出力する。例えば、その色フィルタの情報は、以下に示す識別情報である。制御部３８０は、この識別情報を、後述する同時化処理部３１０に出力する。
　　　光路中に挿入されている色フィルタ　　：識別情報
　　　　　　　　　　　Ｆｇ　　　　　　　　：　　　１
　　　　　　　　　　　Ｆｒ　　　　　　　　：　　　２
　　　　　　　　　　　Ｆｂ　　　　　　　　：　　　３
　このように回転フィルタ１２０が回転することで色フィルタが切り替えられ、後述するモノクロの撮像素子２４０ａにより各色フィルタに対応する画像が撮影される。すなわち、Ｒ，Ｇ，Ｂの各画像が時系列で取得される。ここで、Ｒ画像は、色フィルタＦｒが上述の光路に挿入されている期間に取得される画像である。また、Ｇ画像とＢ画像は、それぞれ色フィルタＦｇと色フィルタＦｂが上述の光路に挿入されている期間に取得される画像である。
　撮像部２００は、体腔への挿入を可能にするため、細長く且つ湾曲可能に形成されている。また撮像部２００は、観察する部位等により異なる撮像部２００が用いられるため、着脱可能な構造をしている。なお、内視鏡分野において、撮像部２００は一般的にスコープと呼ばれているため、以下の説明では、撮像部２００を適宜スコープと呼ぶ。
　撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、そのライトガイドファイバ２１０により導かれた光を拡散させて被写体に照射する照明レンズ２２０を含む。また、撮像部２００は、被写体からの反射光を集光する集光レンズ２３０と、その集光レンズ２３０により集光された反射光を検出するための撮像素子２４０ａを含む。撮像素子２４０ａは、例えば図８に示す分光感度特性を有するモノクロの撮像素子である。
　さらに撮像部２００は、内部にメモリ２５０を有しており、このメモリ２５０には各スコープ固有の識別番号が保持されている。また、メモリ２５０は、制御部３８０に接続されている。そして、制御部３８０は、メモリ２５０に保持されている識別番号を参照することで、接続されているスコープの種類を識別することが可能である。
　集光レンズ２３０は、焦点位置を可変制御することが可能であり、例えば焦点位置をｄｍｉｎ～ｄｍａｘ［ｍｍ］まで制御できるものとする。例えば、焦点位置ｄは、外部Ｉ／Ｆ部５００を介してユーザによりｄｍｉｎ～ｄｍａｘ［ｍｍ］の範囲の任意の値が設定される。そして、外部Ｉ／Ｆ部５００によりユーザが設定した焦点位置ｄは、制御部３８０に送られ、制御部３８０は、ユーザが設定した焦点位置ｄに応じて集光レンズ２３０を制御し、焦点位置を変更する。なお以下では、通常（非拡大）観察時の焦点位置をｄｎ＝ｄｍａｘ［ｍｍ］とする。
　ここで、焦点位置とは、集光レンズ２３０のピントが合う場合における、集光レンズ２３０と被写体との間を距離を表す。また、通常観察とは、例えば設定可能な焦点位置の範囲において最大距離に焦点位置を設定して被写体を観察することである。
　上述の焦点位置の制御範囲は、接続されるスコープにより異なるものである。上述したように、制御部３８０は、メモリ２５０に保持されている各スコープ固有の識別番号を参照することで、接続されているスコープの種類を識別することが可能である。そのため、制御部３８０は、接続されているスコープの焦点位置の制御範囲ｄｍｉｎ～ｄｍａｘ［ｍｍ］や、通常観察時における焦点位置ｄｎの情報を取得可能である。
　制御部３８０は、焦点位置に関する情報を後述する拡大率算出部３４０ａに出力する。この出力する情報は、上述のユーザが設定した焦点位置ｄや、通常観察時における焦点位置ｄｎの情報、焦点位置の最小値ｄｍｉｎである。
　画像処理部３００は、同時化処理部３１０と、チャネル間動きベクトル検出部３２０と、フレーム間動きベクトル検出部３３０ａと、拡大率算出部３４０ａと、画像抽出部３５０ａと、通常光画像生成部３６０と、サイズ変換部３７０と、制御部３８０を含む。制御部３８０は、同時化処理部３１０、チャネル間動きベクトル検出部３２０、フレーム間動きベクトル検出部３３０ａ、拡大率算出部３４０ａ、画像抽出部３５０ａ、通常光画像生成部３６０及びサイズ変換部３７０に接続されており、これらの制御を行う。
　同時化処理部３１０は、撮像素子２４０ａにおいて時系列で取得されるＲ，Ｇ，Ｂの各画像より、後述する手法によりＲＧＢ画像を生成する。チャネル間動きベクトル検出部３２０は、同時化処理部３１０で生成されたＲＧＢ画像の、各画像間における動きベクトル検出する。このチャネル間の動きベクトルは、Ｇ画像を基準とした場合における、Ｒ画像の動きベクトルとＢ画像の動きベクトルである。
　フレーム間動きベクトル検出部３３０ａは、図１４を用いて後述するように、フレームメモリ３３１に記憶された１フレーム前のＲＧＢ画像と、同時化処理部３１０から出力されるＲＧＢ画像に基づいて、フレーム間の動きベクトルを検出する。
　拡大率算出部３４０ａは、制御部３８０から出力される焦点位置の情報を用いて、拡大率を算出する。ここで、拡大率（撮像倍率）とは、撮像画像における被写体の拡大率であり、例えば被写体上における撮像領域サイズの相対的なサイズ比により表される。すなわち、基準となる撮像領域サイズを１倍とする場合に、その１／２サイズの撮像領域を撮像した画像の拡大率は２倍となる。
　画像抽出部３５０ａは、チャネル間動きベクトル検出部３２０とフレーム間動きベクトル検出部３３０ａと拡大率算出部３４０ａから出力される情報に基づいて、同時化処理部３１０からのＲＧＢ画像から画像を抽出してブレ補正を行う。そして、画像抽出部３５０ａは、抽出した画像をＲ’Ｇ’Ｂ’画像として出力する。また、画像抽出部３５０ａは、ＲＧＢ画像とＲ’Ｇ’Ｂ’画像との大きさの比率をサイズ変換部３７０に出力する。なお、チャネル間動きベクトル検出部３２０、フレーム間動きベクトル検出部３３０ａ、拡大率算出部３４０ａ及び画像抽出部３５０ａの詳細は後述する。
　通常光画像生成部３６０は、画像抽出部３５０ａにおいて抽出されたＲ’Ｇ’Ｂ’画像に対して、例えば既知のホワイトバランス処理や色変換処理、階調変換処理を施すことで、通常光画像を生成する。
　サイズ変換部３７０は、通常光画像生成部３６０で取得された通常光画像を、抽出前のＲＧＢ画像と同じサイズになるようにサイズ変換処理を施し、処理後の画像を表示部４００に出力する。具体的には、サイズ変換部３７０は、画像抽出部３５０ａから出力される、ＲＧＢ画像とＲ’Ｇ’Ｂ’画像との大きさの比率に基づいて、拡大・縮小処理を施す。拡大・縮小処理は、例えば既存のバイキュービック補間処理により実現できる。
　３．同時化処理部
　図９に、上述の同時化処理部３１０の詳細な構成例を示す。この同時化処理部３１０は、Ｇ画像記憶部３１１と、Ｒ画像記憶部３１２と、Ｂ画像記憶部３１３と、ＲＧＢ画像生成部３１４を含む。そして、Ｇ画像記憶部３１１とＲ画像記憶部３１２とＢ画像記憶部３１３のそれぞれは、制御部３８０に接続されている。
　Ｇ画像記憶部３１１は、制御部３８０から出力される識別情報を参照し、光路中にフィルタＦｇが挿入されている期間を識別する。具体的には、Ｇ画像記憶部３１１は、識別情報が“１”の場合に、フィルタＦｇが挿入されている期間と識別し、その期間中に撮像素子２４０ａから出力される信号をＧ画像として記憶する。
　Ｒ画像記憶部３１２は、制御部３８０から出力される識別情報を参照し、光路中にフィルタＦｒが挿入されている期間を識別する。具体的には、Ｒ画像記憶部３１２は、識別情報が“２”の場合に、フィルタＦｒが挿入されている期間と識別し、その期間中に撮像素子２４０ａから出力される信号をＲ画像として記憶する。
　Ｂ画像記憶部３１３は、制御部３８０から出力される識別情報を参照し、光路中にフィルタＦｂが挿入されている期間を識別する。具体的には、Ｂ画像記憶部３１３は、識別情報が“３”の場合に、フィルタＦｂが挿入されている期間と識別し、その期間中に撮像素子２４０ａから出力される信号をＢ画像として記憶する。そして、Ｇ画像記憶部３１１とＲ画像記憶部３１２とＢ画像記憶部３１３のそれぞれは、画像を記憶した後、ＲＧＢ画像生成部３１４にトリガ信号を出力する。
　ＲＧＢ画像生成部３１４は、Ｇ画像記憶部３１１とＲ画像記憶部３１２とＢ画像記憶部３１３のいずれかからトリガ信号が出力された際に、Ｇ画像記憶部３１１とＲ画像記憶部３１２とＢ画像記憶部３１３に記憶されている全ての画像を読み出し、ＲＧＢ画像を生成する。ＲＧＢ画像生成部３１４は、生成したＲＧＢ画像を、チャネル間動きベクトル検出部３２０や、フレーム間動きベクトル検出部３３０ａ、画像抽出部３５０ａに出力する。
　４．チャネル間動きベクトル検出部
　次に、チャネル間動きベクトル検出部３２０について詳細に説明する。チャネル間動きベクトル検出部３２０は、同時化処理部３１０から出力されるＲＧＢ画像に基づいて、Ｇ画像を基準とした場合におけるＢ画像とＲ画像の動きベクトルを検出する。
　上述のように、本実施形態ではＲ，Ｇ，Ｂの各画像が時系列で取得されるため、同時化処理部３１０において取得されるＲＧＢ画像には、色ズレを生じる。そのため、本実施形態では、Ｇ画像を基準とした場合のＢ画像及びＲ画像の動きベクトルを、ブロックマッチング処理により検出する。そして、検出した動きベクトルに応じて、画像抽出部３５０ａがＲＧＢの画像毎に抽出する画像の座標を制御することで、色ズレの問題を解消することができる。
　さて、内視鏡画像において、Ｒ画像は血管等の構造情報に乏しいことが分かっている。そのため、ブロックマッチング処理によりＲ画像の動きベクトルを検出することは困難である。そこで本実施形態では、後述するようにＢ画像の動きベクトルについてはブロックマッチング処理を用いて検出し、Ｒ画像の動きベクトルに関しては、Ｂ画像の動きベクトルから推定する手法を用いる。
　図１０～図１３を用いて、チャネル間動きベクトル検出部３２０について詳細に説明する。図１０に示すように、時間ｔ－３～時間ｔ＋３の各時間において、撮像部２００により各画像が取得されるとする。この場合、図１１に示すＲ画像，Ｇ画像，Ｂ画像が、各時間において同時化処理部３１０から出力されるＲＧＢ画像として出力される。
　図１２に、チャネル間動きベクトル検出部３２０の詳細な構成例を示す。このチャネル間動きベクトル検出部３２０は、Ｇ画像選出部３２１ａと、Ｂ画像選出部３２２と、ゲイン乗算部３２３ａと、ブロックマッチング処理部３２４ａと、動きベクトル補間部３２５を含む。ブロックマッチング処理部３２４ａは、制御部３８０に接続されている。
　Ｇ画像選出部３２１ａは、同時化処理部３１０から出力されるＲＧＢ画像よりＧ画像を選出し、ゲイン乗算部３２３ａ及びブロックマッチング処理部３２４ａに出力する。Ｂ画像選出部３２２は、同時化処理部３１０から出力されるＲＧＢ画像よりＢ画像を選出し、ゲイン乗算部３２３ａに出力する。
　ゲイン乗算部３２３ａは、Ｂ画像の平均信号値が、Ｇ画像の平均信号値と等価になるように、Ｂ画像の全ての画素に対してゲインを乗じる処理を行う。そして、ゲイン乗算部３２３ａは、ゲインを乗じた後のＢ画像をブロックマッチング処理部３２４ａに出力する。具体的には、ゲイン乗算部３２３ａは、乗じるゲインｇａｉｎの値を下式（１）により算出する。ここで、Ｇ＿ａｖｅはＧ画像の画像全体の平均信号値を表し、Ｂ＿ａｖｅはＢ画像の画像全体の平均信号値を表す。
Figure JPOXMLDOC01-appb-M000001
　ブロックマッチング処理部３２４ａは、まず、ゲイン乗算部３２３ａから出力されるＢ画像に対して複数の局所領域を設定する。図１３に、局所領域の設定例を示す。なお、本実施形態では、画像の座標系として、図１３に示すｘ，ｙ座標系を用いる。ｘ，ｙ座標は、画像における２軸の直交座標であり、例えばｘ座標は水平走査方向の座標であり、ｙ座標は垂直方向の座標である。ここで、設定する局所領域の大きさや数は、予め一定の値を設定しておくこともできるし、外部Ｉ／Ｆ部５００によりユーザが任意の値を設定できる構成としてもよい。
　次に、ブロックマッチング処理部３２４ａは、設定された全ての局所領域について、例えば公知のブロックマッチング処理を用いて動きベクトルを算出する。そして、ブロックマッチング処理部３２４ａは、全ての局所領域において算出された動きベクトルの平均値を、Ｂ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｂｘ，Ｖｅｃ＿Ｂｙ）として画像抽出部３５０ａに出力する。
　例えば、上記のブロックマッチング処理は、基準画像の任意のブロックに対して、相関が高いブロックの位置を対象画像内で探索する手法により実現できる。この場合、ブロック間の相対的なズレ量が、そのブロックの動きベクトルに対応する。本実施形態においては、Ｂ画像が基準画像であり、Ｇ画像がブロックマッチングの対象画像に相当する。
　このブロックマッチングで相関の高いブロックを探索する手法として、例えば二乗誤差ＳＳＤや、絶対誤差ＳＡＤ等を用いればよい。これらの手法では、基準画像におけるブロック領域をＩとし、対象画像におけるブロック領域をＩ’として、Ｉと相関が高いＩ’の位置を求める。各ブロック領域での画素位置をｐ∈Ｉ及びｑ∈Ｉ’として、各画素の信号値をＬｐ，Ｌｑとすると、ＳＳＤ，ＳＡＤは、それぞれ下式（２），（３）で定義される。そして、これらの値が小さいほど相関が高いと評価する。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　ここで、ｐ及びｑはそれぞれ２次元の値を持ち、Ｉ及びＩ’は２次元の領域を持つものとする。ｐ∈Ｉは、座標ｐが領域Ｉに含まれていることを表す。また“∥ｍ∥”は実数値ｍの絶対値を取得する処理を表すものとする。
　動きベクトル補間部３２５は、ブロックマッチング処理部３２４ａから出力されるＢ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｂｘ，Ｖｅｃ＿Ｂｙ）に基づいて、Ｒ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｒｘ，Ｖｅｃ＿Ｒｙ）を推定し、画像抽出部３５０ａに出力する。
　上述の図１０を用いて、動きベクトル補間部３２５が行う処理について具体的に説明する。動きベクトル補間部３２５の処理は、時間によって異なるため、図１０に示す時間ｔ及び時間ｔ＋１、及び時間ｔ＋２の時点における処理を例に説明する。
　図１０に示すように、まず時間ｔにおいて、同時化処理部３１０から出力されるＲＧＢ画像は、Ｒ画像（Ｒｔ－２）→Ｂ画像（Ｂｔ－１）→Ｇ画像（Ｇｔ）の順に取得される。そのため、Ｒ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｒｘ，Ｖｅｃ＿Ｒｙ）を、例えば下式（４）により推定する。
Figure JPOXMLDOC01-appb-M000004
　次に、時間ｔ＋１においては、Ｂ画像（Ｂｔ－１）→Ｇ画像（Ｇｔ）→Ｒ画像（Ｒｔ＋１）の順に画像が取得されるため、Ｒ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｒｘ，Ｖｅｃ＿Ｒｙ）を例えば下式（５）により推定する。
Figure JPOXMLDOC01-appb-M000005
　次に、時間ｔ＋２においては、Ｇ画像（Ｇｔ）→Ｒ画像（Ｒｔ＋１）→Ｂ画像（Ｂｔ＋２）の順に画像が取得されるため、Ｒ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｒｘ，Ｖｅｃ＿Ｒｙ）を例えば下式（６）により推定する。
Figure JPOXMLDOC01-appb-M000006
　そして、チャネル間動きベクトル検出部３２０は、上記のようにして求めたＢ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｂｘ，Ｖｅｃ＿Ｂｙ）とＲ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｒｘ，Ｖｅｃ＿Ｒｙ）を、画像抽出部３５０ａに出力する。
　５．フレーム間動きベクトル検出部
　次に、図１４にフレーム間動きベクトル検出部３３０ａの詳細な構成例を示す。このフレーム間動きベクトル検出部３３０ａは、Ｇ画像選出部３２１ｂと、フレームメモリ３３１とゲイン乗算部３２３ｂと、ブロックマッチング処理部３２４ａを含む。ブロックマッチング処理部３２４ａは制御部３８０に接続されている。
　このフレーム間動きベクトル検出部３３０ａは、同時化処理部３１０から出力されるＲＧＢ画像のうち、Ｇ画像のフレーム間における動きベクトルを算出する。なお以下では、図１１に示す時間ｔにおいて取得されたＲＧＢ画像のＧ画像についてのフレーム間動きベクトルを算出する場合を例に説明する。
　Ｇ画像選出部３２１ｂは、まず、同時化処理部３１０から出力されるＲＧＢ画像から、Ｇ画像Ｇｔを選出する。次に、Ｇ画像選出部３２１ｂは、フレームメモリ３３１に保持されているＧ画像を抽出する。フレームメモリ３３１には、後述するように時間ｔ－１に取得されたＧ画像Ｇｔ－３が保持されている。そして、Ｇ画像選出部３２１ｂは、Ｇｔ及びＧｔ－３をゲイン乗算部３２３ｂに出力する。次に、Ｇ画像選出部３２１ｂは、フレームメモリ３３１に保持されている内容をリセットし、Ｇｔをフレームメモリ３３１に出力する。すなわち、時間ｔ＋１においては、フレームメモリ３３１に保持されているＧｔが１フレーム前の画像として扱われる。
　ゲイン乗算部３２３ｂは、Ｇ画像Ｇｔの平均信号値がＧ画像Ｇｔ－３の平均信号値と等価になるように、Ｇｔの各画素に対し、ゲインを乗じる処理を行う。例えば、そのゲインは、上述の式（１）と同様の手法により算出すればよい。
　ブロックマッチング処理部３２４ａは、Ｇ画像ＧｔとＧ画像Ｇｔ－３とのブロックマッチング処理を行う。なお、このブロックマッチング処理は、チャネル間動きベクトル検出部３２０におけるブロックマッチング処理部３２４ａと同様であるため、適宜説明を省略する。このブロックマッチング処理において、Ｇ画像Ｇｔが基準画像に対応し、Ｇ画像Ｇｔ－３が対象画像に対応する。そして、ブロックマッチング処理部３２４ａは、求めた動きベクトルを、Ｇ画像のフレーム間動きベクトル（Ｖｅｃ＿Ｇｘ，Ｖｅｃ＿Ｇｙ）として画像抽出部３５０ａに出力する。なお、図１１に示すように、時間ｔ＋１、時間ｔ＋２においてはＧ画像が更新されないため、Ｇ画像のフレーム間動きベクトルは“ゼロ”となる。
　６．拡大率算出部
　次に、図１５を用いて拡大率算出部３４０ａについて詳細に説明する。拡大率算出部３４０ａは、制御部３８０から出力されるユーザが設定した焦点位置ｄの情報と、通常観察時における焦点位置ｄｎの情報とに基づいて拡大率Ｚを算出し、その拡大率Ｚを画像抽出部３５０ａに出力する。
　上述したように、本実施形態で用いられる撮像部２００は、焦点位置をｄｍｉｎ～ｄｍａｘ［ｍｍ］の範囲で制御することができる。また、通常観察時における焦点位置ｄｎは、上述したようにｄｎ＝ｄｍａｘ［ｍｍ］である。さて図１５に示すように、被写体からの距離ｄｎにおいて撮影した場合に、撮像領域サイズがＲｎであるとする。また、撮像部２００の画角が焦点位置に依らず一定であるとする。この場合に、例えば焦点位置ｄをｄｎ／２［ｍｍ］に変更した場合には、通常観察時と比較して、撮像部２００の先端部と被写体との距離を１／２とするとピントが合うことになる。このとき、撮像領域サイズＲはＲｎ／２となるため、通常撮影時に対して拡大率は２倍となる。
　すなわち、拡大率Ｚは、ユーザが設定した焦点位置ｄ及び通常観察時における焦点位置ｄｎを用いて、下式（７）により算出される。本実施形態では、拡大率Ｚは１倍～（ｄｍａｘ／ｄｍｉｎ）倍の範囲の値となる。
Figure JPOXMLDOC01-appb-M000007
　７．画像抽出部
　次に、図１６に画像抽出部３５０ａの詳細な構成例を示す。画像抽出部３５０ａは、領域抽出部３５１ａと、抽出領域制御部３５２ａと、マージン領域算出部３５３と、動きベクトル積算部３５４と、動きベクトル記憶部３５５を含む。そして、マージン領域算出部３５３と動きベクトル積算部３５４は、制御部３８０に接続されている。
　この画像抽出部３５０ａは、チャネル間動きベクトル検出部３２０とフレーム間動きベクトル検出部３３０ａと拡大率算出部３４０ａから出力される情報に基づいて、同時化処理部３１０から出力されるＲＧＢ画像から抽出する領域の大きさや座標を決定し、Ｒ’Ｇ’Ｂ’画像を抽出する。抽出したＲ’Ｇ’Ｂ’画像は通常光画像生成部３６０に出力される。
　具体的には、動きベクトル積算部３５４は、フレーム間動きベクトル検出部３３０ａから出力されるＧ画像のフレーム間動きベクトル（Ｖｅｃ＿Ｇｘ，Ｖｅｃ＿Ｇｙ）と、動きベクトル記憶部３５５に保持されている動きベクトルを用いて、動きベクトルの積算値（Ｓｕｍ＿Ｇｘ，Ｓｕｍ＿Ｇｙ）と動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒを算出する。なお、ここではある時間ｔにおける処理を例に説明する。
　動きベクトル記憶部３５５には、初期フレームから時間ｔ－１までのＧ画像のフレーム間動きベクトルの積算値（Ｓｕｍ＿Ｇｘ＿Ｍ，Ｓｕｍ＿Ｇｙ＿Ｍ）と、Ｇ画像のフレーム間動きベクトルの絶対値の積算値（Ａｂｓ＿Ｇｘ＿Ｍ，Ａｂｓ＿Ｇｙ＿Ｍ）と、動きベクトルの積算回数Ｔ＿Ｍの情報が保持されている。時間ｔにおける動きベクトルの積算値（Ｓｕｍ＿Ｇｘ，Ｓｕｍ＿Ｇｙ）は、下式（８）により算出される。また、時間ｔにおける動きベクトルの積算回数Ｔは、下式（９）により算出される。また、時間ｔにおける動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒは、下式（１０）により算出される。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　ここで、上式（１０）のＡｂｓ＿Ｇｘ，Ａｂｓ＿Ｇｙは、動きベクトルの絶対値の積算値であり、下式（１１）を用いて算出する。
Figure JPOXMLDOC01-appb-M000011
　そして、動きベクトル積算部３５４は、上式（８）で算出した動きベクトルの積算値（Ｓｕｍ＿Ｇｘ，Ｓｕｍ＿Ｇｙ）を抽出領域制御部３５２ａに出力し、上式（１０）で算出した動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒをマージン領域算出部３５３に出力する。また、動きベクトル積算部３５４は、動きベクトルの積算値（Ｓｕｍ＿Ｇｘ，Ｓｕｍ＿Ｇｙ）と、上式（１１）で算出した動きベクトルの絶対値の積算値（Ａｂｓ＿Ｇｘ，Ａｂｓ＿Ｇｙ）と、動きベクトルの積算回数Ｔを、動きベクトル記憶部３５５に出力する。なお、出力する際には、動きベクトル記憶部３５５に予め保持されていた内容をリセットする。
　マージン領域算出部３５３は、拡大率算出部３４０ａから出力される拡大率Ｚの情報に基づいて、ＲＧＢ画像からＲ’Ｇ’Ｂ’画像を抽出する際のマージン領域の大きさを算出する。具体的には、ｘ，ｙの各方向におけるマージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを、式（１２）を用いて算出する。
Figure JPOXMLDOC01-appb-M000012
　ここで、Ｓｐａｃｅ＿ＸｍｉｎとＳｐａｃｅ＿Ｙｍｉｎは、通常観察時におけるマージン領域の大きさである。Ｓｐａｃｅ＿Ｘｍｉｎ及びＳｐａｃｅ＿Ｙｍｉｎは、予め一定の値を設定しておくことも可能であるし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定する構成としてもよい。
　このようにして、例えば拡大率Ｚ＝１０の拡大観察時には、拡大率Ｚ＝１の通常観察時に比べて１０倍の大きさのマージン領域が設定される。すなわち、拡大率に比例してマージン領域が設定されることとなり、拡大観察時においてもブレ補正処理を安定的に機能させることが可能である。
　また、マージン領域算出部３５３は、動きベクトル積算部３５４から出力される動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒを参照し、その値が閾値Ｖｍａｘよりも大きい場合には、上式（１２）により算出されたマージン領域の値を、下式（１３）を用いて更新する。
Figure JPOXMLDOC01-appb-M000013
　一方、動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒが、閾値Ｖｍｉｎよりも小さい場合には、上式（１２）により算出したマージン領域の値を、下式（１４）を用いて更新する。
Figure JPOXMLDOC01-appb-M000014
　ここで、Ｃｏｍａｘは１より大きな値を持つ任意の実数値であり、Ｃｏｍｉｎは１より小さい値を持つ任意の実数値である。すなわち、動きベクトルの平均値Ａｖｅ＿Ｇｒが閾値Ｖｍａｘよりも大きい場合には、上式（１３）によりマージン領域がより大きい値に更新される。一方、動きベクトルの平均値Ａｖｅ＿Ｇｒが閾値Ｖｍｉｎよりも小さい場合には、上式（１４）によりマージン領域がより小さい値に更新される。
　なお、閾値Ｖｍａｘ，Ｖｍｉｎと係数Ｃｏｍａｘ，Ｃｏｍｉｎは、予め一定の値を設定しておいてもよいし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定する構成としてもよい。
　上記の処理によれば、動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒの大きさに応じて、マージン領域を制御することが可能になる。これにより、ブレの大小に応じて適正なブレ補正が可能になる。
　例えば、食道部位においては、心臓の拍動による影響を強く受け、被写体である食道粘膜の位置が大きく変動する特徴がある。このような場合、フレーム間の動きベクトルが大きくなるため、ブレ補正の効果が十分に得られないことが予想される。そこで、上式（１３）に示したように、動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒが閾値Ｖｍａｘより大きい場合に、マージン領域を大きく設定することで、ブレ補正を安定的に機能させることが可能となる。
　一方、拡大観察時においては、ブレの影響を軽減するために、撮像部２００先端にフードを取り付け、該フードを被写体と密着させた状態で、観察が行われることがある。この場合、撮像部２００と被写体の位置関係が固定されるため、ブレの影響は軽減される。このような場合には、動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒは小さくなる。従って、上式（１４）に示したようにマージン領域を小さくすることで、表示に利用される領域を大きくすることができる。これにより、より広い領域を撮影した表示画像をユーザに提示することが可能になる。
　次に、抽出領域制御部３５２ａは、マージン領域算出部３５３から出力されるマージン領域と、動きベクトル積算部３５４から出力される動きベクトルの積算値と、チャネル間動きベクトル検出部３２０から出力されるチャネル間動きベクトルの情報に基づいて、同時化処理部３１０から出力されるＲＧＢ画像からＲ’Ｇ’Ｂ’画像を抽出する際の条件を決定する。具体的には、抽出する際の条件として、Ｒ’Ｇ’Ｂ画像を抽出する際の始点座標と、Ｒ’Ｇ’Ｂ’画像のｘ，ｙ方向の画素数ｉｍｘ，ｉｍｙを決定する。
　抽出領域制御部３５２ａは、Ｒ’Ｇ’Ｂ’画像の画素数ｉｍｘ，ｉｍｙを、下式（１５）を用いて算出する。ここで、図１７（Ａ）に示すように、ＸＷは、撮像部２００で取得される画像のｘ方向における画素数であり、ＹＨは、撮像部２００で取得される画像のｙ方向における画素数である。
Figure JPOXMLDOC01-appb-M000015
　また抽出領域制御部３５２ａは、始点座標を、下式（１６）を用いて算出する。本実施形態においては、Ｒ’Ｇ’Ｂ’の各画像で始点座標が異なるため、下式（１６）に示したように、Ｒ’Ｇ’Ｂ’の各画像について始点座標が算出される。ここで、図１７（Ｂ）に示すように、Ｒ’ｓ＿ｘ，Ｒ’ｓ＿ｙは、撮像部２００により取得される画像におけるＲ’画像の始点座標である。また、Ｇ’ｓ＿ｘ，Ｇ’ｓ＿ｙはＧ’画像の始点座標であり、Ｂ’ｓ＿ｘ，Ｂ’ｓ＿ｙはＢ’画像の始点座標である。
Figure JPOXMLDOC01-appb-M000016
　また、抽出領域制御部３５２ａは、上式（１６）で算出した始点座標に対し、下式（１７）に示すクリップ処理を行う。これは、図１８のＡ５に示すように、抽出領域が撮像画像からはみ出て画像を抽出できない場合に、始点座標をシフトさせる処理に相当する。すなわち、Ａ６に示すように、クリップ処理後の抽出領域は、撮像画像内の領域となる。なお、このクリップ処理はＧ’画像やＢ’画像についても同様であるため説明を省略する。
Figure JPOXMLDOC01-appb-M000017
　そして、抽出領域制御部３５２ａは、クリップ処理後の始点座標と、Ｒ’Ｇ’Ｂ’画像の画素数を、領域抽出部３５１ａに出力する。また、抽出領域制御部３５２ａは、ＲＧＢ画像の画素数とＲ’Ｇ’Ｂ’画像の画素数の比率ｚｏｏｍ＿ｘ，ｚｏｏｍ＿ｙを、サイズ変換部３７０に出力する。この比率ｚｏｏｍ＿ｘ，ｚｏｏｍ＿ｙは、下式（１８）を用いて算出する。
Figure JPOXMLDOC01-appb-M000018
　領域抽出部３５１ａは、抽出領域制御部３５２ａから出力される始点座標とＲ’Ｇ’Ｂ’画像の画素数の情報を用いて、ＲＧＢ画像よりＲ’Ｇ’Ｂ’画像を抽出し、そのＲ’Ｇ’Ｂ’画像を通常光画像生成部３６０に出力する。
　以上の処理を行うことで、焦点位置を変更する光学系を用いた拡大観察時において、安定的にブレを補正することが可能となる。これにより、拡大観察時において、ブレ補正できずに注目領域が視野から外れることを抑制し、注目領域を見失う課題を改善できる。
　なお、本実施形態では、上述のブレ補正処理の“ＯＮ／ＯＦＦ”を、外部Ｉ／Ｆ部５００により切り替えてもよい。すなわち、外部Ｉ／Ｆ部５００において、ブレ補正機能が“ＯＦＦ”に設定された場合、その情報が制御部３８０に送られる。このとき制御部３８０は、ブレ補正処理が“ＯＦＦ”に設定されたことを示すトリガ信号を、動きベクトル積算部３５４とマージン領域算出部３５３に出力する。なお、このトリガ信号は、ブレ補正処理が“ＯＦＦ”に設定されている期間中は常に出力し続けるものとする。
　そして、動きベクトル積算部３５４は、“ＯＦＦ”のトリガ信号が出力された場合、動きベクトル記憶部３５５に保持されている動きベクトル及び積算回数の情報を全て“０”にセットする。また、“ＯＦＦ”のトリガ信号が出力されている期間中において、動きベクトル積算部３５４から出力される、動きベクトルの積算値（Ｓｕｍ＿Ｇｘ，Ｓｕｍ＿Ｇｙ）と動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒの情報は“ゼロ”にセットされる。また、上式（９）に示した積算回数のカウントも行われない。また、“ＯＦＦ”のトリガ信号が出力された場合、マージン領域算出部３５３から出力されるマージン領域Ｓｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙは“ゼロ”にセットされる。
　さて上述のように、内視鏡診断における拡大観察では、拡大率に比例してブレが大きくなる傾向にあるため、拡大率が大きくなるほどブレ補正が困難になるという課題がある。また、ブレを補正できないと観察対象を見失う可能性が高くなり、観察対象を見失うと再び低倍率から倍率を上げる作業を繰り返す負担が生じてしまう。
　この点、本実施形態によれば、図５に示すように、拡大観察が可能な撮像部２００により取得された画像を処理する画像処理装置（画像処理部３００）であって、動き情報取得部（チャネル間動きベクトル検出部３２０、フレーム間動きベクトル検出部３３０ａ）と、撮像倍率算出部（拡大率算出部３４０ａ）と、画像抽出部３５０ａを含む。
　そして、動き情報取得部は、被写体に対する撮像部２００の相対的な動きを表す情報である動き情報を取得する。撮像倍率算出部は、撮像部２００の撮像倍率Ｚ（拡大率）を算出する。画像抽出部３５０ａは、撮像部２００により取得された撮像画像から特定領域における画像を抽出画像として抽出する。図１７（Ｂ）で上述のように、画像抽出部３５０ａは、撮像画像における特定領域の位置（Ｒ’ｓ＿ｘ，Ｒ’ｓ＿ｙ等）を、動き情報に基づいて設定する。また図１７（Ａ）で上述のように、画像抽出部３５０ａは、撮像画像から特定領域を除く領域の大きさであるマージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを、撮像倍率Ｚに基づいて設定する。
　このようにすれば、拡大率に応じてマージン領域が設定されることで、撮像画像における特定領域の位置を設定する際のマージンを拡大率に応じて変えることができる。これにより、拡大観察においてブレに対する追従性を向上させ、ブレ補正を安定的に機能させることが可能になる。そして、ブレ補正の追従性が向上することで、観察対象を見失う可能性を軽減できる。
　ここで、動き情報とは、異なるタイミング間における被写体と撮像部２００との相対的な動きを表す情報であり、例えば相対的な位置や移動距離、速度、動きベクトル等を表す情報である。本実施形態では、例えばＧ画像の撮影タイミングとＢ画像の撮影タイミングの間における動き情報として、そのＧ画像とＢ画像の間のチャネル間動きベクトルが取得される。なお本実施形態では、このような画像から求めた動き情報に限定されず、モーションセンサ等を用いてセンシングした移動距離や速度等の動き情報を用いてもよい。
　また本実施形態では、上式（１２）で上述のように、画像抽出部３５０ａは、マージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを撮像倍率Ｚに比例した大きさに設定する。より具体的には、画像抽出部３５０ａは、マージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを、マージン領域の大きさの基準となる基準サイズＳｐａｃｅ＿Ｘｍｉｎ，Ｓｐａｃｅ＿Ｙｍｉｎに対して撮像倍率Ｚを乗じたサイズに設定する。
　このようにすれば、拡大率が大きくなるほどマージン領域を大きいサイズに設定できるため、拡大率が大きくなるほど大きなブレに追従できる。これにより、図４等で上述したマージン領域サイズが一定の比較例と比べて、拡大観察においてより大きなブレを補正できる。
　なお、本実施形態では、マージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙが撮像倍率Ｚにリニアに比例する場合を例に説明したが、本実施形態はこれに限定されない。例えば、本実施形態では、撮像倍率Ｚが増加するに従ってマージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙが非リニアに増加してもよい。
　また本実施形態では、上式（１３）、（１４）で上述したように、画像抽出部３５０ａは、基準サイズＳｐａｃｅ＿Ｘｍｉｎ，Ｓｐａｃｅ＿Ｙｍｉｎに対して撮像倍率Ｚを乗じたサイズに設定されたマージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを、動き情報に基づいて更新する。ここで、更新とは、変数の値を新しい値に再設定することであり、例えば図１６に示すマージン領域算出部３５３が図示しない記憶部を含み、その記憶部におけるマージン領域の大きさの記憶領域に記憶された値を上書きすることである。
　このようにすれば、被写体と撮像部２００との相対的な動きに応じてマージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを調整できる。これにより、ブレ量が増加した場合にマージン領域を増加させてブレ補正の追従性を向上することが可能になる。
　具体的には、本実施形態では、画像抽出部３５０ａは、所定期間（例えば上式（９）に示す積算回数Ｔに対応する期間）における動き情報の平均値Ａｖｅ＿Ｇｒに基づいてマージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを更新する。
　より具体的には、画像抽出部３５０ａは、動き情報の平均値Ａｖｅ＿Ｇｒが第１の閾値Ｖｍａｘより大きい場合には、マージン領域の大きさを、撮像倍率Ｚに基づいて設定された大きさより大きいサイズＣｏｍａｘ×Ｓｐａｃｅ＿Ｘ，Ｃｏｍａｘ×Ｓｐａｃｅ＿Ｙに更新する。一方、動き情報の平均値Ａｖｅ＿Ｇｒが第２の閾値Ｖｍｉｎより小さい場合には、マージン領域の大きさを、撮像倍率Ｚに基づいて設定された大きさより小さいサイズＣｏｍｉｎ×Ｓｐａｃｅ＿Ｘ，Ｃｏｍｉｎ×Ｓｐａｃｅ＿Ｙに更新する。
　このようにすれば、ブレ量に応じてマージン領域の大きさを調整できる。すなわち、ブレ量が閾値より大きい場合にマージン領域のサイズを大きくすることで、補正可能なブレ量を増加できる。一方、ブレ量が閾値より小さい場合にマージン領域のサイズの小さくすることで、表示領域を拡大してユーザに提示する情報量を増やすことができる。
　また本実施形態では、動き情報は、撮像画像における被写体の動きを表す動きベクトルＶｅｃ＿Ｇｘ，Ｖｅｃ＿Ｇｙである。そして、上式（１０）、（１１）で上述のように、画像抽出部３５０ａは、所定期間における動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒに基づいてマージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを更新する。
　このように動きベクトルの絶対値を用いることで、動きベクトルの大きさをブレ量とし、そのブレ量の大小に応じてマージン領域サイズを設定できる。
　また本実施形態では、図１８で上述のように、画像抽出部３５０ａは、特定領域の少なくとも一部が撮像画像の外側に出たと判定した場合に、その特定領域を撮像画像内に再設定する。より具体的には、画像抽出部３５０ａは、動きベクトルの大きさがマージン領域の大きさを超えた場合に、特定領域の位置をマージン領域内に再設定する。例えばＲ’ｓ＿ｘを例にすると、上式（１７）に示すように、Ｒ’ｓ＿ｘ＜０となり領域左端がはみ出る場合には、Ｒ’ｓ＿ｘ＝０に設定する。一方、Ｒ’ｓ＿ｘ＞２×Ｓｐａｃｅ＿Ｘ（＝ＸＷ－ｉｍｘ）となり領域右端がはみ出る場合には、Ｒ’ｓ＿ｘ＝２×Ｓｐａｃｅ＿Ｘに設定する。
　このようにすれば、抽出する領域が撮像画像外にはみ出た場合にクリップ処理を行うことができる。すなわち、ブレ補正できないブレ量となった場合であっても表示画像を抽出可能な位置に特定領域を設定し、画像表示を行うことができる。
　また本実施形態の画像処理装置は、図５に示すように、撮像部２００（集光レンズ２３０）の焦点位置情報を取得する焦点位置情報取得部（制御部３８０）を含む。図１５で上述のように、撮像倍率Ｚは、撮像部２００と被写体との距離が変更されることで変更される。この場合に、撮像倍率算出部は、焦点位置情報に基づいて撮像倍率Ｚを算出する。具体的には、撮像倍率算出部は、基準焦点位置ｄｎと、焦点位置情報が表す焦点位置ｄとの比ｄｎ／ｄに基づいて撮像倍率Ｚを算出する。
　このようにすれば、撮像部２００先端を被写体に接近させることで被写体を拡大観察するタイプの内視鏡装置において、撮像部２００の焦点位置情報からその撮像倍率Ｚを求めることができる。
　また本実施形態では、図１０や図１１で上述したように、動き情報取得部は、異なる時間（ｔ－１，ｔ、ｔ＋１，・・・）において取得された少なくとも２つの撮像画像に基づいて、その撮像画像における被写体の動きを表す動きベクトル（フレーム間動きベクトル、チャネル間動きベクトル）を取得する。
　具体的には、撮像部２００は撮像画像として、第１～第３色信号の画像（Ｒ画像、Ｇ画像、Ｂ画像）を時系列に順次取得する。そして、動き情報取得部は、その第１～第３色信号の画像の間での被写体の動きを表す動きベクトルをチャネル間動きベクトル（例えばＶｅｃ＿Ｂｘ，Ｖｅｃ＿Ｂｙ）として取得する。画像抽出部３５０ａは、そのチャネル間動きベクトルに基づいて、第１～第３色信号の画像から抽出画像を抽出する。
　このようにすれば、撮像部２００と被写体の間の相対的な動き情報として、撮像画像間の動きベクトルを用いてブレ補正を行うことができる。また、面順次方式の内視鏡装置において、チャネル間のブレを補正して面順次による色ズレを抑制できる。
　また本実施形態の画像処理装置は、図５に示すように、抽出画像の画像サイズが撮像倍率に応じて変化する場合に、その抽出画像の画像サイズを、表示部４００に表示可能な所定の画像サイズ（所定の画素数。例えば撮像画像と同じサイズ）に変換するサイズ変換部３７０を含む。具体的には、撮像部２００は、撮像画像として一連の動画画像を取得し、サイズ変換部３７０は、その一連の動画画像から抽出された一連の抽出画像を同一の画像サイズに変換する。
　このようにすれば、拡大率に応じてサイズが変動する抽出画像を一定の画像サイズに変換できるため、拡大率に依らず一定の画像サイズの表示画像を表示できる。
　８．内視鏡装置の第２の構成例
　図１９に、撮像部２００の視野角に基づいて拡大率を算出する場合の構成例として、内視鏡装置の第２の構成例を示す。この内視鏡装置は、光源部１００と、撮像部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお以下では、図５等で上述した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。
　光源部１００は、白色光を発生する白色光源１１０と、その白色色をライトガイドファイバ２１０に集光するためのレンズ１３０を含む。
　撮像部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、集光レンズ２７０と、撮像素子２４０ｂと、メモリ２５０を含む。撮像素子２４０ｂは、ベイヤ配列の色フィルタｒ，ｇ，ｂを持つ撮像素子である。図２０に示すように、ｒフィルタは５８０～７００ｎｍの光を透過させる分光特性を有し、ｇフィルタは４８０～６００ｎｍの光を透過させる分光特性を有し、ｂフィルタは４００～５００ｎｍの光を透過させる分光特性を有する。
　集光レンズ２７０は、画角を可変制御することが可能であり、例えば画角をφｍｉｎ～φｍａｘ［°］の範囲で制御できる。例えば、通常観察時の画角はφｎ＝φｍａｘ［°］である。この画角は、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定できる。そして、外部Ｉ／Ｆ部５００によりユーザが設定した画角φの情報は、制御部３８０に送られ、制御部３８０は、その画角情報に応じて集光レンズ２７０を制御して画角を変更する。
　なお、この画角の制御範囲φｍｉｎ～φｍａｘ［°］は、接続されるスコープにより異なる。上述したように制御部３８０は、メモリ２５０に保持されている各スコープ固有の識別番号を参照することで、接続されているスコープの種類を識別し、画角の制御範囲φｍｉｎ～φｍａｘ［°］と通常観察時における画角φｎ［°］の情報を取得可能である。
　制御部３８０は、拡大率に関する情報を、後述する拡大率算出部３４０ｂに出力する。この情報は、ユーザが設定した画角φの情報や、通常観察時における画角φｎの情報、画角の最小値φｍｉｎの情報である。
　画像処理部３００は、補間処理部３９０と、フレーム間動きベクトル検出部３３０ａと、拡大率算出部３４０ｂと、画像抽出部３５０ｂと、通常光画像生成部３６０と、サイズ変換部３７０と、制御部３８０を含む。そして、補間処理部３９０、フレーム間動きベクトル検出部３３０ａ、拡大率算出部３４０ｂ、画像抽出部３５０ｂ、通常光画像生成部３６０、サイズ変換部３７０は、それぞれ制御部３８０に接続されている。なお、フレーム間動きベクトル検出部３３０ａ、通常光画像生成部３６０、サイズ変換部３７０の処理は、図５等で説明した処理と同様であるため、説明を省略する。
　補間処理部３９０は、撮像素子２４０ｂで取得されるベイヤ画像に対し、補間処理を施すことでＲＧＢ画像を生成する。例えば、補間処理として、公知のバイキュービック補間処理を用いればよい。そして、補間処理部３９０は、生成したＲＧＢ画像を、画像抽出部３５０ｂ及びフレーム間動きベクトル検出部３３０ａに出力する。
　拡大率算出部３４０ｂは、制御部３８０から出力される、ユーザが設定した画角φの情報と通常観察時の画角φｎの情報を用いて拡大率Ｚ’を算出し、その拡大率Ｚ’を画像抽出部３５０ｂに出力する。具体的には、図２１に示すように、被写体から撮像部２００までの距離が同一の場合に、画角φｎでの撮像領域サイズと画角φでの撮像領域サイズの比が拡大率Ｚ’となる。すなわち、拡大率Ｚ’は、下式（１９）により算出される。本実施形態では、拡大率Ｚ’の範囲は、１倍～｛ｔａｎ（φｎ／２）／ｔａｎ（φｍｉｎ／２）｝倍となる。
Figure JPOXMLDOC01-appb-M000019
　画像抽出部３５０ｂは、フレーム間動きベクトル検出部３３０ａと拡大率算出部３４０ｂから出力される情報に基づいて、補間処理部３９０から出力されるＲＧＢ画像から特定の領域（抽出領域）における画像をＲ’Ｇ’Ｂ’画像として抽出する。
　図２２に、画像抽出部３５０ｂの詳細な構成例を示す。この画像抽出部３５０ｂは、領域抽出部３５１ｂと、抽出領域制御部３５２ｂと、マージン領域算出部３５３と、動きベクトル積算部３５４と、動きベクトル記憶部３５５を含む。マージン領域算出部３５３と動きベクトル積算部３５４は、制御部３８０に接続されている。なお、マージン領域算出部３５３と動きベクトル積算部３５４と動きベクトル記憶部３５５の処理は、図１６等で上述した処理と同一であるため、説明を省略する。
　抽出領域制御部３５２ｂは、マージン領域Ｓｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙと、動きベクトルの積算値（Ｓｕｍ＿Ｇｘ，Ｓｕｍ＿Ｇｙ）の情報に基づいて、ＲＧＢ画像からＲ’Ｇ’Ｂ’画像を抽出する際の始点座標と画素数ｉｍｘ，ｉｍｙを決定する。Ｒ’Ｇ’Ｂ’画像の画素数ｉｍｘ，ｉｍｙは、図１６等で上述の手法と同様に上式（１５）を用いて算出する。
　始点座標は、下式（２０）を用いて算出する。本実施形態ではＲＧＢの各画像が同時に取得されるため、上述のような色ズレの問題は発生しない。従って、本実施形態ではＲ’Ｇ’Ｂ’の画像毎に始点座標を算出する必要はなく、算出される始点座標は１種類のみ（Ｉ’ｓ＿ｘ，Ｉ’ｓ＿ｙ）である。
Figure JPOXMLDOC01-appb-M000020
　なお、クリップ処理は、上式（１７）と同様の手法により、上式（２０）で算出した始点座標（Ｉ’ｓ＿ｘ，Ｉ’ｓ＿ｙ）に対して行われる。また、抽出領域制御部３５２ｂは、上式（１８）と同様の手法によりＲＧＢ画像の画素数とＲ’Ｇ’Ｂ’画像の画素数の比率ｚｏｏｍ＿ｘ，ｚｏｏｍ＿ｙを算出し、その比率ｚｏｏｍ＿ｘ，ｚｏｏｍ＿ｙをサイズ変換部３７０に出力する。
　以上の処理を行うことで、画角を変更する光学系を用いた拡大観察時においても、安定的にブレを補正することが可能となる。さらに、拡大観察時において、注目領域を見失う課題も改善することが可能である。また、本実施形態では、ＲＧＢの各画像が同時に取得される。これにより、図５等で上述した色ズレの問題を考慮する必要がないため、処理を簡素化できる。また、チャネル間動きベクトルを算出する必要がないため、フレームメモリを少なくできる。
　上記の実施形態によれば、図１９に示すように、撮像部２００の画角情報を取得する画角情報取得部（制御部３８０）を含む。そして、撮像倍率算出部（拡大率算出部３４０ｂ）は、その画角情報に基づいて撮像倍率Ｚ’を算出する。より具体的には、図２１で上述のように、撮像倍率算出部は、基準画角をφｎとし、画角情報が表す画角をφとする場合に、ｔａｎ（φｎ／２）とｔａｎ（φ／２）との比に基づいて撮像倍率Ｚ’を算出する。
　このようにすれば、撮像部２００のズーム機能（例えば光学ズーム）により被写体を拡大観察可能な内視鏡装置において、撮影時の画角情報から撮像部２００の撮像倍率Ｚ’を求めることができる。
　９．内視鏡装置の第３の構成例
　図２３に、位置センサからの情報と動きベクトルに基づいて拡大率を算出する場合の構成例として、内視鏡装置の第３の構成例を示す。この内視鏡装置は、光源部１００と、撮像部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお以下では、図５等で上述した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。
　撮像部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、集光レンズ２９０と、撮像素子２４０ｂと、メモリ２５０と、位置センサ２８０を含む。なお、撮像素子２４０ｂとメモリ２５０は、図１９等で説明した構成要素と同一である。
　位置センサ２８０は、撮像部先端の移動量を検出するためのセンサである。例えば、位置センサ２８０は、３方向の並進移動量をセンシングする加速度センサで構成され、被写体表面に対して並進する撮像部先端の移動量を出力する。例えば、移動量は、撮像部先端の移動距離や、動きベクトルである。そして、位置センサ２８０は、制御部３８０に接続されており、位置センサ２８０で検出された移動量に関する情報が制御部３８０に出力される。なお、本実施形態では、位置センサ２８０が３軸のジャイロセンサを含み、移動量として撮像部先端の回転角度を出力してもよい。
　画像処理部３００は、補間処理部３９０と、フレーム間動きベクトル検出部３３０ｂと、拡大率算出部３４０ｃと、画像抽出部３５０ｂと、通常光画像生成部３６０と、サイズ変換部３７０と、制御部３８０を含む。なお、画像抽出部３５０ｂや、通常光画像生成部３６０、サイズ変換部３７０、補間処理部３９０の処理は、図１９等で上述した処理と同様であるため説明を省略する。
　図２４に、フレーム間動きベクトル検出部３３０ｂの詳細な構成例を示す。このフレーム間動きベクトル検出部３３０ｂは、Ｇ画像選出部３２１ｂと、フレームメモリ３３１と、ゲイン乗算部３２３ｂと、ブロックマッチング処理部３２４ｂを含む。ブロックマッチング処理部３２４ｂ以外の処理は、図５等で上述の処理と同様である。
　ブロックマッチング処理部３２４ｂは、図１３等で上述の手法と同様にして、全ての局所領域の動きベクトルを検出し、その局所領域の動きベクトルの平均値を画像抽出部３５０ｂに出力する。また、ブロックマッチング処理部３２４ｂは、全ての局所領域座標と動きベクトルの情報を、拡大率算出部３４０ｃに出力する。例えば、局所領域座標は、各局所領域の中心座標とすればよい。
　次に拡大率算出部３４０ｃについて説明する。内視鏡診断の拡大観察では、スコープを被写体である生体に近接させることで拡大率を上げる手法が一般的である。この場合、撮像部２００の先端と、被写体との間の距離が分かれば拡大率を算出することが可能である。
　そこで、拡大率算出部３４０ｃは、制御部３８０から出力される撮像部２００先端の移動量（例えば動きベクトル）と、フレーム間動きベクトル検出部３３０ｂから出力される局所領域座標とその局所領域の動きベクトルの情報に基づいて、撮像部２００の先端と被写体との間の平均距離を推定し、拡大率を算出する。
　図２５に、拡大率算出部３４０ｃの詳細な構成例を示す。この拡大率算出部３４０ｃは、平均距離推定部３４１と、拡大率推定部３４２と、拡大率記憶部３４３を含む。
　平均距離推定部３４１は、制御部３８０から出力される撮像部２００先端の移動量と、フレーム間動きベクトル検出部３３０ｂから出力される局所領域座標とその局所領域の動きベクトルの情報に基づいて、撮像部２００の先端と被写体との間の平均距離を推定する。以下では、ある時間ｔにおいて、平均距離を算出する場合を例に説明する。
　フレーム間動きベクトル検出部３３０ｂからは、時間ｔと時間ｔの１フレーム前の時間時間ｔ－１において取得された画像より算出した動きベクトルと局所領域座標が出力される。また、制御部３８０からは、時間ｔと時間ｔ－１の間における撮像部２００先端の移動量が出力される。具体的には、移動量として、図２６に示すようにＸ，Ｙの２軸の移動量が出力される。
　さて、制御部３８０から出力される移動量の情報を（ＴＸ，ＴＹ）とする。（ＴＸ，ＴＹ）は、時間ｔ－１から時間ｔまでの撮像部２００先端の移動量である。この移動量により、各時間（時間ｔ、時間ｔ－１）における撮像部２００先端の相対的な位置関係が定まる。また、時間ｔ及び時間ｔ－１で取得された各画像間の動きベクトルが取得される。
　このように、各時間における撮像部２００先端の相対的な位置関係と、各時間において取得された画像の対応関係が求まっているため、公知の三角測量の原理を用いて、撮像部２００の先端と被写体との平均距離ｄｉｆｆ＿ｖａｌを推定することが可能である。
　図２７（Ａ）、図２７（Ｂ）を用いて、平均距離ｄｉｆｆ＿ｖａｌの推定について詳細に説明する。なお、簡単のためＴＹ＝０である場合を例に説明する。また、焦点位置に依らず画角は一定であり、撮像部２００先端と被写体との距離により拡大率が変化するものとする。
　図２７（Ａ）に示すように、時間ｔ－１において、被写体上の点ＰＴが画像上の対応点ＰＴ’に写っているとする。図２７（Ｂ）のＥ１に示すように、時間ｔ－１からｔまでの間に画像上において対応点ＰＴ’が距離ＴＸ’だけ移動したとする。撮像部２００の画角φは既知であるから、画像上の距離ＴＸ’からＥ２に示す角度θが求まる。そうすると、Ｅ３に示すように、被写体上の距離ＴＸを底辺とする直角三角形が定まり、撮像部２００先端から被写体までの距離ｄｉｆｆ＿ｖａｌが求まる。
　なお、制御部３８０から出力される移動量の情報が（ＴＸ，ＴＹ）＝（０，０）の場合には、撮像部２００の先端と被写体との平均距離ｄｉｆｆ＿ｖａｌを推定できない。この場合には、平均距離を推定できないことを示すトリガ信号を、拡大率推定部３４２に出力する。
　拡大率推定部３４２は、平均距離推定部３４１の出力する情報により、処理が異なる。すなわち、平均距離推定部３４１から平均距離ｄｉｆｆ＿ｖａｌが出力されている場合には、拡大率推定部４４２は、下式（２１）を用いて拡大率Ｚ”を推定する。
Figure JPOXMLDOC01-appb-M000021
　なお、距離ｄｉｆｆ＿ｏｒｇは、通常観察時における撮像部２００の先端と被写体間の平均的な距離である。例えば、ｄｉｆｆ＿ｏｒｇは、通常観察時における焦点位置ｄｎとしてもよいし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定してもよい。
　そして、拡大率推定部３４２は、上式（２１）を用いて算出した拡大率Ｚ”を、画像抽出部３５０ｃと拡大率記憶部３４３に出力する。拡大率記憶部３４３には、１フレーム前の時点における拡大率Ｚ”が保持されることになる。
　一方、平均距離推定部３４１よりトリガ信号が出力されている場合、拡大率推定部３４２は、拡大率記憶部３４３に保持されている内容を拡大率Ｚ”として、画像抽出部３５０ｃに出力する。
　以上の処理を行うことで、焦点位置を変更する光学系を用いた拡大観察時において、第１の実施形態で示したような焦点位置の検出手段がない場合においても、安定的にブレを補正することが可能となる。さらに、拡大観察時において、注目領域を見失う問題も改善することが可能である。
　上記の実施形態によれば、図２３に示すように、撮像部２００の移動量情報を取得する移動量情報取得部（位置センサ２８０からの移動量情報を取得する制御部３８０）を含む。そして、撮像倍率算出部（拡大率算出部３４０ｃ）は、その移動量情報と動き情報に基づいて撮像倍率Ｚ”を算出する。より具体的には、図２７（Ｂ）で上述のように、撮像倍率算出部は、動き情報（距離ＴＸ’）と移動量情報（距離ＴＸ）に基づいて撮像部２００と被写体との距離ｄｉｆｆ＿ｖａｌを算出し、その距離ｄｉｆｆ＿ｖａｌと基準距離ｄｉｆｆ＿ｏｒｇとの比に基づいて撮像倍率Ｚ”を算出する。
　このようにすれば、撮像部２００先端を被写体に接近させることで被写体を拡大観察するタイプの内視鏡装置において、モーションセンサによりセンシングした撮像部２００の移動量から撮像部２００の撮像倍率Ｚ”を求めることができる。
　１０．ソフトウェア
　上記の本実施形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。なお、本実施形態では、リアルタイムに撮影された動画のブレ補正だけでなく、カプセル内視鏡等の撮像装置を用いて予め取得された画像に対してソフトウェア処理を行ってもよい。
　撮像部を別体とし、画像処理部３００の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理部３００の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。
　図２８は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図２９は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図２８に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。
　また、このコンピュータシステム６００における本体部６１０は、図２９に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ－ＲＯＭ６６０を受け入れるＣＤ－ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。
　さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。
　そして、このコンピュータシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図３０）を参照して、後述する処理手順を実現するための画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ－ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
　すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
　各部が行う処理の一部をソフトウェアで構成する場合の一例として、撮像部により取得された画像に対して、画像処理部３００の処理をソフトウェアで実現する場合の処理手順を、図３０のフローチャートを用いて説明する。
　図３０に示すように、この処理が開始されると、時系列に撮影されたＲ画像，Ｇ画像，Ｂ画像を取得する（ステップＳ１）。次に、それらの画像に対して同時化処理を行い（ステップＳ２）、同時化処理後の画像からチャネル間動きベクトルを検出する（ステップＳ３）。次に、フレーム間動きベクトルを検出し（ステップＳ４）、拡大率を算出する（ステップＳ５）。次に、チャネル間動きベクトルとフレーム間動きベクトルと拡大率からマージン領域のサイズと抽出領域の始点座標を算出し（ステップＳ６）、Ｒ’Ｇ’Ｂ’画像を抽出する（ステップＳ７）。次に、抽出したＲ’Ｇ’Ｂ’画像から通常光画像を生成し（ステップＳ８）、その通常光画像に対してサイズ変換処理を行い、処理後の画像を表示部に表示する制御を行い（ステップＳ９）、処理を終了する。
　また本実施形態は、本実施形態の各部（チャネル間動きベクトル検出部、フレーム間動きベクトル検出部、拡大率算出部、画像抽出部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
　例えば、コンピュータプログラムプロダクトは、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）等、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
　以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
　また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（撮像倍率、移動量、抽出領域等）と共に記載された用語（拡大率、並進移動量、特定領域等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
１００　光源部、１１０　白色光源、１２０　回転フィルタ、
１２０ａ　モータ、１３０　レンズ、２００　撮像部、
２１０　ライトガイドファイバ、２２０　照明レンズ、２３０　集光レンズ、
２４０ａ，２４０ｂ　撮像素子、２５０　メモリ、２７０　集光レンズ、
２８０　位置センサ、２９０　集光レンズ、３００　画像処理部、
３１０　同時化処理部、３１１～３１３　画像記憶部、３１４　画像生成部、
３２０　チャネル間動きベクトル検出部、
３２１ａ，３２１ｂ　Ｇ画像選出部、３２２　Ｂ画像選出部、
３２３ａ，３２３ｂ　ゲイン乗算部、
３２４ａ，３２４ｂ　ブロックマッチング処理部、
３２５　動きベクトル補間部、
３３０ａ，３３０ｂ　フレーム間動きベクトル検出部、
３３１　フレームメモリ、３４０ａ，３４０ｂ，３４０ｃ　拡大率算出部、
３４１　平均距離推定部、３４２　拡大率推定部、３４３　拡大率記憶部、
３５０ａ，３５０ｂ，３５０ｃ　画像抽出部、
３５１ａ，３５１ｂ　領域抽出部、３５２ａ，３５２ｂ　抽出領域制御部、
３５３　マージン領域算出部、３５４　動きベクトル積算部、
３５５　動きベクトル記憶部、３６０　通常光画像生成部、
３７０　サイズ変換部、３８０　制御部、３９０　補間処理部、
４００　表示部、４４２　拡大率推定部、５００　外部Ｉ／Ｆ部、
６００　コンピュータシステム、６１０　本体部、６１１　ＣＰＵ、
６１２　ＲＡＭ、６１３　ＲＯＭ、６１４　ＨＤＤ、
６１５　ＣＤ－ＲＯＭドライブ、６１６　ＵＳＢポート、
６１７　Ｉ／Ｏインターフェース、６１８　ＬＡＮインターフェース、
６２０　ディスプレイ、６２１　表示画面、６３０　キーボード、
６４０　マウス、６５０　モデム、６６０　ＣＤ－ＲＯＭ、
６７０　ＵＳＢメモリ、６８１　ＰＣ、６８２　サーバ、６８３　プリンタ、
Ａｖｅ＿Ｇｒ　動きベクトルの絶対値の平均値、Ｃｏｍａｘ，Ｃｏｍｉｎ　係数、
Ｆｒ，Ｆｇ，Ｆｂ　色フィルタ、Ｇｔ　Ｇ画像、
Ｎ１　広域エリアネットワーク、Ｎ３　公衆回線、Ｑ１，Ｑ２　変位量、
Ｒ，Ｒｎ　撮像領域サイズ、
Ｓｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙ　マージン領域の大きさ、
Ｓｐａｃｅ＿Ｘｍｉｎ，Ｓｐａｃｅ＿Ｙｍｉｎ　基準サイズ、Ｔ　積算回数、
ＴＸ　移動量、Ｖｅｃ＿Ｇｘ，Ｖｅｃ＿Ｇｙ　フレーム間動きベクトル、
Ｖｍａｘ　第１の閾値、Ｖｍｉｎ　第２の閾値、Ｚ，Ｚ’，Ｚ”　拡大率、
ｄ　焦点位置、ｄｉｆｆ＿ｏｒｇ　基準距離、ｄｉｆｆ＿ｖａｌ　平均距離、
ｄｍｉｎ～ｄｍａｘ　焦点位置の設定範囲、ｄｎ　基準焦点位置、
ｒ，ｇ，ｂ　撮像素子の色フィルタ、ｔ　時間、
ｚｏｏｍ＿ｘ，ｚｏｏｍ＿ｙ　比率、
φ　画角、φｍｉｎ-φｍａｘ　画角の設定範囲、φｎ　基準画角

Claims (24)

  1. 　拡大観察が可能な撮像部により取得された画像を処理する画像処理装置であって、
    　被写体に対する前記撮像部の相対的な動きを表す情報である動き情報を取得する動き情報取得部と、
    　前記撮像部の撮像倍率を算出する撮像倍率算出部と、
    　前記撮像部により取得された撮像画像から特定領域における画像を抽出画像として抽出する画像抽出部と、
    　を含み、
    　前記画像抽出部は、
    　前記撮像画像における前記特定領域の位置を、前記動き情報に基づいて設定するとともに、前記撮像画像から前記特定領域を除く領域の大きさであるマージン領域の大きさを、前記撮像倍率及び前記動き情報に基づいて設定することを特徴とする画像処理装置。
  2. 　請求項１において、
    　前記画像抽出部は、
    　前記マージン領域の大きさを、前記撮像倍率に比例した大きさに設定することを特徴とする画像処理装置。
  3. 　請求項２において、
    　前記画像抽出部は、
    　前記マージン領域の大きさを、前記マージン領域の大きさの基準となる基準サイズに対して前記撮像倍率を乗じたサイズに設定することを特徴とする画像処理装置。
  4. 　請求項３において、
    　前記画像抽出部は、
    　前記基準サイズに対して前記撮像倍率を乗じたサイズに設定された前記マージン領域の大きさを、前記動き情報に基づいて更新することを特徴とする画像処理装置。
  5. 　請求項４において、
    　前記画像抽出部は、
    　所定期間における前記動き情報の平均値に基づいて前記マージン領域の大きさを更新することを特徴とする画像処理装置。
  6. 　請求項５において、
    　前記画像抽出部は、
    　前記動き情報の平均値が第１の閾値より大きい場合には、前記マージン領域の大きさを、前記撮像倍率に基づいて設定された大きさより大きいサイズに更新し、
    　前記動き情報の平均値が第２の閾値より小さい場合には、前記マージン領域の大きさを、前記撮像倍率に基づいて設定された大きさより小さいサイズに更新することを特徴とする画像処理装置。
  7. 　請求項１において、
    　前記画像抽出部は、
    　前記撮像倍率に基づいて設定された前記マージン領域の大きさを、前記動き情報に基づいて更新することを特徴とする画像処理装置。
  8. 　請求項７において、
    　前記動き情報は、
    　前記撮像画像における前記被写体の動きを表す動きベクトルであり、
    　前記画像抽出部は、
    　所定期間における前記動きベクトルの絶対値の平均値に基づいて前記マージン領域の大きさを更新することを特徴とする画像処理装置。
  9. 　請求項１において、
    　前記画像抽出部は、
    　前記特定領域の少なくとも一部が前記撮像画像の外側に出たと判定した場合に、前記特定領域を前記撮像画像内に再設定することを特徴とする画像処理装置。
  10. 　請求項９において、
    　前記動き情報は、
    　前記撮像画像における前記被写体の動きを表す動きベクトルであり、
    　前記画像抽出部は、
    　前記動きベクトルの大きさが前記マージン領域の大きさを超えた場合に、前記特定領域の位置を前記マージン領域内に再設定することを特徴とする画像処理装置。
  11. 　請求項１において、
    　前記撮像部の焦点位置情報を取得する焦点位置情報取得部を含み、
    　前記撮像部と前記被写体との距離が変更されることで前記撮像倍率が変更される場合に、
    　前記撮像倍率算出部は、
    　前記焦点位置情報に基づいて前記撮像倍率を算出することを特徴とする画像処理装置。
  12. 　請求項１１において、
    　前記撮像倍率算出部は、
    　基準焦点位置と、前記焦点位置情報が表す焦点位置との比に基づいて前記撮像倍率を算出することを特徴とする画像処理装置。
  13. 　請求項１において、
    　前記撮像部の画角情報を取得する画角情報取得部を含み、
    　前記撮像倍率算出部は、
    　前記画角情報に基づいて前記撮像倍率を算出することを特徴とする画像処理装置。
  14. 　請求項１３において、
    　前記撮像倍率算出部は、
    　基準画角をφｎとし、前記画角情報が表す画角をφとする場合に、ｔａｎ（φｎ／２）とｔａｎ（φ／２）との比に基づいて前記撮像倍率を算出することを特徴とする画像処理装置。
  15. 　請求項１において、
    　前記撮像部の移動量情報を取得する移動量情報取得部を含み、
    　前記撮像倍率算出部は、
    　前記動き情報と前記移動量情報に基づいて前記撮像倍率を算出することを特徴とする画像処理装置。
  16. 　請求項１５において、
    　前記撮像倍率算出部は、
    　前記動き情報と前記移動量情報に基づいて前記撮像部と前記被写体との距離を算出し、算出した距離と基準距離との比に基づいて前記撮像倍率を算出することを特徴とする画像処理装置。
  17. 　請求項１において、
    　前記動き情報取得部は、
    　異なる時間において取得された少なくとも２つの前記撮像画像に基づいて、前記撮像画像における前記被写体の動きを表す動きベクトルを取得することを特徴とする画像処理装置。
  18. 　請求項１７において、
    　前記撮像部は、
    　前記撮像画像として、第１～第３色信号の画像を時系列に順次取得し、
    　前記動き情報取得部は、
    　前記第１～第３色信号の画像の間での被写体の動きを表す動きベクトルをチャネル間動きベクトルとして取得し、
    　前記画像抽出部は、
    　前記チャネル間動きベクトルに基づいて、前記第１～第３色信号の画像から前記抽出画像を抽出することを特徴とする画像処理装置。
  19. 　請求項１において、
    　前記抽出画像の画像サイズが前記撮像倍率に応じて変化する場合に、前記抽出画像の画像サイズを、表示部に表示可能な所定の画像サイズに変換するサイズ変換部を含むことを特徴とする画像処理装置。
  20. 　請求項１９において、
    　前記撮像部は、
    　前記撮像画像として一連の動画画像を取得し、
    　前記サイズ変換部は、
    　前記一連の動画画像から抽出された一連の抽出画像を同一の画像サイズに変換することを特徴とする画像処理装置。
  21. 　請求項１に記載の画像処理装置を含むことを特徴とする内視鏡装置。
  22. 　請求項２１において、
    　前記抽出画像の画像サイズが前記撮像倍率に応じて変化する場合に、前記抽出画像の画像サイズを、表示部に表示可能な所定の画像サイズに変換するサイズ変換部と、
    　前記所定の画像サイズに変換された抽出画像を表示する表示部と、
    　を含むことを特徴とする内視鏡装置。
  23. 　被写体に対する前記撮像部の相対的な動きを表す情報である動き情報を取得する動き情報取得部と、
    　前記撮像部の撮像倍率を算出する撮像倍率算出部と、
    　前記撮像部により取得された撮像画像から特定領域における画像を抽出画像として抽出する画像抽出部として、
    　コンピュータを機能させ、
    　前記画像抽出部は、
    　前記撮像画像における前記特定領域の位置を、前記動き情報に基づいて設定するとともに、前記撮像画像から前記特定領域を除く領域の大きさであるマージン領域の大きさを、前記撮像倍率及び前記動き情報に基づいて設定することを特徴とする画像処理プログラム。
  24. 　被写体に対する前記撮像部の相対的な動きを表す情報である動き情報を取得し、
    　前記撮像部の撮像倍率を算出し、
    　前記撮像部により取得された撮像画像から特定領域における画像を抽出画像として抽出し、
    　前記撮像画像における前記特定領域の位置を、前記動き情報に基づいて設定するとともに、前記撮像画像から前記特定領域を除く領域の大きさであるマージン領域の大きさを、前記撮像倍率及び前記動き情報に基づいて設定することを特徴とする画像処理方法。
PCT/JP2011/068741 2010-09-09 2011-08-19 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法 WO2012032914A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2011800430856A CN103096781A (zh) 2010-09-09 2011-08-19 图像处理装置、内窥镜装置、图像处理程序以及图像处理方法
US13/778,658 US20130165753A1 (en) 2010-09-09 2013-02-27 Image processing device, endoscope apparatus, information storage device, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-201634 2010-09-09
JP2010201634A JP2012055498A (ja) 2010-09-09 2010-09-09 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/778,658 Continuation US20130165753A1 (en) 2010-09-09 2013-02-27 Image processing device, endoscope apparatus, information storage device, and image processing method

Publications (1)

Publication Number Publication Date
WO2012032914A1 true WO2012032914A1 (ja) 2012-03-15

Family

ID=45810517

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/068741 WO2012032914A1 (ja) 2010-09-09 2011-08-19 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法

Country Status (4)

Country Link
US (1) US20130165753A1 (ja)
JP (1) JP2012055498A (ja)
CN (1) CN103096781A (ja)
WO (1) WO2012032914A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104042180A (zh) * 2014-06-11 2014-09-17 谢文胜 一种多功能电子胃镜系统
US11266294B2 (en) 2016-03-09 2022-03-08 Sony Corporation Image processing device, endoscopic surgery system, and image processing method
US11457801B2 (en) 2016-07-26 2022-10-04 Sony Corporation Image processing device, image processing method, and endoscope system

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5715372B2 (ja) * 2010-10-15 2015-05-07 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び内視鏡装置
JP6150583B2 (ja) * 2013-03-27 2017-06-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
CN107713968B (zh) * 2013-05-17 2020-06-16 Psip有限责任公司 次级成像内窥镜装置
DE102013108115A1 (de) * 2013-07-30 2015-02-05 gomtec GmbH Verfahren und Vorrichtung zum Festlegen eines Arbeitsbereichs eines Roboters
DE102013012839B4 (de) * 2013-08-02 2019-05-09 Abb Schweiz Ag Robotersystem
JP2015034879A (ja) 2013-08-08 2015-02-19 キヤノン株式会社 像振れ補正装置およびその制御方法、レンズ鏡筒、光学機器、並びに撮像装置
US9295372B2 (en) * 2013-09-18 2016-03-29 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
US20150080652A1 (en) * 2013-09-18 2015-03-19 Cerner Innovation, Inc. Lesion detection and image stabilization using portion of field of view
CN103716543A (zh) * 2013-12-27 2014-04-09 上海斐讯数据通信技术有限公司 一种移动终端及其摄像装置控制方法
JP6150130B2 (ja) * 2014-01-30 2017-06-21 ソニー株式会社 内視鏡システム、内視鏡画像処理装置、画像処理方法、およびプログラム
US9398217B2 (en) * 2014-10-15 2016-07-19 Microsoft Technology Licensing, Llc Video stabilization using padded margin pixels
DE112015005595T5 (de) * 2015-01-20 2017-09-28 Olympus Corporation Bildverabeitungsvorrichtung, Verfahren zum Bedienen der Bildverarbeitungsvorrichtung, Programm zum Bedienen der Bildverarbeitungsvorrichtung und Endoskopvorrichtung
CN107205626B (zh) * 2015-01-23 2019-09-03 奥林巴斯株式会社 内窥镜装置和内窥镜装置的对焦控制方法
JP5905130B2 (ja) * 2015-01-30 2016-04-20 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP5945614B2 (ja) * 2015-03-12 2016-07-05 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP6509025B2 (ja) * 2015-05-11 2019-05-08 株式会社日立製作所 画像処理装置、及びその方法
WO2017168528A1 (ja) * 2016-03-28 2017-10-05 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JPWO2017169650A1 (ja) * 2016-03-31 2019-02-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、映像移動補正方法及び医療用観察システム
JP6332524B2 (ja) * 2017-05-23 2018-05-30 ソニー株式会社 内視鏡システム、内視鏡画像処理装置、および画像処理方法
JP7163913B2 (ja) * 2017-06-05 2022-11-01 ソニーグループ株式会社 医療用システム及び制御ユニット
US11145054B2 (en) 2018-07-09 2021-10-12 Canon U.S.A., Inc. Methods and systems for displaying intraluminal images
JP2021015417A (ja) * 2019-07-11 2021-02-12 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像配信システム、および画像処理方法
CN110708528B (zh) * 2019-10-01 2021-04-13 蔡芳 基于目标检测的信号处理系统
KR20210118622A (ko) 2020-03-23 2021-10-01 삼성전자주식회사 고배율에서 흔들림을 보정하는 방법 및 그 전자 장치

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01125064A (ja) * 1987-11-09 1989-05-17 Matsushita Electric Ind Co Ltd ゆれ補正撮像装置
JPH0316470A (ja) * 1989-06-14 1991-01-24 Matsushita Electric Ind Co Ltd 手振れ補正装置
JPH0549599A (ja) * 1991-08-23 1993-03-02 Olympus Optical Co Ltd 電子内視鏡装置
JPH06217328A (ja) * 1993-01-20 1994-08-05 Olympus Optical Co Ltd カラー撮像装置
JP2001285698A (ja) * 2000-03-29 2001-10-12 Minolta Co Ltd 電子カメラ
JP2004219461A (ja) * 2003-01-09 2004-08-05 Minolta Co Ltd 撮像装置およびオートフォーカス装置
JP2006128781A (ja) * 2004-10-26 2006-05-18 Konica Minolta Photo Imaging Inc 撮影装置
JP2006295626A (ja) * 2005-04-12 2006-10-26 Canon Inc 魚眼像処理装置及びその方法並びに魚眼像撮像装置
JP2007300581A (ja) * 2006-05-08 2007-11-15 Casio Comput Co Ltd 動画撮影装置および動画撮影プログラム
JP2010147951A (ja) * 2008-12-20 2010-07-01 Sanyo Electric Co Ltd 撮像装置及び電子機器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3905619C2 (de) * 1988-02-23 2000-04-13 Olympus Optical Co Bildeingabe-/Ausgabevorrichtung
JP3867680B2 (ja) * 2003-04-01 2007-01-10 ソニー株式会社 撮像装置および手振れ補正方法
WO2009019848A1 (ja) * 2007-08-03 2009-02-12 Panasonic Corporation 撮影装置、撮影方法、およびプログラム
JP2011530258A (ja) * 2008-08-04 2011-12-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 周辺観測手段を備えた通信装置
JP5003769B2 (ja) * 2010-01-18 2012-08-15 株式会社Ｊｖｃケンウッド 撮像装置および画像振れ補正方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01125064A (ja) * 1987-11-09 1989-05-17 Matsushita Electric Ind Co Ltd ゆれ補正撮像装置
JPH0316470A (ja) * 1989-06-14 1991-01-24 Matsushita Electric Ind Co Ltd 手振れ補正装置
JPH0549599A (ja) * 1991-08-23 1993-03-02 Olympus Optical Co Ltd 電子内視鏡装置
JPH06217328A (ja) * 1993-01-20 1994-08-05 Olympus Optical Co Ltd カラー撮像装置
JP2001285698A (ja) * 2000-03-29 2001-10-12 Minolta Co Ltd 電子カメラ
JP2004219461A (ja) * 2003-01-09 2004-08-05 Minolta Co Ltd 撮像装置およびオートフォーカス装置
JP2006128781A (ja) * 2004-10-26 2006-05-18 Konica Minolta Photo Imaging Inc 撮影装置
JP2006295626A (ja) * 2005-04-12 2006-10-26 Canon Inc 魚眼像処理装置及びその方法並びに魚眼像撮像装置
JP2007300581A (ja) * 2006-05-08 2007-11-15 Casio Comput Co Ltd 動画撮影装置および動画撮影プログラム
JP2010147951A (ja) * 2008-12-20 2010-07-01 Sanyo Electric Co Ltd 撮像装置及び電子機器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104042180A (zh) * 2014-06-11 2014-09-17 谢文胜 一种多功能电子胃镜系统
US11266294B2 (en) 2016-03-09 2022-03-08 Sony Corporation Image processing device, endoscopic surgery system, and image processing method
US11457801B2 (en) 2016-07-26 2022-10-04 Sony Corporation Image processing device, image processing method, and endoscope system

Also Published As

Publication number Publication date
JP2012055498A (ja) 2012-03-22
US20130165753A1 (en) 2013-06-27
CN103096781A (zh) 2013-05-08

Similar Documents

Publication Publication Date Title
WO2012032914A1 (ja) 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法
JP5669529B2 (ja) 撮像装置、プログラム及びフォーカス制御方法
JP5562808B2 (ja) 内視鏡装置及びプログラム
US8570369B2 (en) Image processing device, computer-readable storage medium, and image processing method
US20160014328A1 (en) Image processing device, endoscope apparatus, information storage device, and image processing method
US10820787B2 (en) Endoscope device and focus control method for endoscope device
US11531151B2 (en) Imaging apparatus and image generating method that detects an orientation of an imaging section and generates an image corresponding to a polarization direction corresponding to the orientation the imaging section
US11503201B2 (en) Focus detection device and method
WO2018021035A1 (ja) 画像処理装置および方法、内視鏡システム、並びにプログラム
WO2014112611A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを格納した記録媒体
JP2019033917A (ja) 内視鏡システム
US10609354B2 (en) Medical image processing device, system, method, and program
EP2939586A1 (en) Image processing device, program and image processing method
WO2017122287A1 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP2011234844A (ja) 制御装置、内視鏡装置及びプログラム
WO2014132474A1 (ja) 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP2012239644A (ja) 画像処理装置、内視鏡装置、画像処理方法
JP2010220794A (ja) 内視鏡画像回転装置および方法並びにプログラム
JP2019138982A (ja) 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体
US9323978B2 (en) Image processing device, endoscope apparatus, and image processing method
JP6242230B2 (ja) 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP7179837B2 (ja) 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法
JPWO2017094122A1 (ja) 撮像装置、内視鏡装置及び撮像方法
US11778325B2 (en) Image processing apparatus, image processing method, and image processing program
JPWO2016199264A1 (ja) 内視鏡装置及びフォーカス制御方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180043085.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11823393

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11823393

Country of ref document: EP

Kind code of ref document: A1