WO2014188819A1 - 医療用撮像記録装置 - Google Patents

医療用撮像記録装置 Download PDF

Info

Publication number
WO2014188819A1
WO2014188819A1 PCT/JP2014/060770 JP2014060770W WO2014188819A1 WO 2014188819 A1 WO2014188819 A1 WO 2014188819A1 JP 2014060770 W JP2014060770 W JP 2014060770W WO 2014188819 A1 WO2014188819 A1 WO 2014188819A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
unit
image
movement
image data
Prior art date
Application number
PCT/JP2014/060770
Other languages
English (en)
French (fr)
Inventor
中村 正一
Original Assignee
日本エー・シー・ピー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本エー・シー・ピー株式会社 filed Critical 日本エー・シー・ピー株式会社
Priority to US14/892,032 priority Critical patent/US9866756B2/en
Publication of WO2014188819A1 publication Critical patent/WO2014188819A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/14Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B90/53Supports for surgical instruments, e.g. articulated arms connected to the surgeon's body, e.g. by a belt
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681Aspects not otherwise provided for
    • A61B2017/00734Aspects not otherwise provided for battery operated
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005Blur detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Definitions

  • the present invention relates to a medical imaging / recording apparatus that captures and records the content of a medical treatment.
  • an imaging device such as a digital video camera equipped with a CCD-type or CMOS-type imaging device is attached to the body of a worker who performs the work, and the state of the work is photographed with a moving image.
  • a medical imaging device in which an imaging device is attached to a binocular loupe or headband that an operator wears on the head or face at the time of surgery, and an imaging device is used to image a treatment target spot that the operator gazes at.
  • an imaging device is attached to a binocular loupe or headband that an operator wears on the head or face at the time of surgery, and an imaging device is used to image a treatment target spot that the operator gazes at.
  • camera shake when shooting an object included in the imaging range by the imaging device.
  • the term “camera shake” as used herein means that the image pickup apparatus shakes due to the movement of the operator's body or head during medical treatment, and the image is blurred.
  • the movement of small hands is accompanied by small movements, and if the imaging device attached to the operator's body is moved while the shutter is open, the image will be blurred and the image will be blurred. It becomes unclear.
  • camera shake information is acquired by using an acceleration sensor or by detecting an image shift between two consecutive frames of a moving image, and the image data is corrected.
  • it is known to correct “camera shake” see, for example, Patent Document 3).
  • an imaging apparatus including at least an optical lens and an imaging element that photoelectrically converts light introduced from a subject through the optical lens during imaging to generate an imaging signal is provided by an operator at the time of medical treatment.
  • a medical imaging recording apparatus that wears images on the body, and that controls the video to be displayed on a display unit from image data generated for each frame constituting the video based on the imaging signal;
  • An information recording unit that sequentially records the image data, an acceleration sensor that detects movement of the imaging device, a movement detection unit that calculates a movement amount of the imaging device from a detection signal by the acceleration sensor, and the movement amount in advance
  • a camera shake correction unit that controls to cancel the motion blur caused by the movement according to the movement amount, and the movement amount is the range. If it exceeds the upper limit and a recording control section for controlling the stop of the recording of the image data to the information recording unit.
  • the movement detection unit calculates the movement amount after a lapse of a delay time in advance of a period in which distortion at an edge portion in the angular velocity detection signal from the acceleration sensor is attenuated.
  • the imaging control unit stops displaying the moving image when the movement amount exceeds the upper limit of the range.
  • a predetermined time lag period may be set after the movement detection unit detects that the movement amount exceeds the upper limit of the range.
  • the imaging control unit controls to display the image data before the movement exceeds the upper limit of the range as a still image.
  • the imaging control unit performs control to display the still image after a predetermined time lag period after the movement detection unit detects that the movement amount exceeds the upper limit of the range. Good.
  • the recording control unit is configured to display the information recording unit.
  • the image capturing control unit controls the resumption of the display of the moving image.
  • an illuminating unit that irradiates the subject with light is provided, and the illuminating unit stops the illumination or reduces the illuminance when the movement amount exceeds the upper limit of the range.
  • the camera shake correction unit adjusts the optical axis by moving the correction lens incorporated in the optical lens according to the movement amount, or according to the movement amount.
  • Optical “camera shake” is optically corrected by moving the image sensor.
  • the imaging control unit controls to display the image data before the movement exceeds the upper limit of the range as a still image.
  • the imaging control unit performs control to display the still image after a predetermined time lag period after the movement detection unit detects that the movement amount exceeds the upper limit of the range. Good.
  • a medical imaging recording apparatus includes an imaging device having at least an optical lens and an imaging element that photoelectrically converts light introduced from a subject through the optical lens during imaging to generate an imaging signal during medical treatment.
  • An imaging control unit for medical imaging and recording that is mounted on an operator's body and that controls to display the moving image on a display unit from image data generated for each frame constituting the moving image based on the imaging signal
  • An information recording unit that sequentially records the image data; an acceleration sensor that detects movement of the imaging device; and a first movement detection unit that calculates a movement amount of the imaging device based on an angular velocity detected by the acceleration sensor;
  • a recording control unit that controls the stop of recording of the image data when the amount of movement calculated by the first movement detection unit is equal to or greater than a threshold value,
  • a second movement detector that sequentially compares the image data between the frames that are present and calculates a movement amount from a shift of a main subject between consecutive or adjacent frames; and the second movement detector And a camera shake correction unit that generates corrected image data
  • the medical imaging recording apparatus of the present invention when the imaging apparatus captures an image that is not directly related to the treatment process, this image is not recorded in the recording apparatus, so the operator needs to turn off imaging by the imaging apparatus each time. Therefore, it is possible to store an effective record of the treatment simply by mounting the imaging device on the operator's body.
  • the figure which shows the electric circuit of the medical imaging recording device which concerns on the 1st and 2nd embodiment of this invention with a block Explanatory drawing of a binocular loupe provided with an imaging device and an illumination unit. Explanatory drawing of the headband provided with the imaging device and the illumination part. Explanatory drawing which shows the example which mounted
  • (A) is explanatory drawing which shows typically the image for every frame in the medical imaging recording device which concerns on the 1st and 2nd embodiment of this invention
  • (b) is model which shows the image data recorded on a memory card.
  • Explanatory drawing shown. 7A is an explanatory diagram schematically showing an image for each frame in the medical imaging recording apparatus according to the first and second embodiments of the present invention
  • FIG. 7B is a recording on a memory card.
  • (A) is explanatory drawing which shows typically the image for every frame in the medical imaging recording device which concerns on the 3rd Embodiment of this invention
  • (b) is explanatory drawing which shows typically the image data memorize
  • FIG. 4C is an explanatory diagram schematically showing image data recorded on the memory card.
  • 9A is an explanatory diagram schematically showing an image for each frame in the medical imaging recording apparatus according to the third embodiment of the present invention
  • FIG. 9B is image data stored in the RAM.
  • FIG. 4C is an explanatory diagram schematically showing image data recorded on a memory card. The figure which shows the electric circuit of the medical imaging recording device which concerns on the 4th Embodiment of this invention with a block.
  • FIG. 1 is a block diagram showing a schematic configuration of a medical imaging recording apparatus according to the present invention in the first embodiment.
  • the imaging device 1 is a digital video camera that captures moving images, and photoelectrically converts an optical lens 2 that makes light from a subject incident during imaging, and reflected light from the subject through the optical lens 2 into an analog electrical signal.
  • the image pickup device 3 includes a CCD or CMOS that generates an image signal, an acceleration sensor 4, an image pickup device displacement mechanism 5, and a lens adjustment mechanism 6.
  • the acceleration sensor 4 detects “camera shake”.
  • a three-axis type sensor is used to detect angular velocities in three axes of X, Y, and Z orthogonal to each other, and the detected signal is converted to A / Processing such as D conversion is performed and output to the CPU 10.
  • the image sensor displacement mechanism 5 moves the image sensor 3 based on the amount of movement of the image pickup apparatus 1 calculated by the movement detection unit 10b described later, thereby preventing image disturbance due to “camera shake”.
  • the lens adjustment mechanism 6 moves the optical lens 2 by a built-in drive motor in order to perform focusing and zooming.
  • the optical lens 2 includes an aperture mechanism, and the intensity of subject light incident on the image sensor 3 is adjusted by adjusting the aperture by driving the drive motor.
  • the signal processing unit 7 amplifies the image signal input from the image sensor 3, converts it into a digital signal, and outputs it to the CPU 10.
  • the signal processing unit 7 generates image data for each frame and outputs the image data to the CPU 10 in order to capture a moving image of a subject at, for example, 30 frames / second.
  • the CPU 10 may be configured to have the function of generating image data for each frame.
  • the operation unit 8 includes a power switch for turning on / off the power supply to the imaging apparatus 1, a release switch for instructing moving image shooting, a zoom switch for performing a zoom operation of the optical lens 2, and the like.
  • the memory card 9 used as the information recording unit records a moving image file sent from the CPU 10 via the interface 9 a and reads the recorded image file to the CPU 10. This image file is recorded in the Motion JPEG format, and JPEG compressed images for each frame are collected together.
  • the information recording unit can use various recording media such as various disk types and memory types.
  • the display unit 13 includes a display panel 13a (FIG. 5) configured by liquid crystal or organic EL, and displays a moving image taken by the imaging device 1.
  • the display unit 13 is also used to reproduce and display a moving image of the image file stored in the memory card 9.
  • the illumination unit 15 is used to ensure the brightness of the treatment target location (subject), and is configured by, for example, a plurality of LED elements that emit light in respective colors, and is supplied with drive power from the illumination drive unit 14. .
  • a blue LED element having a band of 400 nm to 500 nm, which is harmful to eyes.
  • the RAM 12 is an SDRAM capable of reading and writing data at high speed, for example, and temporarily stores image data output from the signal processing unit 7 and data being processed by the CPU.
  • the CPU 10 controls the operation of the medical imaging / recording apparatus based on the control program and various setting data written in the ROM 11 and the operation of various switches of the operation unit 8. Therefore, the CPU 10 executes this control program to thereby calculate the movement amount of the imaging control unit 10a, the optical lens 2 or the imaging element 3, the camera shake correction unit 10c, the compression / decompression processing unit 10d, and the recording. It functions as a control unit 10e, a reproduction control unit 10f, an illumination control unit 10g, and the like.
  • the imaging control unit 10a performs autofocus processing, zoom processing, and exposure adjustment processing by controlling the driving of a motor included in the lens adjustment mechanism 6 based on a switch operation on the operation unit 8, and performs an object adjustment by the imaging device 1. Control video shooting. Further, the imaging control unit 10a performs image processing such as white balance adjustment, color interpolation processing, and aberration correction processing on the image data for each frame sent from the signal processing unit 7.
  • the movement detection unit 10b determines the amount of movement of the imaging device 1 in the horizontal direction (X direction), vertical direction (Y direction), and front-back direction (Z direction) from the X, Y, and Z acceleration components output from the acceleration sensor 4. Is calculated.
  • the camera shake correction unit 10c performs control to correct camera shake by operating the image sensor displacement mechanism 5 based on the movement amount calculated by the movement detection unit 10b.
  • the compression / decompression processing unit 10 d performs JPEG compression on the image data captured in the RAM 12 for each frame, and generates a moving image file for recording on the memory card 9.
  • the compression / decompression processing unit 10d decompresses the compressed image data when reproducing the moving image of the image file recorded on the memory card 9.
  • the recording control unit 10e controls writing of the image data subjected to JPEG compression for each frame to the memory card 9.
  • the reproduction control unit 10f reads out the image stored in the memory card 9 and displays it on the display unit 13.
  • the illumination control unit 10g outputs a control signal to the illumination drive unit 14 to control the supply of drive power to the illumination unit 15 and the amount of current.
  • the imaging device 1 and the illumination unit 15 that illuminates the subject are attached to a binocular loupe 20 that the operator puts on the face during the treatment.
  • a binocular loupe 20 In addition to such a binocular loupe 20, a hat or a headband may be used.
  • the imaging device 1 and the illumination unit 15 are attached to the headband 21.
  • the headband 21 is made of a resin member, and is held and fixed to the operator's head by its elasticity.
  • the headband 21 is not limited to such a configuration, and there are various forms of materials such as cloth and rubber.
  • the operator wraps the battery holding belt 22 around the waist, and the battery holding belt 22 holds the battery power source that is the operation power source of the medical imaging recording apparatus.
  • the battery power source includes a plurality of rechargeable batteries 16 connected to each other, and the battery holding belt 22 includes a mounting portion 28 for detachably inserting the battery 16.
  • a control unit 24 is mounted on the battery holding belt 22 together with these batteries 16, and the battery 16 is connected to the control unit 24.
  • a display panel 13a made of liquid crystal or organic LE of the operation unit 8 and the display unit 13 is arranged on the surface of the unit case of the control unit 24, a display panel 13a made of liquid crystal or organic LE of the operation unit 8 and the display unit 13 is arranged.
  • the display panel 13a is used as a monitor screen for a photographed image.
  • another display panel 13b is provided so that a person around the patient such as a surgery assistant can monitor the treatment. In this case, if an image data signal is transmitted wirelessly from the control unit 24 to the display panel 13a, it is possible to ensure the degree of freedom of action during the operation of the operator.
  • monitoring can be performed by distributing video to a terminal device having the display panel 13b through the Internet.
  • the terminal device can capture the image taken by the network camera in real time through the Internet by designating the URL of the network camera using a WEB browser.
  • Use of a wireless LAN in this way has an advantage that the treatment can be monitored in real time even in terminal devices in various places other than the place where the treatment is performed.
  • a slot 30 into which the memory card 9 is loaded is formed on the side surface of the unit case.
  • the control board on which the CPU 10, the ROM 11, the RAM 12, the signal processing unit 7, and the display unit 13 are mounted is housed in a unit case.
  • a power cord for supplying a driving current from the control unit 24 to the imaging device 1 and the illumination unit 15, a signal line of a control signal output from the CPU 10 to the imaging element displacement mechanism 5 and the lens adjustment mechanism 6, and the acceleration sensor 4 to the CPU 10, respectively. are bundled in a cable harness 25.
  • the control unit 24 can perform a photographing operation by the imaging device 1 and an illuminating operation by the illuminating unit 15 while charging the battery 16 by connecting the charger 26 into which the plug 27 is plugged into the outlet 27. Photographing can also be performed during the treatment.
  • the operation unit 8 of the control unit 24 When the operation unit 8 of the control unit 24 is operated to turn on the power of the medical imaging / recording apparatus, the CPU 10 loads the control program in the ROM 11 and starts the operation of the medical imaging / recording apparatus. At this time, when the operator turns his face to the treatment target portion which is the subject, the imaging control unit 10a performs autofocus processing and exposure adjustment processing on the subject, and when the zoom switch of the operation unit 8 is operated, The zoom of the optical lens 2 is adjusted accordingly.
  • the illumination control unit 10g controls the illumination drive unit 14 to cause the illumination unit 15 to turn on and drive a drive current that can ensure normal brightness.
  • the imaging control unit 10a starts moving image shooting.
  • the imaging control unit 10a sequentially captures image data for each frame from the signal processing unit 7 and stores the image data in the RAM 12, and performs image processing such as white balance adjustment, color interpolation processing, and aberration correction processing on the stored image data.
  • the imaging control unit 10a sequentially reads out the image processed image data stored in the RAM 12 and outputs the image data to the display unit 13.
  • the display unit 13 displays a moving image.
  • the function of sequentially generating image data for each frame of the signal processing unit 7 may be performed by the CPU 10 executing the control program in the ROM 11.
  • the compression / decompression processing unit 10 d performs JPEG compression on the image data after image processing stored in the RAM 12.
  • the compressed image data is sent to the memory card 9 and recorded in a moving image file.
  • FIGS. 7A and 8A show signal processing of an image signal of an image taken by the imaging device 1 mounted on the head by the binocular loupe 20 or the headband 21 when the operator performs a procedure.
  • An image based on image data captured by the imaging control unit 10a from the signal processing unit 7 for each frame when output to the unit 7 is schematically shown.
  • the image capturing control unit 10a actually captures image data at 30 frames / second in order to capture a moving image by the image capturing apparatus 1, but for the sake of convenience of explanation, the image capturing control unit 10a is simplified in FIGS. 7 (a) and 8 (a). Only representative frame images during a series of treatments are illustrated.
  • the imaging control unit 10a directly stores the image data of each frame fetched from the signal processing unit 7 in the RAM 12, and performs image processing such as white balance adjustment, color interpolation processing, and aberration correction processing. Then, the imaging control unit 10 a sequentially reads out the image data after image processing stored in the RAM 12 and outputs the image data to the display unit 13, and the moving image is displayed on the display unit 13.
  • the compression / decompression processing unit 10 d performs JPEG compression for each image data sequentially stored in the RAM 12.
  • the compressed image data is sent to the memory card 9 and recorded in the image file.
  • FIGS. 7B and 8B schematically show image data recorded on the memory card 9.
  • the movement detection unit 10b detects the movement of the imaging device 1 from the X, Y, and Z angular velocities output from the acceleration sensor 4.
  • the amount of movement in the left-right direction (X direction), the up-down direction (Y direction), and the front-back direction (Z direction) is calculated. Distortions such as ringing and overshoot / undershoot occur at the edge portion of the signal output by the acceleration sensor 4 detecting the angular velocity. Therefore, the movement detection unit 10b calculates the movement amount of the imaging device 1 after a lapse of a delay time in advance of a period in which distortion at the edge portion in the angular velocity detection signal attenuates.
  • the movement detection unit 10b determines whether the calculated movement amount value is within a preset range. In this range, the shooting direction by the imaging apparatus 1 has moved significantly away from the subject (the treatment target location), with a threshold that determines that the movement detected by the acceleration sensor 4 does not affect the quality of the captured image as a lower limit. Is set as the upper limit. Therefore, the movement detection unit 10b determines that “shake” is present when the calculated movement amount value is within a preset range.
  • this range is referred to as “camera shake detection range”.
  • the movement detection unit 10b determines that the calculated movement amount value is “camera shake” based on the “camera shake detection range”, the movement detection unit 10b is based on the movement amount calculated by the movement detection unit 10b at this time. Then, the image sensor displacement mechanism 5 is controlled so as to move the image sensor 3 in the direction to cancel the blur. For example, if the imaging device 1 is shaken in the right direction, the camera shake correction unit 10c controls the image pickup device displacement mechanism 5 to move the image pickup device 3 in the left direction by the amount of movement.
  • the processing unit 7 can generate image data that is the same as when no camera shake has occurred. Therefore, the image data in each frame output from the signal processing unit 7 to the imaging control unit 10a is in a state in which “camera shake” is corrected.
  • a camera shake that corrects the optical axis by incorporating a correction lens into the optical lens 2 and moving the correction lens in a direction that cancels the shake as the image pickup apparatus 1 is moved.
  • a correction mechanism may be used.
  • the imaging device 1 captures the image of the assistant and captures the image.
  • the control unit 10a takes in the frame of the image F4 from the signal processing unit 7.
  • the angular velocity output when the acceleration sensor 4 detects that the direction of shooting by the imaging device 1 has moved is a large value. Therefore, since the movement amount calculated by the movement detection unit 10b is larger than the upper limit of the “camera shake detection range”, the direction of photographing by the imaging device 1 is moved from the treatment target location and the treatment is interrupted. to decide.
  • the recording control unit 10e prohibits writing the image compressed by the compression / decompression processing unit 10d into the memory card 9. Accordingly, the image F4 in FIG. 7A is not recorded on the memory card 9 as shown in FIG. 7B.
  • the imaging control unit 10a determines the amount of image data for each frame from the signal processing unit 7 even when the movement amount calculated by the movement detection unit 10b is equal to or greater than the upper limit of the “camera shake detection range”. If image processing such as white balance adjustment for the captured image data and the captured image data is continuously performed, the captured image by the imaging device 1 can be displayed and monitored on the display unit 13 even when the treatment is interrupted. it can.
  • the imaging control unit 10a captures image data for each frame from the signal processing unit 7 into the RAM 12.
  • the captured image data other than the treatment target portion may not be displayed on the display unit 13 by stopping image processing such as white balance adjustment for the captured image data.
  • the imaging control unit 10a displays the captured image F3 of the treatment target location immediately before that imaged by the imaging device 1 on the display unit 13 as a still image. If displayed, the display will not be blank, and the person viewing the display unit 13 will not feel strange because the image has changed.
  • the illumination control unit 10g controls the illumination drive unit 14 to stop energizing the illumination unit 15 or not. Or reduce the amount of current supplied. As a result, it is possible to prevent the battery 16 from being consumed by illumination when the treatment is interrupted.
  • the acceleration sensor 4 detects the angular velocity moving in the direction of the treatment target location of the imaging apparatus 1, and thus the movement detection unit 10b determines that the treatment has been resumed.
  • the compression / decompression processing unit 10d each image after the image F5 after the resumption of the treatment is compressed by the compression / decompression processing unit 10d, and the compressed image data is sequentially recorded on the memory card 9 by the recording control unit 10e. Therefore, only the state of the treatment performed by the operator is recorded on the memory card 9 in the moving image file.
  • the illumination control unit 10g controls the illumination drive unit 14 to resume energization to the illumination unit 15 or return the supply current to a normal current amount.
  • the display unit 13 displays the real-time image captured by the imaging device 1 as it is.
  • a still image is displayed or the captured image F3 of the treatment target portion immediately before that imaged by the imaging device 1 is displayed as a still image, and a predetermined time lag period may be provided in any display.
  • the operator does not intend to interrupt the operation, but turns away from the treatment target area for a moment and turns the face to the operation target area immediately.
  • the unnaturalness that the image other than the treatment target part captured by the imaging device 1 in the very short time is displayed on the display unit 13 is eliminated.
  • the recording control unit 10e also writes to the memory card 9 with the above time lag period after the movement detection unit 10b determines that the direction of shooting by the imaging device 1 has moved from the treatment target location. It is possible to prevent the image captured by the imaging device 1 from being recorded when the operator turns away from the treatment target part for a moment.
  • the illumination control unit 10g also stops energizing the illumination unit 15 after the time lag period has elapsed after the movement detection unit 10b determines that the direction of imaging by the imaging device 1 has moved from the treatment target location.
  • the illumination drive unit 14 may be controlled to reduce the amount of current to be supplied.
  • the imaging device 1 captures the image F6 (FIG. 8A).
  • the image F6 is stored in the RAM 12 by the imaging control unit 10a.
  • the angular velocity detected by the acceleration sensor 4 shows a large value
  • the movement detection unit 10b calculates the movement amount to be the “camera shake detection range”. Therefore, the image F6 is not recorded on the memory card 9 by the recording control unit 10e (FIG. 8B).
  • the illumination control unit 10g performs control to turn off the illumination unit 15 or reduce the illuminance.
  • the image F7 and the image F8 captured by the imaging control unit 10a from the signal processing unit 7 are recorded in the memory card 9 and displayed on the display unit 13 to display the illumination control unit 10g. Returns the illumination unit 15 to normal.
  • the camera shake correction unit 10c corrects this as “camera shake”. Meanwhile, the imaging control unit 10 a displays an image of image data that has been subjected to image processing such as white balance adjustment stored in the RAM 12 on the display unit 13. However, if the movement amount calculated by the movement detection unit 10b is larger than the upper limit of the “camera shake detection range”, the image data at that time is not recorded in the memory card 9. Therefore, since only the state of the treatment performed by the operator is recorded as a moving image in the memory card 9, it is very effective as a record of the treatment.
  • the movement detection unit 10b detects “camera shake” and fluctuations in the direction of shooting by the imaging device 1 based on the angular velocity detected by the acceleration sensor 4, but in the second embodiment, shooting is performed. Is detected by image recognition. Therefore, the movement detection unit 10b in the second embodiment is switched from the first movement detection unit that detects “camera shake” by the acceleration sensor 4 and the imaging of the imaging apparatus 1 by the image recognition from the treatment target location. In the following description, the movement detection unit 10b is uniformly described without particularly distinguishing the two from the second movement detection unit.
  • the movement detection unit 10b includes a subject recognition unit 101b in the second embodiment.
  • the subject recognition unit 101b recognizes a main subject photographed by the imaging apparatus 1 by a pattern matching method or the like, and functions as the subject recognition unit 101b when the CPU 10 executes a control program written in the ROM 11.
  • the subject recognizing unit 101b analyzes the image data image between consecutive or close frames captured by the imaging control unit 10a from the signal processing unit 7, and extracts the contour of the subject as a feature point.
  • the part where the points overlap is determined as the main subject.
  • each image between adjacent frames at intervals of 1/30 seconds or images between adjacent frames, for example, every 1/3 second, is sequentially analyzed, and the common part is recognized as the main subject.
  • the movement detection unit 10b determines the movement of the shooting direction by the imaging device 1 by detecting the change of the main subject recognized by the subject recognition unit 101b. At this time, the movement detection unit 10b calculates a vertical and horizontal shift value on the XY axes of the main subject in each image between adjacent frames or each image between adjacent frames. Therefore, when the calculated deviation value exceeds a preset threshold value, the movement detection unit 10b determines that the procedure is interrupted when the direction of shooting by the imaging apparatus 1 moves from the procedure target location and the main subject changes.
  • the subject recognition unit 101b recognizes the main subject from the image data of each frame that is sequentially captured from the signal processing unit 7 by the imaging control unit 10a. As described above, the subject recognition unit 101b sequentially analyzes each image between adjacent frames at intervals of 1/30 seconds or between adjacent frames (for example, 1/3 second). The common part is recognized as the main subject, but there is no significant difference in the main subject between the frames to be analyzed, that is, the calculated deviation value does not exceed the threshold value, and the imaging apparatus 1 detects the same subject. Judge that it is shooting continuously. However, since the main subject gradually changes as the treatment progresses, the movement detection unit 10b recognizes the organ exposed by laparotomy as the main subject at the time of the image F3, and the time of the image F1. This is very different from the main subject recognized in step 1.
  • the imaging device 1 captures the image of the assistant, and the imaging control unit 10a performs the signal processing unit. 7 to fetch the frame of the image F4.
  • the imaging control unit 10a performs the signal processing unit. 7 to fetch the frame of the image F4.
  • the recording control unit 10e prohibits writing the image data compressed by the compression / decompression processing unit 10d into the memory card 9, and the image F4 in FIG. 7A is as shown in FIG. 7B. It is not recorded on the memory card 9.
  • the imaging control unit 10a continuously captures image data for each frame from the signal processing unit 7 into the RAM 12 and performs image processing such as white balance adjustment on the captured image data. Therefore, even when the treatment is interrupted, an image taken by the imaging device 1 can be displayed on the display unit 13 and monitored.
  • the imaging control unit 10a receives 1 from the signal processing unit 7.
  • the imaging device 1 While the image data for each frame is taken into the RAM 12 and image processing such as white balance adjustment for the captured image data is stopped, the imaging device 1 captures images other than the treatment target portion. You may display on the display part 13 the picked-up image F3 of the treatment object location just before it image
  • the illumination control unit 10g controls the illumination drive unit 14 to stop energizing the illumination unit 15, or The amount of current to be supplied is reduced to prevent the battery 16 from being consumed.
  • the movement detection unit 10b performs pattern matching processing on the image data of each frame captured by the imaging control unit 10a from the signal processing unit 7 by the subject recognition unit 101b even after the main subject greatly fluctuates due to the interruption of the operation, and performs the main subject. It is determined whether the recognized main subject is approximate to the main subject (that is, the treatment target location) before the deviation value exceeds the threshold value. When the movement detection unit 10b detects that the main subject recognized by the subject recognition unit 101b is close to the previous main subject, the movement detection unit 10b determines that the treatment by the operator has been resumed.
  • each image after the image F5 after the resumption of the treatment is compressed by the compression / decompression processing unit 10d, and the compressed image data is sequentially recorded on the memory card 9 by the recording control unit 10e. Therefore, only the state of the treatment performed by the operator is recorded on the memory card 9 in the moving image file. Further, the illumination control unit 10g controls the illumination drive unit 14 to resume energization to the illumination unit 15 or return the supply current to a normal current amount.
  • the operator does not intend to interrupt the operation, and immediately turns away from the treatment target location for a moment.
  • a movement is made such that the face is directed to the treatment target location, it is possible to eliminate the unnaturalness that images other than the treatment target location captured by the imaging device 1 in the very short time are displayed on the display unit 13.
  • the control for stopping writing of image data to the memory card 9 by the recording control unit 10e and the control for stopping the energization of the illumination unit 15 by the illumination control unit 10g or reducing the amount of current to be supplied are also the above time lag. It is recommended to do it after a period of.
  • the imaging device 1 captures the image F6 (FIG. 8A).
  • the image F6 is stored in the RAM 12 by the imaging control unit 10a, but is not recorded in the memory card 9 by the recording control unit 10e (FIG. 8B).
  • the illumination control unit 10g performs control to turn off the illumination unit 15 or reduce the illuminance.
  • the image F7 captured by the imaging control unit 10a from the signal processing unit 7 has the same main subject as the image F5. Therefore, the compressed data of the image F7 is recorded in the memory card 9.
  • the illumination control unit 10g returns the illumination unit 15 to normal.
  • the movement detection unit 10b When a “hand shake” caused by a small movement of the operator's head occurs during the shooting of such a moving image, the movement detection unit 10b has a value of the movement amount calculated from the angular velocity output from the acceleration sensor 4. If it is equal to or greater than a preset threshold value, that is, the lower limit of the “camera shake detection range” described in the first embodiment, it is determined as “camera shake”. As described above, the movement detection unit 10b calculates the movement amount after a lapse of a delay time in which a period in which distortion at the edge portion in the angular velocity detection signal is attenuated in advance.
  • the camera shake correction unit 10c moves the image pickup device 3 in the direction to cancel the shake based on the determination of the “hand shake” of the movement detection unit 10b.
  • the image data in each frame output from the signal processing unit 7 to the imaging control unit 10 a is in a state in which “camera shake” is corrected.
  • the control unit 10 a displays an image of image data subjected to image processing such as white balance adjustment stored in the RAM 12 on the display unit 13.
  • the main subject greatly fluctuates. Judging that the treatment was interrupted.
  • the image data at this time is not recorded in the memory card 9.
  • the image pickup control unit 10a is stored in the RAM 12 while the camera shake correction unit 10c corrects this.
  • An image of image data that has undergone image processing such as white balance adjustment is displayed on the display unit 13.
  • the movement detection unit 10b second movement detection unit
  • the image data of the image at that time is detected by the recording control unit 10e. Is not recorded on the memory card 9, and only the state of the treatment performed by the operator is recorded on the memory card 9 as a moving image.
  • the movement detection unit 10b detects that the imaging of the imaging apparatus 1 has switched from the treatment target location by the acceleration sensor 4, and detects “camera shake” by the subject recognition unit 101b. Changes are also possible.
  • the movement detection unit 10b compares the vertical and horizontal deviation values of the main subject on the XY axes with a preset threshold value to determine “hand shake”, and calculates based on the angular velocity detected by the acceleration sensor 4. The amount of movement to be performed is compared with a preset threshold value, and it is determined that the direction of photographing by the imaging apparatus 1 has moved from the treatment target location.
  • the amount of movement is detected electronically without using the acceleration sensor 4 to correct “camera shake”, and the direction of shooting by the imaging apparatus 1 has moved from the subject (the treatment target location). Is detected. Then, “camera shake” is corrected electronically without using the image sensor displacement mechanism 5.
  • FIG. 6 is a block diagram showing a schematic configuration of the medical imaging recording apparatus according to the third embodiment.
  • This configuration is the same as that of the embodiment shown in FIG. 1 except that the acceleration sensor 4 and the image sensor displacement mechanism 5 are not present.
  • the configuration of the control program stored in the ROM 11 executed by the CPU 10 is partially changed. Therefore, the movement detection unit 10b ′ and the camera shake correction unit 10c ′ in the CPU 10 in FIG. 6 perform the following control.
  • the movement detection unit 10b ′ detects feature points in an image based on an image recognition processing method such as pattern matching, and closes each image between adjacent frames at 1/30 second intervals ( For example, control is performed to calculate the amount of movement of the imaging apparatus 1 from the amount of image shift between frames every 1/3 second).
  • an image recognition processing method such as pattern matching
  • the camera shake correction unit 10c ′ when the movement amount calculated by the movement detection unit 10b ′ exceeds a threshold value for determining “camera shake”, the camera shake correction unit 10c ′ generates a composite image from two consecutive frames that are adjacent or close to each other. Control to generate and output the image data is performed.
  • the imaging control unit 10a ′ is added with control for storing the composite image data in which “camera shake” is corrected in the RAM 12.
  • the imaging control unit 10 a ′ starts moving image shooting by operating the release switch of the operation unit 8, and sequentially captures image data for each frame from the signal processing unit 7.
  • FIGS. 9A and 10A show an image captured by the imaging apparatus 1 mounted on the head by the binocular loupe 20 and the headband 21 described above on the signal processing unit 7 when the operator performs a treatment.
  • An image output and captured by the imaging control unit 10a ′ from the signal processing unit 7 for each frame is schematically shown.
  • the signal processing unit 7 actually generates image data at 30 frames / second.
  • the images of representative frames during a series of treatments are simplified. Is shown.
  • the movement detection unit 10b ′ analyzes an image between the previous frame and the subsequent frame of each image data captured by the imaging control unit 10a ′ by the pattern matching method. Then, the contour of the subject is extracted as a feature point, and the portion where the feature points overlap is determined as the main subject.
  • the movement detection unit 10b ′ calculates the shift amount in the vertical and horizontal directions on the XY axes of the main subject in each image between adjacent frames or in each adjacent frame, and the calculated shift amount It is determined whether (the amount of movement of the imaging device 1) is within a preset range.
  • the direction of shooting by the imaging apparatus 1 is greatly moved from the subject (the treatment target location), with the lower limit being a threshold value that determines that the subject shift is not blurred and does not affect the quality of the captured image.
  • the upper limit is set to the threshold value for determining that the above has occurred. Therefore, the movement detection unit 10b ′ determines that “shake” is present when the calculated movement amount value is within a preset range.
  • this range is hereinafter referred to as “camera shake detection range”.
  • the movement detection unit 10b ′ In order to sequentially analyze the images between adjacent frames at 1/30 second intervals, there is no significant difference between the previous and next frames, and the imaging apparatus 1 continuously captures the same subject. to decide. That is, the movement detection unit 10b ′ determines that the imaging device 1 continuously captures the same subject because the calculated deviation value is less than or equal to the lower limit of the “camera shake detection range”. However, the movement detection unit 10b ′ recognizes the organ exposed by laparotomy as the main subject at the time of the image F3 ′, and is different from the main subject recognized at the time of the image F1 ′.
  • the imaging control unit 10a ′ While the movement detection unit 10b ′ determines that the imaging device 1 continuously captures the treatment target location, the imaging control unit 10a ′ includes all the images including the images F1 ′ to F3 ′.
  • the image data of the frame is stored in the RAM 12 as it is, and image processing such as white balance adjustment, color interpolation processing, and aberration correction processing is performed.
  • the imaging control unit 10 a ′ sequentially reads out the image data after image processing stored in the RAM 12 and outputs the image data to the display unit 13, so that the moving image is displayed on the display unit 13.
  • FIGS. 9B and 10B schematically show image data for each frame stored in the RAM 12.
  • the compression / decompression processing unit 10 d performs JPEG compression for each image data sequentially stored in the RAM 12.
  • the compressed image data is sent to the memory card 9 and recorded.
  • FIG. 9C and FIG. 10C schematically show image data recorded on the memory card 9.
  • the movement detection unit 10b ′ analyzes the image between the frames and extracts the contour of the subject as a feature point, the amount of movement of the imaging device 1 is calculated based on the amount of positional deviation of the main subject on the coordinate axes in both images. Is calculated. Then, the movement detection unit 10b ′ determines that the movement amount is within the “hand shake detection range” as “hand shake”.
  • the position of the main subject is shifted in the horizontal (X-axis) direction, and the imaging device that is calculated by the movement detection unit 10b ′ Since the value of the moving amount of 1 is within the “camera shake detection range”, it is determined as “camera shake”.
  • the camera shake correction unit 10c ′ generates the superimposed composite image F4A by taking the average of the coordinates of the main subjects of the images F3 ′ and F4 ′.
  • the imaging control unit 10a ′ stores the composite image F4A generated by the camera shake correction unit 10c in the RAM 12 (FIG. 9B), and performs white balance adjustment. Then, image processing such as color interpolation processing and aberration correction processing is performed, and the image data of the composite image F4A after the image processing is output to the display unit 13. Further, the compression / decompression processing unit 10d performs JPEG compression on the image data of the composite image F4A. The compressed image data is sent to the memory card 9 and recorded (FIG. 9C).
  • the image F4 ′ in which “camera shake” has occurred is corrected to an image F4A.
  • the imaging device 1 captures the image of the assistant and controls imaging.
  • the unit 10a ′ takes in the image data of the image F5 ′ from the signal processing unit 7.
  • the imaging device calculates from the deviation The value of the movement amount of 1 exceeds the upper limit of the “camera shake detection range”, and it is determined that the shooting direction of the imaging apparatus 1 has moved from the subject.
  • the camera shake correction unit 10c ′ does not perform a process of generating a composite image of the images of both frames when the movement amount of the imaging device 1 exceeds the upper limit of the “camera shake detection range”.
  • the imaging control unit 10a ′ stores the image data as it is in the RAM 12 (FIG. 9B), reads out the image data after performing image processing such as white balance adjustment, color interpolation processing, and aberration correction processing on the display unit 13.
  • the imaging control unit 10a ′ stops the display of the captured image in real time by the imaging device 1, while the captured image F4A of the treatment target portion immediately before that imaged by the imaging device 1 is displayed as a still image. 13 may be displayed.
  • the recording control unit 10e ′ prohibits the operation of writing the subsequent frames to the memory card 9 (FIG. 9 ( c)). Further, the illumination control unit 10g controls the illumination drive unit 14 to stop energization to the illumination unit 15 or reduce the amount of current to be supplied.
  • the imaging control unit 10a ′ does not change the signal processing unit. Pattern matching processing is performed on the image data of each frame captured from No. 7, and it is determined whether the main subject (that is, the treatment target location) before the movement amount exceeds the upper limit of the “camera shake detection range” is approximate to the image data To do. Then, when the movement detection unit 10b detects that the main subject recognized by the subject recognition unit 101b approximates the main subject before the shooting direction of the imaging apparatus 1 moves, it is determined that the treatment by the operator has been resumed. To do.
  • each image after the image F6 ′ after the resumption of the operation is compressed by the compression / decompression processing unit 10d, and the compressed image data is sequentially recorded on the memory card 9 by the recording control unit 10e (FIG. 10C).
  • the illumination control unit 10g controls the illumination drive unit 14 to resume energization to the illumination unit 15 or return the supply current to a normal current amount.
  • a time lag period of, for example, 0.2 seconds to 0.5 seconds as described above, a movement in which the operator turns away from the treatment target portion for a moment and immediately turns the face to the treatment target portion.
  • Images other than the treatment target location by the imaging device 1 when the image is taken may not be displayed on the display unit 13.
  • the control for stopping the writing of image data to the memory card 9 by the recording control unit 10e and the control for stopping the energization of the illumination unit 15 by the illumination control unit 10g or reducing the amount of current to be supplied are also described above. You may make it carry out after the period.
  • the imaging device 1 captures the image F7 ′ (FIG. 10A).
  • the image F7 ′ is stored in the RAM 12 by the imaging control unit 10a ′ (FIG. 10B), but is not recorded in the memory card 9 by the recording control unit 10e (FIG. 10C). Since the operator's line of sight returns to the subject and the image F8 ′ output from the imaging device 1 has the same main subject as the image F6 ′, the compressed data of the image F6 is recorded in the memory card 9.
  • the position of the main subject is shifted in the vertical (Y-axis) direction with respect to the image F8 ′, and the movement detection unit 10b detects the image shift. If the value of the movement amount of the imaging apparatus 1 calculated from the deviation is within the “handshake detection range”, it is determined as “handshake”.
  • the camera shake correction unit 10c generates the composite image F9A by superimposing the average coordinates of the main subjects of the images F8 ′ and F9 ′.
  • the image data of the composite image F9A is stored in the RAM 12 (FIG. 10B), and the compressed image data is recorded on the memory card 9 (FIG. 10C).
  • the image data in each frame from the image 9 ′ to the image F10 ′ is also stored in the RAM 12 by the imaging control unit 10a ′ when “movement blur” is not detected by the movement detection unit 10b ′.
  • An image of image data subjected to image processing such as white balance adjustment is displayed on the display unit 13.
  • image data of the composite image generated from the image data of the previous and subsequent frames is subjected to image processing, stored in the RAM 12, and displayed on the display unit 13.
  • the image data of the image deviated from the main subject by the movement detection unit 10b ′ is not recorded in the memory card 9. Therefore, only the state of the treatment performed by the operator is recorded in the memory card 9 as a moving image, which is very effective as a record of the treatment.
  • the imaging device 1 captures an image of a subject (shooting a subject) while suppressing the “camera shake” by detecting the “camera shake” from the displacement of two frames of images that are continuous or close to each other. In the case where the position is far from the treatment target location), it is possible to save only a valid recorded video by stopping the recording of the captured image of that portion.
  • the overall configuration and operation are the same as those in the first embodiment, but there is no recording control unit 10e. Therefore, even when the movement amount calculated by the movement detection unit 10b exceeds the upper limit of the “camera shake detection range” based on the angular velocity that the acceleration sensor 4 detects and outputs the movement of the imaging device 1, the memory card The captured image at that time is stored in 9. However, when the movement detection unit 10b determines that the movement amount exceeds the upper limit of the “camera shake detection range”, the illumination control unit 10g stops energizing the illumination unit 15 or supplies current to the illumination control unit 10g. Control to reduce the amount. Thereby, consumption of the battery 16 is reduced.
  • the CPU 10 has a function of the image shift detection unit 10h achieved by executing a control program stored in the ROM 11.
  • the image shift detection unit 10 h sequentially compares the image data between consecutive frames or adjacent frames of the moving image read by the reproduction control unit 10 f, A shift amount of the main subject is detected from a shift due to a change in the main subject between consecutive or adjacent frames, and it is determined whether the shift amount is equal to or greater than a preset threshold value.
  • This threshold value is the same as the upper limit value of the “camera shake detection range” described in the third embodiment.
  • the reproduction control unit 10f sequentially displays the image data read from the memory card 9 on the display unit 13 to reproduce the moving image.
  • the image shift detection unit 10h detects the shift amount of the main subject in each image data of continuous or adjacent frames read by the reproduction control unit 10f.
  • the reproduction control unit 10f displays the image data from the memory card 9 onward on the display unit. Is stopped, and an image based on the image data reproduced immediately before is displayed on the display unit 13 as a still image.
  • the image shift detection unit 10h reads the image data of each frame from the memory card 9 and performs pattern matching processing to recognize the main subject.
  • the reproduction control unit 10f displays the memory card. 9 restarts the display of the image data read from the display unit 13 on the display unit 13.
  • the present invention relates to a medical imaging recording apparatus capable of photographing the progress of a procedure with an imaging device attached to the body of an operator and recording only a series of images directly related to the procedure, and has industrial applicability. Have.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

 撮像装置の画像が施術の処理に直接関係しない画像を捉えたときこの画像を記録装置には記録しない医療用撮像記録装置の提供を目的とする。光学レンズ2と、光学レンズ2を通して被写体から導入される光を光電変換して画像信号を生成する撮像素子3とを有する撮像装置1はオペレーターの身体に装着される。撮像制御部10aは、撮像信号を処理して動画を形成する1フレームごとに生成される画像データを表示部13に表示する。記録制御部10eは、メモリカード9にこの画像データを記録する。そして、加速度センサ3が出力する角速度に基づいて、移動検出部10bによって算出される移動量が予め設定した範囲内の場合には、手ブレ補正部10cはブレ補正を行い、移動量が前記範囲の上限を超える場合には、記録制御部10eは画像データのメモリカード9への記録を中止する。

Description

医療用撮像記録装置
 本発明は、医療施術の際の施術内容を撮影して記録する医療用撮像記録装置に関する。
 作業を行う作業者の身体に、CCD型やCMOS型の撮像素子を備えたデジタル・ビデオ・カメラ等の撮像装置を装着して、作業の様子を動画によって撮影することが一般に行われている。
 特に、医療施術の分野においては、オペレーターによって行われる施術対象箇所への手術内容を動画で撮影して画像を記録として残しておけば、施術後に手術内容を施術対象者や家族に対して行う際の説明の資料や、学会又は医学教育用の資料として使用することができ利用価値が高い。
 このような要望から、施術時にオペレーターが頭部や顔に着用する双眼ルーペやヘッドバンドに撮像装置を取り付けて、オペレーターが凝視する施術対象箇所を撮像装置によって撮像する医療用撮像装置が知られている(例えば、特許文献1及び特許文献2を参照)。
 しかし、撮像装置によって撮像範囲に含まれる被写体を撮影する際、いわゆる「手ブレ」の問題がある。ここで言う「手ブレ」とは、医療施術時にオペレーターの身体や頭部の動きにより撮像装置が揺れて映像にブレを生じることを意味している。医療施術のような精緻な作業では細かい手の動きによる小刻みな動作を伴い、オペレーターの身体に装着されている撮像装置はシャッターが開いている間に動かされると、映像にブレを生じて映像が不鮮明となる。
 こうした「手ブレ」を抑制するには、デジタルカメラにおいては、加速度センサを用いたり、或いは動画の連続する2フレームの画像ずれを検出することにより手ブレ情報を取得して、画像データに補正を加えて「手ブレ」を修正することが知られている(例えば、特許文献3を参照)。
特開2003-204972号公報 特開2009-98570号公報 特開2009-77265号公報
 しかしながら、オペレーターが凝視している被写体を撮影するためにオペレーターの頭部や顔に装着される撮像装置にあっては「手ブレ」だけでなく、施術中に施術補助者に指示等を与えたり、或いは長い医療施術時間中にリラックスするために身体を軽く動かしたりして顔の向きが施術対象箇所から離れると、撮像装置は施術対象箇所以外を撮影してしまい記録映像としては不適格なものとなる。この場合、オペレーターが施術の中断の都度、動画撮影のレリーズスイッチを操作するのは煩わしく、また手や指先には患者の血や体液が付着しているために操作するのも困難である。
 上記課題に鑑み、撮像装置による撮影の向きが移動して画像が被写体(施術対象箇所)から離れるような場合には、その部分の撮像画像の記録を停止することで、良好な記録映像を保存しておくことができる医療用撮像記録装置の提供を目的としている。
 上記課題を解決するために、少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、前記画像データを順次記録する情報記録部と、前記撮像装置の移動を検知する加速度センサと、前記加速度センサによる検知信号から前記撮像装置の移動量を算出する移動検出部と、前記移動量が予め設定した範囲内の場合は前記移動量に応じた移動による前記動画のブレを打ち消すよう制御する手ブレ補正部と、前記移動量が前記範囲の上限を超える場合は前記情報記録部への前記画像データの記録の中止を制御する記録制御部と、を備える。これにより、施術に直接関係しない画像は記録されないため、有効な記録映像のみを保存しておくことができる。
 このとき、前記移動検出部は、前記加速度センサからの前記角速度の検出信号におけるエッジ部でのひずみが減衰する期間を予め見越した遅延時間の経過後に前記移動量を算出するとよい。
 そして、前記撮像制御部は、前記移動量が前記範囲の上限を超える場合は前記動画の表示を停止する。この場合、前記移動量が前記範囲の上限を超えていることを前記移動検出部が検出してから所定のタイムラグの期間を置くとよい。
 また、前記撮像制御部は、前記動画の表示を停止した後は、前記移動が前記範囲の上限以上となる前の前記画像データを静止画で表示するよう制御する。この場合、前記撮像制御部は、前記移動量が前記範囲の上限を超えていることを前記移動検出部が検出してから所定のタイムラグの期間を置いて、前記静止画を表示する制御を行うとよい。
 そして、前記移動量が前記範囲の上限を超えた後に、前記加速度センサが前記撮像装置の撮影の向きが最初の前記被写体に復帰移動する角速度を検出すると、前記記録制御部は、前記情報記録部による前記画像データの記録の再開を制御し、前記撮像制御部は、前記動画の表示の再開を制御する。
 このとき、前記被写体に光を照射する照光部を備えて、前記照光部は、前記移動量が前記範囲の上限を超えたとき照光を停止又は照度を低下させる。これにより、撮像装置の撮影対象が施術対象箇所から大きく変動したときは照光部の照光が抑制されて、エネルギーを無駄に消費することが防止できる。
 一方、前記移動量が前記範囲内の場合、前記手ブレ補正部は、前記移動量に応じて前記光学レンズに組み込まれた補正レンズを動かして光軸を調整し、又は前記移動量に応じて前記撮像素子を移動させることで光学的に「手ブレ」を補正する。
 また、前記撮像制御部は、前記動画の表示を停止した後は、前記移動が前記範囲の上限を超える前の前記画像データを静止画で表示するよう制御する。この場合、前記撮像制御部は、前記移動量が前記範囲の上限を超えていることを前記移動検出部が検出してから所定のタイムラグの期間を置いて、前記静止画を表示する制御を行うとよい。
 本発明による医療用撮像記録装置は、少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、前記画像データを順次記録する情報記録部と、前記撮像装置の移動を検知する加速度センサと、前記加速度センサが検出する角速度によって前記撮像装置の移動量を算出する第1の移動検出部と、前記第1の移動検出部が算出する移動量が閾値以上となると前記画像データの記録の中止を制御する記録制御部と、連続又は近接している前記フレーム間の前記画像データを順次比較して、連続又は近接しているフレーム間での主要被写体のずれから移動量を算出する第2の移動検出部と、前記第2の移動検出部が算出する移動量が予め設定した閾値以上であるとき、連続又は近接しているフレーム前記画像データを合成して補正画像データを生成する手ブレ補正部と、を備える。
 本発明による医療用撮像記録装置によれば、撮像装置が施術の処理に直接関係しない画像を捉えたときにはこの画像が記録装置に記録されないために、オペレーターはその都度撮像装置による撮影をオフさせる必要がなく、オペレーターの身体に撮像装置を装着するだけで施術の有効な記録を保存しておくことができる。
本発明の第1及び第2の実施形態に係る医療用撮像記録装置の電気回路をブロックによって示す図。 撮像装置と照光部を備えた双眼ルーペの説明図。 撮像装置と照光部を備えたヘッドバンドの説明図。 本発明の実施形態に係る医療用撮像記録装置をオペレーターに装着した例を示す説明図。 本発明の実施形態に係る医療用撮像記録装置のコントロールユニットを示す説明図。 本発明の第3の実施形態に係る医療用撮像記録装置の電気回路をブロックによって示す図。 (a)は本発明の第1及び第2の実施形態に係る医療用撮像記録装置において1フレーム毎の画像を模式的に示す説明図、(b)はメモリカードに記録される画像データを模式的に示す説明図。 図7に引き続いて、(a)は本発明の第1及び第2の実施形態に係る医療用撮像記録装置において1フレーム毎の画像を模式的に示す説明図、(b)はメモリカードに記録される画像データを模式的に示す説明図。 (a)は本発明の第3の実施形態に係る医療用撮像記録装置において1フレーム毎の画像を模式的に示す説明図、(b)はRAMに記憶される画像データを模式的に示す説明図、(c)はメモリカードに記録される画像データを模式的に示す説明図。 図9に引き続いて、(a)は本発明の第3の実施形態に係る医療用撮像記録装置において1フレーム毎の画像を模式的に示す説明図、(b)はRAMに記憶される画像データを模式的に示す説明図、(c)はメモリカードに記録される画像データを模式的に示す説明図。 本発明の第4の実施形態に係る医療用撮像記録装置の電気回路をブロックによって示す図。
 以下、本発明の最適な実施形態について図面を参照しながら説明する。
[第1の実施形態]
 図1は、第1の実施形態での本発明に係る医療用撮像記録装置の概略構成をブロック図により示している。
 撮像装置1は動画を撮像するデジタル・ビデオ・カメラであり、撮像時に被写体からの光を入射させる光学レンズ2と、光学レンズ2を通しての被写体からの反射光をアナログの電気信号に光電変換して画像信号を生成するCCDやCMOSによる撮像素子3と、加速度センサ4と、撮像素子変位機構5と、レンズ調整機構6とを有する。
 加速度センサ4は「手ブレ」を検出するもので、例えば、3軸タイプのものが使用されて、互いに直交するX・Y・Zの3軸方向の角速度を検出し、検出した信号をA/D変換等の処理を行ってCPU10に出力する。
 撮像素子変位機構5は、後述する移動検出部10bによって算出された撮像装置1の移動量に基づいて撮像素子3を移動させることにより、「手ブレ」による映像の乱れを防止する。
 レンズ調整機構6は、ピント合わせ及びズーミングを行うために、内蔵している駆動モータにより光学レンズ2を移動させる。なお、図示しないが、光学レンズ2は絞り機構を備えており、この駆動モータの駆動により絞りを調節することで、撮像素子3に入射する被写体光の強度を調節する。
 信号処理部7は、撮像素子3から入力される画像信号を増幅し、デジタル信号に変換してCPU10に出力する。本実施形態による医療用撮像記録装置では、例えば30フレーム/秒で被写体の動画撮像を行うために、信号処理部7は1フレームごとの画像データを生成してCPU10に出力する。この1フレームごとの画像データを生成する機能はCPU10に持たせて構成してもよい。
 操作部8は、撮像装置1への電源供給をオン/オフするための電源スイッチ、動画撮影を指示するレリーズスイッチ及び光学レンズ2のズーム操作を行うズームスイッチなどから構成される。
 情報記録部として利用するメモリカード9は、インターフェース9aを介して、CPU10から送られる動画の画像ファイルを記録すると共に、記録している画像ファイルをCPU10に読み出す。この画像ファイルは、Motion JPEG形式で記録するもので、1フレーム毎の画像をJPEG圧縮したものが連続してまとめられる。情報記録部は、メモリカード以外にも種々のディスクタイプやメモリタイプ等の各種の記録メディアが使用できる。
 表示部13は、液晶又は有機ELによって構成される表示パネル13a(図5)を備えて、撮像装置1が撮影した動画を表示する。また、表示部13は、メモリカード9に保存した画像ファイルの動画を再生表示するのにも用いられる。
 照光部15は、施術対象箇所(被写体)の明るさを確保するために用いられ、例えば、それぞれ各色で発光する複数のLED素子によって構成されており、照光駆動部14から駆動電源が供給される。この場合、目に有害とされる400nm乃至500nmの帯域の青色LED素子は避けるのが好ましい。
 RAM12は、例えば高速でのデータの読み出しと書き込みが可能なSDRAMであり、信号処理部7から出力される画像データやCPUによる処理中のデータが一時的に記録される。
 CPU10は、ROM11に書き込まれている制御プログラムや種々の設定データ、及び操作部8の各種スイッチの操作に基づき医療用撮像記録装置の動作を制御する。したがって、CPU10は、この制御プログラムを実行することで、撮像制御部10a、光学レンズ2又は撮像素子3の移動量を算出する移動検出部10b、手ブレ補正部10c、圧縮伸長処理部10d、記録制御部10e、再生制御部10f及び照光制御部10g等として機能する。
 ここで、CPU10によるこの各制御機能について説明する。
 撮像制御部10aは、操作部8でのスイッチ操作に基づき、レンズ調整機構6に含まれるモータの駆動を制御することで、オートフォーカス処理、ズーム処理及び露出調整処理を行って撮像装置1による被写体の動画撮影を制御する。また、撮像制御部10aは、信号処理部7から送られてくる1フレーム毎の画像データにホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行う。
 移動検出部10bは、加速度センサ4から出力されるX・Y・Zの加速度成分から、撮像装置1の左右方向(X方向)、上下方向(Y方向)及び前後方向(Z方向)の移動量を算出する。
 手ブレ補正部10cは、移動検出部10bが算出した移動量に基づいて撮像素子変位機構5を動作して手ブレを補正する制御を行う。
 圧縮伸長処理部10dは、RAM12に取り込まれた画像データを1フレーム毎にJPEG圧縮を行って、メモリカード9に記録するための動画の画像ファイルを生成する。また、圧縮伸長処理部10dは、メモリカード9に記録された画像ファイルの動画の再生時には、圧縮画像データを伸長処理する。
 記録制御部10eは、1フレーム毎にJPEG圧縮を行った画像データのメモリカード9への書き込みを制御する。
 再生制御部10fは、メモリカード9に保存した画像を読み出して表示部13に表示する。
 照光制御部10gは、照光駆動部14に制御信号を出力して照光部15への駆動電源の供給およびその電流量を制御する。
 次に、撮像装置1をオペレーターの身体に装着する実施例について説明する。図2に示す例では、オペレーターが施術時に顔面に掛ける双眼ルーペ20に撮像装置1と被写体を照らす照光部15とを取り付けている。このような双眼ルーペ20以外にも、帽子やヘッドバンドであっても良い。図3はヘッドバンド21に撮像装置1と照光部15とを取り付けている。このヘッドバンド21は樹脂部材で構成されており、オペレーターの頭部にその弾性により保持して固定される。ヘッドバンド21はこのような構成に限らず、また材質も布やゴム等による種々な形態がある。
 また、オペレーターは、図4及び図5に示すように腰にバッテリー保持ベルト22を巻いて、このバッテリー保持ベルト22によって本医療用撮像記録装置の動作電源となるバッテリー電源を保持している。バッテリー電源は互いに接続された複数の充電式のバッテリー16で構成されて、バッテリー保持ベルト22は、このバッテリー16を着脱自在に差し込むための装着部28を備えている。さらに、バッテリー保持ベルト22には、これらバッテリー16と共にコントロールユニット24が装着されていて、バッテリー16は、コントロールユニット24に繋がっている。
 コントロールユニット24のユニットケースの表面には、操作部8と表示部13の液晶又は有機LEによる表示パネル13aが配置されている。表示パネル13aは撮影画像のモニター画面として用いられるが、施術補助者等の周囲の人にも施術の様子がモニターできるように別の表示パネル13bを設けている。この場合、コントロールユニット24から表示パネル13aに無線により画像データの信号を送るようにすれば、オペレーターの施術時における行動の自由度を確保できる。
 また、撮像装置1にWi-Fiによるネットワーク・カメラを使用すれば、インターネットを通じて表示パネル13bを備えた端末装置に映像を配信することでモニタリングができる。このとき、この端末装置は、WEBブラウザでネットワーク・カメラのURLを指定することで、施術の状況をリアルタイムでインターネットを通じて、ネットワーク・カメラの撮影画像を取り込むことができる。このように無線LANを使用すれば、施術を行う現場以外のいろいろな場所での端末装置においてもリアルタイムで施術のモニタリングができる利点がある。
 そして、このユニットケースの側面には、メモリカード9が着雑自在に装填されるスロット30が形成されている。そして、CPU10、ROM11、RAM12、信号処理部7及び表示部13が実装される制御基板は、ユニットケース内に収納されている。
 また、コントロールユニット24から撮像装置1及び照光部15へ駆動電流を供給する電源コード、CPU10から撮像素子変位機構5やレンズ調整機構6にそれぞれ出力する制御信号の信号線及び加速度センサ4からCPU10への入力信号線が束になってケーブルハーネス25にまとめられている。
 コントロールユニット24は、コンセント27にプラグが差し込まれる充電器26を接続すれば、バッテリー16への充電を行いながら撮像装置1による撮影動作と照光部15による照光動作を行うことができ、長時間の施術においても撮影を行うことができる。
 上記の医療用撮像記録装置の動作について説明する。コントロールユニット24の操作部8を操作して、医療用撮像記録装置の電源をオンにすると、CPU10はROM11の制御プログラムをロードして医療用撮像記録装置の動作が開始される。このとき、オペレーターが被写体である施術対象箇所に顔を向けると、撮像制御部10aは、被写体に対するオートフォーカス処理及び露出調整処理を行うと共に、操作部8のズームスイッチが操作されたときは、これに応じて光学レンズ2のズームを調整する。また、照光制御部10gは、照光駆動部14を制御して通常の明るさを確保できる駆動電流を照光部15に流して点灯させる。
 そして、操作部8のレリーズスイッチの操作により、撮像制御部10aは動画撮影を開始する。撮像制御部10aは、信号処理部7から1フレーム毎の画像データを順次取り込んでRAM12に記憶し、記憶した画像データにそれぞれホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行う。そして、撮像制御部10aは、RAM12に記憶している画像処理した画像データを順次読み出して表示部13に出力し、表示部13では動画が表示される。前述したように、信号処理部7の1フレーム毎の画像データを順次生成する機能を、CPU10がROM11の制御プログラムを実行することで行うようにしてもよい。
 一方、圧縮伸長処理部10dは、RAM12に記憶されている画像処理後の画像データにJPEG圧縮を行う。圧縮画像データは、メモリカード9に送られて動画の画像ファイルに記録される。
 図7(a)及び図8(a)は、オペレーターが施術を行うときに、前述の双眼ルーペ20やヘッドバンド21により頭部に装着された撮像装置1が撮影する画像の画像信号を信号処理部7に出力したとき、撮像制御部10aが信号処理部7から1フレーム毎に取り込む画像データによる画像を模式的に示している。撮像制御部10aは、撮像装置1によって動画を撮影するために、実際には30フレーム/秒で画像データを取り込んでいるが、説明の便宜上、図7(a)及び図8(a)では簡略化して一連の施術中の代表的なフレームの画像だけを例示している。
 撮像制御部10aは、信号処理部7から取り込む各フレームの画像データをそのままRAM12に記憶して、ホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行う。そして、撮像制御部10aは、RAM12が記憶している画像処理後の画像データを順次読み出して表示部13に出力し、表示部13に動画が表示される。
 一方、圧縮伸長処理部10dは、RAM12に順次記憶された画像データ毎にJPEG圧縮を行う。圧縮画像データは、メモリカード9に送られて画像ファイルに記録される。図7(b)及び図8(b)は、メモリカード9に記録される画像データを模式的に示している。
 このような動画の撮影中に、オペレーターの頭部が動くのを加速度センサ4が検出すると、移動検出部10bは、加速度センサ4から出力されるX・Y・Zの角速度から、撮像装置1の左右方向(X方向)、上下方向(Y方向)及び前後方向(Z方向)の移動量を算出する。加速度センサ4が角速度を検知して出力する信号のエッジ部分にはリンギングやオーバーシュート/アンダーシュートなどのひずみが生じている。よって、移動検出部10bは、角速度の検出信号におけるエッジ部でのひずみが減衰する期間を予め見越した遅延時間の経過後に撮像装置1の移動量を算出する。
 そして、移動検出部10bは、算出した移動量の値が予め設定した範囲内にあるかを判定する。この範囲は、加速度センサ4が検出したブレが撮影画像の品質に影響を与えない程度の移動と判断する閾値を下限として、撮像装置1による撮影の向きが被写体(施術対象箇所)から大きく移動したと判断する閾値を上限としている。よって、移動検出部10bは、算出した移動量の値が予め設定した範囲内にあるときは「手ブレ」と判断する。以下、この範囲を「手ブレ検出範囲」という。
 移動検出部10bは、算出した移動量の値が「手ブレ検出範囲」にって「手ブレ」と判断すると、移動検出部10bは、このとき移動検出部10bが算出した移動量に基づいて、そのブレを打ち消す方向に撮像素子3を移動させるように撮像素子変位機構5を制御する。例えば、撮像装置1が右方向にブレを生じているとすると、手ブレ補正部10cは撮像素子変位機構5に対し、撮像素子3を左方向に移動量分だけ動かす制御を行うことで、信号処理部7は「手ブレ」が生じていないときと同様な画像データを生成することができる。よって、信号処理部7が撮像制御部10aに出力する各フレームでの画像データは「手ブレ」が補正された状態となっている。なお、「手ブレ」を機構的に補正するには、光学レンズ2に補正レンズを組み込み、撮像装置1が移動した分、ブレを打ち消す方向に補正レンズを動かすことで光軸を補正する手ブレ補正機構を用いてもよい。
 こうした撮像装置1の撮像中において、例えば、オペレーターが施術補助者に指示を与えるために、施術を中断して補助者に顔を向けたとすると、撮像装置1は補助者の画像を捉えて、撮像制御部10aは信号処理部7から画像F4のフレームを取り込むことになる。しかし、このように被写体が急激に切り替わると、加速度センサ4が撮像装置1による撮影の向きが移動したことを検出して出力する角速度は大きな値を示す。よって、移動検出部10bは、算出する移動量が「手ブレ検出範囲」の上限よりも大きな値となるため、撮像装置1による撮影の向きが施術対象箇所から移動して施術が中断したものと判断する。
 これにより、記録制御部10eは、圧縮伸長処理部10dが圧縮処理した画像をメモリカード9へ書き込むのを禁止する。したがって、図7(a)の画像F4は、図7(b)で示すようにメモリカード9には記録されない。
 このとき、撮像制御部10aは、移動検出部10bが算出する移動量の値が「手ブレ検出範囲」の上限以上の場合であっても、信号処理部7からの1フレーム毎の画像データのRAM12への取り込みと、取り込んだ画像データに対するホワイトバランス調整等の画像処理を継続して行えば、施術が中断された状態でも撮像装置1による撮影画像は表示部13で表示されてモニターすることができる。
 一方、移動検出部10bが撮像装置1による撮影の向きが施術対象箇所から移動したと判断したとき、撮像制御部10aは、信号処理部7からの1フレーム毎の画像データのRAM12への取り込みと、取り込んだ画像データに対するホワイトバランス調整等の画像処理を中止することで、施術対象箇所以外の撮影画像は表示部13で表示しないようにしてもよい。このとき、撮像制御部10aは、撮像装置1が施術対象箇所以外を撮影している間においては、撮像装置1が撮影したその直前の施術対象箇所の撮影画像F3を静止画によって表示部13に表示しておけば表示がブランクとならず、表示部13を見る人は画像が変わったことで奇異に感じることがない。
 また、移動検出部10bが撮像装置1による撮影の向きが施術対象箇所から移動したと判断したとき、照光制御部10gは照光駆動部14を制御して、照光部15への通電を停止するか、又は供給する電流量を低下させる。これにより、施術が中断しているときの照明によるバッテリー16の消耗を防ぐことができる。
 そして、オペレーターが施術対象箇所に再び顔を向けると、加速度センサ4が撮像装置1の施術対象箇所の方向へ移動する角速度を検出するため、移動検出部10bは施術が再開されたと判断する。これにより、施術再開後の画像F5以降の各画像は圧縮伸長処理部10dによって圧縮処理されて、圧縮画像データは、記録制御部10eによってメモリカード9に順次記録される。したがって、メモリカード9には、オペレーターが行う施術の様子だけが動画の画像ファイルに記録されることになる。また、照光制御部10gは照光駆動部14を制御して、照光部15への通電を再開又は供給電流を通常の電流量に戻す。
 撮像制御部10aが、上記したように、移動検出部10bが撮像装置1による撮影の向きが施術対象箇所から移動したと判断してから、そのまま撮像装置1が撮影したリアルタイムの画像を表示部13に継続して表示、又は撮像装置1が撮影したその直前の施術対象箇所の撮影画像F3を静止画で表示するが、何れの表示を行う場合も所定のタイムラグの期間を設けるとよい。
 例えば0.2秒から0.5秒のタイムラグの期間を設けることで、オペレーターが手術の中断を意図しておらず、施術対象箇所から一瞬顔を背けてまた直ぐに施術対象箇所に顔を向けるような動きをしたときは、撮像装置1がそのごく短い時間に捉えた施術対象箇所以外の画像が表示部13に表示されてしまうという、不自然さが解消される。
 同様に、記録制御部10eも移動検出部10bが撮像装置1による撮影の向きが施術対象箇所から移動したと判断してから上記のタイムラグの期間を置いてメモリカード9へ書き込みを行うことで、オペレーターが施術対象箇所から一瞬顔を背けたときに撮像装置1が捉えた画像が記録されるのを防止することができる。また、照光制御部10gも移動検出部10bが撮像装置1による撮影の向きが施術対象箇所から移動したと判断してから上記のタイムラグの期間を置いて、照光部15への通電を停止するか、又は供給する電流量を低下させるよう照光駆動部14を制御するとよい。
 次に、オペレーターが施術中に天井のライトに顔を向けたとすると、撮像装置1は画像F6(図8(a))を捉えることになる。この画像F6は撮像制御部10aによってRAM12に記憶されるが、この場合も加速度センサ4が検出する角速度は大きな値を示して、移動検出部10bは、算出する移動量が「手ブレ検出範囲」の上限よりも大きな値となるため、記録制御部10eによって画像F6はメモリカード9には記録されない(図8(b))。照光制御部10gも同様に、照光部15を消灯又は照度を低下させる制御を行う。
 そして、オペレーターの顔が施術対象箇所に戻ると、撮像制御部10aが信号処理部7から取り込む画像F7や画像F8はメモリカード9に記録されると共に表示部13に表示させて、照光制御部10gは照光部15を通常に戻す。
 このように、加速度センサ4が検出する角速度によって移動検出部10bが算出する移動量が、「手ブレ検出範囲」の値であると「手ブレ」として、手ブレ補正部10cによりこれを補正しつつ、撮像制御部10aはRAM12に記憶されたホワイトバランス調整などの画像処理された画像データの画像を表示部13に表示する。しかし、移動検出部10bが算出す移動量が「手ブレ検出範囲」の上限よりも大きな値となると、そのときの画像データはメモリカード9には記録されない。したがって、メモリカード9には、オペレーターが行う施術の様子だけが動画で記録されるために施術の記録として大いに有効である。
[第2の実施形態]
 上記の第1の実施形態では、移動検出部10bは加速度センサ4が検知する角速度によって「手ブレ」及び撮像装置1による撮影の向きの変動を検出しているが、第2の実施形態では撮影の向きの変動を画像認識により検出するものである。よって、第2の実施形態での移動検出部10bは、加速度センサ4によって「手ブレ」を検出する第1の移動検出部と、画像認識により撮像装置1の撮影が施術対象箇所から切り換わったことを検出する第2の移動検出部とを備えることになるが、以下の説明においては、特に両者を区別せず一様に移動検出部10bとして述べていく。
 図1を用いて説明すると、移動検出部10bは第2の実施形態においては被写体認識部101bを備える。この被写体認識部101bは、パターンマッチングの手法などにより撮像装置1が撮影する主要被写体を認識するもので、CPU10がROM11に書き込まれている制御プログラムを実行することで被写体認識部101bとして機能する。
 具体的には被写体認識部101bは、撮像制御部10aが信号処理部7から取り込む連続又は近接しているフレーム間の画像データの画像を解析して、被写体の輪郭を特徴点として抽出し、特徴点が重なる部分を主要被写体と判断する。この場合、1/30秒間隔での隣り合うフレーム間での各画像又は近接している例えば1/3秒ごとのフレーム間での画像を順次解析して、共通部分を主要被写体として認識する。
 そして、移動検出部10bは、被写体認識部101bが認識する主要被写体の変化を検出することで撮像装置1による撮影の向きの移動を判定する。このとき、移動検出部10bは、隣り合うフレーム間での各画像又は近接しているフレーム間での各画像における主要被写体のX-Y軸で縦横方向のずれの値を算出している。したがって、移動検出部10bは、算出したずれの値が予め設定した閾値を超えると、撮像装置1による撮影の向きが施術対象箇所から移動して主要被写体が変化すると施術が中断されたと判断する。
 図7及び図8を用いて説明すると、被写体認識部101bは、撮像制御部10aが信号処理部7から順次取り込む各フレームの画像データから主要被写体を認識する。前述したように、被写体認識部101bは、1/30秒間隔での隣り合うフレーム間での各画像又は近接している(例えば1/3秒)ごとのフレーム間での画像を順次解析して共通部分を主要被写体として認識するが、解析していく各フレーム間での主要被写体には大きな相違はなく、すなわち、算出するずれの値は閾値を超えておらず、撮像装置1は同じ被写体を継続して撮影しているものと判断する。しかしながら、主要被写体は施術の進行に伴い徐々に変化していくために、移動検出部10bは、画像F3の時点では、開腹により露出された臓器を主要被写体として認識しており、画像F1の時点で認識した主要被写体とは大きく異なることになる。
 このとき、例えば、オペレーターが施術補助者に指示を与えるために施術を中断して補助者に顔を向けたとすると、撮像装置1は補助者の画像を捉えて、撮像制御部10aは信号処理部7から画像F4のフレームを取り込むことになる。このように被写体が急に切り替わると、移動検出部10bが、ここまでに各フレームどうしを順次パターンマッチングを行って認識してきた主要被写体からは大きなずれを生じることになる。よって、主要被写体が大きく変動したときには、算出しているずれの値が予め設定した閾値を超えるために、移動検出部10bは、撮像装置1による撮影の向きが被写体(施術対象箇所)から移動したことを判断する。
 これにより、記録制御部10eは、圧縮伸長処理部10dが圧縮処理した画像データをメモリカード9へ書き込むのを禁止して、図7(a)の画像F4は、図7(b)で示すようにメモリカード9には記録されない。撮像制御部10aは、信号処理部7からの1フレーム毎の画像データのRAM12への取り込みと、取り込んだ画像データに対するホワイトバランス調整等の画像処理を継続して行う。したがって、施術が中断された状態でも撮像装置1による撮影画像は表示部13で表示されてモニターすることができる。但し、第1の実施形態でも説明したように、移動検出部10bが撮像装置1による撮影の向きが施術対象箇所から移動したと判断したとき、撮像制御部10aは、信号処理部7からの1フレーム毎の画像データのRAM12への取り込みと、取り込んだ画像データに対するホワイトバランス調整等の画像処理を中止して、撮像装置1が施術対象箇所以外を撮影している間においては、撮像装置1が撮影したその直前の施術対象箇所の撮影画像F3を静止画で表示部13にて表示してもよい。
 移動検出部10bが撮像装置1による撮影の向きが施術対象箇所から移動したと判断したとき、照光制御部10gは照光駆動部14を制御して、照光部15への通電を停止するか、又は供給する電流量を低下させて、バッテリー16の消耗を防ぐ。
 移動検出部10bは、施術の中断により主要被写体が大きく変動してからも、被写体認識部101bによって撮像制御部10aが信号処理部7から取り込む各フレームの画像データのパターンマッチング処理を行って主要被写体を認識しており、認識した主要被写体がずれの値が閾値を超える前の主要被写体(すなわち施術対象箇所)に近似しているかを判定している。そして、移動検出部10bは、被写体認識部101bが認識した主要被写体が以前の主要被写体に近似していることを検出すると、オペレーターによる施術が再開されたと判断する。これにより、施術再開後の画像F5以降の各画像は圧縮伸長処理部10dによって圧縮処理されて、圧縮画像データは、記録制御部10eによってメモリカード9に順次記録される。したがって、メモリカード9には、オペレーターが行う施術の様子だけが動画の画像ファイルに記録されることになる。また、照光制御部10gは照光駆動部14を制御して、照光部15への通電を再開又は供給電流を通常の電流量に戻す。
 この実施形態においても、上記した例えば0.2秒から0.5秒のタイムラグの期間を設けることで、オペレーターが手術の中断を意図しておらず、施術対象箇所から一瞬顔を背けてまた直ぐに施術対象箇所に顔を向けるような動きをしたときは、撮像装置1がそのごく短い時間に捉えた施術対象箇所以外の画像が、表示部13で表示される不自然さを解消できる。そして、記録制御部10eによるメモリカード9への画像データの書き込み停止の制御と、照光制御部10gによる照光部15への通電を停止するか、又は供給する電流量を低下させる制御も上記のタイムラグの期間を置いて行うようにするとよい。
 次に、オペレーターが施術中に天井のライトに顔を向けたとすると、撮像装置1は画像F6(図8(a))を捉えることになる。この画像F6は撮像制御部10aによってRAM12に記憶されるが、記録制御部10eによってメモリカード9には記録されない(図8(b))。照光制御部10gも同様に、照光部15を消灯又は照度を低下させる制御を行う。
 そして、オペレーターの視線が被写体に戻ると、撮像制御部10aが信号処理部7から取り込む画像F7は、画像F5と主要被写体が共通するために、画像F7の圧縮データはメモリカード9に記録されると共に表示部13に表示させて、照光制御部10gは照光部15を通常に戻す。
 このような動画の撮影中に、オペレーターの頭部が小刻みに動くことで生じる「手ブレ」が生じると、移動検出部10bは、加速度センサ4から出力される角速度から算出した移動量の値が予め設定されている閾値、すなわち、第1の実施態様で説明した「手ブレ検出範囲」の下限以上であると「手ブレ」と判断する。前述したように、移動検出部10bは、角速度の検出信号におけるエッジ部でのひずみが減衰する期間を予め見越した遅延時間の経過後に移動量を算出する。
 手ブレ補正部10cは、移動検出部10bの「手ブレ」の判断により、移動検出部10bがこのとき算出した移動量に基づいて、そのブレを打ち消す方向に撮像素子3を移動させるよう撮像素子変位機構5を制御することで、信号処理部7が撮像制御部10aに出力する各フレームでの画像データは「手ブレ」が補正された状態となる。
 このように、加速度センサ4が検出する角速度によって移動検出部10bが算出する移動量が、「手ブレ」の発生を判断する閾値を超えたときは、手ブレ補正部10cにより補正しつつ、撮像制御部10aはRAM12に記憶されたホワイトバランス調整などの画像処理された画像データの画像を表示部13に表示する。
 一方、移動検出部10bが主要被写体のずれ量から算出する移動量が、撮像装置1による撮影の向きが被写体(施術対象箇所)から移動したことを判断する閾値を超えると、主要被写体が大きく変動したことから施術が中断したものと判断する。このときの画像データはメモリカード9には記録されない。
 このように、移動検出部10b(第1の移動検出部)が加速度センサ4によって「手ブレ」を検出すると、手ブレ補正部10cがこれを補正しつつ、撮像制御部10aはRAM12に記憶されたホワイトバランス調整などの画像処理された画像データの画像を表示部13に表示する。そして、移動検出部10b(第2の移動検出部)が被写体認識部101bによって撮像装置1の撮影が施術対象箇所から切り換わったことを検出すると、記録制御部10eによってそのときの画像の画像データはメモリカード9には記録されず、メモリカード9には、オペレーターが行う施術の様子だけが動画で記録される。
 第2の実施形態の変形例として、移動検出部10bは、加速度センサ4によって撮像装置1の撮影が施術対象箇所から切り換わったことを検出し、被写体認識部101bによって「手ブレ」を検出する変更も可能である。この場合、移動検出部10bは、主要被写体のX-Y軸で縦横方向のずれの値と予め設定した閾値とを比較して「手ブレ」を判断し、加速度センサ4が検出する角速度によって算出する移動量と予め設定した閾値とを比較して撮像装置1による撮影の向きが施術対象箇所から移動しているのを判断する。
[第3の実施形態]
 第3の実施形態では、加速度センサ4を用いずに電子的に移動量を検出して「手ブレ」を補正すると共に、撮像装置1による撮影の向きが被写体(施術対象箇所)から移動したことを検知するものである。そして、撮像素子変位機構5を用いずに電子的に「手ブレ」を補正する。
 図6は、第3の実施形態による医療用撮像記録装置の概略構成をブロック図で示している。この構成においては、加速度センサ4及び撮像素子変位機構5が存在しない以外は図1に示した実施形態と同じ構成である。しかし、加速度センサ4及び撮像素子変位機構5が存在しないため、CPU10が実行するROM11に格納された制御プログラムの構成が一部変更されている。よって、図6でのCPU10における、移動検出部10b´と手ブレ補正部10c´は、次の制御を行う。
 すなわち、移動検出部10b´は、パターンマッチング等の画像認識処理方法に基づき画像内の特徴点を検出して、1/30秒間隔での隣り合うフレーム間での各画像又は近接している(例えば1/3秒)ごとのフレーム間での画像のずれ量から撮像装置1の移動量を算出する制御を行う。
 また、手ブレ補正部10c´は、移動検出部10b´が算出した移動量が「手ブレ」を判断する閾値を超えているとき、連続する又は近接している2フレームの画像から合成画像を生成して、その画像データを出力する制御を行う。
 そして、撮像制御部10a´は、撮像制御部10aで説明した制御に加えて、「手ブレ」を補正した合成画像データをRAM12に記憶させる制御が追加される。
 図6の医療用撮像記録装置の動作を説明する。撮像制御部10a´は、操作部8のレリーズスイッチの操作により動画撮影を開始し、信号処理部7から1フレーム毎の画像データを順次取り込む。
 図9(a)及び図10(a)は、オペレーターが施術を行うときに、前述の双眼ルーペ20やヘッドバンド21により頭部に装着された撮像装置1が撮影する画像を信号処理部7に出力し、撮像制御部10a´が信号処理部7から1フレーム毎に取り込む画像を模式的に示している。撮像装置1は動画を撮影するために、信号処理部7は実際には30フレーム/秒で画像データを生成するが、説明の便宜上、簡略化して一連の施術中の代表的なフレームの画像のみを示している。
 移動検出部10b´は、図1で説明した被写体認識部101bと同様にパターンマッチングの手法により撮像制御部10a´が取り込むフレーム毎の各画像データの前フレームと後フレーム間での画像を解析して、被写体の輪郭を特徴点として抽出し、特徴点の重なる部分を主要被写体と判断する。
 また、移動検出部10b´は、隣り合うフレーム間での各画像又は近接しているフレーム間での各画像における主要被写体のX-Y軸で縦横方向のずれ量を算出し、算出したずれ量(撮像装置1の移動量)が予め設定した範囲内にあるかを判定している。この範囲は、被写体のずれがブレと感じさせず撮影画像の品質に影響を与えない程度の移動と判断する閾値を下限として、撮像装置1による撮影の向きが被写体(施術対象箇所)から大きく移動したと判断する閾値を上限としている。よって、移動検出部10b´は、算出した移動量の値が予め設定した範囲内にあるときは「手ブレ」と判断する。この実施形態の説明においても第1の実施形態と同様、以下、この範囲を「手ブレ検出範囲」という。
 図9(a)において代表的に示す施術前の状態の画像F1´、開腹処理中の画像F2´及び開腹後の画像F3´は画像が大きく相違しているが、移動検出部10b´は、この間の1/30秒間隔での隣り合うフレーム間での画像を順次解析していくために前後のフレーム間では大きな相違はなく、撮像装置1は同じ被写体を継続して撮影しているものと判断する。すなわち、移動検出部10b´は、算出するずれの値は「手ブレ検出範囲」の下限以下であるために、撮像装置1は同じ被写体を継続して撮影しているものと判断する。しかしながら、移動検出部10b´は、画像F3´の時点では、開腹により露出された臓器を主要被写体として認識しており、画像F1´の時点で認識した主要被写体とは異なっている。
 撮像制御部10a´は、撮像装置1が施術対象箇所を継続して撮影していると移動検出部10b´が判断している間においては、画像F1´乃至F3´を含めてこの間の全てのフレームの画像データをそのままRAM12に記憶して、ホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行う。そして、撮像制御部10a´は、RAM12が記憶している画像処理後の画像データを順次読み出して表示部13に出力し、表示部13に動画が表示される。図9(b)及び図10(b)はRAM12に記憶させるフレーム毎の画像データを模式的に示している。
 一方、圧縮伸長処理部10dは、RAM12に順次記憶された画像データ毎にJPEG圧縮を行う。圧縮画像データは、メモリカード9に送られて記録される。図9(c)及び図10(c)は、メモリカード9に記録される画像データを模式的に示している。
 移動検出部10b´が各フレーム間での画像を解析して、被写体の輪郭を特徴点として抽出したとき、両方の画像での主要被写体の座標軸での位置のずれ量から撮像装置1の移動量を算出する。そして、移動検出部10b´は、この移動量が「手ブレ検出範囲」内であると「手ブレ」と判断する。
 図9(a)の画像F3´と画像F4´とは連続しているフレームの画像とすると主要被写体の位置が横(X軸)方向にずれており、移動検出部10b´が算出する撮像装置1の移動量の値は「手ブレ検出範囲」内であるため「手ブレ」と判断する。このとき、手ブレ補正部10c´は、画像F3´と画像F4´の主要被写体の座標の平均をとることで重ね合せ合成画像F4Aを生成する。
 そして、撮像制御部10a´は、移動検出部10b´が画像のずれを検出すると、手ブレ補正部10cが生成した合成画像F4AをRAM12に記憶して(図9(b))、ホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行い、画像処理後の合成画像F4Aの画像データを表示部13に出力する。また、圧縮伸長処理部10dは、合成画像F4Aの画像データにJPEG圧縮を行う。圧縮画像データは、メモリカード9に送られて記録される(図9(c))。このように、第3の実施形態においては、撮像素子変位機構5を用いて「手ブレ」を光学的に補正しないために、「手ブレ」が生じた画像F4´は画像F4Aに補正されて、表示部13で表示されると共にメモリカード9に記録される。
 こうした撮像装置1による撮影中において、例えば、オペレーターが施術補助者に指示を与えるために施術を中断して補助者に顔を向けたとすると、撮像装置1は補助者の画像を捉えて、撮像制御部10a´は信号処理部7から画像F5´の画像データを取り込む。このような場合、移動検出部10b´は、前のフレームで特定した主要被写体とは異なるために、パターンマッチングを行ってフレーム間での画像のずれを検出したとき、そのずれから算出する撮像装置1の移動量の値が「手ブレ検出範囲」の上限を超えることになり、撮像装置1の撮影の向きが被写体から移動したものと判断する。
 手ブレ補正部10c´は、撮像装置1の移動量が「手ブレ検出範囲」の上限を超えている場合には両フレームの画像の合成画像を生成する処理を行わない。しかし、撮像制御部10a´は、その画像データをそのままRAM12に記憶し(図9(b)、ホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行った後に読み出して表示部13に表示する。または、撮像制御部10a´は、撮像装置1によるリアルタイムでの撮影画像の表示は停止する一方、撮像装置1が撮影したその直前の施術対象箇所の撮影画像F4Aを静止画で表示部13にて表示してもよい。
 一方、記録制御部10e´は、撮像装置1の移動量が「手ブレ検出範囲」の上限を超えている場合には、これ以降のフレームについてメモリカード9へ書き込む動作を禁止する(図9(c))。また、照光制御部10gは照光駆動部14を制御して、照光部15への通電を停止するか、又は供給する電流量を低下させる。
 そして、移動検出部10b´は、移動量が「手ブレ検出範囲」の上限を超えて撮像装置1の撮影の向きが移動したことを判断してからも、撮像制御部10a´が信号処理部7から取り込む各フレームの画像データのパターンマッチング処理を行っており、移動量が「手ブレ検出範囲」の上限を超える前の主要被写体(すなわち施術対象箇所)が画像データに近似しているかを判定する。そして、移動検出部10bは、被写体認識部101bが認識した主要被写体が撮像装置1の撮影の向きが移動する前の主要被写体に近似していることを検出すると、オペレーターによる施術が再開されたと判断する。これにより、施術再開後の画像F6´以降の各画像は圧縮伸長処理部10dによって圧縮処理されて、圧縮画像データは、記録制御部10eによってメモリカード9に順次記録される(図10(c)。また、照光制御部10gは照光駆動部14を制御して、照光部15への通電を再開又は供給電流を通常の電流量に戻す。
 この実施形態においても、上記した例えば0.2秒から0.5秒のタイムラグの期間を設けることで、オペレーターが施術対象箇所から一瞬顔を背けてまた直ぐに施術対象箇所に顔を向けるような動きをしたときの撮像装置1による施術対象箇所以外の画像を表示部13に表示しないようにしてもよい。また、記録制御部10eによるメモリカード9への画像データの書き込み停止の制御と、照光制御部10gによる照光部15への通電を停止するか、又は供給する電流量を低下させる制御も上記のタイムラグの期間を置いて行うようにしてもよい。
 しかし、こんどはオペレーターが施術中に天井のライトに顔を向けたとすると、撮像装置1は画像F7´(図10(a))を捉えることになる。この画像F7´は撮像制御部10a´によってRAM12に記憶されるが(図10(b))、記録制御部10eによってメモリカード9には記録されない(図10(c))。そして、オペレーターの視線が被写体に戻り撮像装置1が出力する画像F8´は、画像F6´と主要被写体が共通するために画像F6の圧縮データはメモリカード9に記録される。
 そして、画像F8´に連続しているフレームの画像F9´は画像F8´に対して主要被写体の位置が上下(Y軸)方向にずれており、移動検出部10bが画像のずれを検出したとき、そのずれから算出する撮像装置1の移動量の値が「手ブレ検出範囲」内であると「手ブレ」と判断する。このとき、手ブレ補正部10cは、画像F8´と画像F9´の主要被写体の座標の平均をとることで重ね合せて合成画像F9Aを生成する。この合成画像F9Aの画像データはRAM12に記憶され(図10(b))、その圧縮画像データはメモリカード9に記録される(図10(c))。
 このようにして、画像9´から画像F10´までの各フレームでの画像データについても、移動検出部10b´によって「手ブレ」が検出されないときは、撮像制御部10a´によってRAM12に記憶されたホワイトバランス調整などの画像処理された画像データの画像は表示部13で表示される。そして、「手ブレ」が検出された場合には、前後のフレームの画像データから生成される合成画像の画像データが画像処理されてRAM12に記憶され、表示部13で表示される。
 また、移動検出部10b´によって主要被写体から外れた画像の画像データはメモリカード9には記録されない。したがって、メモリカード9には、オペレーターが行う施術の様子だけが動画で記録されて、施術の記録として大いに有効となる。
 上記実施態様の医療用撮像記録装置は、動画の連続又は近接する2フレームの画像のずれから「手ブレ」を検出することで「手ブレ」を抑制しつつ、撮像装置1の撮影が被写体(施術対象箇所)から大きく外れるような場合には、その部分の撮像画像の記録を停止することで、有効な記録映像のみを保存しておくことができる。
[第4の実施形態]
 第4の実施形態は、撮影時に撮像装置1による撮影の向きが施術対象箇所から移動していてもそのときの画像データは情報記録部に記録し、再生時にこの部分の画像データを削除して表示しないようにするものである。
 図11で説明すると、全体的な構成及び動作は第1の実施形態と同様であるが、記録制御部10eが存在しない。したがって、加速度センサ4が撮像装置1の移動を検出して出力する角速度に基づいて、移動検出部10bによって算出される移動量が「手ブレ検出範囲」の上限を超えている場合でも、メモリカード9にはそのときの撮影画像が記憶されることになる。しかし、照光制御部10gは、移動量が「手ブレ検出範囲」の上限を超えていることを移動検出部10bが判定したときは、照光部15への通電を停止するか、又は供給する電流量を低下させる制御を行う。これにより、バッテリー16の消耗が軽減される。
 また、第1の実施形態との相違点は、CPU10は、ROM11に格納されている制御プログラムの実行により達成される画像ずれ検出部10hの機能を備えていることである。画像ずれ検出部10hは、メモリカード9に記録した動画を表示部13に再生するとき、再生制御部10fが読み出した動画の連続又は近接しているフレーム間の前記画像データを順次比較して、連続又は近接しているフレーム間での主要被写体の変動によるずれから主要被写体のずれ量を検出し、ずれ量が予め設定された閾値以上であるかを判定する。この閾値については、第3の実施態様で説明した「手ブレ検出範囲」の上限値と同じものである。
 再生モードにおいて、再生制御部10fは、メモリカード9から読み出す画像データを順次表示部13に表示して動画を再生する。このとき、画像ずれ検出部10hは、再生制御部10fが読み出す連続又は近接しているフレームの各画像データにおける主要被写体のずれ量を検出している。そして、画像ずれ検出部10hが主要被写体のずれ量が予め設定された閾値以上であると判定したとき、再生制御部10fは、メモリカード9から読み出す以後からの画像データの前記表示部での表示を停止して、その直前に再生している画像データによる画像を静止画で表示部13にて表示する。
 静止画を表示してからも画像ずれ検出部10hは、メモリカード9から各フレームの画像データを読み出してパターンマッチング処理を行って主要被写体を認識している。そして、認識した主要被写体が「手ブレ検出範囲」の上限を超える前の主要被写体(すなわち施術対象箇所)に近似していることを画像ずれ検出部10hが検出すると、再生制御部10fはメモリカード9から読み出す画像データの表示部13での表示を再開する。
 これにより、撮像時においては、主要被写体の変動に応じてメモリカード9への記録を停止せずに、再生時に必要な施術対象箇所のみを表示することができる。よって、必要に応じて施術時の全ての映像を記録に残すことができる。
 以上、本発明を詳述したが、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
 本発明は、オペレーターの身体に装着した撮像装置によって施術の進行を撮影すると共に施術に直接関係する一連の画像だけを記録に残すことができる医療用撮像記録装置に関し、産業上の利用可能性を有する。
1   撮像装置
2   光学レンズ
3   撮像素子
4   加速度センサ
7   信号処理部
9   メモリカード(情報記録部)
10  CPU
10a 撮像制御部
10b 移動検出部
10c 手ブレ補正部
10e 記録制御部
10h 画像ずれ検出部
15  照光部

Claims (21)

  1.  少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、
     前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、
     前記画像データを順次記録する情報記録部と、
     前記撮像装置の移動を検知する加速度センサと、
     前記加速度センサから出力される加速度によって前記撮像装置の移動量を算出する移動検出部と、
     前記移動量が予め設定した範囲内の場合は前記移動量に応じた移動による前記動画のブレを打ち消すよう制御する手ブレ補正部と、
     前記移動量が前記範囲の上限を超える場合は前記情報記録部への前記画像データの記録の中止を制御する記録制御部と、
    を備えた医療用撮像記録装置。
  2.  前記移動検出部は、前記加速度センサから出力される加速度の検出信号におけるエッジ部でのひずみが減衰する期間を予め見越した遅延時間の経過後に前記移動量を算出することを特徴とする請求項1に記載の医療用撮像記録装置。
  3.  前記撮像制御部は、前記移動量が前記範囲の上限を超える場合は前記動画の表示を停止することを特徴とする請求項1又は2に記載の医療用撮像記録装置。
  4.  前記撮像制御部は、前記移動量が前記範囲の上限を超える場合は前記移動検出部が検出してから所定のタイムラグの期間を置いて、前記動画の表示を停止することを特徴とする請求項3に記載の医療用撮像記録装置。
  5.  前記撮像制御部は、前記動画の表示を停止した後は、前記移動量が前記範囲の上限を超える前の前記フレームの前記画像データを静止画で表示することを特徴とする請求項3又は4に記載の医療用撮像記録装置。
  6.  前記記録制御部は、前記移動量が前記範囲の上限を超えた後に、前記加速度センサが前記撮像装置の撮影の向きが最初の前記被写体に復帰移動する加速度を検出すると、前記情報記録部による前記画像データの記録の再開を制御することを特徴とする請求項1乃至5の何れかに記載の医療用撮像記録装置。
  7.  前記撮像制御部は、前記移動量が前記範囲の上限を超えた後に、前記加速度センサが前記撮像装置の撮影の向きが最初の前記被写体に復帰移動する加速度を検出したとき、前記動画の表示の再開を制御することを特徴とする請求項3乃至6の何れかに記載の医療用撮像記録装置。
  8.  前記被写体に光を照射する照光部を備えて、前記照光部は、前記移動量が前記範囲の上限を超えると照光を停止又は照度を低下させることを特徴とする請求項1乃至7の何れかに記載の医療用撮像記録装置。
  9.  前記照光部は、前記移動量が前記範囲の上限を超えていることを前記移動検出部が検出してから所定のタイムラグの期間を置いて、照光を停止又は照度を低下させることを特徴とする請求項8に記載の医療用撮像記録装置。
  10.  前記照光部は、前記移動量が前記範囲の上限を超えた後に、前記加速度センサが前記撮像装置の撮影の向きが最初の前記被写体に復帰移動する加速度を検出したとき、照光を再開又は照度を明るくすることを特徴とする請求項8又は9に記載の医療用撮像記録装置。
  11.  前記手ブレ補正部は、前記移動量に応じて前記光学レンズに組み込まれた補正レンズを動かして光軸を補正する制御を行うことを特徴とする請求項1に記載の医療用撮像記録装置。
  12.  前記手ブレ補正部は、前記移動量に応じて前記撮像素子を移動させる制御を行うことを特徴とする請求項1に記載の医療用撮像記録装置。
  13.  少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、
     前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、
     前記画像データを順次記録する情報記録部と、
     前記撮像装置の移動を検知する加速度センサと、
     前記加速度センサから出力される加速度によって前記撮像装置の移動量を算出する第1の移動検出部と、
     前記第1の移動検出部が算出する移動量が予め設定した閾値以上となると前記画像データの記録の中止を制御する記録制御部と、
     連続又は近接している前記フレーム間の前記画像データを順次比較して、連続又は近接しているフレーム間での主要被写体のずれから移動量を算出する第2の移動検出部と、
     前記第2の移動検出部が算出する移動量が予め設定した閾値以上であるとき、連続又は近接しているフレーム前記画像データを合成して補正画像データを生成する手ブレ補正部と、
    を備えた医療用撮像記録装置。
  14.  前記第1の移動検出部は、前記加速度センサから出力される加速度の検出信号におけるエッジ部でのひずみが減衰する期間を予め見越した遅延時間の経過後に前記移動量を算出することを特徴とする請求項13に記載の医療用撮像記録装置。
  15.  前記撮像制御部は、前記第1の移動検出部が算出する移動量が前記閾値以上の場合は前記動画の表示を停止することを特徴とする請求項13又は14に記載の医療用撮像記録装置。
  16.  前記撮像制御部は、前記第1の移動検出部が算出する移動量が前記閾値以上であることを前記第1の移動検出部が検出してから所定のタイムラグの期間を置いて、前記動画の表示を停止することを特徴とする請求項15に記載の医療用撮像記録装置。
  17.  前記撮像制御部は、前記動画の表示を停止した後は、前記第1の移動検出部が算出する移動量が前記閾値以上となる前の前記画像データを静止画で表示することを特徴とする請求項15又は16に記載の医療用撮像記録装置。
  18.  前記記録制御部は、前記第1の移動検出部が算出する移動量が前記閾値以上となった後に、前記加速度センサが前記撮像装置の撮影の向きが最初の前記被写体に復帰移動する加速度を検出すると、前記情報記録部による前記画像データの記録の再開を制御することを特徴とする請求項13乃至17の何れかに記載の医療用撮像記録装置。
  19.  前記撮像制御部は、前記第1の移動検出部が算出する移動量が前記閾値以上となった後に、前記加速度センサが前記撮像装置の撮影の向きが最初の前記被写体に復帰移動する加速度を検出すると、前記動画の表示の再開を制御することを特徴とする請求項14乃至18の何れかに記載の医療用撮像記録装置。
  20.  前記被写体に光を照射する照光部を備えて、前記照光部は、前記第1の移動検出部が算出する移動量が前記閾値以上となると照光を停止又は照度を低下させることを特徴とする請求項13乃至19の何れかに記載の医療用撮像記録装置。
  21.  前記照光部は、前記移動量が前記閾値の上限を超えた後に、前記加速度センサが前記撮像装置の撮影の向きが最初の前記被写体に復帰移動する加速度を検出したとき、照光を再開又は照度を明るくすることを特徴とする請求項20に記載の医療用撮像記録装置。
PCT/JP2014/060770 2013-05-20 2014-04-16 医療用撮像記録装置 WO2014188819A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/892,032 US9866756B2 (en) 2013-05-20 2014-04-16 Medical image recording device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-106011 2013-05-20
JP2013106011A JP5411380B1 (ja) 2013-05-20 2013-05-20 医療用撮像記録装置

Publications (1)

Publication Number Publication Date
WO2014188819A1 true WO2014188819A1 (ja) 2014-11-27

Family

ID=50202708

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/060770 WO2014188819A1 (ja) 2013-05-20 2014-04-16 医療用撮像記録装置

Country Status (3)

Country Link
US (1) US9866756B2 (ja)
JP (1) JP5411380B1 (ja)
WO (1) WO2014188819A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107850778A (zh) * 2015-06-05 2018-03-27 马克·莱姆陈 使用头戴式摄像机和计算机系统对医疗图像或牙科图像进行图像捕获的设备和方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7109936B2 (ja) * 2018-02-28 2022-08-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置、および制御方法
US11101040B2 (en) * 2018-04-20 2021-08-24 Hanger, Inc. Systems and methods for clinical video data storage and analysis
US11992273B2 (en) * 2018-08-03 2024-05-28 Intuitive Surgical Operations, Inc. System and method of displaying images from imaging devices
US11057614B1 (en) 2018-09-05 2021-07-06 Apple Inc. Motion blur compensation through display actuation
JP7228190B2 (ja) * 2019-08-01 2023-02-24 国立大学法人富山大学 額帯用撮像装置と画像制御方法
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
CN115315227A (zh) * 2020-03-20 2022-11-08 徕卡仪器(新加坡)有限公司 手术显微镜系统和对应的系统、方法和计算机程序
CN113129340B (zh) * 2021-06-15 2021-09-28 萱闱(北京)生物科技有限公司 操作设备的运动轨迹分析方法、装置、介质和计算设备
WO2023023785A1 (en) * 2021-08-25 2023-03-02 Aguirre Gutierrez Victor Jesus A surgical head camera arrangement

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63102378U (ja) * 1986-12-20 1988-07-04
JP2002171469A (ja) * 2000-12-04 2002-06-14 Sony Corp 動画像記録装置および動画像記録方法、ならびにプログラム記録媒体
JP2003032607A (ja) * 2001-07-13 2003-01-31 Canon Inc 画像記録装置
JP2003204972A (ja) * 2002-01-11 2003-07-22 Ganka Kikai No Makino:Kk 双眼ルーペおよびこれを用いた撮像システム
JP2005348178A (ja) * 2004-06-03 2005-12-15 Canon Inc 動画記録再生装置、画像表示方法、及びプログラム
JP2008288829A (ja) * 2007-05-17 2008-11-27 Fujifilm Corp 撮影装置および方法並びにプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596366A (en) * 1990-05-14 1997-01-21 Canon Kabushiki Kaisha Camera apparatus having camera movement detection
JP4042411B2 (ja) * 2002-01-11 2008-02-06 株式会社日立製作所 データ記録装置、データ再生装置、データ記録再生方法及び撮像装置
JP2007207345A (ja) * 2006-02-01 2007-08-16 Sony Corp ディスク式撮像装置
JP4612900B2 (ja) * 2006-02-20 2011-01-12 キヤノン株式会社 撮像装置及びその制御方法
JP2008131448A (ja) * 2006-11-22 2008-06-05 Pentax Corp カメラ
JP2009077265A (ja) 2007-09-21 2009-04-09 Fujifilm Corp 撮像装置
JP2009098570A (ja) 2007-10-19 2009-05-07 Mitaka Koki Co Ltd ヘッドマウント型双眼ルーペ装置
JP4513879B2 (ja) * 2008-03-05 2010-07-28 ソニー株式会社 像ぶれ補正装置、レンズ鏡筒装置及びカメラ装置
CN103763472B (zh) * 2009-02-19 2017-03-01 奥林巴斯株式会社 照相机、佩戴型图像显示装置、摄影系统以及摄影方法
JP5780418B2 (ja) * 2011-05-30 2015-09-16 ソニー株式会社 撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63102378U (ja) * 1986-12-20 1988-07-04
JP2002171469A (ja) * 2000-12-04 2002-06-14 Sony Corp 動画像記録装置および動画像記録方法、ならびにプログラム記録媒体
JP2003032607A (ja) * 2001-07-13 2003-01-31 Canon Inc 画像記録装置
JP2003204972A (ja) * 2002-01-11 2003-07-22 Ganka Kikai No Makino:Kk 双眼ルーペおよびこれを用いた撮像システム
JP2005348178A (ja) * 2004-06-03 2005-12-15 Canon Inc 動画記録再生装置、画像表示方法、及びプログラム
JP2008288829A (ja) * 2007-05-17 2008-11-27 Fujifilm Corp 撮影装置および方法並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107850778A (zh) * 2015-06-05 2018-03-27 马克·莱姆陈 使用头戴式摄像机和计算机系统对医疗图像或牙科图像进行图像捕获的设备和方法
EP3304173A4 (en) * 2015-06-05 2018-05-30 Marc Lemchen Apparatus and method for image capture of medical or dental images using a head mounted camera and computer system
CN107850778B (zh) * 2015-06-05 2020-09-29 马克·莱姆陈 对医疗图像或牙科图像进行图像捕获的设备和方法

Also Published As

Publication number Publication date
JP5411380B1 (ja) 2014-02-12
JP2014229972A (ja) 2014-12-08
US20160100107A1 (en) 2016-04-07
US9866756B2 (en) 2018-01-09

Similar Documents

Publication Publication Date Title
JP5411380B1 (ja) 医療用撮像記録装置
JP4434151B2 (ja) 撮像装置
JP6135848B2 (ja) 撮像装置、画像処理装置および画像処理方法
US7598995B2 (en) Digital camera having a mode-selecting screen
JP2012065173A5 (ja) 撮影機器、画像表示方法及びプログラム
WO2014188820A1 (ja) 医療用撮像記録装置
JP6128458B2 (ja) 撮像装置および画像処理方法
JP2015049544A (ja) パラメータ変更装置及び方法
KR20140031804A (ko) 촬상 장치, 촬상 방법 및 기록 매체
US20080117303A1 (en) Camera with shake detecting function
WO2016071952A1 (ja) 撮像装置、撮像方法、およびプログラム
JP5497955B1 (ja) 医療用撮像記録再生装置
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
JP6693071B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP5530015B1 (ja) 医療用撮像記録装置
WO2014188821A1 (ja) 医療用撮像記録再生装置
JP2016225799A (ja) 撮像装置、及び撮像装置の制御方法
JP2016066940A (ja) 撮像装置および電子補正方法
JP2019121815A (ja) 撮像装置、撮像装置の制御方法、および、プログラム
JP2005175796A (ja) デジタルカメラ
JP2004104652A (ja) 撮像装置
JP2014158136A (ja) 医療用撮影システム
JP2021131441A (ja) 電子機器
JP2015103918A (ja) 撮像装置及び撮像装置の制御方法
JP7228190B2 (ja) 額帯用撮像装置と画像制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14800231

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14892032

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14800231

Country of ref document: EP

Kind code of ref document: A1