JP5497955B1

JP5497955B1 - Medical imaging recording and playback device

Info

Publication number: JP5497955B1
Application number: JP2013191661A
Authority: JP
Inventors: 正一中村
Original assignee: 正一中村; 日本エー・シー・ピー株式会社
Priority date: 2013-09-17
Filing date: 2013-09-17
Publication date: 2014-05-21
Anticipated expiration: 2033-05-20
Also published as: JP2014230271A

Abstract

【課題】撮像装置による撮影画像が施術の処理に直接関係しない画像のときはこの画像を再生表示しない医療用撮像記録再生装置の提供。
【解決手段】被写体からの反射光を撮像素子３で光電変換して撮像信号を生成する撮像装置１であって、撮像制御部１０ａは、撮像信号を処理して動画を形成する１フレームごとに生成される画像データを表示部１３に表示してメモリカード９に記録する。動画の再生時、画像ずれ検出部１０ｆは、メモリカード９から読み出される連続又は近接しているフレーム間の画像データを順次比較して、フレーム間での主要被写体のずれ量を検出し、ずれ量が予め設定されている閾値以上であるとメモリカード９から読み出す前記画像データの表示を中止する。
【選択図】図１Provided is a medical imaging recording / reproducing apparatus that does not reproduce and display an image captured by an imaging apparatus when the image is not directly related to treatment processing.
An imaging apparatus 1 that photoelectrically converts reflected light from a subject by an imaging device 3 to generate an imaging signal, and an imaging control unit 10a processes the imaging signal for each frame forming a moving image. The generated image data is displayed on the display unit 13 and recorded in the memory card 9. At the time of reproduction of a moving image, the image shift detection unit 10f sequentially compares image data between consecutive or adjacent frames read from the memory card 9, and detects the shift amount of the main subject between the frames. If the value is equal to or greater than a preset threshold value, display of the image data read from the memory card 9 is stopped.
[Selection] Figure 1

Description

本発明は、医療施術の際の施術内容を撮影して記録すると共に記録映像を表示する医療用撮像記録再生装置に関する。 The present invention relates to a medical imaging recording / reproducing apparatus that captures and records treatment contents during medical treatment and displays a recorded video.

作業を行う作業者の身体に、ＣＣＤ型やＣＭＯＳ型の撮像素子を備えたデジタル・ビデオ・カメラ等の撮像装置を装着して、作業の様子を動画によって撮影することが一般に行われている。 In general, an imaging device such as a digital video camera equipped with a CCD-type or CMOS-type imaging device is attached to the body of a worker who performs the work, and the state of the work is photographed with a moving image.

特に、医療施術の分野においては、オペレーターによって行われる施術対象箇所への手術内容を動画で撮影して画像を記録として残しておけば、施術後に手術内容を施術対象者や家族に対して行う際の説明の資料や、学会又は医学教育用の資料として使用することができ利用価値が高い。 In particular, in the field of medical treatment, if the contents of the surgery performed by the operator are video-recorded and the image is recorded as a record, it is possible to perform surgery on the subject and family members after the surgery. It can be used as a material for explanations of, and as a material for academic meetings or medical education, and has high utility value.

このような要望を満たすものとしては、施術時にオペレーターが頭部や顔に着用する双眼ルーペやヘッドバンドに撮像装置を取り付けて、オペレーターが凝視する施術対象箇所を撮像装置によって撮像する医療用撮像装置が知られている（例えば、特許文献１及び特許文献２を参照）。 A medical imaging device that attaches an imaging device to a binocular loupe or headband that an operator wears on the head or face during an operation, and that uses the imaging device to image a treatment target site that the operator stares at. Is known (see, for example, Patent Document 1 and Patent Document 2).

しかし、撮像装置によって撮像範囲に含まれる被写体を撮影する際、いわゆる「手ブレ」の問題がある。ここで言う「手ブレ」とは、医療施術時にオペレーターの身体や頭部の動きにより撮像装置が揺れて映像にブレを生じることを意味している。医療施術のような精緻な作業では細かい手の動きによる小刻みな動作を伴い、オペレーターの身体に装着されている撮像装置はシャッターが開いている間に動かされると、映像にブレを生じて映像が不鮮明となる。 However, there is a so-called “camera shake” problem when photographing an object included in the imaging range by the imaging device. The term “camera shake” as used herein means that the image pickup apparatus shakes due to the movement of the operator's body or head during medical treatment, and the image is blurred. In precise work such as medical treatment, the movement of small hands is accompanied by small movements, and if the imaging device attached to the operator's body is moved while the shutter is open, the image will be blurred and the image will be blurred. It becomes unclear.

こうした「手ブレ」を抑制するには、デジタルカメラにおいては、角速度センサを用いて検出した手ブレ量に応じて補正を加えて修正することが知られている（例えば、特許文献３を参照）。 In order to suppress such “camera shake”, it is known that a digital camera corrects by correcting according to the amount of camera shake detected using an angular velocity sensor (see, for example, Patent Document 3). .

しかし、撮像結果を記録として残す撮像記録再生装置の場合には、「手ブレ」等による画像の乱れ以外にも、撮像して記録に残しておくべき被写体が撮影対象から外れると記録映像として不適となる。すなわち、オペレーターの頭部や顔に装着されて、医療施術中にオペレーターが凝視している施術対象箇所を撮像する医療用撮像装置においては、例えば、オペレーターが施術中に施術補助者に指示等を与えたり、或いは長い医療施術時間中にリラックスするために身体を軽く動かしたりして顔の向きが施術対象箇所から離れたとき、撮像装置は施術対象箇所以外も撮影してその画像が記録映像に紛れ込み不完全な記録映像となる。この場合、オペレーターがこうした施術の中断の都度、動画撮影のレリーズスイッチを操作するのは煩わしく、また手や指先には患者の血や体液が付着しているために操作するのも困難である。 However, in the case of an imaging recording / reproducing apparatus that keeps the imaging result as a record, if the subject that should be imaged and recorded in the recording is not suitable for recording other than the disturbance of the image due to “camera shake” etc. It becomes. That is, in a medical imaging device that is mounted on the operator's head or face and images the treatment target part that the operator is staring during the medical treatment, for example, the operator gives instructions to the treatment assistant during the treatment. When the face is moved away from the treatment target area by giving or moving the body lightly to relax during a long medical treatment time, the imaging device also shoots other than the treatment target area and the image is recorded in the recorded video The recorded video is incomplete. In this case, it is troublesome for the operator to operate the release switch for moving image shooting every time the treatment is interrupted, and it is also difficult to operate because the patient's blood and body fluid are attached to the hands and fingertips.

また、動画像撮影時の装置本体の揺れ度合いを検出する揺れ検出手段を備え、揺れ検出手段によって検出された揺れ度合いを動画データと共に記録装置に記録しておき、記録装置に記録された動画データの再生時においては、動画データと共に読み出された揺れ度合いを所定値と比較し、比較の結果、前記揺れ度合いが所定値を超えているとき、該揺れ度合いとともに読み出された動画データに基づく動画像表示を停止させる動画記録再生装置が知られている（例えば、特許文献４を参照）。 In addition, it includes a shake detection unit that detects the degree of shaking of the apparatus main body at the time of moving image shooting, and the degree of shaking detected by the shake detection unit is recorded together with the moving image data on the recording device, and the moving image data recorded on the recording device At the time of reproduction, the degree of shaking read together with the moving image data is compared with a predetermined value, and when the degree of shaking exceeds a predetermined value as a result of comparison, based on the moving image data read together with the degree of shaking A moving image recording / reproducing apparatus that stops moving image display is known (see, for example, Patent Document 4).

特開２００３−２０４９７２号公報JP 2003-204972 A 特開２００９−９８５７０号公報JP 2009-98570 A 特開２００９−７７２６５号公報JP 2009-77265 A 特開２００５−３４８１７８号公報JP 2005-348178 A

この特許文献４の発明においては、揺れ度合いが治まった画像になると、大きい揺れの前の画像の被写体と違っていてもこれを表示することになる。しかしながら、医療用撮像記録再生装置の場合は、撮影が施術対象箇所から外れた画像は表示せず、一貫して施術対象箇所を表示する必要がある。 In the invention of this patent document 4, when an image whose degree of shaking is controlled is displayed even if it is different from the subject of the image before the large shaking. However, in the case of a medical imaging / recording / reproducing apparatus, it is necessary to consistently display the treatment target portion without displaying an image whose photographing has been removed from the treatment target portion.

上記点に鑑みて本発明は、撮像した画像が目的対象から外れているか否かを検知し、外れていないときは例え揺れ度合いが大きくてもこの画像を確実に表示することができる医療用撮像記録再生装置を提供することを目的としている。 In view of the above points, the present invention detects whether or not a captured image is deviated from a target object, and if not deviated, even if the degree of shaking is large, this image can be displayed reliably. An object of the present invention is to provide a recording / reproducing apparatus.

上記課題を解決するために、少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録再生装置であって、前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、前記画像データを順次記録する情報記録部と、再生時に前記情報記録部が記憶している画像データを読み出して前記表示部に表示する再生制御部と、前記再生制御部が読み出した連続又は近接している前記フレーム間の前記画像データを順次比較して、前記フレーム間での主要被写体のずれから当該主要被写体のずれ量を検出し、前記ずれ量が予め設定されている閾値と比較する画像ずれ検出部と、を備え、前記再生制御部は、前記ずれ量が前記閾値以上であるときは前記情報記録部から読み出す前記画像データの表示を以後中止にし、その後、前記再生制御部によって読み出される前記画像データの前記主要被写体が前記閾値以上となる前の前記主要被写体に近似していることを前記画像ずれ検出部が検出すると、前記再生制御部は、前記情報記録部から読み出す前記画像データの前記表示部での表示を再開することを特徴としている。 In order to solve the above-described problem, an imaging apparatus including at least an optical lens and an imaging element that photoelectrically converts light introduced from a subject through the optical lens during imaging to generate an imaging signal is provided by an operator at the time of medical treatment. An imaging control unit for medical imaging recording / reproducing apparatus that captures an image by wearing on a body, and controls the moving image to be displayed on a display unit from image data generated for each frame constituting the moving image based on the imaging signal; An information recording unit that sequentially records the image data, a reproduction control unit that reads out and displays the image data stored in the information recording unit during reproduction, and a continuous or proximity read by the reproduction control unit Sequentially comparing the image data between the frames being detected, detecting a shift amount of the main subject from a shift of the main subject between the frames, An image deviation detection unit that compares a deviation amount with a preset threshold value, and the reproduction control unit displays the image data read from the information recording unit when the deviation amount is equal to or greater than the threshold value. After that, when the image shift detection unit detects that the main subject of the image data read by the playback control unit is approximate to the main subject before being equal to or greater than the threshold, the playback control is performed. The unit restarts display of the image data read from the information recording unit on the display unit.

このとき、前記再生制御部は、前記情報記録部から読み出す前記画像データの表示を中止している間は前記ずれ量が前記閾値以上となる前の画像データを静止画で前記表示部に表示するよう制御することで、表示が途切れることがなく見る人に違和感を与えない。 At this time, while the display of the image data read from the information recording unit is stopped, the reproduction control unit displays the image data before the deviation amount is equal to or greater than the threshold value as a still image on the display unit. By controlling so that the display is not interrupted, the viewer does not feel uncomfortable.

また、撮像時における前記撮像装置の移動量を算出する移動検出部と、前記移動量が前記閾値よりも小さい値の第２の閾値以上の場合は前記移動量に応じて前記画像データを補正する手ブレ補正部と、をさらに備えることで、撮影画像の質が高まる。 A movement detection unit that calculates a movement amount of the imaging apparatus at the time of imaging; and if the movement amount is equal to or greater than a second threshold value that is smaller than the threshold value, the image data is corrected according to the movement amount. By further providing a camera shake correction unit, the quality of the captured image is improved.

このとき、前記移動検出部は、加速度センサからの検知信号によって前記移動量を算出する。 At this time, the movement detection unit calculates the movement amount based on a detection signal from an acceleration sensor.

また、前記移動検出部は、前記フレーム間の前記画像データを順次比較して、前記フレーム間での主要被写体のずれ量から前記撮像装置の移動量を算出してもよい。 The movement detection unit may sequentially compare the image data between the frames and calculate a movement amount of the imaging device from a shift amount of a main subject between the frames.

本発明による医療用撮像記録再生装置によれば、動画を構成するフレームごとに生成される画像の主要被写体が目的対象から外れていると再生時にはこの画像を表示しないために、撮影時にオペレーターは、撮像装置を目的対象に向ける姿勢から他を向く姿勢に変えても撮影をその都度オフさせる必要がなく、身体に撮像装置を装着しておくだけですむ。 According to the medical imaging recording and reproducing apparatus according to the present invention, when the main subject of the image generated for each frame constituting the moving image is out of the target object, this image is not displayed during reproduction. Even if the orientation of the imaging device is changed from the orientation facing the target object to the orientation facing the other, it is not necessary to turn off the photography each time, and it is only necessary to attach the imaging device to the body.

そして、撮影時にブレにより画像に大きな乱れを生じてもこのときの画像を記録しておき、再生時には乱れがある画像も目的対象から外れていない限りこれを表示するために、重要な画像が乱れを生じていることから記録されずにこれを見逃してしまうことがない。 Even if the image is greatly disturbed due to blurring during shooting, the image at this time is recorded, and the image that is disturbed during playback is displayed as long as it is not excluded from the target. It is not recorded and not missed.

本発明の実施形態に係る医療用撮像記録再生装置の構成をブロックによって示す図。The figure which shows the structure of the medical imaging recording / reproducing apparatus which concerns on embodiment of this invention with a block. 撮像装置と照光部を備えた双眼ルーペの説明図。Explanatory drawing of a binocular loupe provided with an imaging device and an illumination unit. 撮像装置と照光部を備えたヘッドバンドの説明図。Explanatory drawing of the headband provided with the imaging device and the illumination part. 本発明の実施形態に係る医療用撮像記録再生装置をオペレーターに装着した例を示す説明図。Explanatory drawing which shows the example which mounted | wore the operator with the medical imaging recording / reproducing apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る医療用撮像記録再生装置のコントロールユニットを示す説明図。Explanatory drawing which shows the control unit of the medical imaging recording / reproducing apparatus which concerns on embodiment of this invention. 本発明の第３の実施形態に係る医療用撮像記録再生装置の電気回路をブロックによって示す図。The figure which shows the electric circuit of the medical imaging recording / reproducing apparatus which concerns on the 3rd Embodiment of this invention with a block. （ａ）は本発明の第１及び第２の実施形態に係る医療用撮像記録再生装置において１フレーム毎の画像を模式的に示す説明図、（ｂ）はメモリカードに記録される画像データを模式的に示す説明図。(A) is explanatory drawing which shows typically the image for every frame in the medical imaging recording / reproducing apparatus which concerns on the 1st and 2nd embodiment of this invention, (b) is image data recorded on a memory card. Explanatory drawing shown typically. 図７に引き続いて、（ａ）は本発明の第１及び第２の実施形態に係る医療用撮像記録再生装置において１フレーム毎の画像を模式的に示す説明図、（ｂ）はメモリカードに記録される画像データを模式的に示す説明図。7A is an explanatory diagram schematically showing an image for each frame in the medical imaging recording / reproducing apparatus according to the first and second embodiments of the present invention, and FIG. Explanatory drawing which shows typically the image data recorded.

以下、本発明の最適な実施形態について図面を参照しながら説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, exemplary embodiments of the invention will be described with reference to the drawings.

図１は、第１の実施形態での本発明に係る医療用撮像記録再生装置の概略構成をブロック図により示している。 FIG. 1 is a block diagram showing a schematic configuration of a medical imaging recording / reproducing apparatus according to the present invention in the first embodiment.

撮像装置１は動画を撮像するデジタル・ビデオ・カメラであり、撮像時に被写体からの光を入射させる光学レンズ２と、光学レンズ２を通しての被写体からの反射光をアナログの電気信号に光電変換して画像信号を生成するＣＣＤやＣＭＯＳによる撮像素子３と、加速度センサ４と、撮像素子変位機構５と、レンズ調整機構６とを有する。 The imaging device 1 is a digital video camera that captures moving images, and photoelectrically converts an optical lens 2 that makes light from a subject incident during imaging, and reflected light from the subject through the optical lens 2 into an analog electrical signal. The image pickup device 3 includes a CCD or CMOS that generates an image signal, an acceleration sensor 4, an image pickup device displacement mechanism 5, and a lens adjustment mechanism 6.

加速度センサ４は「手ブレ」を検出するもので、例えば、３軸タイプのものが使用されて、オペレーターの首の軸を中心とする互いに直交するＸ・Ｙ・Ｚの３軸方向の移動の角速度を加速度で検出し、検出した信号をＡ／Ｄ変換等の処理を行ってＣＰＵ１０に出力する。 The acceleration sensor 4 detects “camera shake”. For example, a three-axis type sensor is used to move in three axes directions of X, Y, and Z orthogonal to each other about the operator's neck axis. The angular velocity is detected by acceleration, and the detected signal is subjected to processing such as A / D conversion and output to the CPU 10.

撮像素子変位機構５は、後述する移動検出部１０ｂによって算出された撮像装置１の移動量に基づいて撮像素子３を移動させることにより、「手ブレ」による映像の乱れを修正する。 The imaging element displacement mechanism 5 corrects the disturbance of the image due to the “hand shake” by moving the imaging element 3 based on the movement amount of the imaging apparatus 1 calculated by the movement detection unit 10b described later.

レンズ調整機構６は、ピント合わせ及びズーミングを行うために、内蔵している駆動モータにより光学レンズ２を移動させる。なお、図示しないが、光学レンズ２は絞り機構を備えており、この駆動モータの駆動により絞りを調節することで、撮像素子３に入射する被写体光の強度を調節する。 The lens adjustment mechanism 6 moves the optical lens 2 by a built-in drive motor in order to perform focusing and zooming. Although not shown, the optical lens 2 includes an aperture mechanism, and the intensity of subject light incident on the image sensor 3 is adjusted by adjusting the aperture by driving the drive motor.

信号処理部７は、撮像素子３から入力される画像信号を増幅し、デジタル信号に変換してＣＰＵ１０に出力する。本実施形態による医療用撮像記録再生装置では、例えば３０フレーム／秒で被写体の動画撮像を行うために、信号処理部７は１フレームごとの画像データを生成してＣＰＵ１０に出力する。この１フレームごとの画像データを生成する機能はＣＰＵ１０に持たせて構成してもよい。 The signal processing unit 7 amplifies the image signal input from the image sensor 3, converts it into a digital signal, and outputs it to the CPU 10. In the medical imaging recording / reproducing apparatus according to the present embodiment, the signal processing unit 7 generates image data for each frame and outputs the image data to the CPU 10 in order to capture a moving image of a subject at, for example, 30 frames / second. The CPU 10 may be configured to have the function of generating image data for each frame.

操作部８は、撮像装置１への電源供給をオン／オフするための電源スイッチ、動画撮影を指示するレリーズスイッチ及び光学レンズ２のズーム操作を行うズームスイッチなどから構成される。 The operation unit 8 includes a power switch for turning on / off the power supply to the imaging apparatus 1, a release switch for instructing moving image shooting, a zoom switch for performing a zoom operation of the optical lens 2, and the like.

情報記録部として利用するメモリカード９は、インターフェース９ａを介して、ＣＰＵ１０から送られる動画の画像ファイルを記録すると共に、記録している画像ファイルをＣＰＵ１０に読み出す。この画像ファイルは、ＭｏｔｉｏｎＪＰＥＧ形式で記録するもので、１フレーム毎の画像をＪＰＥＧ圧縮したものが連続してまとめられる。情報記録部は、メモリカード以外にも種々のディスクタイプやメモリタイプ等の各種の記録メディアが使用できる。 The memory card 9 used as the information recording unit records a moving image file sent from the CPU 10 via the interface 9 a and reads the recorded image file to the CPU 10. This image file is recorded in the Motion JPEG format, and JPEG compressed images for each frame are collected together. In addition to the memory card, the information recording unit can use various recording media such as various disk types and memory types.

表示部１３は、液晶又は有機ＥＬによって構成される表示パネル１３ａ（図５）を備えて、撮像装置１が撮影した動画を表示する。また、表示部１３は、メモリカード９に保存した画像ファイルの動画を再生表示するのにも用いられる。 The display unit 13 includes a display panel 13a (FIG. 5) configured by liquid crystal or organic EL, and displays a moving image captured by the imaging device 1. The display unit 13 is also used to reproduce and display a moving image of the image file stored in the memory card 9.

照光部１５は、施術対象箇所（被写体）の明るさを確保するために用いられ、例えば、それぞれ各色で発光する複数のＬＥＤ素子によって構成されており、照光駆動部１４から駆動電源が供給される。この場合、目に有害とされる４００ｎｍ乃至５００ｎｍの帯域の青色ＬＥＤ素子は避けるのが好ましい。 The illumination unit 15 is used to ensure the brightness of the treatment target location (subject), and is configured by, for example, a plurality of LED elements that emit light in respective colors, and is supplied with drive power from the illumination drive unit 14. . In this case, it is preferable to avoid a blue LED element having a band of 400 nm to 500 nm, which is harmful to eyes.

ＲＡＭ１２は、例えば高速でのデータの読み出しと書き込みが可能なＳＤＲＡＭであり、信号処理部７から出力される画像データやＣＰＵによる処理中のデータが一時的に記録される。 The RAM 12 is, for example, an SDRAM capable of reading and writing data at high speed, and temporarily stores image data output from the signal processing unit 7 and data being processed by the CPU.

ＣＰＵ１０は、ＲＯＭ１１に書き込まれている制御プログラムや種々の設定データ、及び操作部８の各種スイッチの操作に基づき医療用撮像記録再生装置の動作を制御する。したがって、ＣＰＵ１０は、この制御プログラムを実行することで、撮像制御部１０ａ、光学レンズ２又は撮像素子３の移動量を算出する移動検出部１０ｂ、手ブレ補正部１０ｃ、圧縮伸長処理部１０ｄ、再生制御部１０ｅ、画像ずれ検出部１０ｆ及び照光制御部１０ｇ等として機能する。 The CPU 10 controls the operation of the medical imaging recording / reproducing apparatus based on the control program and various setting data written in the ROM 11 and the operation of various switches of the operation unit 8. Therefore, the CPU 10 executes this control program to thereby calculate the movement amount of the imaging control unit 10a, the optical lens 2 or the imaging device 3, the camera shake correction unit 10c, the compression / decompression processing unit 10d, and the reproduction. It functions as a control unit 10e, an image shift detection unit 10f, an illumination control unit 10g, and the like.

ここで、ＣＰＵ１０によるこの各制御機能について説明する。 Here, each control function by the CPU 10 will be described.

撮像制御部１０ａは、操作部８でのスイッチ操作に基づき、レンズ調整機構６に含まれるモータの駆動を制御することで、オートフォーカス処理、ズーム処理及び露出調整処理を行って撮像装置１による被写体の動画撮影を制御する。また、撮像制御部１０ａは、信号処理部７から送られてくる１フレーム毎の画像データにホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行う。 The imaging control unit 10a performs autofocus processing, zoom processing, and exposure adjustment processing by controlling the driving of a motor included in the lens adjustment mechanism 6 based on a switch operation on the operation unit 8, and performs an object adjustment by the imaging device 1. Control video shooting. Further, the imaging control unit 10a performs image processing such as white balance adjustment, color interpolation processing, and aberration correction processing on the image data for each frame sent from the signal processing unit 7.

移動検出部１０ｂは、加速度センサ４から出力されるＸ・Ｙ・Ｚの加速度成分から、撮像装置１の左右方向（Ｘ方向）、上下方向（Ｙ方向）及び前後方向（Ｚ方向）の移動量を算出する。 The movement detection unit 10b determines the amount of movement of the imaging device 1 in the horizontal direction (X direction), vertical direction (Y direction), and front-back direction (Z direction) from the X, Y, and Z acceleration components output from the acceleration sensor 4. Is calculated.

手ブレ補正部１０ｃは、移動検出部１０ｂが算出した移動量に基づいて撮像素子変位機構５を動作して手ブレを補正する制御を行う。 The camera shake correction unit 10c performs control to correct camera shake by operating the image sensor displacement mechanism 5 based on the movement amount calculated by the movement detection unit 10b.

圧縮伸長処理部１０ｄは、ＲＡＭ１２に取り込まれた画像データを１フレーム毎にＪＰＥＧ圧縮を行って、メモリカード９に記録するための動画の画像ファイルを生成する。また、圧縮伸長処理部１０ｄは、メモリカード９に記録された画像ファイルの動画の再生時には、圧縮画像データを伸長処理する。 The compression / decompression processing unit 10 d performs JPEG compression on the image data captured in the RAM 12 for each frame to generate a moving image file for recording on the memory card 9. The compression / decompression processing unit 10d decompresses the compressed image data when reproducing the moving image of the image file recorded on the memory card 9.

再生制御部１０ｅは、メモリカード９に保存した画像を読み出して表示部１３に表示する。 The reproduction control unit 10 e reads out the image stored in the memory card 9 and displays it on the display unit 13.

画像ずれ検出部１０ｆは、パターンマッチングの手法等を用いて、再生制御部１０ｅが読み出した動画の連続又は近接しているフレーム間の前記画像データの順次の比較を行うことで主要被写体を認識すると共に、隣り合うフレーム間での各画像又は近接しているフレーム間での各画像における主要被写体のＸ−Ｙ軸で縦横方向のずれの値を算出する。そして、算出したずれの値が予め設定した閾値を超えると、連続した画像での主要被写体が変化したと判断する。すなわち、画像が施術対象箇所から他の部分に切り換わったものと判断する。 The image shift detection unit 10f recognizes the main subject by performing sequential comparison of the image data between consecutive frames or adjacent frames of the moving image read by the reproduction control unit 10e using a pattern matching method or the like. At the same time, the deviation value in the vertical and horizontal directions is calculated on the XY axes of the main subject in each image between adjacent frames or in each adjacent frame. Then, when the calculated deviation value exceeds a preset threshold value, it is determined that the main subject in the continuous images has changed. That is, it is determined that the image has been switched from the treatment target location to another portion.

照光制御部１０ｇは、照光駆動部１４に制御信号を出力して照光部１５への駆動電源の供給およびその電流量を制御する。 The illumination control unit 10g outputs a control signal to the illumination drive unit 14 to control the supply of drive power to the illumination unit 15 and the amount of current.

次に、撮像装置１をオペレーターの身体に装着する実施例について説明する。図２に示す例では、オペレーターが施術時に顔面に掛ける双眼ルーペ２０に撮像装置１と被写体を照らす照光部１５とを取り付けている。このような双眼ルーペ２０以外にも、帽子やヘッドバンドであっても良い。図３はヘッドバンド２１に撮像装置１と照光部１５とを取り付けている。このヘッドバンド２１は樹脂部材で構成されており、オペレーターの頭部にその弾性により保持して固定される。ヘッドバンド２１はこのような構成に限らず、また材質も布やゴム等による種々な形態がある。 Next, an embodiment in which the imaging device 1 is mounted on the operator's body will be described. In the example shown in FIG. 2, the imaging device 1 and the illumination unit 15 that illuminates the subject are attached to a binocular loupe 20 that the operator puts on the face during the treatment. In addition to such a binocular loupe 20, a hat or a headband may be used. In FIG. 3, the imaging device 1 and the illumination unit 15 are attached to the headband 21. The headband 21 is made of a resin member, and is held and fixed to the operator's head by its elasticity. The headband 21 is not limited to such a configuration, and there are various forms of materials such as cloth and rubber.

また、オペレーターは、図４及び図５に示すように腰にバッテリー保持ベルト２２を巻いて、このバッテリー保持ベルト２２によって本医療用撮像記録再生装置の動作電源となるバッテリー電源を保持している。バッテリー電源は互いに接続された複数の充電式のバッテリー１６で構成されて、バッテリー保持ベルト２２は、このバッテリー１６を着脱自在に差し込むための装着部２８を備えている。さらに、バッテリー保持ベルト２２には、これらバッテリー１６と共にコントロールユニット２４が装着されていて、バッテリー１６は、コントロールユニット２４に繋がっている。 The operator holds a battery holding belt 22 around his / her waist as shown in FIGS. 4 and 5, and the battery holding belt 22 holds a battery power source as an operation power source of the medical imaging recording / reproducing apparatus. The battery power source includes a plurality of rechargeable batteries 16 connected to each other, and the battery holding belt 22 includes a mounting portion 28 for detachably inserting the battery 16. Further, a control unit 24 is mounted on the battery holding belt 22 together with these batteries 16, and the battery 16 is connected to the control unit 24.

コントロールユニット２４のユニットケースの表面には、操作部８と表示部１３の液晶又は有機ＬＥによる表示パネル１３ａが配置されている。表示パネル１３ａは撮影画像のモニター画面として用いられるが、施術補助者等の周囲の人にも施術の様子がモニターできるように別の表示パネル１３ｂを設けている。この場合、コントロールユニット２４から表示パネル１３ａに無線により画像データの信号を送るようにすれば、オペレーターの施術時における行動の自由度を確保できる。 On the surface of the unit case of the control unit 24, a display panel 13a made of liquid crystal or organic LE of the operation unit 8 and the display unit 13 is arranged. The display panel 13a is used as a monitor screen for a photographed image. However, another display panel 13b is provided so that a person around the patient such as a surgery assistant can monitor the treatment. In this case, if an image data signal is transmitted wirelessly from the control unit 24 to the display panel 13a, it is possible to ensure the degree of freedom of action during the operation of the operator.

また、撮像装置１にＷｉ−Ｆｉによるネットワーク・カメラを使用すれば、インターネットを通じて表示パネル１３ｂを備えた端末装置に映像を配信することでモニタリングができる。このとき、この端末装置は、ＷＥＢブラウザでネットワーク・カメラのＵＲＬを指定することで、施術の状況をリアルタイムでインターネットを通じて、ネットワーク・カメラの撮影画像を取り込むことができる。このように無線ＬＡＮを使用すれば、施術を行う現場以外のいろいろな場所での端末装置においてもリアルタイムで施術のモニタリングができる利点がある。 Further, if a Wi-Fi network camera is used for the image pickup apparatus 1, monitoring can be performed by distributing video to a terminal device including the display panel 13 b through the Internet. At this time, the terminal device can capture the image taken by the network camera in real time through the Internet by designating the URL of the network camera using a WEB browser. Use of a wireless LAN in this way has an advantage that the treatment can be monitored in real time even in terminal devices in various places other than the place where the treatment is performed.

そして、このユニットケースの側面には、メモリカード９が着雑自在に装填されるスロット３０が形成されている。そして、ＣＰＵ１０、ＲＯＭ１１、ＲＡＭ１２、信号処理部７及び表示部１３が実装される制御基板は、ユニットケース内に収納されている。 A slot 30 into which the memory card 9 is loaded so as to be freely inserted is formed on the side surface of the unit case. The control board on which the CPU 10, the ROM 11, the RAM 12, the signal processing unit 7, and the display unit 13 are mounted is housed in a unit case.

また、コントロールユニット２４から撮像装置１及び照光部１５へ駆動電流を供給する電源コード、ＣＰＵ１０から撮像素子変位機構５やレンズ調整機構６にそれぞれ出力する制御信号の信号線及び加速度センサ４からＣＰＵ１０への入力信号線が束になってケーブルハーネス２５にまとめられている。 Further, a power cord for supplying a driving current from the control unit 24 to the imaging device 1 and the illumination unit 15, a signal line of a control signal output from the CPU 10 to the imaging element displacement mechanism 5 and the lens adjustment mechanism 6, and the acceleration sensor 4 to the CPU 10, respectively. Are bundled in a cable harness 25.

コントロールユニット２４は、コンセント２７にプラグが差し込まれる充電器２６を接続すれば、バッテリー１６への充電を行いながら撮像装置１による撮影動作と照光部１５による照光動作を行うことができ、長時間の施術においても撮影を行うことができる。 The control unit 24 can perform a photographing operation by the imaging device 1 and an illuminating operation by the illuminating unit 15 while charging the battery 16 by connecting the charger 26 into which the plug 27 is plugged into the outlet 27. Photographing can also be performed during the treatment.

上記の医療用撮像記録再生装置の動作について説明する。コントロールユニット２４の操作部８を操作して、医療用撮像記録再生装置の電源をオンにすると、ＣＰＵ１０はＲＯＭ１１の制御プログラムをロードして医療用撮像記録再生装置の動作が開始される。このとき、オペレーターが被写体である施術対象箇所に顔を向けると、撮像制御部１０ａは、被写体に対するオートフォーカス処理及び露出調整処理を行うと共に、操作部８のズームスイッチが操作されたときは、これに応じて光学レンズ２のズームを調整する。また、照光制御部１０ｇは、照光駆動部１４を制御して通常の明るさを確保できる駆動電流を照光部１５に流して点灯させる。 The operation of the medical imaging recording / reproducing apparatus will be described. When the operation unit 8 of the control unit 24 is operated to turn on the power of the medical imaging recording / reproducing apparatus, the CPU 10 loads the control program in the ROM 11 and starts the operation of the medical imaging recording / reproducing apparatus. At this time, when the operator turns his face to the treatment target portion which is the subject, the imaging control unit 10a performs autofocus processing and exposure adjustment processing on the subject, and when the zoom switch of the operation unit 8 is operated, The zoom of the optical lens 2 is adjusted accordingly. In addition, the illumination control unit 10g controls the illumination drive unit 14 to cause the illumination unit 15 to turn on and drive a drive current that can ensure normal brightness.

そして、操作部８のレリーズスイッチの操作により、撮像制御部１０ａは動画撮影を開始する。撮像制御部１０ａは、信号処理部７から１フレーム毎の画像データを順次取り込んでＲＡＭ１２に記憶し、記憶した画像データにそれぞれホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行う。そして、撮像制御部１０ａは、ＲＡＭ１２に記憶している画像処理した画像データを順次読み出して表示部１３に出力し、表示部１３では動画が表示される。前述したように、信号処理部７の１フレーム毎の画像データを順次生成する機能を、ＣＰＵ１０がＲＯＭ１１の制御プログラムを実行することで行うようにしてもよい。 Then, by operating the release switch of the operation unit 8, the imaging control unit 10a starts moving image shooting. The imaging control unit 10a sequentially captures image data for each frame from the signal processing unit 7 and stores the image data in the RAM 12, and performs image processing such as white balance adjustment, color interpolation processing, and aberration correction processing on the stored image data. Then, the imaging control unit 10a sequentially reads out the image processed image data stored in the RAM 12 and outputs the image data to the display unit 13. The display unit 13 displays a moving image. As described above, the function of sequentially generating image data for each frame of the signal processing unit 7 may be performed by the CPU 10 executing the control program in the ROM 11.

一方、圧縮伸長処理部１０ｄは、ＲＡＭ１２に記憶されている画像処理後の画像データにＪＰＥＧ圧縮を行う。そして、圧縮された画像データは、メモリカード９に送られて動画の画像ファイルに記録される。 On the other hand, the compression / decompression processing unit 10 d performs JPEG compression on the image data after image processing stored in the RAM 12. The compressed image data is sent to the memory card 9 and recorded in a moving image file.

図７（ａ）及び図８（ａ）は、施術中のオペレーターの頭部に前述の双眼ルーペ２０やヘッドバンド２１によって装着された撮像装置１が撮影する画像の画像信号を信号処理部７に出力したとき、撮像制御部１０ａが信号処理部７から１フレーム毎に取り込む画像データによる画像を模式的に示している。撮像制御部１０ａは、撮像装置１によって動画を撮影するために、実際には３０フレーム／秒で画像データを取り込んでいるが、説明の便宜上、図７（ａ）及び図８（ａ）では簡略化して一連の施術中の代表的なフレームの画像だけを例示している。この図７（ａ）及び図８（ａ）の一連の画像はメモリカード９に記録される画像でもある。 FIGS. 7A and 8A show an image signal of an image taken by the imaging device 1 mounted on the head of the operator during the operation by the binocular loupe 20 or the headband 21 to the signal processing unit 7. When output, the imaging control unit 10a schematically shows an image based on image data captured from the signal processing unit 7 for each frame. The image capturing control unit 10a actually captures image data at 30 frames / second in order to capture a moving image by the image capturing apparatus 1, but for the sake of convenience of explanation, the image capturing control unit 10a is simplified in FIGS. 7 (a) and 8 (a). Only representative frame images during a series of treatments are illustrated. The series of images in FIGS. 7A and 8A are also images recorded on the memory card 9.

撮像制御部１０ａは、信号処理部７から取り込む各フレームの画像データをそのままＲＡＭ１２に記憶して、ホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行う。そして、撮像制御部１０ａは、ＲＡＭ１２が記憶している画像処理後の画像データを順次読み出して表示部１３に出力し、表示部１３に動画が表示される。 The imaging control unit 10a directly stores the image data of each frame captured from the signal processing unit 7 in the RAM 12, and performs image processing such as white balance adjustment, color interpolation processing, and aberration correction processing. Then, the imaging control unit 10 a sequentially reads out the image data after image processing stored in the RAM 12 and outputs the image data to the display unit 13, and the moving image is displayed on the display unit 13.

一方、圧縮伸長処理部１０ｄは、ＲＡＭ１２に順次記憶された画像データ毎にＪＰＥＧ圧縮を行う。圧縮画像データは、メモリカード９に送られて画像ファイルに記録される。 On the other hand, the compression / decompression processing unit 10 d performs JPEG compression for each image data sequentially stored in the RAM 12. The compressed image data is sent to the memory card 9 and recorded in the image file.

このような動画の撮影中に、オペレーターの頭部が動くのを加速度センサ４が検出すると、移動検出部１０ｂは、加速度センサ４から出力されるＸ・Ｙ・Ｚの角速度から、撮像装置１の左右方向（Ｘ方向）、上下方向（Ｙ方向）及び前後方向（Ｚ方向）の移動量を算出する。加速度センサ４が角速度を検知して出力する信号のエッジ部分にはリンギングやオーバーシュート/アンダーシュートなどのひずみが生じている。よって、移動検出部１０ｂは、角速度の検出信号におけるエッジ部でのひずみが減衰する期間を予め見越した遅延時間の経過後に撮像装置１の移動量を算出する。 When the acceleration sensor 4 detects that the operator's head moves during the shooting of such a moving image, the movement detection unit 10b detects the movement of the imaging device 1 from the X, Y, and Z angular velocities output from the acceleration sensor 4. The amount of movement in the left-right direction (X direction), the up-down direction (Y direction), and the front-back direction (Z direction) is calculated. Distortions such as ringing and overshoot / undershoot occur at the edge portion of the signal output by the acceleration sensor 4 detecting the angular velocity. Therefore, the movement detection unit 10b calculates the movement amount of the imaging device 1 after a lapse of a delay time in advance of a period in which distortion at the edge portion in the angular velocity detection signal attenuates.

そして、移動検出部１０ｂは、算出した移動量の値が予め設定したブレ判定閾値との比較を行う。このブレ判定閾値は、加速度センサ４が検出したブレが撮影画像の品質に影響を与えない程度の移動と判断する基準値であり、撮像装置１による撮影の向きが被写体（施術対象箇所）から大きく移動して、移動量の値が予め設定したブレ判定閾値を超えると「手ブレ」と判断する。 Then, the movement detection unit 10b compares the calculated movement amount value with a preset blur determination threshold value. This blur determination threshold is a reference value for determining that the blur detected by the acceleration sensor 4 is a movement that does not affect the quality of the captured image, and the direction of shooting by the imaging apparatus 1 is greatly greater than the subject (the treatment target location). When it moves and the value of the moving amount exceeds a preset blur determination threshold value, it is determined as “camera shake”.

移動検出部１０ｂは、算出した移動量の値から「手ブレ」と判定すると、このとき算出している移動量に基づいて、そのブレを打ち消す方向に撮像素子３を移動させるように撮像素子変位機構５を制御する。例えば、撮像装置１が右方向にブレを生じているとすると、手ブレ補正部１０ｃは撮像素子変位機構５に対し、撮像素子３を左方向に移動量分だけ動かす制御を行うことで、信号処理部７は「手ブレ」が生じていないときと同様な画像データを生成することができる。よって、信号処理部７が撮像制御部１０ａに出力する各フレームでの画像データは「手ブレ」が補正された状態となっている。なお、「手ブレ」を機構的に補正するには、光学レンズ２に補正レンズを組み込み、撮像装置１が移動した分、ブレを打ち消す方向に補正レンズを動かすことで光軸を補正する手ブレ補正機構を用いてもよい。 When the movement detection unit 10b determines that the camera shake is based on the calculated movement amount value, based on the movement amount calculated at this time, the image pickup element displacement is caused to move the image pickup element 3 in a direction to cancel the shake. The mechanism 5 is controlled. For example, if the imaging device 1 is shaken in the right direction, the camera shake correction unit 10c controls the image pickup device displacement mechanism 5 to move the image pickup device 3 in the left direction by the amount of movement. The processing unit 7 can generate image data that is the same as when no camera shake has occurred. Therefore, the image data in each frame output from the signal processing unit 7 to the imaging control unit 10a is in a state in which “camera shake” is corrected. In order to mechanically correct the “camera shake”, a camera shake that corrects the optical axis by incorporating a correction lens into the optical lens 2 and moving the correction lens in a direction that cancels the shake as the image pickup apparatus 1 is moved. A correction mechanism may be used.

こうした撮像装置１の撮像中において、例えば、オペレーターが施術補助者に指示を与えるために、施術を中断して補助者に顔を向けたとすると、撮像装置１は補助者の画像を捉えて、撮像制御部１０ａは信号処理部７から画像Ｆ４のフレームを取り込むことになる。したがって、撮影が施術対象箇所から外れてもその撮影記録はメモリカード９に記録される。 During such imaging by the imaging device 1, for example, if the operator interrupts the procedure and turns his face to the assistant in order to give an instruction to the surgery assistant, the imaging device 1 captures the image of the assistant and captures the image. The control unit 10a takes in the frame of the image F4 from the signal processing unit 7. Therefore, even if the shooting is removed from the treatment target location, the shooting record is recorded in the memory card 9.

一方、移動検出部１０ｂが撮像装置１による撮影の向きが施術対象箇所から移動したと判断したとき、照光制御部１０ｇは照光駆動部１４を制御して、照光部１５への通電を停止するか、又は供給する電流量を低下させる。これにより、施術が中断しているときの照明によるバッテリー１６の消耗を防ぐことができる。 On the other hand, when the movement detection unit 10b determines that the direction of imaging by the imaging device 1 has moved from the treatment target location, the illumination control unit 10g controls the illumination drive unit 14 to stop energization to the illumination unit 15 Or reduce the amount of current supplied. As a result, it is possible to prevent the battery 16 from being consumed by illumination when the treatment is interrupted.

そして、オペレーターが施術対象箇所に再び顔を向けると、加速度センサ４が撮像装置１の施術対象箇所の方向へ移動する角速度を検出するため、移動検出部１０ｂは施術が再開されたと判断する。これにより、照光制御部１０ｇは照光駆動部１４を制御して、照光部１５への通電を再開又は供給電流を通常の電流量に戻す。 Then, when the operator turns his face again to the treatment target location, the acceleration sensor 4 detects the angular velocity at which the image sensor 1 moves in the direction of the treatment target location, and thus the movement detection unit 10b determines that the treatment has been resumed. Thereby, the illumination control unit 10g controls the illumination drive unit 14 to resume energization to the illumination unit 15 or return the supply current to a normal current amount.

次に、オペレーターが施術中に天井のライトに顔を向けたとすると、撮像装置１は画像Ｆ６（図８（ａ））を捉えることになる。この画像Ｆ６は撮像制御部１０ａによってＲＡＭ１２に記憶され、記録制御部１０ｅによって画像Ｆ６はメモリカード９には記録される。照光制御部１０ｇも同様に、照光部１５を消灯又は照度を低下させる制御を行う。 Next, if the operator turns his face to the ceiling light during the treatment, the imaging apparatus 1 captures the image F6 (FIG. 8A). The image F6 is stored in the RAM 12 by the imaging control unit 10a, and the image F6 is recorded in the memory card 9 by the recording control unit 10e. Similarly, the illumination control unit 10g performs control to turn off the illumination unit 15 or reduce the illuminance.

そして、オペレーターの顔が施術対象箇所に戻ると、撮像制御部１０ａが信号処理部７から取り込む画像Ｆ７や画像Ｆ８も継続してメモリカード９に記録されると共に表示部１３に表示させて、照光制御部１０ｇは照光部１５を通常に戻す。 When the operator's face returns to the treatment target location, the image F7 and the image F8 captured by the imaging control unit 10a from the signal processing unit 7 are continuously recorded in the memory card 9 and displayed on the display unit 13 for illumination. The control unit 10g returns the illumination unit 15 to the normal state.

このように、加速度センサ４が検出する角速度によって移動検出部１０ｂが算出する移動量がブレ判定閾値を超えるときは、手ブレ補正部１０ｃによりこれを補正して、撮像制御部１０ａはＲＡＭ１２に記憶されたホワイトバランス調整などの画像処理された画像データの画像を表示部１３に表示しつつメモリカード９に記憶する。そして、撮像装置１が大きく移動して撮影対象が撮影対象箇所から外れても、メモリカード９にはそのときの画像が記録される。 As described above, when the movement amount calculated by the movement detection unit 10b exceeds the blur determination threshold value due to the angular velocity detected by the acceleration sensor 4, this is corrected by the camera shake correction unit 10c, and the imaging control unit 10a is stored in the RAM 12. An image of image data that has been subjected to image processing such as white balance adjustment is displayed on the display unit 13 and stored in the memory card 9. Even if the imaging device 1 moves greatly and the shooting target deviates from the shooting target location, the memory card 9 records the image at that time.

メモリカード９に記録された画像ファイルを再生する動作について説明する。このときの画像ファイルには、撮像装置１が大きく移動したことで撮影対象箇所とは異なる撮影画像が含まれている。 The operation of reproducing the image file recorded on the memory card 9 will be described. The image file at this time includes a photographed image that is different from the part to be photographed because the imaging device 1 has moved greatly.

再生モードにおいて、再生制御部１０ｅは、メモリカード９から読み出す画像データを順次表示パネル１３ａに表示して動画を再生する。このとき再生制御部１０ｅは、画像信号をパソコン等に出力して表示パネル１３ａ以外の表示パネル１３ｂにも再生する。図７（ｂ）及び図８（ｂ）は再生時に表示する画像を模式的に示している。 In the reproduction mode, the reproduction control unit 10e sequentially displays the image data read from the memory card 9 on the display panel 13a to reproduce the moving image. At this time, the reproduction control unit 10e outputs the image signal to a personal computer or the like and reproduces it on the display panel 13b other than the display panel 13a. FIG. 7B and FIG. 8B schematically show images displayed during reproduction.

このとき、画像ずれ検出部１０ｆは、再生制御部１０ｅが読み出す連続又は近接しているフレームの各画像データにおける主要被写体のずれ量を検出している。そして、画像ずれ検出部１０ｆが主要被写体のずれ量が予め設定された閾値以上であると判定したとき、再生制御部１０ｅは、メモリカード９から読み出す以後からの画像データの前記表示部での表示を停止して、その直前に再生している画像データによる画像を静止画で表示部１３にて表示する。 At this time, the image shift detection unit 10f detects the shift amount of the main subject in each image data of continuous or adjacent frames read by the reproduction control unit 10e. When the image shift detection unit 10f determines that the shift amount of the main subject is equal to or greater than a preset threshold, the playback control unit 10e displays the image data read from the memory card 9 on the display unit. Is stopped, and an image based on the image data reproduced immediately before is displayed on the display unit 13 as a still image.

この場合、画像ずれ検出部１０ｆは、１／３０秒間隔での隣り合うフレーム間での各画像又は近接している例えば１／３秒ごとのフレーム間での画像を順次解析して、共通部分を主要被写体として認識する。この主要被写体は、施術の進行に伴い徐々に変化していくために、例えば、画像Ｆ３の時点では、開腹により露出された臓器を主要被写体として認識しており、画像Ｆ１の時点で認識した主要被写体とは大きく異なることになるが、その前後のフレームどうしを見比べれば主要被写体に大きな変化はない。 In this case, the image shift detection unit 10f sequentially analyzes each image between adjacent frames at an interval of 1/30 seconds or an image between adjacent frames, for example, every 1/3 seconds, Is recognized as the main subject. Since this main subject gradually changes with the progress of the treatment, for example, at the time of the image F3, the organ exposed by laparotomy is recognized as the main subject, and the main subject recognized at the time of the image F1. Although it differs greatly from the subject, there is no major change in the main subject when comparing the frames before and after.

しかし、画像ずれ検出部１０ｆは、画像Ｆ４の画像データを処理したときは主要被写体が大きく変化しているために、主要被写体のずれ量が予め設定された閾値以上となり、映像が施術対象箇所から外れていると判断する。これにより、再生制御部１０ｅは、この画像Ｆ４を表示部１３で表示せずに、図７（ｂ）で示すように直前に表示している画像を継続して表示するため静止画表示となる。 However, since the main subject has changed greatly when the image data of the image F4 is processed, the image shift detection unit 10f has a shift amount of the main subject that is greater than or equal to a preset threshold value, and the video is not transmitted from the treatment target location. Judge that it is off. As a result, the reproduction control unit 10e does not display the image F4 on the display unit 13, but displays the image displayed immediately before as shown in FIG. .

画像ずれ検出部１０ｆは、映像が施術対象箇所から外れていると判断した後も再生制御部１０ｅがメモリカード９から読み出す画像データのパターンマッチング処理を行って主要被写体を認識している。そして、認識した主要被写体が元の主要被写体（すなわち施術対象箇所）に近似していることを検出すると、画像ずれ検出部１０ｆは、記録映像が施術対象箇所に戻ったことを認識して、再生制御部１０ｅはこの画像データを表示部１３で表示して動画表示を再開する。その後、画像ずれ検出部１０ｆが画像Ｆ６の画像データの処理で映像が施術対象箇所から外れていると判断すると、再生制御部１０ｅは、図８（ｂ）で示すように画像Ｆ６の再生表示を行わない。 The image shift detection unit 10f recognizes the main subject by performing a pattern matching process on the image data read from the memory card 9 by the reproduction control unit 10e even after determining that the video is out of the treatment target portion. When it is detected that the recognized main subject is close to the original main subject (that is, the treatment target location), the image shift detection unit 10f recognizes that the recorded video has returned to the treatment target location and reproduces it. The control unit 10e displays this image data on the display unit 13 and resumes the moving image display. After that, when the image shift detection unit 10f determines that the image is out of the treatment target position in the processing of the image data of the image F6, the reproduction control unit 10e displays the reproduction display of the image F6 as shown in FIG. Not performed.

これにより、撮像時においては、主要被写体の変動に応じてメモリカード９への記録を停止せず、再生時に必要な施術対象箇所のみを表示することができる。よって、施術時にオペレーターの身体が揺れて画像に乱れを生じていても、その画像が施術対象箇所を撮像したものである限り、これを忠実に再生表示することができる。 Thereby, at the time of imaging, recording to the memory card 9 is not stopped according to the change of the main subject, and only the treatment target portion necessary for reproduction can be displayed. Therefore, even if the operator's body is shaken during the operation and the image is disturbed, this can be faithfully reproduced and displayed as long as the image is an image of the treatment target portion.

上記の実施態様においては、移動検出部１０ｂは、加速度センサ４から出力される加速度に基き「手ブレ」を検出しているが、画像ずれ検出部１０ｆと同じパターンマッチング処理の手法を使っても検出できる。この場合の移動検出部１０ｂと手ブレ補正部１０ｃは、次の制御を行う。 In the above embodiment, the movement detection unit 10b detects “hand shake” based on the acceleration output from the acceleration sensor 4. However, even if the same pattern matching processing method as that of the image shift detection unit 10f is used. It can be detected. In this case, the movement detection unit 10b and the camera shake correction unit 10c perform the following control.

先ず、移動検出部１０ｂは、撮像制御部１０ａが信号処理部７から取り込む連続又は近接しているフレーム間の画像データの画像を解析して、被写体の輪郭を特徴点として抽出し、特徴点が重なる部分を主要被写体と判断する。この場合、１／３０秒間隔での隣り合うフレーム間での各画像又は近接している例えば１／３秒ごとのフレーム間での画像を順次解析して、共通部分を主要被写体として認識する。そして、移動検出部１０ｂは、隣り合うフレーム間での各画像又は近接しているフレーム間での各画像における主要被写体のＸ−Ｙ軸で縦横方向のずれの値を算出して、算出したずれの値が第２の閾値を超えているときは「手ブレ」と判断する。この第２の閾値は、主要被写体が大きく切り換わったことを判断する前記閾値よりも小さい値に設定されている。したがって、主要被写体は変わっていないが前後の画像で主要被写体に目立ったずれを生じている場合に「手ブレ」と判断する。 First, the movement detection unit 10b analyzes the image data image between consecutive or close frames captured by the imaging control unit 10a from the signal processing unit 7, and extracts the contour of the subject as the feature points. The overlapping part is determined as the main subject. In this case, each image between adjacent frames at intervals of 1/30 seconds or images between adjacent frames, for example, every 1/3 second, is sequentially analyzed, and the common part is recognized as the main subject. Then, the movement detection unit 10b calculates the value of the vertical and horizontal shifts along the XY axes of the main subject in each image between adjacent frames or between adjacent frames. When the value of exceeds the second threshold, it is determined that the camera shake has occurred. The second threshold value is set to a value smaller than the threshold value for determining that the main subject has been largely switched. Therefore, if the main subject has not changed but there is a noticeable shift in the main subject in the preceding and following images, it is determined as “camera shake”.

移動検出部１０ｂによる「手ブレ」の判定により、手ブレ補正部１０ｃは撮像素子変位機構５に対し、撮像素子３を手ブレ方向に移動量分だけ動かす制御を行うことで、信号処理部７は「手ブレ」が生じていないときと同様な画像データを生成することができる。 Based on the determination of “hand shake” by the movement detection unit 10b, the camera shake correction unit 10c controls the image sensor displacement mechanism 5 to move the image sensor 3 in the camera shake direction by the amount of movement. Can generate the same image data as when no camera shake has occurred.

「手ブレ」の補正はこのような光学処理だけとは限らず、移動検出部１０ｂが算出した移動量が「手ブレ」を判断する閾値を超えているとき、連続する又は近接している２フレームの画像から合成画像を生成して、その合成画像データをＲＡＭ１２に記憶させることで「手ブレ」を補正できる。 The correction of “camera shake” is not limited to such an optical process. When the movement amount calculated by the movement detection unit 10b exceeds the threshold for determining “camera shake”, the correction is “continuous” or “close” 2. By generating a composite image from the frame image and storing the composite image data in the RAM 12, “camera shake” can be corrected.

以上、本発明を詳述したが、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、これらを本発明の範囲から排除するものではない。 Although the present invention has been described in detail above, the present invention is not limited to the above embodiment, and various modifications can be made based on the spirit of the present invention, and these are not excluded from the scope of the present invention. .

本発明は、オペレーターの身体に装着した撮像装置によって施術の進行を撮影して記録すると共に、再生時には施術対象箇所を捉えた画像のみを再生表示することができる医療用撮像記録再生装置に関し、産業上の利用可能性を有する。 The present invention relates to a medical imaging recording / reproducing apparatus that can shoot and record the progress of a procedure with an imaging device attached to the body of an operator, and that can reproduce and display only an image that captures a treatment target portion during reproduction. With the above applicability.

１撮像装置
２光学レンズ
３撮像素子
４加速度センサ
７信号処理部
９メモリカード（情報記録部）
１０ＣＰＵ
１０ａ撮像制御部
１０ｂ移動検出部
１０ｃ手ブレ補正部
１０ｅ再生制御部
１０ｆ画像ずれ検出部
１３表示部 DESCRIPTION OF SYMBOLS 1 Imaging device 2 Optical lens 3 Imaging element 4 Acceleration sensor 7 Signal processing part 9 Memory card (information recording part)
10 CPU
10a Imaging control unit 10b Movement detection unit 10c Camera shake correction unit 10e Reproduction control unit 10f Image shift detection unit 13 Display unit

Claims

Medical imaging that includes at least an imaging device having an optical lens and an imaging device that photoelectrically converts light introduced from the subject through the optical lens during imaging to generate an imaging signal on the operator's body at the time of medical treatment An imaging recording / reproducing apparatus for
An imaging control unit that controls to display the moving image on a display unit from image data generated for each frame constituting the moving image based on the imaging signal;
An information recording unit for sequentially recording the image data;
A reproduction control unit that reads out image data stored in the information recording unit during reproduction and displays the image data on the display unit;
The reproduction control unit sequentially compares the image data between the adjacent or adjacent frames read out, detects a shift amount of the main subject from the shift of the main subject between the frames, and the shift amount is An image shift detection unit for comparing with a preset threshold value,
The reproduction control unit stops display of the image data read from the information recording unit when the deviation amount is equal to or larger than the threshold value, and then the main subject of the image data read by the reproduction control unit is When the image shift detection unit detects that the image is approximate to the main subject before the threshold value or more, the reproduction control unit resumes displaying the image data read from the information recording unit on the display unit. A medical imaging recording / reproducing apparatus characterized by:

The reproduction control unit controls to display the image data before the deviation amount is equal to or larger than the threshold value on the display unit as a still image while the display of the image data read from the information recording unit is stopped. The medical imaging recording / reproducing apparatus according to claim 1.

A movement detector that calculates the amount of movement of the imaging device during imaging;
A camera shake correction unit that corrects the image data in accordance with the amount of movement when the amount of movement is equal to or greater than a second threshold that is smaller than the threshold;
The medical imaging recording / reproducing apparatus according to claim 1, further comprising:

The medical imaging recording / reproducing apparatus according to claim 3, wherein the movement detection unit calculates the movement amount using an acceleration sensor.

The medical imaging according to claim 3, wherein the movement detection unit sequentially compares the image data between the frames and calculates a movement amount of the imaging device from a shift amount of a main subject between the frames. Recording / playback device.