JP6419487B2 - Medical observation system - Google Patents

Medical observation system Download PDF

Info

Publication number
JP6419487B2
JP6419487B2 JP2014168843A JP2014168843A JP6419487B2 JP 6419487 B2 JP6419487 B2 JP 6419487B2 JP 2014168843 A JP2014168843 A JP 2014168843A JP 2014168843 A JP2014168843 A JP 2014168843A JP 6419487 B2 JP6419487 B2 JP 6419487B2
Authority
JP
Japan
Prior art keywords
unit
operation instruction
input
imaging
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014168843A
Other languages
Japanese (ja)
Other versions
JP2016042982A (en
Inventor
秀 田村
秀 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2014168843A priority Critical patent/JP6419487B2/en
Publication of JP2016042982A publication Critical patent/JP2016042982A/en
Application granted granted Critical
Publication of JP6419487B2 publication Critical patent/JP6419487B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、被観察体の微小部位を観察する医療用観察システムに関する。   The present invention relates to a medical observation system for observing a minute part of an object to be observed.

従来、被観察体である患者の脳や心臓等における微小部位の手術を行う際に該微小部位を観察するための技術として、該微小部位を撮像し、撮像した画像をモニタで表示するとともに動画データとして記録する技術が知られている。   Conventionally, as a technique for observing a minute part in the operation of a minute part in a patient's brain, heart, etc., which is an object to be observed, the minute part is imaged, and the captured image is displayed on a monitor and a moving image A technique for recording as data is known.

記録された動画データは、医師が学会で発表したり、講義を行ったりする際に使用されることがある。その場合、医師は、長時間に及ぶ動画から事前に所望の箇所の画像を抽出して編集するのが一般的である。   The recorded moving image data may be used when a doctor presents at a conference or gives a lecture. In that case, a doctor generally extracts and edits an image of a desired portion in advance from a long-time moving image.

手術時の動画データから所望の箇所の画像を抽出して編集するための技術として、医師または助手等の医療従事者が手術中にリアルタイムで表示される画像を見ながら、任意のタイミングで画像データに栞データを挿入する技術が知られている（例えば、特許文献１を参照）。また、医療従事者が任意のタイミングで指令スイッチを操作することにより、撮像中の動画の１コマをインデックス画像として記録する技術も知られている（例えば、特許文献２を参照）。   As a technique for extracting and editing an image of a desired location from the moving image data at the time of surgery, a medical worker such as a doctor or assistant looks at the image displayed in real time during the operation, and image data at any timing There is known a technique for inserting heel data into (see, for example, Patent Document 1). There is also known a technique in which one frame of a moving image being captured is recorded as an index image by a medical worker operating a command switch at an arbitrary timing (see, for example, Patent Document 2).

これらの従来技術によれば、医療従事者が手術の動画を編集する際に、栞データまたはインデックス画像に基づいて所望の箇所の画像を抽出することができるため、編集作業を効率よく行うことができる。   According to these prior arts, when a medical worker edits a motion video of an operation, an image of a desired location can be extracted based on sputum data or an index image, so that editing can be performed efficiently. it can.

特開２００２−９５６３０号公報JP 2002-95630 A 特開２００６−４３２０９号公報JP 2006-43209 A

しかしながら、上述した従来技術では、医療従事者が手術中に栞データを挿入する指示またはインデックス画像を記録する指示を入力するという、手術とは直接関係のない処理を行わなければならず、医療従事者の負担となっていた。このため、医療従事者の手を煩わすことなく、手術の動画を編集する際の便宜に供するための処理を行うことができる技術が待望されていた。   However, in the above-described conventional technology, a medical worker must perform a process that is not directly related to surgery, such as an instruction to insert sputum data or an index image recording instruction during surgery. It was a burden on the person. For this reason, there has been a demand for a technique that can perform processing for the convenience of editing a moving image of an operation without bothering medical personnel.

本発明は、上記に鑑みてなされたものであって、手術の動画を編集する際の便宜に供するための処理を、手術中の撮像時に自動で実行することができる医療用観察システムを提供することを目的とする。   The present invention has been made in view of the above, and provides a medical observation system capable of automatically executing processing for convenience when editing a moving image of surgery during imaging during surgery. For the purpose.

上述した課題を解決し、目的を達成するために、本発明に係る医療用観察システムは、被観察体の微小部位の拡大画像を撮像して動画の画像データを生成する撮像部と、前記撮像部の動作指示の入力を受け付ける入力部と、前記入力部が受け付けた動作指示が所定の条件を満たす場合、前記画像データに対応するメタデータとして、該動作指示の入力を受け付けたタイミングを示すチャプタ情報を付加するメタデータ付加部と、を備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, a medical observation system according to the present invention includes an imaging unit that captures an enlarged image of a minute part of an object to be observed and generates image data of a moving image, and the imaging An input unit that receives an input of an operation instruction of a unit, and a chapter that indicates a timing at which the input of the operation instruction is received as metadata corresponding to the image data when the operation instruction received by the input unit satisfies a predetermined condition And a metadata adding unit for adding information.

本発明に係る医療用観察システムは、上記発明において、前記メタデータ付加部は、前記動作指示の種類に応じて異なるチャプタ情報を付加することを特徴とする。   The medical observation system according to the present invention is characterized in that, in the above invention, the metadata adding unit adds different chapter information according to the type of the operation instruction.

本発明に係る医療用観察システムは、上記発明において、前記撮像部を移動可能に支持する支持部をさらに備え、前記所定の条件は、前記動作が前記撮像部の撮像視野の中心方向の１点を固定した状態で、前記支持部の動きによって該撮像視野を変更するピボット動作である場合を含むことを特徴とする。   In the above invention, the medical observation system according to the present invention further includes a support unit that movably supports the imaging unit, and the predetermined condition is that the operation is one point in the center direction of the imaging field of the imaging unit. Including a case of a pivot operation in which the imaging field of view is changed by the movement of the support portion in a state where is fixed.

本発明に係る医療用観察システムは、上記発明において、前記所定の条件は、複数の前記動作指示の指示順序を含めた組み合わせからなることを特徴とする。   The medical observation system according to the present invention is characterized in that, in the above-described invention, the predetermined condition is a combination including an instruction order of the plurality of operation instructions.

本発明に係る医療用観察システムは、上記発明において、前記所定の条件は、複数の前記動作指示の中で最後に受け付けた前記動作指示が前記撮像部のズーム動作またはフォーカス動作である場合を含むことを特徴とする。   In the medical observation system according to the present invention, in the above invention, the predetermined condition includes a case where the operation instruction received last among the plurality of operation instructions is a zoom operation or a focus operation of the imaging unit. It is characterized by that.

本発明によれば、入力部が受け付けた動作指示が所定の条件を満たす場合、画像データに対応するメタデータとして、該動作指示の入力を受け付けたタイミングを示すチャプタ情報を付加するため、手術の動画を編集する際の便宜に供するための処理を、手術中の撮像時に自動で実行することが可能となる。   According to the present invention, when the operation instruction received by the input unit satisfies a predetermined condition, the chapter information indicating the timing at which the input of the operation instruction is received is added as metadata corresponding to the image data. Processing for convenience when editing a moving image can be automatically executed during imaging during surgery.

図１は、本発明の一実施の形態に係る医療用観察システムの全体構成を示す図である。FIG. 1 is a diagram showing an overall configuration of a medical observation system according to an embodiment of the present invention. 図２は、本発明の一実施の形態に係る医療用観察装置の顕微鏡部とその周辺の構成を示す拡大斜視図である。FIG. 2 is an enlarged perspective view showing the configuration of the microscope unit and its periphery of the medical observation apparatus according to one embodiment of the present invention. 図３は、本発明の一実施の形態に係る医療用観察システムの機能構成を示すブロック図である。FIG. 3 is a block diagram showing a functional configuration of the medical observation system according to the embodiment of the present invention. 図４は、本発明の一実施の形態に係る医療用観察システムの動画ファイル生成部が生成する動画ファイルの構成を模式的に示す図である。FIG. 4 is a diagram schematically illustrating a configuration of a moving image file generated by the moving image file generation unit of the medical observation system according to the embodiment of the present invention. 図５は、チャプタ情報が付加された動画ファイルにおける画像データとチャプタ情報との関係を模式的に示す図である。FIG. 5 is a diagram schematically showing a relationship between image data and chapter information in a moving image file to which chapter information is added. 図６は、本発明の一実施の形態に係る医療用観察システムを用いて行われる手術の状況を模式的に示す図である。FIG. 6 is a diagram schematically showing a state of an operation performed using the medical observation system according to the embodiment of the present invention. 図７は、チャプタ情報が付加された動画ファイルにおける画像データとチャプタ情報との関係（第２例）を模式的に示す図である。FIG. 7 is a diagram schematically illustrating a relationship (second example) between image data and chapter information in a moving image file to which chapter information is added. 図８は、本発明の一実施の形態に係る医療用観察システムの付加条件記憶部が記憶する付加条件の別な例を示す図である。FIG. 8 is a diagram showing another example of additional conditions stored in the additional condition storage unit of the medical observation system according to the embodiment of the present invention.

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。なお、図面はあくまで模式的なものであり、図面の相互間においても互いの寸法の関係や比率が異なる部分が含まれる場合がある。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as “embodiments”) will be described with reference to the accompanying drawings. Note that the drawings are merely schematic, and there are cases in which portions having different dimensional relationships and ratios are included between the drawings.

図１は、本発明の一実施の形態に係る医療用観察システムの全体構成を示す図である。同図に示す医療用観察システム１は、被観察体の微小部位を拡大して撮像する顕微鏡としての機能を有する医療用観察装置（以下、観察装置という）２と、医療用観察システム１の動作を統括して制御する制御装置３と、観察装置２が撮像した画像を表示する表示装置４とを備える。   FIG. 1 is a diagram showing an overall configuration of a medical observation system according to an embodiment of the present invention. The medical observation system 1 shown in the figure includes a medical observation apparatus (hereinafter referred to as an observation apparatus) 2 having a function as a microscope for enlarging and imaging a minute part of an object to be observed, and the operation of the medical observation system 1. And a display device 4 that displays an image captured by the observation device 2.

観察装置２は、被観察体の微小部位を観察する顕微鏡部５と、顕微鏡部５の基端部に接続し、顕微鏡部５を回動可能に支持する支持部６と、支持部６の基端部を回動可能に保持し、床面上を移動可能なベース部７と、を有する。   The observation apparatus 2 includes a microscope unit 5 for observing a minute part of the object to be observed, a support unit 6 that is connected to the proximal end of the microscope unit 5 and rotatably supports the microscope unit 5, and a base of the support unit 6. And a base portion 7 that holds the end portion rotatably and can move on the floor surface.

図２は、顕微鏡部５とその周辺の構成を示す拡大斜視図である。顕微鏡部５は、円柱状の外観を有し、その内部に、ズームおよびフォーカス機能を有する光学系と、光学系が集光した光を光電変換して撮像信号を生成する撮像素子とを有する。また、顕微鏡部５の側面には、観察装置２の動作指示の入力を受け付ける入力部２４を構成する各種スイッチが設けられている。顕微鏡部５の下端部の開口面には、内部の光学系を保護するカバーガラスが設けられている（図示せず）。術者等のユーザは、顕微鏡部５を把持した状態で各種スイッチを操作しながら、顕微鏡部５を移動したりズームまたはフォーカス動作を行ったりする。このため、ユーザは、光学系の光軸の方向または顕微鏡部５の撮像視野の中心方向を直感的に把握することができ、顕微鏡部５を所望の位置へ容易に移動させることができる。なお、顕微鏡部５の形状は円筒状に限られるわけではなく、多角筒状であってもよい。   FIG. 2 is an enlarged perspective view showing the configuration of the microscope unit 5 and its periphery. The microscope unit 5 has a cylindrical appearance, and has an optical system having a zoom and focus function and an imaging element that photoelectrically converts light collected by the optical system to generate an imaging signal. Further, on the side surface of the microscope unit 5, various switches constituting the input unit 24 that receives an input of an operation instruction for the observation apparatus 2 are provided. A cover glass for protecting the internal optical system is provided on the opening surface of the lower end portion of the microscope unit 5 (not shown). A user such as an operator moves the microscope unit 5 or performs a zoom or focus operation while operating various switches while holding the microscope unit 5. Therefore, the user can intuitively grasp the direction of the optical axis of the optical system or the center direction of the imaging field of the microscope unit 5 and can easily move the microscope unit 5 to a desired position. The shape of the microscope unit 5 is not limited to a cylindrical shape, and may be a polygonal cylindrical shape.

支持部６は、先端側から順に、第１関節部６１、第１アーム部７１、第２関節部６２、第２アーム部７２、第３関節部６３、第３アーム部７３、第４関節部６４、第４アーム部７４、第５関節部６５、第５アーム部７５、および第６関節部６６が連結されている。   The support portion 6 includes, in order from the distal end side, a first joint portion 61, a first arm portion 71, a second joint portion 62, a second arm portion 72, a third joint portion 63, a third arm portion 73, and a fourth joint portion. 64, the 4th arm part 74, the 5th joint part 65, the 5th arm part 75, and the 6th joint part 66 are connected.

第１関節部６１は、先端側で顕微鏡部５を、該顕微鏡部５の光軸と一致する第１軸Ｏ2のまわりに回動可能に保持するとともに、基端側で第１アーム部７１の先端部に固定された状態で第１アーム部７１に保持される。 The first joint unit 61 holds the microscope unit 5 on the distal end side so as to be rotatable around a first axis O 2 coinciding with the optical axis of the microscope unit 5, and on the proximal end side the first arm unit 71. It is held by the first arm portion 71 in a state of being fixed to the distal end portion.

第２関節部６２は、先端側で第１アーム部７１を第１軸Ｏ1と直交する第２軸Ｏ2のまわりに回動可能に保持するとともに、基端側で第２アーム部７２に保持される。同様に、第３関節部６３〜第５関節部６５は、先端側で第２アーム部７２〜第４アーム部７４をそれぞれ回動可能に保持するとともに、基端側で第３アーム部７３〜第５アーム部７５の先端部にそれぞれ固定された状態で保持される。 The second joint portion 62 holds the first arm portion 71 pivotably around the second axis O 2 orthogonal to the first axis O 1 on the distal end side, and is attached to the second arm portion 72 on the proximal end side. Retained. Similarly, the third joint portion 63 to the fifth joint portion 65 hold the second arm portion 72 to the fourth arm portion 74 on the distal end side in a rotatable manner, and the third arm portion 73 to the proximal end side. The fifth arm portion 75 is held in a state of being fixed to the distal end portion thereof.

第６関節部６６は、先端側で第５アーム部７５を回動可能に保持するとともに、基端側でベース部７に固定された状態で保持される。   The sixth joint portion 66 holds the fifth arm portion 75 rotatably on the distal end side, and is held in a state of being fixed to the base portion 7 on the proximal end side.

第２アーム部７２〜第５アーム部７５は、第３軸Ｏ3〜第６軸Ｏ6をそれぞれ回転軸として回動可能である。第４軸Ｏ4および第５軸Ｏ5は、第２軸Ｏ2とそれぞれ平行である。第３軸Ｏ3と第４軸Ｏ4、第５軸Ｏ5と第６軸Ｏ6は、それぞれ直交する。 The second arm part 72 to the fifth arm part 75 are rotatable about the third axis O 3 to the sixth axis O 6 , respectively. The fourth axis O 4 and the fifth axis O 5 are parallel to the second axis O 2 , respectively. The third axis O 3 and the fourth axis O 4 , and the fifth axis O 5 and the sixth axis O 6 are orthogonal to each other.

第１関節部６１〜第６関節部６６は、各々の先端側の顕微鏡部５、第１アーム部７１〜第５アーム部７５の回動を禁止する電磁ブレーキをそれぞれ有する。電磁ブレーキは、顕微鏡部５の入力部２４が入力を受け付ける解除指示に応じて解除される。電磁ブレーキが解除されると、顕微鏡部５、第１アーム部７１〜第５アーム部７５は、第１関節部６１〜第６関節部６６に対してそれぞれ回動可能な状態となる。以下、顕微鏡部５、第１アーム部７１〜第５アーム部７５が第１関節部６１〜第６関節部６６に対してそれぞれ回動可能である状態をアームオールフリーという。なお、電磁ブレーキの代わりにエアブレーキを適用してもよい。   The first joint part 61 to the sixth joint part 66 have electromagnetic brakes that prohibit the rotation of the microscope part 5 and the first arm part 71 to the fifth arm part 75 on the distal end side, respectively. The electromagnetic brake is released in response to a release instruction in which the input unit 24 of the microscope unit 5 receives an input. When the electromagnetic brake is released, the microscope unit 5 and the first arm unit 71 to the fifth arm unit 75 are rotatable with respect to the first joint unit 61 to the sixth joint unit 66, respectively. Hereinafter, the state in which the microscope unit 5 and the first arm unit 71 to the fifth arm unit 75 are rotatable with respect to the first joint unit 61 to the sixth joint unit 66 is referred to as arm all-free. An air brake may be applied instead of the electromagnetic brake.

第１関節部６１〜第６関節部６６には、顕微鏡部５、第１アーム部７１〜第５アーム部７５の回動をそれぞれアシストするためのアクチュエータが設けられている。また、第１関節部６１〜第６関節部６６には、各関節部の位置、速度、加速度、回転角度、回転速度、回転加速度、発生トルク等の少なくとも一部をそれぞれ検出するための各種センサが設けられている。   The first joint part 61 to the sixth joint part 66 are provided with actuators for assisting the rotation of the microscope part 5 and the first arm part 71 to the fifth arm part 75, respectively. The first joint part 61 to the sixth joint part 66 include various sensors for detecting at least a part of the position, speed, acceleration, rotation angle, rotation speed, rotation acceleration, generated torque, and the like of each joint part. Is provided.

以上の構成を有する支持部６は、顕微鏡部５における並進３自由度および回転３自由度の計６自由度の動きを実現する。   The support unit 6 having the above configuration realizes a total of 6 degrees of freedom of translational 3 degrees of freedom and 3 degrees of freedom of rotation in the microscope unit 5.

図３は、医療用観察システム１の機能構成を示すブロック図である。以下、図３を参照して、医療用観察システム１の機能構成を説明する。   FIG. 3 is a block diagram showing a functional configuration of the medical observation system 1. Hereinafter, the functional configuration of the medical observation system 1 will be described with reference to FIG.

観察装置２は、被観察体の像を拡大して撮像することによって撮像信号を生成する撮像部２１と、観察装置２の顕微鏡部５および支持部６を駆動する駆動部２２と、観察装置２の状態を検出する検出部２３と、各種動作の指示等の入力を受け付ける入力部２４と、観察装置２を制御する制御部２５と、を有する。   The observation apparatus 2 includes an imaging unit 21 that generates an imaging signal by enlarging and capturing an image of the object to be observed, a driving unit 22 that drives the microscope unit 5 and the support unit 6 of the observation apparatus 2, and the observation apparatus 2. And a control unit 25 for controlling the observation apparatus 2.

撮像部２１は、被観察体からの光を集光して結像するとともに、ズームおよびフォーカス機能を有する光学系と、光学系によって結像された被観察体の像を電気的な撮像信号に変換する撮像素子とを有する。撮像素子は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いて構成される。撮像部２１が生成する撮像信号は、伝送ケーブルを介して制御装置３に伝送される。   The imaging unit 21 condenses and forms an image by collecting light from the object to be observed, and an optical system having a zoom and focus function, and an image of the object to be observed formed by the optical system as an electrical imaging signal. An image sensor for conversion. The imaging element is configured using a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). An imaging signal generated by the imaging unit 21 is transmitted to the control device 3 via a transmission cable.

駆動部２２は、第１関節部６１〜第６関節部６６にそれぞれ設けられる電磁ブレーキおよびアクチュエータを有する。電磁ブレーキは、オールアームフリー動作の際に入力部２４が入力を受け付ける解除指示にしたがって解除される。アクチュエータは、検出部２３による状態検出結果に応じて制御装置３から送信されてくる制御信号に応じて動作する。   The drive unit 22 includes electromagnetic brakes and actuators provided in the first joint unit 61 to the sixth joint unit 66, respectively. The electromagnetic brake is released according to a release instruction for the input unit 24 to accept an input during an all-arm free operation. The actuator operates in accordance with a control signal transmitted from the control device 3 in accordance with the state detection result by the detection unit 23.

検出部２３は、観察装置２の状態情報を逐次検出する。観察装置２の状態情報は、撮像部２１の位置、フォーカスおよびズームに関する情報、第１関節部６１〜第６関節部６６の位置、速度、加速度、回転角度、回転速度、回転加速度、発生トルクの少なくとも一部に関する情報、第１アーム部７１〜第５アーム部７５の位置、速度、加速度の少なくとも一部に関する情報、ならびにピボット、アームオールフリーおよびパワーアシスト等の動作に関する情報を含む。検出部２３は、これらの情報を検出するための各種センサを有する。   The detection unit 23 sequentially detects state information of the observation device 2. The state information of the observation device 2 includes information on the position of the imaging unit 21, focus and zoom, positions of the first joint unit 61 to the sixth joint unit 66, speed, acceleration, rotation angle, rotation speed, rotation acceleration, and generated torque. Information on at least a part, information on positions, speeds, and accelerations of the first arm part 71 to the fifth arm part 75, and information on operations such as pivot, arm all-free and power assist are included. The detection unit 23 has various sensors for detecting these pieces of information.

ピボット動作は、撮像部２１の撮像視野の中心方向の１点で固定した状態で、その１点を頂点とした円錐面上を顕微鏡部５が支持部６の動きによって移動する旋回動作であり、ポイントロック動作とも呼ばれる。このピボット動作の旋回軸は、円錐の高さ方向の中心軸である。ピボット動作では、固定点と撮像部２１との距離が一定に保たれる。手術の際には、例えば手術部位が上述した固定点として選ばれる。このようなピボット動作によれば、手術部位を等距離で異なる角度から観察することができるため、ユーザは手術部位をより正確に把握することができる。   The pivoting operation is a turning operation in which the microscope unit 5 is moved by the movement of the support unit 6 on a conical surface having the one point as a vertex in a state where the imaging unit 21 is fixed at one point in the center direction of the imaging field of view. Also called point lock operation. The pivot axis of this pivot operation is the central axis in the height direction of the cone. In the pivot operation, the distance between the fixed point and the imaging unit 21 is kept constant. During surgery, for example, the surgical site is selected as the fixed point described above. According to such a pivot operation, the surgical site can be observed from different angles at equal distances, and thus the user can grasp the surgical site more accurately.

パワーアシスト動作は、顕微鏡部５、第１アーム部７１〜第５アーム部７５に作用する重力をそれぞれ打ち消すように第１関節部６１〜第６関節部６６の状態を制御するとともに、顕微鏡部５、第１アーム部７１〜第５アーム部７５の移動をそれぞれアシストするように第１関節部６１〜第６関節部６６の状態を制御する動作である。パワーアシスト動作により、ユーザはより小さい力で支持部６を動かすことができるようになるため、観察装置２の操作性が向上する。   The power assist operation controls the state of the first joint part 61 to the sixth joint part 66 so as to cancel the gravity acting on the microscope part 5 and the first arm part 71 to the fifth arm part 75, respectively, and also the microscope part 5 The operation of controlling the states of the first joint part 61 to the sixth joint part 66 so as to assist the movement of the first arm part 71 to the fifth arm part 75, respectively. The power assist operation allows the user to move the support unit 6 with a smaller force, so that the operability of the observation device 2 is improved.

入力部２４は、撮像部２１および駆動部２２に対する動作指示の入力を受け付ける。入力部２４は、駆動部２２が有する電磁ブレーキを解除してアームオールフリー動作の指示入力を受け付けるアーム操作スイッチ、撮像部２１におけるフォーカスおよびズーム操作をそれぞれ指示する入力を受け付けるフォーカススイッチおよびズームスイッチ、ピボット動作の指示入力を受け付けるピボットスイッチ、ならびにパワーアシスト動作の指示入力を受け付けるパワーアシストスイッチを有する。入力部２４を構成する各種スイッチやボタン等は、図２に示すように、顕微鏡部５の側面に設けられる。なお、図２では、入力部２４を構成する各種スイッチやボタン等の一部を記載している。   The input unit 24 receives input of operation instructions for the imaging unit 21 and the drive unit 22. The input unit 24 is an arm operation switch that releases an electromagnetic brake of the drive unit 22 and receives an instruction input of an arm all-free operation, a focus switch and a zoom switch that receive inputs that respectively instruct focus and zoom operations in the imaging unit 21, A pivot switch for receiving an instruction input for pivot operation and a power assist switch for receiving an instruction input for power assist operation are provided. Various switches, buttons, and the like constituting the input unit 24 are provided on the side surface of the microscope unit 5 as shown in FIG. In FIG. 2, some of various switches and buttons constituting the input unit 24 are illustrated.

制御部２５は、入力部２４が入力を受け付けた動作指示に応じて撮像部２１および駆動部２２の動作を制御する。また、制御部２５は、後述する制御装置３の制御部３４と通信可能であり、制御部３４と連携して観察装置２を統括して制御する。制御部２５は、ＣＰＵ（Central Processing Unit）等を用いて構成される。   The control unit 25 controls the operations of the imaging unit 21 and the drive unit 22 in accordance with an operation instruction received by the input unit 24. The control unit 25 can communicate with a control unit 34 of the control device 3 to be described later, and controls the observation device 2 in cooperation with the control unit 34. The control unit 25 is configured using a CPU (Central Processing Unit) or the like.

制御装置３は、観察装置２から送られてきた撮像信号に所定の画像処理を施し、表示用の動画ファイルを生成する動画ファイル生成部３１と、各種指示信号の入力を受け付ける入力部３２と、医療用観察システム１の動作に必要な情報を含む各種情報を記憶する記憶部３３と、医療用観察システム１を統括して制御する制御部３４とを有する。   The control device 3 performs predetermined image processing on the imaging signal sent from the observation device 2 and generates a moving image file for display, an input unit 32 that receives input of various instruction signals, It has the memory | storage part 33 which memorize | stores the various information containing information required for operation | movement of the medical observation system 1, and the control part 34 which controls the medical observation system 1 in an integrated manner.

動画ファイル生成部３１は、観察装置２から送られてきた撮像信号に所定の画像処理を施して生成した画像データに関連するメタデータを付加するメタデータ付加部３１１を有する。メタデータ付加部３１１は、メタデータとして、観察装置２の状態情報を付加する一方、入力部２４が入力を受け付けた動作指示が所定の条件（付加条件）を満たす場合、該動作指示の入力を受け付けたタイミングを示すチャプタ情報を付加する。   The moving image file generation unit 31 includes a metadata addition unit 311 that adds metadata related to image data generated by performing predetermined image processing on the imaging signal sent from the observation device 2. The metadata adding unit 311 adds the state information of the observation apparatus 2 as metadata. On the other hand, if the operation instruction received by the input unit 24 satisfies a predetermined condition (additional condition), the metadata adding unit 311 inputs the operation instruction. Chapter information indicating the received timing is added.

図４は、動画ファイル生成部３１が生成する動画ファイルの構成を模式的に示す図である。同図に示す動画ファイル１０１は、画像データ１０２と、画像データ１０２に関連するメタデータ１０３とを有する。メタデータ１０３は、画像データ１０２を撮像している間の観察装置２の状態情報の履歴を記録した状態履歴情報１３１と、画像データ１０２中で付加条件を満たす動作指示の入力を受け付けたタイミングを示すチャプタ情報１３２とを有する。   FIG. 4 is a diagram schematically illustrating a configuration of a moving image file generated by the moving image file generation unit 31. The moving image file 101 shown in the figure includes image data 102 and metadata 103 related to the image data 102. The metadata 103 is the timing when the input of the operation history instruction 131 that satisfies the additional condition in the image data 102 and the state history information 131 that records the history of the state information of the observation apparatus 2 while the image data 102 is captured. Chapter information 132 is shown.

記憶部３３は、動画ファイル生成部３１が生成した動画ファイルを記憶する動画ファイル記憶部３３１と、入力部２４または入力部３２が入力を受け付けた動作指示に関する情報をその動作指示の入力時間とともに記憶する動作指示情報記憶部３３２と、動画ファイルにチャプタ情報を付加する付加条件を記憶する付加条件記憶部３３３と、を有する。   The storage unit 33 stores a moving image file storage unit 331 that stores the moving image file generated by the moving image file generation unit 31, and information related to the operation instruction received by the input unit 24 or the input unit 32 together with the input time of the operation instruction. And an additional condition storage unit 333 that stores additional conditions for adding chapter information to the moving image file.

付加条件記憶部３３３は、入力部２４がピボット、アームオールフリーおよびパワーアシストのいずれかの動作指示の入力を受け付けた場合を付加条件として記憶する。なお、付加条件記憶部３３３が記憶する付加条件として、少なくともピボットの動作指示の入力を受け付けた場合が含まれていることが望ましい。ピボット動作は、手術部位等の重要な箇所に対して行われる可能性が高いためである。   The additional condition storage unit 333 stores, as an additional condition, a case where the input unit 24 receives an input of an operation instruction of any one of pivot, arm all free, and power assist. It is desirable that the additional condition stored in the additional condition storage unit 333 includes at least a case where an input of a pivot operation instruction is received. This is because the pivot operation is highly likely to be performed on an important part such as a surgical site.

図５は、メタデータとしてチャプタ情報１３２が付加された動画ファイル１０１における画像データ１０２とチャプタ情報１３２との関係を模式的に示す図である。図５では、チャプタ情報１３２を黒丸印で記載している。図５に示すように、動画ファイル１０１では、各動作指示のタイミングにチャプタ情報１３２が付加されており、画像データ１０２と時間的な対応づけがなされている。このため、ユーザが動画ファイル１０１を用いて編集を行う際には、チャプタ情報１３２を用いて対応する画像データを抽出することができる。   FIG. 5 is a diagram schematically illustrating a relationship between the image data 102 and the chapter information 132 in the moving image file 101 to which the chapter information 132 is added as metadata. In FIG. 5, the chapter information 132 is indicated by black circles. As shown in FIG. 5, in the moving image file 101, chapter information 132 is added at the timing of each operation instruction, and is temporally associated with the image data 102. For this reason, when the user edits using the moving image file 101, the corresponding image data can be extracted using the chapter information 132.

記憶部３３は、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を用いて構成され、医療用観察システム１を動作させるための各種プログラムや、医療用観察システム１の動作に必要な各種パラメータ等も記憶する。   The storage unit 33 is configured by using a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and various programs for operating the medical observation system 1 and various types necessary for the operation of the medical observation system 1. Parameters etc. are also stored.

制御部３４は、観察装置２の制御部２５と通信可能であり、制御部２５と連携して観察装置２を含む医療用観察システム１全体を統括して制御する。例えば、制御部３４は、検出部２３から受信した観察装置２の状態情報および入力部２４または入力部３２が入力を受け付けた動作指示に基づいて、駆動部２２の駆動を制御する制御信号を生成して制御部２５へ送信する。制御部３４は、ＣＰＵ（Central Processing Unit）等を用いて構成される。   The control unit 34 can communicate with the control unit 25 of the observation apparatus 2, and controls the entire medical observation system 1 including the observation apparatus 2 in cooperation with the control unit 25. For example, the control unit 34 generates a control signal for controlling the drive of the drive unit 22 based on the state information of the observation apparatus 2 received from the detection unit 23 and the operation instruction received by the input unit 24 or the input unit 32. To the control unit 25. The control unit 34 is configured using a CPU (Central Processing Unit) or the like.

以上の構成を有する制御装置３は、１または複数のコンピュータを用いて構成される。複数のコンピュータを用いて制御装置３を構成する場合には、通信ネットワークを介して複数のコンピュータを通信可能に接続してもよい。   The control device 3 having the above configuration is configured using one or a plurality of computers. When the control device 3 is configured using a plurality of computers, the plurality of computers may be communicably connected via a communication network.

表示装置４は、制御装置３が生成した動画データを制御装置３から受信し、該動画データに対応する画像を表示する。このような表示装置４は、液晶または有機ＥＬ（Electro Luminescence）からなる表示パネルを備える。   The display device 4 receives the moving image data generated by the control device 3 from the control device 3 and displays an image corresponding to the moving image data. Such a display device 4 includes a display panel made of liquid crystal or organic EL (Electro Luminescence).

次に、以上の構成を有する医療用観察システム１を用いて行われる手術の概要を説明する。図６は、医療用観察システム１を用いた手術の状況を模式的に示す図である。具体的には、図６は、ユーザである術者２０１が被観察体である患者２０２の頭部を手術している状況を模式的に示す図である。術者２０１は、表示装置４が表示する画像を目視しながら、顕微鏡部５を把持して所望の位置まで移動させるアームフリー動作を行った後、顕微鏡部５の位置を固定する。その後、ユーザは撮像部２１のズームおよびフォーカスを調整することによって所望の画像を表示装置４に表示させる。この後、術者２０１は、必要に応じてピボット動作等を行いながら、手術を進めていく。   Next, an outline of an operation performed using the medical observation system 1 having the above configuration will be described. FIG. 6 is a diagram schematically showing a state of surgery using the medical observation system 1. Specifically, FIG. 6 is a diagram schematically showing a situation where the surgeon 201 as a user is operating on the head of a patient 202 as an object to be observed. The operator 201 fixes the position of the microscope unit 5 after performing an arm-free operation of grasping the microscope unit 5 and moving it to a desired position while observing an image displayed on the display device 4. Thereafter, the user causes the display device 4 to display a desired image by adjusting the zoom and focus of the imaging unit 21. Thereafter, the surgeon 201 proceeds with the surgery while performing a pivoting operation or the like as necessary.

以上説明した本発明の一実施の形態によれば、入力部２４が受け付けた動作指示が所定の条件を満たす場合、画像データに対応するメタデータとして、該動作指示の入力を受け付けたタイミングを示すチャプタ情報を付加するため、手術の動画を編集する際の便宜に供するための処理を、手術中の撮像時に自動で実行することが可能となる。   According to the embodiment of the present invention described above, when the operation instruction received by the input unit 24 satisfies a predetermined condition, the timing at which the input of the operation instruction is received as metadata corresponding to the image data is shown. Since chapter information is added, it is possible to automatically execute a process for convenience when editing a moving image of surgery during imaging during surgery.

また、本実施の形態によれば、チャプタ情報に基づいた画像データの抽出を行うことができるため、ユーザは動画の編集作業を効率よく行うことができる。   Moreover, according to this Embodiment, since the image data based on chapter information can be extracted, the user can efficiently edit a moving image.

また、本実施の形態によれば、動作指示の種類に応じて異なるチャプタ情報を付加するため、ユーザは動画の編集作業を行う際、所望の動作に対応する画像の抽出を行うことができ、一段と効率よく編集作業を行うことができる。   In addition, according to the present embodiment, because different chapter information is added according to the type of operation instruction, the user can extract an image corresponding to a desired operation when editing a movie, Editing can be performed more efficiently.

また、本実施の形態によれば、入力部２４がピボット動作の指示入力を受け付けた場合にメタデータを付加する。ピボット動作を行う箇所は重要な手術箇所または患部であることが多く、動画を編集する際にも抽出対象となる可能性が高い。したがって、入力部２４がピボット動作の指示入力を受け付けた場合にチャプタ情報を付加することにより、動画編集を効率よく行うことが可能となる。   Further, according to the present embodiment, metadata is added when the input unit 24 receives a pivot operation instruction input. The part where the pivot operation is performed is often an important surgical part or affected part, and is likely to be an extraction target even when editing a moving image. Therefore, by adding chapter information when the input unit 24 receives a pivot operation instruction input, it is possible to efficiently edit a moving image.

（変形例）
本実施の形態において、メタデータ付加部３１１が、付加条件に応じて異なる種類のチャプタ情報を付加することも可能である。図７は、この場合の画像データとチャプタ情報との関係を模式的に示す図である。図７では、ピボットに対応するチャプタ情報を黒丸印で記載し、アームオールフリーに対応するチャプタ情報を黒三角印で記載し、パワーアシストに対応するチャプタ情報を黒四角印で記載している。すなわち、図７では、チャプタ情報の形状の違いが、チャプタ情報の種類の違いを模式的に示している。 (Modification)
In the present embodiment, the metadata adding unit 311 can add different types of chapter information according to the addition conditions. FIG. 7 is a diagram schematically showing the relationship between image data and chapter information in this case. In FIG. 7, chapter information corresponding to the pivot is indicated by black circles, chapter information corresponding to arm all-free is indicated by black triangles, and chapter information corresponding to power assist is indicated by black squares. That is, in FIG. 7, the difference in the shape of chapter information schematically shows the difference in the type of chapter information.

また、本実施の形態において、チャプタ情報の付加条件は、上述したものに限られるわけではない。図８は、付加条件記憶部３３３が記憶する付加条件の別な例を示す図である。同図に示すテーブルＴｂは、入力部２４または入力部３２が時間的に前後して指示入力を受け付ける動作の組み合わせに応じたチャプタ情報の付加の可否を与えている。具体的には、テーブルＴｂでは、ピボット、アームオールフリー、ズーム、フォーカスの４つの動作の動作順を含む組み合わせについて、チャプタ情報の付加の可否を与えており、チャプタ情報を付加する場合を○で記載し、チャプタ情報を付加しない場合を×で記載している。   Further, in the present embodiment, the addition conditions of the chapter information are not limited to those described above. FIG. 8 is a diagram illustrating another example of the additional condition stored in the additional condition storage unit 333. The table Tb shown in the figure gives whether or not chapter information can be added according to a combination of operations in which the input unit 24 or the input unit 32 receives an instruction input before and after in time. Specifically, in the table Tb, whether or not to add chapter information is given to the combination including the operation order of the four operations of pivot, arm all free, zoom, and focus. The case where no chapter information is added is indicated by x.

テーブルＴｂにおいて、チャプタ情報を付加するのは、（１）後動作として撮像部２１のズーム動作またはフォーカス動作が行われた場合（６通り）、（２）前動作がフォーカスであって後動作がピボットである場合、の計７通りである。ここで、（１）の場合にチャプタ情報を付加するのは、これらの動作が撮像対象を特定してから行われることが多い動作であり、動画編集時に抽出される可能性が高いと考えられるためである。また、（２）の場合にチャプタ情報を付加するのは、その動作の組み合わせが手術部位や患部等の重要度が高い箇所に対して行われることが多く、動画編集時に抽出される可能性が高いと考えられるためである。   In the table Tb, chapter information is added when (1) the zoom operation or the focus operation of the imaging unit 21 is performed as the post-operation (6 types), (2) the front operation is the focus and the post-operation is performed. In the case of a pivot, there are a total of seven ways. Here, in the case of (1), adding chapter information is an operation that is often performed after specifying an imaging target, and it is considered that there is a high possibility of being extracted when editing a moving image. Because. In addition, in the case of (2), the chapter information is added in many cases where a combination of the operations is performed on a highly important part such as a surgical part or an affected part, and may be extracted at the time of moving image editing. This is because it is considered high.

図８に示す場合、メタデータ付加部３１１は、メタデータとして、前動作の動作入力を受け付けたタイミングを示すチャプタ情報を付加する。   In the case illustrated in FIG. 8, the metadata adding unit 311 adds chapter information indicating the timing when the operation input of the previous operation is received as metadata.

なお、図８における前動作と後動作の間隔は、例えば３〜５分程度で設定されるが、ユーザが設定を変更できるようにしてもよい。また、図８に示す組合せはあくまでも一例に過ぎず、例えばパワーアシスト等の他の動作との組合せをさらに加えることも可能である。   The interval between the pre-operation and the post-operation in FIG. 8 is set in about 3 to 5 minutes, for example, but the user may be able to change the setting. Further, the combinations shown in FIG. 8 are merely examples, and it is possible to further add combinations with other operations such as power assist.

また、３つ以上の連続する動作を組み合わせることによって付加条件を設定してもよい。この場合、メタデータ付加部３１１は、最初の動作入力を受け付けたタイミングを示すチャプタ情報を付加する。   Further, the additional condition may be set by combining three or more consecutive operations. In this case, the metadata adding unit 311 adds chapter information indicating the timing at which the first motion input is received.

また、上述した単独動作の付加条件と、図８に示す２つの動作の組み合わせによる付加条件とを並立させてもよい。この場合にも、付加条件に応じて異なる種類のチャプタ情報を付加するようにすればより好ましい。   Also, the additional condition for the single operation described above and the additional condition for the combination of the two operations shown in FIG. 8 may be juxtaposed. Also in this case, it is more preferable to add different types of chapter information according to the additional conditions.

また、本実施の形態において、特異な場面転換が生じた箇所にチャプタ情報を付加するようにしてもよい。このような特異な場面転換としては、例えばパワーアシストの際に第１関節部６１〜第６関節部６６および第１アーム部７１〜第５アーム部７５の少なくとも１つの状態が所定の範囲よりも大きく変化した場合を挙げることができる。また、特異な場面転換の別な例として、高倍側へのズーム動作と低倍側へのズーム動作とを繰り返す操作を挙げることができる。このような繰り返し操作は、例えば血管吻合の処置を行う際にみられる操作である。   In the present embodiment, chapter information may be added to a location where a specific scene change has occurred. As such a specific scene change, for example, at the time of power assist, at least one state of the first joint portion 61 to the sixth joint portion 66 and the first arm portion 71 to the fifth arm portion 75 is less than a predetermined range. The case where it changed greatly can be mentioned. Another example of the unique scene change is an operation of repeating a zoom operation to the high magnification side and a zoom operation to the low magnification side. Such a repetitive operation is, for example, an operation observed when performing a blood vessel anastomosis.

また、チャプタ情報の付加条件自体を、ユーザが入力部３２を用いて設定変更することができるようにしてもよい。   Also, the chapter information addition condition itself may be set and changed by the user using the input unit 32.

（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は、上述した一実施の形態によってのみ限定されるべきものではない。例えば、入力部２４にチャプタ情報の付加を指示する信号の入力を受け付けるチャプタボタンを設けることにより、ユーザが所望のタイミングでチャプタ情報を付加することができるようにしてもよい。 (Other embodiments)
Up to this point, the mode for carrying out the present invention has been described. However, the present invention should not be limited only by the above-described embodiment. For example, by providing a chapter button that receives an input of a signal instructing addition of chapter information in the input unit 24, the user may be able to add chapter information at a desired timing.

また、撮像部に２つの撮像素子を設けることによって視差を有する２つの画像を撮像し、この２つの画像をもとに３次元画像を生成して表示するようにしてもよい。この場合、ユーザは、３次元画像用の眼鏡を装着することにより、表示装置４が表示する３次元画像を目視することとなる。表示装置４が３次元画像を表示すれば、ユーザは術部を立体的に把握することができるようになる。   Alternatively, two images having parallax may be captured by providing two imaging elements in the imaging unit, and a three-dimensional image may be generated and displayed based on the two images. In this case, the user views the 3D image displayed on the display device 4 by wearing glasses for 3D images. If the display device 4 displays a three-dimensional image, the user can grasp the surgical part three-dimensionally.

また、第１関節部６１〜第６関節部６６に対してアクチュエータを設けることなく支持部６を構成することも可能である。   Moreover, it is also possible to comprise the support part 6 without providing an actuator with respect to the first joint part 61 to the sixth joint part 66.

また、支持部は、２つのアーム部および該２つのアーム部の一方を他方に対して回動可能に連結する関節部からなる組を少なくとも一組有していればよい。   Moreover, the support part should just have at least 1 set of the joint part which connects two arm parts and one of these two arm parts so that rotation with respect to the other is possible.

また、観察装置の構成は、本明細書で説明したものに限定されるわけではなく、被観察体の微小部位の拡大画像を撮像して動画の画像データを生成するものであれば、いかなる構成を有していても構わない。   Further, the configuration of the observation apparatus is not limited to that described in the present specification, and any configuration may be used as long as it captures a magnified image of a minute part of the observed object and generates moving image data. You may have.

このように、本発明は、特許請求の範囲に記載した技術的思想を逸脱しない範囲内において、さまざまな実施の形態等を含み得るものである。   As described above, the present invention can include various embodiments and the like without departing from the technical idea described in the claims.

１ 医療用観察システム
２ 医療用観察装置
３ 制御装置
４ 表示装置
５ 顕微鏡部
６ 支持部
７ ベース部
２１ 撮像部
２２ 駆動部
２３ 検出部
２４、３２ 入力部
２５、３４ 制御部
３１ 動画ファイル生成部
３３ 記憶部
６１ 第１関節部
６２ 第２関節部
６３ 第３関節部
６４ 第４関節部
６５ 第５関節部
６６ 第６関節部
７１ 第１アーム部
７２ 第２アーム部
７３ 第３アーム部
７４ 第４アーム部
７５ 第５アーム部
１０１ 動画ファイル
１０２ 画像データ
１０３ メタデータ
１３１ 状態履歴情報
１３２ チャプタ情報
３１１ メタデータ付加部
３３１ 動画ファイル記憶部
３３２ 動作指示情報記憶部
３３３ 付加条件記憶部 DESCRIPTION OF SYMBOLS 1 Medical observation system 2 Medical observation apparatus 3 Control apparatus 4 Display apparatus 5 Microscope part 6 Support part 7 Base part 21 Imaging part 22 Drive part 23 Detection part 24, 32 Input part 25, 34 Control part 31 Movie file generation part 33 Storage part 61 1st joint part 62 2nd joint part 63 3rd joint part 64 4th joint part 65 5th joint part 66 6th joint part 71 1st arm part 72 2nd arm part 73 3rd arm part 74 4th Arm unit 75 Fifth arm unit 101 Movie file 102 Image data 103 Metadata 131 State history information 132 Chapter information 311 Metadata addition unit 331 Movie file storage unit 332 Operation instruction information storage unit 333 Additional condition storage unit

Claims (7)

被観察体の微小部位の拡大画像を撮像して動画の画像データを生成する撮像部と、
前記撮像部の動作指示の入力を受け付ける入力部と、
前記入力部が受け付けた動作指示が所定の条件を満たす場合、前記画像データに対応するメタデータとして、該動作指示の入力を受け付けたタイミングを示すチャプタ情報を付加するメタデータ付加部と、
前記撮像部を移動可能に支持する支持部と、
を備え、
前記支持部は、前記撮像部の移動を止めるブレーキを有し、
前記所定の条件は、前記動作指示が前記ブレーキに関する動作指示である場合を含むことを特徴とする医療用観察システム。 An imaging unit that captures an enlarged image of a minute part of the object to be observed and generates video image data;
An input unit for receiving an input of an operation instruction of the imaging unit;
When the operation instruction received by the input unit satisfies a predetermined condition, a metadata adding unit that adds chapter information indicating timing at which the input of the operation instruction is received as metadata corresponding to the image data;
A support unit that movably supports the imaging unit;
With
The support unit has a brake that stops the movement of the imaging unit,
The medical observation system according to claim 1, wherein the predetermined condition includes a case where the operation instruction is an operation instruction related to the brake . 前記所定の条件は、前記動作指示が前記撮像部の撮像視野の中心方向の１点を固定した状態で、前記支持部の動きによって該撮像視野を変更するピボット動作を行う指示である場合を含むことを特徴とする請求項１に記載の医療用観察システム。 The former case Symbol predetermined condition, a state where the operation instruction is fixed to one point of the center direction of the imaging field of the imaging unit, an instruction to perform a pivoting operation of changing the imaging field of view by the movement of the support The medical observation system according to claim 1 , comprising: 前記所定の条件は、複数の前記動作指示の指示順序を含めた組み合わせからなり、
前記メタデータ付加部は、複数の前記動作指示の最初の前記動作指示を受け付けたタイミングを示すチャプタ情報を付加することを特徴とする請求項１に記載の医療用観察システム。 The predetermined condition includes a combination including an instruction order of a plurality of the operation instructions,
The medical observation system according to claim 1 , wherein the metadata adding unit adds chapter information indicating a timing at which the first operation instruction of the plurality of operation instructions is received. 被観察体の微小部位の拡大画像を撮像して動画の画像データを生成する撮像部と、An imaging unit that captures an enlarged image of a minute part of the object to be observed and generates video image data;
前記撮像部の動作指示の入力を受け付ける入力部と、An input unit for receiving an input of an operation instruction of the imaging unit;
前記入力部が受け付けた動作指示が所定の条件を満たす場合、前記画像データに対応するメタデータとして、該動作指示の入力を受け付けたタイミングを示すチャプタ情報を付加するメタデータ付加部と、When the operation instruction received by the input unit satisfies a predetermined condition, a metadata adding unit that adds chapter information indicating timing at which the input of the operation instruction is received as metadata corresponding to the image data;
前記撮像部を移動可能に支持する支持部と、A support unit that movably supports the imaging unit;
を備え、With
前記所定の条件は、前記動作指示が前記撮像部の撮像視野の中心方向の１点を固定した状態で、前記支持部の動きによって該撮像視野を変更するピボット動作を行う指示である場合を含むことを特徴とする医療用観察システム。The predetermined condition includes a case in which the operation instruction is an instruction to perform a pivot operation to change the imaging field of view by movement of the support unit in a state where one point in the center direction of the imaging field of the imaging unit is fixed. A medical observation system characterized by that. 被観察体の微小部位の拡大画像を撮像して動画の画像データを生成する撮像部と、An imaging unit that captures an enlarged image of a minute part of the object to be observed and generates video image data;
前記撮像部の動作指示の入力を受け付ける入力部と、An input unit for receiving an input of an operation instruction of the imaging unit;
前記入力部が受け付けた動作指示が所定の条件を満たす場合、前記画像データに対応するメタデータとして、該動作指示の入力を受け付けたタイミングを示すチャプタ情報を付加するメタデータ付加部と、When the operation instruction received by the input unit satisfies a predetermined condition, a metadata adding unit that adds chapter information indicating timing at which the input of the operation instruction is received as metadata corresponding to the image data;
を備え、With
前記所定の条件は、複数の前記動作指示の指示順序を含めた組み合わせからなり、The predetermined condition includes a combination including an instruction order of a plurality of the operation instructions,
前記メタデータ付加部は、複数の前記動作指示の最初の前記動作指示を受け付けたタイミングを示すチャプタ情報を付加することを特徴とする医療用観察システム。The metadata adding unit adds chapter information indicating a timing at which the first operation instruction of the plurality of operation instructions is received. 前記メタデータ付加部は、前記動作指示の種類に応じて異なるチャプタ情報を付加することを特徴とする請求項１〜５のいずれか一項に記載の医療用観察システム。 The medical observation system according to any one of claims 1 to 5, wherein the metadata adding unit adds different chapter information according to a type of the operation instruction. 前記所定の条件は、複数の前記動作指示の中で最後に受け付けた前記動作指示が前記撮像部のズーム動作またはフォーカス動作である場合を含むことを特徴とする請求項３または５に記載の医療用観察システム。 The medical condition according to claim 3 , wherein the predetermined condition includes a case where the operation instruction received last among the plurality of operation instructions is a zoom operation or a focus operation of the imaging unit. For observation system.
JP2014168843A 2014-08-21 2014-08-21 Medical observation system Active JP6419487B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014168843A JP6419487B2 (en) 2014-08-21 2014-08-21 Medical observation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014168843A JP6419487B2 (en) 2014-08-21 2014-08-21 Medical observation system

Publications (2)

Publication Number Publication Date
JP2016042982A JP2016042982A (en) 2016-04-04
JP6419487B2 true JP6419487B2 (en) 2018-11-07

Family

ID=55634166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014168843A Active JP6419487B2 (en) 2014-08-21 2014-08-21 Medical observation system

Country Status (1)

Country Link
JP (1) JP6419487B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6608111B2 (en) 2016-09-28 2019-11-20 富士フイルム株式会社 MEDICAL IMAGE STORAGE / REPRODUCING DEVICE AND METHOD, AND PROGRAM
JP6858593B2 (en) 2017-03-02 2021-04-14 ソニー・オリンパスメディカルソリューションズ株式会社 Medical observation device and control method
WO2019111512A1 (en) * 2017-12-05 2019-06-13 ソニー・オリンパスメディカルソリューションズ株式会社 Medical information processing device and information processing method
EP3770913A4 (en) 2018-03-20 2021-05-12 Sony Corporation Operation assistance system, information processing device, and program
JP7094744B2 (en) * 2018-03-23 2022-07-04 ソニー・オリンパスメディカルソリューションズ株式会社 Medical observation device
JP2021029258A (en) 2019-08-13 2021-03-01 ソニー株式会社 Surgery support system, surgery support method, information processing device, and information processing program
US11743579B2 (en) 2020-03-17 2023-08-29 Sony Olympus Medical Solutions Inc. Control device and medical observation system
US11716532B2 (en) 2020-03-17 2023-08-01 Sony Olympus Medical Solutions Inc. Control apparatus and medical observation system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3272286B2 (en) * 1997-01-13 2002-04-08 株式会社三協精機製作所 Operating device for force assist device
JP5044069B2 (en) * 2000-09-26 2012-10-10 株式会社東芝 Medical diagnostic imaging equipment
DE10203215B4 (en) * 2002-01-28 2004-09-09 Carl Zeiss Jena Gmbh Microscope, in particular surgical microscope
JP3104051U (en) * 2004-03-16 2004-09-02 株式会社ユープロダクション Editing device for video recording of surgical operation
JP2006043209A (en) * 2004-08-05 2006-02-16 U Production:Kk Moving image recording apparatus for surgical operation
JP2011167301A (en) * 2010-02-17 2011-09-01 Asahikawa Medical College Surgery video image accumulating device, surgery video image accumulating method, and program

Also Published As

Publication number Publication date
JP2016042982A (en) 2016-04-04

Similar Documents

Publication Publication Date Title
JP6419487B2 (en) Medical observation system
US11389255B2 (en) Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
US11051890B2 (en) Interactive display for surgery with mother and daughter video feeds
US11941734B2 (en) Rendering tool information as graphic overlays on displayed images of tools
JP7073618B2 (en) Control devices, control methods and medical systems
JP6939778B2 (en) Control devices, control methods and surgical systems
JP6950707B2 (en) Information processing equipment and methods, and programs
JP6654006B2 (en) Medical observation device
EP4031050A1 (en) Surgical virtual reality user interface
EP3815598B1 (en) Video camera having video image orientation based on vector information
JP2016042981A (en) Medical observation device and medical observation system
JP7143846B2 (en) Information processing device, information processing method and information processing program
WO2018179681A1 (en) Medical observation apparatus and observation field correction method
WO2018221068A1 (en) Information processing device, information processing method and information processing program
JP7146735B2 (en) Control device, external equipment, medical observation system, control method, display method and program
JP2000166857A (en) Endoscope system with visual field movement
WO2018055888A1 (en) Medical observation device and medical observation system
JP7160042B2 (en) Image processing device, image processing method and image processing program
CN107920863B (en) Apparatus and method for controlling a system comprising an imaging modality
US20200304777A1 (en) Display device, medical observation system, display method, and computer readable recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181010

R150 Certificate of patent or registration of utility model

Ref document number: 6419487

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250