JP7417331B1 - Image processing equipment and camera system - Google Patents
Image processing equipment and camera system Download PDFInfo
- Publication number
- JP7417331B1 JP7417331B1 JP2023070430A JP2023070430A JP7417331B1 JP 7417331 B1 JP7417331 B1 JP 7417331B1 JP 2023070430 A JP2023070430 A JP 2023070430A JP 2023070430 A JP2023070430 A JP 2023070430A JP 7417331 B1 JP7417331 B1 JP 7417331B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- area
- camera
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001356 surgical procedure Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000006386 memory function Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 12
- 210000000683 abdominal cavity Anatomy 0.000 description 47
- 238000003384 imaging method Methods 0.000 description 23
- 210000003815 abdominal wall Anatomy 0.000 description 11
- 238000002357 laparoscopic surgery Methods 0.000 description 11
- 238000011282 treatment Methods 0.000 description 11
- 230000000740 bleeding effect Effects 0.000 description 10
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 8
- 210000000056 organ Anatomy 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 5
- 208000005646 Pneumoperitoneum Diseases 0.000 description 4
- 229910002092 carbon dioxide Inorganic materials 0.000 description 4
- 239000001569 carbon dioxide Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000003381 stabilizer Substances 0.000 description 4
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010008342 Cervix carcinoma Diseases 0.000 description 1
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 201000010881 cervical cancer Diseases 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007912 intraperitoneal administration Methods 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 210000001113 umbilicus Anatomy 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
Abstract
【課題】手術に支障を来すことなく、かつ、ネットワークや画像処理プロセッサへの負荷を小さくすることができるカメラシステムを提供する。【解決手段】人間の体壁3に装着するための体腔内手術用カメラ1に搭載されたイメージセンサ12からの画像データを処理する画像処理装置であって、イメージセンサ12が撮影した第1の領域R1内に、第1の領域R1よりも小さい第2の領域R2を設定する領域設定部201と、第1の領域R1に対応する第1の画像G1および第2の領域R2に対応する第2の画像G2を異なる表示領域に表示させる表示制御部191と、を備え、第2の画像R2のフレームレートが第1の画像R1のフレームレートよりも大きい。【選択図】図4An object of the present invention is to provide a camera system that does not interfere with surgery and can reduce the load on a network and image processing processor. [Solution] An image processing device that processes image data from an image sensor 12 mounted on a camera 1 for intrabody cavity surgery to be attached to a human body wall 3, the first image taken by the image sensor 12 A region setting unit 201 that sets a second region R2 smaller than the first region R1 within the region R1, and a first image G1 corresponding to the first region R1 and a second region R2 corresponding to the second region R2. a display control unit 191 that displays two images G2 in different display areas, and the frame rate of the second image R2 is higher than the frame rate of the first image R1. [Selection diagram] Figure 4
Description
本発明は、例えば腹腔鏡下で外科的手術を行う腹腔鏡手術などの体腔内手術用カメラに関するものである。 TECHNICAL FIELD The present invention relates to a camera for intra-body cavity surgery, such as laparoscopic surgery, for example.
近年、腹腔鏡手術が多くの施設で行われるようになり、実施している各施設においても、腹腔鏡手術の占める割合が増えている。腹腔鏡手術は開腹手術と違って、患者を開腹することなく、検査や治療処置を行う低侵襲性の手術である。周知のように、腹腔鏡手術では、患者の臍部近傍やその周辺の腹壁に5~15mm程度の小さな穴を複数箇所開けて(穿孔)、トロッカ(トラカールとも呼ぶ)を貫通させ(穿刺)、気腹ガス送気孔を通して、腹腔内に二酸化炭素ガスを注入して膨らませて(気腹)、このトロッカを介して内視鏡(手術用カメラ)や手術のための鉗子や電気メス、縫合用ステープラなどの処置具を挿入する。腹壁に取り付けられたトロッカの内部には、腹腔の気腹状態を維持するために気密弁が設けることもある。術者はこの内視鏡によって患部を観察しながら、これらの処置具を使って臓器の切開や縫合などの処置作業を行う。 In recent years, laparoscopic surgery has been performed in many facilities, and the proportion of laparoscopic surgery in each facility where it is performed is increasing. Laparoscopic surgery is a minimally invasive surgery that performs examinations and treatments without opening the patient's abdomen, unlike open surgery. As is well known, in laparoscopic surgery, multiple small holes of approximately 5 to 15 mm are made in the vicinity of the patient's umbilicus and the surrounding abdominal wall (perforation), and a trocar (also called a trocar) is penetrated (puncture). Carbon dioxide gas is injected into the abdominal cavity through the pneumoperitoneum gas inlet and inflated (pneumoperitoneum), and through this trocar, an endoscope (surgical camera), surgical forceps, electric scalpel, and suture stapler are inserted. Insert treatment tools such as An airtight valve may be provided inside the trocar attached to the abdominal wall to maintain the pneumoperitoneum state of the abdominal cavity. The surgeon uses these treatment tools to perform treatment operations such as incisions and sutures of organs while observing the affected area through this endoscope.
手術を始める際に、術者およびその手術に立ち会っている助手が、鉗子などを腹腔内に挿入する場合、通常、別の助手が、内視鏡を使って腹腔内に挿入された鉗子の先端部付近を映しながら、患部まで誘導する。また術者が臓器の切開や縫合を行う際には、内視鏡を患部の臓器に近づけて画像を撮影するために、視野が非常に狭くなってしまい、術者や助手なども含めて、この内視鏡で映し出されている狭い作業領域以外の腹腔内の状態(作業領域以外の処置具の動きなど)を把握することができない。そのため、前記のように鉗子を腹腔内に挿入する際や手術中に起きた内視鏡の視野の外での思わぬ出血や、ガーゼなどの残留物の回収忘れなどから、重大な医療事故を起こす危険性がある。 When the surgeon and an assistant present at the surgery insert forceps into the abdominal cavity, another assistant usually inserts the tips of the forceps into the abdominal cavity using an endoscope. Guide the patient to the affected area while showing the surrounding area. Furthermore, when a surgeon performs incisions and sutures on organs, the endoscope must be brought close to the affected organ to take images, resulting in a very narrow field of view, which can cause problems for both the surgeon and his assistants. It is not possible to grasp the state of the abdominal cavity other than the narrow working area shown by this endoscope (such as the movement of the treatment instrument outside the working area). Therefore, as mentioned above, serious medical accidents can occur, such as unexpected bleeding that occurs outside the field of view of the endoscope when inserting forceps into the abdominal cavity or during surgery, and forgetting to collect residual materials such as gauze. There is a risk of it happening.
このような問題の対策として、特許文献1~4では、上記のような患部を撮影する内視鏡に加えて、腹腔内全体を別のカメラで撮影する技術が報告されている。さらに特許文献5では、腹壁に設置して腹腔内を撮影するカメラを使って、腹腔内全体を撮像したデータから患部の画像を切り出して表示させるという撮像装置が報告されている。
As a countermeasure for such problems,
しかしながら、前記特許文献1の技術では、内視鏡とは別に腹腔内全体を撮影する体内監視カメラを装着する場合、体外から挿入され該カメラからの映像信号ラインを内蔵した針の先端のコネクタ部と、該カメラのコネクタ部とを腹腔内で鉗子などを使って取り付けなければならず、さらに手術などの処置作業が終了して該カメラを回収する場合なども、それ相応の繊細な熟練作業を要するという問題がある。
However, in the technology of
また前記特許文献2および3の技術は、前記特許文献1でのカメラの取り付けおよびカメラの回収を専用の導入回収専用具や支持管を使って簡素化するというものである。しかしながらこれら技術でも、腹腔内設置カメラの取り付けの際には、いずれも腹腔内のような直接目で見えない狭い空間で、該カメラとは別に挿入した内視鏡やLEDなどの照明器具を使った作業となり、時間と労力を要するという問題がある。
Furthermore, the techniques of
一方、前記特許文献4の技術は、少なくとも4本の脚部を備えた撮像装置(カメラ)を使って、腹腔内のような限られた空間のほぼ全ての方位を撮像するというものである。しかしながら、腹腔内に該カメラを投下し設置する場合、腹腔内の形状が複雑なために必ずしも一度で所望の場所、方向に設置できるとは限らない。その場合は、該カメラとは別に挿入した内視鏡やLEDなどの照明器具を使って、その設置場所の確認や調整(再設置)が必要となる。一方、カメラを回収する場合も同じように、内視鏡や照明器具を使っての作業が必要である。さらに手術などの処置作業の最中に、設置した該カメラが作業の邪魔になったり、作業の振動によって該カメラが所望の位置から移動してしまう場合もあり、その都度設置し直す必要が出てくるという問題がある。 On the other hand, the technique disclosed in Patent Document 4 uses an imaging device (camera) having at least four legs to capture images in almost all directions of a limited space such as the inside of the abdominal cavity. However, when the camera is dropped into the abdominal cavity and installed, it is not always possible to install it in the desired location and direction at once because the shape of the abdominal cavity is complex. In that case, it is necessary to confirm and adjust (reinstall) the installation location using an endoscope or lighting equipment such as an LED inserted separately from the camera. On the other hand, when recovering cameras, it is necessary to use endoscopes and lighting equipment. Furthermore, during treatment work such as surgery, the installed camera may get in the way of the work, or the camera may move from its desired position due to vibrations during the work, making it necessary to reinstall it each time. There is a problem with coming.
さらに、前記特許文献1~4の技術に共通する問題点として、以下のような現象が発生する。患部をLEDライトなどの照明器具で照射し、患部の画像を拡大して撮影する内視鏡に加えて、腹腔内全体を別のカメラで撮影する場合、腹腔内全体を撮影した映像は、患部に照射された光量が強いために、その箇所だけ白くぼやけてしまい(白飛び)、患部およびその周辺(術野)の画像が認識しづらくなるという問題が起こる。
Furthermore, as a problem common to the techniques of
一方、前記特許文献5では、腹腔を撮像する撮像装置の設置、固定方法および画像表示システムであって、腹腔内全体を撮像した画像をディスプレイ装置(第1表示部51)に表示させながら、その画像から一部の領域(患部)の画像を取り出して同時に別のディスプレイ装置(第2表示部52)に表示させる技術について記載されている。しかしながら、第1表示部51と第2表示部52のフレームレートについては言及されておらず、仮に、両者のフレームレートが同じである場合、以下のような問題が生じる。フレームレートを小さくすると(例えば10fps)、患部の画像が滑らかに表示されなくなるため、手術に支障を来すことになる。フレームレートを通常の動画と同程度にすると(例えば30fps)、第1表示部51および第2表示部52に送信される画像のデータ量が大きくなるため、ネットワークや画像処理プロセッサへの負荷が大きくなる。 On the other hand, Patent Document 5 discloses a method for installing and fixing an imaging device that images the abdominal cavity, and an image display system, which displays an image of the entire abdominal cavity on a display device (first display unit 51). A technique is described in which an image of a part of the area (affected area) is extracted from the image and simultaneously displayed on another display device (second display unit 52). However, there is no mention of the frame rates of the first display section 51 and the second display section 52, and if the frame rates of both are the same, the following problem will occur. If the frame rate is reduced (for example, 10 fps), the image of the affected area will not be displayed smoothly, which will impede the surgery. If the frame rate is set to the same level as a normal video (for example, 30 fps), the amount of image data sent to the first display section 51 and the second display section 52 will increase, resulting in a large load on the network and image processing processor. Become.
本発明は、上記問題を鑑みてなされたものであり、手術に支障を来すことなく、かつ、ネットワークや画像処理プロセッサへの負荷を小さくすることができるカメラシステムを提供することを課題とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a camera system that does not interfere with surgery and can reduce the load on the network and image processing processor. .
上記課題を解決するために、本発明は以下の態様を含む。
項1.
人間の体壁に装着するための体腔内手術用カメラに搭載されたイメージセンサからの画像データを処理する画像処理装置であって、
前記イメージセンサが撮影した第1の領域内に、前記第1の領域よりも小さい第2の領域を設定する領域設定部と、
前記第1の領域に対応する第1の画像および前記第2の領域に対応する第2の画像を異なる表示領域に表示させる表示制御部と、
を備え、
前記第2の画像のフレームレートが前記第1の画像のフレームレートよりも大きいことを特徴とする、画像処理装置。
項2.
前記表示制御部は、前記第2の画像を、前記第1の画像の前記第2の領域に対応する部分よりも大きく表示させる、項1に記載の画像処理装置。
項3.
前記第1の画像のフレームレートは1~24fpsである、項1または2に記載の画像処理装置。
項4.
前記第2の画像のフレームレートは12~60fpsである、項1または2のいずれかに記載の画像処理装置。
項5.
前記イメージセンサが、各画素内にメモリー機能を持つことを特徴とする、項1~4のいずれかに記載の画像処理装置。
項6.
前記イメージセンサの前記画素から画素信号を読出すタイミングを制御する読出制御部を備え、
前記読出制御部は、前記第1の領域の画素から画素信号を読出す周期を、前記第2の領域の画素から画素信号を読出す周期よりも長くすることを特徴とする、項5に記載の画像処理装置。
項7.
前記読出制御部は、前記第1の領域の画素から画素信号を読出すタイミングと、前記第2の領域の画素から画素信号を読出すタイミングとを異ならせることを特徴とする、項6に記載の画像処理装置。
項8.
項1~7のいずれかに記載の画像処理装置と、
前記画像処理装置に接続された、人間の体壁に装着するための体腔内手術用カメラと、
を備える、カメラシステム。
項9.
前記体腔内手術用カメラは、固定ユニットに装着された状態で用いられ、少なくとも前記イメージセンサを覆うレンズは、該レンズへの入射光が前記固定ユニットおよび前記体壁によって遮断されないように、前記体腔内に突出していることを特徴とする、項8に記載のカメラシステム。
項10.
前記体腔内手術用カメラは、広角レンズを搭載していることを特徴とする項8または9に記載のカメラシステム。
In order to solve the above problems, the present invention includes the following aspects.
An image processing device that processes image data from an image sensor mounted on an intracorporeal surgical camera to be attached to a human body wall,
an area setting unit that sets a second area smaller than the first area within the first area photographed by the image sensor;
a display control unit that displays a first image corresponding to the first area and a second image corresponding to the second area in different display areas;
Equipped with
An image processing device, wherein a frame rate of the second image is higher than a frame rate of the first image.
Item 3.
Item 3. The image processing device according to
Item 4.
3. The image processing device according to
Item 5.
5. The image processing device according to any one of
Item 6.
comprising a readout control unit that controls timing for reading out pixel signals from the pixels of the image sensor;
Item 5, wherein the readout control unit makes a period for reading out pixel signals from pixels in the first region longer than a period for reading out pixel signals from pixels in the second region. image processing device.
Section 7.
Item 6, wherein the readout control unit sets different timings for reading out pixel signals from pixels in the first area and timing for reading out pixel signals from pixels in the second area. image processing device.
Section 8.
The image processing device according to any one of
an intrabody cavity surgical camera connected to the image processing device and to be attached to a human body wall;
A camera system equipped with.
Item 9.
The camera for intrabody cavity surgery is used while being attached to a fixation unit, and a lens covering at least the image sensor is attached to the body cavity so that light incident on the lens is not blocked by the fixation unit and the body wall. 9. The camera system according to item 8, wherein the camera system protrudes inward.
Item 10.
10. The camera system according to item 8 or 9, wherein the camera for intrabody cavity surgery is equipped with a wide-angle lens.
本発明によれば、手術に支障を来すことなく、かつ、ネットワークや画像処理プロセッサへの負荷を小さくすることができるカメラシステムを提供できる。 According to the present invention, it is possible to provide a camera system that does not interfere with surgery and can reduce the load on the network and image processing processor.
以下、本発明の一実施形態について添付図面を参照して説明する。なお、以下の説明において、各図面は模式的なものであり、記載した構成の形状や材質、大きさなどや、各部分の厚みと幅との関係、それぞれの部分の厚みの比率などは、実際のものを反映させたものではなく、図面の明瞭化と簡略化のために適宜変更している。 Hereinafter, one embodiment of the present invention will be described with reference to the accompanying drawings. In addition, in the following explanation, each drawing is schematic, and the shape, material, size, etc. of the described structure, the relationship between the thickness and width of each part, the ratio of the thickness of each part, etc. The drawings do not reflect the actual objects and have been appropriately changed for clarity and simplification of the drawings.
図1は、本実施形態に係る体腔内手術用カメラ(以下、単にカメラと表記)1を、腹腔2の内部を撮影できるように、所望の形状に加工した固定ユニットを介して、腹壁3に取り付けた模式的断面図である。カメラ1は、主に本体部8およびカメラ支持管9を備えており、本体部8の腹腔2側に、広角レンズ6、LED照明装置10およびイメージセンサ12を搭載している。
FIG. 1 shows an intrabody surgical camera (hereinafter simply referred to as a camera) 1 according to the present embodiment attached to an abdominal wall 3 via a fixing unit machined into a desired shape so as to be able to photograph the inside of the
図1は、固定ユニットとして、トロッカ4および創縁保護器具5を使った場合を示す。腹壁3を穿孔して取り付けた創縁保護器具5に、本体部8を取り付けたトロッカ4を貫通させることにより、カメラ1を腹壁3に設置する。トロッカ4の先端は、カメラ1が所望の位置に留まるよう、すなわち、本体部8の腹腔2側の広角レンズ6の画角が遮られず、かつ広角レンズ6の先端表面と腹腔2の内壁との距離が最小になるように、ストッパ7を設けている。カメラ1の本体部8およびカメラ支持管9をステンレス製にしておけば、洗浄、殺菌処理等により再利用できる。本体部8の腹腔2内に挿入される広角レンズ6を含む先端部を透明フィルム等で覆うことによって、使用後の管理が簡素化できる。さらに、本体部8の先端部には、腹腔2の内部を照射するためのLED照明装置10が装着されている。
FIG. 1 shows the use of a trocar 4 and a wound edge protection device 5 as fixation units. The
なお、固定ユニットとして、トロッカ4および創縁保護器具5を一体化したものを使っても良い。また、トロッカ4には、必要に応じて、腹腔2の二酸化炭素ガスの漏れを最小限に防ぐための逆止弁11や、カメラ1で撮影された画像が腹腔2の揺れによってブレることを抑えるためのスタビライザ(図は省略)を設置しても良い。さらに、腹腔2内に二酸化炭素ガスを注入する際の気腹ガス送気孔(図は省略)を固定ユニットに取り付けても良い。カメラ支持管9の本体部8とは反対側の端部にケーブルコネクタが設けられており、信号線、電源線等のケーブル13を電気的に接続できるようになっている。
Note that as a fixed unit, a unit in which the trocar 4 and the wound edge protection device 5 are integrated may be used. In addition, the trocar 4 is equipped with a check valve 11 to minimize leakage of carbon dioxide gas from the
図2は、カメラ1を広角レンズ6の先端側から見た模式的正面図である。図中、イメージセンサ12の周囲にLED照明装置10が等間隔で4個取り付けられている。数量は必要に応じて変更しても良く、また形状も円形以外の、例えばイメージセンサ12の周囲を囲むようなリング状あるいは略リング状のものでも良い。図1に示すように、カメラ1をトロッカ4に装着する場合、トロッカ4の先端部に設けたストッパ7が、等間隔に取り付けられたLED照明装置10の間にはまることによって、カメラ1を所望の位置に固定できるようになっている。
FIG. 2 is a schematic front view of the
図3は、本実施形態に係るカメラシステム100の模式的概略図であり、腹腔鏡手術を行う患者14の腹壁3に、固定ユニット(トロッカ4および創縁保護器具5)でカメラ1を固定保持して、カメラ1に装着されたLED照明装置10で腹腔2の内部全体を照射して撮影している様子を表している。カメラシステム100は主に、カメラ1、画像処理プロセッサ19、撮像条件コントロール用パソコン20、およびモニター21、22を備えている。図3では、腹壁3の別の位置に開けた穿孔から、トロッカ15、16を介して、2本の鉗子17、18が腹腔2内に挿入されている。カメラ1のイメージセンサ12からの画像データは、ケーブル13を介して画像処理プロセッサ19に送信される。さらに画像処理プロセッサ19は、撮像条件コントロール用パソコン20、およびカメラ画像を見るためのモニター21、22に電気的に繋がれている。
FIG. 3 is a schematic diagram of the camera system 100 according to the present embodiment, in which the
図4は、カメラ1、画像処理プロセッサ19、撮像条件コントロール用パソコン20、およびモニター21、22の概略構成を示すブロック図である。画像処理プロセッサ19は、機能ブロックとして、表示制御部191と、読出制御部192とを備えている。撮像条件コントロール用パソコン20は、機能ブロックとして、領域設定部201と、フレームレート設定部202とを備えている。画像処理プロセッサ19および撮像条件コントロール用パソコン20は、特許請求の範囲に記載の画像処理装置に対応しており、これらを単体のコンピュータとして構成してもよい。また、画像処理プロセッサ19および撮像条件コントロール用パソコン20の少なくとも一部の機能を、カメラ1に搭載してもよい。
FIG. 4 is a block diagram showing a schematic configuration of the
カメラ1に搭載されたイメージセンサ12からは、イメージセンサ12が撮影した第1の領域R1の画像データが画像処理プロセッサ19に送信される。第1の領域R1は、イメージセンサ12のほぼ全画素を使って撮影した腹腔2内の広領域である。領域設定部201は、ユーザの操作に応じて、第1の領域R1内に、第1の領域R1よりも小さい第2の領域R2を設定する。第2の領域R2は、イメージセンサ12の一部の画素を使って撮影した腹腔2内の狭領域であり、本実施形態では、鉗子や電気メスなどが集中する患部23を含む術野である。
From the image sensor 12 mounted on the
表示制御部191は、第1の領域R1に対応する第1の画像および第2の領域R2に対応する第2の画像を異なる表示領域に表示させる。本実施形態では、表示制御部191は、第1の画像をモニター21に表示させ、第2の画像をモニター22に表示させる。モニター21は、主に手術助手が見るためのものであり、モニター22は、術者および手術助手が見るためのものである。なお、第1の画像および第2の画像を同じモニターの異なる表示領域に表示させてもよい。 The display control unit 191 displays a first image corresponding to the first region R1 and a second image corresponding to the second region R2 in different display regions. In this embodiment, the display control unit 191 displays the first image on the monitor 21 and displays the second image on the monitor 22. The monitor 21 is mainly for viewing by a surgical assistant, and the monitor 22 is for viewing by a surgeon and a surgical assistant. Note that the first image and the second image may be displayed in different display areas of the same monitor.
さらに図3には、腹腔2内の、手術を施している患部23を持った臓器24と、鉗子や電気メスなどを腹腔2内に挿入する際などに起きた出血部25や、手術後の残留物としてのガーゼ26についても表示している。ここで注目すべきは、術者が見ているモニター22には、患部23を含む第2の領域R2の第2の画像は映っているが、患部23を含む術野の外で発生している出血部25やガーゼ26の画像は映っていない。しかしながら、腹腔内の広領域である第1の領域R1に対応する第1の画像にはこれらの残留物(出血部25やガーゼ26)も映っており、第1の画像が表示されたモニター21を見ている手術助手等は、前記残留物の存在を認識することができる。
Furthermore, FIG. 3 shows an organ 24 in the
図5は、本実施形態のカメラ1で腹腔2の内部を撮影した場合の、第1の領域R1および第2の領域R2に対応する第1の画像G1および第2の画像G2を模式的に描いた図である。図5(a)は、撮像条件コントロール用パソコン20の図示しないモニターに表示された画像であり、該モニターには、第1の領域R1が表示される。第1の領域R1には、患部23の他、臓器24の出血部25やガーゼ26が含まれる。撮像条件コントロール用パソコン20の領域設定部201は、第1の領域R1内に破線枠で示す第2の領域R2を設定する。第2の領域R2は、主に患部23が含まれる術野である。
FIG. 5 schematically shows a first image G1 and a second image G2 corresponding to a first region R1 and a second region R2 when the inside of the
図5(b)は、モニター21に表示された第1の画像G1であり、図5(c)は、モニター22に表示された第2の画像G2である。術者に患部23をより見え易くするために、画像処理プロセッサ19の表示制御部191は、電子ズームにより、第2の画像G2を、第1の画像G1の第2の領域R2に対応する部分よりも大きく(約3倍程度に)表示させる。 5(b) is the first image G1 displayed on the monitor 21, and FIG. 5(c) is the second image G2 displayed on the monitor 22. In order to make the affected area 23 more visible to the surgeon, the display control unit 191 of the image processing processor 19 uses electronic zoom to display the second image G2 in a portion corresponding to the second region R2 of the first image G1. Display larger (approximately 3 times as large).
カメラ1に搭載した広角レンズ6の視野角が100°で、その広角レンズ6から腹腔2内の臓器24までの距離が約150mmの場合、第1の領域R1はアスペクト比16:9の場合、約300mmx170mmとなり、腹腔2内のほぼ全領域を撮影することができる。
When the viewing angle of the wide-angle lens 6 mounted on the
術者は主に第2の画像G2(図5(c))が映し出されているモニター22の画面を見ながら手術などの処置作業を行う。術者以外の手術助手などは、モニター21、22に表示される第1の画像G1および第2の画像G2を適時見ながら、術者の処理作業が円滑に進むように適切なフォローを行う。また、術者から第2の領域R2の位置、サイズ変更、さらに画像の拡大(ズーム)の指示が出た場合、撮像条件コントロール用パソコン20の領域設定部201によって、術者の指示に沿った位置、サイズに変更したり、画像を拡大することができる。 The operator performs treatment operations such as surgery while mainly looking at the screen of the monitor 22 on which the second image G2 (FIG. 5(c)) is displayed. A surgical assistant other than the surgeon watches the first image G1 and the second image G2 displayed on the monitors 21 and 22 from time to time and provides appropriate follow-up so that the surgeon's processing work proceeds smoothly. In addition, when the surgeon gives instructions to change the position and size of the second region R2, and to enlarge (zoom) the image, the region setting unit 201 of the imaging condition control computer 20 will adjust the position and size of the second region R2 according to the surgeon's instructions. You can change the position, size, and enlarge the image.
術者が処置作業をしている間に、何らかの異常が発見された場合、例えば、手術中に患部23および患部近傍(術野)から離れた場所(第2の画像G2が映し出されているモニター22には映っていない場所)から、図5(a)に示すような出血部25が発見された場合は、第1の画像G1を映し出しているモニター21を見ている、主に術者以外の手術助手などは、直ちにその異常事態に気付くことができ、止血などの適切な処置を施すことができる。また、処理作業完了後に、腹腔2内全体をモニター21で確認して、例えば、図5(a)に示すようなガーゼ26を発見した場合は、鉗子を使って直ちに取り出すなどの適切な処置を施すことができる。処置作業中の画像を録画しておけば、処置作業の内容を確認したり、異常発生の原因を究明したりすることにも利用することができる。
If some abnormality is discovered while the surgeon is performing treatment work, for example, during the surgery, the patient may be asked to check the affected area 23 and the area away from the vicinity of the affected area (operative field) (on the monitor where the second image G2 is displayed). If a bleeding area 25 as shown in FIG. 5(a) is discovered from a location not shown in 22), a person other than the operator who is looking at the monitor 21 displaying the first image G1 Surgical assistants and others can immediately notice the abnormal situation and take appropriate measures such as stopping the bleeding. In addition, after the processing work is completed, if the entire inside of the
(画像信号処理の方法)
図6に示すように、第1の領域R1を、カメラ1に搭載されたイメージセンサ12のほぼ全画素を使って撮影した広領域(領域ABCD)とし、第2の領域R2を、イメージセンサ12の一部の画素を使って撮影した狭領域(領域EFGH)とし、領域R1’を、第1の領域R1から第2の領域R2を除去した残りの領域(図6では塗りつぶしで表示)とする。
(Image signal processing method)
As shown in FIG. 6, the first region R1 is a wide region (region ABCD) photographed using almost all pixels of the image sensor 12 mounted on the
本実施形態では、イメージセンサ12が、各画素内にメモリー機能を持つグローバルシャッター対応のCMOSイメージセンサであり、画像処理プロセッサ19の読出制御部192は、イメージセンサ12の前記画素から画像データを読出すタイミングを制御する。具体的には、読出制御部192は、第1の領域R1に対応する画素から画像データを読出す周期を、第2の領域R2に対応する画素から画像データを読出す周期よりも長くする。また、読出制御部192は、第1の領域R1に対応する画素から画像データを読出すタイミングと、第2の領域R2に対応する画素から画像データを読出すタイミングとを異ならせる。このような制御の一例を、図7および図8を参照して説明する。 In this embodiment, the image sensor 12 is a global shutter compatible CMOS image sensor that has a memory function in each pixel, and the readout control unit 192 of the image processing processor 19 reads image data from the pixels of the image sensor 12. Control the timing. Specifically, the readout control unit 192 makes the cycle of reading image data from pixels corresponding to the first region R1 longer than the cycle of reading image data from pixels corresponding to the second region R2. Further, the readout control unit 192 makes the timing at which image data is read out from the pixels corresponding to the first region R1 and the timing at which image data is read out from the pixels corresponding to the second region R2 different from each other. An example of such control will be described with reference to FIGS. 7 and 8.
図7は、第1の領域R1および第2の領域R2の画素信号の読出しタイミングと、残りの領域R1’および第2の領域R2の画素信号の蓄積時間を、時系列に模式的に表した図である。ここでは一例として、第1の領域R1および第2の領域R2の画素信号の読出し速度(フレームレート)を、それぞれ10fpsおよび30fpsとし、第1の領域R1の画像データを1回読出している間に、第2の領域R2は3回読出している場合を想定している。また、図中の○印は領域R1’の画素から読出された画素信号(電荷)を表し、●印は第2の領域R2の画素から読出された画素信号を表している。 FIG. 7 schematically represents the readout timing of pixel signals in the first region R1 and the second region R2 and the accumulation time of the pixel signals in the remaining region R1' and the second region R2 in a time series. It is a diagram. Here, as an example, the readout speeds (frame rates) of pixel signals in the first region R1 and the second region R2 are set to 10 fps and 30 fps, respectively, and while the image data of the first region R1 is read out once, , it is assumed that the second region R2 is read three times. Further, the ◯ marks in the figure represent pixel signals (charges) read out from the pixels in the region R1', and the ● marks represent the pixel signals read out from the pixels in the second region R2.
時刻t1で第1の領域R1の画素(フォトダイオード)から1フレーム分の画素信号を読出して、1/10秒後のt2までの間に、読出した画素信号を画素データとして出力する。この出力が完了する時刻t2までの間に、第1の領域R1の画素では次のフレームの画素信号の蓄積が開始される。続いて時刻t2で、時刻t1~t2間で蓄積された第1の領域R1の画素の画素信号を読出して、1/10秒後のt3までの間に画素データとして出力し、この出力が完了する時刻t3までの間に、第1の領域R1の画素に画素信号が蓄積される。これを繰り返す。1/10秒の間に蓄積される画素信号は、領域R1’では画素の容量分(図中では30個の○印で表記)であるが、後述するように、第2の領域R2では本来画素に蓄積されている容量の1/6(図中では5個の●印で表記)である。すなわち、時刻t1、t2、…で第1の領域R1の画素から読出される画素信号は、図中では30個の○印と5個の●印となる。
At time t1, pixel signals for one frame are read out from the pixels (photodiodes) in the first region R1, and the read out pixel signals are output as pixel data by
一方、第2の領域R2の画素信号の読出しタイミングと画素データの出力については、図7のように、時刻t1から1/60秒後の時刻u1で第2の領域R2の画素から1フレーム分の画素信号を読出して、1/30秒後のu2までの間に読出した画素信号を画素データとして出力する。この出力が完了する時刻u2までの間に、第2の領域R2の画素に次のフレームの画素信号の蓄積が開始される。続いて時刻u2で、時刻u1~u2間で蓄積された第2の領域R2の画素の電荷を読出して、1/30秒後のu3までの間に画素データとして出力し、この出力が完了する時刻u3までの間に、第2の領域R2の画素に電荷が蓄積される。これを時刻u3、u4、…で繰り返す。
On the other hand, regarding the readout timing of pixel signals in the second region R2 and the output of pixel data, as shown in FIG. The pixel signals read out until
第1の領域R1の画像信号読出し時(時刻t1、t2、…)に読出される第2の領域R2の画素信号量は、蓄積時間が例えば時刻u3~t2の1/60秒であるため、1/10秒の間に蓄積される画素信号の1/6となる。そのため、第1の領域R1の画像信号読出し時に読出される第2の領域R2の画素信号量は、第2の領域R2のみの画像信号読出し時(時刻u1、u2、…)に読出される画素信号量(蓄積時間1/30秒)の半分であり、第2の領域R2の輝度は周囲(領域R1’)の1/6に低減する。これは、例えば、時刻t2の時点で領域R1’の画素に蓄積されている電荷量は、時刻t1から時刻t2の間の1/10秒間に光電変換されたものであるが、第2の領域R2の画素からは、時刻t1から時刻t2の間に、既に時刻u1、u2、u3で1/30秒ごとに電荷が3回読出されているので、時刻t2の時点で第2の領域R2の画素に蓄積されている電荷量は、時刻u3から1/60秒後までの間に光電変換されたものとなるためである。ただ現実的には、腹腔鏡手術を行っている術者は、第2の領域R2の画像(術野)を拡大して見ているので、第1の領域R1の画像(腹腔内全体)の中の第2の領域R2の画像は少々暗くても実用上、支障はない。ただ第2の領域R2の画像の輝度低減が気になるようであれば、第1の領域R1の画像データ出力時にゲインを上げる操作を実施しても良い。
The pixel signal amount of the second region R2 read out when the image signal of the first region R1 is read out (times t1, t2, . . . ) is because the accumulation time is, for example, 1/60 second from time u3 to time t2. This is 1/6 of the pixel signal accumulated during 1/10 seconds. Therefore, the pixel signal amount of the second region R2 read out when reading out the image signal of the first region R1 is the same as that of the pixel signal read out when reading out the image signal of only the second region R2 (times u1, u2,...). This is half the signal amount (
時刻t2の直後の第2の領域R2の画素信号読出し時(時刻u4)に読出される画像信号量も、時刻u4の時点で第2の領域R2の画素に蓄積されている電荷量は、時刻t2から時刻u4の間の1/60秒間に光電変換されたものとなり(時刻u3から時刻t2の間の1/60秒間に光電変換された第2の領域R2の画素に蓄積されている電荷は、時刻t2の時点ですでに第1の領域R1の信号として読出されているため)、時刻u3で読出される画素信号の半分になる。しかし、第2の領域R2のフレーム中、輝度が半分になるフレームは全フレームの1/3であるため、術者への見え方に影響はない。 The amount of image signals read out when pixel signals in the second region R2 are read out immediately after time t2 (time u4) is also the same as the amount of charge accumulated in the pixels in the second region R2 at time u4. The charges accumulated in the pixels of the second region R2 that were photoelectrically converted during 1/60 seconds between time u3 and time t2 are , since it has already been read out as a signal of the first region R1 at time t2), it becomes half of the pixel signal read out at time u3. However, among the frames in the second region R2, the frame where the luminance is halved is ⅓ of all frames, so there is no effect on how the operator sees it.
図7の中で、第2の領域R2の画像信号読出し、データ出力動作を時系列で追っていくと、下記のようになる。
(1) 画素信号(7)読出し:時刻t1で開始
(2) 画素信号(3)読出し:時刻u1(時刻t1から1/60秒後)で開始
(3) (2)で読出した画素データ出力:時刻u2で完了
(4) 画素信号(5)読出し:時刻u2(時刻u1から1/30秒後)で開始
(5) (4)で読出した画素データ出力:時刻u3で完了
(6) 画素信号(8)読出し:時刻u3(時刻u2から1/30秒後)で開始
(7) (1)で読出した画素データ出力:時刻t2で完了
(8) (6)で読出した画素データ出力:時刻u4で完了
In FIG. 7, the image signal readout and data output operations in the second region R2 are followed in chronological order as follows.
(1) Pixel signal (7) readout: Starts at time t1 (2) Pixel signal (3) readout: Starts at time u1 (1/60 seconds after time t1) (3) Output of pixel data read out in (2) : Completed at time u2 (4) Pixel signal (5) reading: Started at time u2 (1/30 seconds after time u1) (5) Pixel data output read in (4): Completed at time u3 (6) Pixel Signal (8) readout: Start at time u3 (1/30 seconds after time u2) (7) Output of pixel data read out in (1): Completed at time t2 (8) Output pixel data read out in (6): Completed at time u4
カメラ1に搭載されたイメージセンサ12が、画素内にメモリー機能を持つイメージセンサ(例えば、グローバルシャッター対応のCMOSイメージセンサ)である場合、時刻t1で第1の領域R1の画素から読出された画素信号は、一旦前記メモリーに転送され、時刻t1から1/10秒の間に画素データが出力される。一方、時刻u1、u2、u3で1/30秒ごとに第2の領域R2の画素から読出された画素信号も(上記(2)、(4)、(6))、同様に前記メモリーに転送され、それぞれ1/30秒間に画像データ出力される(上記(3)、(5)、(8))。
If the image sensor 12 mounted on the
図8は、第1の領域R1および第2の領域R2の画素信号読出し時に読出される画像(イメージ図)を、図7の読出しタイミング(t1、t2、…、およびu1、u2、…)に合わせて嵌め込んで模式的に表した図である。図7および図8では、第1の領域R1および第2の領域R2のフレームレートを、10fpsおよび30fpsとしたが、必ずしもこれに限定されるものではない。第2の領域R2の画像のフレームレートが、第1の領域R1の画像のフレームレートよりも大きければ良く、第1の領域R1の画像データを読出してデータ出力している期間内に、第2の領域R2の画像データを少なくとも1回以上読出してデータ出力するのであれば良い。すなわち、読出制御部192は、第1の領域R1の画素から画素信号を読出す周期を、第2の領域R2の画素から画素信号を読出す周期よりも長くすれば良い。これにより、第1の領域R1の画像のフレームレートが小さいため、第1の領域R1および第2の領域R2の各画像のフレームレートがどちらも30fpsである場合に比べ、ネットワークや画像処理プロセッサ19への負荷を低減することができる。また、第2の領域R2の画像のフレームレートが大きいため、手術に支障を来すことはない。よって、手術に支障を来すことなく、かつ、ネットワークや画像処理プロセッサへの負荷を小さくすることができる。 FIG. 8 shows an image (image diagram) read out during pixel signal readout of the first region R1 and second region R2, aligned with the readout timing (t1, t2, ..., and u1, u2, ...) of FIG. FIG. In FIGS. 7 and 8, the frame rates of the first region R1 and the second region R2 are 10 fps and 30 fps, but the frame rate is not necessarily limited to this. It is sufficient that the frame rate of the image in the second region R2 is higher than the frame rate of the image in the first region R1, and the second region It is sufficient if the image data of the area R2 is read out at least once and outputted. That is, the readout control unit 192 may make the period for reading out pixel signals from the pixels in the first region R1 longer than the period for reading out the pixel signals from the pixels in the second region R2. As a result, since the frame rate of the image in the first region R1 is low, compared to the case where the frame rate of each image in the first region R1 and the second region R2 is both 30 fps, the network and image processing processor 19 It is possible to reduce the load on Furthermore, since the frame rate of the image in the second region R2 is high, there is no problem in the surgery. Therefore, it is possible to reduce the load on the network and image processing processor without causing any hindrance to the surgery.
第1の領域R1の第2の領域R2以外の領域は、出血や残留物の有無を確認できればよいため、第1の領域R1の画像のフレームレートは1~24fpsであることが望ましい。一方、第2の領域R2には患部が含まれるため、第2の領域R2の画像のフレームレートは12~60fpsであることが望ましい。出来れば、読出制御部192は、第1の領域R1の画素から画素信号を読出すタイミングと、第2の領域R2の画素から画素信号を読出すタイミングとを異ならせることが望ましい。すなわち、読出制御部192は、第1の領域R1と第2の領域R2の画像データが同時に出力されることのないように設定されることが望ましい。 In the first region R1 other than the second region R2, it is sufficient to confirm the presence or absence of bleeding or residue, so it is desirable that the frame rate of the image of the first region R1 is 1 to 24 fps. On the other hand, since the second region R2 includes the affected area, it is desirable that the frame rate of the image of the second region R2 is 12 to 60 fps. If possible, it is desirable for the readout control unit 192 to make the timing at which pixel signals are read out from the pixels in the first region R1 different from the timing at which the pixel signals are read out from the pixels in the second region R2. That is, it is desirable that the readout control unit 192 be set so that the image data of the first region R1 and the second region R2 are not output at the same time.
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various changes can be made without departing from the spirit thereof.
以下、本発明の実施例について説明するが、ここでは本技術であるイメージセンサから画像データを読出してデータ出力する場合の撮像例を挙げることが目的であるため、被写体としては実際の腹腔鏡手術での撮影例ではなく、暗幕で囲んだ空間に果物を配置した静物であることを付記しておく。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。 Examples of the present invention will be described below, but since the purpose here is to give an example of imaging when image data is read out and output from the image sensor of this technology, the subject is an actual laparoscopic surgery. I would like to add that this is not an example of a photograph taken in the 2000s, but a still life of fruits arranged in a space surrounded by a blackout curtain. For convenience of explanation, members having the same functions as those described in the above embodiments will be denoted by the same reference numerals, and the description thereof will be omitted.
本実施例で用いられるカメラは、図1に示すカメラ1と同じ構成である。カメラ1の本体部8に組み込まれているカメラモジュールには、グローバルシャッター対応の2/3型5MCMOSセンサが搭載されており、本体部8の腹腔2側には、超小型のLED照明装置10およびイメージセンサ12が取り付けてある。イメージセンサ12から被写体である静物までの距離は約180mmである。また該カメラモジュールには、光学式手振れ補正OIS(Optical Image Stabilizer)が組み込まれており、視野角86°の広角レンズ6が装着されている。該カメラモジュールから取り出された信号は、図3に示す画像処理プロセッサ19を介して撮像条件コントロール用パソコン20と2台のモニター21、22に送信され、被写体の映像を確認できるようになっている。
The camera used in this example has the same configuration as
本実施例で撮影した映像を図9に示す。図9(a)は、アスペクト比16:9のモニターに表示した場合に約280mmx160mmとなるように、広領域の第1の領域R1を通常の読出し方法で撮影した映像例である。図9(b)は、広領域の第1の領域R1をアスペクト比16:9で水平画素数1,920画素を使って10fpsで撮影した撮像例であり、図9(c)は、広領域の第1の領域R1内に設定された狭領域の第2の領域R2をアスペクト比16:9で水平画素数640画素を使って30fpsで出力し、電子ズーム機能を用いて約3倍に拡大した撮像例である。 FIG. 9 shows an image taken in this example. FIG. 9A is an example of a video image taken using a normal reading method of a wide first region R1 so as to be approximately 280 mm x 160 mm when displayed on a monitor with an aspect ratio of 16:9. FIG. 9(b) is an example of imaging in which the first region R1 of a wide area is photographed at 10 fps using an aspect ratio of 16:9 and 1,920 horizontal pixels. Output the narrow second region R2 set within the first region R1 at 30 fps with an aspect ratio of 16:9 and 640 horizontal pixels, and enlarge it approximately 3 times using the electronic zoom function. This is an example of imaging.
図9(b)の第1の領域R1の撮像例では、白の破線で囲んだ領域(第2の領域R2)の画像が、周囲(領域R1’)よりも暗いのは、前述したように、第2の領域R2の画素から読出される画素信号の量が領域R1’の1/6しかないためであるが、第2の領域R2の画像はもう一方のモニターで確認できるので、実用上問題はなく、必要とあれば第1の領域R1の画像データ出力時のゲインを上げても良い。 In the imaging example of the first region R1 in FIG. 9(b), the image of the region surrounded by the white dashed line (second region R2) is darker than the surrounding area (region R1'), as described above. This is because the amount of pixel signals read out from the pixels in the second region R2 is only 1/6 of that in the region R1', but since the image in the second region R2 can be confirmed on the other monitor, it is practically There is no problem, and if necessary, the gain at the time of outputting the image data of the first region R1 may be increased.
また腹腔鏡手術においては、図3に示すように、トロッカ15、16を介して腹腔2内に挿入された鉗子17、18や電気メス、縫合用ステープラなどの処置具が移動することによって、腹壁3が振動し、カメラ1の画像にブレが生じることがある。特に拡大した映像ではブレの影響は大きくなる。本実施例では、カメラモジュールに光学式手振れ補正OIS(Optical Image Stabilizer)を組み込んでいるので、該振動の影響を抑えることができる。また、前記ブレを抑えるためのスタビライザ(図は省略)を設置しても良く、さらにカメラ1を固定している固定ユニットを、上部から吊り下げられる器具を設けて、カメラ1を安定に設置できるような処置を取っても良い。
In addition, in laparoscopic surgery, as shown in FIG. 3, treatment instruments such as forceps 17 and 18, an electric scalpel, and a suture stapler inserted into the
[付記事項]
以上記載した実施例では、撮像条件コントロール用パソコン20を電気的に繋いでいるが、代わりにタッチパネルで操作できるタブレットやスマートフォンを無線で繋いで、第2の領域R2の位置、サイズの変更や電子ズーム操作を遠隔で行っても良い。
[Additional notes]
In the embodiment described above, the personal computer 20 for controlling the imaging conditions is electrically connected, but instead, a tablet or smartphone that can be operated with a touch panel is connected wirelessly to change the position and size of the second region R2, and Zoom operations may also be performed remotely.
上記の実施形態では、腹腔内に二酸化炭素ガスを注入して行う従来手技の腹腔鏡手術を例に挙げて以下に説明したが、本発明は、上記の実施形態に限定されるものではなく、腹腔鏡手術以外の胸腔鏡手術用カメラや、固定ユニットを変更することによって、子宮頸がん検査に使われるコルポスコープ、手術用ヘッドマウントカメラなどの医療用カメラや、さらに建設現場などで使われる業務用ウェアラブルカメラなどにも適用することができる。例えば、体壁に設置するだけでなく、カメラを装着する際に用いる固定ユニットを業務用ウェアラブルカメラとして使えるように変更すれば、現場の広領域の映像だけでなく、注目したい領域を絞って、電子ズームで拡大するなどを遠隔操作で行うことによって、見落としがちな周囲の状況を把握しながら、作業を円滑に進めることができる。 In the above embodiment, a conventional technique of laparoscopic surgery performed by injecting carbon dioxide gas into the abdominal cavity is described below as an example, but the present invention is not limited to the above embodiment. By changing the fixation unit, it can be used in cameras for thoracoscopic surgery other than laparoscopic surgery, colposcopes used for cervical cancer examinations, medical cameras such as surgical head-mounted cameras, and even at construction sites. It can also be applied to professional wearable cameras. For example, in addition to installing it on the body wall, if you change the fixed unit used to attach the camera so that it can be used as a professional wearable camera, you can not only capture a wide area of the scene, but also narrow down the area you want to focus on. By remotely controlling things such as electronic zooming, you can keep track of your surroundings, which are often overlooked, and work smoothly.
1:体腔内手術用カメラ
2:腹腔
3:腹壁
4、15、16:トロッカ
5:創縁保護器具
6:広角レンズ
7:ストッパ
8:本体部
9:カメラ支持管
10:LED照明装置
11:逆止弁
12:イメージセンサ
13:ケーブル
14:患者
17、18:鉗子
19:画像処理プロセッサ
191:表示制御部
192:読出制御部
20:撮像条件コントロール用パソコン
201:領域設定部
202:フレームレート設定部
21、22:モニター
23:患部
24:臓器
25:出血部
26:ガーゼ
100:カメラシステム
1: Intrabody cavity surgical camera 2: Abdominal cavity 3: Abdominal wall 4, 15, 16: Trocar 5: Wound edge protection device 6: Wide-angle lens 7: Stopper 8: Main body 9: Camera support tube 10: LED lighting device 11: Reverse Stop valve 12: Image sensor 13: Cable 14: Patients 17 and 18: Forceps 19: Image processing processor 191: Display control section 192: Readout control section 20: Imaging condition control personal computer 201: Area setting section 202: Frame rate setting section 21, 22: Monitor 23: Affected area 24: Organ 25: Bleeding area 26: Gauze 100: Camera system
Claims (7)
前記イメージセンサが撮影した第1の領域内に、前記第1の領域よりも小さい第2の領域を設定する領域設定部と、
前記第1の領域に対応する第1の画像および前記第2の領域に対応する第2の画像を異なる表示領域に表示させる表示制御部と、
を備え、
前記第2の画像のフレームレートが前記第1の画像のフレームレートよりも大きく、
前記イメージセンサが、各画素内にメモリー機能を持ち、
前記画像処理装置は、
前記イメージセンサの前記画素から画素信号を読出すタイミングを制御する読出制御部を備え、
前記読出制御部は、前記第1の領域の画素から画素信号を読出す周期を、前記第2の領域の画素から画素信号を読出す周期よりも長くするとともに、前記第1の領域の画素から画素信号を読出すタイミングと、前記第2の領域の画素から画素信号を読出すタイミングとを異ならせることを特徴とする、画像処理装置。 An image processing device that processes image data from an image sensor mounted on an intracorporeal surgical camera to be attached to a human body wall,
an area setting unit that sets a second area smaller than the first area within the first area photographed by the image sensor;
a display control unit that displays a first image corresponding to the first area and a second image corresponding to the second area in different display areas;
Equipped with
the frame rate of the second image is higher than the frame rate of the first image,
The image sensor has a memory function in each pixel,
The image processing device includes:
comprising a readout control unit that controls timing for reading out pixel signals from the pixels of the image sensor;
The readout control unit is configured to read out pixel signals from pixels in the first area at a longer period than at pixels in the second area, and read out pixel signals from pixels in the first area at An image processing device, characterized in that the timing at which pixel signals are read out and the timing at which pixel signals are read out from pixels in the second region are made different .
前記画像処理装置に接続された、人間の体壁に装着するための体腔内手術用カメラと、を備える、カメラシステム。 The image processing device according to any one of claims 1 to 4 ,
A camera system comprising: an intracorporeal surgical camera for mounting on a human body wall, connected to the image processing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023070430A JP7417331B1 (en) | 2023-04-21 | 2023-04-21 | Image processing equipment and camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023070430A JP7417331B1 (en) | 2023-04-21 | 2023-04-21 | Image processing equipment and camera system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP7417331B1 true JP7417331B1 (en) | 2024-01-18 |
Family
ID=89534181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023070430A Active JP7417331B1 (en) | 2023-04-21 | 2023-04-21 | Image processing equipment and camera system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7417331B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007222238A (en) | 2006-02-21 | 2007-09-06 | Fujinon Corp | Intracoelomic observation device |
JP2009225933A (en) | 2008-03-21 | 2009-10-08 | Fujifilm Corp | Capsule endoscope system, and capsule endoscope motion control method |
JP4861540B2 (en) | 2010-05-10 | 2012-01-25 | オリンパスメディカルシステムズ株式会社 | Medical equipment |
JP2014094089A (en) | 2012-11-08 | 2014-05-22 | Fujifilm Corp | Endoscope system |
JP2019130005A (en) | 2018-01-31 | 2019-08-08 | 京セラ株式会社 | Imaging apparatus, display system, and surgery system |
-
2023
- 2023-04-21 JP JP2023070430A patent/JP7417331B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007222238A (en) | 2006-02-21 | 2007-09-06 | Fujinon Corp | Intracoelomic observation device |
JP2009225933A (en) | 2008-03-21 | 2009-10-08 | Fujifilm Corp | Capsule endoscope system, and capsule endoscope motion control method |
JP4861540B2 (en) | 2010-05-10 | 2012-01-25 | オリンパスメディカルシステムズ株式会社 | Medical equipment |
JP2014094089A (en) | 2012-11-08 | 2014-05-22 | Fujifilm Corp | Endoscope system |
JP2019130005A (en) | 2018-01-31 | 2019-08-08 | 京セラ株式会社 | Imaging apparatus, display system, and surgery system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11033338B2 (en) | Medical information processing apparatus, information processing method, and medical information processing system | |
US6950691B2 (en) | Surgery support system and surgery support method | |
EP3534620B1 (en) | Signal processing device and method, and program | |
JPH08140991A (en) | Observing apparatus for medical treatment | |
WO2020045015A1 (en) | Medical system, information processing device and information processing method | |
US11540700B2 (en) | Medical supporting arm and medical system | |
JP2005169009A (en) | Endoscope system and endoscope | |
JPWO2018096987A1 (en) | Information processing apparatus and method, and program | |
US12070182B2 (en) | Signal processing device, imaging device, and signal processing method | |
EP3459430A1 (en) | Endoscope device | |
US20190154953A1 (en) | Control apparatus, control system, and control method | |
US11883120B2 (en) | Medical observation system, medical signal processing device, and medical signal processing device driving method | |
CN110913787B (en) | Operation support system, information processing method, and information processing apparatus | |
JPH11318936A (en) | Microscopic device for operation | |
EP3641296A1 (en) | Image processing device, image processing method, and image capture system | |
JP7417331B1 (en) | Image processing equipment and camera system | |
WO2018088237A1 (en) | Image processing device, setting method, and program | |
JP2008080115A (en) | Endoscope camera and endoscope camera system | |
EP3598735A1 (en) | Imaging device, video signal processing device, and video signal processing method | |
JP2021164494A (en) | Medical observation system, medical observation apparatus, and method for driving medical observation apparatus | |
WO2020203265A1 (en) | Video signal processing device, video signal processing method, and image-capturing device | |
JP7456385B2 (en) | Image processing device, image processing method, and program | |
US20210228061A1 (en) | Medical observation system, medical observation apparatus, and drive method of medical observation apparatus | |
US10917555B2 (en) | Imaging apparatus, focus control method, and focus determination method | |
JP7552593B2 (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230818 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7417331 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |