JP6436606B1 - 医療映像システム - Google Patents
医療映像システム Download PDFInfo
- Publication number
- JP6436606B1 JP6436606B1 JP2018141822A JP2018141822A JP6436606B1 JP 6436606 B1 JP6436606 B1 JP 6436606B1 JP 2018141822 A JP2018141822 A JP 2018141822A JP 2018141822 A JP2018141822 A JP 2018141822A JP 6436606 B1 JP6436606 B1 JP 6436606B1
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- medical
- mobile terminal
- image recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
この種の医療映像システムに適用可能な技術を開示している先行技術文献として、下記の特許文献1を例示する。
上記の先行技術文献に開示されている技術を適用すれば、一定の改善を図ることができるが、未だ十分なものとは言い難い。
図1は、本実施形態に係る医療映像システム100を示す図である。
なお、図1に図示される矢印は、各構成要素の間において授受される映像データの出力元と入力先とを示すものである。従って、映像データ以外のデータ等の授受については、必ずしも各矢印が示す送受信方向と一致しなくてよい。
ここで広角撮影とは、単眼の広角レンズを用いて撮影して通常より広範囲の映像を得ること、複数のレンズ(標準レンズ及び広角レンズのいずれであっても良い)を互いに相違する方向に向けて撮影し、撮影した映像を複数結合して通常より広範囲の映像を得ることをいう。
本実施形態で用いる半天球カメラ111は、3つの広角レンズを120度間隔で配置し、各広角レンズを用いて撮影された3つの映像をソフトウェア処理(画像処理)によって結合して1つの展開映像を得る。このような処理を行うので、半天球カメラ111の撮影によって得られる展開映像は水平方向の展開角度が360度に達することを特徴とする。
従って、手術室に半天球カメラ111を設置することにより、当該手術室の全景を漏れなく撮影可能であり、術野近傍の様子の他に、手術室内で動いている各医療関係者の動作、バイタルサインを表示する医療機器の画面を一度に撮影することができる。このように撮影された映像を改竄することは困難であるため、施術に係る状況証拠として用いる際にその確からしさを十分に担保することができる。
半天球カメラ111は、台座部116と、支持部117と、本体部113と、を備える。本体部113は、3つの広角レンズを有しており、そのうちレンズ114とレンズ115とを図2に図示している。
本体部113は、半天球カメラ111の主たる機能(撮影機能を含む)を有する部分であり、支持部117によって台座部116に結合されている。台座部116は、手術の術野の上方に設置されることが好ましく、手術室の天井に直に設置されてもよいし、専用の支柱(不図示)を術野の上方まで伸ばして当該支柱に設置されてもよい。
図2で図示した半天球カメラ111は、本発明に用いられる展開映像を撮影する手段の一例であり、必ずしも撮影手段を本発明の構成要素として含まなくてもよい。また、本発明の構成要素に撮影手段を含めて実施する場合であっても、撮影手段は上記のような構造を備えずともよい。例えば、撮影手段のレンズの種別は必ずしも広角レンズではなくてもよいし、撮影手段のレンズの数は増減してもよい。
当該展開映像の上部には、手術室の天井付近のディスプレイ装置201や、無影灯をスライドさせるために設けられたガイドレール202等が撮影されている。図3に図示されているディスプレイ装置201やガイドレール202のように、容易に識別がつかない程に大きく歪む被写体も存在しうる。
また、当該展開映像には、複数の医療関係者(執刀医204、助手203、医療スタッフ205〜211)が撮影されている。なお、以下の説明においては、これらの医療関係者を総称して施術者と称する場合がある。
図4は、定点カメラ112によって撮影された映像の一具体例を示している。図3と図4の比較から明らかであるように、図4の映像の方が術野の状況(執刀医204や助手203の手元の動き等)をより鮮明に確認することができる。
また、サーバ装置120に記憶される映像には、不図示の撮影装置又は医療機器等から取得した映像が含まれてもよいし、これらの撮影装置又は医療機器は医療映像システム100の内部構成としてもよいし、外部構成としてもよい。
モバイル端末132は、主として手術室外で待機している医療関係者(麻酔科医等)が手術室で行われている施術の様子を確認する用途を想定したビューアをインストールしており、サーバ装置120に記憶される映像をライブストリーミングで配信を受けて表示することができる。
パソコン端末131は、主として手術後に手術内容を解析する用途を想定したビューアをインストールしており、サーバ装置120に記憶される映像の再生に係る機能に加えて、当該映像を資料用に編集する機能等も有している。
なお、パソコン端末131及びモバイル端末132にインストールされるビューアは、必ずしも本発明専用のアプリケーションソフトによって実現されなくてもよく、汎用のアプリケーションソフトやこれを改良又は変更したソフトによって実現されてもよい。
パソコン端末131及びモバイル端末132のいずれに係るディスプレイ装置においても、サーバ装置120から入力された第一映像及び第二映像を表示可能であり、本発明の表示手段を構成しうる。
パソコン端末131及びモバイル端末132のいずれに係るポインティングデバイスにおいても、ディスプレイ装置(画面に表示されている第一映像や第二映像等)に対するユーザの操作入力を受け付けた位置を検知可能であり、本発明の操作位置検知手段を構成しうる。
なお、本実施形態で説明するパソコン端末131の機能及びモバイル端末132の機能は、必ずしも一方のみが実行可能である必要はなく、一方の機能として説明したものの一部又は全部を他方が実行可能であってもよい。例えば、後述するモバイル端末132による第一映像及び第二映像に関する処理の一部又は全部は、パソコン端末131においても同様に実現できてもよい。
また、後述するモバイル端末132による第一映像及び第二映像に関する処理の一部又は全部は、必ずしもモバイル端末132が単体で実行可能である必要はなく、サーバ装置120が当該処理の一部(例えば、画像認識処理)を第一映像及び第二映像の動画ファイルに施した上でモバイル端末132に出力されてもよい。
次に、モバイル端末132の表示について説明する。
モバイル端末132は、サーバ装置120に記憶されている第一映像及び第二映像を、サーバ装置120から取得し、それぞれを個別に又は同時に表示可能なタッチパネルである。ここでタッチパネルとは、ディスプレイ装置の画面がポインティングデバイスになっている装置である。
本実施形態における特定領域とは、具体的には、第一映像に撮影されている術野であるものとして説明するが、本発明の実施はこれに限られず第一映像に撮影されている別の領域を特定領域としてもよい。
なお、第一映像に撮影されている術野を特定する画像認識処理については、後述する。
ここで操作入力許容領域とは、特定手段による処理に基づいて設定されるモバイル端末132における画面上の領域であり、特定領域に包含されるものであってもよいし、その一部が特定領域に重畳しており且つ残りが特定領域から外れるものであってもよいし、その全部が特定領域から外れており且つ当該特定領域の近傍に位置するものであってもよい。
上述したモバイル端末132の画像認識処理について、詳細に説明する。
本発明者は、当該画像認識処理を汎用的なものにするため、施術者の身体部位を検出する画像認識処理によって術野を特定する方式を採用することにした。外科手術は複数の施術者でチームを組んで行われるのが一般的であり、上記のような画像認識処理であれば処理の対象となる被写体が存在しない可能性がほとんどないからである。
なお、特定の術具や医療機器(医療ロボットを含む)を用いる施術に特化するのであれば、施術者の身体部位に代えて又は加えて、術具や医療機器を画像認識処理によって検出することも考えられる。
「施術者の身体部位を検出する画像認識処理」の方式については適宜選択可能である。本発明者による試行錯誤の結果として、身体部位の形状(輪郭)を抽出する方式が最も汎用性が高かい結果となったが、無影灯を用いる施術においては術野の色彩や輝度を加味して身体部位を抽出すると検出精度が高くなりうる。また、対象となる身体部位の種別によっては、その動き(動作パターン)を加味して身体部位を抽出することも考えられる。
図5及び図6は、モバイル端末132の画像認識処理を説明するための模式図であり、実際に表示される映像とは異なる。これらの図において網掛けした箇所が、モバイル端末132による画像認識処理によって検出された身体部位として説明する。
例えば、図3に図示した展開映像に対する画像認識処理によって、執刀医204、助手203、医療スタッフ206及び医療スタッフ207の手や腕が検出されたものとする(図5参照)。
ここで、医療スタッフ205、医療スタッフ208及び医療スタッフ209については、他の被写体に隠れて十分に手や腕が撮影されていないため、当該画像認識処理によって手や腕を検出することができない。また、医療スタッフ210及び医療スタッフ211については、半天球カメラ111から離れており、十分な大きさで撮影されていないため、当該画像認識処理によって手や腕を検出することができない。
このように、モバイル端末132は、画像認識処理によって展開映像に撮影されている身体部位が複数検出された場合、検出された手や腕(身体部位)が密集している位置の近傍を術野OFとして特定する(図6参照)。
ここでは、執刀医204と助手203の近傍が術野OFに該当する。
図7及び図8は、図5及び図6と同様に、モバイル端末132の画像認識処理を説明するための模式図であり、実際に表示される映像とは異なる。これらの図において網掛けした箇所が、モバイル端末132による画像認識処理によって検出された身体部位として説明する。
例えば、図3に図示した展開映像に対する画像認識処理によって、執刀医204、医療スタッフ206〜209の顔が検出されたものとする(図7参照)。
ここで、助手203の顔は横向きであり、医療スタッフ205は後向きであるため、両目が撮影されておらず、当該画像認識処理によって顔を検出することができない。また、医療スタッフ210及び医療スタッフ211については、半天球カメラ111から離れており、十分な大きさで撮影されていないため、当該画像認識処理によって顔を検出することができない。
そして、モバイル端末132は、検出した顔と両目から施術者の位置と向きを判定し、判定した位置が所定値以下に近接している施術者が複数検出された場合、複数の施術者の向きが交差する部分を術野として特定する(図8参照)。
ここで、モバイル端末132は、近接している施術者として執刀医204、医療スタッフ208及び医療スタッフ209を検出しており、それぞれの視線方向V4、視線方向V8及び視線方向V9を施術者の向きとして、それぞれ判定している。そして、モバイル端末132は、視線方向V4と視線方向V8の交点IP1の位置と、視線方向V4と視線方向V9の交点IP2の位置と、を含む領域を術野OFとして特定している。なお、視線方向V8と視線方向V9とは交差しないため、術野OFの特定に用いられない。
従って、モバイル端末132による画像認識処理の方式を適宜変更し、又は組み合わせることによって、術野の特定精度を高めることも考えられる。
ここまで各図を用いて説明される実施形態に即して本発明を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の目的が達成される限りにおける種々の変形、改良等の態様も含む。
なお、以下に説明する変形例において、パソコン端末131の機能又はモバイル端末132の機能として説明するものであっても、必ずしも一方のみが実行可能である必要はなく、一方の機能として説明したものの一部又は全部を他方が実行可能であってもよい。
例えば、本発明に係る医療動画処理システムには、半天球カメラ111に相当する撮影装置が含まれなくてもよく、システム外部の撮影装置から取得した展開映像を用いて本発明が実施されてもよい。
例えば、単眼の広角レンズを用いる撮影装置や、この撮影装置によって撮影された展開映像を用いて本発明が実施されてもよい。
このとき、モバイル端末132(特定手段)は、第一映像に撮影されている複数のマーカを画像認識処理によって検出し、検出した複数のマーカの位置に基づいて医療機器の位置を特定してもよい(例えば、手術の事前に医療機器の画面の四隅にマーカを付しておき、複数のマーカに囲まれている方形の領域を医療機器の位置として特定する等)。
或いは、モバイル端末132は、一又は複数の医療機器について形状や色彩等をパターン認識しており、第一映像に撮影されている対象物から当該パターン認識にマッチングするものを医療機器として特定してもよい。
(1)施術に関する第一映像と、前記第一映像の撮影範囲の一部を撮影した第二映像と、を入力する入力手段と、前記入力手段から入力された前記第一映像及び前記第二映像を表示可能な表示手段と、前記表示手段に対するユーザの操作入力を受け付けた位置を検知可能な操作位置検知手段と、前記第一映像に対する画像認識処理によって、当該第一映像に撮影されている特定領域を特定する特定手段と、前記表示手段が前記第一映像を表示している場合に前記操作位置検知手段がユーザの操作入力を受け付けた場合、当該操作入力を受け付けた位置が、前記特定領域又はその近傍に設定されている操作入力許容領域であるか否かを判定する判定手段と、を有しており、前記表示手段は、前記判定手段による判定が肯定された場合に前記第二映像を表示する医療映像システム。
(2)前記第一映像は、術野を含めて手術室を撮影した映像であり、前記第二映像は、前記術野に正対して撮影した映像であり、前記特定手段は、前記第一映像に撮影されている前記術野を前記特定領域として特定する(1)に記載の医療映像システム。
(3)前記第一映像は、施術に用いる医療機器を含めて手術室を撮影した映像であり、前記第二映像は、前記医療機器に正対して撮影した映像であり、前記特定手段は、前記第一映像に撮影されている前記医療機器の位置を前記特定領域として特定する(1)に記載の医療映像システム。
(4)前記特定手段は、前記第一映像に撮影されている複数のマーカを画像認識処理によって検出し、検出した複数の前記マーカの位置に基づいて前記特定領域を特定する(3)に記載の医療映像システム。
(5)前記第一映像は、互いに相違する方向を撮影した映像を複数結合して得られる映像であり、且つ水平方向の展開角度が360度に達することを特徴とする(1)から(4)のいずれか一つに記載の医療映像システム。
111 半天球カメラ
112 定点カメラ
120 サーバ装置
131 パソコン端末
132 モバイル端末
201 ディスプレイ装置
202 ガイドレール
203 助手
204 執刀医
205〜211 医療スタッフ
Claims (5)
- 施術に関する第一映像と、前記第一映像の撮影範囲の一部を撮影した第二映像と、を入力する入力手段と、
前記入力手段から入力された前記第一映像及び前記第二映像を表示可能な表示手段と、
前記表示手段に対するユーザの操作入力を受け付けた位置を検知可能な操作位置検知手段と、
前記第一映像に対する画像認識処理によって、当該第一映像に撮影されている特定領域を特定する特定手段と、
前記表示手段が前記第一映像を表示している場合に前記操作位置検知手段がユーザの操作入力を受け付けた場合、当該操作入力を受け付けた位置が、前記特定領域又はその近傍に設定されている操作入力許容領域であるか否かを判定する判定手段と、
を有しており、
前記表示手段は、前記判定手段による判定が肯定された場合に前記第二映像を表示する医療映像システム。 - 前記第一映像は、術野を含めて手術室を撮影した映像であり、
前記第二映像は、前記術野に正対して撮影した映像であり、
前記特定手段は、前記第一映像に撮影されている前記術野を前記特定領域として特定する請求項1に記載の医療映像システム。 - 前記第一映像は、施術に用いる医療機器を含めて手術室を撮影した映像であり、
前記第二映像は、前記医療機器に正対して撮影した映像であり、
前記特定手段は、前記第一映像に撮影されている前記医療機器の位置を前記特定領域として特定する請求項1に記載の医療映像システム。 - 前記特定手段は、
前記第一映像に撮影されている複数のマーカを画像認識処理によって検出し、
検出した複数の前記マーカの位置に基づいて前記特定領域を特定する請求項3に記載の医療映像システム。 - 前記第一映像は、互いに相違する方向を撮影した映像を複数結合して得られる映像であり、且つ水平方向の展開角度が360度に達することを特徴とする請求項1から4のいずれか一項に記載の医療映像システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018141822A JP6436606B1 (ja) | 2018-07-27 | 2018-07-27 | 医療映像システム |
PCT/JP2018/040760 WO2019098052A1 (ja) | 2017-11-20 | 2018-11-01 | 医療安全システム |
CN201880074894.5A CN111373741B (zh) | 2017-11-20 | 2018-11-01 | 医疗安全系统 |
US16/763,305 US20200337798A1 (en) | 2017-11-20 | 2018-11-01 | Medical safety system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018141822A JP6436606B1 (ja) | 2018-07-27 | 2018-07-27 | 医療映像システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6436606B1 true JP6436606B1 (ja) | 2018-12-12 |
JP2020017932A JP2020017932A (ja) | 2020-01-30 |
Family
ID=64655911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018141822A Active JP6436606B1 (ja) | 2017-11-20 | 2018-07-27 | 医療映像システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6436606B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109936697A (zh) * | 2019-04-29 | 2019-06-25 | 佛山伊苏巨森科技有限公司 | 一种视频拍摄目标跟踪方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012244480A (ja) * | 2011-05-20 | 2012-12-10 | Toshiba Teli Corp | 全方位監視画像表示処理システム |
JP2013062559A (ja) * | 2010-09-02 | 2013-04-04 | Dodwell Bms Ltd | 撮像監視画面及び全方位撮像画面監視システム |
JP6355146B1 (ja) * | 2017-11-20 | 2018-07-11 | 株式会社Medi Plus | 医療安全システム |
-
2018
- 2018-07-27 JP JP2018141822A patent/JP6436606B1/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013062559A (ja) * | 2010-09-02 | 2013-04-04 | Dodwell Bms Ltd | 撮像監視画面及び全方位撮像画面監視システム |
JP2012244480A (ja) * | 2011-05-20 | 2012-12-10 | Toshiba Teli Corp | 全方位監視画像表示処理システム |
JP6355146B1 (ja) * | 2017-11-20 | 2018-07-11 | 株式会社Medi Plus | 医療安全システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109936697A (zh) * | 2019-04-29 | 2019-06-25 | 佛山伊苏巨森科技有限公司 | 一种视频拍摄目标跟踪方法和装置 |
CN109936697B (zh) * | 2019-04-29 | 2020-12-22 | 嘉兴奥恒进出口有限公司 | 一种视频拍摄目标跟踪方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020017932A (ja) | 2020-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4878083B2 (ja) | 画像合成装置及び方法、プログラム | |
JP6077655B2 (ja) | 撮影システム | |
JP5295714B2 (ja) | 表示装置、画像処理方法、及びコンピュータプログラム | |
US10347050B1 (en) | Augmented reality device to warp images | |
WO2020215960A1 (zh) | 注视区域的确定方法、装置及可穿戴设备 | |
JPH1124603A (ja) | 情報表示装置及び情報収集装置 | |
CN111527468A (zh) | 一种隔空交互方法、装置和设备 | |
JP2017162103A (ja) | 点検作業支援システム、点検作業支援方法、点検作業支援プログラム | |
JP2007019671A (ja) | 画像通信システム及び画像処理プログラム | |
US20060152478A1 (en) | Projection of synthetic information | |
JP6355146B1 (ja) | 医療安全システム | |
JP6436606B1 (ja) | 医療映像システム | |
JP2005117285A (ja) | 情報入力装置、通信端末及び通信方法 | |
KR20100038897A (ko) | 눈동자 시선 추정 장치 및 추정 방법 | |
JP2017046233A (ja) | 表示装置及び情報処理装置及びその制御方法 | |
US20020080999A1 (en) | System and method for highlighting a scene under vision guidance | |
WO2021199853A1 (ja) | 情報登録装置、情報登録システム、情報登録方法およびプログラム記憶媒体 | |
JP6858007B2 (ja) | 画像処理システム、画像処理方法 | |
CN107403406B (zh) | 实体影像与虚拟影像之间转换的方法及其系统 | |
CN111373741B (zh) | 医疗安全系统 | |
JP6441763B2 (ja) | 表示装置、表示制御方法、及びそのためのプログラム | |
JP7094759B2 (ja) | システム、情報処理方法及びプログラム | |
JP5781017B2 (ja) | 映像会話システム | |
JP5939469B2 (ja) | 閲覧装置及び閲覧システム | |
KR101580268B1 (ko) | 프리젠테이션 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180803 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180803 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181023 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6436606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |