JPWO2019150826A1 - システムコントローラ、ネットワークシステム、及びネットワークシステムにおける方法 - Google Patents

システムコントローラ、ネットワークシステム、及びネットワークシステムにおける方法 Download PDF

Info

Publication number
JPWO2019150826A1
JPWO2019150826A1 JP2019568935A JP2019568935A JPWO2019150826A1 JP WO2019150826 A1 JPWO2019150826 A1 JP WO2019150826A1 JP 2019568935 A JP2019568935 A JP 2019568935A JP 2019568935 A JP2019568935 A JP 2019568935A JP WO2019150826 A1 JPWO2019150826 A1 JP WO2019150826A1
Authority
JP
Japan
Prior art keywords
switch
network
data
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019568935A
Other languages
English (en)
Inventor
ヴィジタ サンジーワ ラナトゥンガ
ヴィジタ サンジーワ ラナトゥンガ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019150826A1 publication Critical patent/JPWO2019150826A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/64Routing or path finding of packets in data switching networks using an overlay routing layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/38Flow based routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/42Centralised routing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)

Abstract

【課題】複数の配信先にデータを効率良く配信する。【解決手段】本開示によれば、送信側のデバイスから受信したデータを受信側のデバイスに配信するIPスイッチを制御するシステムコントローラであって、前記IPスイッチに複数の仮想ネットワークを構築し、任意の前記仮想ネットワークが受信したデータを当該仮想ネットワークに接続された各配信先に送信させる、システムコントローラが提供される。この構成により、複数の配信先にデータを効率良く配信することが可能となる。【選択図】図5

Description

本開示は、システムコントローラ、ネットワークシステム、及びネットワークシステムにおける方法に関する。
従来、下記の特許文献1には、ソフトウェア定義されたネットワーク(SDN)スイッチおよびレガシースイッチを有する混成ネットワークを制御する方法およびシステムについて記載されている。
特表2016−521529号公報
しかし、上記特許文献1に記載されているように従来のネットワークスイッチは、自由度の高い設計が難しく、複数の配信先にデータを効率良く配信することは困難であった。
そこで、複数の配信先にデータを効率良く配信することが望まれていた。
本開示によれば、送信側のデバイスから受信したデータを受信側のデバイスに配信するIPスイッチを制御するシステムコントローラであって、前記IPスイッチに複数の仮想ネットワークを構築し、任意の前記仮想ネットワークが受信したデータを当該仮想ネットワークに接続された各配信先に送信させる、システムコントローラが提供される。
また、本開示によれば、送信側のデバイスから受信したデータを受信側のデバイスに配信するIPスイッチと、前記IPスイッチを制御するシステムコントローラと、を備えるネットワークシステムであって、前記システムコントローラは、前記IPスイッチに複数の仮想ネットワークを構築し、任意の前記仮想ネットワークが受信したデータを当該仮想ネットワークに接続された各配信先に送信させる、ネットワークシステムが提供される。
また、本開示によれば、送信側のデバイスから受信したデータを受信側のデバイスに配信するIPスイッチを制御するネットワークシステムにおける方法であって、前記IPスイッチに複数の仮想ネットワークを構築し、任意の前記仮想ネットワークが受信したデータを当該仮想ネットワークに接続された各配信先に送信させる、ネットワークシステムにおける方法が提供される。
以上説明したように本開示によれば、複数の配信先にデータを効率良く配信することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの概略構成を示す模式図である。 本開示の具体的な適用例を示す模式図である。 本開示の具体的な適用例を示す模式図である。 一般的なユニキャスト、ブロードキャスト、マルチキャストを示す模式図である。 SDNコントローラとその周辺の構成を示す模式図である。 マルチリンク環境におけるブロードキャスト配信の課題を説明するための模式図である。 スパイン−リーフ構成における課題を詳細に説明するための模式図である。 本実施形態のIPスイッチの構成を示す模式図である。 本実施形態に係るマルチリンク環境におけるブロードキャスト通信を示す模式図である。 AVデバイスがIPスイッチのリーフスイッチと接続された状態を示す模式図である。 AVデバイスがIPスイッチのリーフスイッチと接続された状態を示す模式図である。 AVストリーム負荷分散の具体例を示す模式図である。 SDNコントローラが作成した、ネットワークトボロジーを可視化した情報を示す模式図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図16に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本開示の概要
2.本開示の適用例
3.SDNコントローラの構成例
4.SDNを用いたフレキシブルネットワーク設計
4.1.マルチリンク環境におけるブロードキャスト配信の課題
4.2.本実施形態に係る、マルチリンク環境におけるブロードキャスト配信
4.3.AVストリーム負荷分散方法
5.ネットワークトポロジーの可視化
6.応用例
1.本開示の概要
まず、図1を参照して、本開示の一実施形態に係るシステム1000の概略構成について説明する。図1に示すように、このシステム1000は、複数のAVデバイス100、IPスイッチ200、システムマネージャ400、SDNコントローラ(システムコントローラ)500を有して構成されている。図1において、AVデバイス100とIPスイッチ200との間では、AVストリームデータと制御データが送受信される。また、IPスイッチ200とシステムマネージャ400又はSDNコントローラ500との間では、制御データが送受信される。図1では、AVデバイス100とIPスイッチ200の間、IPスイッチ200とシステムマネージャ400又はSDNコントローラ500との間において、AVストリームのトラフィックを太線で、制御データのトラフィックを細線で示している。システムマネージャ400は、AVデバイス100の制御、切替を行う装置である。
複数のAVデバイス100は、例えばIPコンバータ等の機器である。送信側(図1のSenderに相当)のAVデバイス100には、送信側のAVソース180として、例えばカメラなどの機器が接続されている。また、受信側(図1のReceiverに相当)のAVデバイス100には、受信側のAVディスティネーション190として、ディスプレイ等の機器が接続されている。AVデバイス100がIPコンバータの場合、AVデバイス100は、AVソース180またはAVディスティネーション190とIPスイッチ200との間のインターフェース変換を行う。この例では、複数のカメラの映像がIPスイッチ200を介して複数のディスプレイに供給される。
本実施形態のシステム1000では、SDN(Software Defined Networks)を用い、フレキシブルネットワーク設計を行う。SDNは、ネットワークをネットワークコントローラ(SDNコントローラ500)で一元管理し、動的にリソース割り当てが可能なアーキテクチャである。これにより、既存のネットワークに対してスイッチ機能やプロトコルに制約を受けることなく、用途に応じたフレキシブルなトラフィック負荷の分散を実現する。
また、本実施形態のシステム1000では、ネットワークトポロジー(Network Topology)を可視化し、フロー単位の可視化による運用管理の向上を実現する。
2.本開示の適用例
本開示のシステム1000は、一例として、オーディオ(Audio)、ビデオ(Video)のIP伝送、すなわちAV伝送への提供を想定している。このシステム1000では、AVデバイス100間でIP伝送が行われる。AVソース180として、カメラ、AVストリーミングサーバ、テレビ開始システムの機器、テレビ会議システムのカメラなどの画像取得及び又は取得画像送出機器、監視カメラ等を想定できる。また、AVディスティネーション190として、PCディスプレイ、テレビ会議などの大型ディスプレイ、プロジェクタ、記録サーバ等を想定できる。
このシステム1000では、AVのストリーミングを、IPを使って切り替えることを想定しており、AV信号をIPに変換し、ネットワーク上で伝送することを想定する。また、AV信号をIPに変換する前に圧縮することも可能である。AV信号をIPに変換し、RTPストリームとして伝送しても良いし、他の伝送方式を用いてよい。AV信号の効率化を図るためにマルチキャスト(Multicast)として伝送することも想定する。
図2及び図3は、本開示の具体的な適用例を示す模式図である。図2は、放送局向けのシステム1000を示している。図2のシステム1000において、AVソース180は、カメラ、AVプロダクションスイッチャー(AV Production Switcher)、ストリーミングサーバ等の機器である。また、AVディスティネーション190は、各種ディスプレイ、ストレージ等の機器である。図2に示す例では、AVデバイス100が、AVソース180またはAVディスティネーション190に内蔵されている場合を想定している。
図3は、事業者向けのシステム1000を示している。図3のシステム1000において、AVソース180は、PC画面、ストリーミングサーバ等の機器である。また、AVディスティネーション190は、各種ディスプレイ、ストレージ等の機器である。図3に示す例では、AVデバイス100は、AVソース180またはAVディスティネーション190と別体に構成されている。
図4は、一般的なユニキャスト、ブロードキャスト、マルチキャストを示す模式図である。ユニキャスト(Unicast)では、1のAVソース180が1のAVディスティネーション190に送信を行う。ブロードキャスト(Broadcast)では、1のAVソース180が他の全てのAVディスティネーション190に送信を行う。マルチキャスト(Multicast)では、1のAVソース180(または複数のAVソース180)が複数のAVディスティネーション190に送信を行う。
3.SDNコントローラの構成例
図5は、SDNコントローラ500とその周辺の構成を示す模式図である。図2に示すように、SDNコントローラ500は、負荷分散部502、ブロードキャスト部504、フロー表示制御部506を有して構成されている。
SDNコントローラ500と付随して、システムコントローラのアプリケーション550が備えられている。アプリケーション550は、SDNコントローラ500上で動作する。アプリケーション550は、その機能構成として、負荷分散設定部552、モニタリングアプリケーション554を有している。また、アプリケーション550は、デバイスフロー情報556を保有している。SDNコントローラ500、アプリケーション550の各構成要素は、SDNコントローラ500が備えるCPUなどの中央演算処理装置と、これを機能させるためのプログラム(ソフトウェア)から構成することができる。
上述したフレキシブルネットワーク設計は、SDNコントローラ500のブロードキャスト部504が後述する仮想ネットワーク内でブロードキャストパケットを転送するようにIPスイッチ200のフローエントリーリストを設定することで行われる。また、マルチキャストの負荷分散については、例えばユーザがアプリケーション550の負荷分散設定部552から設定を行い、SDNコントローラ500の負荷分散部502がIPスイッチ200の設定を行うことで実現される。
また、上述したネットワークトポロジーの可視化は、SDNコントローラ500のフロー表示制御部506が、IPスイッチ200から得た情報と、AVデバイス100等から得たフロー情報に基づいて、アプリケーション550のモニタリングアプリケーション554における表示を制御することで実現される。なお、表示ディスプレイは、SDNコントローラ500と一体であっても良いし、別体であっても良い。
4.SDNを用いたフレキシブルネットワーク設計
4.1.マルチリンク環境におけるブロードキャスト配信の課題
図6は、中規模〜大規模のネットワークのマルチリンク環境におけるブロードキャスト配信の課題を説明するための模式図である。既存のシステムにおいて、システムコントローラ10とIPコンバータ20間をブロードキャスト通信する場合がある。図6は、システムコントローラ10として大規模シャーシ型スイッチを用いた構成(左図)と、複数のIPスイッチ30,32,34を用いたスパイン−リーフ(Spine−Leaf)の構成(右図)を示している。
図6に示すような大規模シャーシ型スイッチを用いた場合、ネットワークのコストが高価になる問題がある。また、複数のIPスイッチ30,32,34を用いた場合、IGMP等の既存のネットワークでは、送信データを上層のIPスイッチ30に送信した後、下層のIPスイッチ32,34に振り分けることになる。しかし、IPスイッチ30,32,34間は1本のリンクのみで接続され、複数のリンクを構成することができないため、複数リンクにおいてマルチキャストとブロードキャストを両立できない問題がある。
図7は、スパイン−リーフ構成における課題を詳細に説明するための模式図である。図7において、IPスイッチは、スパインスイッチ30とリーフスイッチ32,34から構成されている。上述したような映像のデータを配信する場合、リーフスイッチ32においては、映像の負荷分散のためにVLANを分け、VLAN1とVLAN2を設けることが行われる。この場合、例えばVLAN2に接続されたシステムコントローラ40がブロードキャストで通信しようとしても、VLAN1とVLAN2に分かれているため、他のVLAN1のIPコンバータ20と通信できなくなる(図7中に示す×印)。従って、ブロードキャストで通信する場合、一般的な中・大規模構成で用いられているスパイン−リーフ構成は利用できないことになる。
以上のように、スパイン−リーフ構成は非現実的であり、一方で大規模シャーシ型スイッチを用いると高価なシステムになる。
4.2.本実施形態に係るマルチリンク環境におけるブロードキャスト配信
図8は、本実施形態のIPスイッチ200の構成を示す模式図である。本実施形態では、スイッチを多段化し、複数リンクによる負荷分散により低コスト化を実現する。SDNによりスイッチ機能、プロトコルの制約から解放されるため、用途に応じたフレキシブルなトラフィック負荷分散が可能となる。また、独自のSDNコントローラ500の構成により、スイッチ間の複数リンクにおいても、ブロードキャスト、マルチキャストの通信が可能となる。
図6の右図と図8を比較すると、図6の右図ではスパイン−リーフ間の1本のアップリンクの容量が40G(ギガ)の場合、リーフスイッチ32,341台当たりのIPコンバータ20の台数は送信側(Tx)4台、受信側(Rx)4台である。但し、各IPコンバータ20の容量を10Gとする。
一方、図8の場合、スパイン−リーフ間の3本のアップリンクの容量がそれぞれ40G(ギガ)の場合、リーフ1台当たりのAVデバイス101(図6のIPコンバータ20に相当)の台数は送信側(Tx)12台、受信側(Rx)12台となる。従って、リーフ1台当たりのIPコンバータの台数が8台から48台に増加することになる。また、図6の左図のような大規模シャーシ型スイッチを用いることなく、多段階スイッチで実現できるため、ハードウェアのコストを削減することが可能となる。
以下、本実施形態について具体的に説明する。本実施形態では、スイッチ間に複数リンクが存在するネットワークトポロジーにおいて、仮想ネットワークを構築することで、ブロードキャストパケットをIPスイッチ200内で転送する。
図9は、本実施形態に係るマルチリンク環境におけるブロードキャスト通信を示す模式図である。図9に示すように、IPスイッチ200は、多段(図9では2段)に配置されたSDNスイッチ210,220,230を備える。なお、IPスイッチ200が多段に配置されたSDNスイッチを備える場合は、例えば、図9に示すSDNスイッチ220の下層に2つのSDNスイッチが接続され、この2つのSDNスイッチのそれぞれの下層に複数のAVデバイスが接続される。
SDNスイッチ210とSDNスイッチ220とは、2つのアップリンク(Up Link)240,242で接続されている。また、SDNスイッチ210とSDNスイッチ230とは、2つのアップリンク(Up Link)250,252で接続されている。
SDNスイッチ220には、2つのアップリンク240,242に対応する2つの仮想ネットワーク222,224が構築されている。同様に、SDNスイッチ230には、2つのアップリンク250,252に対応する2つの仮想ネットワーク232,234が構築されている。また、SDNスイッチ210には、1つの仮想ネットワーク212が構築されている。
以上のように、本実施形態では、アップリンク毎に仮想ネットワークを定義し、アップリンク毎にエンドポイントが分離されている。そして、ブロードキャストパケットを仮想ネットワーク内でフラッディングするようにフロー制御を行う。
図9において、AVデバイス120が接続されるSDNスイッチ220のポートをポート“1”とし、AVデバイス122が接続されるSDNスイッチ220のポートをポート“2”とする。また、AVデバイス124が接続されるSDNスイッチ220のポートをポート“3”とし、AVデバイス126が接続されるSDNスイッチ220のポートをポート“4”とする。
また、図9において、アップリンク240が接続されるSDNスイッチ220のポートをポート“5”とし、アップリンク242が接続されるSDNスイッチ220のポートをポート“6”とする。このとき、SDNスイッチ220のフローエントリーリスト(Flow Entry List)は、以下のように定義される。
IF Broadcast Packet AND In_port=Port1 Output=Port2, Port5
IF Broadcast Packet AND In_port=Port2 Output=Port1, Port5
IF Broadcast Packet AND In_port=Port5 Output=Port1, Port2
IF Broadcast Packet AND In_port=Port3 Output=Port4, Port6
IF Broadcast Packet AND In_port=Port4 Output=Port3, Port6
IF Broadcast Packet AND In_port=Port6 Output=Port3, Port4
SDNスイッチ210とSDNスイッチ230でも、同様の設定が行われる。以上により、例えば上記フローエントリーリストの1行目によれば、AVデバイス120からSDNスイッチ220に送られたブロードキャストパケット(図9中に実線の矢印A1で示す)は、SDNスイッチ220のポート“1”からSDNスイッチ220に入り、ポート“2”とポート“5”から出力され、SDNスイッチ210とIPコンバータ122に送られる。SDNスイッチ210とSDNスイッチ230でも、同様のフローが行われることで、AVデバイス120からSDNスイッチ220に送られたブロードキャストパケットは、一点鎖線で示す矢印のフローに従ってAVデバイス122,124,126,128,130,132,134にブロードキャスト配信される。なお、この例では、AVデバイス120が例えばカメラなどのAVソースであり、AVデバイス122,124,126,128,130,132,134がディスプレイなどのAVディスティネーションであっても良い。ブロードキャスト配信されるデータは、制御データであっても良いし、AVストリームであっても良い。また、AVデバイス122,124,126,128,130,132,134がディスプレイなどの機器である場合に、制御データがブロードキャスト配信される場合は、AVデバイス122,124,126,128,130,132,134が送信側の機器であっても良い。また、送信側のAVデバイス120がシステムマネージャ400、SDNコントローラ500などの機器であっても良い。
以上のようなブロードキャスト配信は、SDNコントローラ500のブロードキャスト部504が、仮想ネットワークに基づいてIPスイッチ(SDNスイッチ210,220,230)のフローエントリーリストを設定することで実現することができる。IPスイッチ(SDNスイッチ210,220,230)はフローエントリーリストに基づいて経路を設定する。これにより、SDNコントローラ500による自由な経路設計が可能となる。
4.3.AVストリーム負荷分散方法
次に、本実施形態に係るAVストリーム負荷分散方法について説明する。図10及び図11は、本実施形態に係るAVストリーム負荷分散方法を説明するための模式図である。図10及び図11は、AVデバイス140,142,144,146がIPスイッチ200のリーフスイッチ260と接続された状態を示す模式図である。
図10は、インタフェース毎の負荷分散を示す模式図である。図10に示す例では、AVデバイス140,142から送信されたデータは、仮想ネットワーク262に接続されたリンクに流れ、上段のスイッチへ送られる。また、AVデバイス144,146から送信されたデータは、仮想ネットワーク264に接続されたリンクに流れ、上段のスイッチへ送られる。AVデバイス140,142,144,146毎に仮想ネットワーク262,264を分けることで、従来のVLAN方式と比べて、状況に応じて動的に変更することが可能である。また、図11は、ストリーム毎の負荷分散を示す模式図である。図11に示すように、AVデバイス140,142,144,146から送信されたデータは、個々のストリーム毎にリーフスイッチ260内の異なる仮想ネットワーク262,264に送信される。これにより、ストリーム毎に負荷分散を行うことができる。なお、図10に示す符号262がスイッチであり、このスイッチとAVデバイス140,142を含んだものを仮想ネットワークとしても良い。同様に、図10に示す符号264がスイッチであり、このスイッチとAVデバイス144,146を含んだものを仮想ネットワークとしても良い。図11においても同様である。
図10及び図11に示すように、UI若しくは設定ファイルをベースに明示的にAVストリームの負荷分散を行う。ストリームのサイズとアップリンク、Trunk Portの帯域に基づいて負荷分散を行う。ダウンリンクの負荷分散は、Hostベースに行う。
図12は、AVストリーム負荷分散の具体例を示す模式図である。IPスイッチ200の構成は、図9と同様である。上述したように、アプリケーション550よりSDNコントローラ500へマルチキャストの負荷分散が指定される。アプリケーション550が指定した負荷分散を、図12の下段のテーブルに示す。このテーブルは、ユーザがアプリケーション550のUIを操作することで指定することもできる。
図12において、IPスイッチ220のIDを“1”、IPスイッチ230のIDを“2”、IPスイッチ210のIDを“3”とする。また、IPスイッチ210,220,230は、それぞれ各AVデバイス150,152,154,156と接続されるポートを有している。また、AVデバイス150,152,154,156のIDは、それぞれ“1”,“2”,“3”,“4”とする。図12の下段に示すテーブルには、ネットワークインタフェースリスト(networkInterfaceList)において、AVデバイス150,152,154,156などIPスイッチに接続されるデバイスのそれぞれについて、各IDのAVデバイスのIPアドレス(ipAddress)、接続されるIPスイッチのID(peerSwitch ID)及びポート番号(peerSwitchPort)等が規定されている。また、ストリーマーリスト(streamerList)において、ストリーム(streamer)のID、ストリーマータイプ(SenderまたはReceiver)、帯域(bandwidth)、マルチキャストの送信先アドレス(mcastAddres)、接続されるIPスイッチのID(switch ID)、出力ポート(switchPort)等が規定されている。
AVストリーム負荷分散は、図12に示すテーブルに基づいて、SDNコントローラ500の負荷分散部502が経路設定を行う。例えば、ID=1のAVデバイス150から送信されたAVストリームの場合、以下のようにして経路設定が行われる。
If In_port=Port1 AND Multicast_Address=224.0.0.1 Output=Port49
If In_port=Port2 AND Multicast_Address=224.0.0.2 Output=Port50
経路設定は、ストリームのサイズとアップリンク、Trunk Portの帯域に基づいて行われる。各IPスイッチ210,220,230は、図12のテーブルの情報を認識し、負荷分散を行う。従って、図12に示すテーブルに基づいてSDNコントローラ500の負荷分散部502が経路設定を行うことで、AVストリームの負荷を分散することが可能である。
5.ネットワークトポロジーの可視化
次に、ネットワークトポロジーの可視化について説明する。既存のネットワークでは、データフロー単位、例えばマルチキャスト単位でのモニタリングを行うことはできない。一方、SDNを用いることで、IPスイッチ200でフロー情報を管理することができるため、データフローのモニタリング機能を実現することが可能である。本実施形態では、SDNを用い、ネットワークをSDNコントローラ400で一元管理することで、AVデバイス間のネットワークトポロジーを可視化する。
SDNコントローラ500は、IPスイッチ200からデータフローの統計情報を取得することができる。つまり、SDNコントローラ500は、IPスイッチ200を構成するリーフスイッチ、スパインスイッチからデータフローの情報を取得することが可能である。
更に、SDNコントローラ500は、エンドデバイス(各AVデバイス)からの接続情報と、各エンドデバイスが出しているフロー情報を取得することができる。SDNコントローラ500のフロー表示制御部506は、IPスイッチから得られるデータフローの情報と、AVデバイスから得られる、各AVデバイスが出しているフロー情報に基づいて、エンドデバイス間のフロー情報を表示するための制御を行う。
また、フロー表示制御部506は、フロー情報をネットワークトラフィック毎に分離して表示するための制御を行う。例えば、マルチキャストトラフィックリスト、ユニキャストトラフィックリスト、ブロードキャストトラフィックリスト毎に分離した表示を行う。
更に、UI情報として、IPスイッチ200の経路情報、転送テーブルを参照して表示すること、IPスイッチ200に実際に流れるトラフィック量を見て経路を判断し、表示することも行う。
図13は、SDNコントローラ500のフロー表示制御部506によって作成された、ネットワークトボロジーを可視化した表示情報を示す模式図である。図13に示す情報は、経路情報に基づいて、また実トラフィックのデータの流れに応じて、ディスプレイ等に表示される。SDNコントローラ500は、IPスイッチ200におけるデータフローの流れを把握するとともに、エンドデバイスが出しているフロー情報を取得することで、図13に示す情報を作成することができる。
図13に示すように、システム構成が左側に表示される。AVデバイス150,152,154がIPスイッチ200を介して接続され、またIPスイッチ200にSDNコントローラ500が接続された状態が示されている。
また、図13の右上には、フローリストとして、例えば、AVデバイス152(IPC_TX1)のマルチキャストのAVストリームのビットレート(=8,560,557,792bps)、データ量(=53911911992bytes)が示されている。また、AVデバイス154(IPC_RX1)からの制御データのブロードキャストのデータのビットレート(=384bps)、データ量(=3006300)が示されている。なお、AVデバイスのデータフローの情報は、SDNコントローラ500のフロー表示制御部506が直接取得しても良いし、アプリケーション550がデバイスフロー情報556として取得したものをフロー表示制御部506が取得しても良い。
また、図13の右下には、IPスイッチ200の各スイッチにおけるフロー情報が示されている。従って、AVデバイス150,152,154におけるデータフローの情報と、IPスイッチ200におけるデータフローの情報の双方がUIを用いて可視化されるため、ユーザは、送信側のAVデバイスからIPスイッチ200を経て受信側のAVデバイスへ流れるデータフローを認識することが可能となる。また、図13に示すネットワークトポロジーを可視化した情報には、ネットワークシステムの変更も反映されるため、AVデバイスを更に追加した場合においても、送信側のAVデバイスからIPスイッチ200を経て受信側のAVデバイスへ流れるデータフローを認識することが可能となる。
6.応用例
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
図14は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図14を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図14では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A〜5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A〜5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A〜5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ5107は、出力先の装置である表示装置5103A〜5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
また、図14では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
図15は、集中操作パネル5111における操作画面の表示例を示す図である。図15では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図15を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
図16は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図14に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図16では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a〜5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a〜5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図14に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図16では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a〜5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a〜5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
関節部5147a〜5147cにはアクチュエータが設けられており、関節部5147a〜5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a〜5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a〜5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a〜5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
(光源装置)
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図17を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図17は、図16に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図17を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、手術室システム5100を構成するネットワークに好適に適用され得る。手術室システム5100に本開示に係る技術を適用することにより、低価格で各デバイス間を効率良く接続するネットワークシステムを構築することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1) 送信側のデバイスから受信したデータを受信側のデバイスに配信するIPスイッチを制御するシステムコントローラであって、
前記IPスイッチに複数の仮想ネットワークを構築し、任意の前記仮想ネットワークが受信したデータを当該仮想ネットワークに接続された各配信先に送信させる、システムコントローラ。
(2) 前記IPスイッチは階層化された複数のスイッチを有し、前記仮想ネットワークは複数の前記スイッチに構築される、前記(1)に記載のシステムコントローラ。
(3) 前記複数のスイッチのうちの任意の2つのスイッチは、複数のリンクによって接続される、前記(2)に記載のシステムコントローラ。
(4) 任意の前記仮想ネットワークが受信したデータが送信される前記配信先は、当該仮想ネットワークが構築された前記スイッチに接続された受信側のデバイス又は当該仮想ネットワークが構築された前記スイッチに接続された他の前記スイッチである、前記(2)又は(3)に記載のシステムコントローラ。
(5) 受信した前記データがマルチキャストの場合に、データストリームのサイズ、前記リンクの帯域、又は前記スイッチのポートの帯域に基づいて負荷分散を行う負荷分散部を備える、前記(3)又は(4)に記載のシステムコントローラ。
(6) 前記負荷分散部は、データストリーム毎に前記負荷分散を行う、前記(5)に記載のシステムコントローラ。
(7) 前記スイッチにおけるデータフローの情報、及び前記IPスイッチに接続されるデバイスのデータフローの情報に基づいて、ネットワークトポロジーの表示を制御する表示制御部を備える、前記(2)〜(6)のいずれかに記載のシステムコントローラ。
(8) 前記データは、オーディオデータ又はビデオデータである、前記(1)〜(7)のいずれかに記載のシステムコントローラ。
(9) 送信側のデバイスから受信したデータを受信側のデバイスに配信するIPスイッチと、
前記IPスイッチを制御するシステムコントローラと、を備えるネットワークシステムであって、
前記システムコントローラは、前記IPスイッチに複数の仮想ネットワークを構築し、任意の前記仮想ネットワークが受信したデータを当該仮想ネットワークに接続された各配信先に送信させる、ネットワークシステム。
(10) 前記IPスイッチは階層化された複数のスイッチを有し、前記仮想ネットワークは複数の前記スイッチに構築される、前記(9)に記載のネットワークシステム。
(11) 前記複数のスイッチのうちの任意の2つのスイッチは、複数のリンクによって接続される、前記(10)に記載のネットワークシステム。
(12) 任意の前記仮想ネットワークが受信したデータが送信される前記配信先は、当該仮想ネットワークが構築された前記スイッチに接続された受信側のデバイス又は当該仮想ネットワークが構築された前記スイッチに接続された他の前記スイッチである、前記(10)又は(11)に記載のネットワークシステム。
(13) 受信した前記データがマルチキャストの場合に、データストリームのサイズ、前記リンクの帯域、又は前記スイッチのポートの帯域に基づいて負荷分散を行う負荷分散部を備える、前記(11)又は(12)に記載のネットワークシステム。
(14) 前記負荷分散部は、データストリーム毎に前記負荷分散を行う、前記(13)に記載のネットワークシステム。
(15) 前記スイッチにおけるデータフローの情報、及び前記IPスイッチに接続されるデバイスのデータフローの情報に基づいて、ネットワークトポロジーの表示を制御する表示制御部を備える、前記(11)〜(14)のいずれかに記載のネットワークシステム。
(16) 前記データは、オーディオデータ又はビデオデータである、前記(9)〜(15)のいずれかに記載のネットワークシステム。
(17) 送信側のデバイスから受信したデータを受信側のデバイスに配信するIPスイッチを制御するネットワークシステムにおける方法であって、
前記IPスイッチに複数の仮想ネットワークを構築し、任意の前記仮想ネットワークが受信したデータを当該仮想ネットワークに接続された各配信先に送信させる、ネットワークシステムにおける方法。
100 AVデバイス
200 IPスイッチ
222,224 仮想ネットワーク
500 SDNコントローラ
502 負荷分散部
504 ブロードキャスト部
506 フロー表示制御部

Claims (17)

  1. 送信側のデバイスから受信したデータを受信側のデバイスに配信するIPスイッチを制御するシステムコントローラであって、
    前記IPスイッチに複数の仮想ネットワークを構築し、任意の前記仮想ネットワークが受信したデータを当該仮想ネットワークに接続された各配信先に送信させる、システムコントローラ。
  2. 前記IPスイッチは階層化された複数のスイッチを有し、前記仮想ネットワークは複数の前記スイッチに構築される、請求項1に記載のシステムコントローラ。
  3. 前記複数のスイッチのうちの任意の2つのスイッチは、複数のリンクによって接続される、請求項2に記載のシステムコントローラ。
  4. 任意の前記仮想ネットワークが受信したデータが送信される前記配信先は、当該仮想ネットワークが構築された前記スイッチに接続された受信側のデバイス又は当該仮想ネットワークが構築された前記スイッチに接続された他の前記スイッチである、請求項2に記載のシステムコントローラ。
  5. アプリケーション側から指定されたテーブルに基づいて、前記複数のスイッチ間を流れるデータの負荷分散を行う負荷分散部を備える、請求項3に記載のシステムコントローラ。
  6. 前記負荷分散部は、データストリーム毎に前記負荷分散を行う、請求項5に記載のシステムコントローラ。
  7. 前記スイッチにおけるデータフローの情報、及び前記IPスイッチに接続されるデバイスのデータフローの情報に基づいて、ネットワークトポロジーの表示を制御する表示制御部を備える、請求項2に記載のシステムコントローラ。
  8. 前記データは、オーディオデータ又はビデオデータである、請求項1に記載のシステムコントローラ。
  9. 送信側のデバイスから受信したデータを受信側のデバイスに配信するIPスイッチと、
    前記IPスイッチを制御するシステムコントローラと、を備えるネットワークシステムであって、
    前記システムコントローラは、前記IPスイッチに複数の仮想ネットワークを構築し、任意の前記仮想ネットワークが受信したデータを当該仮想ネットワークに接続された各配信先に送信させる、ネットワークシステム。
  10. 前記IPスイッチは階層化された複数のスイッチを有し、前記仮想ネットワークは複数の前記スイッチに構築される、請求項9に記載のネットワークシステム。
  11. 前記複数のスイッチのうちの任意の2つのスイッチは、複数のリンクによって接続される、請求項10に記載のネットワークシステム。
  12. 任意の前記仮想ネットワークが受信したデータが送信される前記配信先は、当該仮想ネットワークが構築された前記スイッチに接続された受信側のデバイス又は当該仮想ネットワークが構築された前記スイッチに接続された他の前記スイッチである、請求項10に記載のネットワークシステム。
  13. 前記システムコントローラは、アプリケーション側から指定されたテーブルに基づいて、前記複数のスイッチ間を流れるデータの負荷分散を行う負荷分散部を備える、請求項11に記載のネットワークシステム。
  14. 前記負荷分散部は、データストリーム毎に前記負荷分散を行う、請求項13に記載のネットワークシステム。
  15. 前記システムコントローラは、前記スイッチにおけるデータフローの情報、及び前記IPスイッチに接続されるデバイスのデータフローの情報に基づいて、ネットワークトポロジーの表示を制御する表示制御部を備える、請求項10に記載のネットワークシステム。
  16. 前記データは、オーディオデータ又はビデオデータである、請求項9に記載のネットワークシステム。
  17. 送信側のデバイスから受信したデータを受信側のデバイスに配信するIPスイッチを制御するネットワークシステムにおける方法であって、
    前記IPスイッチに複数の仮想ネットワークを構築し、任意の前記仮想ネットワークが受信したデータを当該仮想ネットワークに接続された各配信先に送信させる、ネットワークシステムにおける方法。
JP2019568935A 2018-02-05 2018-12-20 システムコントローラ、ネットワークシステム、及びネットワークシステムにおける方法 Pending JPWO2019150826A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018017993 2018-02-05
JP2018017993 2018-02-05
PCT/JP2018/047058 WO2019150826A1 (ja) 2018-02-05 2018-12-20 システムコントローラ、ネットワークシステム、及びネットワークシステムにおける方法

Publications (1)

Publication Number Publication Date
JPWO2019150826A1 true JPWO2019150826A1 (ja) 2021-01-14

Family

ID=67478633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019568935A Pending JPWO2019150826A1 (ja) 2018-02-05 2018-12-20 システムコントローラ、ネットワークシステム、及びネットワークシステムにおける方法

Country Status (5)

Country Link
US (1) US11516127B2 (ja)
EP (1) EP3751798A4 (ja)
JP (1) JPWO2019150826A1 (ja)
CN (1) CN111656739A (ja)
WO (1) WO2019150826A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114286023B (zh) * 2021-12-31 2023-08-29 北京中联合超高清协同技术中心有限公司 支持多场景多模式切换的8k超高清转播车及转播方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011160171A (ja) * 2010-02-01 2011-08-18 Nec Corp インタフェース制御方式、インタフェース制御方法、及びインタフェース制御用プログラム
WO2014199924A1 (ja) * 2013-06-10 2014-12-18 日本電気株式会社 制御装置、通信システム、中継装置の制御方法及びプログラム
JP2015528650A (ja) * 2012-09-13 2015-09-28 日本電気株式会社 情報処理装置、構築方法、通信システム及びプログラム
JP2016225783A (ja) * 2015-05-29 2016-12-28 Necエンジニアリング株式会社 仮想ネットワークシステムおよび仮想ネットワーク経路設定方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710762B2 (en) 2012-06-06 2017-07-18 Juniper Networks, Inc. Dynamic logging
US9450823B2 (en) 2013-08-09 2016-09-20 Nec Corporation Hybrid network management
JP6565919B2 (ja) * 2014-09-10 2019-08-28 ソニー株式会社 通信制御装置、通信制御方法及び通信システム
US9456030B2 (en) * 2014-09-15 2016-09-27 Telefonaktiebolaget Lm Ericsson (Publ) Methods of operating load balancing switches and controllers using modified flow entries
KR102233645B1 (ko) * 2014-11-11 2021-03-30 한국전자통신연구원 가상 네트워크 기반 분산 다중 도메인 라우팅 제어 시스템 및 라우팅 제어 방법
US9807035B1 (en) * 2015-03-31 2017-10-31 Juniper Networks, Inc. Using available bandwidths of an IP fabric to intelligently distribute data
US9807157B2 (en) * 2015-10-29 2017-10-31 rift.IO, Inc. Hybrid virtual load balancer
US10326606B2 (en) 2016-02-18 2019-06-18 Media Links Co., Ltd. Multicast switching system
GB201616763D0 (en) * 2016-10-03 2016-11-16 Global Invacom Ltd Apparatus and method relating to software defined networking for heterogeneneous access networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011160171A (ja) * 2010-02-01 2011-08-18 Nec Corp インタフェース制御方式、インタフェース制御方法、及びインタフェース制御用プログラム
JP2015528650A (ja) * 2012-09-13 2015-09-28 日本電気株式会社 情報処理装置、構築方法、通信システム及びプログラム
WO2014199924A1 (ja) * 2013-06-10 2014-12-18 日本電気株式会社 制御装置、通信システム、中継装置の制御方法及びプログラム
JP2016225783A (ja) * 2015-05-29 2016-12-28 Necエンジニアリング株式会社 仮想ネットワークシステムおよび仮想ネットワーク経路設定方法

Also Published As

Publication number Publication date
US11516127B2 (en) 2022-11-29
CN111656739A (zh) 2020-09-11
WO2019150826A1 (ja) 2019-08-08
EP3751798A1 (en) 2020-12-16
US20210160178A1 (en) 2021-05-27
EP3751798A4 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
US20210250566A1 (en) Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus
WO2020170931A1 (ja) データ伝送システム、データ伝送方法及びコンピュータプログラム
WO2018193799A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
CN108353144B (zh) 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法
JP7264051B2 (ja) 画像処理装置および画像処理方法
JP7347428B2 (ja) ネットワーク監視システム、ネットワーク監視方法、及びプログラム
WO2020213296A1 (ja) 信号処理装置、信号処理方法、プログラム及び指向性可変用システム
US11516127B2 (en) System controller, controlling an IP switch including plural SDN switches
JP7136093B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7081597B2 (ja) 通信システムおよび送信装置
CN110771102B (zh) 通信系统和控制设备
WO2020241050A1 (ja) 音声処理装置、音声処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230411