JP6838554B2 - 医療用制御装置、制御方法、プログラム、および医療用制御システム - Google Patents

医療用制御装置、制御方法、プログラム、および医療用制御システム Download PDF

Info

Publication number
JP6838554B2
JP6838554B2 JP2017543005A JP2017543005A JP6838554B2 JP 6838554 B2 JP6838554 B2 JP 6838554B2 JP 2017543005 A JP2017543005 A JP 2017543005A JP 2017543005 A JP2017543005 A JP 2017543005A JP 6838554 B2 JP6838554 B2 JP 6838554B2
Authority
JP
Japan
Prior art keywords
display area
displayed
screen
output destination
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017543005A
Other languages
English (en)
Other versions
JPWO2017056762A1 (ja
Inventor
伊藤 俊樹
伊藤  俊樹
哲也 三谷
哲也 三谷
千佳子 木戸
千佳子 木戸
吉岡 圭一
圭一 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017056762A1 publication Critical patent/JPWO2017056762A1/ja
Application granted granted Critical
Publication of JP6838554B2 publication Critical patent/JP6838554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/214Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications

Description

本開示は、医療用制御装置、制御方法、プログラム、および医療用制御システムに関する。
通信によって複数の装置が接続された医療用制御システムに係る技術が、開発されている。医療用制御システムに係る技術としては、例えば、下記の特許文献1に記載の技術や、下記の特許文献2に記載の技術が挙げられる。
特開2001−000449号公報 特開2006−000536号公報
医療用制御システムは、例えば、画像(静止画像、または動画像)の入出力の制御を行うために、OR(Operating room) Controllerなどの医療用制御装置を有する。ここで、一般的な既存の医療用制御装置は、例えば、医療用制御システムを構成する“内視鏡などの撮像機能を有する医療機器や、手術室に設けられている撮像デバイスなどの、画像信号の信号源となる装置”と、医療用制御システムを構成する“画像を表示することが可能な表示デバイスなどの、画像の出力先となる装置”とを、1画面に表示させる。そして、既存の医療用制御装置は、例えば、医療従事者などの医療用制御システムのユーザ(以下、単に「ユーザ」と示す。)の操作に基づいて、画像の入出力の切り替えを行う。以下では、画像信号の信号源となる装置を、「入力元」と示す場合がある。また、以下では、画像の出力先となる装置を、「出力先」と示す場合がある。
上記のように、医療用制御装置が医療用制御システムを構成する入力元および出力先を1画面に表示させることによって、入力元および出力先の一覧性が向上する。よって、上記のように、医療用制御装置が医療用制御システムを構成する入力元および出力先を1画面に表示させることによって、入力元および出力先の視認性を向上させることができる可能性は、ある。
しかしながら、上記のような既存の医療用制御装置が用いられる場合には、画像の入出力に係る制御と、医療用制御システムを構成する装置(入力元または出力先)の制御とを、1画面で行うことはできない。
本開示では、ユーザの操作性の向上を図ることが可能な、新規かつ改良された医療用制御装置、制御方法、プログラム、および医療用制御システムを提案する。
本開示によれば、画像の入力元に関するオブジェクトが表示される第1表示領域と画像の出力先に関するオブジェクトが表示される第2表示領域との一方または双方と、上記入力元または上記出力先を制御するためのオブジェクトが表示される第3表示領域とを、1画面に表示させる処理部を備える、医療用制御装置が提供される。
また、本開示によれば、画像の入力元に関するオブジェクトが表示される第1表示領域と画像の出力先に関するオブジェクトが表示される第2表示領域との一方または双方と、上記入力元または上記出力先を制御するためのオブジェクトが表示される第3表示領域とを、1画面に表示させるステップを有する、医療用制御装置により実行される制御方法が提供される。
また、本開示によれば、画像の入力元に関するオブジェクトが表示される第1表示領域と画像の出力先に関するオブジェクトが表示される第2表示領域との一方または双方と、上記入力元または上記出力先を制御するためのオブジェクトが表示される第3表示領域とを、1画面に表示させる機能を、コンピュータに実現させるためのプログラムが提供される。
また、本開示によれば、画像の入力元となる装置と、画像の出力先となる装置と、医療用制御装置と、を有し、上記医療用制御装置は、上記入力元に関するオブジェクトが表示される第1表示領域と上記出力先に関するオブジェクトが表示される第2表示領域との一方または双方と、上記入力元または上記出力先を制御するためのオブジェクトが表示される第3表示領域とを、1画面に表示させる処理部を備える、医療用制御システムが提供される。
本開示によれば、ユーザの操作性の向上を図ることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る医療制御システムの一例を示す説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を説明するための説明図である。 本実施形態に係る医療用制御装置の構成の一例を示すブロック図である。 本実施形態に係る医療用制御装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る制御方法
2.本実施形態に係る医療用制御装置
3.本実施形態に係るプログラム
(本実施形態に係る制御方法)
まず、本実施形態に係る制御方法について説明する。以下では、本実施形態に係る制御方法に係る処理を、本実施形態に係る医療用制御装置が行う場合を例に挙げる。
[1]本実施形態に係る制御方法に係る処理
上述したように、既存の医療用制御装置が用いられる場合には、画像の入出力に係る制御と、医療用制御システムを構成する装置(入力元または出力先)の制御とを、1画面で行うことはできない。
そこで、本実施形態に係る医療用制御装置は、画像の入出力に係る制御と、医療用制御システムを構成する入力元または出力先の制御とを、1画面で行うことを可能とする。
ここで、本実施形態に係る入力元としては、例えば、内視鏡などの撮像機能を有する医療機器や、手術室に設けられている撮像デバイス、記録媒体に記憶されている画像データを再生する機能を有する装置などの、画像信号の信号源となりうる任意の装置が、挙げられる。
また、本実施形態に係る出力先としては、例えば、画像を表示することが可能な表示デバイスや、画像を記録媒体に記録する機能を有する装置などの、画像の出力先となりうる任意の装置が挙げられる。
より具体的には、本実施形態に係る医療用制御装置は、例えば下記の(1)〜下記の(3)の表示例に示すように、複数の表示領域を1画面に表示させる(制御処理)。
複数の表示領域が表示される本実施形態に係る表示画面としては、例えば、タブレット型の装置、PC(Personal Computer)などのコンピュータ、スマートフォンなどの通信装置などの、任意の装置が備える表示デバイス(または、任意の装置に接続されている表示デバイス)の表示画面が挙げられる。また、本実施形態に係る表示画面を構成する表示デバイスは、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
本実施形態に係る医療用制御装置は、例えば、表示を行わせる命令と表示データとを含む制御データを、複数の表示領域を1画面に表示させる対象の装置(以下、「表示対象の装置」と示す場合がある。)に対して送信させることによって、複数の表示領域を1画面に表示させる。本実施形態に係る医療用制御装置は、例えば、本実施形態に係る医療用制御装置が備える通信部(後述する)または本実施形態に係る医療用制御装置に接続されている外部の通信デバイスに、制御データを送信させる。
上記のような制御処理を行うことによって、本実施形態に係る医療用制御装置は、画像の入出力に係る制御と、医療用制御システムを構成する入力元または出力先の制御とを、1画面で行うことを可能とする。
ここで、本実施形態に係る1画面に表示される表示領域としては、例えば下記に示す第1表示領域、第2表示領域、および第3表示領域が、挙げられる。
・第1表示領域:画像の入力元に関するオブジェクトが表示される表示領域
・第2表示領域:画像の出力先に関するオブジェクトが表示される表示領域
・第3表示領域:入力元または出力先を制御するためのオブジェクトが表示される表示領域
また、本実施形態に係るオブジェクトとしては、例えば、“入力元が出力している画像や出力先に入力されている画像に対応するサムネイル画像”、“文字列”、“ボタンやスライドバーなどのユーザが操作可能な操作オブジェクト”など、表示画面に表示することが可能な任意の表示オブジェクトが挙げられる。本実施形態に係るオブジェクトの具体例については、後述する医療制御システムにおける表示の一例において示す。
ここで、本実施形態に係るサムネイル画像としては、静止画像、または動画像が挙げられる。また、本実施形態に係るサムネイル画像は、例えば1[FPS]ごとなど、定期的に更新されてもよく、または、不定期に更新されてもよい。サムネイル画像が更新されることによって、入力元から出力されたより直近の画像、または、出力先に入力されているより直近の画像を、サムネイル画像に反映させることが可能となる。
(1)制御処理による1画面の表示の第1の例
本実施形態に係る医療用制御装置は、第1表示領域、第2表示領域、および第3表示領域を、1画面に表示させる。
第1の例に係る表示を行う場合、本実施形態に係る医療用制御装置は、例えば、第1表示領域、第2表示領域、および第3表示領域それぞれに、下記のようなオブジェクトを表示させる。
・第1表示領域:入力元に関するオブジェクト
・第2表示領域:入力元の画像を表示させることが可能な出力先に関するオブジェクト
・第3表示領域:入力元を制御するためのオブジェクト
第1の例に係る表示の具体例としては、例えば、後述するデバイス制御画面におけるSources画面が挙げられる。なお、“第1の例に係る表示の具体例”、および、“第1表示領域、第2表示領域、および第3表示領域それぞれに表示されるオブジェクトの例”が、上記に示す例に限られないことは、言うまでもない。
(2)制御処理による1画面の表示の第2の例
本実施形態に係る医療用制御装置は、第1表示領域、および第3表示領域を、1画面に表示させる。
第2の例に係る表示を行う場合、本実施形態に係る医療用制御装置は、例えば、第1表示領域、および第3表示領域それぞれに、下記のようなオブジェクトを表示させる。
・第1表示領域:出力先に表示させることが可能な入力元に関するオブジェクト、または、出力先に画像を記録させることが可能な入力元に関するオブジェクト
・第3表示領域:出力先を制御するためのオブジェクト
第2の例に係る表示の具体例としては、例えば、後述するデバイス制御画面におけるMonitors画面、または、後述するデバイス制御画面におけるRecorders画面が挙げられる。なお、“第2の例に係る表示の具体例”、および、“第1表示領域、および第3表示領域それぞれに表示されるオブジェクトの例”が、上記に示す例に限られないことは、言うまでもない。
(3)制御処理による1画面の表示の第3の例
本実施形態に係る医療用制御装置は、第2表示領域、および第3表示領域を、1画面に表示させる。
第3の例に係る表示を行う場合、本実施形態に係る医療用制御装置は、例えば、第2表示領域、および第3表示領域それぞれに、下記のようなオブジェクトを表示させる。
・第2表示領域:入力元の画像を表示させることが可能な出力先に関するオブジェクト
・第3表示領域:入力元を制御するためのオブジェクト
第3の例に係る表示の具体例としては、例えば、後述するデバイス制御画面におけるRecorders画面が挙げられる。なお、“第3の例に係る表示の具体例”、および、“第2表示領域、および第3表示領域それぞれに表示されるオブジェクトの例”が、上記に示す例に限られないことは、言うまでもない。
本実施形態に係る医療用制御装置は、本実施形態に係る制御方法に係る制御処理を行うことによって、例えば上記(1)に示す表示の第1の例〜上記(3)に示す表示の第3の例に示すように、第1表示領域と第2表示領域との一方または双方と、第3表示領域とを、1画面に表示させる。
ここで、第1表示領域は、入力元に関するオブジェクトが表示される表示領域であり、第2表示領域は、出力先に関するオブジェクトが表示される表示領域である。また、第3表示領域は、入力元または出力先を制御するためのオブジェクトが表示される表示領域である。
よって、制御処理が行われることによって、例えば“手術室内外に存在する入力元、出力先に対する画像信号の入出力制御と、入力元または出力先の制御とを、1画面で行わせること”が、可能となる。また、“入力元、出力先に対する画像信号の入出力制御と、入力元または出力先の制御とを、1画面で行うことが可能となること”によって、ユーザは、入力元、出力先に対する画像信号の入出力制御と、入力元または出力先の制御とを、より効率よく行うことができる。
したがって、本実施形態に係る医療用制御装置が、本実施形態に係る制御方法に係る制御処理を行うことによって、ユーザの操作性の向上を図ることができる。
なお、上記制御処理は、便宜上、本実施形態に係る制御方法に係る処理を切り分けたものである。よって、本実施形態に係る制御方法に係る処理は、例えば、上記制御処理を、(任意の切り分け方によって)2以上の処理と捉えることも可能である。
[2]本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例
次に、本実施形態に係る制御方法が適用される医療制御システムにおける表示の一例を示しつつ、本実施形態に係る制御方法に係る制御処理について説明する。
図1は、本実施形態に係る医療制御システム1000の一例を示す説明図である。
図1は、IPC(Internet Protocol Converter)、スイッチャー、エンコーダ、トランスコーダなどを介して、IP化された画像信号が装置間で伝送されるシステムの一例を示している。図1では、例えば“10G IP Switcher”、“DVI Switcher”、“1G IP Switcher”が、スイッチャーに該当する。また、図1では、例えば“Encoder”
が、エンコーダに該当し、例えば“Transcoder” が、トランスコーダに該当する。なお、本実施形態に係る医療制御システムでは、画像信号をIP化して伝送しないことも可能である。
また、図1では、医療制御システム1000が、手術室内のネットワークN1と、手術室外のネットワークN2とを有する例を示している。なお、医療制御システム1000は、例えば、手術室内のネットワークN1のみを有する構成であってもよい。
医療制御システム1000は、例えば、医療用制御装置100と、入力元の装置200A、200B、…と、出力先の装置300A、300B、…と、入力元と出力先との一方または双方の機能を有する装置400A、400B、…と、各種制御画面が表示される表示対象の装置500と、医療用制御装置100により制御されるその他の装置600A、600B、…とを有する。各装置は、例えば、IPCやスイッチャーなどの装置を介した、任意の通信方式の有線通信、または任意の通信方式の無線通信によって接続される。
入力元の装置200A、200B、…としては、例えば図1に示すように、内視鏡などの撮像機能を有する医療機器(例えば入力元の装置200A)や、手術室に設けられている撮像デバイス(例えば入力元の装置200B)などが挙げられる。以下では、入力元の装置200A、200B、…を総称して、または、入力元の装置200A、200B、…のうちのいずれかを指して、「入力元の装置200」と示す場合がある。
出力先の装置300A、300B、…としては、例えば、画像を表示することが可能な表示デバイスが、挙げられる。表示デバイスとしては、例えば図1に示すように、手術室に設けられているモニタ(例えば、出力先の装置300A〜300F)や、プロジェクタなどの画像投射装置(例えば、出力先の装置300G)、PCが備えるモニタ(例えば、出力先の装置300H〜300K)などが挙げられる。以下では、出力先の装置300A、300B、…を総称して、または、出力先の装置300A、300B、…のうちのいずれかを指して、「出力先の装置300」と示す場合がある。
入力元と出力先との一方または双方の機能を有する装置400A、400B、…としては、画像を記録媒体に記録する機能と、記録媒体に記憶されている画像データを再生する機能との一方または双方の機能を有する装置が挙げられる。具体的には、入力元と出力先との一方または双方の機能を有する装置400A、400B、…としては、例えば図1に示すように、レコーダ(例えば、装置400A、400B)や、サーバ(例えば、装置400C)が挙げられる。以下では、入力元と出力先との一方または双方の機能を有する装置400A、400B、…を総称して、または、入力元と出力先との一方または双方の機能を有する装置400A、400B、…のうちのいずれかを指して、「装置400」と示す場合がある。また、以下では、装置400が、レコーダである場合を主に例に挙げる。
表示対象の装置500としては、例えば、タブレット型の装置、PCなどのコンピュータ、スマートフォンなどの通信装置などの、任意の装置が挙げられる。図1では、表示対象の装置500として、タッチパネルを備えるタブレット型の装置を示している。なお、医療制御システム1000では、表示対象の装置を複数有していてもよい。また、医療制御システム1000では、例えば、医療用制御装置100、入力元の装置200、出力先の装置300、装置400のいずれかの装置が、表示対象の装置の役目を果たしてもよい。
その他の装置600A、600B、…としては、例えば図1に示すように、手術台の照明装置(その他の装置600A)や、手術台(その他の装置600B)などが挙げられる。なお、医療用制御装置100は、その他の装置600A、600B、…を制御する機能を有していなくてもよい。
以下、図1に示すような医療制御システム1000における、表示対象の装置500の表示画面に表示される表示の一例として、(I)デバイス選択画面、および(II)デバイス制御画面を示す。
(I)デバイス選択画面
図2〜図9は、本実施形態に係る制御方法が適用される医療制御システム1000における表示の一例を説明するための説明図である。図2〜図9は、表示対象の装置500の表示画面に表示されるデバイス選択画面の全体、またはデバイス選択画面の一部をそれぞれ示している。以下、図2〜図9を適宜参照しつつ、デバイス選択画面について説明する。
図2は、デバイス選択画面の一例を示している。図2を参照すると、デバイス選択画面は、例えば、デバイスカテゴリ選択タブ(図2に示すO1)と、プリセットボタン(図2に示すO2)と、デバイス選択ボタン(図2に示すO3)と、場所名表示(図2に示すO4)と、Intra−OPスイッチ(図2に示すO5)と、コンテキストメニューボタン(図2に示すO6)とを有する。
デバイスカテゴリ選択タブ(図2に示すO1)は、表示画面に表示することが可能なデバイスのカテゴリを切り替えるためのタブである。図2では、表示画面に表示することが可能なデバイスのカテゴリとして、入力元の装置200に対応する“Sources”と、出力先の装置300に対応する“Monitors”と、装置400に対応する“Recorders”とを示している。ここで、図2は、デバイスカテゴリ選択タブにおいて“Sources”が選択されている場合を示している。
プリセットボタン(図2に示すO2)は、予め設定されている画面に遷移するためのボタンである。ここで、プリセットボタンは、例えば、色を付す、点滅させるなど、強調して表示されていてもよい。
デバイス選択ボタン(図2に示すO3)は、デバイスを選択するためのボタンであり、デバイス選択ボタンが操作されることによって、後述するデバイス制御画面に遷移する。図2では、デバイスカテゴリ選択タブにおいて“Sources”が選択されているので、デバイス選択ボタンが操作されることによって、後述するデバイス制御画面におけるSources画面に遷移する。
ここで、図2に示すデバイス選択ボタンのサイズで表示を行った際に、デバイス選択ボタンの数が1画面内に収まらない程多い場合には、例えば図3のOに示すように、スクロールバーが表示される。
また、図2に示すデバイス選択ボタンのサイズで表示を行った際に、デバイス選択ボタンの数が1画面内に収まらない程多い場合には、図4に示すように、より小さいサイズで表示が行われてもよい。
図5は、デバイス選択ボタンの構成の一例を示しており、図2に示すデバイス選択画面に表示されているデバイス選択ボタンの構成の一例を示している。
図2に示すデバイス選択画面に表示されているデバイス選択ボタンは、図5のAに示すように、例えば、サムネイル画像(図5に示すO1)、アイコン(図5に示すO2)、デバイス名表示(図5に示すO3)、およびステータス表示(図5に示すO4)を有する。
図5に示すサムネイル画像(図5に示すO1)は、入力元であるデバイスが出力している画像を示す。
ここで、サムネイル画像としては、静止画像が挙げられるが、動画像であってもよい。上述したように、本実施形態に係るサムネイル画像は、定期的に、または不定期に更新されうる。サムネイル画像が更新される場合には、入力元から出力されたより直近の画像を、サムネイル画像に反映させることが可能となる。
また、例えば、後述するデバイス制御画面において入力元であるデバイスのパラメータの調整などが行われた場合には、パラメータが調整された後に入力元から出力された画像が、サムネイル画像に反映される。一例を挙げると、後述するデバイス制御画面において入力元であるデバイスのズームに係るパラメータが調整された場合には、ズームされた画像が、サムネイル画像に反映される。
また、サムネイル画像が取得できない場合は、下記のような状態に応じて、図5のBまたは図5のCに示すような表示が行われる。
・サムネイル未取得の場合:図5のB
・未入力の場合;図5のC
アイコン(図5に示すO2)は、デバイスの種別を示すアイコンである。
デバイス名表示(図5に示すO3)は、デバイスの名称を示す。デバイス名表示(図5に示すO3)の領域は、例えば、長いデバイス名を表示することができるように、デバイス選択ボタンの幅いっぱいに設定される。
ステータス表示(図5に示すO4)は、アイコン程度の簡単な表示によって、デバイスの状態を示す。ステータス表示は、例えば図5のAに示すように四隅に表示される。また、ステータス表示が四隅に表示される場合、ステータス表示は、最大4つまで表示することが可能である。
図6は、デバイス選択ボタンの構成の他の例を示しており、図4に示すデバイス選択画面に表示されているデバイス選択ボタンの構成の一例を示している。
図4に示すデバイス選択画面に表示されているデバイス選択ボタンは、図6のAに示すように、例えば図4に示すデバイス選択ボタンと同様に、サムネイル画像(図6に示すO1)、アイコン(図6に示すO2)、デバイス名表示(図6に示すO3)、およびステータス表示(図6に示すO4)を有する。
再度図2を参照して、デバイス選択画面の一例を説明する。場所名表示(図2に示すO4)は、現在選択されている手術室名などの場所を示す。
Intra−OPスイッチ(図2に示すO5)は、手術中であるか否かを切り替えるスイッチである。ここで、Intra−OPスイッチが手術中であることを示すオン状態の場合には、デバイス選択画面、および後述するデバイス制御画面において、予め設定されているユーザの操作、および各種データの編集が制限される。
図7は、Intra−OPスイッチの状態の一例を示している。Intra−OPスイッチが手術中であることを示さないオフ状態の場合には、Intra−OPスイッチは、例えば、図7のAに示すような状態となる。また、Intra−OPスイッチが手術中であることを示すオン状態の場合には、Intra−OPスイッチは、例えば、図7のBに示すような状態となり、オフ状態の場合よりも強調して表示される。
図7のBに示すように、オン状態の場合におけるIntra−OPスイッチをオフ状態の場合におけるIntra−OPスイッチよりも強調して表示させることによって、例えば、手術中であることを示す状態であることをユーザに認識させることが可能となる。
再度図2を参照して、デバイス選択画面の一例を説明する。コンテキストメニューボタン(図2に示すO6)は、ユーザに細かな操作や、各種データの編集などを行わせるためのメニューボタンである。
図8は、コンテキストメニューボタンが操作された場合に表示されるコンテキストメニューの一例を示している。コンテキストメニューボタンが操作された場合には、図8のOに示すように、様々な操作やデータの編集に係るコンテクストメニューが表示される。
また、Intra−OPスイッチが手術中であることを示すオン状態の場合には、例えば、コンテキストメニューに対する操作が制限される。コンテキストメニューに対する操作の制限方法としては、例えば、“コンテキストメニューの制限される項目をグレーアウトして、操作を行うことができなくすること”や、“コンテキストメニューボタンに対する操作を無効とすること(この場合、例えば、コンテキストメニュー自体が表示されない。)”などが挙げられる。
デバイスカテゴリ選択タブにおいて“Sources”が選択されている場合には、例えば図2に示すようなデバイス選択画面が表示される。
図9は、デバイス選択画面の他の例を示しており、デバイスカテゴリ選択タブにおいて“Monitors”が選択されている場合を示している。
デバイスカテゴリ選択タブにおいて“Monitors”が選択されている場合においても、デバイス選択画面は、図2に示す“Sources”が選択されている場合と同様の構成を有する。
ここで、図2に示すデバイス選択画面と、図9に示すデバイス選択画面との相違点は、“デバイス選択ボタンが操作されることによって、後述するデバイス制御画面におけるMonitors画面に遷移する点”である。
また、図示はしていないが、デバイスカテゴリ選択タブにおいて“Recorders”が選択されている場合においても、デバイス選択画面は、図2に示す“Sources”が選択されている場合と同様の構成を有する。
ここで、図2に示すデバイス選択画面と、デバイスカテゴリ選択タブにおいて“Recorders”が選択されている場合におけるデバイス選択画面との相違点は、“デバイス選択ボタンが操作されることによって、後述するデバイス制御画面におけるRecorders画面に遷移する点”である。
(II)デバイス制御画面
次に、デバイス制御画面について説明する。デバイス制御画面は、本実施形態に係る制御方法に係る制御処理によって表示させる画面の一例に該当する。以下では、医療用制御装置100が行う制御処理についても、適宜説明を行う。
図10は、本実施形態に係る制御方法が適用される医療制御システム1000における表示の一例を説明するための説明図であり、表示対象の装置500の表示画面に表示されるデバイス制御画面の構成の一例を示している。
デバイス制御画面の構成は、例えば下記の3つのペイン(Pane。表示領域)で構成される。
・Deviceペイン(以下、符号P1で表す。)
・Controlペイン(以下、符号P2で表す。)
・Connectペイン(以下、符号P3で表す。)
ここで、3つのペインの表示位置は、例えば、デバイス制御画面の種類(例えば、後述するSources画面、Monitors画面、およびRecorders画面)によって変わる。
以下、デバイス制御画面の一例として、Sources画面、Monitors画面、およびRecorders画面それぞれを説明する。
(II−1)デバイス制御画面の第1の例:Sources画面
図11〜図16は、本実施形態に係る制御方法が適用される医療制御システム1000における表示の一例を説明するための説明図である。図11〜図16は、表示対象の装置500の表示画面に表示されるデバイス制御画面の全体、またはデバイス制御画面の一部をそれぞれ示している。
以下、図11〜図16を適宜参照しつつ、デバイス制御画面の第1の例について説明する。ここで、デバイス制御画面の第1の例は、“第1表示領域、第2表示領域、および第3表示領域を、1画面に表示させる場合における表示例”に該当する。
図11は、デバイス制御画面におけるSources画面の一例を示している。
図11に示すSources画面には、例えば、デバイスカテゴリ選択タブにおいて“Sources”が選択されているデバイス選択画面に遷移するためのボタン(図11に示すO)が、設けられる。ユーザは、上記ボタン(図11に示すO)を操作することによって、デバイス選択画面において他のデバイスを再度選択することができる。
また、図11に示すSources画面は、表示画面の向かって左側から順に、DeviceペインP1、ControlペインP2、およびConnectペインP3を有する。
図11に示すDeviceペインP1には、デバイスカテゴリ選択タブにおいて“Sources”が選択されているデバイス選択画面において選択された、デバイス選択ボタン(図2に示すO3)に対応するデバイスの情報が、表示される。ここで、図11に示すDeviceペインP1は、本実施形態に係る第1表示領域の一例に該当する。
図12は、DeviceペインP1の構成の一例を示している。DeviceペインP1は、例えば、アイコン(図12に示すO1)、デバイス名表示(図12に示すO2)、サムネイル画像(図12に示すO3)、プロパティ表示(図12に示すO4)、およびステータス表示(図12に示すO5)を有する。
アイコン(図12に示すO1)は、デバイスの種別を示すアイコンである。
デバイス名表示(図12に示すO2)は、デバイスの名称を示す。デバイス名表示(図12に示すO2)の領域は、例えば、長いデバイス名を表示することができるように、DeviceペインP1の幅いっぱいに設定される。
サムネイル画像(図12に示すO3)は、入力元であるデバイスが出力している画像を示す。
ここで、サムネイル画像としては、静止画像が挙げられるが、動画像であってもよい。上述したように、本実施形態に係るサムネイル画像は、定期的に、または不定期に更新されうる。サムネイル画像が更新される場合には、入力元から出力されたより直近の画像を、サムネイル画像に反映させることが可能となる。
また、例えば、デバイス制御画面のControlペインP2において入力元であるデバイスのパラメータの調整などが行われた場合には、パラメータが調整された後に入力元から出力された画像が、サムネイル画像に反映される。
また、サムネイル画像が取得できない場合、サムネイル画像の領域では、図5のBまたは図5のCに示すような表示が行われてもよい。
プロパティ表示(図12に示すO4)は、例えば、デバイスから取得される情報を示す。図12では、モデル名と製造者とが表示されている例を示している。
ステータス表示(図12に示すO5)は、例えばエラー表示や動作状態などの、デバイスの状態を示す。
再度図11を参照して、デバイス制御画面におけるSources画面の一例を説明する。図11に示すControlペインP2には、DeviceペインP1に示されているデバイスを制御するためのオブジェクトが表示される。ここで、図11に示すControlペインP2は、本実施形態に係る第3表示領域の一例に該当する。また、DeviceペインP1は本実施形態に係る第1表示領域の一例に該当するので、図11に示すControlペインP2は、入力元の装置200を制御するためのオブジェクトを表示させる表示領域であるといえる。
図13は、ControlペインP2の構成の一例を示している。ControlペインP2は、例えば、Controlタブ(図13に示すO1)、およびパラメータ編集領域(図13に示すO2)を有する。
Controlタブ(図13に示すO1)は、制御のカテゴリごとのタブである。図11示すControlペインP2では、1つのControlタブが設けられている例を示しているが、複数のControlタブが設けられていてもよい。
パラメータ編集領域(図13に示すO2)には、DeviceペインP1に示されているデバイスを操作するためのオブジェクトや、DeviceペインP1に示されているデバイスのパラメータを調整するためのオブジェクトが表示される。図13に示すパラメータ編集領域(図13に示すO2)では、パン操作およびチルト操作を行うためのボタンと、ズーム量を調整するための調整ボタンおよび調整スライドバーと、フォーカス量を調整するための調整ボタンおよび調整スライドバーとが、設けられている例を示している。
なお、パラメータ編集領域(図13に示すO2)内に、オブジェクトを表示しきれない場合には、スクロール表示が可能であってもよい。また、パラメータ編集領域(図13に示すO2)には、現在のズーム量やフォーカス量などが数値で表示されていてもよい。また、パラメータ編集領域(図13に示すO2)に表示される項目は、DeviceペインP1に示されているデバイスの種類によって変わりうる。
再度図11を参照して、デバイス制御画面におけるSources画面の一例を説明する。図11に示すConnectペインP3には、DeviceペインP1に示されているデバイスから出力される画像を表示させることが可能な、出力先の装置300に関するオブジェクトが表示される。ここで、図11に示すConnectペインP3は、本実施形態に係る第2表示領域の一例に該当する。また、DeviceペインP1は本実施形態に係る第1表示領域の一例に該当するので、図11に示すConnectペインP3は、入力元の装置200の画像を表示させることが可能な出力先の装置300に関するオブジェクトを表示させる表示領域であるといえる。
図14は、ConnectペインP3の構成の一例を示している。ConnectペインP3は、例えば、接続先一覧表示(図14に示すO1)、および接続表示(図14に示すO2)を有する。
接続先一覧表示(図14に示すO1)は、DeviceペインP1に示されているデバイスから出力される画像を表示させることが可能な、出力先の装置300の一覧を示す。接続先一覧表示(図14に示すO1)に表示される出力先の装置300としては、例えば、医療制御システム1000の構築時(または更新時)に、DeviceペインP1に示されているデバイスとの正常な接続が保証されている出力先の装置300が、挙げられる。
また、接続先一覧表示(図14に示すO1)は、例えば、“出力先の装置300に表示されている画像に対応するサムネイル画像”、“出力先の装置300を示すアイコン”、および“出力先の装置300のデバイス名表示”を有する。
ここで、サムネイル画像としては、静止画像が挙げられるが、動画像であってもよい。上述したように、本実施形態に係るサムネイル画像は、定期的に、または不定期に更新されうる。サムネイル画像が更新される場合には、出力先の装置300に入力されているより直近の画像を、サムネイル画像に反映させることが可能となる。また、例えば、図13に示すデバイス制御画面のControlペインP2において入力元の装置200のパラメータの調整などが行われた場合、当該入力元の装置200から出力された画像を表示している出力先の装置300に対応するサムネイル画像には、パラメータが調整された後に当該入力元の装置200から出力された画像が反映されることとなる。
また、サムネイル画像が取得できない場合、サムネイル画像の領域では、図5のBまたは図5のCに示すような表示が行われてもよい。
医療用制御装置100は、例えば図14に示す接続先一覧表示(図14に示すO1)のように、第2表示領域に該当するConnectペインP3に、出力先の表示画面に表示されている画像のサムネイル画像を表示させることが、可能である。
接続表示(図14に示すO2)は、ConnectペインP3に対するユーザの操作によって選択された出力先の装置300を示す。
図14では、選択された出力先の装置300が、矢印で表されている例を示している。なお、選択された出力先の装置300の明示方法は、図14に示す例に限られない。また、ConnectペインP3に対するユーザの操作によって、複数の出力先の装置300が選択された場合には、複数の接続表示がConnectペインP3に表示される。
ここで、ConnectペインP3に対するユーザの操作としては、例えば下記に示す例が挙げられる。なお、ConnectペインP3に対するユーザの操作の例が、下記に示す例に限られないことは、言うまでもない。
・ConnectペインP3をタッチする操作(表示対象の装置500の表示デバイスがタッチパネルである場合)
・物理的なボタンなどの表示対象の装置500が備える操作デバイス、または、リモート・コントローラなどの外部操作デバイスを用いた操作
医療用制御装置100は、例えば図14に示す接続表示(図14に示すO2)のように、第2表示領域に該当するConnectペインP3に対する操作に基づいて、第2表示領域に対する操作により選択された、入力元の装置200の画像を表示させる出力先の装置300を、明示させる。
なお、デバイス制御画面におけるSources画面は、図11に示す例に限られない。
図15は、DeviceペインP1に示されているデバイスから出力される画像の一例を示している。
DeviceペインP1に示されているデバイスから出力される画像の中には、例えば、4K解像度の画像や8K解像度の画像などの、2K解像度の画像やHD(High Definition)解像度の画像よりも高解像度の画像が含まれる場合がありうる。
ここで、DeviceペインP1に示されているデバイスから出力される画像が、上記のような高解像度の画像である場合には、“例えば図15のB、図15のCに示すような、図15のAに示す画像の一部に対応する画像を、異なる出力先の装置300に表示させたいという要望が、医療従事者などのユーザからでてくること”が、想定される。
よって、デバイス制御画面におけるSources画面は、ユーザの操作に基づいて、画像の一部に対応する画像を異なる出力先の装置300に表示させることが可能な画面であってもよい。画像の一部に対応する画像を異なる出力先の装置300に表示させることによって、例えば、“1つの入力元の装置200の画像から画角を変えた画像を、異なる出力先の装置300に表示させること”が実現される。
図16は、デバイス制御画面におけるSources画面の他の例を示している。
図16に示すSources画面の構成は、図11に示すSources画面の構成と基本的に同様であるが、“DeviceペインP1に示されているデバイスから出力される画像の一部に対応する画像を表示させる出力先の装置300が、明示される点”が、異なる。
例えば、DeviceペインP1に対するユーザの操作によって、図16のO1、O2に示すようにサムネイル画像の一部が選択され、かつ、ConnectペインP3に対するユーザの操作によって出力先の装置300が選択された場合には、図16のO3、O4に示すように、選択されたサムネイル画像の一部の画像を表示する出力先の装置300が、さらに明示される。
ここで、DeviceペインP1に対するユーザの操作としては、例えば下記に示す例が挙げられる。なお、DeviceペインP1に対するユーザの操作の例が、下記に示す例に限られないことは、言うまでもない。
・DeviceペインP1のサムネイル画像に対するピンチ操作など、表示画面上の領域を選択することが可能な操作(表示対象の装置500の表示デバイスがタッチパネルである場合)
・物理的なボタンなどの表示対象の装置500が備える操作デバイス、または、リモート・コントローラなどの外部操作デバイスを用いた操作
医療用制御装置100は、例えば図16に示すO1〜O4のように、第1表示領域に該当するDeviceペインP1に対する操作、および第2表示領域に該当するConnectペインP3に対する操作に基づいて、“ConnectペインP3に対する操作により選択された、DeviceペインP1に対する操作により選択された入力元の装置200の画像の一部に対応する画像を表示させる、出力先の装置300”を、さらに明示させてもよい。
(II−2)デバイス制御画面の第2の例:Monitors画面
図17、図18は、本実施形態に係る制御方法が適用される医療制御システム1000における表示の一例を説明するための説明図である。図17、図18は、表示対象の装置500の表示画面に表示されるデバイス制御画面の全体、またはデバイス制御画面の一部をそれぞれ示している。
以下、図17、図18を適宜参照しつつ、デバイス制御画面の第2の例について説明する。ここで、デバイス制御画面の第2の例は、“第1表示領域、および第3表示領域を、1画面に表示させる場合における表示例”に該当する。
図17は、デバイス制御画面におけるMonitors画面の一例を示している。
図17に示すMonitors画面は、表示画面の向かって左側から順に、ConnectペインP3、DeviceペインP1、およびControlペインP2を有する。
図17に示すConnectペインP3には、デバイスカテゴリ選択タブにおいて“Monitors”が選択されているデバイス選択画面において選択された出力先の装置300に表示させることが可能な、入力元の装置200に関するオブジェクトが、表示される。ここで、図17に示すConnectペインP3は、本実施形態に係る第1表示領域の一例に該当する。
図17では、ConnectペインP3に、入力元の装置200それぞれに関するオブジェクトが、一覧表示されている例を示している。入力元の装置200に関するオブジェクトとしては、例えば、図14に示す接続先一覧表示(図14に示すO1)と同様に、サムネイル画像、アイコン、デバイス名表示が挙げられる。
また、ConnectペインP3に表示される入力元の装置200としては、例えば、医療制御システム1000の構築時(または更新時)に、DeviceペインP1に示されているデバイスとの正常な接続が保証されている入力元の装置200が、挙げられる。
図17に示すDeviceペインP1には、デバイスカテゴリ選択タブにおいて“Monitors”が選択されているデバイス選択画面において選択されたデバイス選択ボタンに対応する、デバイスの情報が、表示される。ここで、図17に示すDeviceペインP1の構成は、例えば図12に示すDeviceペインP1の構成と同様である。
図17に示すControlペインP2には、DeviceペインP1に示されているデバイスを制御するためのオブジェクトが表示される。ここで、図17に示すControlペインP2は、本実施形態に係る第3表示領域の一例に該当する。また、DeviceペインP1に示されているデバイスは、デバイスカテゴリ選択タブにおいて“Monitors”が選択されているデバイス選択画面において選択された出力先の装置300である。よって、図17に示すControlペインP2は、出力先の装置300を制御するためのオブジェクトを表示させる表示領域であるといえる。
デバイス制御画面におけるMonitors画面のControlペインP2に表示される、DeviceペインP1に示されているデバイスを制御するためのオブジェクトとしては、下記に示す例が挙げられる。
・図17の“Swap”に示すボタン:DeviceペインP1に示されているデバイスが、PinP機能(独立して画像を表示することが可能な表示領域を1画面内に複数設けることが可能な機能)を有している場合に、メインとなる表示領域と、サブとなる表示領域とを切り替えるためのボタン
・図17の“Flip”に示すボタン:DeviceペインP1に示されているデバイスにおける表示の向きを制御するためのボタン
・図17の“Contrast”に示す調整ボタン:DeviceペインP1に示されているデバイスにおけるコントラストを調整するためのボタン
・図17の“Color”に示す調整ボタン:DeviceペインP1に示されているデバイスにおける輝度、色相、あるいは、RGBのバランスを調整するためのボタン
・図17の“2D/3D Mode”に示すボタン:DeviceペインP1に示されているデバイスにおける立体視に係る表示モードの切り替えを、制御するためのボタン
なお、デバイス制御画面におけるMonitors画面のControlペインP2に表示される、DeviceペインP1に示されているデバイスを制御するためのオブジェクトは、上記に示す例に限られない。
例えば、DeviceペインP1に示されているデバイスがPinP機能を有する場合には、デバイス制御画面におけるMonitors画面のControlペインP2には、PinP機能における表示領域の構成を変えるためのオブジェクトが、さらに表示されていてもよい。なお、PinP機能における表示領域の構成を変えるためのオブジェクトは、DeviceペインP1などの他のペインに表示することも可能である。PinP機能における表示領域の構成を変えるためのオブジェクトが、図17に示すControlペインP2以外のペインに表示される場合、PinP機能における表示領域の構成を変えるためのオブジェクトが表示されるペインは、本実施形態に係る第3表示領域の役目を果たすこととなる。
PinP機能における表示領域の構成としては、例えば図18のA〜図18のDに示す例が挙げられる。図18のA〜図18のDでは、“a”、“b”、“c”、“d”で示す表示領域が、PinP機能における表示領域に該当する。
出力先の装置300に該当するDeviceペインP1に示されているデバイスがPinP機能を有する場合には、医療用制御装置100は、例えば図17の“Swap”に示すボタンのように、“第3表示領域に該当するControlペインP2に、出力先の装置300におけるPinPに係る表示領域のうちの1または2以上への表示を制御するためのオブジェクト”を、表示させてもよい。
また、デバイス制御画面におけるMonitors画面のControlペインP2に表示される、DeviceペインP1に示されているデバイスを制御するためのオブジェクトは、DeviceペインP1に示されているデバイスの種類によって、変わりうる。
例えば、DeviceペインP1に示されているデバイスが、PinP機能を有していない場合には、図17の“Flip”に示すボタンは、表示されなくてもよい。
(II−3)デバイス制御画面の第3の例:Recorders画面
図19A、図19Bは、本実施形態に係る制御方法が適用される医療制御システム1000における表示の一例を説明するための説明図である。図19A、図19Bは、表示対象の装置500の表示画面に表示されるデバイス制御画面の全体をそれぞれ示している。図19Aに示すデバイス制御画面と、図19Bに示すデバイス制御画面とは、ユーザの操作によって切り替えられる。
以下、図19A、図19Bを適宜参照しつつ、デバイス制御画面の第3の例について説明する。ここで、図19Aに示すデバイス制御画面の第3の例は、“第1表示領域、および第3表示領域を、1画面に表示させる場合における表示例”に該当する。また、図19Bに示すデバイス制御画面の第3の例は、“第2表示領域、および第3表示領域を、1画面に表示させる場合における表示例”に該当する。
図19Aは、デバイス制御画面におけるRecorders画面の一例を示している。
図19Aに示すRecorders画面は、図17に示すMonitors画面と同様に、表示画面の向かって左側から順に、ConnectペインP3、DeviceペインP1、およびControlペインP2を有する。
図19Aに示すConnectペインP3には、デバイスカテゴリ選択タブにおいて“Recorders”が選択されているデバイス選択画面において選択された装置400に画像信号を出力することが可能な、入力元の装置200に関するオブジェクトが、表示される。ここで、図19Aに示すConnectペインP3は、本実施形態に係る第1表示領域の一例に該当する。
図19Aでは、図17と同様に、ConnectペインP3に、入力元の装置200それぞれに関するオブジェクトが、一覧表示されている例を示している。また、図19Aに示すConnectペインP3に表示される入力元の装置200としては、例えば、医療制御システム1000の構築時(または更新時)に、DeviceペインP1に示されているデバイスとの正常な接続が保証されている入力元の装置200が、挙げられる。
図19Aに示すDeviceペインP1には、デバイスカテゴリ選択タブにおいて“Recorders”が選択されているデバイス選択画面において選択されたデバイス選択ボタンに対応する、デバイスの情報が、表示される。ここで、図19Aに示すDeviceペインP1の構成は、例えば図12に示すDeviceペインP1の構成と同様である。
図19Aに示すControlペインP2には、DeviceペインP1に示されているデバイスを制御するためのオブジェクトが表示される。ここで、図19Aに示すControlペインP2は、本実施形態に係る第3表示領域の一例に該当する。また、DeviceペインP1に示されているデバイスは、デバイスカテゴリ選択タブにおいて“Recorders”が選択されているデバイス選択画面において選択された装置400である。よって、図19Aに示すControlペインP2は、装置400を制御するためのオブジェクトを表示させる表示領域であるといえる。
デバイス制御画面におけるRecorders画面のControlペインP2に表示される、DeviceペインP1に示されているデバイスを制御するためのオブジェクトとしては、下記に示す例が挙げられる。なお、デバイス制御画面におけるRecorders画面のControlペインP2に表示される、DeviceペインP1に示されているデバイスを制御するためのオブジェクトが、下記に示す例に限られないことは、言うまでもない。
・記録媒体への画像データの記録を開始させるための録画ボタン(図19Aに示すO1)
・行われている処理を停止させるための停止ボタン(図19Aに示すO2)
・行われている処理を一時的に停止させるための停止ボタン(図19Aに示すO3)
・記録媒体に記憶されている画像データの再生を開始させるための再生ボタン(図19Aに示すO4)
・再生されている画像の巻き戻しをさせるための巻き戻しボタン(図19Aに示すO5)
・再生されている画像の早送りをさせるための早送りボタン(図19Aに示すO6)
図19Aに示すデバイス制御画面によって、例えば、ConnectペインP3に対するユーザの操作によって選択された入力元の装置200から、DeviceペインP1に示されているデバイスへの画像データの記録を制御することが、可能となる。
図19Bは、デバイス制御画面におけるRecorders画面の他の例を示している。
図19Bに示すRecorders画面は、表示画面の向かって左側から順に、DeviceペインP1、ControlペインP2、およびConnectペインP4を有する。
図19Bに示すDeviceペインP1、および図19Bに示すControlペインP2それぞれは、図19Aに示すDeviceペインP1、および図19Aに示すControlペインP2と同一である。ここで、図19Bに示すControlペインP2は、本実施形態に係る第3表示領域の一例に該当する。また、DeviceペインP1に示されているデバイスは、デバイスカテゴリ選択タブにおいて“Recorders”が選択されているデバイス選択画面において選択された装置400である。よって、図19Bに示すControlペインP2は、装置400を制御するためのオブジェクトを表示させる表示領域であるといえる。
図19Bに示すConnectペインP4は、図11、図14に示すConnectペインP3と同様に、DeviceペインP1に示されているデバイスから出力される画像を表示させることが可能な、出力先の装置300に関するオブジェクトが表示される。ここで、図19Bに示すConnectペインP4は、本実施形態に係る第2表示領域の一例に該当する。
上記のように、図19Bに示すConnectペインP4は、図11、図14に示すConnectペインP3と同様に、本実施形態に係る第2表示領域に該当する。よって、医療用制御装置100は、図11、図14に示すConnectペインP3と同様に、第2表示領域に該当するConnectペインP4に、出力先の表示画面に表示されている画像のサムネイル画像を表示させることが、可能である。
図19Bに示すデバイス制御画面によって、例えば、DeviceペインP1に示されているデバイスにおいて再生された画像を、ConnectペインP4に対するユーザの操作によって選択された出力先の装置300に表示させることが、可能となる。
ここで、デバイスカテゴリ選択タブにおいて“Recorders”が選択されているデバイス選択画面において選択された装置400の中には、画像の記録機能と画像の再生機能との双方を有している装置、すなわち、出力先および入力元として機能する装置が存在しうる。
上記のような出力先および入力元として機能する装置400を制御するためには、図19Aに示すデバイス制御画面と、図19Bに示すデバイス制御画面との一方のデバイス制御画面では、十分ではない。
ここで、例えば、図19Aに示すデバイス制御画面に図19Bに示すConnectペインP4をさらに表示させれば、上記のような出力先および入力元として機能する装置400を十分に制御することが可能となる。しかしながら、表示対象の装置500が、タブレット型の装置である場合など、表示画面のサイズや解像度が十分に大きくない場合には、図19Aに示すデバイス制御画面に図19Bに示すConnectペインP4をさらに表示させることによって、視認性を低下させてしまう恐れがある。
そこで、医療用制御装置100は、ユーザの操作に基づいて、例えば図19Aに示すデバイス制御画面と図19Bに示すデバイス制御画面とを、切り替えて表示させる。
ここで、デバイス制御画面の表示を切り替えるためのユーザの操作としては、例えば下記に示す例が挙げられる。なお、デバイス制御画面の表示を切り替えるためのユーザの操作の例が、下記に示す例に限られないことは、言うまでもない。
・表示画面をスワイプする操作など、表示画面の表示の切り替えを行うことが可能な操作(表示対象の装置500の表示デバイスがタッチパネルである場合)
・物理的なボタンなどの表示対象の装置500が備える操作デバイス、または、リモート・コントローラなどの外部操作デバイスを用いた操作
医療用制御装置100が、図19Aに示すデバイス制御画面と図19Bに示すデバイス制御画面とを、切り替えて表示させることによって、視認性が低下することを防止しつつ、上記のような出力先および入力元として機能する装置400を十分に制御することが、可能となる。
[3]本実施形態に係る制御方法が用いられることにより奏される効果の一例
医療用制御装置100が本実施形態に係る制御方法に係る制御処理を行うことによって、例えば下記に示す効果が奏される。なお、本実施形態に係る制御方法が用いられることにより奏される効果が、下記に示す効果に限られないことは、言うまでもない。
・例えば、図11、図17、図19A、図19Bに示すデバイス制御画面が用いられることによって、ユーザは、1画面で画像の切り替えと、機器の制御とを行うことができるので、効率的に作業を行うことができる。
・例えば、図11のConnectペインP3、図17のConnectペインP3、図19AのConnectペインP3、および図19BのConnectペインP4に示すように、デバイス制御画面には、画像の切り替えを行うことが可能な機器のみが表示されるので、ユーザの誤操作の防止が図られる。
・レコーダ(装置400の一例)のように、信号源と出力先とが、行われる処理(レコーダが用いられる目的に対応する処理)によって変わる機器においても、例えば図19A、図19Bを参照して示したように、ユーザは、スワイプ操作などのユーザの操作によってモードを切り替えることによって、統一した操作を行うことができる。
・例えば図15、図16を参照して示したように、1つの画像から画角を変えた複数の画像を、それぞれ異なるモニタ(出力先の一例)に出力することができる。
(本実施形態に係る医療用制御装置)
次に、上述した本実施形態に係る制御方法に係る処理を行うことが可能な本実施形態に係る医療用制御装置の構成の一例を説明する。
図20は、本実施形態に係る医療用制御装置100の構成の一例を示すブロック図である。医療用制御装置100は、例えば、通信部102と、制御部104とを備える。
また、医療用制御装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。医療用制御装置100は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
記憶部(図示せず)は、例えば、本実施形態に係る制御方法に係るデータや、アプリケーションなど、様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、不揮発性メモリなどの記録媒体が挙げられる。また、記憶部(図示せず)は、例えば、医療用制御装置100から着脱可能であってもよい。
操作部(図示せず)としては、例えば後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[医療用制御装置100のハードウェア構成例]
図21は、本実施形態に係る医療用制御装置100のハードウェア構成の一例を示す説明図である。医療用制御装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、医療用制御装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
MPU150は、例えば、MPUなどの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、医療用制御装置100全体を制御する制御部(図示せず)として機能する。また、MPU150は、医療用制御装置100において、例えば処理部110の役目を果たす。なお、処理部110は、処理部110における処理を実現可能な専用の(または汎用の)回路(例えば、MPU150とは別体のプロセッサなど)で構成されていてもよい。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部(図示せず)として機能し、例えば、本実施形態に係る制御方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、医療用制御装置100から着脱可能であってもよい。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
また、操作入力デバイス160は、例えば、医療用制御装置100上に備えられ、医療用制御装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
また、表示デバイス162は、例えば、医療用制御装置100上に備えられ、医療用制御装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
なお、入出力インタフェース158が、医療用制御装置100の外部の操作入力デバイス(例えば、キーボードやマウスなど)や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース164は、医療用制御装置100が備える通信手段である。通信インタフェース164は、例えば、ネットワークを介して(あるいは、直接的に)、入力元の装置200、出力先の装置300、装置400、表示対象の装置500、およびその他の装置600A、600Bなどの、医療制御システム1000を構成する1または2以上の外部装置それぞれと、無線または有線で通信を行うための通信部(図示せず)として機能する。また、通信インタフェース164は、例えば、サーバなどの医療制御システム1000を構成する以外の外部装置と、無線または有線で通信を行う役目を果たしてもよい。
ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。
医療用制御装置100は、例えば図21に示す構成によって、本実施形態に係る制御方法に係る処理を行う。なお、本実施形態に係る医療用制御装置100のハードウェア構成は、図21に示す構成に限られない。
例えば、医療用制御装置100は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース164を備えていなくてもよい。また、通信インタフェース164は、複数の通信方式によって、1または2以上の外部装置などと通信を行うことが可能な構成であってもよい。
また、医療用制御装置100は、例えば、記録媒体156、操作入力デバイス160、および表示デバイス162のうちの1または2以上を備えない構成をとることが、可能である。
また、例えば、図21に示す構成(または変形例に係る構成)の一部または全部は、1、または2以上のIC(Integrated Circuit)で実現されてもよい。
再度図20を参照して、医療用制御装置100の構成の一例について説明する。通信部102は、医療用制御装置100が備える通信手段であり、例えば、入力元の装置200、出力先の装置300、装置400、表示対象の装置500、およびその他の装置600A、600Bなどの、医療制御システム1000を構成する1または2以上の外部装置それぞれと、無線または有線で通信を行う。また、通信部102は、例えば、サーバなどの医療制御システム1000を構成する以外の外部装置と、無線または有線で通信を行うことも可能である。
ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。また、通信部102は、複数の通信方式によって、1または2以上の外部装置などと通信を行うことが可能な構成であってもよい。
制御部104は、例えば、MPUなどの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、医療用制御装置100全体を制御する。また、制御部104は、例えば処理部110を備え、本実施形態に係る制御方法に係る処理を主導的に行う役目を果たす。
処理部110は、本実施形態に係る制御処理を主導的に行う役目を果たす。処理部110は、入力元に関するオブジェクトが表示される第1表示領域と出力先に関するオブジェクトが表示される第2表示領域との一方または双方と、入力元または出力先を制御するためのオブジェクトが表示される第3表示領域とを、1画面に表示させる。
具体例を挙げると、処理部110は、例えば、上述した図11、図17、図19A、図19Bに示すようなデバイス制御画面を、表示対象の装置500の表示画面に表示させる。
また、処理部110は、例えば図2〜図9を参照して示したデバイス選択画面などの、他の画面を、表示対象の装置500の表示画面に表示させることも可能である。
また、処理部110は、例えば、デバイス制御画面などの本実施形態に係る制御処理によって表示対象の装置500に表示させた画面、または、デバイス選択画面などの表示対象の装置500に表示させた画面に対して行われたユーザの操作に対応する処理を、行ってもよい。上記ユーザの操作に対応する処理としては、例えば、“デバイス選択画面に対する操作に応じて、操作に対応するデバイス制御画面に遷移させる処理”や、“デバイス制御画面に対する操作に応じて図1に示す各種スイッチャなどを制御することによって、入力元の装置200と、出力先の装置300(または、装置400)とを接続する処理”などが挙げられる。
制御部104は、例えば処理部110を備えることによって、本実施形態に係る制御方法に係る処理を主導的に行う。
医療用制御装置100は、例えば図20に示す構成によって、本実施形態に係る制御方法に係る処理(例えば、上記制御処理)を行う。
したがって、医療用制御装置100は、例えば図20に示す構成によって、ユーザの操作性の向上を図ることができる。
また、例えば図20に示す構成によって、医療用制御装置100は、本実施形態に係る制御方法に係る処理が行われることにより奏される効果を、奏することができる。
また、例えば図20に示す構成を有する医療用制御装置100によって、ユーザの操作性の向上を図ることが可能な医療制御システム1000が実現される。
なお、本実施形態に係る医療用制御装置の構成は、図20に示す構成に限られない。
例えば、本実施形態に係る医療用制御装置は、図20に示す処理部110を、制御部104とは個別に備える(例えば、別の処理回路で実現する)ことができる。
また、上述したように、上記制御処理は、便宜上、本実施形態に係る制御方法に係る処理を切り分けたものである。よって、本実施形態に係る制御方法に係る処理を実現するための構成は、図20に示す構成に限られず、本実施形態に係る制御方法に係る処理の切り分け方に応じた構成をとることが可能である。
また、通信部102と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る医療用制御装置は、通信部102を備えていなくてもよい。
以上、本実施形態として、医療用制御装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、PCやサーバ、OR Controllerなどのコンピュータ、タブレット型の装置、スマートフォンなどの通信装置など、本実施形態に係る制御方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ICに適用することもできる。
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る医療用制御装置として機能させるためのプログラム(例えば上記制御処理など、本実施形態に係る制御方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、ユーザの操作性の向上を図ることができる。
また、コンピュータを、本実施形態に係る医療用制御装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る制御方法に係る処理によって奏される効果を、奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る医療用制御装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
画像の入力元に関するオブジェクトが表示される第1表示領域と画像の出力先に関するオブジェクトが表示される第2表示領域との一方または双方と、前記入力元または前記出力先を制御するためのオブジェクトが表示される第3表示領域とを、1画面に表示させる処理部を備える、医療用制御装置。
(2)
前記第1表示領域と前記第2表示領域との双方と、前記第3表示領域とを、1画面に表示させる場合、
前記処理部は、
前記第2表示領域に、前記入力元の画像を表示させることが可能な前記出力先に関するオブジェクトを表示させ、
前記第3表示領域に、前記入力元を制御するためのオブジェクトを表示させる、(1)に記載の医療用制御装置。
(3)
前記処理部は、前記第2表示領域に対する操作に基づいて、前記第2表示領域に対する操作により選択された、前記入力元の画像を表示させる前記出力先を、明示させる、(2)に記載の医療用制御装置。
(4)
前記処理部は、前記第1表示領域に対する操作、および前記第2表示領域に対する操作に基づいて、前記第2表示領域に対する操作により選択された、前記第1表示領域に対する操作により選択された前記入力元の画像の一部に対応する画像を表示させる、前記出力先を、さらに明示させる、(3)に記載の医療用制御装置。
(5)
前記第1表示領域と、前記第3表示領域とを、1画面に表示させる場合、
前記処理部は、
前記第1表示領域に、前記出力先に画像を表示させることが可能な前記入力元に関するオブジェクト、または、前記出力先に画像を記録させることが可能な前記入力元に関するオブジェクトを表示させ、
前記第3表示領域に、前記出力先を制御するためのオブジェクトを表示させる、(1)〜(4)のいずれか1つに記載の医療用制御装置。
(6)
前記出力先が、独立して画像を表示することが可能な表示領域を1画面内に複数設けることが可能な機能を、有する場合、
前記処理部は、前記第3表示領域に、前記出力先における前記表示領域のうちの1または2以上への表示を制御するためのオブジェクトを、表示させる、(5)に記載の医療用制御装置。
(7)
前記第2表示領域と、前記第3表示領域とを、1画面に表示させる場合、
前記処理部は、
前記第2表示領域に、前記入力元の画像を表示させることが可能な出力先に関するオブジェクトを表示させ、
前記第3表示領域に、前記入力元を制御するためのオブジェクトを表示させる、(1)〜(6)のいずれか1つに記載の医療用制御装置。
(8)
前記処理部は、前記第2表示領域に、前記出力先の表示画面に表示されている画像のサムネイル画像を表示させる、(2)〜(4)、(6)のいずれか1つに記載の医療用制御装置。
(9)
前記サムネイル画像は、動画像である、(8)に記載の医療用制御装置。
(10)
画像の入力元に関するオブジェクトが表示される第1表示領域と画像の出力先に関するオブジェクトが表示される第2表示領域との一方または双方と、前記入力元または前記出力先を制御するためのオブジェクトが表示される第3表示領域とを、1画面に表示させるステップを有する、医療用制御装置により実行される制御方法。
(11)
画像の入力元に関するオブジェクトが表示される第1表示領域と画像の出力先に関するオブジェクトが表示される第2表示領域との一方または双方と、前記入力元または前記出力先を制御するためのオブジェクトが表示される第3表示領域とを、1画面に表示させる機能を、コンピュータに実現させるためのプログラム。
(12)
画像の入力元となる装置と、
画像の出力先となる装置と、
医療用制御装置と、
を有し、
前記医療用制御装置は、
前記入力元に関するオブジェクトが表示される第1表示領域と前記出力先に関するオブジェクトが表示される第2表示領域との一方または双方と、前記入力元または前記出力先を制御するためのオブジェクトが表示される第3表示領域とを、1画面に表示させる処理部を備える、医療用制御システム。
100 医療用制御装置
102 通信部
104 制御部
110 処理部
200 入力元の装置
300 出力先の装置
400 装置
500 表示対象の装置
600 その他の装置
1000 医療制御システム

Claims (11)

  1. 複数の動画像の入力元に関するオブジェクトと、該複数の動画像の入力画像のそれぞれに1対1に対応する、それぞれ動画像による複数のサムネイル画像それぞれが表示される第1表示領域と、
    複数の動画像の出力先に関するオブジェクトと、該出力先に出力されている動画像のそれぞれに1対1に対応する、それぞれ動画像による複数のサムネイル画像のそれぞれが表示される第2表示領域と、
    の一方または双方と、
    前記入力元または前記出力先を制御するためのオブジェクトが表示される第3表示領域と、
    を1画面に表示させる処理部を備える、医療用制御装置。
  2. 前記第1表示領域と前記第2表示領域との双方と、前記第3表示領域とを、1画面に表示させる場合、
    前記処理部は、
    前記第2表示領域に、前記入力元の画像を表示させることが可能な前記出力先に関するオブジェクトを表示させ、
    前記第3表示領域に、前記入力元を制御するためのオブジェクトを表示させる、請求項1に記載の医療用制御装置。
  3. 前記処理部は、前記第2表示領域に対する操作に基づいて、前記第2表示領域に対する操作により選択された、前記入力元の画像を表示させる前記出力先を、明示させる、請求項2に記載の医療用制御装置。
  4. 前記処理部は、前記第1表示領域に対する操作、および前記第2表示領域に対する操作に基づいて、前記第2表示領域に対する操作により選択された、前記第1表示領域に対する操作により選択された前記入力元の画像の一部に対応する画像を表示させる、前記出力先を、さらに明示させる、請求項3に記載の医療用制御装置。
  5. 前記第1表示領域と、前記第3表示領域とを、1画面に表示させる場合、
    前記処理部は、
    前記第1表示領域に、前記出力先に画像を表示させることが可能な前記入力元に関するオブジェクト、または、前記出力先に画像を記録させることが可能な前記入力元に関するオブジェクトを表示させ、
    前記第3表示領域に、前記出力先を制御するためのオブジェクトを表示させる、請求項1に記載の医療用制御装置。
  6. 前記出力先が、独立して画像を表示することが可能な表示領域を1画面内に複数設けることが可能な機能を、有する場合、
    前記処理部は、前記第3表示領域に、前記出力先における前記表示領域のうちの1または2以上への表示を制御するためのオブジェクトを、表示させる、請求項5に記載の医療用制御装置。
  7. 前記第2表示領域と、前記第3表示領域とを、1画面に表示させる場合、
    前記処理部は、
    前記第2表示領域に、前記入力元の画像を表示させることが可能な出力先に関するオブジェクトを表示させ、
    前記第3表示領域に、前記入力元を制御するためのオブジェクトを表示させる、請求項1に記載の医療用制御装置。
  8. 前記処理部は、前記入力元に対してパラメータを調整するオブジェクトをさらに表示させる、請求項1に記載の医療用制御装置。
  9. 複数の動画像の入力元に関するオブジェクトと、該複数の動画像の入力画像のそれぞれに1対1に対応する、それぞれ動画像による複数のサムネイル画像それぞれが表示される第1表示領域と、
    複数の動画像の出力先に関するオブジェクトと、該出力先に出力されている動画像のそれぞれに1対1に対応する、それぞれ動画像による複数のサムネイル画像のそれぞれが表示される第2表示領域と、
    の一方または双方と、
    前記入力元または前記出力先を制御するためのオブジェクトが表示される第3表示領域と、
    を1画面に表示させるステップを有する、医療用制御装置により実行される制御方法。
  10. 複数の動画像の入力元に関するオブジェクトと、該複数の動画像の入力画像のそれぞれに1対1に対応する、それぞれ動画像による複数のサムネイル画像それぞれが表示される第1表示領域と、
    複数の動画像の出力先に関するオブジェクトと、該出力先に出力されている動画像のそれぞれに1対1に対応する、それぞれ動画像による複数のサムネイル画像のそれぞれが表示される第2表示領域と、
    の一方または双方と、
    前記入力元または前記出力先を制御するためのオブジェクトが表示される第3表示領域と、
    を1画面に表示させる機能を、コンピュータに実現させるためのプログラム。
  11. 複数の動画像の入力元となる装置と、
    複数の動画像の出力先となる装置と、
    医療用制御装置と、
    を有し、
    前記医療用制御装置は、
    前記複数の動画像の入力元に関するオブジェクトと、該複数の動画像のそれぞれに1対1に対応する、それぞれ動画像による複数のサムネイル画像それぞれが表示される第1表示領域と、
    前記複数の動画像の出力先に関するオブジェクトと、該出力先に出力されている動画像のそれぞれに1対1に対応する、それぞれ動画像による複数のサムネイル画像のそれぞれが表示される第2表示領域と、
    の一方または双方と、
    前記入力元または前記出力先を制御するためのオブジェクトが表示される第3表示領域と、
    を1画面に表示させる処理部を備える、医療用制御システム。
JP2017543005A 2015-10-02 2016-08-16 医療用制御装置、制御方法、プログラム、および医療用制御システム Active JP6838554B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015196415 2015-10-02
JP2015196415 2015-10-02
PCT/JP2016/073901 WO2017056762A1 (ja) 2015-10-02 2016-08-16 医療用制御装置、制御方法、プログラム、および医療用制御システム

Publications (2)

Publication Number Publication Date
JPWO2017056762A1 JPWO2017056762A1 (ja) 2018-07-19
JP6838554B2 true JP6838554B2 (ja) 2021-03-03

Family

ID=58427418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017543005A Active JP6838554B2 (ja) 2015-10-02 2016-08-16 医療用制御装置、制御方法、プログラム、および医療用制御システム

Country Status (5)

Country Link
US (3) US20180271613A1 (ja)
EP (1) EP3342365B1 (ja)
JP (1) JP6838554B2 (ja)
CN (3) CN113384359A (ja)
WO (1) WO2017056762A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113384359A (zh) 2015-10-02 2021-09-14 索尼公司 医疗控制设备、控制方法、程序以及医疗控制系统
WO2018101514A1 (ko) * 2016-12-01 2018-06-07 엘지전자 주식회사 영상표시장치, 및 이를 구비하는 영상표시 시스템
US11896195B2 (en) 2018-07-24 2024-02-13 Sony Corporation Distributed image processing system in operating theater
JP6440136B1 (ja) * 2018-09-06 2018-12-19 株式会社Medi Plus 医療映像スイッチャー
US11694655B2 (en) * 2021-05-20 2023-07-04 Tcl China Star Optoelectronics Technology Co., Ltd. Video play system, video play device, and video play method

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5034256B1 (ja) 1970-01-20 1975-11-07
JP3012342B2 (ja) * 1990-01-19 2000-02-21 オリンパス光学工業株式会社 医療用画像表示装置
JP3012432B2 (ja) 1993-06-24 2000-02-21 ヤンマー農機株式会社 追随型走行車両の作動停止距離調節構造
US5812125A (en) * 1995-06-30 1998-09-22 International Business Machines Corporation Method and apparatus for selectively generating display images
JP2001000449A (ja) * 1999-06-22 2001-01-09 Olympus Optical Co Ltd 医療用システム
US6493036B1 (en) * 1999-11-17 2002-12-10 Teralogic, Inc. System and method for scaling real time video
US20060064716A1 (en) * 2000-07-24 2006-03-23 Vivcom, Inc. Techniques for navigating multiple video streams
JP2002125219A (ja) * 2000-10-17 2002-04-26 Olympus Optical Co Ltd システム制御装置
GB2400254A (en) * 2003-03-31 2004-10-06 Sony Uk Ltd Video processing
JP2004313341A (ja) * 2003-04-14 2004-11-11 Olympus Corp 医療機器システム
JP4081046B2 (ja) 2003-09-05 2008-04-23 松下電器産業株式会社 放送受信アンテナ、及びテレビジョン放送受像機
US7312764B2 (en) * 2003-09-26 2007-12-25 The General Electric Company Methods and apparatus for displaying images on mixed monitor displays
JP2005245961A (ja) * 2004-03-08 2005-09-15 Olympus Corp 画像処理装置
JP2005304935A (ja) * 2004-04-23 2005-11-04 Olympus Corp 医療システム用制御装置
JP4207900B2 (ja) * 2004-12-22 2009-01-14 ソニー株式会社 リモコン・システム、リモート・コマンダ、並びにリモコン・サーバ
US8069420B2 (en) * 2004-12-29 2011-11-29 Karl Storz Endoscopy-America, Inc. System for controlling the communication of medical imaging data
KR100699091B1 (ko) * 2005-03-09 2007-03-23 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP5160025B2 (ja) * 2005-04-14 2013-03-13 オリンパスメディカルシステムズ株式会社 手術システム
EP3162318B1 (en) * 2005-10-20 2019-10-16 Intuitive Surgical Operations, Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
US7843865B2 (en) * 2005-12-08 2010-11-30 Intel Corporation System and method for controlling home network devices using multicast enabled remote controls
JP5034256B2 (ja) * 2006-02-11 2012-09-26 富士ゼロックス株式会社 会議室制御システム
US20070159457A1 (en) * 2006-04-27 2007-07-12 Thomas Arthur Multiple-input selectable systems integrated display and control functions unit for electrophysiology and the like
JP2008000282A (ja) * 2006-06-21 2008-01-10 Olympus Medical Systems Corp 手技画像記録制御システム及び手術システム
US7927272B2 (en) * 2006-08-04 2011-04-19 Avantis Medical Systems, Inc. Surgical port with embedded imaging device
US7567233B2 (en) * 2006-09-06 2009-07-28 Stereotaxis, Inc. Global input device for multiple computer-controlled medical systems
JP4981397B2 (ja) * 2006-10-04 2012-07-18 オリンパスメディカルシステムズ株式会社 医療用画像処理システム
US7871403B2 (en) * 2008-02-26 2011-01-18 Olympus Medical Systems Corp. Medical support control system
DE102008017846A1 (de) * 2008-04-08 2009-10-29 Siemens Aktiengesellschaft Verfahren und Benutzerschnittstelle für die grafische Darstellung von medizinischen Daten
KR101557176B1 (ko) * 2008-05-02 2015-10-02 사반트 시스템즈 엘엘씨 프로그램 가능한 멀티미디어 컨트롤러를 위한 터치 감응 비디오 신호 디스플레이
US20090282437A1 (en) * 2008-05-09 2009-11-12 Tap.Tv System and Method for Controlling Media at a Plurality of Output Devices
KR101012980B1 (ko) * 2009-03-16 2011-02-10 한국방송공사 계층적 방송 장치 및 방법
US9241062B2 (en) * 2009-05-20 2016-01-19 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device
US20120182244A1 (en) * 2010-06-11 2012-07-19 Systemsone, Llc Integrated Multi-Display with Remote Programming and Viewing Capability
US20120173281A1 (en) * 2011-01-05 2012-07-05 Dilella James M Automated data entry and transcription system, especially for generation of medical reports by an attending physician
US9495511B2 (en) * 2011-03-01 2016-11-15 Covidien Lp Remote monitoring systems and methods for medical devices
US20120189173A1 (en) * 2011-01-26 2012-07-26 Markowitz H Toby Image display
US20120254933A1 (en) * 2011-03-31 2012-10-04 Hunt Electronic Co., Ltd. Network video server and video control method thereof
US10039502B2 (en) * 2011-04-12 2018-08-07 Medtronic Ablation Frontiers Llc Electrophysiological signal processing and utilization
US10714219B2 (en) * 2011-04-28 2020-07-14 Tiatros, Inc. System and method for uploading and sharing medical images within trusted health-user communities
AU2012299169B2 (en) * 2011-08-19 2017-08-24 Icu Medical, Inc. Systems and methods for a graphical interface including a graphical representation of medical data
EP2682050B1 (en) * 2012-01-26 2017-10-25 Olympus Corporation Medical information recording apparatus
WO2013116240A1 (en) * 2012-01-30 2013-08-08 Inneroptic Technology, Inc. Multiple medical device guidance
CN104105442B (zh) * 2012-03-01 2016-01-20 株式会社日立医疗器械 医用图像显示装置及医用图像显示方法
JP6165468B2 (ja) * 2012-03-05 2017-07-19 東芝メディカルシステムズ株式会社 医用画像処理システム
US9545192B2 (en) * 2012-05-04 2017-01-17 Given Imaging Ltd. System and method for automatic navigation of a capsule based on image stream captured in-vivo
US9642606B2 (en) 2012-06-27 2017-05-09 Camplex, Inc. Surgical visualization system
EP2737845B1 (en) * 2012-12-03 2020-08-05 Samsung Electronics Co., Ltd Control apparatus operatively coupled with medical imaging apparatus and medical imaging apparatus having the same
CN203195765U (zh) * 2012-12-20 2013-09-18 上海联影医疗科技有限公司 一种医学信息显示系统
JP6415812B2 (ja) * 2012-12-25 2018-10-31 キヤノンメディカルシステムズ株式会社 画像観察装置、画像観察方法、及びコンピュータ読み取り可能な記録媒体
CN105050479B (zh) 2013-04-12 2017-06-23 奥林巴斯株式会社 内窥镜系统
KR102071579B1 (ko) * 2013-09-02 2020-01-30 삼성전자주식회사 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
US9058375B2 (en) * 2013-10-09 2015-06-16 Smart Screen Networks, Inc. Systems and methods for adding descriptive metadata to digital content
US10445465B2 (en) * 2013-11-19 2019-10-15 General Electric Company System and method for efficient transmission of patient data
US20150332196A1 (en) * 2014-05-15 2015-11-19 Heinz-Werner Stiller Surgical Workflow Support System
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
JP2016071762A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 診療支援装置、システム、プログラム及び方法
WO2016068581A1 (en) * 2014-10-31 2016-05-06 Samsung Electronics Co., Ltd. Device and method of managing user information based on image
JP2018505730A (ja) * 2015-01-21 2018-03-01 スミスズ メディカル エーエスディー,インコーポレイティド 医療デバイスの制御方法
US10600015B2 (en) * 2015-06-24 2020-03-24 Karl Storz Se & Co. Kg Context-aware user interface for integrated operating room
CN113384359A (zh) 2015-10-02 2021-09-14 索尼公司 医疗控制设备、控制方法、程序以及医疗控制系统

Also Published As

Publication number Publication date
CN113384360A (zh) 2021-09-14
US20200337799A1 (en) 2020-10-29
US20180271613A1 (en) 2018-09-27
US11197736B2 (en) 2021-12-14
CN108135669A (zh) 2018-06-08
CN113384359A (zh) 2021-09-14
EP3342365A1 (en) 2018-07-04
US20220039905A1 (en) 2022-02-10
EP3342365A4 (en) 2019-01-09
CN108135669B (zh) 2021-05-25
WO2017056762A1 (ja) 2017-04-06
EP3342365B1 (en) 2023-10-11
JPWO2017056762A1 (ja) 2018-07-19

Similar Documents

Publication Publication Date Title
JP6838554B2 (ja) 医療用制御装置、制御方法、プログラム、および医療用制御システム
US9152139B2 (en) Automation Control of Electronic Devices
US9756126B2 (en) Information processing device, and information processing system
US8443414B2 (en) Information processing apparatus and method for controlling a TV receiver
KR101901930B1 (ko) 홈 디바이스의 제어 장치, 제어 방법 및 제어를 위한 타임라인 ui
CN104093054A (zh) 网络智能显示控制系统
US10068546B2 (en) Information terminal, system, control method and recording medium
JP2005181404A (ja) 複数画像表示可能な画像投射制御装置
JP2013246743A (ja) 画像処理装置、およびプログラム
JP2009201010A (ja) プロジェクタシステム、プロジェクタ及びリモートコントローラ
CN104093056A (zh) 网络智能显示控制系统
WO2020012643A1 (ja) 多画面表示調整システムおよび多画面表示調整方法
JP6773039B2 (ja) 医療用制御装置、制御方法、およびプログラム
US8848042B2 (en) Display device, video device, menu-screen display method, and video display system
JP2006079413A (ja) コンピュータ切替装置
JP6922170B2 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
WO2010146768A1 (ja) 情報処理装置
JP5944000B2 (ja) 画像表示システム、情報端末、情報端末の制御方法及び制御プログラム
JP2017191144A (ja) 表示制御装置、その制御方法およびプログラム
JPWO2010109598A1 (ja) 映像表示装置
CN219227672U (zh) 一种hdmi多模式画面分割切换器
JP6702552B2 (ja) デコーダ装置、リモコン端末および画面操作方法
JP2019204032A (ja) 表示装置
JP2019168600A (ja) 表示装置、及びその制御方法、プログラム
JP2010170423A (ja) 情報処理装置およびプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190805

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210125

R151 Written notification of patent or utility model registration

Ref document number: 6838554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151