JP5356633B1 - 医療用内視鏡システム - Google Patents

医療用内視鏡システム Download PDF

Info

Publication number
JP5356633B1
JP5356633B1 JP2013527213A JP2013527213A JP5356633B1 JP 5356633 B1 JP5356633 B1 JP 5356633B1 JP 2013527213 A JP2013527213 A JP 2013527213A JP 2013527213 A JP2013527213 A JP 2013527213A JP 5356633 B1 JP5356633 B1 JP 5356633B1
Authority
JP
Japan
Prior art keywords
operator
unit
endoscope system
medical endoscope
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013527213A
Other languages
English (en)
Other versions
JPWO2013099580A1 (ja
Inventor
伊織 根本
潔志 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2013527213A priority Critical patent/JP5356633B1/ja
Application granted granted Critical
Publication of JP5356633B1 publication Critical patent/JP5356633B1/ja
Publication of JPWO2013099580A1 publication Critical patent/JPWO2013099580A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00207Electrical control of surgical instruments with hand gesture control or hand gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)

Abstract

医療用内視鏡システムは、撮像装置と複数の制御対象機器と複数の制御対象機器を制御するコントローラとを備える。コントローラは、予め登録された複数の操作候補者うちの一の操作候補者を操作が許可される操作者として設定して一の操作候補者以外の操作候補者を操作が禁止される操作禁止者として設定する操作者設定部と、撮像装置から出力される画像から所定の条件を備えた物体を検出する物体検出部と、物体検出部により検出された物体から操作者設定部で設定された操作者に該当する物体を特定して前記特定された物体を前記操作者として認識する操作者認識部と、特定された物体の所定の動作を検出する動作検出部と、動作検出部による検出結果に応じて複数の制御対象機器のうちの少なくとも一つの制御対象機器を制御する制御信号を生成する制御信号生成部と、制御信号に基づいて少なくとも一つの制御対象機器を制御する機器制御部を備える。

Description

本発明は、電気メス装置、気腹装置、内視鏡用カメラ装置などの複数の機器をコントローラにより制御する医療用内視鏡システムに関する。
医療分野では、従来から、複数の機器を制御するコントローラを備えた医療用内視鏡システムが知られている。このような医療用内視鏡システムでは、コントローラに接続された操作パネルを操作することにより、コントローラを介してシステム内の任意の機器を操作することができる。
ところで、コントローラに接続された操作パネルは、手術室内の非滅菌域に設置されているのが通常であるため、術者(例えば、ドクター)が操作パネルを直接操作することは衛生面から見て適当でない。このため、従来の医療用内視鏡システムでは、術者を補助する補助者(例えば、看護士)が術者の指示に応じて操作パネルを操作することにより、機器を操作するのが一般的である。
しかしながら、補助者が介在した機器の操作では、術者が希望するタイミングで遅延なく機器を操作することが難しいといった課題が指摘されている。
このような課題に関連する技術として、ジェスチャー技術がある。ジェスチャー技術については、例えば、特許文献1及び特許文献2に開示されていて、近年では、医療用内視鏡システムにも応用されている。
ジェスチャー技術を医療用内視鏡システムに応用することで、術者は、補助者を介さずに直接、機器を操作することが可能となるため、所望のタイミングで機器を操作することができる。
特開2004−289850号公報 国際公開第03/025859号パンフレット
上述したように医療用内視鏡システムへのジェスチャー技術の応用は非常に有益であるが、その一方で、ジェスチャー技術に特有の課題が指定されている。具体的には、ジェスチャー認識には、医療用内視鏡システムに設けられたカメラが利用されるが、カメラの視野範囲内に複数の術者が存在する場合には、コントローラが機器の操作を意図していない術者の動作に反応してしまい、機器を制御してしまうことがある。
通常、術中に機器の設定値の変更などの機器の操作を望む者は、手術を主導する特定の術者のみである。他の術者がその特定の術者の意思に反して機器の操作を行うことはないことを踏まえると、医療用内視鏡システムでは、その特定の一人の術者以外の者による機器の操作を禁止して、上述したような誤った認識による機器の制御を確実に排除する必要がある。
しかしながら、特許文献1及び特許文献2に開示される技術では、誤った認識による機器の制御を十分に排除することは難しい。
特許文献1では、機器と人間との対応関係を定めて、人の動き・姿勢・状態などを用いて円滑に操作等を行えるようにする制御方法に関する技術が開示されている。より具体的には、複数の人から予め定めた位置、姿勢、人の優先順位に基づいてひとりの人を選択して、その人の姿勢や動作によって機器を制御する技術が開示されている。
また、特許文献2では、個人識別を行いながらジェスチャー認識をすることにより、個人に対応するインターフェースを室内において場所に拘束されずに提供する技術が開示されている。より具体的には、対象の頭部及び身長から個人識別を行い、ハンドサインによって予め登録した室内の操作対象へ操作コマンドを送出する技術が開示されている。
特許文献1及び特許文献2に開示される技術は、いずれも、予め定めた特定の一人の者のみに機器の操作を許可して、それ以外の者の操作を明確に禁止するものではない。このため、誤った認識による機器の制御を、医療用内視鏡システムに求められるレベルで十分に排除することは難しい。
以上のような実情を踏まえて、特定の一人の術者のみにジェスチャーによる機器の操作を許可し、それ以外の者のジェスチャーによる操作を禁止する医療用内視鏡システムを提供することを課題とする。
本発明の第1の態様は、撮像装置と、複数の制御対象機器と、前記複数の制御対象機器を制御するコントローラとを備えた医療用内視鏡システムであって、前記コントローラは、予め登録された複数の操作候補者うちの一の操作候補者を操作が許可される操作者として設定し、前記一の操作候補者以外の操作候補者を操作が禁止される操作禁止者として設定する操作者設定部と、前記撮像装置から出力される画像から所定の条件を備えた物体を検出する物体検出部と、前記物体検出部により検出された物体から前記操作者設定部で設定された操作者に該当する物体を特定して、前記特定された物体を前記操作者として認識する操作者認識部と、前記特定された物体の所定の動作を検出する動作検出部と、前記動作検出部による検出結果に応じて、前記複数の制御対象機器のうちの少なくとも一つの制御対象機器を制御する制御信号を生成する制御信号生成部と、前記制御信号に基づいて、前記少なくとも一つの制御対象機器を制御する機器制御部と、を備える医療用内視鏡システムを提供する。
本発明の第2の態様は、第1の態様に記載の医療用内視鏡システムにおいて、前記コントローラは、前記操作者設定部により設定された操作禁止者を操作者に変更する操作者追加部を備える医療用内視鏡システムを提供する。
本発明の第3の態様は、第2の態様に記載の医療用内視鏡システムにおいて、さらに、医療用内視鏡システムの情報を表示する表示部と、医療用内視鏡システムの外部からの入力を受け付ける入力部を備え、前記操作者追加部は、前記複数の制御対象機器の各々を操作するための画面が前記表示部に表示された状態で、前記入力部からの入力に従って、前記操作者設定部により設定された操作禁止者を操作者に変更するように構成されている医療用内視鏡システムを提供する。
本発明の第4の態様は、第1の態様に記載の医療用内視鏡システムにおいて、さらに、前記所定の条件である前記物体の一部分のモデル情報を格納する格納部を含み、前記物体検出部は、前記格納部に格納されている前記モデル情報を参照して、前記撮像装置から出力される画像から前記所定の条件を備えた前記物体を検出する医療用内視鏡システムを提供する。
本発明の第5の態様は、第4の態様に記載の医療用内視鏡システムにおいて、前記格納部は、さらに、前記物体を識別するための識別情報を格納していて、前記操作者認識部は、前記格納部に格納されている前記識別情報を参照して、前記物体検出部により検出された物体から前記操作者設定部で設定された操作者に該当する物体を特定して、前記特定された物体を前記操作者として認識する医療用内視鏡システムを提供する。
本発明の第6の態様は、第5の態様に記載の医療用内視鏡システムにおいて、前記格納部は、さらに、前記所定の動作に関する情報であるジェスチャー情報を格納していて、前記動作検出部は、前記格納部に格納されている前記ジェスチャー情報を参照して、前記特定された物体の前記所定の動作を検出する医療用内視鏡システムを提供する。
本発明によれば、特定の一人の術者のみにジェスチャーによる機器の操作を許可しそれ以外の者のジェスチャーによる操作を禁止する医療用内視鏡システムを提供することができる。
本発明の実施例1に係る医療用内視鏡システムの全体構成図である。 本発明の実施例1に係る医療用内視鏡システムに含まれるシステムコントローラの構成を説明するための図である。 本発明の実施例1に係る医療用内視鏡システムに含まれる格納部に格納されているデータについて説明するための図である。 本発明の実施例1に係る医療用内視鏡システムに含まれる動作検出部で行われる処理の一部について説明するための図である。 実施例1に係る医療用内視鏡システムの操作者設定処理における画面遷移を説明するための図である。 実施例1に係る医療用内視鏡システムの操作者設定処理における画面遷移の変形例を説明するための図である。 実施例1に係る医療用内視鏡システムの操作者設定処理を示すフローチャートである。 図6に例示される操作者設定処理後の操作者の設定状態の一例を示す図である。 実施例1に係る医療用内視鏡システムの機器制御処理を示すフローチャートである。 図8に例示される機器制御処理中の手術室内の様子を示す図である。 本発明の実施例1に係る医療用内視鏡システムに含まれるジェスチャー用カメラの撮像範囲について示す図である。 本発明の実施例2に係る医療用内視鏡システムに含まれるシステムコントローラの構成を説明するための図である。 実施例2に係る医療用内視鏡システムの操作者追加処理における画面遷移を説明するための図である。 実施例2に係る医療用内視鏡システムの操作者追加処理を示すフローチャートである。 図12に例示される操作者設定処理前後の操作者の設定状態の一例を示す図である。
図1は、本実施例に係る医療用内視鏡システムの全体構成図である。まず、図1を参照しながら、本実施例に係る医療用内視鏡システム3の構成について概説する。
図1に例示される医療用内視鏡システム3は、患者48が横たわる患者ベッド10とともに、手術室2内に設置されている。
医療用内視鏡システム3は、カート11上に載置された、電気メス装置13と、気腹装置14と、内視鏡用カメラ装置15と、光源装置16と、ビデオテープレコーダ17と、ガスボンベ18と、表示装置19と、集中表示パネル20と、操作パネル21と、システムコントローラ22と、RFID(Radio Frequency Identification)端末35と、ジェスチャー用カメラ36を含んでいる。
また、医療用内視鏡システム3は、カート12上に載置された、内視鏡用カメラ装置23と、光源装置24と、画像処理装置25と、表示装置26と、集中表示パネル27と、中継ユニット28を含んでいる。
さらに、医療用内視鏡システム3は、ケーブル9を介してシステムコントローラ22に接続された患者モニタシステム4と、リモートコントローラ30と、カメラケーブル31aを介して内視鏡用カメラ装置15に接続され、且つ、ライトガイドケーブル31bを介して光源装置16に接続された内視鏡31と、カメラケーブル32aを介して内視鏡用カメラ装置23に接続され、且つ、ライトガイドケーブル32bを介して光源装置24に接続された内視鏡32と、システムコントローラ22に接続されたヘッドセット型のマイク33を含んでいる。
ガスボンベ18には、二酸化炭素が充填されている。表示装置19は、例えば、TVモニタであり、内視鏡31からの内視鏡画像などを表示するように構成されている。一方、表示装置26は、内視鏡32からの内視鏡画像などを表示するように構成されている。また、集中表示パネル20及び集中表示パネル27は、手術中に表示すべきあらゆるデータを選択的に表示するように構成されている。操作パネル21は、非滅菌域にいる看護士により操作される集中操作装置であり、医療用内視鏡システム3の情報を表示する液晶ディスプレイなどの表示部と、この表示部と一体的に設けられた、医療用内視鏡システム3の外部からの入力を受け付けるタッチセンサを含んでいる。
RFID端末35は、内視鏡31や電気メス装置13などの機器に埋め込まれたIDタグとの間で機器のID情報を無線でやり取りするように構成されている。ジェスチャー用カメラ36は、手術室2内の様子を撮像した画像を出力するように構成されている。
システムコントローラ22は、カート11上に載置された任意の機器に図示しない信号線を介して接続されている。中継ユニット28は、カート12上に載置された任意の機器に図示しない信号線を介して接続されていて、システムコントローラ22は、中継ケーブル29を介して中継ユニット28に接続されている。
以上のように構成された医療用内視鏡システム3は、システムコントローラ22に接続された任意の機器を、以下に記載するいくつかの方法によって、制御することができる。
第1の方法は、システムコントローラ22が、ジェスチャー用カメラ36から出力される手術室2内の画像から特定の術者(例えば、執刀医など)のジェスチャーを認識することにより、任意の機器を制御する方法である。
第2の方法は、システムコントローラ22が、システムコントローラ22に接続された任意の機器を操作するための操作ボタンや機器の設定値等を表示するGUI画面を操作パネル21の表示部に表示させて、看護士などによる操作パネル21の操作を検出することで、任意の機器を制御する方法である。
第3の方法としては、システムコントローラ22が、術者(例えば、執刀医など)によるリモートコントローラ30の操作を検出することで、任意の機器を制御する方法である。
第4の方法としては、システムコントローラ22が、マイク33から入力された術者(例えば、執刀医など)の音声を認識することで、任意の機器を制御する方法である。
以下、ジェスチャーにより任意の機器を制御する方法(第1の方法)について、さらに詳細に説明する。
まず、図2から図4を参照しながら、システムコントローラ22の構成について説明する。図2は、本実施例に係る医療用内視鏡システムに含まれるシステムコントローラの構成を説明するための図である。図3は、本実施例に係る医療用内視鏡システムに含まれる格納部に格納されているデータについて説明するための図である。図4は、本実施例に係る医療用内視鏡システムに含まれる動作検出部で行われる処理の一部について説明するための図である。
図2に例示されるように、医療用内視鏡システム3は、撮像装置であるジェスチャー用カメラ36と、複数の制御対象機器(電気メス装置13、気腹装置14、内視鏡用カメラ装置15、光源装置16)と、複数の制御対象機器を制御するシステムコントローラ22と、操作パネル21と、マイク33を備えている。なお、図2では、制御対象機器として、電気メス装置13、気腹装置14、内視鏡用カメラ装置15、光源装置16が例示されているが、制御対象機器はこれらに限られない。システムコントローラ22に接続される任意の機器を制御対象機器とすることが可能である。
システムコントローラ22は、物体検出部51と、操作者認識部52と、動作検出部53と、制御信号生成部54と、機器制御部55と、物体設定部56と、操作者設定部57と、動作設定部59と、タッチパネル検出部60と、音声検出部61と、格納部62を含んでいる。
物体検出部51は、ジェスチャー用カメラ36から出力される画像から所定の条件を備えた物体を検出するように構成されている。物体は、例えば、手術室2内の人間であり、所定の条件は、物体の一部分であり、例えば、人間の顔である。即ち、物体検出部51は、ジェスチャー用カメラ36から出力される画像に含まれている人間の顔を検出することで手術室2内の術者を検出する。なお、この所定の条件は、図3に示されるように、格納部62に人間の体の部位(物体の一部分)のモデル情報65として格納されていて、操作パネル21やマイク33からの入力に基づいて、格納部62に格納されている特定の部位(ここでは、頭)のモデル情報65を参照するように物体設定部56により設定される。
操作者認識部52は、物体検出部51により検出された術者のうちから、予め操作者設定部57で設定された、操作することが許可された操作者に該当する術者を特定して、特定された術者を操作者として認識するように構成されている。具体的には、操作者認識部52は、物体検出部51で検出された手術室2にいる複数の術者の顔の画像を、操作者設定部57により設定された操作者の顔の画像と比較することで、予め操作者として設定された術者を特定し、操作者として認識する。なお、操作者とは、特に断らないかぎり、操作が許可された操作者のことを指すものとする。図3に示されるように、操作が許可された操作者については格納部62に操作者設定情報63として格納されている。また、操作者の顔の画像については、格納部62に術者の顔データ64として格納されている。顔データ64は、術者を識別するための識別情報としての役割を担っている。そして、操作者認識部52は、操作者設定部57により設定された、操作者設定情報63及び操作が許可された操作者(術者)の顔データ64を参照する。
動作検出部53は、特定された術者、即ち、操作者、の所定の動作を検出するように構成されている。所定の動作とは、例えば、手の動きであり、より具体的には、手を右から左に振る動作、手を左から右に振る動作、手を握る動作、手を開く動作、手を振る動作などである。即ち、動作検出部53は、操作者のジェスチャーを検出する。より具体的には、まず、図4に示されるように、ジェスチャー用カメラ36から出力される画像から操作者の各部位(例えば、頭、手、腕、脚など)を格納部62に格納されているモデル情報65を参照して検出し、検出された各部位から操作者の姿勢を推定して人体の骨組みモデルを形成する。そして、ジェスチャー用カメラ36から随時出力される画像から形成した骨組みモデルの動きを追跡して、操作者の動作を検出する。最後に、検出した動作が所定の動作か否かを判断することで、ジェスチャー動作を検出する。なお、この所定の動作に関する情報は、図3に示されるように、格納部62にジェスチャー情報66として格納されていて、操作パネル21やマイク33からの入力に基づいて、格納部62に格納されているジェスチャー情報66の全部または一部を参照するように動作設定部59により設定される。
制御信号生成部54は、動作検出部53による検出結果に応じて、複数の操作対象機器のうちの少なくとも一つの操作対象機器を制御する制御信号を生成するように構成されている。即ち、制御信号生成部54は、動作検出部53が検出したジェスチャーにより特定される機器をジェスチャーに応じた内容に制御する信号を生成する。
機器制御部55は、制御信号生成部54からの制御信号に基づいて、少なくとも一つの操作対象機器を制御するように構成されている。即ち、機器制御部55は、動作検出部53が検出したジェスチャーに応じて、電気メス装置13などの制御対象機器を制御する。
操作者設定部57は、予め登録された複数の術者(即ち、操作候補者)のうちの一の術者を操作が許可される操作者として設定し、その一の術者以外の術者を操作が禁止される操作禁止者として設定するように構成されている。
次に、図5Aから図7を参照しながら、操作者を設定する処理の流れについて具体的に説明する。図5Aは、本実施例に係る医療用内視鏡システムの操作者設定処理における画面遷移を説明するための図である。図5Bは、本実施例に係る医療用内視鏡システムの操作者設定処理における画面遷移の変形例を説明するための図である。図6は、本実施例に係る医療用内視鏡システムの操作者設定処理を示すフローチャートである。図7は、図6に例示される操作者設定処理後の操作者の設定状態の一例を示す図である。
操作者の設定処理は、操作パネル21に図5Aに例示されるログオン画面100が表示されている状態で、ログオン画面100に設けられた設定ボタン101を押下することにより開始される。なお、ログオン画面100には、設定ボタン101の他に、手技選択ボタン群102が設けられている。手技選択ボタン群102から手技のボタンを選択することで、選択した手技に関連する周辺機器を操作するための周辺機器操作画面300に遷移する。
ログオン画面100で設定ボタン101が押下されると、操作パネル21に表示される画面が図5Aに例示されるシステムコントローラ設定画面200に遷移して、システムコントローラ22の設定モードが起動される(図6のS1)。
システムコントローラ設定画面200では、ジェスチャーによる機器の操作が許可される操作者の設定を含む、医療用内視鏡システム3に関する種々の設定を行うことができる。システムコントローラ設定画面200で操作者の設定を変更する入力がなされると、操作者設定部57が入力に従って操作者の設定を変更し、その変更された操作者設定情報63が格納部62に保存される(図6のS2)。
なお、操作者の設定は、システムコントローラ22に登録され、格納部62に顔データが格納されている術者(登録者)の中から一人の術者を操作者として選択することにより行われる。これにより、選択された術者が操作者として設定されるとともに、選択された術者以外の術者は自動的に操作が禁止される操作禁止者として設定される。図7は、術者(登録者)Aが登録者として選択された場合に、格納部62に記録された操作者の設定状態を例示している。
また、図5Aに示される操作者設定処理における画面遷移は一例であり、図5Aに示される例に限られない。例えば、図5Bに示すように、最初に第1のログイン画面として、操作者ボタン群110と設定ボタン101が設けられた術者ログイン画面110が表示されてもよい。そして、操作者ボタン群110から特定の術者を選択するボタンを押下すると、選択した術者の顔画像が表示されて、選択した術者を操作者として設定するかどうかの確認が行われた後に、第2のログオン画面として、手技選択ボタン群102と設定ボタン101が設けられた術者ログイン画面110が表示されてもよい。
次に、図8、図9A及び図9Bを参照しながら、ジェスチャーを認識して機器を制御する処理の流れについて具体的に説明する。図8は、本実施例に係る医療用内視鏡システムの機器制御処理を示すフローチャートである。図9Aは、図8に例示される機器制御処理中の手術室2内の様子を示す図である。図9Bは、本実施例に係る医療用内視鏡システムに含まれるジェスチャー用カメラの撮像範囲について示す図である。
ステップS10では、ジェスチャー用カメラ36が、図9Aに例示されるような複数の術者(術者A、術者B、術者C、術者C)が存在する手術室2内を撮像し、生成した画像をシステムコントローラ22に出力する。
なお、術者のジェスチャー動作を検出するためには、ジェスチャー用カメラ36の撮像範囲内に少なくとも術者の顔を含む上半身が入り、且つ、術者が腕を左右に伸ばしても手が撮像範囲内からはみ出ないことが条件となる。このため、ジェスチャー用カメラ36は、そのような条件を満たすように設置することが望ましい。例えば、ジェスチャー用カメラ36の撮像範囲が図9Bに示す網掛け部分である場合には、術者Bまたは術者Cが操作者である場合には正常にジェスチャー動作を検出することが可能である。また、ジェスチャー動作に脚などの下半身の動作も含まれる場合には、ジェスチャー用カメラ36の撮像範囲内に術者の下半身が入るように、ジェスチャー用カメラ36を設置する。ここでは、手術室全体が撮像範囲に入るような位置にジェスチャー用カメラ36が設置されているものとする。
ステップS11では、物体検出部51が、格納部62に格納されているモデル情報65を参照して、ジェスチャー用カメラ36から出力された画像から物体設定部56により設定されている所定の条件である人間の顔を検出して術者を検出する。ここでは、例えば、手術室2内の術者Bの顔を検出して術者Bを検出したものとする。
ステップS12では、操作者認識部52が、ジェスチャー用カメラ36から出力された画像から検出された術者Bの顔の画像と、格納部62に格納され、且つ、操作者設定部57により操作者として設定されている術者Aの顔データとを比較する。比較処理では、格納部62に術者Aの顔データとして顔画像とともに格納されている各種情報(顔のパーツの相対位置、目の大きさ、鼻の大きさ、など)を用いてもよい。その結果により、操作者認識部52は、検出された術者が操作者に一致するかどうかを判断する(ステップS13)。なお、ここでは、ステップS13で操作者に一致しないと判断されるため、ステップS11に戻って、ステップS11からステップS13の処理を繰り返す。
2度目の物体検出処理(ステップS11)で術者Aの顔の画像が検出されると、操作者認識部52は、ステップS13で、検出された術者が操作者に一致すると判断し、ステップS14で、検出された術者を操作者として認識する。これにより、操作者認識部52が術者Aを特定して操作者として認識する。
ステップS15からステップS18では、動作検出部53が、操作者認識部52で特定された術者Aの動作をジェスチャー用カメラ36から出力される画像を通じて監視し、術者Aによる、動作設定部59により設定されている所定のジェスチャー動作を検出する。
具体的には、動作検出部53は、ステップS15では、格納部62に格納されている各部位のモデル情報65を参照し、図4に示されるように、ジェスチャー用カメラ36から出力された画像から、操作者認識部52で特定された操作者である術者Aの体の各部位を検出する。そして、ステップS16で、検出された各部位から操作者の姿勢を推定して人体の骨組みモデルを形成する。さらに、ステップS17で、ジェスチャー用カメラ36から随時出力される画像から形成した骨組みモデルの動きを追跡して、操作者の動作を検出する。最後に、ステップS18で、格納部62に格納されているジェスチャー情報66を参照して、検出された動作がジェスチャー動作か否かを判断する。ジェスチャー動作であると判断されると、ステップS19の処理が実行され、ジェスチャー動作ではないと判断されると、ステップS11に戻って上記の処理が繰り返される。
ステップS19では、制御信号生成部54が、動作検出部53で検出されたジェスチャー動作に応じて、制御対象機器を制御する制御信号を生成し、機器制御部55に出力する。
ステップS20では、機器制御部55が、制御信号生成部54からの制御信号に従って、制御対象機器を制御する。例えば、動作検出部53が、手を右から左に動かすジェスチャー動作を検出した場合には、光源装置16から射出される光量を低下させるように制御し、手を左から右に動かすジェスチャー動作を検出した場合には、光源装置16から射出される光量を増加させるように制御する。また、手を握るジェスチャー動作を検出した場合には、光源装置16をOFFに制御し、手を開くジェスチャー動作を検出した場合には、光源装置16をONに制御する。
以上のように構成された医療用内視鏡システム3では、術者Aだけがジェスチャー動作により機器を制御することが可能であり、それ以外の術者B、術者C、術者Dは、ジェスチャーにより機器を制御することはできない。このため、予め行う操作者の設定を適切に行うことで、図9Aに例示されるように手術室2内に複数の術者がいる場合であっても、システムコントローラ22が機器の操作を意図していない術者の動作に反応して機器を制御してしまうことを防止することができる。
また、操作者の設定では、術者Aを操作者として設定すると自動的に術者B、術者C、術者Dは操作禁止者として設定される。これにより、誤って複数の術者を操作者として設定してしまうことを防止することができる。
従って、医療用内視鏡システム3によれば、特定の一人の術者のみにジェスチャーによる機器の操作を許可し、それ以外の者のジェスチャーによる操作を禁止することが可能であり、その結果、誤った認識による機器の制御を、医療用内視鏡システムに求められる高いレベルで十分に排除することができる。
図10は、本実施例に係る医療用内視鏡システムに含まれるシステムコントローラの構成を説明するための図である。
図10に例示されるシステムコントローラ22aは、操作者追加部58を含む点が、図2に例示される実施例1に係るシステムコントローラ22と異なっている。その他の点は、システムコントローラ22と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。また、本実施例に係る医療用内視鏡システム3aは、システムコントローラ22の代わりにシステムコントローラ22aを含む点が、図1に例示される実施例1に係る医療用内視鏡システム3と異なっている。その他の点は、医療用内視鏡システム3と同様である。
操作者追加部58は、操作者設定部57により設定された操作禁止者を操作者に変更するように構成されている。このため、医療用内視鏡システム3aでは、操作者認識部52は、物体検出部51により検出された術者のうちから、操作者設定部57及び操作者追加部58で設定された操作者に該当する術者を特定して、特定された術者を操作者として認識する。
図11から図13を参照しながら、操作者を追加する処理の流れについて具体的に説明する。図11は、本実施例に係る医療用内視鏡システムの操作者追加処理における画面遷移を説明するための図である。図12は、本実施例に係る医療用内視鏡システムの操作者追加処理を示すフローチャートである。図13は、図12に例示される操作者設定処理前後の操作者の設定状態の一例を示す図である。
操作者の追加処理は、操作パネル21に図11に例示される周辺機器操作画面400が表示されている状態で、周辺機器操作画面400に設けられた操作者設定ボタン402を押下することにより開始される。なお、周辺機器操作画面400には、操作者設定ボタン402の他に、ログオフボタン401が設けられている。ログオフボタン401が押下されると、表示画面がログオン画面100に遷移する。
周辺機器操作画面400で操作者設定ボタン402が押下されると、システムコントローラ22の操作者追加モードが起動される(図12のS21)。
操作者追加モードが起動されると、周辺機器操作画面400の下部に、現在操作者として設定されている術者AのボタンのみがON状態(網掛けで表示)である操作者ボタン群403が、表示される。
操作者ボタン群403の表示は、所定時間、例えば、3秒経過すると、消えるようになっている。操作者ボタン群403が表示されている間に、操作者として追加したい術者のボタンを選択することで、操作者追加部58がその入力に従って操作者の設定を変更し、その変更された操作者設定情報が格納部62に保存される(図12のS22)。これにより、例えば、術者Cのボタンを選択した場合には、図13に例示されるように、格納部62に記録された操作者の設定状態が、術者A一人だけが操作者として設定された状態から、術者Aと術者Bの二人が操作者として設定された状態に変化する。
実施例1に係る医療用内視鏡システム3では、操作者の設定を変更するためには、一旦、周辺機器操作画面400からログオン画面100を介してシステムコントローラ設定画面200に遷移する必要があるのに対して、医療用内視鏡システム3aでは、術中に表示されている周辺機器操作画面400から操作者を追加することができる。このため、医療用内視鏡システム3aでは、術中に例外的に操作者を追加する必要が生じた場合に少ない操作で容易に且つ迅速に術者を追加することができる。例外的に術者を追加する必要がある場合としては、例えば、操作者の手がふさがっていてジェスチャー動作を行うことができないために他の術者が例外的に機器を制御する必要がある場合や、若手のドクターを教育するために指導的立場にあるドクターが機器を制御する必要がある場合などが挙げられる。
また、操作者を追加して複数人が操作者として設定されている状態は、例外的に認められるものであるので、操作者追加部58による設定は、操作者設定部57による設定とは区別される。具体的には、操作者設定部57による設定は、操作者設定部57により改めて設定を変更しない限り維持される。つまり、異なる周辺機器のための周辺機器操作画面を表示しても、システムコントローラ22の電源をOFFにしても、設定は維持される。これに対して、操作者追加部58による設定は、周辺機器操作画面400のログオフボタン401を押下してログオン画面100に遷移することで消去される。
従って、医療用内視鏡システム3aによれば、基本的には、実施例1に係る医療用内視鏡システム3と同様に、特定の一人の術者のみにジェスチャーによる機器の操作を許可し、それ以外の者のジェスチャーによる操作を禁止することが可能であり、その結果、誤った認識による機器の制御を、医療用内視鏡システムに求められる高いレベルで十分に排除することができる。
さらに、医療用内視鏡システム3aによれば、例外的に、簡単な操作で操作者を追加して複数人が操作者として設定することができるため、本来の操作者がジェスチャー操作を行えない場合などでも、他の術者がジェスチャーによる機器の制御を行うことが可能であり、手術を遅延させることなく進行させることができる。また、あくまで例外的な設定として取り扱うことで、操作者が複数人存在する設定状態が永続することを防止することができる。
以上では、周辺機器操作画面400から操作者を追加する例を示したが、周辺機器操作画面400から操作者を削除する処理を行っても良い。周辺機器操作画面400に表示された操作者ボタン群403のうちすでに操作者として設定されているボタンを押下することで操作者から操作禁止者に設定を変更してもよい。これにより、周辺機器操作画面400で操作者を任意に変更することができる。
また、操作パネル21に表示された周辺機器操作画面400から操作者を追加する例を示したが、操作者の追加処理は、機器の制御と同様に、ジェスチャー用カメラ36から出力される画像を用いてジェスチャーにより行われても良い。また、マイク33を用いて音声入力により行われても良い。
また、周辺機器操作画面400に表示される操作者設定ボタン402は、設定で非表示にしてもよい。これにより、設定を変更するだけで、医療用内視鏡システム3と医療用内視鏡システム3aを切換えるのと、同様の効果を得ることができる。
2・・・手術室
3、3a・・・医療用内視鏡システム
4・・・患者モニタシステム
9・・・ケーブル
10・・・患者ベッド
11、12・・・カート
13・・・電気メス装置
14・・・気腹装置
15、23・・・内視鏡用カメラ装置
16、24・・・光源装置
17・・・ビデオテープレコーダ
18・・・ガスボンベ
19、26・・・表示装置
20、27・・・集中表示パネル
21・・・操作パネル
22、22a・・・システムコントローラ
25・・・画像処理装置
28・・・中継ユニット
29・・・中継ケーブル
30・・・リモートコントローラ
31、32・・・内視鏡
31a、32a・・・カメラケーブル
31b、32b・・・ライトガイドケーブル
33・・・マイク
35・・・RFID端末
36・・・ジェスチャー用カメラ
48・・・患者
51・・・物体検出部
52・・・操作者認識部
53・・・動作検出部
54・・・制御信号生成部
55・・・機器制御部
56・・・物体設定部
57・・・操作者設定部
58・・・操作者追加部
59・・・動作設定部
60・・・タッチパネル検出部
61・・・音声検出部
62・・・格納部
63・・・操作者設定情報
64・・・顔データ
65・・・モデル情報
66・・・ジェスチャー情報
100・・・ログオン画面
101・・・設定ボタン
102・・・手技選択ボタン群
200・・・システムコントローラ設定画面
201、301、401・・・ログオフボタン
300、400・・・周辺機器操作画面
402・・・操作者設定ボタン

Claims (6)

  1. 撮像装置と、複数の制御対象機器と、前記複数の制御対象機器を制御するコントローラとを備えた医療用内視鏡システムであって、
    前記コントローラは、
    予め登録された複数の操作候補者うちの一の操作候補者を操作が許可される操作者として設定し、前記一の操作候補者以外の操作候補者を操作が禁止される操作禁止者として設定する操作者設定部と、
    前記撮像装置から出力される画像から所定の条件を備えた物体を検出する物体検出部と、
    前記物体検出部により検出された物体から前記操作者設定部で設定された操作者に該当する物体を特定して、前記特定された物体を前記操作者として認識する操作者認識部と、
    前記特定された物体の所定の動作を検出する動作検出部と、
    前記動作検出部による検出結果に応じて、前記複数の制御対象機器のうちの少なくとも一つの制御対象機器を制御する制御信号を生成する制御信号生成部と、
    前記制御信号に基づいて、前記少なくとも一つの制御対象機器を制御する機器制御部と、を備えることを特徴とする医療用内視鏡システム。
  2. 請求項1に記載の医療用内視鏡システムにおいて、
    前記コントローラは、前記操作者設定部により設定された操作禁止者を操作者に変更する操作者追加部を備えることを特徴とする医療用内視鏡システム。
  3. 請求項2に記載の医療用内視鏡システムにおいて、さらに、
    医療用内視鏡システムの情報を表示する表示部と、
    医療用内視鏡システムの外部からの入力を受け付ける入力部を備え、
    前記操作者追加部は、前記複数の制御対象機器の各々を操作するための画面が前記表示部に表示された状態で、前記入力部からの入力に従って、前記操作者設定部により設定された操作禁止者を操作者に変更するように構成されていることを特徴とする医療用内視鏡システム。
  4. 請求項1に記載の医療用内視鏡システムにおいて、さらに、
    前記所定の条件である前記物体の一部分のモデル情報を格納する格納部を含み、
    前記物体検出部は、前記格納部に格納されている前記モデル情報を参照して、前記撮像装置から出力される画像から前記所定の条件を備えた前記物体を検出することを特徴とする医療用内視鏡システム。
  5. 請求項4に記載の医療用内視鏡システムにおいて、
    前記格納部は、さらに、前記物体を識別するための識別情報を格納していて、
    前記操作者認識部は、前記格納部に格納されている前記識別情報を参照して、前記物体検出部により検出された物体から前記操作者設定部で設定された操作者に該当する物体を特定して、前記特定された物体を前記操作者として認識することを特徴とする医療用内視鏡システム。
  6. 請求項5に記載の医療用内視鏡システムにおいて、
    前記格納部は、さらに、前記所定の動作に関する情報であるジェスチャー情報を格納していて、
    前記動作検出部は、前記格納部に格納されている前記ジェスチャー情報を参照して、前記特定された物体の前記所定の動作を検出することを特徴とする医療用内視鏡システム。
JP2013527213A 2011-12-26 2012-12-10 医療用内視鏡システム Active JP5356633B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013527213A JP5356633B1 (ja) 2011-12-26 2012-12-10 医療用内視鏡システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011284117 2011-12-26
JP2011284117 2011-12-26
PCT/JP2012/081982 WO2013099580A1 (ja) 2011-12-26 2012-12-10 医療用内視鏡システム
JP2013527213A JP5356633B1 (ja) 2011-12-26 2012-12-10 医療用内視鏡システム

Publications (2)

Publication Number Publication Date
JP5356633B1 true JP5356633B1 (ja) 2013-12-04
JPWO2013099580A1 JPWO2013099580A1 (ja) 2015-04-30

Family

ID=48697073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013527213A Active JP5356633B1 (ja) 2011-12-26 2012-12-10 医療用内視鏡システム

Country Status (5)

Country Link
US (1) US20140002624A1 (ja)
EP (1) EP2679140A4 (ja)
JP (1) JP5356633B1 (ja)
CN (1) CN103491848B (ja)
WO (1) WO2013099580A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5747366B1 (ja) * 2013-07-22 2015-07-15 オリンパス株式会社 医療用携帯端末装置
DE102014204251A1 (de) * 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Verfahren zu einer Interaktion zwischen einer Assistenzvorrichtung und einem medizinischen Gerät und/oder einem Bedienpersonal und/oder einem Patienten, Assistenzvorrichtung, Assistenzsystem, Einheit und System
JP6598508B2 (ja) * 2014-05-12 2019-10-30 キヤノンメディカルシステムズ株式会社 超音波診断装置とそのプログラム
US9696813B2 (en) * 2015-05-27 2017-07-04 Hsien-Hsiang Chiu Gesture interface robot
CN104545774A (zh) * 2015-01-30 2015-04-29 合肥德铭电子有限公司 一体化移动微创电子内镜系统
CN104970754B (zh) * 2015-06-25 2016-09-28 云南电网有限责任公司电力科学研究院 一种基于Kinect传感器手势控制内窥镜光纤的方法
CN105125155A (zh) * 2015-06-25 2015-12-09 云南电网有限责任公司电力科学研究院 一种基于手势控制内窥镜光纤的方法
CN109074421B (zh) * 2016-03-30 2024-04-16 皇家飞利浦有限公司 自动人员识别和定位以及自动流程监视
CN106419814B (zh) * 2016-09-19 2018-11-20 成都测迪森生物科技有限公司 一种移动式高效喉镜
CN106419815B (zh) * 2016-09-19 2018-09-18 成都测迪森生物科技有限公司 一种具有穿戴功能的移动式喉镜
US10891394B2 (en) * 2018-02-28 2021-01-12 Karl Storz Imaging, Inc. System and method for identifying and authenticating a user of a medical device, and controlling access to patient data generated by the medical device
JP7283037B2 (ja) 2018-07-26 2023-05-30 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
EP3744285A1 (en) * 2019-05-27 2020-12-02 Leica Instruments (Singapore) Pte. Ltd. Microscope system and method for controlling a surgical microcope
CN113627219A (zh) * 2020-05-07 2021-11-09 杭州海康慧影科技有限公司 器械检测方法、装置和计算机设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60179713A (ja) * 1984-02-28 1985-09-13 Olympus Optical Co Ltd 内視鏡装置
JP2819154B2 (ja) 1989-06-23 1998-10-30 ヤマハ発動機株式会社 ハイブリッド燃料電池の運転方法
JP3007698B2 (ja) * 1991-01-25 2000-02-07 オリンパス光学工業株式会社 内視鏡システム
JP3045812B2 (ja) * 1991-06-27 2000-05-29 旭光学工業株式会社 内視鏡用光源装置
US5876325A (en) * 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JPH09238894A (ja) * 1996-03-07 1997-09-16 Asahi Optical Co Ltd 内視鏡装置
DE69830295T2 (de) * 1997-11-27 2005-10-13 Matsushita Electric Industrial Co., Ltd., Kadoma Steuerungsverfahren
JP2004289850A (ja) 1997-11-27 2004-10-14 Matsushita Electric Ind Co Ltd 制御方法、機器制御装置、及びプログラム記録媒体
US6322496B1 (en) * 1998-11-06 2001-11-27 Asahi Kogaku Kogyo Kabushiki Kaisha Electronic endoscope system
US6775397B1 (en) * 2000-02-24 2004-08-10 Nokia Corporation Method and apparatus for user recognition using CCD cameras
US7660444B2 (en) * 2000-02-24 2010-02-09 Nokia Corporation Method and apparatus for user recognition using CCD cameras
JP3864035B2 (ja) * 2000-05-19 2006-12-27 オリンパス株式会社 内視鏡システム
JP4727066B2 (ja) * 2001-05-21 2011-07-20 オリンパス株式会社 内視鏡システム
US7680295B2 (en) * 2001-09-17 2010-03-16 National Institute Of Advanced Industrial Science And Technology Hand-gesture based interface apparatus
US20040030367A1 (en) * 2002-08-09 2004-02-12 Olympus Optical Co., Ltd. Medical control device, control method for medical control device, medical system device and control system
CN1174337C (zh) * 2002-10-17 2004-11-03 南开大学 识别人眼注视与否的方法和装置及其应用
US20050033117A1 (en) * 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
US7317955B2 (en) * 2003-12-12 2008-01-08 Conmed Corporation Virtual operating room integration
US7846107B2 (en) * 2005-05-13 2010-12-07 Boston Scientific Scimed, Inc. Endoscopic apparatus with integrated multiple biopsy device
TWI324313B (en) * 2006-08-25 2010-05-01 Compal Electronics Inc Identification mathod
JP4813349B2 (ja) * 2006-12-28 2011-11-09 オリンパスメディカルシステムズ株式会社 内視鏡システム
KR101055554B1 (ko) * 2007-03-27 2011-08-23 삼성메디슨 주식회사 초음파 시스템
JP5343773B2 (ja) * 2009-09-04 2013-11-13 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
WO2011079150A1 (en) * 2009-12-22 2011-06-30 Integrated Endoscopy, Inc. Methods and systems for disabling an endoscope after use
JP2011221699A (ja) * 2010-04-07 2011-11-04 Yaskawa Electric Corp 操作指示認識装置及びロボット
WO2012129474A1 (en) * 2011-03-24 2012-09-27 Beth Israel Deaconess Medical Center Medical image viewing and manipulation contactless gesture-responsive system and method

Also Published As

Publication number Publication date
EP2679140A1 (en) 2014-01-01
JPWO2013099580A1 (ja) 2015-04-30
EP2679140A4 (en) 2015-06-03
WO2013099580A1 (ja) 2013-07-04
US20140002624A1 (en) 2014-01-02
CN103491848B (zh) 2015-10-07
CN103491848A (zh) 2014-01-01

Similar Documents

Publication Publication Date Title
JP5356633B1 (ja) 医療用内視鏡システム
US10631712B2 (en) Surgeon's aid for medical display
US11439473B2 (en) Surgical control apparatus, surgical control method, and program
EP3109783B1 (en) Context-aware user interface for integrated operating room
EP2665059B1 (en) Endoscope operation system
US11026561B2 (en) Method and system for automatically repositioning a viewable area within an endoscope video view
JP2006000536A (ja) 手術室制御システム
US20190339836A1 (en) Information processing apparatus, method, and program
JP2010015360A (ja) 制御システム及び制御方法
EP3095378B1 (en) Medical treatment system
JP2018107603A (ja) センサ情報取得装置、センサ情報取得方法、センサ情報取得プログラム及び医療器具
US12008682B2 (en) Information processor, information processing method, and program image to determine a region of an operation target in a moving image
JP2016067692A (ja) 医療システム
JP6099444B2 (ja) 医療システムおよび医用システムの作動方法
JP2007075519A (ja) 手術室制御システム
JP6768323B2 (ja) 音声認識装置及び方法、並びにコンピュータプログラム及び記録媒体
JP2007068562A (ja) 医療機器用電源制御装置及び手術室制御システム
EP2796107A1 (en) Adjustable overlay patterns for medical display
JP2007068565A (ja) 手術室制御システム及び非医療機器コントローラ

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

R151 Written notification of patent or utility model registration

Ref document number: 5356633

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250