JP5613693B2 - 手術手順を実証するmpegファイルを記録するための方法 - Google Patents

手術手順を実証するmpegファイルを記録するための方法 Download PDF

Info

Publication number
JP5613693B2
JP5613693B2 JP2012008335A JP2012008335A JP5613693B2 JP 5613693 B2 JP5613693 B2 JP 5613693B2 JP 2012008335 A JP2012008335 A JP 2012008335A JP 2012008335 A JP2012008335 A JP 2012008335A JP 5613693 B2 JP5613693 B2 JP 5613693B2
Authority
JP
Japan
Prior art keywords
image
video
stream
data stream
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012008335A
Other languages
English (en)
Other versions
JP2012142949A (ja
Inventor
ブルース・エル・ケネディ
Original Assignee
カール ストルツ イメージング インコーポレイテッド
カール ストルツ イメージング インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by カール ストルツ イメージング インコーポレイテッド, カール ストルツ イメージング インコーポレイテッド filed Critical カール ストルツ イメージング インコーポレイテッド
Publication of JP2012142949A publication Critical patent/JP2012142949A/ja
Application granted granted Critical
Publication of JP5613693B2 publication Critical patent/JP5613693B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • A61B1/00022Operational features of endoscopes provided with data storages removable
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Endoscopes (AREA)
  • Television Signal Processing For Recording (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、一般に、映像記録と画像キャプチャ用の装置に関し、特に、手術手順を画像に基づいて実証するこのような装置に関する。本発明は、又、信号をMPEGレイヤーストリームに処理する手段に関する。
「百聞は一見に如かず」という格言は、手術手順の画像に基づく実証においてかってないほど真実である。そこでは、患者の生命と医師の名声が問題となる。画像に基づく実証の初期は、解剖学的に珍しい物や革新的な手術の進歩を教授目的にとらえるために写真を利用する未熟な試みで汚されていた。しかしながら、日常のケースの実証の試みは殆どなされなかった。平均的な患者は、単にこの特別の考慮に値しなかった。
光ファイバに連結されたアナログカメラの出現と共に、医師が、いくつかの手術患者画像を手術室内の映像モニター上に表示し始めた。これは、通常、開腹手術でのみ見ることのできる患者の体腔内を医師が見ることができる内視鏡手術において特に当てはまる。全ての患者の措置を映像テープ上に系統的に記録する試みは、映像テープの大量で扱いにくいアーカイブを必要とした。
アナログカメラはまだ使用されているけれども、今日では、内視鏡と他の医療機器に連結されたソリッドステート撮像カメラが標準である。これらのカメラは、画像をデジタルフォーマットで作る。このフォーマットにより、画像の転送、レビューとアーカイブが便利且つ効率的になる。
デジタル画像をアーカイビングする一方法が、ペラネク(Pelanek)に対する米国特許第6,067,075号に示唆されている。それには、診断装置のメモリに前もって記憶した患者の画像を転送及びアーカイビングするワークステーションが開示されている。しかしながら、この方法は、永久位置における同時保存画像を開示しない、即ち、データがメモリから抽出されると、その装置は故障時間になる。
一旦画像データが抽出及びアーカイビングされると、その画像データは、それを最高に活用する立場の者、即ち、その治療をする医師によって入手されるべきである。循環すると皮肉なことに、画像が実際に送出される者が、画像を第一に記録するように診断装置を使用して、今は画像の入手するのを待たねばならないのと同じ者である。よって、医師にとって、手術手順又は各シリーズの手術の完了時にデータを入手できることが有利であろう。従って、データ抽出のための装置の故障時間が無くなるため、装置の効率と設備の利用が増加する。
しかしながら、画像データの可用性は、容易にデータを読取って画像を表示できる時の値に過ぎない。よって、画像データを記憶し読取る風変りで奇妙な方法が、医師を束縛する。最も便利なのは、NTSCとPAL規格のディスプレイと、これらのディスプレイ上で画像データをかける装置である。NTSCは米国の一般的なテレビ規格である一方、PAL規格はヨーロッパとアジアの一部で支配的である。その上、医療スタッフにとって、画像と映像が、通常のオフ・ザ・シェルフ光媒体プレーヤ(即ち、セットトップDVDプレーヤ)及び/又は標準パソコンを利用して見ることができるのが最も便利である。
池田に対する米国特許第5,045,955号は、NTSC又はPAL規格を超える特定のアナログマトリックスを有する高精細度医用画像を記録及び再生するデジタルテープドライブに連結された装置を開示する。典型的に、これらの画像は、専用の撮像装置で作ることができると共に、高度に専用のモニターだけで見ることができる。それらは、NTSC又はPAL規格と互換性がないため、アナログ又はデジタルカメラが、表示すべき映像信号を供給する手順の実証の用途に適用できない。
画像を医療環境に組込む他の示唆がなされている。そこでは、撮像は、実証よりもむしろ主に診断に関係するため、視覚的に関連するコンポーネントのみから成って、治療する医師のナレーションを削除したファイルになる。
手術室内に装置を組込む示唆は、装置を配置する兵站業務に関連する問題を考慮していない。手術室は複数の装置を含む。装置を棚に垂直に積重ねること、即ち、棚保管は有利にスペースを節約する。しかしながら、これは、ユーザー・オペレータによる前面板への容易なアクセスを制限する。従って、省スペースの利点を有すると共に、最大のユーザー・オペレータのアクセスを提供する装置が大いに望ましい。
従って、手術中に映像と音声を携帯型共通媒体に同時に組込む手術ドキュメンタリ記録ファイルを作って保存する装置が望ましい。
又、映像信号を表示用の複数の映像フォーマットに設定し、画像ストリームを表示し、更に、ユーザーが、静止画像をキャプチャすると共に、その静止画像を静止グラフィックファイルとしてドキュメンタリ記録ファイルと同じ媒体に保存することのできる装置が望ましい。
ユーザーが対話する装置と部品は便利でアクセス可能であることが更に望ましい。
又、装置がスタンバイモードである時、装置がオフである時、又は、装置が故障している時、装置が、リアルタイム映像信号を複数の映像フォーマットで複数の表示装置に「フィードスルー」(feed through)し得ることが望ましい。
更に、保存されたファイルをユーザーが操作できるようにするインタラクティブなチュートリアルが望ましい。
これら及び他の目的は、本発明の実施の形態によって達成される。
一実施の形態において、医用映像記録装置は、内視鏡と、内視鏡から受ける電磁エネルギー、直流エネルギー等のエネルギーを、媒体に同時に記憶される信号に変換するイメージャとを含む。
本発明の一実施の形態では、映像信号を、MPEG−2レイヤーでフォーマット化されたドキュメンタリ記録ファイルに符号化する装置が設けられている。
本発明の一実施の形態では、映像信号と音声信号を、共通特性を有する第1と第2デジタルデータストリームに処理するマルチメディア・インターフェースが設けられている。
本発明の一実施の形態では、手術手順中に映像ストリームを記録する記録モードが手術の実証のために設けられている。
本発明の一実施の形態では、記録モード中、又は装置がスタンバイモードである時、又は装置の電源が切りの時、又は装置が故障している時に表示装置によって表示されるべき映像信号用の手段が設けられている。
本発明の一実施の形態では、アーカイブモードが、ドキュメンタリ記録ファイルとグラフィックファイルのレビュー、編集と再生のために設けられている。
本発明の一実施の形態では、タッチスクリーン制御を有する医療機器は、制御指令を入力するタッチスクリーンと、制御指令を受けると共に医療機器を操作するように制御信号を発生するプロセッサと、プロセッサを収容するハウジングとを備える。タッチスクリーンは、ハウジングによって保護された第1位置と、制御指令を入力するためにハウジングから延出した第2位置との間を移動自在である。
本発明の一実施の形態では、映像を多数のフレームレイヤーに記録する映像信号を処理するマルチメディア・インターフェースは、多数のマスターデジタル結線を提供するインターicバス用のコントローラと、インターicバスに操作接続されて、映像信号を第1デジタルストリームに変換するA/D変換器と、インターicバスに操作接続されて、フレームを有する第2デジタルストリームに第1デジタルストリームを符号化すると共に、第2デジタルストリームを復号化する映像圧縮解凍集積回路と、コントローラと映像圧縮解凍集積回路に操作接続されて、コントローラが取扱うフレームを選択的に保存するプログラマブルバッッファとを備え、更に、プログラマブルバッッファが、復号化のために前記フレームを第2デジタルフレームに挿入する。
本発明の一実施の形態では、MPEGレイヤーストリームと該MEPEGレイヤーストリームに対応するn個の選択された静止画像ファイルを表示しながら、手術手順を実証するMPEGレイヤーファイルを記録する方法は、映像信号からなる第1デジタルデータストリームを供給するステップと、音声信号からなる第2デジタルデータストリームを供給するステップと、第1デジタルデータストリームと第2デジタルデータストリームからMPEGレイヤーデータストリームを多重化するステップと、垂直積重ねバスで操作接続されたハードドライブ及び光媒体ドライブにMPEGレイヤーデータストリームをストリーミングするステップと、MPEGレイヤーデータストリームをハードドライブ及び光媒体ドライブに書込むステップと、MPEGレイヤーデータストリームを表示装置に表示するステップと、MPEGレイヤーデータストリームからn個のフレームを選択するステップと、n個のフレームをn個の静止画像ファイルに変換するステップと、n個の静止画像ファイルを追加することによって、出力信号を表示装置に多重化するステップとを備える。
本明細書で使用されている用語「通信する」(communicate)と「通信」(communication)は、データを源から行先に伝達することと、行先に伝達されるべき通信媒体、システム又はリンクにデータを送出することとの両方を含む。本明細書で使用される用語「通信」は、通信する行為又は通信されるデータを適宜意味する。
本発明を、1個以上の内視鏡に関して使用した場合について説明する。他の用途も同様に効果的に採用されることが理解されるだろう。特別なグラフィック表示を有する各種のフレーム表示とアイコンが、本発明の機能に関連して説明される。実行された機能をユーザーに通信する場合に、他のグラフィック表示が同様に効果的に使用されることが理解されるだろう。
ここで、画像と画像ストリームは、AV能力を用いるユーザーの知覚を指し、画像ストリームは、又、聴覚コンポーネントを含む。映像信号、デジタル信号、アナログ信号、データストリーム等は、本発明における及び本発明と操作接続及び/又は連係される電気装置における電気信号を指す。
図1は、本発明の一実施の形態に従って手術患者環境で使用される映像記録・画像キャプチャ装置の略図である。患者5は、ユーザー10によって内視鏡15で検査される。ユーザー10は、内科医、外科医、看護婦、他の有資格専門家又は二次的専門家である。映像記録・画像キャプチャ装置(イメージャ)100は、映像記録モードに置かれてきた。電荷結合素子(CCD)、CMOS又はCCIチップ等のカメラヘッド20が、患者5の体腔の映像信号300(図4)を受けて作るように、内視鏡15に連結されている。映像信号300は、表示装置上で表示される時に画像ストリームになる。
ユーザー10が内視鏡15を操作する時、ユーザー10は、カメラヘッド20をカメラ制御装置(CCU)30で制御すると共に、表示装置、例えば、外部映像スクリーン35上で画像ストリーム25を観察する。イメージャ100は、映像信号300を受けるように、CCU30に操作接続されている。イメージャ100は、又、標準ポートを介して外部映像スクリーン35、マイクロホン40、プリンタ45とネットワーク50に操作接続されている。一実施の形態において、イメージャ100は、映像信号300を受けると共にカメラヘッド20を制御するように、カメラヘッド20に操作接続されて、CCU30の必要性が無くなる。
ユーザー10が、患者5を検査及び治療する時、イメージャ100は、画像ストリーム25を光媒体ドライブ(OMD)125(図2)上に記録していると共に、複数の目的のためにバックアップコピーをハードドライブ(HDD)120(図4)に保存している。この期間中、ユーザー10は、その検査にナレーションを与える。マイクロホン40又は独立の音声記録装置が、そのナレーションを捕捉すると共に、合わせて音声信号315(図6)である音声信号314i(図6)又は316i(図6)に、夫々、変換する。
更なる調査を必要とする状況に遭遇した時、ユーザー10は、更なる調査のために画像ストリーム25から第1画像を保存及びフリーズするように、画像キャプチャモードを利用する。イメージャ100を使用して、第1画像と大略同様の第2画像を画像ストリーム25上にスーパーインポーズすることができる。ユーザー10の注意を喚起する別の状況に遭遇した時、問題の第1画像に大略対応する複数の第2画像を、保存すると共に、同時に画像ストリーム25上にスーパーインポーズすることができる。第2画像に対応するファイルを、プリンタ45で印刷し、及び/又は、ネットワーク50を介して他の相談相手に伝送される。
図2と図3は、夫々、本発明の一実施の形態にかかる映像記録・画像キャプチャ装置の前面パネルと後面パネルの正面図を示す。図4は、本発明の一実施の形態にかかる映像記録・画像キャプチャ装置の略図である。イメージャ100は、大略、シャシ105内に収容されていると共に、電源110、マイクロプロセッサ・メインボード(MMB)115、ハードドライブ(HDD)120、光媒体ドライブ(OMD)125、通信インターフェース130、マルチメディア・インターフェース135、スピーカ140とデジタル映像インターフェース150の複数の部品を含む。シャシ105は、タッチスクリーン145を有利に収容するアドオン・トレイ105aを含む。
電源110は、シャシ後面パネル105bに配置されたコンセント110aにおける電線でAC電源に接続される。シャシ前面パネル105cの電力スイッチ110bを「入」にする時、電源110は、イメージャ100の部品に適当な電力を供給する。電源110は、IEC601−1断路条件に従い、145ワットの医療等級規格に合う電力を供給し、更に、電力補正率を含むと共に、50−60Hzで100〜250Vの範囲のAC電圧を自動的に取扱うことができる。
マイクロプロセッサ・メインボード(MMB)115は、ソフトウエアを実行すると共に、中央処理装置(プロセッサ)、RAM、複数の拡張スロット、BIOSチップ、シャシ105に便利なフットプリント上のオンボード音声グラフィックス能力を含む。そこでは、少なくとも800MHzの処理速度のインテルペンティアム(登録商標)III、インテル815チップセット、少なくとも3個のPCIと1個のAGPスロット、少なくとも128MBのSDRAM、オンボードAGPグラフィックス、カスタマイズ・ロゴがロードされるグレードアップ可能なフラッシュBIOSチップがATXマザーボード上に設けられ得る。更に、MMB115は、シリアル、パラレル、USBとイーサネット(登録商標)を介して他の装置及び/又はネットワークに接続されると共に、マウス、キーボード、映像モニター、インテル40−ピンDVOマザーボードコネクタ又は類似物とそのコネクタ用のサポートに接続されるポートパネル115aを含むことが好ましい。
ハードドライブ(HDD)120と光媒体ドライブ(OMD)125は、IDE又はエンハンストIDE(代わりにIDE)と互換性のあるデータ記憶媒体ドライブであって、このデータ記憶媒体ドライブは、垂直に積重ねたIDEバス116によってMMB115に操作接続されている。8.0msのEIDEアクセスタイムと7200rpmのディスク速度を有するマックスター(Maxtor)製ドライブが好ましいので、HDD120は、少なくとも40ギガバイトの記憶量と最小のアクセスタイムを有する磁気ハードドライブである。OMD125は、コンパクトディスク(CD)及び/又はデジタル多用途ディスク(DVD)のような光媒体ディスクに対してデータを読み書きできるDVD+RWドライブであることが好ましい。
通信インターフェース130は、どんな種類のネットワーク又はプロプライエタリ通信インターフェースでよい。例えば、カールストーツ(Karl Storz)社のストーツ通信バス(SCB)とインターフェースで連結し得るネットワークカードが好ましい。
マルチメディア・インターフェース135は、カメラヘッド20から発する画像ストリーム25を記録及び書込むように、ペリヘラル・コンポーネント・インターコネクト(PCI)ローカルバスを介してMMB115に接続されている。スピーカ140は、シャシ105内に収容されていると共に、イメージャ100のための聴覚能力を提供する。
デジタル映像インターフェース150は、デジタル・ビジュアル・インターフェース(DVI)規格に従う映像信号を作るように、MMB115に操作接続されている。そこで、デジタル映像インターフェース150は、MMB115と拡張スロット105d内のDVI−D出力コネクタに対してインテル40−ピンDVOコネクタ又は類似物を有する印刷回路板として物理的に実施されることが好ましい。
タッチスクリーン145は、本発明の一実施の形態に従って図5a、図5bと図5cに図示するように設けられている。ユーザー10等のオペレータによる接触に応答する表面145aと、イメージャ100の機能を示すことができるディスプレイ400とが、タッチスクリーン145に含まれる。オプトレックス(Optrex)社製のタッチスクリーンが好ましい。MMB115への映像接続が、対応するDVI−D出力になされ、データ及び電力の接続が標準RS―232シリアルポートの間でなされる。
タッチスクリーン145は、シャシ105内のイメージャ100のトレイ105a(図14a)に収容されるのが好都合である。そこで、タッチスクリーン145が、堅固で、且つ、本発明の一実施の形態にかかる図18に示すようにシャシ105の前面と相対的に同面であるように、タッチスクリーン145は、トラック・アドバンス・システム(TAS)146(図14a)内に装着される。
TAS146により、ユーザー10は、装置を棚積みするときに得られるスペースを好都合に使用することができる。ユーザー10は、ボタン又は他の解放機構を押すことにより、タッチスクリーン145を解放すると共に、本発明の一実施の形態にかかる図5bの矢印で示すように、タッチスクリーン145をシャシ105からトレイ105aの外に摺動させる。タッチスクリーン145をよりユーザーフレンドリーに、且つ、より見えるようにするために、本発明の本発明の一実施の形態にかかる図5cの円弧状矢印で示すように、ユーザー10は、タッチスクリーン145をある角度で傾斜させることができる。
図15は、配置の各種の状態にあるタッチスクリーンを示す。例えば、101は、タッチスクリーンを十分に後退させた一実施の形態を示す一方、他の実施の形態では、タッチスクリーンが十分に後退していない。102は、延出させたタッチスクリーンを示し、又、103は、延出させると共にハウジング平面から振らせたタッチスクリーンを示す。
図14aと図14bは、本発明の一実施の形態にかかる映像記録・画像キャプチャ装置のタッチスクリーンのトラック・アドバンス・システムの平面図を表す。トレイ105aから前進するようにトレイ105aに配置されたプラットフォーム144は、レール143a及び143bと動作自在であると共に、本発明の一実施の形態にかかる図14aに示すように、軸受又は他の摩擦減少機構によってトラック147a及び147bによって案内される。解放機構143dは、ユーザーの望みにより選択されてタッチスクリーン145を前進させるようにタッチスクリーン145を解放する1個以上の部品を含む。解放機構143dは、更に、1個以上のばね143eを含んでもよい。
プラットフォーム144は、タッチスクリーン145を水平面からある角度で配置した時でも保持する任意の適当な設計でよい。タッチスクリーン145は、ケーブル及びコネクタを介してイメージャ100と動作する。
レール143aと143bは、タッチスクリーン145が所定点を超えて前進するのを防止するように、トラック147a及び147bと動作自在のストッパ143c(明瞭さのために部分的にだけ図示)を有する。
TAS146は、本発明の一実施の形態にかかる図14bに示すように、縁部ヒンジ142a及び中心ヒンジ143c等の1個以上のヒンジ142を含む。手術中にユーザー10がタッチスクリーン145にインタラクティブにアクセスできるように、ヒンジ142a及び142bは、プラットフォーム144を傾斜するよう協働する。プラットフォーム144の角度の変更や偶然の閉鎖を防止するために、故意でない運動に対してヒンジ142に抵抗力を付与するねじ立て機構が、ヒンジ142に形成されている。
図6は、本発明の一実施の形態におけるマルチメディア・インターフェース135の略図である。マルチメディア・インターフェース135は、複数の集積回路と、MMB115へのデータ転送用のPCIバス結線136とを有する「拡張カード」と通常呼ばれる1個以上の印刷回路板上に物理的に実施される。バス136を介して、マルチメディア・インターフェース135は、又、電力を受ける。音声及び映像接続ポート、即ち、入出力ポートは、拡張スロット105d内に物理的に実施されていると共に、マルチメディア・インターフェース135に一体に接続されている。一実施の形態において、マルチメディア・インターフェース135は、MMB115へのバス結線136を有するPCI拡張カードと、PCI拡張カードに直接接続される別の印刷回路板として実施される。
マルチメディア・インターフェース135上のレジデントは、コントローラ200で
操作的に制御されるインター−ICバスである。コントローラ200は、回路をPCIインターフェース210に接続するマルチマスターバスとして、インター−ICバスを実施する。ルータ220は、フィールド・プログラマブル・ゲートアレイとして設けられていると共に、JTAGポートのようなポートでアクセスできるプログラマブルROMを有する。
記録モードにおいて、イメージャ100は、映像信号300と音声信号315の入力を受けると共に、データストリームをHDD120(図4)及び/又はOMD125内の媒体に書込みながら両信号を同時に符号化する。
映像信号300は、拡張スロット105d(図3)に配置された入力ポート内のアナログ映像信号304iとデジタル映像信号306iとして、マルチメディア・インターフェース135によって受けられる。アクティブ入力ポートが、アクティブ出力ポートと同様に、マルチメディア・インターフェース135によって検出される。
イメージャ100に電力が供給されていない時又はイメージャ100がスタンバイモードである時、リレー205は、外部モニターによる表示のための入力ポートに対応する出口ポートに映像信号300を迂回するように動作する。そこで、リレー205は、記録モードが設定されていることを指示するセンス信号をソフトウエアから受けるレシーバを含む。もしセンス信号を所定時間に受けなければ、映像信号300が迂回される。もしイメージャ100に電力が供給されていなければ、リレー205のデフォルトモードが信号を対応するポートに迂回する、即ち、S―映像入力に入力された映像信号300が、S―映像出力ポートに迂回される。
アナログ映像信号304iは、コンポジット映像入力又はS―映像入力を用いて受けられる。イメージャ100が電気的に作動していない又は記録モードが設定されていない時、映像信号300は、バイパスリレー205を用いて迂回される。受けたアナログ映像信号304iは、A/D変換器240を用いてデジタル化される。そこで、NTSC又はPAL規格アナログ映像信号304iは、第1内部データストリームであるデジタルデータストリーム(DDS)にデジタル化される。クロミナンスに対する輝度(YUV)画素が4:2:2であるデジタル化データストリームが好ましい。他のデータストリームコンフィギュレーションを使用してもよい。特に、8:2:2のYUVを有するデータストリームが、より高度のアナログ映像フレーム品質を生成し得るCCU30(図1)と使用することが好都合である。次に、DDS310が、ルータ220を介して映像媒体圧縮解凍集積回路(V−codec)230にストリーミングされ、V−codec230において符号化される。
デジタル映像信号306iは、SDIデジタル映像信号入力を使用して受けられる。もしイメージャ100が電気的に作動していない又は記録モードが設定されていない時にデジタル映像信号306iを受けると、映像信号300は、バイパスリレー205を用いて迂回される。受けたデジタル映像信号306iは、SDIレシーバ250によって処理されて、第1内部データストリームであるDDS310に変換される。他のデータストリームコンフィギュレーションを使用してもよいけれども、クロミナンスに対する輝度(YUV)画素が4:2:2であるデジタル化データストリームが好ましい。DDS310は、ルータ220を介してV−codec230にストリーミングされ、V−codec230において符号化される。
ステレオ線から発する音声信号314iとマイクロホン40から発する音声信号316iのための入力が、口述等の望ましい音声信号を記録するために設けられている。両入力は、単一の音声信号315を作るように組合されたり、個別に使用される。音声信号315は、音声圧縮解凍集積回路(A−codec)260によって受けられて、第2内部データストリームである音声用デジタルデータストリーム(DDSA)312に変換され、更に、インターICバス上に配置された自動ゲイン制御270に送られる。DDSA312は、次に、V−codec230にストリーミングされる。
V−codec230は、インターICバス上の1個以上の集積回路上のLINUX(登録商標)又はUNIX(登録商標)エンベデッド・プラットフォームで動作することが好ましいと共にコントローラ200と操作接続されるエンベデッド・ソウトウエアとして提供される。SDRAM集積回路等の1個以上のバッファメモリも操作接続されている。V−codec230のコンフィギュレーション設定は、関連するEEPROMやEPROM回路又は類似物に記憶される。V−codec230のエンベデッド・ソウトウエアは、MPEG、MPEG−2及び/又はMPEG−4のデータストリーム(MDS)320等のMPEGレイヤーを復号化及び/又は符号化するように、アルゴリズムを実行する。MDS320は、インデックスフレームを使用すると共に後続の画像におけるそのインデックスフレームの変化の順序を注意することによって得られる高圧縮率を好都合に利用する。MDS320は、フレーム322のストリームから成る。
この型式のアルゴリズムは、CD−Rと複数のDVD媒体の記憶及びプレイに適当なファイルフォーマッティングを実行することが知られている。典型的に、MDS320は、DVD+RW媒体の記憶及びプレイに適用されるVOBとして指定されるファイルフォーマットで符号化することが好ましい。本発明は他の圧縮解凍アルゴリズムにも容易に応用できることを理解すべきである。
V−codec230は、DDS310とDDSA312をMDS320に多重化し、MDS320は、次に、MMB115にストリーミングされる。そこから、MDS320は、垂直に積重ねたIDEバス116を介してHDD120とOMD125にストリーミングされる。そこで、HDD120は、MDS320を磁気ディスクに書込んで、CD−RやDVD媒体等の光ディスクに書込むためのOMD125にコピーをストリーミングして、手術がユーザー10によって行われている間に同時ドキュメンタリ記録ファイルを作る。もしOMD125への書き込みプロセスが中断又は失敗すると、手術完了後の後続の書込みの試みのために、バックアップコピーがHDD120上に存在する。
記録モード中に表示装置によって表示すべき映像信号用の手段が設けられている。表示装置は、外部映像スクリーン35又はタッチスクリーン145である。図7は、本発明の一実施の形態にかかるイメージャ100と表示装置の概略図を示す。映像スクリーン35の一実施の形態である外部映像スクリーン35aは、S−video、コンポジット又はSDIフォーマット用のコネクタを使用するアナログ及び/又はデジタル信号を受けるように動作する。そこで、マルチメディア・インターフェース135はアクティブ出力ポートを検知し、ルータ220は、DDS310を、デジタル映像信号306xを生成するようにSDIトランスミッタ280に又はアナログ映像信号304xを生成するようにD/A変換器290に夫々ストリーミングする。D/A変換器290では、共通データストリーム310は、映像スクリーン35aが使用中の適当なNTSC又はPAL規格アナログ信号に自動的に変換される。
タッチスクリーン145は、デジタル・ビジュアル・インターフェース(DVI)フォーマットの映像信号を受けるように動作し、映像スクリーン35の一実施の形態である、タッチスクリーン能力を有する外部映像スクリーン35bは、デジタル・ビジュアル・インターフェース(DVI)フォーマット又はアナログ・モニター・フォーマットの映像信号を受けるように動作する。そこで、MMB115は、アクティブ出力の必要に応じて、レジデントAGPグラフィックス・サポート及び/又はDVIグラフィックス・サポートと、タッチスクリーン145及び映像スクリーン35bへの出力のためのデジタル映像インターフェース150にMDS320のコピーをストリーミングする。
画像キャプチャモードが、大略画像ストリーム25の画像のように、MDS320からフレーム322(図6)を保存するために設けられている。ユーザー10は、画像ストリーム25内で関心のある画像を見て、関心のあるその画像を「フリーズ」する命令を開始する。このような命令を受けた時、ユーザー10側の反応時間とイメージャ100側の処理時間が共に経過しているので、実質が一時的である大略画像26のようなフレーム322が保存される。フリーズ命令はマルチメディア・インターフェース135に伝送される。そこで、コントローラ200は、取扱い中の現在のフレーム322をフレームバッファ295に伝送するように、PCIインターフェース210に命令する。フレームグラバーとして知られるフレームバッファ295は、フレーム322を記憶する。
フレームバッファ295は、バッファサイズに従って記憶され得る最大でn個のフレームに対応する複数のフレーム322を記憶及び識別できる集積回路として実施でき、以下に、フレーム322は記憶された第1のフレームを指し、フレーム322は記憶された第2のフレームを指し、フレーム322は記憶された最後のフレームを指す。示すように、識別は、先入れ先出し順序又は類似の順序を指定することによって実施される。フレーム322を受けると、フレームバッファ295はコピーをルータ220に伝送する。ルータ220は、フレーム322をDDS320と多重化し、その組合せ信号を表示用アクティブ出力ポートに組合せ画像としてストリーミングする。画像キャプチャモードに関して更に説明するように、ユーザー10は、表示装置上の画像ストリーム25内の組合せ画像の位置及び大きさを操作することができる。
フレーム322のコピーが、好ましくはMPEG、MPEG−2及び/又はMPEG−4レイヤー等のMPEGレイヤーに対応するJPEGレイヤーのファイルフォーマットで、HDD120にグラフィックファイルとして保存される。TIFF、BMP及び/又はFPX又は類似物等の他のフォーマットへの変換のためのソフトウエア・アプリケーションが設けられている。
別の画像をキャプチャするとのユーザー10からの追加の命令により、別の対応するフレーム322が上記のように保存される。そこで、フレーム322がフレーム322及びDDS310と多重化され、その組合せ信号が、表示装置上の表示のためのアクティブ出力にストリーミングされる。
アーカイブモードが、ドキュメンタリ記録ファイルとグラフィックファイルのレビュー、編集と再生のために設けられている。そこで、記録ファイルがアクセスされ、MDS320に対応するデジタルデータストリームがHDD120の媒体から読取られ及び/又はOMD125がV−codec230によってストリーミングされると共にDDS310に対応するデジタルデータストリームに解凍される。解凍されたデジタルデータストリームは、次に、表示用アクティブポートに送られるか表示装置上の表示用のMMB115に転送される。
図8乃至図13は、本発明の一実施の形態にかかるイメージャ100からタッチスクリーン145のインタラクティブディスプレイ400の使用を示す。例えば、表示装置に連結されたマウスとキーボードのような他の入力装置を使用することで、同様の使用が得られることを理解すべきである。
イメージャ100に電力供給すると、それはスタンバイモードになって、本発明の一実施の形態にかかる図8に示すように、頁410が示される。ディスプレイ400は、複数のフィールドを提供する頁410として示される。示されたフィールドは、手術情報600、マルチメディア状態610、画像パネル620と制御パネル630を表示するように区分けされたフィールドを含む。図示の実施の形態において、マルチメディア状態610は、光媒体が前回の手術期間から保存したデータを含むことを示す。イメージャ100を現在の期間のために使用すると共に患者データを入力するために、ユーザー10は、手術情報ブロック600内の所望のフィールドに接触して、必要なデータを入力する。
手術情報ブロック600は、患者履歴情報、治療医師のアイデンティティーと便宜及び必要に応じた追加情報のためのフィールドを含む。もしそのフィールドが英数字入力を必要とすると、図9に示すように、英数字キーボード頁420が頁410の頂部に表示される。ユーザー10は、接触することによってデータを入力する。フィールド422は、なされた入力を同時に表示する。ユーザーは、入力を確認して、次の選択をするために頁410に戻される。もしフレーム410の望ましいフィールドが数字入力を必要とすると、本発明の一実施の形態にかかる図10に示すように、数字キーボードページ430が頁410の頂部に表示される。ユーザー10は、接触することによってデータを入力する。フィールド422は、なされた入力を同時に表示する。ユーザーは、入力を確認して、次の選択をするために、本発明の一実施の形態にかかる図11に示すように追加データで修正された頁410に戻される。
図8に戻ると、制御パネル630は、映像記録、画像キャプチャ、音声入力のミューティング及び選択確認を含むイメージャ100を制御する機能を提供する。便宜及び/又は必要に応じて、他の機能を含んでもよい。
OMD125に正常に装入されたディスクに映像ファイルを記録するように、装置を記録モードに設定するために、ユーザー10は、指定されたアイコン、ここでは、制御パネル630内のアイコン632に接触する。それに応答して、アイコン632は、ハイライトされるようにデザインを変化させる。同時に、図12に示すように、画像パネル620において、画像25が画像ウィンドウ624内に表示されると共に、画像状態バー622が、記録の確認と記録の経過を表示する。同様に、もし記録がCCU30を介して開始されると、本発明の一実施の形態にかかる図12に示すように、アイコン632がハイライトされ、画像25が画像ウィンドウ624内に表示されると共に、画像状態バー622が、記録の確認と記録の経過を表示する。記録を終了するために、ユーザー10は、ハイライトされたアイコン632を接触するか又はCCU30上の適当な制御を設定する。
音声記録をミューティングする又は音声記録を設定するために、ユーザー10は、指定されたアイコン、ここでは、制御パネル630内のアイコン636に接触する。それに応答して、アイコン636は、ハイライトされるようにデザインを変化させる。その動作を逆転するには、ユーザー10は、アイコン636に接触し、それに応答して、アイコン636は、望ましくは前のデザインに戻る。
画像ウィンドウ624内に表示されている画像をキャプチャするために、ユーザー10は、指定されたアイコン、ここでは、制御パネル630内のアイコン634に接触して、イメージャ100が画像キャプチャモードに設定されると共に、その命令が前述したように処理される。それに応答して、アイコン634が、ハイライトされるようにデザインを変化させると共に、所望の動作が行われているとの確認メッセーが表示される。同様に、もしユーザー10が、画像ウィンドウ624内に表示されている画像26をキャプチャするために、CCU30上の適当な制御を設定すると、画像キャプチャモードをアクセスすることができる。命令が上述のように処理され、アイコン634は、ハイライトされるようにデザインを変化させると共に、所望の動作が行われているとの確認メッセーが表示される。
ユーザー10がマルチメディアディスク上で得られるリソースをモニタリングするために、マルチメディア状態610は、ディスクの残り容量、キャプチャされた画像の数と記録された画像ストリーム25の時間長さを識別するフィールドを含む。
保存されたドキュメンタリ記録ファイルとグラフィックファイルをレビュー及び操作するために、アーカイブモードを制御パネル630からアクセスできる。ユーザー10は、指定されたアイコン、ここでは、アイコン638に接触して、本発明の一実施の形態にかかる図13に示すように、レビュー頁440が表示される。頁440は、制御パネル630a、注領域670、ファイルディレクトリ660、画像ウィンドウ624を含む画像パネル620、画像状態バー622とコントロール626を含む。コントロール626は、好ましくは、ポーズ、再生、印刷及び確認の手段並びに経過時間と、有用及び/又は必要と考えられる他のコントロールを含む。
そこで、グラフィックファイルは、ユーザー10によってレビューのために直ちに入手されるように、手術室内に配置されたプリンタ45で印刷される。映像コントラストを提供し、物理的プロテーゼに対応する尺度設定ファイルオブジェクトを挿入することにより、このようなプロテーゼが患者に合致するかどうかを決定するように、グラフィックファイルを拡大、観察及び操作するソフトウエアが設けられる。
本発明の一実施の形態では、センサー318(図4)が、赤外線遠隔制御信号を検出するために設けられている。センサー318は、ユーザー10がイメージャ100を遠隔操作することを可能にする。センサー318は、プロセッサ又はMMB115と通信して、制御信号を受けて医療機器を制御する。
本発明の一実施の形態では、音声認識のためのシステムが、ユーザー10のイメージャ100とのインタラクションのために設けられている。マイクロホン40は、音声認識モジュール319に送られるユーザー10の音声指令を受ける。音声認識モジュール319は、医療機器を制御する音声信号を受けるようにMMB115上で実行されるソフトウエアである。
本発明の一実施の形態では、データベースモジュール321は、ユーザー10がイメージャ100のデータをアクセス、管理及び/又は更新できるように、操作的に設けられたデータベースサーバー及び/又はデータベース・マネジメント・アプリケーションを提供する。データベースモジュール321は、ハードドライブと光媒体ドライブを操作する制御信号を設立するようにMMB115上で実行されるソフトウエアである。
本発明の一実施の形態では、所定の特性に合致する映像信号300の特性が、自動的にユーザー10の注意に向けられ及び/又はグラフィックファイル810として保存されるエキスパートシステム323が設けられている。エキスパートシステム323は、医療機器を操作する制御信号を発生するようにMMB115上で実行されるソフトウエアである。
本発明の一実施の形態では、立体モジュール324が、立体画像を表示装置上に提供するように、複数の映像信号300を互いに関連付けるために設けられている。立体モジュール324は、マルチメディア・インターフェース上に立体画像を提供するように、複数のファイルを関連付けるために、MMB115で実行されるソフトウエアである。
本発明に従って手術患者環境で使用される映像記録・画像キャプチャ装置の略図である。 図1の映像記録・画像キャプチャ装置の前面パネルの正面図である。 図1の映像記録・画像キャプチャ装置の後面パネルの正面図である。 図1の映像記録・画像キャプチャ装置の略図である。 図1の映像記録・画像キャプチャ装置を示す。 図1の映像記録・画像キャプチャ装置を示す。 図1の映像記録・画像キャプチャ装置を示す。 図1のマルチメディア・インターフェースの略図である。 図1の映像記録・画像キャプチャ装置と表示装置の連結を示す略図である。 図1におけるタッチスクリーンのインタラクティブディスプレイを介した映像記録・画像キャプチャ装置の使用を示す。 図1におけるタッチスクリーンのインタラクティブディスプレイを介した映像記録・画像キャプチャ装置の使用を示す。 図1におけるタッチスクリーンのインタラクティブディスプレイを介した映像記録・画像キャプチャ装置の使用を示す。 図1におけるタッチスクリーンのインタラクティブディスプレイを介した映像記録・画像キャプチャ装置の使用を示す。 図1におけるタッチスクリーンのインタラクティブディスプレイを介した映像記録・画像キャプチャ装置の使用を示す。 図1におけるタッチスクリーンのインタラクティブディスプレイを介した映像記録・画像キャプチャ装置の使用を示す。 図1の映像記録・画像キャプチャ装置のタッチスクリーン用のトラック・アドバンス・システムの平面図である。 図1の映像記録・画像キャプチャ装置のタッチスクリーン用のトラック・アドバンス・システムの平面図である。 十分に後退させたタッチスクリーンと、延出させたタッチスクリーンと、延出及び振らせたタッチスクリーンとを設けた図1の映像記録・画像キャプチャ装置を示す。
5 患者
10 ユーザー
15 内視鏡
20 カメラヘッド
25 画像ストリーム
30 カメラ制御装置(CCU)
35 外部映像スクリーン
40 マイクロホン
45 プリンタ
50 ネットワーク
100 映像記録・画像キャプチャ装置
105 シャシ
110 電源
115 マイクロプロセッサ・メインボード(MMB)
120 ハードドライブ(HDD)
125 光媒体ドライブ(OMD)
130 通信インターフェース
135 マルチメディア・インターフェース
140 スピーカ
145 タッチスクリーン
150 デジタル映像インターフェース
200 コントローラ
220 ルータ
230 映像媒体圧縮解凍集積回路(V−codec)
300 映像信号
315 音声信号
318 センサー
400 インタラクティブディスプレイ
620 画像パネル
630 制御パネル

Claims (6)

  1. 映像ストリームと該映像ストリームに対応する複数の選択された静止画像ファイルを表示しながら、手術手順を実証するMPEGファイルを記録するための方法において、
    カメラヘッドにより、映像信号からなる第1デジタルデータストリームを映像媒体圧縮解凍集積回路に供給するステップと、
    音声装置により、音声信号からなる第2デジタルデータストリームを映像媒体圧縮解凍集積回路に供給するステップと、
    映像媒体圧縮解凍集積回路により、前記第1デジタルデータストリーム及び前記第2デジタルデータストリームをMPEGデータストリームに多重化し、前記MPEGデータストリームをバスで操作接続されたプロセッサにストリーミングするステップと、
    前記プロセッサにより、前記MPEGデータストリームを前記プロセッサに接続された記録装置に書込むステップと、
    変換器により、前記第1デジタルデータストリームをPALもしくはNTSCもしくはDVIフォーマット信号に変換するステップと、
    前記プロセッサにより、前記PALもしくはNTSCもしくはDVIフォーマット信号ストリームを表示装置に表示するステップと、
    コントローラにより、前記第1デジタルデータストリームから多数のフレームを選択し、前記フレームを静止画像ファイルに変換するステップと、
    インターフェースにより、前記静止画像ファイルを前記PALもしくはNTSCもしくはDVIフォーマット信号に挿入して組合せ画像ストリームを発生するステップと、
    前記プロセッサにより、前記組合せ画像ストリームを前記表示装置に表示し、前記組合せ画像ストリームを前記記録装置に書込むステップとを備え、
    前記表示装置上の前記組合せ画像ストリーム内の組合せ画像の位置及び大きさがユーザにより操作される方法。
  2. 前記静止画像ファイルがJPEGフォーマットである請求項1に記載の方法。
  3. 前記静止画像ファイルがBMPフォーマットである請求項1に記載の方法。
  4. 前記静止画像ファイルがTIFFフォーマットである請求項1に記載の方法。
  5. 前記バスがインターicバスからなる請求項1に記載の方法。
  6. 前記組合わせ画像はプリンタで印刷され、前記組合せ画像の操作は、映像コントラストを前記印刷された組合わせ画像に提供すること、もしくは尺度設定ファイルオブジェクトを前記印刷された組合わせ画像に挿入することをさらに含む請求項1に記載の方法。
JP2012008335A 2002-09-13 2012-01-18 手術手順を実証するmpegファイルを記録するための方法 Expired - Fee Related JP5613693B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US41045602P 2002-09-13 2002-09-13
US60/410,456 2002-09-13

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008245394A Division JP2009081857A (ja) 2002-09-13 2008-09-25 映像記録・画像キャプチャ装置

Publications (2)

Publication Number Publication Date
JP2012142949A JP2012142949A (ja) 2012-07-26
JP5613693B2 true JP5613693B2 (ja) 2014-10-29

Family

ID=31994139

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2004536547A Pending JP2005538779A (ja) 2002-09-13 2003-09-15 映像記録・画像キャプチャ装置
JP2008245394A Pending JP2009081857A (ja) 2002-09-13 2008-09-25 映像記録・画像キャプチャ装置
JP2012008335A Expired - Fee Related JP5613693B2 (ja) 2002-09-13 2012-01-18 手術手順を実証するmpegファイルを記録するための方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2004536547A Pending JP2005538779A (ja) 2002-09-13 2003-09-15 映像記録・画像キャプチャ装置
JP2008245394A Pending JP2009081857A (ja) 2002-09-13 2008-09-25 映像記録・画像キャプチャ装置

Country Status (6)

Country Link
US (3) US9936862B2 (ja)
EP (1) EP1550311B1 (ja)
JP (3) JP2005538779A (ja)
AU (1) AU2003274984A1 (ja)
CA (3) CA2498578C (ja)
WO (1) WO2004025963A1 (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040190874A1 (en) * 2003-03-25 2004-09-30 Phoury Lei Method of generating a multimedia disc
US20040199052A1 (en) 2003-04-01 2004-10-07 Scimed Life Systems, Inc. Endoscopic imaging system
US20050245789A1 (en) * 2003-04-01 2005-11-03 Boston Scientific Scimed, Inc. Fluid manifold for endoscope system
US7591783B2 (en) * 2003-04-01 2009-09-22 Boston Scientific Scimed, Inc. Articulation joint for video endoscope
US7578786B2 (en) * 2003-04-01 2009-08-25 Boston Scientific Scimed, Inc. Video endoscope
US8118732B2 (en) 2003-04-01 2012-02-21 Boston Scientific Scimed, Inc. Force feedback control system for video endoscope
JP2005211159A (ja) * 2004-01-27 2005-08-11 Fujinon Corp 電子内視鏡装置
US7265759B2 (en) 2004-04-09 2007-09-04 Nvidia Corporation Field changeable rendering system for a computing device
WO2005099397A2 (en) * 2004-04-09 2005-10-27 Nvidia Corporation Method and apparatus for routing graphics processing signals to a stand-alone module
US7773110B2 (en) * 2004-04-16 2010-08-10 Fujinon Corporation Electronic endoscope apparatus
JP2006015131A (ja) * 2004-06-02 2006-01-19 Pentax Corp 電子内視鏡システム
US8827899B2 (en) * 2004-09-24 2014-09-09 Vivid Medical, Inc. Disposable endoscopic access device and portable display
US7479106B2 (en) * 2004-09-30 2009-01-20 Boston Scientific Scimed, Inc. Automated control of irrigation and aspiration in a single-use endoscope
US8199187B2 (en) * 2004-09-30 2012-06-12 Boston Scientific Scimed, Inc. Adapter for use with digital imaging medical device
US8083671B2 (en) 2004-09-30 2011-12-27 Boston Scientific Scimed, Inc. Fluid delivery system for use with an endoscope
FR2880226B1 (fr) * 2004-12-23 2007-05-25 Inst Nat De L Audiovisuel Ina Equipement d'enregistrement audiovisuel
JP2006218233A (ja) 2005-02-14 2006-08-24 Olympus Corp 内視鏡装置
JP4577085B2 (ja) * 2005-05-17 2010-11-10 ソニー株式会社 映像処理装置、映像処理方法
JP5148068B2 (ja) * 2006-03-24 2013-02-20 オリンパスメディカルシステムズ株式会社 内視鏡
US8202265B2 (en) 2006-04-20 2012-06-19 Boston Scientific Scimed, Inc. Multiple lumen assembly for use in endoscopes or other medical devices
US7955255B2 (en) 2006-04-20 2011-06-07 Boston Scientific Scimed, Inc. Imaging assembly with transparent distal cap
US7601119B2 (en) * 2006-04-25 2009-10-13 Hrayr Kamig Shahinian Remote manipulator with eyeballs
US8982195B2 (en) * 2006-09-07 2015-03-17 Abbott Medical Optics Inc. Digital video capture system and method with customizable graphical overlay
US8287523B2 (en) * 2006-09-07 2012-10-16 Abbott Medical Optics Inc. Systems and methods for historical display of surgical operating parameters
JP2008104535A (ja) * 2006-10-24 2008-05-08 Pentax Corp 電子内視鏡装置
US20140320684A1 (en) * 2007-04-03 2014-10-30 David Chatenever Universal Control Unit and Display With Non-Contact Adjustment Functionality
US8810637B2 (en) * 2007-04-03 2014-08-19 Karl Storz Imaging, Inc. Universal camera control unit
US8495999B2 (en) 2007-08-04 2013-07-30 John Adam Law Airway intubation device
US8323182B2 (en) 2007-12-18 2012-12-04 Manohara Harish M Endoscope and system and method of operation thereof
JP5464815B2 (ja) * 2008-03-25 2014-04-09 オリンパスメディカルシステムズ株式会社 撮像システムおよび撮像システムのセルフチェック処理の動作方法
US20100231735A1 (en) * 2009-03-13 2010-09-16 Nokia Corporation Methods, Apparatuses, and Computer Program Products for Facilitating Concurrent Video Recording and Still Image Capture
US9474440B2 (en) 2009-06-18 2016-10-25 Endochoice, Inc. Endoscope tip position visual indicator and heat management system
US10524645B2 (en) 2009-06-18 2020-01-07 Endochoice, Inc. Method and system for eliminating image motion blur in a multiple viewing elements endoscope
US10130246B2 (en) 2009-06-18 2018-11-20 Endochoice, Inc. Systems and methods for regulating temperature and illumination intensity at the distal tip of an endoscope
WO2011060296A2 (en) 2009-11-13 2011-05-19 California Institute Of Technology Stereo imaging miniature endoscope with single imaging chip and conjugated multi-bandpass filters
US9179831B2 (en) 2009-11-30 2015-11-10 King Systems Corporation Visualization instrument
EP2378449A1 (de) * 2010-04-14 2011-10-19 Linked IP GmbH Bildgebendes Diagnosegerät
US10663714B2 (en) 2010-10-28 2020-05-26 Endochoice, Inc. Optical system for an endoscope
US9706908B2 (en) 2010-10-28 2017-07-18 Endochoice, Inc. Image capture and video processing systems and methods for multiple viewing element endoscopes
US10517464B2 (en) 2011-02-07 2019-12-31 Endochoice, Inc. Multi-element cover for a multi-camera endoscope
US9456735B2 (en) 2012-09-27 2016-10-04 Shahinian Karnig Hrayr Multi-angle rear-viewing endoscope and method of operation thereof
US9295375B2 (en) 2012-09-27 2016-03-29 Hrayr Karnig Shahinian Programmable spectral source and design tool for 3D imaging using complementary bandpass filters
CN104520860A (zh) * 2012-08-06 2015-04-15 皇家飞利浦有限公司 用于对医学处置事件的实时标注的方法和装置
US9167160B2 (en) 2012-11-14 2015-10-20 Karl Storz Imaging, Inc. Image capture stabilization
CN102984438A (zh) * 2012-11-26 2013-03-20 成都爱斯顿测控技术有限公司 多接口视频采集卡
US10595714B2 (en) 2013-03-28 2020-03-24 Endochoice, Inc. Multi-jet controller for an endoscope
US9636003B2 (en) 2013-06-28 2017-05-02 Endochoice, Inc. Multi-jet distributor for an endoscope
CN105358043B (zh) 2013-05-07 2018-12-21 恩多巧爱思股份有限公司 与多观察元件内窥镜一起使用的白平衡外壳
US9949623B2 (en) 2013-05-17 2018-04-24 Endochoice, Inc. Endoscope control unit with braking system
US10064541B2 (en) 2013-08-12 2018-09-04 Endochoice, Inc. Endoscope connector cover detection and warning system
US9943218B2 (en) 2013-10-01 2018-04-17 Endochoice, Inc. Endoscope having a supply cable attached thereto
WO2015065084A1 (ko) * 2013-10-31 2015-05-07 주식회사 옵티메드 휴대형 검사 시스템
US9968242B2 (en) 2013-12-18 2018-05-15 Endochoice, Inc. Suction control unit for an endoscope having two working channels
WO2015112747A2 (en) 2014-01-22 2015-07-30 Endochoice, Inc. Image capture and video processing systems and methods for multiple viewing element endoscopes
WO2015112899A1 (en) * 2014-01-25 2015-07-30 Endochoice, Inc. Method and system for eliminating image motion blur in a multiple viewing elements endoscope
US9401078B2 (en) * 2014-02-26 2016-07-26 Dell Products L.P. Systems and methods for muting visual indicators in an information handling system
US9861261B2 (en) 2014-03-14 2018-01-09 Hrayr Karnig Shahinian Endoscope system and method of operation thereof
US11234581B2 (en) 2014-05-02 2022-02-01 Endochoice, Inc. Elevator for directing medical tool
WO2016014581A1 (en) 2014-07-21 2016-01-28 Endochoice, Inc. Multi-focal, multi-camera endoscope systems
EP3185744B1 (en) 2014-08-29 2024-10-23 EndoChoice, Inc. Systems and methods for varying stiffness of an endoscopic insertion tube
WO2016100173A1 (en) 2014-12-18 2016-06-23 Endochoice, Inc. System and method for processing video images generated by a multiple viewing elements endoscope
US10271713B2 (en) 2015-01-05 2019-04-30 Endochoice, Inc. Tubed manifold of a multiple viewing elements endoscope
US10376181B2 (en) 2015-02-17 2019-08-13 Endochoice, Inc. System for detecting the location of an endoscopic device during a medical procedure
US10078207B2 (en) 2015-03-18 2018-09-18 Endochoice, Inc. Systems and methods for image magnification using relative movement between an image sensor and a lens assembly
US10401611B2 (en) 2015-04-27 2019-09-03 Endochoice, Inc. Endoscope with integrated measurement of distance to objects of interest
WO2016187124A1 (en) 2015-05-17 2016-11-24 Endochoice, Inc. Endoscopic image enhancement using contrast limited adaptive histogram equalization (clahe) implemented in a processor
US20170119474A1 (en) 2015-10-28 2017-05-04 Endochoice, Inc. Device and Method for Tracking the Position of an Endoscope within a Patient's Body
CN113425225B (zh) 2015-11-24 2024-09-17 安多卓思公司 用于内窥镜的一次性空气/水阀和抽吸阀
CN109068951A (zh) 2016-02-24 2018-12-21 安多卓思公司 用于使用cmos传感器的多观察元件内窥镜的电路板组件
MX2018010350A (es) * 2016-03-01 2018-11-09 Inscope Medical Solutions Inc Laringoscopio mejorado.
US10292570B2 (en) 2016-03-14 2019-05-21 Endochoice, Inc. System and method for guiding and tracking a region of interest using an endoscope
US10993605B2 (en) 2016-06-21 2021-05-04 Endochoice, Inc. Endoscope system with multiple connection interfaces to interface with different video data signal sources
CN112839220A (zh) * 2020-12-31 2021-05-25 杭州当虹科技股份有限公司 一种对于HDR视频通过sdi sdk实现质量观测的方法

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050611B2 (en) * 2001-05-29 2006-05-23 Mevis Breastcare Gmbh Co. Kg Method and computer system for screening of medical cases
JPS6150478A (ja) 1984-08-20 1986-03-12 Fuji Photo Optical Co Ltd 内視鏡
US4774568A (en) * 1986-01-27 1988-09-27 Kabushiki Kaisha Toshiba Endoscopic apparatus
JP2557624B2 (ja) 1986-03-17 1996-11-27 株式会社 日立メディコ デイジタルデ−タ記録再生装置
JPH01147085A (ja) 1987-12-02 1989-06-08 Sumitomo Metal Ind Ltd 塗装外観性およびプレス性に優れた鋼板
JPH01282774A (ja) * 1988-05-10 1989-11-14 Hitachi Medical Corp 音声レポート記録装置及び記録媒体
JPH01297035A (ja) * 1988-05-25 1989-11-30 Olympus Optical Co Ltd 内視鏡装置
JP2940827B2 (ja) * 1988-09-07 1999-08-25 オリンパス光学工業株式会社 医療用画像ファイリング装置
US5697885A (en) * 1989-01-30 1997-12-16 Olympus Optical Co., Ltd. Endoscope for recording and displaying time-serial images
JPH0366423A (ja) 1989-08-01 1991-03-22 Toyota Auto Body Co Ltd 深絞り成形方法及びその絞りプレス型
JPH0620184Y2 (ja) * 1989-10-31 1994-05-25 スタンレー電気株式会社 操作パネル引出し装置
JPH04176435A (ja) * 1990-11-09 1992-06-24 Olympus Optical Co Ltd 内視鏡装置
DE69131681T2 (de) * 1990-11-22 2000-06-08 Kabushiki Kaisha Toshiba, Kawasaki Rechnergestütztes System zur Diagnose für medizinischen Gebrauch
US5894322A (en) 1992-01-15 1999-04-13 Olympus Optical Co., Ltd. Endoscope system with improved controller
JPH06142037A (ja) 1992-11-09 1994-05-24 Machida Endscope Co Ltd テレビ内視鏡システム
JPH06178758A (ja) * 1992-12-14 1994-06-28 Fuji Photo Optical Co Ltd 電子内視鏡の操作制御装置
WO1994023375A1 (en) 1993-03-31 1994-10-13 Luma Corporation Managing information in an endoscopy system
JPH06304133A (ja) * 1993-04-20 1994-11-01 Fukuda Denshi Co Ltd 血管内視鏡装置
JPH06338876A (ja) * 1993-05-31 1994-12-06 Toshiba Corp データ転送装置
JPH07213536A (ja) * 1994-01-31 1995-08-15 Shimadzu Corp 手術器具の位置表示装置
US5902230A (en) * 1995-02-06 1999-05-11 Asahi Kogaku Kogyo Kabushiki Kaisha Electronic endoscope system with information combined in digital output
US5788851A (en) * 1995-02-13 1998-08-04 Aksys, Ltd. User interface and method for control of medical instruments, such as dialysis machines
US6067075A (en) 1995-12-21 2000-05-23 Eastman Kodak Company Controller for medical image review station
NO302493B1 (no) * 1996-05-13 1998-03-09 Maritime Hydraulics As Glideskjöt
US5873814A (en) * 1996-07-12 1999-02-23 Adair; Edwin L. Sterile encapsulated endoscopic video monitor and method
JP3688822B2 (ja) * 1996-09-03 2005-08-31 株式会社東芝 電子カルテシステム
US6016439A (en) 1996-10-15 2000-01-18 Biosense, Inc. Method and apparatus for synthetic viewpoint imaging
JPH10248805A (ja) 1997-03-12 1998-09-22 Olympus Optical Co Ltd 画像データ記録再生システム
JP3610195B2 (ja) * 1997-07-04 2005-01-12 キヤノン株式会社 撮像装置
JPH1132986A (ja) * 1997-07-16 1999-02-09 Olympus Optical Co Ltd 内視鏡装置
US6538687B1 (en) * 1997-07-23 2003-03-25 Olympus Optical Co., Ltd. Endoscopic imaging system making it possible to detachably attach expansion unit having external expansion facility and add expansion facility for improving capability of system
JP3780071B2 (ja) * 1997-07-31 2006-05-31 オリンパス株式会社 内視鏡撮像システム
US6184922B1 (en) * 1997-07-31 2001-02-06 Olympus Optical Co., Ltd. Endoscopic imaging system in which still image-specific or motion picture-specific expansion unit can be coupled to digital video output terminal in freely uncoupled manner
US6066089A (en) * 1997-08-08 2000-05-23 Olympus Optical Co., Ltd. Portable remote visual inspection system and a case and a peripheral carriage case insert for transporting and storing a remote visual inspection system
JP4056154B2 (ja) * 1997-12-30 2008-03-05 三星電子株式会社 2次元連続映像の3次元映像変換装置及び方法並びに3次元映像の後処理方法
US6144549A (en) * 1998-03-12 2000-11-07 Dell Usa, L.P. Peripheral bay flat panel display module for computer
WO2000008585A2 (en) * 1998-08-04 2000-02-17 Contec Medical Ltd. Surgical recording and reporting system
US6278444B1 (en) * 1998-08-21 2001-08-21 Geoffrey D. Wilson Low current four-wire interface for five-wire resistive touch-screen
US6490490B1 (en) * 1998-11-09 2002-12-03 Olympus Optical Co., Ltd. Remote operation support system and method
JP2000148886A (ja) * 1998-11-12 2000-05-30 Seta Corp 医用データ処理方法、その装置および医用データ処理システム
US6626825B2 (en) * 1998-11-25 2003-09-30 Jory Tsai Medical inspection device
US6690410B1 (en) * 1999-06-09 2004-02-10 Olympus Optical Co., Ltd. Image processing unit with expandable image signal processing capability and endoscopic imaging system
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6224542B1 (en) * 1999-01-04 2001-05-01 Stryker Corporation Endoscopic camera system with non-mechanical zoom
WO2000044276A1 (en) 1999-01-31 2000-08-03 Visual Systems, Inc. Hand held scope video system with internal video processor
WO2000074052A1 (fr) 1999-05-27 2000-12-07 Matsushita Electric Industrial Co., Ltd. Appareil de reproduction d'information, support d'information et appareil d'enregistrement d'information
JP2001034355A (ja) * 1999-07-27 2001-02-09 Nanao Corp 表示装置
JP2001128098A (ja) * 1999-10-26 2001-05-11 Olympus Optical Co Ltd 医療情報記録再生装置及び医療情報再生装置
JP2001120499A (ja) * 1999-10-26 2001-05-08 Olympus Optical Co Ltd 内視鏡画像表示装置
US6411851B1 (en) * 1999-11-04 2002-06-25 Medtronic, Inc. Implantable medical device programming apparatus having an auxiliary component storage compartment
US6791601B1 (en) * 1999-11-11 2004-09-14 Stryker Corporation Multi-function image and video capture device for use in an endoscopic camera system
US6428487B1 (en) * 1999-12-17 2002-08-06 Ethicon Endo-Surgery, Inc. Surgical biopsy system with remote control for selecting an operational mode
JP4464572B2 (ja) * 2000-03-28 2010-05-19 オリンパス株式会社 内視鏡用画像記録装置及び内視鏡用画像記録方法
US6610007B2 (en) * 2000-04-03 2003-08-26 Neoguide Systems, Inc. Steerable segmented endoscope and method of insertion
JP4172898B2 (ja) * 2000-05-31 2008-10-29 Hoya株式会社 電子内視鏡装置
JP2001359039A (ja) * 2000-06-09 2001-12-26 Olympus Optical Co Ltd 画像記録装置
JP3997690B2 (ja) * 2000-06-12 2007-10-24 ソニー株式会社 光記録装置、光記録媒体残量表示方法、撮像装置及び撮像装置の光記録媒体表示方法
JP2002023650A (ja) * 2000-06-14 2002-01-23 Internatl Business Mach Corp <Ibm> 携帯型コンピュータ装置
US6561333B2 (en) * 2000-07-14 2003-05-13 Reell Precision Manufacturing Corporation Spring clutch utilizing torque slip clips
GB0020845D0 (en) * 2000-08-23 2000-10-11 Edwards Lee D Monitoring systems
US20020026093A1 (en) * 2000-08-23 2002-02-28 Kabushiki Kaisha Toshiba Endscope system
US6471649B1 (en) * 2000-11-09 2002-10-29 Koninklijke Philips Electronics N.V. Method and apparatus for storing image information in an ultrasound device
JP2002215796A (ja) * 2001-01-18 2002-08-02 Hitachi Medical Corp 診断レポート作成方法
TW548964B (en) * 2001-01-24 2003-08-21 Koninkl Philips Electronics Nv Window brightness enhancement for LCD display
JP2002232821A (ja) * 2001-02-01 2002-08-16 Canon Inc 撮像装置および制御方法
US7057639B2 (en) * 2001-02-28 2006-06-06 Eastman Kodak Company Intra-oral camera with integral display
US20020149706A1 (en) * 2001-04-13 2002-10-17 Rosen Products Llc. Retractable utility structure monitor
US7231135B2 (en) * 2001-05-18 2007-06-12 Pentax Of American, Inc. Computer-based video recording and management system for medical diagnostic equipment
US7154397B2 (en) * 2001-08-03 2006-12-26 Hill Rom Services, Inc. Patient point-of-care computer system
JP4709443B2 (ja) * 2001-08-29 2011-06-22 オリンパス株式会社 内視鏡画像ファイリングシステム
US6728599B2 (en) * 2001-09-07 2004-04-27 Computer Motion, Inc. Modularity system for computer assisted surgery
DE60104692D1 (de) * 2001-09-13 2004-09-09 St Microelectronics Srl Modulares Datenverarbeitungssystem
US8038602B2 (en) * 2001-10-19 2011-10-18 Visionscope Llc Portable imaging system employing a miniature endoscope
US6919914B2 (en) * 2001-10-24 2005-07-19 Stryker Corporation Powered optical coupler and endoscopic viewing system using same
US6582121B2 (en) * 2001-11-15 2003-06-24 Ge Medical Systems Global Technology X-ray positioner with side-mounted, independently articulated arms
US20030103324A1 (en) * 2001-12-03 2003-06-05 Gallivan Susanne M. Position adjustable display screen for portable computer devices
US6824539B2 (en) * 2002-08-02 2004-11-30 Storz Endoskop Produktions Gmbh Touchscreen controlling medical equipment from multiple manufacturers
DE102004011170B4 (de) 2004-03-08 2006-03-23 Siemens Ag Manipulationssichere Erzeugung von echten Zufallszahlen

Also Published As

Publication number Publication date
US20060050144A1 (en) 2006-03-09
AU2003274984A1 (en) 2004-04-30
WO2004025963A9 (en) 2004-06-10
EP1550311A1 (en) 2005-07-06
US20040133072A1 (en) 2004-07-08
US20060015008A1 (en) 2006-01-19
JP2005538779A (ja) 2005-12-22
CA2752652C (en) 2015-02-03
JP2012142949A (ja) 2012-07-26
CA2752652A1 (en) 2004-03-25
WO2004025963A1 (en) 2004-03-25
CA2498578A1 (en) 2004-03-25
CA2498578C (en) 2011-11-22
CA2752536C (en) 2015-01-27
EP1550311A4 (en) 2009-09-02
CA2752536A1 (en) 2004-03-25
EP1550311B1 (en) 2011-08-17
US9936862B2 (en) 2018-04-10
JP2009081857A (ja) 2009-04-16
US8992418B2 (en) 2015-03-31

Similar Documents

Publication Publication Date Title
JP5613693B2 (ja) 手術手順を実証するmpegファイルを記録するための方法
JP5347089B1 (ja) 医療情報記録装置
US6184922B1 (en) Endoscopic imaging system in which still image-specific or motion picture-specific expansion unit can be coupled to digital video output terminal in freely uncoupled manner
US8643708B1 (en) Multi-function image and video capture device for use in an endoscopic camera system
US20180092509A1 (en) Image recording device
CN103491851B (zh) 医疗信息记录装置
US20140375768A1 (en) Image recording apparatus
US20210203875A1 (en) Image recording and reproduction apparatus, image recording method, and endoscope system
KR0155895B1 (ko) 내시경 수술시스템 주변장치 및 그 제어방법
JP2005044004A (ja) 医療画像記録装置
US8379100B2 (en) Medical camera platform
JP2005230295A (ja) 内視鏡システム
JP2013141065A (ja) 撮像装置、及び制御方法
Nana et al. Surgical video—part 1: intraoperative video recording and storage
JP3327980B2 (ja) 内視鏡ファイル装置
JP2005223709A (ja) 電子機器

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140908

R150 Certificate of patent or registration of utility model

Ref document number: 5613693

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees