JP4971615B2 - 生体内でキャプチャされた画像ストリームを編集するシステムおよび方法 - Google Patents

生体内でキャプチャされた画像ストリームを編集するシステムおよび方法 Download PDF

Info

Publication number
JP4971615B2
JP4971615B2 JP2005279235A JP2005279235A JP4971615B2 JP 4971615 B2 JP4971615 B2 JP 4971615B2 JP 2005279235 A JP2005279235 A JP 2005279235A JP 2005279235 A JP2005279235 A JP 2005279235A JP 4971615 B2 JP4971615 B2 JP 4971615B2
Authority
JP
Japan
Prior art keywords
images
image
selecting
captured
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005279235A
Other languages
English (en)
Other versions
JP2006095304A5 (ja
JP2006095304A (ja
Inventor
タール・ダビドソン
マイケル・スカラ
ハガイ・クルプニク
エリー・ホーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Given Imaging Ltd
Original Assignee
Given Imaging Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Given Imaging Ltd filed Critical Given Imaging Ltd
Publication of JP2006095304A publication Critical patent/JP2006095304A/ja
Publication of JP2006095304A5 publication Critical patent/JP2006095304A5/ja
Application granted granted Critical
Publication of JP4971615B2 publication Critical patent/JP4971615B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Description

本発明は、生体内でキャプチャされた画像ストリームを編集する方法およびシステムに関する。特に、本発明は、事前に定義された基準に従って、生体内でキャプチャされた画像ストリームを編集するシステムおよび方法に関する。
たとえば医療診断のために使用され得る動画ストリームなどのムービーを見る場合に、観察者は、特定の部分またはフレームを見たいと望むことがあり、またはたとえば事前に設定された基準に従って特定のフレームだけを要約し、他のフレームをスキップする短いプレビューだけを見たいと望み得る。
たとえば、摂取可能なカプセルによって運ばれる生体内画像装置システムは、患者体内の管腔の画像をとるために使用され得る。画像装置システムは、カプセルがGI管腔を通過する間にたとえばGI管の画像をキャプチャし、外部の記録装置に送信する。こうした生体内画像処理システムは、管腔の動画または静止画がそこから見られ得るプラットフォームを提供する。見るために、多数の画像が収集され得る。たとえば、画像は、次々に結合されることができ、たとえば120分を超える長さの動画がユーザに提示され得る。
ユーザたとえば医師が全キャプチャ長のうちの短い要約を見ることを可能にし、したがって、生成された要約に基づく信頼性の高い正確な診断を可能としながら、観察する医師の大事な時間を節約することが望まれる。
本発明の例示的な一実施形態は、好ましくは摂取可能なカプセルなどの生体内画像処理装置によって生成される画像ストリームを編集するためのシステムおよび方法を提供する。ワークステーションは、たとえば動画などの画像を受け、その画像をモニタ上に表示する。ユーザは、編集されたフィルムを作成するための編集方法を選択し、作成された編集されたフィルムを見ることができる。
ストリーム編集方法は、任意の数の、所定のフレーム選択およびフレームスキップに基づく方法、あるいは出血および/または潰瘍などの知られている症状に関する所定の画像の認識に基づく方法を含み得る。
本発明によるシステムおよび方法の原理および動作は図面および以下の説明を参照してよりよく理解されることができ、こうした図面は、例示するためだけに示されており、また限定的なものでないことが理解されよう。
説明を簡潔かつ明確にするために、図中に示す要素は一定の尺度で必ずしも作られていないことが理解されよう。たとえば、一部の要素の寸法および/またはアスペクト比は、明確にするために、他の要素に対して誇張され得る。さらに、適切と見なされる場合、一連の図を通して対応するまたは類似の要素を示すために、図の中で参照番号が繰り返され得る。
以下の説明では、本発明の様々な態様について述べる。本発明についての完全な理解を提供するために、説明の目的で、特定の構成および詳細が示されている。しかし、本発明は、本明細書で提示する特定の詳細なしに実施され得ることも当業者には明らかであろう。さらに、本発明を不明瞭にしないために、よく知られている特徴は省略されまたは簡略化され得る。
他に特段の定めがない限り、以下の議論から明らかであるように、本明細書を通して「処理する」、「計算する」、「格納する」、「決定する」などの用語を使用した議論は、コンピューティングシステムのレジスタおよび/またはメモリ内の電子的な物理量として表されるデータを操作し、及び/またはコンピューティングシステムのメモリまたはレジスタ、あるいは他のこうした情報記憶装置、伝送または表示装置内の物理量として同様に表される他のデータに変換するコンピュータまたはコンピューティングシステム、あるいは類似の電子コンピューティング装置の動作および/またはプロセスに言及していることが理解されよう。
本発明の実施形態は、本明細書中の操作を実施するための装置を含み得る。こうした装置は、所望の目的のために特に構成されることができ、またはコンピュータ内に格納されたコンピュータプログラムによって選択的にアクティブ化されまたは再構成される汎用コンピュータを含み得る。こうしたコンピュータプログラムは、それだけに限らないが、フレキシブルディスク、光ディスク、CD−ROM、磁気光ディスクを含めた任意のタイプのディスク、読出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、電子的プログラマブル読出し専用メモリ(EPROM)、電子的消去可能プログラマブル読出し専用メモリ(EEPROM)、磁気または光カード、あるいは電子命令を格納するのに適しており、コンピュータシステムバスに結合されることができる他の任意のタイプの媒体など、コンピュータ読取り可能記憶媒体内に格納され得る。
本明細書で提示されるプロセスおよび表示は、任意の特定のコンピュータまたは他の装置に本質的には関連していない。様々な汎用システムが本明細書中の教示によるプログラムで使用されることができ、または所望の方法を実施するためにより特化された装置を構成することが好都合となり得る。本明細書で述べる本発明の教示を実施するために様々なプログラミング言語が使用され得ることが理解されよう。
本発明の一部の実施形態は、自律型の飲込み可能なカプセルなど、典型的には飲み込むことができる生体内装置に向けられている。他の実施形態は、飲込み可能なまたは自律型である必要はなく、また他の形状または構成を有し得る。本発明の実施形態での使用に適した画像処理、受信、処理、記憶および/または表示装置を含む、本発明の実施形態による装置は、国際出願第WO01/65995号および/または米国特許第5604531号内に記載された実施形態に類似し、それぞれが本発明の同一の譲受人に譲渡され、またそれぞれが本明細書中で参照により組み込まれる。もちろん、本明細書で述べる装置およびシステムは、他の構成、および他の構成要素の組を有し得る。
本発明の一実施形態による生体内画像処理システムの概略図を示す図1を参照する。
一部の実施形態によれば、このシステムは、たとえばカプセル40などの装置を含み得る。カプセル40は、飲込み可能なカプセルを使用して実装され得るが、他の類の装置または適切な実装が使用され得る。ある実施形態によれば、カプセル40は、データの表示、制御または他の機能を提供するために外部の受信および表示システムと通信し得る。たとえば、パワーは、内部バッテリまたは無線受信システムによって供給され得る。他の実施形態は、他の構成および能力を有し得る。
例示的な一実施形態では、このシステムは、画像をキャプチャするための画像装置46を含むカプセル40と、体の管腔を照らすための照明源42と、画像および場合により他の情報を受信装置に送信するための送信機41とを備える。たとえばレンズまたはミラーを含む光学系は、反射された光の焦点を画像装置46上に合わせるのに役立ち得る。
好ましくは、患者の体の外部の1つまたは複数の場所に、好ましくはアンテナまたはアンテナアレイと、画像受信機記憶装置16と、データプロセッサ14と、データプロセッサ記憶装置19と、特にカプセル40によって記録された画像を表示するための画像モニタ18とを含む画像受信機12が置かれる。好ましくは、画像受信機12および画像受信機記憶装置16は、小さく、携帯可能であり、また画像の記録中に患者の体に着用され得る。本発明の実施形態によれば、データプロセッサ記憶装置19は、画像データベース210と、論理編集データベース200とを含む。ある実施形態によれば、論理編集データベース200は、画像データベース内に格納されているどの選択された画像が観察者に表示されるべきかに関する規則、たとえばキャプチャされた任意の数百ものフレームのうちの1つを表示するための規則、または出血や腫瘍などの知られている症状に関する所定の画像をスキャンし選択するための規則の選択を伴う事前定義された基準を含む。
本発明の一実施形態よれば、データプロセッサ14、データプロセッサ記憶装置19およびモニタ18は、プロセッサ14、メモリ、ディスクドライブおよび入出力装置などの標準の構成要素を含むパーソナルコンピュータまたはワークステーションの一部であるが、代替の構成が可能であり、また本発明のシステムおよび方法は、適切な様々なコンピューティングシステム上で実装され得る。
データプロセッサ14は、マイクロプロセッサ、マルチプロセッサ、アクセラレータボード、あるいは他の任意のシリアルまたはパラレル高パフォーマンスデータプロセッサなど、任意の標準のデータプロセッサを含み得る。画像モニタ18は、コンピュータ画面、従来のビデオディスプレイ、あるいは画像または他のデータを提供することができる他の任意の装置であり得る。
好ましくは、画像装置46は、イスラエルのGiven Imaging Ltd.社によって指定され、また米国カリフォルニア州のPhotobit Corporation社によって設計された「カメラオンチップ」タイプのCMOS画像装置など、適切なCMOSカメラである。代替実施形態では、画像装置46は、別の装置たとえばCCDであり得る。照明源42は、たとえば1つまたは複数の発光ダイオード、または別の適切な光源であり得る。
動作において、画像装置46は画像をキャプチャし、画像を表すデータを送信機41に送信し、この送信機は、たとえば電磁無線波を使用して画像受信機12に画像を送信する。画像受信機12は、画像データを画像受信機記憶装置16に転送する。データ収集のある期間の後に、記憶装置16内に格納された画像データは、データプロセッサ14またはデータプロセッサ記憶装置19に送信される。たとえば、画像受信機記憶装置16は、患者の体から取り外され、知られている構成のシリアルまたはパラレルインターフェースなどの標準のデータリンクを介して、データプロセッサ14とデータプロセッサ記憶装置19とを含むパーソナルコンピュータまたはワークステーションに接続される。次いで、画像データは、画像受信機記憶装置16からデータプロセッサ記憶装置19内の画像データベース210に送信される。データプロセッサ14は、特に論理編集データベース200に従ってデータを分析し編集し、画像モニタ18に分析され編集されたデータを提供することができ、このモニタ上で、保健専門家が画像データを観察する。データプロセッサ14は、オペレーティングシステムおよび装置ドライバなどの基本のオペレーティングソフトウェアと連携してデータプロセッサ14の動作を制御するソフトウェアを動作させる。一実施形態によれば、データプロセッサ14を制御するソフトウェアは、C++言語、および場合により追加の言語で書かれたコードを含むが、知られている様々な方法で実装され得る。
収集され格納された画像データは、無期限に格納され、他の場所に転送され、あるいは操作されまたは分析され得る。保健専門家は、その画像を使用して、たとえばGI管(食道など)の病的状態を診断することができ、またさらに、このシステムは、こうした病状の位置に関する情報を提供し得る。データプロセッサ記憶装置19がまずデータを収集し、次いでデータプロセッサ14にデータを転送するシステムを使用する間は、画像データはリアルタイムには見られないが、他の構成はリアルタイムに見ることを可能にする。
たとえば、ある実施形態によれば、生体内装置からの生成されたデータのストリームを見ている間、観察者は、論理編集データベース200からの編集方法を使用し、論理データベース200の事前定義された基準による選択された画像だけを表示することができる。
画像モニタ18は、好ましくは静止画および動画の形の画像データを提示し、またさらに、他の情報を提示し得る。例示的な一実施形態では、こうした追加の情報は、それだけに限らないが、示されている現在の画像について経過した絶対時間、および要約情報を含み得る。示されている現在の画像について経過した絶対時間は、たとえば、カプセル40が最初にアクティブ化され、画像受信機12がカプセル40からの送信を受信し始めた瞬間と、表示されている現在の画像がキャプチャされた瞬間の間に経過した時間量であり得る。他の実施形態では、経過時間は、動画の開始から現時点までに経過した時間など、他の測定であり得る。さらなる実施形態では、経過したフレームの数などの測定が使用され得る。例示的な実施形態では、情報の様々なカテゴリがウィンドウ内に表示され得る。複数のモニタを使用して、画像および他のデータを表示することができる。
ある実施形態によれば、生体内画像装置システムは、それがGI管を横断する間に一連の静止画を収集する。画像は、たとえばGI管の横断の画像ストリームまたは動画として後に提示され得る。カプセル40がGI管を横断するのに数時間を要し得るので、生体内画像装置システムは大量のデータを収集することができ、たとえば1秒ごとに2つの画像などのレートで画像を記録し、何千もの画像の記録をもたらし得る。画像記録率(またはフレームキャプチャレート)は変っても良い。
好ましくは、カプセル40によって記録され送信される画像データはデジタルカラー画像データであるが、代替実施形態では、他の画像形式が使用され得る。例示的な一実施形態では、画像データの各フレームは、それぞれ256ピクセルの256行を含み、それぞれのピクセルが、知られている方法に従って色および輝度のためのバイトを含む。たとえば、それぞれのピクセル内で色は、4つのサブピクセルのモザイクによって表されることができ、各サブピクセルが赤、緑または青などの原色に対応する(1つの原色が2度表される場合)。ピクセル全体の明るさは、1バイト(すなわち0〜255)の輝度値によって記録される。ある実施形態によれば、画像は、データプロセッサ記憶装置19内に順次格納される。格納されたデータは、色および輝度を含めて、1つまたは複数のピクセル属性からなり得る。
好ましくは、情報収集、格納および処理は特定の装置によって実施されるが、本発明のシステムおよび方法は、代替構成で実施されることもできる。たとえば、画像情報を収集するコンポーネントは、カプセル内に含められる必要はないが、内視鏡、ステント、カテーテル、針など、人体内の管腔を横断するのに適した他の移動手段内に含められ得る。
好ましくは、データプロセッサ記憶装置19は、カプセル40によって記録される一連の画像を格納する。カプセル40が患者のGI管を進む間に記録する画像は、動画を形成するために連続して結合され得る。この動画は、モニタ18上のウィンドウ内に表示され得る。動画は、1つのフレームを表示するために凍結され、加速されまたは反転され得る。ある実施形態によれば、セクションは、論理データベース200内に格納された事前定義された基準に従って自動的にまたはユーザによってスキップされ得る。以下の議論はカプセル40からのデータが後に使用するために格納されるケースに関するが、本発明のシステムおよび方法は、画像データのリアルタイム表示を可能にするシステムで使用され得る。
例示的な一実施形態では、動画は一連の画像として画像データベース210内に格納され、論理編集方法または規則は、論理データベース200内に格納される。画像データベース210および論理データベース200は、知られている様々なやり方で実装され得る。例示的な一実施形態では画像データベース210および論理データベース200は同じ一般的な記憶装置内に格納されるが、代替実施形態では、画像データベース210および論理データベース200は別個に格納され得る。さらに、画像データベース210および論理データベース200内に格納された情報は、様々な組合せで格納されることができ、たとえば画像と論理編集規則/方法が同じデータベース内に格納され得る。好ましくは、画像データベース210内の編集された画像に対応する論理データベース200内のエントリは、画像データベース210内の画像、または画像に対応するデータベース記録へのポインタまたはデータベース参照などのリンクを含む。リンクは、たとえば画像がキャプチャされた相対時間、または画像フレーム番号を含み得る。代替実施形態では、組のまたは一連の画像が注釈内に格納され得る。さらなる実施形態では、画像データと編集データが同じデータベース内に格納され得るので、こうしたリンクは必要ない。代替実施形態では、本発明を実施するために、他の一連のステップが使用され得る。
本明細書では、「事前定義された基準」およびその派生物は、任意の種類の論理的方法/規則、たとえばパラメータに従ってフレームを選択する規則を示し得る。パラメータは、表示のために生成された100または200個の画像ごとに1つの画像を選択するなど、数値ベースであり得る。一部の実施形態によれば、パラメータは、たとえば画像の各グループから最も質的な画像を選択するなど、画像品質ベースであり得る。他の編集方法は、画像データベース210内の特定の事前定義された領域または画像の論理スキャン、たとえば画像内の色の弁別、またはデータベース内の既存画像との類似のパーセンテージに基づく内部出血の医療診断自動スキャンなど、それぞれ異なる基準に基づくことができ、それは、本願と同一の譲受人に譲渡された米国特許出願第10/097096号「METHOD AND SYSTEM FOR DETECTING COLORIMETRIC ABNORMALITIES IN VIVO」に記載されたものと類似し得、その全体が参照により組み込まれる。
本発明の一部の実施形態によれば、ユーザは、特定の必要性に従って編集方法を定義し作成し、いくつのまたはどの特定のフレームを表示するかを選択することもできる。特定の時間フレームは、たとえば食道から生成された画像を3つごとに、また胃の管腔から生成された画像を30個ごとに表示するなど、それぞれの体の部分について設定され得る。さらに、一部の実施形態によれば、たとえば疑わしい出血部分をスキャンし、スキャン結果の3フレームごとに表示するなど、複数の編集方法が組み合わせられ、使用され得る。
ある実施形態によれば、動画を表示するときに、モニタ18上で3つのウィンドウがユーザに提示される。画像ウィンドウは、動画またはその画像の静止部分を提供する。こうしたウィンドウは、画像の表示を変更し得るボタンまたは他のコントロール、たとえば停止、再生、一時停止、画像キャプチャ、ステップ、早送り、巻戻しまたは他のコントロールを含み得る。こうしたコントロールは、たとえば、マウスやトラックボールなどのポインティング装置によってアクティブ化され得る。
本発明のある実施形態によれば、ユーザは、データがストリーミングされている間に、ある編集システムから他の編集システムに切り換えることができる。切換えを知らせる/確認するメッセージウィンドウの入力が促されることができ、結果として生じる画像の領域および時間フレームが、選択された編集システムに関するすべての関連する詳細と共に表示され得る。
一部の実施形態によれば、タイムラインウィンドウは、タイムライン、動画の合計経過時間の表示を提供することができ、たとえば動画の合計経過時間、およびキャプチャ装置出力全体のうちから表示されたフレームのパーセンテージ、ならびに選択された編集方法に基づいて観察者が要約するものなど、選択された編集方法に基づく他の情報を提供することができる。ある例示的な実施形態では、タイムラインは、注釈に関連する部分について経過した時間を示す部分のタイムラインに視覚的に付けられた異なる色をもつ時間単位でラベル付けされたバーでもよい。
図2に、本発明の一実施形態による、図1のモニタ18上に表示される画像およびコントロール領域の図を示す。画像ウィンドウ300は、動画302、または動画302の静止部分を示す。コントロール304は、動画302の表示を変更することができる。編集コントロール306は、ユーザがたとえばチャート310内にリストされた使用可能な方法のリストから編集方法を選択することを可能にする。
本発明の一部の実施形態によれば、それぞれの編集方法に異なるコントロール304ボタンが割り当てられる。たとえば、疑わしい血液の指標(SBI)のスキャンに基づく方法では、ナビゲーションウィンドウが、画像の凍結、早送りおよび巻戻しオプションなどを可能にするボタンと共にポップアップ表示される。タイムラインウィンドウ314は、タイムラインまたはタイムチャート312を提供し、選択された変編集方法に基づく、タイムチャート312上の適切な相対時間に関する注釈の要約313を含む。
図3に、本発明の一実施形態による、選択された編集方法に基づいて動画を表示するためのフローチャートを示す。ステップ410で、それぞれ異なる編集方法が、生体内画像処理システムに取り入れられる。編集方法は、たとえば編集方法リストとして論理編集データベース200内に格納され得る。一部の実施形態によれば、ユーザは、出力されたムービーが画像データベース内に格納される前、こうしたムービーが格納された後、または格納されたムービーの再生中に編集方法を選択することができる。
ステップ420で、このシステムは、画像フレームのリストを受信し、それを画像データベース内に格納し得る。ステップ430で、ユーザは、編集方法リストから編集方法を選択し得る。好ましくは、ユーザは、編集方法選択画像ボタン306などのコントロールを押下して、所望の編集方法を選択する。ステップ440で、ユーザは、選択した編集方法によってもたらされる画像ストリームを見得る。本発明の一部の実施形態によれば、それぞれの方法に、編集システムの容易で効果的な使用を可能にする特定のツールウィンドウが割り当てられる。
たとえば、10フレームごとのフレームから編纂された要約ムービーを表示する編集方法では、ムービー再生、フレーム凍結、早送りおよび巻戻しオプションを可能にする特定のボタンが割り当てられる。
さらに、一部の実施形態によれば、より詳細な表示が必要な場合に、ユーザがフレーム選択および編集方法を切り換えることを可能にする編集システム選択ボタンが使用可能である。このボタンは、ユーザが容易に編集方法の間で切換えを行い、たとえば20フレームごとの要約表示から、2フレームごとを要約するより詳細なムービーに切り換えることを可能にする。したがって、ユーザは、記録された時間フレームごと、または画像化された体の部分ごとにそれぞれ異なる方法を使用することができる。ユーザは、フレームの数値選択に基づく方法と、SBIモードまたは編集ファインディングモードの間でスイッチを切り換えることもできる。
一部の実施形態によれば、ユーザは、たとえばキーボードを使用して画像のテキスト説明などの注釈情報を入力することができる。注釈は、注釈データベース内のエントリ内に格納され得る。好ましくは、画像データベース210内の注釈付きの画像に対応する注釈データベース内のエントリは、画像データベース内の画像、または画像に対応するデータベース記録へのポインタまたはデータベース参照などのリンクを含む。リンクは、たとえば画像がキャプチャされた相対時間または画像フレーム番号を含み得る。代替実施形態では、組または一連の画像が注釈内に格納され得る。
ユーザは、注釈を見て、編集することができる。典型的には、ユーザは、たとえばタイムラインウィンドウまたは注釈ウィンドウ内の注釈を示すためのポインティング装置を使用することによって最初に注釈を選択する。注釈または注釈の要約が、タイムラインまたは注釈ウィンドウ以外の領域に表示され得る。注釈の全文または表現が表示され、あるいは別の方法で表示または出力され、たとえばユーザは、たとえばポップウィンドウ内でテキストを読みまたは編集することができる。ユーザは、注釈内に含まれる画像または画像の組の拡大表示を見ることができる。注釈が1組の画像を含む場合には、ユーザは、1組の画像を動画として見ることができる。一部の実施形態によれば、注釈に基づく画像ストリームが作成され得る。好ましくは、画像データベース210内の注釈付きの画像に対応する注釈データベース内のエントリは、画像データベース内の画像、および/または画像に対応する論理編集データベース200記録へのポインタまたはデータベース参照などのリンクを含む。
本発明の諸実施形態についての上記説明は、図示し、説明するために提示されている。それは、網羅的なものではなく、または開示した詳細な形式に本発明を限定するものではない。上記の教示に鑑みて、多くの修正、変形、代替、変更および均等なものが可能であることを当業者には理解されたい。したがって、添付の特許請求の範囲は、本発明の真の精神の範囲内に含まれるすべてのこうした修正および変更を網羅するものであることを理解されたい。
本発明の一実施形態による生体内画像処理システムの概略図である。 本発明の一実施形態による、図1のモニタ上に表示された画像、ならびに1組のステアリングおよび編集ツールを示す図である。 本発明の一実施形態による、選択された論理編集方法に従って、編集された動画を表示するためのフローチャートである。
符号の説明
12 画像受信機
14 データプロセッサ
16 画像受信機記憶装置
18 画像モニタ
19 データプロセッサ記憶装置
40 カプセル
41 送信機
42 照明源
46 画像装置
200 論理編集データベース
210 画像データベース
300 画像ウィンドウ
302 動画
304 コントロール
306 編集コントロール
310 チャート
312 タイムチャート
313 要約
314 タイムラインウィンドウ

Claims (12)

  1. 生体内でキャプチャされた1組の画像から要約動画ストリームを生成する方法であって、
    体の管腔内に配置された摂取可能な生体内装置によってキャプチャされた1組の画像をデータプロセッサに転送し、
    1組の画像の動画ストリームを生成し、
    1組の画像のうちの複数の画像のサブセット内で所定の数の連続した画像の各グループから1つの画像を選択することにより、キャプチャされた画像の組から画像のサブセットを表示するために自動的に選択し、少なくとも2つの異なる生体領域内でキャプチャされた画像を選択するために異なる所定の数が使用され、選択は、表示のために症状に関する画像を選択すること、表示のために既存の画像との類似を有する画像を選択すること、色の弁別の基準に基づいて画像を選択すること、注釈ベースの基準に基づいて画像を選択すること、および画像品質に基づいて画像を選択することからなるグループから選択された編集方法に基づいており、および
    選択された画像のサブセットを、1組の画像の動画ストリームを要約する要約動画ストリームとして、モニタ上に表示すること
    を含む、方法。
  2. 装置がカプセルである、請求項1に記載の方法。
  3. 画像が胃腸管内でキャプチャされた画像である、請求項1に記載の方法。
  4. 編集方法がユーザによって選択される、請求項1に記載の方法。
  5. 要約動画ストリームを観察するための編集方法を格納するシステムであって、
    体の管腔内に配置された摂取可能な生体内装置によってキャプチャされた1組の画像と、1組の画像から生成された動画ストリームを受けることができる画像記憶メモリと、
    1組の画像のうちの複数の画像のサブセット内で所定の数の連続した画像の各グループから1つの画像を選択することにより、キャプチャされた画像の組から画像のサブセットを表示するために自動的に選択するための編集方法のグループを格納することができる編集メモリであって、少なくとも2つの異なる生体領域内でキャプチャされた画像を選択するために異なる所定の数が使用され、選択は、表示のために症状に関する画像を選択すること、表示のために既存の画像との類似を有する画像を選択すること、色の弁別の基準に基づいて画像を選択すること、および画像品質に基づいて画像を選択することからなるグループから選択された編集方法に基づいている、前記編集メモリと、
    選択された画像のサブセットを、1組の画像の動画ストリームを要約する要約動画ストリームとして表示するためのディスプレイと
    を備える、システム。
  6. 生体内装置が飲込み可能なカプセルである、請求項5に記載のシステム。
  7. 画像が胃腸管内でキャプチャされた画像である、請求項5に記載のシステム。
  8. 編集方法がユーザによって選択される、請求項5に記載のシステム。
  9. 生体内でキャプチャされた1組の画像から要約動画ストリームを生成するシステムであって、
    体の管腔内に配置された場合に1組の画像をキャプチャするように構成された摂取可能な生体内装置と、
    生体内装置によりキャプチャされた1組の画像を受信し、1組の画像の動画ストリームを生成し、1組の画像のうちの複数の画像のサブセット内で所定の数の連続した画像の各グループから1つの画像を選択することによってキャプチャされた画像の組から画像のサブセットを表示するために自動的に選択するデータプロセッサであって、少なくとも2つの異なる生体領域内でキャプチャされた画像を選択するために異なる所定の数が使用され、選択は、表示のために症状に関する画像を選択すること、表示のために既存の画像との類似を有する画像を選択すること、色の弁別の基準に基づいて画像を選択すること、注釈ベースの基準に基づいて画像を選択すること、および画像品質に基づいて画像を選択することからなるグループから選択された編集方法に基づいている、前記データプロセッサと、
    選択された画像のサブセットを、1組の画像の動画ストリームを要約する要約動画ストリームとして表示するためのディスプレイと
    を備える、システム。
  10. 生体内装置がカプセルである、請求項9に記載のシステム。
  11. 画像が胃腸管内でキャプチャされた画像である、請求項9に記載のシステム。
  12. 編集方法がユーザによって選択される、請求項9に記載のシステム。
JP2005279235A 2004-09-27 2005-09-27 生体内でキャプチャされた画像ストリームを編集するシステムおよび方法 Active JP4971615B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/949,220 US7986337B2 (en) 2004-09-27 2004-09-27 System and method for editing an image stream captured in vivo
US949220 2004-09-27

Publications (3)

Publication Number Publication Date
JP2006095304A JP2006095304A (ja) 2006-04-13
JP2006095304A5 JP2006095304A5 (ja) 2010-06-17
JP4971615B2 true JP4971615B2 (ja) 2012-07-11

Family

ID=36126443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005279235A Active JP4971615B2 (ja) 2004-09-27 2005-09-27 生体内でキャプチャされた画像ストリームを編集するシステムおよび方法

Country Status (5)

Country Link
US (2) US7986337B2 (ja)
JP (1) JP4971615B2 (ja)
CN (1) CN1798334B (ja)
AU (1) AU2005214199B8 (ja)
IL (1) IL171082A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210209729A1 (en) * 2020-01-08 2021-07-08 Carvana, LLC Systems and Methods for Generating a Virtual Display of an Item

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8169472B2 (en) * 2005-08-22 2012-05-01 Olympus Corporation Image display apparatus with interactive database
US20090027486A1 (en) * 2005-08-22 2009-01-29 Katsumi Hirakawa Image display apparatus
US20070197873A1 (en) * 2006-02-21 2007-08-23 Karl Storz Gmbh & Co. Kg Wireless optical endoscopic device
DE602007010433D1 (de) * 2006-03-13 2010-12-23 Given Imaging Ltd Kaskadenanalyse zur darmkontraktionsdetektion
US8900124B2 (en) * 2006-08-03 2014-12-02 Olympus Medical Systems Corp. Image display device
WO2008030482A2 (en) * 2006-09-06 2008-03-13 Innurvation Inc System and method for acoustic information exchange involving an ingestible low power capsule
EP2063780B1 (en) * 2006-09-06 2018-04-11 Innurvation, Inc. Imaging and locating systems and methods for a swallowable sensor device
US8588887B2 (en) 2006-09-06 2013-11-19 Innurvation, Inc. Ingestible low power sensor device and system for communicating with same
US9197470B2 (en) * 2007-10-05 2015-11-24 Innurvation, Inc. Data transmission via multi-path channels using orthogonal multi-frequency signals with differential phase shift keying modulation
US8529441B2 (en) 2008-02-12 2013-09-10 Innurvation, Inc. Ingestible endoscopic optical scanning device
US20100016662A1 (en) * 2008-02-21 2010-01-21 Innurvation, Inc. Radial Scanner Imaging System
JP5374078B2 (ja) * 2008-06-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2010005571A2 (en) * 2008-07-09 2010-01-14 Innurvation, Inc. Displaying image data from a scanner capsule
US20100046816A1 (en) * 2008-08-19 2010-02-25 Igual-Munoz Laura Method for automatic classification of in vivo images
KR100984395B1 (ko) 2008-11-03 2010-09-29 인하대학교 산학협력단 영상 특성 분석을 통한 캡슐 내시경 영상 처리 방법
US9192353B2 (en) * 2009-10-27 2015-11-24 Innurvation, Inc. Data transmission via wide band acoustic channels
US8446465B2 (en) * 2010-01-05 2013-05-21 Given Imaging Ltd. System and method for displaying an image stream captured in-vivo
US20110169931A1 (en) * 2010-01-12 2011-07-14 Amit Pascal In-vivo imaging device with double field of view and method for use
US8682142B1 (en) 2010-03-18 2014-03-25 Given Imaging Ltd. System and method for editing an image stream captured in-vivo
US8647259B2 (en) 2010-03-26 2014-02-11 Innurvation, Inc. Ultrasound scanning capsule endoscope (USCE)
US9691430B2 (en) * 2010-04-01 2017-06-27 Microsoft Technology Licensing, Llc Opportunistic frame caching
US9060673B2 (en) 2010-04-28 2015-06-23 Given Imaging Ltd. System and method for displaying portions of in-vivo images
US8768024B1 (en) 2010-06-01 2014-07-01 Given Imaging Ltd. System and method for real time detection of villi texture in an image stream of the gastrointestinal tract
US8873816B1 (en) 2011-04-06 2014-10-28 Given Imaging Ltd. Method and system for identification of red colored pathologies in vivo
US20130050747A1 (en) * 2011-08-31 2013-02-28 Ronald Steven Cok Automated photo-product specification method
US8861783B1 (en) 2011-12-30 2014-10-14 Given Imaging Ltd. System and method for detection of content in an image stream of the gastrointestinal tract
EP2810216B1 (en) * 2012-01-31 2017-11-15 Given Imaging Ltd. System and method for displaying motility events in an in vivo image stream
WO2013164826A1 (en) 2012-05-04 2013-11-07 Given Imaging Ltd. System and method for automatic navigation of a capsule based on image stream captured in-vivo
US8917943B2 (en) 2012-05-11 2014-12-23 Intellectual Ventures Fund 83 Llc Determining image-based product from digital image collection
EP2868100B1 (en) 2012-06-29 2019-01-30 Given Imaging Ltd. System and method for displaying an image stream
JP2014042654A (ja) * 2012-08-27 2014-03-13 Fujifilm Corp サーバー装置、クライアント装置、医療画像処理システム、医療画像処理方法、及びプログラム
US9854958B1 (en) * 2013-03-23 2018-01-02 Garini Technologies Corporation System and method for automatic processing of images from an autonomous endoscopic capsule
US9324145B1 (en) 2013-08-08 2016-04-26 Given Imaging Ltd. System and method for detection of transitions in an image stream of the gastrointestinal tract
US9430706B1 (en) 2013-10-02 2016-08-30 Given Imaging Ltd. System and method for detection of in-vivo pathology sequences
EP3140782A4 (en) 2014-05-09 2017-04-26 Given Imaging Ltd. System and method for sequential image analysis of an in vivo image stream
US10248756B2 (en) * 2015-02-18 2019-04-02 Siemens Healthcare Gmbh Anatomically specific movie driven medical image review
EP3811845A4 (en) 2018-06-22 2022-03-16 AI Medical Service Inc. METHOD OF ASSISTING A DISEASE DIAGNOSIS BASED ON AN ENDOSCOPE IMAGE OF THE DIGESTIVE ORGAN, DIAGNOSIS SUPPORT SYSTEM, DIAGNOSIS SUPPORT PROGRAM AND COMPUTER READABLE RECORDING MEDIUM WITH THE DIAGNOSIS SUPPORT PROGRAM STORED THEREON
CN113164010A (zh) 2018-11-21 2021-07-23 株式会社Ai医疗服务 利用消化器官的内窥镜影像的疾病的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CS175782B1 (ja) 1974-10-16 1977-05-31
JPS5697872A (en) 1980-01-07 1981-08-06 Fuji Photo Film Co Ltd Measuring material for concentration of hemoglobin in blood
US4698664A (en) 1985-03-04 1987-10-06 Apert-Herzog Corporation Audio-visual monitoring system
JPH0684970B2 (ja) 1987-03-31 1994-10-26 株式会社京都医科学研究所 糞便中の潜血検出方法
US4907095A (en) 1987-04-16 1990-03-06 Fuji Photo Film Co., Ltd. Still image trimming apparatus
US5697885A (en) 1989-01-30 1997-12-16 Olympus Optical Co., Ltd. Endoscope for recording and displaying time-serial images
JPH04357927A (ja) * 1991-01-14 1992-12-10 Olympus Optical Co Ltd 画像表示装置
DE69227545T2 (de) 1991-07-12 1999-04-29 Mark R Robinson Oximeter zur zuverlässigen klinischen Bestimmung der Blutsauerstoffsättigung in einem Fötus
JP3237900B2 (ja) 1992-06-19 2001-12-10 株式会社東芝 画像表示システム
JPH0638219A (ja) 1992-07-20 1994-02-10 Olympus Optical Co Ltd 映像表示装置
EP0596651A1 (en) 1992-11-02 1994-05-11 National Semiconductor Corporation Network for data communication with isochronous capability
IL108352A (en) * 1994-01-17 2000-02-29 Given Imaging Ltd In vivo video camera system
US5880777A (en) 1996-04-15 1999-03-09 Massachusetts Institute Of Technology Low-light-level imaging and image processing
JP3250467B2 (ja) * 1996-10-04 2002-01-28 松下電器産業株式会社 映像要約方法および映像表示方法
GB9802415D0 (en) 1998-02-05 1998-04-01 Danmere Limited Storage tape control system
JP2000047651A (ja) 1998-07-29 2000-02-18 Mitsubishi Electric Corp 映像再生装置
US6757412B1 (en) * 1998-10-21 2004-06-29 Computerzied Thermal Imaging, Inc. System and method for helping to determine the condition of tissue
US6504990B1 (en) 1998-11-12 2003-01-07 Max Abecassis Randomly and continuously playing fragments of a video segment
US6408128B1 (en) 1998-11-12 2002-06-18 Max Abecassis Replaying with supplementary information a segment of a video
US6791601B1 (en) * 1999-11-11 2004-09-14 Stryker Corporation Multi-function image and video capture device for use in an endoscopic camera system
JP2001209785A (ja) 1999-11-19 2001-08-03 Fujitsu Ltd 画像処理装置、画像処理方法、および画像処理プログラム記憶媒体
US6976229B1 (en) 1999-12-16 2005-12-13 Ricoh Co., Ltd. Method and apparatus for storytelling with digital photographs
DE20122489U1 (de) * 2000-03-08 2005-12-15 Given Imaging Ltd. Vorrichtung und System für In-Vivo-Bildgebung
US6709387B1 (en) 2000-05-15 2004-03-23 Given Imaging Ltd. System and method for controlling in vivo camera capture and display rate
US7260777B2 (en) * 2001-08-17 2007-08-21 Desknet Inc. Apparatus, method and system for transforming data
EP1372474B1 (en) 2001-03-14 2011-05-11 Given Imaging Ltd. Method and system for detecting colorimetric abnormalities
US6697123B2 (en) 2001-03-30 2004-02-24 Koninklijke Philips Electronics N.V. Adaptive picture-in-picture
IL143260A (en) 2001-05-20 2006-09-05 Given Imaging Ltd Array and method for locating an intra-body signal source
US7272657B2 (en) 2001-07-30 2007-09-18 Digeo, Inc. System and method for displaying video streams ranked by user-specified criteria
US20030086596A1 (en) 2001-11-07 2003-05-08 Medical Metrics, Inc. Method, computer software, and system for tracking, stabilizing, and reporting motion between vertebrae
US20030174208A1 (en) 2001-12-18 2003-09-18 Arkady Glukhovsky Device, system and method for capturing in-vivo images with three-dimensional aspects
US8022980B2 (en) 2002-02-12 2011-09-20 Given Imaging Ltd. System and method for displaying an image stream
US7474327B2 (en) 2002-02-12 2009-01-06 Given Imaging Ltd. System and method for displaying an image stream
DE60315953T2 (de) * 2002-02-12 2008-05-21 Given Imaging Ltd. System und verfahren zur anzeige eines bildstroms
JP4328125B2 (ja) * 2003-04-25 2009-09-09 オリンパス株式会社 カプセル型内視鏡装置およびカプセル型内視鏡システム
JP3810381B2 (ja) * 2003-04-25 2006-08-16 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
US7935055B2 (en) * 2003-09-19 2011-05-03 Siemens Medical Solutions Usa, Inc. System and method of measuring disease severity of a patient before, during and after treatment
US7319781B2 (en) * 2003-10-06 2008-01-15 Carestream Health, Inc. Method and system for multiple passes diagnostic alignment for in vivo images
GB0426208D0 (en) * 2004-11-30 2004-12-29 Abacus Holdings Ltd Improved hinge mechanism

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210209729A1 (en) * 2020-01-08 2021-07-08 Carvana, LLC Systems and Methods for Generating a Virtual Display of an Item
US11748844B2 (en) * 2020-01-08 2023-09-05 Carvana, LLC Systems and methods for generating a virtual display of an item
US20230410252A1 (en) * 2020-01-08 2023-12-21 Carvana, LLC Systems and methods for generating a virtual display of an item

Also Published As

Publication number Publication date
US8743191B2 (en) 2014-06-03
AU2005214199B8 (en) 2011-09-29
IL171082A (en) 2012-04-30
US20110243523A1 (en) 2011-10-06
US7986337B2 (en) 2011-07-26
AU2005214199A1 (en) 2006-04-13
JP2006095304A (ja) 2006-04-13
CN1798334A (zh) 2006-07-05
AU2005214199A8 (en) 2011-09-29
AU2005214199B2 (en) 2011-06-09
US20060074275A1 (en) 2006-04-06
CN1798334B (zh) 2010-05-05

Similar Documents

Publication Publication Date Title
JP4971615B2 (ja) 生体内でキャプチャされた画像ストリームを編集するシステムおよび方法
US7119814B2 (en) System and method for annotation on a moving image
JP5227496B2 (ja) 生体内画像表示システム及びその作動方法
JP4234605B2 (ja) 画像ストリームを表示するためのシステムおよび方法
EP1699530B1 (en) System and method for displaying an image stream
US8446465B2 (en) System and method for displaying an image stream captured in-vivo
KR100868339B1 (ko) 의료용 영상 데이터의 디스플레이 방법과 의료용 영상데이터를 이용한 캡쳐 영상 제공 시스템 및 그 방법
US20090023993A1 (en) System and method for combined display of medical devices
WO2002045567A2 (en) Method and system for use of a pointing device with moving images
Ambor et al. System and method for displaying an image stream captured in-vivo
EP1770570A2 (en) System and method for identification of images in an image database
US20070066875A1 (en) System and method for identification of images in an image database
WO2007077554A2 (en) System and method for displaying an image stream
EP1853066B1 (en) System and method for displaying an image stream

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110512

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110809

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120406

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4971615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250