JP5227496B2 - 生体内画像表示システム及びその作動方法 - Google Patents

Description

この発明は、画像ストリームを表示および／または検討するための生体内画像表示システム及びその作動方法に関する。より特定的に、この発明は、生体内の画像ストリームを効果的に表示するための生体内画像表示システム及びその作動方法に関する。

発明の背景
一連の静止画像から１つの画像ストリームを集成してユーザに表示することができる。これらの画像は、さまざまなソース、たとえば、複数の撮像器を備えた生体内システムから作成または収集され得る。

一実施例によると、別個の各撮像器は、胃腸（ＧＩ）管等の内腔の画像を取込むことができ、送信機は、カプセルが内腔を通過する間にこれらの画像を外部の記録装置に送信することができる。各撮像器により、観察用に多数の画像が収集され得、たとえばシーケンシャルに組合され得る。１つの画像ストリームは、たとえば長さが４０分であり、かつ、たとえば約４，８００個のフレームを含んでおり、検討のためユーザに提示され得る。他のフレーム数または長さを用いてよい。

実施例によっては、画像ストリームから１つまたはいくつかの画像が欠如していることがあり得る。このことは、たとえばカプセルの角度および／または動きにより或る瞬間に作動していないおそれがあるか、または誤動作を生じているおそれのある生体内システム内の１つ以上の構成要素、たとえば撮像器に起因することが考えられる。加えて、誤動作は、たとえば記録装置が画像の記録を行なえないこと、または不明瞭な画像がデータの選別および選択中に除外されることに起因し得る。画像の欠損により、或る時間量にわたって記録による裏付けが得られない空きが生じるおそれがあり、結果的に得られる画像ストリームは、整合性および／または一貫性のないものになり得る。

したがって、撮像されている体の部分の正確な描写として働き得るシステムおよび方法が必要とされる。

この発明の例示的な一実施例は、複数の画像ストリームを表示するための生体内画像表示システムおよびその作動方法を提供する。これらの画像ストリームは、好ましくは、２つ以上の撮像器を含み得る摂取可能なカプセル等の生体内撮像装置により生成され、この摂取可能なカプセルは、たとえば、本願と共通の譲受人に譲渡されかつこの明細書において引用により援用される、「体内腔を広視野で撮像するためのシステムおよび方法（SYSTEM AND METHOD FOR WIDE FIELD IMAGING OF BODY LUMENS）と題された、メロン（Meron）他への米国特許連続番号第１０／０４１，５４１号に記載されている。ワークステーションは各撮像器から画像を受取り、画像ストリームとしてこれらの画像を表示することができ、各画像ストリームは、複数の画像ウインドウを含み得るモニタ上に、各画像ストリームにつき１ウィンドウの割合で実質的に同時に表示され、それにより、異なる撮像器からの画像ストリームを実質的に同時に検討することができる。

いくつかの実施例に従い、１つの画像が除外されたかまたは飛んでいる場合に、計算された中断および飛びのプロセスがストリーム内に生じて、ユーザによる結果の観察が正しい順序でかつ整合性の取れた態様で行なわれ得るようにする、画像ストリームの同期を維持することができる。

この発明は、図面とともに読まれると、以下の詳細な説明からより十分に理解および認識されるであろう。

発明の詳細な説明
以下の説明では、この発明のさまざまな局面を説明する。説明のために特定の構成および詳細を明示して、この発明の完全な理解を図っているが、この明細書に提示する特定の詳細を用いずにこの発明を実施し得ることもまた、当業者には明らかであろう。さらに、この発明を不明瞭にしないように、周知の特徴を省略または簡略化している場合がある。

特に述べていない限り、以下の説明から明らかなように、「処理」、「コンピュータ処理」、「記憶」、「判定」等の用語を用いる説明が、明細書の全体にわたり、コンピュータもしくはコンピュータシステム、または同様の電子コンピュータ装置の動作および／または処理を指しており、コンピュータもしくはコンピュータシステム、または同様の電子コンピュータ装置が、コンピュータシステムのレジスタおよび／またはメモリ内の電子的な量等の物理量として表わされるデータを、コンピュータシステムのメモリ、レジスタ、もしくは他のこのような情報記憶装置、または伝送装置もしくは表示装置内の物理量として同様に表わされる他のデータに加工および／または変形することが認識される。

この発明の実施例は、この明細書における動作を実行するための装置を含み得る。このような装置は、所望の目的のために特別に構築され得るか、または、コンピュータ内に記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータを含み得る。このようなコンピュータプログラムは、たとえば以下のものに限定されないが、フロッピー（登録商標）ディスク、光学ディスク、ＣＤ−ＲＯＭ、磁気−光学ディスクを含む任意の種類のディスク、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電気的プログラム可能読出専用メモリ（ＥＰＲＯＭ）、電気的消去可能・プログラム可能読出専用メモリ（ＥＥＰＲＯＭ）、磁気もしくは光学カード、または、電子命令を記憶するのに適し、かつ、コンピュータシステムバスに結合され得る他の任意の種類の媒体等のコンピュータ読取可能な記憶媒体に記憶され得る。

この明細書に提示されるプロセスおよび表示装置は、どのような特定のコンピュータまたは他の装置にも本質的に関連しない。この明細書の教示内容に従ってさまざまな汎用システムを使用することができ、または、一層特化された装置を構築して所望の方法を実施することが便利であると判明し得る。さまざまなプログラミング言語を用いて、この明細書に記載する発明の教示内容を実現できることが認識されるであろう。

この発明のいくつかの実施例は、典型的な嚥下可能な生体内装置、たとえば自律型の嚥下可能なカプセルに向けられる。他の実施例は嚥下可能または自律型である必要はなく、他の形状または構成を有してよい。この発明の実施例に従った装置は、この発明の実施例と併用するのに適した撮像ユニット、受信ユニット、処理ユニット、記憶ユニット、および／または表示ユニットを含み、その各々が本発明の共通の譲受人に譲渡され、かつ、その各々が引用によってここに援用される国際出願ＷＯ ０１／６５９９５および／または米国特許第５，６０４，５３１号に記載される実施例と同様のものであり得る。当然ながら、この明細書に記載する装置およびシステムは、他の構成および他の構成要素の組を含んでよい。

図１を参照する。図１は、この発明の一実施例に従った生体内撮像システムの概略図を示す。

この発明のいくつかの実施例に従い、このシステムは、カプセル等の生体内装置４０を含み得る。

装置４０は一般に、自律型の嚥下可能なカプセルであり得るか、またはこのようなカプセルを含み得る。しかしながら、装置４０は他の形状を有してよく、嚥下可能または自律型である必要はない。装置４０の実施例は一般に自律型であり、一般に内蔵型である。たとえば、装置４０は、カプセルまたは他のユニットであり得、ここでは、すべての構成要素が容器またはケース内に実質的に収容されており、装置４０は、たとえば受電または情報の伝送を行なうためのワイヤまたはケーブルを何ら必要としない。一実施例に従い、装置４０は、外部の受信および表示システムと通信して、データの表示、制御、または他の機能を提供することができる。たとえば、電力は、内部電池または無線受電システムにより提供され得る。他の実施例は、他の構成および機能を有し得る。例示的な一実施例において、このシステムは、画像を取込むための複数の撮像器４６、４６′、および４６″と、体内腔を照明するための照明源４２と、画像および可能性として他の情報を受信装置に送信するための送信機４１とを有する装置４０を含み得る。たとえばレンズまたは鏡を含む光学系が、たとえば撮像器４６、４６′、および４６″上への反射光の集束を補助し得る。

この発明のいくつかの実施例に従い、送信機４１は、たとえば装置４０のさまざまな動作を制御するための制御機能を含み得るが、制御機能または制御の１つ以上の局面が別個の構成要素内に含まれてよい。送信機４１は一般に、特定用途向け集積回路（ＡＳＩＣ）であるが、他の構造を有してよく、たとえば送信機４１は、命令を実行するプロセッサであり得る。装置４０は、たとえば命令を収容または処理することのできる、送信機４１とは別個の処理ユニットを含み得る。

この発明の一実施例において、このシステムは、１つの撮像器４６と、１つの送信機４１と、複数の光学経路とを含み得る。この実施例では、１つの撮像器上に複数の狭視野の画像が得られ、これらの画像はその後、これらの狭視野の画像のどのようなものよりも広い角度視野を有する１つの画像に組合される。

この発明の別の実施例において、このシステムは、複数の撮像器、たとえば撮像器４６、４６′、および４６″と、単一の送信チャネルまたは多重チャネルで送信を行なう少なくとも１つの送信機４１とを含み得る。この実施例において、撮像器は、体内腔の異なる部分の画像を取込むように位置付けられ得る。異なる撮像器によって取込まれた画像を組合せた画像は、個々に撮像された部分のすべてを示すことができ、それによって広い視野をカバーする。

この発明のさらに別の実施例において、このシステムは、複数の撮像器、たとえば各々が光学経路を有する撮像器４６、４６′、および４６″を含み得、各撮像器およびその光学経路は、隣接する撮像器から隔てられる。この実施例では、撮像器の動作間の干渉が大いに減少する。

好ましくは、患者の体外の１つ以上の場所に、画像受信機１２が配置される。画像受信機１２は、好ましくは、アンテナまたはアンテナアレイと、画像受信機記憶ユニット１６と、データプロセッサ１４と、データプロセッサ記憶ユニット１９と、特に装置４０が記録した画像を表示するための画像モニタ１８とを含む。一実施例によると、画像受信機１
２および画像受信機記憶ユニット１６は、小型であって可搬であり、画像の記録中に患者の体に装着される。この発明の実施例に従い、データプロセッサ記憶ユニット１９は、画像データベース２１を含む。

この発明の一実施例に従い、データプロセッサ１４、データプロセッサ記憶ユニット１９、およびモニタ１８は、プロセッサ１４、メモリ、ディスクドライブ、および入出力装置等の標準的な構成要素を含むパーソナルコンピュータまたはワークステーションの一部であるが、代替的な構成が可能であり、この発明のシステムおよび方法は、種々の適切なコンピュータシステム上で実現され得る。

データプロセッサ１４は、マイクロプロセッサ、マルチプロセッサ、アクセラレータボード、または他の任意のシリアルもしくはパラレルな高性能データプロセッサ等の任意の標準的なデータプロセッサを含み得る。画像モニタ１８は、コンピュータ画面、従来のビデオ表示装置、または画像もしくは他のデータを提供することのできる他の任意の装置であり得る。

好ましくは、撮像器４６等の撮像器は、適切なＣＭＯＳカメラ、たとえば、イスラエル（Israel）のギブン・イメージング・リミテツド（Given Imaging Ltd.）により規定されて、米国（ＵＳＡ）カリフォルニア（California）のフォトビット・コーポレイション（Photobit Corporation）により設計された「カメラオンチップ」タイプのＣＭＯＳ撮像器である。代替的な実施例において、撮像器４６は、別の装置、たとえばＣＣＤであってよい。照明源４２は、たとえば１つ以上の発光ダイオード、または別の適切な光源であってよい。

動作時に、撮像器４６および／または撮像器４６′および／または撮像器４６″は、画像を取込み、それらの画像を表わすデータを送信機４１に送信する。送信機４１は、たとえば電磁波を用いて画像受信機１２に画像を送信する。画像受信機１２は、画像データを画像受信機記憶ユニット１６に転送する。データ収集の或る一定期間の後に、記憶ユニット１６に記憶された画像データは、データプロセッサ１４またはデータプロセッサ記憶ユニット１９に送信される。たとえば、画像受信機記憶ユニット１６は、患者の体から取外され得、標準データリンク、たとえば公知の構成を有するシリアルインターフェイスまたはパラレルインターフェイスを介して、データプロセッサ１４およびデータプロセッサ記憶ユニット１９を含むパーソナルコンピュータまたはワークステーションに接続され得る。そして、この画像データは、画像受信機記憶ユニット１６から、データプロセッサ記憶ユニット１９内の画像データベース２１に転送される。データプロセッサ１４は、データの解析および編集を行なうことができ、解析したデータを画像モニタ１８に提供する。保健の専門家は、画像モニタ１８において画像データを観察する。データプロセッサ１４は、オペレーティングシステムおよび装置ドライバ等の基本的なオペレーティングソフトウェアとともにデータプロセッサ１４の動作を制御するソフトウェアを作動させる。一実施例によると、データプロセッサ１４を制御するソフトウェアは、Ｃ＋＋言語、および可能性としてさらに別の言語で記入されたコードを含むが、さまざまな公知の方法で実現されていてよい。

収集されて記憶された画像データは、無期限に記憶され得るか、他の場所に転送され得るか、加工され得るか、または解析され得る。保健の専門家は、これらの画像を用いてたとえばＧＩ管（食道等）の病理学的状態を診断することができ、加えて、このシステムは、これらの病変の位置についての情報を提供することができる。データプロセッサ記憶ユニット１９がまずデータを収集してからそのデータをデータプロセッサ１４に転送しており、画像データがリアルタイムで観察されないシステムを使用しているが、他の構成ではリアルタイムの観察が可能である。

画像モニタ１８は、好ましくは静止画および動画の形を取った画像データを提示し、加えて、他の情報を提示することができる。一実施例によると、生体内装置４０は、ＧＩ管を通過するのに伴って一連の静止画像を収集することができる。画像は、ＧＩ管の通過経路の画像ストリームまたは動画像として後に提示され得る。生体内撮像器システムは、装置４０がＧＩ管を通過するのに数時間要し得ることから大量のデータを収集することができ、たとえば毎秒２画像という速度で画像を記録することができ、結果的に数千枚の画像を記録する。この画像記録速度（またはフレーム取込速度）は変更されてよい。

好ましくは、装置４０により記録および送信される画像データは、デジタルのカラー画像データであるが、代替的な実施例では他の画像のフォーマットを用いてよい。例示的な一実施例において、画像データの各フレームは、各々が２５６個の画素からなる２５６本の行を含み、各画素は、公知の方法に従い、色および輝度用のバイトを含む。たとえば、各画素において、色は、４個のサブ画素のモザイクによって表わされ得、各サブ画素は、赤、緑、または青等の原色に対応する（ここでは１つの原色が二度表示される）。画素全体の輝度が１バイト（すなわち０〜２５５）の輝度値により記録される。一実施例によると、画像は、データプロセッサ記憶ユニット１９内にシーケンシャルに記憶される。記憶されたデータは、色および輝度を含む１つ以上の画素の特性を含み得る。

或るユニットによって情報の収集、記憶、および処理が実施されているが、この発明のシステムおよび方法を代替的な構成で実現することができる。たとえば、画像情報を収集する構成要素は、カプセル内に収容される必要はなく、人体内部の内腔を撮像するのに適した他の任意の機器、たとえば内視鏡、ステント、カテーテル、針等内に収容されてよい。

好ましくは、データプロセッサ記憶ユニット１９は、装置４０により記録される一連の画像を記憶する。装置４０が患者のＧＩ管を通って移動するのに伴って記録する画像は、連続的に組合されて、画像ストリームとして表示可能な一連の画像が形成され得る。この動画像は、モニタ１８上のウインドウに表示され得る。

ユーザが画像ストリームを観察する際に、ユーザには一般に、モニタ１８上に１つ以上のウインドウが提示されるが、代替的な実施例では、複数のウインドウが使用される必要はなく、画像ストリームのみが表示される。たとえば複数のウインドウが設けられる一実施例において、画像のウインドウは、画像ストリームか、または、その画像の静止部分を提供することができる。別のウインドウは、画像の表示を変更することのできるボタンまたは他の制御を含み得、たとえば、停止、再生、一時停止、画像の取込、コマ送り（step）、早送り、巻戻し、または他の制御を含み得る。このような制御は、たとえば、マウスまたはトラックボール等の位置決め装置により作動させることができる。一般に、画像ストリームをフリーズさせて１フレームを観察するか、早送りするか、もしくは巻戻すことができ、一部を飛ばすことができ、または、画像を観察するための他の任意の方法をこの画像ストリームに適用することができる。

以下の説明は、装置４０からのデータが後の使用に備えて記憶される場合に関するものであるが、画像データのリアルタイムの観察を可能にするシステムとともに、この発明のシステムおよび方法を用いることができる。

別の実施例において、情報の収集は、人体の内腔以外の別の空洞内で行なうことができる。その一例には、動物の内腔内で収集された情報が含まれ得る。別の例には、製造工程中に形成された管または他の空洞から収集された情報が含まれ得る。さらに別の例が、自然河道（natural stream）、たとえば地層または海成層を介して収集された情報であり得
る。

さらに、画像データの受取、処理、および表示を行なう構成要素は一般に、ワークステーションシステムまたはＰＣ内に収容されるが、他のシステムを用いてよく、他の（分散型等の）構成要素がこのような画像の受取、処理、および表示を行なってよい。

一実施例において、画像ストリームは、２つ以上のウインドウ内で複数の画像ストリームとして観察者に提示され得、それにより、画像ストリームが表示されるのに伴って１組の連続したフレームまたは「近接する」フレームが実質的に同時に表示されるようにする。たとえば一実施例では、２つのウインドウまたは観察領域が表示され、その各々は、１つの画像ストリームの１つのフレームを表示する。一般に、これらのフレームは実質的に同時に表示される。

例示的な一実施例において、ウインドウまたは観察領域は、画像間の空白の空間または黒い空間が最小である状態で互いに接近しており、一般に水平方向に隣り合い、観察者が目を実質的に動かさなくてもこれらの画像の全体が見えるようにする。これらの画像を歪ませて（たとえば円錐形、楕円形、または長円形の視野に表示して）画像間の空間をさらに減らすことができる。これらの画像は対称に表示され得る。たとえば、これらの画像は同一の水平面上に表示され得る。

図２は、この発明の一実施例に従った表示装置の一部を示す。図２を参照すると、表示装置３００は、複数の画像ストリームモードにある。表示装置３００は、たとえば画像モニタ１８上に表示され得る。表示装置３００は一般に、画像ストリームを表示するための１組の画像ウインドウ３０２および３０２′と、１組の制御３０４とを含む。制御３０４は、たとえば、複数の画像ストリームモードと単一の画像ストリームモードとの間の切換がユーザによって行なわれ得るようにするトグル制御３０６を含み得る。制御３０４はまた、従来のビデオ制御装置、たとえば一時停止、停止、再生、早送り、巻戻し等も含み得る。典型的な実施例では、このシステムが複数の画像ストリームモードにある場合、制御３０４はすべての画像ストリームに同時に作用し得るが、代替的な実施例において他の方法を用いてよく、たとえば制御３０４は、１つの画像ストリームに作用し得る。

この発明のいくつかの実施例によると、観察画面上に異なる画像ストリームを異なる構成で配置することができる。たとえば、画像ストリームを、水平方向ではなく垂直方向または斜め方向に配置することができる。

この発明の或る実施例において、２つ以上の画像ストリームが収集され得る。たとえば、図１に示されるように、生体内撮像装置は、生体内撮像装置の２つ以上の位置に撮像器またはレンズ系を可能性として含むことにより、複数の画像ストリームを収集する２つ以上の撮像器（または１つの撮像器）を含み得る。撮像器４６は、たとえば装置４０のいずれかの端部か、またはこの装置の同一端部において、わずかに異なる位置またはわずかに異なる角度で配置され得る。各撮像器、たとえば撮像器４６は、画像を取込んで、それらの画像を送信機４１または別個の送信機を介して送信することができる。一般に、各撮像器は１つの光学系に関連する。このような場合、この発明のシステムおよび方法の一実施例は、各画像ストリームを同時に表示することができ、観察者の画面上に表示される各画像は一般に、実質的に同時に取込まれたものである。一実施例において、各撮像器からの画像は実質的に同時に表示され得、それによって異なる撮像器からの画像ストリームを同時に検討することができる。たとえば、３個の異なる撮像器からの３つの画像ストリームが３個の画像ウインドウ上に実質的に同時に表示されるべき場合、第１の画像ストリームの第１および第２のフレームが第１の画像ウインドウ上に表示され得、次に、第２の画像ストリームの第１および第２のフレームが第２の画像ウインドウ上に表示され得、第３の
画像ストリームの第１および第２のフレームが第３の画像ウインドウ上に表示され得る。

別の実施例において、各撮像器からの画像ストリームは、画像ストリームの多数の部分集合に分割することができ、１つ以上の撮像器についての画像ストリームの部分集合は、実質的に同時に表示され得る。たとえば、画像ストリームの１つの部分集合が、１個置きの画像フレームを含み得る一方で、ストリームの第２の部分集合は、連続する１個置きの画像フレームを含み得る（たとえば、第１の部分集合はフレーム１、３および５等を含み、第２の部分集合は、フレーム２、４および６等を含む）。一般に、このような場合、画像は行列形式で示され得、それにより、各列は、１つの撮像器からのフレームを表示することができ、各行は、異なる撮像器からのフレームを表示することができる。代替的に、各行が、１つの撮像器からのフレームを表示することができ、各列が、異なる撮像器からのフレームを表示することができる。さらに別の実施例において、画像ストリームは、実質的に隣接するフレームに基づくのではなく、セクションに分割されるか、またはセクションに区切られ得る。たとえば、画像ストリームは、シーケンシャルな第１のセクションおよび第２のセクションに分割され得る。これらの２つのセクションを同時に表示することができる。これよりも多くのセクションまたは区切りを作成することができる。

次に図３Ａを参照する。図３Ａは、この発明のいくつかの実施例に従い、新規の画像ストリーム３２０が２つの画像ストリームＡおよびＢからどのように生成され得るか、および実質的に同時にどのように表示され得るかを示す概略図である。

この発明の一実施例によると、たとえば記録処理中に記録装置により、各画像に識別（ＩＤ）番号が割当てられる。一般に、記録装置は画像ストリームＡから第１の画像を受信して、その画像にＩＤ番号１を割当て、そしてその画像を記録する。この過程を単純化して、さらに明瞭にするために、今後は、第１の画像をたとえば画像１Ａと呼び、画像ストリームＡからの第１の記録された画像を表わす。次のステップにおいて、記録装置は画像ストリームＢから第１の画像を受信して、その画像にＩＤ番号２Ｂを割当てる（たとえば、記録装置によって受信された第２の画像であり、画像ストリームＢからの第１の画像である）。

この発明のいくつかの実施例に従い、画像ストリームＡ（画像１Ａ、３Ａ、５Ａ、７Ａ、９Ａ等を含む）はたとえば、生体内装置の前部に配置され得る撮像器４６等の１つの撮像器により取込まれたすべての画像を表わし、画像ストリームＢ（画像２Ｂ、４Ｂ、６Ｂ、８Ｂ、１０Ｂ等を含む）は、生体内装置の後部に配置された撮像器４６′等の別の撮像器から取込まれたすべての画像を表わす。一実施例に従い、たとえば（図２の）画像ウインドウ３０２は、画像ストリームＡを表示することができ、画像ウインドウ３０２′は、画像ストリームＢを表示することができ、それにより、２つの画像ストリームＡおよびＢが表示されるのに伴い、１組の連続した画像または「近接する」画像が表示される。

この発明の一実施例によると、各時間スロットにおいて、連続していることが考えられる２つの画像が、各ウインドウまたは観察領域内に１つずつ表示される。たとえば、時間スロットｔ′において、画像ストリームＡからの画像１Ａは画像ウインドウ３０２に表示され得、画像ストリームＢからの画像２Ｂは画像ウインドウ３０２′に実質的に同時に表示され得る。

図３Ｂおよび図３Ｃを参照すると、この発明の実施例に従い、画像ストリームからシーケンシャルな画像のグループを選択するための異なる方法が示され、たとえば所定の２つのストリームから複数のシーケンシャルな対を選択するための異なる方法が示される。

図３Ｂは、シーケンシャルな対を選択するための方法を示し、ここで画像は、画像スト
リームＡから画像ストリームＢへと対にされる。一実施例に従い、シーケンシャルな各対３１１、３１３、３１５、３１７、および３１９の第１の画像は、ストリームＡから取り上げられ（そして、たとえば左側の表示ウインドウ３０２に表示され得）、各対の第２の画像は画像ストリームＢから取り上げられ得る（そして、たとえば右側の表示ウインドウ３０２′に表示され得る）。たとえば、第１の対３１１は、画像１Ａおよび２Ｂから構成され、それによって画像１Ａは、左側の表示ウインドウ３０２′に表示され、画像２Ｂは右側の表示ウインドウ３０２′に直ちに表示される。対３１１が表示された後に、対３１３が選択され、それによって画像３Ａおよび４Ｂが次に表示され、以下同様となる。

図３Ｃは、この発明の一実施例に従い、画像ストリーム、たとえば２つの画像ストリームＡおよびＢからシーケンシャルな対を選択するための別の例示的な方法を示す。図３Ｃに示すように、および一実施例に従い、提示されたこの方法は、画像ストリームＢからまず１つの画像を選択し、その結果、画像ストリームＡからシーケンシャルな画像を選択することに基づく。たとえば対３１２は、たとえば左側の表示ウインドウ３０２に表示される画像２Ｂと、右側の表示ウインドウ３０２′に直ちに現われる画像１Ａとから構成される。３つ以上の画像ストリームから取り上げられた３つ以上の画像を選択および表示するための他の方法が存在する。

図４Ａおよび図４Ｂは、この発明の実施例に従い、生体内装置から複数の画像を受信および／または記録する間に生じ得る、異なる種類の空きを示す。空きは、画像の取込段階、たとえば、１つ以上の撮像器が一時的に誤作動したとき、および／または不明瞭な画像または破損した画像が廃棄される画像の分類および編集段階における、画像の飛びおよび／または期間の飛びとして規定され得る。空きはまた、記録装置が画像を記録しないか、または画像に必要なＩＤ番号を割当てない画像記録装置における、たとえば記録不良の結果でもあり得る。

次に図４Ａを参照する。図４Ａは、この発明の一実施例に従い、たとえば画像記録装置における記録不良から生じる空き４００を有する２つの画像ストリームＡおよびＢを概略的に示す図である。

この発明の一実施例によると、空きがたとえば記録不良の結果として生じている場合、ＩＤ番号の空きは提示されない。なぜなら、記録されなかったすべての期間が飛ばされて、記録装置が、この空きの後に記録された次の画像に対し、この空きの前に割当てられた最後の番号にシーケンシャルなＩＤ番号を自動的に割当てるためである。たとえば図４Ａに示すように、期間ｔ′中に、画像ストリームＡからの画像は記録されず、その後、期間ｔ″中に画像ストリームＢからの画像は記録されない。その結果、画像が記録も表示もされない空き４００が生じ得る。たとえば画像ストリームＡからの次の画像が空き４００の後に記録される場合、この画像にはＩＤ番号５Ａが割当てられ、それにより、画像のＩＤ番号は依然としてシーケンシャルな順序にあるが、時間的な順序は維持されない。なぜなら、画像が時間の空きの間に失われたためである。生じた空きの重大性が、表示装置に現われることが考えられる。この場合、たとえば画像３Ａと４Ｂとの間の期間は、たとえば１／２秒（取込まれる画像間で予め設定された空間）であるが、画像４Ｂと５Ａとの間の期間は、これらの画像のＩＤ番号がシーケンシャルなものであるにもかかわらず、時間の空き４００により、一層大きなものとなる。

図４Ｂは、この発明の一実施例に従った、ＩＤ番号の空きと時間の空きとを生じる時間の空き４１０を示す。ＩＤ番号の空きおよび時間の空きは、たとえば、画像のコンパイル段階において、予め設定された品質管理の標準に従って画像が破損しているか、または不明瞭であると判定された場合に生じ得る。その結果、記録装置は、その画像と、その不明瞭な画像に割当てられるべきであったＩＤ番号との両方を飛ばす。たとえば、時間ｔ′（
画像４Ｂの直後）に取込まれており、かつ、５Ａが割当てられるべきであった画像が破損している場合、記録装置はその画像を飛ばし、次の画像にＩＤ番号６Ｂを割当てる。空き４１０は、画像の取込のタイムラインおよび画像のＩＤ番号の両方に存在する。空き４１０が生じた結果、２つのストリームＡおよびＢは同期せず、結果的に表示されるストリームは、実際の生体内の体の状態を正確かつ忠実に反映することができない。

図５Ａおよび図５Ｂは、この発明の実施例に従い、生体内撮像システムの画像ストリームを同期させるための方法および／またはプロセスを示す。図５Ａは、この発明の一実施例で使用することのできる例示的なアルゴリズムを示す。ステップ５１０において、実質的に同時に表示されるべき画像、たとえば第１の２つの画像は、たとえば、上で説明したカプレットのアルゴリズムに基づいて選択される。このステップは、画像が時間の流れに沿って表示される際に、画像のストリームから、実質的に同時に表示されるべき多数の画像を選択するステップと、画像の２つ以上のストリームから多数の画像を選択するステップと、および／または画像のストリームまたは画像のストリームの部分集合から画像を選択するステップとを含む。たとえば図５Ｂに示すように、２つの画像ストリームＡおよびＢから３つの画像が選択され、たとえば、画像Ｓ０および画像Ｓ０nextが画像ストリームＡから選択され得、Ｓ１が画像ストリームＢから選択され得る。この発明の一実施例よると、画像Ｓ０が生体内装置により取込まれた第１の画像である場合、Ｓ１は、他の任意の画像ストリームからの、このタイムラインで取込まれる次の画像でなければならない。図５Ｂに示すように、画像ストリームＢからの画像Ｓ１は、取込のタイムラインにおいてストリームＡからの画像Ｓ０に最も近接する。なぜなら、Ｓ１が直後に取込まれているためである。

ステップ５１５において、２つの画像、たとえば画像Ｓ０およびＳ１を検討して、これらの画像が実際に強固な対、たとえばカプレットを形成するかどうかを判定する。２つ以上の画像が実質的に同時に表示されるべきであるか（たとえば２つ以上の画像が対を形成するかどうか）についての判定は、これらの２つ以上の画像が予め定められた条件または条件の組を満たすかどうかを調査することによって行なわれ得る。いくつかの実施例に従い、これらの条件は、時間に関連する条件であり得る。他の実施例に従い、他の条件、たとえば画像の特性および／または画像の品質（色、輝度等）に関連する条件を用いてよい。一実施例に従い、２つの画像、たとえばＳ０およびＳ１が画像のカプレットを形成するかどうかを確認するプロセスに寄与する、以下の３つの因子（時間の流れに沿った第１の条件等）が存在する（ステップ５２０）。たとえば、
１．一方では、Ｓ１は、Ｓ０の後に取込まれなければならない。

２．他方では、Ｓ０nextは、Ｓ１の後に取込まれなければならない。

３．Ｓ０の取込時間とＳ１の取込時間との間の画像の取込時間の差は、予め設定された標準の時定数Ｔｃ以下である。

この発明の一実施例に従い、予め設定された標準の時定数Ｔｃは、時間の流れに沿った条件、たとえば時間の流れに沿った第１の条件に対する有効な最大時間として規定され得る。

一実施例に従い、当該の２つの画像が３つのカプレットの条件のすべてを満たす場合（ステップ５３０）、これらの画像はカプレットであると宣言されて、次々とそのように表示される。２つの画像Ｓ０およびＳ１がカプレットである場合、残りの画像が次に選別されて、表示用にシーケンシャルな対を特定する。当該の対（Ｓ０およびＳ１等）がカプレットの条件を満たさない場合（ステップ５４０）、新たに探索を行なって（ステップ５５０）、異なるカプレットを特定する。ここで、新規の対は、Ｓ０と、取込のタイムライン
内においてＳ０に最も近いと考えられる画像とで構成される。

図５Ｃは、検討した２つの画像が（図５Ａの）カプレットの要件を満たさない場合を示す。たとえば、Ｓ０およびＳ１は第２の条件を満たさない。なぜなら、Ｓ１がＳ０nextの次に取込まれたためであり、したがってＳ０およびＳ１はカプレットであると宣言されない。

図６Ａ〜図６Ｂは、この発明の実施例に従い、たとえば図５Ａおよび図５Ｂに示すように、表示用の第１の対を選択した後の段階を示す。

図６Ａは、この発明の一実施例に従った、複数の画像ストリームから次のシーケンシャルなカプレットを選択するためのアルゴリズムを示すフロー図である。この発明のいくつかの実施例に従い、図６Ａに示すアルゴリズムは、複数の画像ストリームから任意のカプレットを選択するために使用され得る。ステップ６１０において、以前に選択されたカプレットの画像（図５ＡのＳ０およびＳ１等）は、たとえばＳ０prevおよびＳ１prevと規定される。ステージ６１５において、調査用の、考え得る次のカプレットとしてＳ０nextおよびＳ１nextが選択される。たとえば図６Ｂに示すように、画像ストリームＡは画像Ｓ０prev、Ｓ０、およびＳ０nextを含み、ストリームＢは、画像Ｓ１prev、Ｓ１、およびＳ１nextを含む。したがって、結果的に得られたストリームが表示されると、画像ストリームＡおよびＢからの画像Ｓ０prevおよびＳ１prevは、隣り合って表示され得る。次の画像Ｓ０およびＳ１は、この明細書において上述のアルゴリズムに従って選択され得る。

この発明のいくつかの実施例に従い、画像Ｓ０およびＳ１が実際に次のシーケンシャルな対、たとえばカプレットを形成することを確認するために、４つの条件（時間の流れに沿った次のカプレットの条件等）が満たされなければならない（ステップ６２０）。

１．画像Ｓ０nextについての取込時間は、Ｓ１についての取込時間よりも後である（ＴＳ０next＞ＴＳ１）。

２．画像Ｓ１についての取込時間は、画像Ｓ０についての取込時間よりも後である（ＴＳ１＞ＴＳ０）。

３．画像Ｓ０についての取込時間は、画像Ｓ１prevについての取込時間よりも後である（ＴＳ０＞ＴＳ１prev）。

４．Ｓ０の取込時間とＳ１の取込時間との間の画像の取込時間の差は、予め設定された標準の時定数Ｔｃ以下である。

２つの画像Ｓ０およびＳ１がこれらの要件を満たした場合、これらの画像が次のカプレットであると判定されて表示される（ステップ６２５）。当該の対がこれらの要件を満たさない場合（ステップ６３５）、新規の調査を行なって、新規の対を特定することができ、他のいくつかの選択肢、たとえばＳ０とＳ１prevとの対、またはＳ１とＳ０prevとで構成される別の対を検査する。

検査した対の１つがステップ６２０のカプレットの要件を満たしていることが分かった場合、この対が、見出された次のカプレットであると宣言される（ステップ６４０）。検査した対のいずれもがカプレットの要件を満たさない場合（ステップ６５０）、次のカプレットとして選択される対は、画像の取込時間と取込時間との間において、考え得る最短の時間差、たとえば、時間の流れに沿った第２の条件等の時間の流れに沿った条件に対して有効な最大時間を維持している対となる（ステップ６５５）。カプレットの画像間の画
像の取込時間の差が、予め設定された標準の時定数Ｔｂ、たとえば、飛ばされることが考えられるＩＤの空き等の最小期間に等しいか、またはそれよりも短い場合（条件６６０）、最良のカプレットが表示される（ステップ６７５）。カプレットが条件６６０を満たさない場合、１つの画像のみが表示される（ステップ６６５）。したがって、すべてのカプレットが見出されると、結果的に得られるストリームが表示され得、たとえば第１のカプレットからの画像Ｓ０prevおよびＳ１prevが隣り合って表示され得、次に、画像Ｓ０およびＳ１等が続く。画像ストリームは、たとえばＧＩ管内の病変を検出するために一般には観察および／または解析を行なうために、好ましくは実質的に同時に表示装置上に表示される。この発明の一実施例において、主なディスプレイエンジンは、実質的に同時に表示されるべき（次の１つの画像ではなく）次の２つの画像を選択するようにプログラムされる。そして、ディスプレイウインドウは、次の２つの画像がディスプレイエンジンから選択されるまで、これらの２つの画像を実質的に同時に表示する。代替的な実施例において、画像を組合せる他の方法を用いてよい。いくつかの実施例に従い、画像は、１秒間につき３０フレームまでの表示速度で、動画等の動画像のストリームとして表示され得る。他の表示速度も可能である。

この発明の実施例の上述の説明は、例示および説明のために提示されている。この説明が網羅的であることは意図されず、または、この説明が、開示された特定の形態にこの発明を限定することも意図されない。上述の教示内容に照らして多くの改良例、変形例、代替例、変更例、および等価例が可能であることを当業者は認識されたい。したがって、前掲の請求項が、このような改良例および変更例のすべてをこの発明の真の範囲内にあるものとして包含するように意図されていることを理解されるべきである。

この発明の一実施例に従った生体内撮像システムの概略図である。 この発明の一実施例に従った表示装置の一部を示す図である。 この発明の一実施例に従い、２つの画像ストリームから新規の画像ストリームがどのように生成され得るかを示す概略図である。 この発明の実施例に従った、多数の画像ストリームからシーケンシャルな画像のグループを選択するための方法を示す図である。 この発明の実施例に従った、多数の画像ストリームからシーケンシャルな画像のグループを選択するための方法を示す図である。 この発明の実施例に従った、或る種の空きを有する２つの画像ストリームの概略図である。 この発明の実施例に従った、或る種の空きを有する２つの画像ストリームの概略図である。 この発明の実施例に従った、生体内撮像システムの画像ストリームを同期させるための方法を示す図である。 この発明の実施例に従った、生体内撮像システムの画像ストリームを同期させるための方法を示す図である。 この発明の実施例に従って調査された２つの画像がカプレットの要件を満たさない場合を示す図である。 この発明の実施例に従って、表示用に第１のカプレットを選択した後の段階を示す図である。 この発明の実施例に従って、表示用に第１のカプレットを選択した後の段階を示す図である。

符号の説明

１２ 画像受信機、１４ データプロセッサ、１６ 記憶装置、２１ 画像データベース、４０ 装置、４１ 送信機、４２ 照明源、４６、４６′、４６″ 撮像器。

Claims (6)

1. 第１の画像ストリームおよび第２の画像ストリームに含まれる複数の画像を同期して表示する生体内画像表示システムの作動方法であって、前記複数の画像は、胃腸管内部に配置される生体内撮像装置から送信され、前記生体内撮像装置は、前記第１の画像ストリームを取得する第１の撮像器、及び前記第２の画像ストリームを取得する第２の撮像器を備え、前記生体内画像表示システムは画像記憶装置と、プロセッサと、表示装置とを備え、前記作動方法は、
   前記画像記憶装置が、シーケンシャルに付番された前記複数の画像を受け取って記憶する工程と、
   前記プロセッサが、前記第１の画像ストリームから第１の画像を選択するとともに、前記第２の画像ストリームから第２の画像を選択することによって、前記第１の画像および前記第２の画像を備える画像対を選択する工程と、
   前記第１の画像ストリームに含まれる画像のうち前記第１の画像の次に付番された画像である第１の次画像の取込時間が、前記第２の画像の取込時間より遅いという第１の条件、
   前記第２の画像の取込時間が、前記第１の画像の取込時間より遅いという第２の条件、
   前記第１の画像の取込時間が、前記第２の画像ストリームに含まれる画像のうち前記第２の画像より前に付番された最後の画像の取込時間より遅いという第３の条件、及び
   前記第１の画像と前記第２の画像との取込時間の差が予め定められた第１の時定数以下であるという第４の条件が満たされる場合に、前記表示装置が、前記画像対を同時に表示する工程と、
   前記第１の条件、第２の条件、第３の条件、及び第４の条件が満たされない場合であって、かつ前記第１の画像と前記第２の画像との取込時間の差が予め定められた第２の時定数よりも大きい場合に、前記表示装置が前記画像対のうちの一方の画像のみを表示する工程とを備える作動方法。
2. 前記作動方法は、前記プロセッサが、前記第１の次画像を新たな第１の画像として選択するとともに、前記第２の画像ストリームから新たな第２の画像を選択することによって、新たな第１の画像および新たな第２の画像を備える新たな画像対を選択する工程をさらに備え、新たな画像対に対して、前記表示装置が表示する各工程を実施する請求項１に記載の作動方法。
3. 前記生体内撮像装置が、自律型の生体内撮像装置である請求項１に記載の作動方法。
4. 第１の画像ストリームおよび第２の画像ストリームに含まれる複数の画像を同期して表示する生体内画像表示システムであって、前記複数の画像は、胃腸管内部に配置される生体内撮像装置から送信され、前記生体内撮像装置は、前記第１の画像ストリームを取得する第１の撮像器、及び前記第２の画像ストリームを取得する第２の撮像器を備え、前記生体内画像表示システムは、
   シーケンシャルに付番された前記複数の画像を受け取って記憶する画像記憶装置と、
   前記第１の画像ストリームから第１の画像を選択するとともに、前記第２の画像ストリームから第２の画像を選択することによって、前記第１の画像および前記第２の画像を備える画像対を選択するように構成されたプロセッサと、
   前記第１の画像ストリームに含まれる画像のうち前記第１の画像の次に付番された画像である第１の次画像の取込時間が、前記第２の画像の取込時間より遅いという第１の条件、
   前記第２の画像の取込時間が、前記第１の画像の取込時間より遅いという第２の条件、
   前記第１の画像の取込時間が、前記第２の画像ストリームに含まれる画像のうち前記第２の画像より前に付番された最後の画像の取込時間より遅いという第３の条件、及び
   前記第１の画像と前記第２の画像との取込時間の差が予め定められた第１の時定数以下であるという第４の条件が満たされる場合に、前記画像対を同時に表示するように構成され、かつ
   前記第１の条件、第２の条件、第３の条件、及び第４の条件が満たされない場合であって、かつ前記第１の画像と前記第２の画像との取込時間の差が予め定められた第２の時定数よりも大きい場合に、前記画像対のうちの一方の画像のみを表示するように構成された表示装置とを備える生体内画像表示システム。
5. 前記複数の画像は、自律型の生体内撮像装置から送信された画像である請求項４に記載の生体内画像表示システム。
6. 前記表示装置は、各々画像ストリームを表示する複数の画像ウインドウを含む請求項４に記載の生体内画像表示システム。

Images