JP4234605B2 - 画像ストリームを表示するためのシステムおよび方法 - Google Patents

画像ストリームを表示するためのシステムおよび方法 Download PDF

Info

Publication number
JP4234605B2
JP4234605B2 JP2003568895A JP2003568895A JP4234605B2 JP 4234605 B2 JP4234605 B2 JP 4234605B2 JP 2003568895 A JP2003568895 A JP 2003568895A JP 2003568895 A JP2003568895 A JP 2003568895A JP 4234605 B2 JP4234605 B2 JP 4234605B2
Authority
JP
Japan
Prior art keywords
image
displayed
images
stream
image stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003568895A
Other languages
English (en)
Other versions
JP2005518160A5 (ja
JP2005518160A (ja
Inventor
デービッドソン,タル
シュライバー,ルーベン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Given Imaging Ltd
Original Assignee
Given Imaging Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=27734562&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4234605(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Given Imaging Ltd filed Critical Given Imaging Ltd
Publication of JP2005518160A publication Critical patent/JP2005518160A/ja
Publication of JP2005518160A5 publication Critical patent/JP2005518160A5/ja
Application granted granted Critical
Publication of JP4234605B2 publication Critical patent/JP4234605B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled

Description

発明の分野
この発明は、画像ストリームを表示および/または精査するための方法およびシステムに関する。特に、この発明は、画像ストリームの効果的な表示のための方法およびシステムに関する。
発明の背景
画像ストリームは、一連の静止画像から作られユーザに表示され得る。画像はさまざまなソースから作成または収集してもよい。たとえば、この出願と同じ譲受人に譲渡され、ここに引用により援用されるIddanらに対する米国特許第5,604,531号は、一実施例において、飲み込むことのできるカプセルを含む生体内のイメージャシステムを教示している。イメージャシステムは、カプセルが内腔を通る間に、胃腸(GI)管などの内腔の画像を捕捉し、それらを外部の記録装置に転送する。多数の画像を収集して調べ、たとえば、順番に組合せてもよい。たとえば、約4800フレームを含む、長さが40分の画像ストリームを精査するためにユーザに提示してもよい。他の数のフレームまたは長さを使用してもよい。
一実施例では、ストリーミングレートは予め設定されるが、ユーザは精査処理中にいつでもストリーミングレートを増減してもよく、および/または異なるストリーミングレートを規定してもよい。一般に、ユーザは、ストリームに含まれる画像のいずれかに存在し得る重要な情報を見失うことなく、素早く、そして効果的に画像ストリームを精査することのできる最も高いレートにストリーミングレートを設定しようとする。ユーザが効果的に画像ストリームを精査することのできるレートは、毎秒約15フレーム(この数字はユーザおよび画像ストリームによって異なる)に存在すると知られる生理学的な平均効果によって限られ、これを越えるとストリームに表示される個々の画像の或る詳細は心理的にフィルタリングされることがある。
したがって、ユーザが効率的かつ効果的に画像ストリームを精査することのできるレートを大きくすることができるシステムおよび方法の必要性が存在する。
発明の概要
一実施例では、画像ストリームを表示するためのシステムおよび方法が提供され、元々の画像ストリームは2つ以上の画像ストリームに分けられ、各画像ストリームは同時または実質的に同時に表示される。ここで使用される場合、「実質的に同時」は、同時およびほぼ同時を含む。この発明の一実施例によるシステムおよび方法は、画像ストリーム全部を見る全体の時間を増やすことなく、ストリーム内の画像を長時間見ることを可能にする。またはこれに代えて、一実施例によって説明されるシステムおよび方法は、ストリーム内に示され得る詳細を犠牲にすることなくユーザが画像ストリームを見ることのできるレートを大きくするために使用することができる。或る実施例では、画像は、GI管を横断する飲み込むことのできるカプセルから収集される。
この発明は、図面と共に以下の詳細な説明を読むことでさらに十分に理解されるであろ
う。
発明の詳細な説明
以下の説明では、この発明のさまざまな局面を説明する。説明のため、具体的な構成および詳細を説明してこの発明を完全に理解できるようにする。しかしながら、当業者には、ここに提示される詳細なしにこの発明を実現可能であることが明らかであろう。さらに、この発明を不必要にわかりにくくするのを避けるため、周知の特徴は省略または簡略化されることがある。
この発明の一実施例による生体内の画像化システムの概略図である図1を参照する。例示的な実施例では、システムはカプセル40を含み、これは画像を捕捉するためのイメージャ46、体の内腔を照らすための照明源42、および画像および他の情報を受信装置に転送するための送信機41を有する。典型的には、画像捕捉装置は、Iddanらに対する米国特許第5,604,531号に説明される実施例、およびGlukhovskyらに対する公開された出願WO01/65995に説明される実施例に対応し得るが、他の実施例では、他の種類の画像捕捉装置であり得る。
典型的には、患者の体外の1つまたは複数の場所に画像受信機12があり、典型的にはアンテナまたはアンテナアレイ(図示せず)、画像受信機記憶ユニット16、データプロセッサ14、データプロセッサ記憶ユニット19、およびとりわけカプセル40によって記録された画像を表示するための画像モニタ18を含む。典型的には、データプロセッサ記憶ユニット19は画像データベース21を含む。
典型的には、データプロセッサ14、データプロセッサ記憶ユニット19およびモニタ18は、プロセッサ14、メモリ、ディスクドライブおよび入出力装置などの標準的な構成要素を含むパーソナルコンピュータまたはワークステーションの一部であるが、代替の構成も可能である。データプロセッサ14は、マイクロプロセッサ、マルチプロセッサ、アクセラレータボードなどの標準的なデータプロセッサ、または他のシリアルもしくはパラレルの高速データプロセッサなどを含んでもよい。データプロセッサ14は、典型的にはその機能性の一部として、画像の表示を制御するコントローラとして機能する。画像モニタ18は、典型的には従来の映像ディスプレイであるが、さらに、画像または他のデータを提供できる他の装置であってもよい。画像モニタ18は、典型的には静止画および動画の形の画像データを提示し、さらに他の情報を提示してもよい。例示的な実施例では、さまざまなカテゴリの情報がウインドウに表示される。複数のモニタを使用して、画像および他のデータを表示してもよい。
作動中、イメージャ46は画像を捕捉し、そして画像を表わすデータを送信機41に送信し、これは、たとえば、電磁無線波を使用して画像受信機12に画像を送信する。画像受信機12は、画像データを画像受信機記憶ユニット16に転送する。或る期間の画像収集の後、記憶ユニット16に記憶された画像データは、画像プロセッサ14またはデータプロセッサ記憶ユニット19に送信される。たとえば、画像受信機12または画像受信機記憶ユニット16は、患者の体から取り外され、標準的なデータリンク、たとえば、公知の構成のシリアル、パラレル、USB、または無線インターフェイスを介して、データプロセッサ14およびデータプロセッサ記憶ユニット19を含むパーソナルコンピュータまたはワークステーションに接続されてもよい。次に、画像データは、画像受信機記憶ユニット16からデータプロセッサ記憶ユニット19内の画像データベース21へと転送される。典型的には、画像ストリームは、画像データベース21内に一連の画像として記憶され、これは公知のさまざまな方法で実現され得る。データプロセッサ14は、データを分析し、そして分析されたデータを画像モニタ18に提供することができ、そのモニタでユーザは画像データを精査する。データプロセッサ14は、オペレーティングシステムおよ
び装置ドライブなどの基本的な動作ソフトウェアと共にデータプロセッサ14の動作を制御するソフトウェア(図示せず)を操作する。典型的には、データプロセッサ14を制御するソフトウェアは、C++言語で書かれたコードを含むが、さまざまな公知の方法で実現され得る。データプロセッサ14は、グラフィックソフトウェアまたはハードウェアを含んでもよい。
収集され、そして記憶される画像データは、無期限に記憶されてもよいし、他の場所に転送されてもよいし、または操作もしくは分析されてもよい。たとえば、医療の専門家は、たとえば、画像を使用してGI管の病的な状態を診断し、さらに、システムはこれら病変の場所についての情報を提供し得る。一方、データプロセッサ記憶ユニット19が最初にデータを収集し、次にデータをデータプロセッサ14に転送するシステムを使用する場合、画像データはリアルタイムでは見られず、他の構成ではリアルタイムで見ることができる。
典型的には、生体内のイメージャシステムは、GI管を横断する際に一連の静止画像を収集する。画像は、後にGI管横断の画像のストリームして提示され得る。生体内のイメージャシステムは、カプセル40が数時間かけてGI管を横断する際に大量のデータを収集してもよく、また、たとえば、毎秒2画像のレートで画像を記録し、結果として数千もの画像を記録してもよい。画像記録レート(または、フレーム捕捉レート)は変更されてもよい。
典型的には、カプセル40によって記録され、そして転送される画像データは、デジタルカラー画像データであるが、他の実施例では他の画像フォーマットを使用してもよい。例示的な実施例では、画像データの各フレームは、各々が256画素の256の行を含み、各画素は公知の方法による色および輝度のためのバイトを含む。たとえば、各画素では、色は4つのサブ画素のモザイクによって表わされ、各サブ画素は、赤、緑または青などの原色に対応する(1つの原色が2回表現される)。画素全体の輝度は、1バイト(すなわち、0から255)の輝度の値によって記録される。典型的には、画像はデータプロセッサ記憶ユニット19に連続的に記憶される。記憶されたデータは、色および輝度を含む1つまたは複数の画素の特性を含む。他の画像フォーマットを使用してもよい。
典型的には、データプロセッサ記憶ユニット19は、カプセル40によって記録された一連の画像を記憶する。たとえば、カプセル40が患者のGI管を通って移動する際に記録する画像は、連続的に組合せて画像ストリームとして表示可能な一連の画像を形成することができる。画像ストリームを精査するとき、ユーザには典型的にモニタ18に1つまたは複数のウインドウが提示され、代替の実施例では、複数のウインドウを使用する必要がなく、画像ストリームのみが表示される。複数のウインドウが提供される実施例では、たとえば、画像ウインドウは、画像ストリームまたはその画像の静止部分を提供し得る。別のウインドウは、画像の表示を変えることのできるボタンまたは他の制御、たとえば、停止、再生、一時停止、画像捕捉、ステップ、早送り、巻戻しまたは他の制御を含み得る。そのような制御は、たとえば、マウスまたはトラックボールなどのポインティングデバイスによって起動されてもよい。典型的には、画像ストリームは、1つのフレームを見るために凍結させるか、高速化させるか、または逆進させることができ、セクションを省略してもよく、または画像を見るための他のあらゆる方法を画像ストリームに適用してもよい。
以下の議論は、カプセル40からのデータが後の使用のために記憶される場合に関するが、この発明のシステムおよび方法は、画像データをリアルタイムで見ることのできるシステムと共に使用してもよい。
典型的には、情報の収集、記憶および処理が或るユニットによって行なわれるとき、この方法のシステムおよび方法は代替の構成で実現可能である。たとえば、画像情報を集める構成要素はカプセルに含まれる必要はなく、内視鏡、ステント、カテーテル、針等の人体の内腔を横断するのに好適な他の媒介物に含まれてもよい。
別の実施例では、情報の収集は人体の内腔以外の別の空洞で行なうことができる。或る例は、動物の内腔で集められた情報を含む。別の例は、製造プロセス中に形成されたパイプまたは他の空洞から集められた情報を含み得る。さらに別の例は、たとえば、地層または海成層などの自然の流れを通って集められた情報であり得る。
さらに、典型的には、画像を受け入れ、処理し、そして表示する構成要素はワークステーションシステムまたはPC内に含まれるが、他のシステムを使用してもよく、他の(たとえば、分散された)構成要素がそのような画像の受入、処理および表示を行なってもよい。
一実施例では、画像ストリームは、画像ストリームが表示されるときに連続したまたは「近くの」フレームのセットが実質的に同時に表示されるように、複数の画像ストリームとして2つ以上のウインドウで観察者に提示され得る。たとえば、一実施例では、2つのウインドウまたは視覚エリアが表示され、各々は画像ストリームの1つのフレームを表示する。典型的には、フレームは実質的に同時に表示される。一実施例によると、各タイムスロットで、画像ストリーム内で連続する2つの画像は、各ウインドウまたは視覚エリアに1つ表示される。たとえば、一実施例では、画像ストリームは、実質的に同時に表示される2つの別々のストリームに分けられる。元々のストリーム内で連続するかまたは隣接するフレームは、別々のストリームで対応するフレームになる(たとえば、各対応するストリームの第1のフレーム、各対応するストリームの第2のフレーム)。したがって、2つの結果的なストリームが表示されるとき、元々のストリームからのフレーム1および2は、並んで表示され、次にフレーム3および4等が表示され得る。別の実施例では、画像ストリームは、実質的に同時に表示される3つ以上の別々のストリームに分けられる。さらに別の実施例では、ストリーム内のいくつかのフレームが省略され得る。
例示的な実施例では、ウインドウまたは視覚エリアは、画像間に最低限のブランクまたはブランク空間を備えて互いに近くにあり、典型的には、水平に並び、観察者が実質的に目を動かさずに画像の全体を見ることができる。画像は変形されて(たとえば、円錐、楕円または長円の形状のフィールドに表示して)それらの間の空間がさらに低減されてもよい。画像は対称に表示されてもよい。たとえば、画像は同じ水平面に表示されてもよい。1つの画像を逆転させて鏡像として提示してもよく、画像は異なる態様で変更を加えられた方向付けを有してもよく、または画像は対称性を大きくするために他の態様で処理されてもよい。
典型的には、画像ストリームが或るレートで正常に表示される場合、一実施例によって表示される別々の画像ストリームは、そのスピードの半分で各々表示され得る。したがって、画像ストリームが毎秒20フレームで表示され得る場合、2つのストリームの各々は毎秒10フレームで表示され得る。そのような場合、毎秒同じ数の全フレームが表示されるが、ユーザは2倍多くの情報を2倍長く見ることができる。画像ストリームに対する合計の表示時間は元々の画像ストリームのものと同じであるが、各フレームはより長い時間ユーザに表示される。別の例では、ユーザが1つのレートで単一の画像ストリームを快適に見ている場合、第2のストリームを加えることによって、ユーザは各フレームが表示される時間を低減することなく全体の検査率を大きくすることができる。代替の実施例では、画像ストリームが1つの画像ストリームとして表示されるときとそれが複数のストリームとして表示されるときとの表示レートの間の関係は異なることがあり、たとえば、結果
として生じる複数の画像ストリームは元々の画像ストリームと同じレートで表示され得る。
例示的な実施例では、ユーザは、キーストロークまたは画面上のボタンなどの制御を使用して、画像を1つのストリームとして見るのと、画像を複数のストリームとして見るのとの間でモードを切換えることができる。ユーザは、たとえば、画面上の制御を使用して、単一のストリームの制御と同様に複数のストリームを制御してもよい。代替の実施例では、1つのモードのみがユーザに与えられ得る。図2は、この発明の或る実施例による表示の部分を示す。図2を参照すると、ディスプレイ300は複数画像ストリームモードである。ディスプレイ300は、たとえば、画像モニタ18上に表示されてもよい。典型的には、ディスプレイ300は画像ストリームを表示するための画像ウインドウ302および302′のセット、ならびに制御304のセットを含む。制御304は、たとえば、トグル制御306を含み、ユーザが複数画像ストリームモードと単一画像ストリームモードとの間をトグルできるようにしてもよい。制御304は、たとえば、一時停止、停止、再生、早送り、逆進等の従来の映像制御を含み得る。典型的な実施例では、システムが複数画像ストリームモードである場合、制御304はすべての画像ストリームに同時に作用し、代替の実施例では、他の方法を使用してもよく、たとえば、制御304は単一の画像ストリームに作用してもよい。
図2に示されるように、2つの画像ストリームが表示される。典型的には、いずれかの一時点において、各画像ストリーム内の画像は実質的に隣接し、隣接する画像は典型的には類似であり、かつ各画像ストリームは同期して表示されるため(たとえば、同じまたは類似のフレーム番号を有するフレームは各々に対して表示される)、ウインドウ302および302′に表示される画像は実質的に類似である。典型的には、複数の画像ストリームを見ているユーザは、自分の視界の中心を画像ストリームの間の点、たとえば、点308に向ける。典型的には、点308はモニタ18には表示されず(しかしされ得る)、点308は例示のために図2に含まれる。ユーザはそのようにして画像ストリームについての関連情報を吸収することができるが、そのように見るには訓練期間を要することがある。たとえば、画像ストリームはGI管のものであり、ユーザは、たとえば、点308を注視することによって画像ウインドウのセットから病変に関する情報を吸収してもよい。
代替の実施例では、異なる画像ストリームを異なる構成で画像画面に位置付けてもよい。たとえば、水平ではなく、画像ストリームは垂直または対角線状に配置されてもよい。さらに別の実施例では、異なる数の画像ストリームを表示してもよい。たとえば、3つの画像ストリームが同時に表示される場合、元々のストリームのフレーム1、2および3を表示し、次にフレーム4、5および6等を表示してもよい。さらに別の実施例では、隣接するフレームは表示される必要がなく、フレームはここで述べる特定のパターンを表示しなくてもよい。たとえば、あるフレームは省略されてもよく、フレーム1および6を表示し、次にフレーム3および8等を表示してもよい。ごく隣接するのではなく実質的に隣接するフレーム(たとえば、フレーム1および5)は同時に表示されてもよい。異なる画像ストリームのフレームは同時に表示される必要はなく、フレームは異なる時間に、または独立して表示されてもよい。
さまざまな方法を使用して、元々の画像ストリームを1つまたは複数の二次的な画像ストリームに分離し表示してもよい。一実施例では、元々の画像からの画像は、単に観察時に適切な画面位置に向けられ、画像ストリームは実際には分離されない。代替の実施例では、画像は異なるファイルまたはメモリブロックに位置付けられて分離されてもよい。一実施例では、結果として生じる各画像ストリームは、元々の画像ストリームからの画像の別々のサブセットを含み、代替の実施例では、結果として生じる各画像ストリームからの画像は、重なってもよい。サブセットの画像ストリームは、異なる実施例では元々の画像
ストリームからの異なる画像を含んでもよい。
この発明の或る実施例では、2つ以上の画像ストリームを収集してもよい。たとえば、生体内の媒介物は、イメージャまたはレンズシステムを媒介物上の2つ以上の場所に含めることによって、複数の画像ストリームを収集する2つ以上のイメージャ(または1つのイメージャ)を含んでもよい。カプセル40は2つ以上のイメージャ46を含んでもよい。イメージャ46は、たとえば、カプセル40のどちらかの端部、またはカプセルの同じ端部に僅かに異なる場所または異なる角度で配置してもよい。複数のイメージャを含むカプセルは、たとえば、国際公開番号WO 02/054932に説明されており、これはこの出願と同じ譲受人に譲渡されている。各イメージャ46は、画像を捕捉し、送信機41または別の送信機を介して画像を転送してもよい。典型的には、各イメージャ46は関連付けられる光学システムを有する。そのような場合、この発明のシステムおよび方法の或る実施例は、各画像ストリームを同時に表示してもよく、観察画面に表示される各画像は、概して同じ時に捕捉されている。一実施例では、イメージャの各々からの画像は、実質的に同時に表示することができるため、異なるイメージャからの画像ストリームを同時に精査することができる。別の実施例では、各イメージャからの画像ストリームをいくつかのサブセットの画像ストリームに分け、1つまたは複数のイメージャに対するサブセットの画像ストリームを実質的に同時に示してもよい。たとえば、1つのサブセットの画像ストリームは1つおきに画像フレームを含み、第2のサブセットのストリームが1つおきに連続する画像フレームを含んでもよい(たとえば、第1のサブセットはフレーム1、3、5等を含み、第2のサブセットはフレーム2、4、6等を含む)。典型的には、そのような場合、画像はマトリックスの形で示され得るため、各列は単一のイメージャからのフレームを表示し、各行は異なるイメージャからのフレームを表示してもよい。またはこれに代えて、各行は単一のイメージャからのフレームを表示し、各列は異なるイメージャからのフレームを表示してもよい。さらに別の実施例では、画像ストリームは、実質的に隣接するフレームに基づくのではなく、セクションに分けられるかまたは分割される。たとえば、画像ストリームは第1のセクションおよび第2のセクションに分けられてもよく、第1および第2のセクションは連続している。2つのセクションは同時に表示されてもよい。より多くのセクションまたは区画が作られてもよい。
例示的な実施例では、ウインドウまたは視覚エリアは、画像間に最低限のブランクまたはブランク空間を備えて互いに近くにあり、典型的には水平に並んでおり、観察者は実質的に目を動かすことなく画像の全体を見ることができる。画像は変形されて(たとえば、円錐、楕円または長円の形状のフィールドに表示して)それらの間の空間がさらに低減されてもよい。画像は対称に表示されてもよい。たとえば、画像は同じ水平面に表示されてもよい。1つの画像を逆転させて鏡像として提示してもよく、画像は他の態様で変更を加えられた配向を有してもよく、または画像は対称性を大きくさせるために他の態様で処理されてもよい。典型的には、画像(たとえば、興味またはズームの領域)を操作する、ユーザに利用可能なツールは、同時に表示されるすべての画像に同一の効果を有する。各画像は異なる事後処理を用いて表示されてもよい。たとえば、1つの画像に或るフィルタリングまたは操作(たとえば、赤または緑のフィルタリング、コントラスト強化、輝度の変更)を行ない、他方の画像に異なるフィルタリングまたは操作を行なうか、もしくはフィルタリングまたは操作を行なわなくてもよい。
別の実施例では、静止画像を画像ストリームに実質的に隣接して表示できるため、画像ストリームは観察中に静止画像と容易に比較することができる。さらに別の実施例では、イメージャから入手された画像ストリームは、超音波、温度および/またはpHイメージャから入手された画像ストリームと実質的に同時に、そして実質的に隣接して表示される。異なる種類のイメージャからの画像ストリームまたは単一の画像を実質的に同時に表示することで、異常および/または病変を示し得るフレームにユーザの注意を引く助けとな
り得る。
このセクションの始まりに戻る。代替の実施例では、この発明のシステムおよび方法は、別のフォーマットを有する画像ストリーム、カプセル以外の代替のソースからの画像ストリーム、およびGI管以外のサイトからの画像を含む画像ストリームで作動してもよい。
この発明の実施例は、実質的に同時に表示される画像のセット内の各画像がストリーミングされるレートを低減することによって、元々のストリームのレートを低減することなく、画像ストリームをジッターが少なくより滑らかな動画として見えるようにする。場合によっては、同時に表示される画像が或る態様で異なる場合、観察者は病変またはその他の状況をより容易に見つけることができる。
この発明の或る実施例によると、画像ストリームを見るための方法は、元々の画像ストリームを複数の画像ストリームとして表示するステップを含む。この発明の一実施例による方法を概略的に示す図3を参照する。一実施例によると、画像の元々のストリームは、たとえば、GI管を横断しつつGI管の画像を獲得する画像化カプセルによって入手される画像を使用して入手される(ステップ310)。元々の画像ストリームは複数のサブセットの画像ストリームに分けられ(ステップ320)、各サブセットは元々の画像ストリームの少なくとも部分を含む。一実施例によると、元々のストリーム内で連続するかまたは隣接するフレームは別々のストリームで対応するフレームになる(たとえば、各対応するストリームの第1のフレーム、各対応するフレームの第2のフレーム)。2つの結果として生じるストリームが表示されるとき、元々のストリームからのフレーム1および2が並べて表示され、次にフレーム3および4等が表示されてもよい。サブセットのストリームは、典型的には観察および/または分析するため、たとえば、GI管内の病変を検出するため、実質的に同時にディスプレイに表示されることが好ましい(ステップ330)。この発明の一実施例では、メインの表示エンジンは(次の画像ではなく)実質的に同じ時に表示される2つの次の画像を選択するようにプログラムされ、表示ウインドウは、次の2つの画像が表示エンジンから選択されるまで、それら2つの画像を実質的に同じ時に表示する。
この発明のシステムおよび方法の一実施例では、画像ストリームは、ジッタを低減し、表現を滑らかにし、かつ画像ストリームをより心地よく容易に見ることができるようにユーザに表示される。そのような実施例では、付加的な中間の画像が形成され、そして画像ストリーム間に挿入され、中間の画像は、隣接するかまたは実質的に隣接する画像の組合せから形成される。一実施例では、組合せは、隣接する画像をモーフィングまたは平均化することによって作られるため、結果として生じる付加的な画像は、動く画像ストリームの一部として見られると、時間において2つの元々の画像のほぼ中間である。代替の実施例では、画像を組合せる他の方法を使用してもよい。一実施例では、ドイツのDynaPelによって提供されるMotionPerfect(登録商標)ソフトウェアで使用されるような合成方法を使用してもよい。そのような方法は、動く画像ストリームからの動きの情報を使用して、付加的な画像フレームのためにデータを補間する。
この発明のシステムおよび方法は、画像ストリームを効率的かつ短時間で観察するのを可能にする。
当業者には、この発明はここに具体的に図示されかつ説明されるものによって限定されないことが理解されるであろう。この発明の範囲は特許請求の範囲によって規定される。
この発明の一実施例による生体内の画像化システムの概略図である。 この発明の或る実施例によるディスプレイの部分の図である。 この発明の或る実施例による画像ストリームを見るための方法のフローチャートである。

Claims (1)

  1. 嚥下可能カプセルによって取得された画像ストリームを表示する方法であって、
    前記方法が、
    前記嚥下可能カプセルから受信した画像からオリジナル画像ストリームを生成し、
    複数の連続タイムスロットにわたる前記オリジナル画像ストリームから画像を表示し、
    各タイムスロットにおいて、前記オリジナル画像ストリームからの1組の連続画像が表示されて、前記1組の各画像が同じ時間に表示されるようになっており、
    各タイムスロットにおいて表示される前記1組の連続画像は、前記オリジナル画像ストリームにおいて、直前のタイムスロットにおける前記連続画像に直接連続しており、
    これによって、前記オリジナル画像ストリームを画像表示時間を減少させることなく観測できる速度を増大することを特徴とする方法。
JP2003568895A 2002-02-12 2003-02-12 画像ストリームを表示するためのシステムおよび方法 Expired - Fee Related JP4234605B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US35579602P 2002-02-12 2002-02-12
PCT/IL2003/000110 WO2003069913A1 (en) 2002-02-12 2003-02-12 System and method for displaying an image stream

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006160094A Division JP4515414B2 (ja) 2002-02-12 2006-06-08 画像ストリームを表示するためのシステムおよび方法

Publications (3)

Publication Number Publication Date
JP2005518160A JP2005518160A (ja) 2005-06-16
JP2005518160A5 JP2005518160A5 (ja) 2007-04-05
JP4234605B2 true JP4234605B2 (ja) 2009-03-04

Family

ID=27734562

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2003568895A Expired - Fee Related JP4234605B2 (ja) 2002-02-12 2003-02-12 画像ストリームを表示するためのシステムおよび方法
JP2006160094A Expired - Fee Related JP4515414B2 (ja) 2002-02-12 2006-06-08 画像ストリームを表示するためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2006160094A Expired - Fee Related JP4515414B2 (ja) 2002-02-12 2006-06-08 画像ストリームを表示するためのシステムおよび方法

Country Status (7)

Country Link
US (1) US7505062B2 (ja)
EP (1) EP1474927B1 (ja)
JP (2) JP4234605B2 (ja)
AT (1) ATE372028T1 (ja)
AU (1) AU2003208583A1 (ja)
DE (1) DE60315953T2 (ja)
WO (1) WO2003069913A1 (ja)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7119814B2 (en) 2001-05-18 2006-10-10 Given Imaging Ltd. System and method for annotation on a moving image
ATE404114T1 (de) 2001-06-18 2008-08-15 Given Imaging Ltd Schluckbare in vivo-erfassungskapsel mit einer starre und flexible abschnitte aufweisenden leiterplatte
US9113846B2 (en) 2001-07-26 2015-08-25 Given Imaging Ltd. In-vivo imaging device providing data compression
US8428685B2 (en) * 2001-09-05 2013-04-23 Given Imaging Ltd. System and method for magnetically maneuvering an in vivo device
AU2002334354A1 (en) * 2001-09-05 2003-03-18 Given Imaging Ltd. System and method for three dimensional display of body lumens
US7474327B2 (en) 2002-02-12 2009-01-06 Given Imaging Ltd. System and method for displaying an image stream
US8022980B2 (en) 2002-02-12 2011-09-20 Given Imaging Ltd. System and method for displaying an image stream
US7106367B2 (en) * 2002-05-13 2006-09-12 Micron Technology, Inc. Integrated CMOS imager and microcontroller
WO2004028336A2 (en) * 2002-09-30 2004-04-08 Given Imaging Ltd. Reduced size imaging device
US8449452B2 (en) * 2002-09-30 2013-05-28 Given Imaging Ltd. In-vivo sensing system
US7866322B2 (en) 2002-10-15 2011-01-11 Given Imaging Ltd. Device, system and method for transfer of signals to a moving device
US20080045788A1 (en) * 2002-11-27 2008-02-21 Zvika Gilad Method and device of imaging with an in vivo imager
WO2004059568A1 (en) * 2002-12-26 2004-07-15 Given Imaging Ltd. In vivo imaging device and method of manufacture thereof
JP3810381B2 (ja) * 2003-04-25 2006-08-16 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
WO2004096008A2 (en) * 2003-05-01 2004-11-11 Given Imaging Ltd. Panoramic field of view imaging device
IL162740A (en) * 2003-06-26 2010-06-16 Given Imaging Ltd Device, method and system for reduced transmission imaging
US7604589B2 (en) * 2003-10-01 2009-10-20 Given Imaging, Ltd. Device, system and method for determining orientation of in-vivo devices
JP4009581B2 (ja) * 2003-11-18 2007-11-14 オリンパス株式会社 カプセル型医療システム
US8164672B2 (en) * 2003-12-31 2012-04-24 Given Imaging Ltd. System and method for displaying an image stream
US8454496B2 (en) * 2004-03-18 2013-06-04 Xiaoxun Zhu Capsule endoscope with flexible printed circuit board
US20050215876A1 (en) * 2004-03-25 2005-09-29 Eastman Kodak Company Method and system for automatic image adjustment for in vivo image diagnosis
US20050288595A1 (en) * 2004-06-23 2005-12-29 Ido Bettesh Device, system and method for error detection of in-vivo data
US7336833B2 (en) * 2004-06-30 2008-02-26 Given Imaging, Ltd. Device, system, and method for reducing image data captured in-vivo
US7643865B2 (en) * 2004-06-30 2010-01-05 Given Imaging Ltd. Autonomous in-vivo device
US20060015013A1 (en) * 2004-06-30 2006-01-19 Zvika Gilad Device and method for in vivo illumination
WO2006003650A2 (en) * 2004-06-30 2006-01-12 Given Imaging Ltd. In-vivo sensing system device and method for real time viewing
US9968290B2 (en) * 2004-06-30 2018-05-15 Given Imaging Ltd. Apparatus and methods for capsule endoscopy of the esophagus
JP2006020971A (ja) * 2004-07-09 2006-01-26 Olympus Corp カプセル型医療システム
JP4885432B2 (ja) * 2004-08-18 2012-02-29 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
US7986337B2 (en) * 2004-09-27 2011-07-26 Given Imaging Ltd. System and method for editing an image stream captured in vivo
US7486981B2 (en) * 2004-11-15 2009-02-03 Given Imaging Ltd. System and method for displaying an image stream
JP4575124B2 (ja) * 2004-11-29 2010-11-04 オリンパス株式会社 画像表示装置
US20060217593A1 (en) * 2005-03-24 2006-09-28 Zvika Gilad Device, system and method of panoramic multiple field of view imaging
IL174531A0 (en) * 2005-04-06 2006-08-20 Given Imaging Ltd System and method for performing capsule endoscopy diagnosis in remote sites
JP4695432B2 (ja) 2005-04-12 2011-06-08 オリンパスメディカルシステムズ株式会社 被検体内導入装置、被検体内情報表示装置、及び被検体内情報取得システム
JP4970737B2 (ja) * 2005-04-14 2012-07-11 オリンパスメディカルシステムズ株式会社 簡易画像表示装置および受信システム
JP5063866B2 (ja) * 2005-04-14 2012-10-31 オリンパスメディカルシステムズ株式会社 画像表示装置
JP2006296882A (ja) * 2005-04-22 2006-11-02 Olympus Medical Systems Corp 画像表示装置
JP4418400B2 (ja) 2005-05-20 2010-02-17 オリンパスメディカルシステムズ株式会社 画像表示装置
ATE523862T1 (de) * 2005-09-09 2011-09-15 Given Imaging Ltd Gleichzeitiger transfer und bearbeitung und echtzeit-betrachtung von in-vivo-bildern
JP5096676B2 (ja) * 2005-12-26 2012-12-12 オリンパス株式会社 生体内画像表示装置及び受信システム
US8043209B2 (en) * 2006-06-13 2011-10-25 Given Imaging Ltd. System and method for transmitting the content of memory storage in an in-vivo sensing device
US20080004532A1 (en) * 2006-06-30 2008-01-03 Kevin Rubey System and method for transmitting identification data in an in-vivo sensing device
US7788600B2 (en) * 2006-08-22 2010-08-31 Harman International Industries, Incorporated User interface for multifunction device
US20080051642A1 (en) * 2006-08-24 2008-02-28 Hagai Krupnik Device, system and method of displaying in -vivo images at variable rate
WO2008030482A2 (en) 2006-09-06 2008-03-13 Innurvation Inc System and method for acoustic information exchange involving an ingestible low power capsule
KR100864945B1 (ko) 2007-06-21 2008-10-30 주식회사 인트로메딕 영상정보 처리장치의 정보처리 방법
JP4590444B2 (ja) * 2007-09-13 2010-12-01 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP4663698B2 (ja) * 2007-09-13 2011-04-06 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
US20100268025A1 (en) * 2007-11-09 2010-10-21 Amir Belson Apparatus and methods for capsule endoscopy of the esophagus
JP5156427B2 (ja) * 2008-02-13 2013-03-06 富士フイルム株式会社 カプセル内視鏡システム
US20090278921A1 (en) * 2008-05-12 2009-11-12 Capso Vision, Inc. Image Stabilization of Video Play Back
US9538937B2 (en) 2008-06-18 2017-01-10 Covidien Lp System and method of evaluating a subject with an ingestible capsule
WO2010005571A2 (en) 2008-07-09 2010-01-14 Innurvation, Inc. Displaying image data from a scanner capsule
JP2010035637A (ja) 2008-07-31 2010-02-18 Olympus Medical Systems Corp 画像表示装置およびこれを用いた内視鏡システム
JP5215105B2 (ja) 2008-09-30 2013-06-19 オリンパスメディカルシステムズ株式会社 画像表示装置、画像表示方法、および画像表示プログラム
US8744231B2 (en) * 2008-10-07 2014-06-03 Intromedic Method of displaying image taken by capsule endoscope and record media of storing program for carrying out that method
US8516691B2 (en) 2009-06-24 2013-08-27 Given Imaging Ltd. Method of assembly of an in vivo imaging device with a flexible circuit board
US8812538B2 (en) * 2010-01-29 2014-08-19 Wendy Muzatko Story generation methods, story generation apparatuses, and articles of manufacture
US8682142B1 (en) 2010-03-18 2014-03-25 Given Imaging Ltd. System and method for editing an image stream captured in-vivo
CN106923779A (zh) 2010-04-28 2017-07-07 基文影像公司 用于显示体内图像部分的系统和方法
KR101735612B1 (ko) * 2010-08-16 2017-05-15 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101180009B1 (ko) 2010-11-26 2012-09-06 주식회사 인트로메딕 내시경 장치 및 그의 영상데이터 처리 방법
US8873816B1 (en) 2011-04-06 2014-10-28 Given Imaging Ltd. Method and system for identification of red colored pathologies in vivo
JP6342390B2 (ja) 2012-06-29 2018-06-13 ギブン イメージング リミテッドGiven Imaging Ltd. 画像ストリームを表示するシステムおよび方法
US9324145B1 (en) 2013-08-08 2016-04-26 Given Imaging Ltd. System and method for detection of transitions in an image stream of the gastrointestinal tract
CN105451631B (zh) 2013-08-29 2018-05-18 基文影像公司 用于操纵线圈功率优化的系统和方法
WO2015087332A2 (en) 2013-12-11 2015-06-18 Given Imaging Ltd. System and method for controlling the display of an image stream
US9183641B2 (en) 2014-02-10 2015-11-10 State Farm Mutual Automobile Insurance Company System and method for automatically identifying and matching a color of a structure's external surface
DE102015215513A1 (de) 2015-08-13 2017-02-16 Avl List Gmbh System zur Überwachung einer technischen Vorrichtung

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4243652A (en) * 1978-07-14 1981-01-06 The Procter & Gamble Company Gastrointestinal scanning agent
JPS5519124A (en) 1978-07-27 1980-02-09 Olympus Optical Co Camera system for medical treatment
JPS5745833A (en) 1980-09-01 1982-03-16 Taeko Nakagawa Stomack camera
US5993378A (en) 1980-10-28 1999-11-30 Lemelson; Jerome H. Electro-optical instruments and methods for treating disease
DE3440177A1 (de) 1984-11-02 1986-05-15 Friedrich Dipl.-Ing. 8031 Eichenau Hilliges Fernseh-aufnahme- und -wiedergabeeinrichtung zur endoskopie an menschlichen und tierischen koerpern
US4698664A (en) 1985-03-04 1987-10-06 Apert-Herzog Corporation Audio-visual monitoring system
JPH0761309B2 (ja) * 1987-03-03 1995-07-05 オリンパス光学工業株式会社 内視鏡装置
JP2750151B2 (ja) * 1989-04-27 1998-05-13 オリンパス光学工業株式会社 画像記録検索表示装置
US5697885A (en) * 1989-01-30 1997-12-16 Olympus Optical Co., Ltd. Endoscope for recording and displaying time-serial images
JPH04109927A (ja) 1990-08-31 1992-04-10 Toshiba Corp 電子内視鏡装置
JPH04144533A (ja) 1990-10-05 1992-05-19 Olympus Optical Co Ltd 内視鏡
US5381784A (en) 1992-09-30 1995-01-17 Adair; Edwin L. Stereoscopic endoscope
US5603687A (en) 1992-10-28 1997-02-18 Oktas General Partnership Asymmetric stereo-optic endoscope
IL108352A (en) * 1994-01-17 2000-02-29 Given Imaging Ltd In vivo video camera system
US6173317B1 (en) 1997-03-14 2001-01-09 Microsoft Corporation Streaming and displaying a video stream with synchronized annotations over a computer network
US6240312B1 (en) 1997-10-23 2001-05-29 Robert R. Alfano Remote-controllable, micro-scale device for use in in vivo medical diagnosis and/or treatment
GB9802415D0 (en) * 1998-02-05 1998-04-01 Danmere Limited Storage tape control system
JP2000047651A (ja) 1998-07-29 2000-02-18 Mitsubishi Electric Corp 映像再生装置
IL126727A (en) 1998-10-22 2006-12-31 Given Imaging Ltd A method of bringing a device to the goal
US6208354B1 (en) * 1998-11-03 2001-03-27 Ati International Srl Method and apparatus for displaying multiple graphics images in a mixed video graphics display
US6408128B1 (en) * 1998-11-12 2002-06-18 Max Abecassis Replaying with supplementary information a segment of a video
US6504990B1 (en) * 1998-11-12 2003-01-07 Max Abecassis Randomly and continuously playing fragments of a video segment
US8636648B2 (en) 1999-03-01 2014-01-28 West View Research, Llc Endoscopic smart probe
JP2001209785A (ja) 1999-11-19 2001-08-03 Fujitsu Ltd 画像処理装置、画像処理方法、および画像処理プログラム記憶媒体
US6976229B1 (en) * 1999-12-16 2005-12-13 Ricoh Co., Ltd. Method and apparatus for storytelling with digital photographs
JP4573393B2 (ja) 2000-01-06 2010-11-04 オリンパス株式会社 画像表示装置
IL134017A (en) 2000-01-13 2008-04-13 Capsule View Inc Camera for photography inside the intestines
US20010015753A1 (en) 2000-01-13 2001-08-23 Myers Kenneth J. Split image stereoscopic system and method
KR100800040B1 (ko) 2000-03-08 2008-01-31 기븐 이미징 리미티드 체내 촬상용 캡슐
IL156961A0 (en) 2001-01-16 2004-02-08 Given Imaging Ltd System and method for wide field imaging of body lumens
IL157892A0 (en) * 2001-03-14 2004-03-28 Given Imaging Ltd Method and system for detecting colorimetric abnormalities
IL143260A (en) * 2001-05-20 2006-09-05 Given Imaging Ltd Array and method for locating an intra-body signal source
US20030086596A1 (en) 2001-11-07 2003-05-08 Medical Metrics, Inc. Method, computer software, and system for tracking, stabilizing, and reporting motion between vertebrae
IL153510A0 (en) * 2001-12-18 2003-07-06 Given Imaging Ltd Device, system and method for capturing in-vivo images with three-dimensional aspects
US7474327B2 (en) * 2002-02-12 2009-01-06 Given Imaging Ltd. System and method for displaying an image stream
JP3810381B2 (ja) 2003-04-25 2006-08-16 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
WO2004100776A1 (ja) 2003-05-14 2004-11-25 Olympus Corporation カプセル型医療装置
US8164672B2 (en) 2003-12-31 2012-04-24 Given Imaging Ltd. System and method for displaying an image stream
US7228981B2 (en) 2004-11-22 2007-06-12 Graham Packaging Company, Lp Blow-molded hourglass container with helical rib and method of manufacture

Also Published As

Publication number Publication date
JP2006305369A (ja) 2006-11-09
EP1474927A1 (en) 2004-11-10
DE60315953T2 (de) 2008-05-21
AU2003208583A1 (en) 2003-09-04
EP1474927A4 (en) 2006-08-30
WO2003069913A1 (en) 2003-08-21
JP4515414B2 (ja) 2010-07-28
EP1474927B1 (en) 2007-08-29
DE60315953D1 (de) 2007-10-11
ATE372028T1 (de) 2007-09-15
JP2005518160A (ja) 2005-06-16
US7505062B2 (en) 2009-03-17
US20030151661A1 (en) 2003-08-14

Similar Documents

Publication Publication Date Title
JP4234605B2 (ja) 画像ストリームを表示するためのシステムおよび方法
US10070777B2 (en) System and method for displaying an image stream
EP1699530B1 (en) System and method for displaying an image stream
JP4971615B2 (ja) 生体内でキャプチャされた画像ストリームを編集するシステムおよび方法
US7119814B2 (en) System and method for annotation on a moving image
JP5227496B2 (ja) 生体内画像表示システム及びその作動方法
US8022980B2 (en) System and method for displaying an image stream
US20110085022A1 (en) System and method for multiple viewing-window display of capsule images
EP1853066B1 (en) System and method for displaying an image stream
WO2007077554A2 (en) System and method for displaying an image stream

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060608

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061129

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20061129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20061129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070216

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20070706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070903

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071203

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080104

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20080208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080421

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080722

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080729

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080821

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080828

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080922

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081211

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4234605

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131219

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees