JP6737937B2 - 表示装置の製造上のばらつき及び設計上の欠陥を補償する方法 - Google Patents

表示装置の製造上のばらつき及び設計上の欠陥を補償する方法 Download PDF

Info

Publication number
JP6737937B2
JP6737937B2 JP2019140736A JP2019140736A JP6737937B2 JP 6737937 B2 JP6737937 B2 JP 6737937B2 JP 2019140736 A JP2019140736 A JP 2019140736A JP 2019140736 A JP2019140736 A JP 2019140736A JP 6737937 B2 JP6737937 B2 JP 6737937B2
Authority
JP
Japan
Prior art keywords
image
data
color component
display
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019140736A
Other languages
English (en)
Other versions
JP2020003801A (ja
Inventor
カン—フアイ・ワン
カン―フアイ・ワン
ゴードン・ウィルソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capso Vision Inc
Original Assignee
Capso Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/835,497 external-priority patent/US10499029B2/en
Application filed by Capso Vision Inc filed Critical Capso Vision Inc
Publication of JP2020003801A publication Critical patent/JP2020003801A/ja
Application granted granted Critical
Publication of JP6737937B2 publication Critical patent/JP6737937B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8045Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using predictive coding
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/04Maintaining the quality of display appearance
    • G09G2320/041Temperature compensation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Description

本発明は、製造プロセスにおけるばらつきを補償するための方法に関する。本発明は特に、当該方法の光学機器に対する適用に関する。
カプセルカメラは、胃腸(GI)管を検査するための効果的で最少侵襲性の方法であることが分かっている。嚥下可能カプセルカメラの一例は、イスラエル国防衛省に付与された米国特許第5,604,531号明細書(特許文献1)に記載されている。ギブン・イメージング社を譲受人とする多くの特許に、カメラによって撮像されたイメージを外部の受信器に送信する送信器を使用するカプセルカメラシステムがより詳細に記載されている。他のカプセルカメラの例として、米国特許第6,709,387号明細書(特許文献2)及び米国特許第6,428,469号明細書(特許文献3)に記載のものが挙げられる。またこの他、オリンパス株式会社に付与されたカプセルカメラに関する特許も存在する。例えば、米国特許第4,278,077号明細書(特許文献4)は、胃のために設計されたカプセル中のフィルムカメラを開示している。米国特許第6,939,292号明細書(特許文献5)は、バッファメモリと送信器を備えたカプセルカメラを開示している。また米国特許第6,800,060号明細書(特許文献6)は、原子分解能記憶(ARS)デバイスにイメージデータを記憶するカプセルカメラを開示している。
現在では、種々の電子技術における進歩をカプセルカメラに組み込むことができる。例えば、LEDは、コンパクトで低消費電力の光源を提供する。CMOSイメージセンサは、構成部品の個数及び消費電力を低減させる。集積回路ジオメトリの更なる小型化により、SOC(システム・オン・チップ)技術の使用が可能となり、これによりカプセルカメラのサイと消費電力が低減する。しかし、サイズの小型化は、製造公差の限界を極めるものとなる。例えば、半導体イメージセンサの製造プロセスは、その本来の性質として、ロット毎、ウエハ毎、及びダイ毎のばらつきのみならず、ダイの内部のピクセル毎のばらつきを有する。デジタルイメージデータを供給するためのセルに格納された電荷を検知するアナログ回路でさえ、ダイ内部の位置によってばらつきがある。加えて、LEDは、その光スペクトラム及び強度にばらつきがあることが知られている。また、光はレンズの縁部より中心をより多く通過するので、高い光強度がイメージの縁部より中心に与えられることになる。また、レンズが同一の成形体から製造された場合ですらレンズ毎のばらつきもある。
別の例そちしては、カプセルカメラの照明源が、わずか2〜3センチメートル離れたところから対象物を照射する結果、対象物が不均一な光強度を受けることが挙げられる。更に、LED光が通過するようにカプセルハウジングに設けられる透明なウィンドウは、完全に透明ではない。したがって、カプセル内の光源(例えばLED)がオン状態にされると、透明なウィンドウはカメラの視野内の光の一部を光源及びイメージセンサ側に反射してしまう。
カプセルカメラは、外科医が患者のGI管を検査可能とすることを意図したものであるので、その精度とイメージの質は、非常に重要である。
米国特許第5604531号明細書 米国特許第6709387号明細書 米国特許第6428469号明細書 米国特許第4278077号明細書 米国特許第6939292号明細書 米国特許第6800060号明細書
本発明の一実施形態によれば、表示装置が、(a)受け取られた入力イメージデータを補償するための補正用データを含む不揮発性メモリと、(b)イメージを表示するためのディスプレイハードウェアと、(c)前記入力イメージデータに基づいて、前記不揮発性メモリから前記補正用データを取り出し、その補正用データを前記入力イメージデータの各ピクセルの各色成分に適用した後に、前記ディスプレイハードウェアで表示するためのデータ信号を生成するイメージ処理回路とを含む。
本発明の一実施形態によれば、前記不揮発性メモリにおける前記補正用データは、前記ディスプレイハードウェアの各ピクセルの各色成分の強度を検出する診断システムによって、製造中の較正ステップで生成されたデータである。前記診断システムは、各ピクセルの色及び強度の決定のためのセンサを有し、表示可能な色の全範囲のために設計された標準化カラーパターンをイメージとして用いて前記各ピクセルの色成分の強度を決定し得る。前記較正は、前記ディスプレイハードウェアによって表示される各ピクセルの各色要素の強度の範囲にわたって前記入力イメージデータを補償することを可能にする校正用データを提供する。前記診断システムは、前記ディスプレイハードウェアにおける動作温度を測定するための温度計を更に有し、前記補正用データは、補正用のモデルのパラメータの値に対応し、各ピクセルの各色成分の補償値は、対応する受け取られた前記入力イメージデータ及び前記温度計で測定された温度に基づいて前記補正用のモデルから生成され、前記モデルは、入力値及び温度の線形関数または多項式関数を含む。
本発明の一実施形態によれば、前記表示装置は、前記ディスプレイハードウェアにおける動作温度を測定するための温度計を更に有する。その実施形態においては、前記補正用データが、測定された温度に部分的に基づいて前記入力イメージデータの補正を可能にする。
本発明によれば、前記補正用データは、あらゆる適切な形式で格納され得る。例えば、一実施形態では、前記補正用データは、テーブル形式で前記不揮発性メモリに格納される。その場合、前記補正用データは、前記入力イメージデータにおける対応する値に置き換わる補正された値に対応する。或いは、前記補正用データは、受け取られた前記入力イメージデータにおける対応する値に適用される補償値に対応し得る。別の例として、前記補正用データは、入力イメージデータの予め定められた値のための補正用値に対応し得る。その場合、受け取られた前記入力イメージデータの補正用値は、前記予め定められた値のための補正用値から補間または外挿される。更に別の例として、前記補正用データは、入力イメージデータの予め定められた値及びモデルのパラメータの値のための補正用値に対応し得る。その例では、受け取られた前記入力イメージデータの補正用値は、前記予め定められた値のための補正用値に基づいて前記パラメータの値から生成される。本発明の一実施形態によれば、前記補正用データは、対応する受け取られた前記入力イメージデータに基づいて生成される補正用値からのモデルのパラメータの値に完全に対応し得る。前記モデルは、線形関数または多項式関数等の任意の適切な関数であり得る。
本発明の一実施形態によれば、格納された前記補正用データは、補正用値であって、その各々が前記ディスプレイハードウェアのそれぞれ隣接するピクセルからなる多数の特定のグループのなかの1つのグループに適用可能である、該補正用値のみを含む。その場合、各補正用値は、対応する隣接するピクセルのグループの各ピクセルに適用される。
本発明は、アナログドメインとともに、デジタルドメインにおける製造上のばらつきの補正に適用可能である。
本発明の一実施形態によれば、製造上のばらつきに対して表示装置に受け取られる入力イメージデータを補正する方法が、(a)前記表示装置のディスプレイハードウェアの各ピクセルにおける各色成分の強度を検出する診断システムによって、製造中の較正ステップで補正用データを生成するステップと、(b)前記表示装置における不揮発性メモリに前記補正用データを格納するステップとを含み、(c)前記ステップの後に、更に(i)前記不揮発性メモリから前記補正用データ取り出すステップと、(ii)受け取られた前記入力イメージデータにおける各ピクセルに前記補正用データを適用するステップと、(iii)補正された前記入力イメージデータに基づいて、前記ディスプレイハードウェアのためのデータ信号を生成するステップを含む。
本発明は、カプセルカメラにおいてのみに適用されるものではない。本発明は、一般にカメラ及び表示装置に適用可能である。
本発明は、後述のより詳細な説明を添付の図面とともに参照することで一層良く理解されよう。
GI管におけるカプセルカメラの一例を示す図である。 本発明の一実施形態による、カプセルカメラにおけるカプセル毎のばらつき及び設計の不完全性を特性化する方法を示す図である。 本発明の一実施形態による、カプセルカメラがそれ自身の照明の下でカプセル毎のばらつき及び設計の不完全性を特性化する方法を示す図である。 本発明の一実施形態による、上述の特性化手順を用いてカプセルカメラを使用する方法を示す図である。 図4に関連付けて説明した本発明の実施形態の代替的実施形態を示す図である。 図4に関連付けて説明した本発明の実施形態の代替的実施形態を示す図である。 カプセルカメラのレンズシステム等の光学システムによって生成されたイメージのフットプリントと、イメージセンサアレイとの間の位置合わせを示す図である。 LEDの放射パターンのランバート曲線(角度による輝度)を示す図である。 LEDの角度に対する輝度を示す図である。 レンズの格子歪み図である。 本発明の一実施形態による、デジタルドメインでのピクセル値を補償するために設けられる、表示装置1100内の構造を示す図である。 本発明の一実施形態による、アナログドメインでのピクセル値を補償するために設けられる、表示装置1200内の構造を示す図である。
図1は、GI管における例示的なカメラを示す。図1に示すように、嚥下可能カプセルカメラシステム01が、例えば大腸、小腸、食道、または胃である人体の管腔00内に存在しているところが示されている。カプセルカメラシステム01は、人体内にある間に完全に自律的であり、その全ての要素は、防湿バリアを提供し体液から内部要素を保護するカプセルハウジング10に封入されている。カプセルハウジング10は、管腔の壁を照射するべく、照明システム12の発光ダイオード(LED)(複数可)からの光が、カプセルハウジング10の壁を通過できるようにし、かつ管腔00の壁から分散された光が、カプセルカメラ内に収集されてイメージ化されることを可能とするものである。カプセルハウジング10は、カプセルハウジング10内部の異物が直接接触しないように管腔00を保護する役目も果たす。カプセルハウジング10は、容易に嚥下可能で、後にGI管を効率的に通過できるような形状にされる。一般的に、カプセルハウジング10は、滅菌され、非毒性の材料から作られ、管腔内に留まってしまう可能性を最小化するのに十分な滑らかさを有している。
図1に示すように、カプセルカメラシステム01は、照明システム12と、光学システム14およびイメージセンサ16を備えるカメラとを備えている。イメージセンサ16によって撮像されたイメージはイメージプロセッサ18によって処理され得るが、このイメージプロセッサ18は、例えばカメラの光学的視野内のGI管の部分に対してカプセルが移動しているか否かの判定等の種々のイメージ処理機能を実施する。イメージプロセッサ18は、デジタル信号プロセッサ(DSP)または中央処理装置(CPU)によって実現され得る。イメージプロセッサ18は、1以上の部分的フレームバッファを有し得る。カプセルが回収された後に、身体の外部のドッキングステーションまたはワークステーションで出力ポート28を通してイメージを取り出すことができるように、半導体非揮発アーカイブメモリ20が設けられ得る。アーカイブメモリ20のイメージは、データ圧縮モジュール22を用いて圧縮状態で格納され得る。(データ圧縮モジュール22は、ハードウェアで、またはイメージプロセッサ18上で動作するソフトウェアで実現され得る。)カプセルカメラシステム01は、電池式電源24によって電力供給される。カプセルカメラシステム01は、蠕動によってGI管を通して前進され得る。
照明システム12はLEDによって実現され得る。図1では、LED(複数可)はカメラの開口に隣接して配置されているが、他の配置も可能である。光源は、例えば開口の後ろ側に配置されてもよい。レーザダイオード等の他の光源を用いてもよい。或いは、白色光源または2以上の狭波長帯域光源の組み合わせを用いてもよい。一実施形態では、白色LEDが、青色LEDまたは紫色LED等の種々の構成部品と、LED光によって励起されてより長い波長の光を発光する蛍光材料とによって形成され得る。光を通過させるカプセルハウジング10の部分は、生体適合性ガラスまたはポリマーから作製され得る。
複数の屈折、回折、または反射レンズを備えたものであり得る光学システム14は、イメージセンサ16の視野内に管腔00のイメージを提供する。イメージセンサ16、受光した光強度を対応する電気信号に変換する、電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)型センサデバイスを備え得る。イメージセンサ16は、単色応答を有することができ、または(RGBまたはCYM色空間表現を用いた)カラーイメージを撮像可能にするカラーフィルタアレイを備え得る。イメージセンサ16からのアナログ信号は、好ましくは、デジタル処理技術を使用可能にするデジタル信号形態に変換される。そのような変換は、(本実施形態の場合のように)イメージセンサ16の内部、またはカプセルハウジング10内の他の場所に配置されたアナログ−デジタル(A/D)コンバータによって達成され得る。A/Dユニットは、イメージセンサ16とシステム内の残部との間に設けられ得る。LED照明システム12は、イメージセンサ16の動作と同期をとられる。制御モジュール26(図示せず)の機能の1つは、イメージ撮像動作中にLEDを制御することである。
イメージプロセッサ18は、利用可能な限定された記憶スペースを保存するために、イメージが、前のイメージに対する十分な動きを示すときに保持すべきイメージを選択し得る。撮像されたイメージは、オンボード・アーカイブメモリシステム20内に格納され得る。図1に示す出力ポート28は、生体内では動作しないが、カプセルカメラが身体内を通過して回収された後にワークステーションにデータをアップロードする。
LED(複数可)がオン状態にされると、それらの光はカプセルハウジング10の透明ウィンドウを通過して、GI管内の対象物を照射する。これらの対象物からの反射光は透明ウィンドウを通過してレンズ14に達し、このレンズはイメージをイメージセンサ16に集束させる。LEDから発光された光の一部は、破線103に示すように透明ウィンドウ10の表面で反射されてイメージセンサ16に戻される。イメージセンサ16におけるセルアレイの各ピクセルがある程度独特の特性を有するので、イメージセンサ16は、外部から提供された一様な照明条件の下で(カプセルカメラシステム01のLEDはオフにして)、イメージセンサ16のピクセル毎のばらつきを決定するべく特性化される。実際には、これらのピクセルの異なる読み出し値が、ピクセル毎のばらつき及びピクセル値の非一様性に対するレンズの影響の両方を表すことになる。
図2は、本発明の一実施形態による、カプセルカメラのピクセル毎のばらつき及び設計上の不完全性を特性化する方法を示す。図2に示すように、レンズシステム、イメージセンサ、及び送信器またはアーカイブメモリを備えるカプセルカメラを準備する(ステップ201)。次にステップ202では、既知の色、光強度、コントラストまたはパターンの光によって照射される対象物を、レンズシステムの視野に置き、露出させる。次にこれらのイメージを用いて、カプセルカメラシステムを特性化または較正する。そのイメージを、アーカイブメモリに格納するか、送信することができる。その後の時点で(ステップ203)、これらのイメージを用いて、臨床診断の目的で患者から撮像したイメージを較正する。
ピクセル応答性の及びカメラの応答による視野のばらつき(一様な対象物照射がなされている場合でも生ずるセンサ照射における非一様性)を補償する方法の1つは、較正中に一様な色と輝度の視野をカメラに与えることである。次にテストイメージを、この照射条件の下で撮像し、それを用いて全ピクセルの赤成分について平均値ARを得る。特定のピクセルの赤成分信号をPRとする場合、このピクセルの赤成分は、測定されたピクセル値の赤成分に係数A/PRを乗ずることによって、通常の動作中に補償することができる。他の色成分についても同様に補償することができる。(この方法は、他の色空間ドメインの色成分についても同様に適用することができる。)
カプセルカメラ自身による照射(例えば照明システム12)の下でカプセルカメラシステムの特性化を行うことができる。図3は、本発明の一実施形態による、カプセルカメラ自身による照射の下でカプセルカメラのピクセル毎のばらつき及び設計上の不完全性を特性化する方法を示す。照射及びイメージングシステムの組み合わせの「ホワイトバランス」を補正することができる。図3に示すように、少なくともレンズシステム、イメージセンサ、カプセルカメラのハウジング内の照明システム、及び送信器またはアーカイブメモリを備えるカプセルカメラを準備する(ステップ301)。次にステップ302では、既知の色、光強度、コントラストまたはパターンの光によって照射される対象物を、レンズシステムの視野に置き、露出させる。次にこれらのイメージを用いて、カプセルカメラシステムを特性化または較正する。そのイメージを、アーカイブメモリに格納するか、送信することができる。その後の時点で(ステップ303)、これらのイメージを用いて、臨床診断の目的で患者から撮像したイメージを較正する。
較正中、種々の色の視野のイメージを取ることができる。各試験視野についての平均赤、緑、及び青ピクセル応答を、決定された理想応答及び補正係数と比較することができる。例えば、赤成分についての平均測定値がAで、予測平均値がA の場合、係数A /Aを用いて−測定されたイメージの各ピクセルにこの係数を乗ずることによって、色忠実度を補正することができる。同様の係数を、緑及び青成分について導出することができる。異なるテスト色視野により、三原色について異なる較正係数を求めることができる。代替的に、白色視野を用いて、全ての色を補正してもよい。同一テストパターンの複数のイメージを取ることができ、その結果を平均して、測定されたピクセル値から時間依存性ノイズを減らすことができる。複数のテスト条件にわたる較正係数の重み付け平均を求めて、その後のイメージ補正のために格納しておくことができる。較正係数は、カメラシステム01のカプセル内、データレコーダ内、またはワークステーションのソフトウェア内に格納することができる。較正係数は、方程式、曲線、区分的曲線またはルックアップテーブルを用いて各々定義することができる。ピクセル当たりのパラメータの数は、2以上でもよい。
センサ16内では、各ピクセル値が、光入力に無関係の効果によっても影響を受ける。そのような効果は、「ダーク(暗部)」ピクセルの出力値にみられる。ダークピクセルは、光学システム14の視野内になく、一般的には光不透過性の材料によって覆われているピクセルであり得る。そのようなピクセルの出力値は光入力によらないが、熱誘導電荷漏れのような効果によって決まる。動作ピクセルは、ダークピクセルにおける熱誘導漏れ電流(またはダークピクセル群の熱誘導漏れ電流の平均)等をオフセット値として加えることによって補償され得る。熱誘導漏れ電流は、温度及び時間両方の関数である。動作時のカプセルカメラの温度は、人体の体温に、カプセルカメラの電力消費量と熱誘導の両方よって決まる2〜3度を加えることによって比較的一定の温度であることが予想される。一次推定としては、熱誘導漏れ電流は、ピクセルのプリチャージと読み出しの間の時間に比例する。
レンズシステム14の効果を含む、ピクセル毎のばらつき、すなわち不均一なピクセル応答性は、R、G、及びB色成分のそれぞれについて以下の式(1)によって補償され得る。
Figure 0006737937
式中、P、P、及びPは、イメージセンサ16のピクセルから読み出された3つの色成分についての測定された成分値であり、F、F、及びFはピクセル毎のばらつきを補正し、ピクセル値の平均値を調節するための増倍係数であり、C、C、及びCは、正または負であり得、各ピクセルについてのオフセットである。このモデルでは、ピクセル応答は、ピクセルによって吸収された受け取った放射エネルギーに線形従属すると仮定されている。線形従属の傾きは、「応答性」である。ダークピクセル(すなわち、ゼロ入力放射エネルギー)において、ゼロ光応答性(「暗電流」)は、オフセットを表す。補償のための増倍係数の使用は、その単純さのために便利である。しかし、ピクセル特性が、成分値に対して非線形である場合には、更に複雑な補償関数が必要となり得る。一般的な場合では、項xF,k=R,G,Bがf(P))で置き換えられ得る。そのような関数は、例えば、対数または指数項を含む関数または多項式であり得る。当然ながら、f(P))は、他のパラメータ、例えば後述するように温度等の関数であってもよい。R、G、及びBは原色である。P、P、及びPは、非負値である(個々の値は、その計算された値が負である場合は、ゼロに保たれ、または計算された値が2−1を超える場合は、Nビットの解像度について2−1に保たれる)。
パラメータGIR、CIG、及びCIBは、熱誘導漏れ電流に対して補償するために与えられる。漏れ電流の各色成分への影響度は、セルのプリチャージとセルの読み出しの間の時間である時間tに比例する。F、CIR、及びCについて解くために、2つの異なる照明強度及び2つの異なるt値を含む3つのテストイメージを取らなければならない。漏れ電流は、カプセルカメラ内で、またはカプセルカメラの外部で計算することができる。カプセルカメラの外部での計算のために、各イメージについてのタイミングパラメータをフラッシュメモリに格納させるか、無線で送信させる。これらのタイミングパラメータを格納するために必要なメモリ空間は、イメージのサイズに対して非常に小さい。上述の議論では、単に例示の目的でRGB空間を用いたが、他の色空間を用いてもよい。
各色成分についてのデータを読み出す。一次推定として、即ち後述する熱誘導漏れ電流に対する補償なしで、2つのパラメータF及びCを、各色成分R、GまたはBについて格納または送信することができる。生カラーイメージデータも格納または送信して、空間の要求または送信電力を減らすこともできる。これらの生カラーイメージデータは、少ない数の、異なる強度で照射された赤、青、及び緑の対象物のイメージに対応し得る。或いは、各々が均一な既知の色を有する複数の対象物のイメージを用いて、これらの係数を導出することができる。例えば、同じRGB比率が用いられているが、異なる強度が与えられる照明条件を用いて、C、C、及びCパラメータについて解くことができる。
暗電流及び応答性の両方が、ピクセル毎に異なることから、これらのパラメータの値は各ピクセルについて計算され、各ピクセルに対してそのピクセルに関連するパラメータの値に基づいた補償が適用される。或いは、ブロック全体のピクセル群について計算された同じパラメータ値(例えば、同じ増加係数または増倍係数)を用いて、あるブロックのピクセルにおける各ピクセルについての補償を与えることができる。
本発明者は、本発明の方法は、体腔条件の下で動作するカプセルカメラとしてではない、他の用途のために用いられるカメラにも適用可能であることも確認している。これらの他の用途のためには、CIR、CIG、及びCIB、C、C,及びCにおける温度依存性と、増倍係数F、F、及びF(またはそれらの関数形式)を考慮に入れなければならないこともあり得る。一実施形態では、例えば、複数の温度で測定値がとられる。各温度において、F(またはその関数形式)、ClR、及びC、k=R、G、またはBは、上述の手順に従って解かれる。
上述のように、動作中に利用可能な補償を行うために、係数は、製造時に各ピクセルについて計算され、格納され得る。或いは、既知の均一な照明条件の下で取られたイメージデータが、後で係数の計算をするために格納され得る。カプセルカメラにおいて動作中に取られたイメージの数は、数万のオーダーであり、特性化のための2、3個の、または20、30個のテストイメージデータのためのデータ格納要求はごく僅かなものであり、オンボードアーカイブメモリ(例えば、メモリ20)に格納され得る。これらのテストデータは、外部レコーダに無線で送信されてもよく、これは後で外科医がイメージを調べる際に用いることができる。各カプセルカメラには、識別番号(ID)が与えられ得る。IDに基づいて、テストデータをウェブサイトにアップして、撮像されたイメージデータを外科医が調べるときにウェブサイトからダウンロードすることもできる。
上述の単純な関係に基づき計数を抽出するための計算要求(例えば、回路領域及び電力に関するもの)は、比較的小さく、テストイメージデータ(例えば各色成分の値)、またはオンボード回路によって計算され得る計数は容易に格納または送信され得る。電力及び回路要求を例示するために、30個の300k解像度イメージを処理するために要求されるJPEG回路について規模推定を考えてみる。(種々のよく使用されるファウンドリのライブラリから入手可能な、各々が約50kゲート以下からなるJPEG回路の多くの選択肢が存在する。)0.09gmプロセスの場合、平均固有ゲート容量は、以下の式で推定される。
Figure 0006737937
(係数4は、均等なゲートが4トランジスタを有するという仮定である)。0.2μmの項は、フリンジング容量を表す。今日広く採用されている1コードワード当たり1クロックのJPEG標準の場合、リアルタイムのスピードで30フレームを走らせるために約30MHzが必要である。従って、固有容量の2倍の配線容量と、全回路の1/3のアクティブ化レートを仮定すると、要求される電力は以下のように推定される。
Figure 0006737937
30フレームを処理するエネルギーは、2.25mW×1秒=2.25mJであり、この値は、カプセルカメラのバッテリー容量のなかではごく僅かな値である。比較により、上述の補償係数の計算のための方程式は、ISO10918−2JPEGコーディング標準で特定されている他のステップのなかの、空間周波数ドメイン離散コサイン変換(DTC)演算及びエントロピーコード化を含むJPEG処理のための計算要求と比較して非常に単純なものである。更に、特性化のために必要なイメージの数は、通常は実質的に30イメージ未満である。従って、カプセルカメラ自体で係数を抽出することも、実際上容易に達成され得る。
従って、本明細書に記載の方法、及び他の方法を用いて撮像されたイメージを補正する負担については、これは煩雑な操作ではない。加えて、未補正のイメージにおけるピクセル毎のばらつきは、イメージデータのノイズとして提示されるので、圧縮イメージの圧縮比と質の両方は未補正のイメージより補正イメージにおいてより好ましいものとなる。除去手順なしで、そのようなノイズは、有用な情報内に混合され、その結果、圧縮されたイメージにおけるビット数を増加させる。短距離での差(例えば、隣接するピクセル間)は、周波数ドメインデータを増加させ、従って、圧縮ファイルサイズ及びイメージの質の両方に影響を及ぼす。圧縮中に、イメージデータ中のノイズの処理は、更に電力消費を増加させる。例えば、MPEG処理の場合、現フレームと基準フレームとの差分をコード化するために、前基準フレームが展開される。長距離での差(例えば、センサアレイ内で違いに一定距離だけ離れた2つピクセル間)は、MPEG様圧縮において動き推定に影響を及ぼす。そのような圧縮アルゴリズムにおける動き推定は、圧縮が動き推定後の空間及び周波数ドメイン変換によって行われるので、短距離での差及び長距離での差の両方によって影響を受ける。
本発明の方法は、カメラの外部のイメージセンサの特性化にも適用可能である。そのような方法は、ノイズを少なくし、より良いマッチングを可能とし、その結果周波数ドメイン項が少なくなるので、より良い質、より良い圧縮比を達成し、より少ない電力要求しか提供しない。MPEG圧縮への影響は2倍である。即ち、短距離及び長距離のばらつきが補正される。補正により、センサ内の隣接または近接するピクセル間の短距離の圧縮比が向上し、長距離のばらつきは、短距離のばらつきより1桁大きい大きさとなる。カメラの対物光学要素も、別途特性化され得る。典型的には、各々の対物光学要素を別々に測定する必要はない。イメージセンサ及び対物光学要素についてのそれぞれの較正データが結合され得る。
本発明の一実施形態では、イメージセンサは、上述の方法の1つ(一様な条件または既知の条件の下でのレンズを用いる、またはレンズを用いない方法)を用いて特性化される。イメージセンサは、一般的には圧縮ノイズのためにより高い周波数成分を有する。レンズが与えられる場合は、ほぼ理想的なレンズを用いるべきである。そうでない場合、レンズは、その不完全性を考慮に入れて、使用前にオフラインで光学的に特性化されるべきである。次に補正データが導出されるが、これは次いで特定のセンサに関連付けられる。次いで補正データは、後の使用のためにカメラ製造者に提供され得る。
光源からの光は、ある程度は、カプセルハウジング10の内外の表面、及びカプセルハウジング10内の他の物(例えば粒子汚れ)によって反射される。そのような反射は、鏡面反射と散乱の両方であり得る。反射光の一部は、カメラの入光部を通過して、イメージセンサ上に集光され得る。光は、イメージセンサ16に達する前に、複数の対象物で複数回反射され得る。
LED光の反射によるスプリアス信号は、撮像される映像から独立したものである。カプセルハウジング10の透明ウィンドウの表面からのイメージセンサ16によって撮像される反射照明光を特性化するために、カプセルカメラは、光吸収環境(即ち環境からの光反射がない状態)に全体が配置され得る。この配置の下で、イメージセンサ16において検知される光は、カプセルカメラハウジング10から、またはカプセル内の他の物から反射された、LEDからの放射光のみからなる。単純化のため、以下の議論では、LED光源を仮定するが、代わりに、白熱光、蛍光、電界電離イオン源、リン光、または任意の他の発光プロセスに基づく光源のような、他の光源も用いることができる。
測定された赤、緑、及び青のピクセル信号は、以下の式で表され得る。
Figure 0006737937
式中、Clr,...Cnr,Clg,...Cng,及びClb,...Cnbは、各LEDの光強度に関連するパラメータであり、I,...IはそれぞれLED〜LEDにおける電流であり、時間tLEDl,...tLEDnは、対応するLED電流の期間である。ClR及びC等の負の項は、それぞれ前述した手順を用いて決定された漏れパラメータ及びオフセット値である。LEDから放射される光学的強度は、電流に対して概ね線形であることから、イメージセンサで検知された反射光は、個々のLEDを流れる電流を時間積分したものに比例することが予測される。単純化のため、方程式(2)は、LEDについての電流Iが一定であることを仮定しているが、式(2)の電流項の各々は、電流と時間の積ではなく、瞬間電流を時間で積分したものとして表すこともできる。
各色についてn個の独立した線形方程式を解くことを可能とするべくn個の異なるLED電流の組み合わせに対して測定を行う。理想的には、各LEDは、順番にそれ自身によってオン状態にされる。赤についてのn個の方程式は、n個のイメージ、方程式(1)のイメージ試験から得られるオフセット値C、漏れ電流係数の値ClRを用いて解くことができる。或いは、2つの追加のイメージを取って、方程式(2)を用いて、漏れ電流及びオフセット係数を得ることもできる。その場合、必要となる全イメージの数はn+2である。
カプセルハウジング10の外側表面からの反射は、カプセルカメラが浸漬された媒体に左右される。多くの場合、GI管では、カプセルが水分の多い液体中に浸漬される。場合によっては、カプセルが部分的にのみ液体に覆われた状態になる。1つのLED反射の較正データの組は、水で満たされた黒い容器内にあるカプセルを用いて取ることができる。別の較正データの組は、水のない状態で取ることができる。GIイメージデータが補正された場合には、光学的補正を提供する較正データの組を選択することができる。異なるイメージ領域を補正するために異なる較正データの組を選択することができる。イメージ領域に対する適切な補正は、例えば以下に示すような種々の基準によって示すことができる。
1.空間周波数スペクトルの高い周波数成分を最小化する。
2.検出されたエッジに対するイメージ処理アルゴリズムを用いて、イメージにおける急峻なエッジを最小化する。
3.連続するイメージ間の変化を最小化する。
通常は、イメージ領域内のカプセルに接触する媒体は、あるフレームと次のフレームとで同一であり、従ってカプセルハウジング10の外側面からのLED反射についての各ピクセルにおける適切な補正は、あるフレームと次のフレームで不変である。補正が正しく(即ち、適切な較正データセットを用いて)特定された場合、イメージにおける変化は最小化される。
4.負でない補正ピクセル信号のみ生成する。負の値は、誤った較正データセットが適用されていることを示す。
(対象物と光源の間の有限な距離及びそれらの相対位置によって生ずる)LEDによって対象物上に投光された不均一な光及び各LEDの独自性も補償され得る。小腸内部及び大腸内部の距離が分からない場合であっても、光源の位置と強度が既知であり、平均的な人間の腸は形状とサイズがある一定の特徴的な範囲を有するので、依然として補正をなすことができる。
補償パラメータを抽出するべくデザインされた試験または特性化は、製造プロセス中(例えば、組立プロセス中)に実施することができ、得られたイメージとし、関連する情報または導出される係数とがカプセルカメラの内部または外部に格納される。
代替的に、病院の技術者または外科医が、カプセルカメラを制御された特性環境を提供する容器内に入れて自動試験プログラムを実行することによって、特性化または試験を行うことができる。関連する情報または抽出された係数を有するテストイメージ群は、オンボードメモリに記憶させることができ、またはカプセルカメラが無線送信器及びアンテナを有している場合には、係数データベースまたは関連情報を有するイメージを外部に送信することもできる。これらのデータは、後で表示とアーカイブ化のためにワークステーションにおいて取り出すことができる。特性化データは、患者の健康記録または生の(即ち未補正の)イメージデータと共にアーカイブ化され得る。代替的には、補正されたイメージ及び特性化データが、どのよう補償手順が実施されたについての記述とともに格納される。外科医は、特性化データを用いて補正を解除する自由を有し得る。
図4は、本発明の一実施形態による、上述の特性化手順を用いたカプセルカメラを使用するための方法を示す。図4に示すように、少なくともレンズシステム、イメージセンサ、カプセルハウジング内の2つのLEDを有する照明システム、アーカイブメモリ、及び出力ポートを備えるカプセルカメラを準備する(ステップ401)。次に、ステップ402において、カプセルカメラを、外部光源のない光吸収環境中に置く。次いで、異なる相対的照明で、照明システムによる照明を使用して2つのイメージを取る。(用語「相対的照明」は、露出時間と光強度との積を表す。)次にそのイメージをアーカイブメモリに格納する。ステップ403において、カプセルカメラを、外部の照明源を用いて均一な照明条件の環境に置く。均一の照明条件及び読み出し回数に対するピクセルプリチャージの異なる3つのイメージを撮像する。次にこれらのイメージをアーカイブメモリに格納する。
代替的に、ステップ402において、暗環境において、各々1つのLEDを自身でオンにして複数のイメージを取る。次に、2つの異なる時間だけ両LEDをオフにした状態で、2つのイメージを取る。LED反射とともに、時間依存的漏れ電流信号が特性化される。次に特性化データを、アーカイブメモリに格納する。次に、ステップ403で、LED照明なしで均一な白色背景で1以上のイメージを取る。(応答性を決定するためにはただ1つのイメージしか必要としない。)
ステップ404において、カプセルカメラの照明システムを光源として用いて患者のGI管のイメージを取るために、カプセルカメラを患者が嚥下する。これらのイメージは取られてアーカイブメモリシステムに格納される。ステップ405において、カプセルカメラが患者の身体から排出された後、カプセルカメラを回収し、撮像されたイメージと、ステップ402及び403で取られたイメージ(格納されている場合)とを、カプセルカメラの出力ポートを通して取り出す。カプセルカメラシステムの特性化または較正のために、ステップ402及び403で取られたイメージを用いて、それぞれ方程式(2)及び(1)に従ってパラメータ値を抽出する。次に、抽出されたパラメータ値を用いて撮像されたイメージを補償する。
代替的に、テストデータまたは特性化データを、外部での保存のために、出力ポート(例えば出力ポート28)を通して伝送するか、または無線手段によってカプセルカメラの外部へ送信する。図5は、図4に関連付けて説明した本発明の代替的実施形態を示す。図5に示す方法においては、アーカイブメモリの代わりに、不揮発性メモリバッファと送信器を備えたカプセルカメラが提供される。ステップ502及び503で取られたイメージを含むカプセルカメラで取られたイメージは、初めに不揮発性メモリバッファに格納され、外部の受信器に送信され、そこでイメージが後続のステップで使用するために保存される。一実施形態では、カプセルカメラが患者の測定情報を取得する直前に、格納された補正用イメージデータ及び係数が無線で受信器に送信される。
カプセルカメラは、IDでマーキングされてもよく、外部で格納されたテストデータまたはテストデータから抽出されたパラメータは、ウェブサイトから、電子メールで、フラッシュメモリに保存して、ビデオCD(VCD)上に保存して、または他の手段によって利用可能とされ得る。一実施形態では、カプセルカメラがGI管を移動して回収された後、測定データをワークステーションにダウンロードすることができ、ワークステーションでは、テストデータまたはテストデータから取り出されたパラメータを取り出して撮像されたイメージデータを補償することができる。代替的に、IDまたはID情報を、テストまたは特性化イメージ若しくは係数データに埋め込むことができる。ワークステーションにおいて、技術者が、埋め込まれたIDを用いて、目的のテストまたは特性化データ若しくは係数を別の記憶媒体から取り出し、補償処理を行うことができる。
図6は、図4に関連付けて説明した本発明の代替的実施形態を示す。図6に示す方法においては、アーカイブメモリの代わりに、デバイスIDを有し、送信器及びアンテナを備えたカプセルカメラが提供される。ステップ602及び603で取られたイメージを含むカプセルカメラで取られたイメージは、初めに不揮発性メモリバッファに格納され、外部の受信器に送信され、そこでイメージが後続のステップで使用するために保存される。イメージは、外部の保管場所に格納され、その保管場所は、インターネットで取り出す形での利用が可能なものとすることができる。保管場所から取り出されたこれらのイメージは、構造のステップで使用される。
図7は、イメージセンサアレイ(例えばセンサアレイ16)と、例えば図1のカプセルカメラ01のレンズ14等の光学システムによって生成されたイメージのフットプリントとの間の位置合わせを示す。理想的には、図7に示すように、全ての要素に欠陥がなく、完全に位置合わせされている場合には、撮像されたイメージの光学中心が、センサアレイの中心に完全に一致する。しかし、実際には、撮像されたイメージの中心とセンサアレイの中心は完全には位置合わせされない。加えて、不完全性は典型的には、光学システムの構成要素に存在する。通常は、前イメージがセンサアレイに捕捉されることを確実にするために、撮像されたイメージは、センサアレイのサイズより僅かに小さくなるように設計される。上述の特性化のためのテストイメージを使用して、撮像されたイメージとセンサアレイの中心との位置ずれを導出することができる。例えば、均一照明の下で、センサアレイの各列のある色要素の平均値は、撮像されたイメージのエッジ(例えば、左から右にスキャニングして、暗状態から被照明状態への強度が遷移する右側の列、及び被照明状態から暗状態へイメージが遷移する左側の列)がどこにあるかを示す。複数の列に沿って同じ手順を行うと、イメージの上部及び下部のエッジがある場所が示される。
他の例として、テストイメージが、反復パターンからなる場合、JPEGまたはMPEG処理で使用されているようなDCTを用いて、周波数ドメインのイメージ情報を計算することができる。イメージフットプリントは、パターンが明確に認識可能になる位置に対応する、DCT値が急激に増加する場所に配置される。光学中心とセンサアレイの中心との間のオフセット(例えば、xy座標で表される偏位)は、登録場所または不揮発性メモリ(例えばアーカイブメモリ20)に、後の基準のために格納され得る。センサアレイの動作境界を実際のイメージフットプリントまたはイメージフットプリントの「意味のある」部分(実際の視野となる領域が予測される部分)に切り取ることによって、センサアレイの実際の有用な視野の外側の領域上で電力が無駄に消費されないことになる。更に、イメージを格納するために必要な空間またはイメージを送信するために必要な帯域幅も減らされる。ワークステーションの利用率は向上し、アーカイブ管理も容易になる。
DCTは、輝度のために8×8ブロックで行われ得る。従って、一実施形態では、ピクセルのM列の領域を処理するために、各行に対して、(M/8+1)ブロックが用いられる。そのような配置の下では、解像度は行及び列の両方向に8ピクセルである。64DCT値が前のブロックより増え始めるか減り始める場所の8×8ブロックが見いだされると、現8×8ブロックが、前ブロックの最終列を同じ列に含めることによって再形成され、新たなDCT値が計算される。DCT値が、更に増加または減少している場合には、その手順は、その前ブロックの1つの更なる列を含めるように反復される。この手順は、DCT値の最大値または最小値が見いだされるまで反復され、この最大値または最小値はDCT値が、行方向に増え始めるか減り始める場所を表す。列方向に適用されたとき、この方法で、DCT値が列方向に増え始めるか減り始めるピクセルが見つかる。
別の例では、エッジ情報を用いて位置合わせ情報を提供することができる。現在の市販のカメラの多くや、イメージ後処理ソフトウェアでは、エッジ強調が用いられる。エッジを抽出するための1つの方法は、隣接する列のピクセル間の輝度の差を見いだすことである。その差は、一方向におけるエッジ情報を提供する。同じ手順を、隣接した対応するピクセル同士に用いて、列方法のエッジ情報を得ることもできる。列及び行方向について得られたエッジを一緒に用いることができる。
図7にも示されているように、レンズにおける個々のばらつきのために、各レンズの拡大係数は全カプセルカメラにわたって同一でなく、カメラ毎に異なるフットプリントが生ずる。イメージフットプリントの代替的な表現は、例えば、矩形のイメージフットプリントの2つの頂点であり得る。上述のように、イメージ補償は、(例えば、イメージプロセッサ18、またはセンサアナログゲインを制御し、各ピクセルの各色成分に対してオフセットを提供することによって)カプセルカメラ内で行われ得る。補償または特性化パラメータ値に必要な記憶空間は、別体の不揮発性フラッシュメモリに、特定用途向け集積回路(ASIC)に提供されたメモリに、またはイメージセンサに与えられ得る。代替的に、補償または特性化パラメータ値を、撮像されたイメージデータのための同一の不揮発性フラッシュ記憶装置(例えばアーカイブメモリ20)に格納することもできる。
図8Aは、LEDの放射パターンのランバート曲線(LEDの軸線に対する角度の関数として輝度を示す極座標)を示し、図8Bは、角度の関数としての輝度(線形スケール)を示す。これらの図は、実際のLEDの設計の不完全性を示す。
図9は、レンズの格子歪み図を示す。図9に示すように、中央部の歪みは最小(即ち、実際の格子点が、基準格子によく一致している)であるが、中心から離れるにつれて歪みが現れるようになる。
LED製品には、大量生産時のばらつきが存在するので、図8A、図8B、及び図9によって示された設計上の問題の間には基本的な差異がある。或いは、レンズ製造において、格子歪みによって測定されるように、ばらつきは、小さくかつ決定論的なものである。図9に示される問題は、データ取得の後であっても、表示前に、ワークステーションまたは他のコンピュータ上で取得したイメージの逆写像をとることによって、大部分を補償することができる。図8A及び図8Bにおける不完全性は、設計の不完全性と製造上のばらつきの両方によって生じている。そのような不完全性またはばらつきは、図2〜図6に示す上述の方法を用いて効率的に取り扱うことができる。
一実施形態では、格子歪みは、表示前に、図2〜図6に示す方法を用いて、既知のパターン、例えば格子パターンをイメージングし、エッジを検出(前述)して、光学的不完全性(設計の不完全性及び製造上のばらつき)によって生じたセンサ表面上のイメージの歪みの程度を計算することによって補償することもできる。他の問題(例えば、横の色の影響)は、簡単に解決できる。決定論的なもの場合には、イメージは、そのイメージが表示される前にワークステーション上で補償することができ、欠陥が設計の不完全性及び製造上のばらつきの両方によって生じている場合には図2〜図6の方法のみを現実に用いて補償し、医療装置用との場合にも高い忠実度と高い検出率が得られる。
撮像されたイメージの正確な再現もまた重要である。上述のもののような技術は、テレビセットを含む全ての表示装置に適用可能である。近年、表示装置産業では、標準精細度(SD)から、高精細度(HD)及び超高精細度(UHD)及び他の解像度までイメージ解像度を増加させてきた。解像度が大きくなることに加えて、表示装置は、その色解像度も、色成分当たり8ビットから9ビット、更には10ビットまで向上させてきた。従って、製造上のばらつきを制御する必要も、著しく高まってきており、その結果表示の質を確保するためのコストも著しく増加してきている。
本発明の一態様によれば、表示装置の較正を提供するために、表示可能な色の全範囲のために設計された標準化カラーパターンが、制御された動作条件の下での表示装置上への表示のためのイメージとして提供される。このステップは、製造ステップとして実施され、または必要な場合に後のタイミングで反復することができる。多くの表示装置では、色/強度の再現の精度も、動作温度に応じて異なる。色/強度の再現の精度が動作温度に応じて異なる場合、較正に、動作条件として動作温度も考慮にいれることができる。動作温度を考慮に入れるために、表示装置は、好ましくは、表示パネルの動作温度を測定するように構成された温度計を備える。
較正中、診断システムは、表示装置上に表示されたイメージの各ピクセルにおける各色成分の強度を検出する。診断システムは、動作範囲のなかのある範囲にわたる各ピクセルの色及び強度の決定のためのセンサ(例えば、フォトダイオード、フィルタ)を備える。各較正動作点において、各ピクセルの各色成分の強度は、その対応する予測値と比較されて、差があればそれが求められる。次に、診断システムは、測定された差に基づいて補正用データを提供することができる。補正用データは、例えば、所望の色及び強度を達成するため必要な各色成分の入力値に対する補償値の形態であり得る。次いで補正用データは、不揮発性メモリに記録されて、更なる表示動作のために各ピクセルに対する必要な補正がなされ得るようにする。
本発明の一実施形態によれば、表示装置には、熱を測定する手段(熱電対等の「温度計」)が設けられ得る。動作温度は、動作パラメータと考えることができる。典型的には、表示装置の動作温度は、表示装置の電力消費、熱抵抗、及び周囲温度並びに空気流に応じて、周囲温度より高くなる。一部の表示装置では、動作温度を考慮に入れた補償が望ましいことがある。
本発明の一実施形態によれば、補正用データは、不揮発性メモリにあらゆる適切なフォーマットで格納され得る。例えば、入力値及び動作温度の全範囲にわたる各ピクセルの各色成分に対する必要な補償値は、テーブル(表)形式で与えられ得る。イメージを表示する前に、入力値及び測定された動作温度を用いて、各ピクセルの各色成分についてテーブルにアクセスがなされる。こうして得られた補償値は、必要であれば補間または外挿を行った後に、対応する入力値に加えられて、表示される。代替的には、本発明の一実施形態によれば、1以上の補正用モデル(例えば、入力値及び温度の線形関数または多項式関数)に対して補正用データの曲線適合が行われた後、次にモデルのパラメータ(例えば多項式関数の係数やオフセット)を格納される。そのような場合には、イメージを表示する前に、表示装置が、対応する入力値及び動作温度に基づいて各ピクセルの各色成分についての補償値を計算する。次に、計算された補償値に基づいて各入力値を調節した後、イメージが表示される。
上述の方法では多くの改変形態が利用可能である。例えば、補正用データを格納するためのメモリ要求を減らすトレードオフが、補正用データをピクセル単位でなく隣接するピクセル群単位に格納することによって利用可能となる。その形式によれば、グループ特有の補正用データを用いて、各ピクセルに対して補正がなされる。例えば、入力値の重み付け平均に基づいて格納された補正用データから導出された量の分、各ピクセルを補償することができる。一部の表示装置において、補正用データが特定グループ単位で格納される場合、各ピクセルの補償を決定する際に、ピクセルのグループで高コントラスト条件を考慮に入れることができることは有利である。別の改変形態では、各色成分及び温度の入力値を用いて、補正された値を探し出す。補正された値、従って取得され、置換された入力値を用いてイメージを表示することによって、補償が適用される。
別の方法は、ルックアップテーブルの技術と補間または外挿の技術のハイブリッド方式である。例えば、補正用データは、モデルパラメータの値とともに、選択された入力範囲及び選択された温度範囲に対する補正値を含むテーブルの形式で格納され得る。そのような場合、各色成分についての実際の補正値は、モデルパラメータ値を用いてテーブルから得られた値から補間または外挿から計算することが可能である。
補償は、デジタルまたはアナログドメインで行うことができる。例えば、図10は、本発明の一実施形態による、デジタルドメインでのピクセル値を補償するために設けられる、表示装置1100内の構造を示す。図10に示すように、表示されるイメージに対する入力値は、イメージ処理ユニット1101で受け取られ、イメージ処理ユニットは、不揮発性メモリ1102から補正用データまたはパラメータを取り出す。イメージ処理ユニット1101は、次に、必要であれば、イメージの各ピクセルの各色成分に対して必要な補償を計算し、適用する。次に得られた補正済みデータはディスプレイドライバ1103に供給され、ディスプレイドライバは、ディスプレイハードウェア1104の制御信号及びデータ信号を供給する。
代替的に、図11は、本発明の一実施形態による、アナログドメインでのピクセル値を補償するために設けられる、表示装置1200内の構造を示す。図11に示すように、従来のイメージ処理の後に、表示されるイメージに対する入力値は、デジタル回路とアナログ回路の両方を備えたものであり得るディスプレイドライバユニット1203、及び不揮発性メモリ1202に供給される。入力値を用いて、不揮発性メモリ1202から補正用データを取り出す。次に、ディスプレイユニット1203は、イメージの各ピクセルの各色成分を所望の値に正確に再現するために必要な補償を適用する(例えば、各ピクセルにおけるゲインまたはオフセットを調節する)。補正された値に基づいて、ディスプレイドライバユニット1203は、ディスプレイハードウェア1204に制御信号及びデータ信号を供給する。
本発明の一実施形態によれば、表示装置自身において補償を提供するのではなく、別の装置(例えばコンピュータ、表示装置にイメージデータを供給するセットトップボックス)が、表示装置が補償されたイメージデータを供給する前に、イメージデータに対して補償を行うことができる。その実施形態では、補償を行う装置は、表示装置の不揮発性メモリから補正用データを取り出す。
上記の説明は、本発明の特定の実施形態を例示する目的で提示されたものであり、発明の限定を意図するものではない。本発明の範囲内で多種多様な改変形態が可能である。本発明の範囲は、特許請求の範囲の請求項の記載によって定められる。

Claims (12)

  1. イメージの各ピクセルの複数の色成分値を表す入力イメージデータを受け取るための表示システムであって、
    前記入力イメージデータを補償するための補正用データを含む不揮発性メモリと、
    前記イメージを表示するためのディスプレイハードウェアと、
    (a)前記入力イメージデータに基づいて、前記不揮発性メモリから前記補正用データを取り出し、(b)取り出した前記補正用データを前記イメージの選択されたピクセル群の前記複数の色成分値に適用して、前記ディスプレイハードウェアで表示するためのデータ信号を生成するイメージ処理回路とを含み、
    前記補正用データは、前記ディスプレイハードウェアのばらつきを補正するためのモデルのパラメータの値に対応し、前記イメージの前記選択されたピクセル群の各色成分値の補償値は、前記入力イメージデータに前記モデルを適用することから生成され、
    前記モデルは、前記イメージデータにおいて表された前記イメージの前記選択されたピクセル群の各色成分値の線形関数として、または多項式関数として、ルックアップテーブルにおいて表され
    前記不揮発性メモリにおける前記補正用データは、前記ディスプレイハードウェアのばらつきの検出を行う較正ステップで生成されたデータであることを特徴とする表示システム。
  2. 請求項1に記載の表示システムであって、
    前記較正ステップは、診断システムによって、製造中に実施され、
    前記診断システムは、前記較正ステップの間に前記ディスプレイハードウェア上に表示される各較正イメージにおける各ピクセルの前記複数の色成分値を決定するためのセンサを有し、前記較正イメージの各々は、各ピクセルにおける既知の複数の色成分値を有する標準化カラーパターンを含むことを特徴とする表示システム。
  3. 請求項2に記載の表示システムであって、
    前記不揮発性メモリに格納された前記補正用データに基づいて生成される前記補償値は、前記ディスプレイハードウェアによって表示されるイメージ群の前記選択されたピクセル群の複数の色成分値の範囲にわたって前記入力イメージデータを補償することを可能にすることを特徴とする表示システム。
  4. 請求項1に記載の表示システムであって、
    前記補償値は、その各々が前記ディスプレイハードウェアに表示される前記イメージの隣接するピクセルからなる複数の特定のグループのなかの1つのグループに適用可能であることを特徴とする表示システム。
  5. 請求項1に記載の表示システムであって、
    前記補償値は、デジタルドメインにおいて前記ディスプレイハードウェアに適用されることを特徴とする表示システム。
  6. 請求項1に記載の表示システムであって、
    前記補償値は、アナログドメインにおいて前記ディスプレイハードウェアに適用されることを特徴とする表示システム。
  7. 製造上のばらつきに対して表示装置に受け取られる入力イメージデータを補正する方法であって、
    前記入力イメージデータは、イメージの各ピクセルの複数の色成分値を表し、
    前記方法は、
    揮発性メモリから補正用データを取り出すステップであって、前記補正用データは、前記表示装置上に表示される較正イメージにおける各ピクセルの複数の色成分値を検出する診断システムを用いて、製造中に較正ステップで生成され前記不揮発性メモリに格納される、該ステップと、
    記入力イメージデータにおいて表される前記イメージの選択されたピクセル群の各色成分値に前記補正用データを適用するステップと、
    記入力イメージデータにおいて表された前記イメージの前記選択されたピクセル群の補正された前記複数の色成分値に基づいて、ディスプレイハードウェアのためのデータ信号を生成するステップを含み、
    前記補正用データは、補正用のモデルのパラメータの値に対応し、前記選択されたピクセル群の各色成分の補償値は、前記補正用のモデルから生成され、
    前記モデルは、前記入力イメージデータにおいて表された前記イメージの前記選択されたピクセル群の各色成分値の線形関数として、または多項式関数として、ルックアップテーブルにおいて表されることを特徴とする方法。
  8. 請求項7に記載の方法であって、
    前記モデルから生成される前記補償値は、前記ディスプレイハードウェアによって表示されるイメージ群の前記選択されたピクセル群の複数の色成分値の範囲にわたって前記入力イメージデータを補償することを可能にすることを特徴とする方法。
  9. 請求項7に記載の方法であって、前記診断システムは、各較正イメージにおける各ピクセルの前記複数の色成分値を決定するためのセンサを有し、各ピクセルにおける既知の複数の色成分値を有する標準化カラーパターンを含むことを特徴とする表示システム。
  10. 請求項7に記載の方法であって、
    前記補償値は、その各々が前記ディスプレイハードウェアに表示される前記イメージの隣接するピクセルからなる複数の特定のグループのなかの1つのグループに適用可能であり、
    各補償値は、対応する隣接するピクセルのグループの各ピクセルに適用されることを特徴とする方法。
  11. 請求項7に記載の方法であって、
    前記補償値は、デジタルドメインにおいて前記ディスプレイハードウェアに適用されることを特徴とする方法。
  12. 請求項7に記載の方法であって、
    前記補償値は、アナログドメインにおいて前記ディスプレイハードウェアに適用されることを特徴とする方法。
JP2019140736A 2015-08-25 2019-07-31 表示装置の製造上のばらつき及び設計上の欠陥を補償する方法 Active JP6737937B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/835,497 US10499029B2 (en) 2007-01-09 2015-08-25 Methods to compensate manufacturing variations and design imperfections in a display device
US14/835497 2015-08-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016145083A Division JP6563870B2 (ja) 2015-08-25 2016-07-25 表示装置の製造上のばらつき及び設計上の欠陥を補償する方法

Publications (2)

Publication Number Publication Date
JP2020003801A JP2020003801A (ja) 2020-01-09
JP6737937B2 true JP6737937B2 (ja) 2020-08-12

Family

ID=56883508

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016145083A Active JP6563870B2 (ja) 2015-08-25 2016-07-25 表示装置の製造上のばらつき及び設計上の欠陥を補償する方法
JP2019140736A Active JP6737937B2 (ja) 2015-08-25 2019-07-31 表示装置の製造上のばらつき及び設計上の欠陥を補償する方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016145083A Active JP6563870B2 (ja) 2015-08-25 2016-07-25 表示装置の製造上のばらつき及び設計上の欠陥を補償する方法

Country Status (3)

Country Link
EP (1) EP3135189A1 (ja)
JP (2) JP6563870B2 (ja)
CN (1) CN106488083A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416794A (zh) * 2018-03-21 2018-08-17 湘潭大学 一种泡沫镍表面缺陷图像分割方法
CN110891471B (zh) * 2018-03-21 2022-11-18 卡普索影像公司 采用结构光提供生理特征尺寸测量的内窥镜
US11557264B2 (en) * 2019-04-10 2023-01-17 Hefei Reliance Memory Limited Display driver system with embedded non-volatile memory

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5519124A (en) 1978-07-27 1980-02-09 Olympus Optical Co Camera system for medical treatment
IL108352A (en) 1994-01-17 2000-02-29 Given Imaging Ltd In vivo video camera system
IL122602A0 (en) 1997-12-15 1998-08-16 Tally Eitan Zeev Pearl And Co Energy management of a video capsule
US6709387B1 (en) 2000-05-15 2004-03-23 Given Imaging Ltd. System and method for controlling in vivo camera capture and display rate
US6632175B1 (en) 2000-11-08 2003-10-14 Hewlett-Packard Development Company, L.P. Swallowable data recorder capsule medical device
US6939292B2 (en) 2001-06-20 2005-09-06 Olympus Corporation Capsule type endoscope
JPWO2004106857A1 (ja) * 2003-05-29 2006-07-20 オリンパス株式会社 ステレオ光学モジュール及びステレオカメラ
AU2004249063B2 (en) * 2003-06-24 2008-12-11 Olympus Corporation Encapsulated endoscope and encapsulated endoscope system
WO2005067608A2 (en) * 2004-01-07 2005-07-28 Identification International, Inc. Low power fingerprint capture system, apparatus, and method
US20050280721A1 (en) * 2004-06-18 2005-12-22 Van Der Heide Auke Method for providing combined gain compensation and error correction of a camera pickup array and an apparatus for implementing the method
JP4216800B2 (ja) * 2004-12-24 2009-01-28 株式会社ナナオ 表示方法及び表示装置
WO2008038357A1 (fr) * 2006-09-28 2008-04-03 Fujitsu Limited Afficheur, système d'affichage comprenant cet écran et procédé de traitement d'image
JP4702635B2 (ja) * 2007-07-17 2011-06-15 富士フイルム株式会社 オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置
JP2010210668A (ja) * 2009-03-06 2010-09-24 Seiko Epson Corp 集積回路装置及び電子機器
JP5249149B2 (ja) * 2009-07-17 2013-07-31 富士フイルム株式会社 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム
WO2011068210A1 (ja) * 2009-12-04 2011-06-09 Nec液晶テクノロジー株式会社 立体表示装置、立体表示用画像データ生成方法、及びそのプログラム
US20120249611A1 (en) * 2009-12-15 2012-10-04 Sharp Kabushiki Kaisha Electronic equipment
US20130016138A1 (en) * 2010-04-09 2013-01-17 Sharp Kabushiki Kaisha Display panel driving method, display device driving circuit, and display device
JP5995165B2 (ja) * 2012-05-31 2016-09-21 株式会社Joled 表示装置の検査方法、検査装置及び製造方法
JP2014044322A (ja) * 2012-08-27 2014-03-13 Sony Corp 画像データ処理回路および表示システム
CN104103255B (zh) * 2013-04-07 2018-09-07 深圳富泰宏精密工业有限公司 显示屏校正系统及方法
JP2015031874A (ja) * 2013-08-05 2015-02-16 キヤノン株式会社 表示装置、表示装置の制御方法、及び、プログラム

Also Published As

Publication number Publication date
EP3135189A1 (en) 2017-03-01
JP2020003801A (ja) 2020-01-09
JP2017054104A (ja) 2017-03-16
CN106488083A (zh) 2017-03-08
JP6563870B2 (ja) 2019-08-21

Similar Documents

Publication Publication Date Title
JP5926345B2 (ja) カプセルカメラにおける製造ばらつき及び設計的不完全性を補正する方法
US9307233B2 (en) Methods to compensate manufacturing variations and design imperfections in a capsule camera
JP6737937B2 (ja) 表示装置の製造上のばらつき及び設計上の欠陥を補償する方法
JP5748369B2 (ja) 生体内カメラ装置とその制御方法
US11019318B2 (en) Methods to compensate manufacturing variations and design imperfections in a display device
US9911203B2 (en) System and method for size estimation of in-vivo objects
CA2782178A1 (en) Radiometric calibration method for infrared detectors
US9445021B1 (en) Fixed pattern noise correction with compressed gain and offset
US20070258001A1 (en) Method for Producing High Signal to Noise Spectral Measurements in Optical Dectector Arrays
JP2009104547A (ja) 画像処理装置、画像処理システムおよび画像処理プログラム
WO2018085841A1 (en) Calibration method and apparatus for active pixel hyperspectral sensors and cameras
US11503982B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for detecting a defective pixel in an image frame
US8675101B1 (en) Temperature-based fixed pattern noise and bad pixel calibration
US8237824B1 (en) Fixed pattern noise and bad pixel calibration
JP2009141684A (ja) 色変換係数算出装置、色変換係数算出プログラム、色変換係数算出方法
US20140009622A1 (en) Method and apparatus for wide-band imaging based on narrow-band image data
CN111956168A (zh) 一种胶囊内窥镜系统和用于胶囊内窥镜的测距方法
WO2012086139A1 (ja) 撮像装置および画像データ形成方法
CN116670705A (zh) 图像处理装置、图像处理方法和图像处理程序
JP2009105844A (ja) 画像処理装置、画像処理システムおよび画像処理プログラム
JP2003166880A (ja) 温度計測手段を有する撮像装置
JP2009105846A (ja) 画像処理装置、画像処理システムおよび画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190731

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200716

R150 Certificate of patent or registration of utility model

Ref document number: 6737937

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250