JPWO2004012461A1 - 画像処理システム - Google Patents
画像処理システム Download PDFInfo
- Publication number
- JPWO2004012461A1 JPWO2004012461A1 JP2004524134A JP2004524134A JPWO2004012461A1 JP WO2004012461 A1 JPWO2004012461 A1 JP WO2004012461A1 JP 2004524134 A JP2004524134 A JP 2004524134A JP 2004524134 A JP2004524134 A JP 2004524134A JP WO2004012461 A1 JPWO2004012461 A1 JP WO2004012461A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- processing system
- spectral
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Spectrometry And Color Measurement (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Processing Of Color Television Signals (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Facsimile Scanning Arrangements (AREA)
- Color Image Communication Systems (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
従来における肌の診断には、肌の表面を拡大してモニタ等で観察することができるように構成された肌診断用カメラシステムが用いられており、例えば、皮膚科、エステティックサロン、美容カウンセリングなどで使用されている。これらの内の例えば皮膚科の場合には、皮溝や皮丘の画像を観察することにより、皮膚表面の特徴を捉えて診断し、カウンセリング等が行われている。
このような肌診断用カメラとしては、例えば特開平8−149352号公報に記載されたものが一例として挙げられる。該公報に記載の肌観察装置は、前方が開口したケースと、このケース内部に設けられた上記開口の中心を光軸とする光学系と、この光学系からの光学像が撮像面に結像する固体撮像素子と、上記開口の外側の被写体を上記ケース内部から上記開口を通して照明するために設けられ、光照射方向が上記開口側を向いて、かつ上記光軸を中心としてリング状に複数配置された発光色が青色の発光素子群と、を備えたものとなっている。
また、肌診断用カメラの他の例として、特開平7−322103号公報には、ケース本体の前方に開設された撮影窓に対向してケース内部に配置されたレンズ、およびこのレンズを介して入射した光学像を撮像する撮像素子と、上記ケース内部に設けられており、上記撮影窓側を照明するサークライン蛍光灯と、このサークライン蛍光灯の照明光を上記撮影窓から導出する場合、反射により進行角度を調整する反射部と、上記撮影窓の周囲とほぼ同じ径で、撮影窓と同軸的にケース内部に配置され、軸方向へ移動自在な透明スライドパイプと、この透明スライドパイプの一部に取り付けられ、上記透明スライドパイプが上記軸方向へ移動するのに応答して、上記サークライン蛍光灯からの照明光が上記透明スライドパイプの透明部を介して上記撮影窓を通り抜けることを許容するが上記反射部を介して上記撮影窓を通り抜けることを遮光する第1の状態と、上記反射部を介して上記撮影窓を通り抜けることを許容するが上記透明スライドパイプを介して上記撮影窓を通り抜けることを遮光する第2の状態と、を実現する遮光リング部と、を備えた肌診断用テレビカメラ装置が記載されている。
また、歯科においては、人工歯を作成する場合などに患者の歯の色と違和感のない色に仕上げる必要がある。そこで、シェードガイドを用いて患者の歯と直接色の比較を行い判断することにより、いわば主観によって、歯の色に関するデータを取得するのが一般的である。
上述したような皮膚科や歯科などに限らず、例えば、自動車の塗装色、建物の塗装色、食料品の分光特性、衣料品の染色などの分野では、診断、検査、確認、判別などに利用するために、物体の色を正確に色再現する技術が求められている。
高精度な色再現を行うための従来の技術としては、例えば特開2000−152269号公報に記載されたような、外部照明下の被写体を、回転式のフィルタターレット上に配列した多数の分光フィルタを用いて撮像することにより多バンドの画像データを取得し、被写体の分光スペクトルを高精度に推定して正確な色再現を行い得るようにした色再現システムが挙げられる。
しかしながら、上記特開2000−152269号公報に記載されたような色再現システムは、例えば実験室等で被写体のスペクトルデータを取得するために用いるものであって、固定型で重量が大きく、さらに外部照明による色再現処理を行っているために別途の照明センサが必要であり、上述したような各種の利用分野において運用上求められる小型軽量性やハンディ性を、そのままでは満たすことができない。
一方、皮膚科などには、従来よりハンディタイプの画像処理システムが存在しているが、これはいわゆるマルチバンドデータを取得するタイプのものではないために、高精度の色再現性に対する要求を満足するものとはなっていない。
本発明は上記事情に鑑みてなされたものであり、小型軽量で携帯可能な高色再現の画像処理システムを提供することを目的としている。
また、第2の発明は、上記第1の発明において、上記制御部が、分光分布特性に従って、上記複数の発光素子から、1つ以上の発光素子を含む素子群を複数有してなるグループを設定し、設定したグループ内における複数の素子群の点灯順序を定めて、この点灯順序に従って各素子群の発光素子を点灯させることにより、上記選択的な点灯を行わせて、複数の被写体分光画像を取得するように制御するものである。
さらに、第3の発明は、上記第2の発明において、上記制御部が、上記グループを複数種類設定して、用途に応じて必要なグループを用いるように制御するものである。
第4の発明は、上記第3の発明において、上記制御部が、上記複数の発光素子から、可視光域内の青に属する発光素子の素子群と、可視光域内の緑に属する発光素子の素子群と、可視光域内の赤に属する発光素子の素子群と、で構成されるグループを設定し、撮像フレーム毎に各素子群の発光素子を順次点灯させて、上記撮像素子部により3原色カラー動画像を撮像させる制御をさらに行うものである。
第5の発明は、上記第3の発明において、上記撮影装置が、少なくとも分光画像撮影動作の開始を指示入力するための撮影操作部をさらに含み、上記制御部は、上記撮影操作部から分光画像撮影動作の開始が指示入力されるのに応じて、上記複数の被写体分光画像を取得するための制御を行うものである。
第6の発明は、上記第5の発明において、上記撮影操作部が、押下式のボタンスイッチを有して構成され、上記制御部は、このボタンスイッチが押下された時に、上記グループを変更させるように制御するものである。
第7の発明は、上記第6の発明において、上記制御部が、上記ボタンスイッチが押下された時に、さらに、変更したグループの素子群の点灯タイミングを制御するものである。
第8の発明は、上記第1の発明において、上記制御部が、上記撮像素子部による撮像を、発光素子の点灯開始後に開始させるとともに、該発光素子が消灯される前に終了させるように制御するものである。
第9の発明は、上記第1の発明において、上記撮像素子部が、入射光を複数の波長帯域の光に分離する分光部と、この分光部により分光された複数の波長帯域の光を撮像する複数の撮像素子と、を有して構成されたものである。
第10の発明は、上記第1の発明において、上記撮像素子部が、カラーフィルタアレイを備えたカラー撮像素子を有して構成されたものである。
第11の発明は、上記第1の発明において、上記撮影装置が、上記発光素子の分光分布特性を検出するためのスペクトル検出センサをさらに有して構成されたものである。
第12の発明は、上記第1の発明において、上記撮影装置が、環境光の分光分布特性を検出するためのスペクトル検出センサをさらに有して構成されたものである。
第13の発明は、上記第1の発明において、上記撮影装置が、該被写体に一端部側が接するようになされた当て付け部をさらに有して構成されたものである。
第14の発明は、上記第13の発明において、上記当て付け部が、柔軟性を有する素材により略筒状に形成されたものである。
第15の発明は、上記第13の発明において、上記当て付け部が、外光の影響を排除または軽減する素材により構成されたものである。
第16の発明は、上記第13の発明において、上記当て付け部が、撮影装置の筐体に対して着脱可能となるように構成されたものである。
第17の発明は、上記第1の発明において、上記処理装置が、上記撮影装置により撮影された被写体分光画像を記憶するための画像メモリ部をさらに含み、上記演算部は、上記画像メモリ部に記憶された画像信号から所望の画像演算を行うものである。
第18の発明は、上記第17の発明において、上記演算部が、上記画像メモリ部に記憶された被写体分光画像に基づき、高度に色再現された被写体の画像を表示するための信号を演算するものである。
第19の発明は、上記第18の発明において、上記処理装置が、上記撮影装置により取得されるデータに基づき、高度に色再現された被写体の画像を表示するための信号を演算するのに必要なプロファイル情報を算出するものである。
第20の発明は、上記第17の発明において、上記演算部が、上記画像メモリ部に記憶された被写体分光画像に基づき、被写体に係る判別または解析を行いその結果を出力するものである。
第21の発明は、上記第1の発明において、上記撮像素子部が、撮像時のフレームレートを変更することができるように構成されたものである。
第22の発明は、上記第1の発明において、上記撮影装置が、少なくとも分光画像撮影動作の開始を指示入力するための撮影操作部をさらに含み、上記制御部は、上記撮影操作部から分光画像撮影動作の開始が指示入力されるのに応じて、上記複数の被写体分光画像を取得するための制御を行うものである。
図2は、上記第1の実施形態におけるLEDの配置例や構成例を示す図。
図3は、上記第1の実施形態における、CCDの分光感度特性およびLEDの発光スペクトルと、これら両方による分光特性と、を示す線図。
図4は、上記第1の実施形態の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
図5は、上記第1の実施形態の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
図6は、上記第1の実施形態の6バンド分光画像取得における各フレームのバンド特性を示す線図。
図7は、上記第1の実施形態のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
図8は、上記第1の実施形態のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
図9は、上記第1の実施形態のモニタ用画像取得における各フレームのバンド特性を示す線図。
図10は、上記第1の実施形態における、6原色のLEDが各3つずつ設けられているときの点灯のさせ方の例を示す図。
図11は、上記第1の実施形態において、筐体の投射口に対して着脱可能に構成された当て付け部を示す斜視図。
図12は、上記第1の実施形態の処理装置におけるディスプレイに表示するための色再現を行う構成を示すブロック図。
図13は、上記第1の実施形態において、取得された被写体分光画像に基づき被写体に関する画像判別を行うための構成例を示すブロック図。
図14は、上記第1の実施形態の処理装置において入力プロファイルを生成する構成例を示すブロック図。
図15は、上記第1の実施形態の撮影装置のLCDモニタにおける表示例を示す図。
図16は、上記第1の実施形態の画像処理システムを使用するときの様子の一例を示す図。
図17は、本発明の第2の実施形態における画像処理システムの構成を示すブロック図。
図18は、上記第2の実施形態において、フルモードと読み出し2倍速モードとにおける読み出しの様子を示すタイミングチャート。
図19は、上記第2の実施形態において、2/4ライン2倍速モードと2/8ライン4倍速モードとにおける読み出されるラインの様子を示す図。
図20は、上記第2の実施形態において、撮影モードを設定する際の動作を示すフローチャート。
図21は、本発明の第3の実施形態における画像処理システムの構成を示すブロック図。
図22は、上記第3の実施形態の画像処理システムを使用するときの様子の一例を示す図。
図23は、上記第3の実施形態における、LEDの発光スペクトルとカラーフィルタアレイを通したCCDの分光感度特性とを示す線図。
図24は、上記第3の実施形態において、6バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
図25は、上記第3の実施形態において、モニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
図26は、上記第3の実施形態の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
図27は、上記第3の実施形態の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
図28は、上記第3の実施形態のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
図29は、上記第3の実施形態のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
図30は、上記第3の実施形態における、8バンドの分光画像を生成するときのLEDの発光スペクトルとカラーフィルタアレイを通したCCDの分光感度特性とを示す線図。
図31は、上記第3の実施形態において、8バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
図32は、上記第3の実施形態の8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
図33は、上記第3の実施形態の8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
図34は、上記第3の実施形態において、モニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
図35は、上記第3の実施形態のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
図36は、上記第3の実施形態のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
図37は、本発明の第4の実施形態における画像処理システムの構成を示すブロック図。
図38は、上記第4の実施形態において、スペクトル検出センサを複数配設した画像処理システムを使用するときの様子の一例を示す図。
図39は、上記第4の実施形態におけるスペクトル検出センサの構成例を示す断面図。
図40は、上記第4の実施形態のスペクトル検出センサに接続される光ファイバの入射端の様子を示す断面図。
図41は、上記第4の実施形態のスペクトル検出センサに接続される光ファイバの入射端の近傍にセンサ用光学系を配設した構成例を示す断面図。
図42は、上記第4の実施形態において、環境光取得用に設けられたスペクトル検出センサに接続される光ファイバの入射端の様子を示す断面図。
図1から図16は本発明の第1の実施形態を示したものであり、図1は画像処理システムの構成を示すブロック図である。
この画像処理システムは、可視光域において互いに独立して異なる複数の波長帯域の照明光により被写体を照明して被写体分光画像を撮影可能な撮影装置1と、この撮影装置1と接続されていて該撮影装置1から出力される被写体分光画像を処理する処理装置2と、を有して構成されていて、該処理装置2は、必要に応じてネットワーク3に接続することができるように構成されている。
上記撮影装置1は、本実施形態においては、6種類の波長帯域の照明光(6原色の照明光)を被写体に順次照射して、6枚の被写体分光画像を静止画として取り込む撮像と、6原色の照明光から1以上の照明光を各選択してRGBの3色の照明光としこれらを順次に照射することにより面順次式の動画として取り込む撮像と、を行うことができるようになっている。
上記撮影装置1は、後述する照明光を被写体に投写するとともに被写体からの反射光を入射するための投射口5aを備えた筐体5と、この筐体5の投射口5a側に着脱可能に取り付けられており該投射口5aを介して被写体に投射する照明光に外光が混入することのないように遮光するための柔軟性を有する素材により略筒状に形成された当て付け部4と、上記筐体5内に組み込まれていて点灯されることにより被写体を照明するための照明光を発光する発光素子である第1LED6a〜第6LED6fと、上記筐体5内に組み込まれていてこれら第1LED6a〜第6LED6fにより照明された被写体像を結像するための撮像光学系7と、この撮像光学系7により結像された被写体像を撮像して画像信号を出力する撮像素子部に含まれる撮像素子たるCCD8と、このCCD8から出力されるアナログ信号をデジタル信号に変換するA/D変換器9と、このA/D変換器9から出力され後述するバス10を介して伝送される被写体分光画像を一旦記憶するとともに後述するCPU18による作業領域としても用いられるメモリ11と、使用者が分光画像撮影動作の開始を指示入力したり動画像撮影動作の開始や終了を指示入力したりするための各種の操作スイッチや操作ボタンを含んでなる撮影操作部たる操作スイッチ14と、この操作スイッチ14からの指示入力を後述するCPU18に伝達するとともに該CPU18からの指令により上記第1LED6a〜第6LED6fの発光制御に関する命令等を行ったりこの撮影装置1の撮像動作に関する制御を行ったりするカメラ制御I/F12と、このカメラ制御I/F12からの指令に基づき上記第1LED6a〜第6LED6fの発光開始タイミングや発光終了タイミングなどの発光動作に係る制御を行うLEDドライバ13と、上記CCD8により撮像される動画像や上記メモリ11に記憶された被写体分光画像(静止画像)を後述するLCDモニタ16に表示するための制御を行うモニタI/F15と、このモニタI/F15から出力される画像を表示するためのLCDモニタ16と、上記メモリ11に記憶された被写体分光画像や後述するCPU18からの制御データ等を上記処理装置2に出力しあるいは該処理装置2からの通信データを入力するための外部I/F17と、上記A/D変換器9、メモリ11、カメラ制御I/F12、モニタI/F15、外部I/F17、後述するCPU18等を互いに接続するバス10と、上述した各回路を含むこの撮影装置1を統括的に制御する制御部たるCPU18と、を有して構成されている。
上記処理装置2は、例えばパーソナルコンピュータ等でなり、上記外部I/F17から出力される被写体分光画像を受信して、後述するように入力プロファイルを用いてXYZ三刺激値を算出し、さらにこのXYZ三刺激値からディスプレイプロファイルを用いて被写体が与えると推定されるXYZ三刺激値とほぼ同一のXYZ三刺激値を後述するディスプレイ22により得られるような表示用信号を生成する演算装置21と、この演算装置21から出力される表示用信号により高度な色再現がなされた画像を表示するディスプレイ22と、を有し、さらに、特に図示はしないが上記ネットワーク3に接続するためのネットワークインタフェース等も備えて構成されている。
なお、上記撮影装置1と処理装置2とは、有線により接続されていても良いし、例えばBluetoothや無線LANなどの無線により接続されていても構わないし、あるいは一体に構成されていても良い。
図3は、CCD8の分光感度特性およびLED6a〜6fの発光スペクトルと、これら両方による分光特性と、を示す線図である。
発光素子である上記第1LED6a〜第6LED6fは、図3(A)に示すように、それぞれ異なる独立した発光スペクトルを有したものとなっていて、曲線fL1により示される第1LED6aの光は例えばやや紫がかった青、曲線fL2により示される第1LED6bの光は例えばやや緑がかった青、曲線fL3により示される第1LED6cの光は例えばやや青がかった緑、曲線fL4により示される第1LED6dの光は例えばやや黄がかった緑、曲線fL5により示される第1LED6eの光は例えばオレンジ、曲線fL6により示される第1LED6fの光は例えば赤、などとなっている。
なお、図示の例では、第1LED6a〜第6LED6fの各発光スペクトルは、互いに重なり合うことなく完全に分離されているが、一部が重なり合うような発光スペクトルであっても構わない。もちろん、LEDの種類も6種類に限るものではなく、適宜の種類数のLEDの組み合わせを採用することができる。
ここに、各LEDによる照明光のスペクトル配列は、均等波長間隔(波長方向に均等な間隔で例えばピークが並ぶもの)、均等波長比間隔(波長方向に一定の比率間隔でピーク等が並ぶもの)、特定目的用の特定配列(特定の目的に沿って波長方向に特定の配列でピーク等が並ぶもの)、特定波長色逓倍設定(特定波長を基本波長として逓倍波長位置にピーク等が並ぶもの)、特定偏光色配置(波長方向に沿って並ぶピークで表される各光が特定方向に偏光しているもの)、可視域外光配置(波長方向に沿って並ぶピークで表される光が可視域外の領域にも達しているもの)等の何れであっても採用することが可能であり、使用目的に最も合致するものを選ぶようにすると良い。
また、ここでは、発光素子として、軽量、小型、かつ比較的安価で入手容易でありながら高輝度の半導体発光素子であるLEDを用いているが、これに限らず、例えばLD(レーザダイオード)等の半導体レーザーやその他の発光素子を用いることも可能である。
一方、上記CCD8は、本実施形態においては、モノクロタイプのCCDを使用しており、そのセンサ感度は、図3(A)の曲線fSに示すように可視光域をほぼカバーするようなものとなっている。なお、ここでは撮像素子としてモノクロタイプのCCDを用いているが、これに限るものではなく、後述する実施形態において述べるようにカラータイプのCCDを用いても良いし、CCDに限らずCMOSタイプやその他の各種の撮像素子を広く使用することが可能である。
そして、上記第1LED6a〜第6LED6fによって照明された被写体の像をこのCCD8により受光するときの分光感度特性は、例えば図3(B)に示す曲線fSL1〜fSL6のようになっている。このようなトータルの分光感度特性の波長による相異は、後段で電気的に処理されたり、あるいは撮影装置1に係る入力プロファイルなどとして補正されたりすることになる。
また、図2はLEDの配置例や構成例を示す図である。
図2(A)は、6種類の原色で構成される上記第1LED6a〜第6LED6fを、リング状に順次3セット(各色3個ずつ)配置した例を示している。なお、図示の配置順は一例を示したのみであり、これに限らず、逆順やランダム配置などの任意の配列を広く適用することが可能である。
次に、図2(B)は、リング状に発光部6Aを複数配置していて、かつ、各発光部6A内に6種類の原色を包含するように上記第1LED6a〜第6LED6fを配置した例を示している。なお、図示の例では、1つの発光部6A内に6原色の全てを配置しているが、これに限らず、3原色ずつを配置するなどの6原色が複数の発光部6Aに分かれるようにしても構わない。
さらに、図2(C)は、上記第1LED6a〜第6LED6fのそれぞれにファイババンドル6Bの一端側6Ba〜6Bfを接続し、他端側6Bgをリング状に形成したものである。これにより、LED6a〜6fから発光された照明光は、バンドルファイバ端6Ba〜6Bfに入射する。バンドルファイバ端は複数のさらに細いファイバから構成されており、バンドルファイバの射出部6Bgでは各LEDからのこれら細いファイバは互いに混ぜ合わされてリング状の均一な光源として被写体に照射され、被写体による全反射の影響を低減することができる。
なお、LEDの配置は、図2に示したような例に限らず、CCD8による撮像に支障を来すことのない限りは、リング状配置、十字状配置、矩形状配置、ランダム配置などの適宜の配置を採用することが可能である。
次に、この撮影装置1では、2種類の画像取得モードがあることについて説明する。
上述したように、この撮影装置1は、通常のRGB画像としての動画と、高度な色再現を可能とする6原色の被写体分光画像としての静止画と、を撮像することができるようになっており、動画はモニタ用画像取得モードにおいて、静止画は分光画像取得モードにおいて、それぞれ撮像されるようになっている。
これら2つのモードは、上記操作スイッチ14に含まれている押下式のボタンスイッチでなる撮影ボタン14a(図16参照)を押すことにより切り替えられるように構成されている。
すなわち、まず、電源スイッチをオンにするなどによりモニタ用画像取得モードが自動的に設定され、被写体像が動画としてLEDモニタ16上に表示される。この状態で、分光画像を撮影したい被写体部分を探して、撮影装置1の位置決めを行う。こうして、撮影したい被写体部分が撮像範囲内に入って位置決めがなされたところで、上記撮影ボタン14a(図16参照)を押すことにより、分光画像取得モードに切り替って被写体分光画像が静止画として取得される。
被写体分光画像が取得された後は、再びモニタ用画像取得モードに復帰して、次に分光画像を取得したい被写体部分を探すことができるような構成となっている。
なお、図示はしないが、別途の設定を行うことにより、取得した分光画像を用いた色再現表示や分光画像を解析した結果の表示などを、分光画像の取得直後に該LCDモニタ16、あるいは上記ディスプレイ22に行うことも可能となっている。
次に、図4から図6を参照して、画像処理システムにおける分光画像取得モードの動作について説明する。図4は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図5は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート、図6は6バンド分光画像取得における各フレームのバンド特性を示す線図である。
撮影ボタン14a(図16参照)が押されることによりモニタ用画像取得モードから分光画像取得モードに切り替わると、分光画像の撮像を開始するか否かを判断する(ステップS1)。撮影ボタン14aの押圧により直ちに分光画像の撮像が開始される場合にはこの判断動作を行わなくても構わないが、撮影ボタン14aが例えば2段式の押圧ボタンで構成されていて、1段目の半押し状態で焦点調節や露光量調節等を行い、2段目の全押し状態で露光を開始する場合には、このステップS1において2段目が押圧されたか否かを判断する。
次に、変数nに1を設定して(ステップS2)、第nLEDを点灯させる(ステップS3)。ここではn=1に設定されているために、第1LED6aを点灯させることになる。第1LED6aによる照明光は、筐体5の投射口5aを介して被写体に照射される。このときに、当て付け部4が被写体の表面に柔軟に当て付いて外光の侵入を防いでいるために、被写体には第1LED6aからの照明光のみが投射されることになる。被写体からの反射光は、撮像光学系7によりCCD8の表面に結像される。
この第1LED6aの点灯が開始された後に、CCD8による撮像、より詳しくは電荷の蓄積、を開始する(図5参照)(ステップS4)。
CCD8による撮像が終了したら、その後に第1LED6aを消灯し(ステップS5)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第nメモリ:ここでは第1メモリ)に記憶させる(ステップS6)。6バンド分光画像を撮像する場合には、メモリ11内に第1メモリから第6メモリまでの記憶領域が設けられており、これらの記憶領域に各分光画像が順次格納されるようになっている。
その後、nをインクリメントする(ステップS7)。ここではnが1から2にインクリメントされることになる。
nが7以上になったか否かを判断して(ステップS8)、ここではまだ2であるために上記ステップS3に戻り、第2LED6bを点灯して上述したようなステップS3からステップS7までの動作を行う。
このようにして、n=6のときに第6LED6fを点灯してステップS6までの動作を終了すると、図6に示すようなバンド特性の6バンド分光画像が取得され、メモリ11に保存されたことになる。そして、ステップS7でn=7にインクリメントされるために、ステップS8の判断においてnが7に達したとして、この6バンド分光画像取得の動作を終了する。
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
次に、図7から図9を参照して、画像処理システムにおけるモニタ用画像取得モードの動作について説明する。図7はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図8はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート、図9はモニタ用画像取得における各フレームのバンド特性を示す線図である。
このモニタ用画像取得モードは、第1LED6a〜第6LED6fによる6原色の照明光から、青(B)の範疇に相当する第1LED6aおよび第2LED6bを発光させる状態と、緑(G)の範疇に相当する第3LED6cおよび第4LED6dを発光させる状態と、赤(R)の範疇に相当する第5LED6eおよび第6LED6fを発光させる状態と、を順次取らせることにより、RGB画像を面順次式で動画像として取得するモードとなっている。
なお、ここでは、一般のRGB画像用を想定して発光原色を選定しているが、これに限らず、特殊な用途等に応じた他の発光原色の選定も行うことが可能である。
電源スイッチがオンされることによりモニタ用画像取得モードが設定されるか、あるいは分光画像取得モードが終了することによりモニタ用画像取得モードに復帰すると、モニタ用画像の撮像を開始するのを待機する(ステップS11)。
ここでは直ちに撮像が開始され、変数nに1を設定して(ステップS12)、第nLEDおよび第n+1LEDを点灯させる(ステップS13)。ここではn=1に設定されているために、第1LED6aおよび第2LED6bを点灯させることになる。
これら第1LED6aおよび第2LED6bの点灯が開始された後に、CCD8による撮像を開始する(図8参照)(ステップS14)。
CCD8による撮像が終了したら、その後に第1LED6aおよび第2LED6bを消灯し(ステップS15)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第nメモリ:ここでは第1メモリ)に記憶させる(ステップS16)。
その後、nを2だけ増加させる(ステップS17)。ここではnが1から3に増加されることになる。
nが7以上になったか否かを判断して(ステップS18)、ここではまだ3であるために上記ステップS13に戻り、第3LED6cおよび第4LED6dを点灯して、上述したようなステップS13からステップS17までの動作を行う。
これによりn=5となって、さらに上記ステップS13に戻って第5LED6eおよび第6LED6fを点灯してステップS16までの動作を終了すると、図9に示すようなバンド特性のRGB画像がB,G,Rの順に取得され、メモリ11の第1メモリ、第3メモリ、第5メモリに各保存されたことになる。そして、ステップS17でn=7にインクリメントされるために、ステップS18の判断においてnが7に達したと判断される。
こうして、RGB画像を取得した後に、上記ステップS11に戻って、次のRGB画像を取得するかを判断する。モニタ用画像取得モードが引き続いて設定されている場合には、次のRGB画像の取得を行い、これを連続的に繰り返すことで、RGB動画像を得ることができる。
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
このようにしてメモリ11に記憶された画像データは、その後に読み出されてモニタ表示用の画像信号に変換され、モニタI/F15を介してLCDモニタ16に出力されて表示される。また、この画像処理システムの設定を変更することにより、処理装置2のディスプレイ22に表示することも可能となっている。
なお、ここでは照度を確保するために、6原色のLEDを2つずつに分けて3つの素子群、つまりR素子群、G素子群、B素子群でなるグループを構成したが、これに限らず、例えば、B(青)については第1LED6aを、G(緑)については第3LED6cを、R(赤)については第5LED6eをそれぞれ発光させる、各1色の発光を行うようしても良い。このときには、これらのLEDの分光特性が、RGB発光に適するようなものを選定するようにすると良い。
さらに、単一あるいは複数の特定の原色のLEDのみを点灯して、モノクロモニタ画像を取得することにより、モニタ表示を高速に行うことも可能である。
図10は、6原色のLEDが各3つずつ設けられているときの点灯のさせ方の例を示す図である。
発光モードとしては、全てのLEDを点灯する場合、1つの原色の1つのLEDのみを単一点灯する場合、1つの原色について3つのLEDを点灯させる単一原色点灯の場合、6原色のLEDを各1個ずつ点灯させる場合、18個でなる6原色のLEDの内の例えば青(B)に属する6個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば緑(G)に属する6個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば赤(R)に属する6個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば青(B)に属する3個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば緑(G)に属する3個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば赤(R)に属する3個のLEDを点灯させる場合、などが例として挙げられる。こうして、色毎にまとめた素子群を同時に発光させたり、位置毎にまとめた素子群を同時に発光させたりすることができるようになっている。
なお、本実施形態の撮影装置1は、被写体を撮像するときに、接触で行うことも非接触で行うことも何れも可能であるが、画像を正確に色再現するためには、この撮影装置1以外から発生する光の影響を受けることのないようにする必要がある。
従って、非接触で被写体を撮像する場合には、外光照明を消灯する必要がある。
また、塗装面、皮膚面、近接画像などの接触で撮影を行うことができる被写体の場合には、上述したように、略円筒状に形成された当て付け部4を被写体に柔軟に当て付けることができるために(図1参照)、遮光性を確保することが可能となる。
当て付け部4は、接触式である場合に用いるものであるために、被写体が人体である場合などには細菌汚染や汚れなどを防ぐ衛生の観点から、また、被写体が塗装板などである場合には汚れが転写するのを防止する観点などから、図11に示すように、着脱可能でディスポーザブルな部材となっている。図11は、筐体5の投射口5aに対して着脱可能に構成された当て付け部4を示す斜視図である。
この当て付け部4は、被写体が高温または低温のものである場合に向けて断熱素材により形成したり、被写体が静電気を帯びる性質のものであったり導電性を有する電気関連のものであったりする場合に向けて絶縁性素材により形成したり、被写体が溶液が浸漬しているものである場合に向けて防溶液性の素材により形成しかつ照明光を投影し反射光を受光するためのガラス窓などを形成したりすることが可能である。当て付け部4は着脱可能な単体の部品であるために、このような各種の素材で種々の形状に形成するのを容易に行うことができる。さらに、被写体の表面を肉眼で観察するために、当て付け部4に開閉可能な観察用窓等を設けることも容易に可能である。
なお、本実施形態において、LEDにより発光される複数の原色の内の、特定の一または複数の原色を用いることによって、特定用途の検査や判別に利用することも可能である。
続いて、処理装置2における色再現について説明する。
上述したような撮影装置1における撮像動作によりメモリ11内に記録された被写体分光画像は、外部I/F17を介して処理装置2に送信され、該処理装置2に内蔵される画像メモリ部32(図12参照)に記録されて、所定のソフトウェアによって動作する演算装置21により、色再現や画像処理が行われるようになっている。その処理結果は、該処理装置2のディスプレイ22に表示されるか、あるいは上記LCDモニタ16に転送されて表示される。
図12は、処理装置2におけるディスプレイ22に表示するための色再現を行う構成を示すブロック図である。
この処理装置2は、撮影装置1から入力される被写体分光画像が上記第1LED6a〜第6LED6fの何れにより照明されたものであるかに応じて画像メモリ部32内の記憶領域を振り分ける画像振り分け部31と、この画像振り分け部31により振り分けられた被写体分光画像をそれぞれ記憶する記憶領域である第1メモリ32a〜第6メモリ32fを備えた画像メモリ部32と、この画像メモリ部32に記憶された被写体分光画像を読み出してディスプレイ22において高度に色再現された画像を表示するためのディスプレイ画像データを算出し出力する色再現演算部33と、を有し、これらは例えば図1に示した演算装置21に含まれていて、さらに、上記色再現演算部33から出力されるディスプレイ画像データに基づき高度に色再現された画像を表示する上記ディスプレイ22を有して構成されている。
上記色再現演算部33は、撮影装置1に関するプロファイルを記憶する入力プロファイル記憶部33bと、上記画像メモリ部32の第1メモリ32a〜第6メモリ32fに記憶された被写体分光画像を読み出して上記入力プロファイル記憶部33bに記憶されている入力プロファイルと内部に設定された所定の等色関数とを用いて推定演算を行うことによりXYZ三刺激値の画像データを生成するXYZ推定演算部33aと、上記ディスプレイ22に関するプロファイルを記憶するディスプレイプロファイル記憶部33dと、上記XYZ推定演算部33aにより推定されたXYZ三刺激値の画像データと上記ディスプレイプロファイル記憶部33dに記憶されているディスプレイプロファイルとを用いて演算を行うことにより上記ディスプレイ22に出力するためのディスプレイ画像データを生成するディスプレイ値変換部33cと、を有して構成されている。
上記入力プロファイル記憶部33bに記憶されている入力プロファイルは、例えば特開2000−341499号公報に記載されているようなものであって、撮像に用いたCCD8の分光感度を含む撮影装置1の特性や設定(画像入力装置)、被写体を撮影するときの照明光のスペクトルデータ(撮影照明光情報)、生成した被写体画像を観察するディスプレイ22が設置されている場所の照明光のスペクトルデータ(観察照明光情報)、撮影した被写体の分光反射率の統計的性質等の情報(被写体特性情報)、等の情報に基づき算出されたものである。
図14は、処理装置2において入力プロファイルを生成する構成例を示すブロック図である。
上記入力プロファイルは、図14に示すように、撮影装置1から取得した各データ等に基づき処理装置2において生成するようにしても良い。
撮影装置1において取得されるデータとしては、照明光スペクトルデータ、カメラ特性データ、被写体特性データなどが例として挙げられる。
上記照明スペクトルデータは、例えば被写体を撮像するときの照明に関するスペクトルデータであり、接触式である場合には撮影装置1に内蔵した各LED6a〜6fのスペクトルデータとなる。非接触式の場合には、さらに、被写体を撮影する場合の外部照明のスペクトルデータなども含むことになる。
上記カメラ特性データは、フォーカス値などを含む撮影光学系7の特性、CCD8の撮像特性、シャッタ速度、絞り値、などの諸特性を含んで構成されている。
上記被写体特性は、被写体が例えば歯、皮膚、塗料などである場合の分光統計データ等で構成されていて、高精度な入力プロファイルを作成するために、操作スイッチ14などに被写体指定操作部を設けて、被写体を指定するための被写体指定信号を入力するようにしても良い。
これらのデータに基づいて入力プロファイルを生成する処理装置2の構成は、図14に示すように、上記照明スペクトルデータ、カメラ特性データ、被写体特性データを読み込んで演算を行うことにより入力プロファイルを生成する入力プロファイル演算部33eと、この入力プロファイル演算部33eにより生成された入力プロファイルを記憶する上記入力プロファイル記憶部33bと、を有して構成されている。
このような構成により、処理装置に接続される撮影装置1を異なる個体、機種などのものに変更(撮影光学系7の変更等)したり、撮影を行う環境照明が変化したり、撮影対象となる被写体を様々に変化させたりしても、適応的に、高度な色再現を行うことが可能となる。
また、上記ディスプレイプロファイル記憶部33dに記憶されているディスプレイプロファイルは、ディスプレイ22の表示原色値(例えばディスプレイ22がRGBモニタである場合にはRGB原色値)の色度値、ディスプレイ22のトーンカーブ、等の情報に基づき算出されたものである。なお、ディスプレイは、特開2000−338950号公報に記載されているような多原色の色再現システムを用いても構わない。
また、図13は、取得された被写体分光画像に基づき被写体に関する画像判別を行うための構成例を示すブロック図である。
上記画像メモリ部32の第1〜第6メモリ32a〜32fに記憶された被写体分光画像は、画像判別演算部34により読み出されて被写体に関する画像判別が行われ、その判別結果が出力されて上記ディスプレイ22に表示されるようになっている。また、画像の判別演算がネットワークを介して行われ、結果がLCDモニタ16に表示されるように構成されていても構わない。
上記画像判別演算部34は、被写体に関する各種の分類/判定/診断/解析などを行うための判別関数を記憶する判別関数記憶部34bと、上記画像メモリ部32の第1〜第6メモリ32a〜32fに記憶された6枚の被写体分光画像の全部またはその内から選択される1枚以上の被写体分光画像を、この判別関数を用いて演算することにより判別結果を算出し上記ディスプレイ22に表示するための判別結果表示用画像データを生成する判別演算部34aと、を有して構成されている。
なお、上記判別関数は、この画像処理システムをどのような用途に用いるかによって、種々の置き換えを行うことが可能である。例えば、歯科に限定して、歯の白さの等級判定や、色あい判別、皮膚科に限定して、皮膚表面の皮溝や皮丘の相関、エントロピー解析などに置き換えることができる。従って、上記判別関数記憶部34bを、書き換え可能または追記可能な記憶媒体により構成して、用途に応じて使用する判別関数を書き加え、あるいは書き換えるようにすると良い。このような判別関数の具体的な例としては、特開平7−120324号公報に記載されたような処理を行う関数を例に挙げることができる。
この図13に示す画像判別演算部34は、上記図12に示した色再現演算部33に代えて処理装置2に備えさせるようにしても良い。あるいは、図12に示した色再現演算部33とともに該処理装置2内に設けて、これらにより処理を並列して同時に行わせたり、または、必要なものだけを選択的に切り替えて処理を行わせるようにしても構わない。
次に、図15は、撮影装置1のLCDモニタ16における表示例を示す図である。
LCDモニタ16は、例えば図15(A)に示すように、撮影装置1の筐体5の背面側の、把持部5bの上部に配設されていて、図15(B)や図15(C)に示すような画像を表示するようになっている。なお、ここでは、手を被写体として撮像している例を示している。
まず、図15(B)は、上記モニタ用画像取得モードにより撮像された動画像を表示しているときの様子を示しており、これにより、LEDモニタ16がファインダとしての機能を果たすようになっている。
次に、図15(C)は、例えば上記画像判別演算部34による被写体画像の判別結果を表示している様子を示している。ここでは、被写体のID番号(例えば医療分野の診断支援システムにおける患者番号など)と、画像判別により得られた数値解析結果のグラフ(例えば治療経過など)と、が表示されている。LCDモニタ16には、これらに限らず、色再現画像、患者カルテ、各種データ、図表などの、種々の情報を表示することが可能となっている。
こうして、上記LCDモニタ16は、撮影部位を選択するときのファインダとして機能したり、色再現結果や分類/判定/診断/解析などの結果を表示するときのモニタとして機能したりするようになっている。
一方、処理装置2のディスプレイ22は、ハンディタイプの撮影装置1に設けられたLCDモニタ16よりも大面積で高精細なタイプのものである場合が多いために、該処理装置2において目的に応じて実行される処理ソフトウェアの、起動表示、条件設定表示、被写体IDなどの情報を入力するためのGUI表示や、患者の経歴表示、前回情報等の被写体情報表示、処理結果表示などを行うようにしても良い。
上記ネットワーク3には、例えば外部データベースが接続されており、この外部データベースから被写体情報を処理装置2に取得したり、あるいは、処理装置2において行った処理結果を外部データベースへ格納するなどを行うようにしても良い。このときには、セキュリティーを確保するために、処理装置2と外部システムとをネットワーク3を介して接続する際に相互認証を行ったり、被写体データにセキュリティーレベルを設けてレベルに応じた認証を行ったりするように構成することも可能である。
次に、図16は、画像処理システムを使用するときの様子の一例を示す図である。
上記撮影装置1は、軽量小型となるように構成されており、例えば片手で把持部5bを把持して、撮像系が設けられた筐体5の先端側を、当て付け部4を介して被写体の撮影対象部位に当てることにより、撮像を行うことができるようになっている。
上記当て付け部4は、上述したように、着脱可能でディスポーザブルな部材となっていて、外部からの光が被写体の撮影対象部位に当たるのを遮蔽している。
上記把持部5bの上部、例えば人差指で操作可能な位置に、上記操作スイッチ14に含まれる撮影ボタン14aが設けられており、上記LCDモニタ16で撮影しようとする部位を特定した後に、この撮影ボタン14aを押下することにより、上述したようにモニタ用画像取得モードから分光画像取得モードに移行して、分光画像の撮像が行われるようになっている。
取得された分光画像は、処理装置2においてデータ処理が行われディスプレイ22に表示されるが、必要に応じて設定等を行うことにより、撮影装置1のLCDモニタ16に処理装置2における処理結果を表示するようにしても良いのは上述した通りである。
なお、この図16に示す例においては、処理装置2を、ディスプレイ付きのノート型のパーソナルコンピュータとして図示している。このような場合には、ノート型のパーソナルコンピュータに備えられているRS−232C、USB、IEEE1394などのインターフェース(I/F)を介して、上記ネットワーク3に接続するようにすると良い。
このような第1の実施形態によれば、画像処理システムの撮影装置内に可視光域において各異なる分光分布を有する6種類のLEDを設けて、外光を遮断しながらこれらを発光させることにより、被写体分光画像を撮像することができる。このとき、光源としてLED等の小型軽量な半導体発光素子を用いているために、撮影装置を小型化することができ、ハンディタイプのものを作成することも可能となる。
また、処理装置によって処理を行うことにより、高度に色再現された画像をディスプレイに表示することが可能となる。
さらに、LEDの発光順序や発光させるLEDを指定することにより、通常のRGB動画像を始めとして、種々の目的に用いる画像を撮像することが可能となる。
加えて、モノクロCCDを用いているために、コストをやや低減することができるとともに、各色の画像データが欠落画素を生じさせることなく1画面ずつ取得されるために、補間処理を省略することが可能となる。
図17から図20は本発明の第2の実施形態を示したものであり、図17は画像処理システムの構成を示すブロック図、図18はフルモードと読み出し2倍速モードとにおける読み出しの様子を示すタイミングチャート、図19は2/4ライン2倍速モードと2/8ライン4倍速モードとにおける読み出されるラインの様子を示す図、図20は撮影モードを設定する際の動作を示すフローチャートである。
この第2の実施形態において、上述の第1の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
この第2の実施形態は、上述した第1の実施形態を基本構成として、さらに、前面にカラーフィルタアレイ(CFA)19を備えたカラーCCDからの画像読み出し速度を調整することができるように構成したものである。
画像読み出し速度は表示速度に関連しており、表示速度を読み出し速度以上に速くすることはできない。
一般的に、画像をモニタする場合には、30画像/秒程度以上の表示間隔が望ましいが、原色数Nが増加するとそれに伴って比例的に表示間隔が長くなり、ちらつき状態が生じたり、あるいは各原色画像所得時間差による大きな画像位置ずれが生じたりすることがある。
従って、本実施形態は、表示間隔が長くなるのを回避して、読み出し原色数Nによることなく表示間隔を一定にするために、図17に示すように、カメラ制御I/F12AによりCCD8Aからの画像読み出し速度を調整するようにしたものである。
図20を参照して、撮影モードを設定する際の動作について説明する。
操作スイッチ14から撮影モードを選択する操作入力があると(ステップS21)、CPU18がそれを検出して、メモリ11内の記録エリアの一部に、設定する撮影モードやそれに関連する情報等を記録するとともに(ステップS22)、カメラ制御I/F12Aに撮影モードを変更するように制御を行わせる命令を発行する(ステップS23)。
カメラ制御I/F12Aは、この指令を受けて、CCD8Aの駆動を制御し、撮影モードを変更するようになっている。このときには、カメラ制御I/F12は、CCD8Aの動作に連動させてLEDドライバ13を制御することにより、各LED6a〜6fの発光量も合わせて調整するようになっている。
この撮影装置1において設定可能な撮影モードは、例えば、次のようになっている。
(1)フルモード
(2)読み出し2倍速モード
(3)2/4ライン2倍速モード
(4)2/8ライン4倍速モード
(5)2/16ライン8倍速モード
(6)第1の中央部走査モード
(7)第2の中央部走査モード
(8)第3の中央部走査モード
(9)第4の中央部走査モード
(10)第1の中央部高速走査モード
(11)第2の中央部高速走査モード
「フルモード」は、図18(A)に示すように、CCD8Aの全走査ラインの全画素について通常の速度で順次読み出しを行っていく通常のモードである。なお、ここでは第1LED6a、第3LED6c、第5LED6eを同時に発光させるフレームと、第2LED6b、第4LED6d、第6LED6fを同時に発光させるフレームと、により各フレームが構成されているが、このような発光により6原色画像を取り込む手段については、後の第3の実施形態で説明する。
「読み出し速度2倍速モード」は、図18(A)に示す通常のモードに対して、図18(B)に示すように、CCD8Aの全走査ラインの全画素について通常の2倍の速度で順次読み出しを行っていくモードとなっている。なお、ここでは2倍速の読み出しを例に挙げたが、これに限らず適宜の倍数でも良いし、さらには可変倍としても構わない。
「2/4ライン2倍速モード」は、4ライン毎に2ラインのみを走査することにより、1フレームを読み出すのに要する時間を半分にするものであり、垂直方向の分解能は半分になるものの、全有効エリアの画像を取得することが可能となっている。
「2/8ライン4倍速モード」は、さらに、8ライン毎に2ラインのみを走査することにより、1フレームを読み出すのに要する時間を通常モードの1/4にするものである。
「2/16ライン8倍速モード」は、同様に、16ライン毎に2ラインのみを走査することにより、1フレームを読み出すのに要する時間を通常モードの1/8にするものである。
「第1の中央部走査モード」は、図19(A)に示すように、全走査ラインのライン数をSとしたときに、有効エリアの内の、中央部のS/2ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を半分にするものである。
「第2の中央部走査モード」は、図19(B)に示すように、全走査ラインのライン数をSとしたときに、有効エリアの内の、中央部のS/4ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を1/4にするものである。
「第3の中央部走査モード」は、同様に、有効エリアの内の、中央部のS/8ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を1/8にするものである。
「第4の中央部走査モード」は、同様に、有効エリアの内の、中央部のS/16ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を1/16にするものである。
「第1の中央部高速走査モード」は、上記図19(A)に示したような、有効エリアの内の中央部のS/2ラインの部分のみを、通常の2倍の速度で走査することにより、1フレームを読み出すのに要する時間を1/4にするものである。
「第2の中央部高速走査モード」は、上記図19(B)に示したような、有効エリアの内の中央部のS/4ラインの部分のみを、通常の2倍の速度で走査することにより、1フレームを読み出すのに要する時間を1/8にするものである。
これらに限らず、さらに他の手段による高速スキャンを行うことも可能であり、上記を含めて以下のようにまとめることができる。
まず第1は、単純なスキャン速度の高速化である。これは、例えば、読み出し開始を指示するトリガー信号のタイミングを調整することにより行うことができる。例えば、1フレームの表示時間を1/30秒とする例では、各原色(N原色とする)の読み出し時間が1/30/Nとなるようにトリガー信号のタイミングを設定することにより達成される。
第2に、間引きスキャンによる高速化である。上記第1の高速化手段では、撮像素子によって高速化に限界が生じる。これに対して、この間引きを行う場合には、画質は低下するものの、安定した走査を行って高速化を図ることができるために、フレームレートが下がることはなく、表示にちらつきを生じさせることがない。この間引きの例としては、上述したような、ライン単位で一定周期、または一定範囲で間引く手段以外に、画素単位で間引くことも可能であり、撮像素子がXYアドレス型のものである場合には、きめ細かく所望の画素のみを読み出すことも可能となる。
第3に、原色に応じてフレームレートを異ならせることによる高速化である。通常のRGBカラーフィルタ等を備えたCCDにおいても、輝度信号に近い緑(G)の画素は、赤(R)や青(B)の画素の2倍の数だけ配設されていることが多い。このような点を考慮して、6原色の内の緑(G)に近いフレームは、それ以外の色のフレームの2倍の数だけ読み出すようにすることが考えられる。もちろん、これに限らず、使用目的に応じて、特定の原色のフレームを多く読み出すようにしたり、必要度に応じて読み出すレートを段階的に異ならせたりすると良い。
このような第2の実施形態によれば、上述した第1の実施形態とほぼ同様の効果を奏するとともに、読み出し速度を変更することにより、一定の表示速度を確保することが可能となり、高度な色再現時にも動きが自然な動画像を表示することが可能となる。
図21から図36は本発明の第3の実施形態を示したものであり、図21は画像処理システムの構成を示すブロック図、図22は画像処理システムを使用するときの様子の一例を示す図である。この第3の実施形態において、上述の第1,第2の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
この第3の実施形態は、上述した第1の実施形態を基本構成として、さらに、CCDの撮像面上に3バンドのカラーフィルタアレイを配設した構成としたものである。
すなわち、図21や図22に示すように、撮影装置1は、撮像光学系7により被写体像が結像される光路上のCCD8の近傍に、例えばRGB3バンドのカラーフィルタアレイ(図中、CFAと省略する。)19が配設されていて、撮像素子部としていわゆる単板式のカラー撮像素子が構成されている。
図23は、LED6a〜6fの発光スペクトルとカラーフィルタアレイ19を通したCCD8の分光感度特性とを示す線図である。
第1の実施形態においても示したような、曲線fL1〜fL6により示される6原色LEDの発光スペクトルに対して、カラーフィルタアレイ19の透過率分布とCCD8の受光感度分布とにより得られるトータルの分光感度特性は、図示の曲線fSB,fSG,fSRとなっている。
これらの内の青色カラーフィルタに該当する分光バンド域を示す曲線fSBは曲線fL1,fL2の2つを包含して第1LED6aと第2LED6bの発光による光を感受することができ、緑色カラーフィルタに該当する分光バンド域を示す曲線fSGは曲線fL3,fL4の2つを包含して第3LED6cと第4LED6dの発光による光を感受することができ、赤色カラーフィルタに該当する分光バンド域を示す曲線fSRは曲線fL5,fL6の2つを包含して第5LED6eと第6LED6fの発光による光を感受することができるように構成されている。
ただし、トータルの分光感度特性が互いに独立して分離している必要はなく、周辺部分において互いに一部が重なり合うようになっていても構わない。さらに、第1の実施形態と同様に、第1LED6a〜第6LED6fの各発光スペクトルも、一部が重なり合うような発光スペクトルであっても構わない。もちろん、LEDの種類も6種類に限るものではなく、適宜の種類数のLEDの組み合わせを採用することができるのも同様である。
次に、画像を取得するときの動作について説明する。
この画像処理システムにおいては、上述した第1の実施形態と同様に、画像を取得する際に、モニタ用画像取得モードと分光画像取得モードとを切り替えて行うようになっている。
図24、図26、図27を参照して、分光画像取得モードの動作について説明する。図24は6バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図26は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図27は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
第1の実施形態において説明したように、撮影ボタン14aが押下されて分光画像取得モードに切り替わると、分光画像の撮像を開始する判断を行う(ステップS31)。
ここで分光画像の撮像が開始されると、フレームNの画像の取り込みを行って、その後にフレームN+1の画像の取り込みを行う。
まず、フレームNの画像の取り込みが開始されると、第1LED6a,第3LED6c,第5LED6eを同時に点灯させ(図24(A)参照)(ステップS32)、点灯が開始された後にCCD8による撮像を開始する(図27参照)(ステップS33)。
CCD8による撮像が終了したら、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(フレームメモリ)に記憶させる(ステップS34)。
そして、該フレームメモリに記憶された各画像データを、原色毎に分類して、該メモリ11内の所定の記憶領域(第1,第3,第5メモリ)に記憶させる(ステップS35)。
その後に各LED6a,6c,6eを消灯することで(ステップS36)、フレームNの画像取り込みが終了する。
次のフレームN+1の画像の取り込みは、点灯させるLEDや撮像した画像データを転送するメモリ領域が異なるだけで、基本的にはフレームNの画像の取り込みと同様である。
すなわち、第2LED6b,第4LED6d,第6LED6fを同時に点灯させ(図24(B)参照)(ステップS37)、点灯が開始された後に、CCD8による撮像を開始する(図27参照)(ステップS38)。
CCD8による撮像が終了したら、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(フレームメモリ)に記憶させる(ステップS39)。
そして、該フレームメモリに記憶された各画像データを、原色毎に分類して、該メモリ11内の所定の記憶領域(第2,第4,第6メモリ)に記憶させる(ステップS40)。
その後に各LED6b,6d,6fを消灯することで(ステップS41)、フレームN+1の画像取り込みが終了する。
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
また、上記ステップS35やステップS40において第1〜第6メモリに記憶された各原色の画像は、カラーフィルタアレイ19の原色配列に応じた画素の欠落が生じているために、必要に応じて、撮影装置1または処理装置2において補間処理が行われることになる。
こうしてメモリ11に記憶された6バンドの被写体分光画像は、処理装置2に送られて、処理プログラムにより色再現や画像処理が行われる。この処理結果は、他の処理プログラムによってディスプレイ22に表示されるか、または撮影装置1に転送されてLCDモニタ16に表示される。
次に、図25、図28、図29を参照して、モニタ用画像取得モードの動作について説明する。図25はモニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図28はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図29はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
なお、本実施形態においても上述した各実施形態と同様に、一般のRGB画像用を想定して、第1LED6aおよび第2LED6bが青(B)の範疇に相当し、第3LED6cおよび第4LED6dが緑(G)の範疇に相当し、第5LED6eおよび第6LED6fが赤(R)の範疇に相当するように、各発光原色の選定を行っている。
電源スイッチがオンされることによりモニタ用画像取得モードが設定されるか、あるいは分光画像取得モードが終了することによりモニタ用画像取得モードに復帰すると、モニタ用画像の撮像を開始するのを待機する(ステップS51)。
ここでは直ちに撮像が開始され、全てのLED6a〜6fを点灯させる(図25参照)(ステップS52)。全LED6a〜6fの点灯が開始された後に、CCD8による撮像を開始する(図29参照)(ステップS53)。
CCD8による撮像が終了したら、その後に全LED6a〜6fを消灯し(ステップS54)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第1,第3,第5メモリ)に記憶させる(ステップS55)。
モニタ用画像取得モードが設定されている間は、上記ステップS51に戻ってこのような動作を繰り返すことにより、動画像を取得するようになっている。
このようにして得られた画像は、モニタ用の画像データに変換されて、モニタI/F15を介してLCDモニタ16に表示される。このときには、設定によって、処理装置2のディスプレイ22にモニタ用画像を表示することもできるようになっている。
なお、図29に示したタイミングチャートでは、CCD8による撮像毎にLED6a〜6fの全点灯と全消灯とを行って消費電力の低減を図っているが、モニタ用画像取得モードが設定されている間は、LED6a〜6fを連続的に点灯させるようにしても構わない。
また、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
なお、モニタ画像取得方法として、本実施形態における6バンドの分光画像取得モードを連続させることにより、6バンドの分光画像の第1と第2バンドのメモリ加算、第3と第4バンドのメモリ加算、第5と第6バンドのメモリ加算を同時に行うことによってモニタ画像を生成することも可能である。この場合は、撮影部アルゴリズムを変えることなくメモリ加算を行うだけでモニタ画像を生成することができる。これは、連続した分光画像測定時のモニタ方法として有効である。
次に、図30から図36は、この第3の実施形態の変形例を示しており、図30は8バンドの分光画像を生成するときのLEDの発光スペクトルとカラーフィルタアレイを通したCCDの分光感度特性とを示す線図である。
この変形例は、カラーフィルタアレイ19を介したCCD8によるRGBの検出バンド同士の間にまたがるような発光分光特性のLEDを設けることにより、LEDは6原色(6バンド)の発光を行うだけであるのに、検出としては8バンドの出力を得られるようにしたものである。
すなわち、図30(A)に示すように、カラーフィルタアレイ19の透過率分布とCCD8の受光感度分布とにより得られるトータルの分光感度特性を示す曲線fSB,fSG,fSRに対して、各LED6a〜6fによる発光の分光特性(各々曲線fL1’〜fL6’で示す)は、次のようになっている。
まず、青色カラーフィルタに該当する分光バンド域を示す曲線fSB内には、曲線fL1’,fL2’の2つが包含されていて、曲線fL3’も一部が包含されている。
緑色カラーフィルタに該当する分光バンド域を示す曲線fSG内には、曲線fL4’が包含されていて、さらに、上記曲線fL3’の一部と、曲線fL5’の一部と、が包含されている。
赤色カラーフィルタに該当する分光バンド域を示す曲線fSR内には、曲線fL6’が包含されていて、さらに、上記曲線fL5’の一部が包含されている。
こうして、第3LED6cによる発光の分光特性(曲線fL3’)は青色カラーフィルタのバンドと緑色カラーフィルタのバンドとにまたがり、第5LED6eによる発光の分光特性(曲線fL5’)は緑色カラーフィルタのバンドと赤色カラーフィルタのバンドとにまたがるように構成されている。
このような構成により、各LED6a〜6fにより発光された光をカラーフィルタアレイ19を介してCCD8により受光したときのトータルの分光感度特性は、図30(B)に示すように、曲線fSL1’(曲線fL1’および曲線fSBによる)、曲線fSL2’(曲線fL2’および曲線fSBによる)、曲線fSL3’(曲線fL3’および曲線fSBによる)、曲線fSL4’(曲線fL3’および曲線fSGによる)、曲線fSL5’(曲線fL4’および曲線fSGによる)、曲線fSL6’(曲線fL5’および曲線fSGによる)、曲線fSL7’(曲線fL5’および曲線fSRによる)、曲線fSL8’(曲線fL6’および曲線fSRによる)の合計8バンドとなる。
次に、図31から図33を参照して、8バンドの分光画像を取得する動作について説明する。図31は8バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図32は8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図33は8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
なお、この変形例においては、8バンドの分光画像を撮像するために、メモリ11にはこれらに各対応して第1〜第8メモリの記憶領域が設けられている。
撮影ボタン14aが押下されて分光画像取得モードに切り替わると、分光画像の撮像を開始する判断を行う(ステップS61)。
分光画像の撮像が開始されると、まず、図31(A)に示すようなフレームNの画像の取り込み動作が開始され、第1LED6aと第4LED6dとを同時に点灯させ(ステップS62)、点灯が開始された後に、CCD8による撮像を開始する(図33参照)(ステップS63)。
CCD8による撮像が終了したら、その後にLED6a,6dを消灯し(ステップS64)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第1,第2メモリ)に記憶させる(ステップS65)。これにより、フレームNの画像取り込み動作(2バンドの被写体分光画像の取得)が終了する。
次に、図31(B)に示すようなフレームN+1の画像の取り込み動作が開始され、第2LED6bと第5LED6eとを同時に点灯させ(ステップS66)、点灯が開始された後に、CCD8による撮像を開始する(図33参照)(ステップS67)。
CCD8による撮像が終了したら、その後にLED6b,6eを消灯し(ステップS68)、CCD8から画像データを読み出して、上記メモリ11内の所定の記憶領域(第3,第4,第5メモリ)に記憶させる(ステップS69)。これにより、フレームN+1の画像取り込み動作(3バンドの被写体分光画像の取得)が終了する。
さらに、図31(C)に示すようなフレームN+2の画像の取り込み動作が開始され、第3LED6cと第6LED6fとを同時に点灯させ(ステップS70)、点灯が開始された後に、CCD8による撮像を開始する(図33参照)(ステップS71)。
CCD8による撮像が終了したら、その後にLED6c,6fを消灯し(ステップS72)、CCD8から画像データを読み出して、上記メモリ11内の所定の記憶領域(第6,第7,第8メモリ)に記憶させる(ステップS73)。これにより、フレームN+2の画像取り込み動作(3バンドの被写体分光画像の取得)が終了する。
分光画像を動画的に連続して取り込む場合には、このようなフレームNからフレームN+2までの動作を繰り返して行うことになる。
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
こうしてメモリ11に記憶された6バンドの被写体分光画像は、処理装置2に送られて、処理プログラムにより色再現や画像処理が行われる。この処理結果は、他の処理プログラムによってディスプレイ22に表示されるか、または撮影装置1に転送されてLCDモニタ16に表示される。
続いて、図34から図36を参照して、モニタ用画像を取得する動作について説明する。図34はモニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図35はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図36はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
電源スイッチがオンされることによりモニタ用画像取得モードが設定されるか、あるいは分光画像取得モードが終了することによりモニタ用画像取得モードに復帰すると、モニタ用画像の撮像を開始するのを待機する(ステップS81)。
ここでは直ちに撮像が開始され、全てのLED6a〜6fを点灯させる(図34参照)(ステップS82)。全LED6a〜6fの点灯が開始された後に、CCD8による撮像を開始する(図36参照)(ステップS83)。
CCD8による撮像が終了したら、その後に全LED6a〜6fを消灯し(ステップS84)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域に記憶させる(ステップS85)。
ここでは、CCD8による撮像毎にLED6a〜6fの全点灯と全消灯とを行って消費電力の低減を図っているが、上記図29において説明したのと同様に、モニタ用画像取得モードが設定されている間は、LED6a〜6fを連続的に点灯させるようにしても構わない。
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
その後、モニタ用画像取得モードが解除されるまで、上記ステップS81に戻って、上述したような動作を繰り返して行うことにより、動画像用の画像データを連続的に取得するようになっている。
このようにして得られた画像は、モニタ用の画像データに変換されて、モニタI/F15を介してLCDモニタ16に表示される。このときには、設定によって、処理装置2のディスプレイ22にモニタ用画像を表示することもできるようになっている。
なお、上述では、撮像素子として、3バンドのカラーフィルタアレイとの組み合わせによる単板撮像素子を例に挙げたが、これに限らず、入射光を複数の波長帯域の光に分離する分光ミラーや分光プリズム等の分光部と、この分光部により分光された複数の波長帯域の光を撮像する複数の撮像素子と、を有して構成される3板式の3バンド撮像素子であっても良いし、あるいは2板式の撮像素子であっても構わない。さらに、カラーフィルタとしては、RGB3バンドによる原色系フィルタに限るものではなく、補色系フィルタのものであってももちろん構わない。
また、上述では6バンドの発光スペクトルのLEDから8バンドの被写体分光画像データを取得しているが、これに限らず、組み合わせにより任意の被写体分光画像データを取得するようにしても良い。例えば、光源として第3LEDと第5LEDのみ、すなわち2バンドの光源のみであっても、図31にfSL3’,fSL4’,fSL6’,fSL7’で示すように、4バンドの被写体分光画像を得ることができる。この他、様々な組み合わせが可能である。
このような第3の実施形態によれば、上述した第1,第2の実施形態とほぼ同様の効果を奏するとともに、カラー撮像素子を用いることにより、被写体分光画像を取得するのに必要な撮像回数を減少させることができ、高度な色再現の動画像などもより容易に実現可能となる。
さらに、LEDの発光スペクトルが、カラー撮像素子による受光の分光感度分布にまたがるように構成することにより、6バンドの発光スペクトルのLEDを用いながら、8バンドの被写体分光画像データを取得することが可能となる。
図37から図42は本発明の第4の実施形態を示したものであり、図37は画像処理システムの構成を示すブロック図である。この第4の実施形態において、上述の第1から第3の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
この第4の実施形態は、上述した第3の実施形態を基本構成として、さらに、スペクトル検出センサを付加した構成としたものである。
すなわち、図37に示すように、画像処理システムの撮影装置1は、光のスペクトル分布を検出するスペクトル検出センサ41と、このスペクトル検出センサ41へ検出光を導入するプローブ42と、上記スペクトル検出センサ41からの出力をデジタル信号に変換するとともに処理して出力するセンサI/F43と、被写体特性を記憶する被写体特性メモリ44と、カメラ特性を記憶するカメラ特性メモリ45と、を図21に示した第3の実施形態の構成に加えてさらに有して構成されている。
上記スペクトル検出センサ41は、第1LED6a〜第6LED6fを用いてCCD8により6バンド分光画像を取得する構成とは異なり、光を画像として取り込むのではなくスペクトルのみを検出するものである。
このスペクトル検出センサ41は、光検出範囲が可視光域全域(380nm〜800nm)をカバーするものとなっていて、グレーティング方式により検出を行い、分解能は5nmである。従って、詳細なスペクトルデータを取得することが可能となっている。なお、ここではグレーティング方式のスペクトル検出センサを例に挙げているが、それ以外の方式のものであっても構わない。
上記プローブ42は、例えばフレキシブルな光ファイバ(または光ファイババンドル)を使用しているが、これに限らず、検出光を導光することができるようなものであれば、広く使用することが可能である。
このような構成を用いて、被写体からの光を検出すると該被写体の光スペクトルを検出することができる一方で、被写体の代わりに標準白色板を置くことにより、照明光のスペクトル特性を測定することも可能となる。
より詳しくは、上記当て付け部4等を用いて外部の照明光を遮断し、第1LED6a〜第6LED6fを順次発光させて検出することにより、各LED6a〜6fのスペクトル特性を測定することができる。これにより、これらの発光素子自体の劣化や、温度等の環境変化によるスペクトル特性の変化を検出することができる。ひいては、特性の変化を反映した照明スペクトルのプロファイルを得ることができるために、より正確な高色再現を実現することが可能となる。
さらに、外部の照明光を検出して、環境照明光のスペクトル特性を測定することも可能である。
次に、図38は、スペクトル検出センサを複数配設した画像処理システムを使用するときの様子の一例を示す図である。
この図38には、スペクトル検出センサのより具体的な配設例を示していて、ここでは2つのスペクトル検出センサ、すなわち、第1のスペクトル検出センサ47と第2のスペクトル検出センサ46とが用いられている。
第1のスペクトル検出センサ47は、被写体部分の分光スペクトルを検出するために配設されたものであり、プローブとなる光ファイバ49の先端が、第1LED6a〜第6LED6fの近傍の、筐体5の投射口5aを介して被写体光を入射することができる位置に配設されている。
この第1のスペクトル検出センサ47は、上述したように、被写体の代わりに標準白色板を配することにより、第1LED6a〜第6LED6fの照明スペクトルを検出するのに用いることができるとともに、後述するように先端にレンズ等を配設することにより、被写体のスポット(特定部分)の分光反射スペクトルを直接的に取得することも可能となっている。
これにより、第1のスペクトル検出センサ47を用いて、自動車の塗装色、建物の塗装色、食料品の分光特性、衣料品の染色などのスペクトルデータを直接取得すれば、それぞれの検査や確認のためのデータとして利用することが可能となる。
また、第2のスペクトル検出センサ46は、被写体がおかれた環境の照明光スペクトルを検出することができるように設けられたものであり、プローブとなる光ファイバ48の先端が、筐体5の外面に露呈するとともに、その先端を覆うように白色で半透過性を有する積分球48cが取り付けられている。この第2のスペクトル検出センサ46を用いることにより、撮影装置1から離間した位置にある被写体を、太陽光や室内光のみで撮影するときの照明スペクトルを取得することが可能となる。これにより、被写体像の撮影と同時に、そのときの環境照明光に係る照明スペクトルのプロファイルを作成することが可能であるために、環境照明光が変化したとしてもそれに対応して、リアルタイムな高色再現を自動的に行うことができる。
さらに、撮影装置1の周辺環境光のスペクトルを検出して、撮影装置1自体に内蔵するLEDのスペクトルと比較することにより、周辺環境光とLED光との何れを用いて撮像を行うかを適応的に切り替えることも可能となる。例えば、RGBの動画像を撮像するときには周辺環境光を用いることが可能であるために、この場合には内蔵するLEDを発光させないことにより、消費電力の低減を図ることなども可能となる。
図39は、スペクトル検出センサ41の構成例を示す断面図である。
上記プローブ42は、入射端42aから光を入射して、出射端42bから出射するものである。
スペクトル検出センサ41は、箱体41aと、この箱体41aの一端部に開口して設けられていて上記プローブ42の出射端42bから出射される光をスリット光として入射するための入射光スリット41bと、上記箱体41aの内部に配設されていて上記入射光スリット41bから入射したスリット光を波長に応じて分光し異なる方向に反射して集光させるグレーティング41cと、上記箱体41aに取り付けられていて上記グレーティング41cにより波長に応じて異なる位置に集光される光を受光してその強度に応じた信号を出力するフォトダイオードアレイ41dと、を有して構成されている。
これにより、フォトダイオードアレイ41dは、受光位置に応じて異なる波長の光を光電変換し、強度に応じた信号を出力することになる。
上記センサI/F43は、このフォトダイオードアレイ41dから出力されるアナログ信号をデジタル信号に変換するためのA/D変換器43aを有して構成されていて、変換後のデジタル信号を上記バス10を介してCPU18等へ出力するようになっている。CPU18は、このデジタル信号を各波長の強度を示すスペクトル情報として受けて、解析等を行うようになっている。
図40は、スペクトル検出センサ47に接続される光ファイバ49の入射端49aの様子を示す断面図である。なお、この図40においては、撮像光学系7等の図示を省略している。
光ファイバ49の入射端49aには、ある角度範囲からの光が入射するようになっている。図示の例では、筐体5の投射口5aを介して入射する、撮影対象である被写体表面からの反射光が、上記入射端49aに到達するように設置されている。
この図40に示す構成は、上述したような、被写体として標準白色板を用い、LED照明のスペクトルを検出して経年変化による色の変化情報を取得するなどに用いることができるものである。
また、図41は、スペクトル検出センサ47に接続される光ファイバ49の入射端49aの近傍にセンサ用光学系49cを配設した構成例を示す断面図である。なお、この図41においても、撮像光学系7等の図示を省略している。
この図41に示すように、スペクトル検出センサ47に接続される光ファイバ49の入射端49aにレンズ等でなるセンサ用光学系49cを設けることにより、入射端49aへ入射する光束を被写体のある範囲からの光に制限することができる。これにより、上述したように、被写体の特定位置のスペクトルを高い波長分解能で測定することが可能となる。
図42は、環境光取得用に設けられたスペクトル検出センサ46に接続される光ファイバ48の入射端48aの様子を示す断面図である。なお、この図42においても、撮像光学系7等の図示を省略している。
上述したように、入力用の光ファイバ48の入射端48aは、筐体5の外面に露呈しており、この入射端48aを取り囲むように、白色で半透過性を有する積分球48cが取り付けられている。
このような構成において、環境照明光がこの積分球48cに照射されると、拡散して透過され、光ファイバ48の入射端48aから入射する。この入射光は、該光ファイバ48により伝達されて、スペクトル検出センサ46によりスペクトルの測定が行われる。
このような第4の実施形態によれば、上述した第1から第3の実施形態とほぼ同様の効果を奏するとともに、スペクトル検出センサを設けることにより、被写体光のスペクトル分布を得ることができるとともに、LEDのスペクトル分布を取得して、よりリアルタイムで正確な色再現を行うことも可能となる。
また、センサ用光学系を用いることにより、被写体の特定部分のスペクトル分布を取得することも可能となる。このセンサ用光学系は、上述したように、例えば5nmの分解能をもつものとなっているために、被写体の特定部位について、より詳細なスペクトルデータを取得することが可能となり、より精密な診断や判定を行うことができる。
さらに、環境照明光のスペクトルを検出することもできるために、環境照明光に係る照明スペクトルのプロファイルをリアルタイムに取得することも可能となる。
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
Claims (22)
- 被写体を照明するためのものであって少なくとも可視光域において複数のそれぞれ互いに独立して異なる分光分布特性の発光を行う複数の発光素子と、上記発光素子により照明された被写体像を結像する撮像光学系と、上記撮像光学系により結像された被写体像を撮像して画像信号を出力する撮像素子部と、上記複数の発光素子を分光分布特性に応じて選択的に点灯させて該点灯と上記撮像素子部による撮像を行わせる動作とを同期させて該複数の発光素子の選択を異ならせて複数回行わせることにより複数の被写体分光画像を取得するように制御する制御部と、を含む撮影装置と、
上記画像信号から所望の画像演算を行う演算部を含む処理装置と、
を具備したことを特徴とする画像処理システム。 - 上記制御部は、分光分布特性に従って、上記複数の発光素子から、1つ以上の発光素子を含む素子群を複数有してなるグループを設定し、設定したグループ内における複数の素子群の点灯順序を定めて、この点灯順序に従って各素子群の発光素子を点灯させることにより、上記選択的な点灯を行わせて、複数の被写体分光画像を取得するように制御するものであることを特徴とする請求の範囲第1項に記載の画像処理システム。
- 上記制御部は、上記グループを複数種類設定して、用途に応じて必要なグループを用いるように制御するものであることを特徴とする請求の範囲第2項に記載の画像処理システム。
- 上記制御部は、上記複数の発光素子から、可視光域内の青に属する発光素子の素子群と、可視光域内の緑に属する発光素子の素子群と、可視光域内の赤に属する発光素子の素子群と、で構成されるグループを設定し、撮像フレーム毎に各素子群の発光素子を順次点灯させて、上記撮像素子部により3原色カラー動画像を撮像させる制御をさらに行うものであることを特徴とする請求の範囲第3項に記載の画像処理システム。
- 上記撮影装置は、少なくとも分光画像撮影動作の開始を指示入力するための撮影操作部をさらに含み、
上記制御部は、上記撮影操作部から分光画像撮影動作の開始が指示入力されるのに応じて、上記複数の被写体分光画像を取得するための制御を行うものであることを特徴とする請求の範囲第3項に記載の画像処理システム。 - 上記撮影操作部は、押下式のボタンスイッチを有して構成され、
上記制御部は、このボタンスイッチが押下された時に、上記グループを変更させるように制御するものであることを特徴とする請求の範囲第5項に記載の画像処理システム。 - 上記制御部は、上記ボタンスイッチが押下された時に、さらに、変更したグループの素子群の点灯タイミングを制御するものであることを特徴とする請求の範囲第6項に記載の画像処理システム。
- 上記制御部は、上記撮像素子部による撮像を、発光素子の点灯開始後に開始させるとともに、該発光素子が消灯される前に終了させるように制御するものであることを特徴とする請求の範囲第1項に記載の画像処理システム。
- 上記撮像素子部は、入射光を複数の波長帯域の光に分離する分光部と、この分光部により分光された複数の波長帯域の光を撮像する複数の撮像素子と、を有して構成されたものであることを特徴とする請求の範囲第1項に記載の画像処理システム。
- 上記撮像素子部は、カラーフィルタアレイを備えたカラー撮像素子を有して構成されたものであることを特徴とする請求の範囲第1項に記載の画像処理システム。
- 上記撮影装置は、上記発光素子の分光分布特性を検出するためのスペクトル検出センサをさらに有して構成されたものであることを特徴とする請求の範囲第1項に記載の画像処理システム。
- 上記撮影装置は、環境光の分光分布特性を検出するためのスペクトル検出センサをさらに有して構成されたものであることを特徴とする請求の範囲第1項に記載の画像処理システム。
- 上記撮影装置は、該被写体に一端部側が接するようになされた当て付け部をさらに有して構成されたものであることを特徴とする請求の範囲第1項に記載の画像処理システム。
- 上記当て付け部は、柔軟性を有する素材により略筒状に形成されたものであることを特徴とする請求の範囲第13項に記載の画像処理システム。
- 上記当て付け部は、外光の影響を排除または軽減する素材により構成されたものであることを特徴とする請求の範囲第13項に記載の画像処理システム。
- 上記当て付け部は、撮影装置の筐体に対して着脱可能となるように構成されたものであることを特徴とする請求の範囲第13項に記載の画像処理システム。
- 上記処理装置は、上記撮影装置により撮影された被写体分光画像を記憶するための画像メモリ部をさらに含み、
上記演算部は、上記画像メモリ部に記憶された画像信号から所望の画像演算を行うものであることを特徴とする請求の範囲第1項に記載の画像処理システム。 - 上記演算部は、上記画像メモリ部に記憶された被写体分光画像に基づき、高度に色再現された被写体の画像を表示するための信号を演算するものであることを特徴とする請求の範囲第17項に記載の画像処理システム。
- 上記処理装置は、上記撮影装置により取得されるデータに基づき、高度に色再現された被写体の画像を表示するための信号を演算するのに必要なプロファイル情報を算出するものであることを特徴とする請求の範囲第18項に記載の画像処理システム。
- 上記演算部は、上記画像メモリ部に記憶された被写体分光画像に基づき、被写体に係る判別または解析を行いその結果を出力するものであることを特徴とする請求の範囲第17項に記載の画像処理システム。
- 上記撮像素子部は、撮像時のフレームレートを変更することができるように構成されたものであることを特徴とする請求の範囲第1項に記載の画像処理システム。
- 上記撮影装置は、少なくとも分光画像撮影動作の開始を指示入力するための撮影操作部をさらに含み、
上記制御部は、上記撮影操作部から分光画像撮影動作の開始が指示入力されるのに応じて、上記複数の被写体分光画像を取得するための制御を行うものであることを特徴とする請求の範囲第1項に記載の画像処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002218863 | 2002-07-26 | ||
JP2002218863 | 2002-07-26 | ||
PCT/JP2003/009380 WO2004012461A1 (ja) | 2002-07-26 | 2003-07-24 | 画像処理システム |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008144542A Division JP4294715B2 (ja) | 2002-07-26 | 2008-06-02 | 撮影装置、画像処理システム |
JP2008144541A Division JP2008289169A (ja) | 2002-07-26 | 2008-06-02 | 撮影装置、画像処理システム |
JP2008144540A Division JP2008271588A (ja) | 2002-07-26 | 2008-06-02 | 撮影装置、画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2004012461A1 true JPWO2004012461A1 (ja) | 2005-11-24 |
JP4198114B2 JP4198114B2 (ja) | 2008-12-17 |
Family
ID=31184690
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004524134A Expired - Fee Related JP4198114B2 (ja) | 2002-07-26 | 2003-07-24 | 撮影装置、画像処理システム |
JP2008144540A Withdrawn JP2008271588A (ja) | 2002-07-26 | 2008-06-02 | 撮影装置、画像処理システム |
JP2008144541A Pending JP2008289169A (ja) | 2002-07-26 | 2008-06-02 | 撮影装置、画像処理システム |
JP2008144542A Expired - Lifetime JP4294715B2 (ja) | 2002-07-26 | 2008-06-02 | 撮影装置、画像処理システム |
JP2008298263A Expired - Fee Related JP4536810B2 (ja) | 2002-07-26 | 2008-11-21 | 撮影装置、画像処理システム |
Family Applications After (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008144540A Withdrawn JP2008271588A (ja) | 2002-07-26 | 2008-06-02 | 撮影装置、画像処理システム |
JP2008144541A Pending JP2008289169A (ja) | 2002-07-26 | 2008-06-02 | 撮影装置、画像処理システム |
JP2008144542A Expired - Lifetime JP4294715B2 (ja) | 2002-07-26 | 2008-06-02 | 撮影装置、画像処理システム |
JP2008298263A Expired - Fee Related JP4536810B2 (ja) | 2002-07-26 | 2008-11-21 | 撮影装置、画像処理システム |
Country Status (7)
Country | Link |
---|---|
US (2) | US7773802B2 (ja) |
EP (1) | EP1531629A4 (ja) |
JP (5) | JP4198114B2 (ja) |
KR (1) | KR100685358B1 (ja) |
CN (1) | CN1672428B (ja) |
AU (1) | AU2003252253A1 (ja) |
WO (1) | WO2004012461A1 (ja) |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7256833B2 (en) * | 2002-05-22 | 2007-08-14 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Method and apparatus for automatically optimizing optical contrast in automated equipment |
KR100722897B1 (ko) * | 2002-07-26 | 2007-05-31 | 올림푸스 가부시키가이샤 | 화상 처리 시스템 |
CN1672428B (zh) * | 2002-07-26 | 2010-11-03 | 奥林巴斯株式会社 | 图像处理系统 |
AU2003900924A0 (en) * | 2003-02-28 | 2003-03-13 | Medsaic Pty Ltd | Imaging device |
EP1707928A4 (en) * | 2004-01-23 | 2011-03-09 | Olympus Corp | IMAGE PROCESSING SYSTEM AND CAMERA |
US20050237476A1 (en) * | 2004-04-27 | 2005-10-27 | Braun David A | Liquid crystal display apparatus and method of scanning a color image |
EP1621857A3 (de) * | 2004-07-29 | 2006-04-12 | MHT Optic Research AG | Vorrichting zur Bestimmung der Farbvalenz von transluzenten Objekten, insbesondere Zähnen |
JP4407485B2 (ja) | 2004-11-12 | 2010-02-03 | 株式会社ニコン | 撮像装置、画像処理装置および画像処理プログラム |
JPWO2006064635A1 (ja) * | 2004-12-17 | 2008-06-12 | コニカミノルタホールディングス株式会社 | 診断システム |
JP4831962B2 (ja) * | 2004-12-24 | 2011-12-07 | オリンパス株式会社 | 撮影装置 |
JP2006279227A (ja) * | 2005-03-28 | 2006-10-12 | Fuji Xerox Co Ltd | 撮像装置 |
JP4616681B2 (ja) * | 2005-03-30 | 2011-01-19 | 斎藤 建夫 | 血管観察用プローブおよび血管観察装置 |
US7426029B2 (en) | 2005-08-31 | 2008-09-16 | Microsoft Corporation | Color measurement using compact device |
US7822270B2 (en) | 2005-08-31 | 2010-10-26 | Microsoft Corporation | Multimedia color management system |
US7573620B2 (en) | 2005-09-01 | 2009-08-11 | Microsoft Corporation | Gamuts and gamut mapping |
US8274714B2 (en) | 2005-11-30 | 2012-09-25 | Microsoft Corporation | Quantifiable color calibration |
US8050519B2 (en) * | 2005-12-19 | 2011-11-01 | Olympus Corporation | Image combining apparatus |
JP4844121B2 (ja) * | 2005-12-27 | 2011-12-28 | 船井電機株式会社 | 画像センサおよび撮像装置 |
JP4847250B2 (ja) | 2006-08-03 | 2011-12-28 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
US7817851B2 (en) * | 2006-11-27 | 2010-10-19 | Microsoft Corporation | Color fidelity metric |
JP2010517460A (ja) * | 2007-01-29 | 2010-05-20 | ジョンイル パク | マルチスペクトル映像取得方法およびその装置 |
TWI345053B (en) * | 2007-03-16 | 2011-07-11 | Ind Tech Res Inst | Image-acquiring system with high-spectrum resolution and method for the same |
JP2009071540A (ja) * | 2007-09-12 | 2009-04-02 | Ricoh Co Ltd | 画像入力システム、画像入力方法、プログラム及び記憶媒体 |
US20120004884A1 (en) * | 2008-01-23 | 2012-01-05 | Bernard Fillol | Device and method for the space-colorimetric measurement of a three-dimensional object |
CA2707246C (en) | 2009-07-07 | 2015-12-29 | Certusview Technologies, Llc | Automatic assessment of a productivity and/or a competence of a locate technician with respect to a locate and marking operation |
US8532342B2 (en) | 2008-02-12 | 2013-09-10 | Certusview Technologies, Llc | Electronic manifest of underground facility locate marks |
US8290204B2 (en) | 2008-02-12 | 2012-10-16 | Certusview Technologies, Llc | Searchable electronic records of underground facility locate marking operations |
US8672225B2 (en) | 2012-01-31 | 2014-03-18 | Ncr Corporation | Convertible barcode reader |
JP5098030B2 (ja) * | 2008-04-02 | 2012-12-12 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
CN101572048B (zh) * | 2008-05-04 | 2011-09-21 | 联想(北京)有限公司 | 一种成像显示装置及其控制方法 |
US8572193B2 (en) | 2009-02-10 | 2013-10-29 | Certusview Technologies, Llc | Methods, apparatus, and systems for providing an enhanced positive response in underground facility locate and marking operations |
US8902251B2 (en) | 2009-02-10 | 2014-12-02 | Certusview Technologies, Llc | Methods, apparatus and systems for generating limited access files for searchable electronic records of underground facility locate and/or marking operations |
CN101909382B (zh) * | 2009-06-03 | 2013-05-08 | 海洋王照明科技股份有限公司 | 一种照明系统和照明方法 |
JP4889766B2 (ja) * | 2009-06-15 | 2012-03-07 | シャープ株式会社 | 画像読取り装置、及びそれを備えた画像形成装置 |
US8194237B2 (en) * | 2009-10-15 | 2012-06-05 | Authentix, Inc. | Document sensor |
EP2547992A4 (en) * | 2010-03-17 | 2014-06-18 | Haishan Zeng | METHODS AND APPARATUS FOR QUICK MULTISPECTRAL IMAGING AND CANCER DETECTION AND LOCATION APPLICATIONS |
US8977558B2 (en) | 2010-08-11 | 2015-03-10 | Certusview Technologies, Llc | Methods, apparatus and systems for facilitating generation and assessment of engineering plans |
WO2012066553A1 (en) * | 2010-11-16 | 2012-05-24 | Given Imaging Ltd. | In-vivo imaging device and method for performing spectral analysis |
JP2013096883A (ja) | 2011-11-02 | 2013-05-20 | Seiko Epson Corp | 分光測定装置 |
WO2013064959A1 (en) * | 2011-11-04 | 2013-05-10 | Koninklijke Philips Electronics N.V. | Device and method for multi-spectral illumination |
EP2677363A1 (en) * | 2012-06-20 | 2013-12-25 | bioMérieux | An optical device including a camera, a diaphragm and illumination means |
JP6092049B2 (ja) * | 2013-08-28 | 2017-03-08 | 東芝ライフスタイル株式会社 | 撮像システム及び撮像装置 |
JP6460631B2 (ja) * | 2014-02-19 | 2019-01-30 | オリンパス株式会社 | 撮像装置、内視鏡装置及び顕微鏡装置 |
JP6391947B2 (ja) * | 2014-03-07 | 2018-09-19 | ポーラ化成工業株式会社 | 撮像ユニット及び撮像装置 |
JP6240012B2 (ja) * | 2014-03-26 | 2017-11-29 | キヤノン株式会社 | 色処理装置およびその方法 |
WO2016021285A1 (ja) * | 2014-08-04 | 2016-02-11 | オリンパス株式会社 | 医療画像の色統合システム |
WO2016125234A1 (ja) * | 2015-02-02 | 2016-08-11 | 株式会社イクス | 発光装置、校正係数の算出方法及び検査対象物の撮像画像の校正方法 |
US20160330355A1 (en) * | 2015-03-09 | 2016-11-10 | D4D Technologies, Llc | Intra-oral scanner with color tip assembly |
JP2018126174A (ja) * | 2015-06-17 | 2018-08-16 | オリンパス株式会社 | 内視鏡装置 |
JPWO2017006756A1 (ja) * | 2015-07-09 | 2018-04-19 | オリンパス株式会社 | 色素測定装置および色素測定方法 |
RU2649048C1 (ru) | 2016-11-25 | 2018-03-29 | Самсунг Электроникс Ко., Лтд. | Система компактного спектрометра, предназначенного для неинвазивного измерения спектров поглощения и пропускания образцов биологической ткани |
WO2019026191A1 (ja) * | 2017-08-01 | 2019-02-07 | オリンパス株式会社 | 撮像装置および制御方法 |
EP3998767B1 (en) * | 2019-07-12 | 2023-10-11 | Koito Manufacturing Co., Ltd. | Imaging device, lighting device for same, vehicle, and lamp fitting for vehicle |
Family Cites Families (142)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS4714934U (ja) * | 1971-03-18 | 1972-10-21 | ||
US3986777A (en) | 1974-08-22 | 1976-10-19 | Weber Dental Mfg. Co., Div. Of Sterndent Corporation | Tristimulus colorimeter for use in the fabrication of artificial teeth |
JPS589928B2 (ja) * | 1977-09-30 | 1983-02-23 | ミノルタ株式会社 | 自動及び手動焦点調節可能なスチ−ルカメラ |
US4841318A (en) * | 1984-11-14 | 1989-06-20 | Minolta Camera Kabushiki Kaisha | Camera system with mode selecting device |
JPS6238437A (ja) | 1985-08-13 | 1987-02-19 | Nippon Kogaku Kk <Nikon> | カメラ |
JPS63290091A (ja) * | 1987-05-22 | 1988-11-28 | Olympus Optical Co Ltd | 内視鏡用画像デ−タ圧縮装置 |
US5051823A (en) * | 1988-01-28 | 1991-09-24 | Fuji Optical Systems, Inc. | Dental instrument including laser device and electronic video dental camera |
JP3014104B2 (ja) * | 1989-09-01 | 2000-02-28 | 鐘紡株式会社 | 皮膚表面拡大装置 |
JPH0390123A (ja) | 1989-09-04 | 1991-04-16 | Mitsubishi Electric Home Appliance Co Ltd | 電気掃除機 |
JPH03202821A (ja) * | 1989-12-28 | 1991-09-04 | Canon Inc | カメラ |
US5936731A (en) * | 1991-02-22 | 1999-08-10 | Applied Spectral Imaging Ltd. | Method for simultaneous detection of multiple fluorophores for in situ hybridization and chromosome painting |
US5408268A (en) * | 1992-06-26 | 1995-04-18 | Apollo Camera, L.L.C. | Video imaging system and method using a single full frame sensor and sequential color object illumination |
US20030107652A1 (en) * | 1992-09-11 | 2003-06-12 | Williams Ronald R. | Dental video camera |
US6306421B1 (en) * | 1992-09-25 | 2001-10-23 | Neorx Corporation | Therapeutic inhibitor of vascular smooth muscle cells |
US5396472A (en) | 1993-09-24 | 1995-03-07 | Western Atlas International | Method for deriving water bottom reflectivity in dual sensor seismic surveys |
US5503559A (en) * | 1993-09-30 | 1996-04-02 | Cedars-Sinai Medical Center | Fiber-optic endodontic apparatus and method |
JP3469619B2 (ja) | 1993-10-22 | 2003-11-25 | オリンパス光学工業株式会社 | 色分類装置 |
US5523786A (en) * | 1993-12-22 | 1996-06-04 | Eastman Kodak Company | Color sequential camera in which chrominance components are captured at a lower temporal rate than luminance components |
JP3379820B2 (ja) | 1994-05-24 | 2003-02-24 | 東京電子工業株式会社 | 肌診断用テレビカメラ装置 |
KR100216087B1 (ko) * | 1994-07-26 | 1999-08-16 | 미따라이 하지메 | 광학기기 |
JPH0865690A (ja) | 1994-08-24 | 1996-03-08 | Sony Tektronix Corp | カラー静止画像撮影装置 |
JPH0879770A (ja) * | 1994-08-31 | 1996-03-22 | Mitsubishi Electric Corp | 撮像装置 |
EP0712237B1 (en) * | 1994-11-12 | 1999-03-17 | Sony Corporation | Method of driving a CCD solid state imaging device and video camera using the same |
JP3410836B2 (ja) | 1994-11-25 | 2003-05-26 | 株式会社東芝 | 肌観察装置 |
US5766006A (en) * | 1995-06-26 | 1998-06-16 | Murljacic; Maryann Lehmann | Tooth shade analyzer system and methods |
US5690486A (en) * | 1995-07-28 | 1997-11-25 | Dentalase Corporation | Dental tooth color detector apparatus and method |
JP3713321B2 (ja) | 1995-12-19 | 2005-11-09 | オリンパス株式会社 | カラー画像記録再生システム及び画像カラー画像記録再生方法 |
JPH09178564A (ja) | 1995-12-21 | 1997-07-11 | Shimadzu Corp | 分光測定装置 |
US5759030A (en) * | 1996-01-02 | 1998-06-02 | Lj Laboratories, L.L.C. | Method for determing optical characteristics of teeth |
US6239868B1 (en) * | 1996-01-02 | 2001-05-29 | Lj Laboratories, L.L.C. | Apparatus and method for measuring optical characteristics of an object |
US6307629B1 (en) * | 1997-08-12 | 2001-10-23 | Lj Laboratories, L.L.C. | Apparatus and method for measuring optical characteristics of an object |
US6373573B1 (en) * | 2000-03-13 | 2002-04-16 | Lj Laboratories L.L.C. | Apparatus for measuring optical characteristics of a substrate and pigments applied thereto |
US6254385B1 (en) * | 1997-01-02 | 2001-07-03 | Lj Laboratories, Llc | Apparatus and method for measuring optical characteristics of teeth |
US7728845B2 (en) * | 1996-02-26 | 2010-06-01 | Rah Color Technologies Llc | Color calibration of color image rendering devices |
US6421083B1 (en) | 1996-03-29 | 2002-07-16 | Sony Corporation | Color imaging device and method |
JPH1042302A (ja) | 1996-04-26 | 1998-02-13 | Olympus Optical Co Ltd | 面順次カラー撮像装置 |
JPH1051796A (ja) | 1996-05-31 | 1998-02-20 | Olympus Optical Co Ltd | 固体撮像装置 |
DE19638758A1 (de) * | 1996-09-13 | 1998-03-19 | Rubbert Ruedger | Verfahren und Vorrichtung zur dreidimensionalen Vermessung von Objekten |
US6714657B1 (en) * | 1996-12-31 | 2004-03-30 | Electro-Optical Sciences Inc. | Apparatus for holding optical instruments in a reproducible position with respect to teeth |
US6201880B1 (en) * | 1996-12-31 | 2001-03-13 | Electro-Optical Sciences | Method and apparatus for electronically imaging a tooth through transillumination by light |
US6301004B1 (en) * | 2000-05-31 | 2001-10-09 | Lj Laboratories, L.L.C. | Apparatus and method for measuring optical characteristics of an object |
US6654060B1 (en) * | 1997-01-07 | 2003-11-25 | Canon Kabushiki Kaisha | Video-image control apparatus and method and storage medium |
US6006041A (en) * | 1997-03-12 | 1999-12-21 | Canon Kabushiki Kaisha | Display device |
US6409504B1 (en) * | 1997-06-20 | 2002-06-25 | Align Technology, Inc. | Manipulating a digital dentition model to form models of individual dentition components |
US6870616B2 (en) * | 1998-06-30 | 2005-03-22 | Jjl Technologies Llc | Spectrometer apparatus for determining an optical characteristic of an object or material having one or more sensors for determining a physical position or non-color property |
JPH1155444A (ja) | 1997-08-06 | 1999-02-26 | Olympus Optical Co Ltd | 画像取込装置 |
US6111650A (en) * | 1997-08-14 | 2000-08-29 | Rawicz; Andrew | Method and apparatus for color matching of slightly colored translucent objects such as teeth and dental prosthesis, in particular |
JPH11104061A (ja) | 1997-10-02 | 1999-04-20 | Olympus Optical Co Ltd | 経内視鏡的蛍光観察装置 |
US5995763A (en) * | 1997-10-10 | 1999-11-30 | Posa; John G. | Remote microphone and range-finding configurations |
JPH11146265A (ja) | 1997-11-10 | 1999-05-28 | Fuji Photo Film Co Ltd | 画像入力装置及びこれを用いた撮像プリント装置 |
JP4233624B2 (ja) | 1997-12-26 | 2009-03-04 | カシオ計算機株式会社 | 電子カメラ装置 |
US6038024A (en) * | 1998-01-09 | 2000-03-14 | Mht Optic Research | Method and an apparatus for determining the color stimulus specification of an object |
JPH11225953A (ja) * | 1998-02-12 | 1999-08-24 | Olympus Optical Co Ltd | 内視鏡装置 |
JP3939855B2 (ja) | 1998-05-11 | 2007-07-04 | 株式会社リコー | 両面原稿読み取り方法および装置 |
GB9816088D0 (en) * | 1998-07-23 | 1998-09-23 | Axis Biochemicals Asa | System |
US6967644B1 (en) * | 1998-10-01 | 2005-11-22 | Canon Kabushiki Kaisha | Coordinate input apparatus and control method thereof, and computer readable memory |
JP4212165B2 (ja) * | 1998-11-13 | 2009-01-21 | オリンパス株式会社 | 色再現システム |
JP3813361B2 (ja) | 1998-11-18 | 2006-08-23 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US6396873B1 (en) | 1999-02-25 | 2002-05-28 | Envision Advanced Medical Systems | Optical device |
US7068825B2 (en) * | 1999-03-08 | 2006-06-27 | Orametrix, Inc. | Scanning system and calibration method for capturing precise three-dimensional information of objects |
US6431870B1 (en) * | 1999-11-30 | 2002-08-13 | Ora Metrix, Inc. | Method and apparatus for generating a desired three-dimensional digital model of an orthodontic structure |
JP3902904B2 (ja) | 1999-03-23 | 2007-04-11 | キヤノン株式会社 | 情報提示装置、方法、カメラ制御装置、方法及びコンピュータ読み取り可能な記憶媒体 |
JP2000296114A (ja) | 1999-04-15 | 2000-10-24 | Canon Inc | 眼撮影装置 |
JP3768028B2 (ja) * | 1999-04-30 | 2006-04-19 | シャープ株式会社 | 画像処理方法、画像処理装置及び画像形成装置 |
JP2001029313A (ja) * | 1999-05-18 | 2001-02-06 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2000338950A (ja) | 1999-05-26 | 2000-12-08 | Olympus Optical Co Ltd | 色再現システム |
JP2000341499A (ja) * | 1999-05-31 | 2000-12-08 | Olympus Optical Co Ltd | 色再現装置 |
JP2001024971A (ja) | 1999-07-06 | 2001-01-26 | Canon Inc | 画像処理装置及び画像処理方法並びにメモリ媒体 |
CA2314679A1 (en) | 1999-07-28 | 2001-01-28 | William Kelly | Improvements in and relating to ring lighting |
JP2001083009A (ja) | 1999-09-13 | 2001-03-30 | Fuji Photo Film Co Ltd | マルチバンド画像情報抽出方法および装置 |
JP4317297B2 (ja) * | 1999-09-30 | 2009-08-19 | フジノン株式会社 | 電子内視鏡装置 |
KR100345053B1 (ko) | 1999-10-01 | 2002-07-19 | 삼성전자 주식회사 | Hsg-si 제조 방법 및 상기 방법을 수행하는 장치 |
IE20000838A1 (en) | 1999-10-18 | 2001-05-16 | Mv Res Ltd | Machine vision |
AU1547101A (en) * | 1999-11-26 | 2001-06-04 | Applied Spectral Imaging Ltd. | System and method for functional brain mapping and an oxygen saturation difference map algorithm for effecting same |
US6341957B1 (en) * | 1999-11-27 | 2002-01-29 | Electro-Optical Sciences Inc. | Method of transillumination imaging of teeth |
DE19958407A1 (de) * | 1999-12-02 | 2001-06-07 | Philips Corp Intellectual Pty | Anordnung zur Darstellung von Schichtbildern |
JP2003515417A (ja) * | 1999-12-08 | 2003-05-07 | エックス−ライト、インコーポレイテッド | 光学計測デバイスおよびそれに関連した方法 |
DE19962779B4 (de) * | 1999-12-23 | 2009-06-25 | Byk-Gardner Gmbh | Vorrichtung zur quantifizierten Bestimmung der Qualität von Oberflächen |
US6362888B1 (en) * | 1999-12-23 | 2002-03-26 | Lj Laboratories, L.L.C. | Spectrometer assembly |
US6414750B2 (en) * | 2000-01-10 | 2002-07-02 | Lj Laboratories, L.L.C. | Spectrometric apparatus and method for measuring optical characteristics of an object |
AU2001243024A1 (en) | 2000-01-28 | 2001-08-07 | Aevora Beauty Concepts, Inc. | Cosmetic color determinate system |
US6775567B2 (en) * | 2000-02-25 | 2004-08-10 | Xenogen Corporation | Imaging apparatus |
US6940545B1 (en) * | 2000-02-28 | 2005-09-06 | Eastman Kodak Company | Face detecting camera and method |
US6276933B1 (en) * | 2000-03-21 | 2001-08-21 | Ivan Melnyk | Dental translucency analyzer and method |
JP2001275003A (ja) * | 2000-03-24 | 2001-10-05 | Fuji Photo Film Co Ltd | 画像補正方法および装置並びに記録媒体 |
EP1158761A1 (en) * | 2000-05-26 | 2001-11-28 | GRETAG IMAGING Trading AG | Photographic image acquisition device using led chips |
JP4192407B2 (ja) | 2000-06-23 | 2008-12-10 | カシオ計算機株式会社 | 腕時計 |
US6540513B2 (en) * | 2000-07-11 | 2003-04-01 | Mht Optic Research Ag | Apparatus for simulating the ambient color and translucence conditions in the oral cavity of a patient |
AU2001275754A1 (en) | 2000-08-07 | 2002-02-18 | Digital Colour Meaurement Limited | Colour matching system |
US20020107448A1 (en) * | 2000-10-06 | 2002-08-08 | Gandjbakhche Amir H. | Probe using diffuse-reflectance spectroscopy |
JP2002112960A (ja) | 2000-10-11 | 2002-04-16 | Asahi Optical Co Ltd | 電子内視鏡装置 |
JP4500431B2 (ja) | 2000-11-17 | 2010-07-14 | キヤノン株式会社 | 画像表示装置、画像表示方法および記憶媒体 |
US7228061B2 (en) * | 2000-11-17 | 2007-06-05 | Canon Kabushiki Kaisha | Image display system, image reproducing apparatus, digital television apparatus, image display method, and storage medium for controlling image display based on additional information read from multiple image recording apparatuses |
JP3859196B2 (ja) | 2001-01-31 | 2006-12-20 | 富士フイルムホールディングス株式会社 | デジタルカメラ |
JP4115098B2 (ja) * | 2001-03-28 | 2008-07-09 | 株式会社リコー | 画像形成装置及びマスキング係数算出方法並びにマスキング係数算出プログラムを記録した記録媒体 |
EP1252859A3 (en) * | 2001-04-27 | 2003-12-17 | Firma Ivoclar Vivadent AG | Dental camera with mouthpiece |
US7215803B2 (en) * | 2001-04-29 | 2007-05-08 | Geodigm Corporation | Method and apparatus for interactive remote viewing and collaboration of dental images |
US6960165B2 (en) * | 2001-05-16 | 2005-11-01 | Olympus Corporation | Endoscope with a single image pick-up element for fluorescent and normal-light images |
US6742901B2 (en) * | 2001-05-16 | 2004-06-01 | Sony Corporation | Imaging prevention method and system |
US20020191102A1 (en) * | 2001-05-31 | 2002-12-19 | Casio Computer Co., Ltd. | Light emitting device, camera with light emitting device, and image pickup method |
EP1262751B1 (de) * | 2001-06-01 | 2011-04-06 | Ivoclar Vivadent AG | Vorrichtung und Verfahren zur Lichtanalyse |
JP3826174B2 (ja) | 2001-07-06 | 2006-09-27 | 独立行政法人情報通信研究機構 | 撮像装置 |
JP2003021859A (ja) | 2001-07-09 | 2003-01-24 | Konica Corp | 撮影用ガイド、人物写真撮影装置、人物写真プリント装置 |
JP3925301B2 (ja) * | 2001-07-12 | 2007-06-06 | コニカミノルタセンシング株式会社 | 分光特性測定装置および同装置の分光感度の波長シフト補正方法 |
JP4759180B2 (ja) | 2001-08-02 | 2011-08-31 | キヤノン株式会社 | カメラ及びカメラシステム |
US6749310B2 (en) * | 2001-09-07 | 2004-06-15 | Contrast Lighting Services, Inc. | Wide area lighting effects system |
JP2003087806A (ja) | 2001-09-12 | 2003-03-20 | Fuji Photo Film Co Ltd | マルチバンドカメラ用フィルターとその形成方法並びにこの方法のプログラム及びこれを記録した記録媒体 |
JP4168617B2 (ja) | 2001-10-03 | 2008-10-22 | カシオ計算機株式会社 | 撮像装置用閃光装置、閃光装置付撮像装置及び撮像方法 |
US7144248B2 (en) * | 2001-10-18 | 2006-12-05 | Irwin Dean S | Device for oral UV photo-therapy |
US6672868B1 (en) * | 2001-11-23 | 2004-01-06 | Electro-Optical Sciences Inc. | Method of transillumination imaging of teeth |
JP2003189068A (ja) | 2001-12-18 | 2003-07-04 | Ricoh Co Ltd | カラー画像読取り装置 |
AU2003235586A1 (en) * | 2002-01-16 | 2003-07-30 | Andrei Feldman | Oral implant template |
JP3801049B2 (ja) * | 2002-01-22 | 2006-07-26 | ソニー株式会社 | 情報処理装置及び情報処理方法並びに情報処理プログラム |
US6776614B2 (en) * | 2002-02-13 | 2004-08-17 | Lingualcare, Inc. | Modular system for customized orthodontic appliances |
JP2003309856A (ja) | 2002-04-17 | 2003-10-31 | Sony Corp | 撮像装置および方法、記録媒体、並びにプログラム |
JP2003315153A (ja) * | 2002-04-23 | 2003-11-06 | Minolta Co Ltd | 測色装置 |
JP2003333608A (ja) | 2002-05-08 | 2003-11-21 | Makoto Dejima | 肌撮影用面順次方式テレビカメラ装置 |
US7255558B2 (en) * | 2002-06-18 | 2007-08-14 | Cadent, Ltd. | Dental imaging instrument having air stream auxiliary |
KR100722897B1 (ko) * | 2002-07-26 | 2007-05-31 | 올림푸스 가부시키가이샤 | 화상 처리 시스템 |
CN1672428B (zh) | 2002-07-26 | 2010-11-03 | 奥林巴斯株式会社 | 图像处理系统 |
US7029277B2 (en) * | 2002-10-17 | 2006-04-18 | Coltene / Whaledent Inc. | Curing light with engineered spectrum and power compressor guide |
US20040125996A1 (en) * | 2002-12-27 | 2004-07-01 | Unilever Home & Personal Care Usa, Division Of Conopco, Inc. | Skin diagnostic imaging method and apparatus |
WO2004061389A1 (en) * | 2002-12-31 | 2004-07-22 | D3D, L.P. | Laser digitizer system for dental applications |
WO2004085956A2 (en) * | 2003-03-24 | 2004-10-07 | D3D, L.P. | Laser digitizer system for dental applications |
US7033172B2 (en) * | 2003-04-16 | 2006-04-25 | Eastman Kodak Company | Dental positioning grid |
JP4571625B2 (ja) * | 2003-05-05 | 2010-10-27 | ディーフォーディー テクノロジーズ エルエルシー | 光断層映像法による画像化 |
US7118374B2 (en) * | 2003-06-09 | 2006-10-10 | Ivoclar Vivadent Ag | Enhanced tooth shade guide |
US7064830B2 (en) | 2003-06-12 | 2006-06-20 | Eastman Kodak Company | Dental color imaging system |
JP2005021562A (ja) * | 2003-07-01 | 2005-01-27 | Namco Ltd | 位置検出システム、ゲーム装置、プログラム及び情報記憶媒体 |
AU2004273957B2 (en) * | 2003-09-17 | 2009-05-28 | D4D Technologies, Llc | High speed multiple line three-dimensional digitization |
US7341450B2 (en) * | 2003-10-03 | 2008-03-11 | Shade Analyzing Technologies, Inc. | Tooth shade scan system and method |
DE10352394B4 (de) * | 2003-11-10 | 2009-07-30 | Ivoclar Vivadent Ag | Intraorale Kameraeinrichtung sowie Verfahren zum Erzeugen eines ausgerichteten Bildes eines intraoralen Gegenstandes, insbesondere eines Patientenzahnes |
EP1707928A4 (en) * | 2004-01-23 | 2011-03-09 | Olympus Corp | IMAGE PROCESSING SYSTEM AND CAMERA |
US7106511B2 (en) * | 2004-03-02 | 2006-09-12 | Agilent Technologies, Inc. | Imaging system with large depth of field |
JP2005293075A (ja) | 2004-03-31 | 2005-10-20 | Brother Ind Ltd | 3次元形状検出装置、3次元形状検出方法、3次元形状検出プログラム |
JP4800591B2 (ja) * | 2004-05-26 | 2011-10-26 | オリンパス株式会社 | 撮影システム |
EP1905350A4 (en) | 2005-07-19 | 2012-03-07 | Konica Minolta Holdings Inc | IMAGE PROCESSOR, SYSTEM AND IMAGE PROCESSING PROGRAM |
US7596253B2 (en) * | 2005-10-31 | 2009-09-29 | Carestream Health, Inc. | Method and apparatus for detection of caries |
JP2007271395A (ja) * | 2006-03-30 | 2007-10-18 | Brother Ind Ltd | 3次元色形状計測装置 |
JP4845590B2 (ja) * | 2006-05-22 | 2011-12-28 | オリンパス株式会社 | 内視鏡システム |
US8866894B2 (en) | 2008-01-22 | 2014-10-21 | Carestream Health, Inc. | Method for real-time visualization of caries condition |
JP4594429B2 (ja) | 2008-06-30 | 2010-12-08 | オリンパス株式会社 | 歯科用測色装置、システム、方法、及びプログラム |
-
2003
- 2003-07-24 CN CN038179334A patent/CN1672428B/zh not_active Expired - Fee Related
- 2003-07-24 KR KR1020057001463A patent/KR100685358B1/ko not_active IP Right Cessation
- 2003-07-24 WO PCT/JP2003/009380 patent/WO2004012461A1/ja active Application Filing
- 2003-07-24 JP JP2004524134A patent/JP4198114B2/ja not_active Expired - Fee Related
- 2003-07-24 AU AU2003252253A patent/AU2003252253A1/en not_active Abandoned
- 2003-07-24 EP EP03771304A patent/EP1531629A4/en not_active Withdrawn
- 2003-07-24 US US10/521,778 patent/US7773802B2/en active Active
-
2008
- 2008-06-02 JP JP2008144540A patent/JP2008271588A/ja not_active Withdrawn
- 2008-06-02 JP JP2008144541A patent/JP2008289169A/ja active Pending
- 2008-06-02 JP JP2008144542A patent/JP4294715B2/ja not_active Expired - Lifetime
- 2008-11-21 JP JP2008298263A patent/JP4536810B2/ja not_active Expired - Fee Related
-
2010
- 2010-07-12 US US12/834,133 patent/US7889919B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008271588A (ja) | 2008-11-06 |
US7889919B2 (en) | 2011-02-15 |
CN1672428A (zh) | 2005-09-21 |
CN1672428B (zh) | 2010-11-03 |
JP2008283692A (ja) | 2008-11-20 |
WO2004012461A1 (ja) | 2004-02-05 |
US20100277570A1 (en) | 2010-11-04 |
JP2009071863A (ja) | 2009-04-02 |
KR100685358B1 (ko) | 2007-02-22 |
EP1531629A1 (en) | 2005-05-18 |
AU2003252253A1 (en) | 2004-02-16 |
JP4536810B2 (ja) | 2010-09-01 |
JP4198114B2 (ja) | 2008-12-17 |
JP2008289169A (ja) | 2008-11-27 |
US7773802B2 (en) | 2010-08-10 |
KR20050026010A (ko) | 2005-03-14 |
JP4294715B2 (ja) | 2009-07-15 |
EP1531629A4 (en) | 2006-05-17 |
US20050254704A1 (en) | 2005-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4198114B2 (ja) | 撮影装置、画像処理システム | |
JP4870067B2 (ja) | 画像処理システム | |
JP4088313B2 (ja) | 画像処理システム、院内処理システム | |
JP4482021B2 (ja) | カメラ | |
JP4616318B2 (ja) | カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080924 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080930 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4198114 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |