JP3630905B2 - 撮像方法及び撮像装置 - Google Patents
撮像方法及び撮像装置 Download PDFInfo
- Publication number
- JP3630905B2 JP3630905B2 JP04569897A JP4569897A JP3630905B2 JP 3630905 B2 JP3630905 B2 JP 3630905B2 JP 04569897 A JP04569897 A JP 04569897A JP 4569897 A JP4569897 A JP 4569897A JP 3630905 B2 JP3630905 B2 JP 3630905B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- screens
- pixel
- signal
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は撮像方法及び撮像装置に関し、特に、画像信号のダイナミックレンジを見かけ上拡大する撮像方法及び撮像装置に関するものである。
【0002】
【従来の技術】
撮像装置は、カメラ一体型VTRやスチルビデオカメラ等の撮像部として広く利用されている。これらのビデオカメラ等に用いられる撮像管や固体撮像素子を用いた撮像装置は、旧来の銀塩写真システムに比ベるとダイナミックレンジが狭く、従って、逆光時などには、明るい部分の階調性が失われる「白とび」や、暗い部分の階調性が失われる「黒つぶれ」などが発生する問題がある。
【0003】
このような場合には、通常、従来のビデオカメラ等においては、前記「黒つぶれ」している主たる被写体に露出を合わせるために、手動による絞りの操作を行うか、または、逆光補正ボタンの操作を行うことにより、絞りを2絞り分程度開放して露光量を増加させるように調節していた。
【0004】
しかし、このような逆光補正を適切に行って前記主たる被写体が適正露光量になっても、背景で「白とび」が発生してしまい、背景が白いだけの画面になってしまう問題があった。つまり、従来の撮像装置のように、主たる被写体の露光量が適正になるように露光量を調整するだけでは、撮最像装置のダイナミックレンジの狭さを解決することはできなかった。
【0005】
そこで、例えばラインスキャナなどを用いて静止画を電気信号に変換するような最像装置では、従来、同一被写体から得られた露光量の異なる複数の画面から一つの画面を合成により生成することにより、前記「白とび」や「黒つぶれ」などが発生しないようにしていた。
【0006】
【発明が解決しようとする課題】
前記のような静止画を撮像する撮像装置においては、最像装置と被写体との位置関係が常に一定に固定されている。このため、夫々の画面の撮像のタイミングが経時的にずれても画像のずれが生じないので、複数の画面から一つの画面を合成しても全く問題を発生しなかった。
【0007】
しかしながら、前記のような方法をビデオカメラ、あるいはスチルビデオカメラ等の撮像装置にそのまま適用した場合には、手振れ等により、ビデオカメラ等と被写体との位置関係が細かく変化してしまうことが考えられる。
【0008】
このため、露光量を異ならせて同一の被写体を複数回撮像して複数の画面を得るようにすると、それらの各々の画面の位置が僅かづつずれてしまう。このため、これら複数の画面を一つの画面に合成すると、撮像した被写体が2重や3重にずれて写ってしまうという問題点があった。このことは、最近の小型軽量化が進んだビデオカメラにおいては、手持ち撮影時に手振れを発生しやすいので、より大きな問題であった。
【0009】
本発明は前述の課題に鑑みてなされたものであり、その目的とするところは、画面ぶれを生じやすいビデオカメラ及びスチルカメラにおいても画像がずれることなく、かつ実質的なダイナミックレンジが広い画像を撮像することが可能な撮像方法及び撮像装置を提供することにある。
【0010】
【課題を解決するための手段】
本発明の撮像方法は、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、前記複数の画面内の各画素間の動きベクトルを検出するとともに、前記検出した各画素間の動きベクトルと前記複数の画面間の動きベクトルとの差を検出し、前記検出結果が予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにすることを特徴としている。
【0011】
また、本発明の他の特徴とするところは、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出処理と、前記動きベクトル検出処理によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出処理と、前記差検出処理の検出結果と、予め定められた閾値とを比較する動きベクトル比較処理と、前記動きベクトル比較処理の比較結果が、前記予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにする画素合成禁止処理とを行うことを特徴としている。
【0012】
また、本発明のその他の特徴とするところは、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出処理と、前記動きベクトル検出処理によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出処理と、前記差検出処理の検出結果と、予め定められた閾値とを比較する動きベクトル比較処理と、前記動きベクトル比較処理の比較結果が、前記予め定められた閾値より小さい場合に、前記複数の画面を撮像する時の時間が異なることにより生じる画面間のずれに対応して、前記複数の画面の座標変換を行う座標変換処理と、前記座標変換処理によってぶれが補正された複数の画面を一つの画面に合成する画面合成処理とを行うことを特徴としている。
【0013】
また、本発明の撮像装置は、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像装置において、前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出手段と、前記差検出手段の検出結果と、予め定められた閾値とを比較する動きベクトル比較手段と、前記動きベクトル比較手段の比較結果が、前記予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにする画素合成禁止手段とを行うことを特徴としている。
【0014】
また、本発明のその他の特徴とするところは、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像装置において、前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出手段と、前記差検出手段の検出結果と、予め定められた閾値とを比較する動きベクトル比較手段と、前記動きベクトル比較手段の比較結果が、前記予め定められた閾値より小さい場合に、前記複数の画面を撮像する時の時間が異なることにより生じる画面間のずれに対応して、前記複数の画面の座標変換を行う座標変換手段と、前記座標変換手段によってぶれが補正された複数の画面を一つの画面に合成する画面合成手段とを具備することを特徴としている。
【0015】
【作用】
本発明は前記技術手段を有するので、露光量を異ならせて順次撮像された複数の画面を一つに合成することにより映像信号のダイナミックレンジを見かけ上拡大する際に、前記複数の画面内の各画素間の動きベクトルと前記複数の画面間の動きベクトルとの差が、予め定められた閾値よりも大きい場合にはその画素の合成が行われないので、動きの大きな被写体や手ぶれ等のために発生した画面ぶれを有する映像信号に対して被写体が2重や3重にずれて写ってしまう不都合が防止される。
【0016】
【発明の実施の形態】
以下、本発明の撮像方法及び撮像装置の好適な実施形態について、添付図面を参照して詳細に説明する。
図1は、本発明のカメラ一体型VTRに適用した場合の実施形態を示す全体構成ブロック図である。
【0017】
図1において、100はカメラ部、200は処理部、300は記録部である。カメラ部100において、光学系101を介して入射した光線は絞り102により光量制限され、撮像素子103に結像する。
【0018】
撮像素子103は、例えばMOSやCCDなどの半導体素子からなり、その撮像面に結像した光学像が電気信号に変換されることにより映像信号が生成されて出力される。
【0019】
焦点駆動回路107、絞り駆動回路106及び光蓄積時間の制御などを行う撮像素子駆動回路105等の各回路は、カメラ制御回路108の制御の下で、それぞれ光学系101、絞り102及び撮像素子103を駆動する。カメラ信号処理回路104は、通常のビデオカメラの信号処理回路と同様のγ補正処理その他の周知の信号処理を行う。
【0020】
カメラ部100から出力される映像信号はアナログ信号であり、このアナログ信号が処理部200に送られ、処理部200のA/D変換器201でデジタル信号に変換される。次に、演算回路202で後述する画素データの変換が行われ、その後、D/A変換器203でアナログ信号に戻され、記録部300に供給される。
【0021】
204は画像メモリであり、演算回路202及び動きベクトル検出回路206で演算用に用いられるものである。また、205は画像メモリ204の動作を制御するためのメモリ制御回路であり、カメラ部100の制御回路108から与えられるタイミング信号に応じて画像メモリ204の書き込み、読みだしアドレス信号を出力する。
【0022】
また、メモリ制御回路205は、画面合成時に、動きベクトル検出回路206の出力に応じて、各画面ごとに位置合せのためのアドレス信号を発生して、画面ぶれを補正するようにする。
【0023】
動きベクトル比較回路207は、動きベクトル検出回路206で検出された各画素の動きベクトルと、各画素の動きベクトルから算出される画面間の動きベクトルとを比較する。そして、前記画素の動きベクトルが前記画面間の動きベクトルに対して、予め定められた閾値以上の差がある場合は前記面素の位置情報を演算回路202に出力して、前記画素の合成を禁止するようにする。
【0024】
演算回路202では、読み出した共通信号を合成し、入力信号と同一形態に合わせるために、拡大補間の処理が行われる。このようにして、動きのある被写体に対しても画面のずれが発生しないように階調合成された映像信号が、演算回路202より出力される。
【0025】
そして、前記演算回路202から出力された映像信号がD/A変換器203によってアナログ信号に変換され、周知のVTR(映像信号記録装置)301に記録される。なお、VTR301が、デジタル記録方式の場合には、前記D/A変換器203は不要である。
【0026】
次に、撮像素子103の動作を詳細に説明する。図2は、カメラ部100のより詳細な構成を示すブロック図であり、図3はNTSC信号を例にしカメラ部100のタイミングチャートである。
【0027】
図3において、フィールドインデックス(FI)信号は、1フレームを構成する奇数〈ODD)フィールドと偶数(EVEN)フィールドとを区別するための信号である。
【0028】
VBLK 信号は、垂直ブランキング信号であり、H(高)の期間が有効画面、L(低)の期間が垂直ブランキング期間に対応する。
Tpulse 信号は、撮像素子103の電荷蓄積時間を制御するための信号であり、例えば、CCD撮像素子の場合には画素出力を垂直転送用CCDに読み出すためのパルスである。
【0029】
アイリスゲート信号は、後述する自動露出のための基準となる映像信号として、1/1000秒の蓄積信号か1/60秒の蓄積信号のどちらを用いるかを指定する信号である。
【0030】
図示の例では、垂直ブランキング期間の間に1/1000秒の電荷蓄積を行い、次の有効期間にその1/1000秒蓄積信号を出力する。そして、1/1000秒蓄積期間の直後に実質1/60秒の電荷蓄積を行い、次フィールドの有効画面期間にそのl/60秒蓄積信号を出力する。このようにして、各フィールド毎に、2種類(1/1000秒と1/60秒)の光量の信号が交互に出力される。
【0031】
図2において、20はカメラ信号処理回路104からの信号(例えば映像信号)をA/D変換器201を介して受け、露出制御のための制御信号を演算する公知のAE制御回路、22は合点制御のための制御信号を出力する公知のAF制御回路、24は垂直ブランキング信号VBLK を2分周する1/2分周回路である。
【0032】
また、26、27はサンプルホールド回路、28はインバータ、29、30は1/2分周回路24の出力またはインバータ28によるその反転信号のどちらかでサンプリングタイミングを決定するかを選択するスイッチである。サンプルホールド回路26、27の出力は、絞り駆動回路106及び焦点駆動回路107にそれぞれ印加され、サンプルホールド回路26、27の出力に基づいて自動露出制御及び自動焦点調節制御等が実行される。
【0033】
前記実施形態では、1/1000秒と1/60秒の組み合わせであり、約4段(16倍)の光量変化である。このため、例えばCCD撮像素子を用いたカメラの場合、EVENフィールドで1/60秒の蓄積時間を基準に主被写体に露出を合わせると、そのEVENフィールドでは背景に「白とび」が生じやすいのに対し、光量を4段少なくしたODDフィールドでは主被写体で「黒つぶれ」が発生することが多い。なお、この例は逆光補正時に背景側に露出を合わせた場合を想定したもので、その場合の状況により1/1000秒以外の蓄積時間に設定してもよい。
【0034】
前記実施形態以外にも、近年VOD方式の高速シャッター機能を有するCCDが実用化されている。これは、CCDの基板の垂直方向に不要電荷を排出するもので、非常に細かなシャッタースピード設定が可能であり、主被写体と背景被写体の輝度差に応じて、制御回路108内のAE制御回路20の判断で最適なシャッタースピードを駆動回路105により設定することができる。
【0035】
前述したように、本実施形態においては、一方のフィールドでの「白とび」及び「黒つぶれ」を積極的に利用して、画面の改善を行うようにしている。つまり、「白とび」または「黒つぶれ」の生じる部分については、他のフィールドの対応部分(露出が異なるので、「黒つぶれ」または「白とび」は生じていない。)で代替えし、両フィールドの映像信号を合成して最終的な映像信号とするようにしている。
【0036】
その基本的な考え方を、図4を参照して説明する。図4では、主被写体を縦長の長方形で模式的に示している。図4でスルー(T)画とは撮像素子103の直接出力をいい、メモリ(M)画またはメモリ出力とは画像メモリ204に一旦記憶された直前フィールドの信号をいう。スルー画では、ODDフィールド毎に逆光時の主被写体が「黒つぶれ」になり、EVENフィールド毎に背景が「白とび」なっている。
【0037】
また、メモリ画は、1フィールド期間遅延した信号ので、「白とび」と「黒つぶれ」はスルー画とは異なるフィールドで生じている。したがって、スルー画とメモリ画とを適切に組み合わせれば、「白とび」及び「黒つぶれ」のない良好な映像が得られることになる。つまり、スルー画及びメモリ画の信号を各フィールド毎に所定の閾値と比較して、当該閾値より大きければ1、小さければ0として、画素毎に「白とび」または「黒つぶれ」を判定する。
【0038】
図6は、その閾値と、画素の輝度値、フィールドとの関係を示す。図6(a)の横軸は輝度レベル、縦軸は1画面中の各輝度レベルの出現頻度を示している。図6(a)に示すように、第1の閾値Th1は「黒つぶれ」を判定できるように設定され、第2の閾値Th2は「白とび」を判定できるように設定される。すなわち、第1の閾値Th1以下の輝度が「黒つぶれ」と判定され、第2の閾値Th2以上の輝度が「白とび」と判定される。
【0039】
図6(b)は、各フィールドと閾値との関係を示す。前記の如くODDフィールドとEVENフィールドでは「白とび」と「黒つぶれ」とが交互するので、その判定用の閾値もフィールド毎に変更する。
【0040】
このようにして、どのフィールドのどの画素が「黒つぶれ」または「白とび」であるかを判定できるので、その判定結果を用いることにより、スルー画とメモリ画とで適正な露光量の画素信号を選択することができる。例えば、判定Aと判定Bの論理積をとり、ODDフィールドでは、論理積が1である画素に対してはスルー画の選択を行うようにする。また、論理積が0である画素に対してはメモリ画の選択を行うようにし、EVENフィールドではその逆の関係となるようにすることにより、図4に示すような選択フラグが得られる。
【0041】
図4の最下段の絵は、その選択フラグによる合成画を示す。この図では、主被写体が等速度運動を行った場合を想定し、時間軸ずれが画像に及ぼす影響を確認したが、実用上十分な動画になり得ることが分かる。
【0042】
図5は、処理部200の演算回路202において、前記第1および第2の閾値Th1、Th2との比較及び選択フラグを形成する回路部分の詳細な構成を示しブロック図である。Th切替制御信号は、FI信号などのように、フィールド毎に「H」、「L」が反転する信号であり、第1の閾値発生回路53に印加されるとともに、インバータ51を介して第2の閾値発生回路52に印加される。
【0043】
第1および第2の閾値発生回路52、53はその切替信号に応じて、図6(b)の関係の第1の閾値Th1または第2の同Th2を発生する。また、比較回路54、55はメモリ画、スルー画と閾値発生回路52、53からの閾値とを夫々比較し、判定結果としてのA及びBの判定信号を出力する。
【0044】
アンドゲート56は、入力される判定A信号と判定B信号との論理積をとり、選択フラグ信号を出力する。
スイッチ57は、前記選択フラグ信号に従って切り替え動作を行い、メモリ画またはスルー画の信号を選択して出力する。
【0045】
図7に階調特性図を示す。図7(a)の実線が通常のビデオカメラの特性図であり、100%までは入出力がリニアになっている。そして、それ以上の入力(100〜400%)に対しては、KNEE特性と呼ばれる傾きの緩い関係となっている。この変化点をP1とすると、高速シャッタ時にはこの変化点がP2の位置に移行する。但し、P1が1/60秒で、P2が2段の露光量変化の1/250秒であるとする。
【0046】
前述したように、4段の差がある場合には、図7(d)の(1)と(5)の関係になる。因みに、図7(d)の(1)は1/60秒、(2)は1/125秒、(3)は1/250秒、(4)は1/500秒、(5)は1/1000秒とした場合の特性図である。傾きの違う2つの特性から、好みのカーブを持つ特性を合成することができる。
【0047】
図7(b)は、「白とび」及び「黒つぶれ」判定の閾値が異なる場合の合成特性例を示している。
図7(c)は、対応する2つの画素の信号を加算平均して出力とする場合(同(1))、一方を選択する場合(同(2))、及び適当な係数のもとで加算平均する場合(同(3))の各特性を示している。
【0048】
前記の例では、1秒間に実質30枚の時間分解能となり、フレーム蓄積CCD撮像素子などと同等になる。そこで、フィールド蓄積CCD撮像素子と同程度の時間分解能を実現すべく、1フィールドに2枚の画面を取り込む例を説明する。その構成例の変更部分を図9に示し、タイミングチャートを図8に示す。
【0049】
原理的には、通常のビデオレートより速い速度で撮像素子103の信号を読みだし、それを時間軸変換して通常レートに戻す。第1および第2のフィールドメモリ90、91は各々1フィールド分の画像情報に相当する記憶容量を有しており、第1のフィールドメモリ90では1/120秒読み出しと同時化するために1/1000秒蓄積信号の遅延を行う。第2のフィールドメモリ91では、1/120秒単位の映像信号を1/60秒単位のNTSC信号に変更するために2倍の時間伸長処理を行う。
【0050】
図9中の(a)〜(d)は、図8の信号(a)〜(d)に対応している。このような動作が可能な撮像素子103としては、XYアドレス方式のMOS固体撮像素子が考えられる。
【0051】
次に、制御回路108のその他の詳細例を図10に示す。マスタークロック発生器40は外部からの基準信号に従い、制御回路108内部用のマスタクロックを発生する。
【0052】
1/1000秒シャター用のクロック発生器41は、マスタークロック発生器40から入力されるマスタークロックに従い高速用クロックを発生する。また、1/60秒シャッター用のクロック発生器42はマスタークロック発生器40から入力されるマスタークロックに従い低速用クロックを発生する。
【0053】
スイッチ45はフィールド毎に切り替わり、クロック発生器41及び同42の出力を駆動回路105に交互に印加する。
AE制御信号発生器43は、カメラ信号処理回路104からの映像信号を基に、絞り制御のためのAE制御信号を発生する。制御信号保持回路44はその制御信号を1フィールド期間保持する。
【0054】
スイッチ46は、フィールド毎に切り替わり、AE制御信号発生器43の出力及び制御信号保持回路44による保持信号を交互に絞り制御回路106に印加する。切替信号発生器47は、スイッチ45、46の切り替えを制御する。スイッチ45、46は同期して切り替わるようになされている。
【0055】
なお、前記の例では、低速用、高速用に夫々クロック発生器を設け、そのクロックを、フィールド毎の信号を発生する切替信号発生器の出力信号により切り替えているので、回路構成及び動作が簡単になるという効果があり、特に動画に適している。
【0056】
また、以上の説明では、シャッタースピードを変化させることで異なる露光量の画面を生成したが、高速の絞り装置を用意できる場合には、その絞りを高速で変化させても良く、また、例えばPLZTなどのような空間光変調素子を用いた減光フィルタを電気的に制御する方式で実現しても良い。
【0057】
以上、説明してきたように、本実施形態においては、様々な演算処理が考えられるが、簡単な処理で効果の高い単純加算による画面合成を例にとり、以下に説明する。
【0058】
図11は、画面ぶれの概念図で、2画面(ODDフィールド画面とEVENフィールド画面)の被写体に対する画面(撮像素子103)の位置ずれを示している(図11−a)。
【0059】
ODD画面とEVEN画面の共通部分(共通エリア)の左上部を、メモリ読み出し開始点Pとすると、ODD画面に対しては、図11−bで示すPODD 点、EVEN画面に対しては、図11−cで示すPEVEN点が画像メモリよりの読み出し開始点となり、ODDとEVENの共通エリアに関して、ずれのない映像信号の生成が可能となる。
【0060】
図1の構成を本実施形態に合わせて具体化したものが図12に示す構成図である。
図12において、入力された映像信号はA/D変換器201にてデジタル信号化され、第1のフィールドメモリ204aと動きベクトル検出回路206へそれぞれ供給される。
【0061】
第1のフィールドメモリ204aの出力は、動きベクトル検出回路206の他の入力端子へ供給される。動きベクトル検出回路206は、1フィールド時間差の2つの映像信号から各画素の動き情報を検出し、この情報から画面ぶれ情報を算出し、画面ぶれ補正信号を生成する。この画面ぶれ補正信号は、メモリ制御回路205に供給され、このメモリ制御回路205は、画面ぶれ補正信号を基に第1のフィールドメモリ204aを制御する。
【0062】
動きベクトル検出回路206で生成された画面ぶれ補正信号は動きベクトル比較回路207にも与えられる。前記動きベクトル比較回路207は、閾値発生回路61、比較回路62及びアドレス変換回路63等により構成されており、前記動きベクトル検出回路206から出力される画面ぶれ情報は閾値発生回路61及び比較回路62に供給され、前記閾値発生回路61において被写体の動き判定用の閾値を発生させ、これを比較回路62に出力する。
【0063】
比較回路62では、前記閾値と各画素の動き情報とを比較することによって、各画素の動きが手ぶれによるものか、手ぶれ以外の動きによるものかを判定する。言い換えれば、被写体自身の動きか否かを判定し、手ぶれ以外の動きと判定された画素に対応するアドレスをアドレス変換回路63に出力する。
【0064】
アドレス変換回路63では、拡大補間回路202aからの補間情報によって、手ぶれ以外の動きと判定された画素に対応するアドレスを拡大補間後のアドレスに変換し、後述する画面合成時に、前記画素の合成を禁止し、前記画素が適正露出になっているフィールドの前記画素を選択するための選択信号を生成し、後段の選択器202cに供給する。
【0065】
図11(a)で示した共通エリア部分が第1のフィールドメモリ204aより出力され、この信号が次段の拡大補間回路202aにて、入力信号と同様の信号形態(例えばNTSC信号)に戻される。
【0066】
共通エリア部分が小さいほど、この処理での拡大率は大きくなる。どのような拡大率であっても、画像信号は元の形態に戻されてから加算器202b経由で、第2のフィールドメモリ204bに格納される。
【0067】
第2のフィールドメモリ204bに格納された画像信号がODD画面の信号とすると、次のフィールド期間にはEVEN画面の信号が拡大補間回路202aより出力され、加算器202bにて対応する画素データが加算される。
【0068】
加算された信号は選択器202cのA端子を経由し、さらに選択器209のEVEN端子経由でD/A変換器203へ供給される。その一方で、この加算信号は選択器202cのA端子を経由し、フィールドメモリ204bにも格納され、次フィールドのODD期間にはREAD−MODIFY−WRITE動作で、選択器209のODD端子経由で同一画面をD/A変換器203へ供給しつつ、新たなODD画面情報をフィールドメモリ204bへ格納してゆく。
【0069】
この時、スイッチ208はODDで開、EVENで閉として、新たなODD画面情報をメモリに書き込む時には、加算器202bがスルーとなるように切り替える。
【0070】
また、選択器202cのA端子には前述した加算信号、O端子にはフィールドメモリ204bから出力されるODD画面情報、E端子にはEVEN画面情報が供給される。そして、動きベクトル比較回路207からの選択信号により、手ぶれと判定された画素については加算信号、手ぶれ以外の動きと判定された画素については、ODD画面情報もしくはEVEN画面情報のうち適正露出となる画像情報を選択し、次段の選択器207及びフィールドメモリ204bに供給する。このようにして生成された信号は、D/A変換器203より入力信号と同様のアナログ信号として出力される。
【0071】
前記の処理の時間的な関係を図13のタイミングチャートに示す。
図13のタイミングチャートにおいて、AはODD、EVENフィールドの判別信号であり、拡大補間回路202aの出力タイミングである。
【0072】
Bはスイツチ208の開閉タイミングを示しており、加算器202bは、このスイッチ208の開閉により機能が変化し、スイッチ208が開の場合には、信号を素通りさせ、スイッチ208が閉の場合には加算器として働く。
【0073】
Cは第2のメモリ204bへの書き込みタイミングを示したものであり、AにおけるODD期間はそのままODD画面を書き込む。また、AにおけるEVEN期間は、READ一MODIFY−WRITE動作により、選択器202cで選択された画像情報を、同一アドレスに再度書き込む処理を行う。
【0074】
Dは選択器207の端子切り替えのタイミングを示したものであり、t1期間におけるODD画面情報と、t2期間のEVEN画面情報によって生成された合成画像情報は、Dにおけるt2期間に出力され、更に、t3期間にも同一情報が再度読み出されて出力される。
【0075】
なお、生成された合成画像において、手ぶれ以外の動きと判定された画素については、ODD画面情報もしくはEVEN画面情報のうち、適正露出となる画像情報を選択するため、前記画像の時間軸ずれが懸念されるが、これについては、画面合成の演算処理の一例として図4を用いて説明したように、実用上問題がないといえる。
【0076】
前述のように、本実施形態では2フィールド期間を単位時間として処理が完了する。因みに、ODDフィールドとEVENフィールドとでライン補間処理を切り換え、インタレース対応にして、いわゆる画面妨害を低減することも可能である。この妨害低減のためには、第2のフィールドメモリ204bと選択器209の間の点Qにライン補間回路を挿入すると良い。
【0077】
なお、本発明は、その趣旨を逸脱しない範囲で前記実施形態を修正または変形したものに適用可能である。
【0078】
(本発明の他の実施形態)
本発明は複数の機器(例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等)から構成されるシステムに適用しても1つの機器からなる装置に適用しても良い。
【0079】
また、前述した実施形態の機能を実現するように各種のデバイスを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【0080】
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【0081】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)あるいは他のアプリケーションソフト等の共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【0082】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【0083】
【発明の効果】
以上説明したように、本発明によれば、露光量を異ならせて複数の画面を順次撮像して、これらの複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する際に、前記複数の画面内の各画素間の動きベクトルと前記複数の画面間の動きベクトルとの差が、予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにしたので、ダイナミックレンジを実質的に広くすることができ、例えば、逆光の場合であっても、主被写体のみならず背景も、適正な露光量の画像を得ることができる。また、動きの大きな被写体や手ぶれ等のために発生した画面ぶれを有する映像信号に対しても、被写体が2重や3重になることがなくて実用的なダイナミックレンジ拡大処理を施すことができる。
【図面の簡単な説明】
【図1】本発明の実施形態を適用したカメラー体型VTRの構成図である。
【図2】図1のカメラ部の制御回路の具体的な構成を示すブロック図である。
【図3】撮像素子の動作を説明するタイミングチャートである。
【図4】本実施形態による画像処理の概念を説明する図である。
【図5】図1の演算回路の具体的な構成を示すブロック図である。
【図6】「白とび」及び「黒とび」判定の閾値の決定方法を説明する図である。
【図7】階調特性を示す図である。
【図8】撮像素子の動作を説明するタイミングチャートである。
【図9】カメラ部の一部の構成を示すブロック図である。
【図10】図1における制御回路の一例を示すブロック図である。
【図11】画面ぶれの概念を説明する図である。
【図12】図1の構成を具体化した例を示すブロック図である。
【図13】実施形態の撮像装置の動作を示すタイミングチャートである。
【符号の説明】
100 カメラ部
101 光学系
102 絞り
200 処理部
300 記録部
Claims (9)
- 露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、
前記複数の画面内の各画素間の動きベクトルを検出するとともに、前記検出した各画素間の動きベクトルと前記複数の画面間の動きベクトルとの差を検出し、前記検出結果が予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにすることを特徴とする撮像方法。 - 露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、
前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出処理と、
前記動きベクトル検出処理によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出処理と、
前記差検出処理の検出結果と、予め定められた閾値とを比較する動きベクトル比較処理と、
前記動きベクトル比較処理の比較結果が、前記予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにする画素合成禁止処理とを行うことを特徴とする撮像方法。 - 露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、
前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出処理と、
前記動きベクトル検出処理によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出処理と、
前記差検出処理の検出結果と、予め定められた閾値とを比較する動きベクトル比較処理と、
前記動きベクトル比較処理の比較結果が、前記予め定められた閾値より小さい場合に、前記複数の画面を撮像する時の時間が異なることにより生じる画面間のずれに対応して、前記複数の画面の座標変換を行う座標変換処理と、
前記座標変換処理によってぶれが補正された複数の画面を一つの画面に合成する画面合成処理とを行うことを特徴とする撮像方法。 - 前記露光量を異ならせるためにシャッタースピードを変化させることを特徴とする請求項1〜3の何れか1項に記載の撮像方法。
- 前記露光量を異ならせるために絞りを高速で変化させることを特徴とする請求項1〜3の何れか1項に記載の撮像方法。
- 露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像装置において、
前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出手段と、
前記差検出手段の検出結果と、予め定められた閾値とを比較する動きベクトル比較手段と、
前記動きベクトル比較手段の比較結果が、前記予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにする画素合成禁止手段とを行うことを特徴とする撮像装置。 - 露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像装置において、
前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出手段と、
前記差検出手段の検出結果と、予め定められた閾値とを比較する動きベクトル比較手段と、
前記動きベクトル比較手段の比較結果が、前記予め定められた閾値より小さい場合に、前記複数の画面を撮像する時の時間が異なることにより生じる画面間のずれに対応して、前記複数の画面の座標変換を行う座標変換手段と、
前記座標変換手段によってぶれが補正された複数の画面を一つの画面に合成する画面合成手段とを具備することを特徴とする撮像装置。 - 前記露光量を異ならせるためにシャッタースピードを変化させることを特徴とする請求項6または7の何れか1項に記載の撮像装置。
- 前記露光量を異ならせるために絞りを高速で変化させることを特徴とする請求項6または7の何れか1項に記載の撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04569897A JP3630905B2 (ja) | 1997-02-28 | 1997-02-28 | 撮像方法及び撮像装置 |
US09/031,767 US6952234B2 (en) | 1997-02-28 | 1998-02-27 | Image pickup apparatus and method for broadening apparent dynamic range of video signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04569897A JP3630905B2 (ja) | 1997-02-28 | 1997-02-28 | 撮像方法及び撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10243288A JPH10243288A (ja) | 1998-09-11 |
JP3630905B2 true JP3630905B2 (ja) | 2005-03-23 |
Family
ID=12726607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04569897A Expired - Fee Related JP3630905B2 (ja) | 1997-02-28 | 1997-02-28 | 撮像方法及び撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6952234B2 (ja) |
JP (1) | JP3630905B2 (ja) |
Families Citing this family (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000050151A (ja) * | 1998-07-28 | 2000-02-18 | Olympus Optical Co Ltd | 撮像装置 |
JP4245699B2 (ja) | 1998-09-16 | 2009-03-25 | オリンパス株式会社 | 撮像装置 |
JP2000224470A (ja) * | 1999-02-02 | 2000-08-11 | Minolta Co Ltd | カメラシステム |
JP4284570B2 (ja) * | 1999-05-31 | 2009-06-24 | ソニー株式会社 | 撮像装置及びその方法 |
US6778210B1 (en) * | 1999-07-15 | 2004-08-17 | Olympus Optical Co., Ltd. | Image pickup apparatus with blur compensation |
US7193652B2 (en) * | 1999-08-17 | 2007-03-20 | Applied Vision Systems, Inc. | Dynamic range video recording and playback system and method |
KR100316717B1 (ko) * | 1999-10-05 | 2001-12-20 | 윤종용 | 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법 |
CN1276646C (zh) * | 1999-11-22 | 2006-09-20 | 松下电器产业株式会社 | 固态成象设备 |
JP4511066B2 (ja) * | 2001-03-12 | 2010-07-28 | オリンパス株式会社 | 撮像装置 |
JP3886769B2 (ja) * | 2001-10-26 | 2007-02-28 | 富士通株式会社 | 補正画像生成装置および補正画像生成プログラム |
US7379094B2 (en) * | 2002-04-18 | 2008-05-27 | Olympus Corporation | Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range |
JP2004048345A (ja) * | 2002-07-11 | 2004-02-12 | Niles Co Ltd | 撮像システム |
US7409104B2 (en) * | 2002-07-18 | 2008-08-05 | .Sightic Vista Ltd | Enhanced wide dynamic range in imaging |
US20050219642A1 (en) * | 2004-03-30 | 2005-10-06 | Masahiko Yachida | Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system |
US8497927B2 (en) * | 2004-07-01 | 2013-07-30 | Broadcom Corporation | Method for using wide dynamic range sensor in low light conditions |
KR101029071B1 (ko) * | 2004-09-09 | 2011-04-18 | 삼성전자주식회사 | 감지 휘도 범위를 넓히기 위한 디지털 촬영 장치의 제어방법, 및 이 방법을 채용한 디지털 촬영 장치 |
US8050511B2 (en) * | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
JP4379408B2 (ja) | 2004-12-07 | 2009-12-09 | セイコーエプソン株式会社 | 信号処理部および撮像装置 |
US7561731B2 (en) * | 2004-12-27 | 2009-07-14 | Trw Automotive U.S. Llc | Method and apparatus for enhancing the dynamic range of a stereo vision system |
JP4631558B2 (ja) * | 2005-06-22 | 2011-02-16 | 株式会社ニコン | 撮像装置および画像処理プログラム |
EP1914982A1 (en) * | 2005-07-19 | 2008-04-23 | Sharp Kabushiki Kaisha | Imaging device |
JP4640068B2 (ja) * | 2005-09-16 | 2011-03-02 | ソニー株式会社 | 撮像方法および撮像装置 |
TWI271998B (en) * | 2005-09-21 | 2007-01-21 | Inventec Appliances Corp | Image processing method and apparatus thereof |
JP4671430B2 (ja) * | 2006-06-02 | 2011-04-20 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム及び記録媒体 |
JP4757113B2 (ja) * | 2006-06-26 | 2011-08-24 | キヤノン株式会社 | 撮像装置及びその制御方法、情報処理装置、印刷装置、印刷データ生成方法 |
JP4750854B2 (ja) | 2006-09-14 | 2011-08-17 | 富士通株式会社 | 画像処理方法および装置とそのプログラム |
JP4806329B2 (ja) * | 2006-10-23 | 2011-11-02 | 三洋電機株式会社 | 撮像装置及び撮像方法 |
KR20080076004A (ko) * | 2007-02-14 | 2008-08-20 | 삼성전자주식회사 | 촬상장치 및 그 다이나믹 레인지 확장방법 |
US20080198235A1 (en) * | 2007-02-16 | 2008-08-21 | Shou-Lung Chen | High dynamic range image recorder |
JP5163031B2 (ja) * | 2007-09-26 | 2013-03-13 | 株式会社ニコン | 電子カメラ |
JP5133921B2 (ja) * | 2009-03-03 | 2013-01-30 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
DE102009001518B4 (de) * | 2009-03-12 | 2011-09-01 | Trident Microsystems (Far East) Ltd. | Verfahren zur Erzeugung einer HDR-Videobildfolge |
DE102009001521B4 (de) * | 2009-03-12 | 2012-12-27 | Entropic Communications, Inc. | Verfahren zur Erzeugung einer HDR-Videobildfolge |
JP5257375B2 (ja) * | 2009-03-13 | 2013-08-07 | オムロン株式会社 | 画像処理装置および画像処理方法 |
CN101867727B (zh) | 2009-04-16 | 2011-12-07 | 华为技术有限公司 | 一种视频处理方法及装置 |
JP5412953B2 (ja) | 2009-05-20 | 2014-02-12 | リコーイメージング株式会社 | 撮像装置 |
JP2010273038A (ja) * | 2009-05-20 | 2010-12-02 | Hoya Corp | 撮像装置 |
KR101614914B1 (ko) * | 2009-07-23 | 2016-04-25 | 삼성전자주식회사 | 모션 적응적 고대비 영상 획득 장치 및 방법 |
KR101604068B1 (ko) * | 2009-09-22 | 2016-03-17 | 삼성전자주식회사 | 고대비 영상 생성 장치 및 방법 |
KR101633460B1 (ko) * | 2009-10-21 | 2016-06-24 | 삼성전자주식회사 | 다중 노출 제어 장치 및 그 방법 |
KR20110043833A (ko) * | 2009-10-22 | 2011-04-28 | 삼성전자주식회사 | 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치 |
US8368771B2 (en) * | 2009-12-21 | 2013-02-05 | Olympus Imaging Corp. | Generating a synthesized image from a plurality of images |
WO2012015359A1 (en) * | 2010-07-26 | 2012-02-02 | Agency For Science, Technology And Research | Method and device for image processing |
EP2606637B1 (en) | 2010-08-23 | 2016-09-21 | Red.Com, Inc. | High dynamic range video |
JP5791336B2 (ja) | 2011-04-01 | 2015-10-07 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
KR101843450B1 (ko) * | 2011-08-23 | 2018-03-29 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
JP5858744B2 (ja) * | 2011-11-21 | 2016-02-10 | キヤノン株式会社 | 撮像装置及びカメラシステム |
US20130207981A1 (en) * | 2012-02-09 | 2013-08-15 | Honeywell International Inc. | Apparatus and methods for cursor animation |
US9955084B1 (en) | 2013-05-23 | 2018-04-24 | Oliver Markus Haynold | HDR video camera |
TWI472867B (zh) * | 2013-07-17 | 2015-02-11 | Vivotek Inc | 具光圈偵測功能的網路攝影機及光圈偵測方法 |
US10567671B2 (en) | 2014-03-18 | 2020-02-18 | Sony Corporation | Image processing apparatus and image processing method |
US10277771B1 (en) | 2014-08-21 | 2019-04-30 | Oliver Markus Haynold | Floating-point camera |
US10225485B1 (en) | 2014-10-12 | 2019-03-05 | Oliver Markus Haynold | Method and apparatus for accelerated tonemapping |
CN112543286A (zh) * | 2020-11-27 | 2021-03-23 | 展讯通信(上海)有限公司 | 一种用于终端的图像生成方法及装置、存储介质、终端 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4272787A (en) * | 1978-09-07 | 1981-06-09 | Micro Consultants Limited | T.V. Picture freeze system |
US5162914A (en) * | 1987-06-09 | 1992-11-10 | Canon Kabushiki Kaisha | Image sensing device with diverse storage fumes used in picture composition |
EP0366136B1 (en) * | 1988-10-27 | 1995-03-22 | Canon Kabushiki Kaisha | Image sensing and processing device |
JP3052250B2 (ja) * | 1990-01-05 | 2000-06-12 | キヤノン株式会社 | 画像ぶれ補正装置 |
KR930010618B1 (ko) * | 1990-10-31 | 1993-10-30 | 주식회사 금성사 | 캠코더의 흔들림 녹화방지 제어방식 |
-
1997
- 1997-02-28 JP JP04569897A patent/JP3630905B2/ja not_active Expired - Fee Related
-
1998
- 1998-02-27 US US09/031,767 patent/US6952234B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH10243288A (ja) | 1998-09-11 |
US6952234B2 (en) | 2005-10-04 |
US20030133035A1 (en) | 2003-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3630905B2 (ja) | 撮像方法及び撮像装置 | |
JP3110797B2 (ja) | 撮像方法及び撮像画面合成装置 | |
US5638118A (en) | Image sensing device with diverse storage times used in picture composition | |
US5162914A (en) | Image sensing device with diverse storage fumes used in picture composition | |
EP1156673A2 (en) | Image input apparatus | |
JP2000050173A (ja) | 撮像装置および撮像プログラムを記録した記録媒体 | |
JP2002314873A (ja) | 撮像装置用回路及び撮像用信号処理方法 | |
KR20080017092A (ko) | 촬상 장치, 촬상 제어 방법 및 컴퓨터로 판독 가능한 기록매체 | |
JPH0797841B2 (ja) | 撮像装置 | |
JP2007027845A (ja) | 撮像装置 | |
JP6118118B2 (ja) | 撮像装置およびその制御方法 | |
JP2749849B2 (ja) | 撮像装置 | |
JP2008136113A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JPH0817455B2 (ja) | 撮像装置 | |
JP2002314885A (ja) | 撮像装置 | |
JP2000299810A (ja) | 撮像装置 | |
JP2521986B2 (ja) | 撮像装置 | |
JP2001069400A (ja) | 撮像装置 | |
JP2715464B2 (ja) | 撮像装置 | |
JPH0787372A (ja) | 撮像装置 | |
JP2007060577A (ja) | 撮像装置 | |
JP2877523B2 (ja) | 電子ビューファインダを有するビデオカメラ | |
JP6797566B2 (ja) | 撮像装置、撮像装置の制御方法、および、画像処理装置 | |
JP3284584B2 (ja) | 多重露光カメラ | |
JP2002247445A (ja) | 映像信号処理装置及び映像信号処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041215 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |