JPH10243288A - 撮像方法及び撮像装置 - Google Patents
撮像方法及び撮像装置Info
- Publication number
- JPH10243288A JPH10243288A JP9045698A JP4569897A JPH10243288A JP H10243288 A JPH10243288 A JP H10243288A JP 9045698 A JP9045698 A JP 9045698A JP 4569897 A JP4569897 A JP 4569897A JP H10243288 A JPH10243288 A JP H10243288A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- screens
- difference
- pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Abstract
ても、画像がずれることなく、かつ実質的なダイナミッ
クレンジが広い画像を撮像することが可能な撮像方法及
び撮像装置を提供できるようにする。 【解決手段】 露光量を異ならせて順次撮像した複数の
画面を一つに合成して映像信号のダイナミックレンジを
見かけ上拡大する際に、前記複数の画面内の各画素間の
動きベクトルと前記複数の画面間の動きベクトルとの差
が、予め定められた閾値よりも大きい場合にはその画素
の合成を行わないようにして、動きの大きな被写体や手
ぶれ等のために発生した画面ぶれを有する映像信号に対
しても、画像ずれがなくて実用的なダイナミックレンジ
拡大処理を行うことができるようにする。
Description
置に関し、特に、画像信号のダイナミックレンジを見か
け上拡大する撮像方法及び撮像装置に関するものであ
る。
ルビデオカメラ等の撮像部として広く利用されている。
これらのビデオカメラ等に用いられる撮像管や固体撮像
素子を用いた撮像装置は、旧来の銀塩写真システムに比
ベるとダイナミックレンジが狭く、従って、逆光時など
には、明るい部分の階調性が失われる「白とび」や、暗
い部分の階調性が失われる「黒つぶれ」などが発生する
問題がある。
カメラ等においては、前記「黒つぶれ」している主たる
被写体に露出を合わせるために、手動による絞りの操作
を行うか、または、逆光補正ボタンの操作を行うことに
より、絞りを2絞り分程度開放して露光量を増加させる
ように調節していた。
て前記主たる被写体が適正露光量になっても、背景で
「白とび」が発生してしまい、背景が白いだけの画面に
なってしまう問題があった。つまり、従来の撮像装置の
ように、主たる被写体の露光量が適正になるように露光
量を調整するだけでは、撮最像装置のダイナミックレン
ジの狭さを解決することはできなかった。
て静止画を電気信号に変換するような最像装置では、従
来、同一被写体から得られた露光量の異なる複数の画面
から一つの画面を合成により生成することにより、前記
「白とび」や「黒つぶれ」などが発生しないようにして
いた。
撮像する撮像装置においては、最像装置と被写体との位
置関係が常に一定に固定されている。このため、夫々の
画面の撮像のタイミングが経時的にずれても画像のずれ
が生じないので、複数の画面から一つの画面を合成して
も全く問題を発生しなかった。
カメラ、あるいはスチルビデオカメラ等の撮像装置にそ
のまま適用した場合には、手振れ等により、ビデオカメ
ラ等と被写体との位置関係が細かく変化してしまうこと
が考えられる。
体を複数回撮像して複数の画面を得るようにすると、そ
れらの各々の画面の位置が僅かづつずれてしまう。この
ため、これら複数の画面を一つの画面に合成すると、撮
像した被写体が2重や3重にずれて写ってしまうという
問題点があった。このことは、最近の小型軽量化が進ん
だビデオカメラにおいては、手持ち撮影時に手振れを発
生しやすいので、より大きな問題であった。
であり、その目的とするところは、画面ぶれを生じやす
いビデオカメラ及びスチルカメラにおいても画像がずれ
ることなく、かつ実質的なダイナミックレンジが広い画
像を撮像することが可能な撮像方法及び撮像装置を提供
することにある。
光量を異ならせて順次撮像した複数の画面を一つに合成
して映像信号のダイナミックレンジを見かけ上拡大する
撮像方法において、前記複数の画面内の各画素間の動き
ベクトルを検出するとともに、前記検出した各画素間の
動きベクトルと前記複数の画面間の動きベクトルとの差
を検出し、前記検出結果が予め定められた閾値よりも大
きい場合にはその画素の合成を行わないようにすること
を特徴としている。
露光量を異ならせて順次撮像した複数の画面を一つに合
成して映像信号のダイナミックレンジを見かけ上拡大す
る撮像方法において、前記複数の画面内の各画素間の動
きベクトルを検出する動きベクトル検出処理と、前記動
きベクトル検出処理によって検出された動きベクトル
と、前記複数の画面間の動きベクトルとの差を検出する
ベクトル差検出処理と、前記差検出処理の検出結果と、
予め定められた閾値とを比較する動きベクトル比較処理
と、前記動きベクトル比較処理の比較結果が、前記予め
定められた閾値よりも大きい場合にはその画素の合成を
行わないようにする画素合成禁止処理とを行うことを特
徴としている。
は、露光量を異ならせて順次撮像した複数の画面を一つ
に合成して映像信号のダイナミックレンジを見かけ上拡
大する撮像方法において、前記複数の画面内の各画素間
の動きベクトルを検出する動きベクトル検出処理と、前
記動きベクトル検出処理によって検出された動きベクト
ルと、前記複数の画面間の動きベクトルとの差を検出す
るベクトル差検出処理と、前記差検出処理の検出結果
と、予め定められた閾値とを比較する動きベクトル比較
処理と、前記動きベクトル比較処理の比較結果が、前記
予め定められた閾値より小さい場合に、前記複数の画面
を撮像する時の時間が異なることにより生じる画面間の
ずれに対応して、前記複数の画面の座標変換を行う座標
変換処理と、前記座標変換処理によってぶれが補正され
た複数の画面を一つの画面に合成する画面合成処理とを
行うことを特徴としている。
らせて順次撮像した複数の画面を一つに合成して映像信
号のダイナミックレンジを見かけ上拡大する撮像装置に
おいて、前記複数の画面内の各画素間の動きベクトルを
検出する動きベクトル検出手段と、前記動きベクトル検
出手段によって検出された動きベクトルと、前記複数の
画面間の動きベクトルとの差を検出するベクトル差検出
手段と、前記差検出手段の検出結果と、予め定められた
閾値とを比較する動きベクトル比較手段と、前記動きベ
クトル比較手段の比較結果が、前記予め定められた閾値
よりも大きい場合にはその画素の合成を行わないように
する画素合成禁止手段とを行うことを特徴としている。
は、露光量を異ならせて順次撮像した複数の画面を一つ
に合成して映像信号のダイナミックレンジを見かけ上拡
大する撮像装置において、前記複数の画面内の各画素間
の動きベクトルを検出する動きベクトル検出手段と、前
記動きベクトル検出手段によって検出された動きベクト
ルと、前記複数の画面間の動きベクトルとの差を検出す
るベクトル差検出手段と、前記差検出手段の検出結果
と、予め定められた閾値とを比較する動きベクトル比較
手段と、前記動きベクトル比較手段の比較結果が、前記
予め定められた閾値より小さい場合に、前記複数の画面
を撮像する時の時間が異なることにより生じる画面間の
ずれに対応して、前記複数の画面の座標変換を行う座標
変換手段と、前記座標変換手段によってぶれが補正され
た複数の画面を一つの画面に合成する画面合成手段とを
具備することを特徴としている。
異ならせて順次撮像された複数の画面を一つに合成する
ことにより映像信号のダイナミックレンジを見かけ上拡
大する際に、前記複数の画面内の各画素間の動きベクト
ルと前記複数の画面間の動きベクトルとの差が、予め定
められた閾値よりも大きい場合にはその画素の合成が行
われないので、動きの大きな被写体や手ぶれ等のために
発生した画面ぶれを有する映像信号に対して被写体が2
重や3重にずれて写ってしまう不都合が防止される。
装置の好適な実施形態について、添付図面を参照して詳
細に説明する。図1は、本発明のカメラ一体型VTRに
適用した場合の実施形態を示す全体構成ブロック図であ
る。
は処理部、300は記録部である。カメラ部100にお
いて、光学系101を介して入射した光線は絞り102
により光量制限され、撮像素子103に結像する。
などの半導体素子からなり、その撮像面に結像した光学
像が電気信号に変換されることにより映像信号が生成さ
れて出力される。
及び光蓄積時間の制御などを行う撮像素子駆動回路10
5等の各回路は、カメラ制御回路108の制御の下で、
それぞれ光学系101、絞り102及び撮像素子103
を駆動する。カメラ信号処理回路104は、通常のビデ
オカメラの信号処理回路と同様のγ補正処理その他の周
知の信号処理を行う。
アナログ信号であり、このアナログ信号が処理部200
に送られ、処理部200のA/D変換器201でデジタ
ル信号に変換される。次に、演算回路202で後述する
画素データの変換が行われ、その後、D/A変換器20
3でアナログ信号に戻され、記録部300に供給され
る。
2及び動きベクトル検出回路206で演算用に用いられ
るものである。また、205は画像メモリ204の動作
を制御するためのメモリ制御回路であり、カメラ部10
0の制御回路108から与えられるタイミング信号に応
じて画像メモリ204の書き込み、読みだしアドレス信
号を出力する。
時に、動きベクトル検出回路206の出力に応じて、各
画面ごとに位置合せのためのアドレス信号を発生して、
画面ぶれを補正するようにする。
トル検出回路206で検出された各画素の動きベクトル
と、各画素の動きベクトルから算出される画面間の動き
ベクトルとを比較する。そして、前記画素の動きベクト
ルが前記画面間の動きベクトルに対して、予め定められ
た閾値以上の差がある場合は前記面素の位置情報を演算
回路202に出力して、前記画素の合成を禁止するよう
にする。
を合成し、入力信号と同一形態に合わせるために、拡大
補間の処理が行われる。このようにして、動きのある被
写体に対しても画面のずれが発生しないように階調合成
された映像信号が、演算回路202より出力される。
た映像信号がD/A変換器203によってアナログ信号
に変換され、周知のVTR(映像信号記録装置)301
に記録される。なお、VTR301が、デジタル記録方
式の場合には、前記D/A変換器203は不要である。
する。図2は、カメラ部100のより詳細な構成を示す
ブロック図であり、図3はNTSC信号を例にしカメラ
部100のタイミングチャートである。
(FI)信号は、1フレームを構成する奇数〈ODD)
フィールドと偶数(EVEN)フィールドとを区別する
ための信号である。
り、H(高)の期間が有効画面、L(低)の期間が垂直
ブランキング期間に対応する。Tpulse 信号は、撮像素
子103の電荷蓄積時間を制御するための信号であり、
例えば、CCD撮像素子の場合には画素出力を垂直転送
用CCDに読み出すためのパルスである。
のための基準となる映像信号として、1/1000秒の
蓄積信号か1/60秒の蓄積信号のどちらを用いるかを
指定する信号である。
に1/1000秒の電荷蓄積を行い、次の有効期間にそ
の1/1000秒蓄積信号を出力する。そして、1/1
000秒蓄積期間の直後に実質1/60秒の電荷蓄積を
行い、次フィールドの有効画面期間にそのl/60秒蓄
積信号を出力する。このようにして、各フィールド毎
に、2種類(1/1000秒と1/60秒)の光量の信
号が交互に出力される。
104からの信号(例えば映像信号)をA/D変換器2
01を介して受け、露出制御のための制御信号を演算す
る公知のAE制御回路、22は合点制御のための制御信
号を出力する公知のAF制御回路、24は垂直ブランキ
ング信号VBLK を2分周する1/2分周回路である。
路、28はインバータ、29、30は1/2分周回路2
4の出力またはインバータ28によるその反転信号のど
ちらかでサンプリングタイミングを決定するかを選択す
るスイッチである。サンプルホールド回路26、27の
出力は、絞り駆動回路106及び焦点駆動回路107に
それぞれ印加され、サンプルホールド回路26、27の
出力に基づいて自動露出制御及び自動焦点調節制御等が
実行される。
60秒の組み合わせであり、約4段(16倍)の光量変
化である。このため、例えばCCD撮像素子を用いたカ
メラの場合、EVENフィールドで1/60秒の蓄積時
間を基準に主被写体に露出を合わせると、そのEVEN
フィールドでは背景に「白とび」が生じやすいのに対
し、光量を4段少なくしたODDフィールドでは主被写
体で「黒つぶれ」が発生することが多い。なお、この例
は逆光補正時に背景側に露出を合わせた場合を想定した
もので、その場合の状況により1/1000秒以外の蓄
積時間に設定してもよい。
高速シャッター機能を有するCCDが実用化されてい
る。これは、CCDの基板の垂直方向に不要電荷を排出
するもので、非常に細かなシャッタースピード設定が可
能であり、主被写体と背景被写体の輝度差に応じて、制
御回路108内のAE制御回路20の判断で最適なシャ
ッタースピードを駆動回路105により設定することが
できる。
一方のフィールドでの「白とび」及び「黒つぶれ」を積
極的に利用して、画面の改善を行うようにしている。つ
まり、「白とび」または「黒つぶれ」の生じる部分につ
いては、他のフィールドの対応部分(露出が異なるの
で、「黒つぶれ」または「白とび」は生じていない。)
で代替えし、両フィールドの映像信号を合成して最終的
な映像信号とするようにしている。
明する。図4では、主被写体を縦長の長方形で模式的に
示している。図4でスルー(T)画とは撮像素子103
の直接出力をいい、メモリ(M)画またはメモリ出力と
は画像メモリ204に一旦記憶された直前フィールドの
信号をいう。スルー画では、ODDフィールド毎に逆光
時の主被写体が「黒つぶれ」になり、EVENフィール
ド毎に背景が「白とび」なっている。
した信号ので、「白とび」と「黒つぶれ」はスルー画と
は異なるフィールドで生じている。したがって、スルー
画とメモリ画とを適切に組み合わせれば、「白とび」及
び「黒つぶれ」のない良好な映像が得られることにな
る。つまり、スルー画及びメモリ画の信号を各フィール
ド毎に所定の閾値と比較して、当該閾値より大きければ
1、小さければ0として、画素毎に「白とび」または
「黒つぶれ」を判定する。
ールドとの関係を示す。図6(a)の横軸は輝度レベ
ル、縦軸は1画面中の各輝度レベルの出現頻度を示して
いる。図6(a)に示すように、第1の閾値Th1は
「黒つぶれ」を判定できるように設定され、第2の閾値
Th2は「白とび」を判定できるように設定される。す
なわち、第1の閾値Th1以下の輝度が「黒つぶれ」と
判定され、第2の閾値Th2以上の輝度が「白とび」と
判定される。
係を示す。前記の如くODDフィールドとEVENフィ
ールドでは「白とび」と「黒つぶれ」とが交互するの
で、その判定用の閾値もフィールド毎に変更する。
素が「黒つぶれ」または「白とび」であるかを判定でき
るので、その判定結果を用いることにより、スルー画と
メモリ画とで適正な露光量の画素信号を選択することが
できる。例えば、判定Aと判定Bの論理積をとり、OD
Dフィールドでは、論理積が1である画素に対してはス
ルー画の選択を行うようにする。また、論理積が0であ
る画素に対してはメモリ画の選択を行うようにし、EV
ENフィールドではその逆の関係となるようにすること
により、図4に示すような選択フラグが得られる。
る合成画を示す。この図では、主被写体が等速度運動を
行った場合を想定し、時間軸ずれが画像に及ぼす影響を
確認したが、実用上十分な動画になり得ることが分か
る。
おいて、前記第1および第2の閾値Th1、Th2との
比較及び選択フラグを形成する回路部分の詳細な構成を
示しブロック図である。Th切替制御信号は、FI信号
などのように、フィールド毎に「H」、「L」が反転す
る信号であり、第1の閾値発生回路53に印加されると
ともに、インバータ51を介して第2の閾値発生回路5
2に印加される。
はその切替信号に応じて、図6(b)の関係の第1の閾
値Th1または第2の同Th2を発生する。また、比較
回路54、55はメモリ画、スルー画と閾値発生回路5
2、53からの閾値とを夫々比較し、判定結果としての
A及びBの判定信号を出力する。
号と判定B信号との論理積をとり、選択フラグ信号を出
力する。スイッチ57は、前記選択フラグ信号に従って
切り替え動作を行い、メモリ画またはスルー画の信号を
選択して出力する。
線が通常のビデオカメラの特性図であり、100%まで
は入出力がリニアになっている。そして、それ以上の入
力(100〜400%)に対しては、KNEE特性と呼
ばれる傾きの緩い関係となっている。この変化点をP1
とすると、高速シャッタ時にはこの変化点がP2の位置
に移行する。但し、P1が1/60秒で、P2が2段の
露光量変化の1/250秒であるとする。
は、図7(d)の(1)と(5)の関係になる。因み
に、図7(d)の(1)は1/60秒、(2)は1/1
25秒、(3)は1/250秒、(4)は1/500
秒、(5)は1/1000秒とした場合の特性図であ
る。傾きの違う2つの特性から、好みのカーブを持つ特
性を合成することができる。
れ」判定の閾値が異なる場合の合成特性例を示してい
る。図7(c)は、対応する2つの画素の信号を加算平
均して出力とする場合(同(1))、一方を選択する場
合(同(2))、及び適当な係数のもとで加算平均する
場合(同(3))の各特性を示している。
分解能となり、フレーム蓄積CCD撮像素子などと同等
になる。そこで、フィールド蓄積CCD撮像素子と同程
度の時間分解能を実現すべく、1フィールドに2枚の画
面を取り込む例を説明する。その構成例の変更部分を図
9に示し、タイミングチャートを図8に示す。
速度で撮像素子103の信号を読みだし、それを時間軸
変換して通常レートに戻す。第1および第2のフィール
ドメモリ90、91は各々1フィールド分の画像情報に
相当する記憶容量を有しており、第1のフィールドメモ
リ90では1/120秒読み出しと同時化するために1
/1000秒蓄積信号の遅延を行う。第2のフィールド
メモリ91では、1/120秒単位の映像信号を1/6
0秒単位のNTSC信号に変更するために2倍の時間伸
長処理を行う。
(a)〜(d)に対応している。このような動作が可能
な撮像素子103としては、XYアドレス方式のMOS
固体撮像素子が考えられる。
図10に示す。マスタークロック発生器40は外部から
の基準信号に従い、制御回路108内部用のマスタクロ
ックを発生する。
器41は、マスタークロック発生器40から入力される
マスタークロックに従い高速用クロックを発生する。ま
た、1/60秒シャッター用のクロック発生器42はマ
スタークロック発生器40から入力されるマスタークロ
ックに従い低速用クロックを発生する。
り、クロック発生器41及び同42の出力を駆動回路1
05に交互に印加する。AE制御信号発生器43は、カ
メラ信号処理回路104からの映像信号を基に、絞り制
御のためのAE制御信号を発生する。制御信号保持回路
44はその制御信号を1フィールド期間保持する。
り、AE制御信号発生器43の出力及び制御信号保持回
路44による保持信号を交互に絞り制御回路106に印
加する。切替信号発生器47は、スイッチ45、46の
切り替えを制御する。スイッチ45、46は同期して切
り替わるようになされている。
々クロック発生器を設け、そのクロックを、フィールド
毎の信号を発生する切替信号発生器の出力信号により切
り替えているので、回路構成及び動作が簡単になるとい
う効果があり、特に動画に適している。
ドを変化させることで異なる露光量の画面を生成した
が、高速の絞り装置を用意できる場合には、その絞りを
高速で変化させても良く、また、例えばPLZTなどの
ような空間光変調素子を用いた減光フィルタを電気的に
制御する方式で実現しても良い。
おいては、様々な演算処理が考えられるが、簡単な処理
で効果の高い単純加算による画面合成を例にとり、以下
に説明する。
(ODDフィールド画面とEVENフィールド画面)の
被写体に対する画面(撮像素子103)の位置ずれを示
している(図11−a)。
通エリア)の左上部を、メモリ読み出し開始点Pとする
と、ODD画面に対しては、図11−bで示すP
ODD 点、EVEN画面に対しては、図11−cで示すP
EVEN点が画像メモリよりの読み出し開始点となり、OD
DとEVENの共通エリアに関して、ずれのない映像信
号の生成が可能となる。
したものが図12に示す構成図である。図12におい
て、入力された映像信号はA/D変換器201にてデジ
タル信号化され、第1のフィールドメモリ204aと動
きベクトル検出回路206へそれぞれ供給される。
は、動きベクトル検出回路206の他の入力端子へ供給
される。動きベクトル検出回路206は、1フィールド
時間差の2つの映像信号から各画素の動き情報を検出
し、この情報から画面ぶれ情報を算出し、画面ぶれ補正
信号を生成する。この画面ぶれ補正信号は、メモリ制御
回路205に供給され、このメモリ制御回路205は、
画面ぶれ補正信号を基に第1のフィールドメモリ204
aを制御する。
画面ぶれ補正信号は動きベクトル比較回路207にも与
えられる。前記動きベクトル比較回路207は、閾値発
生回路61、比較回路62及びアドレス変換回路63等
により構成されており、前記動きベクトル検出回路20
6から出力される画面ぶれ情報は閾値発生回路61及び
比較回路62に供給され、前記閾値発生回路61におい
て被写体の動き判定用の閾値を発生させ、これを比較回
路62に出力する。
き情報とを比較することによって、各画素の動きが手ぶ
れによるものか、手ぶれ以外の動きによるものかを判定
する。言い換えれば、被写体自身の動きか否かを判定
し、手ぶれ以外の動きと判定された画素に対応するアド
レスをアドレス変換回路63に出力する。
202aからの補間情報によって、手ぶれ以外の動きと
判定された画素に対応するアドレスを拡大補間後のアド
レスに変換し、後述する画面合成時に、前記画素の合成
を禁止し、前記画素が適正露出になっているフィールド
の前記画素を選択するための選択信号を生成し、後段の
選択器202cに供給する。
1のフィールドメモリ204aより出力され、この信号
が次段の拡大補間回路202aにて、入力信号と同様の
信号形態(例えばNTSC信号)に戻される。
の拡大率は大きくなる。どのような拡大率であっても、
画像信号は元の形態に戻されてから加算器202b経由
で、第2のフィールドメモリ204bに格納される。
れた画像信号がODD画面の信号とすると、次のフィー
ルド期間にはEVEN画面の信号が拡大補間回路202
aより出力され、加算器202bにて対応する画素デー
タが加算される。
を経由し、さらに選択器209のEVEN端子経由でD
/A変換器203へ供給される。その一方で、この加算
信号は選択器202cのA端子を経由し、フィールドメ
モリ204bにも格納され、次フィールドのODD期間
にはREAD−MODIFY−WRITE動作で、選択
器209のODD端子経由で同一画面をD/A変換器2
03へ供給しつつ、新たなODD画面情報をフィールド
メモリ204bへ格納してゆく。
VENで閉として、新たなODD画面情報をメモリに書
き込む時には、加算器202bがスルーとなるように切
り替える。
た加算信号、O端子にはフィールドメモリ204bから
出力されるODD画面情報、E端子にはEVEN画面情
報が供給される。そして、動きベクトル比較回路207
からの選択信号により、手ぶれと判定された画素につい
ては加算信号、手ぶれ以外の動きと判定された画素につ
いては、ODD画面情報もしくはEVEN画面情報のう
ち適正露出となる画像情報を選択し、次段の選択器20
7及びフィールドメモリ204bに供給する。このよう
にして生成された信号は、D/A変換器203より入力
信号と同様のアナログ信号として出力される。
ミングチャートに示す。図13のタイミングチャートに
おいて、AはODD、EVENフィールドの判別信号で
あり、拡大補間回路202aの出力タイミングである。
しており、加算器202bは、このスイッチ208の開
閉により機能が変化し、スイッチ208が開の場合に
は、信号を素通りさせ、スイッチ208が閉の場合には
加算器として働く。
イミングを示したものであり、AにおけるODD期間は
そのままODD画面を書き込む。また、AにおけるEV
EN期間は、READ一MODIFY−WRITE動作
により、選択器202cで選択された画像情報を、同一
アドレスに再度書き込む処理を行う。
ングを示したものであり、t1期間におけるODD画面
情報と、t2期間のEVEN画面情報によって生成され
た合成画像情報は、Dにおけるt2期間に出力され、更
に、t3期間にも同一情報が再度読み出されて出力され
る。
れ以外の動きと判定された画素については、ODD画面
情報もしくはEVEN画面情報のうち、適正露出となる
画像情報を選択するため、前記画像の時間軸ずれが懸念
されるが、これについては、画面合成の演算処理の一例
として図4を用いて説明したように、実用上問題がない
といえる。
ド期間を単位時間として処理が完了する。因みに、OD
DフィールドとEVENフィールドとでライン補間処理
を切り換え、インタレース対応にして、いわゆる画面妨
害を低減することも可能である。この妨害低減のために
は、第2のフィールドメモリ204bと選択器209の
間の点Qにライン補間回路を挿入すると良い。
囲で前記実施形態を修正または変形したものに適用可能
である。
機器(例えば、ホストコンピュータ、インタフェース機
器、リーダ、プリンタ等)から構成されるシステムに適
用しても1つの機器からなる装置に適用しても良い。
ように各種のデバイスを動作させるように、前記各種デ
バイスと接続された装置あるいはシステム内のコンピュ
ータに対し、前記実施形態の機能を実現するためのソフ
トウェアのプログラムコードを供給し、そのシステムあ
るいは装置のコンピュータ(CPUあるいはMPU)に
格納されたプログラムに従って前記各種デバイスを動作
させることによって実施したものも、本発明の範疇に含
まれる。
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコード自体、およびそのプ
ログラムコードをコンピュータに供給するための手段、
例えばかかるプログラムコードを格納した記憶媒体は本
発明を構成する。かかるプログラムコードを記憶する記
憶媒体としては、例えばフロッピーディスク、ハードデ
ィスク、光ディスク、光磁気ディスク、CD−ROM、
磁気テープ、不揮発性のメモリカード、ROM等を用い
ることができる。
ムコードを実行することにより、前述の実施形態の機能
が実現されるだけでなく、そのプログラムコードがコン
ピュータにおいて稼働しているOS(オペレーティング
システム)あるいは他のアプリケーションソフト等の共
同して前述の実施形態の機能が実現される場合にもかか
るプログラムコードは本発明の実施形態に含まれること
は言うまでもない。
ンピュータの機能拡張ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに格納された後、そ
のプログラムコードの指示に基づいてその機能拡張ボー
ドや機能拡張ユニットに備わるCPU等が実際の処理の
一部または全部を行い、その処理によって前述した実施
形態の機能が実現される場合にも本発明に含まれること
は言うまでもない。
露光量を異ならせて複数の画面を順次撮像して、これら
の複数の画面を一つに合成して映像信号のダイナミック
レンジを見かけ上拡大する際に、前記複数の画面内の各
画素間の動きベクトルと前記複数の画面間の動きベクト
ルとの差が、予め定められた閾値よりも大きい場合には
その画素の合成を行わないようにしたので、ダイナミッ
クレンジを実質的に広くすることができ、例えば、逆光
の場合であっても、主被写体のみならず背景も、適正な
露光量の画像を得ることができる。また、動きの大きな
被写体や手ぶれ等のために発生した画面ぶれを有する映
像信号に対しても、被写体が2重や3重になることがな
くて実用的なダイナミックレンジ拡大処理を施すことが
できる。
Rの構成図である。
すブロック図である。
である。
である。
図である。
法を説明する図である。
である。
る。
図である。
である。
チャートである。
Claims (9)
- 【請求項1】 露光量を異ならせて順次撮像した複数の
画面を一つに合成して映像信号のダイナミックレンジを
見かけ上拡大する撮像方法において、 前記複数の画面内の各画素間の動きベクトルを検出する
とともに、前記検出した各画素間の動きベクトルと前記
複数の画面間の動きベクトルとの差を検出し、前記検出
結果が予め定められた閾値よりも大きい場合にはその画
素の合成を行わないようにすることを特徴とする撮像方
法。 - 【請求項2】 露光量を異ならせて順次撮像した複数の
画面を一つに合成して映像信号のダイナミックレンジを
見かけ上拡大する撮像方法において、 前記複数の画面内の各画素間の動きベクトルを検出する
動きベクトル検出処理と、 前記動きベクトル検出処理によって検出された動きベク
トルと、前記複数の画面間の動きベクトルとの差を検出
するベクトル差検出処理と、 前記差検出処理の検出結果と、予め定められた閾値とを
比較する動きベクトル比較処理と、 前記動きベクトル比較処理の比較結果が、前記予め定め
られた閾値よりも大きい場合にはその画素の合成を行わ
ないようにする画素合成禁止処理とを行うことを特徴と
する撮像方法。 - 【請求項3】 露光量を異ならせて順次撮像した複数の
画面を一つに合成して映像信号のダイナミックレンジを
見かけ上拡大する撮像方法において、 前記複数の画面内の各画素間の動きベクトルを検出する
動きベクトル検出処理と、 前記動きベクトル検出処理によって検出された動きベク
トルと、前記複数の画面間の動きベクトルとの差を検出
するベクトル差検出処理と、 前記差検出処理の検出結果と、予め定められた閾値とを
比較する動きベクトル比較処理と、 前記動きベクトル比較処理の比較結果が、前記予め定め
られた閾値より小さい場合に、前記複数の画面を撮像す
る時の時間が異なることにより生じる画面間のずれに対
応して、前記複数の画面の座標変換を行う座標変換処理
と、 前記座標変換処理によってぶれが補正された複数の画面
を一つの画面に合成する画面合成処理とを行うことを特
徴とする撮像方法。 - 【請求項4】 前記露光量を異ならせるためにシャッタ
ースピードを変化させることを特徴とする請求項1〜3
の何れか1項に記載の撮像方法。 - 【請求項5】 前記露光量を異ならせるために絞りを高
速で変化させることを特徴とする請求項1〜3の何れか
1項に記載の撮像方法。 - 【請求項6】 露光量を異ならせて順次撮像した複数の
画面を一つに合成して映像信号のダイナミックレンジを
見かけ上拡大する撮像装置において、 前記複数の画面内の各画素間の動きベクトルを検出する
動きベクトル検出手段と、 前記動きベクトル検出手段によって検出された動きベク
トルと、前記複数の画面間の動きベクトルとの差を検出
するベクトル差検出手段と、 前記差検出手段の検出結果と、予め定められた閾値とを
比較する動きベクトル比較手段と、 前記動きベクトル比較手段の比較結果が、前記予め定め
られた閾値よりも大きい場合にはその画素の合成を行わ
ないようにする画素合成禁止手段とを行うことを特徴と
する撮像装置。 - 【請求項7】 露光量を異ならせて順次撮像した複数の
画面を一つに合成して映像信号のダイナミックレンジを
見かけ上拡大する撮像装置において、 前記複数の画面内の各画素間の動きベクトルを検出する
動きベクトル検出手段と、 前記動きベクトル検出手段によって検出された動きベク
トルと、前記複数の画面間の動きベクトルとの差を検出
するベクトル差検出手段と、 前記差検出手段の検出結果と、予め定められた閾値とを
比較する動きベクトル比較手段と、 前記動きベクトル比較手段の比較結果が、前記予め定め
られた閾値より小さい場合に、前記複数の画面を撮像す
る時の時間が異なることにより生じる画面間のずれに対
応して、前記複数の画面の座標変換を行う座標変換手段
と、 前記座標変換手段によってぶれが補正された複数の画面
を一つの画面に合成する画面合成手段とを具備すること
を特徴とする撮像装置。 - 【請求項8】 前記露光量を異ならせるためにシャッタ
ースピードを変化させることを特徴とする請求項6また
は7の何れか1項に記載の撮像装置。 - 【請求項9】 前記露光量を異ならせるために絞りを高
速で変化させることを特徴とする請求項6または7の何
れか1項に記載の撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04569897A JP3630905B2 (ja) | 1997-02-28 | 1997-02-28 | 撮像方法及び撮像装置 |
US09/031,767 US6952234B2 (en) | 1997-02-28 | 1998-02-27 | Image pickup apparatus and method for broadening apparent dynamic range of video signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04569897A JP3630905B2 (ja) | 1997-02-28 | 1997-02-28 | 撮像方法及び撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10243288A true JPH10243288A (ja) | 1998-09-11 |
JP3630905B2 JP3630905B2 (ja) | 2005-03-23 |
Family
ID=12726607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04569897A Expired - Fee Related JP3630905B2 (ja) | 1997-02-28 | 1997-02-28 | 撮像方法及び撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6952234B2 (ja) |
JP (1) | JP3630905B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0977432A2 (en) * | 1998-07-28 | 2000-02-02 | Olympus Optical Co., Ltd. | Image pickup apparatus |
EP0987885A2 (en) * | 1998-09-16 | 2000-03-22 | Olympus Optical Co., Ltd. | Image pickup apparatus |
JP2007006021A (ja) * | 2005-06-22 | 2007-01-11 | Nikon Corp | 撮像装置および画像処理プログラム |
WO2007010891A1 (ja) * | 2005-07-19 | 2007-01-25 | Sharp Kabushiki Kaisha | 撮像装置 |
WO2008032392A1 (fr) * | 2006-09-14 | 2008-03-20 | Fujitsu Limited | Procédé et dispositif de traitement d'image et programme connexe |
US7643075B2 (en) | 2004-12-07 | 2010-01-05 | Seiko Epson Corporation | Image pickup device |
JP2010206519A (ja) * | 2009-03-03 | 2010-09-16 | Fujifilm Corp | 撮像装置および撮像方法 |
JP2011151795A (ja) * | 2009-12-21 | 2011-08-04 | Olympus Imaging Corp | 撮像装置、撮像方法、および、撮像プログラム |
US8305453B2 (en) | 2009-05-20 | 2012-11-06 | Pentax Ricoh Imaging Company, Ltd. | Imaging apparatus and HDRI method |
US8866922B2 (en) | 2011-04-01 | 2014-10-21 | Canon Kabushiki Kaisha | Image processing apparatus and control method thereof |
WO2015141487A1 (ja) * | 2014-03-18 | 2015-09-24 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000224470A (ja) * | 1999-02-02 | 2000-08-11 | Minolta Co Ltd | カメラシステム |
JP4284570B2 (ja) * | 1999-05-31 | 2009-06-24 | ソニー株式会社 | 撮像装置及びその方法 |
US6778210B1 (en) * | 1999-07-15 | 2004-08-17 | Olympus Optical Co., Ltd. | Image pickup apparatus with blur compensation |
US7193652B2 (en) * | 1999-08-17 | 2007-03-20 | Applied Vision Systems, Inc. | Dynamic range video recording and playback system and method |
KR100316717B1 (ko) * | 1999-10-05 | 2001-12-20 | 윤종용 | 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법 |
DE60025647T2 (de) * | 1999-11-22 | 2007-01-11 | Matsushita Electric Industrial Co., Ltd., Kadoma | Festkörperbildaufnahemvorrichtung |
JP4511066B2 (ja) * | 2001-03-12 | 2010-07-28 | オリンパス株式会社 | 撮像装置 |
JP3886769B2 (ja) * | 2001-10-26 | 2007-02-28 | 富士通株式会社 | 補正画像生成装置および補正画像生成プログラム |
US7379094B2 (en) * | 2002-04-18 | 2008-05-27 | Olympus Corporation | Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range |
JP2004048345A (ja) * | 2002-07-11 | 2004-02-12 | Niles Co Ltd | 撮像システム |
US7409104B2 (en) * | 2002-07-18 | 2008-08-05 | .Sightic Vista Ltd | Enhanced wide dynamic range in imaging |
US20050219642A1 (en) * | 2004-03-30 | 2005-10-06 | Masahiko Yachida | Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system |
US8497927B2 (en) * | 2004-07-01 | 2013-07-30 | Broadcom Corporation | Method for using wide dynamic range sensor in low light conditions |
KR101029071B1 (ko) * | 2004-09-09 | 2011-04-18 | 삼성전자주식회사 | 감지 휘도 범위를 넓히기 위한 디지털 촬영 장치의 제어방법, 및 이 방법을 채용한 디지털 촬영 장치 |
US8050511B2 (en) * | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
US7561731B2 (en) * | 2004-12-27 | 2009-07-14 | Trw Automotive U.S. Llc | Method and apparatus for enhancing the dynamic range of a stereo vision system |
JP4640068B2 (ja) * | 2005-09-16 | 2011-03-02 | ソニー株式会社 | 撮像方法および撮像装置 |
TWI271998B (en) * | 2005-09-21 | 2007-01-21 | Inventec Appliances Corp | Image processing method and apparatus thereof |
JP4671430B2 (ja) * | 2006-06-02 | 2011-04-20 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム及び記録媒体 |
JP4757113B2 (ja) * | 2006-06-26 | 2011-08-24 | キヤノン株式会社 | 撮像装置及びその制御方法、情報処理装置、印刷装置、印刷データ生成方法 |
JP4806329B2 (ja) * | 2006-10-23 | 2011-11-02 | 三洋電機株式会社 | 撮像装置及び撮像方法 |
KR20080076004A (ko) * | 2007-02-14 | 2008-08-20 | 삼성전자주식회사 | 촬상장치 및 그 다이나믹 레인지 확장방법 |
US20080198235A1 (en) * | 2007-02-16 | 2008-08-21 | Shou-Lung Chen | High dynamic range image recorder |
JP5163031B2 (ja) * | 2007-09-26 | 2013-03-13 | 株式会社ニコン | 電子カメラ |
DE102009001521B4 (de) * | 2009-03-12 | 2012-12-27 | Entropic Communications, Inc. | Verfahren zur Erzeugung einer HDR-Videobildfolge |
DE102009001518B4 (de) * | 2009-03-12 | 2011-09-01 | Trident Microsystems (Far East) Ltd. | Verfahren zur Erzeugung einer HDR-Videobildfolge |
JP5257375B2 (ja) * | 2009-03-13 | 2013-08-07 | オムロン株式会社 | 画像処理装置および画像処理方法 |
CN101867727B (zh) | 2009-04-16 | 2011-12-07 | 华为技术有限公司 | 一种视频处理方法及装置 |
JP2010273038A (ja) * | 2009-05-20 | 2010-12-02 | Hoya Corp | 撮像装置 |
KR101614914B1 (ko) * | 2009-07-23 | 2016-04-25 | 삼성전자주식회사 | 모션 적응적 고대비 영상 획득 장치 및 방법 |
KR101604068B1 (ko) * | 2009-09-22 | 2016-03-17 | 삼성전자주식회사 | 고대비 영상 생성 장치 및 방법 |
KR101633460B1 (ko) * | 2009-10-21 | 2016-06-24 | 삼성전자주식회사 | 다중 노출 제어 장치 및 그 방법 |
KR20110043833A (ko) * | 2009-10-22 | 2011-04-28 | 삼성전자주식회사 | 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치 |
WO2012015359A1 (en) * | 2010-07-26 | 2012-02-02 | Agency For Science, Technology And Research | Method and device for image processing |
WO2012027290A1 (en) | 2010-08-23 | 2012-03-01 | Red. Com, Inc. | High dynamic range video |
KR101843450B1 (ko) * | 2011-08-23 | 2018-03-29 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
JP5858744B2 (ja) * | 2011-11-21 | 2016-02-10 | キヤノン株式会社 | 撮像装置及びカメラシステム |
US20130207981A1 (en) * | 2012-02-09 | 2013-08-15 | Honeywell International Inc. | Apparatus and methods for cursor animation |
US9955084B1 (en) | 2013-05-23 | 2018-04-24 | Oliver Markus Haynold | HDR video camera |
TWI472867B (zh) * | 2013-07-17 | 2015-02-11 | Vivotek Inc | 具光圈偵測功能的網路攝影機及光圈偵測方法 |
US10277771B1 (en) | 2014-08-21 | 2019-04-30 | Oliver Markus Haynold | Floating-point camera |
US10225485B1 (en) | 2014-10-12 | 2019-03-05 | Oliver Markus Haynold | Method and apparatus for accelerated tonemapping |
CN112543286A (zh) * | 2020-11-27 | 2021-03-23 | 展讯通信(上海)有限公司 | 一种用于终端的图像生成方法及装置、存储介质、终端 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4272787A (en) * | 1978-09-07 | 1981-06-09 | Micro Consultants Limited | T.V. Picture freeze system |
US5162914A (en) * | 1987-06-09 | 1992-11-10 | Canon Kabushiki Kaisha | Image sensing device with diverse storage fumes used in picture composition |
DE68921840T2 (de) * | 1988-10-27 | 1995-09-07 | Canon Kk | Bildaufnahme- und Verarbeitungseinrichtung. |
JP3052250B2 (ja) * | 1990-01-05 | 2000-06-12 | キヤノン株式会社 | 画像ぶれ補正装置 |
KR930010618B1 (ko) * | 1990-10-31 | 1993-10-30 | 주식회사 금성사 | 캠코더의 흔들림 녹화방지 제어방식 |
-
1997
- 1997-02-28 JP JP04569897A patent/JP3630905B2/ja not_active Expired - Fee Related
-
1998
- 1998-02-27 US US09/031,767 patent/US6952234B2/en not_active Expired - Lifetime
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0977432A3 (en) * | 1998-07-28 | 2005-07-06 | Olympus Optical Co., Ltd. | Image pickup apparatus |
EP0977432A2 (en) * | 1998-07-28 | 2000-02-02 | Olympus Optical Co., Ltd. | Image pickup apparatus |
US7755664B2 (en) | 1998-07-28 | 2010-07-13 | Olympus Optical Co., Ltd | Image pickup apparatus |
US7301563B1 (en) | 1998-07-28 | 2007-11-27 | Olympus Optical Co., Ltd. | Image pickup apparatus |
EP0987885A2 (en) * | 1998-09-16 | 2000-03-22 | Olympus Optical Co., Ltd. | Image pickup apparatus |
EP0987885A3 (en) * | 1998-09-16 | 2002-07-17 | Olympus Optical Co., Ltd. | Image pickup apparatus |
US7098946B1 (en) | 1998-09-16 | 2006-08-29 | Olympus Optical Co., Ltd. | Image pickup apparatus |
US7646414B2 (en) | 1998-09-16 | 2010-01-12 | Olympus Optical Co., Ltd. | Image pickup apparatus for generating wide dynamic range synthesized image |
US7643075B2 (en) | 2004-12-07 | 2010-01-05 | Seiko Epson Corporation | Image pickup device |
JP2007006021A (ja) * | 2005-06-22 | 2007-01-11 | Nikon Corp | 撮像装置および画像処理プログラム |
JP4631558B2 (ja) * | 2005-06-22 | 2011-02-16 | 株式会社ニコン | 撮像装置および画像処理プログラム |
WO2007010891A1 (ja) * | 2005-07-19 | 2007-01-25 | Sharp Kabushiki Kaisha | 撮像装置 |
WO2008032392A1 (fr) * | 2006-09-14 | 2008-03-20 | Fujitsu Limited | Procédé et dispositif de traitement d'image et programme connexe |
KR101008917B1 (ko) | 2006-09-14 | 2011-01-17 | 후지쯔 가부시끼가이샤 | 화상 처리 방법 및 장치와 그 프로그램을 기록한 기록 매체 |
US8311367B2 (en) | 2006-09-14 | 2012-11-13 | Fujitsu Limited | Image processing device |
JP2010206519A (ja) * | 2009-03-03 | 2010-09-16 | Fujifilm Corp | 撮像装置および撮像方法 |
US8305453B2 (en) | 2009-05-20 | 2012-11-06 | Pentax Ricoh Imaging Company, Ltd. | Imaging apparatus and HDRI method |
JP2011151795A (ja) * | 2009-12-21 | 2011-08-04 | Olympus Imaging Corp | 撮像装置、撮像方法、および、撮像プログラム |
US8866922B2 (en) | 2011-04-01 | 2014-10-21 | Canon Kabushiki Kaisha | Image processing apparatus and control method thereof |
WO2015141487A1 (ja) * | 2014-03-18 | 2015-09-24 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JPWO2015141487A1 (ja) * | 2014-03-18 | 2017-04-06 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US10567671B2 (en) | 2014-03-18 | 2020-02-18 | Sony Corporation | Image processing apparatus and image processing method |
Also Published As
Publication number | Publication date |
---|---|
US6952234B2 (en) | 2005-10-04 |
JP3630905B2 (ja) | 2005-03-23 |
US20030133035A1 (en) | 2003-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3630905B2 (ja) | 撮像方法及び撮像装置 | |
JP3110797B2 (ja) | 撮像方法及び撮像画面合成装置 | |
US5638118A (en) | Image sensing device with diverse storage times used in picture composition | |
US5162914A (en) | Image sensing device with diverse storage fumes used in picture composition | |
US5497192A (en) | Video signal processing apparatus for correcting for camera vibrations using CCD imager with a number of lines greater than the NTSC standard | |
US6489987B1 (en) | Electronic endoscope apparatus | |
US6587149B1 (en) | Video camera with progressive scanning and dynamic range enlarging modes | |
US6876386B1 (en) | Digital camera with downsampling and zoom processing and method of controlling operation of same | |
JP2002084449A (ja) | 固体撮像素子を用いた撮像装置 | |
KR20080017092A (ko) | 촬상 장치, 촬상 제어 방법 및 컴퓨터로 판독 가능한 기록매체 | |
JPH0797841B2 (ja) | 撮像装置 | |
JP2007027845A (ja) | 撮像装置 | |
JP2749849B2 (ja) | 撮像装置 | |
JPH0817455B2 (ja) | 撮像装置 | |
JP2000299810A (ja) | 撮像装置 | |
JP2521986B2 (ja) | 撮像装置 | |
JP2715464B2 (ja) | 撮像装置 | |
JPH0787372A (ja) | 撮像装置 | |
JPS63306778A (ja) | 撮像装置 | |
JP2007060577A (ja) | 撮像装置 | |
JPH0522669A (ja) | ビデオカメラ | |
JP2809937B2 (ja) | Ccd撮像装置 | |
JP3284584B2 (ja) | 多重露光カメラ | |
JPH0817456B2 (ja) | 撮像装置 | |
JP2005117250A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041215 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |