JP4130737B2 - ダイナミックレンジが改善されたビデオカメラ、記憶システム及び記憶方法 - Google Patents
ダイナミックレンジが改善されたビデオカメラ、記憶システム及び記憶方法 Download PDFInfo
- Publication number
- JP4130737B2 JP4130737B2 JP2001517211A JP2001517211A JP4130737B2 JP 4130737 B2 JP4130737 B2 JP 4130737B2 JP 2001517211 A JP2001517211 A JP 2001517211A JP 2001517211 A JP2001517211 A JP 2001517211A JP 4130737 B2 JP4130737 B2 JP 4130737B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- field
- frame
- video signal
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19634—Electrical details of the system, e.g. component blocks for carrying out specific functions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
Description
【関連出願に関する引用】
本出願は、1999年8月17日に提出された、米国仮特許出願第60/149,237号(弁理士整理番号E3LP−01P)の利益を主張する。
【0002】
【発明の属する技術分野】
本発明は、映像信号の連続的なストリームを生成し、記憶するビデオシステムのダイナミックレンジを改善するものに関するものであり、特に、もっぱら監視と監察とを遠方で可視化するために意図されていなく、もっぱら安全を得るために記憶しないビデオカメラシステムに関するものである。
【0003】
【発明の背景と従来の技術】
シーン(scene)を記憶することが手当てされていないビデオカメラの用途は、よく知られている。セキュリティーアプリケーションにおいては、例えば、いくつかのビデオカメラが、各カメラからの短い周期の映像を定期的に記憶する記憶システムに、接続される。一般的に、これらのカメラは、自動露出モードで働くように設計され、自動露出モードでは、周囲の明暗条件にマッチするように、電子シャッターと呼ばれるデバイスが各映像フレームの積分時間を変化さる。一般的に、これらのカメラは、一つの映像フレームを生成するために組み合わされた二つの映像フィールドを含む標準的な映像信号に関し、一つの連続的なストリームを生成する。例えば、標準的な米国のシステムであるNTSC又はRS−170 videoは、最初のセットから1/60 sec.後にスタートしている2番目のセットとともに、別のフィールド中の262.5の映像ラインと組み合わされた、一つのフィールド中に262.5の映像ラインを持つ。これらの信号を用いるビデオモニタ又はレコーダは、これらのフィールドを交互に組み合わせて、テレビで可視化するための映像のフルフレームを生成する。さらに、プログレッシブ・スキャン・システム(progressive scan systems)と呼ばれる他のビデオカメラシステムも存在する。これらの最新のシステムでは、映像のフルフレームが、一般的な1/60 sec.毎の組み合わせ(インターレース)を伴わずに生成される。
【0004】
これらのシステムでは、映像信号は電圧によって表される。各フィールド又はフレームには、ビデオシステムが信号に変換できる最大光量に相当する最大電圧と、ビデオシステムが確かに表すことができる最小光量に相当する最小電圧とがある。カメラで可視化するある特定のシーンでは、そのシーンのイメージが、最大電圧値と最小電圧値との間の範囲内にある電圧を用いて、そのシーンを表す映像信号電圧に変換される。ある一般的なシーンとある特別な自動露出とに対しては、そのシーンの一部分が暗くなり過ぎて使用に適した情報を含まなかったり、他の一部分が明る過ぎて使用に適さなかったりする。監視システムでは、例えば、これは、非常に重要なイメージの部分が明るすぎたり又は暗すぎたりして可視化できないという状態に帰着することができる。
【0005】
前述の問題を解決するために、従来の一つのアプローチは、二重露出結合ビデオカメラを使用する必要がする。二重露出結合ビデオカメラは、商業的に利用することができるが、標準的な一重露出ビデオカメラの様に、一般的ではない。二重露出結合ビデオカメラシステムは、各フィールド又はフレームの時間フレーム内で、電子シャッターにより光学上同一のイメージに関して二つの異なる露出を生成するカメラと、両方の露出を結合して一つの出力フィールド又はフレームにする手段とを備える。これは、二つの異なる露出の親イメージから生成される一つのイメージに帰着し、この一つのイメージは、シーンの照度値が広範囲に及ぶが、一つの映像フレームの電圧制限内に圧縮される。
【0006】
図1に、この従来技術のアプローチが図示され、二重露出カメラP1が窓台の上の花瓶を可視化している一方、鳥が外を飛んでいる。そのカメラP1は、P4aで表される長い周期の露出と、P4bで表される短い周期の露出とからなる2重の露出を行い、各露出は一つの映像フィールド(インターレースド・スキャン)又はフレーム(プログレッシブ・スキャン)の時間フレーム内で行われ、これら二つの異なる露出に相当する映像信号を予めプログラムされたアルゴリズムに従い処理装置P3で結合する。この結合演算処理後のイメージはP4cで表される。結合後のイメージP4cでは、鳥と花瓶との両方を可視化することができる。しかしながら、プロセスを結合するこのイメージは、シーンの照度値が広範囲に及ぶので、一方又は他方の親イメージに含まれる様々な情報を省略する得られたイメージからコントラストの減少を犠牲にしてしまう。この省略された情報は、最終的なイメージに対して重要でないと強く信じられている。しかしながら、このような判断は、常に、適切であり又は受け入れられるものでなく、特に、ビデオ監視装置においてはそうである。さらに、この様に生成されたイメージが記憶されると、このダイナミックレンジの改善の大部分が、後のプロセスにおいて制限される。これは、信号を結合することによって形成されて生成されたイメージから得ることのできる情報が、もはやオリジナルの画像にある完全な情報を含んでいないからである。
【0007】
【発明の目的と発明の概要】
本願発明の第一の目的は、物又は景色を可視化して、可視化した景色又は物を表す映像フィールド又はフレームを定義する映像信号の連続的なストリームを生成するビデオシステムのダイナミックレンジを改善する方法と装置を提供することである。
【0008】
本願発明の他の目的は、少なくとも二つの異なる露出レベルを表す映像データを用いて、映像フィールド又はフレームのシークエンスを定義する映像信号のストリームを生成する様なカメラで景色又は物を可視化して記憶し、記憶されたイメージからゆらぎのないディスプレイを生成するために、映像信号のストリームを処理するビデオシステムを提供することである。
【0009】
本願発明のさらなる目的は、第一の露出レベルを表すデータを含む映像フィールド又はフレームの少なくともいくつかと、第二の大きい又は小さい露出レベルを表すデータを含む前記フィールド又はフレームの他のものとを用いて、選択された光学的イメージに関し、映像フィールド又はフレームのシークエンスを表す連続する映像信号を生成し、選択された光学的イメージからゆらぎのないディスプレイを生成するために、連続する映像信号を利用するする方法と装置を提供することである。
【0010】
上述の目的と、以下に述べる記述から明らかに与えられる他の目的とは、異なる露出を用いて連続する映像フィールド又はフレームを生成し、それらをマージして一つの連続映像信号を得て、各連続するフィールド又はフレームを独立して記憶することによって実行される。より特別に、これは、光学的イメージを捕らえる電子シャッターを用いるビデオカメラ提供し、第一の露出レベルを表す複数の第一の映像フィールド又はフレームと第一の露出レベルとは異なる第二の露出レベルを表す複数の第二の映像フィールド又はフレームとを用いて、前記第一のフィールド又はフレームが前記第二のフィールド又はフレームの中に点在するように、光学的イメージを表す連続する映像フィールド又はフレームからなる映像信号の出力をそのカメラが生成する様に、そのシャッターの操作をコントロールすることによって実行される。このような映像信号の出力は、ある特定のセット又は組み合わせの露出をマッチする映像データのビデオ・ディスプレイを生成するために利用される。個々のビデオ・ディスプレイを提供するために、前記第一又は第二のフィールド又はフレームを表す光学的イメージからなる映像信号の出力を使用すること及びさらに先の光学的イメージを得ることに加えて又は代わりに、本願発明は、前記第一又は第二の映像フィールド又はフレームを表す光学的イメージデータからなるビデオ・ディスプレイを生成することにさらに利用するために、カメラから映像信号の出力を記憶することを規定する。換言すれば、そのディスプレイは、記憶中又は記憶後に生成されてもよい。図1に示す二重露出ビデオカメラの映像信号の出力と比較すると、異なる露出レベルに関して第一と第二の複数の映像フィールド又はフレームからなる、記憶された本願発明の映像信号は、信号値の有効範囲が広く、シーン照度のガモットが広く、ダイナミックレンジが高い。異なる露出の数をカメラとビデオ・レコーダーに適合することにより、カメラのビデオ・センサーから得られる全ダイナミックレンジを維持することができる。加えて、本願発明はさらに、本願発明の目的を達成するために、二重露出結合ビデオカメラの代わりに標準的で一般的に利用できるビデオカメラを使用し、図1に示す様な従来技術の二重露出結合ビデオカメラを用いて得られる結果と十分に同じ結果を得られる様に、フィールド又はフィールド又はフレーム又はフレームの一部と、他の露出のフィールド又はフレームとを結合するために、選択された露出を後に演算処理することを含むこともできる。
【0011】
【発明の実施の形態】
図2は、本願発明の好ましい実施の形態を概要的に示す。ビデオカメラ1は、鳥が外を飛んでいる時に、窓の棚の上の花瓶2に向けられている。そのカメラは、光応答CCD又はMOSの映像センサー型の映像検出器(図示せず)と、景色を映像検出器に映すレンズとを備える。本実施の形態では、カメラは、例えば、標準的な米国のシステムであるNTSC、RS−170 video等に従い、フレーム毎に、二つの組み合わされるフィールド(フィールド1とフィールド2)を生成するように設計されている。また、カメラ1は、電子シャッター(図示せず)も備える。電子シャッターを備えるCCD及びMOSの映像検出器は、よく知られており、以下の米国特許(T.Mochizukiらに1998年8月11日に発行した5,793,422号、H.Koganeらに1995年9月5日に発行した5,448,293号、H.Tanigawaらに1995年4月25日に発行した5,410,349号、M.Usamiらに1994年2月1日に発行した5,283,655号、J.Leeに1993年9月21日に発行した5,247,367号、T.Nakajimaらに1992年10月20日に発行した5,157,502号、Y.Kawaokaらに1991年12月24日に発行し5,075,775号、K.Yonemotoらに1989年10月17日に発行した4,875,100号、N.Talatsuらに1988年5月10日に発行した4,743,778号)に説明されている。それらに関連する範囲内で、それらの特許の教授は、引用によってここに組み込まれる。カメラ1の電子シャッターは、外部コントローラ3に接続されている。電子シャッターは、コントローラ3に、各フィールドの間隔の間でカメラの映像検出器の積分時間を調整させる。カメラは、3aで示す同調信号をコントローラ3に提供して、後者がカメラの電子シャッターに、各フィールドの露出時間を変化させる様に、例えば、各映像フィールドに同調するカメラの映像検出器の積分時間を調整させる様にする。フィールド1の間中にコントローラは、所定の遅い速度に対する積分時間、例えば、1/60秒をセットする。フィールド2の間中にコントローラは、所定の速い速度に対する積分時間、例えば、1/6000秒をセットする。一つの映像の列データに対し、得られた映像信号値は、4で表されている。遅い露出(1/60秒)の結果は、4aで示されている。この場合には、イメージの一部分に空が最大の信号レベルで表されており、花瓶は少しだけ減少した信号レベルで現われ、鳥は信号レベルを実質上変化させない。なぜならば、鳥の明るさが、空の明るさに接近していて、鳥を背景の空から区別することができないからである。短い露出(1/6000秒)の結果は、4bで示されている。この場合には、イメージの一部分に空が最大の信号レベルより下で表されており、花瓶は抜本的に減少した信号レベルで現われ、鳥は信号レベルに意味のある変化を与える。なぜならば、鳥の明るさが、空の明るさから区別することができるだけ十分に異なっているからである。本質的に、図2に示すシステムは、4d(遅い、比較的に長い時間の露出)と4c(速い、比較的に短い時間の露出)とで表される、第一の露出時間(例えば、1/60秒)のフィールドと第二の露出時間(例えば、1/6000秒)の交互のフィールドとからなる連続映像信号のシークエンスを表す、出力映像信号の提供を予めプログラムされた露出コントローラによって制御される一つのビデオカメラを使用する。
【0012】
カメラは、交互に4aと4bとで表される露出値を繰り返す連続映像フィールドのシークエンスからなるカメラの出力映像信号を、交互の長い露出と短い露出とを結合した映像フィールドを記憶するビデオレコーダ5に、送るように接続される。また、カメラは、交互の露出レベルに関して同一の連続映像フィールドのシークエンスがバッファ・シグナル・マルチプレクサ(buffered signal multiplexer)6に送られるようにも接続され、マルチプレクサ6は、ユーザにモニタ7上でディスプレイに対する遅い露出又は速い露出の何れかを選択させ、セレクター・スイッチ8は、ユーザに、活動的な、例えば、“生”の映像を表示させるか、あるいは予め記憶された映像のシークエンスを再生させるかし、可視化するために遅い露出又は速い露出を選択させる。ディスプレイに対するこのフィールドの選択は、図3に示すマルチプレクサの構成要素を形成する付加的な露出選択によって指令される。より詳細に後で述べられる任意の変更の様に、フィールド・コード・ユニット3bは、カメラとレコーダ5とマルチプレクサ6との間に置かれ、フィールド・コード・ユニットは、カメラの出力映像信号にフィールド・コートを(ユーザが望む場合には、他のデータコードも)付加するのにふさわしいようにされる。
【0013】
図3は、図2に示すバッファ・シグナル・マルチプレクサ6を詳細に示す図である。図3が示す様に、ビデオシステムはフィールド・コード・ユニット3bを含んでいないことがわかる。マルチプレクサは、フィールド検出器9と、消去回路11と、インバータ12と、選択的にロードされたファースト・イン又はファースト・アウトを繰り返すメモリ又はバッファー14(以下、FIFO14という。)とを含み、FIFO14の映像データ入力側が、消去回路11と接続されている。交互に発生する異なる露出値の映像フィールド4aと4bとからなる、カメラからの出力映像信号は、検出器9に送られ、消去回路11を経由してFIFO14にも送られる。検出器は、FIFO14の操作を制御するために、カメラの出力映像信号からフィールド信号パルス9fを生成する。限定しない例によれば、フィールド検出器9は、通常の映像同調分離回路でもよい。フィールド信号パルス9fは、9aに示す様に、一方の露出で高く、9aに示す様に、他方の露出で低くなっている。フィールド信号パルス9fは、露出選択スイッチ10を経由して消去回路11に供給される。露出選択スイッチ10の位置に依存して、フィールド信号パルス9fは、直接に又はインバータ12を経由して、消去回路11に送られる。フィールド信号パルス9fは、4a又は4bに対応するフィールド信号パルス9fが反転しているか否かにより、4a又は4bに相当する信号を消去するように、消去回路をゲートで制御するために役に立つ。消去回路からの出力は、13で表される。仮に、供給されるフィールド信号パルスが低ければ、消去回路11は無効になり、対応する映像フィールドを表す信号は、13bで表す様に、本質的に変化することなく消去回路を通過する。しかしながら、仮に、消去回路に供給されるフィールド信号パルス9fが高ければ、対応する映像フィールドを表す信号は消去され、消去回路からの出力は、ある固定された電圧レベルになる。図3に示す様に、スイッチ10は、フィールド信号パルス9fが反転されないで直接消去回路11に供給される様に、バイパス・インバータ12に設けられる。その結果として、短い(速い)露出の映像フィールド信号4bは消去され、長い(遅い)露出の映像フィールド信号4aは、13bで表す様に、変化しないで消去回路を通過する。
【0014】
さらに図3を参照すれば、映像フィールド信号13aと13bとのシークエンスは、FIFO14に送られる。映像データのフィールドが、コントロール・ライン9gを経由して供給されるフィールドパルス9fの管理を受けて、FIFO14に選択的に書き込まれる。本質的に、フィールドパルス9fは、FIFO14に対するフィールド選択制御信号として作用する。FIFO成分から読み出された情報は、連続する出力映像データのストリームを生成するように切れ目がない。仮に、4aで表す様な長い(遅い)露出に相当する新たな映像データがFIFOに入力されると、FIFOから新たなデータが読み出される。仮に、他方で、一つ又はいくつかのフィールド時間、FIFOに新たなデータが入力されないとすれば、例えば、仮に、映像フィールド4bの信号が消去回路11によって消去されたとすれば、FIFOから生じる映像フィールド4aに相当する現存のデータが、FIFOに再循環されて映像フィールド4bが消去されたデータに変わって連続的に読み出される。別の方法で言えば、仮に、消去回路11が映像フィールド信号4aのみを通過させる様なマルチプレクサが設けられるとすれば、FIFO14に読み込まれた映像信号13bを含むデータが、FIFOへの入力と同時に読み出されてFIFO14にも記憶される。消去された映像フィールドを表す映像13aが、消去回路11からFIFO14を通過する時に、以前記憶された映像信号を表すFIFO14に現存するデータは、消去された映像信号の代わりに再循環され、読み出される。この操作により、7a'と7b'が以前に生じた7aと7bの複製である7aから7b'に見られる様な連続映像信号のシークエンスを消去された映像信号の代わりに得ることができる。この様な映像フィールドは、すべて本質的に同じ露出レベルを表しているので、それらは、通常のビデオモニタ上でゆらぎのないで連続的に表示される。ゆらぎのないことが、ユーザーの目にとっての快適な表示を与える。
【0015】
さらに図2と図3を参照すれば、図示されるシステムは、各映像フィールドにフレームコードを挿入するフィールド・コード・ユニット3bを含んでもよいことが分かる。フレームコードは、本質的にフレームコードを含み、好ましくはフィールド・コード・ユニットも各フィールドに、日付コード、タイムコード、フレームシリアル番号コード、カメラコード(例えば、ある特定の現場を監視するために複数のカメラが用いられる時に好ましい。)、もう一つの露出及び/又はユーザから与えられる他の情報の様なデータを付加する。フレームコードは、外部コントローラ3の制御下でフィールド・コード・ユニット3bによって挿入される。フィールド・コード・ユニット3bは、ある露出、例えば4aの映像フィールド又はフレームに対して第一のフィールドコードを付加し、異なる露出、例えば4bの映像フィールド又はフレームに対して第二のフィールドコードを付加する様に適合される。この適合に対して、フィールド検出器9は、フィールド・コード・ユニット3bによって挿入されたフィールドコードを検出し、二つの異なるコードに対応し、識別することができるパルス9a及び9bと同様のフィールド信号パルスを生成する様に適合される。フィールド選択制御信号として役に立つこれらのフィールド信号パルスは、消去回路11とFIFO14に供給され、FIFO14は、前述した方法で7aから7b'で表される様な連続映像フィールドのシークエンスの読み出しに対して応答できる。スイッチ10の位置に依存して、モニタ7に利用されるFIFOからの読み出しは、フィールド4a又は4bを表すイメージの表示を生成する。この適合の利点は、フィールド・コード・ユニット3bによって付加されるフィールドコードがあることにより、カメラからの映像信号出力を表す映像フィールドのシークエンスの中で起こっているにも拘わらず、4a又は4bのフィールドを見分けて読み出すことができ、各フィールドに対して適切なフィールド信号を生成できることである。この関係で、図2及び図3に示すシステムを、例えば、各フレームが二つのインターレースされる映像フィールド(例えば、262.5ラインからなる各フィールド)の代わりに一つのフィールド(例えば、525ラインからなる一つのフィールド)からなる様なプログレッシブ・スキャン・システム用にビデオカメラが設計されているところに利用できるということを理解することができる。プログレッシブ・スキャン・システムの場合、コントローラ3は電子シャッターをコントロールし、電子シャッターによって、カメラの出力信号が、第二の露出値のフレームと交互する第一の露出値のフレームを表し、フィールド・コード・ユニット3bは、第一又は第二の露出値に従って各フレームを識別することができるフィールドコードを各フレームに与え、マルチプレクサは、パルス信号9fの管理下で露出値の様な映像フレームからなる映像出力をモニタ7に送る様に作用する。
【0016】
図4は、本願発明の第二の実施の形態を示す図である。この実施の形態において、外部コントローラ31aは、本質的に、図2に示す外部コントローラ3と同じであるが、17表す様な公称自動露出値の間に点在する16と15で表す様な遅い露出と速い露出を生成するようにカメラに指令するように、プログラムされ、又は適合されている。図4のシステムも、フィールド・コード・ユニット3bと、レコーダ5と、モニタ7と、図3に示す11と14で示されたものと同様の消去回路(図示せず)とFIFOメモリ(図示せず)とを含むマルチチャネル・バッファ・シグナル・マルチプレクサ(multi-channel buffered multiplexer)18と、再生検出器31bと、カメラからの映像信号出力又はレコーダ5から再生される予め記憶された映像信号を入力信号として選択的にマルチプレクサと接続するスイッチ8とを含む。後に詳細に述べる様に、コントローラ31aの管理下で、フィールド・コード・ユニット3bは、フィールドを識別するフィールドコードを、カメラ1の映像信号出力によって定義される映像フィールドに付加する。さらに、コントローラ31aも、フィールド選択制御信号を生成し、コントローラとマルチプレクサ18は、これらのフィールド選択制御信号がコントローラ31aからマルチプレクサ18の消去回路(図示せず)まで通過する様に接合される。この実施の形態において、セレクター・スイッチ8は、ユーザに対してバッファ・マルチプレクサ18に送る活動的な “生”の映像又予め記憶された映像のシークエンスの選択を与える。スイッチ10に相当するマルチプレクサ18も、モニタ7上で可視化する映像に対して速い映像フィールド15、遅い映像フィールド16又は公称露出の映像フィールド17を選ぶ選択を与える。スイッチ10に相当するように、マルチプレクサは、本質的に、FIFOに連続第三の露出映像フィールドのシークセンスが読み出される様に消去される、三つの異なる露出の映像フィールドのうち二つを選択する手段を有する。また、マルチプレクサが露出修正信号を生成する様に適合されることと、これらの露出修正信号がコントローラ31aに供給されて、後にフィールド15、16及び17の何れかに対して選択されたその露出レベルに変化をもたらすことができる様に、マルチプレクサが図示さえるようにコントローラ31aに接続されることとも好ましい。
【0017】
図2の好ましい実施の形態について述べた様に、15、16及び17で表される異なる露出の映像フィールドは、それらが連続して生成される様に、レコーダ5に記憶される。この場合、フィールド・コード・ユニット3bは、本質的にフィールド・コード・ユニット3aと同じであり、コントローラ31aの制御下で各映像フィールド(又はプログレッシブ・スキャン・ビデオ・システムの場合には各フレーム)の中に、あるフィールドが遅い露出、速い露出又は公称露出のフィールドであるか否かを明確に識別するフィールドコードを本質的に含むフレームコードを、挿入する様に作用する。図2及び図3のシステムと同様に、フィールド・コード・ユニット3bによって挿入されるフレームコードは、例えば、日付とタイムコード、フレームシリアル番号コード、カメラ番号コード等の様な他のデータも含むことができる。また、特に、フィールド・コード・ユニットは、映像フィールド15の映像信号に対して第一のフィールド識別フィールドコードを、映像フィールド16の映像信号に対して第二のフィールド識別フィールドコードを、映像フィールド17の映像信号に対して第三のフィールド識別フィールドコードを付加する。さらに、コントローラ31aによって生成されるフィールド選択制御信号に関し、各フィールドコードに対して異なるフィールド選択制御信号が生成され、これらのフィールド選択制御信号がマルチプレクサ18の消去回路に供給される。モニタ7上で可視化するためにスイッチ手段10によって選択されたある特定の露出映像フィールドに依存して、マルチプレクサが、コントローラ31aからのフィールド選択制御信号を確実に選択して不必要な映像フィールドを消去する消去回路に供給することにより、モニタ7に適用するために映像信号をFIFOが読み出した結果は、選択された露出値を持つ映像フィールドだけになる。
【0018】
例として、マルチプレクサ18が、ディスプレイに対して映像フィールド15のみを選択する様にセットされているとする。この場合、いつもカメラの出力信号は、映像フィールド16又は17を含み、マルチプレクサは、FIFOから読み出される信号出力の中で、各映像フィールド16と各映像フィールド17の代わりに、映像フィールド15を表す映像信号データを用いる。この結果は、コントローラ31aから受信されるフィールド選択制御信号を用いて、消去回路に連続する映像フィールド16と17を消去させて、映像フィールド15だけが本質的に変化しないでマルチプレクサの一部であるFIFOを通過することによって実行される。
【0019】
図4の実施の形態も、レコーダ5とスイッチ8とに接続される再生検出器31bを含むことができる。検出器31bは、フィールド・コード・ユニット3bによって挿入されたフィールドコードを検出し、コントローラ31aによって生成されるフィールド選択制御信号に対応するフィールド選択制御信号を生成するように、また、不必要な露出値のフィールドを消去し、好ましい露出値、例えば、図2と図3の実施の形態に関して述べた方法の様にフィールド15の連続映像フィールドのシークエンスをFIFOに読み出させる目的で、フィールド選択制御信号をマルチプレクサ18に供給するように、適合される。
【0020】
図4の実施の形態の明らかな利点は、リアルタイムの公称露出フィールド17を可視化することができ、同時にフィールド15、16及び17のダイナミックレンジのすべてを記憶できることである。マルチプレクサ18のバッファーメモリは、可視化するための長い露出、短い露出又は公称露出の何れかが繰り返され、同時に可視化したフィールドと他のフィールドとが時間経過の方法で記憶される様に、外部コントローラ31aの制御下でフィールド・コード・ユニット3bによって挿入されたフィールドコードに基づいてプログラムされている。
【0021】
図5は、本願発明のさらなる利点を示す。この場合、システムは、ビデオカメラ1と、フィールド・コード・ユニット3bと、コントローラ3aと、フィールド検出器9と三つの消去回路11a、11b及び11cと三つのFIFOユニット14a、14b及び14cとを備えるマルチプレクサ18aと、を備える。コントローラは、例えば、図4中の15、16及び17で表される様な映像フィールドのシークエンスが生成される様に、所定のパターンに従って連続する映像フィールド又はフレームに対して、電子シャッターに露出を変化させる様にプログラムされている。コントローラ31aの制御下で動作するフィールド・コード・ユニット3bは、フィールド識別フィールドコード(単独で、又は、日付、時間、フレーム番号、カメラ番号等の他の情報を含むフレームコードの一部として)を、図4の実施の形態の様に、カメラ1の映像信号出力に挿入する。また、特に、フィールド・コード・ユニットは、映像フィールド15の映像信号に対して第一のフィールド識別フィールドコードを、映像フィールド16の映像信号に対して第二のフィールド識別フィールドコードを、映像フィールド17の映像信号に対して第三のフィールド識別フィールドコードを付加する。フィールドコード検出器9も、異なるフィールドコードの検出に応答して、異なるフィールド識別制御信号を生成する。これらのフィールド識別制御信号は、消去回路11aと11bと11cとに供給される。フィールド・コード・ユニット3bによってフィールドコードが付加された後に、カメラ1の映像信号出力は、それぞれ消去回路11a、11b及び11cを経由してFIFO14a、14b及び14cのそれぞれに供給される。FIFO14a、14b及び14cの映像信号出力は、それぞれモニタ7a、7b及び7cを切り離す様に供給されてもよい。さらに図5を参照すると、択一的な又は付加的な手段として、FIFO14a、14b及び14cの映像信号出力は、通常のビデオ・イフェクト・ジェネレータ27に供給され、ビデオ・イフェクト・ジェネレータ27は、例えば、モニタ7cの29aと29bの領域で図式的に表される様なピクチャー・イン・ピクチャー(PIP:a Picture In a Picture)フォーマット又モニタ7eの29cと29dの領域で図式的に表される様なサイド・バイ・サイド(Side-by-Side)フォーマットの様な、複数のイメージをモニターが表示するようにモニターをコントロールするための信号を提供する様に適合されている。また、ビデオ・イフェクト・ジェネレータ27が、FIFO14a、14b及び14cのそれぞれから読み出される映像フィールド15、16及び17の異なる露出に対応する三つの同時表示をモニタ7eに生成させるように設計されることも考慮されている。
【0022】
図4の実施の形態と同様に、図5のシステムは、好ましい露出値の連続映像フィールドのシークエンスがディスプレイに生成される目的で、不必要な映像フィールドを消去するように作用する。図5で表されるシステムにおいて、フィールドコード検出器9から受信されるフィールド選択制御信号は、消去回路11aに映像フィールド16及び17を消去させ、映像フィールド15を表すデータのみがFIFO14aで読み出され、FIFOaはそのデータを再循環して消去された映像フィールド16と17のデータの代わりにそのデータを用いる。同様に、検出器9からのフィールド選択制御信号は、消去回路11bに映像フィールド15及び17を消去させ、映像フィールド16を表すデータのみがFIFO14bで読み出され、FIFObはそのデータを再循環して消去された映像フィールド15と17のデータの代わりにそのデータを用いる。勿論、図5のマルチプレクサは、フィールド15、16又は17の何れかの露出レベルを修正する目的でコントローラ31aに供給される露出修正信号を生成するように適合されてもよい。
【0023】
通常のカメラは、一つの映像フィールドを生成するために交互に組み合わされる二つの映像フィールドを表す映像信号を生成するように設計されているので、プログレッシブ・スキャン・システムが高解像力のデジタルテレビの採用増加とともにより顕著になることが期待されていることが、認識されている。従って、本願発明は、プログレッシブ・スキャン・システムに適用できるという利点を提供する。この関係により、本願で使用する「フレーム」という用語は、通常のテレビシステムのような二つの交互に組み合わされたフィールドを備えるものとして解釈され、単一のフィールドがプログレッシブ・スキャン・システムの場合であることが理解される。結果的に、単一のフィールドの映像フレームの場合、先に述べたフィールドを識別するコードは、実際にフルフレームを識別する。
【0024】
本願発明は、様々な変更が可能である。例えば、生の映像又はレコーダ5から再生される様な、マルチプレクサ6又は18から読み出される好ましい露出レベルの映像信号の連続するストリームは、例えば、記憶と次の表示の目的でレコーダ5のようなレコーダに送られてもよい。さらに、カメラの出力信号がレコーダ5に直接に送られる場合、その記憶された信号が、再生され、マルチプレクサによって好ましい露出レベルの連続映像信号のシークエンスを備える映像信号をモニタに送るように処理される時に、同じ信号の送りが、レコーダ5又は次の使用と解析用の他のレコーダに記憶されることが考慮されている。
【0025】
他の変更は、マルチプレクサが第一の露出レベルを表す映像信号の第一のストリームと第二の異なる露出レベルを表す映像信号の第二のストリームとを同時に生成し、映像信号の両ストリームを表示するためにモニタへ同時に送り出すような、バッファ・シグナル・マルチプレクサ6又は18を備える。この場合、モニタは、二つの信号のストリームがピクチャー・イン・ピクチャ表示又は分割スクリーン表示として現れるイメージを提供するように動作する。一つが比較的に長い露出を露出を表し、他方が比較的に短い露出を表す二つのイメージがスクリーン上に同時に現れることは、異なる露出を使用する際に得られるダイナミックレンジのすべてを維持できるという利点を提供する。図4の実施の形態が変更され、第一が比較的に長い露出のイメージからなり、第二が比較的に短い露出のイメージからなり、第三が公称露出のイメージからなる、三つに分離しているイメージを同時に表示可能にすることも考慮されている。勿論、システムも、露出レベルが映像検出器のダイナミックレンジの範囲内で変更されること可能とする。さらに、コントローラ31aによって決められる異なる露出レベルの数も、変更可能であり、例えば、五つの異なる露出レベルが選択されてもよい。カメラのコントローラに関して言えば、一貫して、又は一貫しないで繰り返すシークエンスの中で生成される異なる露出とともに、映像フィールドを生成するようにプログラムされてもよい。例えば、三つの異なる露出レベルを表す映像フィールド又はフレームが生成される図4又は図5に示されるようなシステムに関して、コントローラは、固定されるようにプログラムされ、又は、固定したレート又はランダムなレートで、又は所定のパターンに従い、即ちカメラの映像出力の中で表される連続フィールド又はフレームのシークエンス中に連続する映像フィールド17の一連の繰り返し周期に従い、変化するようにプログラムされてもよい。同じことはこの場合にも当てはまり、カメラの映像信号出力は、4a及び4bで表される第一及び第二の露出レベルに対応する第一及び第二映像フィールド又はフレームによって特徴づけられる。しかし、後者の場合、システムが、フィールド・コード・ユニット3bを備えることと、後者が、第一及び第二の露出映像フィールドを識別し区別するカメラのフィールドコードの映像信号出力に伝えられることが必須であり、それにより、マルチプレクサが、第一又は第二の映像フィールド又はフレームのみによって表されるディスプレイのイメージを選択することができるようになる。
【0026】
また、本願発明は、電子シャッターを欠くカメラを用いて変更されることも考慮されている。従って、検出器は、暗い光の条件下で増強されたイメージを得るためにフォトンが増幅される又はカスケードされる光電子検出器、例えば、画像増強管(image intensifier tube)であることが考慮されている。ビディコン(vidicon)は、もう一つの例である。検出器が、CCD又はCMOSの光検出器を使用するビデオカメラに採用されているタイプの電子シャッターを欠く場合、制御信号に従って光の透過性が変化するLCDの光フィルターを使用することが考慮されている。このフィルターを光検出器と目標又は捕らえられているシーンとの間に置き、フィルターの制御信号を変化させることにより、各映像フィールド又はフレームの時間フレーム中の光検出器への光の衝突量を変化させることができ、それにより、図2又は図4の実施の形態で実行した異なる露出レベルと同様なものを提供することが可能となる。可変虹彩絞り又は他の形式のシャッターが、電子シャッターに代わって本願発明に使用されることも価値があるが、電子シャッター程一般的でなく、特に増強応答速度、コスト高及び超過サイズの性能に限界がある。
【0027】
また、マルチプレクサ16又は18が、長い露出と短い露出の映像フィールド又はフレームを結合させて単一の映像フィールド又はフレームを得るように、まさに二重露出カメラと同じように、ビデオカメラの信号出力を処理するようにプログラムされ、又は他の方法で適合されることも考慮されている。しかしながら、交互の明るいフィールドと暗いフィールドが、同時に起こる出来事を表すことを保証するためには、一方のフィールド又はフレームが、連続映像シークエンスを得るために他方のフィールド(又はフレーム)と結合される前に、一方のフィールド(又はフレーム)の(インターレースド・フィールド・ビデオ又はプログレッシブ・スキャン・ビデオに依存している)時間フレームだけ遅延させられることが必要となる。マルチプレクサは、所定の処理アルゴリズムに基づき、表示するために異なる露出のフィールド又はフレームを結合するようにプログラムされてもよい。しかし、通常の二重露出結合カメラと同様に、結合したフィールド又はフレーム間の時間差があるため、表示される時の結合したイメージは、不鮮明になり、結合したイメージのコントラストは、減少する。
【0028】
映像の表示形式は、様々であってもよい。図2〜図4の実施の形態において、モニタ7は、アナログモードで動作する通常のビデオモニタであることが好ましい。しかし、他の映像表示手段が採用されてもよく、例えば、デジタルモードで動作するブラウン管(CRT:Cathode Ray Tube)型又はLCD表示デバイスでもよい。また、ヘッド・マウント・ディスプレイ(HMD:Head Mounted Display)又は、ヘッド・アップ・ディスプレイ(HUD:Head Up Display)が使用されてもよい。
【0029】
ビデオカメラが、通常のアナログモードのカメラであることが了解されており、この場合、ビデオカメラの出力信号は、先に述べたようなバッファ・マルチプレクサによって処理される前に、デジタル信号へ変換するために、A/Dコンバータに送られることが必要となり、バッファ・マルチプレクサからの出力信号は、通常のアナログモードのビデオモニタの動作に適した信号を得るために、D/Aコンバータに送られることが必要となる。あるいは、ビデオカメラは、映像信号をマルチプレクサ6又は18によって処理できるようにするA/Dコンバータを備える必要性を排除する、デジタルカメラでもよい。同様に、表示デバイスは、アナログモードのビデオモニタで動作するように、マルチプレクサからの出力映像信号を変換するシステムであるD/Aコンバータを備える必要性を排除する、デジタルタイプであってもよい。簡素化のために、A/DコンバータとD/Aコンバータは、図から省略されている。なぜならば、当業者であれば、それらの必要性又は使用が明らかであるからである。また、明らかな変更は、コントローラ3又は31aをカメラに組み込むことである。
【0030】
読者は、本願発明の範囲から離れることなく他の変更を理解することができる。
ここに記述され、図示された本願発明は、多くの利点を提供する。一つの利点に関して言えば、ダイナミックレンジが改善されたビデオカメラと記憶処理システムを提供する。通常の一重露出カメラで生成されるような一重露出映像のシークエンス、又は、二重露出カメラで生成されるような結合露出映像のシークエンスと比較して、本願発明は、センサーの飽和で失われるような画像の明るい部分の映像情報と最小感度で失われるような画像の暗い部分の映像情報とを保存するという利点を提供する。この関係において、本願システムが、フィールド又はフレームを結合しないで、対応するコントラストの低下をもたらさないで、保存され又は利用される、フルダイナミックレンジを含んだ信号を提供することに価値がある。多くのアプリケーションにおいて、固定された露出での時間分解能の低下は、ダイナミックレンジの増加によって補償されたものよりも大きい。他の利点は、本願システム及び方法が、例えば、比較的に短い露出と長い露出のような異なる露出を表す映像フィールド又はフレームを含む連続映像信号のシークエンスを生成し、ゆらぎのない映像ディスプレイを生成するためにその映像信号のシークエンスを使用することが可能な点である。また、バッファ・マルチプレクサが、それぞれ対応する異なる露出時間を用いて二つ又はそれ以上の分離した映像フィールドのシークエンスを生成することと、異なる露出値によってそれぞれ特徴付けられた二つ又はそれ以上の分離した表示を同時に生成するためにそれらの二つ又はそれ以上のシークエンスを使用することを可能とする。次の利点は、本願発明が、電子シャッターを持つ通常のビデオカメラを使用して実施されることが考慮されている点であり、それにより、商業上利用することができるカメラの比較的に低いコストを得られるという利点がある。次の利点は、本願発明が、白黒ビデオカメラ又はカラービデオカメラを使用してもよい点である。
【図面の簡単な説明】
【図1】 図1は、従来技術の二重露出結合カメラを概要的に示す図である。
【図2】 図2は、本願発明の好ましい実施の形態を概要的に示す図である。
【図3】 図3は、図2に示すバッファ・シグナル・マルチプレクサ6を詳細に示す図である。
【図4】 図4は、本願発明の第二の実施の形態を示す図である。
【図5】 図5は、本願発明の更なる変更形態を示す図である。
いくつかの図において、同様な数字は、同様な構成と同様な概要表示とを示すように使用されている。
Claims (21)
- ダイナミックレンジが改善されたビデオ記録を生成し使用する方法であって、
ビデオカメラを提供するステップであって、前記ビデオカメラが、光学的イメージを映像フィールド又はフレームのシークエンスに変換する映像検出器と、ビデオカメラによって可視化される光学的イメージから前記映像検出器によって受信される光量を調節する電子シャッターとを備えている、ステップと、
光学的イメージを捕らえるように前記ビデオカメラを動作させるステップと、
前記捕らえられた光学的イメージから前記映像検出器によって受信される光量を変化させるように前記電子シャッターに指令して、前記捕らえられた光学的イメージを表す映像フィールド又はフレームのシークエンスであって、所定の繰り返し周波数で前記シークエンスの中に反復的に生じる前記捕らえられたイメージの異なる露出値を示す少なくとも第一及び第二のフィールド又はフレームを含んでいる前記シークエンスからなる出力映像信号を、前記映像検出器から生成するステップと、
前記出力映像信号を処理して、前記第一の映像フィールド又はフレームのみからなる連続シークエンスからなる変更された映像信号、又は前記第二の映像フィールド又はフレームのみからなる連続シークエンスからなる変更された映像信号を生成し、前記処理は選択的に(a)前記第一の映像フィールド又はフレームを消去し、前記消去された第一の映像フィールド又はフレームを以前に発生した前記第二の映像フィールド又はフレームと置き換えるか、又は(b)前記第二の映像フィールド又はフレームを消去し、前記消去された第二の映像フィールド又はフレームを、以前に発生した前記第一の映像フィールド又はフレームと置き換えることを含む、処理するステップと、
前記変更された映像信号を選択的に入力信号としてビデオディスプレイ装置に供給して、前記変更された映像信号の中に含まれる第一又は第二のフィールド又はフレームに応じて、前記捕らえられた光学的イメージを前記ビデオディスプレイ装置に表示させるステップと、
を含む方法。 - 請求項1に記載の方法であって、前記変更された映像信号の生成は、
前記第一又は第二の映像フィールド又はフレームを選択的に消去するように前記出力映像信号を処理して第二の出力映像信号を生成するステップと、
前記第二の出力映像信号をファースト・イン又はファースト・アウトメモリへ送ると共に、前記メモリへ消去されていない出力映像フィールド又はフレームを書き込むステップと、前記メモリの入力において前記第二の出力信号における消去されたフィールド又はフレームのそれぞれの発生と同時に、前記メモリにおいて消去されていないフィールド又はフレームを再循環するステップと、前記変更された映像信号を構成する消去されていない映像フィールド又はフレームの連続シークエンスを前記メモリから読み出すステップと、
を含む方法。 - 請求項1に記載の方法であって、
後の前記変更された映像信号の生成、及び前記変更された映像信号を用いたディスプレイ手段の駆動に用いるために、前記出力映像信号を記録するステップをさらに含み、それによって前記捕らえられた光学的イメージが、前記第一又は第二のフィールド又はフレームの中に含まれる情報に応じて表示されるようにする、方法。 - ダイナミックレンジが改善されたビデオ記録を生成し使用する方法であって、
ビデオカメラを提供するステップであって、前記ビデオカメラが、光学的イメージを映像フィールド又はフレームのシークエンスに変換する映像検出器と、ビデオカメラによって可視化される光学的イメージから前記映像検出器によって受信される光量を調節する電子シャッターとを備えている、ステップと、
前記ビデオカメラに光学的イメージを捕らえるよう作用させるステップと、
前記捕らえられた光学的イメージから前記映像検出器によって受信される光量を変化させるように前記電子シャッターに指令して、前記捕らえられた光学的イメージを表す映像フィールド又はフレームのシークエンスであって、前記捕らえられたイメージの異なる露出値を示しかつ所定の繰り返し周波数で前記シークエンスの中に反復的に生じる少なくとも第一及び第二のフィールド又はフレームを含んでいる前記シークエンスからなる出力映像信号を、前記映像検出器から生成するステップと、
前記出力映像信号を記録媒体に記録するステップと、
その後に、前記記録媒体から前記出力映像信号を再生するステップと、
前記記録媒体から再生された前記出力映像信号を処理して、前記第一の映像フィールド又はフレームのみからなるシークエンス、又は前記第二の映像フィールド又はフレームのみからなるシークエンスで構成される変更された映像信号を生成するステップと、
前記変更された映像信号を選択的に入力信号としてビデオディスプレイ装置に供給して、前記変更された映像信号の中に含まれる第一又は第二のフィールド又はフレームに応じて、前記捕らえられた光学的イメージを前記ビデオディスプレイ装置に表示させるステップと、
を含む方法。 - ダイナミックレンジが改善されたビデオ記録を生成し使用する方法であって、
(a)映像センサーを提供するステップであって、前記映像センサーが、光学的イメージから前記光学的イメージを表す映像フィールド又はフレームのシークエンスを含んでいる映像信号に変換する、ステップと、
(b)前記映像センサーを動作させて光学的イメージを捕らえ、同時に、各映像フィールド又はフレームの時間フレーム中に前記映像センサーよって受信される光量を変化させて、その結果得られた前記捕らえられた光学的イメージを表す映像信号を、映像フィールド又はフレームのシークエンスからなるようにさせ、前記映像フィールド又はフレームが、本質的に異なる露出値を示しかつ前記シークエンスの中に反復的に生じる少なくとも第一及び第二の映像フィールド又はフレームを含んでいる、ステップと、
(c)前記得られた映像信号から、前記第一の映像フィールド又はフレームのみからなる連続シークエンスを含んでいる変更された映像信号、又は前記第二の映像フィールド又はフレームのみからなる連続シークエンスを含んでいる変更された映像信号を生成するステップであって、前記得られた映像信号を処理することにより生成される前記変更された映像信号は、(a)前記第二の映像フィールド又はフレームを消去し、前記消去された第二の映像フィールド又はフレームを前記第一の映像フィールド又はフレームと置き換え、又は(b)前記第一の映像フィールド又はフレームを消去し、前記消去された映像フィールド又はフレームを前記第二の映像フィールド又はフレームと置き換える、ステップと、
(d)前記変更された映像信号を供給して、前記変更された映像信号の中に含まれる映像情報に応じて、前記捕らえられた光学的イメージをディスプレイ手段に表示するステップと、
を含む方法。 - 請求項5に記載の方法であって、
前記消去された第一又は第二の映像フィールド又はフレームの置き換えは、ファースト・イン/ファースト・アウトメモリへ消去されていない映像フィールド又はフレームを読み込みし、そしてファースト・イン/ファースト・アウトメモリから消去されていない映像フィールド又はフレームを読み出し、消去されていない映像フィールド又はフレームを前記メモリにおいていつも再循環させ、前記得られた映像信号が消去された映像フィールド又はフレームを前記メモリへ示すことにより、なされる方法。 - 請求項5に記載の方法であって、
ステップ(b)の後に前記得られた映像信号を記録媒体へ記録するステップと、ステップ(c)及び(d)を実行するのに用いられる前記記録媒体から得られた前記映像信号を続いて再生するステップとを、
さらに含む方法。 - 改善されたダイナミックレンジを有するビデオカメラ記録システムであって、
光学的イメージを捕らえて、この光学的イメージを表す連続映像フィールド又はフレームのシークエンスを特徴付ける出力映像信号を生成するビデオカメラであって、前記イメージから受信される光量に応じて前記出力映像信号を生成する映像検出手段と、その光学的イメージから前記映像検出手段によって受信される光量を調節する露出制御手段とを備えているビデオカメラと、
前記露出制御手段に映像フィールド又はフレームのベースで光量を変化させる露出コントローラであって、前記露出コントローラにより、前記出力映像信号が、第一の露出値で捕らえられた光学的イメージを表す前記第一の映像フィールド又はフレームと、前記第一の露出値と本質的に異なる第二の露出値で捕らえられた光学的イメージを表す前記第二の映像フィールド又はフレームと、を有する少なくとも第一及び第二の映像フィールド又はフレームの交互のシークエンスを特徴付ける、露出コントローラと、
前記出力映像信号を記録及び再生するレコーダー手段と、
前記レコーダー手段に接続されている信号処理手段であって、前記出力映像信号が前記レコーダー手段により読み出される時に前記映像出力信号を受信して、前記出力映像信号から前記第一の映像フィールド又はフレームのみからなる第一の連続シークエンス、又は前記第二の映像フィールド又はフレームのみからなる第二の連続シークエンスを含む変更された映像信号を生成する信号処理手段と、
前記変更された映像信号に応答して、(a)前記第一の映像フィールド又はフレームにのみ応答してビデオディスプレイを生成し、又は(b)前記第二の映像フィールド又はフレームにのみ応答してビデオディスプレイを生成する、ディスプレイ手段と、
を備えるビデオカメラシステム。 - 請求項8に記載のビデオカメラシステムであって、
前記ディスプレイ手段が、前記第一のフィールド又はフレームに応答し且つ応じて第一のビデオディスプレイを生成し、前記第二の映像フィールド又はフレームに応答し且つ応じて第二の同時のビデオディスプレイを生成するように適合される、ビデオカメラシステム。 - ビデオカメラシステムであって、
光学的イメージを捕らえて、この光学的イメージを表す連続映像フィールド又はフレームのシークエンスを特徴付ける出力映像信号を生成するビデオカメラであって、前記イメージから受信される光量に応じて前記出力映像信号を生成する映像検出手段と、その光学的イメージから前記映像検出手段によって受信される光量を調節する露出制御手段とを備えているビデオカメラと、
前記露出制御手段に映像フィールド又はフレームのベースで光量を変化させる露出コントローラであって、前記露出コントローラにより、前記出力映像信号が、少なくとも第一の露出値を表す第一の映像フィールド又はフレームと、第二の異なる露出値を表す第二の映像フィールド又はフレームと、を含む映像フィールド又はフレームの連続シークエンスを特徴付ける、露出コントローラと、
前記出力映像信号を受信して、前記出力映像信号から、前記第一の映像フィールド又はフレームのみからなるシークエンス、又は前記第二の映像フィールド又はフレームのみからなるシークエンスを含む変更された映像信号を生成する信号処理手段であって、前記信号処理手段は、選択的に(a)前記第一の映像フィールド又はフレームを消去し、前記消去された第一の映像フィールド又はフレームを前記第二の映像フィールド又はフレームと置き換えるか、又は(b)前記第二の映像フィールド又はフレームを消去し、前記消去された第二の映像フィールド又はフレームを、前記第一の映像フィールド又はフレームと置き換えることを含み、前記信号処理手段によって前記変更された映像信号を生成する、信号処理手段と、
第一の映像フィールド又はフレームのみからなる前記シークエンス、又は前記第二の映像フィールド又はフレームのみからなる前記シークエンスに応じて、ビデオディスプレイを生成する前記変更された映像信号に応答する応答手段と、
を備えるビデオカメラシステム。 - 請求項10に記載のビデオカメラシステムであって、前記第一及び第二の映像フィールド又はフレームが、一貫して繰り返すシークエンスの中に生成され、その繰り返し周期が、二以上の映像フィールド又はフレームである、ビデオカメラシステム。
- 請求項10に記載のビデオカメラシステムであって、さらに第一のフィールド・コードをそれぞれ第一の映像フィールド又はフレームへ付加し、第二のフィールド・コードをそれぞれ第二の映像フィールド又はフレームへ付加する前記出力映像信号によって特徴付けられる手段を含み、さらに前記信号処理手段は前記フィールド・コードを検出する検出手段と、前記検出手段に応答して前記検出手段により検出されたフィールド・コードに基づいて前記出力映像信号から前記変更された映像信号を生成する応答手段と、
を備えるビデオカメラシステム。 - ビデオカメラシステムであって、
選択された光学的イメージの映像フィールド又はフレームのシークエンスを含んでいる連続映像信号を生成する手段であって、前記いくつかの映像フィールド又はフレームの少なくともいくつかが、第一の露出レベルを示すデータを含み、前記映像フィールド又はフレームの他のものが、前記第一の露出レベルより大きい又は小さい第二の露出レベルを示す映像データを含み、前記いくつかの映像フィールド又はフレームが他の映像フィールド又はフレームの間に前記シークエンスの中に点在される、手段と、
前記連続映像信号を処理し、利用する回路手段であって、前記いくつかの又は他の映像フィールド又はフレームに応じて、前記選択された光学的イメージのゆらぎのないビデオディスプレイを生成し、(a)前記第一の露出レベルを示すデータを含む前記いくつかのフィールド又はフレームを消去し、前記第二の露出レベルを示すデータを含むフィールド又はフレームを前記消去されたフィールド又はフレームと置き換え、それによって変更された映像信号を生成する手段と、(b)前記変更された映像信号を前記第二の露出レベルを示すデータに応じて前記光学的イメージのゆらぎのないビデオディスプレイを生成するビデオディスプレイ手段へ供給する手段と、を含む回路手段と、
を含むビデオカメラシステム。 - 請求項13に記載のビデオカメラシステムであって、さらに第一のフィールド・コードを前記いくつかの映像フィールド又はフレームのそれぞれへ付加し、第二のフィールド・コードを前記他のフィールド又はフレームのそれぞれへ付加する手段を含み、さらに前記回路手段は、前記フィールド・コードを検出する検出手段と、前記検出手段に応答して前記検出手段により検出されたフィールド・コードに基づいて前記出力映像信号から前記変更された映像信号を生成する応答手段とを含む、ビデオカメラシステム。
- 請求項13に記載のビデオカメラシステムであって、さらに記録媒体に前記連続映像信号を記録する手段と、前記連続映像信号を前記記録レコーダーから前記回路手段へ送るための選択的に動作可能な手段とを含み、それによって前記選択された光学的イメージの表示が前記記録媒体に記録されているビデオ信号から生成される、ビデオカメラシステム。
- 改善されたダイナミックレンジでビデオイメージを捕らえて表示する方法であって、
光学的イメージを表す連続映像フィールド又はフレームのシークエンスを定義する映像信号出力を生成するためにビデオカメラを使用するステップであって、少なくとも第一及び第二の映像フィールド又はフレームが、第一及び第二の異なる露出時間のそれぞれで捕らえられたイメージを表し、前記第一及び第二の映像フィールド又はフレームが、一貫して繰り返すシークエンスの中で得られ、前記第一の映像フィールド又はフレームが、前記第二の映像フィールド又はフレームの間に前記連続シークエンスの中に点在する、ステップと、
前記映像信号出力を処理して、(1)前記第一の映像フィールド又はフレームのみからなるシークエンスを定義する第一の変更された映像信号と(2)前記第二の映像フィールド又はフレームのシークエンスを定義する第二の変更された映像信号とを生成するステップと、
前記第一及び第二の変更された映像信号を利用して、前記第一及び第二のフィールド又はフレームのそれぞれを表す露出に応じて前記捕らえられた光学的イメージの分離したディスプレイを得るステップと、
を含む方法。 - 請求項16に記載の方法であって、前記分離したディスプレイが単一のディスプレイデバイスによって、又は複数の分離したディスプレイデバイスによって同時に又は異なる時間で生成される、方法。
- 改善されたダイナミックレンジでビデオイメージを捕らえて表示する方法であって、
少なくとも異なる第一、第二、第三の露出時間を使用して連続ビデオイメージのシリーズを捕らえるステップであって、前記第一の露出時間を使用して捕らえたビデオイメージが、前記第二及び第三の露出時間を使用して捕らえたビデオイメージとともに前記シリーズの中に点在するようにするために、前記異なる露出時間が、所定のパターンに応じて変化する、ステップと、
それらが捕らえられた順番で、ビデオイメージの前記シリーズを表す映像信号を生成するステップと、
前記映像信号を利用して、(a)第一の露出時間のみを使用して捕らえられる前記映像イメージ、又は(b)前記第二の露出時間のみを使用して捕らえられる映像イメージ、又は(b)前記第三の露出時間のみを使用して捕らえられた映像イメージを表す変更された映像信号を選択的に生成し、前記変更された映像信号が、前記第一、第二、第三の露出時間のうち二つを用いて捕らえられた映像イメージを選択的に消去し、これら消去された映像イメージを消去されたイメージの二つの露出時間とは異なる露出時間を用いて捕らえられたイメージと置き換えることにより生成される、映像信号を利用するステップと、
前記変更された映像信号により表示されるディスプレイイメージを生成する前記変更された映像信号を利用するステップと、
を含む方法。 - 請求項18に記載の方法であって、前記映像信号は記録され、さらに前記記録された映像信号は前記第一、第二又は第三の露出時間を用いて捕らえられたイメージを表示する前記第一、第二又は第三の変更された映像信号を生成するために用いられ、前記第二の変更された映像信号は前記第二の変更された映像信号により表示されたイメージの第二のディスプレイを生成するために用いられる、方法。
- 請求項18に記載の方法であって、さらに前記映像信号を、前記第一の露出時間を用いて捕らえられたそれぞれの映像フィールド又はフレームに対する第一のフィールド・コードへ付加し、前記第二の露出時間を用いて捕らえられたそれぞれの映像フィールド又はフレームに対する第二のフィールド・コードへ付加し、前記第三の露出時間を用いて捕らえられたそれぞれの映像フィールド又はフレームに対する第三のフィールド・コードを付加することを含み、さらに前記フィールド・コードは前記映像信号から前記変更された映像信号を生成するために検出され利用される、方法。
- ビデオカメラシステムであって、光学的イメージを捕らえて、捕らえられたイメージを表示する映像フィールド又はフレームの連続シークエンスを特徴付ける出力映像信号を生成するビデオカメラであって、前記イメージから受信される光量に応じて前記出力映像信号を生成する映像検出手段と、その光学的イメージから前記映像検出器によって受信される光量を調節する露出制御手段とを備えているビデオカメラシステムと、
映像フィールド又はフレームのベースで光量を変化させる前記露出制御手段のための露出コントローラであって、前記出力映像信号は、少なくとも第一の露出値を表示する第一の映像フィールド又はフレームと、第二の異なる露出値を表示する第二の映像フィールド又はフレームとを備える映像フィールド又はフレームの連続シークエンスを特徴付ける、露出コントローラと、
前記出力映像信号を受信し前記第一の映像フィールド又はフレームを消去して、前記消去された第一の映像フィールド又はフレームと、前記第二の映像フィールド又はフレームとを備える第二の出力映像信号を生成する、第一の回路手段と、
前記出力映像信号を受信し前記第二の映像フィールド又はフレームを消去して、前記第一の映像フィールド又はフレームと前記消去された第二の映像フィールド又はフレームとを備える第三の出力映像信号を生成する、第二の回路手段と、
前記消去された第一の映像フィールド又はフレームを、以前に生じた前記第二の映像フィールド又はフレームで置き換える前記第二の出力映像信号に応答する回路手段であって、前記第二の映像フィールド又はフレームのみからなる連続シークエンスから構成される第一の変更された映像信号を生成する、回路手段と、
前記消去された第二の映像フィールド又はフレームを、前記第一の映像フィールド又はフレームで置き換える前記第三の出力映像信号に応答する回路手段であって、前記第一の映像フィールド又はフレームのみからなる連続シークエンスから構成される第二の変更された映像信号を生成する、回路手段と、
を備え、前記第一の変更された映像信号及び/又は前記第二の変更された映像信号は、第一の映像フィールド又はフレームのみからなる前記連続シークエンスに従って、及び/又は前記第二の映像フィールド又はフレームのみからなる前記シークエンスに従って、ビデオディスプレイを生成するのに使用可能である、ビデオカメラシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14923799P | 1999-08-17 | 1999-08-17 | |
US60/149,237 | 1999-08-17 | ||
PCT/US2000/040662 WO2001013171A1 (en) | 1999-08-17 | 2000-08-16 | Improved dynamic range video camera, recording system, and recording method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003507911A JP2003507911A (ja) | 2003-02-25 |
JP2003507911A5 JP2003507911A5 (ja) | 2006-01-05 |
JP4130737B2 true JP4130737B2 (ja) | 2008-08-06 |
Family
ID=22529356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001517211A Expired - Fee Related JP4130737B2 (ja) | 1999-08-17 | 2000-08-16 | ダイナミックレンジが改善されたビデオカメラ、記憶システム及び記憶方法 |
Country Status (9)
Country | Link |
---|---|
US (1) | US6985185B1 (ja) |
EP (1) | EP1210645A4 (ja) |
JP (1) | JP4130737B2 (ja) |
KR (1) | KR100667444B1 (ja) |
CN (1) | CN100510933C (ja) |
AU (1) | AU7881500A (ja) |
CA (1) | CA2378066A1 (ja) |
IL (2) | IL147672A0 (ja) |
WO (1) | WO2001013171A1 (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003101889A (ja) * | 2001-09-25 | 2003-04-04 | Konica Corp | 電子カメラ |
JP2003125279A (ja) * | 2001-10-16 | 2003-04-25 | Olympus Optical Co Ltd | 撮像装置 |
US7508421B2 (en) * | 2002-06-24 | 2009-03-24 | Fujifilm Corporation | Image pickup apparatus and image processing method |
JP2004048455A (ja) * | 2002-07-12 | 2004-02-12 | Niles Co Ltd | 撮像システム |
US8264576B2 (en) | 2007-03-05 | 2012-09-11 | DigitalOptics Corporation Europe Limited | RGBW sensor array |
US7639889B2 (en) | 2004-11-10 | 2009-12-29 | Fotonation Ireland Ltd. | Method of notifying users regarding motion artifacts based on image analysis |
US8199222B2 (en) | 2007-03-05 | 2012-06-12 | DigitalOptics Corporation Europe Limited | Low-light video frame enhancement |
US8417055B2 (en) | 2007-03-05 | 2013-04-09 | DigitalOptics Corporation Europe Limited | Image processing method and apparatus |
US8698924B2 (en) | 2007-03-05 | 2014-04-15 | DigitalOptics Corporation Europe Limited | Tone mapping for low-light video frame enhancement |
US8989516B2 (en) | 2007-09-18 | 2015-03-24 | Fotonation Limited | Image processing method and apparatus |
JP2006033049A (ja) * | 2004-07-12 | 2006-02-02 | Konica Minolta Photo Imaging Inc | 撮像装置 |
IL165852A (en) * | 2004-12-19 | 2010-12-30 | Rafael Advanced Defense Sys | System and method for image display enhancement |
US20070279512A1 (en) * | 2006-05-16 | 2007-12-06 | Olympus Imaging Corp. | Imaging apparatus |
IES20070229A2 (en) | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
US9307212B2 (en) | 2007-03-05 | 2016-04-05 | Fotonation Limited | Tone mapping for low-light video frame enhancement |
US7773118B2 (en) | 2007-03-25 | 2010-08-10 | Fotonation Vision Limited | Handheld article with movement discrimination |
CN101867727B (zh) | 2009-04-16 | 2011-12-07 | 华为技术有限公司 | 一种视频处理方法及装置 |
JP5566048B2 (ja) | 2009-04-28 | 2014-08-06 | キヤノン株式会社 | 表示装置及びその制御方法 |
US8181302B2 (en) * | 2009-09-22 | 2012-05-22 | Applied Materials, Inc. | Brush alignment control mechanism |
WO2012027290A1 (en) | 2010-08-23 | 2012-03-01 | Red. Com, Inc. | High dynamic range video |
US20130044237A1 (en) * | 2011-08-15 | 2013-02-21 | Broadcom Corporation | High Dynamic Range Video |
US8515270B1 (en) * | 2012-08-03 | 2013-08-20 | Granite Bay Software | System and method for improved time-lapse photography |
US9955084B1 (en) | 2013-05-23 | 2018-04-24 | Oliver Markus Haynold | HDR video camera |
US10277771B1 (en) | 2014-08-21 | 2019-04-30 | Oliver Markus Haynold | Floating-point camera |
US10225485B1 (en) | 2014-10-12 | 2019-03-05 | Oliver Markus Haynold | Method and apparatus for accelerated tonemapping |
CN105323496B (zh) * | 2015-02-13 | 2019-01-11 | 维沃移动通信有限公司 | 自动曝光方法、拍照装置及移动终端 |
CN106034209B (zh) * | 2016-04-08 | 2019-02-22 | 奇瑞汽车股份有限公司 | 获取视频的方法及装置 |
US10911689B2 (en) * | 2017-02-15 | 2021-02-02 | Intel IP Corporation | Methods and apparatus using long exposure video for virtual reality headset |
JP6917803B2 (ja) * | 2017-06-27 | 2021-08-11 | キヤノン株式会社 | 撮像装置、制御方法、及びプログラム |
CN114302064B (zh) * | 2022-01-27 | 2024-01-26 | 北京同尔科技有限公司 | 一种基于接收卡的视频处理方法、装置及系统 |
CN116389912B (zh) * | 2023-04-24 | 2023-10-10 | 北京大学 | 脉冲相机融合普通相机重构高帧率高动态范围视频的方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4851915A (en) | 1986-08-11 | 1989-07-25 | Xian Northwest Telecommunication Engineering Inst. | Method and apparatus for obtaining clear images of high speed moving objects |
US4875100A (en) | 1986-10-23 | 1989-10-17 | Sony Corporation | Electronic shutter for a CCD image sensor |
US5638118A (en) * | 1987-06-09 | 1997-06-10 | Canon Kabushiki Kaisha | Image sensing device with diverse storage times used in picture composition |
EP0387817A3 (en) * | 1989-03-16 | 1991-12-11 | Konica Corporation | Electronic still camera |
JP2538684B2 (ja) | 1989-11-30 | 1996-09-25 | 富士写真フイルム株式会社 | 電子シャッタ―の制御装置 |
JPH03179889A (ja) * | 1989-12-08 | 1991-08-05 | Oki Electric Ind Co Ltd | 静止画像におけるフレーム/フィールド自動切替装置 |
JPH04119776A (ja) | 1990-09-11 | 1992-04-21 | Sony Corp | 固体撮像装置 |
JPH04160988A (ja) * | 1990-10-25 | 1992-06-04 | Matsushita Electric Ind Co Ltd | 電子スチルカメラ |
JP3004382B2 (ja) | 1991-04-24 | 2000-01-31 | 松下電器産業株式会社 | 可変シャッタ付テレビカメラ装置 |
US5831676A (en) * | 1992-08-19 | 1998-11-03 | Canon Kabushiki Kaisha | Image pickup device using plural control parameters for exposure control |
US5420635A (en) * | 1991-08-30 | 1995-05-30 | Fuji Photo Film Co., Ltd. | Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device |
US5488389A (en) * | 1991-09-25 | 1996-01-30 | Sharp Kabushiki Kaisha | Display device |
JP3153918B2 (ja) | 1991-09-30 | 2001-04-09 | ソニー株式会社 | 固体撮像装置および遮光検出装置 |
US5376964A (en) * | 1992-07-14 | 1994-12-27 | Fuji Photo Film Co., Ltd. | Video camera, method of photometry therein, and method of focusing same |
US5517242A (en) * | 1993-06-29 | 1996-05-14 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Image sensing device having expanded dynamic range |
-
2000
- 2000-08-16 CA CA002378066A patent/CA2378066A1/en not_active Abandoned
- 2000-08-16 EP EP00968980A patent/EP1210645A4/en not_active Withdrawn
- 2000-08-16 JP JP2001517211A patent/JP4130737B2/ja not_active Expired - Fee Related
- 2000-08-16 AU AU78815/00A patent/AU7881500A/en not_active Abandoned
- 2000-08-16 CN CNB008117586A patent/CN100510933C/zh not_active Expired - Fee Related
- 2000-08-16 WO PCT/US2000/040662 patent/WO2001013171A1/en active Application Filing
- 2000-08-16 KR KR1020027001949A patent/KR100667444B1/ko not_active IP Right Cessation
- 2000-08-16 IL IL14767200A patent/IL147672A0/xx active IP Right Grant
- 2000-08-17 US US09/640,405 patent/US6985185B1/en not_active Expired - Fee Related
-
2002
- 2002-01-16 IL IL147672A patent/IL147672A/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR20020036844A (ko) | 2002-05-16 |
AU7881500A (en) | 2001-03-13 |
EP1210645A4 (en) | 2006-09-13 |
IL147672A (en) | 2007-06-03 |
US6985185B1 (en) | 2006-01-10 |
IL147672A0 (en) | 2002-08-14 |
JP2003507911A (ja) | 2003-02-25 |
CN100510933C (zh) | 2009-07-08 |
KR100667444B1 (ko) | 2007-01-10 |
CN1370289A (zh) | 2002-09-18 |
EP1210645A1 (en) | 2002-06-05 |
WO2001013171A1 (en) | 2001-02-22 |
CA2378066A1 (en) | 2001-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4130737B2 (ja) | ダイナミックレンジが改善されたビデオカメラ、記憶システム及び記憶方法 | |
US9661238B2 (en) | Reproducing apparatus and reproducing method | |
JP5147302B2 (ja) | ビデオカメラおよびビデオカメラにおけるフリッカ低減方法 | |
US20110193990A1 (en) | Capture condition selection from brightness and motion | |
JP2005519534A (ja) | ダイナミックレンジビデオ記録および再生システムならびに方法 | |
JP2010068386A (ja) | 撮像装置、撮像方法及びプログラム | |
JP2008193342A (ja) | 撮像装置及びそのプログラム | |
JP2005323411A (ja) | 画像合成装置 | |
US8018497B2 (en) | Image pick-up apparatus having still image advancing/retreating manipulation function, and method and non-transitory computer readable medium therefor | |
JP4834425B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP4390274B2 (ja) | 撮像装置及び制御方法 | |
CN101009776A (zh) | 摄像元件及其装置、摄像方法、摄像系统及图像处理装置 | |
TWI386038B (zh) | 視訊信號擷取裝置,信號處理及控制裝置,和視訊信號擷取,視訊信號處理及轉換系統及方法 | |
US8908056B2 (en) | Image recording and reproducing device | |
US8068144B2 (en) | Image recording and reproducing apparatus | |
JP2007228099A (ja) | 撮像装置 | |
JP4148586B2 (ja) | 画像合成装置 | |
US8339476B2 (en) | Image sensing apparatus and control method for same, and image sensing system | |
JP4439173B2 (ja) | デジタルカメラ及び情報端末 | |
JP2014220690A (ja) | 信号処理装置、信号処理方法 | |
JP2010062905A (ja) | 撮像装置及びプログラム | |
JPH11164191A (ja) | ディジタルカメラ | |
JPH0255480A (ja) | 画像フリーズ装置 | |
JPH07212706A (ja) | 映像信号記録装置及び映像信号出力装置 | |
JP3393147B2 (ja) | テレビモニタ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070927 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071226 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080428 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080523 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110530 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |