JP4131133B2 - 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、受光量に応じた画素信号を生成する複数の画素からなる撮像装置、各画素信号を処理して撮影画像を得る画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、各画素の駆動制御により高速撮影を実現する撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、装置の高速化を必要とせずに高速撮影を実現する撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、通常のビデオレートでの高解像度撮影と高速レートでの低解像度撮影を同時に実現する撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【０００３】
【従来の技術】
昨今の半導体製造技術の急速な進歩とも相俟って、比較的安価な撮像素子が入手可能となってきた。この結果、携帯電話やＰＤＡ（Personal Digital Assistant）などの携帯端末において、小型のカメラを付属あるいは搭載した機器が開発され、市場に流通し始めている。
【０００４】
一般的に、カメラといえばＣＣＤ（Charge Coupled Device：電荷結合素子）センサを用いたものを思い浮かべることができる。ＣＣＤとは、ＭＯＳ（Metal Oxide Semiconductor）型電極をチェーンのように配設して構成される集積回路のことであり、半導体表面の電荷をある電極から次の電極へと順次転送する機能を利用して、撮像した画像データを出力するようになっている。
【０００５】
他方、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）イメージ・センサが次世代のイメージ・センサとして注目を浴び始めている。
【０００６】
ＣＭＯＳ技術を用いて実装されるこのタイプのイメージ・センサであれば、小型・軽量化や、低消費電力などの仕様を満足させることができる。また、イメージ・センサと同一のチップ上に、ＣＭＯＳ技術で実現できる様々な回路部品を集積することができる。センサ上の各画素におけるフォトダイオード出力をノイズ除去並びにゲイン補正を経た後、アナログ値からデジタル値に変換して、さらにはデジタル信号のまま画像処理を行うといった機能を同一チップ上に搭載したＣＭＯＳイメージ・センサに関する報告も幾つかなされている。特に、センサ上で画像処理を行う機能を搭載した、いわゆる「スマート・センサ」は、ゲーム用からセキュリティ用途に至るまで幅広く利用されるものとして期待されている。
【０００７】
ところで、スポーツや理工学系の運動解析などにおいて、スローモーション撮影などを行うために高速撮像が可能なビデオ・カメラ装置が必要とされている。
【０００８】
第１の高速撮影方法として、上述したＣＣＤやＣＭＯＳなどの固体撮像素子を高速に駆動し、なお且つ外部に一時記憶用のメモリを持ち、メモリに高速書き込みすることにより高速撮像を実現するものを挙げることができる。このような装置では、例えば通常のビデオレートのＮ倍の高速撮像を実現する場合には、撮像素子、およびその周辺回路をビデオレートのＮ倍の周波数で駆動する必要がある。また、撮像素子の出力信号のデータ量は、ビデオレートでの駆動時と同等の画素数の場合にはＮ倍になるため、相応の外部メモリが必要になる。
【０００９】
また、第２の高速撮影方法として、高速撮像時には固体撮像素子からの出力画素数を間引きや画素加算によって減らすことにより、周辺回路の駆動周波数を高速化させずに高速撮像を実現するものを挙げることができる。このような装置では、例えばビデオレートのＮ倍の高速撮像を実現する場合には、有効な撮像素子の画素数が１／Ｎとなってしまう。
【００１０】
しかしながら、上述した第１の高速撮影方法では、装置全体を高速駆動する必要があり、高周波対応の構成部品の使用や、回路設計が複雑になるなど、装置が高価になるという問題がある。また、外部メモリ容量が増加することにより、部品点数が増加し、装置が大型化するという問題がある。
【００１１】
また、第２の高速撮影方法では、上記のような装置のコストやサイズの問題を解決することができるが、高速撮影時には、固体撮像素子からの出力画素数が減少してしまうために、常に解像度が劣化してしまう。したがって、このような装置では、同時に高解像度の通常撮影と、低解像度の高速撮影を行なうことはできない。
【００１２】
【発明が解決しようとする課題】
本発明の目的は、受光量に応じた画素信号を生成する複数の画素からなる優れた撮像装置、各画素信号を処理して撮影画像を好適に得ることができる画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【００１３】
本発明のさらなる目的は、各画素の駆動制御により高速撮影を実現することができる、優れた撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、装置の高速化を必要とせずに高速撮影を実現することができる、優れた撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【００１５】
本発明のさらなる目的は、通常のビデオレートでの高解像度撮影と高速レートでの低解像度撮影を同時に実現することができる、優れた撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【００１６】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、所定の受光期間における受光量に応じた画素信号を生成する複数の画素からなる撮像装置であって、
受光開始タイミングが異なるが受光終了タイミングが同じになる２個の画素からなる１以上の画素グループと、
受光開始タイミングが同じになるが受光終了タイミングが異なる２個の画素からなる１以上の画素グループと、
を具備することを特徴とする撮像装置である。
【００１７】
ここで、前記の各画素グループは近隣の画素で構成されていることがより好ましい。
【００１８】
本発明の第１の側面に係る撮像装置は、さらに前記の各画素グループ毎の画素信号の差を求める差分処理手段を備えていてもよい。
【００１９】
このような場合、各画素の画素信号をそのまま出力する第１の撮像モードと、前記差分処理手段による各画素グループ毎の画素信号の差分を出力する第２の撮像モードを備えることができる。
【００２０】
例えば、撮像装置が少なくともＮ個の画素グループを備えている場合において、前記第２の撮像モードでは、各画素グループ内における画素間の受光開始タイミング又は受光終了タイミングは前記第１の撮像モードにおけるビデオ・フレーム周期のＮ分の１だけ相違させるように各画素を駆動する。
【００２１】
この結果、前記第１の撮像モードでは通常のビデオレートでの画像表示又は画像記録を行なうことができるのに対して、前記第２の撮像モードでは、そのＮ倍速のスローモーションでの画像表示又は画像記録を行なうことができる。
【００２２】
したがって、本発明の第１の側面に係る撮像装置によれば、装置の高速化を必要とせずに高速撮影を実現することができる。また、通常のビデオレートでの高解像度撮影と高速レートでの低解像度撮影を同時に実現することができる。
【００２３】
また、本発明の第２の側面は、所定の受光期間における受光量に応じた画素信号を生成する複数の画素によって捕捉された画像情報を処理する画像処理装置又は画像処理方法であって、
前記画像情報は、受光開始タイミングが異なるが受光終了タイミングが同じになる２個の画素からなる１以上の画素グループの画素信号と、受光開始タイミングが同じになるが受光終了タイミングが異なる２個の画素からなる１以上の画素グループの画素信号を含み、
前記の各画素グループ毎の画素信号の差を求める差分処理手段又はステップを備える、
ことを特徴とする画像処理装置又は画像処理方法である。
【００２４】
ここで、前記の各画素グループは近隣の画素で構成されているものとする。
【００２５】
また、前記差分処理手段又はステップによる前記の各画素グループ毎の画素信号の差に基づく表示出力を行なう画像表示手段又はステップ、あるいは、前記差分処理手段又はステップによる前記の各画素グループ毎の画素信号の差を記録する画像記録手段又はステップをさらに備えていてもよい。
【００２６】
本発明の第２の側面に係る画像処理装置又は画像処理方法は、各画素の画素信号をそのまま取り扱う第１の画像処理モードと、前記差分処理手段による各画素グループ毎の画素信号の差分を出力する第２の画像処理モードを備えることができる。
【００２７】
例えば、画像情報がＮ個の画素グループからの画素信号で構成されている場合において、各画素グループ内における画素間の受光開始タイミング又は受光終了タイミングは通常のビデオ・フレーム周期のＮ分の１だけ相違させておく。このような場合、前記第１の画像処理モードでは通常のビデオレートでの画像表示又は画像記録を行なうことができるのに対して、前記第２の画像処理モードでは、そのＮ倍速のスローモーションでの画像表示又は画像記録を行なうことができる。
【００２８】
したがって、本発明の第２の側面に係る画像処理装置又は画像処理方法によれば、装置の高速化を必要とせずに高速撮影を実現することができる。また、通常のビデオレートでの高解像度撮影と高速レートでの低解像度撮影を同時に実現することができる。
【００２９】
また、本発明の第３の側面は、所定の受光期間における受光量に応じた画素信号を生成する複数の画素によって捕捉された画像情報の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納下記憶媒体であって、
前記画像情報は、受光開始タイミングが異なるが受光終了タイミングが同じになる２個の画素からなる１以上の画素グループの画素信号と、受光開始タイミングが同じになるが受光終了タイミングが異なる２個の画素からなる１以上の画素グループの画素信号を含み、前記コンピュータ・ソフトウェアは、
前記の各画素グループ毎の画素信号の差を求めるステップと、
前記の各画素グループ毎の画素信号の差に基づく画像情報を表示又は記録するステップと、
を具備することを特徴とする記憶媒体である。
【００３０】
本発明の第３の側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、ＤＶＤ（Digital Versatile Disc）やＣＤ（Compact Disc）、ＦＤ（Flexible Disk）、ＭＯ（Magneto-Optical disc）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。
【００３１】
また、本発明の第３の側面に係る記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第３の側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る画像処理装置又は画像処理方法と同様の作用効果を得ることができる。
【００３２】
また、本発明の第４の側面は、所定の受光期間における受光量に応じた画素信号を生成する複数の画素によって捕捉された画像情報の処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
前記画像情報は、受光開始タイミングが異なるが受光終了タイミングが同じになる２個の画素からなる１以上の画素グループの画素信号と、受光開始タイミングが同じになるが受光終了タイミングが異なる２個の画素からなる１以上の画素グループの画素信号を含み、
前記の各画素グループ毎の画素信号の差を求めるステップと、
前記の各画素グループ毎の画素信号の差に基づく画像情報を表示又は記録するステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００３３】
本発明の第４の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第３の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第２の側面に係る画像処理装置又は画像処理方法と同様の作用効果を得ることができる。
【００３４】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３５】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３６】
本発明は、例えばＣＭＯＳイメージ・センサのような、受光量に応じた画素信号を生成する画素がマトリックス状に配列して構成される撮像装置を用いて高速撮影を可能とするものである。この種の撮影装置は一般に各画素にリセット・パルスと読み出しパルスを供給することにより露光タイミングを制御することができるが、本発明では、隣接する画素において露光時間を独立して制御することができる構造を備えた撮像装置を用いて、隣接する画素の信号の差分を求めることによって高速撮影を可能とする。
【００３７】
図１には、通常のビデオレートのＮ倍の高速撮影を行なう場合を例にとって、本発明に係る高速撮影の原理を示している。
【００３８】
同図において、横軸は時間を表しており、縦軸は画素を構成するセンサに蓄積される電荷量を表している。Ｐ１からＰ３は、画素単位、又はブロック単位で独立に露光制御が可能なセンサにおいて、独立に駆動することができる隣り合う３画素を表している。
【００３９】
本発明に係る撮像方法によれば、Ｎ倍速の撮像を行う場合には２Ｎ個の独立に駆動可能な画素を持つブロックが必要であり、その場合にはビデオレートの１／Ｎ時間毎に２Ｎ個の画素を持つブロックから２画素分の信号が得られる。
【００４０】
Ｐ１，Ｐ２，Ｐ３の各画素の駆動タイミングは、図１に示すようにずれている。したがって、Ｐ１とＰ２、並びにＰ２とＰ３の差分を求めることにより、それぞれ異なる時刻におけるビデオレートの１／Ｎ時間の画像を得ることができる。
【００４１】
本発明による高速撮像方法では、２Ｎ個の画素を持つブロック内において、隣り合う３画素のうち１画素は基準となる露光時間の撮像を行い、その画素と隣り合う他の２画素は、リセット・タイミングと読み出しタイミングのいずれかが異なっており、１／Ｎフィールドだけ長い露光時間の撮像を行なう。図１に示す例では、水平方向で隣接する３つの画素Ｐ１，Ｐ２，Ｐ３のうち中央の画素Ｐ２は、（１−２／Ｎ）フィールド時間を露光時間として撮影を行なう。そして、この画素Ｐ２と隣り合う他の２つの画素Ｐ１及びＰ３は、リセット・タイミングと読み出しタイミングのいずれか一方が画素Ｐ２とは異なっており、１／Ｎフィールドだけ長い露光時間の撮影を行なう。
【００４２】
このように画素毎に露光時間をずらして撮像することにより、フル解像度での通常のビデオレートでの表示と、１／Ｎ解像度でのＮ倍速のスローモーション表示を同時に実現することが可能である。
【００４３】
すなわち、ビデオレートでの再生表示の場合には、撮像した映像信号をそのまま表示する。このとき、ブロック内では最大で（１−１／Ｎ）フィールドのずれが生じるが、各画素単位では１フィールド相当の画像が連続して表示されるので、通常のビデオ映像程度の表示が可能である。
【００４４】
一方、スローモーション再生表示の場合には、隣り合う画素の差分（Ｐ１−Ｐ２，Ｐ３−Ｐ２など）を求め、その差分信号をビデオレートにて表示する。このとき得られる差分信号は、１／Ｎフィールド時間毎に全画素の１／Ｎになっており、出力信号の解像度が１／Ｎになっている。
【００４５】
図２には、本発明に係る撮影装置により撮影した画像を記録し、再生し、表示出力するためのシステム構成を模式的に示している。
【００４６】
撮像装置１は、後述する駆動方法によって撮像を行ない、その信号を映像処理した後に記録媒体２に記録する。
【００４７】
再生装置３は、記録媒体２から信号を読み取り、後述のような信号処理を行った後に表示装置４にて映像表示する。
【００４８】
記録媒体２は、例えば、デジタルビデオテープや、磁気記録ディスクなどで構成されるが、映像信号を記録する媒体であれば特に限定されない。
【００４９】
表示装置４は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイや、ＬＣＤ（Liquid Crystal Display：液晶表示ディスプレイ）などで構成されるが、映像信号を表示する装置であれば特に限定されない。
【００５０】
本発明の第１の実施形態では、撮像装置１は撮像した信号を映像処理した後に記録媒体に記録する。そして、再生装置３は、記録媒体２から読み取った信号を、通常表示をする場合にはそのまま映像処理を行って表示装置４に出力するが、スローモーション表示をする場合には後述のようにして配置された画素配列に従って隣り合う画素間の差分を求めた後に映像処理を行なってから表示装置４に出力する。したがって、本発明の第１の実施形態によれば、再生時に通常表示とスローモーション表示を選択的に実現することができる。
【００５１】
また、本発明の第２の実施形態では、撮像装置１が撮像した信号を、通常記録をする場合には映像処理した後にそのまま記録媒体２に記録するが、スローモーション記録をする場合には、所定の画素配列（後述）に従って隣り合う画素間の差分を求めた後に映像処理を行なって記録媒体２に記録する。そして、再生装置３は、記録媒体２から読み取った信号を表示装置４に出力する。したがって、本発明の第２の実施形態によれば、撮像後に通常記録をするかスローモーション記録をするかを選択的に実現することができるようになる。
【００５２】
なお、撮影装置の駆動方法の詳細については後述に譲る。
【００５３】
図３には、本発明の第１の実施形態に係る撮像装置１の機能構成を模式的に示している。
【００５４】
センサ部１１は、被写体の映像を撮像する機能モジュールであり、レンズや光学フィルタなどの光学系と、ＣＣＤやＣＭＯＳなどの固体撮像素子で構成されている。以下では、撮像素子としてＣＭＯＳを採用した場合を例にとって説明する。
【００５５】
センサ部１１からの出力信号は、映像処理部１２に入力され、相関２重サンプリング（ＣＤＳ）、オート・ゲイン・コントロール（ＡＧＣ）、Ａ／Ｄ変換、輝度色差分離などの処理が施された後に映像記録部１３に出力される。
【００５６】
映像記録部１３では、入力された映像信号を記録媒体２に記録するためのフォーマットに変換して記録する。
【００５７】
制御部１４は、マイコンなどを利用することができ、操作入力部１５からの入力に従って、センサ部１１、映像処理部１２、映像記録部１３などの動作を統括的に制御する。
【００５８】
操作入力部１５は、ユーザの操作を受け付けるために装備され、ボタン類やタッチパネルが利用可能である。
【００５９】
図４には、本発明の第１の実施形態に係る再生装置３の機能構成を模式的に示している。
【００６０】
読み取り部２１は、記録媒体２から信号を読み取る部分であり、磁気ヘッドや光ピックアップなどで構成されている。読み取り部２１からの出力信号は、映像処理部２２に入力され、ガンマ補正、輝度色差混合、Ｄ／Ａ変換などの処理を施して映像表示部２３に出力される。
【００６１】
さらに、本実施形態に係る再生装置３では、映像処理部２２において隣り合う画素の信号差分を求めるための差分処理部２６を備えている。この差分処理部２６は、高速撮像された映像をスローモーション再生する場合には、画素間差分を行なうことによりスローモーション映像を生成して映像表示部２３に出力する。
【００６２】
映像表示部２３は、表示装置４に表示するためのアナログ増幅器などで構成されている。
【００６３】
制御部２４は、マイコンなどを利用することができ、操作入力部２５からの入力に従って、読み取り部２１と映像処理部２２の制御を行なう。操作入力部２５は、ボタン類やタッチパネルなどで構成され、ユーザの操作を受け付ける。
【００６４】
図５には、本実施形態に係る撮像装置１のセンサ部１１に適用されるＣＭＯＳ方式撮像素子の画素構造の一例を模式的に示している。
【００６５】
同図において、受光セル３１は、ＣＭＯＳ方式撮像素子の１つの画素を形成する。ＣＭＯＳ方式撮像素子は、２次元配列上に配置された受光セル３１と、受光セルを垂直方向に駆動するための垂直駆動回路３６と、一水平ライン分の受光セルをリセットするためのリセット信号線３９と、一水平ライン分の受光セルの読み出しを制御するための水平信号線４０と、一垂直ライン分の受光セルの信号を出力するための垂直信号線４１と、垂直信号線４１の信号を水平方向にシフトして出力するための水平駆動回路３７と、水平駆動回路３７の出力を増幅するための出力アンプ３８とから構成されている。
【００６６】
各受光セル３１は、受光して光電変換により電荷を発生するフォトダイオード３２（ＰＤ）と、フォトダイオードに蓄積されている電荷をリセットするためのリセット・ゲート３３（ＲＳＴ）と、フォトダイオード３２に蓄積されている電荷を電流として読み出すための読み出しゲート３５（ＲＤ）とから構成されている。
【００６７】
垂直駆動回路３６は、受光セルを水平ライン毎にリセットしたり、読み出ししたりするためのパルスを生成してリセット信号線３９、及び水平信号線４０に与える。垂直駆動回路３６から出力されるリセット・パルスがハイになると、リセット・ゲート３３が導通して、フォトダイオード３２の電荷がリセットされる。リセット後、一定時間後に垂直駆動回路３６から出力される読み出しパルスがハイになると、読み出しゲート３５が導通して、一定時間の間にフォトダイオードに蓄積された電荷が垂直信号線４１に出力される。
【００６８】
水平駆動回路３７は、シフト・レジスタ（図示しない）により構成されており、各垂直信号線４１に出力された信号は順次シフトされて、出力アンプ３８で増幅されてから出力される。
【００６９】
図５に示した実施形態では、センサ部１１は、水平ライン毎にリセット・タイミングと読み出しタイミングを独立して制御することが可能である。但し、垂直信号線４１に同時に出力することはできないため、一水平ラインの信号を水平駆動回路３７によって出力した後に、次のラインの読み出しを行う必要がある。したがって、図示のセンサ部１１からなる撮像装置においては隣り合う画素の読み出しタイミングがずれてしまうが、信号の読み出し駆動は非常に高速なため、高速化倍率のＮが大きくなければ画質には影響しない。
【００７０】
また、図６には、ＣＭＯＳ方式撮像素子の画素構造についての変形例を模式的に示している。
【００７１】
図示の実施形態は、図５に示した上述の実施形態において問題になる読み出しタイミングのずれを解消するために、フォトダイオード３２に蓄積された電荷を一旦フローティング・ディフュージョン３４に保持し、読み出しタイミングの制御により垂直信号線４１に出力するものである。
【００７２】
この実施形態において、受光セル３１は、受光して光電変換により電荷を発生するフォトダイオード３２（ＰＤ）と、フォトダイオードに蓄積されている電荷をリセットするためのリセット・ゲート３３（ＲＳＴ）と、フォトダイオード３２に蓄積されている電荷を増幅して電気信号とするためのフローティング・ディフュージョン・アンプ３４（ＦＤ）と、フォトダイオード３２の電荷をフローティング・ディフュージョン３４に転送するための転送ゲート４２（ＴＸ）と、フローティング・ディフュージョン３４の信号を読み出すための読み出しゲート３５（ＲＤ）とで構成されている。
【００７３】
この実施形態における垂直駆動回路３６は、転送ゲート４２を駆動するための転送パルス信号線４３を駆動している。その他の回路構成は、図５に示した実施形態と略同一である。
【００７４】
図７乃至図１０には、図５に示したＣＭＯＳ方式撮像素子における駆動タイミングを示している。上述したように受光セル３１は、垂直駆動回路３６及び水平駆動回路３７により駆動されており、これらの駆動回路は撮像装置の制御部１４により制御されている。ここでは、通常のビデオレートの４倍の高速撮像を行うタイミングを例にとって説明する。
【００７５】
各図において、Ａ乃至Ｈは、それぞれ独立にリセット・パルス及び読み出しパルスが制御可能な隣り合う８画素を表している。図７及び図８には、各画素の読み出しパルスのタイミングを示している。また、図９は、各画素のリセット・パルスのタイミングを示している。また、図１０には、各画素におけるフォトダイオード３２の蓄積電荷と、画素間の差分として得られる高速撮像信号を示している。
【００７６】
センサ部１１の画素の駆動は１フィールド周期で繰り返され、本実施形態ではこの４倍の周波数でリセット・パルス及び読み出しパルスが制御されている。すなわち、１フィールド周期内では、ｔ１〜ｔ４の各タイミングでリセット・パルス及び読み出しパルスが該当する画素に印加される。
【００７７】
まず、時刻ｔ１において画素Ａにリセット・パルス５２が印加され、フォトダイオード３２の電荷がリセットされる。また、同時刻に画素Ｈも電荷リセットされる。次いで、時刻ｔ２において、画素Ｂ及びＣが電荷リセットされる。同様に、時刻ｔ３において画素Ｄ及びＥが電荷リセットされ、時刻ｔ４において画素Ｆ及びＧが電荷リセットされる。
【００７８】
画素Ａは、時刻ｔ１でリセットされた後にフォトダイオード３２電荷が蓄積され始める。そして、時刻ｔ４において画素Ａに読み出しパルスが印加されると、そのフォトダイオード３２に蓄積された電荷５３は垂直信号線４１から読み出される。
【００７９】
同様にして、画素Ｂは、時刻ｔ２から電荷の蓄積が開始され、時刻ｔ４において蓄積された電荷５４が読み出される。また、画素Ｃは、時刻ｔ２から電荷の蓄積が開始され、次の時刻ｔ１において蓄積された電荷５５が読み出される。以下、同様にして画素Ｈまでが駆動される。
【００８０】
既に述べたように、図５に示したＣＭＯＳ方式撮像素子においては、垂直信号線４１に同時に信号を読み出すことができない。したがって、本来は図７に示すように、画素Ａと画素Ｂから電荷を同時に読み出しすることが望ましいが、画素の２次元的な配列によっては隣接する画素Ａと画素Ｂが垂直信号線を共有するため（後述）、これらの画素の読み出しパルスをずらす必要がある。
【００８１】
図８には、画素Ａと画素Ｂの読み出しパルスを微少時間だけずらした例を示している。この場合、水平駆動回路３７が水平信号線４０を選択的に駆動して、センサ部１１内のすべての画素Ａから画素信号を出力した後に、画素Ｂに読み出しパルスを印加している。
【００８２】
図５に示した実施形態に係る１撮像装置では、撮像素子から出力される信号に映像信号処理を施して、そのまま記録媒体２に記録する。また、再生装置３では、記録媒体２から読み出した各画素の信号から差分信号を求めて高速撮像信号を生成して、スローモーション再生表示を実現する。
【００８３】
図１０に示すように、画素Ａと画素Ｂの差分信号５６は、時刻ｔ２における映像信号として得られ、また、画素Ｂと画素Ｃの差分信号５７は、時刻ｔ１における映像信号として得られる。したがって、同図に示すように、Ａ乃至Ｈの８画素の信号から、ビデオレートの４倍の周波数に従う各時刻ｔ１、ｔ２、ｔ３、ｔ４において、それぞれ２画素の差分信号を得ることができる。
【００８４】
図１１及び図１２は、図６に示した実施形態に係るＣＭＯＳ方式撮像素子における駆動タイミングを示している。このうち、図１１には各画素の転送パルスのタイミングを示し、図１２には各画素の読み出しパルスのタイミングを示している。図６に示したＣＭＯＳ方式撮像素子では、リセット・パルスは図９に示したものと同様の駆動が行われる。また、図６に示したＣＭＯＳ方式の撮像素子では、上述したように、フォトダイオード３２に蓄積された電荷は画素毎に一旦フローティング・ディフュージョン・アンプ３４に転送された後、読み出しパルスにより垂直信号線４１によって読み出される。
【００８５】
図６に示した実施形態における露光の動作については、図７〜図１０を参照しながら説明した図５に示した実施形態と異なる部分についてのみ説明する。
【００８６】
画素Ａにおける電荷の蓄積は、リセット・パルス５２が印加される時刻ｔ１から開始される。時刻ｔ４において、転送パルス５８が印加されると、画素Ａのフォトダイオード３２に蓄積されていた電荷はフローティング・ディフュージョン・アンプ３４に転送される。
【００８７】
フローディング・ディフュージョン・アンプ３４への転送は同じ垂直信号線４１を使う画素でも同時に行なうことができるため、隣接する画素Ａと画素Ｂからの転送は同時に行われる。その後、画素Ａに対して読み出しパルス５９が印加され、フローティング・ディフュージョン・アンプ３４の出力が垂直信号線４１に読み出される。
【００８８】
図７〜図１０に示した実施形態と同様に、垂直信号線４１に同時に信号を読み出すことはできないため、水平駆動回路３７において画素Ａの信号を出力した後に、これに隣接する画素Ｂに読み出しパルス６０が印加される。したがって、画素Ｂにおいては、転送パルスが印加されてから読み出しパルスが印加されるまでの間は、フローティング・ディフュージョン・アンプ３４に電荷が蓄積されていることになる。
【００８９】
図５に示したＣＭＯＳ方式の撮像素子によれば、各画素を構成する受光セル３１の構造を単純なものにすることができるが、垂直信号線４１を共有する画素においては同時に読み出しすることができない。このため、露光時間に微小なずれが発生し、差分信号として得られる高速撮像信号にも誤差が生じるという問題がある。一方、図６に示したＣＭＯＳ方式の撮像素子によれば、各画素において蓄積した電荷を一旦フローティング・ディフュージョン・アンプ３４に保持することができるため、露光時間のずれの問題を解決することができる。
【００９０】
但し、ここまでで説明した各実施形態は、本発明における撮像方法を実現する一方法に過ぎない。例えば、画素毎にＡ／Ｄ変換器とメモリ素子を持ち、フォトダイオード３２から転送する際にデジタル信号として蓄積するような素子を利用してもよい。
【００９１】
次に、上述したようなＣＭＯＳ方式の撮像素子において、独立にリセット・パルスと読み出しパルスが制御可能な隣り合う８画素の２次元配列の組み合わせについて、図１３乃至図１６を参照しながら説明する。また、図１７乃至図２０は、これらの配列を実現するための配線構造を示している。
【００９２】
リセット・パルスと読み出しパルスを独立して制御可能にするためには、これらの配列は、差分信号を求める２つの画素が隣接しているようになっている必要がある。
【００９３】
図１３には、８画素が垂直方向に並んでいる配列の例を示している。同図に示す例では、水平信号線毎にリセット・パルス及び読み出しパルスを制御する。また、図１７には、水平に並んだ画素毎にリセット信号線と水平信号線が独立に配線されている撮像素子を表している。図１７において、信号線７１は、画素Ａに相当する受光セル１４１を駆動するリセット信号線であり、信号線８１は、同じく画素Ａを駆動する水平信号線である。以下、同様に、本撮像素子は、画素Ｂに相当する受光セル１４２を駆動するリセット信号線７２と、水平信号線８２と、画素Ｃに相当する受光セル１４３を駆動するリセット信号線７３と、水平信号線８３と、画素Ｄに相当する受光セル１４４を駆動するリセット信号線７４と、水平信号線８４と、画素Ｅに相当する受光セル１４５を駆動するリセット信号線７５と、水平信号線８５と、画素Ｆに相当する受光セル１４６を駆動するリセット信号線７６と、水平信号線８６と、画素Ｇに相当する受光セル１４７を駆動するリセット信号線７７と、水平信号線８７と、画素Ｈに相当する受光セル１４８を駆動するリセット信号線７８と、水平信号線８８とから構成されている。
【００９４】
図１４には、８画素が水平方向に並んでいる配列の例を示している。同図に示す例では、垂直信号線毎にリセット・パルス及び読み出しパルスを制御する。また、図１８には、垂直方向に並んだ画素毎にリセット信号線と垂直信号線が独立に配線されている撮像素子を表している。同図に示す例では、図１７に示した独立に駆動可能な撮像素子を９０度回転させたような構造により実現可能であり、水平駆動回路と垂直駆動回路の機能が入れ替わっている。
【００９５】
図１５には、８画素がジグザグ状に並んでいる配列の例を示している。また、図１９には、リセット信号線が水平方向に交互に上と下の画素に配線されている撮像素子を表している。図７に示したように、画素Ａと画素Ｂの読み出しは同時に行われるため、受光セル１４１と受光セル１４２に接続する水平信号線は共通にすることができる。また、図９に示したように、画素Ｂと画素Ｃのリセットは同時に行われるため、受光セル１４２と受光セル１４３に接続するリセット信号線は共通にすることができる。このように、信号線９１は画素Ａに相当する受光セル１４１と画素Ｈに相当する受光セル１４８を駆動するリセット信号線に相当し、信号線１０１は画素Ａに相当する受光セル１４１と画素Ｂに相当する受光セル１４２を駆動する水平信号線に相当する。以下、同様に、図１９に示す撮像素子は、画素Ｂに相当する受光セル１４２と画素Ｃに相当する受光セル１４３を駆動するリセット信号線９２と、画素Ｃに相当する受光セル１４３と画素Ｄに相当する受光セル１４４を駆動する水平信号線１０２と、画素Ｄに相当する受光セル１４４と画素Ｅに相当する受光セル１４５を駆動するリセット信号線９３と、画素Ｅに相当する受光セル１４５と画素Ｆに相当する受光セル１４６を駆動する水平信号線１０３と、画素Ｆに相当する受光セル１４６と画素Ｇに相当する受光セル１４７を駆動するリセット信号線９４と、画素Ｇに相当する受光セル１４７と画素Ｈに相当する受光セル１４８を駆動する水平信号線１０４とで構成されている。
【００９６】
図１６には、８画素がコの字を並べたように並んでいる配列の例を示している。また、図２０には、この配列を実現する撮像素子構造を示しているが、これは図１９において受光セル１４３と受光セル１４４、及び受光セル１４７と受光セル１４８が入れ替わったような構造によって実現することができる。この場合、リセット信号線の配線が変更されるが、リセット・パルス、及び読み出しパルスともにタイミングに変更はない。
【００９７】
次に、本発明の第２の実施形態に係る撮像装置１及び再生装置３について図面を参照しながら詳解する。
【００９８】
図２１には、本発明の第２の実施形態に係る撮像装置１の機能構成を模式的に示している。
【００９９】
センサ部１１１は、被写体の映像を撮像する部分であり、レンズ、光学フィルタなどの光学系と、ＣＣＤやＣＭＯＳなどの固体撮像素子で構成されている。以下では、撮像素子としてＣＭＯＳ方式を採用した場合を例にとって説明する。
【０１００】
センサ部１１１からの出力信号は、映像処理部１１２に入力され、相関２重サンプリング（ＣＤＳ）、オート・ゲイン・コントロール（ＡＧＣ）、Ａ／Ｄ変換、輝度色差分離などの処理が施された後に、映像記録部１１３に出力される。
【０１０１】
さらに、本実施形態に係る撮像装置１では、映像処理部１１３において隣り合う画素の信号差分を求めるための差分処理部１１６を備えている。この差分処理部１１６は、高速撮像された映像をスローモーション記録する場合には画素間差分を行うことによりスローモーション映像を生成して映像記録部１１３に出力する。
【０１０２】
映像記録部１１３は、入力された映像信号を記録媒体２に記録するためのフォーマットに変換して記録する。
【０１０３】
制御部１１４は、マイコンなどを利用することができ、操作入力部１１５からの入力に従って、センサ部１１１、映像処理部１１２、映像記録部１１３などの動作を統括的に制御する。
【０１０４】
操作入力部１１５は、ボタン類やタッチパネルなどで構成され、ユーザの操作を受け付ける。
【０１０５】
図２２には、本発明の第２の実施形態に係る再生装置３の機能構成を模式的に示している。
【０１０６】
読み取り部１２１は、記録媒体２から信号を読み取る部分であり、磁気ヘッドや光ピックアップなどで構成されている。読み取り部１２１からの出力信号は、映像処理部１２２に入力され、ガンマ補正、輝度色差混合、Ｄ／Ａ変換などの処理が施された後、映像表示部１２３に出力される。
【０１０７】
映像表示部１２３は、表示装置４に表示するためのアナログ増幅器などで構成されている。
【０１０８】
制御部１２４は、マイコンなどを利用することができ、操作入力部１２５からの入力に従って、読み取り部１２１と映像処理部１２２の制御を行う。
【０１０９】
操作入力部１２５は、ユーザーの操作を受け付けるためにあり、ボタン類やタッチパネルが利用可能である。
【０１１０】
なお、図２１及び図２２に示した本発明の第２の実施形態におけるセンサ部１１１の構造は、上述した第１の実施形態に示したものと略同一なので、ここでは説明を省略する。
【０１１１】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１１２】
【発明の効果】
以上詳記したように、本発明によれば、装置の高速化を必要とせずに高速撮影を実現することができる、優れた撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１１３】
また、本発明によれば、通常のビデオレートでの高解像度撮影と高速レートでの低解像度撮影を同時に実現することができる、優れた撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１１４】
本発明によれば、隣接する画素において独立に露光時間を制御することができる撮像素子を用い、隣接する画素の露光時間をビデオレートの１／Ｎ時間ずつずらして撮像して記録することによって、撮像装置、記録装置、及び再生装置の高速化を必要とせずに、再生装置において通常のビデオレートにおける表示と、そのＮ倍速のスローモーションでの表示を選択的に実現することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る高速撮影の原理を示した図である。
【図２】本発明に係る撮影装置により撮影した画像を記録し、再生し、表示出力するためのシステム構成を模式的に示した図である。
【図３】本発明の第１の実施形態に係る撮像装置１の機能構成を模式的に示した図である。
【図４】本発明の第１の実施形態に係る再生装置３の機能構成を模式的に示した図である。
【図５】本実施形態に係る撮像装置１のセンサ部１１に適用されるＣＭＯＳ方式撮像素子の画素構造の一例を模式的に示した図である。
【図６】本実施形態に係る撮像装置１のセンサ部１１に適用されるＣＭＯＳ方式撮像素子の画素構造についての他の例を模式的に示した図である。
【図７】図５に示したＣＭＯＳ方式撮像素子における駆動タイミングを示したチャートである。
【図８】図５に示したＣＭＯＳ方式撮像素子における駆動タイミングを示したチャートである。
【図９】図５に示したＣＭＯＳ方式撮像素子における駆動タイミングを示したチャートである。
【図１０】図５に示したＣＭＯＳ方式撮像素子における駆動タイミングを示したチャートである。
【図１１】図６に示した実施形態に係るＣＭＯＳ方式撮像素子における駆動タイミングを示したチャートである。
【図１２】図６に示した実施形態に係るＣＭＯＳ方式撮像素子における駆動タイミングを示したチャートである。
【図１３】本実施形態に係るＣＭＯＳ方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う８画素の２次元配列の組み合わせを示した図である。
【図１４】本実施形態に係るＣＭＯＳ方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う８画素の２次元配列の組み合わせを示した図である。
【図１５】本実施形態に係るＣＭＯＳ方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う８画素の２次元配列の組み合わせを示した図である。
【図１６】本実施形態に係るＣＭＯＳ方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う８画素の２次元配列の組み合わせを示した図である。
【図１７】ＣＭＯＳ方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う８画素の２次元配列の組み合わせを実現するための配線構造を示した図である。
【図１８】ＣＭＯＳ方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う８画素の２次元配列の組み合わせを実現するための配線構造を示した図である。
【図１９】ＣＭＯＳ方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う８画素の２次元配列の組み合わせを実現するための配線構造を示した図である。
【図２０】ＣＭＯＳ方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う８画素の２次元配列の組み合わせを実現するための配線構造を示した図である。
【図２１】本発明の第２の実施形態に係る撮像装置１の機能構成を模式的に示した図である。
【図２２】本発明の第２の実施形態に係る再生装置３の機能構成を模式的に示した図である。
【符号の説明】
１…撮影装置，２…記録媒体
３…再生装置，４…表示装置
１１…センサ部，１２…映像処理部
１３…映像記録部，１４…制御部
１５…操作入力部，２１…読み取り部
２２…映像処理部，２３…映像表示部
２４…制御部，２５…操作入力部
２６…差分処理部
３１…受光セル，３２…フォトダイオード
３３…リセット・ゲート，３４…フローティング・ディフュージョン
３５…読み出しゲート，３６…垂直駆動回路
３７…水平駆動回路，３８…出力アンプ
３９…リセット信号線，４０…水平信号線
４１…垂直信号線，４２…転送ゲート
４３…転送パルス信号線
１１１…センサ部，１１２…映像処理部
１１３…映像記録部，１１４…制御部
１１５…操作入力部，１１６…差分処理部

Claims (19)

1. 所定の受光期間における受光量に応じた画素信号を生成する複数の画素からなる撮像装置であって、
   受光開始タイミングが異なるが受光終了タイミングが同じになる２個の画素からなる１以上の画素グループと、
   受光開始タイミングが同じになるが受光終了タイミングが異なる２個の画素からなる１以上の画素グループと、
   を具備することを特徴とする撮像装置。
2. 前記の各画素グループは近隣の画素で構成される、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記の各画素グループ毎の画素信号の差を求める差分処理手段をさらに備える、
   ことを特徴とする請求項１に記載の撮像装置。
4. 各画素の画素信号をそのまま出力する第１の撮像モードと、前記差分処理手段による各画素グループ毎の画素信号の差分を出力する第２の撮像モードを備える、
   ことを特徴とする請求項３に記載の撮像装置。
5. 少なくともＮ個の画素グループを備え、
   前記第２の撮像モードでは、各画素グループ内における画素間の受光開始タイミング又は受光終了タイミングは前記第１の撮像モードにおけるビデオ・フレーム周期のＮ分の１だけ相違する、
   ことを特徴とする請求項４に記載の撮像装置。
6. 所定の受光期間における受光量に応じた画素信号を生成する複数の画素によって捕捉された画像情報を処理する画像処理装置であって、
   前記画像情報は、受光開始タイミングが異なるが受光終了タイミングが同じになる２個の画素からなる１以上の画素グループの画素信号と、受光開始タイミングが同じになるが受光終了タイミングが異なる２個の画素からなる１以上の画素グループの画素信号を含み、
   前記の各画素グループ毎の画素信号の差を求める差分処理手段を備える、
   ことを特徴とする画像処理装置。
7. 前記の各画素グループは近隣の画素で構成される、
   ことを特徴とする請求項６の記載の画像処理装置。
8. 前記差分処理手段による前記の各画素グループ毎の画素信号の差に基づく表示出力を行なう画像表示手段をさらに備える、
   ことを特徴とする請求項６の記載の画像処理装置。
9. 前記差分処理手段による前記の各画素グループ毎の画素信号の差を記録する画像記録手段をさらに備える、
   ことを特徴とする請求項６の記載の画像処理装置。
10. 各画素の画素信号をそのまま取り扱う第１の画像処理モードと、前記差分処理手段による各画素グループ毎の画素信号の差分を出力する第２の画像処理モードを備える、
    ことを特徴とする請求項６の記載の画像処理装置。
11. 少なくともＮ個の画素グループを備え、
    各画素グループ内における画素間の受光開始タイミング又は受光終了タイミングは前記第１の画像処理モードにおけるビデオ・フレーム周期のＮ分の１だけ相違する、
    ことを特徴とする請求項１０の記載の画像処理装置。
12. 所定の受光期間における受光量に応じた画素信号を生成する複数の画素によって捕捉された画像情報を処理する画像処理方法であって、
    前記画像情報は、受光開始タイミングが異なるが受光終了タイミングが同じになる２個の画素からなる１以上の画素グループの画素信号と、受光開始タイミングが同じになるが受光終了タイミングが異なる２個の画素からなる１以上の画素グループの画素信号を含み、
    前記の各画素グループ毎の画素信号の差を求める差分処理ステップを備える、ことを特徴とする画像処理方法。
13. 前記の各画素グループは近隣の画素で構成される、
    ことを特徴とする請求項１２の記載の画像処理方法。
14. 前記差分処理ステップによる前記の各画素グループ毎の画素信号の差に基づく表示出力を行なう画像表示ステップをさらに備える、
    ことを特徴とする請求項１２の記載の画像処理方法。
15. 前記差分処理ステップによる前記の各画素グループ毎の画素信号の差を記録する画像記録ステップをさらに備える、
    ことを特徴とする請求項１２の記載の画像処理方法。
16. 各画素の画素信号をそのまま取り扱う第１の画像処理モードと、前記差分処理ステップにおける各画素グループ毎の画素信号の差分を出力する第２の画像処理モードを備える、
    ことを特徴とする請求項１２の記載の画像処理方法。
17. 少なくともＮ個の画素グループを備え、
    各画素グループ内における画素間の受光開始タイミング又は受光終了タイミングは前記第１の画像処理モードにおけるビデオ・フレーム周期のＮ分の１だけ相違する、
    ことを特徴とする請求項１６の記載の画像処理方法。
18. 所定の受光期間における受光量に応じた画素信号を生成する複数の画素によって捕捉された画像情報の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納下記憶媒体であって、
    前記画像情報は、受光開始タイミングが異なるが受光終了タイミングが同じになる２個の画素からなる１以上の画素グループの画素信号と、受光開始タイミングが同じになるが受光終了タイミングが異なる２個の画素からなる１以上の画素グループの画素信号を含み、前記コンピュータ・ソフトウェアは、
    前記の各画素グループ毎の画素信号の差を求めるステップと、
    前記の各画素グループ毎の画素信号の差に基づく画像情報を表示又は記録するステップと、
    を具備することを特徴とする記憶媒体。
19. 所定の受光期間における受光量に応じた画素信号を生成する複数の画素によって捕捉された画像情報の処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
    前記画像情報は、受光開始タイミングが異なるが受光終了タイミングが同じになる２個の画素からなる１以上の画素グループの画素信号と、受光開始タイミングが同じになるが受光終了タイミングが異なる２個の画素からなる１以上の画素グループの画素信号を含み、
    前記の各画素グループ毎の画素信号の差を求めるステップと、
    前記の各画素グループ毎の画素信号の差に基づく画像情報を表示又は記録するステップと、
    を具備することを特徴とするコンピュータ・プログラム。

Images