JP4430840B2 - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP4430840B2
JP4430840B2 JP2001205165A JP2001205165A JP4430840B2 JP 4430840 B2 JP4430840 B2 JP 4430840B2 JP 2001205165 A JP2001205165 A JP 2001205165A JP 2001205165 A JP2001205165 A JP 2001205165A JP 4430840 B2 JP4430840 B2 JP 4430840B2
Authority
JP
Japan
Prior art keywords
signal
photoelectric conversion
reading
video
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001205165A
Other languages
Japanese (ja)
Other versions
JP2003023569A (en
Inventor
公二 三谷
正幸 菅原
文男 岡野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2001205165A priority Critical patent/JP4430840B2/en
Publication of JP2003023569A publication Critical patent/JP2003023569A/en
Application granted granted Critical
Publication of JP4430840B2 publication Critical patent/JP4430840B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、撮像装置及び撮像方法に係り、特にフレーム周波数の異なる映像を出力する撮像装置及び撮像方法に関する。
【0002】
【従来の技術】
近年、映像機器等の高性能化に伴い、映画或いはテレビジョン等の様々な映像メディアが開発されるに至った。例えば、ある映像メディアの映像は、その映像メディアに対応する独自のフォーマットで記録されている。
【0003】
ところで、映像メディアの一例としての映画では、以前からフィルムでなければ高画質が保てないと言われていた。しかし、映画機材の電子機器化が進み、フィルムカメラが主流であった映画用カメラにおいて、ハイビジョン技術をベースにした24コマ(フレーム/秒)の映画用CCDカメラが開発されるようになっている。
【0004】
したがって、テレビジョンの高画質化と映画機材の電子機器化とにより、テレビジョンと映画との垣根が低くなり、素材やコンテンツの共用化がますます活発になると予想されている。また、テレビジョン及び映画に限ることなく、映像機器等の高性能化に伴い、様々な映像メディア間で素材やコンテンツの共用化が進むと予想される。
【0005】
【発明が解決しようとする課題】
しかしながら、映像メディアに対応した独自のフォーマットで流通される映像を共用化する為には、互いのフレーム周波数の差異が大きな障害となる。例えばテレビジョンと映画とで映像の共有化を行う場合、テレビジョンのフレーム周波数が30(フレーム/秒)若しくは29.97(フレーム/秒)であり、映画のフレーム周波数が24(フレーム/秒)である。
【0006】
したがって、フレーム周波数が異なる映像メディア間で映像を共有化する為には、フレーム周波数の変換を行うフォーマット変換器等の機材が必要であった。
【0007】
このようなフォーマット変換器は、例えば数枚から数十枚のフレームメモリ及び演算装置から構成され、時間軸領域でのサブサンプリング処理又は内挿処理を行う。サブサンプリング処理は、映像のフレーム周波数を例えば30(フレーム/秒)から24(フレーム/秒)に変換するものである。また、内挿処理は、映像のフレーム周波数を例えば24(フレーム/秒)から30(フレーム/秒)に変換するものである。
【0008】
以上のように、フレーム周波数が異なる映像メディア間で映像を共有化する為には、フレーム周波数の変換を行う大規模な機材又は装置が必要になるという問題があった。
【0009】
また、フレーム周波数の変換には時間が必要であり、リアルタイムにフレーム周波数が異なる1つ以上の映像を得ることは非常に困難であるという問題があった。
【0010】
本発明は、上記の点に鑑みなされたもので、フレーム周波数が異なる映像メディアに共用できる映像を撮影することができ、フレーム周波数の異なる1つ以上の映像を簡易に出力することが可能な撮像装置及び撮像方法を提供することを目的とする。
【0011】
【課題を解決するための手段】
そこで、上記課題を解決するため、本発明は、被写体に応じた映像信号を出力する撮像装置において、単位画素毎の光電変換信号を蓄積し、蓄積した光電変化信号を蓄積時間が異なる1つ以上の映像信号として出力する撮像素子と、蓄積時間が異なる1つ以上の映像信号からフレーム周波数の異なる1つ以上の映像信号を生成して出力する信号処理部とを備え、前記撮像素子は1つ以上の単位画素回路で構成され、前記単位画素回路が、光電変換手段,前記光電変換手段から光電変換信号を読み出す第1の読み出し手段,前記光電変換手段をリセットするリセット手段,光電変換手段から読み出した光電変換信号を蓄積する蓄積手段,前記蓄積手段に蓄積した光電変換信号を読み出す第2の読み出し手段を備え、前記第1の読み出し手段は前記光電変換手段をリセットする周期で前記光電変換信号を読み出し、前記第2の読み出し手段は前記光電変換手段をリセットする周期より長い周期で前記光電変換信号を読み出すように、前記第1の読み出し手段及び第2の読み出し手段を制御して蓄積時間が異なる1つ以上の映像信号を出力することを特徴とする。
【0018】
このような撮像装置では、蓄積時間が異なる1つ以上の映像信号からフレーム周波数の異なる1つ以上の映像信号を生成して出力する。したがって、フレーム周波数が異なる映像メディアに共用できる映像を撮影することができ、フレーム周波数の異なる1つ以上の映像を簡易に出力することが可能である。
【0019】
【発明の実施の形態】
次に、本発明の実施の形態について図面に基づいて説明する。
【0020】
図1は、本発明の撮像装置の第1実施例の構成図を示す。図1の撮像装置1は、撮像部10,信号処理部20を備えるように構成される。撮像部10は被写体の光学像を電気信号に変換し、変換した電気信号を映像信号として出力する。また、信号処理部20は、撮像部10から供給される映像信号をフレーム周波数の異なる複数の映像信号に変換して出力する。例えば図1の信号処理部20は、A(フレーム/秒)の映像信号1及びB(フレーム/秒)の映像信号2を出力している。
【0021】
撮像部10は信号処理部20から出力される映像信号1及び映像信号2のフレーム周波数の最小公倍数となるフレーム周波数の映像信号を出力する。例えば撮像部10から出力される映像信号のフレーム周波数をL(フレーム/秒)とすると、撮像部10から出力される映像信号のフレーム周波数L(フレーム/秒),信号処理部20から出力される映像信号1のフレーム周波数A(フレーム/秒)及び映像信号2のフレーム周波数B(フレーム/秒)は以下の式(1)〜式(3)の関係を有している。
【0022】
L=A′×B′×G・・・・・(1)
A=A′×G・・・・・(2)
B=B′×G・・・・・(3)
なお、GはA及びBの最大公約数である。上記の式(1)〜式(3)の関係を有していれば、信号処理部20は図2のように映像信号をフレーム単位で処理すればよく、装置構成を単純化できる。
【0023】
図2は、信号処理部での処理を説明する一例の図を示す。なお、図2は、A=3,B=2及びG=1の場合について表している。信号処理部20からA(フレーム/秒)の映像信号1及びB(フレーム/秒)の映像信号2を出力する場合、式(1)〜式(3)とに基づき、撮像部10から図2(A)のような6(フレーム/秒)の映像信号を出力する。
【0024】
信号処理部20は図2(A)のような映像信号を2フレーム単位で加算し、加算した結果から1フレームを生成することにより、図2(B)のような3(フレーム/秒)の出力映像1を出力する。また、信号処理部20は図2(A)のような映像信号を3フレーム単位で積分し、積分した結果から1フレームを生成することにより、図2(C)のような2(フレーム/秒)の出力映像2を出力する。
【0025】
図3は、信号処理部の一実施例の構成図を示す。図3の信号処理部20は、フレーム遅延器21〜23と、加算器24,25と、スイッチ26,27とを備えるように構成される。
【0026】
撮像部10から出力される映像信号は、フレーム遅延器21,22と加算器24,25とに供給される。フレーム遅延器21は、撮像部10から出力された映像信号を1フレーム期間遅延させて加算器24に出力する。また、フレーム遅延器22は、撮像部10から出力された映像信号を1フレーム期間遅延させて加算器25及びフレーム遅延器23に出力する。フレーム遅延器23は、フレーム遅延器22から出力された映像信号を1フレーム期間遅延させて加算器25に出力する。
【0027】
加算器24は、撮像部10から出力された映像信号と、フレーム遅延器21から出力された映像信号とを加算し、加算した映像信号をスイッチ26を介して出力映像信号1として出力する。スイッチ26はサブサンプリング処理を行うものであり、例えば図2の場合、偶数フレームを選択して出力することにより2フレーム毎の出力映像信号1を出力することができる。
【0028】
また、加算器25は、撮像部10から出力された映像信号と、フレーム遅延器22から出力された映像信号と、フレーム遅延器23から出力された映像信号とを加算し、加算した映像信号をスイッチ27を介して出力映像信号2として出力する。スイッチ27はサブサンプリング処理を行うものであり、例えば図2の場合、3の倍数のフレームを選択して出力することにより3フレーム毎の出力映像信号2を出力することができる。
【0029】
図4は、信号処理部でのフィルタリング処理の一例について説明する図を示す。例えば信号処理部20に時間方向のフィルタリング機能を持たせる場合、図3と同様なフレーム遅延器21〜23を複数段設置することにより実現できる。
【0030】
図4は、7タップの場合について表している。また、図4のk11〜k37はフィルタリング係数を表している。例えば図4(A)のような映像を7フレーム単位で加算するときのフィルタ係数k11〜k17を変更することで時間軸フィルタ特性を可変することができる。
【0031】
このように信号処理部20に時間軸フィルタ特性を持たせ、その時間軸フィルタ特性を可変することにより、フレーム周波数の低い映像の動き解像度及び動きの滑らかさを可変することができ、フレーム周波数に応じて最適な映像を再生することができる。
【0032】
図5は、本発明の撮像装置の第2実施例の構成図を示す。図5の撮像装置2は、撮像素子30,信号処理部40を備えるように構成される。撮像素子30は被写体の光学像を電気信号に変換し、変換した電気信号を映像信号として出力端子31及び32から出力する。
【0033】
信号処理部40は撮像素子30の出力端子31及び32から供給される映像信号(信号1,信号2)をフレーム周波数の異なる複数の映像信号(出力映像信号1,出力映像信号2)に変換して出力する。例えば信号処理部40は、減算器41と、フレーム遅延器42,43と、スイッチ44と、加算器45と、フレームメモリ46とを備えるように構成される。
【0034】
撮像素子30の出力端子31から供給される映像信号(信号1)は、出力映像信号1として出力されると共に、減算器41に供給される。また、撮像素子30の出力端子32から供給される映像信号(信号2)は減算器41及び加算器45に供給される。
【0035】
減算器41は出力端子31及び32から供給される映像信号の差分を算出し、算出した差分信号をフレーム遅延器42に出力する。フレーム遅延器42は減算器41から供給された差分信号を1フレーム期間遅延させてフレーム遅延器43及び加算器45に出力する。
【0036】
また、フレーム遅延器43はフレーム遅延器42から供給された差分信号(信号3)を1フレーム期間遅延させ、1フレーム期間遅延させた差分信号をスイッチ44に出力する。スイッチ44は制御信号SW1に応じて開閉制御され、例えば制御信号SW1がHレベルのときにグランド(GND)レベルを選択し、制御信号SW1がLレベルのときにフレーム遅延器43の出力を選択する。スイッチ44は、フレーム遅延器43から供給された差分信号を制御信号SW1に応じた信号(信号4)に変換して出力する。
【0037】
加算器45は出力端子32から出力された映像信号(信号2)と、フレーム遅延器42から出力された差分信号(信号3)と、スイッチ44から出力された信号(信号4)とを加算し、加算信号をフレームメモリ46に出力する。フレームメモリ46は制御信号Wに応じて書き込みタイミングが制御されており、制御信号Wに応じて加算器45から出力された加算信号を書き込む。フレームメモリ46に書き込まれた加算信号は、出力映像信号2として出力される。
【0038】
図6は、撮像素子の一実施例の構成図を示す。撮像素子30は単位画素35が格子状に配置されている。夫々の単位画素35は、読み出しパルス線36a,36b及びリセットパルス線37を介して垂直走査回路33に接続されると共に、信号読み出しパルス線38a,38bを介して水平走査回路34a及び34bに接続されている。夫々の単位画素35は、非破壊読み出しが可能なX−Yアドレス構造となっている。
【0039】
単位画素35は、水平走査回路34a及び34bを有することで、単位画素35から異なる2つの信号1,2を読み出すことができる。単位画素35から読み出された異なる2つの信号1,2は、一方の信号1が信号読み出し線38a及びアンプ39aを介して出力端子31から出力され、他方の信号2が読み出し線38b及びアンプ39bを介して出力端子32から出力される。
【0040】
図7は、単位画素の一例の構成図を示す。単位画素35は、トランジスタTr.1〜Tr.7と、フォトダイオードPDと、非破壊読み出し信号をホールドする容量Cと、読み出しパルス線36a,36bと、リセットパルス線37と、信号読み出し線38a,38bとを備えるように構成される。
【0041】
トランジスタTr.1は、フォトダイオードPDに蓄積された光電変換信号を増幅して信号読み出し線38aに出力する。トランジスタTr.2はゲート端子が読み出しパルス線36bに接続されており、読み出しパルス線36bから供給される読み出しパルス2に応じてトランジスタTr.1の動作をオン/オフ制御する。
【0042】
トランジスタTr.3はゲート端子がリセットパルス線37に接続されており、フォトダイオードPDに蓄積された電荷をリセットする。トランジスタTr.4はフォトダイオードPDに蓄積された光電変換信号を読み出し、読み出した光電変換信号を容量Cに蓄積する。なお、トランジスタTr.4はフォトダイオードPDから非破壊読み出しを行っている。
【0043】
トランジスタTr.5はゲート端子が読み出しパルス線36aに接続されており、読み出しパルス線36aから供給される読み出しパルス1に応じてトランジスタTr.4の動作をオン/オフ制御する。トランジスタTr.6は容量Cに蓄積された信号を増幅して信号読み出し線38bに出力する。トランジスタTr.7は、ゲート端子が読み出しパルス線36bに接続されており、トランジスタTr.6の信号読み出しタイミングを読み出しパルス線36bから供給される読み出しパルス2で制御している。
【0044】
図8は、本発明による撮像素子の一例のタイミング図を示す。撮像装置2から出力される出力映像信号1,出力映像信号2のフレーム周波数をFv1,Fv2(Fv1>Fv2)とすると、蓄積時間がTv1,Tv2(Tv1<Tv2)となる出力映像信号を得る必要がある。
【0045】
図8(D)のような蓄積時間Tv1の出力映像信号1を得る為に、各単位画素35のフォトダイオードPDをリセットするリセットパルスの周期を図8(E)のようにTv1とする。すると、出力映像信号2に必要な蓄積時間Tv2は、図8(C)のように図8(E)のリセットパルスより長い期間(例えば、▲1▼+▲2▼)となる。
【0046】
期間▲1▼の光電変換信号は図8(G)に応じて出力端子1より出力されている。そこで、期間▲2▼の光電変換信号を得る為に、図8(E)のリセットパルスが出力されてから期間▲2▼が経過した後に図8(F)の読み出しパルス1をHレベルとする。
【0047】
図8(E)のリセットパルスが出力されてから期間▲2▼が経過した後に図8(F)の読み出しパルス1をHレベルとすることで、期間▲2▼の光電変換信号が容量Cに蓄積される。フォトダイオードPD及び容量Cに蓄積された信号は、図8(G)のような読み出しパルス2に応じてTv1の周期で読み出され、撮像素子30の出力端子31,32から出力される。
【0048】
以後のフレームについても同様に考えることができる。図8(F)のような読み出しパルス1をTv2の周期でHレベルにすることで、リセットパルスの周期Tv1で動作するフォトダイオードPDから蓄積時間Tv2の信号を得る為に必要な中間(例えば、期間▲2▼,▲5▼,▲7▼等)の光電変換信号を出力端子32から得ることが可能である。
【0049】
図9は、本発明による信号処理部の一例のタイミング図を示す。図9(A)の信号1は、出力端子31から出力される信号である。図9(D)の信号2は、出力端子32から出力される信号である。図9(F)の信号3は、信号1と信号2との差分信号が1フレーム期間(Tv1)遅延された信号である。図9(H)の信号4は、信号3が1フレーム期間(Tv1)遅延され、1フレーム期間(Tv1)遅延された信号が制御信号SW1で制御されるスイッチ44を介して出力された信号である。
【0050】
出力映像信号1は、図9(A)の信号1がそのまま出力されたものである。一方、出力映像信号2は、信号2と信号3と信号4とを加算し、加算した信号を制御信号Wに応じてフレームメモリ46に書き込み、書き込んだ信号をフレーム期間Tv2で出力したものである。
【0051】
図9(J)のように、出力映像信号2の第1′フレームは、第2フレームの期間に出力端子32から出力される蓄積期間▲2▼の信号2と第2フレームの期間にフレーム遅延器42から出力される蓄積時間▲1▼の信号3とを加算し、加算した蓄積時間(▲1▼+▲2▼)の信号をフレームメモリ46に書き込み、書き込んだ信号を時間軸変換して読み出すことにより生成される。
【0052】
出力映像信号2の第2′フィールドは、蓄積時間▲5▼の信号2と、蓄積時間▲4▼の信号3と、蓄積時間▲3▼の信号4とを加算し、加算した蓄積時間(▲3▼+▲4▼+▲5▼)の信号をフレームメモリ46に書き込み、書き込んだ信号を第1′フレームに続いて読み出すことにより生成される。
【0053】
このように、信号処理部40は、撮像素子30の出力端子31及び32から供給される映像信号(信号1,信号2)をフレーム周波数の異なる複数の映像信号(出力映像信号1,出力映像信号2)に変換して出力することができる。
【0054】
なお、本実施例では、フレーム期間Tv1<Tv2<(Tv1×2)の例について説明したが、同様な考え方により撮像素子30の出力端子31及び32から供給される映像信号(信号1,信号2)を様々なフレーム期間の出力映像信号2に変換して出力することが可能である。
【0055】
【発明の効果】
上述の如く、本発明によれば、フレーム周波数が異なる映像メディアに共用できる映像を撮影することができ、フレーム周波数の異なる1つ以上の映像を簡易且つリアルタイムに出力することが可能である。
【0056】
また、本発明によれば、フレーム周波数の低い映像の動き解像度及び動きの滑らかさを可変することができ、フレーム周波数に応じて最適な映像を再生することができる。
【0057】
また、本発明によれば、映像信号をフレーム単位で処理すればよく、装置構成を単純化できる。例えば第1フレーム周波数を120Hz,第2フレーム周波数を30,第3フレーム周波数を24とすることにより、テレビジョン用の映像と映画用の映像とを同時に出力することができる。
【0058】
【図面の簡単な説明】
【図1】本発明の撮像装置の第1実施例の構成図である。
【図2】信号処理部での処理を説明する一例の図である。
【図3】信号処理部の一実施例の構成図である。
【図4】信号処理部でのフィルタリング処理の一例について説明する図である。
【図5】本発明の撮像装置の第2実施例の構成図である。
【図6】撮像素子の一実施例の構成図である。
【図7】単位画素の一例の構成図である。
【図8】本発明による撮像素子の一例のタイミング図である。
【図9】本発明による信号処理部の一例のタイミング図である。
【符号の説明】
1 撮像装置
10 撮像部
20,40 信号処理部
21,22,23,42,43 フレーム遅延器
24,25,45 加算器
26,27,44 スイッチ
30 撮像素子
31,32 出力端子
33 垂直走査回路
34a,34b 水平走査回路
35 単位画素
41 減算器
46 フレームメモリ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus and an imaging method, and more particularly to an imaging apparatus and an imaging method that output videos having different frame frequencies.
[0002]
[Prior art]
In recent years, various video media such as movies and televisions have been developed along with improvement in performance of video equipment and the like. For example, a video of a certain video media is recorded in a unique format corresponding to the video media.
[0003]
By the way, in a movie as an example of video media, it has been said that high image quality cannot be maintained unless it is a film. However, with the progress of electronic equipment for movie equipment, film cameras with 24 frames (frames / seconds) based on high-definition technology are being developed for movie cameras, where film cameras were the mainstream. .
[0004]
Therefore, it is expected that the barrier between the television and the movie will be lowered and the sharing of materials and contents will become more and more active as the image quality of the television and the electronic equipment of the movie equipment are reduced. Moreover, it is expected that sharing of materials and contents will be advanced among various video media as video equipment and the like become more sophisticated, not limited to television and movies.
[0005]
[Problems to be solved by the invention]
However, in order to share the video distributed in a unique format corresponding to the video media, the difference in the frame frequency of each other is a major obstacle. For example, when video is shared between a television and a movie, the television frame frequency is 30 (frames / second) or 29.97 (frames / second), and the movie frame frequency is 24 (frames / second). It is.
[0006]
Therefore, in order to share video between video media having different frame frequencies, equipment such as a format converter for converting the frame frequency is required.
[0007]
Such a format converter is composed of, for example, several to several tens of frame memories and arithmetic devices, and performs sub-sampling processing or interpolation processing in the time axis region. In the sub-sampling process, the frame frequency of the video is converted from, for example, 30 (frame / second) to 24 (frame / second). Further, the interpolation processing is to convert the frame frequency of the video from, for example, 24 (frame / second) to 30 (frame / second).
[0008]
As described above, in order to share a video between video media having different frame frequencies, there is a problem that a large-scale equipment or device for converting the frame frequency is required.
[0009]
In addition, it takes time to convert the frame frequency, and it is very difficult to obtain one or more videos having different frame frequencies in real time.
[0010]
The present invention has been made in view of the above points, and can capture an image that can be shared by video media having different frame frequencies, and can easily output one or more videos having different frame frequencies. An object is to provide an apparatus and an imaging method.
[0011]
[Means for Solving the Problems]
Therefore, in order to solve the above-described problem, the present invention provides an image pickup apparatus that outputs a video signal corresponding to a subject, accumulates photoelectric conversion signals for each unit pixel, and stores one or more accumulated photoelectric change signals with different accumulation times. And a signal processing unit that generates and outputs one or more video signals having different frame frequencies from one or more video signals having different accumulation times, and includes one image sensor. The unit pixel circuit includes the above-described unit pixel circuit, and the unit pixel circuit reads from the photoelectric conversion unit, the first reading unit that reads out the photoelectric conversion signal from the photoelectric conversion unit, the reset unit that resets the photoelectric conversion unit, and the photoelectric conversion unit. Storage means for storing the photoelectric conversion signal, and second reading means for reading the photoelectric conversion signal stored in the storage means, wherein the first reading means The first reading unit and the second reading unit read the photoelectric conversion signal at a cycle longer than the cycle of resetting the photoelectric conversion unit, and read the photoelectric conversion signal at a cycle of resetting the photoelectric conversion unit. second reading means controlled by accumulating time and wherein also be output from the different one or more video signals.
[0018]
In such an imaging apparatus, one or more video signals having different frame frequencies are generated and output from one or more video signals having different accumulation times. Therefore, it is possible to capture a video that can be shared by video media having different frame frequencies, and it is possible to easily output one or more videos having different frame frequencies.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0020]
FIG. 1 is a configuration diagram of a first embodiment of an imaging apparatus according to the present invention. The imaging apparatus 1 in FIG. 1 is configured to include an imaging unit 10 and a signal processing unit 20. The imaging unit 10 converts the optical image of the subject into an electrical signal, and outputs the converted electrical signal as a video signal. The signal processing unit 20 converts the video signal supplied from the imaging unit 10 into a plurality of video signals having different frame frequencies and outputs the video signals. For example, the signal processing unit 20 in FIG. 1 outputs an A (frame / second) video signal 1 and a B (frame / second) video signal 2.
[0021]
The imaging unit 10 outputs a video signal having a frame frequency that is the least common multiple of the frame frequencies of the video signal 1 and the video signal 2 output from the signal processing unit 20. For example, if the frame frequency of the video signal output from the imaging unit 10 is L (frame / second), the frame frequency L (frame / second) of the video signal output from the imaging unit 10 is output from the signal processing unit 20. The frame frequency A (frame / second) of the video signal 1 and the frame frequency B (frame / second) of the video signal 2 have the relationship of the following formulas (1) to (3).
[0022]
L = A ′ × B ′ × G (1)
A = A 'x G (2)
B = B 'x G (3)
G is the greatest common divisor of A and B. If the relations of the above formulas (1) to (3) are satisfied, the signal processing unit 20 may process the video signal in units of frames as shown in FIG. 2, and the apparatus configuration can be simplified.
[0023]
FIG. 2 is a diagram illustrating an example of processing performed by the signal processing unit. FIG. 2 shows the case where A = 3, B = 2, and G = 1. When the video signal 1 of A (frame / second) and the video signal 2 of B (frame / second) are output from the signal processing unit 20, the imaging unit 10 performs the processing shown in FIG. 2 based on the equations (1) to (3). A video signal of 6 (frame / second) as shown in (A) is output.
[0024]
The signal processing unit 20 adds the video signals as shown in FIG. 2A in units of two frames, and generates one frame from the addition result, thereby generating 3 frames / second as shown in FIG. Output video 1 is output. Further, the signal processing unit 20 integrates the video signal as shown in FIG. 2A in units of 3 frames, and generates one frame from the result of the integration, thereby generating 2 (frame / second) as shown in FIG. ) Output video 2 is output.
[0025]
FIG. 3 shows a configuration diagram of an embodiment of the signal processing unit. The signal processing unit 20 of FIG. 3 is configured to include frame delay devices 21 to 23, adders 24 and 25, and switches 26 and 27.
[0026]
The video signal output from the imaging unit 10 is supplied to the frame delay units 21 and 22 and the adders 24 and 25. The frame delay unit 21 delays the video signal output from the imaging unit 10 by one frame period and outputs it to the adder 24. The frame delay unit 22 delays the video signal output from the imaging unit 10 by one frame period and outputs the delayed video signal to the adder 25 and the frame delay unit 23. The frame delay unit 23 delays the video signal output from the frame delay unit 22 by one frame period and outputs it to the adder 25.
[0027]
The adder 24 adds the video signal output from the imaging unit 10 and the video signal output from the frame delay unit 21, and outputs the added video signal as the output video signal 1 via the switch 26. The switch 26 performs a sub-sampling process. For example, in the case of FIG. 2, the output video signal 1 can be output every two frames by selecting and outputting even frames.
[0028]
The adder 25 adds the video signal output from the imaging unit 10, the video signal output from the frame delay unit 22, and the video signal output from the frame delay unit 23, and adds the added video signal. The output video signal 2 is output via the switch 27. The switch 27 performs sub-sampling processing. For example, in the case of FIG. 2, the output video signal 2 can be output every three frames by selecting and outputting a frame that is a multiple of three.
[0029]
FIG. 4 is a diagram illustrating an example of filtering processing in the signal processing unit. For example, when the signal processing unit 20 is provided with a filtering function in the time direction, it can be realized by installing a plurality of frame delay devices 21 to 23 similar to those in FIG.
[0030]
FIG. 4 shows the case of 7 taps. Also, k11 to k37 in FIG. 4 represent filtering coefficients. For example, the time axis filter characteristics can be varied by changing the filter coefficients k11 to k17 when the video as shown in FIG. 4A is added in units of 7 frames.
[0031]
As described above, the signal processing unit 20 is provided with a time axis filter characteristic, and by changing the time axis filter characteristic, it is possible to change the motion resolution and the smoothness of the motion of the video having a low frame frequency. The optimum video can be reproduced accordingly.
[0032]
FIG. 5 shows a block diagram of a second embodiment of the imaging apparatus of the present invention. The imaging device 2 in FIG. 5 is configured to include an imaging element 30 and a signal processing unit 40. The image sensor 30 converts an optical image of a subject into an electric signal, and outputs the converted electric signal from the output terminals 31 and 32 as a video signal.
[0033]
The signal processing unit 40 converts the video signals (signal 1 and signal 2) supplied from the output terminals 31 and 32 of the image sensor 30 into a plurality of video signals (output video signal 1 and output video signal 2) having different frame frequencies. Output. For example, the signal processing unit 40 is configured to include a subtracter 41, frame delay units 42 and 43, a switch 44, an adder 45, and a frame memory 46.
[0034]
The video signal (signal 1) supplied from the output terminal 31 of the image sensor 30 is output as the output video signal 1 and also supplied to the subtractor 41. The video signal (signal 2) supplied from the output terminal 32 of the image sensor 30 is supplied to the subtracter 41 and the adder 45.
[0035]
The subtractor 41 calculates the difference between the video signals supplied from the output terminals 31 and 32 and outputs the calculated difference signal to the frame delay unit 42. The frame delay unit 42 delays the difference signal supplied from the subtracter 41 by one frame period and outputs the delayed signal to the frame delay unit 43 and the adder 45.
[0036]
The frame delay unit 43 delays the differential signal (signal 3) supplied from the frame delay unit 42 by one frame period and outputs the differential signal delayed by one frame period to the switch 44. The switch 44 is open / close controlled in accordance with the control signal SW1, for example, selects the ground (GND) level when the control signal SW1 is at H level, and selects the output of the frame delay device 43 when the control signal SW1 is at L level. . The switch 44 converts the differential signal supplied from the frame delay unit 43 into a signal (signal 4) corresponding to the control signal SW1 and outputs the signal.
[0037]
The adder 45 adds the video signal (signal 2) output from the output terminal 32, the difference signal (signal 3) output from the frame delay device 42, and the signal (signal 4) output from the switch 44. The addition signal is output to the frame memory 46. The frame memory 46 has a write timing controlled according to the control signal W, and writes the addition signal output from the adder 45 according to the control signal W. The addition signal written in the frame memory 46 is output as the output video signal 2.
[0038]
FIG. 6 shows a configuration diagram of an embodiment of the image sensor. In the image sensor 30, unit pixels 35 are arranged in a grid pattern. Each unit pixel 35 is connected to the vertical scanning circuit 33 through readout pulse lines 36a and 36b and a reset pulse line 37, and is connected to horizontal scanning circuits 34a and 34b through signal readout pulse lines 38a and 38b. ing. Each unit pixel 35 has an XY address structure capable of nondestructive reading.
[0039]
Since the unit pixel 35 includes the horizontal scanning circuits 34 a and 34 b, two different signals 1 and 2 can be read from the unit pixel 35. Of the two different signals 1 and 2 read out from the unit pixel 35, one signal 1 is outputted from the output terminal 31 via the signal readout line 38a and the amplifier 39a, and the other signal 2 is outputted from the readout line 38b and the amplifier 39b. From the output terminal 32.
[0040]
FIG. 7 shows a configuration diagram of an example of a unit pixel. The unit pixel 35 includes a transistor Tr. 1-Tr. 7, a photodiode PD, a capacitor C that holds a nondestructive read signal, read pulse lines 36 a and 36 b, a reset pulse line 37, and signal read lines 38 a and 38 b.
[0041]
Transistor Tr. 1 amplifies the photoelectric conversion signal accumulated in the photodiode PD and outputs it to the signal readout line 38a. Transistor Tr. 2 has a gate terminal connected to the readout pulse line 36b, and in accordance with the readout pulse 2 supplied from the readout pulse line 36b, the transistor Tr. The operation of 1 is turned on / off.
[0042]
Transistor Tr. 3 has a gate terminal connected to the reset pulse line 37 and resets the charge accumulated in the photodiode PD. Transistor Tr. 4 reads the photoelectric conversion signal accumulated in the photodiode PD, and accumulates the read photoelectric conversion signal in the capacitor C. Note that the transistor Tr. 4 performs nondestructive reading from the photodiode PD.
[0043]
Transistor Tr. 5 has a gate terminal connected to the readout pulse line 36a, and in accordance with the readout pulse 1 supplied from the readout pulse line 36a, the transistor Tr. 4 is turned on / off. Transistor Tr. 6 amplifies the signal accumulated in the capacitor C and outputs it to the signal readout line 38b. Transistor Tr. 7 has a gate terminal connected to the read pulse line 36b and a transistor Tr. 6 is controlled by the read pulse 2 supplied from the read pulse line 36b.
[0044]
FIG. 8 shows a timing diagram of an example of an image sensor according to the present invention. When the frame frequency of the output video signal 1 and output video signal 2 output from the imaging device 2 is Fv1, Fv2 (Fv1> Fv2), it is necessary to obtain an output video signal whose accumulation time is Tv1, Tv2 (Tv1 <Tv2). There is.
[0045]
In order to obtain the output video signal 1 having the accumulation time Tv1 as shown in FIG. 8D, the period of the reset pulse for resetting the photodiode PD of each unit pixel 35 is Tv1 as shown in FIG. Then, the accumulation time Tv2 required for the output video signal 2 becomes a period (for example, (1) + (2)) longer than the reset pulse of FIG. 8E as shown in FIG. 8C.
[0046]
The photoelectric conversion signal in the period (1) is output from the output terminal 1 in accordance with FIG. Therefore, in order to obtain the photoelectric conversion signal of period (2), the read pulse 1 of FIG. 8 (F) is set to the H level after the period (2) has elapsed after the reset pulse of FIG. 8 (E) is output. .
[0047]
After the period {circle around (2)} has passed since the reset pulse of FIG. 8 (E) is output, the readout pulse 1 of FIG. 8 (F) is set to the H level, so that the photoelectric conversion signal of the period {circle around (2)} is transferred to the capacitor C. Accumulated. The signals accumulated in the photodiode PD and the capacitor C are read at a cycle of Tv1 in accordance with the read pulse 2 as shown in FIG. 8G and are output from the output terminals 31 and 32 of the image sensor 30.
[0048]
The same can be considered for the subsequent frames. By setting the readout pulse 1 as shown in FIG. 8F to the H level in the cycle of Tv2, an intermediate (eg, for example) necessary to obtain a signal of the accumulation time Tv2 from the photodiode PD operating in the cycle Tv1 of the reset pulse (for example, It is possible to obtain from the output terminal 32 photoelectric conversion signals of periods (2), (5), (7), etc.
[0049]
FIG. 9 shows a timing diagram of an example of a signal processing unit according to the present invention. Signal 1 in FIG. 9A is a signal output from the output terminal 31. Signal 2 in FIG. 9D is a signal output from the output terminal 32. The signal 3 in FIG. 9F is a signal obtained by delaying the difference signal between the signal 1 and the signal 2 by one frame period (Tv1). The signal 4 in FIG. 9H is a signal output via the switch 44 in which the signal 3 is delayed by one frame period (Tv1) and the signal delayed by one frame period (Tv1) is controlled by the control signal SW1. is there.
[0050]
The output video signal 1 is obtained by outputting the signal 1 in FIG. 9A as it is. On the other hand, the output video signal 2 is obtained by adding the signal 2, the signal 3 and the signal 4, writing the added signal in the frame memory 46 according to the control signal W, and outputting the written signal in the frame period Tv2. .
[0051]
As shown in FIG. 9J, the first frame of the output video signal 2 has a frame delay in the period of the second frame and the signal 2 of the accumulation period {circle around (2)} output from the output terminal 32 in the period of the second frame. The signal 3 of the storage time {circle over (1)} outputted from the device 42 is added, the signal of the added storage time ({circle around (1) + {2})) is written to the frame memory 46, and the written signal is time-axis converted. Generated by reading.
[0052]
The second 2 'field of the output video signal 2 is obtained by adding the signal 2 of the accumulation time (5), the signal 3 of the accumulation time (4), and the signal 4 of the accumulation time (3), and adding the accumulated accumulation time (▲ 3) + (4) + (5)) is written in the frame memory 46, and the written signal is read out following the first 'frame.
[0053]
Thus, the signal processing unit 40 converts the video signals (signal 1 and signal 2) supplied from the output terminals 31 and 32 of the image sensor 30 into a plurality of video signals (output video signal 1 and output video signal having different frame frequencies). It can be converted into 2) and output.
[0054]
In the present embodiment, the example of the frame period Tv1 <Tv2 <(Tv1 × 2) has been described. However, the video signals (signals 1 and 2) supplied from the output terminals 31 and 32 of the image sensor 30 are similarly considered. ) Can be converted into an output video signal 2 of various frame periods and output.
[0055]
【The invention's effect】
As described above, according to the present invention, a video that can be shared by video media having different frame frequencies can be taken, and one or more videos having different frame frequencies can be output easily and in real time.
[0056]
Further, according to the present invention, the motion resolution and smoothness of motion of a video with a low frame frequency can be varied, and an optimal video can be reproduced according to the frame frequency.
[0057]
In addition, according to the present invention, the video signal may be processed in units of frames, and the apparatus configuration can be simplified. For example, by setting the first frame frequency to 120 Hz, the second frame frequency to 30, and the third frame frequency to 24, it is possible to output a television image and a movie image simultaneously.
[0058]
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a first embodiment of an imaging apparatus according to the present invention.
FIG. 2 is a diagram illustrating an example of processing in a signal processing unit.
FIG. 3 is a configuration diagram of an embodiment of a signal processing unit.
FIG. 4 is a diagram for explaining an example of filtering processing in a signal processing unit.
FIG. 5 is a configuration diagram of a second embodiment of the imaging apparatus according to the present invention.
FIG. 6 is a configuration diagram of an embodiment of an image sensor.
FIG. 7 is a configuration diagram of an example of a unit pixel.
FIG. 8 is a timing chart of an example of an image sensor according to the present invention.
FIG. 9 is a timing diagram of an example of a signal processing unit according to the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image pick-up device 10 Image pick-up part 20, 40 Signal processing part 21, 22, 23, 42, 43 Frame delay device 24, 25, 45 Adder 26, 27, 44 Switch 30 Image pick-up element 31, 32 Output terminal 33 Vertical scanning circuit 34a , 34b Horizontal scanning circuit 35 Unit pixel 41 Subtractor 46 Frame memory

Claims (2)

被写体に応じた映像信号を出力する撮像装置において、
単位画素毎の光電変換信号を蓄積し、蓄積した光電変化信号を蓄積時間が異なる1つ以上の映像信号として出力する撮像素子と、
蓄積時間が異なる1つ以上の映像信号からフレーム周波数の異なる1つ以上の映像信号を生成して出力する信号処理部と
を備え、
前記撮像素子は1つ以上の単位画素回路で構成され、
前記単位画素回路が、光電変換手段,前記光電変換手段から光電変換信号を読み出す第1の読み出し手段,前記光電変換手段をリセットするリセット手段,光電変換手段から読み出した光電変換信号を蓄積する蓄積手段,前記蓄積手段に蓄積した光電変換信号を読み出す第2の読み出し手段を備え、
前記第1の読み出し手段は前記光電変換手段をリセットする周期で前記光電変換信号を読み出し、前記第2の読み出し手段は前記光電変換手段をリセットする周期より長い周期で前記光電変換信号を読み出すように、前記第1の読み出し手段及び第2の読み出し手段を制御して蓄積時間が異なる1つ以上の映像信号を出力することを特徴とする撮像装置。
In an imaging device that outputs a video signal corresponding to a subject,
An image sensor that accumulates photoelectric conversion signals for each unit pixel and outputs the accumulated photoelectric change signals as one or more video signals having different accumulation times;
A signal processing unit that generates and outputs one or more video signals having different frame frequencies from one or more video signals having different accumulation times;
The image sensor is composed of one or more unit pixel circuits,
The unit pixel circuit is a photoelectric conversion means, a first reading means for reading a photoelectric conversion signal from the photoelectric conversion means, a reset means for resetting the photoelectric conversion means, and a storage means for accumulating the photoelectric conversion signals read from the photoelectric conversion means. , Comprising a second readout means for reading out the photoelectric conversion signal accumulated in the accumulation means,
The first reading unit reads the photoelectric conversion signal at a cycle for resetting the photoelectric conversion unit, and the second reading unit reads the photoelectric conversion signal at a cycle longer than the cycle for resetting the photoelectric conversion unit. the imaging apparatus characterized by said first reading means and storage time and controls the second reading means outputs a different one or more video signals.
被写体に応じた映像信号を出力する撮像方法において、
撮像素子が単位画素毎の光電変換信号を蓄積し、蓄積した光電変化信号を蓄積時間が異なる1つ以上の映像信号として出力する第1の段階と、
信号処理部が蓄積時間が異なる1つ以上の映像信号からフレーム周波数の異なる1つ以上の映像信号を生成して出力する第2の段階と
を備え、
前記第1の段階は、前記撮像素子を構成する1つ以上の単位画素回路が備える光電変換手段,前記光電変換手段から光電変換信号を読み出す第1の読み出し手段,前記光電変換手段をリセットするリセット手段,光電変換手段から読み出した光電変換信号を蓄積する蓄積手段,前記蓄積手段に蓄積した光電変換信号を読み出す第2の読み出し手段のうち、前記第1の読み出し手段及び第2の読み出し手段を、前記第1の読み出し手段は前記光電変換手段をリセットする周期で前記光電変換信号を読み出し、前記第2の読み出し手段は前記光電変換手段をリセットする周期より長い周期で前記光電変換信号を読み出すように制御して蓄積時間が異なる1つ以上の映像信号を出力することを特徴とする撮像方法。
In an imaging method for outputting a video signal corresponding to a subject,
A first stage in which the image sensor accumulates a photoelectric conversion signal for each unit pixel, and outputs the accumulated photoelectric change signal as one or more video signals having different accumulation times;
A second stage in which the signal processing unit generates and outputs one or more video signals having different frame frequencies from one or more video signals having different accumulation times;
The first stage includes a photoelectric conversion means provided in one or more unit pixel circuits constituting the image sensor, a first reading means for reading a photoelectric conversion signal from the photoelectric conversion means, and a reset for resetting the photoelectric conversion means. Among the first reading means and the second reading means, the second reading means for reading the photoelectric conversion signals accumulated in the accumulating means, and the second reading means for reading the photoelectric conversion signals accumulated in the accumulating means . The first reading unit reads the photoelectric conversion signal at a cycle for resetting the photoelectric conversion unit, and the second reading unit reads the photoelectric conversion signal at a cycle longer than the cycle for resetting the photoelectric conversion unit. An imaging method comprising: outputting one or more video signals which are controlled to have different accumulation times.
JP2001205165A 2001-07-05 2001-07-05 Imaging apparatus and imaging method Expired - Fee Related JP4430840B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001205165A JP4430840B2 (en) 2001-07-05 2001-07-05 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001205165A JP4430840B2 (en) 2001-07-05 2001-07-05 Imaging apparatus and imaging method

Publications (2)

Publication Number Publication Date
JP2003023569A JP2003023569A (en) 2003-01-24
JP4430840B2 true JP4430840B2 (en) 2010-03-10

Family

ID=19041529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001205165A Expired - Fee Related JP4430840B2 (en) 2001-07-05 2001-07-05 Imaging apparatus and imaging method

Country Status (1)

Country Link
JP (1) JP4430840B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4525388B2 (en) * 2005-03-02 2010-08-18 パナソニック株式会社 Imaging signal recording device
JP5405536B2 (en) * 2011-07-27 2014-02-05 株式会社日立製作所 Video recording apparatus, video recording system, and video recording method

Also Published As

Publication number Publication date
JP2003023569A (en) 2003-01-24

Similar Documents

Publication Publication Date Title
JP3438205B2 (en) Digital electronic camera device
JP3467780B2 (en) Video signal processing apparatus and method
KR101222727B1 (en) Image pickup device
JP2007104623A (en) Video signal transmission system, imaging apparatus, signal processor and video signal transmission method
JP2001111878A (en) Image pickup device
JP2555986B2 (en) High-sensitivity TV camera device
JP3824440B2 (en) Imaging device
JP2000134549A (en) Solid-state image pickup device
JP3596307B2 (en) Imaging device
JP4430840B2 (en) Imaging apparatus and imaging method
JP2002010121A (en) Image pickup device
JP2994158B2 (en) Solid-state imaging device
JP2929956B2 (en) Creation method of still image data in video camera
JP4547877B2 (en) Imaging device
CN100384247C (en) Recording and reproducing device
JP2008092478A (en) Photoelectric conversion device, its controlling method and imaging apparatus
JP2005167486A (en) High-resolution image compositing apparatus
JP2877523B2 (en) Video camera with electronic viewfinder
JP3919083B2 (en) Imaging device
JP3449746B2 (en) Video camera
EP0989746A2 (en) Imaging apparatus having a high-speed imaging function with electronic zoom circuit
JPH11187296A (en) Video camera and its control method
JPH06319083A (en) Image pickup device
JP2000078457A (en) Image pickup device
JP3299295B2 (en) Camera and its operation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090403

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090824

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131225

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees