JP4844446B2 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP4844446B2
JP4844446B2 JP2007082069A JP2007082069A JP4844446B2 JP 4844446 B2 JP4844446 B2 JP 4844446B2 JP 2007082069 A JP2007082069 A JP 2007082069A JP 2007082069 A JP2007082069 A JP 2007082069A JP 4844446 B2 JP4844446 B2 JP 4844446B2
Authority
JP
Japan
Prior art keywords
imaging
signal
horizontal
period
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007082069A
Other languages
English (en)
Other versions
JP2008244800A (ja
Inventor
裕政 池山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007082069A priority Critical patent/JP4844446B2/ja
Priority to TW097105915A priority patent/TWI379587B/zh
Priority to EP08250982A priority patent/EP1976272B1/en
Priority to US12/054,722 priority patent/US7825977B2/en
Priority to KR1020080027792A priority patent/KR101403132B1/ko
Priority to CN2008100880326A priority patent/CN101277384B/zh
Publication of JP2008244800A publication Critical patent/JP2008244800A/ja
Application granted granted Critical
Publication of JP4844446B2 publication Critical patent/JP4844446B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Description

本発明は、複数種類のフレーム周期で撮像が可能なビデオカメラに適用される撮像装置、及びその撮像装置に適用される撮像方法に関し、特に線順次撮像を行うイメージセンサを備えた撮像装置に好適な技術に関する。
従来、ビデオカメラとして、複数種類のフレーム周期で撮像が可能なものが各種開発されている。映像信号のフレーム周期としては、例えば、毎秒60フレーム、毎秒50フレーム、毎秒24フレームなどの規格が存在する。毎秒60フレームの映像信号は、日本や米国などで一般的なものであり、毎秒50フレームの映像信号は、ヨーロッパなどで一般的なものである。また、毎秒24フレームの映像信号は、映画用の映像信号に適したフレーム周期である。
従来、1台のビデオカメラでこのような複数種類の映像信号に対応した撮像を行う際には、撮像を行う同期信号の基本のクロック周期を、各フレーム周期に対応して可変設定することが可能であれば問題ない。しかしながら、撮像する1画素単位でクロック周期を変えるためには複雑な制御を必要とし、好ましくない。
このため、ビデオカメラのイメージセンサで撮像を行う1画素単位の基本クロック周期については、どのフレーム周期でも同じとして、撮像された信号の処理で、規定されたフレーム周期の信号とするのが一般的である。
図6は、従来のクロック周波数を一定にした上で、フレーム周期可変処理を行う例を示した図である。この図6に示した処理は、SMPTE274Mなどで規格化された処理である。
図6(a)は、撮像信号の1フレームのイメージを示したものである。1フレームの撮像信号については、水平方向と垂直方向がそれぞれ所定画素数の有効撮像領域d1が設定してある。有効撮像領域d1内の水平方向と垂直方向の画素数については、どのフレーム周期でも同じである。例えば、水平方向1920画素×垂直方向1080ラインとする。
この有効撮像領域d1に対して、毎秒60フレームの撮像を行う際には、これよりも若干広い撮像領域d2を図6(a)に示すように設定する。この撮像領域d2は、例えば、水平方向2200画素×垂直方向1125ラインとする。
図6(b)は、毎秒60フレームの映像信号を得る場合の、垂直同期信号Vと水平同期信号Hと有効領域の撮像信号を示したものである。毎秒60フレームの映像信号の場合には、撮像領域d2(即ち水平方向2200画素×垂直方向1125ライン)の撮像を、各フレーム周期で繰り返し行う。有効領域の撮像信号は、1125水平ラインの内の所定ライン(nライン)から1080ラインの信号である。1水平ラインの信号は、例えば図6(a)に破線Haで示した信号となる。
毎秒50フレームの撮像を行う際には、図6(a)に示すように、撮像領域d2の右隣りの撮像領域d3を追加した領域(d2+d3)を、イメージセンサの読取り部から出力させる。有効撮像領域d1の設定範囲は、毎秒60フレームの映像信号の場合と同じである。
図6(c)は、毎秒50フレームの映像信号を得る場合の、垂直同期信号Vと水平同期信号Hと有効領域の撮像信号を示したものである。毎秒50フレームの映像信号の場合には、撮像領域d2+d3(即ち水平方向2640画素×垂直方向1125ライン)の撮像を、各フレーム周期で繰り返し行う。有効領域の撮像信号が、1125水平ラインの内の所定ライン(nライン)から1080ラインの信号である点は、毎秒60フレームの撮像を行う場合と同じであるが、各水平ラインの期間が毎秒60フレームよりも延長されているので、1水平ライン中の有効領域でない区間が長くなっている。この場合の1水平ラインの信号は、例えば図6(a)に破線Hbで示した信号となる。
毎秒24フレームの撮像を行う際には、図6(a)に示すように、撮像領域d3のさらに右隣りの撮像領域d4を追加した領域(d2+d3+d4)を、イメージセンサの読取り部から出力させる。有効撮像領域d1の設定範囲は、毎秒60フレームの映像信号の場合と同じである。
図6(d)は、毎秒24フレームの映像信号を得る場合の、垂直同期信号Vと水平同期信号Hと有効領域の撮像信号を示したものである。毎秒24フレームの映像信号の場合には、撮像領域d2+d3+d4(即ち水平方向2750画素×垂直方向1125ライン)の撮像を、各フレーム周期で繰り返し行う。有効領域の撮像信号が、1125水平ラインの内の所定ライン(nライン)から1080ラインの信号である点は、毎秒60フレームや毎秒50フレームの撮像を行う場合と同じであるが、各水平ラインの期間が毎秒50フレームよりもさらに延長されているので、1水平ライン中の有効領域でない区間が非常に長くなっている。この場合の1水平ラインの信号は、例えば図6(a)に破線Hcで示した信号となる。
このように撮像処理することで、フレーム周波数が低くなるに従って、各水平ライン中の有効撮像領域でない区間(即ち無効領域)が増え、基本クロック周波数が一定であっても、フレーム周期を可変させることが可能となる。毎秒50フレームや毎秒24フレームの映像信号を得る場合には、そのようにしてイメージセンサから読み出された撮像信号から、延長された無効領域(領域d3,d4)を除去して、各水平ラインの時間軸を伸張させる補正処理を行って、規定されたフレーム周波数の映像信号を得るようにしてある。
この図6に示した処理を行うことで、イメージセンサやその読出し部を駆動する基本クロック周波数を変えることなく、水平クロック数の変更で複数種類のフレーム周波数に対応した撮像が可能となる。このように水平クロック周波数を変えず、水平クロック数を変更して、フレーム周波数の変更に対処することで、クロック周波数を変える制御が必要ないと共に、表示上のちらつきを防止することができる。
特許文献1には、従来のフレームレートの可変制御を行う撮像装置についての記載がある。特許文献1には、フレーム周波数の変更時にも、クロック周波数を変えない制御を行うことで、表示上のちらつきが防止できる点についての記載がある。
再公表WO2003−63471号公報
ところで、図6に示したように、1水平ラインの水平クロック数を変更してフレーム周波数を変更させると、特に低フレーム周波数での撮影時に、動く物体を撮像した際の画像歪が増大する問題があった。この動体の画像歪は、イメージセンサとして、線順次に撮像信号を出力する形式のセンサを使用した場合の問題である。線順次に撮像信号を出力する形式のセンサとしては、撮像管や一部のCMOS(Complementary Metal Oxide Semiconductor)センサが存在する。特に近年はCMOS型のイメージセンサが普及しており、線順次に撮像信号を出力するセンサが、それなりの比率で存在するようになっている。
図7は、線順次方式で撮像した場合に、動体歪が発生する原理を示した図である。線順次方式で撮像する場合には、各水平ラインを撮像するタイミングが異なることを示す。即ち、図7の例では、1つの画像F1が4つの水平ラインL1,L2,L3,L4で構成されると想定して、各水平ラインL1,L2,L3,L4が撮像されるタイミングT1,T2,T3,T4が、図7の左端に縦の時間軸で示すように、順にずれたタイミングであるとする。このとき撮像される画像としては、丸で示す物体については静止しており、四角で示す物体については右から左に移動しているとする。
図7の最終的に撮像される画像F1を見れば判るように、上のラインL1から下のラインL4に変化するに従って、四角で示す物体については左に移動して撮像され、四角で示す物体が歪んで撮像されてしまう。
この図7に示す歪みは、線順次方式のイメージセンサが持つ問題を示したものであるが、図6に示すような水平クロック数の増減でフレーム周波数の変化に対応させると、低フレーム周波数での撮像時には、動体の歪がより顕著に現れてしまうという問題があった。特に、毎秒24フレームのフレーム周波数で撮像させた場合には、1水平ラインの長さが非常に長くなり、最初の水平ラインを撮像したタイミングと、最後の水平ラインを撮像したタイミングとの時間差が非常に増大して、動体の歪が顕著に現れてしまう。
このような動体歪の増大は好ましくなかった。
本発明はかかる点に鑑みてなされたものであり、水平クロック周波数をかえずにフレーム周波数を可変した撮像を行う場合に、動体歪の増加を防止できるようにすることを目的とする。
本発明は、フレーム周期を複数段階に可変設定して、線順次で水平ラインごとに撮像信号を読み出して撮像を行うイメージセンサで撮像を行う場合に適用される。
撮像処理としては、イメージセンサから撮像信号を取出す際に、設定したフレーム周期に応じて、垂直同期期間を可変設定し、撮像信号の水平同期期間を可変設定されるフレーム周期がいずれの場合でも一定にした上で、可変設定した垂直同期期間に応じて、有効撮像領域を含まない水平同期期間を付加して、フレーム周期を調整するフレーム周期設定処理を行う。そして、そのフレーム周期設定処理で得られた撮像信号の時間軸を補正して、有効撮像領域を含まない水平同期期間を除去する時間軸補正処理を行う。
かかる処理を行うことで、フレーム周期を可変させても、1フレームの有効撮像領域を撮像する期間には変わりがない。従って、線順次撮像を行うイメージセンサで撮像を行って、フレーム周波数が低いフレーム周期を設定しても、1フレーム内での動体歪の発生が増大することはない。
本発明によると、フレーム周期を可変させても、1フレームの有効撮像領域を撮像する期間には変わりがなく、線順次撮像を行うイメージセンサで撮像を行って、フレーム周波数が低いフレーム周期を設定しても、1フレーム内での動体歪の発生が増大することがない。従って、どのフレーム周波数を設定しても、動体歪の少ない良好な撮像が可能となる。
以下、本発明の一実施の形態の例を、図1〜図5を参照して説明する。
図1は本実施の形態の例による撮像装置の構成例を示した図である。図1に従って構成を説明すると、レンズなどの光学系11を介してイメージセンサ12の撮像面に結像した像光を、イメージセンサ12で電気信号に変換して、その変換された電気信号を、センサ出力部13で読み出す。このセンサ出力部13で読み出される電気信号を、撮像信号と称する。本例では、イメージセンサ12として、線順次で撮像信号を読み出すセンサを使用する。線順次で撮像信号を読み出すセンサとしては、例えばCMOS型のイメージセンサを使用する。また、光学系11でプリズムを使用して色分解を行い、イメージセンサ12として、複数個のイメージセンサを備える構成としてもよい。イメージセンサ12での撮像処理と、センサ出力部13での撮像信号の出力処理は、タイミング生成部21により駆動され、タイミング生成部21から駆動用クロックが供給される。
センサ出力部13が出力する撮像信号は、アナログ/デジタル変換器14に供給してデジタル信号に変換し、デジタル化した撮像信号を、撮像処理部15に供給して、撮像信号に対する各種信号処理を行う。アナログ/デジタル変換器14での変換処理と、撮像処理部15での処理についても、タイミング生成部21から供給されるクロックに同期して行われる。撮像処理部15での処理は制御部20の制御で実行され、ホワイトバランス、γ(ガンマ)補正などの画像処理が施された後、RGBの原色信号から輝度/クロマ(Y/C)信号への変換が行われる。
撮像処理部15で処理された撮像信号は、データを入力順に出力させるFIFOメモリとして構成されたメモリ16に供給する。メモリ16では、撮像信号の時間軸を補正する処理が行われる。また、後述する有効画像領域を含まない一部の水平ラインを除去する処理も行うようにしてある。この一部の水平ラインを除去する処理については、撮像処理部15などの他の回路で行うようにしてもよい。メモリ16での時間軸補正処理や水平ラインの除去処理については、撮像処理部15側から供給されるクロックに同期して行われる。
メモリ16で時間軸補正処理を行うことで、メモリ16が出力する撮像信号は、所定の映像信号フォーマットに適合した映像信号となる。メモリ16が出力する映像信号は、記録部17に供給してディスク、テープ、メモリなどに記録させ、表示部18に表示させ、映像信号出力部19から外部に出力させる。
この撮像装置での撮像は、制御部20の制御で実行される。制御部20には、操作部22から撮像の開始や停止などの指令が供給されることで、撮像の制御を行う。また、操作部22として、撮像モードを設定する操作が可能としてあり、その操作に対応したモードを制御部20が設定する。
本例での撮像モードとしては、毎秒60フレームで撮像を行う撮像モードと、毎秒50フレームで撮像を行う撮像モードと、毎秒24フレームで撮像を行う撮像モードの3種類のモードが用意されている。
このモードの設定に応じて、制御部20は、タイミング生成部21に対応した駆動信号やクロックの生成を指示して、モードに応じた各回路の駆動が行われるようにしてある。但し、本例の場合には、タイミング生成部21が生成させる基本クロックである画素クロックはどのモードでも同じとしてあり、さらに水平同期信号の周期を決める水平クロックについても、どのモードでも同じとしてある。イメージセンサ12で撮像を行う周期は、設定したモードに対応した周期とする。具体的な水平クロックなどについては後述する。
図2は、本例のフレーム周期可変撮像処理を示した図である。
図2(a)は、本例での撮像信号の1フレームのイメージを示したものである。1フレームの撮像信号については、水平方向と垂直方向がそれぞれ所定画素数の有効撮像領域d11が設定してある。有効撮像領域d11内の水平方向と垂直方向の画素数については、どのフレーム周期でも同じである。例えば、水平方向1920画素×垂直方向1080水平ラインとする。
この有効撮像領域d11に対して、毎秒60フレームの撮像を行う際には、これよりも若干広い撮像領域d12を図2(a)に示すように設定する。この撮像領域d12は、例えば、水平方向2200画素×垂直方向1125水平ラインとする。この撮像領域d12を設定した撮像信号は、いずれのフレーム周期であっても、本来出力させる撮像信号の領域である。
そして本例においては、毎秒50フレーム又は24フレームでの撮像を行う際には、図6(a)に示すように1フレームの撮像領域を見た場合に、本来の撮像領域d12の下側に、撮像領域d13,d14を追加する。このように本来の撮像領域d12の下側に、撮像領域d13,d14を追加するということは、1水平同期期間の長さについては、いずれのフレーム数でも一定として、1フレーム中の水平ラインの数を増加させることに相当する。本来の撮像領域d12の下側への追加であるので、有効撮像領域d11が存在する水平ラインの後に、有効撮像領域がない水平ラインを、撮像領域d13に対応した数、又は撮像領域d13+d14に対応した数、追加することになる。
次に、図2(b)〜(d)を参照して、各モードでの具体的な撮像例について説明する。
図2(b)は、毎秒60フレームの映像信号を得る場合の、垂直同期信号Vと水平同期信号Hと有効領域の撮像信号を示したものである。毎秒60フレームの映像信号の場合には、撮像領域d12(即ち水平方向2200画素×垂直方向1125ライン)の撮像を、各フレーム周期で繰り返し行う。有効領域の撮像信号は、1125水平ラインの内の所定水平ライン(n水平ライン)から1080水平ラインの信号である。
図2(c)は、毎秒50フレームの映像信号を得る場合の、垂直同期信号Vと水平同期信号Hと有効領域の撮像信号を示したものである。
毎秒50フレームの撮像を行う際には、図2(a)に示すように、撮像領域d12の下の撮像領域d13を追加した領域(d12+d13)を、イメージセンサ12の読取り部から出力させる。撮像領域d13内の水平ラインは、有効撮像領域を含まない水平ラインである。有効撮像領域d11の設定範囲は、毎秒60フレームの映像信号の場合と同じである。撮像領域d12+d13の水平ライン数は、1350ラインである。
図2(d)は、毎秒24フレームの映像信号を得る場合の、垂直同期信号Vと水平同期信号Hと有効領域の撮像信号を示したものである。
毎秒24フレームの撮像を行う際には、図2(a)に示すように、撮像領域d13のさらに下の撮像領域d14を追加した領域(d12+d13+d14)を、イメージセンサの読取り部から出力させる。撮像領域d13及びd14内の水平ラインは、有効撮像領域を含まない水平ラインである。有効撮像領域d11の設定範囲は、毎秒60フレームの映像信号の場合と同じである。撮像領域d12+d13+d14の水平ライン数は、2812.5ラインである。最後の2813水平ライン目は半分の期間として、フレーム周期を24フレームに合わせるようにしてある。
図2に示した水平ラインの周波数及び1水平ラインの画素数については、基本クロック周波数を148.5MHz(又はその1/2の74.25MHz)とした場合の例である。本例の場合には、水平ライン数を以下の式で設定してある。
[水平ライン数]=[クロック周波数]/[フレームレート]/[水平クロック数]
従って、毎秒24フレームの映像信号の場合に上述した端数が出ている。
このように撮像されてセンサ出力部13から出力された撮像信号は、毎秒60フレームの撮像モードである場合には、そのままの水平ライン数で処理された映像信号として、記録部17,表示部18、映像信号出力部19に供給される。
そして、毎秒50フレームの撮像モードである場合と、毎秒24フレームの撮像モードである場合には、FIFOメモリ16で有効撮像領域d11の時間軸が伸張されるように補正されると共に、付加した領域d13又は領域d13+d14が除去される。
図3は、FIFOメモリ16での処理例を示した図である。図3(a)は、FIFOメモリ16に入力する垂直同期信号の周期を示し、このメモリ16では、垂直同期信号の周期は変更されない。そして、FIFOメモリ16に入力する撮像信号としては、図3(b)に三角で示すように、有効撮像領域d11を含む領域d12のライン位置が各フレーム期間内で変化する状態であり、各フレーム期間の末尾に、付加した領域d13又は領域d13+d14が存在する状態である。
この状態で、FIFOメモリ16内では、有効撮像領域d11を含む領域d12の各水平ラインを伸張させて、付加した領域d13又は領域d13+d14を除去させる。この伸張と除去処理を行った撮像信号を、図3(c)に示すようにFIFOメモリ16から出力させる。
このようにしてメモリ16などで時間軸をモードに対応して補正すると共に、撮像時に付加した領域を除去することで、各モードで正規の映像信号が出力されるようになる。この場合、本例においては、いずれのフレーム周期であっても、1フレーム内の有効撮像領域d11を撮像する期間は同じであり、イメージセンサ12として線順次撮像を行う方式のものを使用しても、動体歪が増大することがない。
なお、図2の例では、撮像信号を順に読み出す処理状態とした例について説明したが、2水平ライン同時読出しを行う構成としてもよい。
図4は、この2水平ライン同時読出しを行う場合の例を示したものである。図4(a)は、毎秒60フレームのモードの例であり、図4(b)は、毎秒50フレームのモードの例であり、図4(c)は、毎秒24フレームのモードの例である。
図4の各モードでも、出力OUT1,OUT2が、2水平ライン同時に読出される撮像信号出力であり、1つの出力だけを見ると1水平ラインおきの出力状態となっている。いずれのモードでも、2水平ラインが同時に読み出されるので、1フレームの信号を読み出すための水平同期期間は半分の時間で済むためそれだけ上記動体歪を減少することが可能となる。この2水平ラインの出力を撮像処理部15側で合成することで、規定の水平ライン数を有する、いわゆるプログレッシブスキャン方式の撮像信号となる。なお、このように2ライン同時出力される撮像信号の内の1水平ラインだけを利用することで、インターレーススキャン方式の撮像信号となる。なお、上記は2水平ライン同時読み出しを行なう構成を示したが、3以上の複数水平ラインを同時に読み出す構成とすることも可能である。
また、図1の撮像装置の構成では、撮像処理部15の出力をFIFOメモリ16に供給して時間軸補正して正規の映像信号とするようにしたが、撮像処理部15とFIFOメモリ16との配置を逆にしてもよい。
即ち、例えば図5に示すように、アナログ/デジタル変換器14の出力をFIFOメモリ16′に供給して時間軸補正及び付加領域の削除処理を行ってから、撮像処理部15′に供給して、各種撮像処理を行うようにしてもよい。この図5に示す処理構成とすることで、撮像処理部15′では、従来の複数フレーム周期対応の撮像処理部と全く同一の処理構成で処理が可能となる。図1の構成の場合には、入力信号に付加領域が含まれているので、そのための処理が必要である。
また、上述した実施の形態で説明した図2の例では、毎秒24フレームの映像信号を得る場合に、1フレームの最終水平ラインが0.5ラインとなっているが、この端数が出ることの対処としては、0.5水平ラインを設定する他に、0.5水平ライン分に相当する水平クロック(1100クロック分)を、1100ラインに1クロックずつ均等に分けて、各ラインの画素クロックを1つずつ増やすようにしてもよい。
或いは、水平クロック数を最小化するのではなく、例えば1水平ラインを2250クロック又は2500クロックとして、2750ラインと2475ラインとの矩形領域の設定で対処するようにしてもよい。
また、上述した実施の形態では、毎秒60フレームの撮像と、毎秒50フレームの撮像と、毎秒24フレームの撮像とを行う例としたが、その他の複数のフレーム周波数を設定する撮像装置にも適用可能である。1水平ラインのクロック数(画素数)についても、上述例は一例を示したものであり、このクロック数に限定されるものではない。
本発明の一実施の形態による撮像装置の構成例を示すブロック図である。 本発明の一実施の形態による撮像処理例を示したタイミング図である。 本発明の一実施の形態によるFIFOでの処理例を示したタイミング図である。 本発明の一実施の形態による2ライン同時読出しを行う場合の処理例を示したタイミング図である。 本発明の他の実施の形態による撮像装置の構成例を示したブロック図である。 従来の水平クロック周波数を一定として水平クロック数を可変して可変フレーム周波数を実現する処理例を示したタイミング図である。 線順次方式で撮像した場合の撮像イメージを示した説明図である。
符号の説明
11…光学系、12…イメージセンサ、13…センサ出力部、14…アナログ/デジタル変換器、15,15′…撮像処理部、16,16′…メモリ(FIFO)、17…記録部、18…表示部、19…映像信号出力部、20…制御部、21…タイミング生成部

Claims (5)

  1. フレーム周期を複数段階に可変設定する制御部と、
    線順次で水平ラインごとに撮像信号を読み出して撮像を行うイメージセンサと、
    前記イメージセンサから撮像信号を取出す出力部と、
    前記制御部が設定したフレーム周期に応じて、垂直同期期間を可変設定し、前記出力部が出力する撮像信号の水平同期期間を可変設定されるフレーム周期がいずれの場合でも一定にした上で、可変設定した垂直同期期間に応じて、有効撮像領域を含まない水平同期期間を付加して、フレーム周期を調整するタイミング設定部と、
    前記撮像信号の時間軸を補正して、前記タイミング設定部で付加した有効撮像領域を含まない水平同期期間を除去する時間軸補正部と
    を備える撮像装置。
  2. 記出力部が出力した撮像信号に対して撮像信号処理を行う撮像信号処理部を備え、
    前記撮像信号処理部が処理した撮像信号に対して、前記時間軸補正部が時間軸補正処理を行
    請求項1記載の撮像装置。
  3. 記出力部は、複数の水平ラインを同時に出力する出力部であり、
    前記撮像信号処理部で所定の順序で各水平ラインが並ぶよう合成した撮像信号とす
    請求項1又は2記載の撮像装置。
  4. 前記時間軸補正部は、前記出力部が出力した撮像信号に対して補正を行い、
    前記時間軸補正部が補正した出力に対して、撮像信号処理を行う撮像信号処理部を備え
    請求項1記載の撮像装置。
  5. フレーム周期を複数段階に可変設定して撮像を行う撮像方法において、
    線順次で水平ラインごとに撮像信号を読み出して撮像を行うイメージセンサから撮像信号を取出す際に、設定したフレーム周期に応じて、垂直同期期間を可変設定し、撮像信号の水平同期期間を可変設定されるフレーム周期がいずれの場合でも一定にした上で、可変設定した垂直同期期間に応じて、有効撮像領域を含まない水平同期期間を付加して、フレーム周期を調整するフレーム周期設定処理と、
    前記フレーム周期設定処理で得られた撮像信号の時間軸を補正して、前記有効撮像領域を含まない水平同期期間を除去する時間軸補正処理と
    を行う撮像方法。
JP2007082069A 2007-03-27 2007-03-27 撮像装置及び撮像方法 Expired - Fee Related JP4844446B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007082069A JP4844446B2 (ja) 2007-03-27 2007-03-27 撮像装置及び撮像方法
TW097105915A TWI379587B (en) 2007-03-27 2008-02-20 Image pickup apparatus and image pickup method
EP08250982A EP1976272B1 (en) 2007-03-27 2008-03-19 Image pickup apparatus and method
US12/054,722 US7825977B2 (en) 2007-03-27 2008-03-25 Image pickup apparatus and image pickup method
KR1020080027792A KR101403132B1 (ko) 2007-03-27 2008-03-26 촬상 장치 및 촬상 방법
CN2008100880326A CN101277384B (zh) 2007-03-27 2008-03-27 摄像装置和摄像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007082069A JP4844446B2 (ja) 2007-03-27 2007-03-27 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
JP2008244800A JP2008244800A (ja) 2008-10-09
JP4844446B2 true JP4844446B2 (ja) 2011-12-28

Family

ID=39537886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007082069A Expired - Fee Related JP4844446B2 (ja) 2007-03-27 2007-03-27 撮像装置及び撮像方法

Country Status (6)

Country Link
US (1) US7825977B2 (ja)
EP (1) EP1976272B1 (ja)
JP (1) JP4844446B2 (ja)
KR (1) KR101403132B1 (ja)
CN (1) CN101277384B (ja)
TW (1) TWI379587B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5936323B2 (ja) * 2011-09-26 2016-06-22 キヤノン株式会社 画像記録装置およびその制御方法
WO2021164004A1 (en) * 2020-02-21 2021-08-26 Qualcomm Incorporated Reduced display processing unit transfer time to compensate for delayed graphics processing unit render time

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767070A (ja) * 1993-06-30 1995-03-10 Sony Corp 電子スチルカメラ装置
US6580457B1 (en) * 1998-11-03 2003-06-17 Eastman Kodak Company Digital camera incorporating high frame rate mode
JP3914691B2 (ja) * 2000-06-21 2007-05-16 松下電器産業株式会社 Vtr一体型撮像装置
JP4761669B2 (ja) 2001-08-24 2011-08-31 本田技研工業株式会社 燃料タンク用気液セパレータの製造方法
WO2003063472A1 (fr) 2002-01-22 2003-07-31 Sony Corporation Dispositif d'imagerie et technique afferente
JP3979332B2 (ja) * 2002-04-04 2007-09-19 ソニー株式会社 撮像装置および撮像方法
JP2003324644A (ja) * 2002-05-07 2003-11-14 Canon Inc 映像信号処理装置、画像表示制御方法、記憶媒体、及びプログラム
JP4193628B2 (ja) * 2003-07-18 2008-12-10 ソニー株式会社 撮像装置
JP3731589B2 (ja) * 2003-07-18 2006-01-05 ソニー株式会社 撮像装置と同期信号発生装置
JP2006115413A (ja) * 2004-10-18 2006-04-27 Toshiba Corp 撮像装置と撮像方法
JP4643407B2 (ja) * 2005-09-29 2011-03-02 オリンパス株式会社 フレームレート変換装置および撮像装置

Also Published As

Publication number Publication date
US20080239089A1 (en) 2008-10-02
EP1976272B1 (en) 2012-06-27
TW200849980A (en) 2008-12-16
TWI379587B (en) 2012-12-11
CN101277384B (zh) 2010-09-08
CN101277384A (zh) 2008-10-01
EP1976272A2 (en) 2008-10-01
EP1976272A3 (en) 2011-07-27
KR101403132B1 (ko) 2014-06-03
KR20080087732A (ko) 2008-10-01
JP2008244800A (ja) 2008-10-09
US7825977B2 (en) 2010-11-02

Similar Documents

Publication Publication Date Title
US9185308B2 (en) Imaging apparatus and imaging method
JP2006261789A (ja) 撮像装置、撮像素子、及び撮像処理方法
JP4320657B2 (ja) 信号処理装置
JP2000244823A (ja) 撮像素子の欠陥画素補正装置
JP5683858B2 (ja) 撮像装置
JP4844446B2 (ja) 撮像装置及び撮像方法
JP2007312076A (ja) 画像データのノイズ低減装置およびその制御方法
JP4697094B2 (ja) 画像信号出力装置及びその制御方法
JPH0918790A (ja) カメラ装置
JP2000023007A (ja) 画像入力装置及び画像入力方法並びにメモリ媒体
JP4292963B2 (ja) 撮像装置
JP2007243819A (ja) 画像処理装置
JP2003143491A (ja) 撮像装置
JPH10108207A (ja) 撮像装置および縦縞除去方法
JP2583648B2 (ja) 固体撮像装置
JP3733172B2 (ja) 撮像装置
JP3952391B2 (ja) 高精細単板カラーカメラ
JP2005080198A (ja) 撮像装置
JPH01130673A (ja) 撮像装置
JP2007336092A (ja) 撮像装置、撮像方法
JP2005130533A (ja) 撮像装置
JP2009253615A (ja) 撮像装置
JP2001177767A (ja) 画像データ・フィルタリング装置および方法
JP2015115877A (ja) 撮像装置、その制御方法
JP2006050308A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110913

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110926

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4844446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees