JP4039386B2 - 撮像センサ及び撮像装置 - Google Patents

撮像センサ及び撮像装置 Download PDF

Info

Publication number
JP4039386B2
JP4039386B2 JP2004125318A JP2004125318A JP4039386B2 JP 4039386 B2 JP4039386 B2 JP 4039386B2 JP 2004125318 A JP2004125318 A JP 2004125318A JP 2004125318 A JP2004125318 A JP 2004125318A JP 4039386 B2 JP4039386 B2 JP 4039386B2
Authority
JP
Japan
Prior art keywords
group
image
output
pixel signals
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004125318A
Other languages
English (en)
Other versions
JP2005311665A (ja
Inventor
稔人 木戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Opto Inc
Original Assignee
Konica Minolta Opto Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Opto Inc filed Critical Konica Minolta Opto Inc
Priority to JP2004125318A priority Critical patent/JP4039386B2/ja
Priority to US11/042,923 priority patent/US20050237422A1/en
Publication of JP2005311665A publication Critical patent/JP2005311665A/ja
Application granted granted Critical
Publication of JP4039386B2 publication Critical patent/JP4039386B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/713Transfer or readout registers; Split readout registers or multiple readout registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像を取得する技術に関し、特に動画像及び静止画像の双方を取得する技術に関する。
従来より、動画像及び静止画像の双方を取得可能なデジタルスチルカメラやデジタルビデオカメラ(以下、総称して「デジタルカメラ」という。)などの撮像装置が知られている。一般に、このような撮像装置は、静止画像の取得を目的とした動作モードと、動画像の取得を目的とした動作モードとを有しており、ユーザ操作によりこれらの動作モードが切り換えられるようになっている。
また、近年では、動画像の撮影期間内において所定の指示を行なうことで、同一期間内において動画像と静止画像との双方を取得できる撮像装置も提案されている。
なお、本発明に関連する技術を開示する先行技術文献として、下記の文献がある。
特開2000−134549号公報 特開2000−125163号公報 特開平11−187350号公報
ところで、動画像と静止画像とでは、必要とされる画素数に著しい相違がある。例えば近年、静止画像の画素数としては、200万〜800万画素が必要とされている。一方で動画像は、テレビジョン画面への表示を想定して生成されるため、各フレームの画素数は比較的少ない15万〜30万画素程度で十分とされている。このため、撮像装置の撮像センサにおいて、一の静止画像に係る画素信号を出力するには、動画像の1フレーム分の画素信号を出力するよりも非常に長い時間が必要となる。
したがって、従来の撮像装置において動画像の撮影期間内に静止画像を取得するときには、撮像センサは、静止画像に係る画素信号の出力が完了するまで、動画像のための画素信号を出力できなかった。つまりは、静止画像に係る画素信号の出力に影響され、動画像に係る画素信号(フレーム)が所定の時間周期で出力されなかった。このため、撮影期間内に静止画像の取得があった動画像は、静止画像の出力処理などに係る期間におけるフレームが抜け落ち、非常に不自然なものとなっていた。
また、このような動画像においてフレームが取得されなかった期間(つまり、静止画像の処理に係る期間)の被写体の状態を把握するためには、当該動画像の撮影期間内に取得された静止画像を確認する必要がある。しかしながら、このような静止画像を特定するのも容易でなかった。
本発明は、上記課題に鑑みてなされたものであり、所望の画素に係る画素信号を、他の画素に係る画素信号の出力状態に影響されずに出力できる技術を提供することを第1の目的とする。
また、本発明は、動画像の撮影期間内において取得された静止画像を事後的に容易に特定できる技術を提供することを第2の目的とする。
上記課題を解決するため、請求項1の発明は、撮像センサであって、露光により画素信号を取得し、記録用の動画像の生成に利用する前記画素信号を所定の時間周期で繰り返し取得する第1グループと、所定の指示信号の発生に応答して記録用の静止画像の生成に利用する前記画素信号を取得する第2グループと、を含む2以上のグループのいずれかに区分される複数の画素と、前記2以上のグループの前記画素信号を並列して出力可能な出力手段と、を備え、前記第1グループの画素が前記所定の時間周期で露光を繰り返している場合に、前記指示信号が発生したとき、前記第1グループの画素は、前記露光の繰り返しを継続し、前記第2グループの画素は、前記第1グループの画素と同一のタイミングで露光を行ない、前記出力手段は、前記第1グループの前記画素信号と前記第2グループの前記画素信号とを並列して出力する。
また、請求項2の発明は、請求項1に記載の撮像センサにおいて、前記出力手段は、前記2以上のグループにそれぞれ対応する前記画素信号を出力する2以上の出力系統を有し、前記2以上の出力系統はそれぞれ、互いに独立して対応するグループのみの前記画素信号を出力する。
また、請求項の発明は、請求項1に記載の撮像センサにおいて、前記出力手段を所定の処理周期で繰り返し駆動可能な駆動手段、をさらに備え、前記出力手段は、一の出力系統を有し、前記処理周期は分割されて、前記出力手段が前記2以上のグループのそれぞれの前記画素信号を出力するための期間に配分される。
また、請求項の発明は、請求項1ないし3のいずれかに記載の撮像センサにおいて、前記第2グループの画素信号に画素補間を行なって、一の静止画像を生成する手段、をさらに備えている。
また、請求項の発明は、請求項1ないし3のいずれかに記載の撮像センサにおいて、同一のタイミングの露光により得られた前記第1グループの画素信号と前記第2グループの画素信号とを合成して、一の静止画像を生成する合成手段、をさらに備えている。
また、請求項6の発明は、撮像装置であって、露光により画素信号を取得し、記録用の動画像の生成に利用する前記画素信号を所定の時間周期で繰り返し取得する第1グループと、所定の指示信号の発生に応答して記録用の静止画像の生成に利用する前記画素信号を取得する第2グループと、を含む2以上のグループのいずれかに区分される複数の画素と、前記2以上のグループの前記画素信号を並列して出力可能な出力手段と、を備え、前記第1グループの画素が前記所定の時間周期で露光を繰り返している場合に、前記指示信号が発生したとき、前記第1グループの画素は、前記露光の繰り返しを継続し、前記第2グループの画素は、前記第1グループの画素と同一のタイミングで露光を行ない、前記出力手段は、前記第1グループの前記画素信号と前記第2グループの前記画素信号とを並列して出力する。

また、請求項の発明は、請求項に記載の撮像装置において、前記出力手段は、前記2以上のグループにそれぞれ対応する前記画素信号を出力する2以上の出力系統を有し、前記2以上の出力系統はそれぞれ、互いに独立して対応するグループのみの前記画素信号を出力する
また、請求項の発明は、請求項に記載の撮像装置において、前記出力手段を所定の処理周期で繰り返し駆動可能な駆動手段、をさらに備え、前記出力手段は、一の出力系統を有し、前記処理周期は分割されて、前記出力手段が前記2以上のグループのそれぞれの前記画素信号を出力するための期間に配分される
また、請求項の発明は、請求項6ないし8のいずれかに記載の撮像装置において、前記第2グループの画素信号に画素補間を行なって、一の静止画像を生成する手段、をさらに備えている。
また、請求項10の発明は、請求項6ないし8のいずれかに記載の撮像装置において、同一のタイミングの露光により得られた前記第1グループの画素信号と前記第2グループの画素信号とを合成して、一の静止画像を生成する合成手段、をさらに備えている。
また、請求項11の発明は、請求項10に記載の撮像装置において、前記合成手段により生成された静止画像と、該静止画像の一部となった前記第1グループの画素信号を含む動画像とを関連付けて記録する記録手段、をさらに備えている。
請求項1ないし11の発明によれば、静止画像のための画素信号の出力状態に影響されずに、動画像のための画素信号を所定の時間周期で繰り返し出力できる。
請求項2及び7の発明によれば、2以上の出力系統はそれぞれ互いに独立して対応するグループのみの画素信号を出力するため、2以上のグループの画素信号を並列して出力でき、所望のグループの画素信号を他のグループの画素信号の出力状態に影響されずに出力できる。
請求項3及び8の発明によれば、処理周期が分割され、グループのそれぞれの画素信号を出力するための期間に配分されることから、出力手段が出力対象とするグループは各グループに応じて配分された期間ごとに切り換えられる。このため、所望のグループに比較的長い期間を配分することで、当該グループの画素信号を他のグループの画素信号の出力状態に影響されずに優先的に出力できる。また所望のグループの画素信号の出力と並列して他のグループの画素信号も出力できる。
請求項の発明によれば、静止画像を容易に生成できる。
請求項の発明によれば、同一のタイミングの露光により得られた第1グループの画素信号と第2グループの画素信号とを合成して一の静止画像を生成するため、自然な静止画像を生成できる。
請求項の発明によれば、静止画像を容易に生成できる。
請求項10の発明によれば、同一のタイミングの露光により得られた第1グループの画素信号と第2グループの画素信号とを合成して一の静止画像を生成するため、自然な静止画像を生成できる。
請求項11の発明によれば、動画像の撮影期間内において取得された静止画像を事後的に容易に特定できる。
以下、この発明の実施の形態について図面を参照しつつ詳細に説明する。なお、以下の説明においては、撮像装置の一例としてデジタルカメラについて説明する。
<1.第1の実施の形態>
<1−1.外観構成>
図1はデジタルカメラ1を示す斜視図であり、図2はデジタルカメラ1の背面側の構成を示す図である。デジタルカメラ1は、静止画像及び動画像の双方を取得可能に構成されている。
図1に示すように、デジタルカメラ1の前面側には、フラッシュ31及び光学ファインダ32の対物窓、並びに、複数のレンズ群を有する撮影レンズ3が設けられている。この撮影レンズ3の後方位置となるデジタルカメラ1の内部の適所には、撮影レンズ3を介して被写体の画像を取得する撮像センサ2が設けられている。
デジタルカメラ1の上面側には、撮影指示をユーザから受け付けるシャッタボタン34、及び、電源のオンオフを切り替えるためのメインスイッチ33が配置されている。
デジタルカメラ1の側面部には、記録媒体であるメモリカード9を着脱可能なカードスロット35が形成される。デジタルカメラ1において取得された静止画像や動画像は、このメモリカード9に記録される。
また、図2に示すように、デジタルカメラ1の背面側には、光学ファインダ32の接眼窓、動作モードを切り替えるためのモード切替レバー36、各種表示を行う液晶モニタ4、並びに、ユーザ操作を受け付けるための十字キー37、実行ボタン38及びファンクションボタン群39(39a〜39d)が設けられている。
液晶モニタ4は、メモリカード9に記録された静止画像の表示、動画像の再生表示、及び、設定のための設定メニューの表示など各種表示を行なう。また、撮影待機状態や動画像の撮影期間などにおいて液晶モニタ4は、被写体のほぼリアルタイムな状態を示すライブビュー表示を行なう。これにより液晶モニタ4は、フレーミングを行なうためのファインダ替わりにも利用される。
十字キー37、実行ボタン38及びファンクションボタン群39には、デジタルカメラ1の動作モードや動作状態に応じて機能が動的に割り当てられる。十字キー37は、上下左右の各方向を示す4つのボタンが一体構成されたものであり、主として項目の移動や表示対象とする画像の選択などに利用される。また、実行ボタン38は、各種の確定に利用される。
デジタルカメラ1は、「静止画モード」、「動画モード」及び「表示モード」の3つの動作モードを備えている。これらの動作モードは、モード切替レバー36をスライドさせることより切り替えられる。このうち「静止画モード」は、静止画像を取得するための動作モードであり、「動画モード」は動画像を取得するための動作モードである。
「静止画モード」においては、シャッタボタン34の押下により静止画像の取得を指示する信号(以下、「静止画取得信号」という。)が発生し、これに応答して静止画像が取得される。
また、「動画モード」においては、実行ボタン38の押下により動画像の撮影開始を指示する信号(以下、「動画撮影開始信号」という。)が発生し、これに応答して動画像の撮影が開始される。そして、この動画像の撮影中において実行ボタン38をさらに押下すると、動画像の撮影終了を指示する信号(以下、「動画撮影終了信号」という。)が発生し、動画像の撮影が終了される。つまり、「動画撮影開始信号」の発生から「動画撮影終了信号」の発生までの間(実行ボタン38の押下と押下との間)が、動画像の撮影期間となる。
また、このような動画像の撮影期間内において、シャッタボタン34が押下されたときにおいても「静止画取得信号」が発生し、これに応答して静止画像が動画像とともに取得される。つまり、「動画モード」においては、同一期間内において動画像と静止画像との双方を取得できるようになっている。
「表示モード」は、「静止画モード」や「動画モード」で取得された静止画像や動画像を液晶モニタ4に表示するための動作モードである。なお、本明細書においては、「動画像の再生表示」という用語を、「フレームの順次切替を伴う動的な動画像の表示」の意、つまり、「静止状態でなく、動いている動画像の表示」の意として用いる。また、「動画像の表示」といった場合は、「静止状態での動画像の表示」及び「動画像の再生表示」の双方の意を含むものとする。
<1−2.内部構成>
図3はデジタルカメラ1の主たる内部構成を示すブロック図である。図に示すように、デジタルカメラ1は、その内部に装置全体を統括的に制御する全体制御部6を備えている。全体制御部6は、マイクロコンピュータを備えて構成され、各種の演算処理を行うCPU61、演算の作業領域などに利用されるRAM62、制御プログラムやデータ等が記憶されるROM63、及び、計時回路であるタイマ64を備えている。デジタルカメラ1の各処理部は、この全体制御部6に対して電気的に接続され、全体制御部6の制御下において動作する。
本実施の形態の撮像センサ2はCCDセンサで構成されている。撮像センサ2は、撮影レンズ3により結像された被写体の光像を画素信号(電荷信号)に光電変換する受光部20、及び、受光部20で得られた画素信号を出力する出力部22を備えている。
撮像センサ2の受光部20は、図4に示すように、例えば横1920×縦1440に2次元配列された複数の画素21で構成される。各画素21はフォトダイオードで構成され、露光により、その露光量に応じた画素信号を発生する。
静止画像の生成にはこれらの全ての画素21の画素信号が利用される。つまり、本実施のデジタルカメラ1では横1920×縦1440の画素信号からなる静止画像が生成される。一方、動画像の生成には、これらの全ての画素21の画素信号が利用されるわけではなく、その一部の画素21a(図4においてハッチングを施した画素)のみの画素信号が利用される。
つまり、受光部20に含まれる複数の画素21は、動画像の生成に利用される画素信号を取得する画素21aのグループと、主として静止画像の生成に利用されるその他の画素21bのグループとの2つのグループに区分される。以下、動画像の生成に利用される画素信号を取得する画素21aが属するグループを「第1グループ」、その他の画素21bが属するグループを「第2グループ」という。
図4に示すように、第1グループの画素21aは縦方向及び横方向ともに3画素に1画素の割合で存在しており、受光部20の全体においては横640×縦480の画素21aが存在している。つまり、これらの横640×縦480の画素21aの画素信号が動画像の各フレームとして利用され、このようなフレームが複数連結されて動画像が生成される。
撮像センサ2の受光部20の各画素21で取得された画素信号は読み出されて、出力部22により転送されつつ出力される。図5は、出力部22を含む撮像センサ2の構成を模式的に示す図である。
図5に示すように、本実施の形態の撮像センサ2の出力部22は、2つの出力系統23,24(第1出力系統23,第2出力系統24)を備えている。第1出力系統23は、垂直転送部231及び水平転送部232を備えて構成され、また、第2出力系統24は、垂直転送部241及び水平転送部242を備えて構成される。垂直転送部231,241はそれぞれ、受光部20の垂直画素列(縦方向に配列された画素21の列)に対応して配置され、各画素21から画素信号を読み出して転送する。一方、水平転送部232,242はそれぞれ、垂直転送部231,241に接合され、垂直転送部231,241からの画素信号を転送して出力する。
2つの出力系統23,24は受光部20の2つのグループにそれぞれ対応しており、各出力系統23,24は対応するグループの画素信号のみを出力するようになっている。より具体的には、第1出力系統23は第1グループに属する画素21aの画素信号のみを出力し、第2出力系統24は第2グループに属する画素21bの画素信号のみを出力する。このため、第1グループに属する画素21aが含まれる垂直画素列に対しては2つの出力系統23,24の双方の垂直転送部231,241が配置され、その他の垂直画素列に対しては第2出力系統24の垂直転送部241のみが配置される。
このように本実施の形態の撮像センサ2においては、画素21が区分される2つのグループに、それぞれ専用の出力系統23,24が設けられている。したがって、2つのグループの画素信号は互いに独立して出力でき、一方のグループの画素信号は他方のグループの出力状態に影響されずに出力可能となっている。したがって、2つのグループの画素信号を同時、かつ、並列的に出力することも可能となっている。以下、このような撮像センサ2のグループごとに画素信号を独立して出力できる機能を「独立出力機能」という。
撮像センサ2は、図3に示すドライバ51から送出される駆動信号に基づいて駆動される。ドライバ51は、全体制御部6からの信号に基づいて、露光開始や露光終了を指示する駆動信号を受光部20に対して送出し、また、画素信号の出力を指示する駆動信号を出力部22に対して送出する。このようなドライバ51からの駆動信号は、受光部20のグループごと、及び、出力部22の出力系統ごとに送出される。これにより、受光部20はグループごとに、出力部22は出力系統ごとにそれぞれ個別に駆動される。
また、図3に示すように、デジタルカメラ1は2つの信号処理回路(第1信号処理回路52,第2信号処理回路53)を備えている。撮像センサ2は2つの出力系統23,24を備えているため、2つの出力系統23,24からそれぞれアナログの画像信号(画素信号の信号列からなる信号)が出力される。すなわち、第1出力系統23から第1グループに係る画像信号が出力され、第2出力系統24から第2グループに係る画像信号が出力される。2つの信号処理回路52,53は、これらの2つの画像信号に対してそれぞれ所定のアナログ信号処理を施すために設けられている。
第1及び第2信号処理回路52,53は同一構成であり、CDS(相関二重サンプリング)回路、AGC(オートゲインコントロール)回路、及び、A/D変換器をそれぞれ有している。撮像センサ2から出力された2つの画像信号はそれぞれ、これらの信号処理回路52,53により、ノイズの低減、レベル調整及びデジタル信号への変換がなされる。この信号処理回路52,53の処理により出力されるデジタルの画像信号(以下、単に「画像」という。)は、各種の画像を記憶保持可能な画像メモリ54に格納される。
画像処理部55は、画像メモリ54に格納された画像に対して各種の画像処理を施す。具体的には、画像処理部55は、色調整処理、γ補正処理、画像圧縮・伸張処理等の各種の画像処理を行う。この画像処理部55の処理により、液晶モニタ4への表示に適した表示用画像や、メモリカード9に記録に適した圧縮画像などが生成される。さらに、動画モードにおいては画像処理部55により、動画像及び静止画像が生成される(詳細は後述。)。
カードI/F56は、カードスロット35に装着されるメモリカード9への画像の記録や、メモリカード9からの画像の読み出し等を行う。このカードI/F56は全体制御部6に電気的に接続され、全体制御部6からの信号に基づいて画像の記録や読み出しを行う。また、液晶モニタ4も全体制御部6に電気的に接続され、全体制御部6の制御下において静止画像の表示や動画像の再生表示などの各種の表示を行う。
操作入力部30は、上述したシャッタボタン34、モード切替レバー36、十字キー37、実行ボタン38及びファンクションボタン群39等を含む操作部材をひとつの機能ブロックとして示している。操作入力部30が操作されると、当該操作に係る処理や制御を指示する信号が発生し、全体制御部6に入力される。このような信号は、全体制御部6により、例えば前述した「静止画取得信号」、「動画撮影開始信号」及び「動画撮影終了信号」などとして認識され、当該信号に応じた処理や制御が全体制御部6によりなされることとなる。
全体制御部6は、デジタルカメラ1の制御に係る各種の機能を有している。このような機能は、ROM63に記憶される制御プログラムに従ってCPU61が演算処理を行うことにより(すなわち、ソフトウェア的に)実現される。制御プログラムは、予めROM63内に記憶されているものであるが、メモリカード9から読み出すなどにより、新たな制御プログラムをROM63に格納することも可能とされている。図3において、撮像制御部65、記録制御部66及び表示制御部67は、このようなソフトウェア的に実現される全体制御部6の機能の一部を模式的に示している。
撮像制御部65は、「静止画モード」及び「動画モード」における、静止画像及び動画像の取得に係る制御を行なう。例えば、シャッタボタン34の押下により「静止画取得信号」が発生したときは、撮像制御部65は、撮像センサ2に静止画像の取得に係る露光を行なわせるための指示信号を発生しドライバ51へ送出する。
記録制御部66は、撮像制御部65の制御により取得された静止画像及び動画像のメモリカード9への記録に係る制御を行なう。本実施の形態の静止画像及び動画像は双方ともに、記録制御部66の制御により、各種の付属情報が付加された画像ファイルとされた後、固有のファイル名が付加されてメモリカード9に記録される。
図6は静止画像に係る画像ファイル71の模式図であり、図7は動画像に係る画像ファイル72の模式図である。図6に示すように、静止画像に係る画像ファイル71は、Exif(Exchangeable Image File Format)形式となっており、タグ情報部71a、画像本体部71b及びサムネイル画像部71cから構成される。静止画像そのものは画像本体部71bに格納され、サムネイル画像部71cには比較的低解像度のサムネイル画像が格納される。また、タグ情報部71aには、記録制御部66の制御により、画像本体部71bに格納された静止画像を説明するためのタグ情報(撮影条件等を示す各種の情報)が記載される。
一方、図7に示すように、動画像に係る画像ファイル72は、タグ情報部72a及び画像本体部72bから構成される。画像ファイル72においても、動画像そのものは画像本体部72bに格納され、タグ情報部72aには記録制御部66の制御によりその動画像を説明するためのタグ情報が記載される。
図3に戻り、表示制御部67は、液晶モニタ4の表示に係る制御を行なうものであり、例えば、「表示モード」において静止画像及び動画像を液晶モニタ4へ表示させる際の制御を行なう。「表示モード」においては、ユーザによりメモリカード9内の任意の画像が選択され、選択された画像が静止画像であればその静止画像が液晶モニタ4に表示される。一方、選択された画像が動画像であれば、まず、液晶モニタ4において動画像が静止状態で表示され、実行ボタン38の押下がなされると当該動画像が再生表示される。
<1−3.動画モード動作>
次に、デジタルカメラ1の動作について説明する。最初に、動画モードにおける動作について説明する。
<1−3−1.基本動作>
図8は、デジタルカメラ1の動画モードにおける動作の流れを示す図である。デジタルカメラ1は動画モードに設定されると、まず、「動画撮影開始信号」の発生(実行ボタン38の押下)を待機する状態となる。このとき、液晶モニタ4においてライブビュー表示がなされる(ステップS11)。
この待機状態において、実行ボタン38の押下により「動画撮影開始信号」が発生すると、これに応答してまず、タイマ64によりその時点の絶対時刻が「動画開始時刻」として取得される。取得された「動画開始時刻」はRAM62に記憶される(ステップS12)。
そして以降、実行ボタン38の再押下により「動画撮影終了信号」が発生するまで(ステップS17にてNoの間)は動画像の撮影期間となる。この動画像の撮影期間内においては、所定の時間周期で露光(ステップS15)、及び、動画像の生成処理(ステップS16)が繰り返される。
すなわち、動画像のためのフレームを所定の時間周期で取得するため、撮像制御部65の制御により、撮像センサ2の第1グループの画素21aによる露光(ステップS15)が所定の時間周期で繰り返される。本実施の形態では、このような露光を繰り返す時間周期は、1/30秒とされている。
また一方で、第1グループの露光により取得された画素信号に基づいて動画像が生成される(ステップS16)。つまり、撮像センサ2の第1出力系統23から第1グループの画素信号が出力され、この画素信号に対して第1信号処理回路52によって所定の処理が施され、横640×縦480の画像(以下、「第1画像」という。)が生成される。そして、第1画像は、画像メモリ54に格納され、画像処理部55により動画像の一フレームとして生成中の動画像に対して連結される。このような処理が1/30秒周期で繰り返されることにより、順次、動画像が生成されることとなる。この第1画像は、さらに液晶モニタ4にも表示され、これにより動画像の撮影期間内においてもライブビュー表示がなされる。
なお、図8においては図示の便宜上、露光(ステップS15)の後に、動画像の生成処理(ステップS16)がなされ、さらにその後に次の露光(ステップS15)がなされるように記載されているが、実際にはステップS15とステップS16とは並列になされる。つまり、各処理は単独で注目すると、ほぼ時間的間隔をおくことなく1/30秒周期で繰り返されることとなる。
このような動画像の撮影期間において、実行ボタン38の再押下により「動画撮影終了信号」が発生すると(ステップS17にてYes)、これに応答して、露光(ステップS15)及び動画像の生成処理(ステップS16)の繰り返しが終了され、最終的な動画像が得られる。これとともに、タイマ64によりその時点の絶対時刻が「動画終了時刻」として取得される(ステップS18)。
次に、記録制御部66の制御により、「動画開始時刻」「動画終了時刻」を含むタグ情報が生成される(ステップS19)。そして、取得された動画像にこのタグ情報が付加されて画像ファイルが生成される。この画像ファイルは、さらに固有のファイル名が付加されて、メモリカード9に記録されることとなる(ステップS20)。
<1−3−2.静止画像の取得>
以上が動画モードの基本的な動作であるが、前述したとおり、動画モードにおいては、動画像の撮影期間内においてシャッタボタン34が押下されると「静止画取得信号」が発生し、これに応答して静止画像が取得される。以下、動画像の撮影期間内において「静止画取得信号」が発生したときのデジタルカメラ1の動作について説明する。
上述したように、動画像の撮影期間内においては、所定の時間周期で露光(ステップS15)、及び、動画像の生成処理(ステップS16)が繰り返されている。この際に、シャッタボタン34の押下により「静止画取得信号」が発生すると(ステップS13にてYes)、これに応答して図8中右下に示す静止画取得処理PSが呼び出されて開始される(ステップS14)。
この静止画取得処理PSは、上述した動画モードの基本的な動作と並列的に実行可能な処理である。したがって、静止画取得処理PSが開始された後においても、上記の露光(ステップS15)、及び、動画像の生成処理(ステップS16)の繰り返しは継続されることとなる。
静止画取得処理PSにおいては、まず、タイマ64によりその時点の絶対時刻が「静止画撮影時刻」として取得される。取得された撮影時刻はRAM62に記憶される(ステップS21)。
次に、ドライバ51からの駆動信号により、撮像センサ2の第2グループの画素21bによる露光がなされる。この第2グループの画素21bの露光は、「静止画取得信号」の発生直後の第1グループの画素21aの露光と、その開始時点及び終了時点が一致される。つまり、第1グループと第2グループとで露光のタイミング(露光開始時点及び露光時間)が一致されることとなる(ステップS22)。
次に、撮像センサ2の第2出力系統24から第2グループの画素信号の出力が開始される(ステップS23)。出力された画素信号は、出力されたものから順次に、第2信号処理回路53にて処理されてデジタル信号とされた後、画像メモリ54内に格納される。
第2グループは、第1グループと比較して画素数が膨大であるため、第2グループの画素信号の出力には、第1グループと比較して時間がかかる。しかしながら、本実施の形態の撮像センサ2は独立出力機能を有しているため、このような第2グループの画素信号が出力される際においても、その出力に何ら影響を受けずに、第1グループの画素信号が出力されるようになっている。
同一のタイミングの露光により得られた両グループの画素信号については、第2グループよりも第1グループのほうが先に出力が完了する。これら両グループの画素信号は、後の処理において合成されて一の静止画像とされる(詳細は後述。)。このため、第2グループと露光のタイミングが一致された第1グループの画素信号は、第2グループの画素信号の出力が完了するまで、画像メモリ54内に第1画像として記憶保持される(ステップS24)。
図9は、動画像の撮影期間内において「静止画取得信号」が発生したときのデジタルカメラ1の動作を示すタイムチャートである。
動画像の撮影期間内においては、図に示すように、第1グループによる露光が1/30秒周期で繰り返される。この1回の露光が、動画像の一のフレームに係る画素信号の取得に相当する。そしてこれとともに、直近の露光に係る画素信号の第1出力系統23による出力が1/30秒周期で繰り返される。
このような状態において例えば時点T13において「静止画取得信号」が発生すると、その発生直後の第1グループによる露光E1の開始に合わせて第2グループの露光E2が開始される(時点T14)。そして、その第1グループの露光E1が終了すると同時に、第2グループの露光E2も終了される(時点T15)。つまり、これら露光E1及び露光E2のタイミングが一致されるわけである。
これらの露光E1,E2が終了すると、撮像センサ2の独立出力機能を利用して、第1出力系統23からは第1グループの露光E1に係る画素信号の出力がなされ、また一方で、これと並列して第2出力系統24からは第2グループの露光E2に係る画素信号が出力される(時点T15〜)。
露光E1に係る画素信号の出力は時点T16で完了する。一方、露光E2に係る画素信号の出力は時点T16よりも遅い時点T19で完了する。時点T16で出力が完了した露光E1に係る画素信号は、後の静止画像の生成に供するために、その時点T16において第1画像として画像メモリ54に記憶される。
また、第1出力系統23においては、露光E1に係る画素信号の出力が完了すると(時点T16)、続いて、露光E1の次の露光に係る(すなわち、次のフレームに係る)画素信号が出力される。そして以降、第1出力系統23においては、動画像の各フレームとしての第1グループの画素信号が1/30秒周期で出力されることとなる。つまり、第2グループの画素信号の出力期間(時点T15〜時点T19)であるか否かにかかわらず、撮像センサ2の独立出力機能を利用して、第1グループの画素信号は1/30秒周期で繰り返し出力されることとなる。
図8に戻り、第2出力系統24から第2グループの画素信号の出力が完了すると(ステップS25にてYes)、画像メモリ54内には、第2グループに係る画素信号からなる画像(以下、「第2画像」という。)と、第2グループと露光のタイミングが一致された第1グループの画素信号に係る第1画像とが記憶された状態となる。第2グループの画素信号の出力の完了に応答して、これらの第2画像と第1画像とは、画像処理部55の処理により合成され、一の静止画像が生成される(ステップS26)。
図10は、この静止画像を生成するまでのデジタルカメラ1の処理を模式的に示す図である。図に示すように、タイミングが一致された露光により得られた画素信号のうち、受光部20の第1グループに係るものは第1出力系統23から出力されて第1画像75とされ、第2グループに係るものは第2出力系統24から出力されて第2画像76とされる。第2画像76よりも先に生成される第1画像75は、動画像77の一のフレームとして使用されるとともに、画像メモリ54内に記憶される。
一方で、第2グループの出力が完了して第2画像76が生成されると、この第2画像76と画像メモリ54内の第1画像75とが合成されて静止画像78が生成される。より具体的には、第2画像76の各画素信号と第1画像75の各画素信号とが、受光部20における画素21の配置にしたがって再配置され、これにより、一の静止画像78が生成されることとなる。
図8に戻り、このようにして静止画像が生成されると、次に、「静止画撮影時刻」を含む静止画像用のタグ情報が生成される(ステップS27)。そして、生成された静止画像にこのタグ情報及びサムネイル画像が付加されて画像ファイルが生成される。この画像ファイルは、さらに固有のファイル名が付加されて、メモリカード9に記録されることとなる(ステップS28)。
以上説明した静止画取得処理PSは、動画像の撮影期間内において「静止画取得信号」が発生するごと(シャッタボタン34が押下されるごと)に行なわれる。したがって、デジタルカメラ1では、一の動画像の撮影期間内において、複数の静止画像を取得することも可能となっている。
ある動画像の撮影期間内において上記のようにして静止画像が取得されたときには、記録制御部66の制御により、当該動画像のタグ情報の生成時(ステップS19)において、そのタグ情報のうちの一部の情報として、取得された静止画像に係る画像ファイルのファイル名が記載される。これにより、動画像と、当該動画像の撮影期間内において取得された静止画像とが関連付けてメモリカード9に記録される。換言すれば、静止画像と、当該静止画像の一部となった第1グループの画素信号を含む動画像とが関連付けて記録されることとなる(ステップS20)。
以上のようにデジタルカメラ1においては、撮像センサ2が2つの出力系統23,24を有しており、これらの2つの出力系統23,24が、それぞれ互いに独立して対応するグループのみの画素信号を出力する。このため、2つのグループの画素信号を並列して出力でき、動画像に係る第1グループの画素信号を第2グループの画素信号の出力状態に影響されずに出力できる。その結果、静止画像の処理に係る期間であっても動画像のためのフレームを所定の時間周期で取得でき、フレームの抜け落ちの無い動画像を取得することができる。また同様に、動画像の撮影期間のライブビュー表示における静止画像の取得を要因としたフレームの抜け落ちも防止できる。このため、動画像の撮影期間においてスムーズなフレーミングが可能となる。
また、動画像の撮影期間内に「静止画取得信号」が発生したときには、第1グループの画素21aと第2グループの画素21bとで同一のタイミングで露光がなされる。そして、これらのグループそれぞれの画素信号から得られる第1画像及び第2画像とが合成されて、一の静止画像が生成される。したがって、同一のタイミングの露光により得られた画素信号同士が合成されることから、生成される静止画像を自然な画像とすることができる。
また、動画像と、当該動画像の撮影期間内において取得された静止画像とが関連付けて記録されるため、例えば以下に説明する表示モードなど事後的に画像を取り扱う際において、動画像の撮影期間内に取得された静止画像を容易に特定できることとなる。
<1−4.表示モード動作>
次に、デジタルカメラ1の表示モードにおける動作について説明する。表示モードにおいては、関連付けて記録された動画像及び静止画像とが同時に表示されるようになっている。
図11は、デジタルカメラ1の表示モードの動作の流れを示す図である。表示モードにおいては、まず、メモリカード9内に記録された画像ファイルのうちから表示対象とする画像ファイルを選択するための選択画面が表示される。ユーザは、この選択画面を参照しつつ十字キー37等を操作することにより、所望の画像ファイルを表示対象として選択することができる(ステップS31)。
ユーザにより選択された画像ファイルが静止画像に係るものである場合は(ステップS32にてNo)、液晶モニタ4にその静止画像が表示される(ステップS33)。静止画像の表示後は、所定の操作により、再度、選択画面に戻ることとなる。
一方、ユーザにより選択された画像ファイルが動画像に係るものである場合は(ステップS32にてYes)、まず、その動画像(以下、「対象動画像」という。)に係るタグ情報が読み取られる(ステップS34)。そして、このタグ情報に静止画像に係るファイル名が記載されているときは、そのファイル名が取得される。取得されたファイル名は、対象動画像に関連付けられて記録された静止画像に係る画像ファイルを示すものである。したがってこれにより、対象動画像の撮影期間内に取得された静止画像(以下、「関連静止画像」という。)が特定される(ステップS35)。
次に、特定された関連静止画像に係るタグ情報が参照され、関連静止画像の「静止画撮影時刻」が取得される。そして、関連静止画像の「静止画撮影時刻」に基づいて、対象動画像の撮影開始時点から関連静止画像の取得時点までの時間が「相対撮影時間」として取得される。より具体的には、関連静止画像の「静止画撮影時刻」から対象動画像に係るタグ情報に記載の「動画開始時刻」が減算されることにより、「相対撮影時間」が取得される。複数の関連静止画像が存在するときには、それら全ての関連静止画像の「相対撮影時間」が取得される(ステップS36)。
次に、対象動画像と関連静止画像とが、同時に液晶モニタ4に表示される。このとき、対象動画像については、例えば最先のフレームのみが静止状態で表示される(ステップS37)。
図12は、対象動画像と関連静止画像との同時表示がなされているときの液晶モニタ4の表示例を示す図である。図に示すように、対象動画像77は液晶モニタ4の画面左側において比較的大きく表示され、この対象動画像77の右側に3つの関連静止画像78が縦方向に配列されて表示される。この図の例の対象動画像77においては、3つの関連静止画像78が存在していることとなる。このような表示により、対象動画像の撮影期間内において取得された静止画像を容易に把握できることとなる。
図11に戻り、このような状態で実行ボタン38が押下されると、対象動画像の再生表示の開始を指示する信号である「再生開始信号」が発生する(ステップS38にてYes)。これに応答して、まず、タイマ64による計時が開始される(ステップS39)。この計時時間は、対象動画像の再生表示の開始からの時間(以下、「再生時間」という。)を示すこととなる。
続いて、対象動画像の再生表示がなされる(ステップS40)。図13は、対象動画像の再生表示がなされているときの液晶モニタ4の表示例を示す図である。図に示すように、対象動画像の再生表示中においては、対象動画像77の下部に再生時間を示す文字列41が表示される。このような対象動画像の再生表示は、再生時間が、撮影期間(「動画開始時刻」から「動画終了時刻」まで)に相当する時間となると終了する(ステップS43)。
また、このような対象動画像の再生表示中においては、再生時間が、対象動画像の撮影開始時点から関連静止画像の取得時点までの時間に相当するとき、その旨を示す表示が行なわれるようになっている。すなわち、再生時間が相対撮影時間となったときに、通常とは異なる特殊表示がなされる。
対象動画像の再生表示中においては、再生時間になったか否かが常時確認される(ステップS41)。そして、再生時間が相対撮影時間になったときは、図13に示すように、当該相対撮影時間に対応する関連静止画像78が拡大表示されるとともに、所定の撮影マーク42が表示される(ステップS42)。図13の例においては、関連静止画像78aが他の関連静止画像78b,78cよりも拡大して強調表示されている。このような特殊表示は、一定期間(例えば1秒間)持続される。複数の関連静止画像が存在するときには、それらの関連静止画像の相対撮影時間ごとに同様の表示がなされる。このような表示により、ユーザは動画像の撮影期間に対して静止画像が取得された時点を事後的に容易に把握できることとなる。
以上のようにデジタルカメラ1においては、動画像の表示の際において、当該動画像に関連付けて記録された静止画像が同時に表示される。したがって、動画像の表示の際において、その動画像の撮影期間内において取得された静止画像を容易に把握できる。さらに、動画像の再生表示中においては、再生時間が、その動画像の撮影開始時点から当該動画像に関連付けて記録された一の静止画像の取得時点までの時間に相当するとき、その旨を示す特殊表示が行なわれる。このため、動画像の撮影期間に対して静止画像が取得された相対時点を事後的に容易に把握できることとなる。
<2.第2の実施の形態>
次に、本発明の第2の実施の形態について説明する。上記第1の実施の形態では、撮像センサ2が2つの出力系統を備えていたが、本実施の形態の撮像センサ2が備える出力系統は1つのみとなっている。本実施の形態のデジタルカメラ1の外観構成は、図1及び図2に示すものと同様である。
図14は、本実施の形態のデジタルカメラ1の主たる内部構成を示すブロック図である。図14に示すように、本実施の形態のデジタルカメラ1の内部構成は、図3に示す第1の実施の形態のものとほぼ同様である。ただし、本実施の形態の撮像センサ2は1つの出力系統のみを有するため、信号処理回路としては1つの信号処理回路57のみが設けられている。この信号処理回路57の構成は、第1の実施の形態の信号処理回路52,53と同様である。また、本実施の形態の撮像センサ2はC−MOSセンサで構成され、受光部25及び出力部26とともにドライバ29を備えている。このドライバ29も、全体制御部6からの信号に基づいて、受光部25及び出力部26に駆動のための信号を送出する。
撮像センサ2の受光部25は、第1の実施の形態と同様、図4に示すように、横1920×縦1440に2次元配列された複数の画素21で構成されている。そして、これらの複数の画素21も、動画像の生成に利用される画素信号を取得する画素21aのグループと、主として静止画像の生成に利用されるその他の画素21bのグループとの2つのグループに区分される。第1グループの画素21aと第2グループの画素21bとの配置は、第1の実施の形態と同様であり、本実施の形態の撮像センサ2においても横640×縦480の画素21aが存在している。ただし、本実施の形態の撮像センサ2では、これら第1及び第2グループの双方の画素信号が一つの出力系統のみを備えた出力部26から出力される。
図15は、出力部26を含む本実施の形態の撮像センサ2の構成を模式的に示す図である。出力部26は、受光部25の垂直画素列ごとに配置された複数の垂直出力ライン261と、これら複数の垂直出力ライン261と電気的に接続された一本の水平出力ライン262とを備えている。
図15に示すように、本実施の形態の撮像センサ2の画素21のそれぞれには、アンプ及びスイッチとして機能するトランジスタ27が配置されている。各画素21は、トランジスタ27を介して垂直出力ライン261に接続される。あるトランジスタ27のゲート電極に対してドライバ29から信号が与えられると、そのトランジスタ27に対応する画素21に蓄積された画素信号が増幅されて、垂直出力ライン261に対して流れる。そして、この画素信号は、垂直出力ライン261からさらに水平出力ライン262に流れ、水平出力ライン262により出力される。全ての画素21の画素信号は、これと同様にして出力される。したがって、撮像センサ2の全ての画素21の画素信号は一の出力系統たる一本の水平出力ライン262を通じて出力される。
ドライバ29は、任意のトランジスタ27のゲート電極に対して選択的に信号を与えることができる。このため、撮像センサ2では、任意の画素21の画素信号を選択的に出力させることが可能となっている。したがって、撮像センサ2では、その受光部25における画素21の配列順序にかかわらず、画素21の画素信号を任意の順序で出力することも可能となっている。以下、このような撮像センサ2の任意の画素21の画素信号を任意の順序で出力できる機能を「任意出力機能」という。
本実施の形態のデジタルカメラ1の「動画モード」の動作は、図8に示すものと同様である。したがって、本実施の形態のデジタルカメラ1においても、動画像の撮影期間内において「静止画取得信号」が発生したときには、これに応答して静止画像が取得される。そしてこの際には、第2グループの出力に影響されず、各フレームに相当する第1グループの画素信号が所定の時間周期で繰り返し出力されるようになっている。本実施の形態では、この動作を実現するために、撮像センサ2の「任意出力機能」が利用され、一の出力系統のみを有する出力部26から、第1グループの画素信号と第2グループの画素信号とが実質的に並列して出力されるようになっている。
図16は、動画像の撮影期間内において「静止画取得信号」が発生したときの本実施の形態のデジタルカメラ1の動作を示すタイムチャートである。
本実施の形態でも、動画像の撮影期間内においては図に示すように、第1グループによる露光、及び、その露光に係る画素信号の出力部26による出力が1/30秒周期で繰り返される。この際には、第1グループの画素21aに係るトランジスタ27のみに対してドライバ29から1/30秒周期で信号が繰り返し与えられる。本実施の形態の出力部26は、1回の露光に係る第1グループの全ての画素信号を、1/30秒より短い期間で出力可能となっている。
このような状態において例えば時点T33において「静止画取得信号」が発生すると、これに応答して、第2グループによる露光E2がなされる。本実施の形態においても、この第2グループの露光E2と第1グループによる露光E1とは、ドライバ29からの信号によりタイミングが一致される(時点T34〜T35)。
これらの露光E1,E2が完了した時点T35以降においても、動画像の各フレームとしての第1グループの画素信号は、1/30秒周期で繰り返し出力部26から出力される。一方で、第2グループの露光E2により得られた画素信号は、繰り返されている第1グループの画素信号の出力期間の相互間において出力部26から出力される。
より具体的には、図16中の下部に示すように、動画像の各フレームを出力すべき一の周期(1/30秒)が、一の処理周期CTとされる。そして、この処理周期CTが分割されて、第1グループの画素信号を出力するための第1出力期間ST1と、第2グループの画素信号を出力するための第2出力期間ST2とに配分される。第1出力期間ST1は、1回の露光に係る第1グループの全ての画素信号を出力可能な期間とされる。換言すれば、一の処理周期CTにおいて、第1グループの全ての画素信号の出力を完了できる期間が第1出力期間ST1とされ、処理周期CTから第1出力期間ST1を除いた残期間が第2出力期間ST2とされるわけである。
このような動作は、撮像センサ2の「任意出力機能」により可能となる。ドライバ29からは、第1出力期間ST1には、第1グループの画素21aに係るトランジスタ27に対して信号が与えられ、第2出力期間ST2には、第2グループの画素21bに係るトランジスタ27に対して信号が与えられる。
第2グループの露光E2により得られた画素信号については、1回の第2出力期間ST2のみでは全ての出力は不可能であるため、複数回の第2出力期間ST2により出力される。したがって、第2グループの露光E2が完了した時点以降においては、複数回の処理期間CTに対して第2出力期間ST2が設定される。図の例においては、時点T35〜T41の6つの処理周期CTにおいて第2出力期間ST2が設定され、第2グループの画素信号が6回に分けて出力されている。この動作も、撮像センサ2の「任意出力機能」により実現される。露光E2により得られた第2グループの各画素21bの画素信号は、対応するトランジスタ27に信号が与えられるまで出力が待機されるが、このような出力待機中の画素信号は各画素21bにおいて保持される。
このように本実施の形態では、処理周期CTが分割され、2つのグループのそれぞれの画素信号を出力するための期間に配分される。これにより、1つの出力系統のみを備える出力部26であっても、第1グループの画素信号と、第2グループの画素信号とを実質的に並列して出力できることとなる。
また、第1グループには、全ての画素信号の出力を完了できる期間が配分され、一方で、第2グループには、その残期間が配分される。このことから、動画像に係る第1グループの画素信号を第2グループよりも優先的に出力でき、一のフレームに相当する第1グループの画素信号を第2グループの画素信号の出力状態に影響されずに所定の時間周期で出力できる。したがって、静止画像の処理に係る期間であっても、動画像のためのフレームを所定の時間周期で取得でき、フレームの抜け落ちの無い動画像を取得することができることとなる。
なお、出力された後の第1グループの画素信号、及び、第2グループの画素信号は、第1の実施の形態と同様に処理されることとなる。
<3.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
例えば、撮像センサ2の複数の画素のうちのいずれの画素を、第1グループ及び第2グループに区分するかは、上記実施の形態のものに限定されず、様々な態様があってよい。例えば、図17に示すように、受光部20(25)において垂直画素列が同一となる画素は、同一のグループに必ず区分されるようにしてもよい。図17の例では、3つの垂直画素列に1つの割合で、第1グループの画素21aのみからなる垂直画素列が存在している。
また、第1の実施の形態において図17のような画素の配置を採用すると、垂直転送部の数を少なくすることができる。図18は、図17の画素の配置を採用したCCDセンサで構成される撮像センサ2の構成を模式的に示す図である。図に示すように、一の垂直画素列には、同一グループのみの画素が含まれている。このため、第1グループの画素21aのみが含まれている垂直画素列には第1出力系統23の垂直転送部231のみが配置される。そして一方、第2グループの画素21bのみが含まれている垂直画素列には第2出力系統24の垂直転送部241のみが配置される。したがって、一の垂直画素列に2つの垂直転送部を配置する必要がないため、撮像センサ2の構成を単純なものにすることができる。
また、上記実施の形態においては、撮像センサ2の画素が区分されるグループの数は、2つであったが、3以上あってもよい。
また、上記実施の形態では、一方のグループが主として動画像の取得を目的とし、他方のグループが主として静止画像の取得を目的としていたが、各グループが取得を目的とする画像が、グループ間で互いに異なる性質のものであれば、画像の性質は特に限定されない。例えば、一方のグループがフレームレートの比較的高い動画像の取得を目的とし他方のグループがフレームレートの比較的低い動画像の取得を目的としている場合や、一方のグループが色温度の比較的高い画像の取得を目的とし他方のグループが色温度の比較的低い画像の取得を目的とする場合などであってもよい。
また、上記実施の形態では、第1グループの露光E1と第2グループの露光E2との露光時間を一致させるとしたが、例えば、被写体の輝度が比較的低い場合などにおいては、第2グループの露光E2の時間を第1グループの露光E1よりも長くしてもよい。
また、上記実施の形態では、動画像のタグ情報に静止画像に係るファイル名を記載することで、動画像と静止画像とを関連付けていたが、関連付け手法はこれに限定されない。例えば、動画像のタグ情報に「デジタルカメラの固有コード」「動画開始時刻」及び「動画終了時刻」を記載し、一方、静止画像のタグ情報に「デジタルカメラの固有コード」及び「静止画撮影時刻」を記載するのみであっても、動画像と、該動画像の撮影期間内において取得された静止画像とを実質的に関連付けることが可能である。また、GPSなどの位置取得機能を備える撮像装置では、動画像と静止画像との双方のタグ情報に同一の「位置情報(撮影された位置)」を記載することでも、動画像と静止画像とを関連付けることが可能である。さらに、文字入力が可能な撮像装置では、動画像と静止画像との双方のタグ情報に同一の「文字情報(タイトル)」を記載することでも、動画像と静止画像とを関連付けることが可能である。
また、動画像の再生表示における液晶モニタ4の表示態様(特殊表示の態様を含む。)は、図13に示したものに限定されない。例えば、図19に示すように、液晶モニタ4の画面の領域全体により動画像を再生表示し、再生時間が相対撮影時間になったときのみ、当該相対撮影時間に対応する関連静止画像78を、動画像に重畳して表示するようにしてもよい。
また、上記実施の形態では、再生時間が相対撮影時間になったときに特殊表示を一定期間行なうと説明したが、例えば、再生時間が相対撮影時間の所定時間前(例えば、0.5秒前)になったときから、特殊表示を行なうようにしてもよい。また、相対撮影時間の所定時間前(例えば、10秒前)から、相対撮影時間にかけてカウントダウン表示を行なうようにしてもよい。これによれば、動画像の撮影期間に対して静止画像が取得された相対時点をさらに明瞭に把握できる。
また、上記実施の形態では、第1グループの画素信号と第2グループの画素信号とを合成して一の静止画像を生成する等の画像処理を行なう画像処理部55は、撮像センサ2と別体で構成されていたが、この画像処理部55と同様の機能を有する回路を撮像センサ2が備えていてもよい。
また、上記実施の形態では、第1画像と第2画像とが合成されて一の静止画像が生成されていたが、画像処理部55の第2画像(第2グループに係る画素信号からなる画像)に対する画素補間により、第2画像のみから一の静止画像が生成されてもよい。ここで画素補間とは、第2画像中に存在しない位置の画素信号を、その周辺の画素信号の置き換え、あるいは、平均等により補間する処理である。
デジタルカメラの斜視図である。 デジタルカメラの背面図である。 デジタルカメラの主たる内部構成の一例を示すブロック図である。 撮像センサの画素の配置の一例を示す図である。 撮像センサの構成の一例を模式的に示す図である。 静止画像に係る画像ファイルの模式図である。 動画像に係る画像ファイルの模式図である。 デジタルカメラの動画モードにおける動作の流れを示す図である。 動画像の撮影期間内の動作を示すタイムチャート図である。 静止画像を生成するまでの処理を模式的に示す図である。 デジタルカメラの表示モードの動作の流れを示す図である。 液晶モニタの表示例を示す図である。 液晶モニタの表示例を示す図である。 デジタルカメラの主たる内部構成の一例を示すブロック図である。 撮像センサの構成の一例を模式的に示す図である。 動画像の撮影期間内の動作を示すタイムチャート図である。 撮像センサの画素の配置の一例を示す図である。 撮像センサの構成の一例を模式的に示す図である。 液晶モニタの表示例を示す図である。
符号の説明
1 デジタルカメラ
2 撮像センサ
21 画素
22 出力部
23 第1出力系統
24 第2出力系統
26 出力部
27 トランジスタ
42 撮影マーク

Claims (11)

  1. 撮像センサであって、
    露光により画素信号を取得し、記録用の動画像の生成に利用する前記画素信号を所定の時間周期で繰り返し取得する第1グループと、所定の指示信号の発生に応答して記録用の静止画像の生成に利用する前記画素信号を取得する第2グループと、を含む2以上のグループのいずれかに区分される複数の画素と、
    前記2以上のグループの前記画素信号を並列して出力可能な出力手段と、
    を備え、
    前記第1グループの画素が前記所定の時間周期で露光を繰り返している場合に、前記指示信号が発生したとき、
    前記第1グループの画素は、前記露光の繰り返しを継続し、
    前記第2グループの画素は、前記第1グループの画素と同一のタイミングで露光を行ない、
    前記出力手段は、前記第1グループの前記画素信号と前記第2グループの前記画素信号とを並列して出力することを特徴とする撮像センサ。
  2. 請求項1に記載の撮像センサにおいて、
    前記出力手段は、前記2以上のグループにそれぞれ対応する前記画素信号を出力する2以上の出力系統を有し、
    前記2以上の出力系統はそれぞれ、互いに独立して対応するグループのみの前記画素信号を出力することを特徴とする撮像センサ。
  3. 請求項1に記載の撮像センサにおいて、
    前記出力手段を所定の処理周期で繰り返し駆動可能な駆動手段、
    をさらに備え、
    前記出力手段は、一の出力系統を有し、
    前記処理周期は分割されて、前記出力手段が前記2以上のグループのそれぞれの前記画素信号を出力するための期間に配分されることを特徴とする撮像センサ。
  4. 請求項1ないし3のいずれかに記載の撮像センサにおいて、
    前記第2グループの画素信号に画素補間を行なって、一の静止画像を生成する手段、
    をさらに備えることを特徴とする撮像センサ。
  5. 請求項1ないし3のいずれかに記載の撮像センサにおいて、
    同一のタイミングの露光により得られた前記第1グループの画素信号と前記第2グループの画素信号とを合成して、一の静止画像を生成する合成手段、
    をさらに備えることを特徴とする撮像センサ。
  6. 撮像装置であって、
    露光により画素信号を取得し、記録用の動画像の生成に利用する前記画素信号を所定の時間周期で繰り返し取得する第1グループと、所定の指示信号の発生に応答して記録用の静止画像の生成に利用する前記画素信号を取得する第2グループと、を含む2以上のグループのいずれかに区分される複数の画素と、
    前記2以上のグループの前記画素信号を並列して出力可能な出力手段と、
    を備え、
    前記第1グループの画素が前記所定の時間周期で露光を繰り返している場合に、前記指示信号が発生したとき、
    前記第1グループの画素は、前記露光の繰り返しを継続し、
    前記第2グループの画素は、前記第1グループの画素と同一のタイミングで露光を行ない、
    前記出力手段は、前記第1グループの前記画素信号と前記第2グループの前記画素信号とを並列して出力することを特徴とする撮像装置。
  7. 請求項6に記載の撮像装置において、
    前記出力手段は、前記2以上のグループにそれぞれ対応する前記画素信号を出力する2以上の出力系統を有し、
    前記2以上の出力系統はそれぞれ、互いに独立して対応するグループのみの前記画素信号を出力することを特徴とする撮像装置。
  8. 請求項6に記載の撮像装置において、
    前記出力手段を所定の処理周期で繰り返し駆動可能な駆動手段、
    をさらに備え、
    前記出力手段は、一の出力系統を有し、
    前記処理周期は分割されて、前記出力手段が前記2以上のグループのそれぞれの前記画素信号を出力するための期間に配分されることを特徴とする撮像装置。
  9. 請求項6ないし8のいずれかに記載の撮像装置において、
    前記第2グループの画素信号に画素補間を行なって、一の静止画像を生成する手段、
    をさらに備えることを特徴とする撮像装置。
  10. 請求項6ないし8のいずれかに記載の撮像装置において、
    同一のタイミングの露光により得られた前記第1グループの画素信号と前記第2グループの画素信号とを合成して、一の静止画像を生成する合成手段、
    をさらに備えることを特徴とする撮像装置。
  11. 請求項10に記載の撮像装置において、
    前記合成手段により生成された静止画像と、該静止画像の一部となった前記第1グループの画素信号を含む動画像とを関連付けて記録する記録手段、
    をさらに備えることを特徴とする撮像装置。
JP2004125318A 2004-04-21 2004-04-21 撮像センサ及び撮像装置 Expired - Fee Related JP4039386B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004125318A JP4039386B2 (ja) 2004-04-21 2004-04-21 撮像センサ及び撮像装置
US11/042,923 US20050237422A1 (en) 2004-04-21 2005-01-25 Image capturing sensor and image capturing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004125318A JP4039386B2 (ja) 2004-04-21 2004-04-21 撮像センサ及び撮像装置

Publications (2)

Publication Number Publication Date
JP2005311665A JP2005311665A (ja) 2005-11-04
JP4039386B2 true JP4039386B2 (ja) 2008-01-30

Family

ID=35135997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004125318A Expired - Fee Related JP4039386B2 (ja) 2004-04-21 2004-04-21 撮像センサ及び撮像装置

Country Status (2)

Country Link
US (1) US20050237422A1 (ja)
JP (1) JP4039386B2 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730322B2 (en) 2004-07-30 2014-05-20 Eyesee360, Inc. Telepresence using panoramic imaging and directional sound and motion
US9325781B2 (en) 2005-01-31 2016-04-26 Invention Science Fund I, Llc Audio sharing
US9489717B2 (en) 2005-01-31 2016-11-08 Invention Science Fund I, Llc Shared image device
US9910341B2 (en) 2005-01-31 2018-03-06 The Invention Science Fund I, Llc Shared image device designation
US9451200B2 (en) 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US9967424B2 (en) 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US9819490B2 (en) 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)
US20070222865A1 (en) 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US9621749B2 (en) * 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
KR101133125B1 (ko) * 2005-06-23 2012-04-06 삼성테크윈 주식회사 촬영시간 표시 시스템 및 방법
EP2040464A4 (en) 2006-06-15 2011-01-12 Nec Corp IMAGE PROCESSING, MOBILE TERMINAL AND SENSOR CONTROL METHOD
JP2009004993A (ja) 2007-06-20 2009-01-08 Fujifilm Corp 動画撮影方法および装置
JP4378572B2 (ja) * 2007-06-28 2009-12-09 Necシステムテクノロジー株式会社 データ転送システム、データ転送方法、ホスト装置及び描画装置
JP5207905B2 (ja) * 2007-12-19 2013-06-12 キヤノン株式会社 撮像システム、撮像素子の駆動方法、プログラム、及び記録媒体
JP5014168B2 (ja) * 2008-01-15 2012-08-29 キヤノン株式会社 撮像システム及び撮像システムの制御方法
JP4587185B2 (ja) * 2008-02-27 2010-11-24 キヤノン株式会社 撮像システム及び撮像装置の制御方法
JP5241559B2 (ja) * 2008-03-31 2013-07-17 キヤノン株式会社 画像記録再生装置
WO2010001741A1 (ja) * 2008-07-03 2010-01-07 株式会社ニコン 撮像装置
JP5463739B2 (ja) * 2009-06-03 2014-04-09 ソニー株式会社 撮像装置、画像処理方法及びプログラム
JP5088395B2 (ja) * 2010-04-15 2012-12-05 株式会社ニコン 電子カメラ
JP4983961B2 (ja) * 2010-05-25 2012-07-25 株式会社ニコン 撮像装置
JP2012015721A (ja) * 2010-06-30 2012-01-19 Olympus Corp 読出し制御装置、読出し制御方法、プログラム、固体撮像装置、および撮像装置
JP5496028B2 (ja) * 2010-09-09 2014-05-21 オリンパス株式会社 読出し制御装置、読出し制御方法、プログラム、および撮像装置
US8971689B2 (en) * 2011-09-02 2015-03-03 Nikon Corporation Imaging device and image-audio playback device
CN105075234B (zh) * 2013-09-30 2019-08-13 株式会社尼康 电子设备、电子设备的控制方法以及控制程序
DE102014223858B4 (de) 2013-11-25 2021-09-23 Canon Kabushiki Kaisha Bildaufnahmevorrichtung und Bildsignalsteuerverfahren
JP6296767B2 (ja) * 2013-11-25 2018-03-20 キヤノン株式会社 撮像装置及び画像信号処理方法
US10142533B2 (en) * 2015-03-27 2018-11-27 Intel Corporation Technologies for controlling user access to image sensors of a camera device
KR102368625B1 (ko) * 2015-07-23 2022-03-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법
CN108882019B (zh) * 2017-05-09 2021-12-10 腾讯科技(深圳)有限公司 视频播放测试方法、电子设备及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828406A (en) * 1994-12-30 1998-10-27 Eastman Kodak Company Electronic camera having a processor for mapping image pixel signals into color display pixels
JP4047943B2 (ja) * 1995-01-31 2008-02-13 富士フイルム株式会社 ディジタル画像データ記録装置および方法ならびにディジタル画像データ再生装置および方法ならびに固体電子撮像装置およびその信号電荷読出し方法
US7110025B1 (en) * 1997-05-28 2006-09-19 Eastman Kodak Company Digital camera for capturing a sequence of full and reduced resolution digital images and storing motion and still digital image data
JP3973408B2 (ja) * 2001-11-22 2007-09-12 富士フイルム株式会社 ディジタル・ムービ・カメラおよびその動作制御方法
JP2003234960A (ja) * 2002-02-06 2003-08-22 Sanyo Electric Co Ltd 撮像装置
KR100465290B1 (ko) * 2002-04-22 2005-01-13 삼성전자주식회사 휴대용 단말기의 표시데이타 전송장치 및 방법
US7312821B2 (en) * 2003-06-03 2007-12-25 Hewlett-Packard Development Company, L.P. Time-sliced still image generation

Also Published As

Publication number Publication date
JP2005311665A (ja) 2005-11-04
US20050237422A1 (en) 2005-10-27

Similar Documents

Publication Publication Date Title
JP4039386B2 (ja) 撮像センサ及び撮像装置
JP5895409B2 (ja) 撮像装置
JP4534816B2 (ja) 撮影装置及びプログラム
JP2012070241A (ja) 撮像装置及び方法、並びにプログラム
KR20120115119A (ko) 소정의 종횡비의 합성 화상을 생성하는 화상 처리 장치
JP4503892B2 (ja) 撮像装置
JP5906023B2 (ja) 撮像装置及びその制御方法
JP3925054B2 (ja) カメラ装置
JP2008283630A (ja) 撮像装置、撮像信号処理方法、プログラム
JP5882599B2 (ja) 撮像装置及びその制御方法
JP2007159095A (ja) 撮像装置
JP2006352229A (ja) デジタルカメラ
JP2005150952A (ja) 画像再生装置および撮像装置
JP2008199271A (ja) 動画静止画兼用の撮像装置
JP4349873B2 (ja) デジタルカメラ及び画像データ記録方法
JP4586320B2 (ja) 電子スチルカメラ
JP6717354B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2014049798A (ja) デジタルカメラ
JP3721965B2 (ja) 電子スチルカメラ及びその画像記録方法、並びに記録媒体
JP2010050599A (ja) 電子カメラ
JP2016131378A (ja) 撮像装置
JP2008172676A (ja) 画像合成装置、画像合成方法
JP2020096212A (ja) 撮像装置およびその制御方法
JP2013146110A (ja) 撮像装置及び方法、並びにプログラム
JP2010187112A (ja) 画像再生装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060327

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061027

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20061117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070914

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071029

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees