JP4902136B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本発明は撮像装置、撮像方法及びプログラムに関して、例えば動画と静止画とを並行処理するために用いて好適な技術に関する。

従来、動画撮影中に外部操作にて静止画キャプチャー指示を受けた場合、静止画用と動画用の複数の映像処理ブロックを有し、静止画像用ブロックにて処理される静止画は、１フレーム期間又は、１フィールド期間にて画面分割されたエリア部分を順次処理し数フレームで１枚を構成するように構成されている（例えば、特許文献１参照）。

また、動画と静止画を別モードにて読み出す撮像素子を持ち、動画記録中に静止画連写コマンド受け付け時は、静止画読み出しに切り換え、予め設定してあるコマ数のみ静止画を連写出来、動画像１枚と静止画１枚分を繰り返し処理する。この時動画データのフレームレートを落とし静止画像の処理を行なうように構成されている（例えば、特許文献２参照）。

特開２００１−３２６８９６号公報 特開２００３−１５８６５３号公報

しかしながら前記従来例、特許文献１では静止画用と動画用の複数の画像処理ブロックを有する構成のため、ＬＳＩのチップ面積が増大することと、動画像と静止画像の同時並行画像処理を行なっているため、消費電力が増大するという課題がある。また、特許文献２では、動画記録中に静止画キャプチャーする際に動画のフレームレートが落ちてしまうという課題がある。

本発明は前述の問題点にかんがみ、動画のフレームレートを落とすことなく動画と静止画とを並行処理できるようにすることを目的としている。

本発明の撮像装置は、フレームごとの画像データを取得する撮像手段と、前記撮像手段より得られた前記フレームごとの撮像データの画像サイズを縮小する縮小手段と、前記縮小手段にて縮小された縮小画像データから動画データを生成するための画像処理をする動画処理手段と、前記動画データの生成中に静止画の撮像指示を入力する入力手段と、前記動画データの生成中における静止画の撮像指示の入力に応じて、当該入力時に前記撮像手段が取得中のフレームよりも後に取得を開始したフレームの画像データであって前記縮小手段により縮小されていない画像データを記憶する記憶手段と、前記動画データの生成中に静止画の撮像指示が入力された場合、前記記憶手段に記憶された前記縮小されていない画像データであって、当該入力時に前記撮像手段が取得中のフレームよりも後に取得を開始したフレームの画像データに対して、前記動画処理手段が動画データを生成するための画像処理を行っていない期間に、静止画データを生成するための画像処理をする静止画処理手段とを有することを特徴とする。

以上本発明によれば、動画像撮像中に動画像より大きなサイズの静止画像をキャプチャーしたい時に、動画像のフレームレートを全く落とすことがなくネットワーク上へ配信可能或いは記録可能となる。

また、全画素メモリーの容量範囲内で、動画撮像中の大画面静止画撮影の連写が可能となり、ＶＤ単位で連続撮影可能となるので動画フレームと同じ速度の連写した画像を得ることができる。

また、画像処理回路ブロックを複数持つ必要がないため、ＬＳＩ化する際に回路規模を増大させる必要がなく、上記制御の実現が可能となる。また、回路規模の増大を防ぐことで、回路の消費電力の低減が可能となる。また、動画像を構成するために静止画像を縮小処理する期間が静止画全画素読み出し中のＶＤ期間のみに限定されるため、動画像処理時の省電力化が計れる。

また、メカシャッターが必要な撮像素子における動画像撮像中に静止画像をキャプチャーしたい時に、動画像としてブラックアウトするフレームを少なくすることが出来、動画像としての違和感の少ない画像を提供することが可能となる。

また、あらゆる高画素撮像素子に対応可能な処理を実現することが出来る。また、動画処理を高速化することで、静止画の分割数を少なく処理することが可能となり、静止画処理期間を短縮と、大画面静止画連写コマ数を拡大することが可能となりさらに、大画面静止画連写が規定コマ数以内なら全画素メモリー容量を削減することが可能となる。

（第１の実施の形態）
本発明の第１の実施例を表す図として、図１、図２、図３であり、図１は本発明の撮像装置の全体概要を表すブロック図であり、図２は本発明の第１の実施例に関わる特徴を示すブロック図であり、図３は本実施例の特徴を表す各種処理タイミングチャートである。

図１の構成順に、１は光電変換素子である撮像素子（撮像素子として特に限定はしないが、ＣＣＤ或いはＣＭＯＳセンサーのような撮像素子を表し、第１の実施の形態としては、動画像を構成する１フレーム時間内で全画素読み出し可能な撮像素子である）、２はレンズ、３は撮像素子１であるＣＣＤ或いはＣＭＯＳセンサーからのアナログ撮像データを所定の量子化ビットに対応してデジタル変換するためのＡ／Ｄ変換を司るＡ／Ｄ変換部である。

４は撮像素子１とＡ／Ｄ変換部３のタイミングをコントロールするためのタイミングジェネレータ、５はＡ／Ｄ変換部３でＡ／Ｄ変換されたデータを動画像用信号と静止画像用信号とに振り分け、画像の縮小、画像のバッファリングをおこなう動画＆静止画処理手段である。

６は動画＆静止画処理手段５にてデータ振り分けされた静止画用フレーム画像データを記憶するための画像データ記憶手段であるところのメモリー（本実施の形態ではＲＡＭを示すがこれは一例であるため、アクセス速度が十分問題ないレベルの素子であればこの限りではない）である。

７は動画＆静止画処理手段５から得られた動画像用データ及び、静止画用データの現像処理を行なう画像処理部、８は画像処理部７にて画像処理する際に処理データと未処理データを一時的に記憶するためのメモリー（本実施の形態ではＲＡＭを示すがこれは一例であるためアクセス速度が十分問題ないレベルの素子であればこの限りではない）である。

９は本実施の形態のシステムを制御するための制御手段であるところのＣＰＵ、１０は画像処理部７にて画像処理されたデータを所定のフォーマットに応じて圧縮処理するためのエンコード処理部（画像フォーマットはＪＰＥＧ、ＭＰＥＧ等規格に準拠したフォーマットであるため、特に限定はしないが本実施の形態ではＪＰＥＧエンコーダで説明する）である。

１１は、エンコード処理部１０で圧縮された動画データ及び静止画データを記録するかネットワーク上に通信するか否かを切り換える切り換え手段、１２は外部ネットワークからの通信コマンドの通信や或いは、１〜１１までの各ブロックにて処理された動画像、静止画像を外部へ配信或いは通信するためのネットワーク通信部である。

１３は本実施の形態の撮像装置内に動画像又は静止画像データを記憶するための記憶手段であるところのストレージ（図１ではストレージと記載しているが、その他データ書き込み可能な不揮発性メモリー、メディア、ハードディスク等データ記憶出来るもの全般を示し、取り替え可能な物でも可であり特に限定はしない）である。

１４は外部からのリモコン制御コマンド受け付け用の赤外線リモコン受信部、１５は、ユーザが外部から直接操作することが可能なキー入力部である。

上記構成において、Ａ／Ｄ変換部３、タイミングジェネレータ４、動画＆静止画処理手段５、画像処理部７、ＣＰＵ９、エンコード処理部１０、切り換え手段１１の各ブロックをＬＳＩ化する際に１チップで構成されている構成である。又、１チップ化ではなく各処理ブロックを別々に構成したり、機器実装上都合の良いＬＳＩ構成にしたりしても構わない。

次に、図２では、図１の１〜９に記載してあるブロックを詳細に説明するブロック図であり、図２の１、３、４、６、７、９は前記図１の１、３、４、６、７、９に対応している。

１６は、Ａ／Ｄ変換部３でＡ／Ｄ変換された撮像データを外部制御コマンド入力に応じて静止画キャプチャー時に静止画像用データとして撮像素子１の全画素分に対応した読み出しデータを記録する記録手段である。

１７は、Ａ／Ｄ変換部３でＡ／Ｄ変換された全画素に対応する撮像データを、動画像を構成する画像サイズに縮小処理する縮小処理手段、１８は縮小処理手段１７からの縮小画像データを所定期間保持しデータのバッファリングをするバッファメモリーである。

１９は、ＣＰＵ９からの制御に応じて動画像と静止画像の画像処理を選択する選択手段、２０は本システムの動作に必要なクロックを生成する発信器、２１は選択手段１９の発信器の周波数を逓倍し高速周波数に設定するＰＬＬ回路である。前記図１と図２の構成において、図３に示すタイミングチャートにて処理の流れを説明する。

図３の信号順に上から、動画像を構成するための垂直同期信号であるＶＤ、縮小処理手段７、バッファメモリー８で動画像を構成する画像を作り出すための縮小処理と縮小データのバッファリング動作タイミングを示すｂ、全画素メモリー６、記録手段６にて静止画像を記憶する記憶手段へのデータ記録保存タイミングを示すａ、画像処理手段７で画像処理するタイミングを示すｃである。

まず通常動画撮影時のデータの流れにて、図３の静止画キャプチャーと記載してあるポイント下矢印部までの期間は動画撮像期間を表し、ＶＤ信号と次のＶＤ信号間のタイミングが動画を構成する単位フレーム期間を表す。

全画素読み出しに対応した撮像素子１をタイミングジェネレータ４をコントロールすることで全画素に対応した撮像データの読み出しを開始、次に前記タイミングジェネレータ４タイミングに応じて、Ａ／Ｄ変換部３でデジタル化したデータを読み出したデータ順に、縮小手段２１７で画像縮小と縮小手段７で縮小画像の一時的なバッファリングを行ない処理された画像を動画像用として構成する。

バッファ１８で一時的にバッファリングされた動画用画像データを、選択手段９で動画像を選択し、図３−ｂの動画バッファリング開始より所定時間経過後から図３−ｃに示す動画処理を画像処理手段２０７にて順次画像処理を実施する。この時に動画処理開始時間を所定時間遅らせた分、１８にてバッファリングされるデータを追い越さないような時間に設定し動画フレーム以内に収まる範囲内で高速に動画像処理を行なう。

この時、ＰＬＬ回路２１にて高速クロックを供給し、画像処理手段７で高速処理を実現している。上記説明にて画像処理する内容は通常現像処理のことを示し、画像のフィルタリング処理、輝度、色差等の補正処理を施し最適な画像を作り出す処理を行なう（処理内容の詳細は公知技術であり、各メーカ等での画像の考え方等により処理内容が異なるため説明は省略する。）。

また、画像処理手段７ではさまざまな画像処理を施しているため、順次各画像処理を時系列に接続する際に画像データを一時的にバッファリング用に図１のメモリー８が存在し図の画像処理手段７をデータの受け渡しをしている（ここの画像処理部のメモリーアクセス等については公知技術のため説明は省略する。）。

次に上記画像処理完了したデータは１ＶＤ期間であるフレーム期間内で１枚の画像を構成し、次の処理ブロックであるエンコード処理部１０へとデータを流していく。エンコード処理部１０では、前記で画像処理されたデータを予め設定してある所定の画像フォーマットであるＪＰＥＧ形式に圧縮処理され、切り換え手段１１で本撮像装置内部にあるストレージに記憶していくか或いは、ネットワーク通信部１２を返して、外部通信先へ通信する。

このような状態に本撮像装置があるのは、外部からの制御指示によりＣＰＵ９が動作し、動画撮影モードとなる。動画データの配信先は、予め外部より制御された制御コマンドに対応するように設定しており、ネットワーク通信部１２を返して外部機器へ動画像通信しているか、ストレージ１３に順次動画データを記録している状態となっている。

前記に示すような動画撮像中に、ネットワーク通信部１２、赤外線リモコン受信部１４、キー入力部１５のいずれかより、前記動画像を構成する画像サイズより大きいサイズの静止画のキャプチャーを要求するコマンドをＣＰＵ９が受け付ける場合を説明する。図３に示す静止画キャプチャーと記載した個所でコマンド受け付けたとした場合、キャプチャーコマンド受け付けから次の１発目のＶＤ（垂直同期信号）からＡ／Ｄ変換部３からの出力信号を読み出し順に記録手段１５で記録を開始し、記憶手段であるメモリー６に順次読み出しが完了するまで記憶していく。

同時に前記にて説明した縮小手段１７、バッファ１８にて動画の縮小とバッファリング動作と前記記憶処理は並行した期間で実行している。静止画用として記憶手段であるメモリー６に記憶してある静止画用記憶データを所定のＶＤ期間カウント後（即、次のカウントを含む）から図３―ｃの空欄部示すように、動画像処理期間以外の期間で画像処理部７にデータを流し画像処理をしていく。

同一画像処理部にて動画処理時間に影響がないように、静止画像を画像処理していく際に、動画像より大きなサイズの静止画１枚分全てのデータ処理が出来ないため、予め設定してある画像エリアに対応して分割した画像毎に図３−ｃの空欄部に示すような動画処理を実行していない非処理期間に分割して静止画像処理を行なう。

本実施の形態では通常動画像はＶＧＡサイズ（６４０×４８０）を動画とし、静止画は縦横２倍の静止画像サイズ（全画素に対応したサイズ）１２８０×９６０で表しており、例として静止画像のサイズがもっと大きな画像サイズに対応する場合は、分割するエリア数を増やし、上記同様に静止画像を処理する。例として、１２８０×９６０に対して縦横２倍の画像サイズの場合は１６分割して静止画像の画像処理をする。但しこれは１例であり、静止画像サイズ、動画像サイズに応じて前記分割数を設定するように構成する。

前記分割数とＶＤフレーム数が対応することとなり、４分割時は、４ＶＤ分の時間で静止画の画像処理が完了することとなる。前記より動画像データは、エンコード処理部１０である画像圧縮処理部で、順次ＪＰＥＧ画像圧縮処理されＭｏｔｉｏｎＪＰＥＧ画像として構成する。

圧縮処理後、動画像は上記にて説明した動画撮像記録するためのストレージ１３に格納するか、ネットワーク通信部１２へデータを流す。静止画像は、分割されている画像データを一度画像処理部７でメモリー８に順次記憶し１枚分の画像データ記憶完了後に静止画像としてエンコード処理部１０へ流しＪＰＥＧ圧縮処理する。

この時静止画のエンコード処理ブロックを、１ブロックとした場合は、動画像通信或いはストレージ終了コマンド受け付け後に、通信の時はネットワーク通信部１２にて１枚の静止画像として配信し、ストレージの時はストレージに１枚の静止画像として記録する（但し、エンコード処理部１０が高速処理可能なブロックである場合は、ストレージコマンド受け付け後にストレージやネットワーク配信を行なわずに、１枚分画像処理後に動画圧縮処理の非圧縮処理期間で１枚分を圧縮処理するように構成しても構わない）。

また、上記説明にて、外部からの静止画キャプチャーコマンドが静止画分割処理期間中に再度受け付けた場合（連写要求を含む）、メモリー６及び、メモリー８容量がオーバーフローしない範囲にて順次静止画キャプチャー動作を実行し続ける。

以上本実施の形態を実現することでの第１の効果として、動画像撮像中に動画像より大きなサイズの静止画像をキャプチャーしたい時に、動画像のフレームレートを全く落とすことがなくネットワーク上へ配信可能或いは記録可能となる。

第２の効果として、全画素メモリー６の容量範囲内で、動画撮像中の大画面静止画撮影の連写が可能となる（ＶＤ単位で連続撮影可能となるので動画フレームと同じ速度の連写した画像を得ることが出来る。）。

第３の効果として、画像処理回路ブロックを複数持つ必要がないため、ＬＳＩ化する際に回路規模を増大させる必要がなく、上記制御の実現が可能となる。

第４の効果として、回路規模の増大を防ぐことで、回路の消費電力の低減が可能となる。

（第２の実施の形態）
本発明の第２の実施の形態を表す図として、図１、図４、図５であり、図１は前記実施例１にて説明してあるものと全く同一構成のブロック図、図４は本発明の第２の実施の形態に関わる特徴を示すブロック図、図５は本実施例の特徴を表すタイミングチャートである。

図１の構成については第１の実施の形態の記載内容と同一である。図４の構成は第１の実施の形態に記載の図２の１〜２１までに対応したブロック図で、異なる点は、図２に記載してあるバッファメモリー１７を持たない構成である。図１及び図４の各ブロックの役割と構成は第１の実施の形態に記載の図１と図２の機能ブロックと同一な構成であるため、説明を省略する。そこで図５のタイミングチャートより説明する。

図５の信号順に上から、動画像を構成するための垂直同期信号であるＶＤ、縮小手段１７の縮小処理動作期間を示すｄ、全画素メモリー６と静止画像を記憶する記録手段１６へのデータ記録タイミングを示すａ、画像処理手段７で画像処理するタイミングを示すｅである。次に前記タイミングチャートに沿って本発明の内容を説明していく。

まず通常動画撮影時のデータの流れで、図５の静止画キャプチャーと記載してあるポイント下矢印部までの期間は動画撮像期間を表し、ＶＤ信号と次のＶＤ信号間のタイミングが動画を構成する単位フレーム期間を表す。全画素読み出しに対応した撮像素子１をタイミングジェネレータ４をコントロールすることで全画素に対応した撮像データの読み出しを開始する。

次に、前記タイミングジェネレータ４タイミングに応じてＡ／Ｄ変換部３でデジタル化したデータを読み出したデータ順に、縮小手段１７で画像縮小のみの処理を行ない処理された画像を動画像用として構成する。第１の実施の形態と異なる点は、縮小処理した画像のバッファリングを行なわない構成としている。

ここでの動画用画像データを、選択手段１９で動画像を選択し、図５−ｄの動画縮小画像処理された順に図５−ｅに示す動画処理を画像処理手段７にて順次画像処理を実施する。画像処理内容は通常現像処理のことを示し、画像のフィルタリング処理、輝度、色差等の補正処理を施し最適な画像を作り出す処理を行なう（処理内容の詳細は公知技術であり、各メーカ等での画像の考え方等により処理内容が異なるため説明は省略する。）。

また、画像処理手段７ではさまざまな画像処理を施しているため、順次各画像処理を時系列に接続する際に画像データを一時的なバッファリング用にメモリー８が存在し、画像処理手段７でデータの受け渡しをしている（ここの画像処理部のメモリーアクセス等については公知技術のため説明は省略する。）。

次に上記画像処理完了したデータは１ＶＤ期間であるフレーム期間内で１枚の画像を構成し、次の処理ブロックであるエンコード処理部１０へとデータを流していく。エンコード処理部１０では、前記で画像処理されたデータを予め設定してある所定の画像フォーマットであるＪＰＥＧ形式に圧縮処理され、切り換え手段１１で本撮像装置内部にあるストレージに記憶していくかあるいは、ネットワーク通信部１２を返して、外部通信先へ通信する。

このような状態に本撮像装置があるのは、外部からの制御指示によりＣＰＵ９が動作し、動画撮影モードとなる。動画データの配信先は、予め外部より制御された制御コマンドに対応するように設定しており、ネットワーク通信部１２を返して外部機器へ動画像通信しているか、ストレージ１３に順次動画データを記録している状態となっている。

前記に示すような動画撮像中に、ネットワーク通信部１２、赤外線リモコン受信部１４、キー入力部１５のいずれかより、前記動画像を構成する画像サイズより大きいサイズの静止画のキャプチャーを要求するコマンドをＣＰＵ９が受け付ける場合を説明する。

図３に示す静止画キャプチャーと記載した個所でコマンド受け付けたとした場合、キャプチャーコマンド受け付けから第１発目のＶＤ（垂直同期信号）からＡ／Ｄ変換部３からの出力信号を読み出し順に記録手段１６で記録し、記憶手段である全画素メモリー６に順次読み出しが完了するまで記憶していく。

同時に縮小手段１７により図５−ｄの縮小手段の期間のタイミングで順次縮小処理を実施する。静止画用として記憶手段である全画素メモリー６に記憶してあるデータを所定のＶＤ期間カウント後から図５−ｅの空欄部に示すような動画像処理期間以外の非処理期間で画像処理手段７にデータを流し画像処理をしていく。

静止画像を画像処理していく際に、静止画１枚分全てのデータを流すことはできないため、予め設定してある画像エリアに対応して分割した画像毎に図５に示すような動画処理を実行していない非処理期間である動画フレーム単位期間の帰線期間中にほぼ対応した期間に分割して静止画処理を行なう。次に、上記説明にて画像処理された静止画像データは、エンコード処理部１０である画像圧縮処理部で、順次ＪＰＥＧ画像圧縮処理する。

本実施の形態の説明より動画像データは、エンコード処理部１０である画像圧縮処理部で、順次ＪＰＥＧ画像圧縮処理されｍｏｔｉｏｎＪＰＥＧ画像として構成され動画像は前記にて説明した動画撮像記録するための図１−１３のストレージ１３に格納するか、ネットワーク通信部１２へデータを流す。

静止画像は、分割されている画像データを一度画像処理手段７でのメモリー８に順次記憶し１枚分の画像データ記憶完了後に静止画像をエンコード処理部１０へ流しＪＰＥＧ圧縮処理する。この時静止画のエンコード処理ブロックを、１ブロックとした場合は、動画像通信あるいはストレージ終了コマンド受け付け後に、通信の時はネットワーク通信部１２にて１枚の静止画像として配信し、ストレージの際はストレージ１３に１枚の静止画像として記録する（但し、エンコード処理部１０が高速処理可能なブロックである場合は、ストレージコマンド受け付け後にストレージやネットワーク配信を行なわずに、１枚分画像処理後に動画圧縮処理の非圧縮処理期間で１枚分を圧縮処理するように構成しても構わない）。

また、本実施の形態の説明にて、外部からの静止画キャプチャーコマンドが静止画分割処理期間中に再度受け付けた場合（連写要求を含む）、全画素メモリー６及び、メモリー８の容量がオーバーフローしない範囲にて順次静止画キャプチャー動作を実行し続ける。

本実施の形態では、前記動画処理期間以外の非処理期間が第１の実施の形態に記載の期間よりも短く構成されているが、動画及び静止画の画像サイズが小さくなるとこの方法でも処理期間が十分満足できる設定である。

以上、本実施の形態を実現することで、第１の実施の形態と同様に、本実施の形態における第１の効果として、動画像撮像中に動画像より大きなサイズの静止画像をキャプチャーしたい時に、動画像のフレームレートを全く落とすことがなくネットワーク上へ配信可能あるいは記録可能となる。

第２の効果として、全画素メモリー６の容量範囲内で、動画撮像中の大画面静止画撮影の連写が可能となる（ＶＤ単位で連続撮影可能となるので動画フレームと同じ速度の連写した画像を得ることが出来る。）。

第３の効果として、画像処理回路ブロックを複数持つ必要がないため、ＬＳＩ化する際に回路規模を増大させる必要がなく、上記制御の実現が可能となる。

第４の効果として、回路規模の増大を防ぐことで、回路の消費電力の低減が可能となる。

第５の効果として、動画像構成用に縮小画像用バッファが不要であるため、第３の効果と第４の効果をより促進することが可能となる。

（第３の実施の形態）
本発明の第３の実施の形態を表す図は、図６、図７、図８であり図６は本の実施の形態の全体概要を表すブロック図、図７は本実施の形態に関わる特徴を示すブロック図、図８は本実施の形態の特徴を表す各種処理タイミングチャートである。

図６において、図１と同じ機能を有するものは、図１と同一の番号を付している。図６の構成順に、１は光電変換素子である撮像素子（撮像素子として特に限定はしないが、ＣＣＤ或いはＣＭＯＳセンサーのような撮像素子を表し、本実施の形態としては、動画像を構成する１フレーム時間内で全画素読み出し可能な撮像素子である）、２はレンズである。

３は撮像素子１であるＣＣＤ或いはＣＭＯＳセンサーからのアナログ撮像データを所定の量子化ビットに対応してデジタル変換するためのＡ／Ｄ変換を司るＡ／Ｄ変換部、４は撮像素子１とＡ／Ｄ変換部３のタイミングをコントロールするためのタイミングジェネレータ、７はＡ／Ｄ変換部３でＡ／Ｄ変換された画像データの現像処理を行なう画像処理部である。

８は７の画像処理部７にて画像処理する際に処理データと未処理データを一時的に記憶するためのメモリー（本実施の形態ではＲＡＭを示すがこれは一例であるため、アクセス速度が十分問題ないレベルの素子であればこの限りではない）、９は本実施の形態のシステムを制御するための制御手段であるところのＣＰＵである。

１０は後述する動画＆静止画処理手段２４のブロックより処理されたデータを所定のフォーマットに応じて圧縮処理するためのエンコード処理部（画像フォーマットはＪＰＥＧ、ＭＰＥＧ等規格に準拠したフォーマットであるため、特に限定はしないが本実施の形態ではＪＰＥＧエンコーダで説明する）である。

１１は、エンコード処理部１０で圧縮された動画データ及び静止画データを記録するかネットワーク上に通信するか否かを切り換える切り換え手段、１２は外部ネットワークからの通信コマンドの通信あるいは、前記各ブロックにて処理された動画像、静止画像を外部へ配信或いは通信するためのネットワーク通信部である。

１３は本発明の撮像装置内に動画像又は静止画像データを記憶するための記憶手段であるところのストレージ（図１ではストレージと記載しているが、その他データ書き込み可能な不揮発性メモリー、メディア、ハードディスク等データ記憶出来るもの全般を示し、取り替え可能な物でも可であり特に限定はしない）、１４は外部からのリモコン制御コマンド受け付け用の赤外線リモコン受信部である。

１５は、ユーザが外部から直接操作することが可能なキー入力部である。２３は後述する動画＆静止画処理手段２４にてデータ振り分けされた静止画用フレーム画像データを記憶するための画像データ記憶手段であるところのメモリー（本実施の形態ではＲＡＭを示すがこれは一例であるため、アクセス速度が十分問題ないレベルの素子であればこの限りではない）である。

２４は画像処理部７により画像処理された画像データを動画像用信号と静止画像用信号とに振り分け、画像の縮小、画像のバッファリングをおこなう動画＆静止画処理手段、２５は、切り換え手段１１により切り換えられた画像データ（主に静止画データ）を合成処理するための画像合成手段である。

前記構成において、Ａ／Ｄ変換部３、タイミングジェネレータ４、画像処理部７、ＣＰＵ９、エンコード処理部１０、切り換え手段１１、動画＆静止画処理手段２４、図６−２５の画像合成手段２５、の各ブロックをＬＳＩ化する際に１チップで構成されている構成である。また、１チップ化ではなく各処理ブロックを別々に構成したり、機器実装上都合の良いＬＳＩ構成にしても構わない。

次に、本実施の形態の詳細を説明するブロック図として図７で表す。
図７において、構成順に、７は図６と同様、Ａ／Ｄ変換部３のＡ／Ｄ変換された画像データの現像処理を行なう画像処理部、２３は、後述する記録手段２６に記憶された静止画用フレーム画像データを記憶するための画像データ記憶手段であるところのメモリー（本実施の形態ではＲＡＭを示すがこれは一例であるため、アクセス速度が十分問題ないレベルの素子であればこの限りではない）である。

２６は、画像処理部７で画像処理された画像データを外部制御コマンド入力に応じて静止画キャプチャー時に静止画像用データとして、１ＶＤフレーム期間中の全画素分データに対応した画像処理データを記録する記録手段、２７は、撮像素子１の全画素データ分に対応する画像処理されたデータを、動画像を構成する画像サイズに、縮小処理する縮小手段である。

２８は、制御手段であるＣＰＵ９からの制御に応じて動画像と静止画像の画像圧縮処理を切り換える切り換え手段、２９は本システムの動作に必要なクロックを生成する発信器、３０は発信器２９の周波数を逓倍し高速周波数に設定するＰＬＬ回路である。

前記図６と図７の構成において、図８に示すタイミングチャートにて処理の流れを説明する。図８の信号順に上から、動画像を構成するための垂直同期信号であるＶＤ、画像処理部７で画像処理されるタイミングを示すｆ、全画素メモリー２３と静止画像を記憶する記録手段２６へのデータ記録保存タイミングを示すａ、縮小手段２７によって画像処理部７にて画像処理された画像データを縮小処理するタイミングを示すｇである。

まず通常動画撮影時のデータの流れにて、図８の静止画キャプチャーと記載してあるポイント下矢印部までの期間は動画撮像期間を表し、ＶＤ信号と次のＶＤ信号間のタイミングが動画を構成する単位フレーム期間を表す。全画素読み出しに対応した撮像素子１をタイミングジェネレータ４をコントロールすることで全画素に対応した撮像データの読み出しを開始する。

次に、前記タイミングジェネレータ４のタイミングに応じてＡ／Ｄ変換部３でデジタル化したデータを読み出したデータ順に、図８−ｆに示す動画処理を画像処理手段７にて、全画素分のデータを順次画像処理する。画像処理内容は通常現像処理のことを示し、画像のフィルタリング処理、輝度、色差等の補正処理を施し最適な画像を作り出す処理を行なう（処理内容の詳細は公知技術であり、各メーカ等での画像の考え方等により処理内容が異なるため説明は省略する。）。

また、画像処理部７ではさまざまな画像処理を施しているため、順次各画像処理を時系列に接続する際に画像データを一時的なバッファリング用にメモリー８が存在し、画像処理部７とデータの受け渡しをしている（ここの画像処理部のメモリーアクセス等については公知技術のため説明は省略する。）。

次に、画像処理部７にて全画素に対応し画像処理された画像データを、縮小手段２７で画像縮小処理した画像を動画像用として構成する。切り換え手段２８で動画像を選択し、図８−ｇ示すようなタイミングにて前記縮小手段２７にて縮小された縮小動画像をエンコード処理部１０で、予め設定してある所定の画像フォーマットであるＪＰＥＧ形式に順次圧縮処理され、切り換え手段１１で本撮像装置内部にあるストレージ１３に記憶していくかあるいは、ネットワーク通信部１２を介して、外部通信先へ通信する。

このような状態に本撮像装置があるのは、外部からの制御指示によりＣＰＵ９が動作し、動画撮影モードとなる。動画データの配信先は、予め外部より制御された制御コマンドに対応するように設定しており、ネットワーク通信部１２を介して外部機器へ動画像通信しているか、ストレージ１３に順次動画データを記録している状態となっている。

前記に示すような動画撮像中に、ネットワーク通信部１２、赤外線リモコン受信部、キー入力部１５のいずれかより、前記動画像を構成する画像サイズより大きいサイズの静止画のキャプチャーを要求するコマンドをＣＰＵ９が受け付ける場合を説明する。

図８に示す静止画キャプチャーと記載した個所でコマンド受け付けたとした場合、キャプチャーコマンド受け付けから第１発目のＶＤ（垂直同期信号）から画像処理部７にて画像処理が施された順に記録手段２６で記録し、記憶手段である全画素メモリー２３に順次画像処理が完了するまで記憶していく。同時に縮小手段２７により縮小された画像を図８−ｇの圧縮手段の期間のタイミングで順次エンコード処理部１０にてＪＰＥＧ画像へ圧縮処理を実施する。

静止画用として前記記憶手段であるメモリー２３に記憶してあるデータを所定のＶＤ期間カウント後から図８−ｇの空欄部に示すような動画像圧縮処理期間以外の非圧縮動作期間でエンコード処理部１０にデータを流し画像圧縮処理をしていく。静止画像を画像処理していく際に、静止画１枚分のデータを、予め設定してある画像エリアに対応して分割した画像毎に図８に示すような動画処理を実行していない非処理期間である動画フレーム単位期間の帰線期間中にほぼ対応した期間に分割して静止画像の圧縮処理を行なう。

本実施の形態の説明より、動画像データは、エンコード処理部１０である画像圧縮処理部で、順次ＪＰＥＧ画像圧縮処理されＭｏｔｉｏｎＪＰＥＧ画像として構成され動画像は前記にて説明した動画撮像記録するためのストレージ１３に格納するか、ネットワーク通信部１２へデータを流す。

静止画像は、圧縮分割されている画像データを、画像合成手段２５で１枚分の画像データとして合成完了後、通信の時はネットワーク通信部１２にて１枚の静止画像として配信し、ストレージの際はストレージ１３に１枚の静止画像として記録する。

ここで、エンコード処理部１０で圧縮された静止画の画像データを１枚に合成してネットワーク配信及び、ストレージ記録するように構成しているが、前記にて分割圧縮した画像を分割したままネットワーク配信及びストレージ記録しても構わない構成とする。

また、本実施の形態の説明にて、外部からの静止画キャプチャーコマンドが静止画分割処理期間中に再度受け付けた場合（連写要求を含む）、全画素メモリー２３の容量がオーバーフローしない範囲にて順次静止画キャプチャー動作を実行し続ける。

以上、本実施の形態を実現することで、第１の実施の形態と同様に、本実施の形態の第１の効果として、動画像撮像中に動画像より大きなサイズの静止画像をキャプチャーしたい時に、動画像のフレームレートを全く落とすことがなくネットワーク上へ配信可能あるいは記録可能となる。

第２の効果として、全画素メモリー６の容量範囲内で、動画撮像中の大画面静止画撮影の連写が可能となる。（ＶＤ単位で連続撮影可能となるので動画フレームと同じ速度の連写した画像を得ることができる。）

第３の効果として、画像処理回路ブロックを複数持つ必要がないため、ＬＳＩ化する際に回路規模を増大させる必要がなく、上記制御の実現が可能となる。

第４の効果として、回路規模の増大を防ぐことで、回路の消費電力の低減が可能となる。

第５の効果として、動画像構成用に縮小画像用バッファが不要であるため、第３の効果と第４の効果をより促進することが可能となる。

（第４の実施の形態）
本発明の第４の実施の形態を表す図として、図１、図９、図１０であり、図１は本発明の撮像装置の全体概要を表すブロック図、図９は本実施の形態に関わる特徴を示すブロック図、図１０は本実施の形態の特徴を表す各種処理タイミングチャートである。

図１において構成順に、１は光電変換素子である撮像素子（撮像素子として特に限定はしないが、ＣＣＤ或いはＣＭＯＳセンサーのような撮像素子を表し、本実施の形態としては、動画に対応した動画用読み出しチャンネルと静止画読み出しに対応した静止画用読み出しチャンネルを有する撮像素子で、動画チャンネルは全画素データの内の動画に対応した画像サイズに合わせて画素間引き出力、或いは画素加算されたデータ読み出し可能なチャンネル、静止画チャンネルは動画像を構成する１フレーム時間内で全画素分のデータが読み出し可能なチャンネルを有する撮像素子である）である。

２はレンズ、３は撮像素子１であるＣＣＤ或いはＣＭＯＳセンサーからのアナログ撮像データを所定の量子化ビットに対応してデジタル変換するためのＡ／Ｄ変換を司るＡ／Ｄ変換部、４は撮像素子１とＡ／Ｄ変換部３のタイミングをコントロールするためのタイミングジェネレータ、５はＡ／Ｄ変換部３でＡ／Ｄ変換されたデータを動画像用信号と静止画像用信号とに振り分け、画像の縮小、画像のバッファリングをおこなう動画＆静止画処理手段である。

６は５の動画＆静止画処理手段にてデータ振り分けされた静止画用フレーム画像データを記憶するための画像データ記憶手段であるところのメモリー（本実施の形態ではＲＡＭを示すがこれは一例であるため、アクセス速度が十分問題ないレベルの素子であればこの限りではない）、７は動画＆静止画処理手段５から得られた動画像用データ及び、静止画用データの現像処理を行なう画像処理部である。

８は画像処理部７にて画像処理する際に処理データと未処理データを一時的に記憶するためのメモリー（本実施の形態ではＲＡＭを示すがこれは一例であるため、アクセス速度が十分問題ないレベルの素子であればこの限りではない）、９は本実施の形態のシステムを制御するための制御手段であるところのＣＰＵである。

１０は画像処理部７にて画像処理されたデータを所定のフォーマットに応じて圧縮処理するためのエンコード処理部（画像フォーマットはＪＰＥＧ、ＭＰＥＧ等規格に準拠したフォーマットであるため、特に限定はしないが本実施の形態ではＪＰＥＧエンコーダで説明する）、１１は、エンコード処理部１０で圧縮された動画データ及び静止画データを記録するかネットワーク上に通信するか否かを切り換える切り換え手段である。

１２は外部ネットワークからの通信コマンドの通信やあるいは、図１の１〜１１までの各ブロックにて処理された動画像、静止画像を外部へ配信あるいは通信するためのネットワーク通信部、１３は本発明の撮像装置内に動画像又は静止画像データを記憶するための記憶手段であるところのストレージ（図１ではストレージと記載しているが、その他データ書き込み可能な不揮発性メモリー、メディア、ハードディスク等データ記憶出来るもの全般を示し、取り替え可能な物でも可であり特に限定はしない）である。１４は外部からのリモコン制御コマンド受け付け用の赤外線リモコン受信部、１５は、ユーザが外部から直接操作することが可能なキー入力部である。

前記構成において、Ａ／Ｄ変換部３、タイミングジェネレータ４、動画＆静止画処理手段５、画像処理部７、ＣＰＵ９、エンコード処理部１０、切り換え手段１１の各ブロックをＬＳＩ化する際に１チップで構成されている構成である。また、１チップ化ではなく各処理ブロックを別々に構成したり、機器実装上都合の良いＬＳＩ構成にしても構わない。

次に、図９は、図１の１〜９に記載してあるブロックを詳細に説明するブロック図であり、図９の１、３、４、６、７、９は前記説明した図１の１、３、４、６、７、９に対応している。図９の１７は、静止画用の読み出しチャンネルで読み出した全画素対応画像データを動画として構成する画像サイズに縮小処理する縮小手段、１５は、撮像素子１の静止画モードに対応した全画素読み出しデータを記録する記録手段である。

１８は縮小手段１７からの縮小画像データを所定期間保持しデータのバッファリングをするバッファメモリー、１９は、制御手段であるＣＰＵ９からの制御に応じて動画像と静止画像の画像処理を選択する選択手段、２０は本システムの動作に必要なクロックを生成する発信器、２１は発信器２０の周波数を逓倍し高速周波数に設定するＰＬＬ回路である。

３１は、Ａ／Ｄ変換部３でＡ／Ｄ変換された撮像データを動画チャンネルと静止画チャンネル読み出しに対応してデータ処理ブロックの流れを切り換えるための切り換え手段、３２は、切り換え手段３１によって動画像チャネル読み出しモードで読みだされた画像をバッファリングするためのバッファである。前記図１と図９の構成において、図１０に示すタイミングチャートにて処理の流れを説明する。

図１０の信号順に上から、動画像を構成するための垂直同期信号であるＶＤ、バッファ３２で通常の動画像チャンネルより読み出した動画像データのバッファリング動作タイミングを示すｈ、全画素メモリー６と静止画像を記憶する記憶手段１６へのデータ記録保存タイミングを示すｉ、縮小手段１７とバッファ１８で動画像を構成する画像を作り出すための縮小処理と縮小データのバッファリング動作タイミングを示すｊ、画像処理手段７で画像処理するタイミングを示すｋである。

まず通常動画撮影時のデータの流れにて、図９の静止画キャプチャーと記載してあるポイント下矢印部までの期間は動画撮像期間を表し、ＶＤ信号と次のＶＤ信号間のタイミングが動画を構成する単位フレーム期間を表す。動画チャンネル設定にてタイミングジェネレータ４をコントロールすることで動画像サイズ対応した画素撮像データの読み出しを開始する。

次に、前記タイミングジェネレータ４のタイミングに応じてＡ／Ｄ変換部３でデジタル化したデータを読み出したデータ順に、切り換え手段３１にデータを入力する。切り換え手段３１は通常動画撮影時は動画モードに切り換えておく。

バッファメモリー３２に一時的にバッファリングされた動画用画像データを、選択手段１９で動画像を選択し、図１０−ｈの動画バッファリング開始より所定時間経過後から図１０−ｋに示す動画処理を画像処理手段７にて順次画像処理を実施する。この時に動画処理開始時間を所定時間遅らせた分、バッファ３２にてバッファリングされるデータを追い越さないような時間に設定し動画フレーム以内に収まる範囲内で高速に動画像処理を行なう。この時、ＰＬＬ回路２１にて高速クロックを供給し、画像処理手段７の高速処理を実現している。

前記説明にて画像処理する内容は通常現像処理のことを示し、画像のフィルタリング処理、輝度、色差等の補正処理を施し最適な画像を作り出す処理を行なう（処理内容の詳細は公知技術であり、各メーカ等での画像の考え方等により処理内容が異なるため説明は省略する。）。また、画像処理部７ではさまざまな画像処理を施しているため、順次各画像処理を時系列に接続する際に画像データを一時的にバッファリング用にメモリー８が存在し、画像処理部７をデータの受け渡しをしている（ここの画像処理部のメモリーアクセス等については公知技術のため説明は省略する。）。

次に、前記画像処理完了したデータは１ＶＤ期間であるフレーム期間内で１枚の画像を構成し、次の処理ブロックであるエンコード処理部１０へとデータを流していく。エンコード処理部１０では、前記で画像処理されたデータを予め設定してある所定の画像フォーマットであるＪＰＥＧ形式に圧縮処理され、切り換え手段１１で本撮像装置内部にあるストレージに記憶していくかあるいは、ネットワーク通信部１２を介して、外部通信先へ通信する。

このような状態に本撮像装置があるのは、外部からの制御指示によりＣＰＵ９が動作し、動画撮影モードとなる。動画データの配信先は、予め外部より制御された制御コマンドに対応するように設定しており、ネットワーク通信部１２を介して外部機器へ動画像通信しているか、ストレージ１３に順次動画データを記録している状態となっている。

前記に示すような動画撮像中に、ネットワーク通信部１２、赤外線リモコン受信部１４、キー入力部のいずれかより、前記動画像を構成する画像サイズより大きいサイズの静止画のキャプチャーを要求するコマンドをＣＰＵ９が受け付ける場合を説明する。

図１０に示す静止画キャプチャーと記載した個所でコマンド受け付けたとした場合、キャプチャーコマンド受け付けから次の１発目のＶＤ（垂直同期信号）から撮像素子１を静止画像読み出し対応の全画素読み出しチャンネル読み出しに切り換える。切り換えは、タイミングジェネレータ４の読み出しタイミングを切り換えることで実現する。同時に切り換え手段３１にて静止画読み出し用として記録手段１５と、縮小手段１７へ並列にデータを流す。このフレームは、静止画像データ記憶フレームと定め、Ａ／Ｄ変換部３からの出力信号を読み出し順に記録手段１５で記録を開始し、記憶手段であるメモリー６に順次読み出しが完了するまで記憶していく。

同時に前記にて説明した縮小手段１７とバッファ１８にて前のＶＤ期間で読み出されていた動画像チャンネルと同サイズの画像の縮小とバッファリングは並行して処理している。キャプチャー制御信号受け付け時から次の１ＶＤフレーム期間の動画像用データは、静止画像を縮小した画像を使用する。

その後、即次のＶＤフレームより前記記載した動画モード読み出しチャンネルに切り換え、画像処理手段７にて動画像処理を順次実施する。また、静止画像用データとして記憶された静止画用として記憶手段であるメモリー６に記憶してある静止画用記憶データを所定のＶＤ期間カウント後（即、次のカウントを含む）から図９―ｋの空欄部に示すように、動画像処理期間以外の期間での画像処理手段７にデータを流し画像処理をしていく。

同一画像処理部にて動画処理時間に影響がないように、静止画像を画像処理していく際に、動画像より大きなサイズの静止画１枚分全てのデータ処理が出来ないため、予め設定してある画像エリアに対応して分割した画像毎に図３に示すような動画処理を実行していない非処理期間に分割して静止画処理を行なう。

本実施の形態では動画読み出しチャンネルによって読み出された動画像はＶＧＡサイズ（６４０×４８０）を動画とし、静止画読み出しチャンネルによって読み出された静止画像静止画は縦横２倍の静止画像サイズ（全画素に対応したサイズ）１２８０×９６０で表しており、例として静止画像のサイズがもっと大きな画像サイズに対応する場合は、分割するエリア数を増やし、前記同様に静止画像を処理する。例として、１２８０×９６０の縦横比２倍の画像サイズの場合は１６分割して静止画像の画像処理をする。但しこれは１例であり、静止画像サイズ、動画像サイズに応じて前記分割数を設定するように構成する。

前記より動画像データは、エンコード処理部１０である画像圧縮処理部で、順次ＪＰＥＧ画像圧縮処理されモーションＪＰＥＧ画像として構成する。圧縮処理後、動画像は前記にて説明した動画撮像記録するためのストレージ１３に格納するか、ネットワーク通信部１２へデータを流す。

静止画像は、分割されている画像データを一度画像処理部７でメモリー８に順次記憶し１枚分の画像データ記憶完了後に静止画像としてエンコード処理部１０へ流しＪＰＥＧ圧縮処理する。この時静止画のエンコード処理ブロックを、１ブロックとした場合は、動画像通信或いはストレージ終了コマンド受け付け後に、通信の時はネットワーク通信部１２にて１枚の静止画像として配信し、ストレージの時はストレージに１枚の静止画像として記録する（但し、エンコード処理部１０が高速処理可能なブロックである場合は、ストレージコマンド受け付け後にストレージやネットワーク配信を行なわずに、１枚分画像処理後に動画圧縮処理の非圧縮処理期間で１枚分を圧縮処理するように構成しても構わない）。

また、前記説明にて、外部からの静止画キャプチャーコマンドが静止画分割処理期間中に再度受け付けた場合（連写要求を含む）、全画素メモリー６及び、メモリー８の容量がオーバーフローしない範囲にて順次静止画キャプチャー動作を実行し続ける。

以上、本実施の形態を実現することで、第１の実施の形態と同様に、本実施の形態の第１の効果として、動画像撮像中に動画像より大きなサイズの静止画像をキャプチャーしたい時に、動画像のフレームレートを全く落とすことがなくネットワーク上へ配信可能あるいは記録可能となる。

第２の効果として、全画素メモリー６の容量範囲内で、動画撮像中の大画面静止画撮影の連写が可能となる（ＶＤ単位で連続撮影可能となるので動画フレームと同じ速度の連写した画像を得ることができる。）。

第３の効果として、画像処理回路ブロックを複数持つ必要がないため、ＬＳＩ化する際に回路規模を増大させる必要がなく、前記制御の実現が可能となる。

第４の効果として、回路規模の増大を防ぐことで、回路の消費電力の低減が可能となる。

第５の効果として、動画像を構成するために静止画像を縮小処理する期間が静止画全画素読み出し中のＶＤ期間のみに限定されるため、動画像処理時の省電力化が計れる。

（第５の実施の形態）
本発明の第５の実施の形態を表す図として、図１１、図１２、図１３であり、図１１は本発明の撮像装置の全体概要を表すブロック図、図１２は本実施の形態に関わる特徴を示すブロック図、図１３は本実施の形態の特徴を表す各種処理タイミングチャートである。

図１１の構成順に、１は光電変換素子である撮像素子１（撮像素子として特に限定はしないが、ＣＣＤ或いはＣＭＯＳセンサーのような撮像素子を表し、本実施の形態としては、動画に対応した動画用読み出しチャンネルと静止画読み出しに対応した静止画用読み出しチャンネルを有する撮像素子で、動画チャンネルは全画素データの内の動画サイズに対応した画素間引あるいは画素加算されたデータ読み出し可能なチャンネル、静止画チャンネルは、静止画用の露光期間を必要とし、露光期間とは別の期間にて動画像を構成する複数のフレーム期間で全画素分のデータが読み出し可能なチャンネルを有する撮像素子である。主に、３００万画素〜４００万画素程度のセンサーにて２フレーム期間で全画素読み出し可能な撮像素子）である。

図１１の２〜１５までの構成は、前記第１の実施の形態に記載の図１の２〜１５に対応している。３３は、前記撮像素子１のセンサー読み出し期間中に外部からの光を物理的に閉じるメカシャッターである。

前記構成において、Ａ／Ｄ変換部３、タイミングジェネレータ４、動画＆静止画処理手段５、画像処理手段７、ＣＰＵ９、エンコード処理部１０、切り換え手段１１の各ブロックをＬＳＩ化する際に１チップで構成されている構成である。また、１チップ化ではなく各処理ブロックを別々に構成したり、機器実装上都合の良いＬＳＩ構成にしても構わない。

次に、図１２は、図１１の１〜９に記載してあるブロックを詳細に説明するブロック図であり、図１２の１、３、４、６、７、９は前記説明した図１の１、３、４、６、７、９に対応している。１７は、静止画用の読み出しチャンネルで読み出した全画素対応画像データを動画として構成する画像サイズに縮小処理する縮小手段、１５は、撮像素子１の静止画モードに対応した全画素読み出しデータを記録する記録手段である。

１８は縮小手段１７からの縮小画像データを所定期間保持しデータのバッファリングをするバッファメモリー、１９は、制御手段であるＣＰＵ９からの制御に応じて動画像と静止画像の画像処理を選択する選択手段、２０は本システムの動作に必要なクロックを生成する発信器、２１は発信器２０の周波数を逓倍し高速周波数に設定するＰＬＬ回路である。

３１は、Ａ／Ｄ変換部３でＡ／Ｄ変換された撮像データを動画チャンネルと静止画チャンネル読み出しに対応してデータ処理ブロックの流れを切り換えるための切り換え手段、３２は、切り換え手段３１によって動画像チャネル読み出しモードでよみだされた画像をバッファリングするためのバッファメモリーである。

３３は、図１１の３３に対応しており、前記撮像素子１のセンサー読み出し期間中に外部からの光を物理的に閉じるメカシャッターである。前記図１１と図１２の構成において、図１３に示すタイミングチャートにて処理の流れを説明する。

図１３の信号順に上から、動画像を構成するための垂直同期信号であるＶＤ、メカシャッター３３の開閉タイミングを示すｌ、撮像素子１のＣＣＤの読み出しモードを表すタイミングｍ、全画素メモリー６と静止画像を記憶する記憶手段１６へのデータ記録保存タイミングを示すｎ、バッファメモリー３２で通常の動画像チャンネルより読み出した動画像データのバッファリング動作タイミングを示すｏ、縮小手段１７とバッファ１８でＣＣＤの静止画像チャンネルより読み出した静止画像データから動画像を構成する画像を作り出すための縮小処理と縮小データのバッファリング動作タイミングを示すｐ、画像処理手段７で画像処理するタイミングを示すｑである。

まず通常動画撮影時のデータの流れにて、図１３の静止画キャプチャーと記載してあるポイント下矢印部までの期間は動画撮像期間を表し、ＶＤ信号と次のＶＤ信号間のタイミングが動画を構成する単位フレーム期間を表す。メカシャッター３３を開放した状態で、動画チャンネル設定にて図１２−４のタイミングジェネレータ４をコントロールすることで動画像サイズ対応した画素撮像データの読み出しを開始する。

次に、前記タイミングジェネレータ４のタイミングに応じて、Ａ／Ｄ変換部３でデジタル化したデータを読み出したデータ順に、切り換え手段３１にデータを入力する。切り換え手段３１では通常動画撮影時は動画モードに切り換えておく。

バッファメモリー３２に一時的にバッファリングされた動画用画像データを、選択手段１９で動画像を選択し、図１３のｏの動画バッファリング開始より所定時間経過後から図１３のｑに示す動画処理を画像処理手段７にて順次画像処理を実施する。この時に動画処理開始時間を所定時間遅らせた分、バッファ３２にてバッファリングされるデータを追い越さないような時間に設定し動画フレーム以内に収まる範囲内で高速に動画像処理を行なう。この時、ＰＬＬ回路２１にて高速クロックを供給し、画像処理手段７の高速処理を実現している。

前記説明にて画像処理する内容は通常現像処理のことを示し、画像のフィルタリング処理、輝度、色差等の補正処理を施し最適な画像を作り出す処理を行なう（処理内容の詳細は公知技術であり、各メーカ等での画像の考え方等により処理内容が異なるため説明は省略する。）。

また、画像処理部７ではさまざまな画像処理を施しているため、順次各画像処理を時系列に接続する際に画像データを一時的にバッファリング用にメモリー８が存在し、画像処理手段７をデータの受け渡しをしている（ここの画像処理部のメモリーアクセス等については公知技術のため説明は省略する。）。

次に、前記画像処理完了したデータは１ＶＤ期間であるフレーム期間内で１枚の画像を構成し、次の処理ブロックであるエンコード処理部１０へとデータを流していく。エンコード処理部１０では、前記で画像処理されたデータを予め設定してある所定の画像フォーマットであるＪＰＥＧ形式に圧縮処理され、切り換え手段１１で本撮像装置内部にあるストレージ１３に記憶していくかあるいは、ネットワーク通信部１２を介して、外部通信先へ通信する。

このような状態に本撮像装置があるのは、外部からの制御指示によりＣＰＵ９が動作し、動画撮影モードとなる。動画データの配信先は、予め外部より制御された制御コマンドに対応するように設定しており、ネットワーク通信部１２を介して外部機器へ動画像通信しているか、ストレージ１３に順次動画データを記録している状態となっている。

前記に示すような動画撮像中に、ネットワーク通信部１２、赤外線リモコン受信部１４、キー入力部１５のいずれかより、前記動画像を構成する画像サイズより大きいサイズの静止画のキャプチャーを要求するコマンドをＣＰＵ９が受け付ける場合を説明する。

図１３に示す静止画キャプチャーと記載した個所でコマンド受け付けたとした場合、キャプチャーコマンド受け付けから次の１発目の１ＶＤ（垂直同期信号）期間は、撮像素子１であるＣＣＤを静止画像読み出し対応の全画素露光期間に設定する。その間は、メカシャッター３３は図１３のｌに示すように開放のままで、前記ＣＣＤの露光期間中、その他の処理回路ブロックへはデータは流さない状態となる。

次のＶＤフレーム信号に応じて、撮像素子１であるＣＣＤは画像データを読み出し可能になる。ここで前記の露光期間に開放していたメカシャッター３３をＶＤ信号に同期して閉じる。１ＶＤ期間前にて露光されたデータを静止画像に対応した画像データの１／２画像分が図１３に記載してある（１）の部分のＶＤ信号に同期した時点から読み出し開始と順次記録手段１５にて記録し、メモリー６へ記憶する。次の図１３に記載してある（２）の部分のＶＤ期間で残りの１／２が画素分を読み出し前記１／２画素同様に順次記録手段１５にて記録し、メモリー６へ記憶する。

図１３のｐにて、（１）＋（２）で示す時点より上記静止画像の処理動作と並行して、縮小手段１７で画像縮小とバッファ１８で縮小画像の一時的なバッファリングを行ない処理された画像を動画像用として構成する。

バッファ１８で一時的にバッファリングされた動画用画像データを、選択手段１９で動画像を選択し、図３−ｂの動画バッファリング開始より所定時間経過後から図１３−ｑに示す動画処理を画像処理手段７にて順次画像処理を実施する。この時に動画処理開始時間を所定時間遅らせた分、バッファ１８にてバッファリングされるデータを追い越さないような時間に設定し動画フレーム以内に収まる範囲内で高速に動画像処理を行なう。

その後、即次のＶＤ信号タイミングに同期してメカシャッター３３を開放し同時に、ＶＤフレームより前記記載した動画モード読み出しチャンネルに切り換え、画像処理部７にて動画像処理を順次実施する。

また、静止画像用データとして記憶された静止画用として記憶手段であるメモリー６に記憶してある静止画用記憶データを所定のＶＤ期間カウント後（即、次のカウントを含む）から図１３―ｑの空欄部に示すように、前記動画像処理期間以外の期間で画像処理部７にデータを流し画像処理をしていく。

同一画像処理部にて動画処理時間に影響がないように、静止画像を画像処理していく際に、動画像より大きなサイズの静止画１枚分全てのデータ処理が出来ないため、予め設定してある画像エリアに対応して分割した画像毎に図１３に示すような動画処理を実行していない非処理期間に分割して静止画処理を行なう。

ここで、上記静止画像に対応した全画素を読み出すモードについて、原色カラーフィルターで且つ、ＲＧＢの画素配列がベイヤー配列のインターレス読み出し方式ＣＣＤの場合を例として説明すると、静止画像の読み出し時に、第１フィールドは、画素奇数ライン分の信号成分であるＲ，Ｇｒ，Ｒ，Ｇｒ・・・、第２フィールドでは画素偶数ライン分の信号成分Ｇｂ，Ｂ，Ｇｂ，Ｂ・・・というふうに順に読み出すように構成されている。

動画フレーム期間の１ＶＤ期間では前記第１フィールドのみ、次のＶＤ期間で残りの第２フィールドの画像を読み出すため、１ＶＤ期間ではＲ成分とＧｒ成分しか読み出すことが出来ない。従って、第２フィールド読み出し開始から順次Ｇｂ，Ｂ，Ｇｂ，Ｂ・・・と読み出した後のデータと前記メモリー６に記憶しているデータとを参照してからしか画像を構成し次の処理へ進むように構成している。

画像処理部７以降の図１１の１０〜１３の各ブロックの処理の流れ及び処理タイミングについては、第１の実施の形態に記載の図１の１０〜１３の各ブロックの処理内容に対応しており全く同一な処理を実行する。

本実施の形態では、ＣＣＤ露光期間中の動画を構成するフレームと、ＣＣＤ読み出し時の最初の１フレーム期間は画像データの更新が出来ない状態でこの期間のみ動画像がブラックアウトすることとなる。動画像のブラックアウト期間は、ＣＣＤ露光フレーム期間の１つ前の期間の画像を順次動画像とするように構成する。

以上の説明より、本実施の形態を実現することでの第１の効果として、メカシャッター３３が必要な撮像素子１における動画像撮像中に静止画像をキャプチャーしたい時に、動画像としてブラックアウトするフレームを少なくすることが出来、動画像としての違和感の少ない画像を提供することが可能となる。

第２の効果として、画像処理回路ブロックを複数持つ必要がないため、ＬＳＩ化する際に回路規模を増大させる必要がなく、前記制御の実現が可能となる。

第３の効果として、回路規模の増大を防ぐことで、回路の消費電力の低減が可能となる。

（第６の実施の形態）
本発明の第６の実施の形態を表す図として、図１１、図１２、図１４であり、図１１は本発明の撮像装置の全体概要を表すブロック図、図１２は本実施の形態に関わる特徴を示すブロック図、図１４は本実施の形態の特徴を表す各種処理タイミングチャートである。

図１１の構成はとして、光電変換素子である撮像素子１（撮像素子として特に限定はしないが、ＣＣＤ或いはＣＭＯＳセンサーのような撮像素子を表し、本実施の形態としては、動画に対応した動画用読み出しチャンネルと静止画読み出しに対応した静止画用読み出しチャンネルを有する撮像素子で、動画チャンネルは全画素データの内の動画サイズに対応した画素間引或いは画素加算されたデータ読み出し可能なチャンネル、静止画チャンネルは、静止画用の露光期間を必要とし、露光期間とは別の期間にて動画像を構成する複数のフレーム期間で全画素分のデータが読み出し可能なチャンネルを有する撮像素子である。主に、４００万画素以上のセンサーにて３フレーム期間で全画素読み出し可能な撮像素子）である。

図１１の２以降の構成は前記第５の実施の形態と同一の構成であるため、構成の説明は前記第５の実施の形態参照のこと。次に、図１２に示す構成要件も前記第５の実施の形態に記載の図１２と全く同一の構成であるため、前記第５の実施の形態参照のこと。上記図１１と図１２の構成において、図１４に示すタイミングチャートにて処理の流れを説明する。

図１４の信号順に上から、動画像を構成するための垂直同期信号であるＶＤ、メカシャッター３３の開閉タイミングを示すｌ、撮像素子１であるＣＣＤの読み出しモードを表すタイミングｍ、全画素メモリー６と静止画像を記憶する記憶手段１６へのデータ記録保存タイミングを示すｎ、バッファ３２で通常の動画像チャンネルより読み出した動画像データのバッファリング動作タイミングを示すｏ、縮小手段１７とバッファ１８でＣＣＤの静止画像チャンネルより読み出した静止画像データから動画像を構成する画像を作り出すための縮小処理と縮小データのバッファリング動作タイミングを示すｐ、画像処理手段７で画像処理するタイミングを示すｑである。

まず通常動画撮影時のデータの流れにて、図１４の静止画キャプチャーと記載してあるポイント下矢印部までの期間は動画撮像期間を表し、ＶＤ信号と次のＶＤ信号間のタイミングが動画を構成する単位フレーム期間を表す。メカシャッター３３を開放した状態で、動画チャンネル設定にてタイミングジェネレータ４をコントロールすることで動画像サイズ対応した画素撮像データの読み出しを開始する。

次に、タイミングジェネレータ４のタイミングに応じてＡ／Ｄ変換部３でデジタル化したデータを読み出したデータ順に、切り換え手段３１にデータを入力する。切り換え手段３１では通常動画撮影時は動画モードに切り換えておく。

バッファメモリー３２に一時的にバッファリングされた動画用画像データを、選択手段１９で動画像を選択し、図１４−ｏの動画バッファリング開始より所定時間経過後から図１３−ｑに示す動画処理を画像処理手段７にて順次画像処理を実施する。この時に動画処理開始時間を所定時間遅らせた分、バッファ３２にてバッファリングされるデータを追い越さないような時間に設定し動画フレーム以内に収まる範囲内で高速に動画像処理を行なう。

この時、ＰＬＬ回路２１にて高速クロックを供給し、画像処理手段７の高速処理を実現している。前記説明にて画像処理する内容は通常現像処理のことを示し、画像のフィルタリング処理、輝度、色差等の補正処理を施し最適な画像を作り出す処理を行なう（処理内容の詳細は公知技術であり、各メーカ等での画像の考え方等により処理内容が異なるため説明は省略する。）。

また、画像処理部７ではさまざまな画像処理を施しているため、順次各画像処理を時系列に接続する際に画像データを一時的にバッファリング用にメモリー８が存在し、画像処理部７をデータの受け渡しをしている（ここの画像処理部のメモリーアクセス等については公知技術のため説明は省略する。）。

次に、前記画像処理完了したデータは１ＶＤ期間であるフレーム期間内で１枚の画像を構成し、次の処理ブロックであるエンコード処理部１０へとデータを流していく。エンコード処理部１０では、前記で画像処理されたデータを予め設定してある所定の画像フォーマットであるＪＰＥＧ形式に圧縮処理され、切り換え手段１１で本撮像装置内部にあるストレージに記憶していくかあるいは、ネットワーク通信部１２を介して、外部通信先へ通信する。

このような状態に本撮像装置があるのは、外部からの制御指示によりＣＰＵ９が動作し、動画撮影モードとなる。動画データの配信先は、予め外部より制御された制御コマンドに対応するように設定しており、ネットワーク通信部１２を介して外部機器へ動画像通信しているか、ストレージ１３に順次動画データを記録している状態となっている。

前記に示すような動画撮像中に、ネットワーク通信部１２、赤外線リモコン受信部１４、キー入力部１５のいずれかより、前記動画像を構成する画像サイズより大きいサイズの静止画のキャプチャーを要求するコマンドをＣＰＵ９が受け付ける場合を説明する。

図１３に示す静止画キャプチャーと記載した個所でコマンド受け付けたとした場合、キャプチャーコマンド受け付けから次の１発目の１ＶＤ（垂直同期信号）期間は、撮像素子１であるＣＣＤを静止画像読み出し対応の全画素露光期間に設定する。その間は、メカシャッター３３は図１４−ｌに示すように開放のままで、前記ＣＣＤの露光期間中、その他の処理回路ブロックへはデータは流さない状態となる。

次のＶＤフレーム信号に応じて、撮像素子１であるＣＣＤは画像データを読み出し可能になる。ここで前記の露光期間に開放していたメカシャッター３３をＶＤ信号に同期して閉じる。１ＶＤ期間前にて露光されたデータを静止画像に対応した画像データの１／３画像分が図１４に記載してある（１）の部分のＶＤ信号に同期した時点から読み出し開始と順次記録手段１５にて記録し、メモリー６へ記憶する。

次の図１４に記載してある（２）の部分のＶＤ期間で１／３の画素分を読み出し前記（１）部分の１／３画素同様に順次記録手段１５にて記録し、メモリー６へ記憶する。次の図１４に記載してある（３）の部分のＶＤ期間で最後の１／３の画素分を読み出し前記（３）部分の１／３画素同様に順次記録手段１５にて記録し、メモリー６へ記憶する。

図１４のｐにて、（１）＋（２）＋（３）で示す時点より上記静止画像の処理動作と並行して、縮小手段１７で画像縮小とバッファ１８で縮小画像の一時的なバッファリングを行ない処理された画像を動画像用として構成する。バッファ１８で一時的にバッファリングされた動画用画像データを、選択手段１９で動画像を選択し、図３−ｂの動画バッファリング開始より所定時間経過後から図１３−ｑに示す動画処理を画像処理手段７にて順次画像処理を実施する。この時に動画処理開始時間を所定時間遅らせた分、バッファ１８にてバッファリングされるデータを追い越さないような時間に設定し動画フレーム以内に収まる範囲内で高速に動画像処理を行なう。

その後、即次のＶＤ信号タイミングに同期してメカシャッター３３を開放し同時に、ＶＤフレームより前記記載した動画モード読み出しチャンネルに切り換え、画像処理部７にて動画像処理を順次実施する。

また、静止画像用データとして記憶された静止画用として記憶手段であるメモリー６に記憶してある静止画用記憶データを所定のＶＤ期間カウント後（即、次のカウントを含む）から図１４―ｑの空欄部に示すように、前記動画像処理期間以外の期間で画像処理部７にデータを流し画像処理をしていく。

同一画像処理部にて動画処理時間に影響がないように、静止画像を画像処理していく際に、動画像より大きなサイズの静止画１枚分全てのデータ処理ができないため、予め設定してある画像エリアに対応して分割した画像毎に図１４に示すような動画処理を実行していない非処理期間に分割して静止画処理を行なう。

ここで、上記静止画像に対応した全画素を読み出すモードについて、原色カラーフィルターで且つ、ＲＧＢの画素配列がベイヤー配列のインターレス読み出し方式ＣＣＤの場合を例として説明すると、静止画像の読み出し時に、３つのフィールドにまたがり画素を読み出す方式であり、第１フィールドラインと第２フィールドラインと第３フィールドラインで信号成分から構成され、第１フィールド１ライン目はＲ，Ｇｒ，Ｒ，Ｇｒ・・・、第１フィールド２ライン目は、通常ＣＣＤ画素４ライン目（１（ライン目）+３（フィールド分））の読み出しとなりＧｂ，Ｂ，Ｇｂ，Ｂ・・・という順に読み出す。

次のラインでは、逆にＲ，Ｇｒ，Ｒ，Ｇｒ・・・というように、同一フィールドでライン毎に参照データが異なるように構成され、同様に、第２フィールド１ライン目は第１フィールドと逆の読み出し順に構成される。また同様に第３フィールドでは、第１フィールドと同様な読み出し順で、ＣＣＤ画素３ライン目から+３ライン分ずらした画素の信号成分という順に読み出すように構成されている。

動画フレーム期間の１ＶＤ期間では前記第１フィールドのみ、次のＶＤ期間で第２フィールドの画像のみ、その次のＶＤ期間で第３フィールドの画像を読み出すため、読み出し開始から２ＶＤでは全ての画面分の画素を読み出すことが出来ない。従って、第３フィールド読み出し開始から順次読み出した後のデータと前記メモリー６に記憶しているデータとを参照してからしか画像を構成し次の処理へ進むように構成している。

画像処理部７以降の図１１の１０〜１３の各ブロックの処理の流れ及び処理タイミングについては、前記第１の実施の形態に記載の図１の１０１３の各ブロックの処理内容に対応しており全く同一な処理を実行する。

本実施の形態も前記第５の実施の形態と同様に、ＣＣＤ露光期間中の動画を構成する露光フレームと、ＣＣＤ読み出し時に動画像を構成する第１のフレームと第２フレーム期間分と合計３フレーム期間は画像データの更新ができない状態でこの期間のみブラックアウトすることとなる。動画像のブラックアウト期間は、ＣＣＤ露光フレーム期間の１つ前の期間の画像を順次動画像とするように構成する。

以上の説明より、本実施の形態を実現することでの第１の効果として、メカシャッター３３が必要な撮像素子１における動画像撮像中に静止画像をキャプチャーしたい時に、動画像としてブラックアウトするフレームを少なくすることができ、動画像としての違和感の少ない画像を提供することが可能となる。

第２の効果として、画像処理回路ブロックを複数持つ必要がないため、ＬＳＩ化する際に回路規模を増大させる必要がなく、上記制御の実現が可能となる。

第３の効果として、回路規模の増大を防ぐことで、回路の消費電力の低減が可能となる。

第４の効果として、あらゆる高画素撮像素子に対応可能な処理を実現することが出来る。

（第７の実施の形態）
本発明の第７の実施の形態を表す図として、図１、図２、図１５でありのタイミングチャートを示し、図１は前記第１の実施の形態に記載の構成と同一構成、図２も前記第１の実施の形態に記載の構成と同一構成である。内容として異なる部分は、図２のＰＬＬ回路２１であり、前記第１の実施の形態に示すＰＬＬ回路２１より逓倍率を上げた物で構成し、前記ＰＬＬクロックにて動作する各ブロックの動作を高速化した構成である。

前記構成において、図１５に示すタイミングチャートにて処理の流れを説明する。
図１５の信号順に上から、動画像を構成するための垂直同期信号であるＶＤ、縮小手段１７とバッファ１８で動画像を構成する画像を作り出すための縮小処理と縮小データのバッファリング動作タイミングを示すｂ、全画素メモリー６と１６にて静止画像を記憶する記憶手段１６へのデータ記録保存タイミングを示すａ、画像処理手段７で画像処理するタイミングを示すｃである。

まず通常動画撮影時のデータの流れにて、図１５の静止画キャプチャーと記載してあるポイント下矢印部までの期間は動画撮像期間を表し、ＶＤ信号と次のＶＤ信号間のタイミングが動画を構成する単位フレーム期間を表す。全画素読み出しに対応した撮像素子１をタイミングジェネレータ４をコントロールすることで全画素に対応した撮像データの読み出しを開始する。

次に、前記タイミングジェネレータ４のタイミングに応じて、Ａ／Ｄ変換部３でデジタル化したデータを読み出したデータ順に、縮小手段１７で画像縮小とバッファ１８で縮小画像の一時的なバッファリングを行ない処理された画像を動画像用として構成する。

バッファ１８で一時的にバッファリングされた動画用画像データを、選択手段１９で動画像を選択し、図３−ｂの動画バッファリング開始より所定時間経過後から図３−ｃに示す動画処理を画像処理手段７にて順次画像処理を実施する。ここでの所定時間分は、前記第１の実施の形態に記載の所定時間分より長い時間分、動画処理開始時間を遅らせる。

バッファ１８にてバッファリングされるデータを追い越さないような時間に設定し動画フレーム以内に収まる範囲内で高速に動画像処理を行なう。ＰＬＬ回路２１にて高速クロックは前記第１の実施の形態のＰＬＬ回路ブロックより逓倍率を向上させているため、より動画像の高速処理が可能となる。他に示す各ブロックの処理内容と信号の流れは前記第１の実施の形態に記載の内容と同一である。

但し、本実施の形態では、上記に示すように動画の処理速度を上げているため、静止画像として構成されるフレーム画素データを動画処理の非処理期間にてエリア毎に分割して画像処理する際に、非処理期間が広がる。非処理期間が広がることで、図１５の空欄部に分割する際に、分割量が少なくなる。図１５では２ＶＤ期間で処理が可能となる例を示している。

また、本実施の形態では、前記第１の実施の形態の構成例にて説明したが、前記第２、３、４、５、６の実施の形態にも同じ事が言え、動画のバッファリング後の動画像処理を高速化することで、静止画処理の分割する期間を削減するように構成する。また、静止画連写コマンド受け付け時に、連写出来るフレーム枚数が多く処理するように構成する。

以上の説明より、本実施の形態を実現することでの第１の効果として、動画像撮像中に動画像より大きなサイズの静止画像をキャプチャーしたい時に、動画像のフレームレートを全く落とすことがなくネットワーク上へ配信可能あるいは記録可能となる。

第２の効果として、静止画の分割数を少なく処理することが可能となり、静止画処理期間を短縮することができる。

第３の効果として、大画面静止画連写コマ数を拡大することが可能となる。

第４の効果として、大画面静止画連写が規定コマ数以内なら全画素メモリー６の容量を削減することが可能となる。

（本発明に係る他の実施の形態）
前述した本発明の実施の形態における撮像装置を構成する各手段、並びに撮像方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では図１〜１５に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。

本発明の第１、２、４、７の実施の形態における撮像装置の全体構成ブロック図である。 本発明の第１及び第７の実施の形態を表す構成ブロック図である。 本発明の第１の実施の形態を表すタイミングチャートを示す図である。 本発明の第２の実施の形態を表す構成ブロック図である。 本発明の第２の実施の形態を表すタイミングチャートを示す図である。 本発明の第３の実施の形態を表す撮像装置の全体構成ブロック図である。 本発明の第３の実施の形態を表す構成ブロック図である。 本発明の第３の実施の形態を表すタイミングチャートを示す図である。 本発明の第４の実施の形態を表す構成ブロック図である。 本発明の第４の実施の形態を表すタイミングチャートを示す図である。 本発明の第５及び第６の実施の形態を表す撮像装置の全体構成ブロック図である。 本発明の第５及び第６の実施の形態を表す構成ブロック図である。 本発明の第５の実施の形態を表すタイミングチャートを示す図である。 本発明の第６の実施の形態を表すタイミングチャートを示す図である。 本発明の第７の実施の形態を表すタイミングチャートを示す図である。

符号の説明

１ 撮像素子
２ レンズ
３ Ａ／Ｄコンバータ
４ タイミングジェネレータ
５ 動画＆静止画処理手段
６ 全画素メモリー
７ 画像処理部
８ メモリー
９ ＣＰＵ
１０ エンコード処理部、
１１ 切り換え手段
１２ ネットワーク通信部
１３ ストレージ
１４ 赤外線リモコン受信部
１５ キー入力部
１６ 記録手段
１７ 縮小手段
１８ バッファメモリー、
１９ 選択手段
２０ ＣＬＫ（発信器）
２１ ＰＬＬ回路
２３ メモリー
２４ 動画＆静止画処理手段
２５ 画像合成手段
２６ 記録手段
２７ 縮小手段
２８ 切り換え手段
２９ ＣＲＫ（発信器）
３０ ＰＬＬ回路
３１ 切り換え手段
３２ バッファメモリー
３３ シャッター

Claims (6)

1. フレームごとの画像データを取得する撮像手段と、
   前記撮像手段より得られた前記フレームごとの撮像データの画像サイズを縮小する縮小手段と、
   前記縮小手段にて縮小された縮小画像データから動画データを生成するための画像処理をする動画処理手段と、
   前記動画データの生成中に静止画の撮像指示を入力する入力手段と、
   前記動画データの生成中における静止画の撮像指示の入力に応じて、当該入力時に前記撮像手段が取得中のフレームよりも後に取得を開始したフレームの画像データであって前記縮小手段により縮小されていない画像データを記憶する記憶手段と、
   前記動画データの生成中に静止画の撮像指示が入力された場合、前記記憶手段に記憶された前記縮小されていない画像データであって、当該入力時に前記撮像手段が取得中のフレームよりも後に取得を開始したフレームの画像データに対して、前記動画処理手段が動画データを生成するための画像処理を行っていない期間に、静止画データを生成するための画像処理をする静止画処理手段と
   を有することを特徴とする撮像装置。
2. 前記縮小手段により縮小されていない画像データを複数に分割する分割手段を有し、
   前記静止画処理手段は、前記分割手段により分割された第１の分割画像データの画像処理を、第１の動画フレームと第２の動画フレームの画像処理の間に行い、前記分割された第２の分割画像データの画像処理を、前記第２の動画フレームと第３の動画フレームの画像処理の間に行うことを特徴とする請求項１に記載の撮像装置。
3. 前記動画処理手段は、前記縮小画像データの画像処理を前記縮小画像データの取得開始から所定時間経過後に開始することを特徴とする請求項１または２に記載の撮像装置。
4. 前記静止画処理手段は、前記縮小されていない画像データが取得されてから、前記動画処理手段が所定フレーム分の画像処理をした後に、前記縮小されていない画像データの画像処理を開始することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 撮像装置が行う撮像方法であって、
   所定期間ごとの画像データを取得する撮像工程と、
   前記撮像工程より得られた前記所定期間ごとの撮像データの画像サイズを縮小する縮小工程と、
   前記縮小工程にて縮小された縮小画像データから動画データを生成するための画像処理をする動画処理工程と、
   前記動画データの生成中に静止画の撮像指示を入力する入力工程と、
   前記動画データの生成中における静止画の撮像指示の入力に応じて、当該入力時に前記撮像工程が取得中のフレームよりも後に取得を開始したフレームの画像データであって前記縮小工程により縮小されていない画像データを記憶手段に記憶させる記憶工程と、
   前記動画データの生成中に静止画の撮像指示が入力された場合、前記記憶手段に記憶された前記縮小されていない画像データであって、当該入力時に前記撮像工程が取得中のフレームよりも後に取得を開始したフレームの画像データに対して、前記動画処理工程が動画データを生成するための画像処理を行っていない期間に、静止画データを生成するための画像処理をする静止画処理工程と
   を有することを特徴とする撮像方法。
6. コンピュータに、
   所定期間ごとの画像データを取得する撮像手順と、
   前記撮像手順より得られた前記所定期間ごとの撮像データの画像サイズを縮小する縮小手順と、
   前記縮小手順にて縮小された縮小画像データから動画データを生成するための画像処理をする動画処理手順と、
   前記動画データの生成中に静止画の撮像指示を入力する入力手順と、
   前記動画データの生成中における静止画の撮像指示の入力に応じて、当該入力時に前記撮像手順が取得中のフレームよりも後に取得を開始したフレームの画像データであって前記縮小手順により縮小されていない画像データを記憶手段に記憶させる記憶手順と、
   前記動画データの生成中に静止画の撮像指示が入力された場合、前記記憶手段に記憶された前記縮小されていない画像データであって、当該入力時に前記撮像手順が取得中のフレームよりも後に取得を開始したフレームの画像データに対して、前記動画処理手順が動画データを生成するための画像処理を行っていない期間に、静止画データを生成するための画像処理をする静止画処理手順と
   を実行させることを特徴とするプログラム。

Images