JP4963664B2

JP4963664B2 - 撮像装置

Info

Publication number: JP4963664B2
Application number: JP2007289994A
Authority: JP
Inventors: 克博和田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-11-07
Filing date: 2007-11-07
Publication date: 2012-06-27
Anticipated expiration: 2027-11-07
Also published as: JP2009118265A

Description

本発明は、動画撮影中に静止画を撮影可能な撮像装置に関する。

動画撮影が可能なデジタルスチルカメラ、静止画撮影画可能なデジタルビデオカメラが、商品化されている。しかも、動画撮影中に静止画を撮影できるデジタルビデオカメラも存在する。このようなデジタルビデオカメラでは、機能の高度化、複雑化に対応でき、また、将来的な機能変更に対応しやすいように、プログラム制御が多用される。例えば、映像音声情報の信号処理にＤＳＰ（Digital Signal Processor）等のプログラム動作するデバイスを使用する。また、全体を制御するシステム制御回路にも、プログラムにより動作を選択できるマイクロコンピュータ等のＣＰＵ（Central Processing Unit）が使用される。

このようなプログラム処理の場合、プログラム本体は、フラッシュメモリ等の不揮発性メモリに格納されており、必要時に、ＳＤＲＡＭ等のメインメモリを介してキャッシュメモリに読み出され、ＤＳＰ又はＣＰＵは、キャッシュメモリ上のプログラムを実行する。

メインメモリは、処理中の動画・静止画データの一時保存用のワークメモリとしても使用されることがある。その場合、メインメモリへの処理中の動画・静止画データのアクセス要求と、ＣＰＵからのアクセス要求が競合した場合、前者を優先せざるを得ず、必要なプログラムのキャッシュメモリへのロードが遅延することになり、ＣＰＵのプログラム実行が遅延する。

ＣＰＵで複数の情報処理を実行する情報処理装置に複数のキャッシュメモリを装備し、情報処理に適したキャッシュメモリに選択的にアクセスするキャッシュメモリ制御方法が、特許文献１に記載されている。これにより、キャッシュアクセスを最適化できる。
特開２００２−７２１３号公報

デジタルカメラ及びデジタルビデオカメラ等の撮像装置でメインメモリにプログラムを一時的に又は継続的に置く構成では、ＣＰＵのプログラム実行が遅延することがある。キャッシュメモリを大容量化することで、メインメモリにプログラムが置かれる期間を短縮できるが、コストアップに繋がる。

画像の高解像度化に従い、ワークメモリとして使用されるメインメモリの帯域が圧迫される。メインメモリとなるＳＤＲＡＭの容量の増加又は複数化によっても、リアルタイム処理の必要な映像系の信号処理が優先され、ＣＰＵのアクセス要求が待たされることに変わりはない。

本発明は、このような不都合を解消し、ＣＰＵのアクセス遅延を緩和した撮像装置を提示することを目的とする。

上記目的を達成するために、本発明に係る撮像装置は、撮像手段と、プログラムに従い動作するＣＰＵと、前記プログラムを記憶する不揮発性メモリと、前記撮像手段が撮影した画像データに対し動画の画像処理を行う動画処理手段と、前記撮像手段が撮影した画像データに対し静止画の画像処理を行う静止画処理手段と、前記動画処理手段により処理される画像データと前記静止画処理手段により処理される画像データとを記憶する第１のメモリ及び第２のメモリと、前記第１のメモリと前記第２のメモリとに対してそれぞれ独立に備えられたメモリバスを介して前記第１のメモリと前記第２のメモリに対するアクセスを独立に制御するメモリ制御手段とを備え、前記メモリ制御手段は、前記不揮発性メモリから読み出した前記プログラムを前記第１のメモリと前記第２のメモリの両方に記憶し、前記ＣＰＵからの前記プログラムへのアクセス要求に対し、前記第１のメモリと前記第２のメモリのうちメモリバスの占有率の低い方のメモリから前記プログラムを読み出して前記ＣＰＵに供給することを特徴とする。

本発明によれば、メインメモリを動画の圧縮処理及び静止画の圧縮処理のワークメモリとしても使用する撮像装置で、アクセスの集中によりＣＰＵがメインメモリ上のプログラムを実行できなくなるのを防止できる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る撮像装置の一実施例の概略構成ブロック図を示す。フォーカスレンズ１０は、被写体の光学像を撮像素子１２上に結像する。撮像素子１２は、光学像を画像信号に変換する。Ａ／Ｄ変換器１４は、撮像素子１２からのアナログ画像信号をデジタル信号に変換する。カメラ信号処理回路１６は、Ａ／Ｄ変換器１４からのデジタル画像信号にγ補正及び色バランス調整等の周知のカメラ信号処理を施す。静止画符号化回路１８は、静止画像データをＪＰＥＧ等に従い圧縮符号化する回路である。メモリカード（記録媒体）２０は、静止画符号化回路１８で圧縮符号化された静止画データを格納する媒体であり、半導体メモリカード等の不揮発性固体メモリからなる。

リサイズ処理回路２２は、カメラ信号処理回路１６から出力される画像信号を動画に合わせた画角にリサイズする。動画符号化回路２４は、リサイズ処理回路２２によりリサイズされた画像データを、動画として圧縮符号化する。記録処理回路２６は、動画符号化回路２４からの圧縮画像データ（動画）と、図示しないマイクからの音声信号を記録処理し、記録媒体２８に記録する。記録処理回路２６はまた、再生モードでは、記録媒体２８から音声データを読み出して復号化し、図示しないスピーカに供給する。

ＣＰＵ３０は、本実施例に係る撮像装置を全体的に制御する手段である。不揮発性メモリであるフラッシュメモリメモリ３２に、ＣＰＵ３０のメインプログラムが格納される。メインメモリ３６，３８は、例えば、ＳＤＲＡＭ等からなる。回路１６，１８，２２，２４は、メインメモリ３６，３８を共用し、処理中のデータ及び処理結果のデータを一時保存するワークメモリとして使用する。メインメモリ３６，３８はまた、回路又はデバイス１６〜２４間でのデータの受け渡しにも使用される。

メインメモリ３６，３８の記憶領域は、データ一時保存用として３つの領域４０，４２，４４に区分される。メモリ領域４０は、静止画及び動画の画像処理に対し、共通に使用する映像フレーム信号、即ち、静止画／動画共通処理フレームを格納するメモリ領域となる。メモリ領域４２は、メモリ３６とメモリ３８にまたがっており、静止画の符号化画像データ、いわゆるＪＰＥＧデータを記憶するのに使用される。メモリ領域は、リサイズ処理回路２２で処理されるフレーム画像及び処理後のフレーム画像を記憶するのに使用される。メモリ領域４２の一部３６ａは、プログラム記憶領域に兼用される。メモリ領域４４の一部３８ａもまた、プログラム記憶領域に兼用される。

メモリ制御回路３４は、メインメモリ３６に対するメモリバスと、メインメモリ３８に対するメモリバスを別々に具備し、メインメモリ３６とメインメモリ３８に独立にアクセスできる。メモリ制御回路３４は、各機能ブロック１６〜２４，３０からメインメモリ３６，３８へのアクセスを調整する。

本実施例では、電源投入後、ＣＰＵ３０は、フラッシュメモリ３２に格納されているシステム制御プログラムをＣＰＵ３０経由でメインメモリ３６、３８に転送する。転送されたプログラムは、例えば、メインメモリ３６のシステムプログラム記憶領域３６ａとメインメモリ３８のプログラム格納領域３８ａの両方に格納される。

動画と静止画を同時に撮影する場合の動作を説明する。撮像素子１２は、フォーカスレンズ１０による光学像を一定周期で画像信号に変換する。Ａ／Ｄ変換器１４は、撮像素子１２からのアナログ画像信号をデジタル信号に変換する。カメラ信号処理回路１６は、Ａ／Ｄ変換器１４からのデジタル画像信号に所定の処理を施し、その結果となる画像データをメインメモリ３６のメモリ領域４０に格納する。

リサイズ処理回路２２は、メインメモリ３６のメモリ領域４０に記憶される画像フレームを逐次、読み出し、動画サイズにリサイズする。リサイズ処理回路２２は、リサイズした画像データを逐次、メインメモリ３８のメモリ領域４４に格納する。動画符号化回路２４は、メモリ領域４４に格納される動画データをＭＰＥＧ２又はＨ．２６４等の動画圧縮方式で圧縮符号化する。記録処理部２６は、動画符号化回路２４からの圧縮動画データを記録用に処理（例えば、圧縮音声データと多重化等）して、記録媒体２８に記録する。

ユーザによる静止画の記録指示に対し、ＣＰＵ３０は静止画符号化回路１８を使って、指示されたタイミングの撮影画像フレームを静止画として圧縮符号化させる。具体的には、静止画符号化回路１８は、メインメモリ３６のメモリ領域４０に記憶される画像データの１フレームを読み出し、ＪＰＥＧ等の静止画圧縮方式で圧縮符号化する。静止画符号化回路１８は、符号化結果の圧縮静止画データ、いわゆるＪＰＥＧデータをメモリ領域４２に格納する。静止画の連写の場合、図２及び図３に示すように、メモリ領域４２には、一時的に複数毎のＪＰＥＧデータが格納される。メモリ領域４２内で、ＪＰＥＧデータの存在する領域にはハッチングを施してある。メモリ制御回路３４は、メモリ領域４２のＪＰＥＧデータを順次、読み出し、メモリカード２０に書き込む。メモリカード２０に書き込まれたＪＰＥＧデータは、メモリ領域４２から消去される。

連写枚数が少ない場合、メインメモリ３８のメモリバス占有率は、メインメモリ３６のそれよりも低くなる。連写枚数が多くなっていくと、メインメモリ３６のメモリバス占有率が、メインメモリ３８のそれよりも低くなる。

本実施例では、動画像の記録中、ユーザの静止画撮影の指示があると、動画の撮影を行いながら、同時に静止画を撮影することができる。このとき、ＣＰＵ３０は、メモリ制御回路３４に動画静止画同時撮影時の静止画連写枚数を報知する。メモリ制御回路３４は、ＣＰＵ３０から報知された動画静止画同時撮影時の静止画連写枚数により、ＣＰＵ３０からメインメモリ３６，３８上のプログラムへのアクセス要求を、メインメモリ３６側にするか、メインメモリ３８側にするか制御する。即ち、メモリ制御回路３４は、メインメモリ３６，３８におけるメモリバス占有率の低い方に置かれているプログラムにＣＰＵ３０がアクセスするようにする。これにより、ＣＰＵ３０のメインメモリに対するアクセス要求が待たされることなく、受け付けられる。ＣＰＵ３０は、メインメモリ３６又は３８上のプログラムを実行でき、撮像装置として、システムの破綻を防止できる。

静止画符号化回路１８が使用するメモリ領域４２が、メインメモリ３６と同３８の両方にまたがることで、連写時に、メインメモリ３６のメモリバス占有率と、メインメモリ３８のメモリバス占有率の差を大きくすることができる。これにより、ＣＰＵ３０へのプログラムの読み出しを、より確実に実行できるようになる。

図４は、本発明の第２実施例の概略構成ブロック図を示す。図１と同じ構成要素には同じ符号を付してある。

本実施例の相違点を主に説明する。メモリ制御回路３４ａは、ＣＰＵ３０ａからのアクセス要求に対し、メインメモリ３６，３８の何れにも、満足できる時間内でのアクセスが不可能又は困難な場合、その旨をＣＰＵ３０ａに通知する。ＣＰＵ３０ａはメモリ制御回路３４ａからのこの通知に対し、以後、フラッシュメモリ３２ａにアクセス要求を供給し、フラッシュメモリ３２ａから必要なプログラムコードを読み込む。フラッシュメモリ３２ａのデータ読み出し速度は、メインメモリ３６，３８よりも遅いが、それでも、システムの破綻を防止することが可能になる。

本発明の実施例１の概略構成ブロック図である。メモリ領域４２の使用状況の説明図である。メモリ領域４２の、図２から更に進んだ使用状況の説明図である。本発明の実施例２の概略構成ブロック図である。

符号の説明

１０：フォーカスレンズ
１２：撮像素子
１４：Ａ／Ｄ変換器
１６：カメラ信号処理回路
１８：静止画符号化回路
２０：メモリカード（記録媒体）
２２：リサイズ処理回路
２４：動画符号化回路
２６：記録処理回路
２８：記録媒体
３０，３０ａ：ＣＰＵ
３２，３２ａ：フラッシュメモリ
３４：メモリ制御回路
３６，３８：メインメモリ
４０，４２，４４：メモリ領域

Claims

撮像手段と、
プログラムに従い動作するＣＰＵと、
前記プログラムを記憶する不揮発性メモリと、
前記撮像手段が撮影した画像データに対し動画の画像処理を行う動画処理手段と、
前記撮像手段が撮影した画像データに対し静止画の画像処理を行う静止画処理手段と、
前記動画処理手段により処理される画像データと前記静止画処理手段により処理される画像データとを記憶する第１のメモリ及び第２のメモリと、
前記第１のメモリと前記第２のメモリとに対してそれぞれ独立に備えられたメモリバスを介して前記第１のメモリと前記第２のメモリに対するアクセスを独立に制御するメモリ制御手段とを備え、
前記メモリ制御手段は、前記不揮発性メモリから読み出した前記プログラムを前記第１のメモリと前記第２のメモリの両方に記憶し、前記ＣＰＵからの前記プログラムへのアクセス要求に対し、前記第１のメモリと前記第２のメモリのうちメモリバスの占有率の低い方のメモリから前記プログラムを読み出して前記ＣＰＵに供給することを特徴とする撮像装置。
前記動画処理手段はリサイズ手段と動画符号化手段とを有し、前記静止画処理手段は静止画符号化手段を有し、
前記メモリ制御手段は、前記撮像手段から出力された画像データを前記第１のメモリに記憶し、前記第１のメモリに記憶された画像データを前記リサイズ手段と前記静止画符号化手段に出力し、前記リサイズ手段から出力された画像データを前記第２のメモリに記憶し、前記リサイズ手段から出力されて前記第２のメモリに記憶された画像データを前記動画符号化手段に出力し、前記静止画符号化手段から出力された画像データを前記第１のメモリまたは前記第２のメモリに記憶する
ことを特徴とする請求項１に記載の撮像装置。
前記メモリ制御手段は、前記第１のメモリと前記第２のメモリのメモリ領域をそれぞれ、前記動画処理手段により処理される画像データを記憶するための領域と、前記静止画処理手段により処理された画像データを記憶するための領域とに区分し、前記第１のメモリと前記第２のメモリの両方における前記動画処理手段により処理される画像データを記憶するための領域の一部に前記不揮発性メモリから読み出した前記プログラムを記憶することを特徴とする請求項１または２に記載の撮像装置。