JP4035015B2

JP4035015B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP4035015B2
Application number: JP2002221926A
Authority: JP
Inventors: 賢治荒川; 靖利山本
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2002-07-30
Filing date: 2002-07-30
Publication date: 2008-01-16
Anticipated expiration: 2022-07-30
Also published as: JP2004064559A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号を記録することができるデジタルスチルカメラもしくはデジタルビデオカメラに設けられる画像処理装置およびこれを用いた画像処理方法に関する。
【０００２】
【従来の技術】
ＮＯＭＡＬ、ＦＩＮＥといった撮影後の圧縮画像データの符号量の目安を切り替える撮影モードを変更することにより、圧縮率を変更するデジタルスチルカメラもしくはデジタルビデオカメラにおいて、同じ撮影モードで記録しているにもかかわらず、圧縮してできた圧縮画像データの符号量のばらつきは様々である。
【０００３】
このように圧縮画像データの符号量にばらつきがあると、限られた容量のメモリを扱う際、ファイル管理が行いにくくなると言う問題がある。また、従来の符号量見積もり処理では、圧縮する画像の全画角に対して符号量を見積もるために、符号量を見積もるために要する時間が長くなる結果、符号量見積もり処理がデジタルスチルカメラの連続撮影速度の足かせになっているといった問題がある。
【０００４】
例えば特開平１１−２６１９５２号公報には、これらの問題を解決するための符号化装置が開示されている。この符号化装置では、符号量見積もり処理が連続撮影速度を遅くする原因となる場合には、符号量見積もり処理を行わない。このため、連続撮影速度の低下を防止することができる。この符号化装置によれば、似通った画像を連続撮影する場合には、最良の効果を得ることができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、前述した特開平１１−２６１９５２号公報に開示された符号化装置では、急にカメラを動かした場合など、連続撮影中に全く異なる画像を撮影した場合に、符号量見積もり処理を行わないと、符号化された圧縮画像データの符号量にばらつきが生じる。このため、限られた容量のメモリを扱う際、ファイル管理が行いにくくなると言う問題が生じる。
【０００６】
本発明は係る問題を解決するためになされたものであり、その目的は、連続撮影速度を低下させることなく圧縮画像データの符号量を見積もることができる画像処理装置及び画像処理方法を提供することにある。
【０００７】
【課題を解決するための手段】
係る目的を達成するために本発明に係る画像処理装置は、１画面分の画像領域に含まれる読み出し画像領域に存在する画像信号を記憶装置から読み出す画像信号読み出し器と、前記画像信号読み出し器によって読み出された前記画像信号を符号化した符号化画像信号の符号量を見積もるための符号量見積もり器と、前記画像信号を前記符号化画像信号に符号化する符号化器と、前記符号量見積もり器が前記符号量を見積もるために要した符号量見積もり処理時間と前記符号化器が前記画像信号を符号化するために要した符号化処理時間とを検出して、前記符号量見積もり処理時間と前記符号化処理時間とを合計した合計処理時間を算出する処理時間算出器と、前記処理時間算出器によって算出された前記合計処理時間に応じて、前記画像信号読み出し器が前記画像信号を読み出す前記読み出し画像領域の広さを変更するシステム制御器とを具備することを特徴とする。
【０００８】
本発明に係る画像処理方法は、１画面分の画像領域に含まれる読み出し画像領域に存在する画像信号を記憶装置から読み出す画像信号読み出し工程と、前記画像信号読み出し工程によって読み出された前記画像信号を符号化した符号化画像信号の符号量を見積もるための符号量見積もり工程と、前記画像信号を前記符号化画像信号に符号化する符号化工程と、前記符号量見積もり工程が前記符号量を見積もるために要した符号量見積もり処理時間と前記符号化工程が前記画像信号を符号化するために要した符号化処理時間とを検出して、前記符号量見積もり処理時間と前記符号化処理時間とを合計した合計処理時間を算出する処理時間算出工程と、前記処理時間算出工程によって算出された前記合計処理時間に応じて、前記画像信号読み出し工程が前記画像信号を読み出す前記読み出し画像領域の広さを変更する変更工程とを包含することを特徴とする。
【０００９】
【発明の実施の形態】
本発明に係る画像処理装置においては、画像信号を符号化した符号化画像信号の符号量を符号量見積もり器が見積もるために要した符号量見積もり処理時間と符号化器が画像信号を符号化するために要した符号化処理時間とを合計した合計処理時間に応じて、画像信号読み出し器が画像信号を読み出す読み出し画像領域の広さが変更される。このため、前回の符号化処理時間が次の画像信号の符号量見積もり処理時間を圧迫した場合でも、次の符号量見積もり処理時間に許容される時間を算出し、その時間内で処理可能な画像信号量に応じた広さの読み出し画像領域から画像信号を読み出すことができる。その結果、符号化における圧縮率の精度を向上させて圧縮画像データの符号量を目標とする符号量に近づけながら、所定の処理サイクルによって画像信号を符号化することができる。従って、連続撮影速度を低下させることなく圧縮画像データの符号量を見積もることができる。
【００１０】
前記システム制御器は、後続する１画面分の画像領域に含まれる読み出し画像領域に存在する画像信号を前記符号化手段によって前記符号化画像信号に符号化する符号化処理が、所定の処理サイクルよりも遅く終了しないように、前記読み出し画像領域の広さを変更することが好ましい。
【００１１】
前記処理時間算出器によって算出された前記合計処理時間が前記所定の処理サイクルよりも長いときは、前記システム制御器は、前記読み出し画像領域を狭くすることが好ましい。
【００１２】
前記処理時間算出器によって算出された前記合計処理時間が前記所定の処理サイクルよりも長くないときは、前記システム制御器は、前記読み出し画像領域を前記１画面分の画像領域にすることが好ましい。
【００１３】
前記所定の処理サイクルは、ＣＣＤ露光処理期間と前記ＣＣＤ露光処理期間に後続するＯＤＤフィールド処理期間と前記ＯＤＤフィールド処理期間に後続するＥＶＥＮフィールド処理期間とによって構成されていることが好ましい。
【００１４】
前記システム制御器は、前記符号量見積もり器による符号量見積もり処理が前記ＥＶＥＮフィールド処理期間の開始と実質的に同時に開始され、前記符号化器による符号化処理が前記ＯＤＤフィールド処理期間の終了と実質的に同時に終了するように、前記読み出し画像領域の広さを変更することが好ましい。
【００１５】
撮像素子によって撮像された画像データを輝度信号と色差信号とに分離して前記画像信号を生成する画像処理器と、前記画像処理器によって生成された前記画像信号を前記記憶装置へ格納するメモリ制御器とをさらに備えることが好ましい。
【００１６】
前記符号化器によって符号化された前記符号化画像信号を前記記憶装置へ格納する符号化画像信号制御器をさらに具備することが好ましい。
【００１７】
前記符号量見積もり器が前記符号量見積もり処理したときの第１圧縮率に関するパラメータおよび前記符号化器が前記画像信号を符号化したときの第１圧縮率に関するパラメータの少なくともいずれか１つが格納されたパラメータ記憶器をさらに具備しており、前記システム制御器は、前記パラメータ記憶器に格納された前記第１圧縮率に関するパラメータに基づいて第２圧縮率を算出し、前記符号化器は、前記システム制御器によって算出された前記第２圧縮率に基づいて、後続する１画面分の画像領域に含まれる読み出し領域に存在する画像信号を符号化することが好ましい。
【００１８】
前記システム制御器は、前記第１圧縮率に関する前記パラメータを前記パラメータ記憶器へ格納することが好ましい。
【００１９】
目標最大符号量と、前記目標最大符号量よりも小さい目標最小符号量とが設定されたデータサイズ設定器と、前記符号化器によって符号化された前記符号化画像信号の符号量を検出する符号量検出器をさらに具備しており、前記符号量検出器によって検出された前記符号化画像信号の符号量が前記データサイズ設定器によって設定された前記目標最大符号量よりも大きいとき、または前記前記符号化画像信号の符号量が前記データサイズ設定器によって設定された前記目標最小符号量よりも小さいときに、前記システム制御器は、前記第１圧縮率に関するパラメータに基づいて前記第２圧縮率を算出することが好ましい。
【００２０】
以下、本発明の実施の形態を説明する。
【００２１】
（実施の形態１）
図１は、実施の形態１に係る画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、メモリ制御器９を備えている。メモリ制御器９は、画像処理装置１００に接続された撮像素子７によって撮像された画像を表示するための画像データを撮像素子７から受け取り、画像処理装置１００に設けられた調停器２１を介して、画像処理装置１００に接続された記憶装置６へ画像データを格納する。
【００２２】
画像処理装置１００には、メモリ制御器１０が設けられている。メモリ制御器１０は、記憶装置６に格納された画像データを読み出して画像処理器８へ出力する。画像処理器８は、メモリ制御器１０から出力された画像データを輝度信号と色差信号とに分離して記録用画像信号Ｄ２と再生用画像信号Ｄ３とを生成し、記録用画像信号Ｄ２と再生用画像信号Ｄ３との画素数を変換し、メモリ制御器１０へ出力する。
【００２３】
メモリ制御器１０は、画像処理器８から出力された記録用画像信号Ｄ２を記憶装置６へ調停器２１を介して格納する。記憶装置６は、１画面分の記録用画像信号Ｄ２を格納するために十分大きい容量を有するＳＤＲＡＭ等のメモリデバイスによって構成されている。
【００２４】
画像処理装置１００は、画像信号読み出し器３を備えている。画像信号読み出し器３は、１画面分の画像領域に含まれる読み出し画像領域に存在する記録用画像信号Ｄ２を記憶装置６から読み出して画像圧縮器１９へ出力する。
【００２５】
図２は、画像圧縮器１９の構成を説明するためのブロック図である。画像圧縮器１９は、符号量見積もり器４を有している。符号量見積もり器４は、画像信号読み出し器３によって読み出された画像信号Ｄ２を符号化した符号化画像データＤ４のサイズを目標値にそろえるために、符号化画像信号Ｄ４の符号量を見積もる。画像圧縮器１９には、符号化器５が設けられている。符号化器５は、画像信号Ｄ２を符号化画像信号Ｄ４に符号化する。
【００２６】
画像処理装置１００には、処理時間算出器２が設けられている。処理時間算出器２は、符号量見積もり器４が符号量を見積もるために要した符号量見積もり処理時間と符号化器５が画像信号Ｄ２を符号化するために要した符号化処理時間とを検出して、符号量見積もり処理時間と符号化処理時間とを合計した合計処理時間を算出してシステム制御器１へ出力する。
【００２７】
システム制御器１は、処理時間算出器２から出力された合計処理時間に応じて、画像信号読み出し器３が画像信号Ｄ２を読み出すための読み出し画像領域の広さを変更する。
【００２８】
画像処理装置１００には、符号化画像信号制御器１１が設けられている。符号化画像信号制御器１１は、符号化器５によって符号化された符号化画像信号Ｄ４を記憶装置６へ格納する。画像処理装置１００は、記録再生器２２を備えている。記録再生器２２は、符号化器５によって符号化された符号化画像信号Ｄ４を、画像処理装置１００に接続された記録媒体２５へ記録する。
【００２９】
画像処理装置１００は、表示器２３を備えている。表示器２３は、メモリ制御器１０から出力された再生用画像信号Ｄ３をモニター画像またはプレビュー画像として、液晶モニター等によって構成される画像表示装置２４へ出力する。画像表示装置２４は、再生用画像信号Ｄ３に基づいてモニター画像またはプレビュー画像を表示する。
【００３０】
このように構成された画像処理装置１００の動作を説明する。図３は画像処理装置１００の動作を示すフローチャートであり、図４は画像処理装置１００の符号量見積もり処理および符号化処理の処理サイクルを説明するための図である。
【００３１】
まず、システム制御器１は、符号化器５による符号化処理を実行すべきタイミングであるか符号量見積もり器４による符号量見積もり処理を実行すべきタイミングであるかを示す圧縮モードを検出する（ステップＳ１）。
【００３２】
符号量見積もり器４による符号量見積もり処理を実行すべきタイミングであるときは（ステップＳ２においてＹＥＳ）、処理時間算出器２は、前回の符号化処理に要した処理時間を検出し（ステップＳ３）、前回の符号化処理に要した処理時間に基づいて、今回の符号量見積もり処理に使用することができる処理時間を算出し、算出した処理時間以内に全画面の符号量を見積もることができるか否かを判断する（ステップＳ４）。
【００３３】
算出した処理時間以内に全画面の符号量を見積もることができないと判断したときは（ステップＳ４においてＮＯ）、システム制御器１は、符号量見積もり処理に使用することができる処理時間以内に見積もることができる読み出し画像領域を算出し（ステップＳ５）、算出した読み出し画像領域に基づいて、記録用画像信号Ｄ２を読み出すべき読み出し画像領域を狭く設定する。
【００３４】
そして、符号化器５による符号化処理を実行すべきタイミングであるとシステム制御器１が判断したとき（ステップＳ２においてＮＯ）、または、算出した処理時間以内に全画面の符号量を見積もることができるとシステム制御器１が判断したとき（ステップＳ４においてＹＥＳ）は、システム制御器１は記録用画像信号Ｄ２の全画角の画像信号領域を画像信号読み出し器３に設定する。そして、符号量見積もり処理に使用することができる処理時間以内に見積もることができる読み出し画像領域を算出し、算出した読み出し画像領域に基づいて、記録用画像信号Ｄ２を読み出すべき読み出し画像領域を狭く設定したときは（ステップＳ５）、システム制御器１はステップＳ５において狭く設定した読み出し画像領域を画像信号読み出し器３に設定する（ステップＳ６）。
【００３５】
次に、画像信号読み出し器３は、システム制御器１によって設定された読み出し画像領域から記録用画像信号Ｄ２を読み出す。その後、符号量見積もり器４は、画像信号読み出し器３によって読み出し画像領域から読み出された記録用画像信号Ｄ２の符号量を見積もる。そして、符号化器５は、記録用画像信号Ｄ２を符号化画像信号Ｄ４に符号化する（ステップＳ７）。なお、符号化器５は、符号量見積もり器４によって見積もられた符号量に基づいて、記録用画像信号Ｄ２を符号化画像信号Ｄ４に符号化してもよい。
【００３６】
その後、符号化処理または符号量見積もり処理をさらに実施するか否かを判断する（ステップＳ８）。符号化処理または符号量見積もり処理をさらに実施するときは、ステップＳ１へ戻る。符号化処理または符号量見積もり処理をさらに実施しないときは、処理を終了する。
【００３７】
実施の形態１に係る画像処理装置１００においては、図４に示す同期信号ＶＤＨＥＡＤの３周期分の処理サイクル１５の間に、撮像素子７から入力された画像データに基づく１画面分の記録用画像信号Ｄ２が記憶装置６へ格納される。処理サイクル１５は、ＣＣＤ露光処理期間１６とＣＣＤ露光処理期間１６に後続するＯＤＤフィールド処理期間１７とＯＤＤフィールド処理期間１７に後続するＥＶＥＮフィールド処理期間１８とによって構成されている。ＣＣＤ露光処理期間１６の間には、被写体からの光が撮像素子２に蓄積される。ＯＤＤフィールド処理期間１７の間には、撮像素子２から出力されるＯＤＤフィールドの画像データに基づいてＯＤＤフィールド分の画像信号が記憶装置４に格納される。ＥＶＥＮフィールド処理期間１８の間には、撮像素子２から出力されるＥＶＥＮフィールドの画像データに基づいてＥＶＥＮフィールド分の画像信号が記憶装置４に格納される。このように、１画面分の画像信号が処理サイクル１５の間に記憶装置４へ格納される。
【００３８】
各処理サイクル１５を連続して実行しようとすると、各処理サイクル１５において実行される符号量見積もり処理および符号化処理は、同期信号VDHEADの３周期以内に完了する必要がある。このように、符号量見積もり処理および符号化処理を実行するために要した時間が同期信号VDHEADの３周期を超過すると、各処理サイクル１５を連続して実行することができない。
【００３９】
実施の形態１に係る画像処理装置１００においては、符号量見積もり処理および符号化処理を実行するために要した時間が同期信号VDHEADの３周期を超過した場合には、符号量見積もりのために読み出す記録用画像信号Ｄ２の読み出し領域を狭くする。このため、それ以降の処理サイクルにおいて符号量見積もり処理および符号化処理を実行するために要する時間が短くなる。その結果、各処理サイクル１５を連続して実行することができる。
【００４０】
符号量を見積もる際には、記録用画像信号Ｄ２の全画面の符号量を見積もることが好ましい。しかしながら図４に示すｎ−１枚目の符号量見積もり処理とｎ−１枚目の符号化処理のように、符号量見積もり処理と符号化処理とに要した時間が、同期信号VDHEADの３周期を超過する場合が考えられる。図４に示す例では、ｎ−１枚目の符号量見積もり処理はｎ−１枚目の処理サイクル１５におけるEVENフィールド処理期間１８の開始と同時に開始するので、同期信号VDHEADの３周期後に次のｎ枚目の画面におけるEVENフィールド処理期間１８が開始するまでの間にｎ−１枚目の符号化処理が終了すれば良い。
【００４１】
図４中のｎ−１枚目の符号量見積もり処理および符号化処理に要した合計処理時間が同期信号ＶＤＨＥＡＤの３周期を超過した場合には、処理時間検出器２は、ｎ−１枚目の符号化処理に要した時間の超過分に基づいて、ｎ枚目の符号量見積もり処理に使用することができる時間を算出する。システム制御器１は、処理時間検出器２による算出結果に基づいて、画像信号読み出し器３に対して、ｎ枚目の符号量見積もり処理に使用する記録用画像信号Ｄ２を読み出すための読み出し画像領域を狭く設定することにより、ｎ枚目の符号量見積もり処理時間を縮め、ｎ−１枚目の符号化処理に要した時間の超過分をｎ枚目の符号化処理の終了時には吸収している。
【００４２】
このように、システム制御器１は、後続する１画面分の画像領域に含まれる読み出し画像領域に存在する画素を表示するための画像信号Ｄ２を符号化器５が符号化画像信号Ｄ４に符号化する符号化処理が、所定の処理サイクル１５よりも遅く終了しないように、読み出し画像領域の広さを変更する。具体的には、システム制御器１は、処理時間算出器２によって算出された合計処理時間が所定の処理サイクル１５よりも長いときは、読み出し画像領域を狭くする。
【００４３】
画像処理装置１００においては、処理サイクルを破綻させることなく、符号量見積もり処理に許容される時間を算出し、その時間内で処理することが読み出し画像領域から読み出した記録用画像信号Ｄ２の符号量を見積もることによって、符号化における圧縮率の精度を向上させて符号化画像信号Ｄ４の符号量を目標とする符号量に近づけることができる。
【００４４】
以上のように実施の形態１によれば、画像信号Ｄ２を符号化した符号化画像信号Ｄ４の符号量を符号量見積もり器４が見積もるために要した符号量見積もり処理時間と符号化器５が画像信号Ｄ２を符号化するために要した符号化処理時間とを合計した合計処理時間に応じて、画像信号読み出し器３が画像信号Ｄ２を読み出す読み出し画像領域の広さが変更される。このため、前回の符号化処理時間が次の画像信号の符号量見積もり処理時間を圧迫した場合でも、次の符号量見積もり処理時間に許容される時間を算出し、その時間内で処理可能な画像信号量に応じた広さの読み出し画像領域から画像信号を読み出すことができる。その結果、符号化における圧縮率の精度を向上させて圧縮画像データの符号量を目標とする符号量に近づけながら、所定の処理サイクルによって画像信号を符号化することができる。従って、連続撮影速度を低下させることなく圧縮画像データの符号量を見積もることができる。
【００４５】
（実施の形態２）
図５は実施の形態２に係る画像処理装置１００Ａの要部の構成を示すブロック図であり、図６は画像処理装置１００Ａの動作を示すフローチャートである。図１ないし図４を参照して前述した画像処理装置１００の構成要素と同一の構成要素には同一の参照符号を付している。従って、これらの構成要素の詳細な説明は省略する。前述した画像処理装置１００と異なる点は、システム制御器１の替わりにシステム制御器１Ａを備えている点、およびパラメータ記憶器１２をさらに備えている点である。
【００４６】
パラメータ記憶器１２には、符号量見積もり器４による過去の符号量見積もり処理において得られた第１圧縮率に関するパラメータ、および符号化器５による過去の符号化処理において使用した第１圧縮率に関するパラメータの少なくともいずれか１つがシステム制御器１Ａによって格納されている。
【００４７】
システム制御器１Ａは、パラメータ記憶器１２に格納された第１圧縮率に関するパラメータに基づいて第２圧縮率を算出する。
【００４８】
このように構成された画像処理装置１００Ａの動作を説明する。まず、システム制御器１Ａは、符号化器５による符号化処理を実行すべきタイミングであるか符号量見積もり器４による符号量見積もり処理を実行すべきタイミングであるかを示す圧縮モードを検出する（ステップＳ１）。
【００４９】
符号量見積もり器４による符号量見積もり処理を実行すべきタイミングであるときは（ステップＳ２においてＹＥＳ）、処理時間算出器２は、前回の符号化処理に要した処理時間を検出し（ステップＳ３）、今回の符号量見積もり処理に使用することができる処理時間を算出し、算出した処理時間以内に全画面の符号量を見積もることができるか否かを判断する（ステップＳ４）。
【００５０】
算出した処理時間以内に全画面の符号量を見積もることができないと判断したときは（ステップＳ４においてＮＯ）、システム制御器１Ａは、符号量見積もり処理に使用することができる処理時間以内に見積もることができる読み出し画像領域を算出し（ステップＳ５）、算出した読み出し画像領域に基づいて、記録用画像信号Ｄ２を読み出すべき読み出し画像領域を狭く設定する。
【００５１】
そして、符号化器５による符号化処理を実行すべきタイミングであるとシステム制御器１Ａが判断したとき（ステップＳ２においてＮＯ）、または、算出した処理時間以内に全画面の符号量を見積もることができるとシステム制御器１Ａが判断したとき（ステップＳ４においてＹＥＳ）は、システム制御器１Ａは記録用画像信号Ｄ２の全画角の画像信号領域を画像信号読み出し器３に設定する。そして、符号量見積もり処理に使用することができる処理時間以内に見積もることができる読み出し画像領域を算出し、算出した読み出し画像領域に基づいて、記録用画像信号Ｄ２を読み出すべき読み出し画像領域を狭く設定したときは（ステップＳ５）、システム制御器１ＡはステップＳ５において狭く設定した読み出し画像領域を画像信号読み出し器３に設定する（ステップＳ６）。
【００５２】
次に、システム制御器１Ａは、パラメータ記憶器１２に格納された第１圧縮率に関するパラメータに基づいて比較もしくは演算して得られた第２圧縮率を符号量見積もり器４および符号化器５に設定する（Ｓ１１）。
【００５３】
その後、画像信号読み出し器３は、システム制御器１Ａによって設定された読み出し画像領域から記録用画像信号Ｄ２を読み出す。そして、符号量見積もり器４は、システム制御器１Ａによって設定された第２圧縮率に基づいて、画像信号読み出し器３によって読み出し画像領域から読み出された記録用画像信号Ｄ２の符号量を見積もる。次に、符号化器５は、システム制御器１Ａによって設定された第２圧縮率によって記録用画像信号Ｄ２を符号化画像信号Ｄ４に符号化する（ステップＳ１２）。
【００５４】
その後、符号化処理または符号量見積もり処理をさらに実施するか否かを判断する（ステップＳ８）。符号化処理または符号量見積もり処理をさらに実施するときは、ステップＳ１へ戻る。符号化処理または符号量見積もり処理をさらに実施しないときは、処理を終了する。
【００５５】
処理サイクルを連続して実行した場合などにおいて、過去の記録用画像信号Ｄ２が次の符号化に使用する記録用画像信号Ｄ２に似通っていた場合、または、符号量見積もり処理に使用する記録用画像信号Ｄ２の信号量を削減して符号量見積もりを行った場合に、パラメータ記憶器１２に格納された過去に使用した第１圧縮率のパラメータを使用し、システム制御器１Ａによって第１圧縮率を比較もしくは演算して第２圧縮率を生成して次の符号化に使用する事で、圧縮画像データＤ４の符号量を目標とする符号量に近づけることができる。
【００５６】
以上のように実施の形態２によれば、符号化器５が画像信号Ｄ２を符号化したときの第１圧縮率に関するパラメータが格納されたパラメータ記憶器１２をさらに具備しており、システム制御器１Ａは、パラメータ記憶器１２に格納された第１圧縮率に関するパラメータに基づいて第２圧縮率を算出し、符号化器５は、システム制御器１Ａによって算出された第２圧縮率に基づいて、後続する１画面分の画像領域に含まれる読み出し領域に存在する画像信号を符号化する。このため、過去の画像信号が次の符号化処理に使用する画像信号に似通っていた場合に、圧縮率のパラメータを比較もしくは演算して次の符号化に使用する事で、符号量を目標とする符号量に近づけることができる。
【００５７】
（実施の形態３）
図７は実施の形態３に係る画像処理装置１００Ｂの要部の構成を示すブロック図であり、図８は画像処理装置の動作を示すフローチャートである。図５および図６を参照して前述した実施の形態２に係る画像処理装置１００Ａの構成要素と同一の構成要素には同一の参照符号を付している。従って、これらの構成要素の詳細な説明は省略する。前述した画像処理装置１００Ａと異なる点は、データサイズ設定器１３および符号量検出器１４をさらに備えている点、およびシステム制御器１Ａの替わりにシステム制御器１Ｂを備えている点である。
【００５８】
データサイズ設定器１３には、目標最大符号量と、目標最大符号量よりも小さい目標最小符号量とが設定されている。符号量検出器１４は、符号化器５によって符号化された符号化画像信号Ｄ４の符号量を検出する。
【００５９】
システム制御器１Ｂは、符号量検出器１４によって検出された符号化画像信号の符号量がデータサイズ設定器１３によって設定された目標最大符号量よりも大きいとき、または符号化画像信号の符号量がデータサイズ設定器１３によって設定された目標最小符号量よりも小さいときに、パラメータ記憶器１２に格納された第１圧縮率に関するパラメータに基づいて第２圧縮率を算出する。
【００６０】
このように構成された画像処理装置１００Ｂの動作を説明する。まず、システム制御器１Ｂは、符号化器５によって生成されるべき符号化画像信号Ｄ４の目標最大符号量および目標最小符号量をデータサイズ設定器１３に設定する（ステップ２１）。
【００６１】
圧縮モードを検出するステップＳ１から圧縮動作に関するステップＳ１２までは、実施の形態２において前述した内容と同一であるため、その説明を省略する。
【００６２】
次に、符号量検出器１４は、符号化器５によって符号化された符号化画像信号Ｄ４の符号量を検出する（ステップＳ２２）。その後、システム制御器１Ｂは、目標最小符号量がデータサイズ設定器１３に設定されているか否かを判断する（ステップＳ２３）。目標最小符号量がデータサイズ設定器１３に設定されていると判断したときは（ステップＳ２３においてＹＥＳ）、符号量検出器１４によって検出された符号化画像信号Ｄ４の符号量がデータサイズ設定器１３に設定された目標最小符号量よりも大きいか否かをシステム制御器１Ｂは判断する（ステップＳ２４）。符号化画像信号Ｄ４の符号量が目標最小符号量よりも大きくないと判断したときは（ステップＳ２４においてＮＯ）、ステップＳ１１へ戻る。
【００６３】
符号化画像信号Ｄ４の符号量が目標最小符号量よりも大きいと判断したとき（ステップＳ２４においてＹＥＳ）、または、目標最小符号量がデータサイズ設定器１３に設定されていないと判断したとき（ステップＳ２３においてＮＯ）は、システム制御器１Ｂは、目標最大符号量がデータサイズ設定器１３に設定されているか否かを判断する（ステップＳ２５）。
【００６４】
目標最大符号量がデータサイズ設定器１３に設定されていると判断したときは（ステップＳ２５においてＹＥＳ）、符号量検出器１４によって検出された符号化画像信号Ｄ４の符号量がデータサイズ設定器１３に設定された目標最大符号量よりも小さいか否かをシステム制御器１Ｂは判断する（ステップＳ２６）。符号化画像信号Ｄ４の符号量が目標最小符号量よりも小さくないと判断したときは（ステップＳ２６においてＮＯ）、ステップＳ１１へ戻る。
【００６５】
符号化画像信号Ｄ４の符号量が目標最小符号量よりも小さいと判断したとき（ステップＳ２６においてＹＥＳ）、または、目標最大符号量がデータサイズ設定器１３に設定されていないと判断したときは（ステップＳ２５においてＮＯ）、符号化処理または符号量見積もり処理をさらに実施するか否かを判断する（ステップＳ８）。符号化処理または符号量見積もり処理をさらに実施するときは、ステップＳ２１へ戻る。符号化処理または符号量見積もり処理をさらに実施しないときは、処理を終了する。
【００６６】
このように、圧縮動作を終了した後、符号量検出器１４が検出した符号化圧縮信号Ｄ４の符号量が、データサイズ設定器１３に設定された目標最大符号量を超えた場合や目標最小符号量より小さすぎた場合に、システム制御器１Ｂは符号量見積もり器４および符号化器５に対して圧縮率を変更して設定する。
【００６７】
目標となる符号化画像信号Ｄ４の符号量になるまで、符号量見積もり処理もしくは符号化処理を行うことで、異なる記録用画像信号Ｄ２を圧縮した場合でも、符号化画像信号Ｄ４の符号量をデータサイズ設定器１３によって設定された範囲内に収めることができる。
【００６８】
連続撮影など処理時間を優先する場合は、データサイズ設定器１３に設定された目標最大符号量を超えた場合や目標最小符号量より小さすぎた場合の記録用画像信号Ｄ２を、記憶装置４に残しておき、連続撮影を終了した後に、システム制御器１Ｂは符号量見積もり器４および符号化器５に対し圧縮率を変更して設定し、再度符号量見積もり処理、もしくは符号化処理を実行すると、連続撮影時の処理速度が遅くなることはない。
【００６９】
以上のように実施の形態３によれば、目標最大符号量と、目標最大符号量よりも小さい目標最小符号量とが設定されたデータサイズ設定器１３と、符号化器５によって符号化された符号化画像信号Ｄ４の符号量を検出する符号量検出器１４をさらに具備しており、符号量検出器１４によって検出された符号化画像信号Ｄ４の符号量がデータサイズ設定器１３によって設定された目標最大符号量よりも大きいとき、または符号化画像信号Ｄ４の符号量がデータサイズ設定器１３によって設定された目標最小符号量よりも小さいときに、システム制御器１Ｂは、第１圧縮率に関するパラメータに基づいて第２圧縮率を算出する。
【００７０】
このため、目標とする符号量の目標最大符号量および目標最小符号量の少なくともどちらか１つを設け、その範囲内に符号化画像信号Ｄ４の符号量が収まるまで圧縮動作を繰り返すことで、符号化画像信号Ｄ４の符号量を目標とする符号量内に収めることができる。
【００７１】
なお、前述した実施の形態１においては、ｎ−１枚目の符号化処理時間の超過分をｎ枚目の処理時間内において吸収する例を示しているが、本発明はこれに限定されない。ｎ−１枚目の符号化処理時間の超過分は、ｎ枚目以降の複数枚の処理において吸収しても良い。
【００７２】
また、各処理サイクルごとに毎回符号量見積もりを行っているが、符号量見積もりを行わない処理サイクルがあっても良い。
【００７３】
【発明の効果】
以上のように本発明によれば、連続撮影速度を低下させることなく圧縮画像データの符号量を見積もることができる画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【図１】実施の形態１に係る画像処理装置の構成を示すブロック図
【図２】実施の形態１に係る画像処理装置の要部の構成を示すブロック図
【図３】実施の形態１に係る画像処理装置の動作を示すフローチャート
【図４】実施の形態１に係る画像処理装置の符号量見積もり処理および符号化処理の処理サイクルを説明するための図
【図５】実施の形態２に係る画像処理装置の要部の構成を示すブロック図
【図６】実施の形態２に係る画像処理装置の動作を示すフローチャート
【図７】実施の形態３に係る画像処理装置の要部の構成を示すブロック図
【図８】実施の形態３に係る画像処理装置の動作を示すフローチャート
【符号の説明】
１システム制御器
２処理時間算出器
３画像信号読み出し器
４符号量見積もり器
５符号化器
６記憶装置
７撮像素子
８画像処理器
９、１０メモリ制御器
１１符号化画像信号制御器
１２パラメータ記憶器
１３データサイズ設定器
１４符号量検出器
１５処理サイクル
１６ＣＣＤ露光処理期間
１７ＯＤＤフィールド処理期間
１８ＥＶＥＮフィールド処理期間
１９画像圧縮器

Claims

１画面分の画像領域に含まれる読み出し画像領域に存在する画像信号を記憶装置から読み出す画像信号読み出し器と、
前記画像信号読み出し器によって読み出された前記画像信号を符号化した符号化画像信号の符号量を見積もるための符号量見積もり器と、
前記画像信号を前記符号化画像信号に符号化する符号化器と、
前記符号量見積もり器が前記符号量を見積もるために要した符号量見積もり処理時間と前記符号化器が前記画像信号を符号化するために要した符号化処理時間とを検出して、前記符号量見積もり処理時間と前記符号化処理時間とを合計した合計処理時間を算出する処理時間算出器と、
前記処理時間算出器によって算出された前記合計処理時間に応じて、前記画像信号読み出し器が前記画像信号を読み出す前記読み出し画像領域の広さを変更するシステム制御器とを具備することを特徴とする画像処理装置。
前記システム制御器は、後続する１画面分の画像領域に含まれる読み出し画像領域に存在する画像信号を前記符号化手段によって前記符号化画像信号に符号化する符号化処理が、所定の処理サイクルよりも遅く終了しないように、前記読み出し画像領域の広さを変更する、請求項１記載の画像処理装置。
前記処理時間算出器によって算出された前記合計処理時間が前記所定の処理サイクルよりも長いときは、前記システム制御器は、前記読み出し画像領域を狭くする、請求項２記載の画像処理装置。
前記処理時間算出器によって算出された前記合計処理時間が前記所定の処理サイクルよりも長くないときは、前記システム制御器は、前記読み出し画像領域を前記１画面分の画像領域にする、請求項２記載の画像処理装置。
前記所定の処理サイクルは、ＣＣＤ露光処理期間と前記ＣＣＤ露光処理期間に後続するＯＤＤフィールド処理期間と前記ＯＤＤフィールド処理期間に後続するＥＶＥＮフィールド処理期間とによって構成されている、請求項２記載の画像処理装置。
前記システム制御器は、前記符号量見積もり器による符号量見積もり処理が前記ＥＶＥＮフィールド処理期間の開始と実質的に同時に開始され、前記符号化器による符号化処理が前記ＯＤＤフィールド処理期間の終了と実質的に同時に終了するように、前記読み出し画像領域の広さを変更する、請求項５記載の画像処理装置。
撮像素子によって撮像された画像データを輝度信号と色差信号とに分離して前記画像信号を生成する画像処理器と、
前記画像処理器によって生成された前記画像信号を前記記憶装置へ格納するメモリ制御器とをさらに備える、請求項１記載の画像処理装置。
前記符号化器によって符号化された前記符号化画像信号を前記記憶装置へ格納する符号化画像信号制御器をさらに具備する、請求項１記載の画像処理装置。
前記符号量見積もり器が前記符号量見積もり処理したときの第１圧縮率に関するパラメータおよび前記符号化器が前記画像信号を符号化したときの第１圧縮率に関するパラメータの少なくともいずれか１つが格納されたパラメータ記憶器をさらに具備しており、
前記システム制御器は、前記パラメータ記憶器に格納された前記第１圧縮率に関するパラメータに基づいて第２圧縮率を算出し、
前記符号化器は、前記システム制御器によって算出された前記第２圧縮率に基づいて、後続する１画面分の画像領域に含まれる読み出し領域に存在する画像信号を符号化する、請求項１記載の画像処理装置。
前記システム制御器は、前記第１圧縮率に関する前記パラメータを前記パラメータ記憶器へ格納する、請求項９記載の画像処理装置。
目標最大符号量と、前記目標最大符号量よりも小さい目標最小符号量とが設定されたデータサイズ設定器と、
前記符号化器によって符号化された前記符号化画像信号の符号量を検出する符号量検出器とをさらに具備しており、
前記符号量検出器によって検出された前記符号化画像信号の符号量が前記データサイズ設定器によって設定された前記目標最大符号量よりも大きいとき、または前記符号化画像信号の符号量が前記データサイズ設定器によって設定された前記目標最小符号量よりも小さいときに、前記システム制御器は、前記第１圧縮率に関するパラメータに基づいて前記第２圧縮率を算出する、請求項９記載の画像処理装置。
１画面分の画像領域に含まれる読み出し画像領域に存在する画像信号を記憶装置から読み出す画像信号読み出し工程と、
前記画像信号読み出し工程によって読み出された前記画像信号を符号化した符号化画像信号の符号量を見積もるための符号量見積もり工程と、
前記画像信号を前記符号化画像信号に符号化する符号化工程と、
前記符号量見積もり工程が前記符号量を見積もるために要した符号量見積もり処理時間と前記符号化工程が前記画像信号を符号化するために要した符号化処理時間とを検出して、前記符号量見積もり処理時間と前記符号化処理時間とを合計した合計処理時間を算出する処理時間算出工程と、
前記処理時間算出工程によって算出された前記合計処理時間に応じて、前記画像信号読み出し工程が前記画像信号を読み出す前記読み出し画像領域の広さを変更する変更工程とを包含することを特徴とする画像処理方法。