JP4031388B2

JP4031388B2 - Image processing device

Info

Publication number: JP4031388B2
Application number: JP2003089747A
Authority: JP
Inventors: 健彦伊藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-03-28
Filing date: 2003-03-28
Publication date: 2008-01-09
Anticipated expiration: 2023-03-28
Also published as: JP2004297652A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に係り、より詳しくは、動画像信号を処理する画像処理装置に関する。
【０００２】
【従来の技術】
従来、動画像信号を処理する画像処理装置として、動画像信号のフレーム間のデータ変化等からフレーム画像が静止画像か動画像かを判別し、静止画像の場合には静止画に適した静止画処理を、動画像の場合には動画像に適した動画処理を行うことにより、画像内容に応じて適切な処理を行うものが知られている（例えば特許文献１〜３参照）。
【０００３】
ここで、静止画処理とは入力信号に対してノイズ除去処理等の各種フィルタ処理を施すものであり、高画質になるが、処理速度が遅い、消費電力が大きい等の特徴がある。一方、動画処理とは、画像データを間引いたりする等、静止画処理で行う各種フィルタ処理を省略した処理であり、高画質ではないが、処理速度が速い、消費電力が小さい等の特徴がある。
【０００４】
【特許文献１】
特公平７−４０７２２号公報
【特許文献２】
特許第３２８２６９１号公報
【特許文献３】
特許第２５５８７４２号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、静止画像か動画像かに応じてそれぞれ適切な処理を行うことにより画質の劣化を防ぐことが目的であるため、例えば消費電力を抑制したり、処理効率を向上させる等の他の様々な目的に応じて適切に処理することができない、という問題があった。
【０００６】
本発明は、上記事実に鑑みて成されたものであり、様々な目的に応じて動画像信号を適切に処理することができる画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、動画像信号を入力する入力手段と、静止画処理モードとして前記動画像信号を静止画処理する静止画処理手段と、動画処理モードとして前記動画像信号を動画処理する動画処理手段と、前記静止画処理モードと前記動画処理モードとを切り替えるための複数のパラメータ種を記憶する記憶手段と、前記複数のパラメータ種のうち少なくとも１つのパラメータ種のパラメータ値を設定するパラメータ値設定手段と、設定されたパラメータ値に基づいて前記静止画処理モードと前記動画処理モードとを切換える制御手段と、を備えたことを特徴とする。
【０００８】
この発明によれば、静止画処理手段は、静止画処理モードとして、入力手段により入力された動画像信号を静止画処理する。また、動画処理手段は、動画処理モードとして、入力手段により入力された動画像信号を動画処理する。
【０００９】
ここで、静止画処理とは、処理対象の画像信号に対して画質を向上させるための様々な処理をいい、例えば色補正処理、ガンマ補正処理、ホワイトバランス調整処理等を含む。従って、動画像信号に対して静止画処理を施すことにより画質は向上するが、処理速度が遅くなったり、消費電力が高くなったりする。
【００１０】
一方、動画処理とは、処理対象の画像信号に対して画質の向上を目的としたものではなく、処理速度の向上や消費電力の低減等、簡易かつ速やかに処理するための処理をいい、静止画処理で実行される各種処理の一部が実行される。すなわち、動画処理では、静止画処理のうちいくつかの処理を省略した処理が行われる。
【００１１】
従って、動画像信号に対して動画処理が施されることにより、画質を向上させることはできないが、処理速度を向上させたり、消費電力を抑えることができる。
【００１２】
すなわち、静止画処理モードは換言すれば高画質モードであり、動画処理モードは換言すれば簡易処理モードということができる。
【００１３】
記憶手段は、静止画処理モードと動画処理モードとを切り替えるための複数のパラメータ種を記憶する。すなわち、静止画処理モードと動画像処理モードとを切換えるための要素が複数存在することとなる。
【００１４】
パラメータ値設定手段は、記憶手段に記憶された複数のパラメータ種のうち少なくとも１つのパラメータ種のパラメータ値を設定する。すなわち、目的に応じて静止画処理モードと動画処理モードとを切り替えるためのパラメータ種を定め、このパラメータ種のパラメータ値を設定する。
【００１５】
そして、制御手段は、設定されたパラメータ値に基づいて静止画処理モードと動画処理モードとを切換える。
【００１６】
例えば、処理負荷を軽減させることを目的とするような場合には、パラメータ値設定手段は、例えばパラメータ種として画素数を設定し、パラメータ値として、その装置の撮影素子の画素数を設定する。
【００１７】
この場合、制御手段は、例えば設定されたパラメータ値が予め定めた閾値以上の場合には入力された動画像信号に動画処理が施されるように動画処理モードに切換え、設定されたパラメータ値が予め定めた閾値未満の場合には、入力された動画像信号に静止画処理が施されるように静止画処理モードに切換える。
【００１８】
これにより、画素数が大きいときは簡易処理が施され、画素数が小さいときには高画質処理が施されるので、処理負荷を軽減することができる。
【００１９】
また、パラメータ種を目的に応じて変更し、そのパラメータ種に応じたパラメータ値を設定することで、様々な目的に応じて動画像信号を適切に処理することができる。
【００２０】
請求項２記載の発明は、前記記憶手段は、パラメータ種と予め定めた閾値との対応関係を複数記憶し、前記制御手段は、設定されたパラメータ値と前記閾値とに基づいて前記静止画処理モードと前記動画処理モードとを切換えることを特徴とする。
【００２１】
この発明によれば、記憶手段には、パラメータ種と予め定めた閾値との対応関係が複数記憶されており、制御手段は、設定されたパラメータ値と閾値とに基づいて静止画処理モードと動画処理モードとを切換える。例えば設定されたパラメータ値が閾値以上の場合には静止画処理モードに切換え、閾値未満の場合には動画像処理モードに切換える。どのように切換えるかは、パラメータ種に応じて定められる。このように、パラメータ値と閾値とに基づいて処理モードを切換えることにより、簡単な処理で静止画処理モードと動画像処理モードとを切換えることができる。
【００２２】
なお、対応関係を設定するための設定手段をさらに設けてもよい。これにより、ユーザ側で自由に対応関係を設定することができ、所望の条件で静止画処理モードと動画像処理モードとを切換えることが可能となる。
【００２３】
請求項３記載の発明は、前記パラメータ種は、前記動画像信号の画素数、データ容量、フレームレート、色差、輝度、及び装置の電力能力の少なくとも２つを含むことを特徴とする。
【００２４】
この発明によれば、パラメータ種は、動画像信号の画素数、データ容量、フレームレート、色差、輝度、及び装置の電力能力の少なくとも２つを含んでおり、これらの中から少なくとも１つのパラメータ種が選択され、選択されたパラメータ種のパラメータ値が設定される。
【００２５】
ここで、画素数は、画像を撮影する撮影素子の画素数でもよいし、撮影モードで設定された画素数でもよい。データ容量は、画像信号を記憶するメモリのデータ容量でもよいし、入力手段に入力される動画像信号のデータ容量（データサイズ）でもよい。フレームレートは、動画像を構成するフレーム画像の表示間隔である。色差は、動画像信号に対して色差を求めるための所定の演算を行うことにより得ることができるパラメータである。輝度は、動画像信号に対して輝度を求めるための所定の演算を行うことにより得ることができるパラメータである。装置の電力能力は、装置に搭載されたバッテリー電源の容量でもよいし、バッテリー電源の残量でもよいし、消費電力でもよい。
【００２６】
このような様々なパラメータ種からパラメータ種を選択してパラメータ値を設定し、このパラメータ値に基づいて処理モードを切換えることができるので、目的に応じて動画像信号を適切に処理することができる。
【００２７】
請求項４記載の発明は、前記パラメータ種は、前記動画像信号の輝度であり、前記制御手段は、前記動画像信号の撮影領域を所定数で分割したときの分割領域毎に前記輝度を演算し、前記分割領域毎に、前記パラメータ値と前記輝度とに基づいて前記静止画処理モードと前記動画処理モードとを切換え、処理後の分割領域の分割データを合成することを特徴とする。
【００２８】
この発明によれば、パラメータ種が動画像信号の輝度の場合には、制御手段は、動画像信号の撮影領域を所定数で分割する。そして、分割領域毎に輝度を演算し、この輝度とパラメータ値とに基づいて静止画処理モードと動画処理モードとを分割領域毎に切換える。例えば、輝度が所定の閾値以上の分割領域に対しては、画像としての重要度が高いものとして静止画処理モードを施し、輝度が所定の閾値未満の分割領域に対しては画像としての重要度が低いものとして動画処理を施す。そして、処理後の分割領域の分割データを合成する。
【００２９】
このように、輝度を画像の重要度の判断材料として、重要度に応じて静止画処理モードと動画処理モードとを切換えることにより、画質を向上させつつ処理効率を向上させることができる。
【００３０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。なお、本実施の形態では、動画像信号を処理するデジタルカメラに本発明を適用した場合について説明する。
【００３１】
図１に示すように、画像処理装置１０は、入力部１２、切換部１４、パラメータ値設定部１６、記憶部１８、静止画処理部２０、動画処理部２２、出力部２４を含んで構成される。この画像処理装置１０は、図示しないデジタルカメラの画像処理部として機能する。
【００３２】
入力部１２は、動画像信号を入力する。この動画像信号は、例えば撮影レンズ及びＣＣＤ（Charge Coupled Device）等の撮影素子を含む撮影手段で撮影された撮影画像の画像信号を入力する。
【００３３】
入力された動画像信号は、切換部１４に入力される。切換部１４には、パラメータ値設定部１６からパラメータ値及び閾値が入力される。
【００３４】
パラメータ値設定部１６は、予め定めた又はユーザにより設定されたパラメータ種が入力され、入力されたパラメータ種のパラメータ値を設定する。パラメータ値は、装置のスペックによって予め定められた値に設定されたり、パラメータを測定すること等によりその時の状態に応じた値に設定される。
【００３５】
また、パラメータ値設定部１６は、入力されたパラメータ種に対応する閾値を記憶部１８に記憶されたパラメータ種と閾値との対応関係から求めて切換部１４へ出力する。
【００３６】
記憶部１８には、図２に示すような、パラメータ種と閾値との対応関係を記憶している。本実施形態では、パラメータ種として、動画像信号の画素数、電力能力、データ容量、フレームレート、色差、輝度が含まれており、それぞれのパラメータ種に対して閾値ＳＨ１〜ＳＨ５が予め設定されている。また、記憶部１８には、デジタルカメラを構成する各部のスペックに関するスペック情報、例えばＣＣＤの画素数、搭載しているメモリの容量、搭載しているバッテリー電源の容量、フレームレート等の情報を記憶している。
【００３７】
ここで、画素数は、例えば被写体を撮影するＣＣＤ等の撮影素子の画素数が用いられる。この場合、パラメータ値はスペック情報に基づいて予め定められた値に設定される。また、撮影画像の記録媒体への記録時の画素数を設定するための記録モードで設定された画素数でもよい。この場合、パラメータ値設定部１６は記録モードを検出し、検出した記録モードに応じた画素数をパラメータ値として設定する。
【００３８】
装置の電力能力は、例えば画像処理装置１０の各部に電力を供給する図示しないバッテリー電源の容量が用いられる。この場合、パラメータ値は、スペック情報に基づいて予め定められた値に設定される。また、バッテリー電源の残量をパラメータ値としてもよい。この場合、パラメータ値設定部１６は、バッテリー電源の残量を検出し、この値をパラメータ値として設定する。また、消費電力をパラメータ値としてもよい。この場合、パラメータ値設定部１６は、消費電力を検出し、この値をパラメータ値として設定する。
【００３９】
データ容量は、例えば画像データを記憶する図示しないメモリのデータ容量が用いられる。この場合、パラメータ値はスペック情報に基づいて予め定められた値に設定される。また、入力部１２に入力される動画像信号のデータサイズを用いてもよい。この場合、パラメータ値設定部１６は動画像信号のデータサイズを測定し、この値をパラメータ値として設定する。
【００４０】
フレームレートは、フレーム画像の表示間隔である。この場合、パラメータ値は、通常はスペック情報に基づいて予め定められた値に設定されるが、ユーザの入力により設定された値に設定してもよい。
【００４１】
色差は、画像データに対して色差を求めるための所定の演算を施すことにより得られる。この場合、パラメータ値設定部１６は、色差を求めるための所定の演算を行い、演算結果をパラメータ値として設定する。
【００４２】
輝度は、画像データに対して輝度を求めるための所定の演算を施すことにより得られる。この場合、パラメータ値設定部１６は、輝度を求めるための所定の演算を行い、演算結果をパラメータ値として設定する。
【００４３】
切換部１４は、パラメータ値設定部１６から入力されたパラメータ値と閾値とに基づいて、入力された動画像信号を静止画処理モードとして静止画処理部２０で処理させるか動画処理モードとして動画処理部２２で処理させるかを切換える。すなわち、入力された動画像信号を静止画処理モードで処理させる場合には、動画像信号を静止画処理部２０へ出力し、動画処理モードで処理させる場合には、動画像信号を動画処理部２２へ出力する。なお、詳細は後述するが、パラメータ種が輝度の場合には、切換部１４は、画像の分割処理を行い、分割画像毎に静止画処理モードと動画処理モードとを切換える。
【００４４】
静止画処理部２０は、画質を向上させるための処理、例えば色補正処理、ガンマ補正処理、ホワイトバランス調整処理等を行う。これにより、画質は向上するが、処理速度が遅くなったり、消費電力が高くなったりする。
【００４５】
動画処理部２２は、静止画処理部２０で実行する各種処理の一部を実行する。これより、画質を向上させることはできないが、処理速度を向上させたり、消費電力を抑えることができる。
【００４６】
出力部２４は、静止画処理部２０又は動画処理部２２から入力された動画像信号を後段の回路へ出力する。出力部２４から出力された動画像信号は、例えば表示装置へ出力され表示される。なお、詳細は後述するが、パラメータ種が輝度の場合には、出力部２４は分割画像の合成処理も行う。
【００４７】
なお、入力部１２は本発明の入力手段に相当し、静止画処理部２０は本発明の静止画処理手段に相当し、動画処理部２２は本発明の動画処理手段に相当し、記憶部１８は本発明の記憶手段に相当し、パラメータ値設定部１６は本発明のパラメータ値設定手段に相当し、切換部１４は本発明の制御手段に相当する。
【００４８】
次に、本実施の形態の作用として、画像処理装置１０で実行される制御ルーチンについて、図３に示すフローチャートを参照して説明する。
【００４９】
まず、ステップ１００において、入力部１２に動画像信号が入力されると、次のステップ１０２において、切換部１４により、入力されたパラメータ種が輝度か否かが判断される。パラメータ種は、例えば予め定められており、デジタルカメラを統括制御する図示しないＣＰＵから入力される。
【００５０】
そして、パラメータ種が輝度の場合には、ステップ１０４に移行し、パラメータ種が輝度以外の場合にはステップ１０６へ移行する。
【００５１】
ステップ１０４では、切換部１４により、入力された動画像信号で表される画像２６が図４に示すように予め定めた数の分割画像２８に分割され、各々の分割画像２８の分割動画像信号が生成される。なお、図４では一例として４×４の合計１６個に分割しているが、分割数はこれに限られない。
【００５２】
ステップ１０６では、パラメータ値設定部１６によりパラメータ値が設定される。例えばパラメータ種として画素数が設定された場合には、記憶部１８に記憶されたスペック情報に基づいてＣＣＤの画素数がパラメータ値として設定される。なお、前述したように、記録モードを検出し、検出した記録モードで設定された画素数をパラメータ値として設定してよい。他のパラメータ種が入力された場合も同様に各々のパラメータ種に応じてパラメータ値を設定する。
【００５３】
ステップ１０８では、パラメータ値設定部１６が、入力されたパラメータ種に対応する閾値を記憶部１８に記憶されたパラメータ種と閾値との対応関係から求め、求めた閾値及びパラメータ値を切換部１４へ出力する。
【００５４】
ステップ１１０では、切換部１４において、入力されたパラメータ値と閾値とを比較し、比較結果に基づいて静止画処理モードとして処理すべきか動画処理モードとして処理すべきかを判断する。なお、パラメータ種が輝度の場合には、分割画像２８毎に判断する。
【００５５】
例えば、パラメータ種が画素数の場合、画素数が閾値以上の場合には動画処理モードとして処理すべきと判断し、閾値未満の場合には静止画処理モードとして処理すべきと判断する。このように画素数に応じて処理を切換えることにより、画素数に応じて適切に動画像信号を処理することができ、例えば処理負荷を低減することができる。
【００５６】
また、パラメータ種が電力能力としてのバッテリーの容量又は消費電力の場合、電力能力が閾値以上の場合には動画処理モードとして処理すべきと判断し、閾値未満の場合には静止画処理モードとして処理すべきと判断する。また、パラメータ種が電力能力としてのバッテリーの残量の場合、電力能力が閾値以上の場合には静止画処理モードとして処理すべきと判断し、閾値未満の場合には動画処理モードとして処理すべきと判断する。このように電力能力に応じて処理を切換えることにより、電力能力に応じて適切に動画像信号を処理することができ、例えば消費電力を抑制して長時間撮影することが可能となる。
【００５７】
また、パラメータ種がデータ容量としてのメモリの容量の場合、データ容量が閾値以上の場合には静止画処理モードとして処理すべきと判断し、閾値未満の場合には動画処理モードとして処理すべきと判断する。また、パラメータ種がデータ容量としての画像のデータサイズの場合、データ容量が閾値以上の場合には動画処理モードとして処理すべきと判断し、閾値未満の場合には静止画処理モードとして処理すべきと判断する。このようにデータ容量に応じて処理を切換えることにより、データ容量に応じて適切に動画像信号を処理することができる。
【００５８】
また、パラメータ種がフレームレートの場合、フレームレートが閾値以上の場合には動画処理モードとして処理すべきと判断し、閾値未満の場合には静止画処理モードとして処理すべきと判断する。このようにフレームレートに応じて処理を切換えることにより、フレームレートに応じて適切に動画像信号を処理することができ、例えば処理負荷を軽減することができる。
【００５９】
また、パラメータ種が色差の場合、色差が閾値以上の場合には動画処理モードとして処理すべきと判断し、閾値未満の場合には静止画処理モードとして処理すべきと判断する。このように色差に応じて処理を切換えることにより、色差に応じて適切に動画像信号を処理することができ。
【００６０】
また、パラメータ種が輝度の場合、輝度が閾値以上の場合には、その分割画像２８は比較的重要度が高い領域とし、静止画処理モードとして処理すべきと判断し、閾値未満の場合には、その分割画像２８は比較的重要度が低い領域とし、動画処理モードとして処理すべきと判断する。例えば図４に示すように、斜線で示された領域の画像を輝度が閾値以上の分割画像２８Ｈとし、白抜きで示された領域を輝度が閾値未満の分割画像２８Ｌとした場合、分割画像２８Ｈに対しては静止画処理モードで処理させ、分割画像２８Ｌに対しては動画処理モードで処理させる。このように輝度に応じて処理を切換えることにより、画像の重要度に応じて効率よく動画像信号を処理することができる。
【００６１】
そして、静止画処理モードで処理すべきと判断された場合にはステップ１１２へ移行し、動画像信号が静止画処理部２０へ出力され、静止画処理部２０により静止画処理が実行される。
【００６２】
一方、動画処理モードで処理すべきと判断された場合には、ステップ１１４へ移行し、動画像信号が動画処理部２２へ出力され、動画処理部２２により動画処理が実行される。
【００６３】
静止画処理又は動画処理された動画像信号は出力部２４に出力される。
【００６４】
ステップ１１６では、出力部２４において、パラメータ種として輝度が設定されているか否かを判断する。そして、パラメータ種として輝度が設定されている場合には、ステップ１１８へ移行し、パラメータ種として輝度以外が設定されている場合には、ステップ１２０へ移行する。
【００６５】
ステップ１１８では、分割領域２８毎に静止画処理又は動画処理が施された分割動画像信号を合成する。そして、次のステップ１２０では、動画像信号を後段の回路へ出力する。
【００６６】
このように、本実施形態では、複数のパラメータ種の中から設定されたパラメータ種のパラメータ値を設定し、このパラメータ値に基づいて動画処理モードと静止画処理モードとを切換えるので、目的に応じて適切に動画像信号を処理することができる。
【００６７】
なお、本実施形態では、１つのパラメータ値と閾値とに基づいて静止画処理モードと動画処理モードとを切換える場合について説明したが、これに限らず、２つ以上のパラメータ値と閾値とに基づいて静止画処理モードと動画処理モードとを切換えるようにしてもよい。
【００６８】
また、本実施形態では、パラメータ種は予め定められている場合について説明したが、これに限らず、ユーザの設定により定められるようにしてもよい。
【００６９】
また、本実施形態では、パラメータ種が輝度の場合には、分割画像毎に静止画処理モードと動画処理モードとを切換える場合について説明したが、これに限らず、輝度以外の他のパラメータ、例えば色差等の画像に関するパラメータがパラメータ種の場合に、分割画像毎に静止画処理モードと動画処理モードとを切換えるようにしてもよい。
【００７０】
【発明の効果】
以上説明したように、本発明によれば、様々な目的に応じて動画像信号を適切に処理することができる、という優れた効果を有する。
【図面の簡単な説明】
【図１】画像処理装置の概略ブロック図である。
【図２】パラメータ種と閾値との対応関係を表す図である。
【図３】画像処理装置で実行される制御ルーチンのフローチャートである。
【図４】画像分割について説明するための図である。
【符号の説明】
１０画像処理装置
１２入力部
１４切換部
１６パラメータ値設定部
１８記憶部
２０静止画処理部
２２動画処理部
２４出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus that processes a moving image signal.
[0002]
[Prior art]
Conventionally, as an image processing apparatus for processing a moving image signal, it is determined whether the frame image is a still image or a moving image based on a data change between frames of the moving image signal. In the case of a moving image, it is known to perform an appropriate process according to the image content by performing a moving image process suitable for the moving image (for example, see Patent Documents 1 to 3).
[0003]
Here, the still image processing is to perform various kinds of filter processing such as noise removal processing on the input signal, and has the characteristics that the image quality is high but the processing speed is slow and the power consumption is large. On the other hand, moving image processing is processing that omits various filter processing performed in still image processing, such as thinning out image data, and is not high in image quality, but has features such as high processing speed and low power consumption. .
[0004]
[Patent Document 1]
Japanese Patent Publication No. 7-40722 [Patent Document 2]
Japanese Patent No. 328291 [Patent Document 3]
Japanese Patent No. 2558742 gazette
[Problems to be solved by the invention]
However, the above-described prior art is intended to prevent image quality deterioration by performing appropriate processing depending on whether the image is a still image or a moving image. For example, power consumption is reduced or processing efficiency is improved. There is a problem that it cannot be appropriately processed according to various other purposes.
[0006]
The present invention has been made in view of the above-described facts, and an object thereof is to provide an image processing apparatus that can appropriately process a moving image signal in accordance with various purposes.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the invention described in claim 1 includes an input unit for inputting a moving image signal, a still image processing unit for processing the moving image signal as a still image processing mode, and a moving image processing mode. Moving image processing means for moving the moving image signal, storage means for storing a plurality of parameter types for switching between the still image processing mode and the moving image processing mode, and at least one parameter of the plurality of parameter types Parameter value setting means for setting various parameter values; and control means for switching between the still image processing mode and the moving image processing mode based on the set parameter values.
[0008]
According to this invention, the still image processing means performs still image processing on the moving image signal input by the input means as the still image processing mode. The moving image processing means performs moving image processing on the moving image signal input by the input means as the moving image processing mode.
[0009]
Here, the still image processing refers to various processing for improving the image quality of the image signal to be processed, and includes, for example, color correction processing, gamma correction processing, white balance adjustment processing, and the like. Therefore, image quality is improved by performing still image processing on a moving image signal, but the processing speed is slow and power consumption is high.
[0010]
On the other hand, video processing is not intended to improve the image quality of the image signal to be processed, but refers to processing for simple and quick processing such as improvement of processing speed and reduction of power consumption. Some of the various processes executed in the image processing are executed. That is, in the moving image processing, processing in which some of the still image processing is omitted is performed.
[0011]
Therefore, the moving image processing is performed on the moving image signal, so that the image quality cannot be improved, but the processing speed can be improved and the power consumption can be suppressed.
[0012]
In other words, the still image processing mode is a high image quality mode, and the moving image processing mode is a simple processing mode.
[0013]
The storage means stores a plurality of parameter types for switching between the still image processing mode and the moving image processing mode. That is, there are a plurality of elements for switching between the still image processing mode and the moving image processing mode.
[0014]
The parameter value setting unit sets the parameter value of at least one parameter type among the plurality of parameter types stored in the storage unit. That is, a parameter type for switching between the still image processing mode and the moving image processing mode is determined according to the purpose, and the parameter value of this parameter type is set.
[0015]
Then, the control means switches between the still image processing mode and the moving image processing mode based on the set parameter value.
[0016]
For example, when the purpose is to reduce the processing load, the parameter value setting means sets, for example, the number of pixels as the parameter type, and sets the number of pixels of the image sensor of the apparatus as the parameter value.
[0017]
In this case, for example, when the set parameter value is equal to or greater than a predetermined threshold, the control unit switches to the moving image processing mode so that the input moving image signal is subjected to moving image processing, and the set parameter value is If it is less than the predetermined threshold, the mode is switched to the still image processing mode so that the input moving image signal is subjected to still image processing.
[0018]
Accordingly, simple processing is performed when the number of pixels is large, and high-quality processing is performed when the number of pixels is small, so that the processing load can be reduced.
[0019]
Further, by changing the parameter type according to the purpose and setting the parameter value according to the parameter type, the moving image signal can be appropriately processed according to various purposes.
[0020]
According to a second aspect of the present invention, the storage unit stores a plurality of correspondences between parameter types and predetermined threshold values, and the control unit performs the still image processing based on the set parameter values and the threshold values. The mode and the moving image processing mode are switched.
[0021]
According to the present invention, the storage means stores a plurality of correspondence relationships between the parameter type and the predetermined threshold value, and the control means stores the still image processing mode and the moving image based on the set parameter value and the threshold value. Switch between processing modes. For example, when the set parameter value is equal to or greater than the threshold, the mode is switched to the still image processing mode, and when it is less than the threshold, the mode is switched to the moving image processing mode. How to switch is determined according to the parameter type. Thus, by switching the processing mode based on the parameter value and the threshold value, it is possible to switch between the still image processing mode and the moving image processing mode with simple processing.
[0022]
Note that setting means for setting the correspondence may be further provided. As a result, the user can freely set the correspondence, and the still image processing mode and the moving image processing mode can be switched under desired conditions.
[0023]
The invention according to claim 3 is characterized in that the parameter type includes at least two of the number of pixels of the moving image signal, data capacity, frame rate, color difference, luminance, and power capability of the apparatus.
[0024]
According to the present invention, the parameter types include at least two of the number of pixels of the moving image signal, the data capacity, the frame rate, the color difference, the luminance, and the power capability of the apparatus, and at least one parameter type is selected from these. Is selected, and the parameter value of the selected parameter type is set.
[0025]
Here, the number of pixels may be the number of pixels of the imaging element that captures an image, or may be the number of pixels set in the imaging mode. The data capacity may be a data capacity of a memory that stores an image signal, or may be a data capacity (data size) of a moving image signal input to the input means. The frame rate is a display interval of frame images constituting a moving image. The color difference is a parameter that can be obtained by performing a predetermined calculation for obtaining the color difference with respect to the moving image signal. The luminance is a parameter that can be obtained by performing a predetermined calculation for obtaining the luminance for the moving image signal. The power capacity of the device may be the capacity of the battery power source installed in the device, the remaining amount of battery power, or the power consumption.
[0026]
Since it is possible to select a parameter type from such various parameter types, set a parameter value, and switch the processing mode based on the parameter value, it is possible to appropriately process a moving image signal according to the purpose. .
[0027]
According to a fourth aspect of the present invention, the parameter type is the luminance of the moving image signal, and the control means calculates the luminance for each divided area when the shooting area of the moving image signal is divided by a predetermined number. Then, for each of the divided regions, the still image processing mode and the moving image processing mode are switched based on the parameter value and the luminance, and the divided data of the processed divided regions is synthesized.
[0028]
According to the present invention, when the parameter type is the luminance of the moving image signal, the control unit divides the imaging region of the moving image signal by a predetermined number. Then, the luminance is calculated for each divided region, and the still image processing mode and the moving image processing mode are switched for each divided region based on the luminance and the parameter value. For example, a still image processing mode is applied to a divided area having a luminance equal to or higher than a predetermined threshold, assuming that the importance as an image is high, and an importance as an image is applied to a divided area having a luminance lower than a predetermined threshold. Video processing is performed on the assumption that the value is low. Then, the divided data of the divided areas after processing is synthesized.
[0029]
As described above, the luminance is used as a material for determining the importance of the image, and the processing efficiency can be improved while improving the image quality by switching between the still image processing mode and the moving image processing mode according to the importance.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case where the present invention is applied to a digital camera that processes a moving image signal will be described.
[0031]
As shown in FIG. 1, the image processing apparatus 10 includes an input unit 12, a switching unit 14, a parameter value setting unit 16, a storage unit 18, a still image processing unit 20, a moving image processing unit 22, and an output unit 24. The The image processing apparatus 10 functions as an image processing unit of a digital camera (not shown).
[0032]
The input unit 12 inputs a moving image signal. As the moving image signal, for example, an image signal of a photographed image photographed by photographing means including a photographing lens and a photographing element such as a CCD (Charge Coupled Device) is input.
[0033]
The input moving image signal is input to the switching unit 14. The parameter value and the threshold value are input to the switching unit 14 from the parameter value setting unit 16.
[0034]
The parameter value setting unit 16 receives a parameter type that is predetermined or set by the user, and sets the parameter value of the input parameter type. The parameter value is set to a value determined in advance according to the specifications of the apparatus, or is set to a value according to the state at that time by measuring the parameter.
[0035]
The parameter value setting unit 16 obtains a threshold value corresponding to the input parameter type from the correspondence relationship between the parameter type and the threshold value stored in the storage unit 18, and outputs the threshold value to the switching unit 14.
[0036]
The storage unit 18 stores the correspondence between parameter types and thresholds as shown in FIG. In the present embodiment, the parameter types include the number of pixels of the moving image signal, power capability, data capacity, frame rate, color difference, and luminance, and thresholds SH1 to SH5 are preset for each parameter type. Yes. In addition, the storage unit 18 stores spec information relating to the specs of each unit constituting the digital camera, such as the number of CCD pixels, the capacity of the mounted memory, the capacity of the mounted battery power supply, the frame rate, and the like. is doing.
[0037]
Here, as the number of pixels, for example, the number of pixels of a photographing element such as a CCD for photographing a subject is used. In this case, the parameter value is set to a predetermined value based on the specification information. Alternatively, the number of pixels set in the recording mode for setting the number of pixels when recording the captured image on the recording medium may be used. In this case, the parameter value setting unit 16 detects the recording mode, and sets the number of pixels corresponding to the detected recording mode as the parameter value.
[0038]
As the power capability of the apparatus, for example, the capacity of a battery power source (not shown) that supplies power to each unit of the image processing apparatus 10 is used. In this case, the parameter value is set to a predetermined value based on the specification information. Also, the remaining battery power may be used as the parameter value. In this case, the parameter value setting unit 16 detects the remaining battery power and sets this value as the parameter value. Further, power consumption may be used as a parameter value. In this case, the parameter value setting unit 16 detects the power consumption and sets this value as the parameter value.
[0039]
For example, the data capacity of a memory (not shown) that stores image data is used as the data capacity. In this case, the parameter value is set to a predetermined value based on the specification information. Alternatively, the data size of the moving image signal input to the input unit 12 may be used. In this case, the parameter value setting unit 16 measures the data size of the moving image signal and sets this value as the parameter value.
[0040]
The frame rate is a frame image display interval. In this case, the parameter value is normally set to a predetermined value based on the spec information, but may be set to a value set by user input.
[0041]
The color difference is obtained by performing a predetermined calculation for obtaining the color difference on the image data. In this case, the parameter value setting unit 16 performs a predetermined calculation for obtaining a color difference, and sets the calculation result as a parameter value.
[0042]
The brightness is obtained by performing a predetermined calculation for obtaining the brightness on the image data. In this case, the parameter value setting unit 16 performs a predetermined calculation for obtaining the luminance, and sets the calculation result as a parameter value.
[0043]
Based on the parameter value and the threshold value input from the parameter value setting unit 16, the switching unit 14 causes the still image processing unit 20 to process the input moving image signal as a still image processing mode or as a moving image processing mode. Switching between processing by the unit 22 is performed. That is, when the input moving image signal is processed in the still image processing mode, the moving image signal is output to the still image processing unit 20, and when the input moving image signal is processed in the moving image processing mode, the moving image signal is output to the moving image processing unit. 22 to output. Although details will be described later, when the parameter type is luminance, the switching unit 14 performs image division processing and switches between the still image processing mode and the moving image processing mode for each divided image.
[0044]
The still image processing unit 20 performs processing for improving image quality, for example, color correction processing, gamma correction processing, white balance adjustment processing, and the like. As a result, the image quality is improved, but the processing speed is reduced and the power consumption is increased.
[0045]
The moving image processing unit 22 executes some of various processes executed by the still image processing unit 20. As a result, the image quality cannot be improved, but the processing speed can be improved and the power consumption can be suppressed.
[0046]
The output unit 24 outputs the moving image signal input from the still image processing unit 20 or the moving image processing unit 22 to a subsequent circuit. The moving image signal output from the output unit 24 is output to, for example, a display device and displayed. Although the details will be described later, when the parameter type is luminance, the output unit 24 also performs the division image synthesis process.
[0047]
The input unit 12 corresponds to the input unit of the present invention, the still image processing unit 20 corresponds to the still image processing unit of the present invention, the moving image processing unit 22 corresponds to the moving image processing unit of the present invention, and the storage unit 18. Corresponds to the storage means of the present invention, the parameter value setting unit 16 corresponds to the parameter value setting means of the present invention, and the switching unit 14 corresponds to the control means of the present invention.
[0048]
Next, as an operation of the present embodiment, a control routine executed by the image processing apparatus 10 will be described with reference to a flowchart shown in FIG.
[0049]
First, when a moving image signal is input to the input unit 12 in step 100, in the next step 102, the switching unit 14 determines whether or not the input parameter type is luminance. The parameter type is predetermined, for example, and is input from a CPU (not shown) that performs overall control of the digital camera.
[0050]
If the parameter type is luminance, the process proceeds to step 104. If the parameter type is other than luminance, the process proceeds to step 106.
[0051]
In step 104, the switching unit 14 divides the image 26 represented by the input moving image signal into a predetermined number of divided images 28 as shown in FIG. 4, and the divided moving image signal of each divided image 28. Is generated. In FIG. 4, as an example, a total of 16 pieces of 4 × 4 are divided, but the number of divisions is not limited to this.
[0052]
In step 106, the parameter value is set by the parameter value setting unit 16. For example, when the number of pixels is set as the parameter type, the number of pixels of the CCD is set as the parameter value based on the specification information stored in the storage unit 18. As described above, the recording mode may be detected, and the number of pixels set in the detected recording mode may be set as the parameter value. Similarly, when another parameter type is input, the parameter value is set according to each parameter type.
[0053]
In step 108, the parameter value setting unit 16 obtains a threshold value corresponding to the input parameter type from the correspondence relationship between the parameter type and the threshold value stored in the storage unit 18, and sends the obtained threshold value and parameter value to the switching unit 14. Output.
[0054]
In step 110, the switching unit 14 compares the input parameter value with the threshold value, and determines whether to process as the still image processing mode or the moving image processing mode based on the comparison result. If the parameter type is luminance, the determination is made for each divided image 28.
[0055]
For example, when the parameter type is the number of pixels, it is determined that the moving image processing mode should be processed when the number of pixels is equal to or greater than the threshold, and the still image processing mode is determined when it is less than the threshold. By switching the processing according to the number of pixels in this way, it is possible to appropriately process the moving image signal according to the number of pixels, and for example, it is possible to reduce the processing load.
[0056]
Also, when the parameter type is battery capacity or power consumption as power capability, it is determined that the video processing mode should be processed when the power capability is equal to or greater than the threshold, and the still image processing mode is processed when the parameter type is less than the threshold. Judge that it should. In addition, when the parameter type is the remaining battery capacity as the power capability, it is determined that the still image processing mode should be processed when the power capability is equal to or greater than the threshold, and the moving image processing mode should be processed when the parameter type is less than the threshold. Judge. By switching the processing according to the power capability in this way, it is possible to appropriately process the moving image signal according to the power capability, and for example, it is possible to shoot for a long time while suppressing power consumption.
[0057]
Further, when the parameter type is the memory capacity as the data capacity, it is determined that the still image processing mode should be processed when the data capacity is equal to or larger than the threshold, and the moving image processing mode should be processed when the data type is less than the threshold. to decide. In addition, when the parameter type is the data size of the image as the data capacity, it is determined that the video processing mode should be processed when the data capacity is equal to or larger than the threshold, and the still image processing mode should be processed when the data type is less than the threshold Judge. Thus, by switching processing according to the data capacity, it is possible to appropriately process the moving image signal according to the data capacity.
[0058]
When the parameter type is a frame rate, it is determined that the video processing mode should be processed when the frame rate is equal to or higher than the threshold, and the still image processing mode is determined when the parameter type is lower than the threshold. By switching the processing according to the frame rate in this way, the moving image signal can be appropriately processed according to the frame rate, and for example, the processing load can be reduced.
[0059]
When the parameter type is color difference, it is determined that the moving image processing mode should be processed when the color difference is equal to or larger than the threshold value, and the still image processing mode is determined when it is less than the threshold value. By switching the processing according to the color difference in this way, the moving image signal can be appropriately processed according to the color difference.
[0060]
When the parameter type is luminance, if the luminance is equal to or greater than the threshold value, it is determined that the divided image 28 should be processed as a still image processing mode in a relatively high importance area. Therefore, it is determined that the divided image 28 should be processed as the moving image processing mode in a relatively low importance area. For example, as shown in FIG. 4, when the image of the area indicated by diagonal lines is a divided image 28H having a luminance equal to or higher than the threshold, and the area indicated by white is a divided image 28L having a luminance lower than the threshold, the divided image 28H Is processed in the still image processing mode, and the divided image 28L is processed in the moving image processing mode. Thus, by switching processing according to the luminance, it is possible to efficiently process the moving image signal according to the importance of the image.
[0061]
If it is determined that the processing should be performed in the still image processing mode, the process proceeds to step 112 where the moving image signal is output to the still image processing unit 20 and the still image processing unit 20 executes the still image processing.
[0062]
On the other hand, when it is determined that the processing should be performed in the moving image processing mode, the process proceeds to step 114, where the moving image signal is output to the moving image processing unit 22, and the moving image processing unit 22 executes the moving image processing.
[0063]
The moving image signal subjected to the still image processing or the moving image processing is output to the output unit 24.
[0064]
In step 116, the output unit 24 determines whether or not luminance is set as a parameter type. Then, when the brightness is set as the parameter type, the process proceeds to step 118, and when other than the brightness is set as the parameter type, the process proceeds to step 120.
[0065]
In step 118, the divided moving image signals subjected to still image processing or moving image processing are synthesized for each divided region 28. In the next step 120, the moving image signal is output to a subsequent circuit.
[0066]
As described above, in this embodiment, the parameter value of the parameter type set from the plurality of parameter types is set, and the moving image processing mode and the still image processing mode are switched based on the parameter value. Thus, the moving image signal can be appropriately processed.
[0067]
In the present embodiment, the case where the still image processing mode and the moving image processing mode are switched based on one parameter value and a threshold value has been described. However, the present invention is not limited to this, and based on two or more parameter values and a threshold value. Thus, the still image processing mode and the moving image processing mode may be switched.
[0068]
In this embodiment, the case where the parameter type is determined in advance has been described. However, the present invention is not limited to this, and the parameter type may be determined by a user setting.
[0069]
In the present embodiment, when the parameter type is luminance, the case where the still image processing mode and the moving image processing mode are switched for each divided image has been described. However, the present invention is not limited to this, and other parameters other than luminance, for example, When a parameter relating to an image such as a color difference is a parameter type, the still image processing mode and the moving image processing mode may be switched for each divided image.
[0070]
【The invention's effect】
As described above, according to the present invention, there is an excellent effect that a moving image signal can be appropriately processed according to various purposes.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram of an image processing apparatus.
FIG. 2 is a diagram illustrating a correspondence relationship between a parameter type and a threshold value.
FIG. 3 is a flowchart of a control routine executed by the image processing apparatus.
FIG. 4 is a diagram for explaining image division;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Image processing apparatus 12 Input part 14 Switching part 16 Parameter value setting part 18 Storage part 20 Still image processing part 22 Movie processing part 24 Output part

Claims

An input means for inputting a moving image signal;
Still image processing means for performing still image processing on the moving image signal as a still image processing mode;
A moving image processing means for moving the moving image signal as a moving image processing mode;
Storage means for storing a plurality of parameter types for switching between the still image processing mode and the moving image processing mode;
Parameter value setting means for setting a parameter value of at least one of the plurality of parameter types;
Control means for switching between the still image processing mode and the moving image processing mode based on a set parameter value;
An image processing apparatus.

The storage means stores a plurality of correspondences between parameter types and predetermined threshold values, and the control means determines the still image processing mode and the moving image processing mode based on the set parameter values and the threshold values. The image processing apparatus according to claim 1, wherein the switching is performed.

3. The image processing according to claim 1, wherein the parameter type includes at least two of a number of pixels of the moving image signal, a data capacity, a frame rate, a color difference, a luminance, and a power capability of the apparatus. apparatus.

The parameter type is the luminance of the moving image signal, and the control means calculates the luminance for each divided region when the shooting region of the moving image signal is divided by a predetermined number, and for each divided region, 4. The image processing apparatus according to claim 3, wherein the still image processing mode and the moving image processing mode are switched based on the parameter value and the luminance, and the divided data of the divided areas after processing is synthesized.