JP5281839B2 - 画像合成符号化方法、画像合成符号化装置、撮像システム - Google Patents

画像合成符号化方法、画像合成符号化装置、撮像システム Download PDF

Info

Publication number
JP5281839B2
JP5281839B2 JP2008189818A JP2008189818A JP5281839B2 JP 5281839 B2 JP5281839 B2 JP 5281839B2 JP 2008189818 A JP2008189818 A JP 2008189818A JP 2008189818 A JP2008189818 A JP 2008189818A JP 5281839 B2 JP5281839 B2 JP 5281839B2
Authority
JP
Japan
Prior art keywords
image
encoding
past
synthesis
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008189818A
Other languages
English (en)
Other versions
JP2010028641A (ja
Inventor
臣二 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008189818A priority Critical patent/JP5281839B2/ja
Priority to PCT/JP2009/000278 priority patent/WO2010010641A1/ja
Priority to CN200980124000XA priority patent/CN102067607B/zh
Publication of JP2010028641A publication Critical patent/JP2010028641A/ja
Priority to US12/917,192 priority patent/US9083982B2/en
Application granted granted Critical
Publication of JP5281839B2 publication Critical patent/JP5281839B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像合成符号化方法とその装置、およびこれらの技術を搭載した撮像システムに関し、特に、過去の画像と現在の画像を合成して生成された合成画像を順次符号化する技術に関するものである。
近年、MPEG-2をはじめMPEG-4やH.264といった動画像の高能率符号化技術が盛んに研究され、コンピュータ，通信，民生用AV機器および放送などのさまざまな分野で応用されている。また、プラズマディスプレイや液晶テレビをはじめとした高精細フラットパネルディスプレイが急速に市場に普及していく中、動画像のHDTV化も急速に進み、動画像符号化において扱うデータ量も膨大になってきており、特に、小型バッテリーで動作するムービーやデジタルスチルカメラ等の民生用小型カメラにおいては、これらのデータを高速に、かつ小型・省電力で処理することが可能な動画像符号化技術に関する研究が盛んに行われている。
一方、ムービーやデジタルカメラ等の民生用小型カメラにおいては、動画記録の面白さを市場により一層訴求するため、単に、撮像した画像を記録するだけではなく、ゴルフのスイングや野球のバッティングスイングなどを撮影する際に、動く物体の軌跡が残るように、過去の画像と現在の画像を順次合成しながら動画記録する、といった差別化機能を実現している機種もある。
このように、過去の画像と現在の画像を合成し、生成された合成画像に対して順次動画像符号化を行うことにより動画記録する一般的な方法について、以下に説明する。
図１３は、過去の画像と現在の画像を合成し、生成された合成画像に対して順次動画像符号化を行う一般的な合成画像符号化装置を簡単に示す図である。この合成画像符号化装置１０１は、入力端子２と、記憶部３と、設定端子４と、画像合成部５と、符号化部６と、出力端子７とを備える。
入力端子２には現在の画像が順次入力される。記憶部３は、フレームメモリ３１と、合成画像メモリ３２と、参照画像メモリ３３とを含む。フレームメモリ３１は、画像の合成時に必要となる現在の画像を一時的に記憶する。合成画像メモリ３２は、過去の画像と合成画像を一時的に記憶する。参照画像メモリ３３は、参照画像を一時的に記憶する。設定端子４は、現在の画像と過去の画像の合成比率αを設定する。ここで合成比率αは、合成画像における現在の画像の重み付け比率であり、０≦α≦１である。画像合成部５は、現在の画像８と過去の画像９を設定端子４により設定された合成比率αで合成し、合成画像１０を順次生成し、合成画像メモリ３２に出力する。符号化部６は、合成画像メモリ３２から動画像符号化に適した形式(例えば、１６×１６画素で構成されるマクロブロック単位)で順次読み出される画像データ１１を入力して符号化を行い、ストリーム(圧縮データ)を出力する。出力端子７は、符号化部６において符号化されたストリーム(圧縮データ)を出力する。
また、画像合成部５は、図１４に示すように、合成比率設定部５１と、乗算器５２,５３と、加算器５４とを含む。合成比率設定部５１は、設定端子４により設定された合成比率αを乗算器５２に出力し、合成比率(１−α)を乗算器５３に出力する。なお、合成比率(１−α)は、合成画像における過去の画像の重み付け比率である。乗算器５２は、合成比率αと現在の画像８の値を乗算する。乗算器５３は、合成比率(１−α)と過去の画像９の値を乗算する。加算器５４は、乗算器５２の乗算結果と乗算器５３の乗算結果との加算を行い、合成画像１０を生成する。すなわち、合成比率αの値が大きければ大きいほど、合成画像１０における現在の画像８の影響度が大きくなり、小さければ小さいほど、合成画像１０における過去の画像９の影響度が大きくなる。
次に、図１５に示すような画像が順次入力された場合に、合成画像符号化装置１０１を用いて、現在の画像と過去の画像を合成し、合成画像を順次符号化する方法について、図１６のフローチャートを参照しつつ説明する。
まず、画像合成部５における合成比率αを設定端子４より設定し、合成画像メモリ３２の全領域に値０を書き込み合成画像メモリ３２を初期化する(ST1001)。
＜１フレーム目(時刻Ｔ１)の処理＞
次に、図１５(ａ)左に示す現在の画像(入力画像)が時刻Ｔ１に入力端子２より入力され、フレームメモリ３１に一時的に記憶される(ST1002)。
次に、フレームメモリ３１に一時記憶されている現在の画像８が順次読み出される(ST1003)。これと並行して、合成画像メモリ３２に記憶されている過去の画像(この時点では、初期化された直後なので、すべての画像データが値０)のうち、現在の画像８と２次元空間上で同一の領域に位置する画像データ９が順次読み出される(ST1004)。そして画像合成部５において画像８,９が順次合成され(ST1005)、合成画像１０が合成画像メモリ３２上の同一領域に順次上書きされ、合成画像メモリ３２に合成画像１０(図１５(ａ)右に示す画像)が一時的に記憶される(ST1006)。
次に、合成画像メモリ３２に一時記憶されている合成画像１１が動画像符号化に適した形式(例えば、１６×１６画素で構成されるマクロブロック単位)で読み出され、符号化部６に順次入力される(ST1007)。符号化部６では、合成画像１１に対してフレーム内予測符号化(Ｉピクチャ符号化)を順次行い、出力端子７よりストリームを出力する(ST1008)。
次に、符号化部６は、逆量子化と逆DCT等の局所復号化(ローカルデコード)を行って再構成画像を生成し、これを次フレーム以降のフレーム間予測符号化時に必要となる参照画像１３として参照画像メモリ３３に一時的に記憶する(ST1009)。
上記ステップST1002〜ST1009を完了した後、ステップST1010において、符号化を終了するか否かが判断される。さらに継続して次のフレームの合成画像１１を符号化する場合(ST1010でNo)はステップST1002に移行して上記と同様の処理を行い、符号化しない場合(ST1010でYes)はすべての処理を終了する。
＜２フレーム目(時刻Ｔ２)の処理＞
次に、図１５(ｂ)左に示す現在の画像が時刻Ｔ２に入力端子２より入力され、フレームメモリ３１に一時的に記憶される(ST1002)。
次に、フレームメモリ３１に一時記憶されている現在の画像８が順次読み出される(ST1003)。これと並行して、合成画像メモリ３２に記憶されている過去の画像(図１５(ａ)右に示す画像)のうち、現在の画像８と２次元空間上で同一の領域に位置する画像データ９が順次読み出される(ST1004)。そして画像合成部５において画像８,９が順次合成され(ST1005)、合成画像１０が合成画像メモリ３２上の同一領域に順次上書きされ、合成画像メモリ３２に合成画像１０(図１５(ｂ)右に示す画像)が一時的に記憶される(ST1006)。
次に、合成画像メモリ３２に一時記憶されている合成画像１１が動画像符号化に適した形式(例えば、１６×１６画素で構成されるマクロブロック単位)で読み出され、符号化部６に順次入力される(ST1007)。符号化部６では、参照画像メモリ３３より参照画像１２を順次読み出しながら、合成画像１１に対してフレーム間予測符号化(Ｐピクチャ符号化)を順次行い、出力端子７よりストリームを出力する(ST1008)。
次に、符号化部６は、逆量子化と逆DCT等の局所復号化(ローカルデコード)を行って再構成画像を生成し、これを次フレーム以降のフレーム間予測符号化時に必要となる参照画像１３として参照画像メモリ３３に一時的に記憶する(ST1009)。
上記ステップST1002〜ST1009を完了した後、ステップST1010において、符号化を終了するか否かが判断される。さらに継続して次のフレームの合成画像１１を符号化する場合(ST1010でNo)はステップST1002に移行して上記と同様の処理を行い、符号化しない場合(ST1010でYes)はすべての処理を終了する。
＜３フレーム目以降(時刻Ｔ３〜Ｔ５)の処理＞
３フレーム目以降のフレームの画像合成と符号化については、上述の２フレーム目(時刻Ｔ２)の場合と同様の処理を行う。これにより、時刻Ｔ５においては図１５(ｅ)右に示すような合成画像１１が最終的に符号化されることになり、時刻Ｔ１〜Ｔ５までのそれぞれの時刻における移動体の軌跡は矢印に示すような形で描かれ、記録した動画像を再生した場合には移動物体の軌跡を各時刻において視覚的に確認できる。
なお、画像を合成し、生成された合成画像に対して符号化を行うといった技術が、特許文献１および特許文献２に開示されている。
特開2002-044521号公報 特開2008-113112号公報
以上が、現在の画像と過去の画像を合成し、生成された合成画像に対して順次符号化を行う一般的な処理の簡単な説明であるが、このような処理を行うためには、現在の画像８と過去の画像９を合成して生成される合成画像１０を一時的に記憶させておくための合成画像メモリ３２を別途備える必要がある。
また、合成画像メモリ３２をフレームメモリ３１や参照画像メモリ３３と共有化して記憶部３をDRAM等の１つの大容量メモリで構成するような場合は、画像合成や符号化の処理において発生するメモリアクセスが１つのメモリに集中することになり、高速な大容量のDRAMを備える必要があり、小型化と省電力化の実現が困難であった。特に、HDTV解像度を有するような高解像度動画を合成しながら符号化を行うような場合は、上記のような課題はシステムを構成する上で深刻な問題となっていた。
また、合成画像１０を一時的に合成画像メモリ３２に記憶させた上で、符号化時に再度合成画像メモリ３２から合成画像１１を読み出して符号化を行うため、現在の画像が入力されてから符号化が開始されるまでの遅延時間も大きくなるといった課題があった。
なお、特許文献１および特許文献２に開示されているいずれの技術においても、画像を合成するために過去の画像を一時的に記憶させておくためのメモリ領域を別途必要としており、上記課題を解決することは困難である。
上記のような課題を解決するため、本発明は、現在の画像と過去の画像を合成し、生成された合成画像を符号化するといった一連の処理を小型・省電力で実現できる画像合成符号化方法と画像合成符号化装置を提供することを目的としている。
上記目的を達成するために、本発明に係る画像合成符号化方法は、現在の画像と過去の画像をブロック毎に所定の合成比率で合成し、合成画像を生成する合成ステップと、前記合成ステップにおいて生成された合成画像に対して順次動画像符号化を行う符号化ステップとを備えた画像合成符号化方法であって、前記符号化ステップにおいて生成される参照画像を前記合成ステップにおける過去の画像として用いることを特徴とする。
また、本発明に係る画像合成符号化方法は、前記符号化ステップにおいて必要となる参照画像のうち、現在の画像と二次元空間上で同一位置の画像データを前記合成ステップにおける過去の画像として現在の画像と所定の合成比率で合成し、合成された合成画像を前記符号化ステップにおいて符号化することを特徴とする。
また、本発明に係る画像合成符号化方法は、入力される画像のフレームレートに応じて、前記合成ステップにおいて現在の画像と過去の画像を合成し合成画像を生成する周期と、前記符号化ステップにおいて符号化を行う際に使用する参照画像を更新する周期とを個別に制御することを特徴とする。
また、本発明に係る画像合成符号化方法は、前記符号化ステップにおいて検出される動きベクトル情報に基づいて合成画像の動きを検知し、前記符号化ステップにおいて符号化を行う際に使用する参照画像の更新周期を前記検知した動きに基づいて制御することを特徴とする。
また、本発明に係る画像合成符号化方法は、現在の画像と過去の画像を合成する領域をあらかじめ設定する領域設定ステップと、前記合成ステップにおいて現在の画像と過去の画像を所定のブロック単位で順次合成する際に、前記領域設定ステップにおいて設定された領域に属しているか否かを判定する領域判定ステップとをさらに備え、前記領域判定ステップにおいて領域に属していると判定された場合には前記合成ステップにおいて現在の画像と過去の画像を所定の合成比率で合成し、領域に属していないと判定された場合には現在の画像と過去の画像を合成せずに現在の画像を前記符号化ステップにおける符号化対象画像とすることを特徴とする。
また、本発明に係る画像合成符号化方法は、前記合成ステップにおいて合成比率を、領域内合成比率と領域外合成比率の２つを設定し、前記領域判定ステップにおいて領域に属していると判定された場合には、現在の画像と過去の画像を前記領域内合成比率で合成し、領域に属していないと判定された場合には現在の画像と過去の画像を前記領域外合成比率で合成することを特徴とする。
また、本発明に係る画像合成符号化方法は、現在の画像が過去の画像に対して動きがあるか否かを所定のブロック単位で順次判定するために必要となる閾値を設定する閾値設定ステップと、前記合成ステップにおいて現在の画像と過去の画像を合成する前に、過去の画像に対する現在の画像の動きを事前に検出する事前動き検出ステップと、前記事前動き検出ステップの検出結果と前記閾値との比較結果に基づいて、現在の画像と過去の画像を合成するか否かを判定する合成判定ステップとをさらに備え、前記合成判定ステップにおいて合成すると判定された場合には、前記合成ステップにおいて現在の画像と過去の画像を所定の合成比率で合成し、合成しないと判定された場合には現在の画像と過去の画像を合成せずに現在の画像を前記符号化ステップにおける符号化対象画像とすることを特徴とする。
また、本発明に係る画像合成符号化方法は、前記合成ステップにおいて合成比率を複数設定するとともに、前記閾値設定ステップにおいて複数の閾値を設定し、前記合成判定ステップにおいては、前記事前動き検出ステップで検出された動きを前記各々の閾値と比較することにより動きの度合いを判定し、現在の画像と過去の画像を合成するか否かをこの動きの度合いに基づいて判定し、前記合成判定ステップにおいて合成すると判定された場合には、前記合成ステップにおいて現在の画像と過去の画像を、前記複数の合成比率の中から前記動きの度合いに対応した合成比率で合成することを特徴とする。
また、本発明に係る画像合成符号化方法は、前記閾値設定ステップにおいて設定する閾値は動きベクトル値であることを特徴とする。
また、本発明に係る画像合成符号化方法は、前記閾値設定ステップにおいて設定する閾値は、現在の画像と過去の画像の相関度を示す差分絶対値和であることを特徴とする。
また、本発明に係る画像合成符号化方法は、前記事前動き検出ステップを、前記符号化ステップにおいて必要となる動き検出ステップと兼用することを特徴とする。
また、本発明に係る画像合成符号化方法は、前記事前動き検出ステップを、現在の画像と二次元空間上で同一の位置に存在する過去の画像との差分絶対値和を算出する簡易的な動き検出方法を用いて行うことを特徴とする。
また、本発明に係る画像合成符号化方法は、前記合成ステップにおいて設定される合成比率を、輝度成分と色差成分で個別に設定することを特徴とする。
また、本発明に係る画像合成符号化方法は、前記合成比率を輝度成分よりも色差成分の方が大きくなるように設定することを特徴とする。
また、本発明に係る画像合成符号化装置は、現在の画像と過去の画像をブロック毎に所定の合成比率で合成し、生成された合成画像に対して順次動画像符号化を行う画像合成符号化装置であって、現在の画像を順次入力する入力端子と、画像の合成時に必要となる現在の画像を一時的に記憶するフレームメモリと、符号化時に必要となる参照画像を一時的に記憶する参照画像メモリと、現在の画像と過去の画像の合成比率を設定する設定端子と、前記フレームメモリより順次入力される現在の画像と下記符号化手段より入力される過去の画像を前記設定端子により設定された合成比率で合成し、合成画像を順次生成する画像合成手段と、前記画像合成手段において生成された合成画像を順次入力し、前記参照画像メモリから読み出された参照画像を用いて符号化を行うとともに、符号化により生成された再構成画像を次フレーム以降の参照画像として前記参照画像メモリに出力し、参照画像のうち合成画像と二次元空間上で同一の位置に存在する画像データを過去の画像として前記画像合成手段に出力する符号化手段と、前記符号化手段において符号化されたストリームを出力する出力端子と、を備えることを特徴とする。
また、本発明に係る画像合成符号化装置は、前記フレームメモリと前記参照画像メモリを１つの共有メモリで構成することを特徴とする。
また、本発明に係る撮像システムは、上記画像合成符号化方法を実行可能な画像合成符号化部を含み画像処理を行う画像処理回路と、入力されるアナログの画像信号をデジタルの画像信号に変換して前記画像処理回路に出力する変換回路と、を備えることを特徴とする。
また、本発明に係る撮像システムは、センサーと、前記センサーへ光を結像する光学系とをさらに備え、前記センサーは、前記光学系により結像された画像光を電気信号に光電変換して前記変換回路に入力することを特徴とする。
本発明によれば、符号化において生成される再構成画像(参照画像)を画像合成における過去の画像として用いるため、画像合成のために専用のメモリを別途備える必要がなく、小型化(メモリの小容量化)が実現できる。
また、符号化時に記憶手段から読み出される参照画像を符号化手段と画像合成手段の両方で共通して利用するため、記憶手段へのアクセスが大幅に低減でき、省電力化が実現できる。
また、画像合成手段により生成される合成画像を記憶手段に一時的に記憶させることなく、即時に符号化手段に入力して符号化を行うため、現在の画像が入力されてから符号化が開始されるまでの遅延時間も最小限に抑えることができる。
以下、本発明の実施の形態について、図面を参照して説明する。
(第１の実施形態)
図１は、本発明の第１の実施形態に係る画像合成符号化装置１を示す図であり、図１３に示す従来の画像合成符号化装置１０１と大きく異なる点は、記憶部３における合成画像メモリ３２を必要としない点である。
図１の画像合成符号化装置１は、入力端子２と、記憶部３と、設定端子４と、画像合成部５と、符号化部６と、出力端子７とを備える。
入力端子２には現在の画像が順次入力される。
記憶部３は、フレームメモリ３１と、参照画像メモリ３３とを含む。フレームメモリ３１は、画像の合成時に必要となる現在の画像を一時的に記憶する。参照画像メモリ３３は、符号化時に必要となる参照画像を一時的に記憶する。
設定端子４は、フレームメモリ３１より順次入力される現在の画像８と符号化部６より入力される過去の画像９の合成比率αを設定する。ここで合成比率αは、合成画像における現在の画像の重み付け比率であり、０≦α≦１である。
画像合成部５は、現在の画像８と過去の画像９を設定端子４により設定された合成比率αで合成し、合成画像１０を順次生成する。
符号化部６は、画像合成部５において生成された合成画像１０を動画像符号化に適した形式(例えば、１６×１６画素で構成されるマクロブロック単位)で順次入力し、参照画像メモリ３３から読み出された参照画像１２を用いて動画像符号化を行うとともに、符号化により生成された再構成画像を次フレーム以降の符号化に必要となる参照画像１３として参照画像メモリ３３に出力し、参照画像１２のうち合成画像１０と二次元空間上で同一の位置に存在する画像データを過去の画像９として画像合成部５に出力する。
出力端子７は、符号化部６において符号化されたストリーム(圧縮データ)を出力する。
以下、図１の画像合成符号化装置１を用いて現在の画像８と過去の画像９を合成し、生成される合成画像１０を順次符号化する手順について図２のフローチャートを用いて説明する。図１６に示す従来の処理手順と大きく異なる点は、符号化部６が符号化時に使用する参照画像メモリ３３に一時記憶されている参照画像１２を過去の画像９として画像合成部５が流用する点(ST104)である。
まず、画像合成部５における合成比率αを設定端子４より設定し、参照画像メモリ３３の全領域に値０を書き込み参照画像メモリ３３を初期化する(ST101)。
＜１フレーム目(時刻Ｔ１)の処理＞
次に、図１５(ａ)左に示す現在の画像が時刻Ｔ１に入力端子２より入力され、フレームメモリ３１に一時的に記憶される(ST1002)。
次に、フレームメモリ３１に一時記憶されている現在の画像８が動画像符号化に適した形式(例えば、１６×１６画素で構成されるマクロブロック単位)で順次読み出される(ST1003)と同時に、参照画像メモリ３３に記憶されている過去の画像(この時点では、初期化された直後なので、すべての画像データが値０)のうち、現在の画像８と２次元空間上で同一の領域に位置する画像データ１２を符号化部６がマクロブロック単位で順次読み出し、過去の画像９として画像合成部５に出力する(ST104)。
次に、ステップST1003において読み出された現在の画像８とステップST104において読み出された過去の画像９が画像合成部５において順次合成され、合成画像１０が符号化部６に出力される(ST1005)。
次に、符号化部６において、順次入力される合成画像１０に対してフレーム内予測符号化(Ｉピクチャ符号化)を順次行い、出力端子７よりストリームが出力される(ST1008)。
次に、符号化部６は、逆量子化と逆DCT等の局所復号化(ローカルデコード)を行って再構成画像を順次生成し、これを次フレーム以降のフレーム間予測符号化時に必要となる参照画像１３として参照画像メモリ３３に一時的に記憶する(ステップ１００９)。
上記ステップST1002〜ST1009までを完了した後、ステップST1010において、符号化を終了するか否かが判断される。さらに継続して次の合成画像１０を符号化する場合(ST1010でNo)はステップST1002に移行して上記と同様の処理を行い、符号化しない場合(ST1010でYes)は、すべての処理を終了する。
＜２フレーム目(時刻Ｔ２)の処理＞
次に、図１５(ｂ)左に示す現在の画像が時刻Ｔ２に入力端子２より入力され、フレームメモリ３１に一時的に記憶される(ST1002)。
次に、フレームメモリ３１に一時記憶されている現在の画像８が順次読み出される(ST1003)と同時に、参照画像メモリ３３に記憶されている過去の画像(図１５(ａ)右に示す画像)のうち、現在の画像８と２次元空間上で同一の領域に位置するマクロブロックを含む周辺マクロブロックの画像データを参照画像１２として読み出し、そのうち現在の画像８と２次元空間上で同一の領域に位置するマクロブロックの画像データを過去の画像９として画像合成部５に出力する(ST104)。
次に、ステップST1003において読み出された現在の画像８とステップST104において読み出された過去の画像９が画像合成部５において順次合成され、合成画像１０が符号化部６に出力される(ST1005)。
次に、符号化部６において、参照画像１２を参照画像として、入力される合成画像１０の動き検出をはじめとしたフレーム間予測符号化(Ｐピクチャ符号化)が順次行われ、出力端子７よりストリームが出力される(ST1008)。
次に、符号化部６は、逆量子化と逆DCT等の局所復号化(ローカルデコード)を行って再構成画像を生成し、これを次フレーム以降のフレーム間予測符号化時に必要となる参照画像１３として参照画像メモリ３３に一時的に記憶する(ST1009)。なお、このとき、符号化対象フレーム内の後続マクロブロックのフレーム間符号化処理に必要となる参照画像が書き潰されることのないように、参照画像メモリ３３には記憶される。
上記ステップST1002〜ST1009までを完了した後、ステップST1010において、符号化を終了するか否かが判断される。さらに継続して次のフレームの合成画像を符号化する場合(ST1010でNo)はステップST1002に移行して上記と同様の処理を行い、符号化しない場合(ST1010でYes)は、すべての処理を終了する。
＜３フレーム目以降(時刻Ｔ３〜Ｔ５)の処理＞
３フレーム目以降のフレームの画像合成と符号化については、上述の２フレーム目(時刻Ｔ２)の場合と同様の処理を行う。これにより、時刻Ｔ５においては図１５(ｅ)右に示すような合成画像が最終的に符号化されることになり、時刻Ｔ１〜Ｔ５までのそれぞれの時刻における移動体の軌跡は矢印に示すような形で視覚的に確認することができる。
なお、上述の説明では、説明を簡略化させるためにステップST1002〜ST1009をシーケンシャルに動作させた場合に限定して説明しているが、ハードウェアなどの並列処理可能な方法で実装した場合は、ステップST1002〜ST1009の各処理が実行可能な状態になれば、それぞれ実行されればよく、上述の手順に限定されるものではない。
以上のように、第１の実施形態によれば、現在の画像と過去の画像を合成することにより生成される合成画像を一時的に記憶させておくための合成画像メモリ３２を別途備える必要がなく、小型化(メモリの小容量化)が実現できるとともに、画像合成および符号化といった一連の処理を実現する際に、記憶手段へのアクセスを最小限に抑えることができるため省電力化も同時に実現できる。
(第２の実施形態)
図３は、本発明の第２の実施形態に係る画像合成符号化装置２０１の概略構成を示す図である。図４は、図３に示した符号化部６の内部構成を簡単に示す図である。
第１の実施形態と異なる点は、参照画像メモリ書込み制御部２１(図４)と、外部設定端子２０が追加されている点である。参照画像メモリ書込み制御部２１は、符号化部６において生成される再構成画像１３をフレーム単位で参照画像メモリ３３へ書き込む(参照画像メモリ３３を更新する)か、書き込まない(参照画像メモリ３３を更新しない)かの制御を行う。外部設定端子２０は、参照画像メモリ書込み制御部２１に対して参照画像メモリ３３の更新サイクルを設定する。
第１の実施形態の場合、入力される現在の画像を過去の画像と常に合成し、符号化を行うため、図６(ａ)に示すような時刻Ｔ１から時刻Ｔ９まで移動物体が比較的細かく移動するような画像が入力された場合には、移動体の軌跡も細かく記録されてしまう。このような記録画像を再生した際には、移動体の軌跡そのものが重なり合って視覚的に見苦しくなるといった問題が発生する。特に、近年では、VGA解像度の画像を１秒間に300枚撮像して読み出せるような高速撮像可能なCMOSセンサー等の撮像素子が商品化されており、このような撮像素子で撮像した画像データを合成して記録するような場合は、上記のような課題は顕著に現れる。
第２の実施形態では、上記のような課題を解決することを目的としており、図５のフローチャートを用いて、以下に、具体的な説明をする。なお、第１の実施形態と同様の処理を行うステップについては詳細な説明は省略する。
ステップST1001において、画像合成部５における合成比率設定および参照画像メモリ３３の初期化が行われた後、ステップST200において、参照画像メモリ３３における参照画像の更新サイクルを外部設定端子２０より設定する。参照画像の更新サイクルとは、入力画像のフレームレートに対して、過去の画像として参照画像メモリ３３に残しておく画像のフレームレートである。より具体的には、例えば、30fpsのフレームレートで入力される入力画像に対して、過去の画像を15fpsのフレームレートで残しながら合成画像を記録する、といった設定を行う。
次に、第１の実施形態と同様の手順に従って、ステップST1002〜ST1008が実行される。
その後、符号化部６において生成された再構成画像１３を参照画像メモリ３３に書き込む(参照画像メモリ３３を更新する)か否かが判定される(ST201)。参照画像メモリ３３を更新すると判断された場合(ST201でYes)は、再構成画像１３が次フレーム以降の処理に用いられる過去の画像として参照画像メモリ３３に書き込まれる(ST1009)。逆に、参照画像メモリ３３を更新しないと判断された場合(ST201でNo)は、ステップST1010にそのまま進む。
図６を用いて、参照画像メモリ３３の更新処理と符号化される合成画像のイメージについて、簡単に説明する。
まず、図６(ｂ)に示す入力画像が時刻Ｔ１に符号化され、再構成画像１３が参照画像メモリ３３に書き込まれる。
次に、図６(ｃ)に示す入力画像(白丸の球体)が現在の画像として時刻Ｔ２に入力され、同時に順次入力される過去の画像(網掛けの球体)と画像合成されて符号化され、符号化部６において生成される再構成画像１３は、参照画像メモリ３３に書き込まれない。すなわち、時刻Ｔ２において符号化された合成画像は、過去の画像として以降のフレームにおける画像合成および符号化に用いられることはなく、時刻Ｔ２において入力された現在の画像は最終的に移動物体の軌跡として残ることはない。
次に、図６(ｄ)に示す入力画像(白丸の球体)が現在の画像として時刻Ｔ３に入力され、同時に順次入力される過去の画像(網掛けの球体)と画像合成されて符号化され、符号化部６において生成される再構成画像１３が、参照画像メモリ３３に書き込まれる。すなわち、時刻Ｔ３において符号化された合成画像は、過去の画像として以降のフレームにおける画像合成および符号化に用いられ、時刻Ｔ３において入力された現在の画像は最終的に移動物体の軌跡として残る。
以上のように、時刻Ｔ２,Ｔ３における動作を繰り返し時刻Ｔ９まで実行することにより、図６(ｊ)に示すような移動物体の軌跡を時間的に一定間隔で間引きした視覚的にも好ましい合成画像を得ることができる。
(第３の実施形態)
図７は、本発明の第３の実施形態に係る画像合成符号化方法のフローチャートである。第２の実施形態(図５)と異なる点は、符号化部６において順次符号化される際に得られる動きベクトル情報に基づいて合成画像全体の動きの大きさを検知して(ST300)、適応的に参照画像の更新サイクルを変更する制御(ST301)が追加された点である。
第２の実施形態の場合、入力される画像のフレームレートに対して、過去の画像として参照画像メモリ３３に残しておく画像のフレームレートを固定している。したがって、例えば、動きの激しい(移動物体の単位時間当たりの移動距離が大きい)シーンを撮像する場合と、動きの滑らかな(移動物体の単位時間当たりの移動距離が比較的小さい)シーンを撮像する場合とでは、移動物体の軌跡の残り方が大きく異なってくるといった課題が発生する。すなわち、前者の場合は、移動物体の二次元空間上の軌跡の間隔は広くなり、後者の場合は狭くなってしまう。
第３の実施形態では、上記のような課題を解決することを目的としている。以下、図７のフローチャートを用いて具体的な説明をするが、第２の実施形態と同様の処理を行うステップについては詳細な説明は省略する。なお、第３の実施形態に係る画像合成符号化装置の概略構成は第２の実施形態(図３)と同様である。
現在の画像と過去の画像を合成し、生成された合成画像に対してマクロブロック単位で順次符号化を行い、１フレーム分の符号化が完了した時点で、フレーム内の各マクロブロック単位の動きベクトル情報が符号化部６より得られる。この各マクロブロック単位の動きベクトル情報の平均値と所定の閾値とを比較することにより、ステップST200で設定された参照画像の更新サイクルに対して、現在の画像と過去の画像の動きが“大きい”か“小さい”か、あるいは“適している”かについて判断する(ST300)。ステップST300において動きが“大きい”と判断された場合は、それまでに設定されている参照画像の更新サイクルよりも速いサイクルに更新サイクルを変更し、動きが“小さい”と判断された場合は、それまでに設定されている参照画像の更新サイクルよりも遅いサイクルに更新サイクルを変更する(ST301)。また、ステップST300において動きが“適している”と判断された場合は、それまでに設定されている参照画像の更新サイクルを変更しない。
以上のように、第３の実施形態では、符号化によって得られる動きベクトル情報に基づいて、参照画像の更新サイクルを適応的に制御するようにしたため、撮影するシーンに左右されにくい視覚的に好ましい合成画像を得ることができる。
(第４の実施形態)
図８は、本発明の第４の実施形態に係る画像合成符号化方法のフローチャートである。第１の実施形態(図２)と異なる点は、画像合成部５において現在の画像と過去の画像を合成する領域を予め設定するステップ(ST400)と、画像を順次マクロブロック単位で合成する際に合成する領域に属しているか否かを判断するステップ(ST401)が追加された点である。
第１の実施形態の場合、画面全体で予め設定された合成比率で一律に画像が合成されるため、例えば、移動物体が移動する領域(軌跡を残したい領域)については、画像を合成することにより軌跡が残るように記録されて問題ないが、逆に、殆ど動きのない背景などの領域については、画像が微小に動いているような場合に不要に画像を合成することによって画像のエッジ部分等が二重，三重像になってしまい視覚的にも見苦しくなるといった問題が発生する。
第４の実施形態では、上記のような課題を解決することを目的としている。第４の実施形態によれば、例えば、移動物体が移動する領域(軌跡を残したい領域)が画面内の一部の領域に限定できるような場合は、その領域を事前に設定しておくことで、その領域内の画像のみ現在の画像と過去の画像を合成して軌跡を残しながら記録でき、軌跡を残したくない領域(非注目領域)については、現在の画像がそのまま符号化されるように制御することによって、画面全体として視覚的に好ましい合成画像を得ることができる。以下、図８のフローチャートを用いて具体的な説明をするが、第１の実施形態と同様の処理を行うステップについては詳細な説明は省略する。なお、第４の実施形態に係る画像合成符号化装置の概略構成は第１の実施形態(図１)と同様である。
ステップST1001において、画像合成部５における合成比率設定および参照画像メモリ３３の初期化が行われた後、ステップST400において、画像合成部５における合成領域を設定端子４より設定する。
次に、ステップST1003およびステップST104において順次読み出される現在の画像と過去の画像が、ステップST400において設定された合成領域に属しているか否かが判定される(ST401)。合成する領域に属している場合(ST401でYes)には、所定の合成比率で現在の画像と過去の画像を合成して、合成画像が符号化部６に出力される(ST1005)。一方、合成する領域に属していない場合(ST401でNo)には、現在の画像と過去の画像を合成せず、現在の画像が符号化対象画像として符号化部６に出力される。
なお、上記の説明では説明を簡略化させるために、画像を合成する領域を１つ設定し、その領域に属するか否かで処理する手順を説明したが、画像を合成する領域を複数設定してもよく、また、複数設定された領域毎に画像の合成比率を個別に設定しても構わない。
また、ステップST1001において合成比率を設定する際に領域内合成比率と領域外合成比率の２つを設定し、ステップST401において領域に属していると判定された場合(ST401でYes)には、現在の画像と過去の画像を上記領域内合成比率で合成し、領域に属していないと判定された場合(ST401でNo)には現在の画像と過去の画像を上記領域外合成比率で合成するようにしても構わない。
以上のように、第４の実施形態では、画像を合成する領域を限定することにより、軌跡を残したい領域のみ効率的に画像を合成できるとともに、画像合成による副作用(画像が微小に動いているような場合に不要に画像を合成することによって発生する画像のエッジ部分等の多重像)を極力抑えることができる。
(第５の実施形態)
図９は、本発明の第５の実施形態に係る画像合成符号化装置５０１の概略構成を示す図である。図１０は、図９に示した符号化部６の内部構成を簡単に示す図である。
第１の実施形態と異なる点は、過去の画像に対して現在の画像に動きがあるか否かを判定するために必要となる閾値を設定する外部設定端子５０２と、符号化部６において過去の画像に対する現在の画像の動きをマクロブロック単位で定量的に算出し、外部設定端子５０２より設定された閾値と算出結果とを比較することにより動きがあるか否かの判定を行い、判定結果５０３を画像合成部５に出力し、画像合成部５はこの判定結果５０３に基づいて現在の画像と過去の画像を合成するか否かを制御するようにした点である。
第１の実施形態の場合、画面全体で予め設定された合成比率で一律に画像が合成されるため、例えば、移動物体が移動する領域(軌跡を残したい領域)のように比較的動きの大きい領域の場合は、画像を合成することにより軌跡が残るように記録されて問題ないが、逆に、殆ど動きのない背景などの領域については、画像が微小に動いているような場合に不要に画像を合成することによって画像のエッジ部分等が二重，三重像になってしまい視覚的にも見苦しくなるといった問題が発生する。
第５の実施形態では、上記のような課題を解決することを目的としている。以下、図１１のフローチャートを用いて具体的な説明をするが、第１の実施形態と同様の処理を行うステップについては詳細な説明は省略する。
図２に示す第１の実施形態における処理手順と異なる点は、過去の画像に対して現在の画像に動きがあるか否かを順次判定するために必要となる閾値を設定するステップ(ST500)と、画像合成部５において現在の画像と過去の画像を合成する前に、過去の画像に対する現在の画像の動きを符号化部６内部の動き検出部６０２により事前に検出するステップ(ST501)と、その結果に基づいて現在の画像と過去の画像を合成するか否かを判断するステップ(ST502)が追加されている点である。
ステップST1001において、画像合成部５における合成比率設定および参照画像メモリ３３の初期化が行われた後、ステップST500において、過去の画像に対して現在の画像に動きがあるか否かを順次判定するために必要となる閾値を外部設定端子５０２より設定する(ST500)。閾値としては、動きベクトルの最小値や、現在の画像と過去の画像の相関度を示す差分絶対値和(SAD)の最小値等を設定すればよい。
次に、ステップST1003において順次読み出される現在の画像が、ステップST104において順次読み出される過去の画像に対して動きがあるか否かが判定される(ST501)。動きがあるか否かの判定については、動き検出部６０２において過去の画像に対する現在の画像の動き検出が行われ(ST501)、その結果、相関が最も高い位置における動きベクトル値と上記閾値(動きベクトルの最小値)とを比較して(ST502)、上記動きベクトル値が上記閾値以上の場合は“動きがある領域”と判断し(ST502でYes)、ステップST1005において現在の画像８と過去の画像９が合成され、合成画像１０が符号化部６に符号化対象画像として出力される。一方、上記動きベクトル値が上記閾値未満の場合は“動きがない領域”と判断し(ST502でNo)、現在の画像８が符号化部６に符号化対象画像として出力される。
なお、上記の説明では、ステップST502において、相関が最も高い位置における動きベクトル値と閾値(動きベクトルの最小値)とを比較して動きのある領域か否かの判断を行っているが、相関が最も高い位置における現在の画像と過去の画像の差分絶対値和(SAD)と閾値(SADの最小値)との比較を行うことにより、動きのある領域か否かの判断を行っても構わない。
また、ステップST501においては、過去の画像に対する現在の画像の動きを検知するために、一般的に広く知られている全探索やOAT(One at a time)等の手法を用いた動き検出を行っても良いが、単に、現在の画像と二次元空間上で同一の位置に存在する過去の画像(動きベクトル＝ゼロ)との差分絶対値和(SAD)を算出するといった簡易的な動き検出を行っても構わない。このようにすることにより、処理量の大きい動き検出処理の大幅な簡略化が図れ、ステップST501およびステップST502の処理に要する時間が大幅に短縮でき、高速化が図れる。
また、上記の説明では、説明を簡略化するために、過去の画像に対して現在の画像に動きがあるか否かを順次判定するために必要となる閾値を１つだけ設定する場合について説明したが、閾値は複数設定しても勿論構わない。このような場合は、まず、ステップST1001において合成比率を閾値の個数と同数個設定した上で、ステップST500において複数の閾値を設定する。例えば、ＴＨ１＜ＴＨ２＜ＴＨ３という関係式を満たす閾値(ＴＨ１,ＴＨ２,ＴＨ３)を３つ設定する場合は、合成比率も３つ(α１,α２,α３)設定する。ステップST502においては、ステップST501において算出された動きベクトル(または、差分絶対値和)とこれらの複数の閾値(ＴＨ１,ＴＨ２,ＴＨ３)とをそれぞれ比較して、動きベクトル＜ＴＨ１の場合は“動きがない領域”と判断され(ST502でNo)、現在の画像８が符号化部６に符号化対象画像として出力される。また、ＴＨ１≦動きベクトル＜ＴＨ２の場合は“動きがある領域”と判断され(ST502でYes)、現在の画像８と過去の画像９が合成比率α１で合成され(ST1005)、合成画像１０が符号化部６に符号化対象画像として出力される。また、ＴＨ２≦動きベクトル＜ＴＨ３の場合も同様に“動きがある領域”と判断され(ST502でYes)、現在の画像８と過去の画像９が合成比率α２で合成され(ST1005)、合成画像１０が符号化部６に符号化対象画像として出力される。また、ＴＨ３＜動きベクトルの場合も同様に“動きがある領域”と判断され(ST502でYes)、現在の画像８と過去の画像９が合成比率α３で合成され(ST1005)、合成画像１０が符号化部６に符号化対象画像として出力される。
以上のように、第５の実施形態によれば、現在の画像と過去の画像を順次合成する前に、動きがあるか否かを事前に判断することで、例えば、移動物体が移動する領域(軌跡を残したい領域)のように比較的動きの大きい領域については、適宜画像を合成し軌跡が残るように制御され、逆に、殆ど動きのない背景などの領域についても、画像が微小に動いているような場合でも不要に画像を合成しないように制御されるため、画像のエッジ部分等が多重像になってしまうといった課題も極力抑えることが可能となる。
(第６の実施形態)
本発明の第６の実施形態は、上述の第１〜第５の実施形態の変形例である。第１〜第５の実施形態と異なる点は、ステップST1001において設定する合成比率を輝度成分(Ｙ信号)と色差成分(Ｃ信号)とで個別に設定し、ステップST1005において現在の画像と過去の画像を合成する際に輝度成分と色差成分でそれぞれに対応した合成比率で合成する点である。
第１〜第５の実施形態の場合、輝度成分(Ｙ信号)と色差成分(Ｃ信号)とで共通の合成比率で現在の画像と過去の画像を合成して合成画像を生成するため、色差成分の変化が多いような画像の場合は視覚的に合成画像が見苦しくなるといった課題が発生する。
これに対して第６の実施形態では、ステップST1001において合成比率を輝度成分(Ｙ信号)と色差成分(Ｃ信号)とで個別に設定する。具体的には、輝度成分における合成比率よりも色差成分における合成比率を高めに設定する。このように設定することにより、輝度成分よりも色差成分の方が合成画像における現在の画像の占める割合が高くなるため、移動物体の過去の軌跡が残りにくくなる。すなわち、画像における輪郭情報などを多く含む輝度成分については、しっかりと過去の軌跡が残るようにすることによって、視覚的にも好ましい合成画像が得られる。
(第７の実施形態)
図１２は、本発明の第７の実施形態による撮像システム(例えばデジタルスチルカメラやネットワークカメラ等)を示す。この撮像システムは、第１〜第６の実施形態で説明した画像合成符号化方法を利用したシステムである。
図１２の撮像システムでは、光学系７０を通って入射した画像光はセンサー７１上に結像され、光電変換される。光電変換によって得られた電気信号はA/D変換回路７２によりデジタル値に変換された後、画像処理回路７３に入力される。画像処理回路７３は、第１〜第６の実施形態において示した画像合成符号化方法を実行する画像合成符号化装置１を含む。画像処理回路(画像処理部)７３においては、Y/C処理，エッジ処理，画像の拡大縮小，及びJPEGやMPEG等の画像圧縮／伸張処理，画像圧縮されたストリームの制御等が行われる。画像処理された信号は、記録系／転送系７４においてメディアへの記録又はインターネット等を介して伝送が行われる。記録又は転送された信号は再生系７５により再生される。センサー７１及び画像処理回路７３はタイミング制御回路７６により制御され、光学系７０，記録系／転送系７４，再生系７５及びタイミング制御回路７６は、各々、システム制御回路７７により制御される。
なお、図１２に示した撮像システムでは、光学系７０からの画像光をセンサー７１で光電変換してA/D変換回路７２に入力するカメラ機器等について説明したが、本発明はこれに限定されず、その他、テレビ等のＡＶ機器のアナログ映像入力を直接にA/D変換回路７２に入力しても良いのは勿論である。
本発明に係る画像合成符号化方法と画像合成符号化装置は、符号化手段において使用する参照画像を画像合成手段における過去の画像として共通して活用することにより、記憶手段における記憶容量を大幅に削減できるとともに、記憶手段へのアクセスを最小限に抑えることができ、現在の画像と過去の画像を効率よく合成し符号化を実行することができるため、安価で、かつ高速、低消費電力な符号化が要求されるデジタルスチルカメラやムービーをはじめ、監視カメラやネットワークカメラなどに有用である。
本発明の第１の実施形態に係る画像合成符号化装置の構成を示す図である。 本発明の第１の実施形態に係る画像合成符号化処理の流れを示すフローチャートである。 本発明の第２の実施形態に係る画像合成符号化装置の構成を示す図である。 本発明の第２の実施形態に係る符号化部の構成を示す図である。 本発明の第２の実施形態に係る画像合成符号化処理の流れを示すフローチャートである。 本発明の第２の実施形態に係る画像合成および参照画像メモリ更新のイメージを示す図である。 本発明の第３の実施形態に係る画像合成符号化処理の流れを示すフローチャートである。 本発明の第４の実施形態に係る画像合成符号化処理の流れを示すフローチャートである。 本発明の第５の実施形態に係る画像合成符号化装置の構成を示す図である。 本発明の第５の実施形態に係る符号化部の構成を示す図である。 本発明の第５の実施形態に係る画像合成符号化処理の流れを示すフローチャートである。 本発明の第７の実施形態に係る撮像システムの構成を示す図である。 従来の画像合成符号化装置の構成を示す図である。 画像合成部の構成を示す図である。 入力画像(現在の画像)と生成される合成画像のイメージを示す図である。 従来の画像合成装置を用いた画像合成符号化処理の流れを示すフローチャートである。
符号の説明
１,１０１,２０１,５０１ 画像合成符号化装置
２ 入力端子
２０ 外部設定端子
２１ 参照画像メモリ書込み制御部
３ 記憶部
３１ フレームメモリ
３２ 合成画像メモリ
３３ 参照画像メモリ
４ 設定端子
５ 画像合成部
５１ 合成比率設定部
５２,５３ 乗算器
５４ 加算器
５０２ 外部設定端子
５０３ 判定結果
６ 符号化部
６０１ 動き検出用メモリ
６０２ 動き検出
６０３ 動き補償
６０４ 減算器
６０５ ＤＣＴ
６０６ 量子化
６０７ 可変長符号化
６０８ 逆量子化
６０９ 逆ＤＣＴ
６１０ 加算器
７ 出力端子
８ 現在の画像
９ 過去の画像
１０,１１ 合成画像
１２ 参照画像
１３ 再構成画像
７０ 光学系
７１ センサー
７２ Ａ／Ｄ変換回路
７３ 画像処理回路
７４ 記録系・転送系
７５ 再生系
７６ タイミング制御回路
７７ システム制御回路

Claims (17)

  1. 現在の画像と過去の画像をブロック毎に所定の合成比率で合成し、合成画像を生成する合成ステップと、
    前記合成ステップにおいて生成された合成画像に対して順次動画像符号化を行う符号化ステップと、
    を備えた画像合成符号化方法であって、
    前記符号化ステップにおいて生成される参照画像を前記合成ステップにおける過去の画像として用い、
    現在の画像が過去の画像に対して動きがあるか否かを所定のブロック単位で順次判定するために必要となる閾値を設定する閾値設定ステップと、
    前記合成ステップにおいて現在の画像と過去の画像を合成する前に、過去の画像に対する現在の画像の動きを事前に検出する事前動き検出ステップと、
    前記事前動き検出ステップの検出結果と前記閾値との比較結果に基づいて、前記事前動き検出ステップの検出結果の方が前記閾値よりも大きい場合は、現在の画像と過去の画像を合成すると判定し、小さい場合は、現在の画像と過去の画像を合成しないと判定する合成判定ステップと、
    をさらに備え、
    前記合成判定ステップにおいて合成すると判定された場合には、前記合成ステップにおいて現在の画像と過去の画像を所定の合成比率で合成し、合成しないと判定された場合には現在の画像と過去の画像を合成せずに現在の画像を前記符号化ステップにおける符号化対象画像とする、
    ことを特徴とする画像合成符号化方法。
  2. 現在の画像と過去の画像をブロック毎に所定の合成比率で合成し、合成画像を生成する合成ステップと、
    前記合成ステップにおいて生成された合成画像に対して順次動画像符号化を行う符号化ステップと、
    を備えた画像合成符号化方法であって、
    前記符号化ステップにおいて生成される参照画像を前記合成ステップにおける過去の画像として用い、
    入力される画像のフレームレートに応じて、前記合成ステップにおいて現在の画像と過去の画像を合成し合成画像を生成する周期と、前記符号化ステップにおいて符号化を行う際に使用する参照画像を更新する周期とを個別に制御する、
    ことを特徴とする画像合成符号化方法。
  3. 現在の画像と過去の画像をブロック毎に所定の合成比率で合成し、合成画像を生成する合成ステップと、
    前記合成ステップにおいて生成された合成画像に対して順次動画像符号化を行う符号化ステップと、
    を備えた画像合成符号化方法であって、
    前記符号化ステップにおいて生成される参照画像を前記合成ステップにおける過去の画像として用い、
    前記符号化ステップにおいて検出される動きベクトル情報に基づいて合成画像の動きを検知し、前記符号化ステップにおいて符号化を行う際に使用する参照画像の更新周期を前記検知した動きに基づいて制御する、
    ことを特徴とする画像合成符号化方法。
  4. 請求項１〜３のいずれか１つに記載の画像合成符号化方法であって、
    前記符号化ステップにおいて必要となる参照画像のうち、現在の画像と二次元空間上で同一位置の画像データを前記合成ステップにおける過去の画像として現在の画像と所定の合成比率で合成し、合成された合成画像を前記符号化ステップにおいて符号化する、
    ことを特徴とする画像合成符号化方法。
  5. 請求項１〜４のいずれか１つに記載の画像合成符号化方法であって、
    現在の画像と過去の画像を合成する領域をあらかじめ設定する領域設定ステップと、
    前記合成ステップにおいて現在の画像と過去の画像を所定のブロック単位で順次合成する際に、前記領域設定ステップにおいて設定された領域に属しているか否かを判定する領域判定ステップと、
    をさらに備え、
    前記領域判定ステップにおいて領域に属していると判定された場合には前記合成ステップにおいて現在の画像と過去の画像を所定の合成比率で合成し、領域に属していないと判定された場合には現在の画像と過去の画像を合成せずに現在の画像を前記符号化ステップにおける符号化対象画像とする、
    ことを特徴とする画像合成符号化方法。
  6. 請求項５記載の画像合成符号化方法であって、
    前記合成ステップにおいて合成比率を、領域内合成比率と領域外合成比率の２つを設定し、前記領域判定ステップにおいて領域に属していると判定された場合には、現在の画像と過去の画像を前記領域内合成比率で合成し、領域に属していないと判定された場合には現在の画像と過去の画像を前記領域外合成比率で合成する、
    ことを特徴とする画像合成符号化方法。
  7. 請求項６記載の画像合成符号化方法であって、
    前記合成ステップにおいて合成比率を複数設定するとともに、前記閾値設定ステップにおいて複数の閾値を設定し、
    前記合成判定ステップにおいては、前記事前動き検出ステップで検出された動きを前記各々の閾値と比較することにより動きの度合いを判定し、現在の画像と過去の画像を合成するか否かをこの動きの度合いに基づいて判定し、
    前記合成判定ステップにおいて合成すると判定された場合には、前記合成ステップにおいて現在の画像と過去の画像を、前記複数の合成比率の中から前記動きの度合いに対応した合成比率で合成する、
    ことを特徴とする画像合成符号化方法。
  8. 請求項６または７記載の画像合成符号化方法であって、
    前記閾値設定ステップにおいて設定する閾値は動きベクトル値である、
    ことを特徴とする画像合成符号化方法。
  9. 請求項６または７記載の画像合成符号化方法であって、
    前記閾値設定ステップにおいて設定する閾値は、現在の画像と過去の画像の相関度を示す差分絶対値和である、
    ことを特徴とする画像合成符号化方法。
  10. 請求項６〜９のいずれか１つに記載の画像合成符号化方法であって、
    前記事前動き検出ステップを、前記符号化ステップにおいて必要となる動き検出ステップと兼用する、
    ことを特徴とする画像合成符号化方法。
  11. 請求項６〜１０のいずれか１つに記載の画像合成符号化方法であって、
    前記事前動き検出ステップを、現在の画像と二次元空間上で同一の位置に存在する過去の画像との差分絶対値和を算出する簡易的な動き検出方法を用いて行う、
    ことを特徴とする画像合成符号化方法。
  12. 請求項１〜１１のいずれか１つに記載の画像合成符号化方法であって、
    前記合成ステップにおいて設定される合成比率を、輝度成分と色差成分で個別に設定する、
    ことを特徴とする画像合成符号化方法。
  13. 請求項１２記載の画像合成符号化方法であって、
    前記合成比率を輝度成分よりも色差成分の方が大きくなるように設定する、
    ことを特徴とする画像合成符号化方法。
  14. 現在の画像と過去の画像をブロック毎に所定の合成比率で合成し、生成された合成画像に対して順次動画像符号化を行う画像合成符号化装置であって、
    現在の画像を順次入力する入力端子と、
    画像の合成時に必要となる現在の画像を一時的に記憶するフレームメモリと、
    符号化時に必要となる参照画像を一時的に記憶する参照画像メモリと、
    現在の画像と過去の画像の合成比率を設定する設定端子と、
    前記フレームメモリより順次入力される現在の画像と下記符号化手段より入力される過去の画像を前記設定端子により設定された合成比率で合成し、合成画像を順次生成する画像合成手段と、
    前記画像合成手段において生成された合成画像を順次入力し、前記参照画像メモリから読み出された参照画像を用いて符号化を行うとともに、符号化により生成された再構成画像を次フレーム以降の参照画像として前記参照画像メモリに出力し、参照画像のうち合成画像と二次元空間上で同一の位置に存在する画像データを過去の画像として前記画像合成手段に出力する符号化手段と、
    前記符号化手段において符号化されたストリームを出力する出力端子と、
    現在の画像が過去の画像に対して動きがあるか否かを所定のブロック単位で順次判定するために必要となる閾値を設定する外部設定端子と、
    を備え、
    前記画像合成手段において現在の画像と過去の画像を合成する前に、過去の画像に対する現在の画像の動きを前記符号化手段内部の動き検出部により事前に検出し、
    前記動き検出部の検出結果と前記閾値との比較結果に基づいて、前記動き検出部の検出結果の方が前記閾値よりも大きい場合は、現在の画像と過去の画像を合成すると判定し、小さい場合は、現在の画像と過去の画像を合成しないと判定し、
    合成すると判定された場合には、前記画像合成手段において現在の画像と過去の画像を所定の合成比率で合成し、合成しないと判定された場合には現在の画像と過去の画像を合成せずに現在の画像を前記符号化手段における符号化対象画像とする、
    ことを特徴とする画像合成符号化装置。
  15. 請求項１４記載の画像符号化装置であって、
    前記フレームメモリと前記参照画像メモリを１つの共有メモリで構成する、
    ことを特徴とする画像合成符号化装置。
  16. 請求項１〜１３のいずれか１つに記載の画像合成符号化方法を実行可能な画像合成符号化部を含み画像処理を行う画像処理回路と、
    入力されるアナログの画像信号をデジタルの画像信号に変換して前記画像処理回路に出力する変換回路と、
    を備える、
    ことを特徴とする撮像システム。
  17. 請求項１６記載の撮像システムであって、
    センサーと、
    前記センサーへ光を結像する光学系と、
    をさらに備え、
    前記センサーは、前記光学系により結像された画像光を電気信号に光電変換して前記変換回路に入力する、
    ことを特徴とする撮像システム。
JP2008189818A 2008-07-23 2008-07-23 画像合成符号化方法、画像合成符号化装置、撮像システム Active JP5281839B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008189818A JP5281839B2 (ja) 2008-07-23 2008-07-23 画像合成符号化方法、画像合成符号化装置、撮像システム
PCT/JP2009/000278 WO2010010641A1 (ja) 2008-07-23 2009-01-26 画像合成符号化方法、画像合成符号化装置、撮像システム
CN200980124000XA CN102067607B (zh) 2008-07-23 2009-01-26 图像合成编码方法、图像合成编码装置、摄像系统
US12/917,192 US9083982B2 (en) 2008-07-23 2010-11-01 Image combining and encoding method, image combining and encoding device, and imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008189818A JP5281839B2 (ja) 2008-07-23 2008-07-23 画像合成符号化方法、画像合成符号化装置、撮像システム

Publications (2)

Publication Number Publication Date
JP2010028641A JP2010028641A (ja) 2010-02-04
JP5281839B2 true JP5281839B2 (ja) 2013-09-04

Family

ID=41570120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008189818A Active JP5281839B2 (ja) 2008-07-23 2008-07-23 画像合成符号化方法、画像合成符号化装置、撮像システム

Country Status (4)

Country Link
US (1) US9083982B2 (ja)
JP (1) JP5281839B2 (ja)
CN (1) CN102067607B (ja)
WO (1) WO2010010641A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5365540B2 (ja) 2010-02-12 2013-12-11 住友化学株式会社 有機化合物の酸化方法
JP5687553B2 (ja) * 2011-04-25 2015-03-18 オリンパス株式会社 画像合成装置、画像合成方法及び画像合成プログラム
JP5821625B2 (ja) 2011-08-29 2015-11-24 カシオ計算機株式会社 画像編集装置およびプログラム
KR101640875B1 (ko) * 2012-06-13 2016-07-19 파나소닉 아이피 매니지먼트 가부시키가이샤 물체 검출 장치
KR20140132568A (ko) * 2013-05-08 2014-11-18 삼성전자주식회사 움직이는 물체를 하나의 이미지에 합성하기 위한 장치 및 방법
US9615131B2 (en) * 2013-08-08 2017-04-04 Honeywell International Inc. System and method of motion detection on encrypted or scrambled video data streams
KR20150059534A (ko) * 2013-11-22 2015-06-01 삼성전자주식회사 파노라마 영상 생성 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 파노라마 영상 생성 장치.
US10129464B1 (en) * 2016-02-18 2018-11-13 Gopro, Inc. User interface for creating composite images
JP7024539B2 (ja) 2018-03-22 2022-02-24 カシオ計算機株式会社 画像編集装置、画像編集方法、及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203460A (ja) * 1993-12-29 1995-08-04 Toshiba Corp 軌跡表示装置
DE69712836T2 (de) 1996-02-19 2003-01-16 Koninklijke Philips Electronics N.V., Eindhoven Vorrichtung und verfahren zur videosignalkodierung
JP3748895B2 (ja) * 1997-02-13 2006-02-22 三菱電機株式会社 符号化装置及び復号装置及び符号化方法及び復号方法
JPH11275560A (ja) 1998-03-19 1999-10-08 Fujitsu Ltd 監視システム及びそれに用いるデータ処理装置
JP2001155176A (ja) * 1999-09-14 2001-06-08 Sony Computer Entertainment Inc 画像作成方法、記憶媒体およびプログラム実行装置
JP2002044521A (ja) 2000-07-28 2002-02-08 Victor Co Of Japan Ltd 簡易画像合成装置及びその方法
US8134613B2 (en) * 2001-04-10 2012-03-13 Sony Corporation Image processing apparatus and method, and image pickup apparatus
JP2006287632A (ja) * 2005-03-31 2006-10-19 Pioneer Electronic Corp ノイズ低減装置およびノイズ低減方法
US20080278606A9 (en) * 2005-09-01 2008-11-13 Milivoje Aleksic Image compositing
JP4973031B2 (ja) * 2006-07-03 2012-07-11 ソニー株式会社 ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
JP4797847B2 (ja) * 2006-07-12 2011-10-19 ソニー株式会社 画像処理装置、画像処理手順およびプログラム
JP5168837B2 (ja) * 2006-07-27 2013-03-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP4724639B2 (ja) 2006-10-30 2011-07-13 キヤノン株式会社 撮像装置
KR20080076004A (ko) * 2007-02-14 2008-08-20 삼성전자주식회사 촬상장치 및 그 다이나믹 레인지 확장방법
US8368741B2 (en) * 2007-06-27 2013-02-05 General Instrument Corporation Apparatus and system for improving image quality

Also Published As

Publication number Publication date
JP2010028641A (ja) 2010-02-04
WO2010010641A1 (ja) 2010-01-28
CN102067607A (zh) 2011-05-18
US9083982B2 (en) 2015-07-14
CN102067607B (zh) 2013-10-16
US20110051816A1 (en) 2011-03-03

Similar Documents

Publication Publication Date Title
JP5281839B2 (ja) 画像合成符号化方法、画像合成符号化装置、撮像システム
US12375694B2 (en) Rate control in video coding
CN101385334B (zh) 图像捕捉设备和方法、记录设备和方法及再现设备和方法
US8179446B2 (en) Video stabilization and reduction of rolling shutter distortion
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
JP5295045B2 (ja) 組み込み機器において高解像度画像を提供するための方法及び装置
US8811757B2 (en) Multi-pass video noise filtering
US8564724B2 (en) Ghosting artifact reduction in temporal noise filtering
US20100215104A1 (en) Method and System for Motion Estimation
US8542298B2 (en) Image processing device and image processing method
CN101411181A (zh) 电子视频图像稳定
US20110255597A1 (en) Method and System for Reducing Flicker Artifacts
US9131158B2 (en) Moving-image capturing apparatus and electronic zoom method for moving image
JP2009232003A (ja) 撮像装置および撮像装置の制御方法、ならびに、信号処理装置および信号処理方法
US9386310B2 (en) Image reproducing method, image reproducing device, image reproducing program, imaging system, and reproducing system
JP3221785B2 (ja) 撮像装置
US11722634B2 (en) Method and apparatus for in-camera night lapse video
JP2009232004A (ja) 信号処理装置および信号処理方法、ならびに、撮像装置および撮像装置の制御方法
US20250111541A1 (en) Compressed Video Streaming for Multi-Camera Systems
JP2009278473A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置
Zhang Video Image Processing
JP5131954B2 (ja) ビデオレコーダ並びにカメラシステム
JP2010124369A (ja) フレーム補間装置、画像符号化装置、および画像復号装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110713

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130527

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5281839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250