JP4849130B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP4849130B2
JP4849130B2 JP2009001351A JP2009001351A JP4849130B2 JP 4849130 B2 JP4849130 B2 JP 4849130B2 JP 2009001351 A JP2009001351 A JP 2009001351A JP 2009001351 A JP2009001351 A JP 2009001351A JP 4849130 B2 JP4849130 B2 JP 4849130B2
Authority
JP
Japan
Prior art keywords
codec
decoding
image
unit
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009001351A
Other languages
English (en)
Other versions
JP2009225431A (ja
Inventor
誠司 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009001351A priority Critical patent/JP4849130B2/ja
Publication of JP2009225431A publication Critical patent/JP2009225431A/ja
Application granted granted Critical
Publication of JP4849130B2 publication Critical patent/JP4849130B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に、画像圧縮処理の高速化を実現する画像処理装置、および画像処理方法、並びにプログラムに関する。
撮像装置の分野において、近年、通常のビデオフレームレート（６０フレーム毎秒、５０フレーム毎秒、または２４フレーム毎秒など）よりも高速な撮像を行うことを可能にした高速度撮像装置が知られている。このような高速度撮像装置では、高解像度、かつ高フレームレートの撮像信号のデータレートが高速になり、この高速データレートで入力するデータに対して実行する画像信号処理や画像圧縮処理も高速化することが要求される。しかし、画像圧縮処理等の信号処理を撮像素子から出力されるデータレートに追随するレベルに高速化することは困難であるという問題がある。
このため、従来の高速度撮像装置では、撮像素子から出力される撮像データを一旦半導体メモリに記憶し、撮像処理の終了後に外部の制御装置（主にコンピュータ）から半導体メモリ内部の撮像データを読み出して処理を行う方法や、撮像処理終了後に、後段の映像信号処理の処理能力に応じたデータレート（通常のビデオフレームレートに相当）で半導体メモリから撮像データを読み出して、画像信号処理、および画像圧縮処理を施して記録媒体に記録する方法が提案されている。
しかし、このように撮像データを一旦半導体メモリに記憶する構成とした場合、高速撮像装置に搭載可能な半導体メモリの容量に限界があるため、連続撮像による記録時間が制限されてしまうという問題がある。この問題を解決するためには、撮像素子から出力される撮像データに対して、実時間にて画像信号処理と画像圧縮処理を実現して、磁気テープや光磁気ディスクやハードディスクなどの記録媒体に記録可能なビットレートに対応する信号に変換しなければならない。
近年では、高い圧縮率を実現する圧縮方式としてＨ．２６４ ＶＩＤＥＯ ＣＯＤＥＣが利用されている。しかしながら、現時点においては、上記の圧縮方式［Ｈ．２６４ ＶＩＤＥＯ ＣＯＤＥＣ］など多くの高圧縮型の圧縮方式は処理が複雑であり、処理に時間を要する。すなわち通常のビデオフレームレートを超える高速のフレームレートに追随した高速処理を実現する回路、ＬＳＩは実現されていないのが現状である。
このような圧縮処理速度の問題を解決するため、１フレームの画像を空間的に分割し、それぞれの領域を並列処理することにより高速処理を実現して、高速度撮像に追随する画像圧縮を実現する方法が提案されている。例えば特許文献１には、固体撮像素子から水平ライン単位で出力を分配し、並列処理を行う撮像装置が記載されている。また、特許文献２には、プリズムにより分光し、複数の固体撮像素子の出力信号を並列処理する撮像装置が記載されている。
一方、時間方向（フレームレート）のスケーラビリティを実現する符号化方式として、Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ ＣＯＤＥＣ（ＳＶＣ）が提案されている。非特許文献１、および非特許文献２に示されるＳＶＣでは、時間方向のサブバンド分割を行い、それぞれを階層的に符号化することにより時間方向のスケーラビリティを実現している。
特開平１−２８６５８６号公報 特開平５−３１６４０２号公報
Ｈｅｉｋｏ Ｓｃｈｗａｒｚ， Ｄｅｔｌｅｖ Ｍａｒｐｅ， ａｎｄ Ｔｈｏｍａｓ Ｗｉｅｇａｎｄ， "ＭＣＴＦ ａｎｄ Ｓｃａｌａｂｉｌｉｔｙ Ｅｘｔｅｎｓｉｏｎ ｏｆ Ｈ．２６４／ＡＶＣ"， ＰＣＳ'０４， Ｄｅｃｅｍｂｅｒ ２００４． Ｊ．Ｒｅｉｃｈｅｌ ａｎｄ Ｈ．Ｓｃｈｗａｒｚ， "Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ − Ｊｏｉｎｔ ＳｃａｌａｂｌｅＶｉｄｅｏ Ｍｏｄｅｌ ＪＳＶＭ−２"， ＪＶＴ−Ｏ２０１， Ａｐｒｉ．２００５．
ところで、上記の従来の高速度撮像装置は以下に示すような問題があった。
特許文献１に記載の撮像装置は、高速な画像処理を行うために空間的に画像を分割して並列に処理を行うことにより、高解像度、かつ高フレームレートの画像を長時間記録することが可能である。しかしながら、特許文献１に記載の撮像装置では、並列化された信号を記録するために複数台のビデオテープレコーダ（ＶＴＲ）を使うという大掛かりな構成になっている。また、特に、画像圧縮に関する言及はない。
特許文献２に記載の撮像装置は、プリズムにより分光した入射光を複数の撮像素子により時間的に位相をずらして撮像し、それらの信号を並列的に処理することにより、高解像度、かつ高フレームレートの撮像を実現している。しかしながら、特許文献２に記載の撮像装置では、画像圧縮に関する言及は特になく、半導体メモリに記録する構成になっている。仮に、時分割的に並列化された画像信号を圧縮する構成にする場合には、複数の画像圧縮装置を持つ必要があり、コストの大幅な増加を必要とする。
また、非特許文献１、および非特許文献２に記載の符号化方式では、サブバンド分割した各階層を同一の符号化処理により圧縮している。このような構成では、圧縮効率を高めた符号化処理部を複数持つ場合にはコストの大幅な増加を必要とし、一方、低コストの符号化処理部で構成する場合には、圧縮効率を高めることが難しいという問題があった。
本発明の目的は、上記の問題を解決し、大幅なコスト増無しに、高解像度、かつ高フレームレートの画像を長時間記録することを実現し、かつ再生・出力時にフレームレートのスケーラビリティを持たせることを実現する画像圧縮部を具備した画像処理装置、および画像処理方法、並びにプログラムを提供することにある。
本発明の第１の側面は、
入力画像信号に対する時間方向のサブバンド分割処理により、前記入力画像信号の入力フレームレートより低フレームレートとした低周波成分からなる低域側サブバンド分割信号、および高周波成分からなる高域側サブバンド分割信号を生成する時間サブバンド分割手段と、
前記低域側サブバンド分割信号を圧縮する第１の符号化手段と、
前記高域側サブバンド分割信号を圧縮する第２の符号化手段とを具備し、
前記第１の符号化手段と、前記第２の符号化手段は、異なる符号化処理を実行する構成である画像処理装置にある。
さらに、本発明の画像処理装置の一実施態様において、前記第１の符号化手段は、前記第２の符号化手段より圧縮効率の高い符号化処理手段で構成されている。
さらに、本発明の画像処理装置の一実施態様において、前記第２の符号化手段は、前記第１の符号化手段より回路規模の小さい符号化処理手段で構成されている。
さらに、本発明の画像処理装置の一実施態様において、前記時間サブバンド分割手段は、時間方向のウェーブレット変換器であり、時間方向に隣り合う複数フレーム間でのＨａａｒ変換を行うことで、フレーム信号を低周波数成分と高周波数成分に分割する処理を実行する。
さらに、本発明の画像処理装置の一実施態様において、前記時間サブバンド分割手段は、前記入力画像信号としてＰフレーム／秒（Ｐは整数）の画像信号を入力し、時間方向のサブバンド分割処理により（Ｐ／Ｑ）フレーム／秒（Ｑは２以上の整数）の低域側サブバンド分割信号および高域側サブバンド分割信号を生成する。
さらに、本発明の画像処理装置の一実施態様において、前記第１の符号化手段、および前記第２の符号化手段は、それぞれが（Ｐ／Ｑ）フレーム毎秒での符号化処理を行う。
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記第１の符号化手段から出力される低域側ストリームデータと、前記第２の符号化手段から出力される高域側ストリームデータを記録する記録手段と、前記記録手段に記録した低域側ストリームデータを入力して低周波数成分の伸長処理を実行する第１の復号手段と、前記記録手段に記録した高域側ストリームデータを入力して高周波数成分の伸長処理を実行する第２の復号手段と、前記第１の復号手段と第２の復号手段の復号結果である画像信号に対する時間方向のサブバンド合成処理により、前記第１の復号手段と第２の復号手段の復号結果である画像信号の入力フレームレートより高フレームレートとした合成画像信号を生成する時間サブバンド合成手段とを有する。
さらに、本発明の画像処理装置の一実施態様において、前記時間サブバンド合成手段は、時間方向のウェーブレット逆変換器である。
さらに、本発明の画像処理装置の一実施態様において、前記時間サブバンド分割手段は、前記高域側サブバンド分割信号として、複数の高域側サブバンド分割信号を生成し、前記低域側サブバンド分割信号および前記複数の高域側サブバンド分割信号のフレームレートは、前記低域側サブバンド分割信号および前記複数の高域側サブバンド分割信号の総数に応じて決定されるフレームレートである。
さらに、本発明の画像処理装置の一実施態様において、前記第２の符号化手段は、前記複数の高域側サブバンド分割信号の各々に対する圧縮処理を実行する複数の異なる符号化手段によって構成される。
さらに、本発明の画像処理装置の一実施態様において、前記時間サブバンド分割手段は、前記入力画像信号に含まれる時間的に連続するＮ（Ｎ≧２）個の画像フレームの対応画素の信号値の加算処理によって１つの低域側サブバンド分割信号を生成し、前記入力画像信号に含まれる時間的に連続するＮ（Ｎ≧２）個の画像フレームの対応画素の信号値の加算処理および減算処理によってＮ−１個の高域側サブバンド分割信号を生成する構成であり、前記Ｎ−１個の高域側サブバンド分割信号の各々は、加算処理および減算処理対象とする画像フレームの組み合わせを異なる設定として算出した信号である。
さらに、本発明の第２の側面は、
記録手段に記録した低域側ストリームデータを入力して低周波数成分の伸長処理を実行する第１の復号手段と、
記録手段に記録した高域側ストリームデータを入力して高周波数成分の伸長処理を実行する第２の復号手段と、
前記第１の復号手段と第２の復号手段の復号結果である画像信号を入力して、時間方向のサブバンド合成処理により、前記第１の復号手段と第２の復号手段の復号結果である画像信号の入力フレームレートより高フレームレートとした合成画像信号を生成する時間サブバンド合成手段を有する画像処理装置にある。
さらに、本発明の画像処理装置の一実施態様において、前記第１の復号手段は、前記第２の復号手段より圧縮効率の高い符号化処理データの復号を実行する構成である。
さらに、本発明の画像処理装置の一実施態様において、前記第２の復号手段は、記録手段に記録した複数の異なる高域側ストリームデータを入力して複数の異なる高周波数成分の画像信号を生成し、前記時間サブバンド合成手段は、前記第１の復号手段の復号結果である画像信号と、前記第２の復号手段の復号結果である複数の異なる画像信号を入力して、時間方向のサブバンド合成処理により、高フレームレートの合成画像信号を生成する。
さらに、本発明の画像処理装置の一実施態様において、前記時間サブバンド合成手段は、前記第１の復号手段の生成する低周波数成分の画像信号と、前記第２の復号手段の生成する高周波数成分の画像信号との総数に応じて決定されるフレームレートの合成画像信号を生成する。
さらに、本発明の画像処理装置の一実施態様において、前記第２の復号手段は、前記記録手段に記録した複数の異なる高域側ストリームデータの各々に対する伸張処理を実行する複数の異なる復号手段によって構成される。
さらに、本発明の第３の側面は、
画像処理装置において実行する画像処理方法であり、
時間サブバンド分割手段が、入力画像信号に対する時間方向のサブバンド分割処理により、前記入力画像信号の入力フレームレートより低フレームレートとした低周波成分からなる低域側サブバンド分割信号、および高周波成分からなる高域側サブバンド分割信号を生成する時間サブバンド分割ステップと、
第１の符号化手段が、前記低域側サブバンド分割信号を圧縮する第１の符号化ステップと、
第２の符号化手段が、前記高域側サブバンド分割信号を圧縮する第２の符号化ステップを有し、
前記第１の符号化ステップと前記第２の符号化ステップは、異なる符号化処理を実行するステップである画像処理方法にある。
さらに、本発明の第４の側面は、
画像処理装置において実行する画像処理方法であり、
第１の復号手段が、記録手段に記録した低域側ストリームデータを入力して低周波数成分の伸長処理を実行する第１の復号ステップと、
第２の復号手段が、記録手段に記録した高域側ストリームデータを入力して高周波数成分の伸長処理を実行する第２の復号ステップと、
時間サブバンド合成手段が、前記第１の復号ステップと第２の復号ステップの復号結果である画像信号を入力して、時間方向のサブバンド合成処理により、前記第１の復号手段と第２の復号手段の復号結果である画像信号の入力フレームレートより高フレームレートとした合成画像信号を生成する時間サブバンド合成ステップを有する画像処理方法にある。
さらに、本発明の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
時間サブバンド分割手段に、入力画像信号に対する時間方向のサブバンド分割処理により、前記入力画像信号の入力フレームレートより低フレームレートとした低周波成分からなる低域側サブバンド分割信号、および高周波成分からなる高域側サブバンド分割信号を生成させる時間サブバンド分割ステップと、
第１の符号化手段に、前記低域側サブバンド分割信号を圧縮させる第１の符号化ステップと、
第２の符号化手段に、前記高域側サブバンド分割信号を圧縮させる第２の符号化ステップを有し、
前記第１の符号化ステップと前記第２の符号化ステップは、異なる符号化処理を実行するステップであるプログラムにある。
さらに、本発明の第６の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
第１の復号手段に、記録手段に記録した低域側ストリームデータを入力して低周波数成分の伸長処理を実行させる第１の復号ステップと、
第２の復号手段に、記録手段に記録した高域側ストリームデータを入力して高周波数成分の伸長処理を実行させる第２の復号ステップと、
時間サブバンド合成手段に、前記第１の復号ステップと第２の復号ステップの復号結果である画像信号を入力して、時間方向のサブバンド合成処理により、前記第１の復号手段と第２の復号手段の復号結果である画像信号の入力フレームレートより高フレームレートとした合成画像信号を生成させる時間サブバンド合成ステップを有するプログラムにある。
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例構成によれば、例えば撮像素子等の出力信号である画像信号を入力して時間方向のサブバンド分割処理を実行して、入力フレームレートより低フレームレートの低域側サブバンド分割信号および高域側サブバンド分割信号を生成して、生成した低域側サブバンド分割信号と、高域側サブバンド分割信号をそれぞれ圧縮する２つの符号化手段を具備する構成とし、低域側サブバンド分割信号の符号化手段を、例えばＨ．２６４コーデック（ＣＯＤＥＣ）、高域側サブバンド分割信号の符号化手段をＪＰＥＧコーデック（ＣＯＤＥＣ）とするなど、圧縮効率の違う符号化手段の組み合わせとした。この構成により、各符号化手段では低フレームレートに従った速度での符号化処理によって高フレームレートの入力データ、例えば撮像データのリアルタイム処理が実現される。
また、本発明の一実施例に係る装置では、異なる符号化処理のなされたデータの復号、再生において、低域側ストリームデータと高域側ストリームデータとをそれぞれ異なる復号処理手段による復号、例えば、低域側ストリームデータをＨ．２６４コーデック（ＣＯＤＥＣ）による復号処理、高域側ストリームデータをＪＰＥＧコーデック（ＣＯＤＥＣ）による復号処理を行って、各復号結果を合成して高フレームレートのビデオ信号として出力する構成とした。または、低域側ストリームデータのＨ．２６４コーデック（ＣＯＤＥＣ）による復号処理結果のみを出力して低フレームレートのビデオ信号の出力も可能とした。
本発明の一実施例に係る撮像装置の構成例について説明する図である。 本発明の一実施例に係る撮像装置のデータ処理例について説明する図である。 本発明の一実施例に係る撮像装置のデータ処理例について説明する図である。 本発明の一実施例に係る撮像装置のデータ処理例について説明する図である。 本発明の一実施例に係る撮像装置のデータ処理例について説明する図である。 本発明の一実施例に係る撮像装置の構成例について説明する図である。 本発明の一実施例に係る撮像装置の構成例について説明する図である。 本発明の一実施例に係る撮像装置の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の構成例について説明する図である。 本発明の一実施例に係る撮像装置の構成例について説明する図である。 本発明の一実施例に係る撮像装置のデータ処理例について説明する図である。 本発明の一実施例に係る撮像装置のデータ処理例について説明する図である。 本発明の一実施例に係る撮像装置のデータ処理例について説明する図である。 フレームメモリに格納された画像データに対するデータ処理シーケンス例について説明する図である。
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は、以下の項目に従って行う。
Ａ．高速（２倍）フレームレートの撮像データに対する処理を実行する構成例
Ｂ．高速（２倍）フレームレートの撮像データに対する処理を実行するその他の実施例
Ｃ．高速（Ｎ倍）フレームレートの撮像データに対する処理を実行する構成例
［Ａ．高速（２倍）フレームレートの撮像データに対する処理を実行する構成例］
図１は、本発明に係る画像処理装置の一実施例である撮像装置の構成を示している。本撮像装置は、通常のビデオレートの２倍のフレームレートによる撮像、処理、および記録を実現する装置である。
まず、撮像時の動作について図を参照して説明する。撮像装置１００は、撮像光学系１を介して入射される光を撮像素子２で受光する。撮像素子２は、高解像度（本実施例ではＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度とする）、かつ高フレームレート（本実施例では１２０フレーム毎秒とする）の撮像を行うことができる固体撮像素子、例えばＣＭＯＳ型固体撮像素子であり、図示しないＡＤ変換器を介してデジタル変換された撮像データを出力する。ここで、ＡＤ変換器は、ＣＭＯＳ型固体撮像素子上に実装されているか、または固体撮像素子の外部に配置されているものである。また、本実施例においては、撮像素子２は、受光面に、画素ごとに異なる波長域を透過するカラーフィルタを持つ単板カラー方式の固体撮像素子である。
撮像素子２から出力される撮像データは、時間サブバンド分割部３１に入力される。時間サブバンド分割部３１は、撮像素子２から与えられる現フレームの撮像データを一旦フレームメモリ４に記憶すると同時に、フレームメモリ４から過去２フレームの撮像データを読み出し、下記式（式１）に従ったサブバンド分割処理を行い、低域側の信号１１と、高域側の信号１２を出力する。
Figure 0004849130
上記式（式１）は、Ｈａａｒ関数を基底とする時間方向のウェーブレット変換を表している。上記式において、
Ｉ（ｘ，ｙ，２ｔ）：時間２ｔにおける画素位置（ｘ，ｙ）の入力値、
Ｉ（ｘ，ｙ，２ｔ＋１）：時間２ｔ＋１における画素位置（ｘ，ｙ）の入力値、
ＯＬ（ｘ，ｙ，２ｔ）：時間２ｔにおける画素位置（ｘ，ｙ）の低域信号出力値、
ＯＨ（ｘ，ｙ，２ｔ）：時間２ｔにおける画素位置（ｘ，ｙ）の高域信号出力値、
Ｒａｎｇｅ：１画素の画素値の階調数、
これらの各値を示す。
なお、階調数は、たとえば１画素を各色８ビットで表現する場合には２５６になる。本実施例においては、各色８ビットとして記載する。
低域信号出力値ＯＬ（ｘ，ｙ，２ｔ）は、２つの入力連続フレームの対応画素値の加算処理によって生成され、高域信号出力値ＯＨ（ｘ，ｙ，２ｔ）は、２つの入力連続フレームの対応画素値の減算処理によって生成される。すなわち時間方向に連続する２つのフレームの対応する信号値に基づいて、１つの低域信号出力値と高域信号出力値を生成する。この処理により入力フレームレートに対して出力フレームレートは１／２になる。また、以下に示す式（式２）は、Ｈａａｒ関数を基底とするウェーブレット逆変換を表す。
Figure 0004849130
上記式（式２）に示すウェーブレット逆変換は、先に説明した式（式１）に示すウェーブレット変換において生成した値［ＯＬ（ｘ，ｙ，２ｔ）］，［ＯＨ（ｘ，ｙ，２ｔ）］から、時間２ｔと２ｔ＋１の元のフレームレートに対応する連続する２つのフレームの対応する画素（ｘ，ｙ）の画素値［Ｒ（ｘ，ｙ，２ｔ）］、［Ｒ（ｘ，ｙ，２ｔ＋１）］を算出する式である。上記式（式２）は、復号処理に際して利用される。
実施例においては、時間サブバンド分割部３１における時間サブバンド分割処理として、実装が容易なＨａａｒウェーブレットを用いているが、その他の基底を用いたウェーブレット変換や、その他のサブバンド分割処理を用いても構わない。
図２に時間サブバンド分割部３１における時間サブバンド分割処理の詳細を示す。図２には、フレームメモリ４から読み出した第１のフレーム（Ｆｒａｍｅ０）と第２のフレーム（Ｆｒａｍｅ１）の撮像データを示している。各撮像データフレームは、それぞれ各画素に単一の色信号、すなわちＲＧＢのいずれかの１つの色信号を有するＲＡＷデータである。例えば各フレームの左上端は、Ｇ信号であり、右側にＧＲＧＲの順で各信号値が格納されており、第２行目は、ＢＧＢＧの順で信号値が格納されている。例えば、各フレームの左上端のＧ信号について、
Ｇ（０，０，０）のＧは、ＲＧＢ信号のＧ信号であること、
Ｇ（０，０，０）の最初の（０，０）は、座標位置（ｘ，ｙ）＝（０，０）であること、
Ｇ（０，０，０）の最後の（０）は、フレームＩＤ＝フレーム０であること、
これらの値を示している。
時間サブバンド分割部３１は、各フレームにおいて空間的に同じ位置にある画素同士で加算処理と減算処理を行う。例えば、図２に示した第１のフレーム（Ｆｒａｍｅ０）の画素Ｇ（０，０，０）と、第２のフレーム（Ｆｒａｍｅ１）の画素Ｇ（０，０，１）の間で、式１に示した処理を行い、２つの入力連続フレームの対応画素値の加算処理によって低域信号出力値ＯＬ（ｘ，ｙ，２ｔ）を算出し、２つの入力連続フレームの対応画素値の減算処理によって高域信号出力値ＯＨ（ｘ，ｙ，２ｔ）を生成する。なお、以下では、ＲＧＢのいずれの信号値であるかに応じて、［ＯＬ（ｘ，ｙ，２ｔ）］，［ＯＨ（ｘ，ｙ，２ｔ）］を、
Ｒの場合、［ＲＬ（ｘ，ｙ，２ｔ）］，［ＲＨ（ｘ，ｙ，２ｔ）］、
Ｇの場合、［ＧＬ（ｘ，ｙ，２ｔ）］，［ＧＨ（ｘ，ｙ，２ｔ）］、
Ｂの場合、［ＢＬ（ｘ，ｙ，２ｔ）］，［ＢＨ（ｘ，ｙ，２ｔ）］、
として表記する。
時間サブバンド分割部３１は、例えば、図２に示した第１のフレーム（Ｆｒａｍｅ０）の画素Ｇ（０，０，０）と、第２のフレーム（Ｆｒａｍｅ１）の画素Ｇ（０，０，１）の間で、式１に示した処理を行い、２つの入力連続フレームの対応画素値の加算処理によって低域信号出力値ＧＬ（０，０，０）、２つの入力連続フレームの対応画素値の減算処理によって高域信号出力値ＧＨ（０，０，０）を生成する。同様にして、画素Ｒ（１，０，０）と画素Ｒ（１，０，１）の間で処理を行い、低域信号ＲＬ（１，０，０）と高域信号ＲＨ（１，０，０，）を出力する。
このようにして、時間サブバンド分割部３１により変換される低域信号１１は、撮像データの隣り合う２フレームの画素を加算処理したものであり、撮像フレームレート（本実施例では１２０フレーム毎秒）の半分のフレームレート（６０フレーム毎秒）による撮像ＲＡＷデータに相当する。一方、時間サブバンド分割部３１により変換される高域信号１２は、撮像データの隣り合う２フレーム間の差分を求めたものであり、動被写体の領域にのみ有効な画素値が存在し、その他の領域は差分がないことを示す一定値（実装上、中央値１２８を割り当てる）となるようなＲＡＷデータである。また、低域信号１１、および高域信号１２は、いずれもフレームレートは６０フレーム毎秒である。
このように、時間サブバンド分割手段３１は、撮像素子２から出力される画像信号を入力し、時間方向のサブバンド分割処理により、撮像素子２からの入力フレームレートより低フレームレートとした低周波成分からなる低域側サブバンド分割信号、および高周波成分からなる高域側サブバンド分割信号を生成する。
時間サブバンド分割部３１から出力される低域信号１１は、カメラ信号処理部Ａ５１に入力される。同様に、時間サブバンド分割部３１から出力される高域信号１２は、カメラ信号処理部Ｂ５２に入力される。
カメラ信号処理部Ａ５１、およびカメラ信号処理部Ｂ５２は、時間サブバンド分割部３１から出力される低域信号１１と高域信号１２に対して、ホワイトバランス補正、ゲイン補正、デモザイク処理、マトリクス処理、ガンマ補正などのカメラ信号処理を施す。カメラ信号処理部Ａ５１と、カメラ信号処理部Ｂ５２は、同様の処理を行う処理部であり、それぞれ低域信号１１と高域信号１２に対する処理を並列に実行する。
前述の通り、時間サブバンド分割部３１から出力される低域信号１１と高域信号１２は、撮像フレームレートである高速（１２０ｆ／ｓ）フレームレートからレート変換された６０フレーム毎秒（６０ｆ／ｓ）のデータである。
カメラ信号処理部Ａ５１、およびカメラ信号処理部Ｂ５２は、６０フレーム毎秒（６０ｆ／ｓ）のデータに対する信号処理を実行すればよい。すなわち６０フレーム毎秒による撮像ＲＡＷデータと同等の処理速度で処理を実行することができる。
なお、時間サブバンド分割部３１から出力される高域信号１２は、隣り合う２フレーム間の差分を表すＲＡＷデータである。したがって、カメラ信号処理部Ｂ５２におけるデモザイク処理などにおいて非線形処理が施された場合、輝度の変化が生じるエッジ部などでノイズを発生する可能性はあるが、本実施例による撮像装置１００の構成であれば、カメラ信号処理部Ａ５１、およびカメラ信号処理部Ｂ５２は、通常のフレームレート（６０フレーム毎秒）での処理で実現することができるため、高速化を必要としないというメリットがある。
なお、カメラ信号処理部５１，５２は、時間サブバンド分割部３１から出力される低域信号１１と高域信号１２に対して、それぞれホワイトバランス補正、ゲイン補正、デモザイク処理、マトリクス処理、ガンマ補正などのカメラ信号処理を施す構成として説明したが、実行する信号処理形態は、この例に限らず、様々な態様が可能である。
また、時間サブバンド分割部３１における処理の詳細については、後段で、図３、および図４を参照して説明する。
カメラ信号処理部Ａ５１から出力される低域側の画像データは、第１コーデック（ＣＯＤＥＣ）部６１に入力されると共に、ファインダ出力部９に入力される。一方、カメラ信号処理部Ｂ５２から出力される高域側の画像データは、第２コーデック（ＣＯＤＥＣ）部６２に入力される。
ファインダ出力部９は、カメラ信号処理部Ａ５１から与えられる低域側の画像データを、図示しないビューファインダに表示するための信号に変換して出力する。ビューファインダに表示する画像は、入力される画像データと比較して、解像度、およびフレームレートが異なる場合がある。このような場合、ファインダ出力部９は、解像度変換処理、およびフレームレート変換処理を行う。フレームレート変換処理を行う場合には、図示しないフレームメモリが用いられる。また、ビューファインダに表示する画像は、輝度画像である必要がある場合がある。このような場合には、ファインダ出力部９は、入力画像を輝度画像に変換して出力する。
第１コーデック（ＣＯＤＥＣ）部６１は、カメラ信号処理部Ａ５１から与えられる低域側の画像データを第１の画像コーデック（ＣＯＤＥＣ）によって圧縮し、低域側ストリームデータ１３を出力する。第１コーデック（ＣＯＤＥＣ）部６１は、例えば、Ｈ．２６４ コーデック（ＣＯＤＥＣ）方式などのインターフレームコーデック（ＣＯＤＥＣ）で構成される。前述の通り、低域側の画像データは、撮像フレームレートの半分のフレームレート（実施例では６０フレーム毎秒）における撮像データに相当する。
第１コーデック（ＣＯＤＥＣ）部６１は、低域側の画像データを通常の６０フレーム毎秒における動画像データとして、Ｈ．２６４ハイプロファイルなどの標準規格に準じて圧縮を行う。しかしながら、第１のコーデック（ＣＯＤＥＣ）は、Ｈ．２６４ コーデック（ＣＯＤＥＣ）に限定するものではなく、通常の動画像データを圧縮する方法であればなんでも良く、たとえばＭＰＥＧ−２などのインターフレームコーデック（ＣＯＤＥＣ）でも、Ｍｏｔｉｏｎ−ＪＰＥＧなどのイントラフレームコーデック（ＣＯＤＥＣ）、あるいはＭＰＥＧ４やＡＶＣＨＤフォーマットに従った処理を実行するコーデック（ＣＯＤＥＣ）でも構わない。また、第１コーデック（ＣＯＤＥＣ）部６１の出力するストリームデータ１３は、標準規格に準ずるものでなくても構わない。
第２コーデック（ＣＯＤＥＣ）部６２は、カメラ信号処理部Ｂ５２から与えられる高域側の画像データを第２の画像コーデック（ＣＯＤＥＣ）によって圧縮し、高域側ストリームデータ１４を出力する。第２コーデック（ＣＯＤＥＣ）部は、例えば、ＪＰＥＧ コーデック（ＣＯＤＥＣ）方式などのイントラフレームコーデック（ＣＯＤＥＣ）で構成される。前述の通り、高域側の画像データは、撮像データの隣り合う２フレーム間の差分を求めたものであり、動被写体の領域にのみ有効な画素値が存在する動画像データである。つまり、高域側の画像データは、時間的な変化のない部分には情報が無く（一定値になる）、また動きのある部分においても輝度差の少ない領域は情報量が小さいデータになっている。通常、このような画像信号は圧縮することが容易であり、処理が複雑で高コストな代わりに圧縮効率が高いインターフレームコーデック（ＣＯＤＥＣ）を用いなくても、低コストであるＪＰＥＧ コーデック（ＣＯＤＥＣ）などのイントラフレームコーデック（ＣＯＤＥＣ）でも十分に少ない情報量への圧縮が可能である。したがって、第２コーデック（ＣＯＤＥＣ）部６２は、高域側の画像データをフレーム毎にＪＰＥＧ コーデック（ＣＯＤＥＣ）により圧縮する。
このように、第１コーデック（ＣＯＤＥＣ）部６１は、第２コーデック（ＣＯＤＥＣ）部６２より圧縮効率の高い圧縮処理手段として設定し、第２コーデック（ＣＯＤＥＣ）部６２は、第１コーデック（ＣＯＤＥＣ）部６１より圧縮効率が低く回路規模の小さい構成とすることができる。
なお、最近の撮像装置では、静止画の撮像機能を備えるものが少なくなく、静止画像用のＪＰＥＧ コーデック（ＣＯＤＥＣ）を構成要素として備えるものが多い。したがって、高域側の画像データを圧縮するための第２コーデック（ＣＯＤＥＣ）部６２をＪＰＥＧ コーデック（ＣＯＤＥＣ）で構成する場合には、ハイフレームレート画像の圧縮を行うための追加のコストを必要としないというメリットがある。しかしながら、第２のコーデック（ＣＯＤＥＣ）は、ＪＰＥＧ コーデック（ＣＯＤＥＣ）に限定するものではなく、通常の画像データを圧縮する方法であれば何でも良く、例えばＪＰＥＧ２０００などのイントラフレームコーデック（ＣＯＤＥＣ）でも、ＭＰＥＧ−２などのインターフレームコーデック（ＣＯＤＥＣ）でも構わない。
第１コーデック（ＣＯＤＥＣ）部６１と、第２コーデック（ＣＯＤＥＣ）部６２から出力される圧縮されたストリームデータ１３、および１４は、それぞれストリーム制御部７に入力される。
ストリーム制御部７は、第１コーデック（ＣＯＤＥＣ）部６１から入力される低域側の画像データを圧縮したストリームデータ１３と、第２コーデック（ＣＯＤＥＣ）部６２から入力される高域側の画像データを圧縮したストリームデータ１４を合成し、記録部８に出力する。前述の通り、第１コーデック（ＣＯＤＥＣ）部６１から与えられる低域側のストリームデータ１３は、６０フレーム毎秒の動画像をＨ．２６４ コーデック（ＣＯＤＥＣ）などにより圧縮したデータであり、標準規格に準じたストリームとなっている。
一方、第２コーデック（ＣＯＤＥＣ）部６２から与えられる高域側のストリームデータ１４は、６０フレーム毎秒の差分画像をＪＰＥＧ コーデック（ＣＯＤＥＣ）などにより圧縮したデータであり、標準的なビデオストリームとは異なっている。ストリーム制御部７は、第２コーデック（ＣＯＤＥＣ）部６２から与えられるストリームデータ１４をパケット化し、第１コーデック（ＣＯＤＥＣ）部６１から与えられる標準規格に準じたストリーム上にユーザーデータとして重畳する。
すなわち第２コーデック（ＣＯＤＥＣ）部６２から与えられる高域側の圧縮データをパケット化したユーザーデータとして第１コーデック（ＣＯＤＥＣ）部６１から与えられる標準規格に準じたストリーム上に重畳する。復号に際しては、ユーザーデータとして設定されたパケットを分離して処理を行なうことになる。この処理については後述する。
ストリーム制御部７から出力される合成されたストリームデータは、記録部８に入力される。
記録部８は、ストリーム制御部７から与えられる標準規格に準じたストリームデータを、磁気テープ、光磁気ディスク、ハードディスク、または半導体メモリなどの記録メディアに記録する。
以上説明した動作により、通常の２倍のフレームレート（本実施例では１２０フレーム毎秒）により撮像した画像信号を、圧縮効率に優れた第１コーデック（ＣＯＤＥＣ）と、低コストで実現可能な第２コーデック（ＣＯＤＥＣ）を適用して通常のフレームレート（本実施例では６０フレーム毎秒）の処理速度に追随した速度で圧縮することが可能となり、コスト増加を最小限に抑えつつ、ハイフレームレートでの撮像、処理、および記録を実現する撮像装置が提供される。
続いて、再生時の動作について図を参照して説明する。
撮像装置１００は、ユーザーの操作に従って、記録済みの動画像を再生するために、前述のようにして記録部８に記録されたストリームデータを読み出す。記録部８から読み出されたストリームデータは、ストリーム制御部７に入力される。
ストリーム制御部７は、記録部８から与えられるストリームデータを受け取り、第１コーデック（ＣＯＤＥＣ）部６１により圧縮された低域側ストリームデータと、第２コーデック（ＣＯＤＥＣ）部６２により圧縮された高域側ストリームデータに分離する。前述の通り、記録部８に記録されているストリームデータは、第１コーデック（ＣＯＤＥＣ）部６１による圧縮方式における標準規格に準じたストリームデータであり、第２コーデック（ＣＯＤＥＣ）部６２により圧縮されたストリームデータがユーザーデータとしてパケット化されて重畳されている。
ストリーム制御部７は、記録部８から受け取るストリームデータから、ユーザーデータとして重畳されている第２コーデック（ＣＯＤＥＣ）部６２により圧縮されたストリームデータをパケット化したデータを抽出し、第１コーデック（ＣＯＤＥＣ）部６１により圧縮されたストリームデータ１３と、第２コーデック（ＣＯＤＥＣ）部６２により圧縮されたストリームデータ１４に分離し、それぞれを第１コーデック（ＣＯＤＥＣ）部６１、および第２コーデック（ＣＯＤＥＣ）部６２に出力する。
第１コーデック（ＣＯＤＥＣ）部６１は、ストリーム制御部７から与えられるストリームデータ１３を受け取り、復号すなわち伸長処理を行う。前述の通り、第１コーデック（ＣＯＤＥＣ）部６１は、例えば、Ｈ．２６４ コーデック（ＣＯＤＥＣ）方式などのインターフレームコーデック（ＣＯＤＥＣ）で構成される。また、ストリームデータ１３は、第１コーデック（ＣＯＤＥＣ）部６１においてＨ．２６４ハイプロファイルなどの標準規格に準じて圧縮されたストリームである。第１コーデック（ＣＯＤＥＣ）部６１は、ストリームデータ１３を伸長し、６０フレーム毎秒による低域側の動画像データに変換する。前述の通り、低域側の動画像データは、６０フレーム毎秒による撮像データに相当するため、第１コーデック（ＣＯＤＥＣ）部６１から出力される動画像データは、通常の６０フレーム毎秒による動画像となる。
第２コーデック（ＣＯＤＥＣ）部６２は、ストリーム制御部７から与えられるストリームデータ１４を受け取り、伸長処理を行う。前述の通り、第２コーデック（ＣＯＤＥＣ）部６２は、例えば、ＪＰＥＧ コーデック（ＣＯＤＥＣ）方式などのイントラフレームコーデック（ＣＯＤＥＣ）で構成される。第２コーデック（ＣＯＤＥＣ）部６２は、ストリームデータ１４を伸長し、６０フレーム毎秒による高域側の動画像データに変換する。前述の通り、高域側の動画像データは、撮像データの隣り合う２フレーム間の差分を求めたものであるため、第２コーデック（ＣＯＤＥＣ）部６２から出力される動画像データは、６０フレーム毎秒による時間差分動画像となる。
第１コーデック（ＣＯＤＥＣ）部６１と、第２コーデック（ＣＯＤＥＣ）部６２から出力される動画像データは、いずれも時間サブバンド分割部３１に入力される。この場合時間サブバンド分割部は、時間サブバンド合成部３１として機能する。すなわち、第１コーデック（ＣＯＤＥＣ）部６１と、第２コーデック（ＣＯＤＥＣ）部６２の復号結果を入力して、時間方向のサブバンド合成処理を実行することにより各コーデックの出力する画像信号のフレームレートより高フレームレートとした合成画像信号を生成する。
具体的には、時間サブバンド分割部３１は、第１コーデック（ＣＯＤＥＣ）部６１、および第２コーデック（ＣＯＤＥＣ）部６２から与えられる低域側の動画像データ、および高域側の動画像データを、前述した式（式２）に従って逆変換（時間方向のウェーブレット逆変換）を行い、１２０フレーム毎秒における奇数フレーム画像と、偶数フレーム画像を生成する。時間サブバンド分割部３１は、上記奇数フレーム画像と偶数フレーム画像を一旦フレームメモリ４に記憶すると同時に、過去の奇数フレーム画像と偶数フレーム画像を２倍のフレームレート（１２０フレーム毎秒）にて交互に読み出す。このような処理を行うことにより、１２０フレーム毎秒による動画像データを復元することが出来る。
さらに、時間サブバンド分割部３１は、ユーザーの操作や、接続される画像表示装置から得られる情報によって６０フレーム毎秒での動画像を出力することが求められる場合には、第１コーデック（ＣＯＤＥＣ）部６１から与えられる低域側の動画像データをそのまま出力する。前述の通り、第１コーデック（ＣＯＤＥＣ）部６１から出力される動画像データは、１２０フレーム毎秒の隣り合う２つのフレーム画像を加算して生成した動画像であるため、６０フレーム毎秒で撮像した動画像に相当する。このような動作を行う場合には、図示しない制御部は、第２コーデック（ＣＯＤＥＣ）部６２を動作させないように制御することが可能であり、低消費電力での動作が可能である。
時間サブバンド分割部３１から出力される動画像データは、ビデオ出力部１０に入力される。
ビデオ出力部１０は、時間サブバンド分割部３１から与えられる動画像データを、１２０フレーム毎秒のビデオデータとして出力する。ここで出力するビデオデータは、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格や、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）規格などのデジタルビデオ信号フォーマットに準じたものでも、Ｄ端子などによるアナログコンポーネント信号フォーマットに準じたものでも構わない。ビデオ出力部１０は、出力ビデオ信号の形式に合わせた信号変換処理を行う。
以上、説明した動作により、通常の２倍のフレームレート（本実施例では１２０フレーム毎秒）で撮像した画像信号を記録したデータを再生し、圧縮効率に優れた第１コーデック（ＣＯＤＥＣ）と、低コストで実現可能な第２コーデック（ＣＯＤＥＣ）により伸長することが可能となり、コスト増加を最小限に抑えつつ、ハイフレームレート映像の再生出力を実現する撮像装置が提供される。
また、前述のように、接続される画像表示装置から得られる情報によって６０フレーム毎秒での動画像を出力することが求められる場合には、第１コーデック（ＣＯＤＥＣ）部６１から与えられる低域側の動画像データをそのまま出力する構成としてもよく、この場合は、再生時において、第２コーデック（ＣＯＤＥＣ）の処理を停止することが可能であり、消費電力の低減、通常のビデオフレームレートでの映像出力を実現することができる。
以下、本撮像装置における時間サブバンド分割部３１における時間サブバンド分割処理、およびコーデック（ＣＯＤＥＣ）処理の動作例について、図３乃至図５を用いて説明する。
まず、撮像時の動作について、図３を参照して説明する。
図３は、撮像時の時間サブバンド分割部３１における時間サブバンド分割処理、すなわち時間方向に連続するフレームに対する処理を示している。図３（ａ）撮像素子出力データは、図１に示す撮像素子２の出力である。このデータは、ＨＤ解像度のフレーム画像（図中Ｎ〜Ｎ＋７）を、１２０フレーム毎秒の速度で出力する。ここでＮは任意の奇数である。
（ｂ）低域画像データは、図１に示す時間サブバンド分割部３１における時間サブバンド処理によって生成され、カメラ信号処理部Ａ５１、第１コーデック（ＣＯＤＥＣ）部６１における処理信号として出力される低域側の画像データ（本実施例では６０フレーム毎秒）であり、
（ｃ）高域画像データは、図１に示す時間サブバンド分割部３１における時間サブバンド処理によって生成され、カメラ信号処理部Ｂ５２、第２コーデック（ＣＯＤＥＣ）部６２における処理信号として出力される高域側の画像データ（本実施例では６０フレーム毎秒）である。
撮像素子２から出力されたフレーム画像は、時間サブバンド分割部３１において、一旦フレームメモリ４に記憶される。このとき、フレームメモリ４への記憶速度は、１２０フレーム毎秒である。時間サブバンド分割部３１は、フレームメモリ４にフレーム画像を記憶すると同時に、すでに記憶されている過去の奇数フレーム画像と偶数フレーム画像を同時に読み出す。このとき、フレームメモリ４からの奇数フレーム画像、および偶数フレーム画像の読み出し速度は、それぞれ６０フレーム毎秒である。
以下、フレームメモリ４の制御を伴う時間サブバンド分割部３１における（ｂ）低域画像データ、（ｃ）高域画像データの生成処理の具体的な動作例について説明する。
撮像が開始されると、図３に示す期間Ａにおいて、時間サブバンド分割部３１は、フレーム画像Ｎを撮像素子２から入力してフレームメモリ４に記憶する。つづいて、期間Ｂにおいて、フレーム画像Ｎ＋１を撮像素子２から入力してフレームメモリ４に記憶する。
期間Ｃにおいて、時間サブバンド分割部３１は、フレーム画像Ｎ＋２をフレームメモリ４に記憶すると同時に、フレーム画像Ｎとフレーム画像Ｎ＋１を同時にメモリ４から読み出す。このとき、読み出し速度は、記憶速度の半分（本実施例では１２０フレーム毎秒／２＝６０フレーム／秒）であるため、フレーム画像Ｎとフレーム画像Ｎ＋１は、画面の上部半分だけが読み出される。
期間Ｄにおいて、時間サブバンド分割部３１は、フレーム画像Ｎ＋３をフレームメモリ４に記憶すると同時に、フレーム画像Ｎとフレーム画像Ｎ＋１の残りを読み出す。期間Ｄにおいては、フレーム画像Ｎとフレーム画像Ｎ＋１は、画面の下半分だけが読み出される。
以降、同様にして、期間Ｅにおいては、フレーム画像Ｎ＋４を記憶すると同時に、フレーム画像Ｎ＋２とフレーム画像Ｎ＋３の上半分が読み出される。期間Ｆにおいては、フレーム画像Ｎ＋５を記憶すると同時に、フレーム画像Ｎ＋２とフレーム画像Ｎ＋３の下半分が読み出される。期間Ｇにおいては、フレーム画像Ｎ＋６を記憶すると同時に、フレーム画像Ｎ＋４とフレーム画像Ｎ＋５の上半分が読み出される。期間Ｈにおいては、フレーム画像Ｎ＋７を記憶すると同時に、フレーム画像Ｎ＋４とフレーム画像Ｎ＋５の下半分が読み出される。このようにして、時間サブバンド分割部３１においては、２フレーム分の遅延が発生する。
フレームメモリ４から読み出された奇数フレーム画像（図中Ｎ、Ｎ＋２、Ｎ＋４、Ｎ＋６）と、偶数フレーム画像（図中Ｎ＋１、Ｎ＋３、Ｎ＋５、Ｎ＋７）は、時間サブバンド分割部において、式１に示した変換を施され、低域側画像データ（例えば、Ｎ＋（Ｎ＋１））と高域側画像データ（例えば、Ｎ−（Ｎ＋１））に分割される。ここで、低域側画像データ、および高域側画像データは、それぞれ６０フレーム毎秒における動画像データである。
時間サブバンド分割部３１から出力される低域側画像データは、前述の通り、カメラ信号処理部Ａ５１にて処理された後、第１コーデック（ＣＯＤＥＣ）部６１（図ではＨ．２６４ Ｅｎｃｏｄｅｒ）にて圧縮処理を施される。一方、時間サブバンド分割部３１から出力される高域側画像データは、前述の通り、カメラ信号処理部Ｂ５２にて処理された後、第２コーデック（ＣＯＤＥＣ）部６２（図ではＪＰＥＧ Ｅｎｃｏｄｅｒ）にて圧縮処理を施される。
次に、再生時の動作について、図４を参照して説明する。
図４は、再生時の時間方向に連続するフレームに対する動作を示している。
記録部８から読み出されたストリームデータは、ストリーム制御部７において低域側ストリームデータと高域側ストリームデータに分離され、それぞれが、第１コーデック（ＣＯＤＥＣ）部６１（図ではＨ．２６４ Ｄｅｃｏｄｅｒ）、および第２コーデック（ＣＯＤＥＣ）部６２（図ではＪＰＥＧ Ｄｅｃｏｄｅｒ）において伸長処理される。伸長処理を施された結果、第１コーデック（ＣＯＤＥＣ）部６１からは低域側画像データが出力され、第２コーデック（ＣＯＤＥＣ）部６２からは高域側画像データが出力される。これらの画像データは、それぞれ６０フレーム毎秒の動画像データである。図４に示す（ｄ）低域画像データと、（ｅ）高域画像データである。
第１コーデック（ＣＯＤＥＣ）部６１、および第２コーデック（ＣＯＤＥＣ）部６２から出力された画像データは、それぞれ時間サブバンド分割部３１に入力され、時間サブバンド分割部３１において、前述の式（式２）に示した変換（Ｈａａｒ関数を基底とするウェーブレット逆変換）を施され、１２０フレーム毎秒による動画像における奇数フレーム画像（図中Ｎ、Ｎ＋２、Ｎ＋４）と偶数フレーム画像（図中Ｎ＋１、Ｎ＋３、Ｎ＋４）に変換される。変換された奇数フレーム画像、および偶数フレーム画像は、時間サブバンド分割部３１において、一旦フレームメモリ４に記憶される。
このとき、フレームメモリ４への記憶速度は、それぞれ６０フレーム毎秒である。時間サブバンド分割部３１は、フレームメモリ４に奇数フレーム画像と偶数フレーム画像を記憶すると同時に、すでに記憶されている過去のフレーム画像を読み出す。このとき、フレームメモリ４からのフレーム画像の読み出し速度は、１２０フレーム毎秒である。
以下、フレームメモリの制御に関して、具体的に動作を説明する。
再生が開始されると、期間Ａ'において、低域側画像（Ｎ＋（Ｎ＋１））と高域側画像（Ｎ−（Ｎ＋１））のそれぞれ画面の上半分について逆変換が施され、フレーム画像Ｎとフレーム画像Ｎ＋１の画面の上半分が生成される。時間サブバンド分割部３１は、フレーム画像Ｎとフレーム画像Ｎ＋１の上半分を同時にフレームメモリ４に記憶する。
続いて、期間Ｂ'において、低域側画像（Ｎ＋（Ｎ＋１））と高域側画像（Ｎ−（Ｎ＋１））のそれぞれ画面の下半分について逆変換が施され、フレーム画像Ｎとフレーム画像Ｎ＋１の画面の下半分が生成される。時間サブバンド分割部３１は、フレーム画像Ｎとフレーム画像Ｎ＋１の下半分を同時にフレームメモリ４に記憶する。
期間Ｃ'において、低域側画像（（Ｎ＋２）＋（Ｎ＋３））と高域側画像（（Ｎ＋２）−（Ｎ＋３））のそれぞれ上半分について逆変換が施され、フレーム画像Ｎ＋２とフレーム画像Ｎ＋３の上半分が生成される。時間サブバンド分割部３１は、フレーム画像Ｎ＋２とフレーム画像Ｎ＋３の上半分をフレームメモリ４に記憶すると同時に、フレーム画像Ｎを読み出す。
期間Ｄ'において、低域側画像（（Ｎ＋２）＋（Ｎ＋３））と高域側画像（（Ｎ＋２）−（Ｎ＋３））のそれぞれ下半分について逆変換が施され、フレーム画像Ｎ＋２とフレーム画像Ｎ＋３の下半分が生成される。時間サブバンド分割部３１は、フレーム画像Ｎ＋２とフレーム画像Ｎ＋３の下半分をフレームメモリ４に記憶すると同時に、フレーム画像Ｎ＋１を読み出す。
以降、同様にして、期間Ｅ'においては、低域側画像（（Ｎ＋４）＋（Ｎ＋５））と高域側画像（（Ｎ＋４）−（Ｎ＋５））からフレーム画像Ｎ＋４とフレーム画像Ｎ＋５の上半分を生成し、フレームメモリ４に記憶すると同時に、フレーム画像Ｎ＋２を読み出す。
期間Ｆ'においては、低域側画像（（Ｎ＋４）＋（Ｎ＋５））と高域側画像（（Ｎ＋４）−（Ｎ＋５））からフレーム画像Ｎ＋４とフレーム画像Ｎ＋５の下半分を生成し、フレームメモリ４に記憶すると同時に、フレーム画像Ｎ＋３を読み出す。
期間Ｇ'においては、低域側画像（（Ｎ＋６）＋（Ｎ＋７））と高域側画像（（Ｎ＋６）−（Ｎ＋７））からフレーム画像Ｎ＋６とフレーム画像Ｎ＋７の上半分を生成し、フレームメモリ４に記憶すると同時に、フレーム画像Ｎ＋４を読み出す。
期間Ｈ'においては、低域側画像（（Ｎ＋６）＋（Ｎ＋７））と高域側画像（（Ｎ＋６）−（Ｎ＋７））からフレーム画像Ｎ＋６とフレーム画像Ｎ＋７の下半分を生成し、フレームメモリ４に記憶すると同時に、フレーム画像Ｎ＋５を読み出す。
このようにして、時間サブバンド分割部３１から出力される画像データは、２フレーム分の遅延が発生する。また、図４に示した動作を行うことにより、撮像装置１００は、１２０フレーム毎秒の動画像出力を実現する。
次に、６０フレーム毎秒での再生時の動作について、図５を参照して説明する。先に説明したように、時間サブバンド分割部３１は、ユーザーの操作や、接続される画像表示装置から得られる情報によって６０フレーム毎秒での動画像を出力することが求められる場合には、第１コーデック（ＣＯＤＥＣ）部６１から与えられる低域側の動画像データをそのまま出力する。第１コーデック（ＣＯＤＥＣ）部６１から出力される動画像データは、１２０フレーム毎秒の隣り合う２つのフレーム画像を加算して生成した動画像であるため、６０フレーム毎秒で撮像した動画像に相当する。このような動作を行う場合には、第２コーデック（ＣＯＤＥＣ）部６２を動作させないように制御することが可能であり、低消費電力での動作が可能である。
図５は、６０フレーム毎秒での再生時の時間方向に連続するフレームに対する動作を示している。前述の通り、低域側の画像データは６０フレーム毎秒による撮像データに相当するため、６０フレーム毎秒での再生時には、低域側の画像データのみを処理して、そのまま出力する。
記録部８から読み出されたストリームデータは、ストリーム制御部７において低域側ストリームデータのみが抽出され、第１コーデック（ＣＯＤＥＣ）部６１（図ではＨ．２６４ Ｄｅｃｏｄｅｒ）において伸長処理される。伸長処理を施された結果、第１コーデック（ＣＯＤＥＣ）部６１からは低域側画像データが出力される。図５に示す（ｇ）低域画像データである。
第１コーデック（ＣＯＤＥＣ）部６１から出力される図５（ｇ）の低域側画像データ（例えば（Ｎ＋（Ｎ＋１）））は、前述の通り、６０フレーム毎秒による通常の動画像データであるため、時間サブバンド分割部３１は、処理をバイパスして、すなわち、特段の処理を行うことなく第１コーデック（ＣＯＤＥＣ）部６１から出力される図５（ｇ）の低域側画像データを、そのまま図１に示す構成図のビデオ出力部１０に与える。このようにして、撮像装置１００は、通常の２倍のフレームレート（本実施例では１２０フレーム毎秒）で撮像、かつ圧縮したストリームデータから、容易に通常のフレームレート（本実施例では６０フレーム毎秒）の動画像出力を実現する。
前述したように、この処理では第２コーデック（ＣＯＤＥＣ）部６２を動作させないように制御することが可能であり、低消費電力での動作が可能である。
［Ｂ．高速（２倍）フレームレートの撮像データに対する処理を実行するその他の実施例］
次に、図１を参照して説明した撮像装置と異なる構成を持つ実施例について、図６〜図１０を参照して説明する。
図６は、本発明による撮像装置の異なる実施例を示している。図６に示す撮像装置１０１は、図１を参照して説明した撮像装置１００に対して、カメラ信号処理部Ｂ５２が存在しない点が異なる。
本実施例では、時間サブバンド分割部３２から出力される高域信号１２は、時間サブバンド分割部３２においてガンマ補正処理だけが施され、カメラ信号処理を施さずに第２コーデック（ＣＯＤＥＣ）部６２に入力される。前述の通り、高域信号１２は、時間的に動きがある領域のみに情報があり、その他の領域は固定値となっている。したがって、ＲＡＷデータのまま画像圧縮を行っても圧縮効率には大きく影響しない。
撮像装置１０１は、再生時には、第１コーデック（ＣＯＤＥＣ）部６１から出力される低域側の画像データと、第２コーデック（ＣＯＤＥＣ）部６２から出力される高域側のＲＡＷデータに対して、時間サブバンド分割部３２において式２に従う逆変換を施して、ビデオ出力する。このとき、高域側のＲＡＷデータは、各画素において赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかの色信号しか存在しないデータであるため、輝度値がゼロとなる色信号のまま逆変換を行うと変換後の輝度値が不正になる。このため、時間サブバンド分割部３２は、欠落している色信号については、差分ゼロを表す固定値（実施例においては１２８）で埋めるか、周辺画素からの線形補間処理を行う。
本来、ＪＰＥＧ コーデック（ＣＯＤＥＣ）などの画像圧縮処理は、デモザイク処理を施された画像データに適した圧縮手法であるため、ＲＡＷデータのまま圧縮を行うことで、画像のエッジ周辺でノイズなどを発生する可能性があるが、本実施例による撮像装置１０１の構成であれば、カメラ信号処理部を複数持たせる必要がなく、かつ、通常のフレームレート（６０フレーム毎秒）での処理で実現することができるため、高速化を必要とせず、コストを下げられるというメリットがある。
図７は、本発明による撮像装置のさらに異なる実施例を示している。図７に示す撮像装置１０２は、図１を参照して説明した撮像装置１００に対して、カメラ信号処理部５３が時間サブバンド分割部３３の前に配置されている点が異なる。
本実施例では、撮像素子２から出力される１２０フレーム毎秒の撮像信号は、まず、カメラ信号処理部５３にてホワイトバランス補正、ゲイン補正、デモザイク処理、マトリクス処理、ガンマ補正などのカメラ信号処理を施される。カメラ信号処理部５３から出力される信号は、１２０フレーム毎秒による動画像データとなっている。
時間サブバンド分割部３３は、カメラ信号処理部５３から出力される動画像データを受け取り、前述した式（式１）に従った変換を行い、低域側の画像データ１５、および高域側の画像データ１６に分割する。時間サブバンド分割部３３は、撮像装置１００における時間サブバンド分割部３１とは異なり、各画素に色信号が揃ったフレーム画像間での処理を行う。したがって、時間サブバンド分割部３３から出力される低域側の画像データ１５は、６０フレーム毎秒による通常の動画像データとなっており、高域側の画像データ１６は、６０フレーム毎秒による時間差分動画像データとなっている。
図７に示す撮像装置１０２は、撮像したＲＡＷデータに対してカメラ信号処理を施すことが出来るため、画質面でのアーチファクトの発生を抑制することができる。しかしながら、カメラ信号処理５３は、１２０フレーム毎秒の速度で処理を行う必要があるため、高速なプロセッサを必要とする。
さらに、図８を参照して、ストリーム制御部の構成が異なる実施例について説明する。図８は、本発明による撮像装置の異なる実施例を示している。図８に示す撮像装置１０３は、先に図１を参照して説明した撮像装置１００に対して、ストリーム制御部、および記録部を２系統具備していることが異なる。
本実施例では、第１コーデック（ＣＯＤＥＣ）部６１から出力される低域側ストリームデータ１３は、ストリーム制御部Ａ７１に入力される。一方、第２コーデック（ＣＯＤＥＣ）部６２から出力される高域側ストリームデータ１４は、ストリーム制御部Ｂ７２に入力される。
ストリーム制御部Ａ７１は、第１コーデック（ＣＯＤＥＣ）部６１から与えられる低域側ストリームデータ１３を制御し、記録可能な信号に変換後、記録部Ａ８１に出力する。ここで、低域側のストリームデータ１３は、前述の通り、Ｈ．２６４ コーデック（ＣＯＤＥＣ）などの標準規格に準ずるストリームである。
ストリーム制御部Ｂ７２は、第２コーデック（ＣＯＤＥＣ）部６２から与えられる高域側ストリームデータ１４を制御し、記録可能な信号に変換後、記録部Ｂ８２に出力する。ここで、高域側のストリームデータ１４は、前述の通り、ＪＰＥＧ コーデック（ＣＯＤＥＣ）などにより圧縮されたストリームであり、標準規格には必ずしも準じないストリームである。
記録部Ａ８１は、ストリーム制御部Ａ７１から与えられる低域側ストリームを、磁気テープ、光磁気ディスク、ハードディスク、または半導体メモリなどの記録メディアに記録する。
記録部Ｂ８２は、ストリーム制御部Ｂ７２から与えれる高域側ストリームを、磁気テープ、光磁気ディスク、ハードディスク、または半導体メモリなどの記録メディアに記録する。
ここで、記録部Ａ８１、および記録部Ｂ８２が記録する記録メディアは、必ずしも同一のものである必要はなく、例えば、記録部Ａ８１は、光磁気ディスクに標準規格に準じたフォーマットにより低域側のストリームデータを記録し、記録部Ｂ８２は、半導体メモリに専用のフォーマットにより高域側のストリームデータを記録しても構わない。
図８に示す撮像装置１０３は、再生時には、記録部Ａ８１から読み出した低域側ストリームデータをストリーム制御部Ａ７１に入力する。また、記録部Ｂ８２から読み出した高域側ストリームデータをストリーム制御部Ｂ７２に入力する。
ストリーム制御部Ａ７１は、記録部Ａ８１から与えられる低域側ストリームを第１コーデック（ＣＯＤＥＣ）部６１に入力する。一方、ストリーム制御部Ｂ７２は、記録部Ｂ８２から与えられる高域側ストリームを第２コーデック（ＣＯＤＥＣ）部６２に入力する。
ここで、図８に示す撮像装置１０３は、６０フレーム毎秒での再生を行う場合には、記録部Ａ８１のみを制御して低域側のデータを読み出せばよく、記録部Ｂ８２を休止させることが出来ることから低消費電力化が可能である。
次に、図９を参照して、本発明による画像圧縮処理を用いた画像記録装置の実施例について説明する。
図９は、本発明による画像記録装置の実施例を示している。図９に示す画像記録装置２００は、図７を参照して説明した撮像装置１０２から撮像機能を省略して、ビデオ入力部１７を持つ構成とした画像記録装置としての構成例である。つまり、図７を参照して説明した撮像装置１０２から、撮像光学系１、撮像素子２、およびカメラ信号処理部５３を削除して、その代わりにビデオ入力部１７を具備している。
図９に示す画像記録装置２００は、ビデオ入力部１７において、外部のビデオ出力装置から与えられるビデオ信号を受信する。このとき、受信するビデオ信号は、通常のビデオレートの２倍のレート（実施例では１２０フレーム毎秒）による動画像データである。また、入力されるビデオ信号形式は、ＨＤＭＩ規格や、ＤＶＩ規格などのデジタルビデオ信号フォーマットに準じたものでも、Ｄ端子などによるアナログコンポーネント信号フォーマットに準じたものでも構わない。ビデオ入力部１７は、入力されるビデオ信号形式に応じた信号変換処理を行う。
画像記録装置２００は、外部から受信したビデオ信号に対して、時間サブバンド分割を行い、第１コーデック（ＣＯＤＥＣ）、および第２コーデック（ＣＯＤＥＣ）において圧縮されたストリームデータを記録する。また、記録されたストリームデータを再生し、第１コーデック（ＣＯＤＥＣ）、および第２コーデック（ＣＯＤＥＣ）において伸長処理を行い、時間サブバンド分割に対する逆変換を施した後、ビデオ出力する。
６０フレーム毎秒での再生を行う場合には、撮像装置１００と同様に、第１コーデック（ＣＯＤＥＣ）部６１のみを駆動し、低域側の画像データをそのまま出力する。
さらに、図１０を参照して、本発明による画像圧縮処理を用いた画像再生装置の実施例について説明する。
図１０は、本発明による画像再生装置の実施例を示している。図１０に示す画像再生装置３００は、図９を参照して説明した画像記録装置２００中のビデオ入力部１７を排除して、記録動作を行わず再生動作のみを行う構成としたものである。
図１０に示す画像再生装置３００は、記録メディアを取り外すことが可能な記録部８を具備しており、外部の撮像装置、または画像記録装置などで記録された記録メディアを挿入し、記録メディアに記録されているストリームを再生するものである。ここで、記録メディアには、本発明による撮像装置１００乃至１０３、または画像記録装置２００などで圧縮されたストリームデータが記録されている。画像再生装置３００は、記録部８から再生されるストリームデータを、第１コーデック（ＣＯＤＥＣ）、および第２コーデック（ＣＯＤＥＣ）において伸長処理を行い、時間サブバンド合成部３４において、時間サブバンド分割に対する逆変換を施した後、ビデオ出力する。
最近の画像再生装置では、記録メディアに記録された静止画を再生する機能を備えるものが少なくなく、静止画像用のＪＰＥＧ コーデック（ＣＯＤＥＣ）を構成要素として備えるものが多い。したがって、高域側の画像データを圧縮するための第２コーデック（ＣＯＤＥＣ）部６２をＪＰＥＧ コーデック（ＣＯＤＥＣ）で構成する場合には、ハイフレームレート撮像を行うための追加のコストを必要としないというメリットがある。
以上のようにして、本発明による撮像装置は、通常のビデオレートの２倍のフレームレートによる撮像を行う撮像素子を備え、撮像素子から出力される撮像データを時間サブバンド分割することにより、低域側の動画像データを圧縮効率の高い第１のコーデック（ＣＯＤＥＣ）により圧縮し、高域側の動画像データを低コストで実現できる第２のコーデック（ＣＯＤＥＣ）により圧縮することによって、コスト増加を抑制しつつ、ハイフレームレートによる撮像信号を圧縮、および記録することを可能とするものである。
また、本発明による撮像装置は、時間サブバンド分割を行い、低域側の動画像データと高域側の動画像データに分割して処理を行うことにより、低域側の動画像データは、通常のビデオレート（撮像ビデオレートの半分）により撮像した動画像に相当するため、再生時において、低域側の動画像処理のみを行うことで容易に通常のビデオレートにおける動画像再生を実現することを可能とするものである。
なお、本実施例では、通常のビデオレートを６０フレーム毎秒とし、通常のビデオレートの２倍のレートを１２０フレーム毎秒としたが、これに限定するものではなく、通常のビデオレートとして２４フレーム毎秒、３０フレーム毎秒、５０フレーム毎秒などのフレームレートを用いても構わない。
［Ｃ．高速（Ｎ倍）フレームレートの撮像データに対する処理を実行する構成例］
図１〜図１０を参照して説明した実施例では、通常のフレームレートを６０フレーム毎秒として、その２倍のフレームレート、すなわち１２０フレーム毎秒で撮像された画像データに対する処理例について説明した。
本発明の撮像装置では、通常の２倍のフレームレートでの撮像画像データに限らず、通常のフレームレートの任意倍数、すなわちＮ倍のフレームレートで撮像された画像データに対する処理が可能である。なお、Ｎは２以上の整数とする。以下、Ｎ倍のフレームレートで撮像された画像データに対する処理を行う撮像装置の構成および処理例について説明する。
以下では一実施例としてＮ＝４とした例について説明する。すなわち、通常のビデオレートの４倍のフレームレートで撮像された画像データに対する処理を行う例である。なお、通常のフレームレートは６０フレーム毎秒とし、その４倍のフレームレート、すなわち２４０フレーム毎秒で撮像された画像データに対する処理を行う例について説明する。
図１１は、本発明に係る撮像装置の一実施例を示す図である。図１１に示す撮像装置４００は、通常のビデオレートの４倍のフレームレートによる撮像、処理、および記録を実現する装置である。撮像装置４００の時間サブバンド分割部３５は、先に図１を参照して説明した撮像装置１００の時間サブバンド分割部３１の２階層分の処理を行う。すなわち、２４０フレーム毎秒で撮像された画像データの連続する４フレームを利用して、４つの６０フレーム毎秒の画像データを生成して出力する。
まず、撮像時の動作について説明する。撮像装置４００は、撮像光学系１を介して入射される光を撮像素子２５で受光する。撮像素子２５は、高解像度（本実施例ではＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度とする）、かつ高フレームレート（本実施例では２４０フレーム毎秒とする）の撮像を行うことができる固体撮像素子、例えばＣＭＯＳ型固体撮像素子であり、図示しないＡＤ変換器を介してデジタル変換された撮像データを出力する。ここで、ＡＤ変換器は、ＣＭＯＳ型固体撮像素子上に実装されているか、または固体撮像素子の外部に配置されているものである。また、本実施例においては、撮像素子２５は、受光面に、画素ごとに異なる波長域を透過するカラーフィルタを持つ単板カラー方式の固体撮像素子である。
撮像素子２５から出力される撮像データは、時間サブバンド分割部３５に入力される。時間サブバンド分割部３５は、撮像素子２５から与えられる現フレームの撮像データを一旦フレームメモリ４に記憶すると同時に、フレームメモリ４から過去４フレームの撮像データを読み出し、下記式（式３）に従ったサブバンド分割処理を行い、低域ＬＬ信号９１、高域ＬＨ信号９２、高域ＨＬ信号９３、高域ＨＨ信号９４を出力する。
Figure 0004849130
上記式（式３）は、Ｈａａｒ関数を基底とする時間方向のウェーブレット変換を表している。上記式において、
Ｉ（ｘ，ｙ，４ｔ）：時間４ｔにおける画素位置（ｘ，ｙ）の入力値、
Ｉ（ｘ，ｙ，４ｔ＋１）：時間４ｔ＋１における画素位置（ｘ，ｙ）の入力値、
Ｉ（ｘ，ｙ，４ｔ＋２）：時間４ｔ＋２における画素位置（ｘ，ｙ）の入力値、
Ｉ（ｘ，ｙ，４ｔ＋３）：時間４ｔ＋３における画素位置（ｘ，ｙ）の入力値、
ＯＬＬ（ｘ，ｙ，４ｔ）：時間４ｔにおける画素位置（ｘ，ｙ）の低域ＬＬ信号出力値、
ＯＬＨ（ｘ，ｙ，４ｔ）：時間４ｔにおける画素位置（ｘ，ｙ）の高域ＬＨ信号出力値、
ＯＨＬ（ｘ，ｙ，４ｔ）：時間４ｔにおける画素位置（ｘ，ｙ）の高域ＨＬ信号出力値、
ＯＨＨ（ｘ，ｙ，４ｔ）：時間４ｔにおける画素位置（ｘ，ｙ）の高域ＨＨ信号出力値、
Ｒａｎｇｅ：１画素の画素値の階調数、
これらの各値を示す。
なお、階調数は、たとえば１画素を各色８ビットで表現する場合には２５６になる。本実施例においては、各色８ビットとして記載する。
低域ＬＬ信号出力値ＯＬＬ（ｘ，ｙ，４ｔ）は、４つの入力連続フレームの対応画素値の加算処理によって生成される。その他の３つの高域信号出力値、すなわち、
高域ＬＨ信号出力値ＯＬＨ（ｘ，ｙ，４ｔ）、
高域ＨＬ信号出力値ＯＨＬ（ｘ、ｙ、４ｔ）、
高域ＨＨ信号出力値ＯＨＨ（ｘ、ｙ、４ｔ）、
これらの高域信号出力値は、４つの入力連続フレームの対応画素値から式３に示すとおりの加減算処理によって生成される。
高域ＬＨ信号出力値ＯＬＨ（ｘ，ｙ，４ｔ）は、４つの入力連続フレームの対応画素中、時間４ｔと時間４ｔ＋１の先行２フレームの対応画素値（信号値）を加算データとし、時間４ｔ＋２と時間４ｔ＋３の後続２フレームの対応画素値を減算データとした設定である。
高域ＨＬ信号出力値ＯＨＬ（ｘ，ｙ，４ｔ）は、４つの入力連続フレームの対応画素中、時間４ｔと時間４ｔ＋２の２フレームの対応画素値を加算データとし、時間４ｔ＋１と時間４ｔ＋３の２フレームの対応画素値を減算データとした設定である。
高域ＨＨ信号出力値ＯＨＨ（ｘ，ｙ，４ｔ）は、４つの入力連続フレームの対応画素中、時間４ｔと時間４ｔ＋３の２フレームの対応画素値を加算データとし、時間４ｔ＋１と時間４ｔ＋２の２フレームの対応画素値を減算データとした設定である。
時間サブバンド分割部３５は、このように時間方向に連続する４つのフレームの対応する信号値に基づいて、１つの低域信号出力値と３つの高域信号出力値を生成する。この処理により入力フレームレートに対して出力フレームレートは１／４になる。また、以下に示す式（式４）は、Ｈａａｒ関数を基底とするウェーブレット逆変換を表す。
Figure 0004849130
上記式（式４）に示すウェーブレット逆変換は、先に説明した式（式３）に示すウェーブレット変換において生成した値［ＯＬＬ（ｘ，ｙ，４ｔ）］，［ＯＬＨ（ｘ，ｙ，４ｔ）］，［ＯＨＬ（ｘ、ｙ、４ｔ）］、［ＯＨＨ（ｘ、ｙ、４ｔ）］から、時間４ｔ、４ｔ＋１、４ｔ＋２、４ｔ＋３の元のフレームレートに対応する連続する４つのフレームの対応する画素（ｘ，ｙ）の画素値［Ｒ（ｘ，ｙ，４ｔ）］、［Ｒ（ｘ，ｙ，４ｔ＋１）］、［Ｒ（ｘ，ｙ，４ｔ＋２）］、［Ｒ（ｘ，ｙ，４ｔ＋３）］を算出する式である。上記式（式４）は、復号処理に際して利用される。
実施例においては、時間サブバンド分割部３５における時間サブバンド分割処理として、実装が容易なＨａａｒウェーブレットを用いているが、その他の基底を用いたウェーブレット変換や、その他のサブバンド分割処理を用いても構わない。
図１２に時間サブバンド分割部３５における時間サブバンド分割処理の詳細を示す。図１２には、フレームメモリ４から読み出した第１のフレーム（Ｆｒａｍｅ０）と第２のフレーム（Ｆｒａｍｅ１）と第３のフレーム（Ｆｒａｍｅ２）と第４のフレーム（Ｆｒａｍｅ３）の撮像データを示している。各撮像データフレームは、それぞれ各画素に単一の色信号、すなわちＲＧＢのいずれかの１つの色信号を有するＲＡＷデータである。例えば各フレームの左上端は、Ｇ信号であり、右側にＧＲＧＲの順で各信号値が格納されており、第２行目は、ＢＧＢＧの順で信号値が格納されている。例えば、各フレームの左上端のＧ信号について、
Ｇ（０，０，０）のＧは、ＲＧＢ信号のＧ信号であること、
Ｇ（０，０，０）の最初の（０，０）は、座標位置（ｘ，ｙ）＝（０，０）であること、
Ｇ（０，０，０）の最後の（０）は、フレームＩＤ＝フレーム０であること、
これらの値を示している。
時間サブバンド分割部３５は、連続する４フレームにおいて空間的に同じ位置にある画素同士で加算処理と減算処理を行う。例えば、図１２に示した第１のフレームの画素Ｇ（０，０，０）と第２のフレームの画素Ｇ（０，０，１）と第３のフレームの画素Ｇ（０，０，２）と第４のフレームの画素Ｇ（０，０，３）の間で、式３に示した処理を行い、４つの入力連続フレームの対応画素値の加算処理によって低域信号出力値ＯＬＬ（ｘ，ｙ，４ｔ）を算出し、４つの入力連続フレームの対応画素値の加減算処理によって３つの高域信号出力値ＯＬＨ（ｘ，ｙ，４ｔ）と高域信号出力値ＯＨＬ（ｘ、ｙ、４ｔ）と高域信号出力値ＯＨＨ（ｘ、ｙ、４ｔ）を生成する。
なお、以下では、ＲＧＢのいずれの信号値であるかに応じて、［ＯＬＬ（ｘ，ｙ，４ｔ）］，［ＯＬＨ（ｘ，ｙ，４ｔ）］，［ＯＨＬ（ｘ，ｙ，４ｔ）］，［ＯＨＨ（ｘ，ｙ，４ｔ）］を、
Ｒの場合、［ＲＬＬ（ｘ，ｙ，４ｔ）］，［ＲＬＨ（ｘ，ｙ，４ｔ）］，［ＲＨＬ（ｘ，ｙ，４ｔ）］，［ＲＨＨ（ｘ，ｙ，４ｔ）］、
Ｇの場合、［ＧＬＬ（ｘ，ｙ，４ｔ）］，［ＧＬＨ（ｘ，ｙ，４ｔ）］，［ＧＨＬ（ｘ，ｙ，４ｔ）］，［ＧＨＨ（ｘ，ｙ，４ｔ）］、
Ｂの場合、［ＢＬＬ（ｘ，ｙ，４ｔ）］，［ＢＬＨ（ｘ，ｙ，４ｔ）］，［ＢＨＬ（ｘ，ｙ，４ｔ）］，［ＢＨＨ（ｘ，ｙ，４ｔ）］、
として表記する。
時間サブバンド分割部３５は、例えば、図１２に示した第１のフレーム（Ｆｒａｍｅ０）の画素Ｇ（０，０，０）と、第２のフレーム（Ｆｒａｍｅ１）の画素Ｇ（０，０，１）と、第３のフレームの画素Ｇ（０，０，２）と、第４のフレームの画素Ｇ（０，０，３）の間で、式３に示した処理を行い４つの出力値を生成する。
すなわち、４つの入力連続フレームの対応画素値の加算処理によって低域信号出力値ＧＬＬ（０，０，０）を生成する。さらに、４つの入力連続フレームの対応画素値の加減算処理によって高域信号出力値ＧＬＨ（０，０，０）と高域信号出力値ＧＨＬ（０，０，０）と高域信号出力値ＧＨＨ（０，０，０）を生成する。
同様にして、画素Ｒ（１，０，０）と画素Ｒ（１，０，１）と画素Ｒ（１，０，２）と画素Ｒ（１，０，３）の間で処理を行い、低域信号ＲＬＬ（１，０，０）と３つの高域信号ＲＬＨ（１，０，０，）と高域信号ＲＨＬ（１，０，０，）と高域信号ＲＨＨ（１，０，０，）を出力する。
時間サブバンド分割部３５により変換される低域信号９１は、撮像データの隣り合う４フレームの画素を加算処理したものであり、撮像フレームレート（本実施例では２４０フレーム毎秒）の１／４のフレームレート（６０フレーム毎秒）による撮像ＲＡＷデータに相当する。一方、時間サブバンド分割部３５により変換される高域信号９２乃至９４は、撮像データの隣り合う４フレーム間の差分を求めたものであり、動被写体の領域にのみ有効な画素値が存在し、その他の領域は差分がないことを示す一定値（実装上、中央値１２８を割り当てる）となるようなＲＡＷデータである。また、低域信号９１、および高域信号９２乃至９４は、いずれもフレームレートは６０フレーム毎秒である。
時間サブバンド分割手段３５は、撮像素子２５から出力される画像信号を入力し、時間方向のサブバンド分割処理により、撮像素子２５からの入力フレームレートより低フレームレートとした低周波成分からなる低域側サブバンド分割信号、および高周波成分からなる複数の高域側サブバンド分割信号を生成する。
このように、本実施例に係る時間サブバンド分割手段３５は、高域側サブバンド分割信号として複数の高域側サブバンド分割信号を生成する。なお、時間サブバンド分割手段３５の生成する低域側サブバンド分割信号および複数の高域側サブバンド分割信号のフレームレートは、低域側サブバンド分割信号および複数の高域側サブバンド分割信号の総数に応じて決定される。
時間サブバンド分割部３５から出力される低域信号９１（低域信号ＯＬＬ）は、カメラ信号処理部Ａ５６に入力される。同様に、時間サブバンド分割部３５から出力される高域信号９２（高域信号ＯＬＨ）は、カメラ信号処理部Ｂ５７に、高域信号９３（高域信号ＯＨＬ）は、カメラ信号処理部Ｃ５８に、高域信号９４（高域信号ＯＨＨ）は、カメラ信号処理部Ｄ５９に、それぞれ入力される。
カメラ信号処理部Ａ５６、およびカメラ信号処理部Ｂ５７乃至カメラ信号処理部Ｄ５９は、時間サブバンド分割部３５から出力される低域信号９１と高域信号９２乃至９４に対して、ホワイトバランス補正、ゲイン補正、デモザイク処理、マトリクス処理、ガンマ補正などのカメラ信号処理を施す。カメラ信号処理部Ａ５６と、カメラ信号処理部Ｂ５７乃至カメラ信号処理部Ｄ５９は、同様の処理を行う処理部であり、それぞれ低域信号９１と高域信号９２乃至９４に対する処理を並列に実行する。
前述の通り、時間サブバンド分割部３５から出力される低域信号９１と高域信号９２乃至９４は、撮像フレームレートである高速（２４０ｆ／ｓ）フレームレートからレート変換された６０フレーム毎秒（６０ｆ／ｓ）のデータである。
カメラ信号処理部Ａ５６、およびカメラ信号処理部Ｂ５７乃至カメラ信号処理部Ｄ５９は、６０フレーム毎秒（６０ｆ／ｓ）のデータに対する信号処理を実行すればよい。すなわち６０フレーム毎秒による撮像ＲＡＷデータと同等の処理速度で処理を実行することができる。
なお、時間サブバンド分割部３５から出力される高域信号９２乃至９４は、隣り合う４フレーム間の差分を表すＲＡＷデータである。したがって、カメラ信号処理部Ｂ５７乃至カメラ信号処理部Ｄ５９におけるデモザイク処理などにおいて非線形処理が施された場合、輝度の変化が生じるエッジ部などでノイズを発生する可能性はあるが、本実施例による撮像装置４００の構成であれば、カメラ信号処理部Ａ５６、およびカメラ信号処理部Ｂ５７乃至カメラ信号処理部Ｄ５９は、通常のフレームレート（６０フレーム毎秒）での処理で実現することができるため、高速化を必要としないというメリットがある。
なお、カメラ信号処理部Ａ５６乃至カメラ信号処理部Ｄ５９は、時間サブバンド分割部３５から出力される低域信号９１と高域信号９２乃至９４に対して、それぞれホワイトバランス補正、ゲイン補正、デモザイク処理、マトリクス処理、ガンマ補正などのカメラ信号処理を施す構成として説明したが、実行する信号処理形態は、この例に限らず、様々な態様が可能である。また、時間サブバンド分割部３５における処理の詳細については、後段で、図１３、および図１４を参照して説明する。
カメラ信号処理部Ａ５６から出力される低域側の画像データは、第１コーデック（ＣＯＤＥＣ）部６３に入力されると共に、ファインダ出力部９に入力される。また、カメラ信号処理部Ｂ５７から出力される高域側の画像データは、第２コーデック（ＣＯＤＥＣ）部６４に入力される。以下、同様にして、カメラ信号処理部Ｃ５８から出力される高域側の画像データは、第３コーデック（ＣＯＤＥＣ）部６５に、カメラ信号処理部Ｄ５９から出力される高域側の画像データは、第４コーデック（ＣＯＤＥＣ）部６６に、それぞれ入力される。
ファインダ出力部９は、カメラ信号処理部Ａ５６から与えられる低域側の画像データを、図示しないビューファインダに表示するための信号に変換して出力する。ビューファインダに表示する画像は、入力される画像データと比較して、解像度、およびフレームレートが異なる場合がある。このような場合、ファインダ出力部９は、解像度変換処理、およびフレームレート変換処理を行う。フレームレート変換処理を行う場合には、図示しないフレームメモリが用いられる。また、ビューファインダに表示する画像は、輝度画像である必要がある場合がある。このような場合には、ファインダ出力部９は、入力画像を輝度画像に変換して出力する。
第１コーデック（ＣＯＤＥＣ）部６３は、カメラ信号処理部Ａ５６から与えられる低域側の画像データを第１の画像コーデック（ＣＯＤＥＣ）によって圧縮し、低域側ストリームデータ９５を出力する。第１コーデック（ＣＯＤＥＣ）部６３は、例えば、Ｈ．２６４コーデック（ＣＯＤＥＣ）方式などのインターフレームコーデック（ＣＯＤＥＣ）で構成される。前述の通り、低域側の画像データは、撮像フレームレートの１／４のフレームレート（実施例では６０フレーム毎秒）における撮像データに相当する。
第１コーデック（ＣＯＤＥＣ）部６３は、低域側の画像データを通常の６０フレーム毎秒における動画像データとして、Ｈ．２６４ハイプロファイルなどの標準規格に準じて圧縮を行う。しかしながら、第１のコーデック（ＣＯＤＥＣ）は、Ｈ．２６４ コーデック（ＣＯＤＥＣ）に限定するものではなく、通常の動画像データを圧縮する方法であればなんでも良く、たとえばＭＰＥＧ−２などのインターフレームコーデック（ＣＯＤＥＣ）でも、Ｍｏｔｉｏｎ−ＪＰＥＧなどのイントラフレームコーデック（ＣＯＤＥＣ）、あるいはＭＰＥＧ４やＡＶＣＨＤフォーマットに従った処理を実行するコーデック（ＣＯＤＥＣ）でも構わない。また、第１コーデック（ＣＯＤＥＣ）部６３の出力するストリームデータ９５は、標準規格に準ずるものでなくても構わない。
第２コーデック（ＣＯＤＥＣ）部６４は、カメラ信号処理部Ｂ５７から与えられる高域信号９２（高域信号ＯＬＨ）に対応する高域側画像データを圧縮し、高域側ストリームデータ９６を出力する。
第２コーデック（ＣＯＤＥＣ）部６４は、例えば、ＪＰＥＧ コーデック（ＣＯＤＥＣ）方式などのイントラフレームコーデック（ＣＯＤＥＣ）で構成される。前述の通り、高域側の画像データは、撮像データの隣り合う４フレーム間の差分を求めたものであり、動被写体の領域にのみ有効な画素値が存在する動画像データである。つまり、高域側の画像データは、時間的な変化のない部分には情報が無く（一定値になる）、また動きのある部分においても輝度差の少ない領域は情報量が小さいデータになっている。通常、このような画像信号は圧縮することが容易であり、処理が複雑で高コストな代わりに圧縮効率が高いインターフレームコーデック（ＣＯＤＥＣ）を用いなくても、低コストであるＪＰＥＧ コーデック（ＣＯＤＥＣ）などのイントラフレームコーデック（ＣＯＤＥＣ）でも十分に少ない情報量への圧縮が可能である。したがって、第２コーデック（ＣＯＤＥＣ）部６４は、高域側の画像データをフレーム毎にＪＰＥＧ コーデック（ＣＯＤＥＣ）により圧縮する。
第３コーデック（ＣＯＤＥＣ）部６５は、カメラ信号処理部Ｃ５８から与えられる高域信号９３（高域信号ＯＨＬ）に対応する高域側の画像データを圧縮し、高域側ストリームデータ９７を出力する。
第３コーデック（ＣＯＤＥＣ）部６５は、第２コーデック（ＣＯＤＥＣ）部６４と同様のコーデック構成、例えばＪＰＥＧ コーデック（ＣＯＤＥＣ）方式などのイントラフレームコーデック（ＣＯＤＥＣ）によって構成される。
第４コーデック（ＣＯＤＥＣ）部６６は、カメラ信号処理部Ｄ５９から与えられる高域信号９３（高域信号ＯＨＨ）に対応する高域側の画像データを圧縮し、高域側ストリームデータ９８を出力する。
第４コーデック（ＣＯＤＥＣ）部６６も、第２コーデック（ＣＯＤＥＣ）部６４と同様のコーデック構成、例えばＪＰＥＧ コーデック（ＣＯＤＥＣ）方式などのイントラフレームコーデック（ＣＯＤＥＣ）によって構成される。
このように、第１コーデック（ＣＯＤＥＣ）部６３は、第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６より圧縮効率の高い圧縮処理手段として設定し、第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６は、第１コーデック（ＣＯＤＥＣ）部６３より圧縮効率が低く回路規模の小さい構成とすることができる。
なお、最近の撮像装置では、静止画の撮像機能を備えるものが少なくなく、静止画像用のＪＰＥＧ コーデック（ＣＯＤＥＣ）を構成要素として備えるものが多い。したがって、高域側の画像データを圧縮するための第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６をＪＰＥＧコーデック（ＣＯＤＥＣ）で構成する場合には、静止画像用のＪＰＥＧ コーデック（ＣＯＤＥＣ）を利用することが可能となる。この場合、ハイフレームレート画像の圧縮を行うための追加のコストを必要としないというメリットがある。しかしながら、第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６は、ＪＰＥＧ コーデック（ＣＯＤＥＣ）に限定するものではなく、通常の画像データを圧縮する方法であれば何でも良く、例えばＪＰＥＧ２０００などのイントラフレームコーデック（ＣＯＤＥＣ）でも、ＭＰＥＧ−２などのインターフレームコーデック（ＣＯＤＥＣ）でも構わない。
なお、複数の高域側サブバンド分割信号の各々に対する圧縮処理を実行する第２コーデック（ＣＯＤＥＣ）部６４〜第４コーデック（ＣＯＤＥＣ）部６６は、同じ態様の符号化処理手段によって構成されていてもよいが、それぞれ異なる符号化処理を実行する符号化処理手段によって構成してもよい。
第１コーデック（ＣＯＤＥＣ）部６３と、第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６から出力される圧縮されたストリームデータ９５、およびストリームデータ９６乃至９８は、それぞれストリーム制御部７１に入力される。
ストリーム制御部７１は、第１コーデック（ＣＯＤＥＣ）部６３から入力される低域側の画像データを圧縮したストリームデータ９５と、第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６から入力される高域側の画像データを圧縮したストリームデータ９６乃至９８を合成し、記録部８１に出力する。前述の通り、第１コーデック（ＣＯＤＥＣ）部６３から与えられる低域側のストリームデータ９５は、６０フレーム毎秒の動画像をＨ．２６４ コーデック（ＣＯＤＥＣ）などにより圧縮したデータであり、標準規格に準じたストリームとなっている。
一方、第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６から与えられる高域側のストリームデータ９６乃至９８は、６０フレーム毎秒の差分画像をＪＰＥＧ コーデック（ＣＯＤＥＣ）などにより圧縮したデータであり、標準的なビデオストリームとは異なっている。ストリーム制御部７１は、第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６から与えられるストリームデータ９６乃至９８をパケット化し、第１コーデック（ＣＯＤＥＣ）部６３から与えられる標準規格に準じたストリーム上にユーザーデータとして重畳する。
すなわち第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６から与えられる高域側の圧縮データをパケット化したユーザーデータとして第１コーデック（ＣＯＤＥＣ）部６３から与えられる標準規格に準じたストリーム上に重畳する。復号に際しては、ユーザーデータとして設定されたパケットを分離して処理を行なうことになる。この処理については後述する。
ストリーム制御部７１から出力される合成されたストリームデータは、記録部８１に入力される。
記録部８１は、ストリーム制御部７１から与えられる標準規格に準じたストリームデータを、磁気テープ、光磁気ディスク、ハードディスク、または半導体メモリなどの記録メディアに記録する。
以上説明した動作により、通常の４倍のフレームレート（本実施例では２４０フレーム毎秒）により撮像した画像信号を、圧縮効率に優れた第１コーデック（ＣＯＤＥＣ）と、低コストで実現可能な第２〜第４コーデック（ＣＯＤＥＣ）を適用して通常のフレームレート（本実施例では６０フレーム毎秒）の処理速度に追随した速度で圧縮することが可能となり、コスト増加を最小限に抑えつつ、ハイフレームレートでの撮像、処理、および記録を実現する撮像装置が提供される。
なお、本実施例では、通常の４倍のフレームレート（２４０フレーム毎秒）の撮像、処理、および記録を実現する撮像装置について説明したが、これは２倍、または４倍に限定されるものではなく、階層的な時間サブバンド分割によって実現可能なＮ（Ｎは２の累乗）倍のフレームレート（６０フレーム毎秒のＮ倍）の撮像、処理、および記録を実現する撮像装置に拡張することが可能である。
続いて、再生時の動作について図を参照して説明する。
撮像装置４００は、ユーザーの操作に従って、記録済みの動画像を再生するために、前述のようにして記録部８１に記録されたストリームデータを読み出す。記録部８１から読み出されたストリームデータは、ストリーム制御部７１に入力される。
ストリーム制御部７１は、記録部８１から与えられるストリームデータを受け取り、第１コーデック（ＣＯＤＥＣ）部６３により圧縮された低域側ストリームデータと、第２コーデック（ＣＯＤＥＣ）部６４乃至６６により圧縮された高域側ストリームデータに分離する。前述の通り、記録部８１に記録されているストリームデータは、第１コーデック（ＣＯＤＥＣ）部６３による圧縮方式における標準規格に準じたストリームデータであり、第２コーデック（ＣＯＤＥＣ）部６４乃至６６により圧縮されたストリームデータがユーザーデータとしてパケット化されて重畳されている。
ストリーム制御部７１は、記録部８１から受け取るストリームデータから、ユーザーデータとして重畳されている第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６により圧縮されたストリームデータをパケット化したデータを抽出し、第１コーデック（ＣＯＤＥＣ）部６３により圧縮されたストリームデータ９５と、第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６により圧縮されたストリームデータ９６乃至９８に分離し、それぞれを第１コーデック（ＣＯＤＥＣ）部６３、および第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６に出力する。
第１コーデック（ＣＯＤＥＣ）部６３は、ストリーム制御部７１から与えられるストリームデータ９５を受け取り、復号すなわち伸長処理を行う。前述の通り、第１コーデック（ＣＯＤＥＣ）部６３は、例えば、Ｈ．２６４ コーデック（ＣＯＤＥＣ）方式などのインターフレームコーデック（ＣＯＤＥＣ）で構成される。また、ストリームデータ９５は、第１コーデック（ＣＯＤＥＣ）部６３においてＨ．２６４ハイプロファイルなどの標準規格に準じて圧縮されたストリームである。第１コーデック（ＣＯＤＥＣ）部６３は、ストリームデータ９５を伸長し、６０フレーム毎秒による低域側の動画像データに変換する。前述の通り、低域側の動画像データは、６０フレーム毎秒による撮像データに相当するため、第１コーデック（ＣＯＤＥＣ）部６３から出力される動画像データは、通常の６０フレーム毎秒による動画像となる。
第２コーデック（ＣＯＤＥＣ）部６４は、ストリーム制御部７１から与えられるストリームデータ９６を受け取り、伸長処理を行う。前述の通り、第２コーデック（ＣＯＤＥＣ）部６４は、例えば、ＪＰＥＧ コーデック（ＣＯＤＥＣ）方式などのイントラフレームコーデック（ＣＯＤＥＣ）で構成される。第２コーデック（ＣＯＤＥＣ）部６４は、ストリームデータ９６を伸長し、６０フレーム毎秒による高域側の動画像データに変換する。前述の通り、高域側の動画像データは、撮像データの隣り合う４フレーム間の差分を求めたものであるため、第２コーデック（ＣＯＤＥＣ）部６４から出力される動画像データは、６０フレーム毎秒による時間差分動画像となる。
第３コーデック（ＣＯＤＥＣ）部６５は、ストリーム制御部７１から与えられるストリームデータ９７を受け取り、伸長処理を行う。前述の通り、第３コーデック（ＣＯＤＥＣ）部６５は、第２コーデック（ＣＯＤＥＣ）部６４と同様の処理部であり、第３コーデック（ＣＯＤＥＣ）部６５から出力される動画像データは、６０フレーム毎秒による時間差分動画像となる。
第４コーデック（ＣＯＤＥＣ）部６６は、ストリーム制御部７１から与えられるストリームデータ９８を受け取り、伸長処理を行う。前述の通り、第４コーデック（ＣＯＤＥＣ）部６６は、第２コーデック（ＣＯＤＥＣ）部６４と同様の処理部であり、第４コーデック（ＣＯＤＥＣ）部６６から出力される動画像データは、６０フレーム毎秒による時間差分動画像となる。
なお、ストリーム制御部７１から与えられる高域側ストリームデータ９６〜９８の各々に対する伸張処理を実行する第２コーデック（ＣＯＤＥＣ）部６４〜第４コーデック（ＣＯＤＥＣ）部６６は、同じ態様の復号処理手段によって構成されていてもよいが、それぞれ異なる復号処理を実行する復号手段によって構成してもよい。
第１コーデック（ＣＯＤＥＣ）部６３と、第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６から出力される動画像データは、いずれも時間サブバンド分割部３５に入力される。この場合時間サブバンド分割部は、時間サブバンド合成部３５として機能する。すなわち、第１コーデック（ＣＯＤＥＣ）部６３と、第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６の復号結果を入力して、時間方向のサブバンド合成処理を実行することにより各コーデックの出力する画像信号のフレームレートより高フレームレートとした合成画像信号を生成する。
具体的には、時間サブバンド分割部（時間サブバンド合成部）３５は、第１コーデック（ＣＯＤＥＣ）部６３、および第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６から与えられる低域側の動画像データ、および高域側の動画像データを、前述した式（式４）に従って逆変換（時間方向のウェーブレット逆変換）を行い、２４０フレーム毎秒における連続する４フレームの画像を生成する。時間サブバンド分割部３５は、上記連続する４フレーム画像を一旦フレームメモリ４に記憶すると同時に、過去の連続する４フレーム画像を４倍のフレームレート（２４０フレーム毎秒）にて交互に読み出す。このような処理を行うことにより、２４０フレーム毎秒による動画像データを復元することが出来る。
なお、時間サブバンド分割部（時間サブバンド合成部）３５の生成する動画像データは、第１コーデック（ＣＯＤＥＣ）部６３の生成する低周波数成分の画像信号と、第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６の生成する高周波数成分の画像信号との総数に応じて決定されるフレームレートの合成画像信号となる。
さらに、時間サブバンド分割部３５は、ユーザーの操作や、接続される画像表示装置から得られる情報によって６０フレーム毎秒での動画像を出力することが求められる場合には、第１コーデック（ＣＯＤＥＣ）部６３から与えられる低域側の動画像データをそのまま出力する。前述の通り、第１コーデック（ＣＯＤＥＣ）部６３から出力される動画像データは、２４０フレーム毎秒の隣り合う４つのフレーム画像を加算して生成した動画像であるため、６０フレーム毎秒で撮像した動画像に相当する。このような動作を行う場合には、図示しない制御部は、第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６を動作させないように制御することが可能であり、低消費電力での動作が可能である。
さらに、時間サブバンド分割部３５は、ユーザーの操作や、接続される画像表示装置から得られる情報によって１２０フレーム毎秒での動画像を出力することが求められる場合には、第１コーデック（ＣＯＤＥＣ）部６３から与えられる低域側の動画像データと、第２コーデック（ＣＯＤＥＣ）部６４から与えられる高域側の動画像データから、以下に示す（式５）に従って変換を行うことにより、１２０フレーム毎秒の動画像を生成する。
Figure 0004849130
このようにして変換した動画像は、２４０フレーム毎秒の隣り合う２つのフレーム画像を加算した動画像になっており、１２０フレーム毎秒で撮像した動画像に相当する。このような動作を行う場合には、図示しない制御部は、第３コーデック（ＣＯＤＥＣ）部６５と第４コーデック（ＣＯＤＥＣ）部６６を動作させないように制御することが可能であり、低消費電力での動作が可能である。
時間サブバンド分割部３５から出力される動画像データは、ビデオ出力部１０に入力される。
ビデオ出力部１０は、時間サブバンド分割部３５から与えられる動画像データを、２４０フレーム毎秒のビデオデータとして出力する。ここで出力するビデオデータは、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格や、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）規格などのデジタルビデオ信号フォーマットに準じたものでも、Ｄ端子などによるアナログコンポーネント信号フォーマットに準じたものでも構わない。ビデオ出力部１０は、出力ビデオ信号の形式に合わせた信号変換処理を行う。
以上、説明した動作により、通常の４倍のフレームレート（本実施例では２４０フレーム毎秒）で撮像した画像信号を記録したデータを再生し、圧縮効率に優れた第１コーデック（ＣＯＤＥＣ）と、低コストで実現可能な第２〜第４コーデック（ＣＯＤＥＣ）により伸長することが可能となり、コスト増加を最小限に抑えつつ、ハイフレームレート映像の再生出力を実現する撮像装置が提供される。
また、前述のように、接続される画像表示装置から得られる情報によって６０フレーム毎秒での動画像を出力することが求められる場合には、第１コーデック（ＣＯＤＥＣ）部６３から与えられる低域側の動画像データをそのまま出力する構成としてもよく、この場合は、再生時において、第２〜第４コーデック（ＣＯＤＥＣ）の処理を停止することが可能であり、消費電力の低減、通常のビデオフレームレートでの映像出力を実現することができる。
また、前述のように、接続される画像表示装置から得られる情報によって１２０フレーム毎秒での動画像を出力することが求められる場合には、第１コーデック（ＣＯＤＥＣ）部６３から与えられる低域側の動画像データと、第２コーデック（ＣＯＤＥＣ）部６４から与えられる高域側の動画像データから生成される動画像を出力する構成としてもよく、この場合は、再生時において、第３〜第４コーデック（ＣＯＤＥＣ）部６５，６６の処理を停止することが可能であり、消費電力の低減、通常のビデオフレームレートでの映像出力を実現することができる。
以上本実施例では、通常の４倍のフレームレート（２４０フレーム毎秒）の映像再生を実現する撮像装置について説明したが、これは２倍、または４倍に限定されるものではなく、階層的な時間サブバンド分割によって実現可能なＮ（Ｎは２の累乗）倍のフレームレート（６０フレーム毎秒のＮ倍）の映像再生を実現する撮像装置に拡張することが可能である。また、このとき、任意のＭ（ＭはＮ以下の２の累乗）倍のフレームレート（６０フレーム毎秒のＭ倍）での映像再生を実現することができ、Ｍ倍のフレームレートでの再生の場合には、一部のコーデック（ＣＯＤＥＣ）部の処理を停止することにより、消費電力の低減を実現することが可能である。
以下、本撮像装置における時間サブバンド分割部３５における時間サブバンド分割処理、およびコーデック（ＣＯＤＥＣ）処理の動作例について、図１３乃至図１５を用いて説明する。
まず、撮像時の動作について、図１３を参照して説明する。
図１３は、撮像時の時間サブバンド分割部３５における時間サブバンド分割処理、すなわち時間方向に連続するフレームに対する処理を示している。
（ａ）撮像素子出力データは、図１１に示す撮像素子２５の出力である。このデータは、ＨＤ解像度のフレーム画像（図中Ｎ〜Ｎ＋７）を、２４０フレーム毎秒の速度で出力する。ここでＮは任意の整数である。
（ｂ）低域ＬＬ画像データは、図１１に示す時間サブバンド分割部３５における時間サブバンド処理によって生成され、カメラ信号処理部Ａ５６、第１コーデック（ＣＯＤＥＣ）部６３における処理信号として出力される低域側の画像データ（本実施例では６０フレーム毎秒）であり、
（ｃ）高域ＬＨ画像データは、図１１に示す時間サブバンド分割部３５における時間サブバンド処理によって生成され、カメラ信号処理部Ｂ５７、第２コーデック（ＣＯＤＥＣ）部６４における処理信号として出力される高域側の画像データ（本実施例では６０フレーム毎秒）である。
（ｄ）高域ＨＬ画像データは、図１１に示す時間サブバンド分割部３５における時間サブバンド処理によって生成され、カメラ信号処理部Ｃ５８、第３コーデック（ＣＯＤＥＣ）部６５における処理信号として出力される高域側の画像データ（本実施例では６０フレーム毎秒）である。
（ｅ）高域ＨＨ画像データは、図１１に示す時間サブバンド分割部３５における時間サブバンド処理によって生成され、カメラ信号処理部Ｄ５９、第４コーデック（ＣＯＤＥＣ）部６６における処理信号として出力される高域側の画像データ（本実施例では６０フレーム毎秒）である。
撮像素子２５から出力されたフレーム画像は、時間サブバンド分割部３５において、一旦フレームメモリ４に記憶される。このとき、フレームメモリ４への記憶速度は、２４０フレーム毎秒である。時間サブバンド分割部３５は、フレームメモリ４にフレーム画像を記憶すると同時に、すでに記憶されている過去の連続する４フレームの画像を同時に読み出す。このとき、フレームメモリ４からの連続する４フレーム画像の読み出し速度は、それぞれ６０フレーム毎秒である。
以下、フレームメモリ４の制御を伴う時間サブバンド分割部３５における（ｂ）低域ＬＬ画像データ、（ｃ）高域ＬＨ画像データ、（ｄ）高域ＨＬ画像データ、（ｅ）高域ＨＨ画像データの生成処理の具体的な動作例について説明する。撮像が開始されると、図１３に示す期間Ａにおいて、時間サブバンド分割部３５は、フレーム画像Ｎを撮像素子２５から入力してフレームメモリ４に記憶する。つづいて、期間Ｂにおいて、フレーム画像Ｎ＋１を撮像素子２５から入力してフレームメモリ４に記憶する。同様にして、期間Ｃにおいて、フレーム画像Ｎ＋２を、期間Ｄにおいて、フレーム画像Ｎ＋３を、それぞれ撮像素子２５から入力してフレームメモリ４に記憶する。
期間Ｅにおいて、時間サブバンド分割部３５は、フレーム画像Ｎ＋４をフレームメモリ４に記憶すると同時に、フレーム画像Ｎ、フレーム画像Ｎ＋１、フレーム画像Ｎ＋２、フレーム画像Ｎ＋３を同時にメモリ４から読み出す。このとき、読み出し速度は、記憶速度の１／４（本実施例では２４０フレーム毎秒／４＝６０フレーム／秒）であるため、フレーム画像Ｎ〜Ｎ＋３は、画面の上部１／４部分だけが読み出される。図１５にフレームメモリ４に記憶される１フレーム画像データを示す。期間Ｅにおいて、時間サブバンド分割部３５は、フレーム画像Ｎ〜Ｎ＋３の画面の上部１／４部分（図１５に示すＩ部分）のみ読み出す。
次の期間Ｆにおいて、時間サブバンド分割部３５は、フレーム画像Ｎ＋５をフレームメモリ４に記憶すると同時に、フレーム画像Ｎ、フレーム画像Ｎ＋１、フレーム画像Ｎ＋２、フレーム画像Ｎ＋３を同時にメモリ４から読み出す。期間Ｆにおいては、フレーム画像Ｎ〜Ｎ＋３の次の１／４データ、すなわち図１５に示すＪ部だけが読み出される。
期間Ｇにおいて、時間サブバンド分割部３５は、フレーム画像Ｎ＋６をフレームメモリ４に記憶すると同時に、フレーム画像Ｎ、フレーム画像Ｎ＋１、フレーム画像Ｎ＋２、フレーム画像Ｎ＋３を同時にメモリ４から読み出す。期間Ｇにおいては、フレーム画像Ｎ〜Ｎ＋３の次の１／４データ、すなわち図１５に示すＫ部だけが読み出される。
期間Ｈにおいて、時間サブバンド分割部３５は、フレーム画像Ｎ＋５をフレームメモリ４に記憶すると同時に、フレーム画像Ｎ、フレーム画像Ｎ＋１、フレーム画像Ｎ＋２、フレーム画像Ｎ＋３を同時にメモリ４から読み出す。期間Ｈにおいては、フレーム画像Ｎ〜Ｎ＋３の残りの１／４データ、すなわち図１５に示すＬ部だけが読み出される。
このようにして、時間サブバンド分割部３５においては、４フレーム分の遅延が発生する。
フレームメモリ４から読み出された連続する４フレーム画像（例えば、図中Ｎ、Ｎ＋１、Ｎ＋２、Ｎ＋３）は、時間サブバンド分割部３５において、先に説明した（式３）に示した変換を施され、低域側画像データ（ＬＬ画像データ）と３つの高域側画像データ（ＬＨ画像データ、ＨＬ画像データ、ＨＨ画像データ）に分割される。ここで、低域側画像データ、および高域側画像データは、それぞれ６０フレーム毎秒における動画像データである。
時間サブバンド分割部３５から出力される低域側画像データは、前述の通り、カメラ信号処理部Ａ５６にて処理された後、第１コーデック（ＣＯＤＥＣ）部６３（図ではＨ．２６４ Ｅｎｃｏｄｅｒ）にて圧縮処理を施される。一方、時間サブバンド分割部３５から出力される高域側画像データは、前述の通り、カメラ信号処理部Ｂ５７乃至カメラ信号処理部Ｄ５９にて処理された後、第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６（図ではＪＰＥＧ Ｅｎｃｏｄｅｒ）にて圧縮処理を施される。
次に、再生時の動作について、図１４を参照して説明する。
図１４は、再生時の時間方向に連続するフレームに対する動作を示している。
記録部８１から読み出されたストリームデータは、ストリーム制御部７１において低域側ストリームデータと３つの高域側ストリームデータに分離され、それぞれが、第１コーデック（ＣＯＤＥＣ）部６３（図ではＨ．２６４ Ｄｅｃｏｄｅｒ）、および第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６（図ではＪＰＥＧ Ｄｅｃｏｄｅｒ）において伸長処理される。伸長処理を施された結果、第１コーデック（ＣＯＤＥＣ）部６３からは低域側画像データが出力され、第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６からは３つの高域側画像データが出力される。これらの画像データは、それぞれ６０フレーム毎秒の動画像データである。図１４に示す（ｆ）低域ＬＬ画像データ、（ｇ）高域ＬＨ画像データ、（ｈ）高域ＨＬ画像データ、（ｉ）高域ＨＨ画像データである。
第１コーデック（ＣＯＤＥＣ）部６３、および第２コーデック（ＣＯＤＥＣ）部６４乃至第４コーデック（ＣＯＤＥＣ）部６６から出力された画像データは、それぞれ時間サブバンド分割部３５に入力され、時間サブバンド分割部３５において、前述の式（式４）に示した変換（Ｈａａｒ関数を基底とするウェーブレット逆変換）を施され、２４０フレーム毎秒による動画像における連続する４フレーム画像（例えば、図中Ｎ、Ｎ＋１、Ｎ＋２、Ｎ＋３）に変換される。変換された連続する４フレーム画像は、時間サブバンド分割部３５において、一旦フレームメモリ４に記憶される。
このとき、フレームメモリ４への記憶速度は、それぞれ６０フレーム毎秒である。時間サブバンド分割部（時間サブバンド合成部）３５は、フレームメモリ４に連続する４フレームの画像を記憶すると同時に、すでに記憶されている過去のフレーム画像を読み出す。このとき、フレームメモリ４からのフレーム画像の読み出し速度は、２４０フレーム毎秒である。
以下、フレームメモリの制御に関して、具体的に動作を説明する。
再生が開始されると、期間Ａ'において、時間サブバンド分割部（時間サブバンド合成部）３５は、低域ＬＬ画像、高域ＬＨ画像、高域ＨＬ画像、高域ＨＨ画像の最初のフレーム画像（例えば、Ｎ＋（Ｎ＋１）＋（Ｎ＋２）＋（Ｎ＋３））のデータ中、１／４データ部分のみについて逆変換を施す。
図１５を参照して説明する。時間サブバンド分割部（時間サブバンド合成部）３５は、図１５に示すフレームデータ中のＩ部のみについて逆変換を施し、フレーム画像Ｎ〜Ｎ＋３の１／４の画像データ（図１５におけるＩ部）を生成する。時間サブバンド分割部（時間サブバンド合成部）３５は、フレーム画像Ｎ〜Ｎ＋３の１／４の画像データ（図１５におけるＩ部）を同時にフレームメモリ４に記憶する。
続いて、期間Ｂ'において、時間サブバンド分割部（時間サブバンド合成部）３５は、低域ＬＬ画像、高域ＬＨ画像、高域ＨＬ画像、高域ＨＨ画像の最初のフレーム画像（例えば、Ｎ＋（Ｎ＋１）＋（Ｎ＋２）＋（Ｎ＋３））のそれぞれについて、次の１／４データ（図１５に示すＪ部）について逆変換を施す。フレーム画像Ｎ〜Ｎ＋３の画面の図１５におけるＪ部が生成される。時間サブバンド分割部３５は、フレーム画像Ｎ〜Ｎ＋３の画面の図１５におけるＪ部を同時にフレームメモリ４に記憶する。
同様に、期間Ｃ'において、時間サブバンド分割部（時間サブバンド合成部）３５は、低域ＬＬ画像、高域ＬＨ画像、高域ＨＬ画像、高域ＨＨ画像の最初のフレーム画像（例えば、Ｎ＋（Ｎ＋１）＋（Ｎ＋２）＋（Ｎ＋３））のそれぞれについて、次の１／４データ（図１５に示すＫ部）について逆変換を施す。フレーム画像Ｎ〜Ｎ＋３の画面の図１５におけるＫ部が生成される。時間サブバンド分割部３５は、フレーム画像Ｎ〜Ｎ＋３の画面の図１５におけるＫ部を同時にフレームメモリ４に記憶する。
同様に、期間Ｄ'において、時間サブバンド分割部（時間サブバンド合成部）３５は、低域ＬＬ画像、高域ＬＨ画像、高域ＨＬ画像、高域ＨＨ画像の最初のフレーム画像（例えば、Ｎ＋（Ｎ＋１）＋（Ｎ＋２）＋（Ｎ＋３））のそれぞれについて、次の１／４データ（図１５に示すＬ部）について逆変換を施す。フレーム画像Ｎ〜Ｎ＋３の画面の図１５におけるＬ部が生成される。時間サブバンド分割部３５は、フレーム画像Ｎ〜Ｎ＋３の画面の図１５におけるＬ部を同時にフレームメモリ４に記憶する。
続いて、期間Ｅ'において、時間サブバンド分割部（時間サブバンド合成部）３５は、低域ＬＬ画像、高域ＬＨ画像、高域ＨＬ画像、高域ＨＨ画像の次のフレーム画像（例えば、（Ｎ＋４）＋（Ｎ＋５）＋（Ｎ＋６）＋（Ｎ＋７））のそれぞれについて、次の１／４データ（図１５に示すＩ部）について逆変換を施す。フレーム画像Ｎ＋４〜Ｎ＋７の画面の図１５におけるＩ部が生成される。時間サブバンド分割部３５は、フレーム画像Ｎ＋４〜Ｎ＋７の画面の図１５におけるＩ部を同時にフレームメモリ４に記憶すると同時に、フレーム画像Ｎを読み出す。
期間Ｆ'において、時間サブバンド分割部（時間サブバンド合成部）３５は、低域ＬＬ画像、高域ＬＨ画像、高域ＨＬ画像、高域ＨＨ画像の次のフレーム画像（例えば、（Ｎ＋４）＋（Ｎ＋５）＋（Ｎ＋６）＋（Ｎ＋７））のそれぞれについて、次の１／４データ（図１５に示すＪ部）について逆変換を施す。フレーム画像Ｎ＋４〜Ｎ＋７の画面の図１５におけるＪ部が生成される。時間サブバンド分割部３５は、フレーム画像Ｎ＋４〜Ｎ＋７の画面の図１５におけるＪ部を同時にフレームメモリ４に記憶すると同時に、フレーム画像Ｎ＋１を読み出す。
同様に、期間Ｇ'において、時間サブバンド分割部（時間サブバンド合成部）３５は、低域ＬＬ画像、高域ＬＨ画像、高域ＨＬ画像、高域ＨＨ画像の次のフレーム画像（例えば、（Ｎ＋４）＋（Ｎ＋５）＋（Ｎ＋６）＋（Ｎ＋７））のそれぞれについて、次の１／４データ（図１５に示すＫ部）について逆変換を施す。フレーム画像Ｎ＋４〜Ｎ＋７の画面の図１５におけるＫ部が生成される。時間サブバンド分割部３５は、フレーム画像Ｎ＋４〜Ｎ＋７の画面の図１５におけるＫ部を同時にフレームメモリ４に記憶すると同時に、フレーム画像Ｎ＋２を読み出す。
同様に、期間Ｈ'において、時間サブバンド分割部（時間サブバンド合成部）３５は、低域ＬＬ画像、高域ＬＨ画像、高域ＨＬ画像、高域ＨＨ画像の次のフレーム画像（例えば、（Ｎ＋４）＋（Ｎ＋５）＋（Ｎ＋６）＋（Ｎ＋７））のそれぞれについて、次の１／４データ（図１５に示すＬ部）について逆変換を施す。フレーム画像Ｎ＋４〜Ｎ＋７の画面の図１５におけるＬ部が生成される。時間サブバンド分割部３５は、フレーム画像Ｎ＋４〜Ｎ＋７の画面の図１５におけるＬ部を同時にフレームメモリ４に記憶すると同時に、フレーム画像Ｎ＋３を読み出す。
このようにして、時間サブバンド分割部３５から出力される画像データは、４フレーム分の遅延が発生する。また、図１４に示した動作を行うことにより、撮像装置４００は、２４０フレーム毎秒の動画像出力を実現する。
なお、図１１〜図１５を参照して説明した高速（Ｎ倍）フレームレートの撮像データに対する処理を実行する構成例についても、先に図６〜図１０を参照して説明したと同様の変形が可能である。
すなわち、
図６を参照して説明した一部のカメラ信号処理部を省略した構成、
図７を参照して説明したカメラ信号処理部を撮像素子と時間サブバンド分割部の間に設定した構成、
図８を参照して説明したストリーム制御部と記憶部を各信号単位に設定した構成、
図９を参照して説明したビデオ信号を入力して処理を行う構成、
図１０を参照して説明した再生処理のみを行う画像処理装置構成、
図１１に示す構成をベースとしてこれら図６〜図１０に示す各構成に変形して処理を行うことも可能である。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例構成によれば、例えば撮像素子等の出力信号である画像信号を入力して時間方向のサブバンド分割処理を実行して、入力フレームレートより低フレームレートの低域側サブバンド分割信号および高域側サブバンド分割信号を生成して、生成した低域側サブバンド分割信号と、高域側サブバンド分割信号をそれぞれ圧縮する２つの符号化手段を具備する構成とし、低域側サブバンド分割信号の符号化手段を、例えばＨ．２６４コーデック（ＣＯＤＥＣ）、高域側サブバンド分割信号の符号化手段をＪＰＥＧコーデック（ＣＯＤＥＣ）とするなど、圧縮効率の違う符号化手段の組み合わせとした。この構成により、各符号化手段では低フレームレートに従った速度での符号化処理によって高フレームレートの入力データ、例えば撮像データのリアルタイム処理が実現される。
また、本発明の一実施例に係る装置では、異なる符号化処理のなされたデータの復号、再生において、低域側ストリームデータと高域側ストリームデータとをそれぞれ異なる復号処理手段による復号、例えば、低域側ストリームデータをＨ．２６４コーデック（ＣＯＤＥＣ）による復号処理、高域側ストリームデータをＪＰＥＧコーデック（ＣＯＤＥＣ）による復号処理を行って、各復号結果を合成して高フレームレートのビデオ信号として出力する構成とした。または、低域側ストリームデータのＨ．２６４コーデック（ＣＯＤＥＣ）による復号処理結果のみを出力して低フレームレートのビデオ信号の出力も可能とした。
１ 撮像光学系
２ 撮像素子
４ フレームメモリ
７ ストリーム制御部
８ 記録部
１０ ビデオ出力部
１１ 低域信号
１２ 高域信号
１３ 低域側ストリームデータ
１４ 高域側ストリームデータ
１７ ビデオ入力部
２５ 撮像素子
３１ 時間サブバンド分割部（時間サブバンド合成部）
３２ 時間サブバンド分割部（時間サブバンド合成部）
３３ 時間サブバンド分割部（時間サブバンド合成部）
３４ 時間サブバンド合成部
３５ 時間サブバンド分割部（時間サブバンド合成部）
５１ カメラ信号処理部Ａ
５２ カメラ信号処理部Ｂ
５３ カメラ信号処理部
５６ カメラ信号処理部Ａ
５７ カメラ信号処理部Ｂ
５８ カメラ信号処理部Ｃ
５９ カメラ信号処理部Ｄ
６１ 第１コーデック（ＣＯＤＥＣ）
６２ 第２コーデック（ＣＯＤＥＣ）
６３ 第１コーデック（ＣＯＤＥＣ）
６４ 第２コーデック（ＣＯＤＥＣ）
６５ 第３コーデック（ＣＯＤＥＣ）
６６ 第４コーデック（ＣＯＤＥＣ）
７１ ストリーム制御部
７２ ストリーム制御部
８１ 記録部
８２ 記録部
１００ 撮像装置
１０１ 撮像装置
１０２ 撮像装置
１０３ 撮像装置
２００ 画像記録装置
３００ 画像再生装置
４００ 撮像装置

Claims (17)

  1. 入力画像信号に対する時間方向のサブバンド分割処理により、前記入力画像信号の入力フレームレートより低フレームレートとした低周波成分からなる低域側サブバンド分割信号、および高周波成分からなる高域側サブバンド分割信号を生成する時間サブバンド分割手段であり、
    前記入力画像信号としてＰフレーム／秒（Ｐは整数）の画像信号を入力し、時間方向のサブバンド分割処理により（Ｐ／Ｑ）フレーム／秒（Ｑは２以上の整数）にフレームレートを低下させた低域側サブバンド分割信号および高域側サブバンド分割信号を生成する時間サブバンド分割手段と、
    前記低域側サブバンド分割信号を圧縮する第１の符号化手段と、
    前記高域側サブバンド分割信号を圧縮する第２の符号化手段とを具備し、
    前記第１の符号化手段は、前記第２の符号化手段と異なる別の符号化アルゴリズムに従った符号化処理を実行して、前記第２の符号化手段より圧縮効率の高い符号化データを生成する構成である画像処理装置。
  2. 前記第２の符号化手段は、前記第１の符号化手段より回路規模の小さい符号化処理手段で構成されている請求項１に記載の画像処理装置。
  3. 前記時間サブバンド分割手段は、時間方向のウェーブレット変換器であり、時間方向に隣り合う複数フレーム間でのＨａａｒ変換を行うことで、フレーム信号を低周波数成分と高周波数成分に分割する処理を実行する請求項１に記載の画像処理装置。
  4. 前記第１の符号化手段、および前記第２の符号化手段は、それぞれが（Ｐ／Ｑ）フレーム毎秒での符号化処理を行う請求項１に記載の画像処理装置。
  5. 前記画像処理装置は、さらに、
    前記第１の符号化手段から出力される低域側ストリームデータと、前記第２の符号化手段から出力される高域側ストリームデータを記録する記録手段と、
    前記記録手段に記録した低域側ストリームデータを入力して低周波数成分の伸長処理を実行する第１の復号手段と、
    前記記録手段に記録した高域側ストリームデータを入力して高周波数成分の伸長処理を実行する第２の復号手段と、
    前記第１の復号手段と第２の復号手段の復号結果である画像信号に対する時間方向のサブバンド合成処理により、前記第１の復号手段と第２の復号手段の復号結果である画像信号の入力フレームレートより高フレームレートとした合成画像信号を生成する時間サブバンド合成手段と、
    を有する請求項１に記載の画像処理装置。
  6. 前記時間サブバンド合成手段は、時間方向のウェーブレット逆変換器である請求項５に記載の画像処理装置。
  7. 前記時間サブバンド分割手段は、
    前記高域側サブバンド分割信号として、複数の高域側サブバンド分割信号を生成し、前記低域側サブバンド分割信号および前記複数の高域側サブバンド分割信号のフレームレートは、前記低域側サブバンド分割信号および前記複数の高域側サブバンド分割信号の総数に応じて決定されるフレームレートである請求項１に記載の画像処理装置。
  8. 前記第２の符号化手段は、
    前記複数の高域側サブバンド分割信号の各々に対する圧縮処理を実行する複数の異なる符号化手段によって構成される請求項７に記載の画像処理装置。
  9. 前記時間サブバンド分割手段は、
    前記入力画像信号に含まれる時間的に連続するＮ（Ｎ≧２）個の画像フレームの対応画素の信号値の加算処理によって１つの低域側サブバンド分割信号を生成し、
    前記入力画像信号に含まれる時間的に連続するＮ（Ｎ≧２）個の画像フレームの対応画素の信号値の加算処理および減算処理によってＮ−１個の高域側サブバンド分割信号を生成する構成であり、
    前記Ｎ−１個の高域側サブバンド分割信号の各々は、加算処理および減算処理対象とする画像フレームの組み合わせを異なる設定として算出した信号である請求項１に記載の画像処理装置。
  10. 記録手段に記録した低域側ストリームデータを入力して低周波数成分の伸長処理を実行する第１の復号手段と、
    記録手段に記録した高域側ストリームデータを入力して高周波数成分の伸長処理を実行する第２の復号手段と、
    前記第１の復号手段と第２の復号手段の復号結果である画像信号を入力して、時間方向のサブバンド合成処理により、前記第１の復号手段と第２の復号手段の復号結果である画像信号の入力フレームレートより高フレームレートとした合成画像信号を生成する時間サブバンド合成手段を有し、
    前記第１の復号手段と第２の復号手段は、
    前記合成画像信号がＰフレーム／秒（Ｐは整数）の画像信号であるとき、
    前記復号結果として、（Ｐ／Ｑ）フレーム／秒（Ｑは２以上の整数の）低フレームレートの画像信号を生成する構成であり、
    前記第１の復号手段は、前記第２の復号手段と異なる別の復号アルゴリズムに従った復号処理を実行して、前記第２の復号手段より圧縮効率の高い符号化データの復号を実行する構成を有し、
    前記時間サブバンド合成手段は、
    時間方向のサブバンド合成処理により、前記第１の復号手段と第２の復号手段の復号結果である画像信号の入力フレームレートより高フレームレートとしたＰフレーム／秒（Ｐは整数）の合成画像信号を生成する画像処理装置。
  11. 前記第２の復号手段は、記録手段に記録した複数の異なる高域側ストリームデータを入力して複数の異なる高周波数成分の画像信号を生成し、
    前記時間サブバンド合成手段は、
    前記第１の復号手段の復号結果である画像信号と、前記第２の復号手段の復号結果である複数の異なる画像信号を入力して、時間方向のサブバンド合成処理により、高フレームレートの合成画像信号を生成する請求項１０に記載の画像処理装置。
  12. 前記時間サブバンド合成手段は、
    前記第１の復号手段の生成する低周波数成分の画像信号と、前記第２の復号手段の生成する高周波数成分の画像信号との総数に応じて決定されるフレームレートの合成画像信号を生成する請求項１０に記載の画像処理装置。
  13. 前記第２の復号手段は、
    前記記録手段に記録した複数の異なる高域側ストリームデータの各々に対する伸張処理を実行する複数の異なる復号手段によって構成される請求項１０に記載の画像処理装置。
  14. 画像処理装置において実行する画像処理方法であり、
    時間サブバンド分割手段が、入力画像信号に対する時間方向のサブバンド分割処理により、前記入力画像信号の入力フレームレートより低フレームレートとした低周波成分からなる低域側サブバンド分割信号、および高周波成分からなる高域側サブバンド分割信号を生成する時間サブバンド分割ステップであり、
    前記入力画像信号としてＰフレーム／秒（Ｐは整数）の画像信号を入力し、時間方向のサブバンド分割処理により（Ｐ／Ｑ）フレーム／秒（Ｑは２以上の整数）にフレームレートを低下させた低域側サブバンド分割信号および高域側サブバンド分割信号を生成する時間サブバンド分割ステップと、
    第１の符号化手段が、前記低域側サブバンド分割信号を圧縮する第１の符号化ステップと、
    第２の符号化手段が、前記高域側サブバンド分割信号を圧縮する第２の符号化ステップを有し、
    前記第１の符号化ステップは、前記第１の符号化手段は、前記第２の符号化手段の実行する前記第２の符号化ステップと異なる別の符号化アルゴリズムに従った符号化処理を実行して、前記第２の符号化手段より圧縮効率の高い符号化データを生成するステップである画像処理方法。
  15. 画像処理装置において実行する画像処理方法であり、
    第１の復号手段が、記録手段に記録した低域側ストリームデータを入力して低周波数成分の伸長処理を実行する第１の復号ステップと、
    第２の復号手段が、記録手段に記録した高域側ストリームデータを入力して高周波数成分の伸長処理を実行する第２の復号ステップと、
    時間サブバンド合成手段が、前記第１の復号ステップと第２の復号ステップの復号結果である画像信号を入力して、時間方向のサブバンド合成処理により、前記第１の復号手段と第２の復号手段の復号結果である画像信号の入力フレームレートより高フレームレートとした合成画像信号を生成する時間サブバンド合成ステップを有し、
    前記第１の復号ステップと第２の復号ステップは、
    前記合成画像信号がＰフレーム／秒（Ｐは整数）の画像信号であるとき、
    前記復号結果として、（Ｐ／Ｑ）フレーム／秒（Ｑは２以上の整数の）低フレームレートの画像信号を生成するステップであり、
    前記第１の復号ステップは、前記第２の復号ステップと異なる別の復号アルゴリズムに従った復号処理を実行して、前記第２の復号手段より圧縮効率の高い符号化データの復号を実行するステップであり、
    前記時間サブバンド合成ステップは、
    時間方向のサブバンド合成処理により、前記第１の復号手段と第２の復号手段の復号結果である画像信号の入力フレームレートより高フレームレートとしたＰフレーム／秒（Ｐは整数）の合成画像信号を生成するステップである画像処理方法。
  16. 画像処理装置において画像処理を実行させるプログラムであり、
    時間サブバンド分割手段に、入力画像信号に対する時間方向のサブバンド分割処理により、前記入力画像信号の入力フレームレートより低フレームレートとした低周波成分からなる低域側サブバンド分割信号、および高周波成分からなる高域側サブバンド分割信号を生成させる時間サブバンド分割ステップであり、
    前記入力画像信号としてＰフレーム／秒（Ｐは整数）の画像信号を入力し、時間方向のサブバンド分割処理により（Ｐ／Ｑ）フレーム／秒（Ｑは２以上の整数）にフレームレートを低下させた低域側サブバンド分割信号および高域側サブバンド分割信号を生成する時間サブバンド分割ステップと、
    第１の符号化手段に、前記低域側サブバンド分割信号を圧縮させる第１の符号化ステップと、
    第２の符号化手段に、前記高域側サブバンド分割信号を圧縮させる第２の符号化ステップを有し、
    前記第１の符号化ステップは、前記第１の符号化手段は、前記第２の符号化手段の実行する前記第２の符号化ステップと異なる別の符号化アルゴリズムに従った符号化処理を実行して、前記第２の符号化手段より圧縮効率の高い符号化データを生成するステップであるプログラム。
  17. 画像処理装置において画像処理を実行させるプログラムであり、
    第１の復号手段に、記録手段に記録した低域側ストリームデータを入力して低周波数成分の伸長処理を実行させる第１の復号ステップと、
    第２の復号手段に、記録手段に記録した高域側ストリームデータを入力して高周波数成分の伸長処理を実行させる第２の復号ステップと、
    時間サブバンド合成手段に、前記第１の復号ステップと第２の復号ステップの復号結果である画像信号を入力して、時間方向のサブバンド合成処理により、前記第１の復号手段と第２の復号手段の復号結果である画像信号の入力フレームレートより高フレームレートとした合成画像信号を生成させる時間サブバンド合成ステップを有し、
    前記第１の復号ステップと第２の復号ステップは、
    前記合成画像信号がＰフレーム／秒（Ｐは整数）の画像信号であるとき、
    前記復号結果として、（Ｐ／Ｑ）フレーム／秒（Ｑは２以上の整数の）低フレームレートの画像信号を生成するステップであり、
    前記第１の復号ステップは、前記第２の復号ステップと異なる別の復号アルゴリズムに従った復号処理を実行して、前記第２の復号手段より圧縮効率の高い符号化データの復号を実行するステップであり、
    前記時間サブバンド合成ステップは、
    時間方向のサブバンド合成処理により、前記第１の復号手段と第２の復号手段の復号結果である画像信号の入力フレームレートより高フレームレートとしたＰフレーム／秒（Ｐは整数）の合成画像信号を生成するステップであるプログラム。
JP2009001351A 2008-02-19 2009-01-07 画像処理装置、および画像処理方法、並びにプログラム Expired - Fee Related JP4849130B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009001351A JP4849130B2 (ja) 2008-02-19 2009-01-07 画像処理装置、および画像処理方法、並びにプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008037049 2008-02-19
JP2008037049 2008-02-19
JP2009001351A JP4849130B2 (ja) 2008-02-19 2009-01-07 画像処理装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2009225431A JP2009225431A (ja) 2009-10-01
JP4849130B2 true JP4849130B2 (ja) 2012-01-11

Family

ID=40668265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009001351A Expired - Fee Related JP4849130B2 (ja) 2008-02-19 2009-01-07 画像処理装置、および画像処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20090219404A1 (ja)
EP (1) EP2094018B1 (ja)
JP (1) JP4849130B2 (ja)
CN (1) CN101516031B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006483B (zh) * 2009-09-03 2013-05-01 中兴通讯股份有限公司 一种视频编解码方法及装置
JP5558766B2 (ja) * 2009-09-24 2014-07-23 キヤノン株式会社 画像処理装置及びその制御方法
JP5640370B2 (ja) * 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置，画像処理方法及び撮像装置
JP2011239150A (ja) * 2010-05-10 2011-11-24 Sony Corp 制御装置、カメラシステム及びプログラム
US20130300751A1 (en) * 2010-12-29 2013-11-14 Thomson Licensing Method for generating motion synthesis data and device for generating motion synthesis data
US20140198098A1 (en) * 2013-01-16 2014-07-17 Tae Joo Experience Enhancement Environment
CN103152573A (zh) * 2013-03-15 2013-06-12 惠州Tcl移动通信有限公司 一种移动终端与智能电视间图像帧传输的方法及系统
KR20140123753A (ko) * 2013-04-15 2014-10-23 삼성전자주식회사 무선 통신 시스템에서 비디오 트래픽 스케줄링 방법 및 장치
US11228764B2 (en) 2014-01-15 2022-01-18 Avigilon Corporation Streaming multiple encodings encoded using different encoding parameters
KR102184884B1 (ko) * 2014-06-26 2020-12-01 엘지디스플레이 주식회사 유기발광표시장치의 데이터 처리장치
US9613127B1 (en) 2014-06-30 2017-04-04 Quantcast Corporation Automated load-balancing of partitions in arbitrarily imbalanced distributed mapreduce computations
CN107925765B (zh) 2015-08-19 2022-01-18 索尼公司 发送装置、发送方法、接收装置及接收方法
KR20180043786A (ko) * 2015-08-25 2018-04-30 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
CA2996279A1 (en) * 2015-09-01 2017-03-09 Sony Corporation Transmission device, transmission method, reception device, and reception method
CA2997523A1 (en) 2015-09-10 2017-03-16 Sony Corporation Transmission device, transmission method, reception device, and reception method
CN105260983B (zh) * 2015-11-11 2018-07-17 西安电子科技大学 基于HyperX平台的5/3小波变换方法
US9955176B2 (en) * 2015-11-30 2018-04-24 Intel Corporation Efficient and scalable intra video/image coding using wavelets and AVC, modified AVC, VPx, modified VPx, or modified HEVC coding
JP6694280B2 (ja) * 2016-01-22 2020-05-13 日本放送協会 映像信号送信装置、映像信号受信装置及び映像信号送受信システム
CN111147787B (zh) * 2019-12-27 2021-05-04 Oppo广东移动通信有限公司 插帧处理方法及相关设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2675065B2 (ja) 1988-05-13 1997-11-12 株式会社日立製作所 高速撮影システム
JPH05316402A (ja) 1992-05-13 1993-11-26 Nippon Avionics Co Ltd 高速ビデオカメラ
CN1197253C (zh) * 1999-04-15 2005-04-13 株式会社理光 数据高速压缩伸展方法及其装置
AUPR222500A0 (en) * 2000-12-21 2001-01-25 Unisearch Limited Method for efficient scalable compression of video
KR20040054746A (ko) * 2001-10-26 2004-06-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간 스케일가능 압축 방법 및 장치
US20060012680A1 (en) * 2002-10-16 2006-01-19 Arnaud Bourge Drift-free video encoding and decoding method, and corresponding devices
KR20060007418A (ko) * 2003-05-02 2006-01-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 신규 표준으로의 멀티층 코딩 지원 이동
KR100586883B1 (ko) * 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
JP4025310B2 (ja) * 2004-04-28 2007-12-19 日本電信電話株式会社 画像変換装置、画像変換方法、画像変換プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体、並びに、動画像変換装置、動画像変換方法、動画像変換プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2005122591A1 (ja) * 2004-06-11 2005-12-22 Nec Corporation 動画像符号化装置及び動画像復号装置と、その方法及びプログラム
JP2006108923A (ja) * 2004-10-01 2006-04-20 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム
JP4385928B2 (ja) * 2004-11-08 2009-12-16 日本電信電話株式会社 スケーラブル動画像符号化・復号化方法及びシステム
JP4992336B2 (ja) 2006-08-09 2012-08-08 大日本印刷株式会社 伝票封筒

Also Published As

Publication number Publication date
CN101516031B (zh) 2012-06-13
EP2094018B1 (en) 2011-11-09
CN101516031A (zh) 2009-08-26
EP2094018A1 (en) 2009-08-26
JP2009225431A (ja) 2009-10-01
US20090219404A1 (en) 2009-09-03

Similar Documents

Publication Publication Date Title
JP4849130B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP3901287B2 (ja) 映像信号変換装置、映像信号変換方法及び映像提供システム
JP4855418B2 (ja) 色差成分の相関関係を利用したカラー映像の符号化、復号化方法及びその装置
JP4265642B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP5520122B2 (ja) データ変換装置
WO2009130886A1 (ja) 動画像符号化装置、撮像装置及び動画像符号化方法
WO2009139123A1 (ja) 画像処理装置およびそれを搭載した撮像装置
JP2015536108A (ja) 映像圧縮方法
WO2012147523A1 (ja) 撮像装置及び画像生成方法
JP2010147508A (ja) 撮影装置及び再生装置
JP3164292B2 (ja) 動画像符号化装置、動画像復号化装置および動画像符号記録方法
JP5496047B2 (ja) 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム
JP2012085001A5 (ja)
JP2011199354A (ja) 画像処理装置、画像再生装置および画像処理システム
JP5742049B2 (ja) カラー動画像符号化方法及びカラー動画像符号化装置
JP2004200760A (ja) 画像処理方法および装置
JP4422629B2 (ja) 動画像符号化装置、復号化装置、動画像記録装置および動画像再生装置
JP2009278473A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置
JP2014131136A (ja) 動画像圧縮装置、動画像復号装置およびプログラム
JP4526529B2 (ja) 階層画像を用いる映像信号変換装置
WO2016047250A1 (ja) 信号処理装置、撮像装置および信号処理方法
JP5742048B2 (ja) カラー動画像構造変換方法及びカラー動画像構造変換装置
JP3687458B2 (ja) 圧縮復号化方法及び圧縮復号化装置
JP4765961B2 (ja) デジタル動画像記録装置
JP5067492B2 (ja) デジタル動画像記録装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110517

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110815

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110920

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111003

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141028

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees