JP4814380B2 - 撮像装置、集積回路及び撮像方法 - Google Patents
撮像装置、集積回路及び撮像方法 Download PDFInfo
- Publication number
- JP4814380B2 JP4814380B2 JP2009552337A JP2009552337A JP4814380B2 JP 4814380 B2 JP4814380 B2 JP 4814380B2 JP 2009552337 A JP2009552337 A JP 2009552337A JP 2009552337 A JP2009552337 A JP 2009552337A JP 4814380 B2 JP4814380 B2 JP 4814380B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- frame
- luminance
- encoding
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 110
- 238000001514 detection method Methods 0.000 claims description 60
- 238000000034 method Methods 0.000 claims description 51
- 238000001228 spectrum Methods 0.000 description 46
- 238000003860 storage Methods 0.000 description 36
- 239000013598 vector Substances 0.000 description 29
- 238000013139 quantization Methods 0.000 description 23
- 238000009826 distribution Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 238000011156 evaluation Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000003595 spectral effect Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 239000000872 buffer Substances 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003702 image correction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、フリッカーがある環境下で高速度撮影された画像の符号化技術に関する。
動画像符号化において、ＭＰＥＧ（Moving Picture Experts Group）方式などでは、動き探索に例えばマクロブロックと呼ばれる特定のサイズの矩形領域における輝度の絶対値差を評価関数として用いる。例えば、マクロブロックのサイズがｌ×ｍである場合、絶対値差ＳＡＤは下記の式（１）で表される。
但し、｜ ｜は絶対値を表す記号である。また、ｆn（ｘ，ｙ）はフレーム番号ｎの画像フレーム（符号化対象の画像フレーム）における座標（ｘ，ｙ）の輝度値、ｆn-n'（ｘ，ｙ）はフレーム番号ｎ−ｎ’の画像フレーム（参照フレーム）における座標（ｘ，ｙ）の輝度値である。
動き探索では、絶対値差ＳＡＤが最小となるｎ’、ｘ’、ｙ’の組み合わせを探索し、参照フレームの決定及び動きベクトルの検出を行う。なお、ＭＰＥＧ−４ ＡＶＣ（Ｈ．２６４）のようにｎ’をある程度任意に指定可能な方式や、ＭＰＥＧ−４ Ｓｉｍｐｌｅ Ｐｒｏｆｉｌｅのように、ｎ’を１に固定する方式などがある。
動き探索では、絶対値差ＳＡＤが最小となるｎ’、ｘ’、ｙ’の組み合わせを探索し、参照フレームの決定及び動きベクトルの検出を行う。なお、ＭＰＥＧ−４ ＡＶＣ（Ｈ．２６４）のようにｎ’をある程度任意に指定可能な方式や、ＭＰＥＧ−４ Ｓｉｍｐｌｅ Ｐｒｏｆｉｌｅのように、ｎ’を１に固定する方式などがある。
フレーム番号ｎの画像フレームとフレーム番号ｎ−ｎ’の画像フレームとで撮像時の光源の輝度値が異なれば、式（１）で求められる絶対値差が、本来の物体の動きに関係なく偶然輝度値の近い場所で最小値となり、圧縮率が低下する。
蛍光灯フリッカー除去技術として、撮像手段で撮像した画像から二次以上のスペクトル分析を行い、画像を補正するものが提案されており（例えば、特許文献１参照。）、その概要について図１０を用いて説明する。
蛍光灯フリッカー除去技術として、撮像手段で撮像した画像から二次以上のスペクトル分析を行い、画像を補正するものが提案されており（例えば、特許文献１参照。）、その概要について図１０を用いて説明する。
撮像装置１００では、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサで構成される撮像部１０１で撮像された画像について、輝度検出部１０２はライン単位で輝度の計測を行う。フリッカースペクトル検出部１０３はフーリエ変換を用いて輝度値の周波数成分を分析して蛍光灯フリッカーの成分の抽出を行い、蛍光灯フリッカーの波形の推測を行う。続いて、輝度補正係数発生部１０４は推測された蛍光灯フリッカーの波形に基づいて蛍光灯フリッカーの成分を打ち消すように輝度補正係数を発生し、ゲイン調整部１０５は輝度補正係数に基づいて撮像された画像のゲイン調整を行い、輝度を補正する。撮像装置１００は、高速度撮影を対象とするものではないが、ＣＭＯＳイメージセンサの画素ごとの撮像タイミングのずれを考慮し、高い周波数成分までフリッカースペクトルを予測することで、より正確な輝度補正を可能にする。
また、画像フレーム間における光源の輝度変化を考慮した動画像符号化技術として、符号化対象の画像フレームの輝度値と同じになるように参照フレームを輝度補正してから動き探索を行うものが提案されており（例えば、特許文献２参照。）、その概要について図１１を用いて説明する。
撮像装置２００では、撮像部２０１で撮像された画像は入力画像フレーム記録部２０２に記録される。ゲイン検出部２０８は入力画像フレーム記録部２０２に記録されている画像フレームと参照画像フレーム記録部２０７に記録されている参照フレームとの輝度差を検出し、ゲイン調整部２０９は輝度差に基づいて参照フレームの輝度補正を行う。動き探索部２０３は画像フレームと輝度補正された参照フレームとの間で動き探索を行い、符号化部２０４は動き探索の結果得られた信号を符号化し、符号化データを記録部２０５に蓄積する。また、復号部２０６は符号化データを復号し、復号により得られた参照フレームを参照画像フレーム記録部２０７に記録する。撮像装置２００は、蛍光灯フリッカーなどの影響で画像フレームの輝度値が変化した場合においても、高い圧縮率を維持できる。
撮像装置２００では、撮像部２０１で撮像された画像は入力画像フレーム記録部２０２に記録される。ゲイン検出部２０８は入力画像フレーム記録部２０２に記録されている画像フレームと参照画像フレーム記録部２０７に記録されている参照フレームとの輝度差を検出し、ゲイン調整部２０９は輝度差に基づいて参照フレームの輝度補正を行う。動き探索部２０３は画像フレームと輝度補正された参照フレームとの間で動き探索を行い、符号化部２０４は動き探索の結果得られた信号を符号化し、符号化データを記録部２０５に蓄積する。また、復号部２０６は符号化データを復号し、復号により得られた参照フレームを参照画像フレーム記録部２０７に記録する。撮像装置２００は、蛍光灯フリッカーなどの影響で画像フレームの輝度値が変化した場合においても、高い圧縮率を維持できる。
なお、動画像符号化の並列化に関する技術水準を示すものとして、符号化部を並列動作させるものがあり（例えば、特許文献３参照。）、その概要について図１２を用いて説明する。撮像装置３００では、撮像部３０１によって撮像された画像は、分配部３０２によってフレーム単位で符号化部３０３，３０４，３０５に分配され、符号化部３０３，３０４，３０５によって符号化される。符号化部３０３，３０４，３０５から出力された符号化データは合成部３０６によって統合されて記録部３０７に蓄積される。この技術は、符号化の処理速度が向上するため、高速度撮影のような高い符号化演算能力が求められる用途に対して有用である。
しかしながら、高速度撮影では、撮影のフレームレートが蛍光灯フリッカーの周波数より高いことがあり、この場合、蛍光灯フリッカーの輝度変化が畳み込まれることなく撮影される。このため、蛍光灯フリッカー除去技術のようにゲイン調整を施した場合、ゲイン調整によるＳ／Ｎ比の変化が画像フレーム間で大きく発生してしまい、画像フレーム毎に異なるＳ／Ｎ比が動画像符号化効率を劣化させてしまう。
また、上述した画像フレーム間における光源の輝度変化を考慮した動画像符号化技術では、画像フレーム間で輝度補正するため、輝度の差が画像本来の変化に由来するものなのか、蛍光灯フリッカーに由来するものなのか判別できず、蛍光灯フリッカーがなく、画像本来の変化による輝度差が大きい場合に逆に圧縮率が低下してしまう。
そこで、本発明は、蛍光灯フリッカーを撮影した映像でも効率よく符号化し、且つ、蛍光灯フリッカーのない環境でも従来通りの圧縮率を維持することが可能な撮像装置、集積回路及び撮像方法を提供することを目的とする。
そこで、本発明は、蛍光灯フリッカーを撮影した映像でも効率よく符号化し、且つ、蛍光灯フリッカーのない環境でも従来通りの圧縮率を維持することが可能な撮像装置、集積回路及び撮像方法を提供することを目的とする。
上記目的を達成するために本発明の撮像装置は、撮像手段と、光源のフリッカーの時間波形を検出する検出手段と、前記検出手段による検出結果に基づいて、前記撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、前記推定手段により推定された光源の輝度推定値に基づいて前記画像フレームの符号化に用いる符号化パラメータを決定する決定手段と、前記決定手段により決定された符号化パラメータに基づいて前記画像フレームを符号化する符号化手段と、を備える。
また、本発明の集積回路は、光源のフリッカーの時間波形を検出する検出手段と、前記検出手段による検出結果に基づいて、撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、前記推定手段により推定された光源の輝度推定値に基づいて前記画像フレームの符号化に用いる符号化パラメータを決定する決定手段と、前記決定手段により決定された符号化パラメータに基づいて前記画像フレームを符号化する符号化手段と、を備える。
さらに、本発明の撮像方法は、撮像手順と、光源のフリッカーの時間波形を検出する検出手順と、前記検出手順における検出結果に基づいて、前記撮像手順において撮像された画像フレームの撮像時の光源の輝度を推定する推定手順と、前記推定手順において推定された光源の輝度推定値に基づいて前記画像フレームの符号化に用いる符号化パラメータを決定する決定手順と、前記決定手順において決定された符号化パラメータに基づいて前記画像フレームを符号化する符号化手順と、を備える。
上記撮像装置、集積回路及び撮像方法の夫々によれば、光源のフリッカーの時間波形を検出して画像フレームの撮像時の光源の輝度を推定し、光源の輝度推定値に基づいて符号化パラメータの決定を行い、決定した符号化パラメータに基づいて画像フレームの符号化を行う。このため、蛍光灯フリッカーを撮影した映像でも効率よく符号化し、且つ、蛍光灯フリッカーのない環境でも従来通りの圧縮率を維持することが可能である。
上記の撮像装置において、前記符号化パラメータは動き探索に用いる参照フレームであり、前記符号化手段は、前記画像フレームと前記決定手段により符号化パラメータとして決定された参照フレームとの間で動きベクトルの検出を行って前記画像フレームの符号化を行うようにしてもよい。
これによれば、光源の輝度推定値から参照フレームの決定を行うため、参照フレームとして光源の輝度の変化に応じて適切なものを用いることができる。
これによれば、光源の輝度推定値から参照フレームの決定を行うため、参照フレームとして光源の輝度の変化に応じて適切なものを用いることができる。
上記の撮像装置において、前記決定手段は、参照フレームの候補である複数の候補参照フレームの中から、前記画像フレームの撮像時の光源の輝度推定値に最も近い輝度推定値の候補参照フレームを参照フレームに決定するようにしてもよい。
これによれば、参照フレームとして画像フレームの撮像時の光源の輝度推定値に近い輝度推定値の候補参照フレームを用いるため、画質の向上が図られる。
これによれば、参照フレームとして画像フレームの撮像時の光源の輝度推定値に近い輝度推定値の候補参照フレームを用いるため、画質の向上が図られる。
上記の撮像装置において、前記決定手段は、複数の候補参照フレームの中から、光源の輝度推定値が最も大きい候補参照フレームを参照フレームに決定するようにしてもよい。
これによれば、Ｓ／Ｎ比の高い候補参照フレームを参照フレームとして用いることによって符号化効率の向上が図られる。
上記の撮像装置において、前記符号化パラメータは動き探索に用いる評価関数の前記画像フレーム及び参照フレームの夫々に対する輝度値を補正するための係数であり、前記符号化手段は、前記決定手段により符号化パラメータとして決定された前記画像フレーム及び前記参照フレームの夫々に対する前記係数を用いて動き探索を行って前記画像フレームの符号化を行うようにしてもよい。
これによれば、Ｓ／Ｎ比の高い候補参照フレームを参照フレームとして用いることによって符号化効率の向上が図られる。
上記の撮像装置において、前記符号化パラメータは動き探索に用いる評価関数の前記画像フレーム及び参照フレームの夫々に対する輝度値を補正するための係数であり、前記符号化手段は、前記決定手段により符号化パラメータとして決定された前記画像フレーム及び前記参照フレームの夫々に対する前記係数を用いて動き探索を行って前記画像フレームの符号化を行うようにしてもよい。
これによれば、評価関数の係数を光源の輝度推定値に基づいて決定するため、光源の輝度の変化があっても動きベクトルの検出を精度よく行うことができる。
上記の撮像装置において、前記符号化手段は、並列して符号化を行う複数の副符号化手段と、前記決定手段により決定された符号化パラメータに基づいて前記画像フレームを前記複数の副符号化手段の何れかへ出力する分配手段と、を備え、前記決定手段は、符号化パラメータとして、複数の前記副符号化手段の中から、前記画像フレームの符号化を行う副符号化手段を決定するようにしてもよい。
上記の撮像装置において、前記符号化手段は、並列して符号化を行う複数の副符号化手段と、前記決定手段により決定された符号化パラメータに基づいて前記画像フレームを前記複数の副符号化手段の何れかへ出力する分配手段と、を備え、前記決定手段は、符号化パラメータとして、複数の前記副符号化手段の中から、前記画像フレームの符号化を行う副符号化手段を決定するようにしてもよい。
これによれば、光源の輝度の変化がある状況においても符号化を効率よく並列して行うことができる。
以下、本発明の実施の形態について図面を参照しつつ説明する。但し、本件書類における「符号化パラメータ」とは、符号化処理を行う際に設定又は選択し得る事項を意味する。なお、ゲイン調整などの画像補正処理は符号化対象の画像を実質的に変化させるものであり、符号化対象の画像を実質的に変化させてしまう画像補正パラメータは本件書類における「符号化パラメータ」に含まれない。
≪第１の実施の形態≫
以下、本発明の第１の実施の形態について図面を参照しつつ説明する。但し、本実施の形態では、符号化パラメータは動き探索に用いる参照フレーム、及び動き探索に用いる後述する式（２）の評価関数における係数Ｇn，Ｇn-n'である。なお、第１から第３の各実施の形態では、撮像装置の使用地域が電源周波数５０Ｈｚの地域と電源周波数６０Ｈｚの地域との２地域であるとする。
以下、本発明の第１の実施の形態について図面を参照しつつ説明する。但し、本実施の形態では、符号化パラメータは動き探索に用いる参照フレーム、及び動き探索に用いる後述する式（２）の評価関数における係数Ｇn，Ｇn-n'である。なお、第１から第３の各実施の形態では、撮像装置の使用地域が電源周波数５０Ｈｚの地域と電源周波数６０Ｈｚの地域との２地域であるとする。
＜撮像装置の構成＞
本実施の形態の撮像装置の構成について図１を参照しつつ説明する。図１は本実施の形態の撮像装置の構成図である。
撮像装置１は、ＣＣＤ（Charge Coupled Device）カメラモジュール２と、画像処理ユニット３と、ＤＲＡＭ（Dynamic RandomAccess Memory）４と、メモリカード５とを備える。撮像装置１は高速度撮影機能等を有し、設定されたフレームレートで撮影を行う。なお、撮像装置１に設定されたフレームレートが蛍光灯フリッカー周波数より高いことがある。
本実施の形態の撮像装置の構成について図１を参照しつつ説明する。図１は本実施の形態の撮像装置の構成図である。
撮像装置１は、ＣＣＤ（Charge Coupled Device）カメラモジュール２と、画像処理ユニット３と、ＤＲＡＭ（Dynamic RandomAccess Memory）４と、メモリカード５とを備える。撮像装置１は高速度撮影機能等を有し、設定されたフレームレートで撮影を行う。なお、撮像装置１に設定されたフレームレートが蛍光灯フリッカー周波数より高いことがある。
ＣＣＤカメラモジュール２は、撮像した画像に係る８ビットの輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）のデータを交互に画像処理ユニット３の後述する画像入力部１４へ出力する。
画像処理ユニット３は、ＣＣＤカメラモジュール２から入力される画像を符号化するためのものであって、その詳細は後述する。
画像処理ユニット３は、ＣＣＤカメラモジュール２から入力される画像を符号化するためのものであって、その詳細は後述する。
ＤＲＡＭ４の入力フレーム記憶領域６には、ＣＣＤカメラモジュール２によって撮像された画像を構成する各画像フレームの輝度値（Ｙ）及び色相値（Ｃｂ、Ｃｒ）のデータが画像処理ユニット３の画像入力部１４によって格納される。また、ＤＲＡＭ４の参照フレーム記憶領域７ａ〜７ｄには、画像処理ユニット３による画像フレームの符号化の際に得られる画像フレームが参照フレームの候補として格納される。なお、参照フレーム記憶領域７ａ〜７ｄに格納される画像フレームを「候補参照フレーム」と言うことにする。但し、本実施の形態では、後述するように、４枚分の候補参照フレームが１フレームずつ参照フレーム記憶領域７ａ〜７ｄに格納される。
メモリカード５には、画像処理ユニット３による画像の符号化によって得られる符号化データが格納される。
［画像処理ユニット３の構成］
画像処理ユニット３は、図１に示すように、プロセッサ１１と、ＤＲＡＭ制御部１２と、メモリカード制御部１３と、画像入力部１４と、フレーム輝度検出部１５と、フリッカースペクトル検出部１６と、輝度推定部１７と、符号化部１８と、内部バス１９とを備える。プロセッサ１１、ＤＲＡＭ制御部１２、メモリカード制御部１３、画像入力部１４、及び符号化部１８は、夫々、内部バス１９に接続されている。
［画像処理ユニット３の構成］
画像処理ユニット３は、図１に示すように、プロセッサ１１と、ＤＲＡＭ制御部１２と、メモリカード制御部１３と、画像入力部１４と、フレーム輝度検出部１５と、フリッカースペクトル検出部１６と、輝度推定部１７と、符号化部１８と、内部バス１９とを備える。プロセッサ１１、ＤＲＡＭ制御部１２、メモリカード制御部１３、画像入力部１４、及び符号化部１８は、夫々、内部バス１９に接続されている。
プロセッサ１１は、例えば、画像処理ユニット３内の各部の起動を内部バス１９を介して制御する。ＤＲＡＭ制御部１２は、ＤＲＡＭ４へのデータの書き込み、ＤＲＡＭ４からのデータの読み出しを行う。メモリカード制御部１３は、メモリカード５へのデータの書き込み、メモリカード５からのデータの読み出しを行う。
画像入力部１４は、ＣＣＤカメラモジュール２から入力される輝度値（Ｙ）のデータをフレーム輝度検出部１５へ出力するとともに、ＣＣＤカメラモジュール２から入力される輝度値（Ｙ）のデータ及び色相値（Ｃｂ，Ｃｒ）のデータを内部バス１９を介してＤＲＡＭ制御部１２へ出力する。この輝度値（Ｙ）のデータ及び色相値（Ｃｂ，Ｃｒ）のデータによって構成される画像フレームはＤＲＡＭ制御部１２によって入力フレーム記憶領域６に格納される。
画像入力部１４は、ＣＣＤカメラモジュール２から入力される輝度値（Ｙ）のデータをフレーム輝度検出部１５へ出力するとともに、ＣＣＤカメラモジュール２から入力される輝度値（Ｙ）のデータ及び色相値（Ｃｂ，Ｃｒ）のデータを内部バス１９を介してＤＲＡＭ制御部１２へ出力する。この輝度値（Ｙ）のデータ及び色相値（Ｃｂ，Ｃｒ）のデータによって構成される画像フレームはＤＲＡＭ制御部１２によって入力フレーム記憶領域６に格納される。
フレーム輝度検出部１５は、３２ビットのカウンタを有する。フレーム輝度検出部１５は、フレーム単位で、１フレーム内の画素の輝度値をカウンタを用いて積算し、積算の結果得られた値（以下、「フレーム輝度値」と言う。）をフリッカースペクトル検出部１６へ出力する。
フリッカースペクトル検出部１６は、フレーム輝度検出部１５から入力されるフレーム輝度値を格納するための３２ビットのバッファを５１２個有し、５１２フレーム分のフレーム輝度値を記憶することができるようになっている。
フリッカースペクトル検出部１６は、フレーム輝度検出部１５から入力されるフレーム輝度値を格納するための３２ビットのバッファを５１２個有し、５１２フレーム分のフレーム輝度値を記憶することができるようになっている。
フリッカースペクトル検出部１６は、フレーム輝度検出部１５から新たなフレーム輝度値が入力されると、バッファに格納されている最も古いフレーム輝度値を入力された新たなフレーム輝度値に置き換える。そして、フリッカースペクトル検出部１６は、５１２個のバッファに格納されているフレーム輝度値を時系列に５１２個サンプリングし、高速フーリエ変換（以下、「ＦＦＴ」と言う。）を実行して５１２個の３２ビットのスペクトル値を求める。
続いて、フリッカースペクトル検出部１６は、電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があるか、電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があるかを判定するために、次の処理を行う。
フリッカースペクトル検出部１６は、１００Ｈｚのスペクトル値と１２０Ｈｚのスペクトル値とを比較する。
フリッカースペクトル検出部１６は、１００Ｈｚのスペクトル値と１２０Ｈｚのスペクトル値とを比較する。
１００Ｈｚのスペクトル値が１２０Ｈｚのスペクトル値より大きい場合、フリッカースペクトル検出部１６は、１００Ｈｚのスペクトル値を閾値と比較し、１００Ｈｚのスペクトル値が閾値を超える場合には電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があると判定し、超えない場合には蛍光灯フリッカーの成分がないと判定する。
一方、１００Ｈｚのスペクトル値が１２０Ｈｚのスペクトル値より大きくない場合、フリッカースペクトル検出部１６は、１２０Ｈｚのスペクトル値を閾値と比較し、１２０Ｈｚのスペクトル値が閾値を超える場合には電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があると判定し、超えない場合には蛍光灯フリッカーの成分がないと判定する。
一方、１００Ｈｚのスペクトル値が１２０Ｈｚのスペクトル値より大きくない場合、フリッカースペクトル検出部１６は、１２０Ｈｚのスペクトル値を閾値と比較し、１２０Ｈｚのスペクトル値が閾値を超える場合には電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があると判定し、超えない場合には蛍光灯フリッカーの成分がないと判定する。
フリッカースペクトル検出部１６は、求めたスペクトル値と判定結果を示すフリッカー情報とを輝度推定部１７へ出力する。
但し、上記の閾値を、例えば、センサによって特性が異なることを考慮して、予め蛍光灯フリッカーがある環境と蛍光灯フリッカーのない環境との夫々で撮像を行い、その撮像結果を用いて決定することが好ましい。
但し、上記の閾値を、例えば、センサによって特性が異なることを考慮して、予め蛍光灯フリッカーがある環境と蛍光灯フリッカーのない環境との夫々で撮像を行い、その撮像結果を用いて決定することが好ましい。
輝度推定部１７は、フリッカースペクトル検出部１６から入力されるフリッカー情報の内容に応じて下記の処理を行って画像フレームの撮像時の光源の輝度を推定する。
フリッカー情報が電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があることを示す場合、輝度推定部１７は、フリッカースペクトル検出部１６から入力されるスペクトル値の中から、１００Ｈｚの倍数の１００Ｈｚ、２００Ｈｚ、３００Ｈｚ、・・・の各周波数のスペクトル値を取り出す。そして、輝度推定部１７は、取り出した各周波数のスペクトル値を用いて逆高速フーリエ変換（以下、「ＩＦＦＴ」と言う。）を実行して５１２フレーム分の輝度値を求め、求めた輝度値を光源の輝度推定値として符号化部１８の後述する動き探索部３１へ出力する。
フリッカー情報が電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があることを示す場合、輝度推定部１７は、フリッカースペクトル検出部１６から入力されるスペクトル値の中から、１００Ｈｚの倍数の１００Ｈｚ、２００Ｈｚ、３００Ｈｚ、・・・の各周波数のスペクトル値を取り出す。そして、輝度推定部１７は、取り出した各周波数のスペクトル値を用いて逆高速フーリエ変換（以下、「ＩＦＦＴ」と言う。）を実行して５１２フレーム分の輝度値を求め、求めた輝度値を光源の輝度推定値として符号化部１８の後述する動き探索部３１へ出力する。
また、フリッカー情報が電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があることを示す場合、輝度推定部１７は、フリッカースペクトル検出部１６から入力されるスペクトル値の中から、１２０Ｈｚの倍数の１２０Ｈｚ、２４０Ｈｚ、３６０Ｈｚ、・・・の各周波数のスペクトル値を取り出す。そして、輝度推定部１７は、取り出した各周波数のスペクトル値を用いてＩＦＦＴを実行して５１２フレーム分の輝度値を求め、求めた輝度値を光源の輝度推定値として符号化部１８の動き探索部３１へ出力する。
上記の処理を行うことによって、蛍光灯フリッカーに関係しない周波数成分を除外し、５１２フレーム分夫々の蛍光灯フリッカーに由来する輝度変化のみ推定できる。
さらに、フリッカー情報が蛍光灯フリッカーの成分がないことを示す場合、輝度推定部１７は、予め定められた固定値を光源の輝度推定値として符号化部１８の動き探索部３１へ出力する。
さらに、フリッカー情報が蛍光灯フリッカーの成分がないことを示す場合、輝度推定部１７は、予め定められた固定値を光源の輝度推定値として符号化部１８の動き探索部３１へ出力する。
なお、蛍光灯フリッカーは周期性があるので、継続する画像フレームも同様のパターンを示すことが予想されるため、ＦＦＴ演算及びＩＦＦＴ演算を毎画像フレーム行ってもよいし、ＦＦＴ演算及びＩＦＦＴ演算を一定間隔で間引いてもよい。
符号化部１８は、ＣＣＤカメラモジュール２によって撮像され、入力フレーム記憶領域６に記憶されている画像フレームの符号化を、輝度推定部１７から入力される光源の輝度推定値を用いて行うものである。なお、本実施の形態では、符号化部１８はＭＰＥＧ−４ ＡＶＣに従う動画像符号化を行うものとする。
符号化部１８は、ＣＣＤカメラモジュール２によって撮像され、入力フレーム記憶領域６に記憶されている画像フレームの符号化を、輝度推定部１７から入力される光源の輝度推定値を用いて行うものである。なお、本実施の形態では、符号化部１８はＭＰＥＧ−４ ＡＶＣに従う動画像符号化を行うものとする。
（符号化部１８の構成）
図１の符号化部１８について図２を参照しつつ説明する。図２は図１の符号化部１８の構成図である。なお、図２では、図の簡略化のため、符号化部１８とＤＲＡＭ４との間にある内部バス１９及びＤＲＡＭ制御部１２を省略し、符号化部１８とメモリカード５との間にある内部バス１９及びメモリカード制御部１３を省略している。
図１の符号化部１８について図２を参照しつつ説明する。図２は図１の符号化部１８の構成図である。なお、図２では、図の簡略化のため、符号化部１８とＤＲＡＭ４との間にある内部バス１９及びＤＲＡＭ制御部１２を省略し、符号化部１８とメモリカード５との間にある内部バス１９及びメモリカード制御部１３を省略している。
符号化部１８は、動き探索部３１と、差分部３２と、ＤＣＴ部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、ＩＤＣＴ部３７とを備える。
但し、ＭＰＥＧ−４ ＡＶＣにおける動画像符号化では、別の画像フレームを参照フレームとして使用することが可能である。そこで、本実施の形態では常に過去の４フレーム分の候補参照フレームをリングバッファ状に参照フレーム記憶領域７ａ〜７ｄに蓄積しておき、それらを参照フレームに利用できる構成にする。なお、リングバッファ構造の場合、符号化の開始からフレーム番号をカウントしておけばフレーム番号からメモリ位置を一意に特定できる。
但し、ＭＰＥＧ−４ ＡＶＣにおける動画像符号化では、別の画像フレームを参照フレームとして使用することが可能である。そこで、本実施の形態では常に過去の４フレーム分の候補参照フレームをリングバッファ状に参照フレーム記憶領域７ａ〜７ｄに蓄積しておき、それらを参照フレームに利用できる構成にする。なお、リングバッファ構造の場合、符号化の開始からフレーム番号をカウントしておけばフレーム番号からメモリ位置を一意に特定できる。
以下では、説明の便宜上、符号化部１８はフレーム番号ｎ−１の画像フレームまで符号化を完了しており、フレーム番号ｎの画像フレームを符号化する場合を例に挙げて記載する。
入力フレーム記憶領域６に記憶されているフレーム番号ｎの画像フレームが、ＤＲＡＭ制御部１２によって読み出され、内部バス１９を介して動き探索部３１及び差分部３２に入力される。
入力フレーム記憶領域６に記憶されているフレーム番号ｎの画像フレームが、ＤＲＡＭ制御部１２によって読み出され、内部バス１９を介して動き探索部３１及び差分部３２に入力される。
動き探索部３１は、輝度推定部１７から入力されるフレーム番号ｎの画像フレームの撮像時の輝度の輝度推定値Ｙnの逆数を算出し、輝度推定値Ｙnの逆数１／Ｙnをフレーム番号ｎの画像フレームの輝度補正係数Ｇnとして蓄積する。但し、動き探索部３１は、フレーム番号ｎ−ｉ（ｉ＝１，２，３，４）の画像フレームの符号化の際に、フレーム番号ｎ−ｉの画像フレームの撮像時の輝度推定値Ｙn-iの逆数を算出することによってフレーム番号ｎ−ｉの画像フレームの輝度補正係数Ｇn-i（＝１／Ｙn-i）を算出し、算出した輝度補正係数Ｇn-iを蓄積している。なお、この輝度補正係数Ｇn-iがフレーム番号ｎ−ｉ（ｉ＝１，２，３，４）の候補参照フレームの輝度補正係数である。
続いて、動き探索部３１は、参照フレーム記憶領域７ａ〜７ｄに格納されている過去４フレーム分の候補参照フレームの中から、輝度補正係数Ｇnに最も近い輝度補正係数の候補参照フレームを参照フレームに決定する。そして、動き探索部３１は、参照フレームに決定した候補参照フレームを内部バス１９及びＤＲＡＭ制御部１２を介して参照フレーム記憶領域７ａ〜７ｄから取得する。以下、説明の便宜上、参照フレームに決定された候補参照フレームはフレーム番号ｎ−ｎ’の候補参照フレームであるとし、フレーム番号ｎ−ｎ’の候補参照フレームの輝度補正係数をＧn-n'と記載する。
更に続いて、動き探索部３１は、矩形領域のサイズがｌ×ｍである各マクロブロックについて、参照フレームとして決定されたフレーム番号ｎ−ｎ’の候補参照フレームを用いて、下記の式（２）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う。そして、動き探索部３１は、検出した動きベクトルを用いて動き補償を行い、動き補償により得られた予測信号を差分部３２へ出力する。
但し、｜ ｜は絶対値を表す記号である。また、ｆn（ｘ，ｙ）は符号化の対象であるフレーム番号ｎの画像フレームの座標（ｘ，ｙ）における輝度値、ｆn-n'（ｘ，ｙ）は参照フレームとして決定されたフレーム番号ｎ−ｎ’の候補参照フレームの座標（ｘ，ｙ）における輝度値である。
差分部３２は、フレーム番号ｎの画像フレームの画像から動き探索部３１から入力される予測信号を減算して残差信号を生成する。ＤＣＴ部３３は、差分部３２から入力される残差信号を離散コサイン変換（以下、「ＤＣＴ」と言う。）することによってＤＣＴ係数を生成する。量子化部３４は、ＤＣＴ部３３から入力されるＤＣＴ係数を量子化することによって量子化値を算出する。可変長符号化部３５は、量子化部３４から入力される量子化値を可変長符号化することによってフレーム番号ｎの画像フレームに関する符号化データを生成し、生成した符号化データを内部バス１９及びメモリカード制御部１３を介してメモリカード５に格納する。
差分部３２は、フレーム番号ｎの画像フレームの画像から動き探索部３１から入力される予測信号を減算して残差信号を生成する。ＤＣＴ部３３は、差分部３２から入力される残差信号を離散コサイン変換（以下、「ＤＣＴ」と言う。）することによってＤＣＴ係数を生成する。量子化部３４は、ＤＣＴ部３３から入力されるＤＣＴ係数を量子化することによって量子化値を算出する。可変長符号化部３５は、量子化部３４から入力される量子化値を可変長符号化することによってフレーム番号ｎの画像フレームに関する符号化データを生成し、生成した符号化データを内部バス１９及びメモリカード制御部１３を介してメモリカード５に格納する。
逆量子化部３６は、量子化部３４から入力される量子化値を逆量子化することによって逆量子化値を算出し、ＩＤＣＴ部３７は、逆量子化部３６から入力される逆量子化値を逆離散コサイン変換（以下、「ＩＤＣＴ」と言う。）する。これらの処理によってフレーム番号ｎの画像フレームが復号される。ＩＤＣＴ部３７は、復号されたフレーム番号ｎの画像フレームを、フレーム番号ｎの候補参照フレームとして、最も古いフレーム番号の候補参照フレーム（ここでは、フレーム番号ｎ−４の候補参照フレーム）が格納されている参照フレーム記憶領域に、内部バス１９及びＤＲＡＭ制御部１２を介して格納する。これにより、フレーム番号ｎ＋１の画像フレームの符号化の際、参照フレーム記憶領域７ａ〜７ｄにはフレーム番号ｎ−３〜ｎの４フレーム分の候補参照フレームが格納されていることになる。
＜撮像装置１の動作＞
以下、図１の撮像装置１の動作について図３を参照しつつ説明する。図３は図１の撮像装置１による画像処理の手順を示すフローチャートであり、１つの画像フレームに対する処理の流れを示す。
ＣＣＤカメラモジュール２によって画像の撮像が行われ、撮像された画像の輝度値（Ｙ）のデータが画像入力部１４によってフレーム輝度検出部１５に入力され、当該画像の画像フレームを構成する輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）のデータが画像入力部１４によって内部バス１９及びＤＲＡＭ制御部１２を介して入力フレーム記憶領域６に格納される（ステップＳ１）。
以下、図１の撮像装置１の動作について図３を参照しつつ説明する。図３は図１の撮像装置１による画像処理の手順を示すフローチャートであり、１つの画像フレームに対する処理の流れを示す。
ＣＣＤカメラモジュール２によって画像の撮像が行われ、撮像された画像の輝度値（Ｙ）のデータが画像入力部１４によってフレーム輝度検出部１５に入力され、当該画像の画像フレームを構成する輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）のデータが画像入力部１４によって内部バス１９及びＤＲＡＭ制御部１２を介して入力フレーム記憶領域６に格納される（ステップＳ１）。
フレーム輝度検出部１５は、フレーム単位で、１フレーム内の画素の輝度値を積算してフレーム輝度値を算出する（ステップＳ２）。フリッカースペクトル検出部１６は、フレーム輝度検出部１５によって算出された５１２フレーム分のフレーム輝度値を用いて５１２個のスペクトル値を求める（ステップＳ３）。フリッカースペクトル検出部１６は、算出したスペクトル値に基づいて電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があるか、電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があるか、蛍光灯フリッカーの成分がないかを判定する（ステップＳ４）。
電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があると判定された場合（Ｓ４：電源５０Ｈｚ）、輝度推定部１７は、フリッカースペクトル検出部１６によって求められた１００Ｈｚ，２００Ｈｚ，３００Ｈｚ，・・・のスペクトル値を用いて５１２フレーム分の各画像フレームの撮像時の光源の輝度推定値を算出する（ステップＳ５）。また、電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があると判定された場合（Ｓ４：電源６０Ｈｚ）、輝度推定部１７は、フリッカースペクトル検出部１６によって求められた１２０Ｈｚ，２４０Ｈｚ，３６０Ｈｚ，・・・のスペクトル値を用いて５１２フレーム分の各画像フレームの撮像時の光源の輝度推定値を算出する（ステップＳ６）。また、蛍光灯フリッカーの成分がないと判定された場合（Ｓ４：なし）、輝度推定部１７は、固定値を画像フレームの撮像時の光源の輝度推定値に決定する（ステップＳ７）。
符号化対象の画像フレームが入力フレーム記憶領域６から動き探索部３１及び差分部３２にＤＲＡＭ制御部１２及び内部バス１９を介して入力される。動き探索部３１は、輝度推定部１７によって算出或いは決定された符号化対象の画像フレームの輝度推定値から上述したようにして当該画像フレームの輝度補正係数を求め、蓄積する。そして、動き探索部３１は、参照フレーム記憶領域７ａ〜７ｄに記憶されている過去４フレーム分の候補参照フレームの中から、符号化対象の画像フレームの輝度補正係数に最も近い輝度補正係数の候補参照画像フレームを参照フレームに決定する（ステップＳ８）。なお、過去４フレーム分の各画像フレームの符号化の際に各画像フレームの輝度補正係数が算出されて蓄積されており、この蓄積されている各輝度補正係数が過去４フレーム分の各候補参照フレームの輝度補正係数として用いられる。
続いて、動き探索部３１は、参照フレームとして決定された候補参照フレームを参照フレーム記憶領域７ａ〜７ｄから内部バス１９及びＤＲＡＭ制御部１２を介して取得し、取得した候補参照フレームを用いて上記の式（２）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う（ステップＳ９）。
動き探索部３１は検出した動きベクトルに基づいて動き補償を行って予測信号を生成する。そして、差分部３２は符号化対象の画像フレームの画像から予測信号を減算して残差信号を生成し、ＤＣＴ部３３、量子化部３４及び可変長符号化部３５は残差信号から符号化データを生成し、可変長符号化部３５は生成した符号化データを内部バス１９及びメモリカード制御部１３を介してメモリカード５に格納する。また、逆量子化部３６及びＩＤＣＴ部３７は量子化部３４から出力された量子化値から符号化対象の画像フレームを復号し、ＩＤＣＴ部３７は最も古いフレーム番号の候補参照フレームが格納されている参照フレーム記憶領域に復号した画像フレームを候補参照フレームとして内部バス１９及びＤＲＡＭ制御部１２を介して格納する（ステップＳ１０）。
動き探索部３１は検出した動きベクトルに基づいて動き補償を行って予測信号を生成する。そして、差分部３２は符号化対象の画像フレームの画像から予測信号を減算して残差信号を生成し、ＤＣＴ部３３、量子化部３４及び可変長符号化部３５は残差信号から符号化データを生成し、可変長符号化部３５は生成した符号化データを内部バス１９及びメモリカード制御部１３を介してメモリカード５に格納する。また、逆量子化部３６及びＩＤＣＴ部３７は量子化部３４から出力された量子化値から符号化対象の画像フレームを復号し、ＩＤＣＴ部３７は最も古いフレーム番号の候補参照フレームが格納されている参照フレーム記憶領域に復号した画像フレームを候補参照フレームとして内部バス１９及びＤＲＡＭ制御部１２を介して格納する（ステップＳ１０）。
上述した実施の形態によれば、５１２フレーム分の画像フレームのフレーム輝度値から蛍光灯フリッカーの成分の分析を行い、光源の輝度を推定しているため、光源の輝度の高い推定精度が得られる。
動き探索において、符号化対象の画像フレームの撮像時の光源の輝度推定値に最も近い輝度推定値の候補参照フレームを参照フレームに決定し、更に、符号化対象の画像フレームと参照フレームとして決定された候補参照フレームとの輝度差を係数補正しながら動きベクトルの検出を行う。これによって、撮影時の光源の輝度の変化に起因する動きベクトルの誤探索を軽減しつつ、効率の良い符号化を行うことができる。
動き探索において、符号化対象の画像フレームの撮像時の光源の輝度推定値に最も近い輝度推定値の候補参照フレームを参照フレームに決定し、更に、符号化対象の画像フレームと参照フレームとして決定された候補参照フレームとの輝度差を係数補正しながら動きベクトルの検出を行う。これによって、撮影時の光源の輝度の変化に起因する動きベクトルの誤探索を軽減しつつ、効率の良い符号化を行うことができる。
画像フレームそのものを輝度補正することなく画像フレームの符号化を行っているため、高速度撮影の場合、符号化データは蛍光灯フリッカーの現象自体の情報を含むことができ、蛍光灯フリッカーの現象自体を撮像対象とする用途にも適用することができる。
図１１を用いて説明した従来技術のようにゲイン値を符号化データに含める必要がないため、他の符号化器との互換性を持たせることができる。
図１１を用いて説明した従来技術のようにゲイン値を符号化データに含める必要がないため、他の符号化器との互換性を持たせることができる。
≪第２の実施の形態≫
以下、本発明の第２の実施の形態について図面を参照しつつ説明する。但し、本実施の形態では、符号化パラメータは動き探索に用いる参照フレームである。
第１の実施の形態の符号化部１８は、過去４フレーム分の候補参照フレームのうち符号化対象の画像フレームの輝度補正係数に最も近い輝度補正係数の候補参照フレームを参照フレームに決定し、補正されていない輝度値及び輝度補正係数を用いた動きベクトルの検出を行う。これに対して、本実施の形態の符号化部１８ａは、過去４フレーム分の候補参照フレームのうち最も小さい輝度補正係数の候補参照フレームを参照フレームに決定し、補正が行われた輝度値を用いた動きベクトルの検出を行う。
以下、本発明の第２の実施の形態について図面を参照しつつ説明する。但し、本実施の形態では、符号化パラメータは動き探索に用いる参照フレームである。
第１の実施の形態の符号化部１８は、過去４フレーム分の候補参照フレームのうち符号化対象の画像フレームの輝度補正係数に最も近い輝度補正係数の候補参照フレームを参照フレームに決定し、補正されていない輝度値及び輝度補正係数を用いた動きベクトルの検出を行う。これに対して、本実施の形態の符号化部１８ａは、過去４フレーム分の候補参照フレームのうち最も小さい輝度補正係数の候補参照フレームを参照フレームに決定し、補正が行われた輝度値を用いた動きベクトルの検出を行う。
＜撮像装置の構成＞
本実施の形態の撮像装置の構成について図４を参照しつつ説明する。図４は本実施の形態の撮像装置の構成図である。但し、本実施の形態において、第１の実施の形態の構成要素と実質的に同じ構成要素には同じ符号を付し、その説明が適用できるため本実施の形態ではその説明を省略する。
本実施の形態の撮像装置の構成について図４を参照しつつ説明する。図４は本実施の形態の撮像装置の構成図である。但し、本実施の形態において、第１の実施の形態の構成要素と実質的に同じ構成要素には同じ符号を付し、その説明が適用できるため本実施の形態ではその説明を省略する。
撮像装置１ａは、ＣＣＤカメラモジュール２と、画像処理ユニット３ａと、ＤＲＡＭ４と、メモリカード５とを備える。
画像処理ユニット３ａは、ＣＣＤカメラモジュール２から入力される画像を符号化するためのものであって、以下、画像処理ユニット３ａについて説明する。
［画像処理ユニット３ａの構成］
画像処理ユニット３ａは、図４に示すように、プロセッサ１１と、ＤＲＡＭ制御部１２と、メモリカード制御部１３と、画像入力部１４と、フレーム輝度検出部１５と、フリッカースペクトル検出部１６と、輝度推定部１７と、ゲイン調整部５１と、符号化部１８ａと、内部バス１９とを備える。プロセッサ１１、ＤＲＡＭ制御部１２、メモリカード制御部１３、ゲイン調整部５１、及び符号化部１８ａは、夫々、内部バス１９に接続されている。なお、画像入力部１４は、画像の輝度値（Ｙ）のデータをフレーム輝度検出部１５へ出力し、画像の輝度値（Ｙ）及び色相値（Ｃｒ，Ｃｂ）のデータをゲイン調整部５１へ出力する。また、輝度推定部１７は画像フレームの撮像時の光源の輝度推定値をゲイン調整部５１及び符号化部１８ａの後述する動き探索部３１ａへ出力する。
画像処理ユニット３ａは、ＣＣＤカメラモジュール２から入力される画像を符号化するためのものであって、以下、画像処理ユニット３ａについて説明する。
［画像処理ユニット３ａの構成］
画像処理ユニット３ａは、図４に示すように、プロセッサ１１と、ＤＲＡＭ制御部１２と、メモリカード制御部１３と、画像入力部１４と、フレーム輝度検出部１５と、フリッカースペクトル検出部１６と、輝度推定部１７と、ゲイン調整部５１と、符号化部１８ａと、内部バス１９とを備える。プロセッサ１１、ＤＲＡＭ制御部１２、メモリカード制御部１３、ゲイン調整部５１、及び符号化部１８ａは、夫々、内部バス１９に接続されている。なお、画像入力部１４は、画像の輝度値（Ｙ）のデータをフレーム輝度検出部１５へ出力し、画像の輝度値（Ｙ）及び色相値（Ｃｒ，Ｃｂ）のデータをゲイン調整部５１へ出力する。また、輝度推定部１７は画像フレームの撮像時の光源の輝度推定値をゲイン調整部５１及び符号化部１８ａの後述する動き探索部３１ａへ出力する。
ゲイン調整部５１の説明の便宜上フレーム番号ｎの画像フレームを対象に説明するが、ゲイン調整部５１はフレーム番号ｎ以外のフレーム番号の画像フレームの場合も同様の処理を実行する。ゲイン調整部５１は、輝度推定部１７から入力されるフレーム番号ｎの画像フレームの輝度推定値Ｙnの逆数を算出し、算出した輝度推定値の逆数１／Ｙnを画像入力部１４から入力されるフレーム番号ｎの画像フレームを構成する輝度値（Ｙ）に乗算して輝度値（Ｙ）を補正する。そして、ゲイン調整部５１は、フレーム番号ｎの画像フレームを構成する輝度補正が施された輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）を内部バス１９を介してＤＲＡＭ制御部１２へ出力する。フレーム番号ｎの画像フレームを構成する輝度補正が施された輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）はＤＲＡＭ制御部１２によって入力フレーム記憶領域６に格納される。このように、本実施の形態において入力フレーム記憶領域６に記憶される画像フレームは、第１の実施の形態と異なり、輝度値（Ｙ）が輝度補正された画像フレームである。
符号化部１８ａは、ＣＣＤカメラモジュール２によって撮像され、入力フレーム記憶領域６に記憶されている画像フレームの符号化を、輝度推定部１７から入力される光源の輝度推定値を用いて行うものである。なお、本実施の形態では、符号化部１８ａはＭＰＥＧ−４ ＡＶＣに従う動画像符号化を行うものとする。
（符号化器１８ａの構成）
図４の符号化器１８ａについて図５を参照しつつ説明する。図５は図４の符号化部１８ａの構成図である。なお、図５では、図の簡略化のため、符号化部１８ａとＤＲＡＭ４との間にある内部バス１９及びＤＲＡＭ制御部１２を省略し、符号化部１８ａとメモリカード５との間にある内部バス１９及びメモリカード制御部１３を省略している。
（符号化器１８ａの構成）
図４の符号化器１８ａについて図５を参照しつつ説明する。図５は図４の符号化部１８ａの構成図である。なお、図５では、図の簡略化のため、符号化部１８ａとＤＲＡＭ４との間にある内部バス１９及びＤＲＡＭ制御部１２を省略し、符号化部１８ａとメモリカード５との間にある内部バス１９及びメモリカード制御部１３を省略している。
符号化部１８ａは、動き探索部３１ａと、差分部３２と、ＤＣＴ部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、ＩＤＣＴ部３７とを備える。但し、本実施の形態においても、第１の実施の形態と同様、常に過去の４フレーム分の候補参照フレームをリングバッファ状に参照フレーム記憶領域７ａ〜７ｄに蓄積しておき、それらを参照フレームに利用できる構成にする。
以下では、説明の便宜上、符号化部１８ａはフレーム番号ｎ−１の画像フレームまで符号化を完了しており、フレーム番号ｎの画像フレームを符号化する場合を例に挙げて記載する。
動き探索部３１ａは、輝度推定部１７から入力されるフレーム番号ｎの画像フレームの撮像時の輝度推定値Ｙnの逆数を算出し、輝度推定値Ｙnの逆数１／Ｙnをフレーム番号ｎの画像フレームの輝度補正係数Ｇnとして蓄積する。但し、動き探索部３１ａは、フレーム番号ｎ−ｉ（ｉ＝１，２，３，４）の画像フレームの符号化の際に、フレーム番号ｎ−ｉの画像フレームの撮像時の輝度推定値Ｙn-iの逆数を算出することによってフレーム番号ｎ−ｉの画像フレームの輝度補正係数Ｇn-i（＝１／Ｙn-i）を算出し、算出した輝度補正係数Ｇn-iを蓄積している。なお、この輝度補正係数Ｇn-iがフレーム番号ｎ−ｉ（ｉ＝１，２，３，４）の候補参照フレームの輝度補正係数である。
動き探索部３１ａは、輝度推定部１７から入力されるフレーム番号ｎの画像フレームの撮像時の輝度推定値Ｙnの逆数を算出し、輝度推定値Ｙnの逆数１／Ｙnをフレーム番号ｎの画像フレームの輝度補正係数Ｇnとして蓄積する。但し、動き探索部３１ａは、フレーム番号ｎ−ｉ（ｉ＝１，２，３，４）の画像フレームの符号化の際に、フレーム番号ｎ−ｉの画像フレームの撮像時の輝度推定値Ｙn-iの逆数を算出することによってフレーム番号ｎ−ｉの画像フレームの輝度補正係数Ｇn-i（＝１／Ｙn-i）を算出し、算出した輝度補正係数Ｇn-iを蓄積している。なお、この輝度補正係数Ｇn-iがフレーム番号ｎ−ｉ（ｉ＝１，２，３，４）の候補参照フレームの輝度補正係数である。
続いて、動き探索部３１ａは、参照フレーム記憶領域７ａ〜７ｄに格納されている過去４フレーム分の候補参照フレームの中から、最も小さい輝度補正係数の候補参照フレームを参照フレームに決定する。そして、動き探索部３１ａは、参照フレームに決定した候補参照フレームを内部バス１９及びＤＲＡＭ制御部１２を介して参照フレーム記憶領域７ａ〜７ｄから取得する。以下、説明の便宜上、参照フレームに決定された候補参照フレームはフレーム番号ｎ−ｎ’の候補参照フレームであるとする。
更に続いて、動き探索部３１ａは、矩形領域のサイズがｌ×ｍである各マクロブロックについて、参照フレームとして決定されたフレーム番号ｎ−ｎ’の候補参照フレームを用いて、下記の式（３）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う。そして、動き探索部３１ａは、検出した動きベクトルを用いて動き補償を行い、動き補償により得られた予測信号を差分部３２へ出力する。
但し、｜ ｜は絶対値を表す記号である。また、ｆn（ｘ，ｙ）は符号化の対象であるフレーム番号ｎの画像フレームの座標（ｘ，ｙ）における輝度値、ｆn-n'（ｘ，ｙ）は参照フレームとして決定されたフレーム番号ｎ−ｎ’の候補参照フレームの座標（ｘ，ｙ）における輝度値である。
なお、ゲイン調整部５１によって輝度補正が施されていることを踏まえ、評価関数として従来例と同様のものを用いている。
なお、ゲイン調整部５１によって輝度補正が施されていることを踏まえ、評価関数として従来例と同様のものを用いている。
＜撮像装置１ａの動作＞
以下、図４の撮像装置１ａの動作について図６を参照しつつ説明する。図６は図４の撮像装置１ａによる画像処理の手順を示すフローチャートであり、１つの画像フレームに対する処理の流れを示す。
ＣＣＤカメラモジュール２によって画像の撮像が行われ、撮像された画像の輝度値（Ｙ）のデータが画像入力部１４によってフレーム輝度検出部１５に入力され、当該画像の画像フレームを構成する輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）のデータがゲイン調整部５１に入力される（ステップＳ３１）。
以下、図４の撮像装置１ａの動作について図６を参照しつつ説明する。図６は図４の撮像装置１ａによる画像処理の手順を示すフローチャートであり、１つの画像フレームに対する処理の流れを示す。
ＣＣＤカメラモジュール２によって画像の撮像が行われ、撮像された画像の輝度値（Ｙ）のデータが画像入力部１４によってフレーム輝度検出部１５に入力され、当該画像の画像フレームを構成する輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）のデータがゲイン調整部５１に入力される（ステップＳ３１）。
フレーム輝度検出部１５はステップＳ２と実質的に同じ処理を行い（ステップＳ３２）、フリッカースペクトル検出部１６はステップＳ３と実質的に同じ処理を行う（ステップＳ３３）。続いて、輝度推定部１７はステップＳ４〜Ｓ７と実質的に同じ処理を行う（ステップＳ３４〜Ｓ３７）。ゲイン調整部５１は、輝度推定部１７によって算出され或いは決定された輝度推定値の逆数を算出し、画像入力部１４から入力された同じフレーム番号の画像フレームの輝度値（Ｙ）に算出した輝度推定値の逆数を乗算して輝度値（Ｙ）を補正する。そして、ゲイン調整部５１は、輝度補正が施された輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）をそのフレーム番号の画像フレームのデータとして内部バス１９及びＤＲＡＭ制御部１２を介して入力フレーム記憶領域６に格納する（ステップＳ３８）。
符号化対象の画像フレームが入力フレーム記憶領域６から動き探索部３１ａ及び差分部３２にＤＲＡＭ制御部１２及び内部バス１９を介して入力される。動き探索部３１ａは、輝度推定部１７によって算出或いは決定された符号化対象の画像フレームの輝度推定値から上述したようにして当該画像フレームの輝度補正係数を求め、蓄積する。そして、動き探索部３１ａは、過去の４フレーム分の候補参照フレームの中から、最も小さい輝度補正係数の候補参照フレームを参照フレームに決定する（ステップＳ３９）。なお、過去４フレーム分の各画像フレームの符号化の際に各画像フレームの輝度補正係数が算出されて蓄積されており、この蓄積されている各輝度補正係数が過去４フレーム分の各候補参照フレームの輝度補正係数として用いられる。
続いて、動き探索部３１ａは、参照フレームとして決定された候補参照フレームを参照フレーム記憶領域７ａ〜７ｄから内部バス１９及びＤＲＡＭ制御部１２を介して取得し、取得した候補参照フレームを用いて上記の式（３）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う（ステップＳ４０）。
動き探索部３１ａは検出した動きベクトルに基づいて動き補償を行って予測信号を生成する。そして、差分部３２、ＤＣＴ部３３、量子化部３４、及び可変長符号化部３５は符号化処理を行い、逆量子化部３６及びＩＤＣＴ部３７は復号処理を行う（ステップＳ４１）。
動き探索部３１ａは検出した動きベクトルに基づいて動き補償を行って予測信号を生成する。そして、差分部３２、ＤＣＴ部３３、量子化部３４、及び可変長符号化部３５は符号化処理を行い、逆量子化部３６及びＩＤＣＴ部３７は復号処理を行う（ステップＳ４１）。
上述した実施の形態によれば、参照フレームとして用いられる候補参照フレームは撮影時の光源の輝度が最も高かったもの、即ち、Ｓ／Ｎ比が最も高い高品質なものであるため、効率の良い符号化を行うことができる。
≪第３の実施の形態≫
以下、本発明の第３の実施の形態について図面を参照しつつ説明する。但し、本実施の形態では、符号化パラメータは符号化対象の画像フレームの符号化を行う符号化部である。
≪第３の実施の形態≫
以下、本発明の第３の実施の形態について図面を参照しつつ説明する。但し、本実施の形態では、符号化パラメータは符号化対象の画像フレームの符号化を行う符号化部である。
第１及び第２の実施の形態の撮像装置１，１ａは、１つの符号化部を用いて符号化を行う。これに対して、第３の実施の形態の撮像装置１ｂは、３つの符号化部を用いて並列して符号化を行う。
＜撮像装置の構成＞
本実施の形態の撮像装置の構成について図７を参照しつつ説明する。図７は本実施の形態の撮像装置の構成図である。但し、本実施の形態において、第１の実施の形態の構成要素と実質的に同じ構成要素には同じ符号を付し、その説明が適用できるため本実施の形態ではその説明を省略する。
＜撮像装置の構成＞
本実施の形態の撮像装置の構成について図７を参照しつつ説明する。図７は本実施の形態の撮像装置の構成図である。但し、本実施の形態において、第１の実施の形態の構成要素と実質的に同じ構成要素には同じ符号を付し、その説明が適用できるため本実施の形態ではその説明を省略する。
撮像装置１ｂは、ＣＣＤカメラモジュール２と、画像処理ユニット３ｂと、ＤＲＡＭ４ｂと、メモリカード５とを備える。
ＤＲＡＭ４ｂには、画像処理ユニット３ｂ内の符号化部７２，７３，７４の各々に対応した参照フレーム記憶領域７２ａ，７３ａ，７４ａがあり、参照フレーム記憶領域７２ａ，７３ａ，７４ａには夫々１フレーム分の参照フレームが記憶される。
ＤＲＡＭ４ｂには、画像処理ユニット３ｂ内の符号化部７２，７３，７４の各々に対応した参照フレーム記憶領域７２ａ，７３ａ，７４ａがあり、参照フレーム記憶領域７２ａ，７３ａ，７４ａには夫々１フレーム分の参照フレームが記憶される。
画像処理ユニット３ｂは、ＣＣＤカメラモジュール２から入力される画像を符号化するためのものであって、以下、画像処理ユニット３ｂについて説明する。
［画像処理ユニット３ｂの構成］
画像処理ユニット３ｂは、図７に示すように、プロセッサ１１と、ＤＲＡＭ制御部１２と、メモリカード制御部１３と、画像入力部１４と、フレーム輝度検出部１５と、フリッカースペクトル検出部１６と、輝度推定部１７と、分配部７１と、符号化部７２，７３，７４と、合成部７５と、内部バス１９とを備える。プロセッサ１１、ＤＲＡＭ制御部１２、メモリカード制御部１３、画像入力部１４、分配部７１、符号化部７２，７３，７４及び合成部７５は、夫々、内部バス１９に接続されている。なお、輝度推定部１７は光源の輝度推定値を分配部７１へ出力する。
［画像処理ユニット３ｂの構成］
画像処理ユニット３ｂは、図７に示すように、プロセッサ１１と、ＤＲＡＭ制御部１２と、メモリカード制御部１３と、画像入力部１４と、フレーム輝度検出部１５と、フリッカースペクトル検出部１６と、輝度推定部１７と、分配部７１と、符号化部７２，７３，７４と、合成部７５と、内部バス１９とを備える。プロセッサ１１、ＤＲＡＭ制御部１２、メモリカード制御部１３、画像入力部１４、分配部７１、符号化部７２，７３，７４及び合成部７５は、夫々、内部バス１９に接続されている。なお、輝度推定部１７は光源の輝度推定値を分配部７１へ出力する。
分配部７１は、符号化部７２〜７４の夫々について、現時点で符号化を実行中の画像フレームの撮像時の光源の輝度推定値を、現時点で符号化を実行していなければ直近に符号化した画像フレームの撮像時の光源の輝度推定値を蓄積している。
分配部７１には輝度推定部１７から符号化対象の画像フレームの撮像時の光源の輝度推定値が入力される。分配部７１は、符号化処理を実行していない符号化部７２〜７４のうち、符号化対象の画像フレームの撮像時の光源の輝度推定値に直近に符号化した画像フレームの撮像時の光源の輝度推定値が最も近い符号化部を、符号化対象の画像フレームを符号化する符号化部に決定する。そして、分配部７１は、入力フレーム記憶領域６から内部バス１９及びＤＲＡＭ制御部１２を介して符号化対象の画像フレームを取得し、取得した符号化対象の画像フレーム及び当該符号化対象の画像フレームの撮像時の光源の輝度推定値を決定した符号化部へ出力する。これと共に、分配部７１は決定した符号化部に対応して蓄積していた光源の輝度推定値を符号化対象の画像フレームの撮像時の光源の輝度推定値に更新する。
分配部７１には輝度推定部１７から符号化対象の画像フレームの撮像時の光源の輝度推定値が入力される。分配部７１は、符号化処理を実行していない符号化部７２〜７４のうち、符号化対象の画像フレームの撮像時の光源の輝度推定値に直近に符号化した画像フレームの撮像時の光源の輝度推定値が最も近い符号化部を、符号化対象の画像フレームを符号化する符号化部に決定する。そして、分配部７１は、入力フレーム記憶領域６から内部バス１９及びＤＲＡＭ制御部１２を介して符号化対象の画像フレームを取得し、取得した符号化対象の画像フレーム及び当該符号化対象の画像フレームの撮像時の光源の輝度推定値を決定した符号化部へ出力する。これと共に、分配部７１は決定した符号化部に対応して蓄積していた光源の輝度推定値を符号化対象の画像フレームの撮像時の光源の輝度推定値に更新する。
符号化部７２，７３，７４は、夫々、ＣＣＤカメラモジュール２によって撮像され、分配部７１から入力された画像フレームの符号化を行い、符号化データを合成部７５へ出力するものであって、その詳細は後述する。なお、本実施の形態では、符号化部７２，７３，７４はＭＰＥＧ−４ ＡＶＣに従う動画像符号化を行うものとする。
合成部７５は、符号化部７２，７３，７４から入力される符号化データをフレーム番号の順番に従って一つの符号化データに連結し、連結した符号化データを内部バス１９を介してメモリカード制御部１３へ出力する。この連結された符号化データはメモリカード制御部１３によってメモリカード５に格納される。
合成部７５は、符号化部７２，７３，７４から入力される符号化データをフレーム番号の順番に従って一つの符号化データに連結し、連結した符号化データを内部バス１９を介してメモリカード制御部１３へ出力する。この連結された符号化データはメモリカード制御部１３によってメモリカード５に格納される。
（符号化部７２，７３，７４の構成）
図７の符号化部７２について図８を参照しつつ説明する。図８は図７の符号化部７２の構成図である。なお、図８では、図の簡略化のため、符号化部７２とＤＲＡＭ４との間にある内部バス１９及びＤＲＡＭ制御部１２を省略している。但し、本実施の形態では、符号化部７３，７４として符号化部７２と実質的に同じ構成及び同じ動作を行う符号化部を利用するものとし、この場合、符号化部７２の説明が適用できるため本実施の形態では符号化部７３，７４の説明を省略する。
図７の符号化部７２について図８を参照しつつ説明する。図８は図７の符号化部７２の構成図である。なお、図８では、図の簡略化のため、符号化部７２とＤＲＡＭ４との間にある内部バス１９及びＤＲＡＭ制御部１２を省略している。但し、本実施の形態では、符号化部７３，７４として符号化部７２と実質的に同じ構成及び同じ動作を行う符号化部を利用するものとし、この場合、符号化部７２の説明が適用できるため本実施の形態では符号化部７３，７４の説明を省略する。
符号化部７２は、動き探索部３１ｂと、差分部３２と、ＤＣＴ部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、ＩＤＣＴ部３７とを備える。
以下において、符号化部７２がこれから符号化を行う画像フレームのフレーム番号をｎ、符号化部７２が直近に符号化を行った画像フレームのフレーム番号をｎ−ｎ’とする。
動き探索部３１ｂは、分配部７１から入力されるフレーム番号ｎの画像フレームの撮像時の光源の輝度推定値Ｙnの逆数を算出し、輝度推定値Ｙnの逆数１／Ｙnをフレーム番号ｎの画像フレームの輝度補正係数Ｇnとして蓄積する。なお、動き探索部３１ｂは、符号化部７２がフレーム番号ｎ−ｎ’の画像フレームを符号化する際にフレーム番号ｎ−ｎ’の画像フレームの撮像時の光源の輝度推定値Ｙn-n'の逆数を算出することによってフレーム番号ｎ−ｎ’の輝度補正係数Ｇn-n'（＝１／Ｙn-n'）を算出し、算出した輝度補正係数Ｇn-n'を蓄積している。なお、この輝度補正係数Ｇn-n'がフレーム番号ｎ−ｎ’の参照フレームの輝度補正係数である。
以下において、符号化部７２がこれから符号化を行う画像フレームのフレーム番号をｎ、符号化部７２が直近に符号化を行った画像フレームのフレーム番号をｎ−ｎ’とする。
動き探索部３１ｂは、分配部７１から入力されるフレーム番号ｎの画像フレームの撮像時の光源の輝度推定値Ｙnの逆数を算出し、輝度推定値Ｙnの逆数１／Ｙnをフレーム番号ｎの画像フレームの輝度補正係数Ｇnとして蓄積する。なお、動き探索部３１ｂは、符号化部７２がフレーム番号ｎ−ｎ’の画像フレームを符号化する際にフレーム番号ｎ−ｎ’の画像フレームの撮像時の光源の輝度推定値Ｙn-n'の逆数を算出することによってフレーム番号ｎ−ｎ’の輝度補正係数Ｇn-n'（＝１／Ｙn-n'）を算出し、算出した輝度補正係数Ｇn-n'を蓄積している。なお、この輝度補正係数Ｇn-n'がフレーム番号ｎ−ｎ’の参照フレームの輝度補正係数である。
そして、動き探索部３１ｂは、参照フレーム記憶領域７２ａからフレーム番号ｎ−ｎ’の参照フレームをＤＲＡＭ制御部１２及び内部バス１９を介して取得する。続いて、動き探索部３１ｂは、矩形領域のサイズがｌ×ｍである各マクロブロックについて、取得したフレーム番号ｎ−ｎ’の参照フレームを用いて、上記の式（２）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う。そして、動き探索部３１ａは、検出した動きベクトルを用いて動き補償を行い、動き補償により得られた予測信号を差分部３２へ出力する。
なお、本実施の形態では、可変長符号化部３５は符号化データを合成部３５へ出力し、ＩＤＣＴ部３７は、復号されたフレーム番号ｎの画像フレームを参照フレームとして参照フレーム記憶領域７２ａに格納する。
＜撮像装置１ｂの動作＞
以下、図７の撮像装置１ｂの動作について図９を参照しつつ説明する。図９は図７の撮像装置１ｂによる画像処理の手順を示すフローチャートであり、１つの画像フレームに対する処理の流れを示す。
＜撮像装置１ｂの動作＞
以下、図７の撮像装置１ｂの動作について図９を参照しつつ説明する。図９は図７の撮像装置１ｂによる画像処理の手順を示すフローチャートであり、１つの画像フレームに対する処理の流れを示す。
ＣＣＤカメラモジュール２及び画像入力部１４はステップＳ１と実質的に同じ処理を行う（ステップＳ５１）。
フレーム輝度検出部１５はステップＳ２と実質的に同じ処理を行い（ステップＳ５２）、フリッカースペクトル検出部１６はステップＳ３と実質的に同じ処理を行う（ステップＳ５３）。続いて、輝度推定部１７はステップＳ４〜Ｓ７と実質的に同じ処理を行う（ステップＳ５４〜Ｓ５７）。
フレーム輝度検出部１５はステップＳ２と実質的に同じ処理を行い（ステップＳ５２）、フリッカースペクトル検出部１６はステップＳ３と実質的に同じ処理を行う（ステップＳ５３）。続いて、輝度推定部１７はステップＳ４〜Ｓ７と実質的に同じ処理を行う（ステップＳ５４〜Ｓ５７）。
分配部７１は、符号化部７２〜７４の中から画像フレームの符号化を行う符号化部の決定を上述したようにして行う（ステップＳ５８）。そして、分配部７１は、内部バス１９及びＤＲＡＭ制御部１２を介して入力フレーム記憶領域６から符号化対象の画像フレームを取得し、取得した符号化対象の画像フレーム及び当該符号化対象の画像フレームの撮像時の光源の輝度推定値を決定した符号化部へ出力する（ステップＳ５９）。なお、この際、分配部７１は決定した符号化部に対応して蓄積していた光源の輝度推定値を符号化対象の画像フレームの撮像時の光源の輝度推定値に更新する。
ステップＳ５８において決定された符号化部において、動き探索部３１ｂは、分配部７１から入力された符号化対象の画像フレームの輝度推定値から上述したようにして当該画像フレームの輝度補正係数を求め、蓄積する。そして、動き探索部３１ａは、参照フレーム記憶領域に記憶されている参照フレームを用いて、上記の式（２）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う（ステップＳ６０）。なお、参照フレームの輝度補正係数は当該参照フレームの元となった画像フレームの符号化の際に算出され、蓄積されている。
動き探索部３１ｂは検出した動きベクトルに基づいて動き補償を行って予測信号を生成する。そして、差分部３２、ＤＣＴ部３３、量子化部３４、及び可変長符号化部３５は符号化処理を行い、可変長符号化部３５は符号化データを合成部７５へ出力し、合成部７５は入力される符号化データを連結して内部バス１９及びメモリカード制御部１３を介してメモリカード５に格納する。また、逆量子化部３６及びＩＤＣＴ部３７は復号処理を行い、ＩＤＣＴ部３７は復号した画像フレームを参照フレームとして内部バス１９及びＤＲＡＭ制御部１２を介して自身の符号化部に対応する参照フレーム記憶領域に格納する（ステップＳ６１）。
上述した実施の形態によれば、符号化対象の画像フレームの撮像時の光源の輝度推定値に最も近い輝度推定値の画像フレームの符号化を行っていた符号化部を符号化対象の画像フレームの符号化を行う符号化部に決定し、更に、符号化対象の画像フレームと参照フレームとの輝度差を係数補正しながら動きベクトルの検出を行う。これによって、符号化部の並列化による符号化の処理速度の向上が図られるとともに、撮影時の光源の輝度の変化に起因する動きベクトルの誤探索を軽減しつつ、効率の良い符号化を行うことができる。
≪補足≫
本発明は上記の実施の形態に限られるものではなく、例えば、次のようなものであってもよい。
（１）上述した第１及び第３の各実施の形態では、動きベクトル検出部３１，３１ｂは動きベクトルの検出に式（２）の評価関数を用いている。しかしながら、動きベクトルの検出に用いる評価関数は上記の式（２）に限られるものではなく、例えば下記の式（４）、（５）の評価関数を用いてもよい。
本発明は上記の実施の形態に限られるものではなく、例えば、次のようなものであってもよい。
（１）上述した第１及び第３の各実施の形態では、動きベクトル検出部３１，３１ｂは動きベクトルの検出に式（２）の評価関数を用いている。しかしながら、動きベクトルの検出に用いる評価関数は上記の式（２）に限られるものではなく、例えば下記の式（４）、（５）の評価関数を用いてもよい。
また、上述した第２の実施の形態では、動きベクトル検出部３１ａは動きベクトルの検出に式（３）の評価関数を用いている。しかしながら、動きベクトルの検出に用いる評価関数は上記の式（３）に限られるものではなく、例えば下記の式（６）、（７）の評価関数を用いてもよい。
（２）上記の第１から第３の各実施の形態では、蛍光灯フリッカーの成分の有無を判定するために、フリッカースペクトル検出部１６は、１００Ｈｚのスペクトル値及び１２０Ｈｚのスペクトル値を用いているが、これに限られるものではない。例えば、フリッカースペクトル検出部１６は、電源周波数５０Ｈｚに由来する蛍光灯フリッカーの有無の判定のために、その２倍の周波数（１００Ｈｚ）の倍数（１倍を除く。）の周波数（２００Ｈｚ、３００Ｈｚ、・・・）成分のスペクトル値を用いてもよい。また、フリッカースペクトル検出部１６は、電源周波数６０Ｈｚに由来する蛍光灯フリッカーの有無の判定のために、その２倍の周波数（１２０Ｈｚ）の倍数（１倍を除く。）の周波数（２４０Ｈｚ、３６０Ｈｚ、・・・）成分のスペクトル値を用いてもよい。
（３）上記の第１及び第２の各実施の形態では、候補参照フレームが過去４フレーム分の画像フレームであるしているが、これに限られるものではなく、候補参照フレームが過去Ｎ（Ｎ＝２，３，５，６，・・・）フレーム分の画像フレームであってもよい。
また、上記の第３の実施の形態では、符号化部の数が３つであるが、これに限られるものではなく、例えば、符号化部の数はＮ（Ｎ＝２，４，５，・・・）であってもよい。
また、上記の第３の実施の形態では、符号化部の数が３つであるが、これに限られるものではなく、例えば、符号化部の数はＮ（Ｎ＝２，４，５，・・・）であってもよい。
（４）上記の第１及び第２の各実施の形態では、参照フレームの決定に輝度補正係数を利用しているが、これに限られるものではなく、例えば、フレーム輝度値を用いて参照フレームの決定を行うようにしてもよい。この場合、第１の実施の形態では、動き探索部３１は過去の４フレーム分の候補参照フレームの中から符号化対象の画像フレームの撮像時のフレーム輝度値に最も近いフレーム輝度値の候補参照フレームを参照フレームに決定するようにすればよい。また、第２の実施の形態では、動き探索部３１ａは過去の４フレーム分の候補参照フレームの中から最もフレーム輝度値が大きい候補参照フレームを参照フレームに決定するようにすればよい。
また、上記の第３の実施の形態では、分配部７１は画像フレームの撮像時の光源の輝度推定値を用いて符号化対象の画像フレームの分配先を決定しているが、これに限られるものではなく、例えば分配部７１は符号化対象の画像フレームの分配先の決定に画像フレームの撮像時の光源の輝度推定値の逆数を用いてもよい。
（５）上記の第３の実施の形態の符号化部７２，７３，７４として、第１及び第２の実施の形態で説明した符号化部１８，１８ａを用いるようにしてもよく、他の一般的な構成の符号化部を用いるようにしてもよい。また、符号化部７２，７３，７４は、評価関数として輝度補正係数を含まない評価関数（例えば、式（３），（６），（７））を用いてもよい。
（５）上記の第３の実施の形態の符号化部７２，７３，７４として、第１及び第２の実施の形態で説明した符号化部１８，１８ａを用いるようにしてもよく、他の一般的な構成の符号化部を用いるようにしてもよい。また、符号化部７２，７３，７４は、評価関数として輝度補正係数を含まない評価関数（例えば、式（３），（６），（７））を用いてもよい。
（６）上記の第１から第３の各実施の形態では、符号化部１８，１８ａ，７２，７３，７４はＭＰＥＧ−４ ＡＶＣに従う動画像符号化を行うものとしたが、これに限られるものではなく、過去の画像フレームを参照フレームとして利用する動画像符号化であれば方式は問わない。
（７）上記の第１から第３の各実施の形態では、フレーム輝度検出部１５、フリッカースペクトル検出部１６及び輝度推定部１７によって撮影時の光源の輝度を推定しているが、これに限られるものではなく、例えば、照度センサを撮像装置に設けて照度センサによって光源の輝度を推定するようにしてもよい。
（７）上記の第１から第３の各実施の形態では、フレーム輝度検出部１５、フリッカースペクトル検出部１６及び輝度推定部１７によって撮影時の光源の輝度を推定しているが、これに限られるものではなく、例えば、照度センサを撮像装置に設けて照度センサによって光源の輝度を推定するようにしてもよい。
（８）上記の第１から第３の各実施の形態では、フリッカーのスペクトル値の検出にＦＦＴを用いているが、これに限られるものではなく、フリッカーのスペクトル値を検出することができる手段であればよい。
（９）上記の第１の実施の形態では、フレーム輝度値に相当する輝度補正係数を用いて参照フレームの決定及び動きベクトルの検出の双方を行っているが、これに限られるものではなく、参照フレームの決定及び動きベクトルの検出の何れか一方にのみフレーム輝度値に相当する輝度補正係数を用いるようにしてもよい。但し、輝度補正係数を用いない方では輝度補正係数を固定値の１とみなすことによって従来の通常の符号化技術を適用することができる。何れか一方にのみ輝度補正係数を用いた場合、双方に輝度補正係数を用いた場合に比べ、符号化効率は低下するもののコストの削減が図られる。
（９）上記の第１の実施の形態では、フレーム輝度値に相当する輝度補正係数を用いて参照フレームの決定及び動きベクトルの検出の双方を行っているが、これに限られるものではなく、参照フレームの決定及び動きベクトルの検出の何れか一方にのみフレーム輝度値に相当する輝度補正係数を用いるようにしてもよい。但し、輝度補正係数を用いない方では輝度補正係数を固定値の１とみなすことによって従来の通常の符号化技術を適用することができる。何れか一方にのみ輝度補正係数を用いた場合、双方に輝度補正係数を用いた場合に比べ、符号化効率は低下するもののコストの削減が図られる。
（１０）上記の第１から第３の各実施の形態では、輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）を用いているが、これに限られるものではなく、例えばＲＧＢデータやベイヤデータなど輝度に相関があるデータを含むものであればそのまま或いは所定の変換を施すことによって第１から第３の各実施の形態の手法を適用可能である。
（１１）上記の第１から第３の各実施の形態では、ＣＣＤカメラモジュール２が輝度値（Ｙ）の算出を行うことを前提に説明したが、これに限られるものではなく、例えば、一般的な撮像装置同様、画像入力部１４が輝度値（Ｙ）の算出を行うようにしてもよい。この場合、画像入力部１４が多種のイメージセンサに対応することが難しくなるもののコストの削減が図られる。
（１１）上記の第１から第３の各実施の形態では、ＣＣＤカメラモジュール２が輝度値（Ｙ）の算出を行うことを前提に説明したが、これに限られるものではなく、例えば、一般的な撮像装置同様、画像入力部１４が輝度値（Ｙ）の算出を行うようにしてもよい。この場合、画像入力部１４が多種のイメージセンサに対応することが難しくなるもののコストの削減が図られる。
（１２）上記の第１から第３の各実施の形態では、ＣＣＤカメラモジュール２を用いているが、これに限られるものではなく、ＣＣＤカメラモジュール２の代わりに、例えば、ＣＭＯＳイメージセンサなどの他の撮像デバイスを用いてもよい。
（１３）上記の第１から第３の各実施の形態で説明した撮像装置１，１ａ，１ｂに、各実施の形態で説明した符号化処理を実行するモードとその他の符号化処理（例えば、通常の符号化処理）を実行するモードとを切り替えるための機構と、ユーザがモードを選択するためのモード選択ボタンとを設けるようにしてもよい。
（１３）上記の第１から第３の各実施の形態で説明した撮像装置１，１ａ，１ｂに、各実施の形態で説明した符号化処理を実行するモードとその他の符号化処理（例えば、通常の符号化処理）を実行するモードとを切り替えるための機構と、ユーザがモードを選択するためのモード選択ボタンとを設けるようにしてもよい。
また、撮像装置１，１ａ，１ｂに、撮像のフレームレートに応じて、各実施の形態で説明した符号化処理を実行するモードとその他の符号化処理（例えば、通常の符号化処理）を実行するモードとを切り替えるための機構を設けるようにしてもよい。
（１４）上記の第１から第３の各実施の形態などの構成は、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現されてもよい。これらは、個別に１チップ化されてもよいし、各実施の形態の全ての構成または一部の構成を含むように１チップ化されてもよい。
（１４）上記の第１から第３の各実施の形態などの構成は、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現されてもよい。これらは、個別に１チップ化されてもよいし、各実施の形態の全ての構成または一部の構成を含むように１チップ化されてもよい。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（FieldProgrammable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（FieldProgrammable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
本発明は、蛍光灯フリッカーのスペクトル検出機能を有し、動画像符号化を行う撮像装置に利用でき、特に高速度撮影機能を有するデジタルビデオカメラやデジタルカメラなどの映像機器などの撮像装置に有用である。また、これらの撮像装置向けのＬＳＩ等の用途にも応用可能である。
１ 撮像装置
２ ＣＣＤカメラモジュール
３ 画像処理ユニット
４ ＤＲＡＭ
５ メモリカード
６ 入力フレーム記憶領域
７ａ〜７ｄ 参照フレーム記憶領域
１１ プロセッサ
１２ ＤＲＡＭ制御部
１３ メモリカード制御部
１４ 画像入力部
１５ フレーム輝度検出部
１６ フリッカースペクトル検出部
１７ 輝度推定部
１８ 符号化部
１９ 内部バス
３１ 動き探索部
３２ 差分部
３３ ＤＣＴ部
３４ 量子化部
３５ 可変長符号化部
３６ 逆量子化部
３７ ＩＤＣＴ部
２ ＣＣＤカメラモジュール
３ 画像処理ユニット
４ ＤＲＡＭ
５ メモリカード
６ 入力フレーム記憶領域
７ａ〜７ｄ 参照フレーム記憶領域
１１ プロセッサ
１２ ＤＲＡＭ制御部
１３ メモリカード制御部
１４ 画像入力部
１５ フレーム輝度検出部
１６ フリッカースペクトル検出部
１７ 輝度推定部
１８ 符号化部
１９ 内部バス
３１ 動き探索部
３２ 差分部
３３ ＤＣＴ部
３４ 量子化部
３５ 可変長符号化部
３６ 逆量子化部
３７ ＩＤＣＴ部
Claims (6)
- 撮像手段と、
光源のフリッカーの時間波形を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、
前記推定手段により推定された光源の輝度推定値に基づいて、複数の候補参照フレームの中から参照フレームを決定する決定手段と、
前記決定手段により決定された参照フレームに基づいて符号化対象の画像フレームを符号化する符号化手段と、
を備える撮像装置。 - 前記決定手段は、参照フレームの候補である複数の候補参照フレームの中から、前記符号化対象の画像フレームの撮像時の光源の輝度推定値に最も近い輝度推定値の候補参照フレームを参照フレームに決定する
請求項１記載の撮像装置。 - 前記決定手段は、複数の候補参照フレームの中から、光源の輝度推定値が最も大きい候補参照フレームを参照フレームに決定する
請求項１記載の撮像装置。 - 撮像手段と、
光源のフリッカーの時間波形を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、
並列して符号化を行う複数の副符号化手段と、
前記推定手段により推定された光源の輝度推定値に基づいて、複数の前記副符号化手段の中から、符号化対象の画像フレームの符号化を行う副符号化手段を決定する決定手段と、
前記決定手段により決定された前記副符号化手段へ前記符号化対象の画像フレームを出力する分配手段と、
を備える撮像装置。 - 光源のフリッカーの時間波形を検出する検出手段と、
前記検出手段による検出結果に基づいて、撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、
前記推定手段により推定された光源の輝度推定値に基づいて、複数の候補参照フレームの中から参照フレームを決定する決定手段と、
前記決定手段により決定された参照フレームに基づいて符号化対象の画像フレームを符号化する符号化手段と、
を備える集積回路。 - 撮像手順と、
光源のフリッカーの時間波形を検出する検出手順と、
前記検出手順における検出結果に基づいて、前記撮像手順において撮像された画像フレームの撮像時の光源の輝度を推定する推定手順と、
前記推定手順において推定された光源の輝度推定値に基づいて、複数の候補参照フレームの中から参照フレームを決定する決定手順と、
前記決定手順において決定された参照フレームに基づいて符号化対象の画像フレームを符号化する符号化手順と、
を備える撮像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009552337A JP4814380B2 (ja) | 2008-02-04 | 2008-10-23 | 撮像装置、集積回路及び撮像方法 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008023594 | 2008-02-04 | ||
| JP2008023594 | 2008-02-04 | ||
| JP2009552337A JP4814380B2 (ja) | 2008-02-04 | 2008-10-23 | 撮像装置、集積回路及び撮像方法 |
| PCT/JP2008/002998 WO2009098741A1 (ja) | 2008-02-04 | 2008-10-23 | 撮像装置、集積回路及び撮像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2009098741A1 JPWO2009098741A1 (ja) | 2011-05-26 |
| JP4814380B2 true JP4814380B2 (ja) | 2011-11-16 |
Family
ID=40951830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009552337A Expired - Fee Related JP4814380B2 (ja) | 2008-02-04 | 2008-10-23 | 撮像装置、集積回路及び撮像方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8144213B2 (ja) |
| JP (1) | JP4814380B2 (ja) |
| CN (1) | CN101690171B (ja) |
| WO (1) | WO2009098741A1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5427577B2 (ja) * | 2009-12-04 | 2014-02-26 | パナソニック株式会社 | 表示制御装置及び表示画像形成方法 |
| US8542292B2 (en) * | 2011-02-04 | 2013-09-24 | Panasonic Corporation | Flicker correction device, flicker correction method and flicker correction program |
| JP5998862B2 (ja) * | 2012-11-09 | 2016-09-28 | 株式会社ソシオネクスト | 動画像処理装置 |
| US20140321541A1 (en) * | 2013-04-30 | 2014-10-30 | Motorola Solutions, Inc. | Method and apparatus for capturing an image |
| CN104301617B (zh) * | 2013-07-19 | 2017-09-22 | 富士通株式会社 | 闪烁检测方法和闪烁检测设备 |
| US10368105B2 (en) * | 2015-06-09 | 2019-07-30 | Microsoft Technology Licensing, Llc | Metadata describing nominal lighting conditions of a reference viewing environment for video playback |
| JP6827801B2 (ja) | 2016-12-26 | 2021-02-10 | キヤノン株式会社 | 撮像装置および制御方法 |
| US11196940B2 (en) * | 2018-10-10 | 2021-12-07 | Johnson Controls Tyco IP Holdings LLP | Systems and methods of eliminating video flicker caused by LED duty cycling to maintain brightness and control power consumption |
| CN111741290B (zh) * | 2020-04-24 | 2022-03-29 | 展讯通信（上海）有限公司 | 图像频闪检测方法及装置、存储介质、终端 |
| WO2022110159A1 (zh) * | 2020-11-30 | 2022-06-02 | 深圳市大疆创新科技有限公司 | 定位方法、装置、可移动平台、地标及地标阵列 |
| FR3119233B1 (fr) * | 2021-01-22 | 2023-04-28 | St Microelectronics Grenoble 2 | Estimation de fréquence de papillotement |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04309076A (ja) * | 1991-04-05 | 1992-10-30 | Fuji Xerox Co Ltd | フリッカー低減方法および装置 |
| JPH10136385A (ja) * | 1996-09-03 | 1998-05-22 | Nippon Telegr & Teleph Corp <Ntt> | 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体 |
| JP2006121585A (ja) * | 2004-10-25 | 2006-05-11 | Olympus Corp | 動きベクトル検出装置 |
| JP2007097219A (ja) * | 2006-12-04 | 2007-04-12 | Toshiba Corp | 動画像復号化方法及び装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6266370B1 (en) * | 1996-09-03 | 2001-07-24 | Nippon Telegraph And Telephone Corporation | Brightness-variation compensation method and coding/decoding apparatus for moving pictures |
| JP2001231045A (ja) | 2000-02-15 | 2001-08-24 | Nec Corp | 動画像符号化および復号化装置 |
| JP4423889B2 (ja) * | 2002-11-18 | 2010-03-03 | ソニー株式会社 | フリッカ低減方法、撮像装置およびフリッカ低減回路 |
| JP2004179687A (ja) * | 2002-11-22 | 2004-06-24 | Toshiba Corp | 動画像符号化／復号化方法及び装置 |
| US7924923B2 (en) * | 2004-11-30 | 2011-04-12 | Humax Co., Ltd. | Motion estimation and compensation method and device adaptive to change in illumination |
| JP4389883B2 (ja) | 2006-01-30 | 2009-12-24 | ソニー株式会社 | 符号化装置、符号化方法、符号化方法のプログラム、符号化方法のプログラムを記録した記録媒体 |
-
2008
- 2008-10-23 US US12/663,948 patent/US8144213B2/en not_active Expired - Fee Related
- 2008-10-23 WO PCT/JP2008/002998 patent/WO2009098741A1/ja active Application Filing
- 2008-10-23 JP JP2009552337A patent/JP4814380B2/ja not_active Expired - Fee Related
- 2008-10-23 CN CN200880023966XA patent/CN101690171B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04309076A (ja) * | 1991-04-05 | 1992-10-30 | Fuji Xerox Co Ltd | フリッカー低減方法および装置 |
| JPH10136385A (ja) * | 1996-09-03 | 1998-05-22 | Nippon Telegr & Teleph Corp <Ntt> | 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体 |
| JP2006121585A (ja) * | 2004-10-25 | 2006-05-11 | Olympus Corp | 動きベクトル検出装置 |
| JP2007097219A (ja) * | 2006-12-04 | 2007-04-12 | Toshiba Corp | 動画像復号化方法及び装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101690171B (zh) | 2012-07-25 |
| CN101690171A (zh) | 2010-03-31 |
| WO2009098741A1 (ja) | 2009-08-13 |
| US20100157093A1 (en) | 2010-06-24 |
| JPWO2009098741A1 (ja) | 2011-05-26 |
| US8144213B2 (en) | 2012-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4814380B2 (ja) | 撮像装置、集積回路及び撮像方法 | |
| RU2512130C2 (ru) | Устройство и способ получения изображений с более высоким разрешением во встроенном устройстве | |
| US7760953B2 (en) | Image processing apparatus and method, computer program, and storage medium with varied block shapes to execute motion detection | |
| JP5340172B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| WO2011129249A1 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
| JP6149707B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置 | |
| JP2008193530A (ja) | 画像記録装置、画像記録方法、及びプログラム | |
| US8705628B2 (en) | Method and device for compressing moving image | |
| US20120051662A1 (en) | Image processing apparatus and storage medium | |
| US20080212719A1 (en) | Motion vector detection apparatus, and image coding apparatus and image pickup apparatus using the same | |
| JP2007134788A (ja) | 画像処理装置及びプログラム | |
| US10356419B2 (en) | Encoding device and encoding method | |
| US10666970B2 (en) | Encoding apparatus, encoding method, and storage medium | |
| JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| US10516896B2 (en) | Encoding device, encoding method, and storage medium | |
| CN109936741B (zh) | 视频编码方法和系统 | |
| JP5165084B2 (ja) | 画像符号化装置 | |
| JP2009065619A (ja) | 手振れ補正装置及び撮像装置 | |
| JP4760484B2 (ja) | 手振れ補正装置、手振れ補正方法およびプログラム | |
| JP2008103928A (ja) | 撮像装置 | |
| JP5142120B2 (ja) | 映像信号処理装置、映像信号処理方法 | |
| KR101675797B1 (ko) | 흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치 | |
| JP5671900B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| JP2006033145A (ja) | 画像処理装置 | |
| JP2005204076A (ja) | 符号化装置、符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110802 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110825 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |