JP5044015B2 - 動画像符号化装置及び動画像符号化方法 - Google Patents

動画像符号化装置及び動画像符号化方法 Download PDF

Info

Publication number
JP5044015B2
JP5044015B2 JP2010512926A JP2010512926A JP5044015B2 JP 5044015 B2 JP5044015 B2 JP 5044015B2 JP 2010512926 A JP2010512926 A JP 2010512926A JP 2010512926 A JP2010512926 A JP 2010512926A JP 5044015 B2 JP5044015 B2 JP 5044015B2
Authority
JP
Japan
Prior art keywords
image
encoding
bright
unit
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010512926A
Other languages
English (en)
Other versions
JPWO2009141973A1 (ja
Inventor
征永 関
賢治郎 津田
達郎 重里
裕樹 小林
貴司 増野
賀津雄 西郷
浩昭 島崎
琢麻 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010512926A priority Critical patent/JP5044015B2/ja
Publication of JPWO2009141973A1 publication Critical patent/JPWO2009141973A1/ja
Application granted granted Critical
Publication of JP5044015B2 publication Critical patent/JP5044015B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Description

本発明は、動画像に関するデータを符号化する動画像符号化装置及び動画像符号化方法に関し、特に蛍光灯照明下等において、高速撮像した際に生じるフリッカによる符号化効率の低下を抑制できる動画像符号化技術に関する。
蛍光灯照明下において、撮像された画像データには、蛍光灯の電源周波数による明滅のフリッカ成分が含まれる。例えば、関東地区では商用電源周波数は５０Ｈｚであり、蛍光灯はその半波整流周期毎に明滅するため、明滅周波数は１００Ｈｚである。このような照明環境下で例えば毎秒６０フィールドの撮像を行うと、照明の明滅の周期（フリッカ周期）と、撮像の周期（撮像周期）とが異なるため、各フィールド画像の輝度が異なり映像信号にはフリッカ成分が含まれることになる。
そして、このようなフリッカ成分を含む映像信号を符号化すると、映像信号の圧縮効率が低下するという課題があった。そこで、従来、フリッカによる雑音成分を除去し、映像信号の圧縮効率の低下を抑制する技術が開示されている（例えば、特許文献１参照）。この従来の技術によれば、映像信号の信号レベルの変化量（差分）に基づいて、信号レベルを差分補正することにより、当該信号レベルからフリッカによる雑音成分を除去する。これにより、映像信号の圧縮効率の低下を抑制することができ、フリッカによる符号化効率の低下を抑制することができる。
特開平９−１３０８０６号公報
しかしながら、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。
つまり、被写体が撮像された環境下における光の状態によってフリッカが発生し、かつ、上記フリッカによるフリッカ周期に比べて非常に短い撮像周期で撮像を行う場合、各画像間の平均輝度が大きく異なる。このため、上記特許文献１等で開示されている従来の技術では、映像信号の信号レベルの差分が大きくなり過ぎて、信号レベルを差分補正しフリッカによる雑音成分を除去することが困難になる。
特に、照明の輝度が低いタイミングで撮像した画像について、フリッカによる雑音成分を除去することができなければ、当該画像の信号対雑音電力比は低下する。つまり、フリッカによる符号化効率の低下を抑制することができない。
このように、撮像周期がフリッカ周期に比べて非常に短い場合、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。
本発明は、このような従来の課題を解決するもので、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現できる動画像符号化装置及び動画像符号化方法を提供することを目的とする。
上記目的を達成するために、本発明に係る動画像符号化装置は、被写体が撮像された画像の符号化を行う動画像符号化装置であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部とを備える。
また、本発明は、このような動画像符号化装置として実現できるだけでなく、その装置を構成する各処理部を備え当該動画像符号化装置を制御する集積回路として実現したり、当該各処理部の処理をステップとする方法として実現したりすることができる。さらに、本発明は、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
本発明の動画像符号化装置及び動画像符号化方法によれば、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現することができる。
図１は、本発明の実施の形態１における動画像符号化装置の機能的な構成を示すブロック図である。 図２は、本発明の実施の形態１におけるフリッカ制御部の機能的な構成を示すブロック図である。 図３は、本発明の実施の形態１における動画像符号化装置の動作手順を示すフローチャートである。 図４は、本発明の実施の形態１の動画像符号化装置における動画像符号化方法を説明する図である。 図５は、本発明の実施の形態１における照明輝度測光部を備える動画像符号化装置の機能的な構成を示すブロック図である。 図６は、本発明の実施の形態２における動画像符号化装置の機能的な構成を示すブロック図である。 図７は、本発明の実施の形態２におけるフリッカ周期が撮像周期の整数倍とならない場合の動画像符号化方法を説明する図である。 図８は、本発明の実施の形態２の変形例における撮像周期を変更する制御部の機能的な構成を示すブロック図である。 図９は、従来の動画像符号化装置の機能的な構成を示すブロック図である。 図１０は、従来の動画像符号化装置における動画像符号化方法を説明する図である。 図１１は、動画像符号化装置を集積回路で実現する一例を示す図である。
本発明の実施の形態においては、被写体が撮像された画像の符号化を行う動画像符号化装置であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部とを備えることを特徴としている。
これにより、輝度情報から得られる前記光の明滅状態に応じた符号化方法により、符号化が行われる。つまり、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、フリッカによる明滅状態に応じた符号化方法で、画像の符号化が行われる。このため、フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現することが可能となる効果を奏する。
また、前記動画像符号化装置は、さらに、前記明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する画像情報取得部を備え、前記符号化部は、前記画像情報で示される明画像を、画面内予測符号化と、当該明画像の撮像時刻よりも過去に撮像された明画像の復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つにより符号化する構成にしても構わない。
これにより、画面内予測符号化および順方向画面間予測符号化によって符号化される画像を、照明光の輝度が高いタイミングで撮像された明画像としている。このため、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該明画像の信号対雑音電力比を高くすることができる。また、複数の明画像を撮像した場合に、複数の明画像間での撮像時の照明光の輝度を略同一とみなすことができる。そのため、当該複数の明画像間の相関が高くなり、高効率の符号化を実現することが可能となる効果を奏する。
また、前記動画像符号化装置は、さらに、前記被写体を所定の撮像周期で撮像する撮像部を備え、前記画像情報取得部は、前記撮像周期で撮像された画像の中から前記明画像を特定し、前記明画像を示す画像情報を取得する構成にしても構わない。
これにより、被写体を所定の撮像周期で撮像し、当該撮像周期で撮像された画像の中から明画像を特定している。このため、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、周期的に特定される当該明画像の信号対雑音電力比を高くすることができる。また、この周期的に特定される明画像間での撮像時の照明光の輝度を略同一とみなすことができる。そのため、明画像間の相関が高くなり、高効率の符号化を実現することが可能となる効果を奏する。
また、前記動画像符号化装置は、さらに、前記輝度情報取得部が取得した輝度情報から、前記光が明滅する周期であるフリッカ周期を取得するフリッカ周期取得部と、取得された前記フリッカ周期が前記撮像周期の整数倍になるように、前記撮像部が撮像する撮像周期を変更する撮像周期変更部とを備える構成にしても構わない。
これにより、明画像間に挟まる双方向画面間予測符号化を行う画像の数も一定とすることが可能となり、符号化制御が容易となる効果を奏する。
また、前記輝度情報取得部は、撮像された画像の平均輝度値を前記輝度情報として取得する構成にしても構わない。
これにより、撮像された画像に関する情報のみから輝度情報を取得することが可能となる効果を奏する。
また、前記動画像符号化装置は、さらに、前記被写体が撮像された環境での光の照明輝度を測光する照明輝度測光部を備え、前記輝度情報取得部は、測光された前記照明輝度を前記輝度情報として取得する構成にしても構わない。
これにより、フリッカ周期内に含まれる画像を基に輝度情報を算出する場合と比べて、例えば画像の平均輝度の計算が不要となり、さらに被写体像が変化することによる画像平均輝度変化の影響が軽減される効果を奏する。
また、前記符号化部は、さらに、撮像された前記明画像以外の画像については、符号化された当該明画像が復号された復号画像を参照した重み付き予測符号化により符号化を行う構成にしても構わない。
これにより、符号化対象となる明画像以外の画像と、符号化された明画像の復号画像を参照して生成する動き補償予測画像の相関が高くなるため、符号化効率をより改善することが可能となる効果を奏する。
また、前記符号化部は、前記明画像と、符号化対象となる前記明画像以外の画像とが撮像された環境での輝度情報の比を基に重みを決定することで、前記重み付き予測符号化により符号化を行う構成にしても構わない。
これにより、符号化対象となる明画像以外の画像と、符号化された明画像の復号画像を参照して生成する動き補償予測画像との平均輝度を略同一にし、符号化効率をより改善することが可能となる効果を奏する。
また、前記符号化部は、撮像された所定の数の画像をグループ画像とし、前記グループ画像に含まれる画像のうち、撮像順で最初の明画像については、画面内予測符号化により符号化を行う構成にしても構わない。
これにより、例えば、グループ画像をＭＰＥＧ−２規格などに定められたＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）とすることで、ＧＯＰ構造を守り、符号化できる効果を奏する。
また、被写体が撮像された画像の符号化を行う動画像符号化方法であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップとを含む構成にしても構わない。
これにより、画像が撮像された環境の光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現することができるという効果を奏する。
また、被写体が撮像された画像の符号化を行うための動画像符号化プログラムであって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップとをコンピュータに実行させるための動画像符号化プログラムとして構成しても構わない。
これにより、画像が撮像された環境の光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化をプログラムによって実現することができるという効果を奏する。
また、被写体が撮像された画像の符号化を行う動画像符号化集積回路であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部とを備える動画像符号化集積回路として構成しても構わない。
これにより、画像が撮像された環境の光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化を符号化集積回路によって実現することができるという効果を奏する。
なお、本発明における撮像周期とは、隣り合う画像間の時間間隔によって表されるものである。つまり、撮像周期は、単位時間あたりに撮像される画像の枚数の逆数である。単位時間とは、秒、分、時を基本単位としても構わない。
また、フリッカ周期とは、例えば蛍光灯の電源周波数による明滅においては、明から明、または滅から滅までの時間間隔によって表されるものである。
さらに、明画像とは、例えば蛍光灯の電源周波数による明滅において、明状態で撮像された画像等、自装置が置かれた環境下における光状態のうち明状態で撮像された画像を指す。
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、実施の形態１における動画像符号化装置１００のハードウェア構成を示すブロック図である。
図２は、実施の形態１におけるフリッカ制御部１０５の機能的な構成を示すブロック図である。
なお、本発明の実施の形態１における動画像符号化装置１００は、ここでは、電源周波数が６０Ｈｚの蛍光灯照明下において、毎秒４８０フィールドのインタレース走査画像を撮像することを想定するが、このような構成に限定されるものではなく、どのような撮像周期で画像を撮像しても構わない。
図１に示すように、動画像符号化装置１００は、レンズ群１０１、撮像部１０２、Ａ／Ｄ変換部１０３、画像信号処理部１０４、フリッカ制御部１０５、動画像符号化部１０６、記録処理部１０７、記録制御部１０８、入力部１０９、及び制御部１１０を備える。
入力部１０９は、入力デバイスを介して、撮像部１０２における撮像周期の設定などのユーザ操作を受け付ける。そして、入力部１０９は、受け付けたユーザ操作を操作情報として制御部１１０に出力する。この入力部１０９に入力されるユーザ操作は、例えば、タッチパッド入力装置、ポインティングデバイス、タブレット等を利用して入力される。
制御部１１０は、撮像部１０２、画像信号処理部１０４、フリッカ制御部１０５、動画像符号化部１０６、記録処理部１０７、及び記録制御部１０８を制御して、動画像符号化装置１００における記録処理等を実行する。この制御部１１０は、例えばソフトウェアを実行可能なＣＰＵ等で構成しても構わない。
レンズ群１０１は、複数の光学レンズから構成される。
撮像部１０２は、被写体を所定の撮像周期で撮像する。具体的には、撮像部１０２は、例えばＣＣＤ素子等の撮像素子等から構成され、レンズ群１０１を介して入力される被写体を撮像する。また、撮像部１０２が撮像する際の撮像周期は、入力部１０９から制御部１１０に出力された操作情報を基に、制御部１１０を介して指定される。
そして、撮像部１０２は、撮像した画像をアナログ信号としてＡ／Ｄ変換部１０３に出力する。なお、撮像部１０２は、ＣＣＤ素子を利用した構成に限定されるものではなく、ＣＭＯＳ素子を利用した構成にしても構わない。ＣＭＯＳ素子を用いることにより、消費電力を低減することが可能となる。
Ａ／Ｄ変換部１０３は、撮像部１０２から出力されたアナログ信号をデジタル信号に変換する。そして、Ａ／Ｄ変換部１０３は、変換して得られたデジタル信号を画像信号処理部１０４に出力する。
画像信号処理部１０４は、Ａ／Ｄ変換部１０３から出力されたデジタル信号に対してノイズ除去や画質調整等の処理を施したのち、毎秒４８０フィールドのインタレース走査画像（以下、４８０ｉ画像と称す。）を、フリッカ制御部１０５および、動画像符号化部１０６に出力する。
フリッカ制御部１０５は、入力される４８０ｉ画像を基に、自装置が置かれた環境の光状態によるフリッカの有無および、４８０ｉ画像に含まれる画像のうち、明画像の画像情報を、フリッカ情報として動画像符号化部１０６に出力する。
具体的には、図２に示すように、フリッカ制御部１０５は、輝度情報取得部１２１、画像情報取得部１２２、フリッカ周期取得部１２３及び制御バッファ部１２４を備えている。
輝度情報取得部１２１は、被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する。具体的には、輝度情報取得部１２１は、撮像された画像の平均輝度値を、輝度情報として取得する。
さらに具体的には、輝度情報取得部１２１は、４８０ｉ画像に含まれる画像毎の平均輝度値を、当該画像の画素値に基づく輝度値の平均値として算出し、時系列にフリッカ制御部１０５の内部に含まれる制御バッファ部１２４に保存しておく。
そして、輝度情報取得部１２１は、制御バッファ部１２４に保存される平均輝度が周期的に極大値、または極小値をとる場合には、フリッカが発生していると判定し、フリッカ情報として、画像情報取得部１２２を介して動画像符号化部１０６に出力する。
フリッカ周期取得部１２３は、輝度情報取得部１２１が取得した輝度情報から、光が明滅する周期であるフリッカ周期を取得する。具体的には、フリッカ周期取得部１２３は、制御バッファ部１２４に保存される平均輝度が周期的に極大値、または極小値をとる場合に、上記極大値、または上記極小値を取る画像の画像間隔を基に、フリッカ周期を算出する。
画像情報取得部１２２は、輝度情報取得部１２１が取得した輝度情報から得られる、被写体が撮像された環境での光の明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する。具体的には、画像情報取得部１２２は、撮像周期で撮像された画像の中から明画像を特定し、明画像を示す画像情報を取得する。
さらに具体的には、画像情報取得部１２２は、上記極大値を取る画像を、自装置が置かれた環境の光状態が明状態に撮像された明画像と判定し、その画像の画像情報を取得する。そして、画像情報取得部１２２は、当該明画像の画像情報をフリッカ情報として動画像符号化部１０６に出力する。
なお、画像情報は、画像を一意に識別可能な情報であればどのようなものを用いても良く、例えば、画像を撮像した際の撮影時刻情報や、画像のヘッダに含まれる情報等を利用する構成にしても構わない。なお、画像の輝度を算出する際に、画像の平均輝度を算出したが、例えば画像の部分的な平均輝度を算出する構成にしても構わない。
また、制御バッファ部１２４は、不揮発性メモリ等の記録媒体であり、フリッカ制御部１０５に含まれる構成としたが、例えば外部に制御バッファ部１２４を設ける構成にしても構わない。
また、フリッカの有無の判定方法は、画像の平均輝度が周期的に極大値、または極小値をとる場合、フリッカが発生していると判定したが、このような構成に限定されるものではなく、従来から用いられているフリッカの検出方法であればどのようなものを用いても構わない。
図１に戻り、動画像符号化部１０６は、輝度情報取得部１２１が取得した輝度情報から得られる光の明滅状態に応じた、画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、画像の符号化を行う。なお、動画像符号化部１０６は、請求の範囲に記載の「符号化部」に相当する。
具体的には、動画像符号化部１０６は、フリッカ制御部１０５から出力されたフリッカ情報を基に、画像信号処理部１０４から出力された４８０ｉ画像を、圧縮規格であるＭＰＥＧ−２規格や、Ｈ．２６４規格等の符号化方法に基づいて毎秒６０フィールドのインタレース走査画像（以下、６０ｉ画像と称す）として圧縮し、付属情報や、音声信号（図示せず）をＭＰＥＧ−２ Ｓｙｓｔｅｍｓ等の多重方法に基づいて多重する。そして、多重して得られた動画ファイルを、記録処理部１０７に出力する。
また、動画像符号化部１０６は、符号化の際に他の画像から参照される符号化された明画像の復号画像および、撮像順で次の明画像が符号化されるまで符号化を開始できない画像を蓄積するための符号化バッファ部１３１を、内部に備える。符号化バッファ部１３１は、不揮発性メモリ等の記録媒体である。
この動画像符号化部１０６における圧縮方法は、上記フリッカ情報により示される明画像を、画面内予測符号化と、上記符号化バッファ部１３１に蓄積される当該明画像の撮像時刻よりも過去に撮像され符号化された明画像が復号された復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つを用いて符号化するものである。
具体的には、動画像符号化部１０６は、撮像された所定の数の画像をグループ画像とし、当該グループ画像に含まれる画像のうち、撮像順で最初の明画像については、画面内予測符号化により符号化を行う。このグループ画像は、例えばＧＯＰである。なお、このグループ画像に含まれる画像の数は、一定でなくともよく、グループ画像ごとに変化するものであってもよい。
さらに、動画像符号化部１０６は、明画像以外の画像は、符号化の際に参照する撮像順で次の明画像が符号化されるまで上記符号化バッファ部１３１に蓄積された後、上記符号化バッファ部１３１に蓄積される当該画像よりも過去に撮像され符号化された明画像の復号画像と、未来に撮像され符号化される明画像の復号画像との２つを参照する双方向画面間予測符号化を用いて符号化を行うものとする。
この場合、画面内予測符号化および、順方向画面間予測符号化で符号化される画像は、照明光の輝度が高いタイミングで撮像されている画像であるため、信号対雑音電力比が高く、撮像時の照明光の輝度を略同一とみなせるため、画像間の相関が高くなり、高効率の符号化が可能となる効果を奏する。なお、このように６０ｉ画像として符号化された４８０ｉ画像は、８倍速スローの６０ｉ画像として復号し再生することが可能となる。
記録処理部１０７は、動画像符号化部１０６から出力された動画ファイルを、上記圧縮規格に設定されているファイル構成に従って記録媒体１０に書き込む。なお、記録媒体１０は、動画像符号化装置１００に内蔵される記録デバイス、例えばハードディスクドライブでも構わないし、着脱可能な半導体メモリ、例えばＳＤカード等を利用する構成にしても構わない。
記録制御部１０８は、記録媒体１０を駆動するドライブ装置、あるいは、記録アドレス入力手順等の記録プロトコルを制御する。
以下、本発明の実施の形態１における動画像符号化装置１００における、フリッカ情報を用いた動作について、図面を参照しながら説明する。
図３は、動画像符号化装置１００によって被写体を撮像した際の、画像の符号化を示すフローチャートである。また、図４は、動画像符号化装置１００における動画像符号化方法を説明する図である。
（ステップＳ１００１）動画像符号化装置１００は、被写体を撮像し、画像信号処理部１０４において４８０ｉ画像を得ると、該４８０ｉ画像を、フリッカ制御部１０５と動画像符号化部１０６とに出力し、ステップＳ１００２に進む。
（ステップＳ１００２）次に、フリッカ制御部１０５に、入力画像が画像信号処理部１０４から入力されると、輝度情報取得部１２１は、輝度情報を取得し、当該輝度情報を制御バッファ部１２４に記憶させる。そして、輝度情報取得部１２１は、当該輝度情報から入力画像の平均輝度を計算し、算出された平均輝度値と、制御バッファ部１２４に時系列で保存された過去の入力画像の平均輝度を基に、現在入力された入力画像に、フリッカが存在するか否かを判定する。フリッカが発生していると判定された場合はステップＳ１００３に進む。一方、フリッカが発生していないと判定された場合は、ステップＳ１０１０に進む。
（ステップＳ１００３）そして、フリッカ周期取得部１２３は、入力画像にフリッカが発生していると判定された場合、フリッカ周期を取得する。そして、画像情報取得部１２２は、時系列で保存された画像の平均輝度が極大値を取る画像間隔を基に、当該入力画像が明画像に該当するか否かを判定する。当該入力画像が明画像であると判定された場合は、ステップＳ１００４に進む。一方、入力画像が明画像でないと判定された場合は、ステップＳ１００９に進む。
例えば、図４に示すように、電源周波数が６０Ｈｚの蛍光灯照明下で、撮像周期が１／４８０秒である４８０ｉ画像の撮像を行った場合、４８０ｉ画像に含まれる画像の平均輝度が極大値を取る画像は、画像１１０３および、画像１１０７である。つまり、フリッカ周期は４画像単位の１／１２０秒となる。また、入力画像が明画像であると判定された場合は、画像情報取得部１２２は、画像の平均輝度が極大値をとる画像１１０３および、画像１１０７の画像情報をフリッカ情報として、動画像符号化部１０６に出力する。
（ステップＳ１００４）入力画像が明画像であると判定された場合、動画像符号化部１０６は、入力画像が各ＧＯＰの撮影順で最初の明画像であるか否かを判定する。ＧＯＰ内で最初の明画像であると判定された場合は、ステップＳ１００５に進む。一方、各ＧＯＰの撮影順で最初の明画像でないと判定された場合は、ステップＳ１００６に進む。
（ステップＳ１００５）入力画像がＧＯＰ内で最初の明画像であると判定された場合、動画像符号化部１０６は、入力画像を画面内予測符号化により符号化する。さらにステップＳ１００７に進む。
（ステップＳ１００６）入力画像が各ＧＯＰの撮影順で最初の明画像でないと判定された場合、動画像符号化部１０６は、符号化バッファ部１３１に蓄積されている当該明画像の撮影時刻よりも過去の撮影時刻を持つ明画像の復号画像を参照して、順方向画面間予測符号化により符号化する。さらにステップＳ１００７に進む。
（ステップＳ１００７）ステップＳ１００６で符号化された明画像は、他の画像の符号化の際に参照され得るため、当該明画像の復号画像を符号化バッファ部１３１に蓄積する。さらにステップＳ１００８に進む。
（ステップＳ１００８）動画像符号化部１０６は、符号化バッファ部１３１に蓄積されている過去に入力された未符号化画像を、符号化バッファ部１３１に蓄積されている明画像の復号画像を参照した双方向画面間予測符号化により符号化する。そして、ステップＳ１０１１に進む。
（ステップＳ１００９）一方、入力画像が明画像でないと判定された場合、動画像符号化部１０６は入力画像を符号化バッファ部１３１に蓄積する。そして、ステップＳ１０１１に進む。
（ステップＳ１０１０）また、動画像符号化部１０６は、入力画像にフリッカが発生していないと判定された場合、入力画像をフリッカの影響を考慮せずに符号化する。そして、ステップＳ１０１１に進む。
（ステップＳ１０１１）そして、制御部１１０からの制御を基に、符号化処理の終了を判定する。符号化処理を続行する場合は、再度ステップＳ１００１以降の処理を行う。
なお、実施の形態１において、動画像符号化装置１００は、フリッカ制御部１０５が画像信号処理部１０４から出力される画像を基に輝度情報を算出するとしたが、動画像符号化装置は、照明輝度測光部を備えることにしてもよい。
図５は、照明輝度測光部１１１を備える動画像符号化装置３００の機能的な構成を示すブロック図である。
同図に示すように、動画像符号化装置３００は、光センサーなどから構成される照明輝度測光部１１１を備えている。
照明輝度測光部１１１は、被写体が撮像された環境での光の照明輝度を測光する。
そして、図２に示されたフリッカ制御部１０５の輝度情報取得部１２１は、照明輝度測光部１１１が測光した照明輝度を輝度情報として取得する。つまり、輝度情報取得部１２１は、当該照明輝度測光部１１１において得られる照明の測光結果を基に輝度情報を算出する。
このように、照明の測光結果を基に輝度情報を算出する場合、フリッカ周期内に含まれる画像を基に輝度情報を算出する場合と比べて、例えば画像の平均輝度の計算が不要となること、撮像対象物の変化による画像平均輝度変化の影響が軽減されること、などの効果を奏することが期待される。
また、動画像符号化部１０６は、各フリッカ周期内における画像のうち、画像の平均輝度が最大となる明画像以外の画像については、符号化された当該明画像が復号された復号画像を参照した重み付き予測を用いた画面間予測符号化により符号化してもよい。符号化の際に使用する重みは、例えば参照画像である明画像と符号化対象となる明画像以外の画像とが撮像された環境での平均輝度の比から求めることができる。
具体的には、符号化対象画像の平均輝度をｐ、当該符号化対象画像の時間的に前における輝度が所定の閾値よりも大きい画像である前画像の平均輝度をｑ０、当該符号化対象画像の時間的に後における輝度が所定の閾値よりも大きい画像である後画像の平均輝度をｑ１、当該前画像から生成する動き補償予測画像にかける重み係数をＷ０、当該後画像から生成する動き補償予測画像にかける重み係数をＷ１とすると、Ｗ０＝ｐ／２ｑ０、Ｗ１＝ｐ／２ｑ１とすればよい。
このような重み係数をかけて生成される動き補償予測画像の平均輝度は、Ｗ０×ｑ０＋Ｗ１×ｑ１＝ｐとなり符号化対象画像の平均輝度と略同一となる。この結果、符号化対象画像と動き補償予測画像の相関が高くなるため、符号化効率を改善できる。
また、動画像符号化装置１００は、撮像する画像をフリッカ制御部１０５と、動画像符号化部１０６とに同時に入力するものとしたが、撮像する画像を、フリッカ制御部１０５と、動画像符号化部１０６とは異なる位置に配されるフレームバッファ部とに蓄積し、フレームバッファ部に蓄積された画像に関して、フリッカ制御部１０５でフリッカの有無を判定した後、動画像符号化部１０６で符号化を実行してもよい。
上記本実施の形態１における動画像符号化装置１００は、フリッカ制御部１０５で検出されるフリッカ情報を基に、画像が撮像された環境の光の明滅状態のうち、明状態に撮像された明画像（例えば、図４に示された画像１１０３や画像１１０７）を画面内予測符号化、またはその画像よりも過去に撮像され符号化された明画像の復号画像を参照した順方向画面間予測符号化により符号化する。
これにより、これら画面内予測符号化および順方向画面間予測符号化で符号化された画像は、照明光の輝度が高いタイミングで撮像されているため信号対雑音電力比が高く、撮像時の照明光の輝度を略同一とみなせるため、画像間の相関が高くなり、フリッカによる符号化効率の低下を抑制できる。また、これら画面内予測符号化および順方向画面間予測符号化で符号化された画像の復号画像を参照して符号化される画像（例えば、図４に示された画像１１０４、画像１１０５や画像１１０６）についても、参照画像の符号化効率が高く信号対雑音電力比が向上することから、フリッカによる符号化効率の低下を抑制できる。
なお、この画面内予測符号化および順方向画面間予測符号化で符号化された画像の復号画像を参照して符号化される画像の枚数は、フリッカ周期ごとに一定数でなくともよく、フリッカ周期ごとに変化してもよい。この場合であっても、当該画像の信号対雑音電力比が向上することから、フリッカによる符号化効率の低下を抑制できる。
（実施の形態２）
以下、本発明の実施の形態２における動画像符号化装置２００について、図面を参照しながら説明する。本実施の形態２における動画像符号化装置２００と、実施の形態１における動画像符号化装置１００との相違点は、フリッカ制御部１０５によって算出されるフリッカ周期を基に、制御部２１０が受け付ける入力部１０９からの指定撮像周期を制限することである。
図６は、本発明の実施の形態２における動画像符号化装置２００のハードウェア構成を示すブロック図である。なお、実施の形態１における動画像符号化装置１００のハードウェア構成と同じものは、同一符号を使用し、その詳細な説明は省略する。
図７は、本発明の実施の形態２におけるフリッカ周期が撮像周期の整数倍とならない場合の動画像符号化方法を説明する図である。具体的には、同図は、電源周波数が５０Ｈｚの蛍光灯照明下で、毎秒２５０フィールドの撮像を行った場合の符号化方法を示す。
つまり、フリッカ周期は１／１００秒であり、撮像周期は１／２５０秒である。このように、フリッカ周期が撮像周期の整数倍とならない（同図の場合は２．５倍）場合、各フリッカ周期内における画像のうち、画像の平均輝度が最大となる画像１２０１と画像１２０２との平均輝度が、所定の誤差以下とはならない。このため、画像間での相関が小さくなり符号化効率の低下を招く恐れがある。
また、同図に示すように、画像１２０１と画像１２０２との間には２枚の画像があるのに対し、画像１２０２と画像１２０３との間には１枚の画像しかない。このように、画面内予測符号化または順方向画面間予測符号化を行う画像の間に挟まる双方向画面間予測符号化を行う画像の数が一定とならず、符号化制御が複雑となる。
そこで、本発明の実施の形態２の動画像符号化装置２００の制御部２１０は、フリッカ制御部１０５のフリッカ周期取得部１２３によって算出されるフリッカ周期を基に、フリッカ周期が撮像周期の整数倍になるように、入力部１０９から受け付ける指定撮像周期を制限する。
このように、フリッカ周期が撮像周期の整数倍となるように制御部２１０が制御することで、各フリッカ周期内における画像のうち、画像の平均輝度が最大となる画像間で撮像時の照明の輝度が略同一となる。そのため、フリッカによる符号化効率の低下を抑制できる効果を奏する。
さらに、上記のように制御することで、画面内予測符号化または順方向画面間予測符号化を行う画像の間に挟まる双方向画面間予測符号化を行う画像の数も一定となる。そのため、符号化制御が容易となる効果を奏する。
なお、予め指定されている撮像周期が、フリッカ周期が撮像周期の整数倍となるような周期ではない場合、制御部２１０は、ディスプレイなどのユーザーインターフェースを通じて使用者に撮像周期の変更を促す構成にしても構わない。
また、制御部２１０が自動的に撮像周期を変更する構成にしても構わない。
図８は、本発明の実施の形態２の変形例における撮像周期を変更する制御部２１０の機能的な構成を示すブロック図である。
同図に示すように、制御部２１０は、撮像周期変更部１４１を備えている。
そして、撮像周期変更部１４１は、フリッカ周期取得部１２３が取得したフリッカ周期が撮像周期の整数倍になるように、撮像部１０２が撮像する撮像周期を変更する。
このように、本実施の形態２における動画像符号化装置２００は、フリッカ制御部１０５によって算出されるフリッカ周期を基に、入力部１０９から受け付ける指定撮像周期を、フリッカ周期が撮像周期の整数倍となるような周期に制限する。
これにより、画像が撮像された環境の光の明滅状態のうち、明状態に撮像された画像間で撮像時の照明の輝度が略同一となり、フリッカによる符号化効率の低下を抑制できる効果を奏する。また、明画像間に挟まる双方向画面間予測符号化を行う画像の数も一定とすることが可能となり、符号化制御が容易となる効果を奏する。
次に、本発明の実施の形態に係る動画像符号化装置の効果について、具体的に説明する。
まず、図９を参照しながら、従来の動画像符号化装置の動作の概要を説明する。なお、同図は、従来の動画像符号化装置の機能的な構成を示す機能ブロック図である。また、ここではフレーム符号化を行う場合を例に、動画像符号化装置の動作の概要を説明する。
まず、撮像部１で入射される光信号は電気信号に変換され、画像信号処理部２でさらに画像信号に変換された後、符号化方式により定められた所定のブロック単位でフリッカ除去部５１０へ入力される。所定のブロック単位の画像信号は、レベル補正部５１３を通過して、次段の動画像符号化部２０へ入力される。ここで、動画像符号化部２０の動き補償画面間予測部２１は、画像信号の現フレームと、前フレームとの間で被写体の動領域と静止領域をブロック単位で検出する。この動領域と静止領域は、現フレームと、前フレームとの間での信号レベルの変化に基づいて判定され、レベル変化量が所定のしきい値以下の場合は静止領域、しきい値を超えた場合は動領域とする。
信号レベル変化の大きい動領域については、そのレベル変化が、被写体が動いたことによるものか、フリッカなどの雑音によるものかを判断することは困難であるが、レベル変化量が小さい静止領域については、あくまで被写体が静止していると認識するため、その微少なレベル変化はフリッカ等の雑音に起因するものと判断できる。
そこで、静止領域レベル検出部５１１において、動き補償画面間予測部２１が出力する静止領域位置情報ａにより、静止領域の信号レベルを検出しブロック信号レベルｂを出力する。このブロック信号レベルｂはレベル平均化部５１２において画像１フレーム分蓄積された後、平均値ｃを算出する。フリッカ等の雑音が重畳されている場合は、ここで算出される平均値ｃと現フレームの静止領域のレベル差分は、零に対してプラスまたは、マイナスの値を取り得る。レベル補正部５１３はレベル平均化部５１２が算出した平均値レベル信号ｃと、現フレームの静止領域との差分を演算することにより、フレーム内の信号レベルから雑音成分を除去する。フリッカ等の雑音が除去されたブロック順次のデータは、動画像符号化部２０において、符号化される。
しかしながら、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。
つまり、被写体が撮像された環境下における光の状態によってフリッカが発生し、かつ、上記フリッカによるフリッカ周期に比べて非常に短い撮像周期で撮像を行う場合、各画像間の平均輝度が大きく異なる。このため、上記従来の技術では、映像信号の信号レベルの差分が大きくなり過ぎて、信号レベルを差分補正しフリッカによる雑音成分を除去することが困難になる。
特に、照明の輝度が低いタイミングで撮像した画像について、フリッカによる雑音成分を除去することができなければ、当該画像の信号対雑音電力比は低下する。つまり、フリッカによる符号化効率の低下を抑制することができない。
このように、撮像周期がフリッカ周期に比べて非常に短い場合、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、以下のように、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。
図１０は、従来の動画像符号化装置における動画像符号化方法を説明する図である。具体的には、同図は、従来の動画像符号化装置において、電源周波数が６０Ｈｚの蛍光灯照明下で、毎秒４８０フィールドの撮像を行った場合の符号化方法を示す。
同図において、Ｉ画像１００１は画面内予測符号化を行う画像、Ｐ画像１００４、１００７は順方向画面間予測符号化を行う画像、Ｂ画像１００２、１００３、１００５、１００６、１００８、１００９は双方向画面間予測符号化を行う画像を示す。
ここで、Ｐ画像１００４はＩ画像１００１を参照して符号化し、Ｐ画像１００７はＰ画像１００４を参照して符号化するものとする。また、Ｂ画像１００２および１００３は、Ｉ画像１００１およびＰ画像１００４を参照して符号化し、Ｂ画像１００５と、Ｂ画像１００６とは、Ｐ画像１００４と、Ｐ画像１００７とを参照して符号化するものとする。
同図に示すように、照明の輝度が低いタイミングで撮像された信号対雑音電力比が低いＩ画像１００１を画面内予測符号化した場合、当該Ｉ画像１００１を参照して順方向画面間予測符号化するＰ画像１００４については、参照するＩ画像１００１に雑音成分が多く含まれること、およびＩ画像１００１とＰ画像１００４の撮像時の照明輝度が異なることから、画像間の相関が小さくなり高効率の符号化は困難である。
また、Ｐ画像１００７についても、参照するＰ画像１００４は符号化効率が低いためその復号画像には雑音成分が多く含まれること、およびＰ画像１００４とＰ画像１００７の撮像時の照明輝度が異なることから、画像間の相関が小さくなり高効率の符号化は困難である。
さらに、これらの画面内予測符号化および順方向画面間予測符号化した画像を参照して双方向画面間予測符号化を行う画像に関しても、同様に高効率の符号化は困難である。
そして、本発明の実施の形態に係る動画像符号化装置によれば、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現できる。
以上、本発明に係る動画像符号化装置について、上記実施の形態を用いて説明したが、本発明は、これに限定されるものではない。
つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
例えば、本実施の形態では、撮像部１０２は、被写体を所定の撮像周期で撮像し、画像情報取得部１２２は、当該撮像周期で撮像された画像の中から明画像を示す画像情報を取得することとした。しかし、画像情報取得部１２２が、明画像を示す画像情報を取得できるのであれば、撮像部１０２が被写体を撮像するのは、所定の撮像周期でなくともよい。
また、本実施の形態では、画像情報取得部１２２が、明状態で撮像された明画像を示す画像情報を取得し、動画像符号化部１０６は、当該明画像を、画面内予測符号化又は順方向画面間予測符号化を用いて符号化することとした。しかし、この符号化対象の画像は、明画像に限られない。つまり、画像情報取得部１２２は、明画像ではなく輝度が同じ環境で撮像された画像を示す画像情報を取得し、動画像符号化部１０６は、当該画像を、画面内予測符号化又は順方向画面間予測符号化を用いて符号化することにしてもよい。
なお、本発明の実施の形態に係る動画像符号化装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、システムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ネットワークインターフェース等を備えるとしてもよい。さらに、ＤＶＤ−ＲＡＭ、Ｂｌｕ−ｒａｙディスク、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードのような可搬性の記録媒体に対して読み書き可能なドライブ装置を備えるとしてもよい。
なお、動画像符号化装置は、デジタルビデオカメラ、デジタルレコーダ、デジタルテレビ、ゲーム機、携帯電話機等のような組み込みシステムとしてもよい。
さらに、ＨＤＤまたはＲＯＭ等に、動画像符号化装置を制御するプログラム（以下、動画像符号化プログラムと呼称する。）がインストールされており、動画像符号化プログラムが実行されることによって、動画像符号化装置の各機能が実現されるとしてもよい。
なお、動画像符号化プログラムは、コンピュータシステム、組み込みシステム等のようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。これによって、動画像符号化装置の各機能を他のハードウェアシステムに実現することができる。ここで、コンピュータシステム読み取り可能な記録媒体として、光学記録媒体（例えば、ＣＤ−ＲＯＭ等。）、磁気記録媒体（例えば、ハードディスク等。）、光磁気記録媒体（例えば、ＭＯ等。）、半導体メモリ（例えば、メモリカード等。）等がある。
また、動画像符号化プログラムは、インターネット、ローカルエリアネットワーク等のようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。これによって、動画像符号化装置の各機能を他のハードウェアシステムに実現することができる。ここで、ネットワークとして、地上放送網、衛星放送網、ＰＬＣ（Ｐｏｗｅｒ Ｌｉｎｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、移動電話網、有線通信網（例えば、ＩＥＥＥ８０２．３等。）、無線通信網（例えば、ＩＥＥＥ８０２．１１等。）がある。
または、動画像符号化装置に実装される動画像符号化集積回路によって、動画像符号化装置の各機能が実現されるとしてもよい。
図１１は、動画像符号化装置を集積回路で実現する一例を示す図である。
同図に示すように、動画像符号化装置の各機能ブロックは、集積回路（ＬＳＩ）である動画像符号化集積回路４００として実現される。具体的には、図１、図５及び図６に示されたブロック図からレンズ群１０１及び撮像部１０２を除いた各機能ブロックが、動画像符号化集積回路４００として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
なお、動画像符号化集積回路は、フルカスタムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のようなセミカスタムＬＳＩ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）等のようなプログラマブル・ロジック・デバイス、動的に回路構成が書き換え可能なダイナミック・リコンフィギュラブル・デバイスに形成されるとしてもよい。
さらに、動画像符号化装置の各機能を動画像符号化集積回路に形成する設計データは、ハードウェア記述言語によって記述されたプログラム（以下、ＨＤＬプログラムと称す。）としてもよい。さらに、ＨＤＬプログラムを論理合成して得られるゲート・レベルのネットリストとしてもよい。また、ゲート・レベルのネットリストに、配置情報、プロセス条件等を付加したマクロセル情報としてもよい。また、寸法、タイミング等が規定されたマスクデータとしてもよい。ここで、ハードウェア記述言語として、ＶＨＤＬ（Ｖｅｒｙ ｈｉｇｈ ｓｐｅｅｄ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ Ｈａｒｄｗａｒｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）、Ｖｅｒｉｌｏｇ−ＨＤＬ、ＳｙｓｔｅｍＣがある。
さらに、設計データは、コンピュータシステム、組み込みシステム等のようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。そして、これらの記録媒体を介して他のハードウェアタシステムに読み取られた設計データが、ダウンロードケーブルを介して、プログラマブル・ロジック・デバイスにダウンロードされるとしてもよい。
または、設計データは、インターネット、ローカルエリアネットワーク等のようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。そして、これらのネットワークを介して他のハードウェアシステムに取得された設計データが、ダウンロードケーブルを介して、プログラマブル・ロジック・デバイスにダウンロードされるとしてよい。
または、設計データは、通電時にＦＰＧＡに転送され得るように、シリアルＲＯＭに記録しておくとしてもよい。そして、シリアルＲＯＭに記録された設計データは、通電時に、直接、ＦＰＧＡにダウンロードされるとしてもよい。
または、設計データは、通電時に、マイクロプロセッサによって生成されて、ＦＰＧＡにダウンロードされるとしてもよい。
本発明は、蛍光灯照明下等で撮像した際に生じるフリッカによる符号化効率の低下を抑制できる動画像符号化装置を提供する。特に、高速撮像した際に生じるフリッカによる符号化効率の低下を抑制する動画像符号化装置において有用である。
１ 撮像部
２ 画像信号処理部
１０ 記録媒体
２０ 動画像符号化部
２１ 動き補償画面間予測部
１００、２００、３００ 動画像符号化装置
１０１ レンズ群
１０２ 撮像部
１０３ Ａ／Ｄ変換部
１０４ 画像信号処理部
１０５ フリッカ制御部
１０６ 動画像符号化部
１０７ 記録処理部
１０８ 記録制御部
１０９ 入力部
１１０、２１０ 制御部
１１１ 照明輝度測光部
１２１ 輝度情報取得部
１２２ 画像情報取得部
１２３ フリッカ周期取得部
１２４ 制御バッファ部
１３１ 符号化バッファ部
１４１ 撮像周期変更部
４００ 動画像符号化集積回路
５１０ フリッカ除去部
５１１ 静止領域レベル検出部
５１２ レベル平均化部
５１３ レベル補正部

Claims (11)

  1. 被写体が撮像された画像の符号化を行う動画像符号化装置であって、
    前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、
    取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部と、
    前記明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する画像情報取得部とを備え、
    前記符号化部は、前記画像情報で示される明画像を、画面内予測符号化と、当該明画像の撮像時刻よりも過去に撮像された明画像の復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つにより符号化する
    動画像符号化装置。
  2. 前記動画像符号化装置は、さらに、
    前記被写体を所定の撮像周期で撮像する撮像部を備え、
    前記画像情報取得部は、前記撮像周期で撮像された画像の中から前記明画像を特定し、前記明画像を示す画像情報を取得する
    請求項１に記載の動画像符号化装置。
  3. 前記動画像符号化装置は、さらに、
    前記輝度情報取得部が取得した輝度情報から、前記光が明滅する周期であるフリッカ周期を取得するフリッカ周期取得部と、
    取得された前記フリッカ周期が前記撮像周期の整数倍になるように、前記撮像部が撮像する撮像周期を変更する撮像周期変更部とを備える
    請求項２に記載の動画像符号化装置。
  4. 前記輝度情報取得部は、撮像された画像の平均輝度値を前記輝度情報として取得する
    請求項１に記載の動画像符号化装置。
  5. 前記動画像符号化装置は、さらに、
    前記被写体が撮像された環境での光の照明輝度を測光する照明輝度測光部を備え、
    前記輝度情報取得部は、測光された前記照明輝度を前記輝度情報として取得する
    請求項１に記載の動画像符号化装置。
  6. 前記符号化部は、さらに、撮像された前記明画像以外の画像については、符号化された当該明画像が復号された復号画像を参照した重み付き予測符号化により符号化を行う
    請求項１に記載の動画像符号化装置。
  7. 前記符号化部は、前記明画像と、符号化対象となる前記明画像以外の画像とが撮像された環境での輝度情報の比を基に重みを決定することで、前記重み付き予測符号化により符号化を行う
    請求項６に記載の動画像符号化装置。
  8. 前記符号化部は、撮像された所定の数の画像をグループ画像とし、前記グループ画像に含まれる画像のうち、撮像順で最初の明画像については、画面内予測符号化により符号化を行う
    請求項１に記載の動画像符号化装置。
  9. 被写体が撮像された画像の符号化を行う動画像符号化方法であって、
    前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、
    取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップと、
    前記明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する画像情報取得ステップとを含み、
    前記符号化ステップでは、前記画像情報で示される明画像を、画面内予測符号化と、当該明画像の撮像時刻よりも過去に撮像された明画像の復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つにより符号化する
    動画像符号化方法。
  10. 被写体が撮像された画像の符号化を行うための動画像符号化プログラムであって、
    前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、
    取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップと、
    前記明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する画像情報取得ステップとをコンピュータに実行させ、
    前記符号化ステップでは、前記画像情報で示される明画像を、画面内予測符号化と、当該明画像の撮像時刻よりも過去に撮像された明画像の復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つにより符号化する
    動画像符号化プログラム。
  11. 被写体が撮像された画像の符号化を行う動画像符号化集積回路であって、
    前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、
    取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部と、
    前記明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する画像情報取得部とを備え、
    前記符号化部は、前記画像情報で示される明画像を、画面内予測符号化と、当該明画像の撮像時刻よりも過去に撮像された明画像の復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つにより符号化する
    動画像符号化集積回路。
JP2010512926A 2008-05-20 2009-05-12 動画像符号化装置及び動画像符号化方法 Active JP5044015B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010512926A JP5044015B2 (ja) 2008-05-20 2009-05-12 動画像符号化装置及び動画像符号化方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008131509 2008-05-20
JP2008131509 2008-05-20
PCT/JP2009/002061 WO2009141973A1 (ja) 2008-05-20 2009-05-12 動画像符号化装置及び動画像符号化方法
JP2010512926A JP5044015B2 (ja) 2008-05-20 2009-05-12 動画像符号化装置及び動画像符号化方法

Publications (2)

Publication Number Publication Date
JPWO2009141973A1 JPWO2009141973A1 (ja) 2011-09-29
JP5044015B2 true JP5044015B2 (ja) 2012-10-10

Family

ID=41339914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010512926A Active JP5044015B2 (ja) 2008-05-20 2009-05-12 動画像符号化装置及び動画像符号化方法

Country Status (3)

Country Link
US (1) US8494050B2 (ja)
JP (1) JP5044015B2 (ja)
WO (1) WO2009141973A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130342690A1 (en) * 2012-06-26 2013-12-26 Thomas H. Williams Technique for Enhancing the Quality of Compressed Video Images
US9648249B2 (en) * 2013-11-20 2017-05-09 Canon Kabushiki Kaisha Image capturing apparatus, method of controlling the same, and storage medium
CN111273050B (zh) * 2020-02-12 2022-05-20 清华大学 信号采集处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257500A (ja) * 1997-03-10 1998-09-25 Sony Corp 映像信号処理装置
JP2006084556A (ja) * 2004-09-14 2006-03-30 Pentax Corp 焦点検出装置
JP2007158712A (ja) * 2005-12-05 2007-06-21 Canon Inc 画像符号化装置及び画像符号化方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2937829B2 (ja) 1995-10-27 1999-08-23 日本電気エンジニアリング株式会社 画像符号化伝送装置
JP2000134631A (ja) 1998-10-23 2000-05-12 Canon Inc 画像符号化装置、方法、画像復号化装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2006287743A (ja) 2005-04-01 2006-10-19 Canon Inc 情報処理装置及びその制御方法、プログラム、記憶媒体
US8036281B2 (en) 2005-06-01 2011-10-11 Canon Kabushiki Kaisha Image coding apparatus and image coding method
KR101303876B1 (ko) * 2006-05-19 2013-09-04 삼성전자주식회사 촬상 기기의 포커싱 제어 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257500A (ja) * 1997-03-10 1998-09-25 Sony Corp 映像信号処理装置
JP2006084556A (ja) * 2004-09-14 2006-03-30 Pentax Corp 焦点検出装置
JP2007158712A (ja) * 2005-12-05 2007-06-21 Canon Inc 画像符号化装置及び画像符号化方法

Also Published As

Publication number Publication date
US8494050B2 (en) 2013-07-23
US20110032989A1 (en) 2011-02-10
WO2009141973A1 (ja) 2009-11-26
JPWO2009141973A1 (ja) 2011-09-29

Similar Documents

Publication Publication Date Title
CN101662578B (zh) 图像处理装置及其控制方法
JP5243432B2 (ja) 画像処理装置、及び画像処理方法
JP4799438B2 (ja) 画像記録装置、画像記録方法、画像符号化装置、及びプログラム
JP2006253768A (ja) デジタルカメラ
US8035699B2 (en) Image capturing apparatus, control method therefor, and program
JP2004200989A (ja) 撮影装置及び監視システム
KR20080095084A (ko) 영상 잡음 제거 장치 및 방법
JP4483483B2 (ja) 撮像装置
CN101568031A (zh) 图像处理设备及其控制方法
US20080100730A1 (en) Imaging apparatus and control method thereof
JP5044015B2 (ja) 動画像符号化装置及び動画像符号化方法
JP5044922B2 (ja) 撮像装置及びプログラム
KR20100061311A (ko) 촬상장치 및 촬상장치의 제어 방법
US20100074597A1 (en) Image processing apparatus, image processing method, and program
JP2023052939A (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
JP2009124238A (ja) 撮像装置及びそのフリッカ検出方法
JP5165084B2 (ja) 画像符号化装置
JP2008103928A (ja) 撮像装置
JP5211947B2 (ja) 撮像装置及びプログラム
JP2018191136A (ja) 符号化装置、符号化方法およびプログラム
JP2011097204A (ja) 撮像装置
JP2009232004A (ja) 信号処理装置および信号処理方法、ならびに、撮像装置および撮像装置の制御方法
JP2010233186A (ja) 電子カメラ及び符号化方法
JP5202713B2 (ja) 撮像装置及びその制御方法
JP2006041648A (ja) 動画像処理ユニット

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120712

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250