JP7159320B2 - ビデオ復号化方法及びカメラ - Google Patents

Description

本発明は、画像処理の分野に関し、特に、ビデオ復号化方法及びにカメラに関する。

カメラで動くもの、特に高速で動く物体を撮影して得られたビデオでは、ビデオのフレームレートが不十分なため、撮られた物体の動きの不連続現象が発生し、再生速度を下げてスローモーションで見る場合、このような動きの不連続現象がより顕著に現れる。

本発明の目的は、動く物体のビデオに発生する、フレームレートに起因する動きが不連続な現象が解決できるビデオ復号化方法、コンピューター可読記憶媒体及びカメラを提供することである。

本発明によるビデオ復号化方法は、ビデオを読み込んで、ビデオから各フレーム画像を復号化するステップ、任意の相互隣接する２つのフレーム画像に対し、第一オプティカルフロー場を算出するステップ、前記第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、ここで前記位置が相互隣接する２つのフレーム画像の中心であるステップ、前記第二オプティカルフロー場を利用して、前記挿入待ちフレーム画像の各画素の、前記相互隣接する２つのフレーム画像の１つ前のフレーム画像での対応する画素位置を算出し、前記１つ前のフレーム画像における画素値を取得して前記挿入待ちフレーム画像の画素に割り当てるステップ、挿入されたフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておいて、高フレームレートのビデオを再構成するステップを含む。

さらに、本発明によるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置により前記コンピュータープログラムを実行する際、本発明によるビデオ復号化方法のステップを実施する。

さらに、本発明によるカメラは、一つ又は複数の処理装置と、記憶装置と、一つ又は複数のコンピュータープログラムを備え、前記処理装置と前記記憶装置はバスによって接続されており、前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶されて、前記一つ又は複数の処理装置により実行されるように配置され、前記処理装置により前記コンピュータープログラムを実行する際、本発明によるビデオ復号化方法のステップを実施する。

本発明によれば、任意の相互隣接する２つのフレーム画像に対し、第一オプティカルフロー場を算出し、第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、第二オプティカルフロー場を利用して、挿入待ちフレーム画像の各画素の相互隣接する２つのフレーム画像の１つ前のフレーム画像の対応する画素位置を算出し、１つ前のフレーム画像における画素値を取得して挿入待ちフレーム画像の画素に割り当てて、挿入したフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておく。これにより、高フレームレートのビデオを再構成するので、動きが不連続な現象が解消又は遅延して、より円滑な視覚効果を達成することができる。

本発明の第一の実施形態によるビデオ復号化方法のフローチャートである。 本発明の第三の実施形態によるカメラの構成ブロック図である。

本発明の目的、技術的手段及び有益な効果をより明確に説明するために、以下、図面、実施形態に基づいて詳しく説明する。もちろん、下記の実施形態は本発明を説明するためものであり、本発明を限定するものではない。

[第一の実施形態]
図１に示すように、本実施形態によるビデオ復号化方法は、下記ステップを含むが、実質上同じ効果をもたらすのであれば、図１に示されたフローチャートの順番に限らない。

Ｓ１０１：ビデオを読み込んで、ビデオから各フレーム画像を復号化する。

Ｓ１０２：任意の相互隣接する２つのフレーム画像に対し、第一オプティカルフロー場を算出する。

本実施形態において、Ｓ１０２は、具体的には、
任意の相互隣接する２つのフレーム画像に対しダウンサンプリングを行って、適切な解像度まで下げること；
ダウンサンプリング後の相互隣接する２つのフレーム画像に対しオプティカルフローを算出して、解像度が下げられた第一オプティカルフロー場を得ること；
第一オプティカルフロー場に対し、オリジナル画像の解像度になるようにアップサンプリングして、オリジナル画像の解像度での第一オプティカルフロー場を得ることを含む。

本実施形態において、ビデオ復号化方法は、第一オプティカルフロー場に対して、オリジナル画像の解像度になるようにアップサンプリングし、オリジナル画像の解像度での第一オプティカルフロー場を得た後、さらに、オリジナル画像の解像度の第一オプティカルフロー場に対して、連続性を確保するように平滑化処理を行うステップを含む。詳しくは、オリジナル画像の解像度での第一オプティカルフロー場のオプティカルフロー値にサンプリング係数を掛けることで、オリジナル画像の解像度になったときのオプティカルフローの正確性を確保する。

Ｓ１０３：第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出する。その位置は相互隣接する２つのフレーム画像の中心である。

本実施形態において、Ｓ１０３は、具体的には、
相互隣接する２つのフレーム画像中の第一フレーム画像I₁から前記相互隣接する２つのフレーム画像中の第二フレーム画像I₂への第一オプティカルフロー場をM₁とし、第一フレーム画像I₁と第二フレーム画像I₂との中心に１つのフレーム画像を挿入したとき、挿入されたフレーム画像から第一フレーム画像I₁への第二オプティカルフロー場をMとすると、
M(x+dx,y+dy)=－M₁(x,y)/2；
ここで、(dx,dy)=M₁(x,y)は、第一フレーム画像I₁の (x,y)座標から第二フレーム画像I₂への動きベクトルである。

第二オプティカルフロー場Mには空洞が存在する可能性があり、つまり、無効座標が存在する。このため、本実施形態において、ビデオ復号化方法は、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出した後、さらに、第二オプティカルフロー場に存在する無効座標に対し、無効座標の周りで最小の領域（例えば、正方形、長方形など）を取得して、その領域に有効座標が含まれるようにし、その後、有効座標のオプティカルフローの平均値を無効座標に代入して、オプティカルフローの空洞を埋め、最後に、第二オプティカルフロー場Mに対して平滑化処理を行うステップを含む。

Ｓ１０４：第二オプティカルフロー場を利用して、挿入待ちフレーム画像の各画素の、相互隣接する２つのフレーム画像の１つ前のフレーム画像における対応する画素位置を算出し、１つ前のフレーム画像における画素値を取得して挿入待ちフレーム画像の画素に割り当てる。

本実施形態において、Ｓ１０４は、具体的には、
挿入されるフレーム画像をIとし、第二オプティカルフロー場をMとして、相互隣接する２つのフレーム画像中の第一フレーム画像I₁における、挿入されるフレーム画像I中の各座標(x,y)の位置(x+dx,y+dy)を算出しする。ここで、(dx,dy)=M(x,y) は、挿入されるフレーム画像をIから第一フレーム画像I₁への座標 (x,y)での動きベクトルであり、挿入されるフレーム画像Iの各画素に値を与え、具体的な式ははI (x,y)= I₁(x+dx,y+dy)である。

Ｓ１０５：挿入したフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておいて、高フレームレートのビデオを再構成する。

本実施形態において、Ｓ１０５は、具体的には、
ビデオから復号化したフレーム画像の配列をI_i 、I_i+1……とし、オプティカルフローを利用してフレーム画像I_i とI_i+1との間にフレーム画像I_i ^’ を挿入して、フレーム画像をI₁、I₁ ^’、I₂、I₂ ^’……の順にビデオストリーミングに符号化して、高フレームレートのビデオを形成する。

[第二の実施形態]
本実施形態よるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置によりコンピュータープログラムを実行する際、上記第一の実施形態によるビデオ復号化方法のステップを実施する。

［第三の実施形態］
図２は、本発明の実施形態によるカメラの構成ブロック図を示す。本実施形態によるカメラ１００は、一つ又は複数の処理装置１０１と、記憶装置１０２と、一つ又は複数のコンピュータープログラムとを備えている。処理装置１０１と記憶装置１０２はバスによって接続されており、一つ又は複数のコンピュータープログラムは、記憶装置１０２に記憶されて、一つ又は複数の処理装置１０１により実行されるように配置されている。処理装置１０１によりコンピュータープログラムを実行する際、上記第一の実施形態によるビデオ復号化方法のステップを実施する。

本発明において、任意の相互隣接する２つのフレーム画像に対し、第一オプティカルフロー場を算出し、第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、第二オプティカルフロー場を利用して、挿入待ちフレーム画像の各画素の、相互隣接する２つのフレーム画像の１つ前のフレーム画像における対応する画素位置を算出し、１つ前のフレーム画像における画素値を取得して挿入待ちフレーム画像の画素に割り当てて、挿入されたフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておく。これにより、高フレームレートのビデオを再構成することができるので、動きが不連続な現象が解消又は遅延して、より円滑な視覚効果を達成する。

もちろん、上述した方法におけるすべて又は一部のステップは、プログラムにより関連するハードウェアに指令を出して完了することができ、そのプログラムをコンピューター可読記憶媒体に記憶することができる。ここで、記憶媒体としては、例えば、リードオンリーメモリ（ＲＯＭ，Read Only Memory）、ランダムアクセスメモリ（ＲＡＭ，Random Access Memory）、磁気ディスク、光ディスクなどがある。

以上のように、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、本発明の趣旨及びその範囲から逸脱しない限り、その趣旨に基づいて変更、同等の置換又は改善することができ、いずれも本発明の保護範囲に含まれる。

Claims (6)

1. ビデオを読み込んで、ビデオから各フレーム画像を復号化することと、
   任意の相互隣接する２つのフレーム画像に対し、第一オプティカルフロー場を算出することと、
   前記第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、前記位置が相互隣接する２つのフレーム画像の中心であることと、
   前記第二オプティカルフロー場を利用して、挿入待ちフレーム画像の各画素の前記相互隣接する２つのフレーム画像のうち、前に位置するフレーム画像に対応する画素位置を算出し、前記前に位置するフレーム画像における画素値を取得して前記挿入待ちフレーム画像の画素に割り当てることと、
   挿入されたフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておいて、高フレームレートのビデオを再構成することを含み、
   前記任意の相互隣接する２つのフレーム画像に対し、第一オプティカルフロー場を算出することは、
   任意の相互隣接する２つのフレーム画像に対しダウンサンプリングを行って、適切な解像度まで下げることと、
   ダウンサンプリング後の前記相互隣接する２つのフレーム画像に対しオプティカルフローを算出して、解像度が下げられた第一オプティカルフロー場を得ることと、
   前記第一オプティカルフロー場に対し、オリジナル画像の解像度になるようにアップサンプリングして、オリジナル画像の解像度での第一オプティカルフロー場を得ることを含み、
   前記第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、前記位置が相互隣接する２つのフレーム画像の中心であることは、
   前記相互隣接する２つのフレーム画像中の第一フレーム画像I ₁ から前記相互隣接する２つのフレーム画像中の第二フレーム画像I ₂ への前記第一オプティカルフロー場をM ₁ とし、前記第一フレーム画像I ₁ と前記第二フレーム画像I ₂ との中心に１つのフレーム画像を挿入したとき、挿入された前記フレーム画像から前記第一フレーム画像I ₁ への前記第二オプティカルフロー場をMとすると、
   M(x+dx,y+dy)=－M ₁ (x,y)/2
   ここで、(dx,dy)=M ₁ (x,y)は、前記第一フレーム画像I ₁ の (x,y)座標から前記第二フレーム画像I ₂ への動きベクトルであり、
   前記第二オプティカルフロー場を利用して、挿入待ちフレーム画像の各画素の前記相互隣接する２つのフレーム画像のうち、前に位置するフレーム画像に対応する画素位置を算出し、前記前に位置するフレーム画像における画素値を取得して前記挿入待ちフレーム画像の画素に割り当てることは、
   挿入されるフレーム画像をIとし、前記第二オプティカルフロー場をMとして、前記相互隣接する２つのフレーム画像中の第一フレーム画像I ₁ における、前記挿入されるフレーム画像I中の各座標(x,y)の位置(x+dx,y+dy)を算出し、ここで、(dx,dy)=M(x,y) は、前記挿入されるフレーム画像Iから前記第一フレーム画像I ₁ への座標 (x,y)での動きベクトルであり、
   前記挿入されるフレーム画像Iの各画素に値を与えて、
   I(x,y)= I ₁ (x+dx,y+dy)である
   ことを特徴とするビデオ復号化方法。
2. 前記第一オプティカルフロー場に対し、オリジナル画像の解像度になるようにアップサンプリングして、オリジナル画像の解像度での第一オプティカルフロー場を得た後、さらに、
   前記オリジナル画像の解像度での第一オプティカルフロー場に対して、連続性を確保するように平滑化処理を行う
   ことを特徴とする請求項１に記載のビデオ復号化方法。
3. 前記挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出した後、さらに、
   前記第二オプティカルフロー場に存在する無効座標に対し、前記無効座標の周りで最小の領域を取得して、前記領域に有効座標が含まれるようにし、前記有効座標のオプティカルフローの平均値を前記無効座標に割り当てて、オプティカルフローの空洞を埋めて、最後に前記第二オプティカルフロー場Mに対して平滑化処理を行う
   ことを特徴とする請求項１に記載のビデオ復号化方法。
4. 前記挿入されたフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておいて、高フレームレートのビデオを再構成することは、
   前記ビデオから復号化したフレーム画像の配列をI_i 、I_i+1……とし、前記オプティカルフローを利用してフレーム画像I_i とI_i+1との間にフレーム画像I_i ^’ を挿入して、前記フレーム画像をI₁、I₁ ^’、I₂、I₂ ^’……の順にビデオストリーミングに符号化して、高フレームレートのビデオを形成する
   ことを特徴とする請求項１～２のいずれか１項に記載のビデオ復号化方法。
5. コンピュータープログラムが記憶されており、
   処理装置により前記コンピュータープログラムを実行する際、前記請求項１乃至４のいずれか一項に記載のビデオ復号化方法のステップを実施する
   ことを特徴とするコンピューター可読記憶媒体。
6. 一つ又は複数の処理装置と、記憶装置と、一つ又は複数のコンピュータープログラムを備え、前記処理装置と前記記憶装置はバスによって接続されており、
   前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶されて、前記一つ又は複数の処理装置により実行されるように配置され、
   前記処理装置により前記コンピュータープログラムを実行する際、前記請求項１乃至４のいずれか一項に記載のビデオ復号化方法のステップを実施する
   ことを特徴とするカメラ。

Images