JP5295045B2

JP5295045B2 - 組み込み機器において高解像度画像を提供するための方法及び装置

Info

Publication number: JP5295045B2
Application number: JP2009197337A
Authority: JP
Inventors: クリサンエイドリアン; ゲオルギスニコラオス
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-08-06
Filing date: 2009-08-06
Publication date: 2013-09-18
Anticipated expiration: 2029-08-06
Also published as: CN101651832B; US20100034477A1; US8374444B2; RU2512130C2; EP2161686A3; JP2010050976A; RU2009130114A; EP2161686A2; CN101651832A

Description

本発明の実施形態は、一般に組み込み機器に関し、より具体的には、超解像技術を使用して組み込み機器において高解像度画像を提供するための方法及び装置に関する。

カメラ装置のユーザは、特定の画像解像度で被写体のデジタル画像を生成することにより被写体の「写真を撮る」ことができる。一般に、デジタル画像は被写体を表す画素データを含み、画像解像度とはデジタル画像の細かさの量のことを意味する。時として、カメラ装置により生成されるデジタル画像は歪むことがある。例えば、（カメラジッタなどの）ハンドシェイキング(handshaking)がデジタル画像における（ボケなどの）歪みを引き起こす場合がある。

ハンドシェイキングの影響を緩和するために超解像技術を使用できることがある。超解像技術は、１又はそれ以上の低解像度画像から高解像度画像を生成するように構成される。超解像技術は、動き推定及びボケ修正技術を使用して、低解像度画像から（画素データなどの）欠落した細部を予測する。この欠落した細部を１又はそれ以上の低解像度画像に適用して、高解像度画像を生成する。

現在のところ、プロセッサ及びメモリの限界に起因して、組み込み機器では超解像技術は実行されない。組み込み機器とは、移動電話機、携帯情報端末（ＰＤＡ）、及び「スマートフォン」などの内蔵カメラ付きの装置であってもよい。サイズに制約があるため、組み込み機器は、特定の量の記憶素子及び／又はプロセッサ資源に制限される。未加工及び未圧縮の画像はサイズが相当に大きく、かなりの量のメモリを消費する。この結果、組み込み機器を使用しながらプロセッサが超解像技術を実行するには画像が多すぎることになる。

現在のところ組み込み機器では、低解像度画像を装置のメモリに保存できる同期化の前に超解像技術がオフラインで実行される。低解像度画像を組み込み機器から（コンピュータなどの）別の機器へ転送する前にオフラインで処理が行われる。しかしながら、ユーザは低解像度の画面上で高解像度画像を見ることはできない。

従って、当業では組み込み機器において高解像度画像を提供する必要性が存在する。

本発明の実施形態は、１又はそれ以上の動きベクトルを使用して、圧縮画像シーケンスに対して超解像技術を実行することにより高解像度画像を提供するための方法、装置及び組み込み機器を含む。１つの実施形態では、組み込み機器においてビデオ圧縮技術を使用して超解像を可能にする方法が、ビデオ圧縮技術を使用して複数の低解像度画像を含む画像シーケンスを圧縮するステップと、この圧縮画像シーケンスに超解像技術を適用して高解像度画像を生成するステップとを含む。

本発明の上述の特徴を詳細に理解できるように、添付図面にいくつかを示す実施形態を参照しながら、上記要約した本発明のさらに具体的な説明を行うことができる。しかしながら、添付図面には本発明の代表的な実施形態しか示しておらず、本発明は他の同様に効果的な実施形態も認めることができるため、これらの図面が本発明の範囲を限定すると見なすべきではない。

１又はそれ以上の実施形態による、圧縮画像シーケンスに対して超解像技術を実行して高解像度画像を生成するための組み込み機器のブロック図である。１又はそれ以上の実施形態による、ビデオ圧縮技術を使用して組み込み機器において超解像を可能にする方法のフロー図である。１又はそれ以上の実施形態による、複数の低解像度画像を圧縮して組み込み機器において超解像を可能にする方法のフロー図である。１又はそれ以上の実施形態による差分画像を生成する方法のフロー図である。１又はそれ以上の実施形態による、組み込み機器のセンサにおいて画像シーケンスを圧縮する方法のフロー図である。

図１は、本発明の１又はそれ以上の実施形態による、圧縮画像シーケンスに対して超解像技術を実行して高解像度画像を生成するための組み込み機器１００のブロック図である。この圧縮画像シーケンスは、ロスレス又はニアロスレスビデオ圧縮技術を使用して圧縮することができる。

組み込み機器１００は、当業で一般的に知られているような移動電話機、カメラ付き電話機、スマートフォン、携帯情報端末（ＰＤＡ）とすることができる。組み込み機器１００は、マイクロプロセッサ１０２と、様々なサポート回路１０４と、メモリ１０６と、カメラユニット１０８と、超解像ユニット１１０とを含む。マイクロプロセッサ１０２はデータの処理及び保存を容易にする。様々なサポート回路１０４は、マイクロプロセッサ１０２の動作を容易にし、クロック回路、電源、キャッシュ、入力／出力回路などのうちの少なくとも１つを含む。メモリ１０６は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ディスクドライブ記憶装置、光記憶装置、取り外し可能記憶装置などのうちの少なくとも１つを備える。メモリ１０６は、制御モジュール１１５と、ソフトウェアコーデック１１６と、低解像度画像１１８とを含む。一般に、ソフトウェアコーデック１１６は、（ハフマン圧縮したＹＵＶ、ＣｏｒｅＰＮＧなどの）ロスレスビデオ圧縮技術、又は（ＤＶ圧縮、ＦａｓｔＣｏｄｅｃなどの）ニアロスレスビデオ圧縮技術を使用して画像シーケンスを圧縮するためのソフトウェアコードを含む。１つの実施形態では、ソフトウェアコーデック１１６が、インター予測技術を使用して一連の未加工画像を処理する。ソフトウェアコーデック１１６は、動きベクトル推定法を使用して連続画像間の動きベクトルを推定することができる。ソフトウェアコーデック１１６が使用できる様々な動き推定法が当業では公知である。１つの実施形態では、ソフトウェアコーデック１１６が、低解像度画像１１８のうちの低解像度画像を複数の画素ブロックに分割し、ブロック単位でインター予測及び圧縮を行う。いくつかの実施形態では、カメラユニット１０８が、ソフトウェアコーデック１１６の機能をハードウェアで実施するハードウェアコーデック１１４を含むことができる。

１つの実施形態では、カメラユニット１０８が、市販の（内蔵カメラなどの）組み込み型画像生成装置を含む。一例として、及び限定的な意味ではなく、（未圧縮の画像シーケンスなどの）画像シーケンスの形で複数の未加工画像を取り込むためにカメラユニット１０８を使用する。カメラユニット１０８はセンサ１１２（すなわち画像センサ）を含む。１つの実施形態では、センサ１１２が、取り込んだ画像シーケンスを低解像度画像１１８としてメモリ１０６に保存する。別の実施形態では、センサ１１２が、取り込んだ画像シーケンスを電気信号に変換し、この電気信号をマイクロプロセッサ１０２を介して組み込み機器１００の様々な部分へ通信することができる。例えば、センサ１１２は超解像ユニット１１０と通信することができる。

一般に、超解像ユニット１１０は組み込み機器１００の構成要素であり、解像度向上モジュール１２０とローカルメモリ１２２とを含む。ローカルメモリ１２２は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）ディスクドライブ記憶装置、光記憶装置、及び取り外し可能記憶装置などのうちの少なくとも１つを備える。ローカルメモリ１２２は、圧縮画像シーケンス１２４と、動きベクトル情報１２６と、高解像度画像１２８とを含む。本発明の１又はそれ以上の実施形態では、超解像ユニット１１０が、ハードウェアコーデック１１４又はソフトウェアコーデック１１６使用して作成されたものとして、圧縮画像シーケンス１２４と動きベクトル情報１２６とを保存する。以下でさらに説明するように、解像度向上モジュール１２０は、高解像度画像１２８を生成するために圧縮画像シーケンス１２４及びベクトル情報１２６に１又はそれ以上の超解像技術を適用する。当業で公知の様々な超解像技術を本発明と共に使用することができる。特に、解像度向上モジュール１２０は、圧縮画像シーケンス１２４からの低解像度画像１１８を完全に回復させることなく超解像技術を適用する。

本発明の様々な実施形態によれば、制御モジュール１１５が、未加工、未圧縮の低解像度画像の画像シーケンスから高解像度画像１２８を作成するのを管理するためのソフトウェアコードを含む。動作中、制御モジュール１１５は、未加工画像の圧縮、及び圧縮画像シーケンス１２４に対する超解像技術の適用を調整する。１つの実施形態では、制御モジュール１１５がソフトウェアコーデック１１６を実行して低解像度画像１１８を圧縮し、この圧縮画像シーケンス１２４をローカルメモリ１２２に保存する。従って、メモリ資源を解放するために低解像度画像１１８を削除することができる。１つの実施形態では、圧縮画像シーケンス１２４が、（画像シーケンスの第１の画像などの）参照画像、１又はそれ以上の動きベクトル、及び（原画像と、参照画像に基づいて予測される原画像の形態との間の差分を表す画素データなどの）１又はそれ以上の差分画像を含む。ロスレス圧縮技術を使用して、参照画像及び／又は１又はそれ以上の差分画像を圧縮することができる。動きベクトル推定法を使用して、１又はそれ以上の動きベクトルを決定することができる。例によって説明を明確にするために、本明細書では圧縮画像シーケンス１２４を単一の参照画像を有するものとして説明している。当業者であれば、圧縮画像シーケンス１２４が複数の参照画像を含むことができることを理解できよう。

いくつかの実施形態では、原画像は、未圧縮の画像シーケンス内のいずれかの画像である。参照画像は原画像のうちの１つである。差分画像については、参照画像に関して動きベクトルを計算し、その後、再構成した形態の参照画像を動きベクトルを使用して動き補償することにより予測画像が形成される。符号化した原画像から予測画像を減算することにより、差分画像が形成される。このインター予測を、参照画像より後のシーケンス内の個々の原画像に対してブロック単位で行うことができる。このようにして、圧縮画像シーケンス１２４及び動きベクトル情報１２６が生成される。本明細書ではインター予測の特定の実施形態について説明しているが、当業者であれば、ソフトウェアコーデック１１６及び／又はハードウェアコーデック１１４が、当業で公知のＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ（ＭＰＥＧ）規格で使用されるインター予測のような、本明細書で説明するものと同様の他のインター予測処理を実行できることを理解するであろう。

１つの実施形態によれば、組み込み機器１００のハンドシェイキングが、未圧縮の画像シーケンスを形成する低解像度画像間に１又はそれ以上の差分を生じさせることがある。同一のシーンから低解像度画像を生成することはできるが、この画像が、組み込み機器１００の動き（すなわち揺動）に起因して、同一のシーンを表すための異なる画素データを含む場合がある。画素データが異なり得るため、１つの低解像度画像が、別の低解像度画像では取り込まれなかった追加の細部を含むことがある。従って、２又はそれ以上の低解像度画像から得た細部を組み合わせて高解像度画像を生成することができる。

本発明の様々な実施形態によれば、解像度向上モジュール１２０が、圧縮画像シーケンス１２４に対して１又はそれ以上の超解像技術を実行して高解像度画像１２８を生成する。１つの実施形態によれば、超解像技術が、参照画像及び差分画像の時間的補間及び／又は空間的補間を含む。例えば、超解像技術が、参照画像、動きベクトル及び差分画像から欠落したシーンの細部を補間する。その後、解像度向上モジュール１２０が、この欠落した細部を使用して参照画像の解像度を向上させる。

１つの実施形態では、解像度向上モジュール１２０が超解像技術を適用する前に、圧縮画像シーケンスは、低解像度画像１１８のすべてを回復させるために完全には復号化されない。換言すれば、本発明の１又はそれ以上の実施形態によれば、（低解像度画像１１８などの）復号化した画像シーケンスに対して超解像技術を実行しない。圧縮画像シーケンス１２４に対して超解像技術を直接実行することができる。１つの実施形態では、解像度向上モジュール１２０が、圧縮画像シーケンス１２４に対してブロックレベルで（すなわち画素のブロックに一度に）超解像技術を実行する。すなわち、参照画像、動きベクトル及び差分画像が与えられれば、解像度向上モジュール１２０が、圧縮画像シーケンス１２４の復号化をブロック単位で開始することができる。その後、個々のブロックが復号化された時に超解像技術を適用して高解像度画像１２８を生成することができる。ブロック単位で超解像を実行することにより、解像度向上モジュール１２０は、原画像のすべてが復号化されるのを待つ必要がなく、また原画像のすべてをメモリに保存する必要もなくなる。

１つの実施形態では、動きベクトル情報１２６が、シーケンス内の参照画像と次の画像との間の（２次元動きベクトルなどの）動きベクトルに関するデータを含む。個々の動きベクトルが、参照画像内の座標から次の画像内の座標に補正を行う。１又はそれ以上の実施形態では、ソフトウェアコーデック１１６又はハードウェアコーデック１１４により、（ピクセルの１００分の１などの）サブピクセルの精度で動きベクトルが決定される。１つの実施形態によれば、解像度向上モジュール１２０が、サブピクセルの精度の動きベクトルを使用して参照画像及び差分画像からブロックレベルで高解像度画像１２８を生成する。

１つの実施形態によれば、カメラユニット１０８と超解像ユニット１１０とが協働して、低解像度画像１１８から高解像度画像１２８を生成する。一例として、及び限定的な意味ではなく、カメラユニット１０８のセンサ１１２が複数の低解像度画像を取り込み、これらの画像を低解像度画像１１８として保存する。ソフトウェアコーデック１１６が、ロスレス又はニアロスレスビデオ圧縮技術を使用して低解像度画像１１８を圧縮する。圧縮段階中、ソフトウェアコーデック１１６はまた、画像シーケンス内の連続する低解像度画像間の動きベクトルをサブピクセルの精度で計算する。

任意に、センサ１１２はハードウェアコーデック１１４を含む。本発明の１又はそれ以上の実施形態では、ハードウェアコーデック１１４は、ロスレス又はニアロスレスビデオ圧縮技術を実行する構成要素である。１つの実施形態では、ハードウェアコーデック１１４が、低解像度画像１１８のうちの低解像度画像を複数のブロックに分割する。ソフトウェアコーデック１１６に関して上述したように、動作中、センサ１１２が未加工の画像を取り込むと、ハードウェアコーデック１１４が、インター予測と共にロスレス又はニアロスレスビデオ圧縮技術を使用して画像シーケンスを圧縮する。この結果、圧縮画像シーケンス１２４が生成され、超解像ユニット１１０に保存される。１つの実施形態によれば、解像度向上モジュール１２０が、圧縮画像シーケンス１２４に対して超解像技術を適用し、高解像度画像１２８を生成する。１つの実施形態では、ハードウェアコーデック１１４が、画像シーケンスがメモリ１０６に保存される前に、この画像シーケンスに対するロスレス又はニアロスレスビデオ圧縮技術の実行を可能にする。この結果、高解像度画像１２８を生成するために低解像度画像１１８を保存する必要がなくなるため、メモリ空間が節約される。

図２は、１つの実施形態による、ビデオ圧縮技術を使用して組み込み機器において超解像を可能にし、高解像度画像を生成する方法２００のフロー図である。方法２００は、ステップ２０２から開始してステップ２０４へ進み、ここで（複数の低解像度画像などの）画像シーケンスを（図１のローカルメモリ１２２などの）ローカルメモリに保存する。

ステップ２０６において、インター予測と共にロスレスビデオ圧縮技術を使用して画像シーケンスを圧縮する。別の実施形態では、ニアロスレスビデオ圧縮コーデックを使用して画像シーケンスを圧縮する。ステップ２０８において、（図１の圧縮画像シーケンス１２４などの）圧縮画像シーケンスに超解像技術を適用する。ステップ２１０において、（図１の高解像度画像１２８などの）高解像度画像を生成する。ステップ２１２において、方法２００は終了する。１つの実施形態では、上述したように、（図１の解像度向上モジュール１２０などの）解像度向上モジュールが、参照画像、１又はそれ以上の動きベクトル、及び１又はそれ以上の差分画像に１又はそれ以上の超解像技術を適用する。

図３は、１つの実施形態による、複数の低解像度画像を圧縮して組み込み機器において超解像を可能にする方法３００のフロー図である。方法３００は、ステップ３０２から開始してステップ３０４へ進み、ここで複数の低解像度画像が（図１のメモリ１０６などの）メモリからアクセスされる。

ステップ３０６において、参照画像（すなわち、低解像度画像の第１の画像）を処理する（例えば、ロスレス又はニアロスレスアルゴリズムを使用して圧縮する）。ステップ３０８において、次の画像（すなわち、次の低解像度画像）を取得する。ステップ３１０において、上記次の画像と参照画像との間の動きベクトルを決定する。１つの実施形態では、動きベクトル推定法により動きベクトルをサブピクセルの精度で決定する。ステップ３１２において、差分画像を生成する。上述したように、この差分画像は、上記次の画像と、参照画像から導き出される次の画像の予測との間の１又はそれ以上の差分（すなわち誤差）を表すものである。

ステップ３１４において、画像シーケンス内に処理すべき次の画像が存在するかどうかに関する判定が行われる。画像シーケンス内に処理すべき次の画像が存在すると判定された場合（選択肢「はい」）、方法３００はステップ３０８へ進む。ステップ３１４において、画像シーケンス内に処理すべき画像がこれ以上存在しないと判定された場合（選択肢「いいえ」）、方法３００はステップ３１６へ進む。ステップ３１６において、参照画像、動きベクトル及び差分画像を保存する。１つの実施形態では、参照画像、動きベクトル及び差分画像が圧縮画像シーケンスを構成し、この圧縮画像シーケンスが、組み込み機器の（図１の超解像ユニット１１０などの）超解像ユニットへ送信される。別の実施形態では、参照画像及び／又は差分画像を保存する前に、これらがロスレス圧縮技術を使用して圧縮される。ステップ３１８において、方法３００は終了する。

図４は、１つの実施形態による差分画像を生成するための方法４００のフロー図である。方法４００は、ステップ４０２から開始してステップ４０４へ進み、ここで参照画像及び動きベクトルを処理する。ステップ４０６において、参照画像及び動きベクトルから、符号化した画像の予測を生成する。１つの実施形態では、コーデックが、（以前に符号化し、再構成した画像などの）第１の画像に動きベクトルを適用することにより、符号化した画像を予測する。ステップ４０８において、（観察される、或いは実際の画像などの）符号化した画像から予測した画像を減算する。ステップ４１０において、差分画像を計算する。ステップ４１２において、差分画像を圧縮する。ステップ４１４において、方法４００は終了する。

図５は、１つの実施形態による、組み込み機器のセンサにおいて画像シーケンスを圧縮する方法５００のフロー図である。方法５００は、ステップ５０２から開始してステップ５０４へ進み、ここで複数の低解像度画像が取り込まれる。これらの低解像度画像は、未圧縮、未加工の画像シーケンスとして（図１のメモリ１０６などの）メモリに保存される。ステップ５０６において、ハードウェアコーデックを使用して複数の低解像度画像を圧縮する。１又はそれ以上の実施形態では、上述したように、ハードウェアコーデックが、インター予測と共にロスレス又はニアロスレスハードウェアコーデックを実行することができる。ステップ５０８において、圧縮した複数の低解像度画像を電気信号に変換する。ステップ５１０において、この電気信号を（図１の超解像ユニット１１０などの）超解像ユニットへ送信し、保存する。方法５００は、ステップ５１２において終了する。

このように、本発明の様々な実施形態を提供した。本発明の様々な実施形態により、組み込み機器において超解像を可能にすることができるという効果が得られる。さらに、本発明による方法及び装置を利用して、圧縮した低解像度画像シーケンスを直接操作することもできる。さらに、様々な実施形態により、最適な又は効率的な使用が求められる組み込み機器のメモリ及びプロセッサ資源の量を削減することができる。

上記は本発明の実施形態を対象としたものであるが、本発明の基本的な範囲から逸脱することなく、本発明の他の及びさらなる別の実施形態を考案することもでき、本発明の範囲は以下の特許請求の範囲により定められる。

Claims

ビデオ圧縮技術を使用して組み込み機器において超解像を可能にする方法であって、
ビデオ圧縮技術を使用して、複数の低解像度画像を含む画像シーケンスを圧縮するステップと、
圧縮された前記画像シーケンスに超解像技術を適用して高解像度画像を生成するステップと、
を含み、
前記画像シーケンスを圧縮するステップは、
センサにおいて前記複数の低解像度画像を取り込むステップと、
前記ビデオ圧縮技術を実行する、前記センサのハードウェア構成要素を使用して前記複数の低解像度画像を圧縮するステップと、
をさらに含み、
前記超解像技術を適用して解像度画像を生成するステップは、
前記低解像度画像を複数の画素ブロックに分割するステップと、
前記超解像技術を、前記複数の画素ブロックにブロック単位で適用して、高解像度画像を生成するステップをさらに含むことを特徴とする方法。
前記画像シーケンスを圧縮するステップは、
前記複数の低解像度画像を保存するステップと、
前記保存した複数の低解像度画像に前記ビデオ圧縮技術を適用するステップと、
をさらに含むことを特徴とする請求項１に記載の方法。
前記画像シーケンスを圧縮するステップは、参照画像と前記画像シーケンスの少なくとも１つの更なる画像との間の動きベクトルを決定するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
前記画像シーケンスを圧縮するステップは、前記参照画像に前記動きベクトルを適用して前記少なくとも１つの更なる画像を予測するステップをさらに含む、
ことを特徴とする請求項３に記載の方法。
前記画像シーケンスを圧縮するステップは、前記少なくとも１つの更なる画像と前記少なくとも１つの更なる画像の予測との間の差分画像をそれぞれ計算するステップをさらに含む、
ことを特徴とする請求項４に記載の方法。
前記画像シーケンスを圧縮するステップは、ロスレスビデオ圧縮技術を使用して前記差分画像を圧縮するステップをさらに含む、
ことを特徴とする請求項５に記載の方法。
前記画像シーケンスを圧縮するステップは、ニアロスレスビデオ圧縮技術を使用して前記差分画像を圧縮するステップをさらに含む、
ことを特徴とする請求項５に記載の方法。
前記超解像技術を適用するステップは、
少なくとも１つの差分画像及び参照画像を含む前記圧縮画像シーケンスと少なくとも１つの動きベクトルとを使用して前記高解像度画像の画素データを補間するステップと、
前記参照画像を、決定された画素データと組み合わせて前記高解像度画像を形成するステップと、
をさらに含むことを特徴とする請求項１から請求項７のいずれかに記載の方法。
圧縮技術を使用して組み込み機器において超解像を可能にするための装置であって、
複数の低解像度画像を含む画像シーケンスに圧縮技術を適用するための制御モジュールと、
前記複数の低解像度画像を取り込むセンサと、
圧縮された前記画像シーケンスに対して超解像技術を実行して高解像度画像を生成するための解像度向上モジュールと、
を備え、
前記制御モジュールは、前記複数の低解像度画像を圧縮し、
前記解像度向上モジュールは、
前記低解像度画像を複数の画素ブロックに分割し、
前記超解像技術を、前記複数の画素ブロックにブロック単位で適用して、高解像度画像を生成することを特徴とする装置。
ロスレス圧縮技術を使用して前記複数の低解像度画像を圧縮するためのロスレスコーデックをさらに備える、
ことを特徴とする請求項９に記載の装置。
前記ロスレスコーデックは、動き推定法を適用してサブピクセルの精度で少なくとも１つの動きベクトルを生成する、
ことを特徴とする請求項１０に記載の装置。
ニアロスレス圧縮技術を使用して前記複数の低解像度画像を圧縮するためのニアロスレスコーデックをさらに備える、
ことを特徴とする請求項９に記載の装置。
前記複数の低解像度画像を取り込むためのカメラユニットをさらに備える、
ことを特徴とする請求項９から請求項１２のいずれかに記載の装置。