JP5327296B2 - 画像処理装置、画像処理方法、プログラム、及び記録媒体 - Google Patents
画像処理装置、画像処理方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP5327296B2 JP5327296B2 JP2011196202A JP2011196202A JP5327296B2 JP 5327296 B2 JP5327296 B2 JP 5327296B2 JP 2011196202 A JP2011196202 A JP 2011196202A JP 2011196202 A JP2011196202 A JP 2011196202A JP 5327296 B2 JP5327296 B2 JP 5327296B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- frame
- data
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
まず、本発明の実施形態に係る画像処理装置、及び画像処理方法について説明するに先立ち、図1を参照しながら、低い空間解像度で連続する映像が記録された画像データ系列(以下、動画データ)と、その動画データに含まれる適当なフレーム(以下、低解像度記録画像(LRP;Low Resolution Picture))に対応して離散的に記録された高空間解像度の画像データ(以下、静止画データ、又は高解像度記録画像(HRP;High Resolution Picture))とを用いて、前記動画データに含まれる任意のフレームに対応する高空間解像度の画像データ(以下、生成画像(CP;Created Picture)、又は高解像度生成画像)を生成するアイデアについて簡単に説明する。図1は、高解像度画像の生成方法の一例を示す説明図である。
以下、本発明の一実施形態に係る画像処理装置100について詳細に説明する。
まず、図2を参照しながら、本実施形態に係る画像処理装置100の装置構成について説明する。図2は、本実施形態に係る画像処理装置100の装置構成の一例を示す説明図である。
カメラ信号処理ブロック110は、図2に示すように、A/D変換器112と、デジタル信号処理回路114とを含む。
動画像記録再生ブロック120は、図2に示すように、画像密度変換回路126と、動画像圧縮/伸長回路124と、記憶部122とを含む。
静止画像記録再生ブロック130は、図2に示すように、静止画像圧縮/伸長回路134と、記憶部132とを含む。但し、記憶部132は、前記の記憶部122と共通の記憶装置を用いて、その機能を実現することもできる。
図2に示すように、画像生成ブロック140は、主に、動き予測回路142と、動き補償回路144と、差分画像判定回路146とを含む。なお、動き予測回路142は、上記の動き予測部の一例である。また、動き補償回路144は、上記の画像生成部の一例である。
次に、本実施形態に係る画像処理装置100による画像データの記録動作について簡単に説明する。
次に、本実施形態に係る画像処理装置100による画像データの再生動作について簡単に説明する。
ここで、図3を参照しながら、画像生成ブロック140の処理動作について説明する。図3は、画像生成ブロック140の処理動作を説明するための説明図である。
まず、画像処理装置100は、動き予測回路142により、低解像度記録画像LRP(t)及びLRP(t+h)を用いて動き予測を実行する。このとき、動き予測回路142は、低解像度記録画像LRP(t)及びLRP(t+h)を拡大スケーリングして拡大スケーリング画像MP(t)及びMP(t+h)を生成する。次いで、動き予測回路142は、拡大スケーリング画像MP(t)とMP(t+h)とを比較してMP(t)とMP(t+h)との間の動きベクトルMVを検出する。尚、動き予測の方法として、例えば、ブロックマッチング法、位相相関法、又はオプティカルフロー法等を本実施形態に適用することができる。
次いで、画像処理装置100は、動き補償回路144により、前記の動きベクトルMVと高解像度記録画像HRP(t)とを用いて動き補償を実行する。動き補償回路144は、前記の動きベクトルMVを利用して、拡大スケーリング画像MP(t+h)の参照ブロックに対応する高解像度記録画像HRP(t)の参照ブロックを特定する。そして、動き補償回路144は、その参照ブロックと前記の拡大スケーリング画像MP(t+h)の参照ブロックとを所定の比率で合成して、暫定的に生成画像CP’(t+h)を生成する。
ここで、図4を参照しながら、本実施形態に係る差分画像判定回路146の動作フローについて説明する。図4は、本実施形態に係る差分画像判定回路146の動作フローを示す説明図である。
ここで、図5を参照しながら、本実施形態に係る画像処理方法について説明する。図5は、本実施形態に係る画像生成処理の流れを説明するための説明図である。
上記の画像処理装置100が有する機能は、例えば、図6に示すハードウェア構成を有する情報処理装置によっても実現することが可能である。図6は、上記の画像処理装置100の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成例を示す説明図である。
ここで、図7を参照しながら、前後のフレームに基づき、動き予測/動き補償の処理を実行して高画質の画像を生成する方法について説明する。図7は、前後のフレームに基づき、動き予測/動き補償の処理を逐次実行して高画質の画像を生成する方法を説明するための説明図である。図7に示すように、所望の撮影時刻の前後に高解像度記録画像HRPが記録されている場合、拡大スケーリング画像MP(t+h)と、高解像度記録画像HRP(t)及びHRP(t+h)とを用いて動き補償を施すことができる。
102 撮像レンズ
104 撮像素子
106 画像生成タイミングコントローラ
108 表示回路
110 カメラ信号処理ブロック
112 A/D変換器
114 デジタル信号処理回路
120 動画像記録再生ブロック
122、132 記憶部
124 動画像圧縮/伸長回路
126 画像密度変換回路
130 静止画像記録再生ブロック
134 静止画像圧縮/伸長回路
140 画像生成ブロック
142 動き予測回路
144 動き補償回路
146 差分画像判定回路
HRP 高解像度記録画像
LRP 低解像度記録画像
MP 拡大スケーリング画像
CP、CP’ 生成画像
Claims (8)
- 第1映像データに含まれる少なくとも2つ以上のフレーム間の少なくとも1つ以上の動きベクトルと前記第1映像データよりも高い空間解像度と低い時間解像度を有する第2映像データのフレームであって前記第1映像データの前記フレームに対応するフレームとに基づいて動き補償された第1の画像データと、前記第1映像データのフレームを構成する画素を補間することにより生成される第2の画像データと、の差分を表す差分値に応じて、前記第1の画像データ及び前記第2の画像データのいずれかを、動き補償された画像データとして出力し、前記差分値が所定の値よりも大きい場合には、前記第2の画像データを動き補償された画像データとして出力する動き補償部を備え、
前記第1の画像データは、前記第2映像データのフレームと、前記第2の画像データのフレームとに基づいて生成される、画像処理装置。 - 前記第1の画像データは、前記動きベクトルの始点に対応する前記第2映像データのフレームと、前記動きベクトルの終点に対応する前記第1映像データに基づいて生成された前記第2の画像データのフレームと、を所定の比率で合成することによって生成される、
請求項1に記載の画像処理装置。 - 第1映像データに含まれる少なくとも2つ以上のフレーム間の少なくとも1つ以上の動きベクトルと前記第1映像データよりも高い空間解像度と低い時間解像度を有する第2映像データのフレームであって前記第1映像データの前記フレームに対応するフレームとに基づいて動き補償された第1の画像データと、前記第1映像データのフレームを構成する画素を補間することにより生成される第2の画像データと、の差分を表す差分値に応じて、前記第1の画像データ及び前記第2の画像データのいずれかを、動き補償された画像データとして出力し、前記差分値が所定の値よりも大きい場合には、前記第2の画像データを動き補償された画像データとして出力するステップを含み、
前記第1の画像データは、前記第2映像データのフレームと、前記第2の画像データのフレームとに基づいて生成される、画像処理方法。 - 前記第1の画像データは、前記動きベクトルの始点に対応する前記第2映像データのフレームと、前記動きベクトルの終点に対応する前記第1映像データに基づいて生成された前記第2の画像データのフレームと、を所定の比率で合成することによって生成される、
請求項3に記載の画像処理方法。 - 第1映像データに含まれる少なくとも2つ以上のフレーム間の少なくとも1つ以上の動きベクトルと前記第1映像データよりも高い空間解像度と低い時間解像度を有する第2映像データのフレームであって前記第1映像データの前記フレームに対応するフレームとに基づいて動き補償された第1の画像データと、前記第1映像データのフレームを構成する画素を補間することにより生成される第2の画像データと、の差分を表す差分値に応じて、前記第1の画像データ及び前記第2の画像データのいずれかを、動き補償された画像データとして出力し、前記差分値が所定の値よりも大きい場合には、前記第2の画像データを動き補償された画像データとして出力する機能をコンピュータに実現させ、
前記第1の画像データは、前記第2映像データのフレームと、前記第2の画像データのフレームとに基づいて生成される、プログラム。 - 前記第1の画像データは、前記動きベクトルの始点に対応する前記第2映像データのフレームと、前記動きベクトルの終点に対応する前記第1映像データに基づいて生成された前記第2の画像データのフレームと、を所定の比率で合成することによって生成される、
請求項5に記載のプログラム。 - 第1映像データに含まれる少なくとも2つ以上のフレーム間の少なくとも1つ以上の動きベクトルと前記第1映像データよりも高い空間解像度と低い時間解像度を有する第2映像データのフレームであって前記第1映像データの前記フレームに対応するフレームとに基づいて動き補償された第1の画像データと、前記第1映像データのフレームを構成する画素を補間することにより生成される第2の画像データと、の差分を表す差分値に応じて、前記第1の画像データ及び前記第2の画像データのいずれかを、動き補償された画像データとして出力し、前記差分値が所定の値よりも大きい場合には、前記第2の画像データを動き補償された画像データとして出力する機能をコンピュータに実現させ、
前記第1の画像データは、前記第2映像データのフレームと、前記第2の画像データのフレームとに基づいて生成される、プログラムが記録された、コンピュータにより読み取り可能な記録媒体。 - 前記第1の画像データは、前記動きベクトルの始点に対応する前記第2映像データのフレームと、前記動きベクトルの終点に対応する前記第1映像データに基づいて生成された前記第2の画像データのフレームと、を所定の比率で合成することによって生成される、
請求項7に記載の記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011196202A JP5327296B2 (ja) | 2011-09-08 | 2011-09-08 | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011196202A JP5327296B2 (ja) | 2011-09-08 | 2011-09-08 | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007160589A Division JP4826546B2 (ja) | 2007-06-18 | 2007-06-18 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011244505A JP2011244505A (ja) | 2011-12-01 |
JP5327296B2 true JP5327296B2 (ja) | 2013-10-30 |
Family
ID=45410592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011196202A Expired - Fee Related JP5327296B2 (ja) | 2011-09-08 | 2011-09-08 | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5327296B2 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3903703B2 (ja) * | 2000-09-01 | 2007-04-11 | 株式会社日立製作所 | 順次走査変換回路 |
JP4193552B2 (ja) * | 2003-04-04 | 2008-12-10 | ソニー株式会社 | 画像データ記録再生装置及び方法 |
JP4288992B2 (ja) * | 2003-04-04 | 2009-07-01 | ソニー株式会社 | 撮像装置及び方法 |
JP4483483B2 (ja) * | 2004-08-31 | 2010-06-16 | 株式会社ニコン | 撮像装置 |
JP4594201B2 (ja) * | 2005-09-28 | 2010-12-08 | パナソニック株式会社 | 画像符号化方法、画像符号化装置、プログラムおよび集積回路 |
JP4356777B2 (ja) * | 2007-06-18 | 2009-11-04 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
JP4780222B2 (ja) * | 2009-06-15 | 2011-09-28 | ソニー株式会社 | 撮像装置、撮像方法、プログラム、及び記録媒体 |
-
2011
- 2011-09-08 JP JP2011196202A patent/JP5327296B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011244505A (ja) | 2011-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4877090B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4356777B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP4826546B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4720859B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP4518111B2 (ja) | 映像処理装置、映像処理方法、及びプログラム | |
JP4780222B2 (ja) | 撮像装置、撮像方法、プログラム、及び記録媒体 | |
JP5113479B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP5327296B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP5327297B2 (ja) | 撮像装置、撮像方法、プログラム、及び記録媒体 | |
JP5170296B2 (ja) | 撮像装置、撮像方法、プログラム、及び記録媒体 | |
JP6416255B2 (ja) | 画像処理システム、及び、画像処理方法 | |
JP2001177826A (ja) | 動画像符号化方法および装置 | |
JP2010114690A (ja) | 情報処理装置、画像処理方法および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130409 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130708 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5327296 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |