JP4630807B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP4630807B2 JP4630807B2 JP2005363865A JP2005363865A JP4630807B2 JP 4630807 B2 JP4630807 B2 JP 4630807B2 JP 2005363865 A JP2005363865 A JP 2005363865A JP 2005363865 A JP2005363865 A JP 2005363865A JP 4630807 B2 JP4630807 B2 JP 4630807B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- synthesis
- pixel
- pixels
- replacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
<DVC100の構成>
図1は、本発明を適用した画像処理装置の一例である、DVC100の構成を示す機能ブロック図である。以下の実施形態ではDVC100を用いて本発明を説明するが、本発明は、例えばPC(パーソナルコンピュータ)や携帯電話など、他の画像処理装置にも適用可能である。また、本発明を適用する画像処理装置は、DVC100のように撮像機能を備えている必要も無い。
目検出部103が行う目検出処理は、本実施形態で必要な情報である、画像における目の位置を得ることができれば、任意の方法により行うことができるが、一例として、特開2000−259833号公報に記載の方法を説明する。
図3〜図6を参照して、超解像処理の概要を説明する。図3〜図6は、合成対象画像から高解像度画像を生成する様子を概略的に示す図である。説明を簡単にするため、横4×縦3=12画素の画像を複数合成して、横12×縦9=108画素の画像を生成するものとする。画素数が9倍になるので、合成対象画像は最低でも9枚必要であり、ここでは9枚の合成対象画像を合成するものとする。
図2は、DVC100が超解像処理を行い、複数の画像データから、より解像度の高い1の画像データを生成する処理の流れを示すフローチャートである。なお、本実施形態では、記憶媒体107に動画像データが記憶されているものとする。記憶媒体107に記憶されている動画像データは、DVC100によって撮像されたものでもよいし、PCなどの他の装置からコピーされたものでもよい。
図9は、超解像処理に必要なメモリ容量を示す図である。本実施形態では、VGAサイズの画像を16倍の画素数にするため、画像データ中の輝度データを8bit、色差データを8bitとすると、以下に示すメモリ容量が必要である。
以上説明したように、本実施形態によれば、DVC100は超解像処理を行う過程で、基準画像に存在しない目を合成対象画像において新たに検出すると、検出した目で基準画像の一部を置き換える。また、検出した目で基準画像の一部を置き換えた場合、DVC100は、高解像度画像において対応する領域のデータを破棄し、検出した目に対応するデータを新たに配置する。
第1の実施形態では、合成対象画像の枚数を必要最低限の枚数として超解像処理を行った。この場合、高解像度画像領域に、図6に抜け画素602として示したような埋められていない画素が多く発生する可能性があり、ステップS208における補間処理で補間しなければならない。ステップS208における補間処理によって画素数を向上させると、ステップS207における合成処理によって画素数を向上させる場合に比べて、得られる高解像度画像の画質が低い傾向にある。
図10は、第2の実施形態における、変形例1としての超解像処理の流れを示すフローチャートである。図10において、図2と同一の処理を行うステップには同一の符号を付し、説明を省略する。
図11は、第2の実施形態における、変形例2としての超解像処理の流れを示すフローチャートである。図11において、図2と同一の処理を行うステップには同一の符号を付し、説明を省略する。
図12は、第2の実施形態における、変形例3としての超解像処理の流れを示すフローチャートである。図12において、図2及び図11と同一の処理を行うステップには同一の符号を付し、説明を省略する。
図13は、第2の実施形態における、変形例4としての超解像処理の流れを示すフローチャートである。図13において、図2及び図11と同一の処理を行うステップには同一の符号を付し、説明を省略する。
以上説明したように、本実施形態によれば、DVC100による超解像処理において、得られる高解像度画像の画質や処理に要する時間などをユーザが柔軟に定めることが可能となる。
上述した各実施形態では、目検出を行って、人物の目が開いている可能性の高い高解像度画像を得た。しかし、本発明は、目以外にも適用することが可能である。例えば、人物が会話をしているために本来閉じていて欲しい口が開いているような場合にも適用可能であり、生成される画像データに含まれる人物の口が閉じている可能性を高めることができる。口の状態の検出方法は、例えば特開2000−259833号公報に記載の方法を使用できる。その上で、DVC100に「口検出部」を設ければよい。
102 制御部
103 目検出部
104 画像処理部
105 メモリ
Claims (15)
- 複数の合成対象画像を合成して、前記合成対象画像よりも画素数の多い合成画像を生成する画像処理装置であって、
前記複数の合成対象画像の1つである基準画像において、あらかじめ設定された画像を含む特徴領域を検出する第1の検出手段と、
前記合成画像を生成する過程のデータを格納する記憶領域である合成領域に、前記基準画像の各画素を配置する第1の画素配置手段と、
前記複数の合成対象画像のうち、前記基準画像以外の1つを処理対象画像とし、該処理対象画像において前記あらかじめ設定された画像を含む特徴領域を検出する第2の検出手段と、
前記第2の検出手段により検出された特徴領域に対応する前記基準画像の基準領域に、前記あらかじめ設定された画像が含まれるか否かを判定する判定手段と、
前記判定手段による判定の結果、前記あらかじめ設定された画像が含まれない場合に、前記基準領域を前記第2の検出手段により検出された特徴領域により置き換える置き換え手段と、
前記置き換え手段による置き換えが行われた場合に、前記合成領域における、前記基準領域に対応する合成基準領域に配置されている画素を消去する消去手段と、
前記複数の合成処理対象画像の各々の画素を、前記合成領域中に配置する第2の画素配置手段と、
前記合成領域において、前記第2の画素配置手段により配置されなかった画素を、配置済みの画素から生成して配置して、合成画像を生成する第3の画素配置手段と、
を備えることを特徴とする画像処理装置。 - 前記基準画像に含まれる各画素について、前記置き換え手段によって、当該各画素を、前記処理対象画像に含まれる画素で置き換えることを禁止するか否かを示す置き換え禁止情報をさらに備え、
前記置き換え手段は、前記基準領域を前記特徴領域により置き換える際に、置き換えられた前記基準領域に含まれる画素に対応する前記置き換え禁止情報を、置き換えを禁止することを示すように設定し、
前記判定手段は、前記置き換え禁止情報を参照し、前記基準領域に含まれる画素の中に、置き換えを禁止された画素が存在しない場合に、前記基準画像に前記あらかじめ設定された画像が含まれないと判定する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記第1の検出手段は、前記基準領域に含まれる画素に対応する前記置き換え禁止情報を、置き換えを禁止することを示すように設定することを特徴とする請求項2に記載の画像処理装置。
- 前記置き換え禁止情報は、前記基準画像の画素数分のデータにより構成されることを特徴とする請求項2又は3に記載の画像処理装置。
- 前記合成領域において前記合成画像に含まれるべき各画素が配置されているか否かを示すプロット情報をさらに備え、
前記消去手段は、前記合成基準領域に対応する画素が配置されていないと示すように前記プロット情報を設定することにより、前記合成基準領域に配置されている画素を消去する
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 前記プロット情報は、前記合成画像の画素数分のデータにより構成されることを特徴とする請求項5に記載の画像処理装置。
- 前記複数の合成対象画像は、動画像データに含まれるフレーム画像から選択されることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 前記複数の合成対象画像の数を、外部からの指示に従って設定する合成対象画像数設定手段をさらに備えることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 前記合成領域に配置されている画素の配置目標量を、外部からの指示に従って設定する配置目標量設定手段をさらに備え、
前記第2の画素配置手段は、前記合成領域に配置されている画素が前記配置目標量以上であれば前記合成対象画像の合成を終了することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。 - 前記合成対象画像の合成をキャンセルするキャンセル指示を外部から受け付けるキャンセル指示受付手段をさらに備え、
前記第2の画素配置手段は、前記キャンセル指示を受けると前記合成対象画像の合成を終了することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。 - 前記合成対象画像の合成を行う時間の上限を示す処理時間を、外部からの指示に従って設定する処理時間設定手段をさらに備え、
前記第2の画素配置手段は、前記合成を開始してから前記処理時間が経過すると、前記合成対象画像の合成を終了することを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。 - 前記あらかじめ設定された画像とは、開いた状態である人物の目を示す画像であることを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。
- 前記あらかじめ設定された画像とは、閉じた状態である人物の口を示す画像であることを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。
- 前記処理対象画像の各々について、前記基準画像に対する移動量及び移動方向を動き情報として算出する算出手段と、
前記複数の処理対象画像の各々を、前記動き情報を用いて前記基準画像と位置合わせする位置合わせ手段と、
をさらに備え、
前記第2の検出手段、前記判定手段、及び、前記第2の画素配置手段はそれぞれ、前記位置合わせ手段により位置合わせされた処理対象画像に対して、前記検出、前記判定、及び、前記配置を行うことを特徴とする請求項1乃至13のいずれか1項に記載の画像処理装置。 - 複数の合成対象画像を合成して、前記合成対象画像よりも画素数の多い合成画像を生成する画像処理方法であって、
前記複数の合成対象画像の1つである基準画像において、あらかじめ設定された画像を含む特徴領域を検出する第1の検出工程と、
前記合成画像を生成する過程のデータを格納する記憶領域である合成領域に、前記基準画像の各画素を配置する第1の画素配置工程と、
前記複数の合成対象画像のうち、前記基準画像以外の1つを処理対象画像とし、該処理対象画像において前記あらかじめ設定された画像を含む特徴領域を検出する第2の検出工程と、
前記第2の検出工程により検出された特徴領域に対応する前記基準画像の基準領域に、前記あらかじめ設定された画像が含まれるか否かを判定する判定工程と、
前記判定工程による判定の結果、前記あらかじめ設定された画像が含まれない場合に、前記基準領域を前記第2の検出工程により検出された特徴領域により置き換える置き換え工程と、
前記置き換え工程による置き換えが行われた場合に、前記合成領域における、前記基準領域に対応する合成基準領域に配置されている画素を消去する消去工程と、
前記複数の合成処理対象画像の各々の画素を、前記合成領域中に配置する第2の画素配置工程と、
前記合成領域において、前記第2の画素配置工程により配置されなかった画素を、配置済みの画素から生成して配置して、合成画像を生成する第3の画素配置工程と、
を備えることを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005363865A JP4630807B2 (ja) | 2005-12-16 | 2005-12-16 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005363865A JP4630807B2 (ja) | 2005-12-16 | 2005-12-16 | 画像処理装置及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007166542A JP2007166542A (ja) | 2007-06-28 |
JP2007166542A5 JP2007166542A5 (ja) | 2009-02-05 |
JP4630807B2 true JP4630807B2 (ja) | 2011-02-09 |
Family
ID=38248881
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005363865A Expired - Fee Related JP4630807B2 (ja) | 2005-12-16 | 2005-12-16 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4630807B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4853320B2 (ja) * | 2007-02-15 | 2012-01-11 | ソニー株式会社 | 画像処理装置、画像処理方法 |
JP2008225550A (ja) | 2007-03-08 | 2008-09-25 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP4424364B2 (ja) | 2007-03-19 | 2010-03-03 | ソニー株式会社 | 画像処理装置、画像処理方法 |
JP4396720B2 (ja) | 2007-03-26 | 2010-01-13 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2009003334A (ja) | 2007-06-25 | 2009-01-08 | Sony Corp | 画像撮像装置、撮像制御方法 |
JP5051091B2 (ja) * | 2008-10-03 | 2012-10-17 | 株式会社Jvcケンウッド | 撮像装置、画像信号処理装置、撮像方法、および画像信号処理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002199202A (ja) * | 2000-12-26 | 2002-07-12 | Seiko Epson Corp | 画像処理装置 |
JP2004272751A (ja) * | 2003-03-11 | 2004-09-30 | Seiko Epson Corp | 複数のフレーム画像からの静止画像の生成 |
-
2005
- 2005-12-16 JP JP2005363865A patent/JP4630807B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002199202A (ja) * | 2000-12-26 | 2002-07-12 | Seiko Epson Corp | 画像処理装置 |
JP2004272751A (ja) * | 2003-03-11 | 2004-09-30 | Seiko Epson Corp | 複数のフレーム画像からの静止画像の生成 |
Also Published As
Publication number | Publication date |
---|---|
JP2007166542A (ja) | 2007-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4250543B2 (ja) | 撮像装置及び情報処理装置及びそれらの制御方法 | |
JP5525703B2 (ja) | 画像再生表示装置 | |
JP4818031B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4630807B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2012242821A (ja) | 表示画像生成方法 | |
US20060238627A1 (en) | Camera apparatus capable of switching reduced guide image upon playback of magnified image, and image displaying method | |
JP2012044418A (ja) | 映像再生装置、及びその制御方法 | |
JPH1169293A (ja) | 画像処理システムならびにカメラ一体型ビデオレコーダ | |
JP2006254129A (ja) | ヒストグラム表示装置 | |
US6721002B1 (en) | Method for recording image data and digital camera using same adapted to composite a plurality of image data and record the composite image data into a memory | |
US8711239B2 (en) | Program recording medium, image processing apparatus, imaging apparatus, and image processing method | |
JP2015026034A (ja) | 映像出力装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP5950755B2 (ja) | 画像処理装置、制御方法、プログラム及び記憶媒体 | |
JP2010021710A (ja) | 撮像装置、画像処理装置およびプログラム | |
JP2006287744A (ja) | 画像処理方法およびその装置 | |
JP2017212550A (ja) | 画像再生装置及びその制御方法、プログラム、記憶媒体 | |
JP4724041B2 (ja) | 撮像装置、撮影時警告方法及びコンピュータ読み取り可能な記録媒体 | |
JP2011188225A (ja) | 電子カメラ | |
JP5213557B2 (ja) | 動画像処理装置および動画像処理方法 | |
JP5147664B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JPH06133221A (ja) | 撮像装置 | |
JP4408397B2 (ja) | 撮影装置および撮影方法およびプログラム | |
JP4859974B2 (ja) | 情報処理装置、プリントシステムおよび画像合成方法 | |
JP2007221722A (ja) | 画像処理装置及びその制御方法 | |
JP4948637B2 (ja) | 画像処理方法およびその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101012 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101105 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101115 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |