JP4597087B2 - 画像処理装置及び方法、及び撮像装置 - Google Patents
画像処理装置及び方法、及び撮像装置 Download PDFInfo
- Publication number
- JP4597087B2 JP4597087B2 JP2006095848A JP2006095848A JP4597087B2 JP 4597087 B2 JP4597087 B2 JP 4597087B2 JP 2006095848 A JP2006095848 A JP 2006095848A JP 2006095848 A JP2006095848 A JP 2006095848A JP 4597087 B2 JP4597087 B2 JP 4597087B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- image
- luminance
- displacement
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
また、別の構成によれば、互いに関連する複数の画像を1枚の画像に重ね合わせ合成する本発明の画像処理装置は、前記複数の画像をそれぞれ複数ブロックに分割する分割手段と、前記複数の画像の内、特定の基準画像の輝度を検出する輝度検出手段と、前記複数ブロックの内、輝度のコントラストが閾値よりも高いブロックを選択する選択手段と、前記選択手段により選択された各ブロックについて、前記複数の画像間の被写体位置の変位を取得する変位取得手段と、前記変位取得手段により取得した変位に基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成手段とを有し、前記閾値を、前記輝度検出手段によって検出された輝度の高さに応じて、該輝度が高い程、より低くなるように変更する。
また、互いに関連する複数の画像を1枚の画像に重ね合わせ合成する本発明の画像処理方法は、前記複数の画像をそれぞれ複数ブロックに分割する分割工程と、前記複数の画像の内、特定の基準画像の輝度を検出する輝度検出工程と、前記複数ブロックの内、輝度のコントラストが閾値よりも高いブロックを選択する選択工程と、前記選択工程において選択された各ブロックについて、前記複数の画像間の被写体位置の変位を取得する変位取得工程と、前記変位取得工程において取得した変位に基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成工程とを有し、前記閾値を、前記輝度検出工程において検出された輝度の高さに応じて、該輝度が高い程、より低くなるように変更する。
を求める。上述したように、上記式(1)の信頼性の評価値の小さいブロックを排除することで、画像間の相関などによって画像間の移動ベクトルを求める際に、領域22aのように多くの局所解を含むような領域を除くことができる。結果として、図2(c)の20eのような不適切な移動ベクトルが求まる可能性が高い領域を排除することができる。
次に図3を参照して、輝度検出部7とブロック選択部3における処理について説明する。
vqi=vpi+uipq=Apqvpi …(2)
=Apq(vp1, vp2, ..., vpm) …(3)
上記式(3)において、(vq1, vq2, ..., vqm)=Mq、(vp1, vp2, ..., vpm)=Mpと標記すると、上記式(3)は
Mq=ApqMp …(4)
Apq=MqMp T(MpMp T)-1 …(5)
として求めることができる。式(5)における(MpMp T)-1がランク落ちをしないように、ブロック選択部3による領域の抽出数を適切に設定すれば、上式は一意に解くことが可能である。さらに、上記のアフィン写像を示すApqは各画素に対しても適用できる。
画像合成部6では、上記式(2)を各画素毎に当てはめることで、p枚目の任意の画素のq枚目における位置を知ることができる。これを各画素に順次適用して、位置合わせを行い、画像の合成を行う。
本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
2 ブロック信頼性検出部
3 ブロック選択部
4 ブロック位置検出部
5 画像位置検出部
6 画像合成部
7 輝度検出部
8 画像処理装置
10a〜10m 画像
11 出力画像
20 移動ベクトル
21 被写体
22 領域(ブロック)
41 撮影光学系
42 撮像素子
43 A/Dコンバータ
44 画像処理回路
45 レンズ系制御部
46 各種センサ
47 カメラシステム制御部
48 I/O
49 メモリ
50 画像合成部
Claims (10)
- 互いに関連する複数の画像を1枚の画像に重ね合わせ合成する画像処理装置であって、
前記複数の画像をそれぞれ複数ブロックに分割する分割手段と、
前記複数の画像の内、特定の基準画像の輝度を検出する輝度検出手段と、
前記複数ブロックの内、輝度のコントラストが高い方から、前記輝度検出手段によって検出された輝度の高さに応じた数のブロックを選択し、前記輝度検出手段によって検出された輝度が高い程、より多くのブロックを選択する選択手段と、
前記選択手段により選択された各ブロックについて、前記複数の画像間の被写体位置の変位を取得する変位取得手段と、
前記変位取得手段により取得した変位に基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成手段と
を有することを特徴とする画像処理装置。 - 互いに関連する複数の画像を1枚の画像に重ね合わせ合成する画像処理装置であって、
前記複数の画像をそれぞれ複数ブロックに分割する分割手段と、
前記複数の画像の内、特定の基準画像の輝度を検出する輝度検出手段と、
前記複数ブロックの内、輝度のコントラストが閾値よりも高いブロックを選択する選択手段と、
前記選択手段により選択された各ブロックについて、前記複数の画像間の被写体位置の変位を取得する変位取得手段と、
前記変位取得手段により取得した変位に基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成手段とを有し、
前記閾値を、前記輝度検出手段によって検出された輝度の高さに応じて、該輝度が高い程、より低くなるように変更することを特徴とする画像処理装置。 - 前記合成手段は、前記変位取得手段により取得した変位に基づいて、重ね合わせを行う複数の画像のうち、特定の基準画像に対するその他の画像の画像全体の移動量をそれぞれ検出し、当該検出した移動量分、各画像を移動させながら、前記基準画像に重ね合わせ合成を行うことを特徴とする請求項1または2に記載の画像処理装置。
- 前記合成手段は、前記画像全体の移動量として、前記基準画像を基準とした写像マトリクスを前記基準画像以外の各画像について求め、当該写像マトリクスを前記基準画像以外の各画像の前記各画素に適用することにより、画像間の被写体の位置を合致させることを特徴とする請求項3に記載の画像処理装置。
- 前記選択手段は、ブロックの選択を、前記複数の画像のうち、特定の基準画像に対して実行することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 請求項1乃至5のいずれか1項に記載の画像処理装置を備えた撮像装置。
- 互いに関連する複数の画像を1枚の画像に重ね合わせ合成する画像処理方法であって、
前記複数の画像をそれぞれ複数ブロックに分割する分割工程と、
前記複数の画像の内、特定の基準画像の輝度を検出する輝度検出工程と、
前記複数ブロックの内、輝度のコントラストが高い方から、前記輝度検出工程で検出された輝度の高さに応じた数のブロックを選択し、前記輝度検出工程で検出された輝度が高い程、より多くのブロックを選択する選択工程と、
前記選択工程において選択された各ブロックについて、前記複数の画像間の被写体位置の変位を取得する変位取得工程と、
前記変位取得工程において取得した変位に基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成工程と
を有することを特徴とする画像処理方法。 - 互いに関連する複数の画像を1枚の画像に重ね合わせ合成する画像処理方法であって、
前記複数の画像をそれぞれ複数ブロックに分割する分割工程と、
前記複数の画像の内、特定の基準画像の輝度を検出する輝度検出工程と、
前記複数ブロックの内、輝度のコントラストが閾値よりも高いブロックを選択する選択工程と、
前記選択工程において選択された各ブロックについて、前記複数の画像間の被写体位置の変位を取得する変位取得工程と、
前記変位取得工程において取得した変位に基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成工程とを有し、
前記閾値を、前記輝度検出工程において検出された輝度の高さに応じて、該輝度が高い程、より低くなるように変更することを特徴とする画像処理方法。 - コンピュータを、請求項1乃至5のいずれか1項に記載の画像処理装置の各手段として動作させるプログラム。
- 請求項9に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006095848A JP4597087B2 (ja) | 2006-03-30 | 2006-03-30 | 画像処理装置及び方法、及び撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006095848A JP4597087B2 (ja) | 2006-03-30 | 2006-03-30 | 画像処理装置及び方法、及び撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007274213A JP2007274213A (ja) | 2007-10-18 |
JP2007274213A5 JP2007274213A5 (ja) | 2009-05-14 |
JP4597087B2 true JP4597087B2 (ja) | 2010-12-15 |
Family
ID=38676571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006095848A Expired - Fee Related JP4597087B2 (ja) | 2006-03-30 | 2006-03-30 | 画像処理装置及び方法、及び撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4597087B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272459A (ja) * | 2006-03-30 | 2007-10-18 | Canon Inc | 画像処理装置及び方法、及び撮像装置 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4952574B2 (ja) * | 2007-12-28 | 2012-06-13 | カシオ計算機株式会社 | 画像合成装置及びプログラム |
JP4561845B2 (ja) * | 2008-02-29 | 2010-10-13 | カシオ計算機株式会社 | 撮像装置と画像処理プログラム |
JP2009290588A (ja) * | 2008-05-29 | 2009-12-10 | Kyocera Corp | 動きベクトル検出装置およびその方法、並びに撮像装置 |
JP5594290B2 (ja) * | 2009-08-24 | 2014-09-24 | 日本電気株式会社 | 画像ダイナミックレンジ圧縮システム、方法及びプログラム |
JP5445235B2 (ja) * | 2010-03-09 | 2014-03-19 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP5602530B2 (ja) * | 2010-07-29 | 2014-10-08 | 日立Geニュークリア・エナジー株式会社 | 目視検査装置及び目視検査用映像の作成方法 |
US8730318B2 (en) | 2010-07-29 | 2014-05-20 | Hitachi-Ge Nuclear Energy, Ltd. | Inspection apparatus and method for producing image for inspection |
JP2013008124A (ja) * | 2011-06-23 | 2013-01-10 | Nikon Corp | 画像処理装置及びプログラム |
WO2019044608A1 (ja) | 2017-08-29 | 2019-03-07 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
JP7063760B2 (ja) * | 2018-07-27 | 2022-05-09 | 株式会社ダイヘン | 移動体 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11185018A (ja) * | 1997-12-24 | 1999-07-09 | Olympus Optical Co Ltd | 画像処理装置 |
JP2005354124A (ja) * | 2004-06-08 | 2005-12-22 | Seiko Epson Corp | 複数の低画素密度画像からの高画素密度画像の生成 |
JP2006066996A (ja) * | 2004-08-24 | 2006-03-09 | Canon Inc | 撮像装置及び撮像方法 |
-
2006
- 2006-03-30 JP JP2006095848A patent/JP4597087B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11185018A (ja) * | 1997-12-24 | 1999-07-09 | Olympus Optical Co Ltd | 画像処理装置 |
JP2005354124A (ja) * | 2004-06-08 | 2005-12-22 | Seiko Epson Corp | 複数の低画素密度画像からの高画素密度画像の生成 |
JP2006066996A (ja) * | 2004-08-24 | 2006-03-09 | Canon Inc | 撮像装置及び撮像方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272459A (ja) * | 2006-03-30 | 2007-10-18 | Canon Inc | 画像処理装置及び方法、及び撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2007274213A (ja) | 2007-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4597087B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP5398156B2 (ja) | ホワイトバランス制御装置およびその制御方法並びに撮像装置 | |
JP4254969B2 (ja) | 撮像装置 | |
US7664293B2 (en) | Image sensing apparatus and control method thereof | |
KR100840856B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램을기록한 기록 매체, 및 촬상 장치 | |
JP5643563B2 (ja) | 画像処理装置及びその制御方法 | |
JP6495122B2 (ja) | 撮像装置、画像処理方法 | |
JP5729237B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20110311150A1 (en) | Image processing apparatus | |
JP4420906B2 (ja) | 撮像装置 | |
JP4777116B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
CN110958361B (zh) | 能够进行hdr合成的摄像设备及其控制方法和存储介质 | |
JP6604908B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP6332212B2 (ja) | 姿勢推定装置、姿勢推定方法及びプログラム | |
JP2008099260A (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP5446847B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
JP2019047336A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2008236015A (ja) | 画像処理装置、撮像装置及びそのプログラム | |
JP5380336B2 (ja) | 撮像装置及びパノラマ画像合成方法並びにそのプログラム | |
JP4942572B2 (ja) | 画像加算装置および方法並びにプログラム | |
JP4936222B2 (ja) | 動きベクトル照合装置、画像合成装置及びプログラム | |
JP5541956B2 (ja) | 画像合成方法、画像合成プログラムおよび画像合成装置 | |
JP4919165B2 (ja) | 画像合成装置及びプログラム | |
JP4666265B2 (ja) | 像振れ補正装置及びその補正方法 | |
JP6554009B2 (ja) | 画像処理装置、その制御方法、プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090330 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100917 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100921 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |