JP4665826B2 - 撮像装置および画像処理プログラム - Google Patents
撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JP4665826B2 JP4665826B2 JP2006131307A JP2006131307A JP4665826B2 JP 4665826 B2 JP4665826 B2 JP 4665826B2 JP 2006131307 A JP2006131307 A JP 2006131307A JP 2006131307 A JP2006131307 A JP 2006131307A JP 4665826 B2 JP4665826 B2 JP 4665826B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- unit
- shape information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
以下、図面に基づいて本発明の第1実施形態について説明する。第1実施形態では、電子カメラを例に挙げて説明する。
図1は、本発明の第1実施形態の電子カメラ1の機能ブロック図である。図1に示すように、電子カメラ1は、交換可能な撮影レンズ11、撮像素子12、レンズ駆動回路13、制御回路14、操作部材15、撮像素子駆動回路16、信号処理回路17、データ処理回路18、圧縮/伸張処理回路19、モニタ20、表示制御回路21、測光回路22、振れ検出センサ23、記録媒体24の各部を備える。
撮像素子12は、静止画像の撮像とともに、動画像の撮像が可能である。撮像素子12は、例えばCCD撮像素子あるいはCMOS型撮像素子などによって構成される。
データ処理回路18は、制御回路14からの指令に応じて、信号処理回路17より出力された画像データを圧縮/伸張処理回路19に出力するとともに、モニタ20に再生画像を表示させるために必要な解像度変換(画素数変換)処理を画像データに施し、解像度変換処理後の画像データを表示制御回路21へ出力する。なお、データ処理回路18は、電子ズーム処理を行う際には、入力される画像データに対して解像度(画素数)変換処理を施して、圧縮/伸張処理回路19および表示制御回路21へそれぞれ出力する。
制御回路14はさらに、ズーム操作に基づくズーム操作信号が操作部材15から入力されるとデータ処理回路18へ指令を出力し、画像データに対する解像度変換処理の変換比率を操作信号に応じて変化させる。これにより、モニタ20に表示される画像が拡大もしくは縮小し、電気的にズーム調節される(電子ズーム)。解像度変換比率は電子ズーム倍率に対応する。データ処理回路18が電子ズーム倍率を高める方向に変換比率を変える場合、再生画像の一部が拡大されてモニタ20に表示される。この場合、拡大率が上がる反面、再生画像の表示範囲は狭くなる。一方、データ処理回路18が電子ズーム倍率を低くする方向に変換比率を変える場合、モニタ20に表示される再生画像の拡大率が下がる反面、再生画像の表示範囲は広くなる。撮像素子12による撮影モードに設定されている場合、モニタ20に表示されている画像に対応する撮影画像の画像データを記録媒体24に記録することができる。
ステップS2において、制御回路14は、各部を制御して被写体像を撮像する。
ステップS3において、制御回路14は、撮影レンズ11から撮影時のレンズ設定情報(焦点距離、ズーム倍率等)や、撮影レンズ11の収差情報を取得する。収差情報とは、撮影レンズ11の設計値や、予め撮影レンズ11の特性をテストしたテスト値などである。また、撮影レンズの種類毎に収差情報を電子カメラ1内に記録しておき、収差情報として撮影レンズの種類を取得する構成としても良い。
例えば、図3Aに示すように、被写体の下部に山Maが存在し、上部に飛行機Faが左から右に移動している場合、歪曲収差が発生すると山Maは、例えば、山Mb(図3B)のように形状が変形し、飛行機Faの軌跡は、例えば、飛行機Fb(図3B)のように変形する。データ処理回路18は、ステップS3で取得した情報に基づいて、この歪曲収差を打ち消すように縦方向および横方向に画像を変形させるパラメータを決定し、信号処理回路17より入力する画像データを変形することにより、歪曲収差を補正する。このパラメータの値は、画像中の位置によって異なるものとなる。歪曲収差が補正されると、図3Bに示す信号処理回路17より入力する画像データは、図3Aに示す歪曲収差の補正された画像データに補正される。なお、スルー画像撮影動作時および動画像撮影動作時には、連続的に生成される複数フレームの画像のそれぞれについて、歪曲収差を補正する。
データ処理回路18は、スルー画像撮影動作時および動画像撮影動作時に、ステップS4で収差の補正された複数フレームの画像データを用いて動きベクトルを算出する。なお、データ処理回路18は、画面内の各被写体毎に動きベクトルを算出する。動きベクトルは、例えば、時間的に隣接するフレーム間で、被写体毎にブロックマッチング処理を行うことによって算出することができる。ステップS5では、歪曲収差を補正した画像に含まれる被写体の動きベクトルを算出するので、幾何学的な歪みを含む画像であっても、適切な動きベクトルを算出することができる。
データ処理回路18は、ステップS4で収差の補正された複数フレームの画像データのそれぞれについて、その画像に含まれる被写体の形状情報を抽出する。なお、データ処理回路18は、画面内の各被写体毎に形状情報を抽出する。形状情報は、例えば、画像データから所定量以上のエッジ成分を有する閉曲(直)線を抽出することによって抽出することができる。ステップS6では、歪曲収差を補正した画像に含まれる被写体の形状情報を抽出するので、幾何学的な歪みを含む画像であっても、適切な形状情報を抽出することができる。
データ処理回路18は、被写体の種類と各種特徴量との関係が記録された辞書データを記憶している。辞書データには、例えば、特徴量として歪曲収差のない状態での形状情報が、被写体種類に対応して記憶されている。データ処理回路18は、この辞書データと、ステップS6で抽出した被写体の形状情報とを比較することにより、被写体の種類を特定する。
<スルー画像撮影動作>
電子カメラ1は、静止画像本撮影動作を行う際に、操作部材15からレリーズ釦の半押し操作に基づく半押し操作信号が制御回路14へ入力されると、上述したAF動作を伴ったスルー画像撮影動作を行う。スルー画像撮影動作は、所定のフレームレートで繰り返し行われており、レリーズ釦の半押し操作中、スルー画像撮影動作と並行して、上述したAF動作が行われ、撮影されたスルー画像がモニタ20に表示される。
スルー画像撮影動作に続いてレリーズ釦が全押し操作されると、全押し操作信号が制御回路14へ入力される。電子カメラ1は、全押し操作信号に応じて静止画像本撮影動作を開始する。
制御回路14は、操作部材15(レリーズ釦)からの全押し操作信号を検出すると撮像素子駆動回路16へ指示を送り、本撮影動作を実行するための駆動信号を出力させる。撮像素子12は、静止画像本撮影動作のための駆動信号を受けて、露出演算結果に基づく本撮影用の電荷蓄積を行って蓄積電荷を出力する。本撮影用の露出条件は、直近のスルー画像の画像データの信号値から得られる被写界の明るさ情報に基づいて決定される。信号処理回路17は入力された信号に上述した信号処理を施し、スルー画像撮影時に比べて高解像度(高画素数)の画像データとしてデータ処理回路18へ出力する。
なお、操作部材15の操作によって記録媒体24への非圧縮状態での記録が指示されている場合には、圧縮/伸張処理回路19での圧縮処理は行われず、記録媒体24への記録が行われる。また、記録媒体24への記録動作を行うにあたり、操作部材15の操作により圧縮率を変更可能な構成としても良い。
<動画撮影動作>
電子カメラ1は、動画撮影動作を行う際に、操作部材15からREC釦の操作信号が制御回路14へ入力されると、上述したAF動作を伴った動画撮影動作を行う。動画撮影動作は、所定のフレームレートで繰り返し行われており、REC釦の押圧操作中、動画撮影動作と並行して、上述したAF動作が行われ、撮影された動画像がモニタ20に表示されるとともに、圧縮された画像データが、記録媒体24に記録される。
データ処理回路18は、上述した動きベクトルの算出および被写体の種類の特定を行うとともに、モニタ20の表示画素数にあわせて解像度変換処理を施した画像データを表示制御回路21へ出力する。その結果、撮影された動画像がモニタ20に表示される。
なお、データ処理回路18は、上述したように、制御回路14より、撮影時のレンズ設定情報(焦点距離、ズーム倍率等)、撮影レンズ11の歪曲収差情報を入力し、歪曲収差を補正して、収差の補正された複数フレームの画像データを用いて動きベクトルを算出する。
<動画像について>
ユーザは、操作部材15を操作して、記録媒体24に記録される動画像を構成する複数フレームの画像の中から、各フレーム画像に関連付けて記録されている特徴量(動き情報、形状情報)、被写体の種類情報をもとに、所望のシーンを抽出することができる。
<静止画像について>
ユーザは、操作部材15を操作して、記録媒体24に記録される静止画像の中から、静止画像に関連付けて記録されている特徴量(形状情報)、被写体の種類情報をもとに、所望の静止画像を抽出することができる。
以上説明したように、第1実施形態によれば、撮影レンズを介して被写体を撮像して画像を生成する撮像部と、撮影レンズのレンズ情報を取得する取得部と、撮像部により生成した画像の幾何学的な歪みを、レンズ情報に基づいて補正する画像補正部と、画像補正部による補正後の画像から、画像に含まれる被写体の動き情報を抽出する動き抽出部と、撮像部により生成した画像と、動き抽出部により抽出した動き情報とを関連付けて記録する記録部と、動き情報に基づいて、記録部に記録された画像から所定の特徴を有する画像を抽出する画像抽出部とを備える。したがって、画像から適切な特徴量(動き情報)を抽出して、画像の正確な検索や編集を行うことができる。
<第2実施形態>
以下、図面に基づいて本発明の第2実施形態について説明する。第2実施形態では、第1実施形態と異なる部分についてのみ説明する。第2実施形態の電子カメラは、第1実施形態の電子カメラ1と同様の構成を有する。したがって、第2実施形態の電子カメラの図示および構成の説明を省略し、第1実施形態の図1と同様の符号を用いて説明する。
ステップS22において、制御回路14は、各部を制御して被写体像を撮像する。
ステップS23において、制御回路14は、撮影レンズ11から撮影時のレンズ設定情報(焦点距離、ズーム倍率等)や、撮影レンズ11の収差情報を取得する。
データ処理回路18は、ステップS22で撮像した画像の画像データ(複数フレーム存在する場合にはそれぞれについて)に対して、その画像に含まれる被写体の形状情報を抽出する。なお、データ処理回路18は、画面内の各被写体毎に形状情報を抽出する。形状情報は、例えば、画像データから所定量以上のエッジ成分を有する閉曲(直)線を抽出することによって抽出することができる。
データ処理回路18は、ステップS24で補正した辞書データ(形状情報)と、ステップS25で抽出した被写体の形状情報とを比較することにより、被写体の種類を特定する。ステップS26では、歪曲収差に基づいて補正した辞書データを用いて被写体の種類を特定するので、幾何学的な歪みを含む画像であっても、適切に被写体を特定することができる。
い。
以上説明したように、第2実施形態によれば、撮影レンズを介して被写体を撮像して画像を生成する撮像部と、撮影レンズのレンズ情報を取得する取得部と、被写体毎の形状情報を予め記憶する形状記憶部と、形状記憶部に記憶された形状情報を、レンズ情報に基づいて補正する形状情報補正部と、撮像部により生成した画像から、画像に含まれる被写体の形状情報を抽出する形状抽出部と、形状抽出部により抽出した形状情報と形状情報補正部により補正された形状情報とに基づいて、画像に含まれる被写体の種類を特定する特定部とを備える。したがって、画像から適切な特徴量(形状情報、被写体の種類)を抽出して、画像の正確な検索や編集を行うことができる。
また、上記各実施形態では、動き情報として被写体の動きベクトルを算出する例を示したが、画像データをもとに撮像装置の動き(パン、チルトなど)を求めるものであっても良い。この場合、撮像装置の動き情報を、画像に関連付けて記録すれば良い。ユーザは、撮像装置の動き情報(向き、方向、回転など)をもとに、上述と同様の処理(検索、編集など)を行うことができる。
また、上記各実施形態では、撮像装置の一例として、電子カメラを用いて説明したが、電子カメラ以外の撮像装置にも本発明を同様に適用することができる。
Claims (4)
- 撮影レンズを介して被写体を撮像して画像を生成する撮像部を備えた撮像装置であって、
前記撮影レンズのレンズ情報を取得する取得部と、
被写体毎の形状情報を予め記憶する形状記憶部と、
前記形状記憶部に記憶された前記形状情報を、前記レンズ情報に基づいて補正する形状情報補正部と、
前記撮像部により生成した前記画像から、前記画像に含まれる被写体の形状情報を抽出する形状抽出部と、
前記形状抽出部により抽出した前記形状情報と前記形状情報補正部により補正された前記形状情報とに基づいて、前記画像に含まれる前記被写体の種類を特定する特定部と
を備えたことを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記撮像部により生成した前記画像と、前記特定部により特定した前記被写体の種類とを関連付けて記録する記録部と、
前記被写体の種類に基づいて、前記記録部に記録された前記画像から所定の特徴を有する画像を抽出する画像抽出部とをさらに備える
ことを特徴とする撮像装置。 - 処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムであって、
処理対象の画像と、前記画像の生成時に使用された撮影レンズのレンズ情報とを取得する取得手順と、
予め記憶した被写体毎の形状情報を、前記レンズ情報に基づいて補正する形状情報補正手順と、
前記処理対象の画像から、前記画像に含まれる被写体の形状情報を抽出する形状抽出手順と、
前記形状抽出手順により抽出した前記形状情報と前記形状情報補正手順により補正した前記形状情報とに基づいて、前記処理対象に含まれる前記被写体の種類を特定する特定手順と
を備えたことを特徴とする画像処理プログラム。 - 請求項3に記載の画像処理プログラムにおいて、
前記処理対象の画像と、前記特定手順により特定した前記被写体の種類とを関連付けて記録する記録手順と、
前記被写体の種類に基づいて、前記記録手順で記録した前記処理対象の画像から所定の特徴を有する画像を抽出する画像抽出手順とをさらに備える
ことを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006131307A JP4665826B2 (ja) | 2006-05-10 | 2006-05-10 | 撮像装置および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006131307A JP4665826B2 (ja) | 2006-05-10 | 2006-05-10 | 撮像装置および画像処理プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010255046A Division JP5041050B2 (ja) | 2010-11-15 | 2010-11-15 | 撮像装置および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007306199A JP2007306199A (ja) | 2007-11-22 |
JP4665826B2 true JP4665826B2 (ja) | 2011-04-06 |
Family
ID=38839783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006131307A Expired - Fee Related JP4665826B2 (ja) | 2006-05-10 | 2006-05-10 | 撮像装置および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4665826B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011176456A (ja) * | 2010-02-23 | 2011-09-08 | Nikon Corp | カメラ、および画像再生装置 |
JP5684033B2 (ja) * | 2011-04-11 | 2015-03-11 | オリンパス株式会社 | 撮像装置及び内視鏡装置の作動方法 |
JP6619565B2 (ja) | 2015-05-21 | 2019-12-11 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002359771A (ja) * | 2001-06-01 | 2002-12-13 | Fuji Photo Film Co Ltd | 撮像装置、画像処理装置、画像処理方法、及びプログラム |
JP2005184420A (ja) * | 2003-12-19 | 2005-07-07 | Hitachi Ltd | 監視画像情報記録再生装置 |
-
2006
- 2006-05-10 JP JP2006131307A patent/JP4665826B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002359771A (ja) * | 2001-06-01 | 2002-12-13 | Fuji Photo Film Co Ltd | 撮像装置、画像処理装置、画像処理方法、及びプログラム |
JP2005184420A (ja) * | 2003-12-19 | 2005-07-07 | Hitachi Ltd | 監視画像情報記録再生装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2007306199A (ja) | 2007-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5206494B2 (ja) | 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法 | |
CN101931752B (zh) | 摄像装置、以及对焦方法 | |
JP5005570B2 (ja) | 画像処理装置およびプログラム | |
JP6157242B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4479829B2 (ja) | 撮像装置及び撮像方法 | |
JP4654887B2 (ja) | 撮像装置 | |
JP4952891B2 (ja) | 動画撮影装置および動画撮影プログラム | |
JP2002152582A (ja) | 電子カメラ、および画像表示用記録媒体 | |
JP2015053741A (ja) | 画像再生装置 | |
JP4645413B2 (ja) | 撮像装置 | |
JP2006303961A (ja) | 撮像装置 | |
JP4742813B2 (ja) | 画像処理装置および画像処理方法 | |
JP4792929B2 (ja) | デジタルカメラ | |
CN112995498B (zh) | 图像处理设备、摄像设备、图像处理方法和存储介质 | |
JP4665826B2 (ja) | 撮像装置および画像処理プログラム | |
JP5125294B2 (ja) | プログラム、画像処理装置、撮像装置および画像処理方法 | |
JP5402242B2 (ja) | 画像再生装置、撮像装置、画像再生方法、画像再生プログラム | |
JP4862926B2 (ja) | 再生制御装置及び再生制御方法並びにプログラム | |
JP2009044329A (ja) | プログラム、画像処理方法および画像処理装置 | |
JP5041050B2 (ja) | 撮像装置および画像処理プログラム | |
JP4888829B2 (ja) | 動画処理装置、動画撮影装置および動画撮影プログラム | |
JP2010171491A (ja) | 撮影装置、撮影方法及びプログラム | |
JP2009049457A (ja) | 撮像装置およびプログラム | |
JP2004229084A (ja) | 手振れ補正装置、手振れ補正方法及び撮像装置 | |
JP2008160274A (ja) | 移動ベクトル検出方法及びその装置並びにそのプログラム、電子的手振れ補正方法及びその装置並びにそのプログラム、撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101227 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4665826 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |