JP4176328B2 - 撮像装置、画像処理装置、画像処理方法、及びプログラム - Google Patents
撮像装置、画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP4176328B2 JP4176328B2 JP2001148428A JP2001148428A JP4176328B2 JP 4176328 B2 JP4176328 B2 JP 4176328B2 JP 2001148428 A JP2001148428 A JP 2001148428A JP 2001148428 A JP2001148428 A JP 2001148428A JP 4176328 B2 JP4176328 B2 JP 4176328B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inclination
- image processing
- subject
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 266
- 238000003384 imaging method Methods 0.000 title claims description 104
- 238000003672 processing method Methods 0.000 title claims description 19
- 238000003860 storage Methods 0.000 claims description 67
- 238000001514 detection method Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 30
- 238000005259 measurement Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000013208 measuring procedure Methods 0.000 claims 2
- 230000006870 function Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 238000009966 trimming Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000006837 decompression Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000005375 photometry Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Description
【発明の属する技術分野】
本発明は、撮像装置、画像処理装置、画像処理方法、及びプログラムに関する。特に、画像に基づいて画像処理する撮像装置、画像処理装置、画像処理方法、及びプログラムに関する。
【0002】
【従来の技術】
従来の撮像装置において撮像した画像には、幾何学的ずれが生じている場合がある。例えば、撮像時において撮像装置が傾いていた場合には、撮像した画像に天地のずれが生じる。また、レンズ等の特性により、撮像した画像に歪みが生じる場合もある。また、撮像しようとした被写体が画像の端に寄りすぎていたり、例えば空のような、不要な被写体が画像の大半を占めてしまう場合があった。
【0003】
【発明が解決しようとする課題】
従来、幾何学的ずれが生じている画像に対して、当該幾何学的ずれを修正するためには、撮像者が、撮像した画像のそれぞれに対し、当該幾何学的ずれを確認し、それぞれの画像に対し、複雑な画像処理を行う必要があった。この場合、撮像者がそれぞれの画像について確認及び画像処理を行うため、時間と手間がかかっていた。
【0004】
そこで本発明は、上記の課題を解決することのできる撮像装置、画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。この目的は、特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【0005】
【課題を解決するための手段】
上記課題を解決するために、本発明の第1の形態においては、被写体を撮像する撮像装置であって、被写体の画像を取得する撮像部と、画像から、被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶部と、検出条件に基づいて、画像から、直線成分に対応する画像要素を検出し、検出した画像要素と、予め定められた直線成分の傾きに関する基準との幾何学的ずれを検出する画像処理部とを備えることを特徴とする撮像装置を提供する。
【0006】
撮像装置は、撮像部が撮像した画像を格納する画像記憶部を更に備えてよい。また、画像処理部は、幾何学的ずれが小さくなるように、画像に対して画像処理してよい。また、画像処理部は、水平又は垂直方向を、傾きに関する基準として、直線成分と傾きに関する基準との幾何学的ずれを小さくしてよい。また、画像処理部は、直線成分のうち、傾きに関する基準に対する傾きが、予め定められた範囲内である直線成分と、傾きに関する基準との幾何学的ずれを小さくしてよい。画像処理部は、直線成分のうち、画像の水平方向に対する傾きが、予め定められた範囲内である直線成分、又は画像の垂直方向に対する傾きが、予め定められた範囲内である直線成分と、画像の水平方向又は垂直方向との幾何学的ずれを小さくしてよい。
【0007】
また、条件記憶部は、直線成分のうち、実質的に直交する直線成分の組み合わせを検出するための検出条件を更に格納し、画像処理部は、直線成分のうち、実質的に直交する直線成分の組み合わせと、傾きに関する基準との幾何学的ずれを小さくしてよい。また、被写体までの距離情報を取得する距離測定部を更に備え、画像処理部は、直線成分における少なくとも2点の距離情報と、直線成分の傾きとに基づいて、直線成分に対応する被写体要素の実空間における傾きを算出し、直線成分のうち、対応する被写体要素の実空間における傾きに関する基準に対する傾きが、予め定められた範囲内である直線成分と、傾きに関する基準との幾何学的ずれを小さくしてよい。また、被写体までの距離情報を取得する距離測定部を更に備え、画像処理部は、距離情報に基づいて、実質的に等距離の画像要素から形成される直線成分を検出し、検出した直線成分と傾きに関する基準との幾何学的ずれを小さくしてよい。
【0008】
また、画像処理部は、複数の直線成分を検出し、検出した複数の直線成分と、傾きに関する基準との幾何学的ずれの総和を小さくしてよい。また、矩形状の被写体を撮像する場合において、画像処理部は、矩形状の被写体に対応する直線成分に基づいて、画像における、矩形状の被写体に対応する画像要素を矩形状にしてよい。また、画像記憶部は、画像処理部が前記幾何学的ずれを小さくした画像を格納してよい。また、画像記憶部は、撮像部が撮像した画像と、画像に対応した傾きに関する基準とのずれの情報とを格納してよい。
【0009】
また、画像画像処理部が、幾何学的ずれを小さくした画像を表示する表示部を更に備えてよい。また、撮像部が撮像した画像と、画像処理部が検出した、画像に対応した傾きに関する基準とのずれの情報とを表示する表示部を更に備えてよい。また、表示部は、幾何学的ずれを小さくした複数の画像を縮小して表示してよい。また、表示部は、複数の画像を縮小した画像と、複数の画像にそれぞれ対応した傾きに関する基準とのずれの情報とを表示してよい。
【0010】
本発明の第2の形態においては、与えられた画像を画像処理する画像処理装置であって、与えられた画像を格納する画像記憶部と、画像から、被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶部と、検出条件に基づいて、画像から、直線成分に対応する画像要素を検出し、検出した画像要素と、予め定められた直線成分の傾きに関する基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理する画像処理部と、画像処理部が画像処理した画像を表示する表示部とを備えることを特徴とする画像処理装置を提供する。
【0011】
本発明の第3の形態においては、与えられた画像を画像処理する画像処理方法であって、与えられた画像を格納する画像記憶部手順と、画像から、被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶手順と、検出条件に基づいて、画像から、直線成分に対応する画像要素を検出し、検出した画像要素と、予め定められた直線成分の傾きに関する基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理する画像処理手順とを備えることを特徴とする画像処理方法を提供する。
【0012】
本発明の第4の形態においては、画像処理装置に画像処理を実行させるためのプログラムであって、画像処理装置を、画像処理するべき画像を格納する画像記憶部と、画像から、被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶部と、検出条件に基づいて、画像から、直線成分に対応する画像要素を検出し、検出した画像要素と、予め定められた直線成分の傾きに関する基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理する画像処理部として機能させることを特徴とするプログラムを提供する。
【0013】
尚、上記の発概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又、発明となりうる。
【0014】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0015】
図1は、本発明に係る撮像装置10の構成の一例を示すブロック図である。撮像装置10は、一例として、ディジタルカメラであってよい。以下、撮像装置10がディジタルカメラである場合について、説明する。撮像装置10は、主に撮像ユニット20、撮像補助ユニット38、撮像制御ユニット40、処理ユニット60、表示ユニット100、及び操作ユニット110を備える。
【0016】
撮像ユニット20は、撮影および結像に関する機構部材および電気部材を有する。撮像ユニット20は、映像を取り込んで処理を施す光学系22、絞り24、シャッタ26、光学LPF(ローパスフィルタ)28、CCD(電荷結合素子イメージセンサー)30、および撮像信号処理部32を含む。光学系22は、フォーカスレンズやズームレンズ等を有してよい。この構成により、被写体像がCCD30の受光面上に結像する。結像した被写体像の光量に応じ、CCD30の各センサエレメント(図示せず)に電荷が蓄積される(以下その電荷を「蓄積電荷」という)。蓄積電荷は、リードゲートパルスによってシフトレジスタ(図示せず)に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【0017】
撮像装置10が、ディジタルカメラである場合、撮像装置10は、一般に電子シャッタ機能を有するので、シャッタ26のような機械式シャッタは必須ではない。この場合、電子シャッタ機能を実現するために、CCD30にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタスピードが制御できる。
【0018】
CCD30から出力される電圧信号、すなわちアナログ信号は撮像信号処理部32でR、G、B成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部32はガンマ補正を行い、必要なタイミングでR、G、B信号を順次A/D変換(アナログ/ディジタル変換)し、その結果得られたデジタルの画像データ(以下単に「ディジタル画像データ」とよぶ)を処理ユニット60へ出力する。
【0019】
撮像補助ユニット20は、ファインダ34とストロボ36を有する。ファインダ34には図示しないLCD(液晶ディスプレイ)を内装してもよく、その場合、後述のメインCPU(中央演算装置)62等からの各種情報をファインダ34内に表示できる。ストロボ36は、コンデンサ(図示せず)に蓄えられたエネルギが放電管36aに供給されたときそれが発光することで機能する。
【0020】
撮像制御ユニット40は、ズーム駆動部42、フォーカス駆動部44、絞り駆動部46、シャッタ駆動部48、それらを制御する撮像系CPU50、測距センサ52、および測光センサ54をもつ。ズーム駆動部42などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ114の押下に応じ、測距センサ52は被写体までの距離を測定し、測光センサ54は被写体輝度を測定する。測定された距離のデータ(以下単に「測距データ」という)および被写体輝度のデータ(以下単に「測光データ」という)は撮像系CPU50へ送られる。撮像系CPU50は、ユーザから指示されたズーム倍率等の撮影情報に基づき、ズーム駆動部42とフォーカス駆動部44を制御して光学系22のズーム倍率とピントの調整を行う。
【0021】
撮像系CPU50は、1画像フレームのRGBのデジタル信号積算値、すなわちAE情報に基づいて絞り値とシャッタスピードを決定する。決定された値にしたがい、絞り駆動部46とシャッタ駆動部48がそれぞれ絞り量の調整とシャッタ26の開閉を行う。
【0022】
撮像系CPU50はまた、測光データに基づいてストロボ36の発光を制御し、同時に絞り24の絞り量を調整する。ユーザが映像の取込を指示したとき、CCD30が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部32へ出力される。
【0023】
処理ユニット60は、撮像装置10全体、とくに処理ユニット60自身を制御するメインCPU62と、これによって制御されるメモリ制御部64、YC処理部70、オプション装置制御部74、圧縮伸張処理部78、通信I/F部80、及び画像処理部220を有する。メインCPU62は、シリアル通信などにより、撮像系CPU50との間で必要な情報をやりとりする。メインCPU62の動作クロックは、クロック発生器88から与えられる。クロック発生器88は、撮像系CPU50、表示ユニット100に対してもそれぞれ異なる周波数のクロックを提供する。
【0024】
メインCPU62には、キャラクタ生成部84とタイマ86が併設されている。タイマ86は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインCPU62に与えられる。キャラクタ生成部84は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【0025】
メモリ制御部64は、不揮発性メモリ66とメインメモリ68を制御する。不揮発性メモリ66は、EEPROM(電気的消去およびプログラム可能なROM)やFLASHメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、撮像装置10の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ66には、場合によりメインCPU62のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ68は一般にDRAMのように比較的安価で容量の大きなメモリで構成される。メインメモリ68は、撮像ユニット20から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ66とメインメモリ68は、処理ユニット60内外の各部とメインバス82を介してデータのやりとりを行う。
【0026】
YC処理部70は、ディジタル画像データにYC変換を施し、輝度信号Yと色差(クロマ)信号B−Y、R−Yを生成する。輝度信号と色差信号はメモリ制御部64によってメインメモリ68に一旦格納される。圧縮伸張処理部78はメインメモリ68から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ(以下単に「圧縮データ」という)は、オプション装置制御部74を介してオプション装置76の一種であるメモリカードへ書き込まれる。
【0027】
処理ユニット60はさらにエンコーダ72を有する。エンコーダ72は輝度信号と色差信号を入力し、これらをビデオ信号(NTSCやPAL信号)に変換してビデオ出力端子90から出力する。オプション装置76に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部74を介して圧縮伸張処理部78へ与えられる。つづいて、圧縮伸張処理部78で必要な伸張処理が施されたデータはエンコーダ72によってビデオ信号へ変換される。
【0028】
オプション装置制御部74は、オプション装置76に認められる信号仕様およびメインバス82のバス仕様にしたがい、メインバス82とオプション装置76の間で必要な信号の生成、論理変換、または電圧変換などを行う。撮像装置10は、オプション装置76として前述のメモリカードのほかに、例えばPCMCIA準拠の標準的なI/Oカードをサポートしてもよい。その場合、オプション装置制御部74は、PCMCIA用バス制御LSIなどで構成してもよい。
【0029】
通信I/F部80は、撮像装置10がサポートする通信仕様、たとえばUSB、RS−232C、イーサネット(商標)などの仕様に応じたプロトコル変換等の制御を行う。通信I/F部80は、必要に応じてドライバICを含み、ネットワークを含む外部機器とコネクタ92を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のI/Fによるデータ授受を行う構成としてもよい。
【0030】
画像処理部220は、ディジタル画像データに対して、所定の画像処理をする。例えば、画像処理部220は、ディジタル画像データに対して、画像の天地のずれの修正等の画像処理をする。画像処理部220は、撮像ユニット20が出力したディジタル画像データに対して画像処理し、画像処理したディジタル画像データをYC処理部又はメインメモリ68に出力してよく、また、YC処理部がYC変換処理を施し、メインメモリ68に格納したディジタル画像データに対して画像処理し、画像処理したディジタル画像データを、メインメモリ68に格納してよい。
【0031】
画像処理部220は、不揮発性メモリ66又はメインメモリ68に格納されたプログラムに基づいて動作する。また、メモリ制御部64は、通信I/F部80を介して、外部機器から画像処理部220を動作させるためのプログラムを受け取り、不揮発性メモリ66に格納してよい。また、メモリ制御部64は、オプション装置76から画像処理部220を動作させるためのプログラムを受け取り、不揮発性メモリ66に格納してよい。不揮発性メモリ66又はメインメモリ68に格納されたプログラムは、一例として処理ユニット60を、画像処理するべき画像を格納する画像記憶部と、画像から予め定められた被写体要素を検出するための、検出条件を格納する条件記憶部と、検出条件に基づいて、画像から被写体要素に対応する画像要素を検出し、検出した画像要素の、予め定められた基準との幾何学的ずれにもとづいて、幾何学的ずれが小さくなるように、画像に対して画像処理を行う画像処理部として機能させる。また、当該プログラムは、例えばコンピュータ等の画像処理装置を、上述した機能動作させてもよい。当該プログラムが、処理ユニット60に行わせる処理は、後述する画像処理部220、画像記憶部210、及び条件記憶部230の機能及び動作、画像処理装置300の機能及び動作、又は画像処理方法の機能と同一又は同様である。
【0032】
表示ユニット100は、液晶モニタ102とLCDパネル104を有する。それらはLCDドライバであるモニタドライバ106、パネルドライバ108によってそれぞれ制御される。液晶モニタ102は、例えば2インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。LCDパネル104は例えば小さな白黒LCDでカメラ上面に設けられ、画質(FINE/NORMAL/BASICなど)、ストロボ発光/発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【0033】
本実施形態の場合、表示ユニット100は、さらに照明部156,158を含む。先に説明したように、本実施形態の照明部156、158は、液晶モニタ102の光源を利用して照明を行うからである。なお、照明部156,158は、独自の光源を有する、液晶モニタ102から独立した構成要素として撮像装置10に備えてもよい。
【0034】
操作ユニット110は、ユーザーが撮像装置10の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ112は、撮像装置10の電源のオンオフを決める。レリーズスイッチ114は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでAFおよびAEがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ68、オプション装置76等に記録される。操作ユニット110はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図1において機能設定部116と総称されている。操作ユニット110で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定/保存」、「表示切換」等がある。ズームスイッチ118は、ズーム倍率を決める。
【0035】
以上の構成による主な動作は以下のとおりである。まず、撮像装置10のパワースイッチ112がオンされ、カメラ各部に電力が供給される。メインCPU62は、機能設定部116の状態を読み込むことで、撮像装置10が撮影モードにあるか再生モードにあるかを判断する。
【0036】
次に、メインCPU62はレリーズスイッチ114の半押し状態を監視する。スタンドが閉じた位置にある場合、メインCPU62は、半押し状態を検出すると、測光センサ54および測距センサ52からそれぞれ測光データと測距データを得る。得られたデータに基づいて撮像制御ユニット40が動作し、光学系22のピント、絞りなどの調整が行われる。メインCPU62は、半押し状態を検出すると、測光センサ54のみから測光データを得る。そして、撮像制御ユニット40は、光学系22の絞りを調整する。
【0037】
調整が完了すると、LCDモニタ102に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ114の全押し状態を監視する。レリーズスイッチ114が全押しされると、所定のシャッタ時間をおいてシャッタ26が閉じられ、CCD30の蓄積電荷が撮像信号処理部32へ掃き出される。撮像信号処理部32による処理の結果生成されたディジタル画像データはメインバス82へ出力される。
【0038】
ディジタル画像データは一旦メインメモリ68へ格納され、この後、画像処理部220、YC処理部70、及び圧縮伸張処理部78で処理を受け、オプション装置制御部74を経由してオプション装置76へ記録される。記録された画像は、フリーズされた状態でしばらくLCDモニタ102に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【0039】
一方、撮像装置10が再生モードの場合、メインCPU62は、メモリ制御部64を介してメインメモリ68から最後に撮影した画像を読み出し、これを表示ユニット100のLCDモニタ102へ表示する。この状態でユーザーが機能設定部116にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、LCDモニタ102へ表示される。表示ユニット100は、画像処理部220において画像処理された画像を表示してよく、また、画像処理前の画像を表示してよい。例えば、表示ユニット100は、画像処理部220において、天地のずれが修正された画像を表示してよい。次に、画像処理部220における画像処理について説明する。
【0040】
図2は、撮像装置10における画像処理の一例を説明するためのブロック図である。撮像装置10は、撮像部200、画像記憶部210、画像処理部220、条件記憶部230、及び表示部240を備える。
【0041】
撮像部200は一例として、図1において説明した、撮像ユニット20、撮像制御ユニット40、及び撮像補助ユニット38と同一又は同様の機能及び構成を有し、被写体250の画像を取得する。画像記憶部210は一例として、図1において説明した、メモリ制御部64、及び不揮発性メモリ66と同一又は同様の機能及び構成を有し、撮像部200が撮像した画像を格納する。条件記憶部230は一例として、図1において説明したメモリ制御部64、不揮発性メモリ66、及びメインメモリ68と同一又は同様の機能及び構成を有し、画像処理部220において、画像から、前記被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する。
【0042】
画像処理部220は、図1において説明した画像処理部220と同一又は同様の機能及び構成を有し、条件記憶部230に格納された検出条件に基づいて、画像から当該直線成分に対応する画像要素を検出し、検出した画像要素と、予め定められた直線成分の傾きに関する基準との幾何学的ずれを検出する。また、画像処理部220は、当該幾何学的ずれが小さくなるように、画像に対して画像処理をしてよい。表示部240は、図1において説明した表示ユニット100と同一又は同様の機能及び構成を有し、画像処理部220が画像処理した画像又は撮像部200が撮像した画像を表示する。また、画像記憶部210は、画像処理部220が画像処理した画像を格納してよい。例えば、画像記憶部210は、画像処理部220が画像の幾何学的ずれを小さくした画像を格納してよい。また、画像記憶部210は、撮像部が撮像した画像と、画像処理部220が検出した当該画像に対応した傾きに関する基準との幾何学的ずれの情報とを対応づけて格納してもよい。
【0043】
表示部240は、画像記憶部210が格納した画像及び天地情報を表示する。例えば、表示部240は、画像記憶部210が格納した、幾何学的ずれを小さくした画像を表示してよい。また、表示部240は、画像記憶部210が格納した、画像と、前記画像処理部220が検出した、当該画像に対応した傾きに関する基準とのずれの情報とを表示してもよい。例えば、表示部240は、撮像部200が取得した画像と、画像処理部220が検出した当該画像の傾き情報とをあわせて表示してもよい。この場合、撮像者がシャッタを押し、画像を撮像する前に、撮像装置10の傾きを表示するため、撮像者が、撮像装置10の傾きを容易に修正することができる。また、表示部240は、画像記憶部210が格納した、幾何学的ずれを小さくした複数の画像を縮小して表示してよい。また、表示部240は、縮小した複数の画像と、複数の画像にそれぞれ対応した傾きに関する基準との幾何学的ずれの情報とを表示してよい。
【0044】
図3は、画像処理部220における画像処理の一例を説明する図である。本例において、画像処理部220は、撮像部200が撮像した画像の傾きを検出し、当該傾きを修正する画像処理を行う。本例において、画像処理部220が、図2において説明した条件記憶部230は、予め定められた長さ以上の直線成分を検出するための検出条件、及び当該直線成分の傾きに関する基準とを格納する。
【0045】
図3(a)は、撮像部200が撮像した被写体の画像の一例を示す。図3(a)に示す画像には、被写体として、建物、空、木、地面、道路等が撮像されている。図3(a)に示すように、当該画像において、画像枠の傾きと、被写体の傾きとは、一致していない。図3(a)に示す画像は、撮像時における撮像装置10の傾き等によって、被写体が画像枠に対して傾いている。本例における画像処理部220は、当該傾きを修正する。
【0046】
まず、画像処理部220は、条件記憶部230に格納された検出条件に基づいて、画像から、予め定められた長さ以上の直線成分を検出する。例えば、図3(b)に示すように、画像処理部220は、地平線の直線成分に対応する画像要408、建物の直線成分に対応する画像要素402、及び画像要素406を検出する。また、本例において、撮像装置10は、被写体までの距離情報を取得する距離測定部を更に備え、画像処理部220は、距離情報に基づいて、実質的に等距離の画像要素から形成される直線成分を検出してよい。当該距離測定部は、図1に関連して説明した測距センサ52であってよい。例えば、図3(a)に示す画像要素422は、手前から地平線に伸びる道路を被写体としたものであり、画像要素422における直線成分は、実質的に等距離の画像要素から形成されていない。そのため、本例における画像処理部220は、画像要素422を除去し、実質的に等距離に有る直線成分に対応する、画像要素402、画像要素406、及び画像要素408を検出する。本例において、画像処理部220は、直線成分における距離情報の最小値に対する最大値の割合が、所定の範囲内である直線成分を、実質的に等距離として検出してよい。画像処理部220が、実質的に等距離の画像要素から形成される直線成分を検出することにより、実空間において、実質的に水平又は垂直である直線成分に基づいて、画像処理することができる。
【0047】
次に、画像処理部220は、検出した画像要素に基づいて、画像の傾きを修正する。まず、画像処理部220は、画像要素と、予め定められた直線成分の傾きに関する基準との幾何学的ずれを検出する。本例において、条件記憶部230は、画像の水平方向又は垂直方向を、当該傾きに関する基準として格納する。つまり、画像処理部220は、画像の水平又は垂直方向を傾きに関する基準として、検出した画像要素と、当該傾きに関する基準との幾何学的ずれを検出する。本例に示すように、画像処理部220は、複数の画像要素を検出し、検出した複数の画像要素と、傾きに関する基準との幾何学的ずれを小さくしてよい。例えば、画像処理部220は、複数の画像要素と、傾きに関する基準との幾何学的ずれの総和、又は平均値を小さくする。
【0048】
次に、画像処理部220は、当該幾何学的ずれを小さくするように、画像に対して画像処理を行う。例えば、図3(c)に示すように、画像処理部220は、検出した幾何学的ずれに基づいて、画像を回転させる。本例において、画像処理部220は、検出した画像要素のうち、傾きに関する基準に対する傾きが、予め定められた範囲内である画像要素と、傾きに関する基準との幾何学的ずれを小さくしてよい。例えば、画像処理部220は、検出した画像要素のうち、画像の水平方向に対する傾きが、予め定められた範囲内である画像要素と、画像の水平方向との幾何学的ずれ、すなわち当該画像要素の、水平方向に対する傾きを小さくするように、画像を回転させてよい。また、画像処理部220は、検出した画像要素のうち、画像の垂直方向に対する傾きが、予め定められた範囲内である画像要素と、画像の垂直方向との幾何学的ずれ、すなわち当該画像要素の、垂直方向に対する傾きを小さくするように、画像を回転させてよい。この場合、条件記憶部230は、当該傾きの予め定められた範囲を格納してよい。画像処理部220が、傾きに関する基準との幾何学的ずれが予め定められた範囲内にある画像要素のみに基づいて、画像処理することにより、撮像者が意図的に傾かせた画像に対して画像処理してしまうような、誤処理を防ぐことができる。
【0049】
また、条件記憶部230は、画像処理部220が検出した画像要素のうち、実質的に直交する画像要素の組み合わせを検出するための検出条件を更に格納し、画像処理部220は、実質的に直交する画像要素を検出し、検出した画像要素と、傾きに関する基準との幾何学的ずれを小さくしてよい。例えば、画像処理部220は、図3(b)の画像要素402及び画像要素406のように、直交する直線成分を有する画像要素と、傾きに関する基準との幾何学的ずれを検出し、当該幾何学的ずれを小さくするように画像処理してよい。この場合、条件記憶部230は、直交する画像要素のそれぞれに対応する、傾きに関する基準を格納することが好ましい。本例において、条件記憶部230は、水平方向と垂直方向とを、直交する画像要素のそれぞれに対応した傾きに関する基準として格納する。
【0050】
本例において説明した撮像装置10によれば、直線成分に対応する画像要素と、傾きに関する基準との幾何学的ずれを検出し、当該幾何学的ずれを小さくするように画像処理することにより、容易に画像の傾きを修正することができる。また、実質的に等距離に有る画像要素から形成される直線成分に基づいて画像処理することにより、精度良く画像の傾きを修正することができる。次に、図3(c)に示す画像のように、傾きを修正した画像を、画像処理部220が、所定の大きさに切り出す手段、すなわち画像処理部220における画像のトリミング手段について説明する。
【0051】
図4は、画像処理部220における画像のトリミング手段の一例を説明する図である。本例においては、図3で説明した画像を用いて、トリミング手段を説明する。図4(a)は、図3(c)に示した画像処理部220が幾何学的ずれを小さくした画像である。画像処理部220は、幾何学的ずれを小さくした画像に対して、所定の大きさのトリミング枠を設定する。当該トリミング枠は、画像処理部220が画像処理する前の、元の画像枠と同一の傾きを有する。本例において、画像処理部220は、図3(a)で示した画像の画像枠の縦横比と同一の縦横比を有するトリミング枠を設定する。例えば、画像処理部220は、図4(a)に示すトリミング枠412のように、当該縦横比を有するトリミング枠の内、幾何学的ずれを小さくした画像を切り出す面積が最大のトリミング枠を設定する。次に、画像処理部220は、トリミング枠412に基づいて、画像を切り出し、切り出した画像を、所定の大きさに拡大する。本例においては、図4(b)に示すように、画像処理部220は、切り出した画像を、元の画像枠の大きさに拡大する。以上説明した撮像装置10によれば、画像の傾きを修正した、所定の大きさの画像を容易に生成することができる。
【0052】
図5は、画像処理部220における画像処理の他の例を説明する図である。本例において、画像処理部220は、撮像部200が矩形状の被写体を撮像する場合において、当該矩形状の被写体に対応する画像要素に基づいて、画像における矩形状の被写体を矩形状にする。つまり、本例において、画像処理部220は、画像のあおりを修正する画像処理を行う。本例において、画像処理部220、条件記憶部230、画像記憶部210、撮像部200、及び表示部240は、図2から図4に関連して説明した画像処理部220、条件記憶部230、画像記憶部210、撮像部200、及び表示部240と同一又は同様の機能及び構成を有する。
【0053】
図5(a)は、撮像部200が撮像した被写体の画像の一例を示す。図5(a)に示す画像には、被写体として、矩形状の建物が撮像されている。図5(a)に示す画像は、建物をしたから見上げる構図で撮像した画像である。このような構図で撮像した画像には、一般にあおりとよばれる現象が生じる場合がある。つまり、矩形状の被写体を撮像した場合に、台形の画像が撮像される場合がある。本例における撮像装置10は、当該あおりを修正する。
【0054】
まず、画像処理部220は、被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出する。一例として、画像処理部220は図5(b)に示すように、画像要素414、画像要素416、及び画像要素418を、当該直線成分として検出する。次に、検出した画像要素と、予め定められた傾きに関する基準との幾何学的ずれを検出し、当該幾何学的ずれを小さくするように画像に対して画像処理する。例えば、画像処理部220は、当該傾きに関する基準と直交する画素列毎に、所望の倍率だけ拡大又は/縮小し、検出した画像要素と当該傾きに関する基準との幾何学的ずれを小さくする。本例において、画像処理部220は、画像の垂直方向を、予め定められた傾きに関する基準として、画像要素414及び画像要素418と、画像の垂直方向との傾きを小さくするように画像処理を行う。
【0055】
例えば、画像処理部220は、図5(b)に示すように、画像を複数の領域に分割し、それぞれの領域の境界線における、画像要素と、画像の中心線424との距離xnを算出する。画像処理部220は、例えば画素数に基づいて、当該距離xnを算出してよい。次に、画像処理部220は、算出した距離xnに基づいて、それぞれの境界線における、画像の水平方向における倍率を算出する。例えば、画像処理部220は、それぞれの境界線における距離xnの比に基づいて、画像の水平方向における倍率を算出する。この場合、画像処理部220は、中心線424の左右において、異なる倍率を算出してよい。本例において、画像処理部220は、距離x1及び距離x7を基準として、それぞれの境界線における距離xnの基準に対する比に基づいて、当該倍率を算出する。次に、画像処理部220は、算出した倍率に基づいて、画像の水平方向のおける画素列毎に画像を拡大又は縮小する。画像処理部220は、それぞれの境界線における倍率に基づいて、当該境界線間における画素列の倍率を算出してよい。例えば、画像処理部220は、線形補間により、境界線間の画素列の倍率を算出してよい。図5(c)に、画像処理部220が、画像処理した画像を示す。画像処理部220が、画像要素と、傾きに関する基準との傾きに基づいて、画素列を拡大又は/及び縮小することにより、画像のあおりを修正することができる。
【0056】
本例において、画像処理部220は、撮像した画像要素の直線成分のうち、予め定められた傾きに関する基準に対する傾きが、所定の範囲内である直線成分の組み合わせの形状に基づいて、撮像された被写体が矩形状であったと判定し、説明した画像処理を行ってよい。また、撮像装置10は、被写体が矩形状であるか否かを、使用者が入力するための入力手段を備えてよい。また、撮像装置10は、当該画像処理を行うか否かを、使用者が選択するための入力手段を備えていてよい。
【0057】
また、撮像装置10は、被写体までの距離情報を取得する距離測定部を更に備え、画像処理部220は、検出した画像要素における少なくとも2点の距離情報と、画像要素の傾きとに基づいて、画像要素に対応する被写体要素の実空間における傾きを算出し、検出した画像要素のうち、対応する被写体要素の実空間における傾きに関する基準に対する傾きが、予め定められた範囲内である画像要素と、傾きに関する基準との幾何学的ずれを小さくするように画像処理してよい。当該距離測定部は、図1に関連して説明した測距センサ52であってよい。例えば、画像処理部220は、被写体要素の実空間における傾きを算出し、算出した当該被写体要素の、水平又は垂直方向に対する傾きが小さくなるように、当該被写体要素に対応する画像要素の傾きを修正してよい。以下、被写体要素の実空間における傾きを算出する方法について説明する。
【0058】
図6は、画像要素から、対応する被写体要素の実空間における傾きを算出する方法の一例を説明する図である。図6は、xyz空間における、被写体と撮像装置10の位置を示す。図6では、矩形状の被写体を撮像した場合についてのあおりについて説明する。図6において、点aは撮像装置10の位置を示す。また、図6において、xz平面上の点bcdeから成る矩形形状は、被写体のエッジ成分を示す。本例において、線分ae及び線分adの長さをL1とし、線分ab及び線分acの長さをL2とする。点aから、点bcdeに示される被写体を撮像した場合、被写体までの距離分布に基づいて、撮像した画像にあおりが生じる。撮像装置10は、被写体を、点aから実質的に等距離な面に投影した画像を、レンズの屈折等により平面の画像として撮像する。本例において、被写体の点bは、直線ab上の、点aからの距離がほぼL1である点fに、被写体の点cは、直線ac上の、点aからの距離がほぼL1である点gに投影される。一例として、撮像装置10は、面defgに、被写体を投影した画像を取得する。
【0059】
図6から明らかなように、被写体までの距離の分布に基づいて、撮像した画像には、図6に示したようなあおりが生じる。あおりによって生じた画像の直線成分の傾きθ1と、直線成分における2点に対応する被写体の2点までの距離、例えば点eまでの距離L1及び点bまでの距離L2とに基づいて、被写体の直線成分beの実空間における傾きを算出することができる。画像処理部220は、上述したように、直線成分に対応する画像要素に基づいて、被写体の実空間における形状を算出し、算出した形状が矩形状である場合に、図5において説明した画像処理を行ってよい。また、画像処理部220は、画像における直線上の2点の位置及び距離、並びに画像における2点を結ぶ直線の傾きに基づいて、直線の実空間における傾きを算出してよい。また、画像処理部220は、直線成分に対応する画像要素に基づいて、直線成分の実空間における傾きを算出し、当該直線成分と、傾きに関する基準との幾何学的ずれが小さくなるように、図3及び図4において説明した画像処理を行ってよい。
【0060】
図7は、本発明に係る画像処理装置300の構成の一例を示すブロック図である。画像処理装置300は、例えば、表示装置を備えるコンピュータ等であって、与えられた画像を画像処理する。画像処理装置300は、画像記憶部210と、画像処理部220と、条件記憶部230と、表示部240とを備える。画像記憶部210は、図2から図6に関連して説明した画像記憶部210と同一又は同様の機能及び構成を有し、与えられた画像を格納する。条件記憶部230は、図2から図6に関連して説明した条件記憶部230と同一又は同様の機能及び構成を有し、画像記憶部210が格納した画像から、被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する。
【0061】
画像処理部220は、図2から図6に関連して説明した画像処理部220と同一又は同様の機能及び構成を有し、条件記憶部240に格納された、被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件に基づいて、画像記憶部210が格納した画像から、直線成分に対応する画像要素を検出し、検出した画像要素と、予め定められた直線成分の傾きに関する基準との幾何学的ずれを検出し、当該幾何学的ずれが小さくなるように、画像に対して画像処理する。
【0062】
例えば、画像処理部220は、図2から図6に関連して説明した画像処理部220と同様に、直線成分に対応する画像要素の、水平又は垂直方向との幾何学的ずれを検出し、当該幾何学的ずれを小さくするように、画像に対して画像処理する。
【0063】
表示部240は、図2から図6に関連して説明した表示部240と同一又は同様の機能及び構成を有し、画像処理部220が画像処理した画像を表示する。また、表示部240は、与えられた画像と、与えられた画像に対応した画像の傾きに関する情報とをあわせて表示してもよい。
【0064】
本例における画像処理装置300によれば、被写体の直線成分に対応する画像要素に、画像の傾きを容易に検出することができる。また、検出した画像の傾きを容易に修正することができる。
【0065】
図8は、本発明に係る画像処理方法のフローチャートの一例を示す。本例における画像処理方法は、図7に関連して説明した画像処理装置300における画像処理と同一又は同様の処理を行う。まず、画像記憶手順で、与えられた画像を格納する(S252)。画像記憶手順は、図7に関連して説明した画像記憶部210における処理と同様の処理を行う。また、条件記憶手順で、与えられた画像から、被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する(S254)。条件記憶手順は、図7に関連して説明した条件記憶部230における処理と同様の処理を行う。画像記憶手順と、条件記憶手順とは、いずれを先に行ってもよい。
【0066】
次に、画像処理手順で、画像の幾何学的ずれを小さくする。画像処理手順(S256〜S262)では、図7に関連して説明した画像処理部220における処理と同様の処理を行う。画像処理手順は、まず検出条件に基づいて、画像から直線成分に対応する画像要素を検出する(S256)。次に、検出した画像要素と、予め定められた直線成分の傾きに関する基準との幾何学的ずれを検出する(S258)。S258では例えば、画像要素と、画像の水平又は垂直方向との幾何学的ずれを検出する。次に、画像要素と、当該傾きに関する基準との幾何学的ずれが有るか否かを判定する(S260)。当該幾何学的ずれが無い場合、画像処理方法の処理を終了する。また、当該幾何学的ずれが有る場合、当該幾何学的ずれが小さくなるように、画像に対して画像処理する(S262)。S262では例えば、図3から図6に関連して説明したように、画像要素と、傾きに関する基準との幾何学的ずれが小さくなるように、画像に対して画像処理する。
【0067】
以上説明した画像処理方法によれば、与えられた画像から検出した画像要素に基づいて、与えられた画像の傾きを容易に判定することができる。また、画像の傾きを容易に修正することができる。
【0068】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0069】
【発明の効果】
上記説明から明らかなように、本発明に係る撮像装置、画像処理装置、画像処理方法、及びプログラムによれば、画像の傾きを検出し、当該傾きを容易に修正することができる。例えば、画像が、水平又は垂直方向等に対してずれている場合、当該ずれを検出し、当該ずれを容易に修正することができる。
【図面の簡単な説明】
【図1】 本発明に係る撮像装置10の構成の一例を示すブロック図である。
【図2】 撮像装置10における画像処理の一例を説明するためのブロック図である。
【図3】 画像処理部220における画像処理の一例を説明する図である。
【図4】 画像処理部220における画像のトリミング手段の一例を説明する図である。
【図5】 画像処理部220における画像処理の他の例を説明する図である。
【図6】 画像要素から、対応する被写体要素の実空間における傾きを算出する方法の一例を説明する図である。
【図7】 本発明に係る画像処理装置300の構成の一例を示すブロック図である。
【図8】 本発明に係る画像処理方法のフローチャートの一例を示す。
【符号の説明】
10・・・撮像装置、20・・・撮像ユニット、22・・・光学系、24・・・絞り、26・・・シャッタ、28・・・光学LPF、30・・・CCD、32・・・撮像信号処理部、34・・・ファインダ、36・・・ストロボ、38・・・撮像補助ユニット、40・・・撮像制御ユニット、42・・・ズーム駆動部、44・・・フォーカス駆動部、46・・・絞り駆動部、48・・・シャッタ駆動部、50・・・撮像系CPU、52・・・測距センサ、54・・・測光センサ、62・・・メインCPU、64・・・メモリ制御部、66・・・不揮発性メモリ、68・・・メインメモリ、70・・・YC処理部、72・・・エンコーダ、74・・・オプション装置制御部、76・・・オプション装置、78・・・圧縮伸張処理部、80・・・通信I/F部、82・・・メインバス、84・・・キャラクタ生成部、86・・・タイマ、88・・・クロック発生器、100・・・表示ユニット、102・・・液晶モニタ、104・・・LCDパネル、106・・・モニタドライバ、108・・・パネルドライバ、110・・・操作ユニット、112・・・パワースイッチ、114・・・レリーズスイッチ、116・・・機能設定部、118・・・ズームスイッチ、158・・・照明部、300・・・画像処理装置、402、406,408・・・画像要素、412・・・画像枠
Claims (17)
- 被写体を撮像する撮像装置であって、
前記被写体の画像を取得する撮像部と、
前記画像から、前記被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶部と、
前記検出条件に基づいて、前記画像から、前記直線成分に対応する画像要素を検出し、検出した前記画像要素と、予め定められた前記直線成分の傾きに関する基準との幾何学的ずれを検出する画像処理部と、
前記被写体までの距離情報を取得する距離測定部と
を備え、
前記画像処理部は、
検出した前記画像要素における少なくとも2点の距離情報と、前記画像要素の傾きとに基づいて、前記画像要素に対応する前記被写体の要素の実空間における傾きを算出し、
検出した前記画像要素のうち、対応する前記被写体の要素の前記実空間における前記傾きに関する基準に対する傾きが、予め定められた範囲内である前記画像要素と、前記傾きに関する基準との幾何学的ずれを小さくする撮像装置。 - 被写体を撮像する撮像装置であって、
前記被写体の画像を取得する撮像部と、
前記画像から、前記被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶部と、
前記検出条件に基づいて、前記画像から、前記直線成分に対応する画像要素を検出し、検出した前記画像要素と、予め定められた前記直線成分の傾きに関する基準との幾何学的ずれを検出する画像処理部と、
前記被写体までの距離情報を取得する距離測定部と
を備え、
前記画像処理部は、前記距離情報に基づいて、実質的に等距離の画像要素から形成される前記直線成分を検出し、検出した前記直線成分と前記傾きに関する基準との幾何学的ずれを小さくする撮像装置。 - 前記撮像部が撮像した前記画像を格納する画像記憶部を更に備える請求項1または請求項2に記載の撮像装置。
- 前記画像処理部は、前記直線成分のうち、前記傾きに関する基準に対する傾きが、予め定められた範囲内である前記直線成分と、前記傾きに関する基準との幾何学的ずれを小さくする請求項1乃至請求項3のいずれかに記載の撮像装置。
- 前記画像処理部は、検出した前記画像要素のうち、前記画像の水平方向に対する傾きが、予め定められた範囲内である前記画像要素、又は前記画像の垂直方向に対する傾きが、予め定められた範囲内である前記画像要素と、前記画像の水平方向又は垂直方向との幾何学的ずれを小さくする請求項4に記載の撮像装置。
- 被写体の画像を画像処理する画像処理装置であって、
与えられた前記画像を格納する画像記憶部と、
前記画像から、前記被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶部と、
前記検出条件に基づいて、前記画像から、前記直線成分に対応する画像要素を検出し、検出した前記画像要素と、予め定められた前記直線成分の傾きに関する基準との幾何学的ずれに基づいて、前記幾何学的ずれが小さくなるように、前記画像に対して画像処理する画像処理部と、
前記画像処理部が画像処理した前記画像を表示する表示部と、
前記被写体までの距離情報を取得する距離測定部と
を備え、
前記画像処理部は、
検出した前記画像要素における少なくとも2点の距離情報と、前記画像要素の傾きとに基づいて、前記画像要素に対応する前記被写体の要素の実空間における傾きを算出し、
検出した前記画像要素のうち、対応する前記被写体の要素の前記実空間における前記傾きに関する基準に対する傾きが、予め定められた範囲内である前記画像要素と、前記傾きに関する基準との幾何学的ずれを小さくする画像処理装置。 - 被写体の画像を画像処理する画像処理装置であって、
与えられた前記画像を格納する画像記憶部と、
前記画像から、前記被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶部と、
前記検出条件に基づいて、前記画像から、前記直線成分に対応する画像要素を検出し、検出した前記画像要素と、予め定められた前記直線成分の傾きに関する基準との幾何学的ずれに基づいて、前記幾何学的ずれが小さくなるように、前記画像に対して画像処理する画像処理部と、
前記画像処理部が画像処理した前記画像を表示する表示部と、
前記被写体までの距離情報を取得する距離測定部と
を備え、
前記画像処理部は、前記距離情報に基づいて、実質的に等距離の画像要素から形成される前記直線成分を検出し、検出した前記直線成分と前記傾きに関する基準との幾何学的ずれを小さくする画像処理装置。 - 前記画像処理部は、前記直線成分のうち、前記傾きに関する基準に対する傾きが、予め定められた範囲内である前記直線成分と、前記傾きに関する基準との幾何学的ずれを小さくする請求項6または請求項7に記載の画像処理装置。
- 前記画像処理部は、検出した前記画像要素のうち、前記画像の水平方向に対する傾きが、予め定められた範囲内である前記画像要素、又は前記画像の垂直方向に対する傾きが、予め定められた範囲内である前記画像要素と、前記画像の水平方向又は垂直方向との幾何学的ずれを小さくする請求項8に記載の画像処理装置。
- 被写体の画像を画像処理する画像処理方法であって、
与えられた前記画像を格納する画像記憶手順と、
前記画像から、前記被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶手順と、
前記検出条件に基づいて、前記画像から、前記直線成分に対応する画像要素を検出し、検出した前記画像要素と、予め定められた前記直線成分の傾きに関する基準との幾何学的ずれに基づいて、前記幾何学的ずれが小さくなるように、前記画像に対して画像処理する画像処理手順と、
前記被写体までの距離情報を取得する距離測定手順と
を備え、
前記画像処理手順は、
検出した前記画像要素における少なくとも2点の距離情報と、前記画像要素の傾きとに基づいて、前記画像要素に対応する前記被写体の要素の実空間における傾きを算出し、
検出した前記画像要素のうち、対応する前記被写体の要素の前記実空間における前記傾きに関する基準に対する傾きが、予め定められた範囲内である前記画像要素と、前記傾きに関する基準との幾何学的ずれを小さくする画像処理方法。 - 被写体の画像を画像処理する画像処理方法であって、
与えられた前記画像を格納する画像記憶手順と、
前記画像から、前記被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶手順と、
前記検出条件に基づいて、前記画像から、前記直線成分に対応する画像要素を検出し、検出した前記画像要素と、予め定められた前記直線成分の傾きに関する基準との幾何学的ずれに基づいて、前記幾何学的ずれが小さくなるように、前記画像に対して画像処理する画像処理手順と、
前記被写体までの距離情報を取得する距離測定手順と
を備え、
前記画像処理手順は、前記距離情報に基づいて、実質的に等距離の画像要素から形成される前記直線成分を検出し、検出した前記直線成分と前記傾きに関する基準との幾何学的ずれを小さくする画像処理方法。 - 前記画像処理手順は、前記直線成分のうち、前記傾きに関する基準に対する傾きが、予め定められた範囲内である前記直線成分と、前記傾きに関する基準との幾何学的ずれを小さくする請求項10または請求項11に記載の画像処理方法。
- 前記画像処理手順は、検出した前記画像要素のうち、前記画像の水平方向に対する傾きが、予め定められた範囲内である前記画像要素、又は前記画像の垂直方向に対する傾きが、予め定められた範囲内である前記画像要素と、前記画像の水平方向又は垂直方向との幾何学的ずれを小さくする請求項12に記載の画像処理方法。
- 画像処理装置に画像処理を実行させるためのプログラムであって、
前記画像処理装置を、
画像処理するべき被写体の画像を格納する画像記憶部と、
前記画像から、前記被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶部と、
前記検出条件に基づいて、前記画像から、前記直線成分に対応する画像要素を検出し、検出した前記画像要素と、予め定められた前記直線成分の傾きに関する基準との幾何学的ずれに基づいて、前記幾何学的ずれが小さくなるように、前記画像に対して画像処理する画像処理部と、
前記被写体までの距離情報を取得する距離測定部と
して機能させ、
前記画像処理部は、
検出した前記画像要素における少なくとも2点の距離情報と、前記画像要素の傾きとに基づいて、前記画像要素に対応する前記被写体の要素の実空間における傾きを算出し、
検出した前記画像要素のうち、対応する前記被写体の要素の前記実空間における前記傾きに関する基準に対する傾きが、予め定められた範囲内である前記画像要素と、前記傾きに関する基準との幾何学的ずれを小さくするプログラム。 - 画像処理装置に画像処理を実行させるためのプログラムであって、
前記画像処理装置を、
画像処理するべき被写体の画像を格納する画像記憶部と、
前記画像から、前記被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶部と、
前記検出条件に基づいて、前記画像から、前記直線成分に対応する画像要素を検出し、検出した前記画像要素と、予め定められた前記直線成分の傾きに関する基準との幾何学的ずれに基づいて、前記幾何学的ずれが小さくなるように、前記画像に対して画像処理する画像処理部と、
前記被写体までの距離情報を取得する距離測定部と
して機能させ、
前記画像処理部は、前記距離情報に基づいて、実質的に等距離の画像要素から形成される前記直線成分を検出し、検出した前記直線成分と前記傾きに関する基準との幾何学的ずれを小さくするプログラム。 - 前記画像処理部は、前記直線成分のうち、前記傾きに関する基準に対する傾きが、予め定められた範囲内である前記直線成分と、前記傾きに関する基準との幾何学的ずれを小さくする請求項14または請求項15に記載のプログラム。
- 前記画像処理部は、検出した前記画像要素のうち、前記画像の水平方向に対する傾きが、予め定められた範囲内である前記画像要素、又は前記画像の垂直方向に対する傾きが、予め定められた範囲内である前記画像要素と、前記画像の水平方向又は垂直方向との幾何学的ずれを小さくする請求項16に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001148428A JP4176328B2 (ja) | 2001-05-17 | 2001-05-17 | 撮像装置、画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001148428A JP4176328B2 (ja) | 2001-05-17 | 2001-05-17 | 撮像装置、画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002344723A JP2002344723A (ja) | 2002-11-29 |
JP4176328B2 true JP4176328B2 (ja) | 2008-11-05 |
Family
ID=18993742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001148428A Expired - Fee Related JP4176328B2 (ja) | 2001-05-17 | 2001-05-17 | 撮像装置、画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4176328B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4588000B2 (ja) * | 2006-09-04 | 2010-11-24 | 三星デジタルイメージング株式会社 | 撮像装置および撮像方法 |
JP2008123086A (ja) * | 2006-11-09 | 2008-05-29 | Matsushita Electric Ind Co Ltd | 画像処理装置及び画像処理方法 |
JP2009016941A (ja) | 2007-06-29 | 2009-01-22 | Funai Electric Co Ltd | 撮像装置 |
WO2009011105A1 (ja) | 2007-07-13 | 2009-01-22 | Panasonic Corporation | 撮像装置 |
JP2010011177A (ja) * | 2008-06-27 | 2010-01-14 | Nikon Corp | デジタルカメラ |
JP5166206B2 (ja) * | 2008-10-27 | 2013-03-21 | オリンパスイメージング株式会社 | 撮像装置および撮像装置の制御方法 |
US8675089B2 (en) | 2009-12-25 | 2014-03-18 | Samsung Electronics Co., Ltd. | Apparatus and method for assisting composition of photographic image |
JP2011142574A (ja) * | 2010-01-08 | 2011-07-21 | Nikon Corp | デジタルカメラ、画像処理装置および画像処理プログラム |
US9280804B2 (en) * | 2012-11-16 | 2016-03-08 | Google Inc. | Rotation of an image based on image content to correct image orientation |
JP6138632B2 (ja) * | 2013-08-28 | 2017-05-31 | オリンパス株式会社 | 撮像装置、撮像方法およびプログラム |
JP2017187801A (ja) * | 2017-07-05 | 2017-10-12 | 株式会社ニコン | 撮像装置、制御プログラム、および電子機器 |
-
2001
- 2001-05-17 JP JP2001148428A patent/JP4176328B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002344723A (ja) | 2002-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20020171747A1 (en) | Image capturing apparatus, and method of display-control thereof | |
JP6833746B2 (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
JP3971100B2 (ja) | デジタルカメラ及び画像投影方法 | |
JP2003037757A (ja) | 画像撮像装置 | |
JP3914060B2 (ja) | 合焦装置 | |
JP4176328B2 (ja) | 撮像装置、画像処理装置、画像処理方法、及びプログラム | |
JP2003018438A (ja) | 画像撮像装置 | |
JP4124404B2 (ja) | 撮像装置、画像処理装置、画像処理方法、及びプログラム | |
JP2003018445A (ja) | 画像撮像装置 | |
JP4275326B2 (ja) | 撮像装置および位置情報検出システム | |
JP2001197347A (ja) | 情報記録装置、情報取得方法、およびデジタルカメラ | |
US20030098915A1 (en) | Image processing system, image capturing apparatus, image processing apparatus, image processing method, and computer-readable medium storing program | |
JP2003018437A (ja) | 画像撮像装置 | |
JP4034029B2 (ja) | デジタルカメラ | |
JP2003023555A (ja) | 画像撮像装置 | |
JP2002344724A (ja) | 撮像装置、画像処理装置、画像処理方法、及びプログラム | |
JP2009005356A (ja) | 撮像装置、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム | |
JP4421788B2 (ja) | 撮像装置、画像処理装置、画像処理方法、及びプログラム | |
JP2003018479A (ja) | 画像処理装置および画像処理方法ならびに画像撮像装置 | |
JP2003242504A (ja) | 画像処理装置 | |
JP2003207712A (ja) | 合焦装置 | |
JP2002359771A (ja) | 撮像装置、画像処理装置、画像処理方法、及びプログラム | |
JP4318873B2 (ja) | 距離情報取得装置、距離情報取得方法、プログラム、及び撮像装置 | |
JP4188531B2 (ja) | 撮像装置及び露出制御方法 | |
JP3943323B2 (ja) | 撮像装置、撮像方法、信号処理方法、及び画像をコンピュータに処理させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060110 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080820 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4176328 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |