JP4421788B2

JP4421788B2 - Imaging apparatus, image processing apparatus, image processing method, and program

Info

Publication number: JP4421788B2
Application number: JP2001148424A
Authority: JP
Inventors: 俊彦加來
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2001-05-17
Filing date: 2001-05-17
Publication date: 2010-02-24
Anticipated expiration: 2021-05-17
Also published as: JP2002344722A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置、画像処理装置、画像処理方法、及びプログラムに関する。特に、画像に基づいて画像処理する撮像装置、画像処理装置、画像処理方法、及びプログラムに関する。
【０００２】
【従来の技術】
従来の撮像装置において撮像した画像には、幾何学的ずれが生じている場合がある。例えば、撮像時において撮像装置が傾いていた場合には、撮像した画像に天地のずれが生じる。また、レンズ等の特性により、撮像した画像に歪みが生じる場合もある。また、撮像しようとした被写体が画像の端に寄りすぎていたり、例えば空のような、不要な被写体が画像の大半を占めてしまう場合があった。
【０００３】
【発明が解決しようとする課題】
従来、幾何学的ずれが生じている画像に対して、当該幾何学的ずれを修正するためには、撮像者が、撮像した画像のそれぞれに対し、当該幾何学的ずれを確認し、それぞれの画像に対し、複雑な画像処理を行う必要があった。この場合、撮像者がそれぞれの画像について確認及び画像処理を行うため、時間と手間がかかっていた。
【０００４】
そこで本発明は、上記の課題を解決することのできる撮像装置、画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。この目的は、特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の形態においては、被写体を撮像する撮像装置であって、被写体の画像を撮像する撮像部と、撮像部が撮像した画像を格納する画像記憶部と、画像から、予め定められた被写体要素を検出するための検出条件を格納する条件記憶部と、検出条件に基づいて、画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の画像における位置と、予め定められた被写体の位置に関する基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理する画像処理部とを備えることを特徴とする撮像装置を提供する。
【０００６】
画像処理部は、幾何学的ずれに基づいて、画像に対する、画像の切り出し領域を算出し、算出した切り出し領域に基づいて、画像を切り出してよい。また、条件記憶部は、複数の被写体要素を検出するための複数の検出条件を格納してよい。また、画像処理部は、複数の画像要素を検出し、検出した複数の画像要素の画像における位置と、位置に関する基準との幾何学的ずれを小さくしてよい。また、画像処理部は、検出した複数の画像要素のうち、画素領域が最も大きい画像要素と、位置に関する基準との幾何学的ずれを小さくしてよい。また、画像処理部は、検出した複数の画像要素のうち、画像の中央に最も近い画像要素と、位置に関する基準との幾何学的ずれを小さくしてよい。また、複数の画像要素のうち、いずれを使用者が選択したかを受け取る入力手段を更に備え、画像処理部は、入力手段が受け取った、使用者がいずれの画像要素を選択したかに関する情報に基づく画像要素と、位置に関する基準との幾何学的ずれを小さくしてよい。
【０００７】
また、条件記憶部は、画像における消失点を検出するための検出条件を更に格納し、画像処理部は、検出条件に基づいて消失点を検出し、検出した消失点の位置と、位置に関する基準とのずれを小さくしてよい。また、画像記憶部は、画像処理部が幾何学的ずれを小さくした画像を、格納してよい。また、画像記憶部は、撮像部が撮像した画像と、画像処理部が検出した幾何学的ずれとを対応づけて格納してよい。
【０００８】
また、画像記憶部が格納した、幾何学的ずれを小さくした画像を表示する表示部を更に備えてよい。また、画像記憶部が格納した、画像と、画像に対応した幾何学的ずれに関する情報とを表示する表示部を更に備えてよい。また、表示部は、幾何学的ずれを小さくした複数の画像を縮小して表示してよい。また、表示部は、複数の画像を縮小した画像と、複数の画像にそれぞれ対応した幾何学的ずれに関する情報とを表示してよい。
【０００９】
本発明の第２の形態においては、与えられた画像を画像処理する画像処理装置であって、与えられた画像を格納する画像記憶部と、画像から、予め定められた被写体要素を検出するための検出条件を格納する条件記憶部と、検出条件に基づいて、画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の画像における位置と、予め定められた被写体の位置に関する基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理する画像処理部とを備えることを特徴とする画像処理装置を提供する。
【００１０】
本発明の第３の形態においては、与えられた画像を画像処理する画像処理方法であって、与えられた画像を格納する画像記憶手順と、画像から、予め定められた被写体要素を検出するための検出条件を格納する条件記憶手順と、検出条件に基づいて、画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の画像における位置と、予め定められた被写体の位置に関する基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理する画像処理手順とを備えることを特徴とする画像処理方法を提供する。
【００１１】
本発明の第４の形態においては、画像処理装置に画像処理を実行させるためのプログラムであって、画像処理装置を、画像処理するべき画像を格納する画像記憶部と、画像から、予め定められた被写体要素を検出するための検出条件を格納する条件記憶部と、検出条件に基づいて、画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の画像における位置と、予め定められた被写体の位置に関する基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理する画像処理部として機能させることを特徴とするプログラムを提供する。
【００１２】
尚、上記の発概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又、発明となりうる。
【００１３】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１４】
図１は、本発明に係る撮像装置１０の構成の一例を示すブロック図である。撮像装置１０は、一例として、ディジタルカメラであってよい。以下、撮像装置１０がディジタルカメラである場合について、説明する。撮像装置１０は、主に撮像ユニット２０、撮像補助ユニット３８、撮像制御ユニット４０、処理ユニット６０、表示ユニット１００、及び操作ユニット１１０を備える。
【００１５】
撮像ユニット２０は、撮影および結像に関する機構部材および電気部材を有する。撮像ユニット２０は、映像を取り込んで処理を施す光学系２２、絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィルタ）２８、ＣＣＤ（電荷結合素子イメージセンサー）３０、および撮像信号処理部３２を含む。光学系２２は、フォーカスレンズやズームレンズ等を有してよい。この構成により、被写体像がＣＣＤ３０の受光面上に結像する。結像した被写体像の光量に応じ、ＣＣＤ３０の各センサエレメント（図示せず）に電荷が蓄積される（以下その電荷を「蓄積電荷」という）。蓄積電荷は、リードゲートパルスによってシフトレジスタ（図示せず）に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【００１６】
撮像装置１０が、ディジタルカメラである場合、撮像装置１０は、一般に電子シャッタ機能を有するので、シャッタ２６のような機械式シャッタは必須ではない。この場合、電子シャッタ機能を実現するために、ＣＣＤ３０にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタスピードが制御できる。
【００１７】
ＣＣＤ３０から出力される電圧信号、すなわちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部３２はガンマ補正を行い、必要なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換（アナログ／ディジタル変換）し、その結果得られたデジタルの画像データ（以下単に「ディジタル画像データ」とよぶ）を処理ユニット６０へ出力する。
【００１８】
撮像補助ユニット２０は、ファインダ３４とストロボ３６を有する。ファインダ３４には図示しないＬＣＤ（液晶ディスプレイ）を内装してもよく、その場合、後述のメインＣＰＵ（中央演算装置）６２等からの各種情報をファインダ３４内に表示できる。ストロボ３６は、コンデンサ（図示せず）に蓄えられたエネルギが放電管３６ａに供給されたときそれが発光することで機能する。
【００１９】
撮像制御ユニット４０は、ズーム駆動部４２、フォーカス駆動部４４、絞り駆動部４６、シャッタ駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距センサ５２、および測光センサ５４をもつ。ズーム駆動部４２などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ１１４の押下に応じ、測距センサ５２は被写体までの距離を測定し、測光センサ５４は被写体輝度を測定する。測定された距離のデータ（以下単に「測距データ」という）および被写体輝度のデータ（以下単に「測光データ」という）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０は、ユーザから指示されたズーム倍率等の撮影情報に基づき、ズーム駆動部４２とフォーカス駆動部４４を制御して光学系２２のズーム倍率とピントの調整を行う。
【００２０】
撮像系ＣＰＵ５０は、１画像フレームのＲＧＢのデジタル信号積算値、すなわちＡＥ情報に基づいて絞り値とシャッタスピードを決定する。決定された値にしたがい、絞り駆動部４６とシャッタ駆動部４８がそれぞれ絞り量の調整とシャッタ２６の開閉を行う。
【００２１】
撮像系ＣＰＵ５０はまた、測光データに基づいてストロボ３６の発光を制御し、同時に絞り２４の絞り量を調整する。ユーザが映像の取込を指示したとき、ＣＣＤ３０が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部３２へ出力される。
【００２２】
処理ユニット６０は、撮像装置１０全体、とくに処理ユニット６０自身を制御するメインＣＰＵ６２と、これによって制御されるメモリ制御部６４、ＹＣ処理部７０、オプション装置制御部７４、圧縮伸張処理部７８、通信Ｉ／Ｆ部８０、及び画像処理部２２０を有する。メインＣＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５０との間で必要な情報をやりとりする。メインＣＰＵ６２の動作クロックは、クロック発生器８８から与えられる。クロック発生器８８は、撮像系ＣＰＵ５０、表示ユニット１００に対してもそれぞれ異なる周波数のクロックを提供する。
【００２３】
メインＣＰＵ６２には、キャラクタ生成部８４とタイマ８６が併設されている。タイマ８６は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインＣＰＵ６２に与えられる。キャラクタ生成部８４は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【００２４】
メモリ制御部６４は、不揮発性メモリ６６とメインメモリ６８を制御する。不揮発性メモリ６６は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能なＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、撮像装置１０の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ６６には、場合によりメインＣＰＵ６２のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ６８は一般にＤＲＡＭのように比較的安価で容量の大きなメモリで構成される。メインメモリ６８は、撮像ユニット２０から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ６６とメインメモリ６８は、処理ユニット６０内外の各部とメインバス８２を介してデータのやりとりを行う。
【００２５】
ＹＣ処理部７０は、ディジタル画像データにＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制御部６４によってメインメモリ６８に一旦格納される。圧縮伸張処理部７８はメインメモリ６８から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ（以下単に「圧縮データ」という）は、オプション装置制御部７４を介してオプション装置７６の一種であるメモリカードへ書き込まれる。
【００２６】
処理ユニット６０はさらにエンコーダ７２を有する。エンコーダ７２は輝度信号と色差信号を入力し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換してビデオ出力端子９０から出力する。オプション装置７６に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部７４を介して圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸張処理部７８で必要な伸張処理が施されたデータはエンコーダ７２によってビデオ信号へ変換される。
【００２７】
オプション装置制御部７４は、オプション装置７６に認められる信号仕様およびメインバス８２のバス仕様にしたがい、メインバス８２とオプション装置７６の間で必要な信号の生成、論理変換、または電圧変換などを行う。撮像装置１０は、オプション装置７６として前述のメモリカードのほかに、例えばＰＣＭＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよい。その場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用バス制御ＬＳＩなどで構成してもよい。
【００２８】
通信Ｉ／Ｆ部８０は、撮像装置１０がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、イーサネット（商標）などの仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、ネットワークを含む外部機器とコネクタ９２を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のＩ／Ｆによるデータ授受を行う構成としてもよい。
【００２９】
画像処理部２２０は、ディジタル画像データに対して、所定の画像処理をする。例えば、画像処理部２２０は、ディジタル画像データに対して、撮像しようとした被写体が画像の端に寄りすぎていたり、例えば空のような、不要な被写体が画像の大半を占めてしまう場合のトリミング等の画像処理をする。画像処理部２２０は、撮像ユニット２０が出力したディジタル画像データに対して画像処理し、画像処理したディジタル画像データをＹＣ処理部又はメインメモリ６８に出力してよく、また、ＹＣ処理部がＹＣ変換処理を施し、メインメモリ６８に格納したディジタル画像データに対して画像処理し、画像処理したディジタル画像データを、メインメモリ６８に格納してよい。
【００３０】
画像処理部２２０は、不揮発性メモリ６６又はメインメモリ６８に格納されたプログラムに基づいて動作する。また、メモリ制御部６４は、通信Ｉ／Ｆ部８０を介して、外部機器から画像処理部２２０を動作させるためのプログラムを受け取り、不揮発性メモリ６６に格納してよい。また、メモリ制御部６４は、オプション装置７６から画像処理部２２０を動作させるためのプログラムを受け取り、不揮発性メモリ６６に格納してよい。不揮発性メモリ６６又はメインメモリ６８に格納されたプログラムは、一例として処理ユニット６０を、画像処理するべき画像を格納する画像記憶部と、画像から予め定められた被写体要素を検出するための、検出条件を格納する条件記憶部と、検出条件に基づいて、画像から被写体要素に対応する画像要素を検出し、検出した画像要素の画像における位置と、予め定められた被写体の位置に関する基準との幾何学的ずれにもとづいて、幾何学的ずれが小さくなるように、画像に対して画像処理を行う画像処理部として機能させる。また、当該プログラムは、例えばコンピュータ等の画像処理装置を、上述した機能動作させてもよい。当該プログラムが、処理ユニット６０に行わせる処理は、後述する画像処理部２２０、画像記憶部２１０、及び条件記憶部２３０の機能及び動作、画像処理装置３００の機能及び動作、又は画像処理方法の機能と同一又は同様である。
【００３１】
表示ユニット１００は、液晶モニタ１０２とＬＣＤパネル１０４を有する。それらはＬＣＤドライバであるモニタドライバ１０６、パネルドライバ１０８によってそれぞれ制御される。液晶モニタ１０２は、例えば２インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。ＬＣＤパネル１０４は例えば小さな白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【００３２】
本実施形態の場合、表示ユニット１００は、さらに照明部１５６，１５８を含む。先に説明したように、本実施形態の照明部１５６、１５８は、液晶モニタ１０２の光源を利用して照明を行うからである。なお、照明部１５６，１５８は、独自の光源を有する、液晶モニタ１０２から独立した構成要素として撮像装置１０に備えてもよい。
【００３３】
操作ユニット１１０は、ユーザーが撮像装置１０の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ１１２は、撮像装置１０の電源のオンオフを決める。レリーズスイッチ１１４は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでＡＦおよびＡＥがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ６８、オプション装置７６等に記録される。操作ユニット１１０はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図１において機能設定部１１６と総称されている。操作ユニット１１０で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定／保存」、「表示切換」等がある。ズームスイッチ１１８は、ズーム倍率を決める。
【００３４】
以上の構成による主な動作は以下のとおりである。まず、撮像装置１０のパワースイッチ１１２がオンされ、カメラ各部に電力が供給される。メインＣＰＵ６２は、機能設定部１１６の状態を読み込むことで、撮像装置１０が撮影モードにあるか再生モードにあるかを判断する。
【００３５】
次に、メインＣＰＵ６２はレリーズスイッチ１１４の半押し状態を監視する。スタンドが閉じた位置にある場合、メインＣＰＵ６２は、半押し状態を検出すると、測光センサ５４および測距センサ５２からそれぞれ測光データと測距データを得る。得られたデータに基づいて撮像制御ユニット４０が動作し、光学系２２のピント、絞りなどの調整が行われる。メインＣＰＵ６２は、半押し状態を検出すると、測光センサ５４のみから測光データを得る。そして、撮像制御ユニット４０は、光学系２２の絞りを調整する。
【００３６】
調整が完了すると、ＬＣＤモニタ１０２に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ１１４の全押し状態を監視する。レリーズスイッチ１１４が全押しされると、所定のシャッタ時間をおいてシャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信号処理部３２へ掃き出される。撮像信号処理部３２による処理の結果生成されたディジタル画像データはメインバス８２へ出力される。
【００３７】
ディジタル画像データは一旦メインメモリ６８へ格納され、この後、画像処理部２２０、ＹＣ処理部７０、及び圧縮伸張処理部７８で処理を受け、オプション装置制御部７４を経由してオプション装置７６へ記録される。記録された画像は、フリーズされた状態でしばらくＬＣＤモニタ１０２に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【００３８】
一方、撮像装置１０が再生モードの場合、メインＣＰＵ６２は、メモリ制御部６４を介してメインメモリ６８から最後に撮影した画像を読み出し、これを表示ユニット１００のＬＣＤモニタ１０２へ表示する。この状態でユーザーが機能設定部１１６にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、ＬＣＤモニタ１０２へ表示される。表示ユニット１００は、画像処理部２２０において画像処理された画像を表示してよく、また、画像処理前の画像を表示してよい。例えば、表示ユニット１００は、画像処理部２２０において、画像要素の位置と位置に関する基準との幾何学的ずれを修正した画像を表示してよく、また、画像処理前の画像と、画像要素の位置と位置に関する基準との幾何学的ずれに関する情報を合わせて表示してよい。次に、画像処理部２２０における画像処理について説明する。
【００３９】
図２は、撮像装置１０における画像処理の一例を説明するためのブロック図である。撮像装置１０は、撮像部２００、画像記憶部２１０、画像処理部２２０、条件記憶部２３０、及び表示部２４０を備える。
【００４０】
撮像部２００は一例として、図１において説明した、撮像ユニット２０、撮像制御ユニット４０、及び撮像補助ユニット３８と同一又は同様の機能及び構成を有し、被写体２５０の画像を撮像する。画像記憶部２１０は一例として、図１において説明した、メモリ制御部６４、及び不揮発性メモリ６６と同一又は同様の機能及び構成を有し、撮像部２００が撮像した画像を格納する。条件記憶部２３０は一例として、図１において説明したメモリ制御部６４、不揮発性メモリ６６、及びメインメモリ６８と同一又は同様の機能及び構成を有し、画像処理部２２０において、画像から予め定められた被写体要素を検出するための検出条件を格納する。
【００４１】
画像処理部２２０は、図１において説明した画像処理部２２０と同一又は同様の機能及び構成を有し、条件記憶部２３０に格納された検出条件に基づいて、画像から当該被写体要素に対応する画像要素を検出し、検出した画像要素の位置と、予め定められた被写体の位置に関する基準との幾何学的ずれに基づいて、当該幾何学的ずれが小さくなるように、画像に対して画像処理をする。表示部２４０は、図１において説明した表示ユニット１００と同一又は同様の機能及び構成を有し、画像処理部２２０が画像処理した画像又は撮像部２００が撮像した画像を表示する。また、画像記憶部２１０は、画像処理部２２０が画像処理した画像を格納してよい。例えば、画像記憶部２１０は、画像処理部２２０が画像要素と位置に関する基準との幾何学的ずれを小さくした画像を格納してよい。また、画像記憶部２１０は、撮像部が撮像した画像と、画像処理部２２０が検出した画像要素と位置に関する基準との幾何学的ずれの情報とを対応づけて格納してもよい。
【００４２】
また、表示部２４０は、画像記憶部２１０が格納した、幾何学的ずれを小さくした画像を表示してよい。また、表示部２４０は、画像記憶部２１０が格納した、画像と、画像に対応した幾何学的ずれに関する情報とを表示してもよい。つまり、表示部２４０は、撮像部２００が撮像し、画像記憶部２１０が格納した画像処理していない画像と、画像処理部２２０が検出した画像に対応した幾何学的ずれに関する情報を表示してよい。また、表示部２４０は、画像記憶部２１０が格納した、幾何学的ずれを小さくした複数の画像を縮小して表示してよい。また、表示部２４０は、縮小した複数の画像と、複数の画像にそれぞれ対応した幾何学的ずれに関する情報とを表示してよい。
【００４３】
図３は、画像処理部２２０における画像処理の一例を説明する図である。本例において、画像処理部２２０は、撮像部２００が撮像した画像要素の位置と、位置に関する基準との幾何学的ずれを検出し、当該幾何学的ずれを小さくする画像処理を行う。
【００４４】
図３（ａ）は、撮像部２００が撮像した被写体の画像の一例を示す。図３（ａ）に示す画像には、被写体として、人物、建物、空、地面等が撮像されている。図３（ａ）に示すように、当該画像において、主要な被写体である人物が、画像の下方に寄りすぎ、重要でない被写体である空の領域が大きく、バランスの悪い構図となっている。本例における画像処理部２２０は、このように、バランスの悪い構図の画像に対して、被写体の位置を修正する。
【００４５】
まず、画像処理部２２０は、条件記憶部２３０に格納された検出条件に基づいて、画像から、予め定められた被写体要素に対応する画像要素を検出する。一例として、図３（ｂ）に示すように、画像処理部２２０は、人物の顔に対応する画像要素２５２を検出する。画像処理部２２０は、画像における各被写体要素のエッジに基づいて、検出条件に適合する画像要素を検出してよい。また、画像処理部２２０は、各被写体要素の色情報に基づいて、画像要素を検出してよい。例えば、画像処理部２２０が人物の顔を検出する場合、各被写体要素のエッジに基づいて、各被写体要素の形、色情報、及び目、鼻、口らしき物が有るか否かに基づいて、画像処理部２２０は、人物の顔に対応する画像要素４０４を検出する。この場合、条件記憶部２３０は、人物の顔を検出するための、人物の顔の形状情報、色情報、及び顔の構成情報等と、人物の顔の天地情報を格納する。
【００４６】
次に、画像処理部２２０は、検出した画像要素の位置と、予め定められた被写体の位置に関する基準とのずれを検出する。本例において、条件記憶部２３０は、当該予め定められた被写体の位置に関する基準を格納する。例えば、条件記憶部２３０は、被写体の位置に関する基準として、いわゆる黄金比に基づいた位置を格納してよく、また、使用者が予め定めた位置を格納してもよい。
【００４７】
次に、画像処理部２２０は、検出した幾何学的ずれに基づいて、画像に対する、画像の切り出し領域であるトリミング枠を算出し、算出したトリミング枠に基づいて、画像を切り出す。例えば、図３（ｂ）に示すように、画像処理部２２０は、被写体の位置に関する基準と、検出した画像要素４０２の位置との幾何学的ずれが小さくなるように、画像を切り出すトリミング枠を設定する。つまり、画像処理部２２０は、設定したトリミング枠に基づいて、画像を切り出し、所定の大きさに拡大した画像において、画像要素４０２と、被写体の位置に関する基準とがほぼ一致するように画像処理する。本例において、条件記憶部２３０は、使用者によって予め定められた位置を、被写体の位置に関する基準として、トリミング後の画像要素４０２の位置が、当該被写体の位置に関する基準とほぼ一致するように、画像に対して画像処理する。
【００４８】
本例において説明した撮像装置１０によれば、画像要素の位置と、位置に関する基準との幾何学的ずれに基づいて、トリミングを行うことにより、容易に画像の構図のバランスを修正することができる。また、本例においては、画像処理部２２０は、一つの画像要素を検出して、検出した画像要素に基づいて画像処理を行ったが、他の例においては、画像処理部２２０は、複数の画像要素を検出し、検出した複数の画像要素の画像における位置と、位置に関する基準との幾何学的ずれを小さくしてよい。この場合、条件記憶部２３０は、複数の被写体要素を検出するための複数の検出条件を格納してよい。例えば、条件記憶部２３０は、人物の顔、建物、木等にそれぞれ対応した複数の検出条件を格納し、画像処理部２２０は、当該検出条件に基づいて、画像要素を検出してよい。
【００４９】
条件記憶部２３０は、複数の検出条件の一例として、人物の顔、空、地面、建物等を検出するための検出条件を格納してよい。条件記憶部２３０は、空、又は地面を検出するための検出条件として、一例として色情報を格納してよい。画像処理部２２０は、画像の被写体の色情報において、所定の色が所定の画素数連続した場合に、当該被写体を空、又は地面として画像処理をしてよい。また、条件記憶部２３０は、建物を検出するための検出条件として、一例として、被写体の形状の情報を格納してよい。画像処理部２２０は、被写体のエッジを検出して、検出したエッジと、被写体の形状の情報とに基づいて、建物に対応する画像要素を検出してよい。
【００５０】
また、画像処理部２２０は、一つの検出条件に適合する複数の画像要素を検出してもよい。例えば、画像処理部２２０は、人物の顔を検出するための検出条件に基づいて、人物の顔に対応する複数の画像要素を検出してよい。画像処理部２２０は、複数の被写体の位置に関する基準と、複数の画像要素の位置とのずれの総和が最も小さくなるように、画像処理してよく、また、複数の画像要素のうち、主要画像要素を一つ選択し、選択した主要被写体に対応する画像要素に基づいて、画像処理してよい。
【００５１】
画像処理部２２０は、例えば、検出した複数の画像要素のうち、画素領域が最も大きい画像要素と、位置に関する基準との幾何学的ずれを小さくするように、画像処理してよい。また、画像処理部２２０は、例えば、検出した複数の画像要素のうち、画像の中央に最も近い画像要素と、位置に関する基準との幾何学的ずれを小さくするように画像処理してよい。また、撮像装置１０は、画像処理部２２０が検出した複数の画像要素のうち、いずれを使用者が選択したかを受け取る入力手段を更に備え、画像処理部２２０は、入力手段が受け取った、使用者がいずれの画像要素を選択したかに関する情報に基づく画像要素と、位置に関する基準との幾何学的ずれを小さくするように画像処理してよい。また、画像処理部２２０は、画像における消失点を検出し、検出した消失点の位置と、位置に関する基準とのずれを小さくするように画像処理してよい。例えば、消失点とは、透視図法における無限遠点を指してよく、被写体の実空間内にある平行な直線が、画像上で交わる点を指してよい。以下、画像処理部２２０が、消失点に基づいて画像処理する場合について説明する。
【００５２】
図４は、画像処理部２２０が、画像の消失点に基づいて画像処理する場合を説明する図である。本例において、条件記憶部２３０は、画像における消失点を検出するための検出条件を更に格納し、画像処理部２２０は、検出条件に基づいて消失点を検出し、検出した消失点の位置と、位置に関する基準との幾何学的ずれを小さくするように画像処理する。また、前述したように、画像処理部２２０は、主要な画像要素を検出し、検出した画像要素と、位置に関する基準との幾何学的ずれを小さくするように画像処理する。この場合、条件記憶部２３０は、複数の位置に関する基準を格納することが好ましい。
【００５３】
図４（ａ）は、撮像部２００が撮像した画像の一例である。図４（ａ）に示す画像には、被写体として複数の人物と、壁が撮像されている。まず、画像処理部２２０は、画像から、主要被写体と、画像の消失点とを検出する。画像処理部２２０は、図２及び図３に関連して説明した画像処理部２２０と同様に、検出条件に基づいて、主要な被写体に対応する画像要素を検出する。本例において、図４（ｂ）に示すように、画像処理部２２０は、人物の顔に対応する画像要素５０６を検出する。また、画像処理部２２０は、画像の消失点を検出する。例えば、画像処理部２２０は、画像から、平行な直線成分に対応する２つの画像要素を検出し、当該２つの画像要素の交点を、画像の消失点５０８として検出する。この場合、画像処理部２２０は、傾きの差が予め定められた範囲内である２つの画像要素を、平行な直線成分に対応する画像要素として検出してよい。また、画像要素までの距離情報を検出し、検出した距離情報と、画像要素の傾きに基づいて、画像要素に対応する被写体要素の、実空間における傾きを算出し、実空間における傾きの差が予め定められた範囲内である２つの画像要素を、平行な直線成分に対応する画像要素として検出してもよい。
【００５４】
画像処理部２２０は、検出した主要な被写体５０６及び消失点５０８と、予め定められた位置に関する基準との幾何学的ずれが小さくなるように画像処理する。例えば、画像処理部２２０は、図４（ｃ）に示すような、予め定められた位置に関する基準である点５１０、点５１２、点５１４、又は点５１６のいずれかの位置に、被写体５０６及び消失点５０８が配置されるように、画像に対してトリミングを行う。本例においては、画像処理部２２０は、点５１０に、被写体５０６が、点５１２に消失点５０８が配置されるように、画像を切り出し、切り出した画像を所定の大きさに拡大する。本例において、位置に関する基準は、図４（ｃ）に示したような位置を示しているが、他の例においては、他の位置を当該位置に関する基準としてよいことは明らかである。例えば使用者が、位置に関する基準を予め撮像装置１０に入力していてもよい。また、本例においては、画像処理部２２０は、画像要素と、消失点とに基づいて、画像処理したが、他の例においては、画像処理部２２０は、消失点の位置と、位置に関する基準との幾何学的ずれを小さくする画像処理をしてよい。本例において説明した撮像装置１０によれば、画像の消失点を検出し、検出した消失点の位置と、位置に関する基準との幾何学的ずれを小さくすることにより、バランスのよい画像を得ることができる。
【００５５】
図５は、本発明に係る画像処理装置３００の構成の一例を示すブロック図である。画像処理装置３００は、例えば、表示装置を備えるコンピュータ等であって、与えられた画像を画像処理する。画像処理装置３００は、画像記憶部２１０と、画像処理部２２０と、条件記憶部２３０と、表示部２４０とを備える。画像記憶部２１０は、図２から図４に関連して説明した画像記憶部２１０と同一又は同様の機能及び構成を有し、与えられた画像を格納する。条件記憶部２３０は、図２から図４に関連して説明した条件記憶部２３０と同一又は同様の機能及び構成を有し、画像記憶部２１０が格納した画像から、予め定められた被写体要素を検出するための検出条件を格納する。
【００５６】
画像処理部２２０は、図２から図４に関連して説明した画像処理部２２０と同一又は同様の機能及び構成を有し、条件記憶部２４０に格納された被写体要素を検出するための検出条件に基づいて、画像記憶部２１０が格納した画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の位置と、予め定められた被写体の位置に関する基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理する。
【００５７】
表示部２４０は、図２から図４に関連して説明した表示部２４０と同一又は同様の機能及び構成を有し、画像処理部２２０が画像処理した画像を表示する。また、表示部２４０は、与えられた画像と、与えられた画像に対応した幾何学的ずれに関する情報とをあわせて表示してもよい。
【００５８】
本例における画像処理装置３００によれば、検出した画像要素の位置に関する情報に基づいて、画像処理することにより、画像における構図バランスを容易に修正することができる。また、位置に関する基準として所望の位置を指定することにより、使用者にとって、所望の構図バランスを有する画像を容易に生成することができる。
【００５９】
図６は、本発明に係る画像処理方法のフローチャートの一例を示す。本例における画像処理方法は、図５に関連して説明した画像処理装置３００における画像処理と同一又は同様の処理を行う。まず、画像記憶手順で、与えられた画像を格納する（Ｓ３０２）。画像記憶手順は、図５に関連して説明した画像記憶部２１０における処理と同様の処理を行う。また、条件記憶手順で、与えられた画像から、予め定められた被写体要素を検出するための検出条件を格納する（Ｓ３０４）。条件記憶手順は、図５に関連して説明した条件記憶部２３０における処理と同様の処理を行う。画像記憶手順と、条件記憶手順とは、いずれを先に行ってもよい。
【００６０】
次に、画像処理手順で、画像の幾何学的ずれを小さくする。画像処理手順（Ｓ３０６〜Ｓ３１２）では、図５に関連して説明した画像処理部２２０における処理と同様の処理を行う。画像処理手順は、まず検出条件に基づいて、画像から被写体要素に対応する画像要素又は／及び消失点を検出する（Ｓ３０６）。次に、検出した画像要素又は／及び消失点の位置と、予め定められた被写体の位置に関する基準との幾何学的ずれを検出する（Ｓ３０８）。Ｓ３０８では図３又は図４に関連して説明した方法で当該幾何学的ずれを検出する。次に、画像要素又は／及び消失点の位置と、予め定められた被写体の位置に関する基準との幾何学的ずれが有るか否かを判定する（Ｓ３０８）。当該幾何学的ずれが無い場合、画像処理方法の処理を終了する。また、当該幾何学的ずれが有る場合、当該幾何学的ずれが小さくなるように、画像に対して画像処理する（Ｓ３１２）。Ｓ３１２では、図３又は図４に関連して説明した方法で、当該幾何学的ずれが小さくなるように、画像に対して画像処理する。
【００６１】
以上説明した画像処理方法によれば、与えられた画像から検出した画像要素又は／及び消失点の位置に関する情報に基づいて、与えられた画像の構図バランスを容易に修正することができる。また、使用者が、位置に関する基準を予め与えることにより、所望の構図バランスの画像を容易に得ることができる。
【００６２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６３】
【発明の効果】
上記説明から明らかなように、本発明に係る撮像装置、画像処理装置、画像処理方法、及びプログラムによれば、画像要素の位置と、位置に関する基準との幾何学的ずれを検出し、当該幾何学的ずれを容易に修正し、バランスのよい画像を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置１０の構成の一例を示すブロック図である。
【図２】撮像装置１０における画像処理の一例を説明するためのブロック図である。
【図３】画像処理部２２０における画像処理の一例を説明する図である。
【図４】画像処理部２２０が、画像の消失点に基づいて画像処理する場合を説明する図である。
【図５】本発明に係る画像処理装置３００の構成の一例を示すブロック図である。
【図６】本発明に係る画像処理方法のフローチャートの一例を示す。
【符号の説明】
１０・・・撮像装置、２０・・・撮像ユニット、２２・・・光学系、２４・・・絞り、２６・・・シャッタ、２８・・・光学ＬＰＦ、３０・・・ＣＣＤ、３２・・・撮像信号処理部、３４・・・ファインダ、３６・・・ストロボ、３８・・・撮像補助ユニット、４０・・・撮像制御ユニット、４２・・・ズーム駆動部、４４・・・フォーカス駆動部、４６・・・絞り駆動部、４８・・・シャッタ駆動部、５０・・・撮像系ＣＰＵ、５２・・・測距センサ、５４・・・測光センサ、６２・・・メインＣＰＵ、６４・・・メモリ制御部、６６・・・不揮発性メモリ、６８・・・メインメモリ、７０・・・ＹＣ処理部、７２・・・エンコーダ、７４・・・オプション装置制御部、７６・・・オプション装置、７８・・・圧縮伸張処理部、８０・・・通信Ｉ／Ｆ部、８２・・・メインバス、８４・・・キャラクタ生成部、８６・・・タイマ、８８・・・クロック発生器、１００・・・表示ユニット、１０２・・・液晶モニタ、１０４・・・ＬＣＤパネル、１０６・・・モニタドライバ、１０８・・・パネルドライバ、１１０・・・操作ユニット、１１２・・・パワースイッチ、１１４・・・レリーズスイッチ、１１６・・・機能設定部、１１８・・・ズームスイッチ、１５８・・・照明部、２００・・・撮像部、２１０・・・画像記憶部、２２０・・・画像処理部、２３０・・・条件記憶部、２４０・・・表示部、２５０・・・被写体、４０２・・・画像要素、４０４・・・トリミング枠、５０６・・・画像要素、５０８・・・消失点[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus, an image processing apparatus, an image processing method, and a program. In particular, the present invention relates to an imaging apparatus, an image processing apparatus, an image processing method, and a program that perform image processing based on an image.
[0002]
[Prior art]
There may be a geometric shift in an image captured by a conventional imaging device. For example, when the imaging device is tilted at the time of imaging, a vertical shift occurs in the captured image. Further, the captured image may be distorted due to the characteristics of the lens or the like. In some cases, the subject to be imaged is too close to the edge of the image, or an unnecessary subject such as the sky occupies most of the image.
[0003]
[Problems to be solved by the invention]
Conventionally, in order to correct a geometric shift for an image in which a geometric shift has occurred, a photographer confirms the geometric shift for each captured image, It was necessary to perform complex image processing on the image. In this case, it takes time and effort because the photographer performs confirmation and image processing on each image.
[0004]
Accordingly, an object of the present invention is to provide an imaging apparatus, an image processing apparatus, an image processing method, and a program that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.
[0005]
[Means for Solving the Problems]
In order to solve the above-described problem, in the first embodiment of the present invention, an imaging apparatus that images a subject, an imaging unit that captures an image of the subject, and an image storage unit that stores an image captured by the imaging unit A condition storage unit that stores a detection condition for detecting a predetermined subject element from the image, and an image element corresponding to the subject element is detected from the image based on the detection condition, and the detected image element An image processing unit that performs image processing on the image so that the geometrical deviation is reduced based on a geometrical deviation between the position in the image of the image and a predetermined reference regarding the position of the subject. An imaging device is provided.
[0006]
The image processing unit may calculate an image clipping region for the image based on the geometric shift, and may clip the image based on the calculated clipping region. The condition storage unit may store a plurality of detection conditions for detecting a plurality of subject elements. Further, the image processing unit may detect a plurality of image elements and reduce a geometric deviation between the position of the detected plurality of image elements in the image and a reference related to the position. Further, the image processing unit may reduce a geometric deviation between the image element having the largest pixel area and the reference regarding the position among the plurality of detected image elements. Further, the image processing unit may reduce a geometric shift between the image element closest to the center of the image and the position-related reference among the detected plurality of image elements. The image processing unit further includes an input unit that receives which of the plurality of image elements is selected by the user, and the image processing unit receives information about which image element the user has selected which is received by the input unit. The geometric deviation between the image element on which it is based and the reference for position may be reduced.
[0007]
The condition storage unit further stores a detection condition for detecting the vanishing point in the image, and the image processing unit detects the vanishing point based on the detection condition, the position of the detected vanishing point, and a reference regarding the position It is possible to reduce the deviation. The image storage unit may store an image in which the image processing unit has reduced the geometric deviation. The image storage unit may store the image captured by the image capturing unit and the geometric shift detected by the image processing unit in association with each other.
[0008]
Moreover, you may further provide the display part which displays the image which the image memory | storage part stored and made geometrical deviation small. Moreover, you may further provide the display part which displays the image which the image memory | storage part stored, and the information regarding the geometric shift corresponding to an image. In addition, the display unit may reduce and display a plurality of images with a reduced geometric deviation. Further, the display unit may display an image obtained by reducing a plurality of images and information on geometrical deviations corresponding to the plurality of images, respectively.
[0009]
According to a second aspect of the present invention, there is provided an image processing apparatus that performs image processing on a given image, and for detecting a predetermined subject element from the image storage unit that stores the given image and the image. A condition storage unit for storing the detection condition of the image, and an image element corresponding to the subject element is detected from the image based on the detection condition, and a position regarding the position of the detected image element in the image and a predetermined subject position An image processing apparatus is provided that includes an image processing unit that performs image processing on an image so that the geometric deviation is reduced based on the geometric deviation.
[0010]
According to a third aspect of the present invention, there is provided an image processing method for image processing of a given image, an image storage procedure for storing the given image, and for detecting a predetermined subject element from the image. The condition storage procedure for storing the detection condition of the image, and the image element corresponding to the subject element is detected from the image based on the detection condition, and the position of the detected image element in the image and the reference regarding the predetermined subject position And an image processing procedure for performing image processing on the image so as to reduce the geometric deviation based on the geometric deviation.
[0011]
According to a fourth aspect of the present invention, there is provided a program for causing an image processing device to execute image processing. The image processing device is preliminarily determined from an image storage unit that stores an image to be image-processed and an image. A condition storage unit that stores a detection condition for detecting the subject element, and an image element corresponding to the subject element is detected from the image based on the detection condition, and the position of the detected image element in the image is determined in advance. Provided is a program that functions as an image processing unit that performs image processing on an image so that the geometrical deviation is reduced based on a geometrical deviation from a reference relating to the position of the subject.
[0012]
It should be noted that the above outline of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the invention according to the claims, and all combinations of features described in the embodiments are included. It is not necessarily essential for the solution of the invention.
[0014]
FIG. 1 is a block diagram showing an example of the configuration of an imaging apparatus 10 according to the present invention. The imaging device 10 may be a digital camera as an example. Hereinafter, the case where the imaging device 10 is a digital camera will be described. The imaging apparatus 10 mainly includes an imaging unit 20, an imaging auxiliary unit 38, an imaging control unit 40, a processing unit 60, a display unit 100, and an operation unit 110.
[0015]
The imaging unit 20 includes a mechanism member and an electrical member related to shooting and imaging. The imaging unit 20 includes an optical system 22 that captures and processes an image, an aperture 24, a shutter 26, an optical LPF (low-pass filter) 28, a CCD (charge coupled device image sensor) 30, and an imaging signal processing unit 32. The optical system 22 may include a focus lens, a zoom lens, and the like. With this configuration, a subject image is formed on the light receiving surface of the CCD 30. Charges are accumulated in each sensor element (not shown) of the CCD 30 in accordance with the amount of light of the formed subject image (hereinafter, the charges are referred to as “accumulated charges”). The accumulated charge is read to a shift register (not shown) by a read gate pulse, and sequentially read as a voltage signal by a register transfer pulse.
[0016]
When the imaging device 10 is a digital camera, since the imaging device 10 generally has an electronic shutter function, a mechanical shutter such as the shutter 26 is not essential. In this case, in order to realize an electronic shutter function, the CCD 30 is provided with a shutter drain via a shutter gate. When the shutter gate is driven, the accumulated charge is swept out to the shutter drain. By controlling the shutter gate, the time for accumulating charges in each sensor element, that is, the shutter speed can be controlled.
[0017]
A voltage signal output from the CCD 30, that is, an analog signal, is color-separated into R, G, and B components by the imaging signal processing unit 32, and first, white balance is adjusted. Subsequently, the imaging signal processing unit 32 performs gamma correction, sequentially A / D-converts (analog / digital conversion) the R, G, and B signals at a necessary timing, and obtains digital image data (hereinafter, simply “ The digital image data ”is output to the processing unit 60.
[0018]
The imaging auxiliary unit 20 includes a finder 34 and a strobe 36. The finder 34 may be provided with an LCD (liquid crystal display) (not shown). In this case, various types of information from a main CPU (central processing unit) 62 described later can be displayed in the finder 34. The strobe 36 functions by emitting light when energy stored in a capacitor (not shown) is supplied to the discharge tube 36a.
[0019]
The imaging control unit 40 includes a zoom driving unit 42, a focus driving unit 44, an aperture driving unit 46, a shutter driving unit 48, an imaging system CPU 50 that controls them, a distance measuring sensor 52, and a photometric sensor 54. Each of the driving units such as the zoom driving unit 42 has driving means such as a stepping motor. In response to pressing of a release switch 114 described later, the distance measuring sensor 52 measures the distance to the subject, and the photometric sensor 54 measures the subject brightness. The measured distance data (hereinafter simply referred to as “distance data”) and subject luminance data (hereinafter simply referred to as “photometry data”) are sent to the imaging system CPU 50. The imaging system CPU 50 adjusts the zoom magnification and focus of the optical system 22 by controlling the zoom drive unit 42 and the focus drive unit 44 based on the shooting information such as the zoom magnification specified by the user.
[0020]
The imaging system CPU 50 determines the aperture value and the shutter speed based on the RGB digital signal integrated value of one image frame, that is, the AE information. According to the determined value, the aperture driving unit 46 and the shutter driving unit 48 adjust the aperture amount and open / close the shutter 26, respectively.
[0021]
The imaging system CPU 50 also controls the light emission of the strobe 36 based on the photometric data and simultaneously adjusts the aperture amount of the aperture 24. When the user instructs to capture an image, the CCD 30 starts to accumulate charges, and the accumulated charges are output to the imaging signal processing unit 32 after the shutter time calculated from the photometric data has elapsed.
[0022]
The processing unit 60 includes a main CPU 62 that controls the entire imaging apparatus 10, particularly the processing unit 60 itself, a memory control unit 64, a YC processing unit 70, an optional device control unit 74, a compression / decompression processing unit 78, and communication that are controlled thereby. An I / F unit 80 and an image processing unit 220 are included. The main CPU 62 exchanges necessary information with the imaging CPU 50 by serial communication or the like. The operation clock of the main CPU 62 is given from the clock generator 88. The clock generator 88 also provides clocks with different frequencies to the imaging system CPU 50 and the display unit 100, respectively.
[0023]
The main CPU 62 is provided with a character generation unit 84 and a timer 86. The timer 86 is backed up by a battery and always counts the date and time. From this count value, information on the shooting date and time information and other time information are given to the main CPU 62. The character generation unit 84 generates character information such as a shooting date and time and a title, and the character information is appropriately combined with the shot image.
[0024]
The memory control unit 64 controls the nonvolatile memory 66 and the main memory 68. The non-volatile memory 66 includes an EEPROM (electrically erasable and programmable ROM), a FLASH memory, and the like, and should be retained even when the power of the imaging apparatus 10 is turned off, such as setting information by a user and adjustment values at the time of shipment. Data is stored. In some cases, the non-volatile memory 66 may store a boot program or a system program for the main CPU 62. On the other hand, the main memory 68 is generally composed of a relatively inexpensive memory having a large capacity, such as a DRAM. The main memory 68 has a function as a frame memory for storing data output from the imaging unit 20, a function as a system memory for loading various programs, and other functions as a work area. The nonvolatile memory 66 and the main memory 68 exchange data with each part inside and outside the processing unit 60 via the main bus 82.
[0025]
The YC processing unit 70 performs YC conversion on the digital image data to generate a luminance signal Y and color difference (chroma) signals BY and RY. The luminance signal and the color difference signal are temporarily stored in the main memory 68 by the memory control unit 64. The compression / decompression processor 78 sequentially reads out the luminance signal and the color difference signal from the main memory 68 and compresses them. The data thus compressed (hereinafter simply referred to as “compressed data”) is written to a memory card which is a type of option device 76 via the option device control unit 74.
[0026]
The processing unit 60 further includes an encoder 72. The encoder 72 receives the luminance signal and the color difference signal, converts them into a video signal (NTSC or PAL signal), and outputs the video signal from the video output terminal 90. When a video signal is generated from data recorded in the option device 76, the data is first supplied to the compression / decompression processing unit 78 via the option device control unit 74. Subsequently, the data that has undergone the necessary expansion processing in the compression / expansion processing unit 78 is converted into a video signal by the encoder 72.
[0027]
The option device control unit 74 performs necessary signal generation, logic conversion, voltage conversion, etc. between the main bus 82 and the option device 76 in accordance with the signal specifications recognized by the option device 76 and the bus specifications of the main bus 82. . The imaging apparatus 10 may support a standard I / O card conforming to PCMCIA, for example, in addition to the memory card described above as the optional device 76. In this case, the option device control unit 74 may be configured by a PCMCIA bus control LSI or the like.
[0028]
The communication I / F unit 80 performs control such as protocol conversion according to communication specifications supported by the imaging apparatus 10, such as USB, RS-232C, Ethernet (trademark), and the like. The communication I / F unit 80 includes a driver IC as necessary, and communicates with an external device including a network via the connector 92. In addition to such standard specifications, a configuration may be adopted in which data is exchanged with an external device such as a printer, a karaoke machine, or a game machine using an original I / F.
[0029]
The image processing unit 220 performs predetermined image processing on the digital image data. For example, the image processing unit 220 performs trimming when the subject to be captured is too close to the edge of the image with respect to the digital image data, or when an unnecessary subject such as the sky occupies most of the image. Image processing. The image processing unit 220 may perform image processing on the digital image data output from the imaging unit 20, and output the image processed digital image data to the YC processing unit or the main memory 68. The YC processing unit may perform YC conversion. The digital image data stored in the main memory 68 may be subjected to image processing, and the processed digital image data may be stored in the main memory 68.
[0030]
The image processing unit 220 operates based on a program stored in the nonvolatile memory 66 or the main memory 68. The memory control unit 64 may receive a program for operating the image processing unit 220 from an external device via the communication I / F unit 80 and store the program in the nonvolatile memory 66. In addition, the memory control unit 64 may receive a program for operating the image processing unit 220 from the option device 76 and store the program in the nonvolatile memory 66. The program stored in the non-volatile memory 66 or the main memory 68 includes, for example, a processing unit 60, an image storage unit that stores an image to be image-processed, and a detection for detecting a predetermined subject element from the image. A condition storage unit for storing conditions, an image element corresponding to the subject element is detected from the image based on the detection condition, and a geometry of the position of the detected image element in the image and a reference regarding a predetermined subject position It is made to function as an image processing unit that performs image processing on an image so that the geometrical deviation is reduced based on the geometrical deviation. Further, the program may cause the image processing apparatus such as a computer to operate as described above. The processing that the program causes the processing unit 60 to perform is the functions and operations of the image processing unit 220, the image storage unit 210, and the condition storage unit 230 described later, the functions and operations of the image processing device 300, or the functions of the image processing method. Is the same or similar.
[0031]
The display unit 100 includes a liquid crystal monitor 102 and an LCD panel 104. They are controlled by a monitor driver 106 and a panel driver 108, which are LCD drivers. The liquid crystal monitor 102 is provided on the back of the camera with a size of about 2 inches, for example, and the current shooting / playback mode, zoom magnification for shooting / playback, battery level, date / time, mode setting screen, subject image, etc. Is displayed. The LCD panel 104 is a small black-and-white LCD, for example, provided on the top surface of the camera, and simply displays information such as image quality (FINE / NORMAL / BASIC, etc.), strobe light emission / flash inhibition, standard number of shoots, number of pixels, battery capacity, etc. .
[0032]
In the case of this embodiment, the display unit 100 further includes illumination units 156 and 158. This is because the illumination units 156 and 158 of this embodiment perform illumination using the light source of the liquid crystal monitor 102 as described above. Note that the illumination units 156 and 158 may be included in the imaging apparatus 10 as components independent of the liquid crystal monitor 102 having a unique light source.
[0033]
The operation unit 110 includes a mechanism and electric members necessary for the user to set or instruct the operation of the image pickup apparatus 10 and its mode. The power switch 112 determines on / off of the power supply of the imaging apparatus 10. The release switch 114 has a two-step pushing structure of half-pressing and full-pressing. As an example, AF and AE are locked when pressed halfway, and a captured image is captured when pressed fully, and is recorded in the main memory 68, optional device 76, etc. after necessary signal processing, data compression, and the like. In addition to these switches, the operation unit 110 may accept settings using a rotary mode dial, a cross key, and the like, which are collectively referred to as a function setting unit 116 in FIG. Examples of operations or functions that can be specified by the operation unit 110 include “file format”, “special effect”, “print”, “decision / save”, “display switching”, and the like. The zoom switch 118 determines the zoom magnification.
[0034]
The main operation of the above configuration is as follows. First, the power switch 112 of the imaging device 10 is turned on, and power is supplied to each part of the camera. The main CPU 62 reads the state of the function setting unit 116 to determine whether the imaging apparatus 10 is in the shooting mode or the playback mode.
[0035]
Next, the main CPU 62 monitors whether the release switch 114 is half-pressed. When the stand is in the closed position, the main CPU 62 obtains photometry data and distance measurement data from the photometry sensor 54 and the distance measurement sensor 52, respectively, when the half-pressed state is detected. The imaging control unit 40 operates based on the obtained data, and adjustments such as focus and aperture of the optical system 22 are performed. When the main CPU 62 detects the half-pressed state, it obtains photometric data only from the photometric sensor 54. Then, the imaging control unit 40 adjusts the aperture of the optical system 22.
[0036]
When the adjustment is completed, a character such as “Standby” is displayed on the LCD monitor 102 to notify the user, and then the release switch 114 is fully pressed. When the release switch 114 is fully pressed, the shutter 26 is closed after a predetermined shutter time, and the accumulated charge in the CCD 30 is swept out to the imaging signal processing unit 32. Digital image data generated as a result of processing by the imaging signal processing unit 32 is output to the main bus 82.
[0037]
The digital image data is temporarily stored in the main memory 68, and thereafter processed by the image processing unit 220, the YC processing unit 70, and the compression / decompression processing unit 78, and is recorded in the option device 76 via the option device control unit 74. Is done. The recorded image is displayed on the LCD monitor 102 in a frozen state for a while, and the user can know the captured image. This completes a series of shooting operations.
[0038]
On the other hand, when the imaging apparatus 10 is in the playback mode, the main CPU 62 reads the last photographed image from the main memory 68 via the memory control unit 64 and displays it on the LCD monitor 102 of the display unit 100. In this state, when the user instructs “forward” or “reverse” on the function setting unit 116, images taken before and after the currently displayed image are read and displayed on the LCD monitor 102. The display unit 100 may display an image that has been subjected to image processing in the image processing unit 220, or may display an image before image processing. For example, the display unit 100 may display an image in which the geometric displacement between the position of the image element and the reference relating to the position is corrected in the image processing unit 220, and the image before the image processing and the position of the image element And information on the geometric deviation between the position and the reference on the position may be displayed together. Next, image processing in the image processing unit 220 will be described.
[0039]
FIG. 2 is a block diagram for explaining an example of image processing in the imaging apparatus 10. The imaging apparatus 10 includes an imaging unit 200, an image storage unit 210, an image processing unit 220, a condition storage unit 230, and a display unit 240.
[0040]
As an example, the imaging unit 200 has the same or similar function and configuration as the imaging unit 20, the imaging control unit 40, and the imaging auxiliary unit 38 described in FIG. As an example, the image storage unit 210 has the same or similar function and configuration as the memory control unit 64 and the nonvolatile memory 66 described in FIG. 1, and stores an image captured by the imaging unit 200. For example, the condition storage unit 230 has the same or similar function and configuration as the memory control unit 64, the nonvolatile memory 66, and the main memory 68 described in FIG. The detection condition for detecting the subject element is stored.
[0041]
The image processing unit 220 has the same or similar function and configuration as the image processing unit 220 described in FIG. 1, and an image corresponding to the subject element from the image based on the detection conditions stored in the condition storage unit 230. Based on the geometric deviation between the detected position of the image element and the predetermined reference on the position of the subject, image processing is performed on the image so that the geometric deviation is reduced. To do. The display unit 240 has the same or similar function and configuration as the display unit 100 described in FIG. 1, and displays an image processed by the image processing unit 220 or an image captured by the imaging unit 200. Further, the image storage unit 210 may store the image processed by the image processing unit 220. For example, the image storage unit 210 may store an image in which the image processing unit 220 reduces the geometric deviation between the image element and the reference regarding the position. Further, the image storage unit 210 may store the image captured by the imaging unit and information on the geometric deviation between the image element detected by the image processing unit 220 and the reference regarding the position in association with each other.
[0042]
The display unit 240 may display an image stored in the image storage unit 210 with a reduced geometric shift. In addition, the display unit 240 may display the image stored in the image storage unit 210 and information regarding the geometric shift corresponding to the image. In other words, the display unit 240 displays information regarding the geometric shift corresponding to the image captured by the imaging unit 200 and stored in the image storage unit 210 and not processed and the image detected by the image processing unit 220. Good. The display unit 240 may reduce and display a plurality of images stored in the image storage unit 210 and having a reduced geometric deviation. In addition, the display unit 240 may display a plurality of reduced images and information on geometric shifts corresponding to the plurality of images, respectively.
[0043]
FIG. 3 is a diagram illustrating an example of image processing in the image processing unit 220. In this example, the image processing unit 220 detects a geometric shift between the position of the image element captured by the imaging unit 200 and a reference related to the position, and performs image processing to reduce the geometric shift.
[0044]
FIG. 3A shows an example of a subject image captured by the imaging unit 200. In the image shown in FIG. 3A, a person, a building, the sky, the ground, and the like are captured as subjects. As shown in FIG. 3A, in the image, the person who is the main subject is too close to the lower side of the image, the sky area which is an unimportant subject is large, and the composition is unbalanced. As described above, the image processing unit 220 in this example corrects the position of the subject with respect to an image having a composition with a poor balance.
[0045]
First, the image processing unit 220 detects an image element corresponding to a predetermined subject element from the image based on the detection condition stored in the condition storage unit 230. As an example, as illustrated in FIG. 3B, the image processing unit 220 detects an image element 252 corresponding to a human face. The image processing unit 220 may detect an image element that meets the detection condition based on the edge of each subject element in the image. Further, the image processing unit 220 may detect the image element based on the color information of each subject element. For example, when the image processing unit 220 detects the face of a person, based on the edge of each subject element, based on the shape of each subject element, color information, and whether there is an eye, nose, or mouth-like object, The image processing unit 220 detects an image element 404 corresponding to a human face. In this case, the condition storage unit 230 stores the shape information, color information, face configuration information, and the like of the person's face and the top / bottom information of the person's face for detecting the person's face.
[0046]
Next, the image processing unit 220 detects a deviation between the detected position of the image element and a reference regarding a predetermined subject position. In this example, the condition storage unit 230 stores a reference related to the predetermined subject position. For example, the condition storage unit 230 may store a position based on a so-called golden ratio as a reference regarding the position of the subject, or may store a position predetermined by the user.
[0047]
Next, the image processing unit 220 calculates a trimming frame that is an image clipping region for the image based on the detected geometric shift, and clips the image based on the calculated trimming frame. For example, as shown in FIG. 3B, the image processing unit 220 sets a trimming frame for cutting out an image so that a geometrical deviation between the reference regarding the position of the subject and the position of the detected image element 402 is reduced. Set. That is, the image processing unit 220 cuts out an image based on the set trimming frame, and performs image processing so that the image element 402 and the reference regarding the position of the subject substantially match in the image enlarged to a predetermined size. . In this example, the condition storage unit 230 uses the position predetermined by the user as a reference regarding the position of the subject, and the position of the trimmed image element 402 substantially matches the reference regarding the position of the subject. Image processing is performed on the image.
[0048]
According to the imaging apparatus 10 described in this example, the balance of the composition of the image can be easily corrected by performing trimming based on the geometrical deviation between the position of the image element and the reference regarding the position. . In this example, the image processing unit 220 detects one image element and performs image processing based on the detected image element. In another example, the image processing unit 220 includes a plurality of image elements. An image element may be detected, and the geometrical deviation between the position of the detected plurality of image elements in the image and a reference related to the position may be reduced. In this case, the condition storage unit 230 may store a plurality of detection conditions for detecting a plurality of subject elements. For example, the condition storage unit 230 may store a plurality of detection conditions respectively corresponding to a person's face, building, tree, and the like, and the image processing unit 220 may detect image elements based on the detection conditions.
[0049]
The condition storage unit 230 may store detection conditions for detecting a person's face, sky, ground, building, and the like as an example of a plurality of detection conditions. The condition storage unit 230 may store color information as an example of a detection condition for detecting the sky or the ground. In the color information of the subject of the image, the image processing unit 220 may perform image processing using the subject as the sky or the ground when the predetermined color continues for a predetermined number of pixels. In addition, the condition storage unit 230 may store information on the shape of the subject as an example of detection conditions for detecting a building. The image processing unit 220 may detect the edge of the subject and detect an image element corresponding to the building based on the detected edge and information on the shape of the subject.
[0050]
In addition, the image processing unit 220 may detect a plurality of image elements that meet one detection condition. For example, the image processing unit 220 may detect a plurality of image elements corresponding to a person's face based on a detection condition for detecting the person's face. The image processing unit 220 may perform image processing so that the sum of deviations between the reference regarding the positions of the plurality of subjects and the positions of the plurality of image elements is minimized, and the main image among the plurality of image elements. One element may be selected and image processing may be performed based on the image element corresponding to the selected main subject.
[0051]
For example, the image processing unit 220 may perform image processing so as to reduce a geometric deviation between the image element having the largest pixel area and the reference regarding the position among the plurality of detected image elements. For example, the image processing unit 220 may perform image processing so as to reduce a geometrical deviation between the image element closest to the center of the image and the reference regarding the position among the plurality of detected image elements. The imaging apparatus 10 further includes an input unit that receives which one of the plurality of image elements detected by the image processing unit 220 is selected by the user, and the image processing unit 220 uses the input unit received by the input unit. The image processing may be performed so as to reduce the geometrical deviation between the image element based on the information regarding which image element the user has selected and the reference regarding the position. Further, the image processing unit 220 may detect the vanishing point in the image and perform image processing so as to reduce the deviation between the position of the detected vanishing point and the reference regarding the position. For example, the vanishing point may refer to an infinite point in perspective projection, or may refer to a point where parallel straight lines in the real space of the subject intersect on the image. Hereinafter, a case where the image processing unit 220 performs image processing based on vanishing points will be described.
[0052]
FIG. 4 is a diagram illustrating a case where the image processing unit 220 performs image processing based on a vanishing point of an image. In this example, the condition storage unit 230 further stores a detection condition for detecting a vanishing point in the image, and the image processing unit 220 detects the vanishing point based on the detection condition, and detects the position of the detected vanishing point. Then, image processing is performed so as to reduce the geometric deviation from the reference regarding the position. Further, as described above, the image processing unit 220 detects main image elements, and performs image processing so as to reduce the geometric deviation between the detected image elements and the reference regarding the position. In this case, it is preferable that the condition storage unit 230 stores a reference regarding a plurality of positions.
[0053]
FIG. 4A is an example of an image captured by the imaging unit 200. In the image shown in FIG. 4A, a plurality of persons and walls are captured as subjects. First, the image processing unit 220 detects a main subject and a vanishing point of the image from the image. Similar to the image processing unit 220 described with reference to FIGS. 2 and 3, the image processing unit 220 detects image elements corresponding to main subjects based on detection conditions. In this example, as shown in FIG. 4B, the image processing unit 220 detects an image element 506 corresponding to a human face. Further, the image processing unit 220 detects the vanishing point of the image. For example, the image processing unit 220 detects two image elements corresponding to parallel linear components from the image, and detects an intersection of the two image elements as a vanishing point 508 of the image. In this case, the image processing unit 220 may detect two image elements whose inclination difference is within a predetermined range as image elements corresponding to parallel linear components. Further, distance information to the image element is detected, and based on the detected distance information and the inclination of the image element, the inclination of the subject element corresponding to the image element is calculated in real space, and the difference in inclination in the real space is calculated. Two image elements within a predetermined range may be detected as image elements corresponding to parallel linear components.
[0054]
The image processing unit 220 performs image processing so that a geometric deviation between the detected main subject 506 and vanishing point 508 and a reference regarding a predetermined position becomes small. For example, the image processing unit 220 displays the subject 506 and the disappearance at any one of the points 510, 512, 514, and 516 that are the reference regarding the predetermined position as illustrated in FIG. The image is trimmed so that the point 508 is arranged. In this example, the image processing unit 220 cuts out the image so that the subject 506 is arranged at the point 510 and the vanishing point 508 is arranged at the point 512, and the cut-out image is enlarged to a predetermined size. In this example, the position-related reference indicates the position as shown in FIG. 4C, but in other examples, it is obvious that other positions may be used as the reference for the position. For example, the user may have previously input a reference regarding the position into the imaging apparatus 10. In this example, the image processing unit 220 performs image processing based on the image element and the vanishing point. However, in another example, the image processing unit 220 performs the vanishing point position and the reference regarding the position. Image processing may be performed to reduce the geometrical deviation. According to the imaging device 10 described in the present example, a vanishing point of an image is detected, and a well-balanced image can be obtained by reducing a geometric deviation between the position of the detected vanishing point and a reference related to the position. Can do.
[0055]
FIG. 5 is a block diagram showing an example of the configuration of the image processing apparatus 300 according to the present invention. The image processing apparatus 300 is, for example, a computer provided with a display device, and performs image processing on a given image. The image processing apparatus 300 includes an image storage unit 210, an image processing unit 220, a condition storage unit 230, and a display unit 240. The image storage unit 210 has the same or similar function and configuration as the image storage unit 210 described with reference to FIGS. 2 to 4 and stores a given image. The condition storage unit 230 has the same or similar function and configuration as the condition storage unit 230 described with reference to FIGS. 2 to 4, and a predetermined subject element is extracted from the image stored in the image storage unit 210. Stores detection conditions for detection.
[0056]
The image processing unit 220 has the same or similar function and configuration as the image processing unit 220 described with reference to FIGS. 2 to 4, and a detection condition for detecting a subject element stored in the condition storage unit 240. Based on the image, the image element corresponding to the subject element is detected from the image stored in the image storage unit 210, and based on the geometrical deviation between the position of the detected image element and a predetermined reference for the position of the subject. Thus, the image processing is performed on the image so that the geometric shift is reduced.
[0057]
The display unit 240 has the same or similar function and configuration as the display unit 240 described with reference to FIGS. 2 to 4 and displays the image processed by the image processing unit 220. In addition, the display unit 240 may display a given image together with information related to a geometric shift corresponding to the given image.
[0058]
According to the image processing apparatus 300 in this example, the composition balance in the image can be easily corrected by performing image processing based on the detected information regarding the position of the image element. In addition, by designating a desired position as a reference regarding the position, an image having a desired composition balance can be easily generated for the user.
[0059]
FIG. 6 shows an example of a flowchart of the image processing method according to the present invention. The image processing method in this example performs the same or similar processing as the image processing in the image processing apparatus 300 described with reference to FIG. First, the given image is stored in the image storing procedure (S302). In the image storage procedure, processing similar to the processing in the image storage unit 210 described with reference to FIG. 5 is performed. Further, in the condition storage procedure, a detection condition for detecting a predetermined subject element from a given image is stored (S304). The condition storage procedure performs the same process as the process in the condition storage unit 230 described with reference to FIG. Either the image storage procedure or the condition storage procedure may be performed first.
[0060]
Next, the geometric shift of the image is reduced by an image processing procedure. In the image processing procedure (S306 to S312), processing similar to the processing in the image processing unit 220 described with reference to FIG. 5 is performed. In the image processing procedure, first, an image element corresponding to a subject element and / or a vanishing point is detected from an image based on a detection condition (S306). Next, a geometric shift between the detected position of the image element and / or vanishing point and a predetermined reference regarding the position of the subject is detected (S308). In S308, the geometric shift is detected by the method described in relation to FIG. 3 or FIG. Next, it is determined whether or not there is a geometric shift between the position of the image element or / and the vanishing point and a predetermined reference regarding the position of the subject (S308). If there is no geometric shift, the image processing method is terminated. If there is a geometric shift, image processing is performed on the image so as to reduce the geometric shift (S312). In S312, image processing is performed on the image so as to reduce the geometrical deviation by the method described in relation to FIG. 3 or FIG.
[0061]
According to the image processing method described above, the composition balance of a given image can be easily corrected based on the information about the position of the image element or / and the vanishing point detected from the given image. In addition, the user can easily obtain an image having a desired composition balance by giving a reference regarding the position in advance.
[0062]
As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above embodiment. It is apparent from the description of the scope of claims that embodiments with such changes or improvements can be included in the technical scope of the present invention.
[0063]
【The invention's effect】
As is apparent from the above description, according to the imaging apparatus, image processing apparatus, image processing method, and program according to the present invention, a geometric shift between the position of an image element and a reference related to the position is detected, and the geometric It is possible to easily correct the geometrical deviation and obtain a well-balanced image.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an example of the configuration of an imaging apparatus 10 according to the present invention.
FIG. 2 is a block diagram for explaining an example of image processing in the imaging apparatus 10;
3 is a diagram illustrating an example of image processing in an image processing unit 220. FIG.
FIG. 4 is a diagram illustrating a case where an image processing unit 220 performs image processing based on a vanishing point of an image.
FIG. 5 is a block diagram showing an example of the configuration of an image processing apparatus 300 according to the present invention.
FIG. 6 shows an example of a flowchart of an image processing method according to the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Imaging device, 20 ... Imaging unit, 22 ... Optical system, 24 ... Aperture, 26 ... Shutter, 28 ... Optical LPF, 30 ... CCD, 32 ... Image pick-up signal processing section 34... Finder 36... Strobe 38 38 image pick-up auxiliary unit 40... Image pick-up control unit 42 ... zoom drive section 44. ... Aperture drive unit, 48 ... Shutter drive unit, 50 ... Imaging system CPU, 52 ... Distance sensor, 54 ... Photometric sensor, 62 ... Main CPU, 64 ... Memory Control unit 66... Non-volatile memory 68. Main memory 70. YC processing unit 72. Encoder 74 74 Optional device control unit 76. ..Compression / decompression processing unit, 80 Communication I / F section, 82 ... main bus, 84 ... character generation section, 86 ... timer, 88 ... clock generator, 100 ... display unit, 102 ... liquid crystal monitor, 104 LCD panel 106 Monitor driver 108 Panel driver 110 Operation unit 112 Power switch 114 Release switch 116 Function setting unit 118 ... Zoom switch, 158 ... Illumination unit, 200 ... Imaging unit, 210 ... Image storage unit, 220 ... Image processing unit, 230 ... Conditional storage unit, 240 ... Display unit , 250 ... Subject, 402 ... Image element, 404 ... Trimming frame, 506 ... Image element, 508 ... Vanishing point

Claims

An imaging device for imaging a subject,
An imaging unit that captures an image of the subject;
An image storage unit for storing the image captured by the imaging unit;
A condition storage unit for storing a plurality of detection conditions for detecting each of a plurality of subject elements from the image , and a detection condition for detecting a vanishing point in the image ;
A plurality of image elements corresponding to each of the plurality of subject elements is detected based on the plurality of detection conditions, and a difference in inclination is determined in advance based on the detection conditions for detecting a vanishing point in the image. Are detected as image elements corresponding to parallel linear components, an intersection of the two detected image elements is detected as the vanishing point, and the plurality of detected image elements are The geometrical deviation between the position in the image and the reference for each position of a plurality of predetermined subjects , and the sum of the geometric deviation between the position of the detected vanishing point and the reference for the position is minimized. And an image processing unit that performs image processing on the image.

The imaging apparatus according to claim 1, wherein the image processing unit calculates a cutout region of the image based on the geometric shift, and cuts out the image based on the calculated cutout region. .

The imaging apparatus according to claim 1, further comprising a display unit that displays the image stored in the image storage unit and that minimizes a sum of the geometric shifts.

The imaging apparatus according to claim 3, wherein the display unit displays the image stored in the image storage unit and information regarding the geometric shift corresponding to the image.

An image processing apparatus that performs image processing on a given image,
An image storage unit for storing a given image;
A condition storage unit for storing a plurality of detection conditions for detecting each of a plurality of subject elements from the image , and a detection condition for detecting a vanishing point in the image ;
Based on the plurality of detection conditions, detects a plurality of image elements corresponding to each of the plurality of subjects elements, based on the detection conditions for detecting the vanishing point in the image, the difference in inclination is predetermined Are detected as image elements corresponding to parallel linear components, an intersection of the two detected image elements is detected as the vanishing point, and the plurality of detected image elements are The geometrical deviation between the position in the image and the reference for each position of a plurality of predetermined subjects , and the sum of the geometric deviation between the position of the detected vanishing point and the reference for the position is minimized. An image processing apparatus comprising: an image processing unit that performs image processing on the image.

6. The image processing according to claim 5, wherein the image processing unit calculates a cutout region of the image based on the geometric shift, and cuts out the image based on the calculated cutout region. apparatus.

The image processing apparatus according to claim 5, further comprising a display unit that displays the image stored in the image storage unit and that minimizes a total sum of the geometric shifts.

The image processing apparatus according to claim 7, wherein the display unit displays the image stored in the image storage unit and information related to the geometric shift corresponding to the image.

An image processing method for image processing a given image,
An image storage procedure for storing a given image;
A condition storage procedure for storing a plurality of multiple detection conditions of the respective object elements for detecting from the image, and the detection conditions for detecting the vanishing point in the image,
A plurality of image elements corresponding to each of the plurality of subject elements is detected based on the plurality of detection conditions, and a difference in inclination is determined in advance based on the detection conditions for detecting a vanishing point in the image. Are detected as image elements corresponding to parallel linear components, an intersection of the two detected image elements is detected as the vanishing point, and the plurality of detected image elements are The geometrical deviation between the position in the image and the reference for each position of a plurality of predetermined subjects , and the sum of the geometric deviation between the position of the detected vanishing point and the reference for the position is minimized. An image processing method comprising: an image processing procedure for performing image processing on the image.

The image processing according to claim 9, wherein the image processing procedure calculates a cutout region of the image based on the geometric shift, and cuts out the image based on the calculated cutout region. Method.

11. The image processing method according to claim 9, further comprising a display procedure for displaying the image stored in the image storage procedure and having the total sum of the geometric shifts minimized.

The image processing method according to claim 11, wherein the display procedure displays the image stored in the image storage procedure and information on the geometric shift corresponding to the image.

A program for causing an image processing apparatus to execute image processing,
Computer
An image storage unit for storing an image to be processed;
A condition storage unit for storing a plurality of detection conditions for detecting each of a plurality of subject elements from the image , and a detection condition for detecting a vanishing point in the image ;
A plurality of image elements corresponding to each of the plurality of subject elements is detected based on the plurality of detection conditions, and a difference in inclination is determined in advance based on the detection conditions for detecting a vanishing point in the image. Are detected as image elements corresponding to parallel linear components, an intersection of the two detected image elements is detected as the vanishing point, and the plurality of detected image elements are a position in the image, the geometric displacement of the reference for each of the positions of a plurality of subjects predetermined and the position of the detected the vanishing point, the sum of the geometrical deviation of the reference relating to the position the minimum As described above, the program functions as an image processing unit that performs image processing on the image.

The image processing unit calculates an image cutout region for the image based on the geometric shift, and cuts out the image based on the calculated cutout region. Program.

The program according to claim 13 or 14, further comprising a display unit that displays the image stored in the image storage unit and that minimizes the sum of the geometric shifts.

The program according to claim 15, wherein the display unit displays the image stored in the image storage unit and information on the geometric shift corresponding to the image.