JP4124404B2 - 撮像装置、画像処理装置、画像処理方法、及びプログラム - Google Patents
撮像装置、画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP4124404B2 JP4124404B2 JP2001148434A JP2001148434A JP4124404B2 JP 4124404 B2 JP4124404 B2 JP 4124404B2 JP 2001148434 A JP2001148434 A JP 2001148434A JP 2001148434 A JP2001148434 A JP 2001148434A JP 4124404 B2 JP4124404 B2 JP 4124404B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- unit
- processing unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置、画像処理装置、画像処理方法、及びプログラムに関する。特に、画像に基づいて画像処理する撮像装置、画像処理装置、画像処理方法、及びプログラムに関する。
【０００２】
【従来の技術】
従来の撮像装置において撮像した画像には、幾何学的ずれが生じている場合がある。例えば、撮像時において撮像装置が傾いていた場合には、撮像した画像に天地のずれが生じる。また、レンズ等の特性により、撮像した画像に歪みが生じる場合もある。また、撮像しようとした被写体が画像の端に寄りすぎていたり、例えば空のような、不要な被写体が画像の大半を占めてしまう場合があった。
【０００３】
【発明が解決しようとする課題】
従来、幾何学的ずれが生じている画像に対して、当該幾何学的ずれを修正するためには、撮像者が、撮像した画像のそれぞれに対し、当該幾何学的ずれを確認し、それぞれの画像に対し、複雑な画像処理を行う必要があった。この場合、撮像者がそれぞれの画像について確認及び画像処理を行うため、時間と手間がかかっていた。
【０００４】
そこで本発明は、上記の課題を解決することのできる撮像装置、画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。この目的は、特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の形態においては、被写体を撮像する撮像装置であって、被写体の画像を撮像する撮像部と、撮像部が撮像した画像を格納する画像記憶部と、画像から、予め定められた被写体要素を検出するための検出条件を格納する条件記憶部と、検出条件に基づいて、画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の予め定められた基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理する画像処理部とを備えることを特徴とする撮像装置を提供する。
【０００６】
条件記憶部は、予め天地情報が定められた被写体要素を検出するための検出条件を格納し、画像処理部は、検出条件に基づいて検出した画像要素の天又は地の情報の少なくとも一方と、予め定められた基準とのずれを小さくしてよい。また、画像処理部は、検出条件に基づいて検出した画像要素の天又は地の情報の少なくとも一方と、予め定められた天地に関する基準とのずれを小さくするように、画像処理してよい。画像処理部は、画像における各被写体要素のエッジに基づいて、検出条件に適合する画像要素を検出してよい。
【０００７】
また、画像処理部は、複数の画像要素を検出し、検出した複数の画像要素に基づいて、画像の天地を判定してよい。また、画像処理部は、検出した複数の画像要素のうち、画素領域が最大である画像要素に基づいて、画像の天地を判定してよい。
【０００８】
また、条件記憶部は、複数の検出条件を格納してよい。また、画像処理部は、複数の検出条件に基づいて、複数の画像要素を検出し、検出した複数の画像要素に基づいて、画像の天地を判定してよい。画像処理部は、検出した複数の画像要素に、検出条件に基づいた重み付けを行い、画像の天地を判定してよい。また、画像処理部は、検出した複数の画像要素に、検出条件に基づいた優先順位付けを行い、優先順位の高い画像要素に基づいて、画像の天地を判定してよい。
【０００９】
また、条件記憶部は、被写体要素として、人の顔を検出するための検出条件を格納してよい。また、条件記憶部は、被写体要素として、空を検出するための検出条件を格納してよい。また、条件記憶部は、被写体要素として、地面を検出するための検出条件を格納してよい。
【００１０】
また、画像記憶部は、撮像部が撮像した画像と、画像処理部が判定した画像の天地情報とを対応づけて格納してよい。また、画像記憶部は、画像処理部が幾何学的ずれを小さくした画像を、格納してよい。また、撮像装置は、画像記憶部が格納した、画像と、画像に対応した天地情報とを表示する表示部を更に備えてよい。また、撮像装置は、画像記憶部が格納した、幾何学的ずれを小さくした画像を表示する表示部を更に備えてよい。
【００１１】
表示部は、複数の画像を縮小した画像と、複数の画像にそれぞれ対応した天地情報を表示してよい。また、表示部は、幾何学的ずれを小さくした複数の画像を縮小して表示してよい。
【００１２】
本発明の第２の形態においては、与えられた画像を画像処理する画像処理装置であって、与えられた画像を格納する画像記憶部と、画像から、予め定められた被写体要素を検出するための検出条件を格納する条件記憶部と、検出条件に基づいて、画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の、予め定められた基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理する画像処理部と、画像処理部が画像処理した画像を表示する表示部とを備えることを特徴とする画像処理装置を提供する。
【００１３】
本発明の第３の形態においては、与えられた画像を画像処理する画像処理方法であって、与えられた画像を格納する画像記憶手順と、画像から、予め定められた被写体要素を検出するための検出条件を格納する条件記憶手順と、検出条件に基づいて、画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の、予め定められた基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理を行う画像処理手順とを備えることを特徴とする画像処理方法を提供する。
【００１４】
本発明の第４の形態においては、画像処理装置に画像処理を実行させるためのプログラムであって、画像処理装置を、画像処理するべき画像を格納する画像記憶部と、画像から予め定められた被写体要素を検出するための、検出条件を格納する条件記憶部と、検出条件に基づいて、画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の、予め定められた基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理を行う画像処理部として機能させることを特徴とするプログラムを提供する。
【００１５】
本発明の第５の形態においては、被写体を撮像する撮像装置であって、被写体の画像を撮像する撮像部と、撮像部が撮像した画像を記憶する画像記憶部と、撮像部における、画像の撮像時に、画像における被写体の複数の点の距離情報を取得する距離測定部と、距離測定部が取得した、距離情報に基づいて、画像の天地を判定する画像処理部とを備えることを特徴とする撮像装置を提供する。
【００１６】
画像処理部は、画像における被写体のうち、距離測定部が取得した距離情報が遠距離を示す被写体を天方向とし、距離測定部が取得した距離情報が近距離を示す被写体を地方向としてよい。距離測定部は、画像の少なくとも２辺における被写体の距離情報を取得し、画像処理部は、距離測定部が取得したそれぞれの辺における距離情報の平均値に基づいて、画像の天地を判定してよい。また、画像処理部は、画像における、距離情報の平均値が最も大きい辺を天側としてよい。
【００１７】
本発明の第６の形態においては、与えられた画像を画像処理する画像処理装置であって、与えられた画像を格納する画像記憶部と、画像における被写体の複数の点の距離情報が与えられ、距離情報に基づいて、画像の天地を判定する画像処理部と、画像処理部が画像処理した画像を表示する表示部とを備えることを特徴とする画像処理装置を提供する。
【００１８】
本発明の第７の形態においては、与えられた画像を画像処理する画像処理方法であって、与えられた画像を格納する画像記憶手順と、画像における被写体の複数の点の距離情報が与えられ、距離情報に基づいて、画像の天地を判定する画像処理手順とを備えることを特徴とする画像処理方法を提供する。
【００１９】
本発明の第８の形態においては、画像処理装置に画像処理を実行させるためのプログラムであって、画像処理装置を、画像処理するべき画像を格納する画像記憶部と、画像における被写体の複数の点の距離情報が与えられ、距離情報に基づいて、画像の天地を判定する画像処理部として機能させることを特徴とするプログラムを提供する。
【００２０】
尚、上記の発概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又、発明となりうる。
【００２１】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２２】
図１は、本発明に係る撮像装置１０の構成の一例を示すブロック図である。撮像装置１０は、一例として、ディジタルカメラであってよい。以下、撮像装置１０がディジタルカメラである場合について、説明する。撮像装置１０は、主に撮像ユニット２０、撮像補助ユニット３８、撮像制御ユニット４０、処理ユニット６０、表示ユニット１００、及び操作ユニット１１０を備える。
【００２３】
撮像ユニット２０は、撮影および結像に関する機構部材および電気部材を有する。撮像ユニット２０は、映像を取り込んで処理を施す光学系２２、絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィルタ）２８、ＣＣＤ（電荷結合素子イメージセンサー）３０、および撮像信号処理部３２を含む。光学系２２は、フォーカスレンズやズームレンズ等を有してよい。この構成により、被写体像がＣＣＤ３０の受光面上に結像する。結像した被写体像の光量に応じ、ＣＣＤ３０の各センサエレメント（図示せず）に電荷が蓄積される（以下その電荷を「蓄積電荷」という）。蓄積電荷は、リードゲートパルスによってシフトレジスタ（図示せず）に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【００２４】
撮像装置１０が、ディジタルカメラである場合、撮像装置１０は、一般に電子シャッタ機能を有するので、シャッタ２６のような機械式シャッタは必須ではない。この場合、電子シャッタ機能を実現するために、ＣＣＤ３０にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタスピードが制御できる。
【００２５】
ＣＣＤ３０から出力される電圧信号、すなわちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部３２はガンマ補正を行い、必要なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換（アナログ／ディジタル変換）し、その結果得られたデジタルの画像データ（以下単に「ディジタル画像データ」とよぶ）を処理ユニット６０へ出力する。
【００２６】
撮像補助ユニット３８は、ファインダ３４とストロボ３６を有する。ファインダ３４には図示しないＬＣＤ（液晶ディスプレイ）を内装してもよく、その場合、後述のメインＣＰＵ（中央演算装置）６２等からの各種情報をファインダ３４内に表示できる。ストロボ３６は、コンデンサ（図示せず）に蓄えられたエネルギが放電管３６ａに供給されたときそれが発光することで機能する。
【００２７】
撮像制御ユニット４０は、ズーム駆動部４２、フォーカス駆動部４４、絞り駆動部４６、シャッタ駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距センサ５２、および測光センサ５４をもつ。ズーム駆動部４２などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ１１４の押下に応じ、測距センサ５２は被写体までの距離を測定し、測光センサ５４は被写体輝度を測定する。測定された距離のデータ（以下単に「測距データ」という）および被写体輝度のデータ（以下単に「測光データ」という）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０は、ユーザから指示されたズーム倍率等の撮影情報に基づき、ズーム駆動部４２とフォーカス駆動部４４を制御して光学系２２のズーム倍率とピントの調整を行う。
【００２８】
撮像系ＣＰＵ５０は、１画像フレームのＲＧＢのデジタル信号積算値、すなわちＡＥ情報に基づいて絞り値とシャッタスピードを決定する。決定された値にしたがい、絞り駆動部４６とシャッタ駆動部４８がそれぞれ絞り量の調整とシャッタ２６の開閉を行う。
【００２９】
撮像系ＣＰＵ５０はまた、測光データに基づいてストロボ３６の発光を制御し、同時に絞り２４の絞り量を調整する。ユーザが映像の取込を指示したとき、ＣＣＤ３０が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部３２へ出力される。
【００３０】
処理ユニット６０は、撮像装置１０全体、とくに処理ユニット６０自身を制御するメインＣＰＵ６２と、これによって制御されるメモリ制御部６４、ＹＣ処理部７０、オプション装置制御部７４、圧縮伸張処理部７８、通信Ｉ／Ｆ部８０、及び画像処理部２２０を有する。メインＣＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５０との間で必要な情報をやりとりする。メインＣＰＵ６２の動作クロックは、クロック発生器８８から与えられる。クロック発生器８８は、撮像系ＣＰＵ５０、表示ユニット１００に対してもそれぞれ異なる周波数のクロックを提供する。
【００３１】
メインＣＰＵ６２には、キャラクタ生成部８４とタイマ８６が併設されている。タイマ８６は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインＣＰＵ６２に与えられる。キャラクタ生成部８４は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【００３２】
メモリ制御部６４は、不揮発性メモリ６６とメインメモリ６８を制御する。不揮発性メモリ６６は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能なＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、撮像装置１０の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ６６には、場合によりメインＣＰＵ６２のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ６８は一般にＤＲＡＭのように比較的安価で容量の大きなメモリで構成される。メインメモリ６８は、撮像ユニット２０から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ６６とメインメモリ６８は、処理ユニット６０内外の各部とメインバス８２を介してデータのやりとりを行う。
【００３３】
ＹＣ処理部７０は、ディジタル画像データにＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制御部６４によってメインメモリ６８に一旦格納される。圧縮伸張処理部７８はメインメモリ６８から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ（以下単に「圧縮データ」という）は、オプション装置制御部７４を介してオプション装置７６の一種であるメモリカードへ書き込まれる。
【００３４】
処理ユニット６０はさらにエンコーダ７２を有する。エンコーダ７２は輝度信号と色差信号を入力し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換してビデオ出力端子９０から出力する。オプション装置７６に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部７４を介して圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸張処理部７８で必要な伸張処理が施されたデータはエンコーダ７２によってビデオ信号へ変換される。
【００３５】
オプション装置制御部７４は、オプション装置７６に認められる信号仕様およびメインバス８２のバス仕様にしたがい、メインバス８２とオプション装置７６の間で必要な信号の生成、論理変換、または電圧変換などを行う。撮像装置１０は、オプション装置７６として前述のメモリカードのほかに、例えばＰＣＭＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよい。その場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用バス制御ＬＳＩなどで構成してもよい。
【００３６】
通信Ｉ／Ｆ部８０は、撮像装置１０がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、イーサネット（商標）などの仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、ネットワークを含む外部機器とコネクタ９２を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のＩ／Ｆによるデータ授受を行う構成としてもよい。
【００３７】
画像処理部２２０は、ディジタル画像データに対して、所定の画像処理をする。例えば、画像処理部２２０は、ディジタル画像データに対して、画像の天地のずれの修正や、レンズ等の特性による画像の歪みの修正や、撮像しようとした被写体が画像の端に寄りすぎていたり、例えば空のような、不要な被写体が画像の大半を占めてしまう場合のトリミング等の画像処理をする。画像処理部２２０は、撮像ユニット２０が出力したディジタル画像データに対して画像処理し、画像処理したディジタル画像データをＹＣ処理部又はメインメモリ６８に出力してよく、また、ＹＣ処理部がＹＣ変換処理を施し、メインメモリ６８に格納したディジタル画像データに対して画像処理し、画像処理したディジタル画像データを、メインメモリ６８に格納してよい。
【００３８】
画像処理部２２０は、不揮発性メモリ６６又はメインメモリ６８に格納されたプログラムに基づいて動作する。また、メモリ制御部６４は、通信Ｉ／Ｆ部８０を介して、外部機器から画像処理部２２０を動作させるためのプログラムを受け取り、不揮発性メモリ６６に格納してよい。また、メモリ制御部６４は、オプション装置７６から画像処理部２２０を動作させるためのプログラムを受け取り、不揮発性メモリ６６に格納してよい。不揮発性メモリ６６又はメインメモリ６８に格納されたプログラムは、一例として処理ユニット６０を、画像処理するべき画像を受け取る画像取得部と、画像から予め定められた被写体要素を検出するための、検出条件を格納する条件記憶部と、検出条件に基づいて、画像から被写体要素に対応する画像要素を検出し、検出した画像要素の、予め定められた基準との幾何学的ずれにもとづいて、幾何学的ずれが小さくなるように、画像に対して画像処理を行う画像処理部として機能させる。また、当該プログラムは、例えばコンピュータ等の画像処理装置を、上述した機能動作させてもよい。当該プログラムが、処理ユニット６０に行わせる処理は、後述する画像処理部２２０、画像記憶部２１０、及び条件記憶部２３０の機能及び動作、画像処理装置３００の機能及び動作、又は画像処理方法の機能と同一又は同様である。
【００３９】
表示ユニット１００は、液晶モニタ１０２とＬＣＤパネル１０４を有する。それらはＬＣＤドライバであるモニタドライバ１０６、パネルドライバ１０８によってそれぞれ制御される。液晶モニタ１０２は、例えば２インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。ＬＣＤパネル１０４は例えば小さな白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【００４０】
本実施形態の場合、表示ユニット１００は、さらに照明部１５６，１５８を含む。先に説明したように、本実施形態の照明部１５６、１５８は、液晶モニタ１０２の光源を利用して照明を行うからである。なお、照明部１５６，１５８は、独自の光源を有する、液晶モニタ１０２から独立した構成要素として撮像装置１０に備えてもよい。
【００４１】
操作ユニット１１０は、ユーザーが撮像装置１０の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ１１２は、撮像装置１０の電源のオンオフを決める。レリーズスイッチ１１４は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでＡＦおよびＡＥがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ６８、オプション装置７６等に記録される。操作ユニット１１０はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図１において機能設定部１１６と総称されている。操作ユニット１１０で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定／保存」、「表示切換」等がある。ズームスイッチ１１８は、ズーム倍率を決める。
【００４２】
以上の構成による主な動作は以下のとおりである。まず、撮像装置１０のパワースイッチ１１２がオンされ、カメラ各部に電力が供給される。メインＣＰＵ６２は、機能設定部１１６の状態を読み込むことで、撮像装置１０が撮影モードにあるか再生モードにあるかを判断する。
【００４３】
次に、メインＣＰＵ６２はレリーズスイッチ１１４の半押し状態を監視する。スタンドが閉じた位置にある場合、メインＣＰＵ６２は、半押し状態を検出すると、測光センサ５４および測距センサ５２からそれぞれ測光データと測距データを得る。得られたデータに基づいて撮像制御ユニット４０が動作し、光学系２２のピント、絞りなどの調整が行われる。メインＣＰＵ６２は、半押し状態を検出すると、測光センサ５４のみから測光データを得る。そして、撮像制御ユニット４０は、光学系２２の絞りを調整する。
【００４４】
調整が完了すると、ＬＣＤモニタ１０２に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ１１４の全押し状態を監視する。レリーズスイッチ１１４が全押しされると、所定のシャッタ時間をおいてシャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信号処理部３２へ掃き出される。撮像信号処理部３２による処理の結果生成されたディジタル画像データはメインバス８２へ出力される。
【００４５】
ディジタル画像データは一旦メインメモリ６８へ格納され、この後、画像処理部２２０、ＹＣ処理部７０、及び圧縮伸張処理部７８で処理を受け、オプション装置制御部７４を経由してオプション装置７６へ記録される。記録された画像は、フリーズされた状態でしばらくＬＣＤモニタ１０２に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【００４６】
一方、撮像装置１０が再生モードの場合、メインＣＰＵ６２は、メモリ制御部６４を介してメインメモリ６８から最後に撮影した画像を読み出し、これを表示ユニット１００のＬＣＤモニタ１０２へ表示する。この状態でユーザーが機能設定部１１６にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、ＬＣＤモニタ１０２へ表示される。表示ユニット１００は、画像処理部２２０において画像処理された画像を表示してよく、また、画像処理前の画像を表示してよい。例えば、表示ユニット１００は、画像処理部２２０において、天地のずれが修正された画像を表示してよく、また、画像処理前の画像と、画像の天地に関する情報を合わせて表示してよい。次に、画像処理部２２０における画像処理について説明する。
【００４７】
図２は、撮像装置１０における画像処理の一例を説明するためのブロック図である。撮像装置１０は、撮像部２００、画像記憶部２１０、画像処理部２２０、条件記憶部２３０、及び表示部２４０を備える。
【００４８】
撮像部２００は一例として、図１において説明した、撮像ユニット２０、撮像制御ユニット４０、及び撮像補助ユニット３８と同一又は同様の機能及び構成を有し、被写体２５０の画像を撮像する。画像記憶部２１０は一例として、図１において説明した、メモリ制御部６４、及び不揮発性メモリ６６と同一又は同様の機能及び構成を有し、撮像部２００が撮像した画像を格納する。条件記憶部２３０は一例として、図１において説明したメモリ制御部６４、不揮発性メモリ６６、及びメインメモリ６８と同一又は同様の機能及び構成を有し、画像処理部２２０において、画像から予め定められた被写体要素を検出するための検出条件を格納する。画像処理部２２０は、図１において説明した画像処理部２２０と同一又は同様の機能及び構成を有し、条件記憶部２３０に格納された検出条件に基づいて、画像から当該被写体要素に対応する画像要素を検出し、検出した画像要素の予め定められた基準との幾何学的ずれに基づいて、当該幾何学的ずれが小さくなるように、画像に対して画像処理をする。表示部２４０は、図１において説明した表示ユニット１００と同一又は同様の機能及び構成を有し、画像処理部２２０が画像処理した画像又は撮像部２００が撮像した画像を表示する。以下、画像処理部２２０における画像処理について詳細に説明する。
【００４９】
図３は、画像処理部２２０における画像処理の一例を説明する図である。本例において、画像処理部２２０は、撮像部２００が撮像した画像の天地のずれを検出し、当該ずれを修正する画像処理を行う。画像処理部２２０が、画像の天地のずれを修正する画像処理を行う場合、図２において説明した条件記憶部２３０は、予め天地情報が定められた被写体要素を検出するための検出条件を格納する。
【００５０】
図３（ａ）は、撮像部２００が撮像した被写体の画像の一例を示す。図３（ａ）に示す画像には、被写体として、人物、建物、空、地面等が撮像されている。図３（ａ）に示すように、当該画像において、画像枠の天地と、被写体の天地とは、一致していない。通常、画像枠の天地は、図３（ａ）の画像のように、画像の長辺を天側及び地側としている。図３（ａ）に示す画像は、撮像時における撮像装置１０の傾き等によって、被写体の天地が画像枠の天地に対して９０度ずれている。本例における画像処理部２２０は、当該天地のずれを修正する。
【００５１】
まず、画像処理部２２０は、条件記憶部２３０に格納された検出条件に基づいて、画像から、予め定められた被写体要素に対応する画像要素を検出する。例えば、図３（ｂ）に示すように、画像処理部２２０は、人物の顔に対応する画像要素２５２を検出する。画像処理部２２０は、画像における各被写体要素のエッジに基づいて、検出条件に適合する画像要素を検出してよい。また、画像処理部２２０は、各被写体要素の色情報に基づいて、画像要素を検出してよい。例えば、画像処理部２２０が人物の顔を検出する場合、各被写体要素のエッジに基づいて判断した、各被写体要素の形、各被写体要素の色情報、並びに各被写体要素の中に目、鼻、及び／又は口らしき物が有るか否かに基づいて、画像処理部２２０は、人物の顔に対応する画像要素２５２を検出する。この場合、条件記憶部２３０は、人物の顔を検出するための、人物の顔の形状情報、色情報、及び顔の構成情報等と、人物の顔の天地情報を格納する。
【００５２】
次に、画像処理部２２０は、検出した画像要素の天地情報に基づいて、画像の天地を判定する。本例において、画像要素の天地情報は、条件記憶部２３０が、検出条件に対応して格納する。本例において、画像処理部２２０は、画像要素２５２の天地情報に基づいて、画像の左辺が天側であり、右辺が地側であることを判定する。画像処理部２２０は、検出条件に基づいて検出した画像要素の天又は地の情報の少なくとも一方と、予め定められた基準とのずれを小さくする。例えば、画像処理部２２０は、撮像した画像の画像枠の天地に関する情報を、予め定められた基準として、当該基準と、検出した画像要素の天地情報とのずれを小さくするように画像処理する。本例において、画像枠の天地情報と、被写体の天地情報とは、９０度ずれているので、画像処理部２２０は、図３（ｄ）に示すように、撮像部２００が撮像した画像を９０度回転させる。
【００５３】
また、画像処理部２２０は、検出条件に適合する画像要素を複数検出し、検出した複数の画像要素に基づいて、画像の天地を判定してよい。この場合、画像処理部２２０は、検出した複数の画像要素のうち、画素領域が最大である画像要素に基づいて、画像の天地を判定してよい。また、画像処理部２２０は、検出した複数の画像要素のうち、画像の中央に最も近い位置に有る画像要素に基づいて、画像の天地を判定してもよい。また、画像処理部２２０は、検出した画像要素のそれぞれについて、画像の天地を判定し、天地が適合する画像要素数が最も多くなるように、画像の天地を判定してもよい。
【００５４】
また、条件記憶部２３０は、複数の検出条件を格納してよい。例えば、条件記憶部２３０は、被写体要素として、人の顔、空、地面、建物等を検出するための検出条件を格納してよい。この場合、画像処理部２２０は、複数の検出条件に基づいて、複数の画像要素を検出し、検出した複数の画像要素に基づいて、画像の天地を判定してよい。
【００５５】
条件記憶部２３０は、空、又は地面を検出するための検出条件として、一例として色情報を格納してよい。画像処理部２２０は、画像の被写体の色情報において、所定の色が所定の画素数連続した場合に、当該被写体を空、又は地面として画像処理をしてよい。例えば、条件記憶部２３０は、晴、曇り、雨等の各天候状態に対応する色情報をそれぞれ格納し、画像処理部２２０は、いずれかの色情報に適合する色が所定の画素数連続する領域を空として画像処理してよい。また、条件記憶部２３０は、土やアスファルト等にそれぞれ対応する色情報を格納し、画像処理部２２０は、いずれかの色情報に適合する色が所定の画素数連続する領域を地として画像処理してよい。この場合、画像処理部２２０は、画像において、空がある領域を天側とし、地面がある領域を地側としてよい。また、画像処理部２２０は、色度の変化が所定の範囲内である領域が、所定の画素数以上である場合に、当該領域を空、又は地面として、画像処理をしてよい。
【００５６】
また、条件記憶部２３０は、建物を検出するための検出条件として、一例として、被写体の形状の情報を格納してよい。図３（ｃ）に示すように、画像処理部２２０は、被写体のエッジを検出して、検出したエッジと、被写体の形状の情報とに基づいて、建物に対応する画像要素２５４を検出してよい。画像処理部２２０は、条件記憶部２３０が格納している建物の天地情報に基づいて、画像の天地を修正する。
【００５７】
また、画像処理部２２０は、条件記憶部２３０が格納した複数の検出条件に基づいて、複数の画像要素を検出し、検出した複数の画像要素に基づいて、画像の天地を判定してよい。例えば、図３（ｂ）、及び図３（ｃ）に示すように、人物の顔に対応する画像要素２５２と、建物に対応する画像要素２５４とを検出し、検出した画像要素２５２及び画像要素２５４に基づいて、図３（ａ）に示す画像の天地を判定してよい。この場合、画像処理部２２０は、検出した複数の画像要素に、検出条件に基づいた重み付けを行い、画像の天地を判定してよい。例えば、条件記憶部２３０は、複数の検出条件、及びそれぞれの検出条件に対応した重み付け係数を格納し、画像処理部２２０は、検出した複数の画像要素の天地の方向を、重み付け係数に基づいて点数化し、最も点数が高い方向を天又は地の方向とする。
【００５８】
また、画像処理部２２０は、検出した複数の画像要素に、検出条件に基づいた優先順位付けを行い、優先順位の高い画像要素に基づいて、画像の天地を判定してよい。例えば、条件記憶部２３０は、複数の検出条件、及びそれぞれの検出条件に対応した優先順位を格納し、画像処理部２２０は、検出した複数の画像要素のうち、検出条件に対応する優先順位が最も高い画像要素に基づいて、画像の天地を判定する。
【００５９】
以上説明した画像処理によれば、検出した画像要素の天地情報に基づいて、画像の天地を容易に判定することができる。また、例えば画像枠の天地方向のような、予め定められた天地に関する基準と、画像の天地との幾何学的ずれを、容易に修正することができる。また、本例においては、画像処理部２２０は、長方形の画像に対して画像処理したが、他の例においては、画像処理部２２０は、例えば円形等のような他の形状の画像に対しても、天地の判定を行うことができるのは明らかである。この場合、撮像装置１０は、画像の天地に関する基準を予め与えられていることが好ましい。また、本例においては、画像処理部２２０は、画像を９０度づつ回転させて、画像の天地と、画像枠の天地との幾何学的ずれを少なくしたが、他の例においては、画像処理部２２０は、画像を９０度より小さい角度で回転させることにより、画像の天地と、画像枠の天地との幾何学的ずれを微調整してよい。
【００６０】
本例において、画像記憶部２１０は、画像処理部２２０が画像処理した画像を格納する。例えば、画像記憶部２１０は、画像処理部２２０が画像の幾何学的ずれを小さくした画像を格納してよい。また、画像記憶部２１０は、撮像部が撮像した画像と、画像処理部２２０が判定した画像の天地情報とを対応づけて格納してもよい。表示部２４０は、画像記憶部２１０が格納した画像及び天地情報を表示する。例えば、表示部２４０は、画像記憶部２１０が格納した、幾何学的ずれを小さくした画像を表示してよい。また、表示部２４０は、画像記憶部２１０が格納した、画像と、画像情報に対応した天地情報とを表示してもよい。つまり、表示部２４０は、撮像部２００が撮像し、画像記憶部２１０が格納した画像処理していない画像と、画像処理部２２０が判定した当該画像の天地情報とをあわせて表示してもよい。
【００６１】
また、表示部２４０は、画像記憶部２１０が格納した、幾何学的ずれを小さくした複数の画像を縮小して表示してよい。また、表示部２４０は、縮小した複数の画像と、複数の画像にそれぞれ対応した天地情報とを表示してよい。以下、表示部２４０が複数の画像を表示する場合について説明する。
【００６２】
図４は、表示部２４０における表示例を示す。図４（ａ）は、撮像部２００が撮像した複数の画像を、画像処理せずに、表示部２４０が表示した場合の例である。この場合、表示部２４０は、画像枠の天地に関する基準を、画像の天地として揃えた画像を表示する。図４（ａ）において、右上及び左下の画像は、画像の天地の方向が、他の画像と一致していないため、閲覧者にとって見づらい構成となっている。
【００６３】
図４（ｂ）は、画像処理部２２０が、天地の方向を修正した複数の画像を、表示部２４０が表示した場合の例である。右上及び左下の画像が、画像処理部２２０が天地の方向を修正した画像である。表示されている画像の天地の方向が、同一画面内で統一されているため、閲覧者にとって画像を認識し易い。
【００６４】
図４（ｃ）は、画像と天地情報とを、表示部２４０があわせて表示した場合の例である。本例において、太線によりそれぞれの画像の地の方向を示している。画像の天地に関する情報が、画像と対応して表示されているため、閲覧者が画像を認識し易い。また、本例では、太線によって画像の地の方向を示したが、他の方法によって画像の天地情報を示してもよいことは明らかである。
【００６５】
図５は、本発明に係る画像処理装置３００の構成の一例を示すブロック図である。画像処理装置３００は、例えば、表示装置を備えるコンピュータ等であって、与えられた画像を画像処理する。画像処理装置３００は、画像記憶部２１０と、画像処理部２２０と、条件記憶部２３０と、表示部２４０とを備える。画像記憶部２１０は、図２から図４に関連して説明した画像記憶部２１０と同一又は同様の機能及び構成を有し、与えられた画像を格納する。条件記憶部２３０は、図２から図４に関連して説明した条件記憶部２３０と同一又は同様の機能及び構成を有し、画像記憶部２１０が格納した画像から、予め定められた被写体要素を検出するための検出条件を格納する。
【００６６】
画像処理部２２０は、図２から図４に関連して説明した画像処理部２２０と同一又は同様の機能及び構成を有し、条件記憶部２４０に格納された被写体要素を検出するための検出条件に基づいて、画像記憶部２１０が格納した画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の、予め定められた基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理する。
【００６７】
例えば、画像処理部２２０は、図２から図４に関連して説明した画像処理部２２０と同様に、画像の天地情報と、画像枠の天地に関する基準とのずれを小さくするように、画像に対して画像処理する。また、画像処理部２２０は、レンズ等の特性による画像の歪みの修正や、撮像しようとした被写体が画像の端に寄りすぎていたり、例えば空のような、不要な被写体が画像の大半を占めてしまう場合のトリミング等の画像処理をしてもよい。
【００６８】
表示部２４０は、図２から図４に関連して説明した表示部２４０と同一又は同様の機能及び構成を有し、画像処理部２２０が画像処理した画像を表示する。また、表示部２４０は、与えられた画像と、与えられた画像に対応した天地情報とをあわせて表示してもよい。
【００６９】
本例における画像処理装置３００によれば、検出した画像要素の天地情報に基づいて、画像の天地を容易に判定することができる。また、例えば画像枠の天地方向のような、予め定められた天地に関する基準と、画像の天地との幾何学的ずれを、容易に修正することができる。
【００７０】
図６は、本発明に係る画像処理方法のフローチャートの一例を示す。本例における画像処理方法は、図５に関連して説明した画像処理装置３００における画像処理と同一又は同様の処理を行う。まず、画像記憶手順で、与えられた画像を格納する（Ｓ１００）。画像記憶手順は、図５に関連して説明した画像記憶部２１０における処理と同様の処理を行う。また、条件記憶手順で、与えられた画像から、予め定められた被写体要素を検出するための検出条件を格納する（Ｓ１０２）。条件記憶手順は、図５に関連して説明した条件記憶部２３０における処理と同様の処理を行う。画像記憶手順と、条件記憶手順とは、いずれを先に行ってもよい。
【００７１】
次に、画像処理手順で、画像の幾何学的ずれを小さくする。画像処理手順（Ｓ１０４〜Ｓ１１０）では、図５に関連して説明した画像処理部２２０における処理と同様の処理を行う。画像処理手順は、まず検出条件に基づいて、画像から被写体要素に対応する画像要素を検出する（Ｓ１０４）。次に、検出した画像要素の、予め定められた基準との幾何学的ずれを検出する（Ｓ１０６）。Ｓ１０６では例えば、画像要素の天地情報の、画像枠の天地に関する基準とのずれを検出する。次に、画像要素と、予め定められた基準との幾何学的ずれが有るか否かを判定する（Ｓ１０８）。当該幾何学的ずれが無い場合、画像処理方法の処理を終了する。また、当該幾何学的ずれが有る場合、当該幾何学的ずれが小さくなるように、画像に対して画像処理する（Ｓ１１０）。Ｓ１１０では例えば、図３に関連して説明したように、画像の天地情報と、画像枠の天地に関する基準とのずれが小さくなるように、画像に対して画像処理する。
【００７２】
以上説明した画像処理方法によれば、与えられた画像から検出した画像要素の天地情報に基づいて、与えられた画像の天地を容易に判定することができる。また、例えば画像枠の天地方向のような、予め定められた天地に関する基準と、画像の天地との幾何学的ずれを、容易に修正することができる。
【００７３】
図７は、撮像装置１０における画像処理の他の例を説明するためのブロック図である。撮像装置１０は、撮像部２００、画像記憶部２１０、画像処理部２２０、距離測定部２６０、及び表示部２４０を備える。
【００７４】
撮像部２００は、図２に関連して説明した撮像部２００と同一又は同様の機能及び構成を有してよい。撮像部２００は一例として、図１に関連して説明した、撮像ユニット２０、撮像制御ユニット４０、及び撮像補助ユニット３８と同一又は同様の機能及び構成を有し、被写体２５０の画像を撮像する。
【００７５】
画像記憶部２１０は、図２に関連して説明した画像記憶部２１０と同一又は同様の機能及び構成を有してよい。画像記憶部２１０は一例として、図１に関連して説明した、メモリ制御部６４、及び不揮発性メモリ６６と同一又は同様の機能及び構成を有し、撮像部２００が撮像した画像を格納する。
【００７６】
距離測定部２６０は一例として、図１に関連して説明した、測距センサ５２、測光センサ５４、及び撮像系ＣＰＵ５０と同一又は同様の機能及び構成を有し、撮像装置１０から、被写体２５０までの距離を距離情報を取得する。つまり、距離測定部２６０は、撮像部２００における画像の撮像時に、画像における被写体２５０の複数の点の距離情報を取得する。
【００７７】
画像処理部２２０は、図１に関連して説明した画像処理部２２０と同一又は同様の機能及び構成を有し、距離測定部２６０が取得した、被写体までの距離情報に基づいて、画像の天地を判定する。
【００７８】
表示部２４０は、図２に関連して説明した表示部２４０と同一又は同様の機能及び構成を有してよい。表示部２４０は、図１に関連して説明した表示ユニット１００と同一又は同様の機能及び構成を有し、画像処理部２２０が画像処理した画像又は撮像部２００が撮像した画像を表示する。以下、画像処理部２２０における画像処理について詳細に説明する。
【００７９】
図８は、画像処理部２２０における画像処理の一例を説明する図である。図８（ａ）は、撮像部２００が撮像した被写体の画像の一例を示す。図８（ａ）に示す画像には、被写体として、人物、建物、空、地面等が撮像されている。図８（ａ）に示すように、当該画像において、画像枠の天地と、被写体の天地とは、一致していない。通常、画像枠の天地は、図８（ａ）の画像のように、画像の長辺を天側及び地側としている。図８（ａ）に示す画像は、撮像時における撮像装置１０の傾き等によって、被写体の天地が画像枠の天地に対して９０度ずれている。本例における画像処理部２２０は、当該天地のずれを修正する。
【００８０】
まず、距離測定部２６０は、画像における被写体の複数の点の距離情報を取得する。距離測定部２６０は、画像の少なくとも２辺の距離情報を取得してよい。本例においては距離測定部２６０は、図８（ａ）に示すように、画像の４辺の距離情報を取得する。距離測定部２６０は、画像の４辺の最端部の画素における被写体の距離情報を取得してよく、また、距離測定部２６０は、画像の４辺の周辺領域の画素における被写体の距離情報を取得してもよい。
【００８１】
画像処理部２２０は、距離測定部２６０が取得した距離情報に基づいて、画像の天地を判定する。例えば、画像処理部２２０は、画像における被写体のうち、距離測定部２６０が取得した距離情報が近距離を示す被写体を地方向としてよい。また、画像処理部２２０は、画像における被写体のうち、距離測定部２６０が取得した距離情報が遠距離を示す被写体を天方向としてよい。また、画像処理部２２０は、距離測定部２６０が取得したそれぞれの辺における距離情報の平均値に基づいて、画像の天地を判定してよい。例えば、画像処理部２２０は、画像のそれぞれの辺の最端部の画素における距離情報の平均値を、それぞれの辺に対して算出し、距離情報の平均値が最も小さい辺を地側としてよい。また、画像処理部２２０は、それぞれの辺における距離情報の平均値が最も大きい辺を天側としてもよい。また、画像処理部２２０は、図８（ａ）に示すように、画像のそれぞれの辺の周辺領域の画素における距離情報の平均値を、それぞれの辺に対して算出し、距離情報の平均値が最も小さい辺を地側、又は距離情報の平均値が最も大きい辺を天側としてもよい。以下、画像処理部２２０における、画像のそれぞれの辺の周辺領域の画素における距離情報の平均値が最も小さい辺を地側とする処理について説明する。
【００８２】
まず、距離測定部２６０は、図８（ａ）に示すように、画像の４辺の周辺領域である、領域２５６、領域２５８、領域２６２、及び領域２６４の画素の距離情報を取得する。画像処理部２２０は、領域２５６、領域２５８、領域２６２、及び領域２６４のそれぞれに対して、画素の距離情報の平均値を算出する。次に、画像処理部２２０は、算出した平均値が最も小さい領域に対応する辺を検出する。本例において、領域２５８における被写体は、最も撮像装置１０に対して近距離にある地面であるので、画像処理部２２０は、距離情報の平均値が最も小さい領域として、領域２５８を検出し、領域２５８に対応する辺を地側として画像処理を行う。本例では、画像処理部２２０は、図８（ｂ）に示すように、画像を９０度回転させ、画像の天地のずれを修正する。
【００８３】
また、撮像装置１０は撮像部２００におけるフォーカス、絞り等を自動調整するために、測距センサ５２等で、被写体までの距離を測定する。例えば、撮像装置１０は、図８（ｃ）に示すように、画像を複数の領域に分割し、それぞれの領域における被写体までの距離を測定し、測定した距離に基づいて、フォーカス、絞り等を調整する。画像処理部２２０は、測距センサ５２が、フォーカス、絞り等を調整するために測定した被写体までの距離情報に基づいて、前述した画像処理を行ってよい。例えば、画像処理部２２０は、領域２６４と領域２６６との距離情報の平均値を、画像の上辺における距離情報とし、領域２６４と領域２７２との距離情報の平均値を、画像の左辺における距離情報とし、領域２７２と領域２６８との距離情報の平均値を、画像の下辺における距離情報とし、領域２６８と領域２６６との距離情報の平均値を、画像の右辺における距離情報としてよい。
【００８４】
以上説明した画像処理によれば、画像の被写体の距離情報に基づいて、画像の天地を容易に判定することができる。また、例えば画像枠の天地方向のような、予め定められた天地に関する基準と、画像の天地との幾何学的ずれを、容易に修正することができる。また、本例においては、画像処理部２２０は、長方形の画像に対して画像処理したが、他の例においては、画像処理部２２０は、例えば円形等のような他の形状の画像に対しても、天地の判定を行うことができるのは明らかである。この場合、撮像装置１０は、画像の天地に関する基準を予め与えられていることが好ましい。また、本例においては、画像処理部２２０は、画像を９０度づつ回転させて、画像の天地と、画像枠の天地との幾何学的ずれを少なくしたが、他の例においては、画像処理部２２０は、画像を９０度より小さい角度で回転させることにより、画像の天地と、画像枠の天地との幾何学的ずれを微調整してよい。
【００８５】
本例において、画像記憶部２１０は、画像処理部２２０が画像処理した画像を格納する。例えば、画像記憶部２１０は、画像処理部２２０が画像の天地のずれを小さくした画像を格納してよい。また、画像記憶部２１０は、撮像部が撮像した画像と、画像処理部２２０が判定した画像の天地情報とを対応づけて格納してもよい。表示部２４０は、画像記憶部２１０が格納した画像及び天地情報を表示する。例えば、表示部２４０は、画像記憶部２１０が格納した、幾何学的ずれを小さくした画像を表示してよい。また、表示部２４０は、画像記憶部２１０が格納した、画像と、画像情報に対応した天地情報とを表示してもよい。つまり、表示部２４０は、撮像部２００が撮像し、画像記憶部２１０が格納した画像処理していない画像と、画像処理部２２０が判定した当該画像の天地情報とをあわせて表示してもよい。
【００８６】
また、表示部２４０は、図４に関連して説明したように、画像記憶部２１０が格納した、幾何学的ずれを小さくした複数の画像を縮小して表示してよい。また、表示部２４０は、縮小した複数の画像と、複数の画像にそれぞれ対応した天地情報とを表示してよい。
【００８７】
また、画像処理部２２０は、図１に示した不揮発性メモリ６６又はメインメモリ６８に格納されたプログラムに基づいて動作してよい。また、図１に示したメモリ制御部６４は、通信Ｉ／Ｆ部８０を介して、外部機器から画像処理部２２０を動作させるためのプログラムを受け取り、不揮発性メモリ６６に格納してよい。また、メモリ制御部６４は、オプション装置７６から画像処理部２２０を動作させるためのプログラムを受け取り、不揮発性メモリ６６に格納してよい。不揮発性メモリ６６又はメインメモリ６８に格納されたプログラムは、一例として処理ユニット６０を、画像処理するべき画像を格納する画像記憶部と、画像における被写体の複数の点の距離情報が与えられ、与えられた距離情報に基づいて、画像の天地を判定する画像処理部として機能させる。また、当該プログラムは、例えばコンピュータ等の画像処理装置を、上述した機能動作させてもよい。当該プログラムが、処理ユニット６０に行わせる処理は、後述する画像処理部２２０、及び画像記憶部２１０の機能及び動作、画像処理装置３００の機能及び動作、又は画像処理方法の機能と同一又は同様である。
【００８８】
図９は、本発明に係る画像処理装置３１０の構成の一例を示すブロック図である。画像処理装置３１０は、例えば、表示装置を備えるコンピュータ等であって、与えられた画像を画像処理する。画像処理装置３１０は、画像記憶部２１０と、画像処理部２２０と、表示部２４０とを備える。画像記憶部２１０は、図７に関連して説明した画像記憶部２１０と同一又は同様の機能及び構成を有し、与えられた画像を格納する。
【００８９】
画像処理部２２０は、図７及び図８に関連して説明した画像処理部２２０と同一又は同様の機能及び構成を有し、与えられた画像における被写体の複数の点の距離情報が与えられ、与えられた距離情報に基づいて、画像の天地を判定する。
【００９０】
表示部２４０は、図７及び図８に関連して説明した表示部２４０と同一又は同様の機能及び構成を有し、画像処理部２２０が画像処理した画像を表示する。また、表示部２４０は、与えられた画像と、与えられた画像に対応した天地情報とをあわせて表示してもよい。
【００９１】
本例における画像処理装置３１０によれば、与えられた被写体の距離情報に基づいて、与えられた画像の天地を容易に判定することができる。また、例えば画像枠の天地方向のような、予め定められた天地に関する基準と、画像の天地との幾何学的ずれを、容易に修正することができる。
【００９２】
図１０は、本発明に係る画像処理方法のフローチャートの一例を示す。本例における画像処理方法は、図９に関連して説明した画像処理装置３１０における画像処理と同一又は同様の処理を行う。まず、画像記憶手順で、与えられた画像を格納する（Ｓ２００）。画像記憶手順は、図９に関連して説明した画像記憶部２１０における処理と同様の処理を行う。次に、画像処理手順（Ｓ２０２〜Ｓ２０８）で、画像における被写体の複数の点の距離情報を取得し、距離情報に基づいて、画像の天地を判定する。画像処理手順は、図９に関連して説明した画像処理部２２０と同様の処理を行う。画像処理手順では、まず、画像における被写体の複数の点の距離情報を取得する（Ｓ２０２）。次に、取得した距離情報に基づいて、画像の天地を判定する（Ｓ２０４）。Ｓ２０４では、図８に関連して説明した判定方法と同様の方法で画像の天地を判定する。次に、画像の天地と、例えば画像枠の天地に関する基準とが一致しているか否かを判定する（Ｓ２０６）。
【００９３】
画像の天地と、天地に関する基準とが一致している場合、画像処理方法の処理を終了する。画像の天地と、天地に関する基準とが一致していない場合、画像の天地と、天地に関する基準とが一致するように、画像を回転させる（Ｓ２０８）。Ｓ２０８では、例えば図８で関連して説明したように、画像枠の天地に関する基準と、画像の天地とが一致するように、画像を回転させる。
【００９４】
以上説明した画像処理方法によれば、与えられた画像の被写体の距離情報に基づいて、与えられた画像の天地を容易に判定することができる。また、例えば画像枠の天地方向のような、予め定められた天地に関する基準と、画像の天地との幾何学的ずれを、容易に修正することができる。
【００９５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９６】
【発明の効果】
上記説明から明らかなように、本発明に係る撮像装置、画像処理装置、画像処理方法、及びプログラムによれば、画像の幾何学的ずれを検出し、当該幾何学的ずれを容易に修正することができる。例えば、画像の天地情報が、画像枠等の天地に関する基準に対してずれている場合、天地のずれを検出し、当該ずれを容易に修正することができる。
【図面の簡単な説明】
【図１】 本発明に係る撮像装置１０の構成の一例を示すブロック図である。
【図２】 撮像装置１０における画像処理の一例を説明するためのブロック図である。
【図３】 画像処理部２２０における画像処理の一例を説明する図である。
【図４】 表示部２４０における表示例を示す。
【図５】 本発明に係る画像処理装置３００の構成の一例を示すブロック図である。
【図６】 本発明に係る画像処理方法のフローチャートの一例を示す。
【図７】 撮像装置１０における画像処理の他の例を説明するためのブロック図である。
【図８】 画像処理部２２０における画像処理の一例を説明する図である。
【図９】 本発明に係る画像処理装置３１０の構成の一例を示すブロック図である。
【図１０】 本発明に係る画像処理方法のフローチャートの一例を示す。
【符号の説明】
１０・・・撮像装置、２０・・・撮像ユニット、２２・・・光学系、２４・・・絞り、２６・・・シャッタ、２８・・・光学ＬＰＦ、３０・・・ＣＣＤ、３２・・・撮像信号処理部、３４・・・ファインダ、３６・・・ストロボ、３８・・・撮像補助ユニット、４０・・・撮像制御ユニット、４２・・・ズーム駆動部、４４・・・フォーカス駆動部、４６・・・絞り駆動部、４８・・・シャッタ駆動部、５０・・・撮像系ＣＰＵ、５２・・・測距センサ、５４・・・測光センサ、６２・・・メインＣＰＵ、６４・・・メモリ制御部、６６・・・不揮発性メモリ、６８・・・メインメモリ、７０・・・ＹＣ処理部、７２・・・エンコーダ、７４・・・オプション装置制御部、７６・・・オプション装置、７８・・・圧縮伸張処理部、８０・・・通信Ｉ／Ｆ部、８２・・・メインバス、８４・・・キャラクタ生成部、８６・・・タイマ、８８・・・クロック発生器、１００・・・表示ユニット、１０２・・・液晶モニタ、１０４・・・ＬＣＤパネル、１０６・・・モニタドライバ、１０８・・・パネルドライバ、１１０・・・操作ユニット、１１２・・・パワースイッチ、１１４・・・レリーズスイッチ、１１６・・・機能設定部、１１８・・・ズームスイッチ、１５８・・・照明部、２００・・・撮像部、２１０・・・画像記憶部、２２０・・・画像処理部、２３０・・・条件記憶部、２４０・・・表示部、２５０・・・被写体、２５２，２５４・・・画像要素、２６０・・・距離測定部、３００・・・画像処理装置
【発明の属する技術分野】
本発明は、撮像装置、画像処理装置、画像処理方法、及びプログラムに関する。特に、画像に基づいて画像処理する撮像装置、画像処理装置、画像処理方法、及びプログラムに関する。
【０００２】
【従来の技術】
従来の撮像装置において撮像した画像には、幾何学的ずれが生じている場合がある。例えば、撮像時において撮像装置が傾いていた場合には、撮像した画像に天地のずれが生じる。また、レンズ等の特性により、撮像した画像に歪みが生じる場合もある。また、撮像しようとした被写体が画像の端に寄りすぎていたり、例えば空のような、不要な被写体が画像の大半を占めてしまう場合があった。
【０００３】
【発明が解決しようとする課題】
従来、幾何学的ずれが生じている画像に対して、当該幾何学的ずれを修正するためには、撮像者が、撮像した画像のそれぞれに対し、当該幾何学的ずれを確認し、それぞれの画像に対し、複雑な画像処理を行う必要があった。この場合、撮像者がそれぞれの画像について確認及び画像処理を行うため、時間と手間がかかっていた。
【０００４】
そこで本発明は、上記の課題を解決することのできる撮像装置、画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。この目的は、特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の形態においては、被写体を撮像する撮像装置であって、被写体の画像を撮像する撮像部と、撮像部が撮像した画像を格納する画像記憶部と、画像から、予め定められた被写体要素を検出するための検出条件を格納する条件記憶部と、検出条件に基づいて、画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の予め定められた基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理する画像処理部とを備えることを特徴とする撮像装置を提供する。
【０００６】
条件記憶部は、予め天地情報が定められた被写体要素を検出するための検出条件を格納し、画像処理部は、検出条件に基づいて検出した画像要素の天又は地の情報の少なくとも一方と、予め定められた基準とのずれを小さくしてよい。また、画像処理部は、検出条件に基づいて検出した画像要素の天又は地の情報の少なくとも一方と、予め定められた天地に関する基準とのずれを小さくするように、画像処理してよい。画像処理部は、画像における各被写体要素のエッジに基づいて、検出条件に適合する画像要素を検出してよい。
【０００７】
また、画像処理部は、複数の画像要素を検出し、検出した複数の画像要素に基づいて、画像の天地を判定してよい。また、画像処理部は、検出した複数の画像要素のうち、画素領域が最大である画像要素に基づいて、画像の天地を判定してよい。
【０００８】
また、条件記憶部は、複数の検出条件を格納してよい。また、画像処理部は、複数の検出条件に基づいて、複数の画像要素を検出し、検出した複数の画像要素に基づいて、画像の天地を判定してよい。画像処理部は、検出した複数の画像要素に、検出条件に基づいた重み付けを行い、画像の天地を判定してよい。また、画像処理部は、検出した複数の画像要素に、検出条件に基づいた優先順位付けを行い、優先順位の高い画像要素に基づいて、画像の天地を判定してよい。
【０００９】
また、条件記憶部は、被写体要素として、人の顔を検出するための検出条件を格納してよい。また、条件記憶部は、被写体要素として、空を検出するための検出条件を格納してよい。また、条件記憶部は、被写体要素として、地面を検出するための検出条件を格納してよい。
【００１０】
また、画像記憶部は、撮像部が撮像した画像と、画像処理部が判定した画像の天地情報とを対応づけて格納してよい。また、画像記憶部は、画像処理部が幾何学的ずれを小さくした画像を、格納してよい。また、撮像装置は、画像記憶部が格納した、画像と、画像に対応した天地情報とを表示する表示部を更に備えてよい。また、撮像装置は、画像記憶部が格納した、幾何学的ずれを小さくした画像を表示する表示部を更に備えてよい。
【００１１】
表示部は、複数の画像を縮小した画像と、複数の画像にそれぞれ対応した天地情報を表示してよい。また、表示部は、幾何学的ずれを小さくした複数の画像を縮小して表示してよい。
【００１２】
本発明の第２の形態においては、与えられた画像を画像処理する画像処理装置であって、与えられた画像を格納する画像記憶部と、画像から、予め定められた被写体要素を検出するための検出条件を格納する条件記憶部と、検出条件に基づいて、画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の、予め定められた基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理する画像処理部と、画像処理部が画像処理した画像を表示する表示部とを備えることを特徴とする画像処理装置を提供する。
【００１３】
本発明の第３の形態においては、与えられた画像を画像処理する画像処理方法であって、与えられた画像を格納する画像記憶手順と、画像から、予め定められた被写体要素を検出するための検出条件を格納する条件記憶手順と、検出条件に基づいて、画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の、予め定められた基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理を行う画像処理手順とを備えることを特徴とする画像処理方法を提供する。
【００１４】
本発明の第４の形態においては、画像処理装置に画像処理を実行させるためのプログラムであって、画像処理装置を、画像処理するべき画像を格納する画像記憶部と、画像から予め定められた被写体要素を検出するための、検出条件を格納する条件記憶部と、検出条件に基づいて、画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の、予め定められた基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理を行う画像処理部として機能させることを特徴とするプログラムを提供する。
【００１５】
本発明の第５の形態においては、被写体を撮像する撮像装置であって、被写体の画像を撮像する撮像部と、撮像部が撮像した画像を記憶する画像記憶部と、撮像部における、画像の撮像時に、画像における被写体の複数の点の距離情報を取得する距離測定部と、距離測定部が取得した、距離情報に基づいて、画像の天地を判定する画像処理部とを備えることを特徴とする撮像装置を提供する。
【００１６】
画像処理部は、画像における被写体のうち、距離測定部が取得した距離情報が遠距離を示す被写体を天方向とし、距離測定部が取得した距離情報が近距離を示す被写体を地方向としてよい。距離測定部は、画像の少なくとも２辺における被写体の距離情報を取得し、画像処理部は、距離測定部が取得したそれぞれの辺における距離情報の平均値に基づいて、画像の天地を判定してよい。また、画像処理部は、画像における、距離情報の平均値が最も大きい辺を天側としてよい。
【００１７】
本発明の第６の形態においては、与えられた画像を画像処理する画像処理装置であって、与えられた画像を格納する画像記憶部と、画像における被写体の複数の点の距離情報が与えられ、距離情報に基づいて、画像の天地を判定する画像処理部と、画像処理部が画像処理した画像を表示する表示部とを備えることを特徴とする画像処理装置を提供する。
【００１８】
本発明の第７の形態においては、与えられた画像を画像処理する画像処理方法であって、与えられた画像を格納する画像記憶手順と、画像における被写体の複数の点の距離情報が与えられ、距離情報に基づいて、画像の天地を判定する画像処理手順とを備えることを特徴とする画像処理方法を提供する。
【００１９】
本発明の第８の形態においては、画像処理装置に画像処理を実行させるためのプログラムであって、画像処理装置を、画像処理するべき画像を格納する画像記憶部と、画像における被写体の複数の点の距離情報が与えられ、距離情報に基づいて、画像の天地を判定する画像処理部として機能させることを特徴とするプログラムを提供する。
【００２０】
尚、上記の発概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又、発明となりうる。
【００２１】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２２】
図１は、本発明に係る撮像装置１０の構成の一例を示すブロック図である。撮像装置１０は、一例として、ディジタルカメラであってよい。以下、撮像装置１０がディジタルカメラである場合について、説明する。撮像装置１０は、主に撮像ユニット２０、撮像補助ユニット３８、撮像制御ユニット４０、処理ユニット６０、表示ユニット１００、及び操作ユニット１１０を備える。
【００２３】
撮像ユニット２０は、撮影および結像に関する機構部材および電気部材を有する。撮像ユニット２０は、映像を取り込んで処理を施す光学系２２、絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィルタ）２８、ＣＣＤ（電荷結合素子イメージセンサー）３０、および撮像信号処理部３２を含む。光学系２２は、フォーカスレンズやズームレンズ等を有してよい。この構成により、被写体像がＣＣＤ３０の受光面上に結像する。結像した被写体像の光量に応じ、ＣＣＤ３０の各センサエレメント（図示せず）に電荷が蓄積される（以下その電荷を「蓄積電荷」という）。蓄積電荷は、リードゲートパルスによってシフトレジスタ（図示せず）に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【００２４】
撮像装置１０が、ディジタルカメラである場合、撮像装置１０は、一般に電子シャッタ機能を有するので、シャッタ２６のような機械式シャッタは必須ではない。この場合、電子シャッタ機能を実現するために、ＣＣＤ３０にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタスピードが制御できる。
【００２５】
ＣＣＤ３０から出力される電圧信号、すなわちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部３２はガンマ補正を行い、必要なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換（アナログ／ディジタル変換）し、その結果得られたデジタルの画像データ（以下単に「ディジタル画像データ」とよぶ）を処理ユニット６０へ出力する。
【００２６】
撮像補助ユニット３８は、ファインダ３４とストロボ３６を有する。ファインダ３４には図示しないＬＣＤ（液晶ディスプレイ）を内装してもよく、その場合、後述のメインＣＰＵ（中央演算装置）６２等からの各種情報をファインダ３４内に表示できる。ストロボ３６は、コンデンサ（図示せず）に蓄えられたエネルギが放電管３６ａに供給されたときそれが発光することで機能する。
【００２７】
撮像制御ユニット４０は、ズーム駆動部４２、フォーカス駆動部４４、絞り駆動部４６、シャッタ駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距センサ５２、および測光センサ５４をもつ。ズーム駆動部４２などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ１１４の押下に応じ、測距センサ５２は被写体までの距離を測定し、測光センサ５４は被写体輝度を測定する。測定された距離のデータ（以下単に「測距データ」という）および被写体輝度のデータ（以下単に「測光データ」という）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０は、ユーザから指示されたズーム倍率等の撮影情報に基づき、ズーム駆動部４２とフォーカス駆動部４４を制御して光学系２２のズーム倍率とピントの調整を行う。
【００２８】
撮像系ＣＰＵ５０は、１画像フレームのＲＧＢのデジタル信号積算値、すなわちＡＥ情報に基づいて絞り値とシャッタスピードを決定する。決定された値にしたがい、絞り駆動部４６とシャッタ駆動部４８がそれぞれ絞り量の調整とシャッタ２６の開閉を行う。
【００２９】
撮像系ＣＰＵ５０はまた、測光データに基づいてストロボ３６の発光を制御し、同時に絞り２４の絞り量を調整する。ユーザが映像の取込を指示したとき、ＣＣＤ３０が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部３２へ出力される。
【００３０】
処理ユニット６０は、撮像装置１０全体、とくに処理ユニット６０自身を制御するメインＣＰＵ６２と、これによって制御されるメモリ制御部６４、ＹＣ処理部７０、オプション装置制御部７４、圧縮伸張処理部７８、通信Ｉ／Ｆ部８０、及び画像処理部２２０を有する。メインＣＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５０との間で必要な情報をやりとりする。メインＣＰＵ６２の動作クロックは、クロック発生器８８から与えられる。クロック発生器８８は、撮像系ＣＰＵ５０、表示ユニット１００に対してもそれぞれ異なる周波数のクロックを提供する。
【００３１】
メインＣＰＵ６２には、キャラクタ生成部８４とタイマ８６が併設されている。タイマ８６は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインＣＰＵ６２に与えられる。キャラクタ生成部８４は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【００３２】
メモリ制御部６４は、不揮発性メモリ６６とメインメモリ６８を制御する。不揮発性メモリ６６は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能なＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、撮像装置１０の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ６６には、場合によりメインＣＰＵ６２のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ６８は一般にＤＲＡＭのように比較的安価で容量の大きなメモリで構成される。メインメモリ６８は、撮像ユニット２０から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ６６とメインメモリ６８は、処理ユニット６０内外の各部とメインバス８２を介してデータのやりとりを行う。
【００３３】
ＹＣ処理部７０は、ディジタル画像データにＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制御部６４によってメインメモリ６８に一旦格納される。圧縮伸張処理部７８はメインメモリ６８から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ（以下単に「圧縮データ」という）は、オプション装置制御部７４を介してオプション装置７６の一種であるメモリカードへ書き込まれる。
【００３４】
処理ユニット６０はさらにエンコーダ７２を有する。エンコーダ７２は輝度信号と色差信号を入力し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換してビデオ出力端子９０から出力する。オプション装置７６に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部７４を介して圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸張処理部７８で必要な伸張処理が施されたデータはエンコーダ７２によってビデオ信号へ変換される。
【００３５】
オプション装置制御部７４は、オプション装置７６に認められる信号仕様およびメインバス８２のバス仕様にしたがい、メインバス８２とオプション装置７６の間で必要な信号の生成、論理変換、または電圧変換などを行う。撮像装置１０は、オプション装置７６として前述のメモリカードのほかに、例えばＰＣＭＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよい。その場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用バス制御ＬＳＩなどで構成してもよい。
【００３６】
通信Ｉ／Ｆ部８０は、撮像装置１０がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、イーサネット（商標）などの仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、ネットワークを含む外部機器とコネクタ９２を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のＩ／Ｆによるデータ授受を行う構成としてもよい。
【００３７】
画像処理部２２０は、ディジタル画像データに対して、所定の画像処理をする。例えば、画像処理部２２０は、ディジタル画像データに対して、画像の天地のずれの修正や、レンズ等の特性による画像の歪みの修正や、撮像しようとした被写体が画像の端に寄りすぎていたり、例えば空のような、不要な被写体が画像の大半を占めてしまう場合のトリミング等の画像処理をする。画像処理部２２０は、撮像ユニット２０が出力したディジタル画像データに対して画像処理し、画像処理したディジタル画像データをＹＣ処理部又はメインメモリ６８に出力してよく、また、ＹＣ処理部がＹＣ変換処理を施し、メインメモリ６８に格納したディジタル画像データに対して画像処理し、画像処理したディジタル画像データを、メインメモリ６８に格納してよい。
【００３８】
画像処理部２２０は、不揮発性メモリ６６又はメインメモリ６８に格納されたプログラムに基づいて動作する。また、メモリ制御部６４は、通信Ｉ／Ｆ部８０を介して、外部機器から画像処理部２２０を動作させるためのプログラムを受け取り、不揮発性メモリ６６に格納してよい。また、メモリ制御部６４は、オプション装置７６から画像処理部２２０を動作させるためのプログラムを受け取り、不揮発性メモリ６６に格納してよい。不揮発性メモリ６６又はメインメモリ６８に格納されたプログラムは、一例として処理ユニット６０を、画像処理するべき画像を受け取る画像取得部と、画像から予め定められた被写体要素を検出するための、検出条件を格納する条件記憶部と、検出条件に基づいて、画像から被写体要素に対応する画像要素を検出し、検出した画像要素の、予め定められた基準との幾何学的ずれにもとづいて、幾何学的ずれが小さくなるように、画像に対して画像処理を行う画像処理部として機能させる。また、当該プログラムは、例えばコンピュータ等の画像処理装置を、上述した機能動作させてもよい。当該プログラムが、処理ユニット６０に行わせる処理は、後述する画像処理部２２０、画像記憶部２１０、及び条件記憶部２３０の機能及び動作、画像処理装置３００の機能及び動作、又は画像処理方法の機能と同一又は同様である。
【００３９】
表示ユニット１００は、液晶モニタ１０２とＬＣＤパネル１０４を有する。それらはＬＣＤドライバであるモニタドライバ１０６、パネルドライバ１０８によってそれぞれ制御される。液晶モニタ１０２は、例えば２インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。ＬＣＤパネル１０４は例えば小さな白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【００４０】
本実施形態の場合、表示ユニット１００は、さらに照明部１５６，１５８を含む。先に説明したように、本実施形態の照明部１５６、１５８は、液晶モニタ１０２の光源を利用して照明を行うからである。なお、照明部１５６，１５８は、独自の光源を有する、液晶モニタ１０２から独立した構成要素として撮像装置１０に備えてもよい。
【００４１】
操作ユニット１１０は、ユーザーが撮像装置１０の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ１１２は、撮像装置１０の電源のオンオフを決める。レリーズスイッチ１１４は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでＡＦおよびＡＥがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ６８、オプション装置７６等に記録される。操作ユニット１１０はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図１において機能設定部１１６と総称されている。操作ユニット１１０で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定／保存」、「表示切換」等がある。ズームスイッチ１１８は、ズーム倍率を決める。
【００４２】
以上の構成による主な動作は以下のとおりである。まず、撮像装置１０のパワースイッチ１１２がオンされ、カメラ各部に電力が供給される。メインＣＰＵ６２は、機能設定部１１６の状態を読み込むことで、撮像装置１０が撮影モードにあるか再生モードにあるかを判断する。
【００４３】
次に、メインＣＰＵ６２はレリーズスイッチ１１４の半押し状態を監視する。スタンドが閉じた位置にある場合、メインＣＰＵ６２は、半押し状態を検出すると、測光センサ５４および測距センサ５２からそれぞれ測光データと測距データを得る。得られたデータに基づいて撮像制御ユニット４０が動作し、光学系２２のピント、絞りなどの調整が行われる。メインＣＰＵ６２は、半押し状態を検出すると、測光センサ５４のみから測光データを得る。そして、撮像制御ユニット４０は、光学系２２の絞りを調整する。
【００４４】
調整が完了すると、ＬＣＤモニタ１０２に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ１１４の全押し状態を監視する。レリーズスイッチ１１４が全押しされると、所定のシャッタ時間をおいてシャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信号処理部３２へ掃き出される。撮像信号処理部３２による処理の結果生成されたディジタル画像データはメインバス８２へ出力される。
【００４５】
ディジタル画像データは一旦メインメモリ６８へ格納され、この後、画像処理部２２０、ＹＣ処理部７０、及び圧縮伸張処理部７８で処理を受け、オプション装置制御部７４を経由してオプション装置７６へ記録される。記録された画像は、フリーズされた状態でしばらくＬＣＤモニタ１０２に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【００４６】
一方、撮像装置１０が再生モードの場合、メインＣＰＵ６２は、メモリ制御部６４を介してメインメモリ６８から最後に撮影した画像を読み出し、これを表示ユニット１００のＬＣＤモニタ１０２へ表示する。この状態でユーザーが機能設定部１１６にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、ＬＣＤモニタ１０２へ表示される。表示ユニット１００は、画像処理部２２０において画像処理された画像を表示してよく、また、画像処理前の画像を表示してよい。例えば、表示ユニット１００は、画像処理部２２０において、天地のずれが修正された画像を表示してよく、また、画像処理前の画像と、画像の天地に関する情報を合わせて表示してよい。次に、画像処理部２２０における画像処理について説明する。
【００４７】
図２は、撮像装置１０における画像処理の一例を説明するためのブロック図である。撮像装置１０は、撮像部２００、画像記憶部２１０、画像処理部２２０、条件記憶部２３０、及び表示部２４０を備える。
【００４８】
撮像部２００は一例として、図１において説明した、撮像ユニット２０、撮像制御ユニット４０、及び撮像補助ユニット３８と同一又は同様の機能及び構成を有し、被写体２５０の画像を撮像する。画像記憶部２１０は一例として、図１において説明した、メモリ制御部６４、及び不揮発性メモリ６６と同一又は同様の機能及び構成を有し、撮像部２００が撮像した画像を格納する。条件記憶部２３０は一例として、図１において説明したメモリ制御部６４、不揮発性メモリ６６、及びメインメモリ６８と同一又は同様の機能及び構成を有し、画像処理部２２０において、画像から予め定められた被写体要素を検出するための検出条件を格納する。画像処理部２２０は、図１において説明した画像処理部２２０と同一又は同様の機能及び構成を有し、条件記憶部２３０に格納された検出条件に基づいて、画像から当該被写体要素に対応する画像要素を検出し、検出した画像要素の予め定められた基準との幾何学的ずれに基づいて、当該幾何学的ずれが小さくなるように、画像に対して画像処理をする。表示部２４０は、図１において説明した表示ユニット１００と同一又は同様の機能及び構成を有し、画像処理部２２０が画像処理した画像又は撮像部２００が撮像した画像を表示する。以下、画像処理部２２０における画像処理について詳細に説明する。
【００４９】
図３は、画像処理部２２０における画像処理の一例を説明する図である。本例において、画像処理部２２０は、撮像部２００が撮像した画像の天地のずれを検出し、当該ずれを修正する画像処理を行う。画像処理部２２０が、画像の天地のずれを修正する画像処理を行う場合、図２において説明した条件記憶部２３０は、予め天地情報が定められた被写体要素を検出するための検出条件を格納する。
【００５０】
図３（ａ）は、撮像部２００が撮像した被写体の画像の一例を示す。図３（ａ）に示す画像には、被写体として、人物、建物、空、地面等が撮像されている。図３（ａ）に示すように、当該画像において、画像枠の天地と、被写体の天地とは、一致していない。通常、画像枠の天地は、図３（ａ）の画像のように、画像の長辺を天側及び地側としている。図３（ａ）に示す画像は、撮像時における撮像装置１０の傾き等によって、被写体の天地が画像枠の天地に対して９０度ずれている。本例における画像処理部２２０は、当該天地のずれを修正する。
【００５１】
まず、画像処理部２２０は、条件記憶部２３０に格納された検出条件に基づいて、画像から、予め定められた被写体要素に対応する画像要素を検出する。例えば、図３（ｂ）に示すように、画像処理部２２０は、人物の顔に対応する画像要素２５２を検出する。画像処理部２２０は、画像における各被写体要素のエッジに基づいて、検出条件に適合する画像要素を検出してよい。また、画像処理部２２０は、各被写体要素の色情報に基づいて、画像要素を検出してよい。例えば、画像処理部２２０が人物の顔を検出する場合、各被写体要素のエッジに基づいて判断した、各被写体要素の形、各被写体要素の色情報、並びに各被写体要素の中に目、鼻、及び／又は口らしき物が有るか否かに基づいて、画像処理部２２０は、人物の顔に対応する画像要素２５２を検出する。この場合、条件記憶部２３０は、人物の顔を検出するための、人物の顔の形状情報、色情報、及び顔の構成情報等と、人物の顔の天地情報を格納する。
【００５２】
次に、画像処理部２２０は、検出した画像要素の天地情報に基づいて、画像の天地を判定する。本例において、画像要素の天地情報は、条件記憶部２３０が、検出条件に対応して格納する。本例において、画像処理部２２０は、画像要素２５２の天地情報に基づいて、画像の左辺が天側であり、右辺が地側であることを判定する。画像処理部２２０は、検出条件に基づいて検出した画像要素の天又は地の情報の少なくとも一方と、予め定められた基準とのずれを小さくする。例えば、画像処理部２２０は、撮像した画像の画像枠の天地に関する情報を、予め定められた基準として、当該基準と、検出した画像要素の天地情報とのずれを小さくするように画像処理する。本例において、画像枠の天地情報と、被写体の天地情報とは、９０度ずれているので、画像処理部２２０は、図３（ｄ）に示すように、撮像部２００が撮像した画像を９０度回転させる。
【００５３】
また、画像処理部２２０は、検出条件に適合する画像要素を複数検出し、検出した複数の画像要素に基づいて、画像の天地を判定してよい。この場合、画像処理部２２０は、検出した複数の画像要素のうち、画素領域が最大である画像要素に基づいて、画像の天地を判定してよい。また、画像処理部２２０は、検出した複数の画像要素のうち、画像の中央に最も近い位置に有る画像要素に基づいて、画像の天地を判定してもよい。また、画像処理部２２０は、検出した画像要素のそれぞれについて、画像の天地を判定し、天地が適合する画像要素数が最も多くなるように、画像の天地を判定してもよい。
【００５４】
また、条件記憶部２３０は、複数の検出条件を格納してよい。例えば、条件記憶部２３０は、被写体要素として、人の顔、空、地面、建物等を検出するための検出条件を格納してよい。この場合、画像処理部２２０は、複数の検出条件に基づいて、複数の画像要素を検出し、検出した複数の画像要素に基づいて、画像の天地を判定してよい。
【００５５】
条件記憶部２３０は、空、又は地面を検出するための検出条件として、一例として色情報を格納してよい。画像処理部２２０は、画像の被写体の色情報において、所定の色が所定の画素数連続した場合に、当該被写体を空、又は地面として画像処理をしてよい。例えば、条件記憶部２３０は、晴、曇り、雨等の各天候状態に対応する色情報をそれぞれ格納し、画像処理部２２０は、いずれかの色情報に適合する色が所定の画素数連続する領域を空として画像処理してよい。また、条件記憶部２３０は、土やアスファルト等にそれぞれ対応する色情報を格納し、画像処理部２２０は、いずれかの色情報に適合する色が所定の画素数連続する領域を地として画像処理してよい。この場合、画像処理部２２０は、画像において、空がある領域を天側とし、地面がある領域を地側としてよい。また、画像処理部２２０は、色度の変化が所定の範囲内である領域が、所定の画素数以上である場合に、当該領域を空、又は地面として、画像処理をしてよい。
【００５６】
また、条件記憶部２３０は、建物を検出するための検出条件として、一例として、被写体の形状の情報を格納してよい。図３（ｃ）に示すように、画像処理部２２０は、被写体のエッジを検出して、検出したエッジと、被写体の形状の情報とに基づいて、建物に対応する画像要素２５４を検出してよい。画像処理部２２０は、条件記憶部２３０が格納している建物の天地情報に基づいて、画像の天地を修正する。
【００５７】
また、画像処理部２２０は、条件記憶部２３０が格納した複数の検出条件に基づいて、複数の画像要素を検出し、検出した複数の画像要素に基づいて、画像の天地を判定してよい。例えば、図３（ｂ）、及び図３（ｃ）に示すように、人物の顔に対応する画像要素２５２と、建物に対応する画像要素２５４とを検出し、検出した画像要素２５２及び画像要素２５４に基づいて、図３（ａ）に示す画像の天地を判定してよい。この場合、画像処理部２２０は、検出した複数の画像要素に、検出条件に基づいた重み付けを行い、画像の天地を判定してよい。例えば、条件記憶部２３０は、複数の検出条件、及びそれぞれの検出条件に対応した重み付け係数を格納し、画像処理部２２０は、検出した複数の画像要素の天地の方向を、重み付け係数に基づいて点数化し、最も点数が高い方向を天又は地の方向とする。
【００５８】
また、画像処理部２２０は、検出した複数の画像要素に、検出条件に基づいた優先順位付けを行い、優先順位の高い画像要素に基づいて、画像の天地を判定してよい。例えば、条件記憶部２３０は、複数の検出条件、及びそれぞれの検出条件に対応した優先順位を格納し、画像処理部２２０は、検出した複数の画像要素のうち、検出条件に対応する優先順位が最も高い画像要素に基づいて、画像の天地を判定する。
【００５９】
以上説明した画像処理によれば、検出した画像要素の天地情報に基づいて、画像の天地を容易に判定することができる。また、例えば画像枠の天地方向のような、予め定められた天地に関する基準と、画像の天地との幾何学的ずれを、容易に修正することができる。また、本例においては、画像処理部２２０は、長方形の画像に対して画像処理したが、他の例においては、画像処理部２２０は、例えば円形等のような他の形状の画像に対しても、天地の判定を行うことができるのは明らかである。この場合、撮像装置１０は、画像の天地に関する基準を予め与えられていることが好ましい。また、本例においては、画像処理部２２０は、画像を９０度づつ回転させて、画像の天地と、画像枠の天地との幾何学的ずれを少なくしたが、他の例においては、画像処理部２２０は、画像を９０度より小さい角度で回転させることにより、画像の天地と、画像枠の天地との幾何学的ずれを微調整してよい。
【００６０】
本例において、画像記憶部２１０は、画像処理部２２０が画像処理した画像を格納する。例えば、画像記憶部２１０は、画像処理部２２０が画像の幾何学的ずれを小さくした画像を格納してよい。また、画像記憶部２１０は、撮像部が撮像した画像と、画像処理部２２０が判定した画像の天地情報とを対応づけて格納してもよい。表示部２４０は、画像記憶部２１０が格納した画像及び天地情報を表示する。例えば、表示部２４０は、画像記憶部２１０が格納した、幾何学的ずれを小さくした画像を表示してよい。また、表示部２４０は、画像記憶部２１０が格納した、画像と、画像情報に対応した天地情報とを表示してもよい。つまり、表示部２４０は、撮像部２００が撮像し、画像記憶部２１０が格納した画像処理していない画像と、画像処理部２２０が判定した当該画像の天地情報とをあわせて表示してもよい。
【００６１】
また、表示部２４０は、画像記憶部２１０が格納した、幾何学的ずれを小さくした複数の画像を縮小して表示してよい。また、表示部２４０は、縮小した複数の画像と、複数の画像にそれぞれ対応した天地情報とを表示してよい。以下、表示部２４０が複数の画像を表示する場合について説明する。
【００６２】
図４は、表示部２４０における表示例を示す。図４（ａ）は、撮像部２００が撮像した複数の画像を、画像処理せずに、表示部２４０が表示した場合の例である。この場合、表示部２４０は、画像枠の天地に関する基準を、画像の天地として揃えた画像を表示する。図４（ａ）において、右上及び左下の画像は、画像の天地の方向が、他の画像と一致していないため、閲覧者にとって見づらい構成となっている。
【００６３】
図４（ｂ）は、画像処理部２２０が、天地の方向を修正した複数の画像を、表示部２４０が表示した場合の例である。右上及び左下の画像が、画像処理部２２０が天地の方向を修正した画像である。表示されている画像の天地の方向が、同一画面内で統一されているため、閲覧者にとって画像を認識し易い。
【００６４】
図４（ｃ）は、画像と天地情報とを、表示部２４０があわせて表示した場合の例である。本例において、太線によりそれぞれの画像の地の方向を示している。画像の天地に関する情報が、画像と対応して表示されているため、閲覧者が画像を認識し易い。また、本例では、太線によって画像の地の方向を示したが、他の方法によって画像の天地情報を示してもよいことは明らかである。
【００６５】
図５は、本発明に係る画像処理装置３００の構成の一例を示すブロック図である。画像処理装置３００は、例えば、表示装置を備えるコンピュータ等であって、与えられた画像を画像処理する。画像処理装置３００は、画像記憶部２１０と、画像処理部２２０と、条件記憶部２３０と、表示部２４０とを備える。画像記憶部２１０は、図２から図４に関連して説明した画像記憶部２１０と同一又は同様の機能及び構成を有し、与えられた画像を格納する。条件記憶部２３０は、図２から図４に関連して説明した条件記憶部２３０と同一又は同様の機能及び構成を有し、画像記憶部２１０が格納した画像から、予め定められた被写体要素を検出するための検出条件を格納する。
【００６６】
画像処理部２２０は、図２から図４に関連して説明した画像処理部２２０と同一又は同様の機能及び構成を有し、条件記憶部２４０に格納された被写体要素を検出するための検出条件に基づいて、画像記憶部２１０が格納した画像から、被写体要素に対応する画像要素を検出し、検出した画像要素の、予め定められた基準との幾何学的ずれに基づいて、幾何学的ずれが小さくなるように、画像に対して画像処理する。
【００６７】
例えば、画像処理部２２０は、図２から図４に関連して説明した画像処理部２２０と同様に、画像の天地情報と、画像枠の天地に関する基準とのずれを小さくするように、画像に対して画像処理する。また、画像処理部２２０は、レンズ等の特性による画像の歪みの修正や、撮像しようとした被写体が画像の端に寄りすぎていたり、例えば空のような、不要な被写体が画像の大半を占めてしまう場合のトリミング等の画像処理をしてもよい。
【００６８】
表示部２４０は、図２から図４に関連して説明した表示部２４０と同一又は同様の機能及び構成を有し、画像処理部２２０が画像処理した画像を表示する。また、表示部２４０は、与えられた画像と、与えられた画像に対応した天地情報とをあわせて表示してもよい。
【００６９】
本例における画像処理装置３００によれば、検出した画像要素の天地情報に基づいて、画像の天地を容易に判定することができる。また、例えば画像枠の天地方向のような、予め定められた天地に関する基準と、画像の天地との幾何学的ずれを、容易に修正することができる。
【００７０】
図６は、本発明に係る画像処理方法のフローチャートの一例を示す。本例における画像処理方法は、図５に関連して説明した画像処理装置３００における画像処理と同一又は同様の処理を行う。まず、画像記憶手順で、与えられた画像を格納する（Ｓ１００）。画像記憶手順は、図５に関連して説明した画像記憶部２１０における処理と同様の処理を行う。また、条件記憶手順で、与えられた画像から、予め定められた被写体要素を検出するための検出条件を格納する（Ｓ１０２）。条件記憶手順は、図５に関連して説明した条件記憶部２３０における処理と同様の処理を行う。画像記憶手順と、条件記憶手順とは、いずれを先に行ってもよい。
【００７１】
次に、画像処理手順で、画像の幾何学的ずれを小さくする。画像処理手順（Ｓ１０４〜Ｓ１１０）では、図５に関連して説明した画像処理部２２０における処理と同様の処理を行う。画像処理手順は、まず検出条件に基づいて、画像から被写体要素に対応する画像要素を検出する（Ｓ１０４）。次に、検出した画像要素の、予め定められた基準との幾何学的ずれを検出する（Ｓ１０６）。Ｓ１０６では例えば、画像要素の天地情報の、画像枠の天地に関する基準とのずれを検出する。次に、画像要素と、予め定められた基準との幾何学的ずれが有るか否かを判定する（Ｓ１０８）。当該幾何学的ずれが無い場合、画像処理方法の処理を終了する。また、当該幾何学的ずれが有る場合、当該幾何学的ずれが小さくなるように、画像に対して画像処理する（Ｓ１１０）。Ｓ１１０では例えば、図３に関連して説明したように、画像の天地情報と、画像枠の天地に関する基準とのずれが小さくなるように、画像に対して画像処理する。
【００７２】
以上説明した画像処理方法によれば、与えられた画像から検出した画像要素の天地情報に基づいて、与えられた画像の天地を容易に判定することができる。また、例えば画像枠の天地方向のような、予め定められた天地に関する基準と、画像の天地との幾何学的ずれを、容易に修正することができる。
【００７３】
図７は、撮像装置１０における画像処理の他の例を説明するためのブロック図である。撮像装置１０は、撮像部２００、画像記憶部２１０、画像処理部２２０、距離測定部２６０、及び表示部２４０を備える。
【００７４】
撮像部２００は、図２に関連して説明した撮像部２００と同一又は同様の機能及び構成を有してよい。撮像部２００は一例として、図１に関連して説明した、撮像ユニット２０、撮像制御ユニット４０、及び撮像補助ユニット３８と同一又は同様の機能及び構成を有し、被写体２５０の画像を撮像する。
【００７５】
画像記憶部２１０は、図２に関連して説明した画像記憶部２１０と同一又は同様の機能及び構成を有してよい。画像記憶部２１０は一例として、図１に関連して説明した、メモリ制御部６４、及び不揮発性メモリ６６と同一又は同様の機能及び構成を有し、撮像部２００が撮像した画像を格納する。
【００７６】
距離測定部２６０は一例として、図１に関連して説明した、測距センサ５２、測光センサ５４、及び撮像系ＣＰＵ５０と同一又は同様の機能及び構成を有し、撮像装置１０から、被写体２５０までの距離を距離情報を取得する。つまり、距離測定部２６０は、撮像部２００における画像の撮像時に、画像における被写体２５０の複数の点の距離情報を取得する。
【００７７】
画像処理部２２０は、図１に関連して説明した画像処理部２２０と同一又は同様の機能及び構成を有し、距離測定部２６０が取得した、被写体までの距離情報に基づいて、画像の天地を判定する。
【００７８】
表示部２４０は、図２に関連して説明した表示部２４０と同一又は同様の機能及び構成を有してよい。表示部２４０は、図１に関連して説明した表示ユニット１００と同一又は同様の機能及び構成を有し、画像処理部２２０が画像処理した画像又は撮像部２００が撮像した画像を表示する。以下、画像処理部２２０における画像処理について詳細に説明する。
【００７９】
図８は、画像処理部２２０における画像処理の一例を説明する図である。図８（ａ）は、撮像部２００が撮像した被写体の画像の一例を示す。図８（ａ）に示す画像には、被写体として、人物、建物、空、地面等が撮像されている。図８（ａ）に示すように、当該画像において、画像枠の天地と、被写体の天地とは、一致していない。通常、画像枠の天地は、図８（ａ）の画像のように、画像の長辺を天側及び地側としている。図８（ａ）に示す画像は、撮像時における撮像装置１０の傾き等によって、被写体の天地が画像枠の天地に対して９０度ずれている。本例における画像処理部２２０は、当該天地のずれを修正する。
【００８０】
まず、距離測定部２６０は、画像における被写体の複数の点の距離情報を取得する。距離測定部２６０は、画像の少なくとも２辺の距離情報を取得してよい。本例においては距離測定部２６０は、図８（ａ）に示すように、画像の４辺の距離情報を取得する。距離測定部２６０は、画像の４辺の最端部の画素における被写体の距離情報を取得してよく、また、距離測定部２６０は、画像の４辺の周辺領域の画素における被写体の距離情報を取得してもよい。
【００８１】
画像処理部２２０は、距離測定部２６０が取得した距離情報に基づいて、画像の天地を判定する。例えば、画像処理部２２０は、画像における被写体のうち、距離測定部２６０が取得した距離情報が近距離を示す被写体を地方向としてよい。また、画像処理部２２０は、画像における被写体のうち、距離測定部２６０が取得した距離情報が遠距離を示す被写体を天方向としてよい。また、画像処理部２２０は、距離測定部２６０が取得したそれぞれの辺における距離情報の平均値に基づいて、画像の天地を判定してよい。例えば、画像処理部２２０は、画像のそれぞれの辺の最端部の画素における距離情報の平均値を、それぞれの辺に対して算出し、距離情報の平均値が最も小さい辺を地側としてよい。また、画像処理部２２０は、それぞれの辺における距離情報の平均値が最も大きい辺を天側としてもよい。また、画像処理部２２０は、図８（ａ）に示すように、画像のそれぞれの辺の周辺領域の画素における距離情報の平均値を、それぞれの辺に対して算出し、距離情報の平均値が最も小さい辺を地側、又は距離情報の平均値が最も大きい辺を天側としてもよい。以下、画像処理部２２０における、画像のそれぞれの辺の周辺領域の画素における距離情報の平均値が最も小さい辺を地側とする処理について説明する。
【００８２】
まず、距離測定部２６０は、図８（ａ）に示すように、画像の４辺の周辺領域である、領域２５６、領域２５８、領域２６２、及び領域２６４の画素の距離情報を取得する。画像処理部２２０は、領域２５６、領域２５８、領域２６２、及び領域２６４のそれぞれに対して、画素の距離情報の平均値を算出する。次に、画像処理部２２０は、算出した平均値が最も小さい領域に対応する辺を検出する。本例において、領域２５８における被写体は、最も撮像装置１０に対して近距離にある地面であるので、画像処理部２２０は、距離情報の平均値が最も小さい領域として、領域２５８を検出し、領域２５８に対応する辺を地側として画像処理を行う。本例では、画像処理部２２０は、図８（ｂ）に示すように、画像を９０度回転させ、画像の天地のずれを修正する。
【００８３】
また、撮像装置１０は撮像部２００におけるフォーカス、絞り等を自動調整するために、測距センサ５２等で、被写体までの距離を測定する。例えば、撮像装置１０は、図８（ｃ）に示すように、画像を複数の領域に分割し、それぞれの領域における被写体までの距離を測定し、測定した距離に基づいて、フォーカス、絞り等を調整する。画像処理部２２０は、測距センサ５２が、フォーカス、絞り等を調整するために測定した被写体までの距離情報に基づいて、前述した画像処理を行ってよい。例えば、画像処理部２２０は、領域２６４と領域２６６との距離情報の平均値を、画像の上辺における距離情報とし、領域２６４と領域２７２との距離情報の平均値を、画像の左辺における距離情報とし、領域２７２と領域２６８との距離情報の平均値を、画像の下辺における距離情報とし、領域２６８と領域２６６との距離情報の平均値を、画像の右辺における距離情報としてよい。
【００８４】
以上説明した画像処理によれば、画像の被写体の距離情報に基づいて、画像の天地を容易に判定することができる。また、例えば画像枠の天地方向のような、予め定められた天地に関する基準と、画像の天地との幾何学的ずれを、容易に修正することができる。また、本例においては、画像処理部２２０は、長方形の画像に対して画像処理したが、他の例においては、画像処理部２２０は、例えば円形等のような他の形状の画像に対しても、天地の判定を行うことができるのは明らかである。この場合、撮像装置１０は、画像の天地に関する基準を予め与えられていることが好ましい。また、本例においては、画像処理部２２０は、画像を９０度づつ回転させて、画像の天地と、画像枠の天地との幾何学的ずれを少なくしたが、他の例においては、画像処理部２２０は、画像を９０度より小さい角度で回転させることにより、画像の天地と、画像枠の天地との幾何学的ずれを微調整してよい。
【００８５】
本例において、画像記憶部２１０は、画像処理部２２０が画像処理した画像を格納する。例えば、画像記憶部２１０は、画像処理部２２０が画像の天地のずれを小さくした画像を格納してよい。また、画像記憶部２１０は、撮像部が撮像した画像と、画像処理部２２０が判定した画像の天地情報とを対応づけて格納してもよい。表示部２４０は、画像記憶部２１０が格納した画像及び天地情報を表示する。例えば、表示部２４０は、画像記憶部２１０が格納した、幾何学的ずれを小さくした画像を表示してよい。また、表示部２４０は、画像記憶部２１０が格納した、画像と、画像情報に対応した天地情報とを表示してもよい。つまり、表示部２４０は、撮像部２００が撮像し、画像記憶部２１０が格納した画像処理していない画像と、画像処理部２２０が判定した当該画像の天地情報とをあわせて表示してもよい。
【００８６】
また、表示部２４０は、図４に関連して説明したように、画像記憶部２１０が格納した、幾何学的ずれを小さくした複数の画像を縮小して表示してよい。また、表示部２４０は、縮小した複数の画像と、複数の画像にそれぞれ対応した天地情報とを表示してよい。
【００８７】
また、画像処理部２２０は、図１に示した不揮発性メモリ６６又はメインメモリ６８に格納されたプログラムに基づいて動作してよい。また、図１に示したメモリ制御部６４は、通信Ｉ／Ｆ部８０を介して、外部機器から画像処理部２２０を動作させるためのプログラムを受け取り、不揮発性メモリ６６に格納してよい。また、メモリ制御部６４は、オプション装置７６から画像処理部２２０を動作させるためのプログラムを受け取り、不揮発性メモリ６６に格納してよい。不揮発性メモリ６６又はメインメモリ６８に格納されたプログラムは、一例として処理ユニット６０を、画像処理するべき画像を格納する画像記憶部と、画像における被写体の複数の点の距離情報が与えられ、与えられた距離情報に基づいて、画像の天地を判定する画像処理部として機能させる。また、当該プログラムは、例えばコンピュータ等の画像処理装置を、上述した機能動作させてもよい。当該プログラムが、処理ユニット６０に行わせる処理は、後述する画像処理部２２０、及び画像記憶部２１０の機能及び動作、画像処理装置３００の機能及び動作、又は画像処理方法の機能と同一又は同様である。
【００８８】
図９は、本発明に係る画像処理装置３１０の構成の一例を示すブロック図である。画像処理装置３１０は、例えば、表示装置を備えるコンピュータ等であって、与えられた画像を画像処理する。画像処理装置３１０は、画像記憶部２１０と、画像処理部２２０と、表示部２４０とを備える。画像記憶部２１０は、図７に関連して説明した画像記憶部２１０と同一又は同様の機能及び構成を有し、与えられた画像を格納する。
【００８９】
画像処理部２２０は、図７及び図８に関連して説明した画像処理部２２０と同一又は同様の機能及び構成を有し、与えられた画像における被写体の複数の点の距離情報が与えられ、与えられた距離情報に基づいて、画像の天地を判定する。
【００９０】
表示部２４０は、図７及び図８に関連して説明した表示部２４０と同一又は同様の機能及び構成を有し、画像処理部２２０が画像処理した画像を表示する。また、表示部２４０は、与えられた画像と、与えられた画像に対応した天地情報とをあわせて表示してもよい。
【００９１】
本例における画像処理装置３１０によれば、与えられた被写体の距離情報に基づいて、与えられた画像の天地を容易に判定することができる。また、例えば画像枠の天地方向のような、予め定められた天地に関する基準と、画像の天地との幾何学的ずれを、容易に修正することができる。
【００９２】
図１０は、本発明に係る画像処理方法のフローチャートの一例を示す。本例における画像処理方法は、図９に関連して説明した画像処理装置３１０における画像処理と同一又は同様の処理を行う。まず、画像記憶手順で、与えられた画像を格納する（Ｓ２００）。画像記憶手順は、図９に関連して説明した画像記憶部２１０における処理と同様の処理を行う。次に、画像処理手順（Ｓ２０２〜Ｓ２０８）で、画像における被写体の複数の点の距離情報を取得し、距離情報に基づいて、画像の天地を判定する。画像処理手順は、図９に関連して説明した画像処理部２２０と同様の処理を行う。画像処理手順では、まず、画像における被写体の複数の点の距離情報を取得する（Ｓ２０２）。次に、取得した距離情報に基づいて、画像の天地を判定する（Ｓ２０４）。Ｓ２０４では、図８に関連して説明した判定方法と同様の方法で画像の天地を判定する。次に、画像の天地と、例えば画像枠の天地に関する基準とが一致しているか否かを判定する（Ｓ２０６）。
【００９３】
画像の天地と、天地に関する基準とが一致している場合、画像処理方法の処理を終了する。画像の天地と、天地に関する基準とが一致していない場合、画像の天地と、天地に関する基準とが一致するように、画像を回転させる（Ｓ２０８）。Ｓ２０８では、例えば図８で関連して説明したように、画像枠の天地に関する基準と、画像の天地とが一致するように、画像を回転させる。
【００９４】
以上説明した画像処理方法によれば、与えられた画像の被写体の距離情報に基づいて、与えられた画像の天地を容易に判定することができる。また、例えば画像枠の天地方向のような、予め定められた天地に関する基準と、画像の天地との幾何学的ずれを、容易に修正することができる。
【００９５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９６】
【発明の効果】
上記説明から明らかなように、本発明に係る撮像装置、画像処理装置、画像処理方法、及びプログラムによれば、画像の幾何学的ずれを検出し、当該幾何学的ずれを容易に修正することができる。例えば、画像の天地情報が、画像枠等の天地に関する基準に対してずれている場合、天地のずれを検出し、当該ずれを容易に修正することができる。
【図面の簡単な説明】
【図１】 本発明に係る撮像装置１０の構成の一例を示すブロック図である。
【図２】 撮像装置１０における画像処理の一例を説明するためのブロック図である。
【図３】 画像処理部２２０における画像処理の一例を説明する図である。
【図４】 表示部２４０における表示例を示す。
【図５】 本発明に係る画像処理装置３００の構成の一例を示すブロック図である。
【図６】 本発明に係る画像処理方法のフローチャートの一例を示す。
【図７】 撮像装置１０における画像処理の他の例を説明するためのブロック図である。
【図８】 画像処理部２２０における画像処理の一例を説明する図である。
【図９】 本発明に係る画像処理装置３１０の構成の一例を示すブロック図である。
【図１０】 本発明に係る画像処理方法のフローチャートの一例を示す。
【符号の説明】
１０・・・撮像装置、２０・・・撮像ユニット、２２・・・光学系、２４・・・絞り、２６・・・シャッタ、２８・・・光学ＬＰＦ、３０・・・ＣＣＤ、３２・・・撮像信号処理部、３４・・・ファインダ、３６・・・ストロボ、３８・・・撮像補助ユニット、４０・・・撮像制御ユニット、４２・・・ズーム駆動部、４４・・・フォーカス駆動部、４６・・・絞り駆動部、４８・・・シャッタ駆動部、５０・・・撮像系ＣＰＵ、５２・・・測距センサ、５４・・・測光センサ、６２・・・メインＣＰＵ、６４・・・メモリ制御部、６６・・・不揮発性メモリ、６８・・・メインメモリ、７０・・・ＹＣ処理部、７２・・・エンコーダ、７４・・・オプション装置制御部、７６・・・オプション装置、７８・・・圧縮伸張処理部、８０・・・通信Ｉ／Ｆ部、８２・・・メインバス、８４・・・キャラクタ生成部、８６・・・タイマ、８８・・・クロック発生器、１００・・・表示ユニット、１０２・・・液晶モニタ、１０４・・・ＬＣＤパネル、１０６・・・モニタドライバ、１０８・・・パネルドライバ、１１０・・・操作ユニット、１１２・・・パワースイッチ、１１４・・・レリーズスイッチ、１１６・・・機能設定部、１１８・・・ズームスイッチ、１５８・・・照明部、２００・・・撮像部、２１０・・・画像記憶部、２２０・・・画像処理部、２３０・・・条件記憶部、２４０・・・表示部、２５０・・・被写体、２５２，２５４・・・画像要素、２６０・・・距離測定部、３００・・・画像処理装置
Claims (7)
- 被写体を撮像する撮像装置であって、
前記被写体の画像を撮像する撮像部と、
前記撮像部が撮像した前記画像を記憶する画像記憶部と、
前記撮像部における、前記画像の撮像時に、前記撮像装置から、前記画像における前記被写体の複数の点までの距離情報を取得する距離測定部と、
前記距離測定部が取得した、前記距離情報に基づいて、前記画像の天地を判定する画像処理部と
を備えることを特徴とする撮像装置。 - 前記画像処理部は、前記画像における被写体のうち、前記距離測定部が取得した距離情報が遠距離を示す被写体を天方向とし、前記距離測定部が取得した距離情報が近距離を示す被写体を地方向とすることを特徴とする請求項１に記載の撮像装置。
- 前記距離測定部は、前記画像の少なくとも２辺における被写体の距離情報を取得し、
前記画像処理部は、前記距離測定部が取得したそれぞれの辺における距離情報の平均値に基づいて、前記画像の天地を判定することを特徴とする請求項２に記載の撮像装置。 - 前記画像処理部は、前記画像における、前記距離情報の平均値が最も大きい辺を天側とすることを特徴とする請求項３に記載の撮像装置。
- 与えられた画像を画像処理する画像処理装置であって、
与えられた前記画像を格納する画像記憶部と、
前記画像を撮像した撮像装置から、前記画像における被写体の複数の点までの距離情報が与えられ、前記距離情報に基づいて、前記画像の天地を判定する画像処理部と、
前記画像処理部が画像処理した前記画像を表示する表示部と
を備えることを特徴とする画像処理装置。 - 与えられた画像を画像処理する画像処理方法であって、
与えられた前記画像を格納する画像記憶手順と、
前記画像を撮像した撮像装置から、前記画像における被写体の複数の点までの距離情報が与えられ、前記距離情報に基づいて、前記画像の天地を判定する画像処理手順と
を備えることを特徴とする画像処理方法。 - 画像処理装置に画像処理を実行させるためのプログラムであって、
前記画像処理装置を、
画像処理するべき画像を格納する画像記憶部と、
前記画像を撮像した撮像装置から、前記画像における被写体の複数の点までの距離情報が与えられ、前記距離情報に基づいて、前記画像の天地を判定する画像処理部と
して機能させることを特徴とするプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001148434A JP4124404B2 (ja) | 2001-05-17 | 2001-05-17 | 撮像装置、画像処理装置、画像処理方法、及びプログラム |
| US10/146,481 US20020171744A1 (en) | 2001-05-17 | 2002-05-16 | Capturing apparatus, image processing apparatus, image processing method, and computer readable medium recording program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001148434A JP4124404B2 (ja) | 2001-05-17 | 2001-05-17 | 撮像装置、画像処理装置、画像処理方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002344725A JP2002344725A (ja) | 2002-11-29 |
| JP4124404B2 true JP4124404B2 (ja) | 2008-07-23 |
Family
ID=18993745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001148434A Expired - Fee Related JP4124404B2 (ja) | 2001-05-17 | 2001-05-17 | 撮像装置、画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20020171744A1 (ja) |
| JP (1) | JP4124404B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4151387B2 (ja) * | 2002-11-15 | 2008-09-17 | セイコーエプソン株式会社 | 被写体の明るさに応じた画質の自動調整 |
| US8159561B2 (en) * | 2003-10-10 | 2012-04-17 | Nikon Corporation | Digital camera with feature extraction device |
| FR2864874A1 (fr) | 2004-01-06 | 2005-07-08 | Thomson Licensing Sa | Procede et dispositif de detection de l'orientation d'une image |
| JP2006025006A (ja) * | 2004-07-06 | 2006-01-26 | Fuji Photo Film Co Ltd | プリント画像選択装置及びプリント画像選択方法 |
| JP5453717B2 (ja) * | 2008-01-10 | 2014-03-26 | 株式会社ニコン | 情報表示装置 |
| JP4572248B2 (ja) * | 2008-06-23 | 2010-11-04 | シャープ株式会社 | 画像処理装置、画像形成装置、画像処理方法、制御プログラム、記録媒体 |
| JP5061054B2 (ja) * | 2008-07-16 | 2012-10-31 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置，プレビュー画像表示プログラム |
| JP4625860B2 (ja) * | 2008-10-29 | 2011-02-02 | シャープ株式会社 | 画像処理装置、画像形成装置、画像読取装置、画像処理方法、制御プログラム、記録媒体 |
| KR101582085B1 (ko) * | 2008-12-23 | 2016-01-04 | 삼성전자주식회사 | 디지털 영상 처리장치 및 그 제어방법 |
| JP5041050B2 (ja) * | 2010-11-15 | 2012-10-03 | 株式会社ニコン | 撮像装置および画像処理プログラム |
| WO2021039114A1 (ja) * | 2019-08-29 | 2021-03-04 | 富士フイルム株式会社 | 撮像装置、撮像装置の動作方法、及びプログラム |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5077811A (en) * | 1990-10-10 | 1991-12-31 | Fuji Xerox Co., Ltd. | Character and picture image data processing system |
| JPH08178390A (ja) * | 1994-12-22 | 1996-07-12 | Sharp Corp | 人体活動量算出装置、人体活動量着衣量算出装置およびそれを備えた空気調和機、人体異常通報機 |
| JPH08336069A (ja) * | 1995-04-13 | 1996-12-17 | Eastman Kodak Co | 電子スチルカメラ |
| US6597817B1 (en) * | 1997-07-15 | 2003-07-22 | Silverbrook Research Pty Ltd | Orientation detection for digital cameras |
| JPH11136564A (ja) * | 1997-10-31 | 1999-05-21 | Fuji Xerox Co Ltd | 撮像装置及び画像読取装置 |
| US6148149A (en) * | 1998-05-26 | 2000-11-14 | Microsoft Corporation | Automatic image rotation in digital cameras |
| US6798905B1 (en) * | 1998-07-10 | 2004-09-28 | Minolta Co., Ltd. | Document orientation recognizing device which recognizes orientation of document image |
| US6434265B1 (en) * | 1998-09-25 | 2002-08-13 | Apple Computers, Inc. | Aligning rectilinear images in 3D through projective registration and calibration |
| JP2000271108A (ja) * | 1999-03-19 | 2000-10-03 | Canon Inc | 画像処理装置、画像処理システム、被写体姿勢判定方法、及び記憶媒体 |
| US6346938B1 (en) * | 1999-04-27 | 2002-02-12 | Harris Corporation | Computer-resident mechanism for manipulating, navigating through and mensurating displayed image of three-dimensional geometric model |
| FR2795206B1 (fr) * | 1999-06-17 | 2001-08-31 | Canon Kk | Procede de modification d'orientation geometrique d'une image |
| JP2001014455A (ja) * | 1999-07-01 | 2001-01-19 | Nissha Printing Co Ltd | 画像処理方法およびこれに用いる画像処理装置、記録媒体 |
| JP2001103269A (ja) * | 1999-09-28 | 2001-04-13 | Olympus Optical Co Ltd | プリンタ装置および電子カメラ装置 |
| US6512846B1 (en) * | 1999-11-29 | 2003-01-28 | Eastman Kodak Company | Determining orientation of images containing blue sky |
| US6591005B1 (en) * | 2000-03-27 | 2003-07-08 | Eastman Kodak Company | Method of estimating image format and orientation based upon vanishing point location |
-
2001
- 2001-05-17 JP JP2001148434A patent/JP4124404B2/ja not_active Expired - Fee Related
-
2002
- 2002-05-16 US US10/146,481 patent/US20020171744A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002344725A (ja) | 2002-11-29 |
| US20020171744A1 (en) | 2002-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20020171747A1 (en) | Image capturing apparatus, and method of display-control thereof | |
| US20030020814A1 (en) | Image capturing apparatus | |
| JP3971100B2 (ja) | デジタルカメラ及び画像投影方法 | |
| JP3914060B2 (ja) | 合焦装置 | |
| JP3806038B2 (ja) | 画像処理システム及び撮像装置 | |
| JP4124404B2 (ja) | 撮像装置、画像処理装置、画像処理方法、及びプログラム | |
| JP4176328B2 (ja) | 撮像装置、画像処理装置、画像処理方法、及びプログラム | |
| JP4343468B2 (ja) | 画像処理システム、撮像装置、画像処理装置、画像処理方法、及びプログラム | |
| JP4275326B2 (ja) | 撮像装置および位置情報検出システム | |
| JP2001197347A (ja) | 情報記録装置、情報取得方法、およびデジタルカメラ | |
| JP2003018437A (ja) | 画像撮像装置 | |
| US20030206319A1 (en) | Image sensing apparatus, image sensing method, program, and storage medium | |
| JP4034029B2 (ja) | デジタルカメラ | |
| JP2009005356A (ja) | 撮像装置、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム | |
| JP4421788B2 (ja) | 撮像装置、画像処理装置、画像処理方法、及びプログラム | |
| JP2002344724A (ja) | 撮像装置、画像処理装置、画像処理方法、及びプログラム | |
| JP2003242504A (ja) | 画像処理装置 | |
| JP2003209737A (ja) | 撮像装置 | |
| JP2003018479A (ja) | 画像処理装置および画像処理方法ならびに画像撮像装置 | |
| JP2002359771A (ja) | 撮像装置、画像処理装置、画像処理方法、及びプログラム | |
| JP4318873B2 (ja) | 距離情報取得装置、距離情報取得方法、プログラム、及び撮像装置 | |
| JP4188531B2 (ja) | 撮像装置及び露出制御方法 | |
| JP4054173B2 (ja) | カメラ | |
| JP3943323B2 (ja) | 撮像装置、撮像方法、信号処理方法、及び画像をコンピュータに処理させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4312974B2 (ja) | 撮像装置、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060110 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080430 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080501 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4124404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |