JP4524047B2 - Image processing method and apparatus, camera, and photographing system - Google Patents

Image processing method and apparatus, camera, and photographing system Download PDF

Info

Publication number
JP4524047B2
JP4524047B2 JP2001008624A JP2001008624A JP4524047B2 JP 4524047 B2 JP4524047 B2 JP 4524047B2 JP 2001008624 A JP2001008624 A JP 2001008624A JP 2001008624 A JP2001008624 A JP 2001008624A JP 4524047 B2 JP4524047 B2 JP 4524047B2
Authority
JP
Japan
Prior art keywords
image
camera
information processing
adjustment
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001008624A
Other languages
Japanese (ja)
Other versions
JP2001275031A (en
Inventor
金城　　直人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2001008624A priority Critical patent/JP4524047B2/en
Publication of JP2001275031A publication Critical patent/JP2001275031A/en
Application granted granted Critical
Publication of JP4524047B2 publication Critical patent/JP4524047B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の各種のカメラを用いて被写体を撮影する時に採用される画像処理方法および装置、カメラならびに撮影システムの技術分野に属し、詳しくは、カメラの性能や機能を大幅に向上することができる画像処理方法および装置、カメラならびに撮影システムに関する。
【０００２】
【従来の技術】
カメラの性能は年々向上しており、撮影時に焦点を自動的に合わせるＡＦ（auto focus）機能や、 露出を自動的に調整するＡＥ（auto exposure)機能を有するカメラは、もはや常識となっている。
【０００３】
また、複数の露出プログラム（シャッタースピードと絞り値との組み合わせ）を有し、撮影環境、撮影対象（被写体や被写体の状態）、ユーザの好み等に応じて、適正な露出プログラムをユーザが選択、あるいはカメラが自動選択することができるカメラも多機種にわたる。
さらに、このような露出プログラム等を、ＩＣカードなどのアクセサリ（付属部品）等に記憶しておき、ユーザの好みや用途等に応じた露出プログラムを、適宜、カメラにダウンロードできる機種も少なくない。
【０００４】
このように、カメラの性能は、近年、非常に高くなっているが、やはり、カメラに搭載されるＣＰＵの処理能力、すなわちカメラで行うことができる処理には限界がある。そのため、例えば、ユーザの希望に応じた画像処理のような、より複雑な処理を行うことはできない。
【０００５】
【発明が解決しようとする課題】
本発明の目的は、カメラの機能や性能を大幅に向上して、従来の自動焦点合わせや自動露出のみならず、被写体や撮影シーン等に応じたより高度なカメラの制御、画像合成や画像補正等、各種の処理を行うことを可能にする画像処理方法および装置、カメラならびに撮影システムを提供することにある。
【０００６】
【課題を解決するための手段】
前記目的を達成するために、本発明は、カメラと情報処理装置とを有して構成されたシステムを用いて行われる撮影画像処理方法であって、前記カメラが撮影した調整用画像を前記カメラのモニタに表示し、前記モニタに表示した前記調整用画像に基いて外部から入力される、前記カメラ固有の画像調整パラメータを、前記カメラが受け付けるステップと、前記カメラが受け付けた前記カメラ固有の画像調整パラメータを、前記情報処理装置が受け取って記憶するステップと、前記情報処理装置が、前記カメラが撮影した撮影画像の画像データを受け取り、記憶した前記調整パラメータに応じて、受け取った前記撮影画像データの画像を調整した画像を生成するステップと、を有することを特徴とする撮影画像処理方法を提供するものである。
【０００７】
ここで、前記記憶するステップでは、前記情報処理装置が、受け取った前記画像調整パラメータと前記カメラとを対応づけて記憶し、前記生成するステップでは、前記情報処理装置が、外部から供給される画像データを受け取り、外部から供給される前記画像データが前記カメラで撮影した撮影画像データである場合、記憶した前記画像調整パラメータに応じて、受け取った前記撮影画像データの画像を調整した画像を生成するステップと、を有することが好ましい。
【０００８】
なお、前記画像調整パラメータは、前記カメラ固有の周辺光量の低下を補正するためのパラメータであることが好ましい。
【０００９】
また、前記調整用画像は、均一濃度の被写体を前記カメラで撮影した画像であり、
前記画像調整パラメータは、前記カメラのモニタに表示された前記調整用画像を見たユーザによって前記カメラに入力された情報であることが好ましい。
【００１０】
また、前記画像調整パラメータは、前記モニタに表示された前記調整用画像の濃度が画面全体で均一になるよう、前記ユーザが前記カメラに指示入力した情報であることが好ましい。
【００１１】
また、前記画像記調整パラメータは、前記カメラのレンズ固有の歪みを補正するためのパラメータであることも、また好ましい。
【００１２】
本発明は、また、カメラと、前記カメラと通信手段を介して接続された情報処理装置とを有して構成される撮影画像処理システムであって、前記カメラは、自身が撮影した調整用画像を表示するモニタと、前記モニタに表示した前記調整用画像に基いて外部から入力される、前記カメラ固有の画像調整パラメータを記憶するメモリと、を有し、前記カメラが撮影した撮影画像の画像データ、および前記メモリに記憶した前記カメラ固有の画像調整パラメータとを、通信手段を介して前記情報処理装置に送信し、前記情報処理装置は、前記通信手段を介して受信した前記画像調整パラメータに応じて、受信した前記撮影画像データの画像を調整した画像を生成する情報処理部を有することを特徴とする撮影画像処理システムも、併せて提供する。
【００１３】
なお、前記情報処理装置は、受信した前記画像調整パラメータと前記カメラとを対応づけて記憶するメモリを有し、前記情報処理部は、前記情報処理装置に供給される画像データが前記カメラで撮影した撮影画像データである場合、前記メモリに記憶した前記画像調整パラメータに応じて、供給された前記撮影画像データの画像を調整した画像を生成することが好ましい。
【００１９】
【発明の実施の形態】
本発明に係る画像処理方法および装置、カメラならびに撮影システムを添付の図面に示す好適実施例に基づいて以下に詳細に説明する。
【００２０】
図１に、本発明の撮影システムの一実施例の概念図を示す。
図１に示される撮影システム１０は、基本的に、本発明のカメラ１２と、本発明の画像処理方法を実施する本発明の画像処理装置である情報処理装置１４と、カメラ１２と情報処理装置１４を有線または無線で接続するための、カメラ側の通信部１６ａおよび装置側の通信部１６ｂからなる通信手段１６とを有する。
【００２１】
本発明の撮影システム１０において、カメラ１２は、ＣＣＤセンサ等のイメージセンサ１８と、イメージセンサ１８によって撮影された（光電的に読み取られた）画像等を撮影画像データとして記憶する画像記録媒体１９と、撮影画像を表示するモニタ２０と、カメラ全体の制御を行なうＣＰＵ２１と、カメラ側の通信部１６ａとを有するものである。
本発明においては、ＣＣＤ等のイメージセンサ１８を有し、画像記録媒体１９としてスマートメディアやメモリスティックやフロッピーディスク（ＦＤ）等の画像データ記録媒体を用い、これに撮影画像データを記録するものであれば、各種のカメラが利用可能であり、デジタルスチルカメラやデジタルビデオカメラが例示され、さらには、ファインダ等として機能するイメージセンサ１８およびモニタ２０を有し、イメージセンサ１８による撮影画像データの取得が可能であれば、画像記録媒体１９として写真フィルムを用い、これに画像を撮影するカメラであってもよい。このような従来型の光学カメラ場合には、イメージセンサ１８による撮影画像は、シャッタースピードや絞り等の自動設定（ＡＥ）や撮影倍率や撮影距離の自動設定（ＡＦ）等のカメラ制御情報の自動設定や撮影画像の確認等に用いられる。
【００２２】
図示例の撮影システム１０においては、好ましい態様として、カメラ１２には接続部２３が設けられ、ＰＤＡ（personal digital assistant＝携帯情報端末）やパーソナルコンピュータ等の外部装置２２、および携帯電話やＰＨＳ等の移動電話機２４等が接続可能に構成されている。
【００２３】
情報処理装置１４は、ラボ店やサービスセンター等に設置されるものであり、図１に示すように、ＣＰＵ２６ａを備える情報処理部２６と、データベース２８と、装置側の通信部１６ｂとを有する。このような情報処理装置１４は、例えばパーソナルコンピュータやデータベース等から構成されるものであっても良い。
後に詳述するが、この情報処理装置１４は、情報処理部２６において、カメラ１２から通信部１６ｂに転送された撮影画像データ、仮カメラ制御情報、付加情報、要望する処理内容の指示情報などの各種の情報を用いて、カメラの制御情報などの撮影制御に関する情報（以下、撮影制御関連情報ともいう）、カメラの位置情報などの撮影画像に関する情報（以下、撮影画像関連情報ともいう）等を生成（演算）して、通信部１６ｂからカメラ１２に転送し、またプリント作成、画像データ記録媒体への記録再生、ネット配信のための画像処理条件などの画像処理に関する情報（以下、画像処理関連情報ともいう）等を演算（導出）する。もちろん、情報処理装置１４で演算された画像処理関連情報を通信部１６ｂからカメラ１２に転送しても良い。
【００２４】
なお、情報処理装置１４は、こうして得られた画像処理条件などの画像処理関連情報を用いて撮影画像データに画像処理を施して処理画像データを生成して、カメラ１２に転送しても良いし、この画像処理条件などの画像処理関連情報とともに、出力画像のプリント出力などを行うデジタルフォトプリンタなどの出力機３０に供給しても良い。
なお、出力機３０は、出力画像をプリントとして出力するデジタルフォトプリンタの他、出力画像（処理画像データ）をＭＯやＦＤ等の各種の画像データ記録媒体に記録および／または再生するメディアドライバや、インターネットなどの通信網を介してネット転送（配信および／または再生）サービスを行う手段であっても良い。なお、以下の説明においては、出力画像を、主としてプリントとして出力する出力形態を代表例として説明するが、画像データ記録媒体記録再生用出力画像、またはネット配信用出力画像として出力する出力形態であっても良いことはもちろんである。
【００２５】
カメラ１２と情報処理装置１４とは、カメラ側通信部１６ａおよび装置側通信部１６ｂからなる通信手段１６で接続され、互いに情報の転送が行われる。
通信手段１６は、公衆通信網を利用する公知の情報通信手段であっても、専用通信網を利用する通信手段であっても良く、例えば、インターネットやコンピュータ通信ネットワーク、電話回線を利用する通信手段、無線通信を利用する通信手段等であり、有線であっても無線であっても、両方を併用するものであってもよい。
また、カメラ側通信部１６ａは少なくとも送信部である必要があり、装置側通信部１６ｂは少なくとも受信部である必要があるが、両者とも双方向の送受信が可能な双方向通信手段（送受信手段）であるのが好ましい。
【００２６】
なお、本発明において、カメラ１２から情報処理装置１４に転送される撮影画像データ、仮カメラ制御情報、付加情報、指示情報等の各種の情報、および情報処理装置１４において導出または生成され、カメラ１２に転送される撮影制御に関する情報、撮影画像に関する情報、画像処理に関する情報は、以下のように説明できる。
まず、撮影画像データは、カメラ１２で被写体を撮影した画像の画像データであり、デジタル画像データであるのが良い。
仮カメラ制御情報は、カメラ１２で被写体を撮影する際、実際の撮影の前に、情報処理装置１４に転送するためにカメラ１２側で仮に設定される撮影倍率（撮影距離）やシャッタースピードや絞りなどのカメラ１２を制御するためのカメラ制御情報である。例えば、通常の撮影の場合、構図などを確認したり、変更したり、決めたりするために行うフォーカスロック時に仮に設定される種々のカメラ制御情報も含まれる。
【００２７】
付加情報は、カメラ１２内で自動生成する撮影制御以外の時計データや位置データなどのデータと、外部装置２２や移動電話機２４等の外部接続機器からカメラ１２への入力データと、撮影者によるカメラ１２への入力データと、の少なくとも１つである。
指示情報は、撮影者が要望する画像処理の内容を選択または指示するデータである。
【００２８】
撮影制御に関する情報は、カメラ１２のＡＥ、ＡＦ、撮影倍率等のカメラ制御情報と、マニュアル撮影における撮影補助情報（カメラ制御情報を含んでいても良い）と、撮影位置や撮影方位のデータと、の少なくとも１つである。
画像処理に関する情報は、カメラ１２側で実行する画像処理に対する画像処理条件（例えば、処理内容および設定パラメータ）またはカメラ１２側への返送画像に対する画像処理条件または返送画像そのものと、出力画像（例えば、プリント、画像データ記録媒体への記録再生、ネット配信）に対する画像処理条件または出力画像そのものと、の少なくとも１つである。
撮影画像に関する情報は、被写体に関するデータ（例えば、被写体の撮影結果、その画面内エリアに関するデータ、被写体にまつわる関連データなど）と、撮影状況に関するデータ（例えば、撮影者、撮影地点、撮影日時等の各種データ、それらにまつわる関連データ）と、の少なくとも１つである。
【００２９】
このような本発明の撮影システム１０においては、従来のカメラシステムでは不可能であった、各種の高機能かつ高精度な処理を行うことができる。
【００３０】
一例として、カメラ１２のイメージセンサ１８で撮影した画像を用いて、カメラ単体が有する性能、すなわちカメラ１２のＣＰＵ２１のカメラ制御性能を超えた、より高精度な自動焦点合わせ（ＡＦ）や自動露出調整（ＡＥ）を行うことができる。
【００３１】
この処理においては、プリントのための撮影に先立ち、イメージセンサ１８で撮影した画像（画像データ）を、通信手段１６によって情報処理装置１４に転送する。なお、転送時間や通信費用等の点で、画像は符号化圧縮したデータや間引きデータとして転送するのが好ましい（この点に関しては、以下に示す各例における情報通信も同様である）。
情報処理装置１４は、情報処理部２６において画素の連続性、形状認識、ＧＵＩ（graphical user interface) を用いたオペレータによる切り出し等の公知の方法で、画像から主要被写体を抽出し、撮影制御関連情報となる主要被写体の情報を通信手段１６によってカメラ１２に転送する。
カメラ１２においては、送られた主要被写体の情報を用いて、ＡＦ、ＡＥ、ホワイトバランス調整等を行い、プリントのための撮影を行う。あるいは、カメラ１２におけるＡＦやＡＥ等の制御を情報処理装置１４で設定して、カメラ制御情報としてカメラ１２に転送してもよい。
すなわち、本態様によれば、主要被写体情報を利用して、カメラ性能を超えたより高精度なＡＦやＡＥ等を行うことができる。
【００３２】
上記処理においては、プリントのための撮影後、撮影した画像を情報処理装置１４に送り、情報処理装置１４で画像処理を行って、処理済の画像をカメラ１２に再転送して、ユーザがカメラ１２のモニタ２０で、画像の確認を行ってもよい（すなわち、モニタ２０を用いて、ユーザによる検定を行ってもよい）。
この確認によって、プリントの依頼時に、ユーザが希望する画像の色／濃度調整をラボ店に指示することが可能となる。あるいは、モニタ２０で画像確認を行い、希望する色／濃度調整が有る場合には、その情報を情報処理装置１４に送信して、画像処理条件を変更してもよい。
【００３３】
以上の処理において、複数の主要被写体が抽出された場合には、抽出した主要被写体に優先順位を付けてもよい。
この際においては、優先順位に応じて、モニタ２０に表示した画像に枠等で主要被写体を表示し、ユーザが確認して、適正な主要被写体ではない場合には、次の主要被写体を要求して表示させることを繰り返し、適正な主要被写体が表示された時点で、主要被写体を確定する旨の指示を出し、確定した主要被写体に応じて、前記ＡＦやＡＥ等を行ってもよい。
【００３４】
このようなカメラ制御情報の生成において、カメラがビデオカメラ（動画の撮影）である場合には、多段フォーカス画像を利用してもよい。
まず、被写体の動きが少ない状態で、複数の合焦フォーカス位置を変えた画像、すなわち多段フォーカス画像を撮影し、これを通信手段１６によって情報処理装置１４に転送する。
情報処理手段１４は、転送された多段フォーカス画像を用いて、各画素の奥行き情報を算出し、この奥行き情報を用いて主要被写体を抽出して、主要被写体の情報をカメラ１２に転送する。なお、多段フォーカス画像から、各画素の奥行き情報を導出する手法は、「多重画像の統合（電子情報通信学会誌 Ｖｏｌ７９、Ｎｏ．５ ４９０ページ〜４９９ページ）」に詳述される。また、各画素の奥行き情報から主要被写体を抽出する手法は、本出願人による特開平５−１２７２７０号公報に詳述される。
カメラ１２は、画像を小さいブロックに分割して、転送された主要被写体情報を用いて、ブロック単位で主要被写体の動きの追跡処理を行い、この動き情報を用いて、ＡＦやＡＥを行う。また、主要被写体が抽出されているので、画像を再生する際に、主要被写体エリアと背景エリアとで、個別に輝度調整を行ってもよい。
本態様においても、主要被写体情報およびその動き情報を利用して、カメラ性能を超えたより高精度なＡＦやＡＥ等を行うことができる。
【００３５】
多段フォーカス画像の撮影および情報処理装置１４への転送は、カメラ１２による撮影シーンが変わる毎に行うのが好ましい。
また、デジタルビデオカメラによる動画撮影であっても、前述の例と同様に、１枚（１フレーム）の画像から主要被写体抽出を行って、ＡＦやＡＥを行ってもよいのは、もちろんである。
【００３６】
別の態様として、本発明の撮影システムによれば、カメラ１２を用いた指示で、各種の画像補正も行うことができる。
例えば、以下のようにして、カメラ１２のレンズ性能等に起因する周辺光量低下を補正することができる。
【００３７】
この際には、モード選択等によって、図２（Ａ）に示されるように、カメラ１２のモニタ２０表示を、カメラ１２のレンズの光軸を中心とする同心円で示されるエリアに分割できるようにする。
このモードにおいて、例えば壁のような均一濃度の被写体をイメージセンサ１８で撮影した画像（これを壁画像という）をモニタ２０に表示して、ユーザがモニタ２０を見て、モニタ２０の表示を用いたＧＵＩや外部装置２２によって、画像全体の濃度（輝度）が均一になるように各エリア毎に濃度調節を行い、この調整パラメータ（例えば、各エリア毎の調整量）を、このカメラ１２に固有の周辺光量補正情報として、カメラ１２のメモリ等に記憶する。
調整パラメータを設定したら、カメラ１２で画像を撮影し、撮影した画像と調整パラメータ（周辺光量補正情報）とをセットにして、通信手段１６を用いて、情報処理装置１４に転送する。
なお、カメラ１２で撮影した壁画像（データ）を情報処理装置１４に転送し、情報処理装置１４側で周辺光量補正情報を計算させてもよい。
【００３８】
情報処理装置１４においては、転送された調整パラメータに応じて、カメラ１２で撮影され、転送された全コマの画像の各エリアの濃度を調整し、カメラ１２の周辺光量低下に起因する濃度ムラを補正した画像として、プリンタ等に供給する。
必要に応じて、通信手段１６を用いて、補正を行った画像を情報処理装置１４からカメラ１２に転送して、画像をモニタ２０に表示して、ユーザが補正結果の確認を行ってもよい。
【００３９】
本態様においては、周辺光量低下の補正以外にも、シャープネス強調または平滑化処理についても、エリア毎に強度設定を行って、情報処理装置１４において画像の補正を行ってもよい。
また、濃度（輝度）調整やシャープネス強度調整は、画像全体を均一にするのに限定はされず、例えば、意図的にある領域のみを強調するようにしてもよい。なお、この場合には、調整パラメータと対象となる画像（コマ）とを対応付けて、情報処理装置１４に送る。
さらに、画面のエリア分割をユーザが任意に設定できるようにしてもよい。
【００４０】
さらに、本発明の撮影システムによれば、以下のようにして、画像に各種の幾何学的な調整（補正）を行うこともできる。
例えば、カメラ１２のレンズ収差等に起因する画像の歪曲（幾何学歪み）の補正方法としては、カメラ１２で撮影した画像をモニタ２０に表示して、明らかに直線である部分（例えば、建造物や電柱等）が歪んでいる場合には、図２（Ｂ）に示されるように、ユーザが、その部分を３点指示（図中、点ａ，ｂおよびｃ）し、これを同様に、このカメラ１２に固有の調整パラメータ（歪み補正情報）として記憶する。
調整パラメータを設定したら、カメラ１２で撮影した画像と、調整パラメータとをセットにして、通信手段１６によって情報処理装置１４に転送する。情報処理装置１４は、この調整パラメータ（歪み補正情報）を用いて、対称的な全画面分の幾何学歪み補正パラメータを算出して、これを用いて、転送された全コマの画像の幾何学歪みを補正する。
また、必要に応じて、通信手段１６を用いて補正を行った画像をカメラ１２に転送して、カメラ１２のモニタ２０に表示して、ユーザが補正結果の確認を行ってもよい。
【００４１】
この画像補正（調整）においても、意図的に画像を歪めるような調整パラメータを設定してもよい。
例えば、カメラ１２のモニタ２０に撮影した画像を表示して、図２（Ｃ）に示されるように、モニタ２０上において、ＧＵＩ等によって画像の任意の点を始点とし、終点まで画像を歪める指示を意味する矢印を設定し、これを調整パラメータとして画像と組み合わせて情報処理装置１４に転送して、画像を意図的に歪ませる処理を行ってもよい。
また、図２（Ｄ）に示されるような、歪みのパターンを予め設定しておき、このパターンを調整パラメータとして画像とを組み合わせて情報処理装置１４に転送して、同様に処理を行ってもよい。
なお、以上の例においても、調整パラメータと対象となる画像とを、対応付けて情報処理装置１４等に供給する。
【００４２】
以上の説明より明らかなように、これらの態様によれば、周辺光量低下に起因する画像濃度補正の程度や、シャープネス強調または平滑化処理のエリア毎の強度、また、レンズの収差に起因する画像の幾何学的な歪みを、ユーザの好みに応じて設定および調整することができる。
また、任意に調整程度を変えて、意図的な濃度差や鮮鋭度差、歪みを有する加工画像が作成できるので、プリントの娯楽性を向上することができる。
その他、濃度や色別の階調調整をマニュアルで行えるようにしても良い。
さらに、上述した各種の画像処理の適用エリアを任意に指定できるようにしても良い。
【００４３】
以上説明した画像補正については、調整パラメータおよび画像データは、必ずしも、通信手段１６を用いて情報処理装置１４等に提供される必要はなく、例えば、両者を有する画像ファイルとしてスマートメディアなどの記憶媒体に記憶して、ラボ店などの情報処理装置１４に提供してもよい。
また、周辺光量補正や幾何学歪補正等の処理は、必ずしも情報処理装置１４で行うのに限定はされず、例えば、調整パラメータを用いて、ラボ店のプリンタが有する画像情報の処理手段で行ってもよい。
さらに、必要に応じて、各種の調整パラメータをカメラ１２に固有の調整パラメータとして、カメラ１２に対応付けて、情報処理装置１４やラボ店における画像情報の処理手段等に記憶して、以降、同じカメラ１２の画像が供給された場合には、このパラメータを用いて画像の調整（補正）を行ってもよい。
【００４４】
別の態様として、本発明の撮影システムによれば、カメラ１２を用いた指示で、カメラ１２で撮影した画像（以下、撮影画像とする）に、任意の画像や文字を合成する処理も容易に行うことができる。
【００４５】
この態様においては、カメラ１２に、撮影画像、音声、キーボードやボタンによる操作、手書き画像（データ）等の各種のデータ入力機能、ならびに、モニタ２０を用いたＧＵＩ等による合成位置指定機能を持たせる。データ入力機能は、外部装置２２、移動電話機２４等を用いた公知の手段で構成すればよい。
カメラ１２のユーザは、このデータ入力機能を用いて、撮影画像に合成する画像や文字（以下、合成画像とする）に対応するデータを入力すると共に、変換パターン指示情報（後に詳述する）をカメラ１２に入力し、通信手段１６を用いて、情報処理装置１４に転送する。
情報処理装置１４においては、変換パターン指示情報に応じて、入力されたデータを変換して合成画像の画像データとし、この画像データを通信手段１６を用いてユーザのカメラ１２に転送する。
【００４６】
カメラ１２では、前記合成位置指定機能を用いて、合成画像の合成位置を指定すると共に、転送された合成画像をモニタ２０に表示し、あるいは撮影画像と合成画像とを合成したプリント画像としてモニタ２０に表示し、適正であれば、プリント画像を、例えば情報処理装置１４に転送して、プリンタ等に供給する。あるいは、このプリント画像を画像ファイルとして記憶媒体に記憶し、ラボ店にプリント作成を依頼する。
なお、この際において、入力データ（合成画像）が情報処理装置１４に残っている場合には、カメラ１２による撮影画像のみを情報処理装置１４に転送して、画像合成を行って、プリント画像としてもよい。
【００４７】
前述の変換パターン指示情報としては、以下に示すものが例示される。
入力データが撮影画像（動画を含む）である場合には、入力データを合成画像に対応する画像（２値化画像、インデックス化）の画像データに変換する変換パターン指示が例示される。
入力データが時刻表のような書面等を撮影した画像である場合には、入力データを合成画像に対応する文書の画像データに変換する変換パターン指示が例示される。また、この場合には、音声データに変換してもよい。
入力データが音声である場合には、公知の方法で音声認識を行って、入力データを合成画像に対応する文字や画像（撮影画像、背景画像、各種キャラクタ等）等の画像データに変換する変換パターン指示が例示される。
入力データがキー操作やボタン操作によるものである場合には、入力データを合成画像に対応する文字や画像等の画像データに変換する変換パターン指示が例示される。
さらに、入力データが手書き文字である場合には、必要に応じて公知の方法で文字認識を行い、入力データを合成画像に対応する文字や画像等の画像データに変換する変換パターン指示が例示される。
【００４８】
また、入力データに変えて、ラボ店等が提供する合成用のテンプレートを情報処理手段１４および通信手段１６等を用いてカメラ１２に供給してもらい、モニタ２０に表示して選択し、その画像データをカメラ１２が取得してもよい。
【００４９】
以上の説明より明らかなように、本態様によれば、プリントに各種のメッセージや画像等を容易に合成することができ、また、仕上がりの確認も迅速かつ容易に行うことができる。
【００５０】
上記処理において、入力データを文字や画像に変換する方法としては、一例として、画像データ（撮影画像、背景画像、キャラクタ、テンプレート、各種のマーク等）や文字データ（直筆サイン、各種コメントや俳句や詩などの文章等）およびその指定領域と、入力データとなる参照語（例えば、文字、音声、キーやボタン等で入力されたキーワード）や指示ボタン（キー）等とを関連付けて、情報処理手段１４やカメラ１２に接続される外部装置２２等に登録／記憶する方法が例示される。また、データそのものではなく、フィルムＩＤ、コマ番号、画像データ（ファイル）名、キャラクタパターンの記述ファイル名、限定エリア情報（形状、中心座標や輪郭画像座標等）を登録してもよい。
【００５１】
また、入力データに対応する合成画像の画像データ群を設定しておき、入力データに応じて、対応する画像データ群を読み出してもよい。例えば、人名で「Ａ子」という入力データと、過去に処理した「Ａ子」の画像とを対応付けて登録しておき、音声等で「Ａ子」と入力されたら、「Ａ子」の画像を読み出して、カメラ１２に転送してもよい。
【００５２】
また、画像処理の内容と、カメラ１２のユーザ独自の参照語や指示ボタン等とを対応付けて登録しておき、前述の入力データと同様にして画像処理の指示を入力して、ユーザが所望する仕上がりの撮影画像を再現したプリントを出力できるようにしてもよい。
この際においては、処理の適用範囲、処理の強度、その他の各種の処理パラメータ等も画像処理の内容に含めてもよい。
【００５３】
別の態様として、本発明の撮影システム１０によれば、カメラ１２で撮影した画像および簡易な撮影位置情報を利用してＧＰＳ（global positioning system 汎地球測位システム）等を用いることなく、ユーザ（撮影者）が自分の位置を高い精度で知ることもできる。
【００５４】
カメラ１２のユーザは、画像を撮影して、外部装置２２や移動電話機２４を用いて、この画像を撮影した大まかな位置（通りの名前、町名、番地等）の情報をカメラ１２に入力し、通信手段１６を用いて、撮影した画像と共に情報処理装置１４に転送する。
位置情報には、ＰＨＳの位置情報サービスを利用してもよい。また、位置情報には、撮影方位の情報を含めてもよい。さらに、方向を変えて複数枚の撮影を行うことで、検出精度を上げることができる。
【００５５】
この態様においては、情報処理装置１４は地図情報（高さ等の、建造物や山などに関する情報を含んでもよい）を有しており、転送された撮影画像と位置情報とを用いて、予想されるカメラ位置を複数箇所検出し、各位置について、シュミレーションによって仮想的視野の画像を生成し、撮影画像とのパターンマッチングを行う。
上記パターンマッチング処理の結果、一致度が所定値を超えた地点を撮影場所の候補地点として、情報処理装置１４は、その位置のデータ、あるいは、その位置の地図の画像データをカメラ１２に転送する。
これをカメラ１２のモニタ２０に表示することにより、ユーザは、自分の位置を検知することができる。
【００５６】
また、カメラ１２がビデオカメラである場合には、多段フォーカス画像を用いてもよい。
すなわち、同様にして、ユーザは、多段フォーカス画像と位置情報とを情報処理装置１４に転送する。情報処理装置１４では、同様に、予想されるカメラ位置を検出し、各位置について仮想的視野の奥行きデータを生成し、撮影画像（多段フォーカス画像）から求めた奥行きデータとのパターンマッチングを行う。以下、同様にして、一致度が所定値を超えた地点を撮影場所の候補地点としてその位置のデータをカメラ１２に転送し、モニタ２０に表示して、ユーザが位置確認を行う。
なお、この方法においては、カメラ１２に複数ポイントの測距機能が付いている場合には、多段フォーカス画像から奥行きデータを求める代わりに、直接、測距データを用いてもよい。
【００５７】
また、本発明の撮影システム１０においては、上述した以外の態様の種々の処理、例えば、本出願人の出願に係る特開２０００−６６３１２号公報、同２０００−１０５４３１号公報、同２０００−１１５６８６号公報、同２０００−７６４２７号公報、特願平１１−２００５７２号の明細書、および特願平１１−３０６６００号の明細書に記載の種々の処理をネットなどを経由することにより、行うことができる。
例えば、特開２０００−６６３１２号公報に開示された処理を行う場合には、撮影画像データと、日時情報または位置情報とをカメラ１２から情報処理装置１４に伝送し、情報処理装置１４で被写体関連情報等を導出し、カメラ１２に再び返送しても良い。この時、画像に追加する付加情報として、カメラユーザが取捨選択して設定するのが好ましい。
【００５８】
また、特開２０００−１０５４３１号公報および同２０００−１１５６８６号公報に開示された処理を行う場合には、カメラとカートリッジＩＣとの間の情報処理を、カメラ１２と情報処理装置１４との間に置き換えて実行すれば良い。例えば、撮影画像の特定エリアの指定情報および検索指示の情報をカメラ１２から情報処理装置１４に伝送し、情報処理装置１４では、データベース２８内に記憶されている百科事典データベースを利用し、パターンマッチング等による被写体判定および被写体関連情報の導出を行い、カメラ１２に再び返送しても良い。
また、特開２０００−７６４２７号公報に開示された処理を行う場合には、眼領域の指定をカメラ１２側で行い、その指定情報とその画像（デ−タ）を情報処理装置１４に伝送し、情報処理装置１４で赤目修正処理を実行し、修正済画像（デ−タ）をカメラ１２に返送し、カメラ１２の画像記録媒体１９に記録し、さらに、フォトプリンタなどに供給して、プリントを出力する。
【００５９】
さらに、特願平１１−２００５７２号の明細書に記載された処理を行う場合には、カメラ１２側で大まかな輪郭図形を手書き入力して、カメラ１２から情報処理装置１４に転送し、情報処理装置１４側でデ−タベ−ス２８の形状デ−タによるマッチング検索を行い、ヒットした検索画像をカメラ１２に返送する。
なお、撮影画像デ−タを転送し、公知の濃度・色味を用いたマッチング手法の画像検索処理であっても良い。
さらにまた、特願平１１−３０６６００号の明細書に記載された処理を行う場合には、被写体や撮影状況に応じて、画像処理の内容を制御したり、データベース２８から導出したイベント情報等をカメラ１２に返送することもできる。
なお、各画像処理に関する付加情報入力用、または指示情報入力用のユーザインタフェースプログラムを、情報処理装置１４側からカメラ１２側へ転送するようにしても良い。
【００６０】
このような本発明の撮影システム１０において、上述した各種の処理は、必ずしも、カメラ１２から情報処理装置１４に情報を転送して行う必要はなく、例えば、指定された処理が、カメラ１２に接続されるパーソナルコンピュータ等の外部装置２２で実行可能か否かを判定し、可能な場合には、外部装置２２によって処理を行ってもよい。
例えば、処理内容を示す管理データをカメラ１２と外部装置２２の双方で持ち、管理データを用いて外部装置２２に指示された処理機能が搭載されているか否かをチェックし、外部装置２２に機能が搭載されている場合には、外部装置２２で処理を行い、外部装置２２に機能が搭載されておらず、処理が不可能であると判定した場合には、通信手段１６を用いて、必要な情報を情報処理装置１４に転送して、処理を行う。
【００６１】
通常、ラボ店等が有する情報処理装置１４における処理は、手数料や通信コストがかかるので、優先順位を低くし、指示された処理の処理機能を外部装置２２が搭載している場合には、外部装置２２での処理を優先的に選択するのが好ましい。
ただし、外部装置２２に機能が搭載されていても、処理内容によっては、外部装置２２では演算時間が膨大になってしまう場合や、通信の契約内容によって通信費が割安になる場合もあり、また、処理精度等の点で情報処理装置１４で処理を行うのが好ましい場合もある。従って、外部装置２２と情報処理装置１４の何れで処理を行うかは、ユーザが選択可能にしてもよく、処理内容毎に優先順位を設定してもよく、手動で優先順位を変更可能にしてもよく、これらを併用してもよい。
また、処理内容に応じて、依頼先（情報処理装置）を複数の中から選択するようにしてもよい。
【００６２】
以上、本発明の画像処理方法および装置、カメラならびに撮影システムについて詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのは、もちろんである。
【００６３】
【発明の効果】
以上、詳細に説明したように、本発明の画像処理方法および装置、カメラならびに撮影システムによれば、カメラの機能や性能を大幅に向上して、主要被写体を考慮したＡＦやＡＥ、画像の補正や画像合成、撮影者の位置検出等、従来のカメラでは不可能であった各種の処理を簡易かつ迅速に行うことができる。
【図面の簡単な説明】
【図１】 本発明の撮影システムの一実施例の概念図である。
【図２】 （Ａ），（Ｂ），（Ｃ）および（Ｄ）は、本発明の撮影システムで実行する処理の一例を説明するための概念図である。
【符号の説明】
１０ 撮影システム
１２ カメラ
１４ 情報処理装置
１６ 通信手段
１６ａ カメラ側通信部
１６ｂ 装置側通信部
１８ イメージセンサ
１９ 画像記録媒体
２０ モニタ
２１ ＣＰＵ
２２ 外部装置
２３ 接続部
２４ 移動電話機
２６ 情報処理部
２６ａ ＣＰＵ
２８ データベース
３０ 出力機[0001]
BACKGROUND OF THE INVENTION
The present invention belongs to a technical field of an image processing method and apparatus, a camera, and a photographing system employed when photographing a subject using various cameras such as a digital camera, and more specifically, greatly improves the performance and functions of the camera. The present invention relates to an image processing method and apparatus, a camera, and a photographing system.
[0002]
[Prior art]
Camera performance is improving year by year, and cameras that have an AF (auto focus) function that automatically adjusts the focus when shooting and an AE (auto exposure) function that automatically adjusts the exposure are no longer common sense. .
[0003]
In addition, it has a plurality of exposure programs (combination of shutter speed and aperture value), and the user selects an appropriate exposure program according to the shooting environment, shooting target (subject or subject state), user preference, etc. There are also many cameras that can be automatically selected by the camera.
Further, there are many models in which such an exposure program or the like is stored in an accessory (accessory part) such as an IC card, and an exposure program according to the user's preference or application can be downloaded to the camera as appropriate.
[0004]
As described above, although the performance of the camera has become very high in recent years, the processing capability of the CPU mounted on the camera, that is, the processing that can be performed by the camera is limited. Therefore, for example, more complicated processing such as image processing according to the user's wish cannot be performed.
[0005]
[Problems to be solved by the invention]
The purpose of the present invention is to greatly improve the functions and performance of the camera, and not only conventional automatic focusing and automatic exposure, but also more advanced camera control, image composition, image correction, etc. according to the subject, shooting scene, etc. Another object of the present invention is to provide an image processing method and apparatus, a camera, and a photographing system that can perform various processes.
[0006]
[Means for Solving the Problems]
  In order to achieve the above object, the present invention provides:A captured image processing method performed using a system including a camera and an information processing apparatus, wherein an adjustment image captured by the camera is displayed on a monitor of the camera, and the image displayed on the monitor The camera accepts the camera-specific image adjustment parameters input from the outside based on the adjustment image, and the information processing apparatus receives and stores the camera-specific image adjustment parameters received by the camera. And the information processing apparatus receives image data of a captured image captured by the camera, and generates an image obtained by adjusting the image of the received captured image data according to the stored adjustment parameter; A photographed image processing method characterized by comprising:To do.
[0007]
  here,In the storing step, the information processing apparatus stores the received image adjustment parameter in association with the camera, and in the generating step, the information processing apparatus receives image data supplied from the outside. When the image data supplied from the outside is captured image data captured by the camera, generating an image obtained by adjusting the image of the received captured image data according to the stored image adjustment parameter; It is preferable to have.
[0008]
Note that the image adjustment parameter is preferably a parameter for correcting a decrease in peripheral light amount unique to the camera.
[0009]
Further, the adjustment image is an image obtained by photographing a subject having a uniform density with the camera,
The image adjustment parameter is preferably information input to the camera by a user who viewed the adjustment image displayed on the monitor of the camera.
[0010]
The image adjustment parameter is preferably information that the user inputs to the camera so that the density of the adjustment image displayed on the monitor is uniform over the entire screen.
[0011]
Further, it is also preferable that the image recording adjustment parameter is a parameter for correcting distortion inherent in the lens of the camera.
[0012]
The present invention is also a captured image processing system including a camera and an information processing apparatus connected to the camera via communication means, and the camera is an adjustment image captured by itself. And a memory for storing image adjustment parameters specific to the camera, which are input from the outside based on the adjustment image displayed on the monitor, and an image of a captured image captured by the camera Data and image adjustment parameters unique to the camera stored in the memory are transmitted to the information processing apparatus via communication means, and the information processing apparatus transmits the image adjustment parameters received via the communication means to the image adjustment parameters. Accordingly, a photographed image processing system including an information processing unit that generates an image obtained by adjusting an image of the received photographed image data is also provided.
[0013]
The information processing apparatus includes a memory that stores the received image adjustment parameter and the camera in association with each other, and the information processing unit captures image data supplied to the information processing apparatus with the camera. In the case of the captured image data, it is preferable that an image obtained by adjusting the image of the supplied captured image data is generated according to the image adjustment parameter stored in the memory.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
An image processing method and apparatus, a camera, and a photographing system according to the present invention will be described below in detail based on preferred embodiments shown in the accompanying drawings.
[0020]
FIG. 1 shows a conceptual diagram of an embodiment of a photographing system of the present invention.
An imaging system 10 shown in FIG. 1 basically includes a camera 12 of the present invention, an information processing apparatus 14 that is an image processing apparatus of the present invention that implements the image processing method of the present invention, a camera 12, and an information processing apparatus. The communication unit 16 includes a communication unit 16a on the camera side and a communication unit 16b on the apparatus side for connecting the wireless communication device 14 by wire or wirelessly.
[0021]
In the photographing system 10 of the present invention, the camera 12 includes an image sensor 18 such as a CCD sensor, and an image recording medium 19 that stores an image photographed (photoelectrically read) by the image sensor 18 as photographed image data. A monitor 20 that displays a captured image, a CPU 21 that controls the entire camera, and a communication unit 16a on the camera side.
In the present invention, an image sensor 18 such as a CCD is used, and an image data recording medium 19 such as a smart media, a memory stick, or a floppy disk (FD) is used as an image recording medium 19, and photographed image data is recorded thereon. If there are, various cameras can be used, and a digital still camera and a digital video camera are exemplified. Further, the image sensor 18 and the monitor 20 function as a finder or the like, and the captured image data is acquired by the image sensor 18. If possible, a camera that uses a photographic film as the image recording medium 19 and photographs an image on the photographic film may be used. In the case of such a conventional optical camera, an image taken by the image sensor 18 is automatically used for camera control information such as automatic setting (AE) such as shutter speed and aperture, and automatic setting (AF) of shooting magnification and shooting distance. Used for setting and confirmation of captured images.
[0022]
In the imaging system 10 of the illustrated example, as a preferred mode, the camera 12 is provided with a connection unit 23, and an external device 22 such as a PDA (personal digital assistant) or a personal computer, a mobile phone, a PHS, or the like. A mobile telephone 24 or the like is configured to be connectable.
[0023]
The information processing apparatus 14 is installed in a lab shop, a service center, or the like, and includes an information processing section 26 including a CPU 26a, a database 28, and a communication section 16b on the apparatus side, as shown in FIG. Such an information processing apparatus 14 may be constituted by, for example, a personal computer or a database.
As will be described in detail later, the information processing apparatus 14 is configured such that, in the information processing unit 26, the captured image data, temporary camera control information, additional information, and instruction information for the desired processing content transferred from the camera 12 to the communication unit 16b. Using various types of information, information related to shooting control such as camera control information (hereinafter also referred to as shooting control related information), information related to shot images such as camera position information (hereinafter also referred to as shooting image related information), etc. Generated (calculated) and transferred from the communication unit 16b to the camera 12, and information relating to image processing such as image processing conditions for print creation, recording / playback on an image data recording medium, and net distribution (hereinafter referred to as image processing related) (Also referred to as information). Of course, the image processing related information calculated by the information processing apparatus 14 may be transferred from the communication unit 16 b to the camera 12.
[0024]
Note that the information processing apparatus 14 may perform image processing on the captured image data using image processing related information such as the image processing conditions obtained in this way to generate processed image data, and transfer the processed image data to the camera 12. The image processing related information such as the image processing conditions may be supplied to an output device 30 such as a digital photo printer that prints out an output image.
In addition to the digital photo printer that outputs the output image as a print, the output device 30 is a media driver that records and / or reproduces the output image (processed image data) on various image data recording media such as MO and FD, It may be a means for providing a network transfer (distribution and / or playback) service via a communication network such as the Internet. In the following description, an output form in which an output image is mainly output as a print will be described as a representative example. However, this is an output form in which an output image is output as an image data recording medium recording / playback image or an output image for net distribution. Of course.
[0025]
The camera 12 and the information processing apparatus 14 are connected by a communication unit 16 including a camera side communication unit 16a and a device side communication unit 16b, and information is transferred to each other.
The communication means 16 may be a known information communication means using a public communication network or a communication means using a dedicated communication network. For example, the communication means using the Internet, a computer communication network, or a telephone line. It is a communication means using wireless communication, and may be wired, wireless, or a combination of both.
The camera-side communication unit 16a needs to be at least a transmission unit, and the device-side communication unit 16b needs to be at least a reception unit. Both of them can perform bidirectional transmission / reception (transmission / reception unit). Is preferred.
[0026]
In the present invention, various types of information such as photographed image data, temporary camera control information, additional information, and instruction information transferred from the camera 12 to the information processing apparatus 14 and derived or generated in the information processing apparatus 14 The information relating to shooting control, the information relating to the shot image, and the information relating to image processing that are transferred to can be described as follows.
First, the photographed image data is image data of an image obtained by photographing a subject with the camera 12, and is preferably digital image data.
The temporary camera control information is a shooting magnification (shooting distance), a shutter speed, and an aperture temporarily set on the camera 12 side to be transferred to the information processing device 14 before actual shooting when shooting a subject with the camera 12. This is camera control information for controlling the camera 12. For example, in the case of normal shooting, various camera control information temporarily set at the time of focus lock performed for confirming, changing, or determining the composition is also included.
[0027]
Additional information includes data such as clock data and position data other than shooting control automatically generated in the camera 12, input data to the camera 12 from an external device such as the external device 22 and the mobile phone 24, and a camera by the photographer. 12 and at least one of the input data.
The instruction information is data for selecting or instructing the content of image processing desired by the photographer.
[0028]
Information related to shooting control includes camera control information such as AE, AF, and shooting magnification of the camera 12, shooting assistance information in manual shooting (which may include camera control information), shooting position and shooting direction data, At least one of the following.
Information relating to image processing includes image processing conditions (for example, processing contents and setting parameters) for image processing executed on the camera 12 side, image processing conditions for the return image to the camera 12 side or the return image itself, and an output image (for example, Print processing, recording / reproducing on an image data recording medium, and net distribution) at least one of image processing conditions or an output image itself.
Information related to the photographed image includes data relating to the subject (for example, the photographing result of the subject, data relating to the area in the screen, related data relating to the subject, etc.) and data relating to the photographing situation (eg, the photographer, the photographing location, the photographing date and time, etc. Data and related data related to them).
[0029]
In such a photographing system 10 of the present invention, it is possible to perform various kinds of high-functionality and high-precision processes that are impossible with the conventional camera system.
[0030]
As an example, by using an image captured by the image sensor 18 of the camera 12, higher-precision automatic focusing (AF) and automatic exposure adjustment that exceed the performance of the camera itself, that is, the camera control performance of the CPU 21 of the camera 12. (AE) can be performed.
[0031]
In this processing, an image (image data) photographed by the image sensor 18 is transferred to the information processing device 14 by the communication means 16 prior to photographing for printing. Note that the image is preferably transferred as encoded and compressed data or thinned data in terms of transfer time, communication cost, and the like (in this regard, information communication in the following examples is the same).
The information processing apparatus 14 extracts the main subject from the image by a known method such as pixel continuity, shape recognition, and clipping by an operator using a GUI (graphical user interface) in the information processing unit 26, and information related to shooting control The main subject information is transferred to the camera 12 by the communication means 16.
The camera 12 performs AF, AE, white balance adjustment, etc., using the sent main subject information, and performs shooting for printing. Alternatively, control such as AF and AE in the camera 12 may be set by the information processing apparatus 14 and transferred to the camera 12 as camera control information.
That is, according to this aspect, it is possible to perform higher-precision AF, AE, etc. exceeding the camera performance using main subject information.
[0032]
In the above processing, after shooting for printing, the shot image is sent to the information processing apparatus 14, the image processing is performed by the information processing apparatus 14, and the processed image is re-transferred to the camera 12. The image may be confirmed on the twelve monitors 20 (that is, a test by the user may be performed using the monitor 20).
This confirmation enables the lab store to be instructed to adjust the color / density of the image desired by the user when requesting printing. Alternatively, when the image is confirmed on the monitor 20 and there is a desired color / density adjustment, the information may be transmitted to the information processing apparatus 14 to change the image processing conditions.
[0033]
In the above processing, when a plurality of main subjects are extracted, priority may be given to the extracted main subjects.
In this case, the main subject is displayed in a frame or the like on the image displayed on the monitor 20 according to the priority order, and when the user confirms that it is not an appropriate main subject, the next main subject is requested. When an appropriate main subject is displayed, an instruction to confirm the main subject is issued, and the AF, AE, or the like may be performed according to the confirmed main subject.
[0034]
In the generation of such camera control information, when the camera is a video camera (moving image shooting), a multistage focus image may be used.
First, in a state where there is little movement of the subject, a plurality of images with different focus positions, that is, multi-stage focus images are taken, and these are transferred to the information processing device 14 by the communication means 16.
The information processing means 14 calculates the depth information of each pixel using the transferred multistage focus image, extracts the main subject using this depth information, and transfers the information on the main subject to the camera 12. A method for deriving the depth information of each pixel from the multistage focus image is described in detail in “Integration of Multiple Images (Electronic Information and Communication Society Vol. 79, No. 5, pages 490 to 499)”. A method for extracting the main subject from the depth information of each pixel is described in detail in Japanese Patent Laid-Open No. 5-127270 by the present applicant.
The camera 12 divides the image into small blocks, performs the tracking processing of the main subject in units of blocks using the transferred main subject information, and performs AF and AE using the motion information. In addition, since the main subject is extracted, the luminance adjustment may be performed separately for the main subject area and the background area when the image is reproduced.
Also in this aspect, it is possible to perform AF and AE with higher accuracy exceeding the camera performance by using the main subject information and the motion information thereof.
[0035]
It is preferable that the shooting of the multistage focus image and the transfer to the information processing apparatus 14 be performed every time the shooting scene of the camera 12 changes.
Further, even in the case of moving image shooting with a digital video camera, it is of course possible to perform AF and AE by extracting the main subject from one (one frame) image, as in the above example. .
[0036]
As another aspect, according to the photographing system of the present invention, various image corrections can be performed by an instruction using the camera 12.
For example, it is possible to correct the peripheral light amount decrease due to the lens performance of the camera 12 and the like as follows.
[0037]
At this time, as shown in FIG. 2A, the monitor 20 display of the camera 12 can be divided into areas indicated by concentric circles centered on the optical axis of the lens of the camera 12 by mode selection or the like. To do.
In this mode, for example, an image (this is called a wall image) obtained by photographing an object with a uniform density such as a wall by the image sensor 18 is displayed on the monitor 20, and the user looks at the monitor 20 and uses the display on the monitor 20. The density is adjusted for each area so that the density (brightness) of the entire image becomes uniform by using the GUI or the external device 22, and this adjustment parameter (for example, the adjustment amount for each area) is unique to this camera 12. Is stored in the memory of the camera 12 or the like.
After setting the adjustment parameters, the camera 12 captures an image, sets the captured image and the adjustment parameter (peripheral light amount correction information) as a set, and transfers them to the information processing apparatus 14 using the communication unit 16.
Note that the wall image (data) captured by the camera 12 may be transferred to the information processing apparatus 14 and the peripheral light amount correction information may be calculated on the information processing apparatus 14 side.
[0038]
In the information processing apparatus 14, the density of each area of the image of all frames shot and transferred by the camera 12 is adjusted according to the transferred adjustment parameter, and density unevenness caused by a decrease in the peripheral light amount of the camera 12 is corrected. The corrected image is supplied to a printer or the like.
If necessary, the communication unit 16 may be used to transfer the corrected image from the information processing apparatus 14 to the camera 12, display the image on the monitor 20, and the user may check the correction result. .
[0039]
In this aspect, in addition to the correction of the decrease in peripheral light amount, the sharpness enhancement or smoothing process may be performed by correcting the image in the information processing apparatus 14 by setting the intensity for each area.
Further, the density (brightness) adjustment and the sharpness intensity adjustment are not limited to making the entire image uniform. For example, only a certain region may be intentionally emphasized. In this case, the adjustment parameter and the target image (frame) are associated with each other and sent to the information processing apparatus 14.
Further, the user may arbitrarily set the screen area division.
[0040]
Furthermore, according to the imaging system of the present invention, various geometric adjustments (corrections) can be performed on an image as follows.
For example, as a method of correcting image distortion (geometric distortion) caused by lens aberration of the camera 12, an image captured by the camera 12 is displayed on the monitor 20, and a portion that is clearly a straight line (for example, a building) 2), when the user designates three points (points a, b, and c in the figure) as shown in FIG. 2B, The adjustment parameters (distortion correction information) unique to the camera 12 are stored.
When the adjustment parameter is set, the image captured by the camera 12 and the adjustment parameter are set and transferred to the information processing apparatus 14 by the communication unit 16. The information processing device 14 uses the adjustment parameter (distortion correction information) to calculate a symmetrical geometric distortion correction parameter for the entire screen, and uses this to calculate the geometry of the transferred images of all frames. Correct distortion.
If necessary, the image corrected using the communication unit 16 may be transferred to the camera 12 and displayed on the monitor 20 of the camera 12 so that the user can check the correction result.
[0041]
In this image correction (adjustment), adjustment parameters that intentionally distort the image may be set.
For example, an image captured on the monitor 20 of the camera 12 is displayed, and as shown in FIG. 2C, an instruction to distort the image from an arbitrary point of the image to the end point by using a GUI or the like on the monitor 20 May be set, and this may be combined with the image as an adjustment parameter and transferred to the information processing apparatus 14 to perform processing for intentionally distorting the image.
Alternatively, a distortion pattern as shown in FIG. 2D may be set in advance, and this pattern may be combined with an image as an adjustment parameter and transferred to the information processing apparatus 14 to perform similar processing. Good.
Also in the above example, the adjustment parameter and the target image are associated with each other and supplied to the information processing apparatus 14 or the like.
[0042]
As is clear from the above description, according to these aspects, the degree of image density correction caused by a decrease in peripheral light amount, the intensity for each area of sharpness enhancement or smoothing processing, and the image caused by lens aberration Can be set and adjusted according to user preferences.
In addition, since a processed image having an intentional density difference, sharpness difference, and distortion can be created by arbitrarily changing the degree of adjustment, the entertainment of printing can be improved.
In addition, gradation adjustment for each density and color may be performed manually.
Furthermore, an application area for the various image processing described above may be arbitrarily designated.
[0043]
For the image correction described above, the adjustment parameter and the image data do not necessarily have to be provided to the information processing apparatus 14 or the like using the communication unit 16, for example, a storage medium such as a smart media as an image file having both And may be provided to the information processing apparatus 14 such as a lab shop.
Further, processing such as peripheral light amount correction and geometric distortion correction is not necessarily performed by the information processing apparatus 14, and is performed by, for example, an image information processing unit included in a printer of a lab shop using adjustment parameters. May be.
Furthermore, if necessary, various adjustment parameters are associated with the camera 12 as adjustment parameters unique to the camera 12 and stored in the information processing apparatus 14 or the image information processing means in the lab store. When the image of the camera 12 is supplied, the image may be adjusted (corrected) using this parameter.
[0044]
As another aspect, according to the photographing system of the present invention, processing for combining an arbitrary image or character with an image photographed by the camera 12 (hereinafter referred to as a photographed image) by an instruction using the camera 12 is easy. It can be carried out.
[0045]
In this aspect, the camera 12 is provided with various data input functions such as a photographed image, sound, operation with a keyboard and buttons, handwritten images (data), and a composite position designation function with a GUI using the monitor 20. . The data input function may be configured by known means using the external device 22, the mobile telephone 24, and the like.
Using this data input function, the user of the camera 12 inputs data corresponding to an image or characters to be combined with the captured image (hereinafter referred to as a combined image), and also provides conversion pattern instruction information (to be described in detail later). The information is input to the camera 12 and transferred to the information processing apparatus 14 using the communication unit 16.
In the information processing apparatus 14, the input data is converted into image data of a composite image according to the conversion pattern instruction information, and this image data is transferred to the user's camera 12 using the communication means 16.
[0046]
In the camera 12, the composite position of the composite image is specified using the composite position specification function, and the transferred composite image is displayed on the monitor 20, or the monitor 20 is displayed as a print image obtained by combining the photographed image and the composite image. If it is appropriate, the print image is transferred to, for example, the information processing apparatus 14 and supplied to a printer or the like. Alternatively, this print image is stored as an image file in a storage medium, and a lab store is requested to create a print.
At this time, if the input data (composite image) remains in the information processing apparatus 14, only the image captured by the camera 12 is transferred to the information processing apparatus 14, and the image is combined to obtain a print image. Also good.
[0047]
As the above-mentioned conversion pattern instruction information, the following is exemplified.
When the input data is a captured image (including a moving image), a conversion pattern instruction for converting the input data into image data of an image (binarized image, indexed) corresponding to the composite image is exemplified.
When the input data is an image obtained by photographing a document such as a timetable, a conversion pattern instruction for converting the input data into image data of a document corresponding to the composite image is exemplified. In this case, it may be converted into audio data.
When the input data is speech, conversion is performed by performing speech recognition by a known method to convert the input data into image data such as characters and images (captured images, background images, various characters, etc.) corresponding to the composite image Pattern instructions are illustrated.
When the input data is a key operation or button operation, a conversion pattern instruction for converting the input data into image data such as characters and images corresponding to the composite image is exemplified.
Further, when the input data is handwritten characters, a conversion pattern instruction for performing character recognition by a known method as necessary and converting the input data into image data such as characters and images corresponding to the composite image is exemplified. The
[0048]
Further, instead of the input data, a template for synthesis provided by a lab shop or the like is supplied to the camera 12 using the information processing means 14 and the communication means 16 and displayed on the monitor 20 and selected, and the image is displayed. Data may be acquired by the camera 12.
[0049]
As is clear from the above description, according to this aspect, various messages, images, and the like can be easily combined with the print, and finishing can be confirmed quickly and easily.
[0050]
In the above processing, as a method of converting input data into characters and images, as an example, image data (captured images, background images, characters, templates, various marks, etc.) and character data (autographs, various comments, haiku, Information processing means by associating a text such as a poem) and a designated area thereof with a reference word (for example, a keyword input by a character, a voice, a key or a button), an instruction button (key), or the like as input data 14 and a method of registering / storing in the external device 22 connected to the camera 12 or the like. In addition to the data itself, film ID, frame number, image data (file) name, character pattern description file name, limited area information (shape, center coordinates, contour image coordinates, etc.) may be registered.
[0051]
Alternatively, an image data group of a composite image corresponding to the input data may be set, and the corresponding image data group may be read according to the input data. For example, if the input data “A child” in the personal name and the image of “A child” processed in the past are registered in association with each other and “A child” is input by voice or the like, the “A child” An image may be read and transferred to the camera 12.
[0052]
Also, the image processing content is registered in association with the user's unique reference words and instruction buttons of the camera 12, and the user inputs the image processing instruction in the same manner as the input data described above, and the user desires It is also possible to output a print that reproduces the finished photographed image.
In this case, the scope of processing, the strength of processing, various other processing parameters, and the like may be included in the contents of image processing.
[0053]
As another aspect, according to the photographing system 10 of the present invention, a user (photographing) can be performed without using a global positioning system (GPS) using an image photographed by the camera 12 and simple photographing position information. Person) can know his position with high accuracy.
[0054]
The user of the camera 12 takes an image and inputs information about a rough position (street name, street name, street address, etc.) where the image was taken to the camera 12 using the external device 22 or the mobile phone 24. The communication unit 16 is used to transfer the captured image to the information processing apparatus 14.
For the location information, a PHS location information service may be used. Further, the position information may include information on the shooting direction. Furthermore, detection accuracy can be increased by taking a plurality of images by changing the direction.
[0055]
In this aspect, the information processing apparatus 14 has map information (may include information about buildings, mountains, etc., such as height), and uses the transferred captured image and position information to predict A plurality of camera positions are detected, a virtual visual field image is generated for each position by simulation, and pattern matching with the captured image is performed.
As a result of the pattern matching process, the information processing apparatus 14 transfers the position data or the image data of the map at the position to the camera 12 with the point where the degree of coincidence exceeds a predetermined value as the candidate point of the shooting location. .
By displaying this on the monitor 20 of the camera 12, the user can detect his / her position.
[0056]
Further, when the camera 12 is a video camera, a multistage focus image may be used.
That is, similarly, the user transfers the multistage focus image and the position information to the information processing apparatus 14. Similarly, the information processing apparatus 14 detects an expected camera position, generates depth data of a virtual visual field for each position, and performs pattern matching with depth data obtained from a captured image (multistage focus image). In the same manner, the position data with the degree of coincidence exceeding a predetermined value is transferred to the camera 12 as a shooting location candidate point, displayed on the monitor 20, and the user confirms the position.
In this method, when the camera 12 has a multi-point ranging function, the ranging data may be directly used instead of obtaining the depth data from the multistage focus image.
[0057]
In the imaging system 10 of the present invention, various processes other than those described above, for example, Japanese Patent Application Laid-Open Nos. 2000-66312, 2000-105431, and 2000-115686 related to the application of the present applicant. Various processes described in Japanese Patent Laid-Open No. 2000-76427, Japanese Patent Application No. 11-200572 and Japanese Patent Application No. 11-306600 can be performed via a network or the like. .
For example, when the processing disclosed in Japanese Patent Laid-Open No. 2000-66312 is performed, captured image data and date / time information or position information are transmitted from the camera 12 to the information processing apparatus 14, and the information processing apparatus 14 performs subject-related information. Information or the like may be derived and returned to the camera 12 again. At this time, it is preferable that the camera user selects and sets the additional information to be added to the image.
[0058]
Further, when performing the processing disclosed in Japanese Patent Application Laid-Open Nos. 2000-105431 and 2000-115686, information processing between the camera and the cartridge IC is performed between the camera 12 and the information processing device 14. Replace and execute. For example, the specification information of the specific area of the photographed image and the search instruction information are transmitted from the camera 12 to the information processing apparatus 14, and the information processing apparatus 14 uses the encyclopedia database stored in the database 28 to perform pattern matching. It is also possible to perform subject determination and subject-related information derivation based on the above and return them to the camera 12 again.
When performing the processing disclosed in Japanese Patent Laid-Open No. 2000-76427, the eye region is designated on the camera 12 side, and the designation information and its image (data) are transmitted to the information processing apparatus 14. Then, the red-eye correction process is executed by the information processing device 14, the corrected image (data) is returned to the camera 12, recorded on the image recording medium 19 of the camera 12, and further supplied to a photo printer or the like for printing. Is output.
[0059]
Further, when the processing described in the specification of Japanese Patent Application No. 11-200572 is performed, a rough outline figure is input by hand on the camera 12 side, transferred from the camera 12 to the information processing device 14, and information processing is performed. A matching search based on the shape data of the database 28 is performed on the apparatus 14 side, and the hit search image is returned to the camera 12.
It is also possible to perform image search processing using a matching method that transfers captured image data and uses known densities and colors.
Furthermore, when the processing described in the specification of Japanese Patent Application No. 11-306600 is performed, the contents of the image processing are controlled according to the subject and the shooting situation, and the event information derived from the database 28 is stored. It can also be returned to the camera 12.
Note that a user interface program for inputting additional information or inputting instruction information regarding each image processing may be transferred from the information processing apparatus 14 side to the camera 12 side.
[0060]
In such a photographing system 10 of the present invention, the various processes described above do not necessarily have to be performed by transferring information from the camera 12 to the information processing apparatus 14. For example, the designated process is connected to the camera 12. It is determined whether or not it can be executed by the external device 22 such as a personal computer. If possible, the processing may be performed by the external device 22.
For example, both the camera 12 and the external device 22 have management data indicating processing contents, and the management data is used to check whether the processing function designated by the external device 22 is installed. Is installed, the processing is performed by the external device 22, and when it is determined that the function is not installed in the external device 22 and the processing is impossible, the communication means 16 is used to Information is transferred to the information processing apparatus 14 for processing.
[0061]
Usually, processing in the information processing apparatus 14 of a lab shop or the like requires a fee or communication cost. Therefore, when the priority is lowered and the external device 22 is equipped with the processing function of the instructed processing, It is preferable to preferentially select processing in the device 22.
However, even if the function is installed in the external device 22, depending on the processing content, the computation time may be enormous in the external device 22, or the communication cost may be reduced depending on the communication contract content. In some cases, it is preferable to perform processing by the information processing apparatus 14 in terms of processing accuracy. Therefore, the user can select which of the external device 22 and the information processing device 14 performs the process, or the priority order may be set for each processing content, and the priority order may be changed manually. These may be used in combination.
Further, a request destination (information processing apparatus) may be selected from a plurality according to the processing content.
[0062]
The image processing method and apparatus, camera, and photographing system of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various improvements and modifications can be made without departing from the gist of the present invention. Of course, you can go.
[0063]
【The invention's effect】
As described above in detail, according to the image processing method and apparatus, the camera, and the photographing system of the present invention, the function and performance of the camera are greatly improved, and AF, AE, and image correction considering the main subject are performed. Various processes such as image synthesis, photographer position detection, and the like that were impossible with conventional cameras can be performed easily and quickly.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram of an embodiment of a photographing system of the present invention.
FIGS. 2A, 2B, 2C, and 2D are conceptual diagrams for explaining an example of processing executed by the imaging system of the present invention.
[Explanation of symbols]
10 Shooting system
12 Camera
14 Information processing equipment
16 Communication means
16a Camera side communication part
16b Device side communication part
18 Image sensor
19 Image recording media
20 Monitor
21 CPU
22 External device
23 Connection
24 Mobile phone
26 Information processing department
26a CPU
28 Database
30 output machine

Claims (8)

カメラと情報処理装置とを有して構成されたシステムを用いて行われる撮影画像処理方法であって、  A captured image processing method performed using a system configured to include a camera and an information processing device,
前記カメラが撮影した調整用画像を前記カメラのモニタに表示し、前記モニタに表示した前記調整用画像に基いて外部から入力される、前記カメラ固有の画像調整パラメータを、前記カメラが受け付けるステップと、  An image for adjustment taken by the camera is displayed on the monitor of the camera, and the camera receives image adjustment parameters unique to the camera that are input from the outside based on the image for adjustment displayed on the monitor; ,
前記カメラが受け付けた前記カメラ固有の画像調整パラメータを、前記情報処理装置が受け取って記憶するステップと、  Receiving and storing the camera-specific image adjustment parameters received by the camera by the information processing apparatus;
前記情報処理装置が、前記カメラが撮影した撮影画像の画像データを受け取り、記憶した前記調整パラメータに応じて、受け取った前記撮影画像データの画像を調整した画像を生成するステップと、を有することを特徴とする撮影画像処理方法。  Receiving the image data of the captured image captured by the camera and generating an image obtained by adjusting the received image of the captured image data in accordance with the stored adjustment parameter. A photographed image processing method as a feature. 前記記憶するステップでは、前記情報処理装置が、受け取った前記画像調整パラメータと前記カメラとを対応づけて記憶し、  In the storing step, the information processing apparatus stores the received image adjustment parameter and the camera in association with each other,
前記生成するステップでは、前記情報処理装置が、外部から供給される画像データを受け取り、外部から供給される前記画像データが前記カメラで撮影した撮影画像データである場合、記憶した前記画像調整パラメータに応じて、受け取った前記撮影画像データの画像を調整した画像を生成するステップと、を有することを特徴とする請求項１記載の撮影画像処理方法。  In the generating step, the information processing apparatus receives image data supplied from outside, and when the image data supplied from outside is photographed image data photographed by the camera, the stored image adjustment parameters are stored in the stored image adjustment parameters. The photographed image processing method according to claim 1, further comprising: generating an image obtained by adjusting an image of the received photographed image data. 前記画像調整パラメータは、前記カメラ固有の周辺光量の低下を補正するためのパラメータであることを特徴とする請求項１または２記載の撮影画像処理方法。  The captured image processing method according to claim 1, wherein the image adjustment parameter is a parameter for correcting a decrease in peripheral light amount unique to the camera. 前記調整用画像は、均一濃度の被写体を前記カメラで撮影した画像であり、  The adjustment image is an image obtained by photographing a subject having a uniform density with the camera,
前記画像調整パラメータは、前記カメラのモニタに表示された前記調整用画像を見たユーザによって前記カメラに入力された情報であることを特徴とする請求項３記載の撮影画像処理方法。  4. The captured image processing method according to claim 3, wherein the image adjustment parameter is information input to the camera by a user who viewed the adjustment image displayed on the monitor of the camera. 前記画像調整パラメータは、前記モニタに表示された前記調整用画像の濃度が画面全体で均一になるよう、前記ユーザが前記カメラに指示入力した情報であることを特徴とする請求項４記載の撮影画像処理方法。  5. The photographing according to claim 4, wherein the image adjustment parameter is information input by the user to the camera so that the density of the adjustment image displayed on the monitor is uniform over the entire screen. Image processing method. 前記画像記調整パラメータは、前記カメラのレンズ固有の歪みを補正するためのパラメータであることを特徴とする請求項１または２記載の撮影画像処理方法。  3. The captured image processing method according to claim 1, wherein the image recording adjustment parameter is a parameter for correcting distortion inherent in the lens of the camera. カメラと、前記カメラと通信手段を介して接続された情報処理装置とを有して構成される撮影画像処理システムであって、  A captured image processing system configured to include a camera and an information processing apparatus connected to the camera via communication means,
前記カメラは、自身が撮影した調整用画像を表示するモニタと、前記モニタに表示した前記調整用画像に基いて外部から入力される、前記カメラ固有の画像調整パラメータを記憶するメモリと、を有し、前記カメラが撮影した撮影画像の画像データ、および前記メモリに記憶した前記カメラ固有の画像調整パラメータとを、前記通信手段を介して前記情報処理装置に送信し、  The camera has a monitor that displays an adjustment image captured by the camera, and a memory that stores image adjustment parameters unique to the camera that are input from the outside based on the adjustment image displayed on the monitor. The image data of the captured image captured by the camera and the image adjustment parameters specific to the camera stored in the memory are transmitted to the information processing apparatus via the communication unit,
前記情報処理装置は、前記通信手段を介して受信した前記画像調整パラメータに応じて、受信した前記撮影画像データの画像を調整した画像を生成する情報処理部を有することを特徴とする撮影画像処理システム。  The information processing apparatus includes an information processing unit that generates an image obtained by adjusting an image of the received captured image data according to the image adjustment parameter received via the communication unit. system. 前記情報処理装置は、受信した前記画像調整パラメータと前記カメラとを対応づけて記憶するメモリを有し、  The information processing apparatus includes a memory that stores the received image adjustment parameter and the camera in association with each other,
前記情報処理部は、前記情報処理装置に供給される画像データが前記カメラで撮影した撮影画像データである場合、前記メモリに記憶した前記画像調整パラメータに応じて、供給された前記撮影画像データの画像を調整した画像を生成することを特徴とする請求項７記載の撮影画像処理システム。  When the image data supplied to the information processing apparatus is captured image data captured by the camera, the information processing unit determines whether the captured image data supplied is in accordance with the image adjustment parameter stored in the memory. 8. The captured image processing system according to claim 7, wherein an image obtained by adjusting the image is generated.
JP2001008624A 2000-01-17 2001-01-17 Image processing method and apparatus, camera, and photographing system Expired - Fee Related JP4524047B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001008624A JP4524047B2 (en) 2000-01-17 2001-01-17 Image processing method and apparatus, camera, and photographing system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000007510 2000-01-17
JP2000-7510 2000-01-17
JP2001008624A JP4524047B2 (en) 2000-01-17 2001-01-17 Image processing method and apparatus, camera, and photographing system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007328173A Division JP4440964B2 (en) 2000-01-17 2007-12-20 Shooting system

Publications (2)

Publication Number Publication Date
JP2001275031A JP2001275031A (en) 2001-10-05
JP4524047B2 true JP4524047B2 (en) 2010-08-11

Family

ID=26583610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001008624A Expired - Fee Related JP4524047B2 (en) 2000-01-17 2001-01-17 Image processing method and apparatus, camera, and photographing system

Country Status (1)

Country Link
JP (1) JP4524047B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4513205B2 (en) * 2000-12-20 2010-07-28 株式会社ニコン Electronic camera and recording medium for image processing program
US7782366B2 (en) * 2002-09-20 2010-08-24 Seiko Epson Corporation Backlight adjustment processing of image using image generation record information
JP4363153B2 (en) * 2003-10-14 2009-11-11 カシオ計算機株式会社 Imaging apparatus, image processing method thereof, and program
JP4632417B2 (en) * 2004-10-26 2011-02-16 キヤノン株式会社 Imaging apparatus and control method thereof
JP4839389B2 (en) * 2009-03-31 2011-12-21 富士フイルム株式会社 Digital camera and image processing apparatus
JP2015049226A (en) * 2013-09-04 2015-03-16 日本電気株式会社 Radar information processing device and radar information processing method
CN110278412B (en) 2018-12-06 2021-11-23 义晶科技股份有限公司 Image display system and control signal data volume increasing method thereof
JP7403279B2 (en) * 2019-10-31 2023-12-22 キヤノン株式会社 Image processing device and image processing method

Also Published As

Publication number Publication date
JP2001275031A (en) 2001-10-05

Similar Documents

Publication Publication Date Title
JP4440964B2 (en) Shooting system
JP4218348B2 (en) Imaging device
JP3786242B2 (en) Image processing method and apparatus, image reproduction method and apparatus, and image confirmation apparatus used in the method
JP4152340B2 (en) Image processing system and method
JP2004246456A (en) Apparatus and method for image editing
JP2007324965A (en) Digital camera, photography control method, and image output system
CN105847666B (en) Picture pick-up device and its control method
JP4524047B2 (en) Image processing method and apparatus, camera, and photographing system
JP4328956B2 (en) Method and apparatus for controlling digital camera
JP2004247983A (en) Photographing apparatus, image processing apparatus, and image processing program
JP2009044240A (en) Electronic camera
JP2005065048A (en) Picture processing method, picture processor and picture processing program
JP2010068207A (en) Image capturing apparatus, method, program, and image capturing system
US7580066B2 (en) Digital camera and template data structure
JP4829269B2 (en) Image processing system and method
JP2009111827A (en) Photographing apparatus and image file providing system
JP2007259004A (en) Digital camera, image processor, and image processing program
JP2005286379A (en) Photographing support system and photographing support method
JP2005072949A (en) Image photographing device and program
JP2001174922A (en) Certificate photograph photographing device, image processor and certificate photograph forming system
JP3457993B2 (en) Red eye correction device
JP4067555B2 (en) Image confirmation device
JP2008141771A (en) Image confirmation system
JP2007288409A (en) Imaging apparatus with image data classifying function and program
JP4357232B2 (en) Advice device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071106

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080725

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100531

R150 Certificate of patent or registration of utility model

Ref document number: 4524047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130604

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees