JP4228579B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
近年、フィルムに記録された撮影画像データや用紙に印刷されたアナログ画像データを読み取ってデジタル画像データに変換する技術（スキャナ等の画像読取装置）や、これらの変換されたデジタル画像データ、或いはデジタルカメラにより撮影された撮影画像データや記録媒体、通信回線等を介して取得したデジタル画像データに対して、見る人に好ましい印象を与えるように画像処理を施してモニタ上に表示したりプリントして出力する技術（画像処理装置）が普及している。
【０００３】
【発明が解決しようとする課題】
また、最近では画像信号の生成手段が、玩具用の安価なデジタルカメラ・レンズシャッターデジタルカメラ・一眼レフの高級デジタルカメラ・フィルムスキャナー・フラットベッドスキャナー等に多様化している。一方、画像信号をメディア上に出力する方法も、銀塩デジタルプリンタ・インクジェットプリンタ・感熱プリンタ・昇華型プリンタ・電子写真プリンタ等に多様化しており、それに伴い出力される画像サイズも数センチ角のシールからポスター状まで多様化している。
更にインターネット等で画像信号が流通するに至り、撮影者が意図しなかったメディア・サイズで画像信号が出力される機会も増加している。このように複雑化した状況においては、従来の画像処理装置では、鑑賞する者に好ましい印象を与えるような画像をメデイア上に出力するための処理に手間がかかったり、あるいは困難であった。
【０００４】
また、従来の画像処理装置でも、レンズの収差に起因する画像の一部の歪みを補正するレンズ収差補正や、倍率やレイアウトを変えることでシーンを見栄えよくするトリミング補正をかけることが行なわれていた。この他、画像を見栄え良くするため鮮鋭化処理や平滑化処理などの処理もなされていた。
このような各処理について、従来の画像処理装置では、一度ユーザーが画像を見てから処理の程度を決定することが多く手間がかかるものであった。
【０００５】
本発明の課題は、撮影や画像読み取りなどの方法で生成されたデジタル画像信号を出力用に処理する画像処理方法及び画像処理装置において、多様なメデイア・サイズで画像信号を出力する際に好適であるように画像処理することができ、さらには、従来に比較してより簡便に好ましい出力画像を与えるように画像処理することにある。
【０００６】
【課題を解決するための手段】
以上の課題を解決するため、請求項１に記載の発明は、
被写体を撮影して得られる撮影画像由来の原画像信号に所定の画像処理を施して出力用の画像信号を生成する画像処理手段を備える画像処理方法において、出力画像の大きさに対する主要被写体の大きさに応じて、原画像信号に対し、レンズの収差を補正する画像処理を施すことを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、
撮影における被写体領域、撮影シーンの構成、被写体距離、及びストロボ光の反射光に関する情報のうちの１つ以上の情報を取得し、
これら取得した情報に基づいて、前記出力画像の大きさに対する主要被写体の大きさを推定することを特徴とする。
【０００９】
請求項３に記載の発明は、請求項１に記載の画像処理方法において、前記出力画像の大きさに対する主要被写体の大きさに応じて、補正の位置を変えることを特徴とする。
【００１３】
請求項４に記載の発明は、例えば図１〜図３に示すように、被写体を撮影して得られる撮影画像由来の原画像信号が入力する画像入力手段（フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４、通信手段１７）と、原画像信号に所定の画像処理を施し、出力用の画像信号を生成する画像処理手段（画像処理部７０）とを備える画像処理装置（１）において、画像処理手段は、出力画像の大きさに対する主要被写体の大きさに応じて、原画像信号に対し、レンズの収差を補正する画像処理を施すことを特徴とする。
【００１４】
請求項５に記載の発明は、請求項４に記載の画像処理装置において、画像処理手段は、撮影における被写体領域、撮影シーンの構成、被写体距離、及びストロボ光の反射光に関する情報のうちの１つ以上の情報を取得する取得手段（画像調製処理部７４）を備え、画像処理手段は、取得手段によって取得した前記情報に基づいて、前記出力画像の大きさに対する主要被写体の大きさを推定することを特徴とする。
【００１５】
請求項６に記載の発明は、請求項４又は５に記載の画像処理装置において、画像処理手段における処理後の画像を出力する画像出力手段（ＣＲＴ８、露光処理部４及びプリント作成部５、画像書込部１５、通信手段１７）を備えることを特徴とする。
【００１７】
請求項７に記載の発明は、請求項４〜６のいずれかに記載の画像処理装置において、画像処理手段は、前記出力画像の大きさに対する主要被写体の大きさに応じて、原画像信号に対し、補正の位置を変えることを特徴とする。
【００２１】
ここで、請求項１及び請求項４において、「被写体を撮影して得られる撮影画像由来の原画像信号」とは、デジタルカメラ等の撮影手段で生成された画像信号のように撮影したときに生成された画像信号そのものであってもよいし、フィルムスキャナ、フラットベッドスキャナ等で撮影画像を電子化した画像信号でもよいし、あるいはこれらの信号が各種アプリケーションプログラムで加工もしくは書式変換されて生成された画像信号でもよい。データの形態は、JPEG、TIFF、Exif等に代表される汎用フオーマットや機種・アプリケーション固有のフォーマットが挙げられる。これら画像データは、ハードディスク、CD-ROM、メモリーカード、フレキシブルディスク等の記憶メデイアまたは通信回線を介して得られる。また、「所定の画像処理を施し出力用の画像信号を生成する」とは、前記「原画像信号」に何らかの処理を加えて修正した画像信号を生成することである。
【００２２】
さらに、請求項１及び請求項４において、「主要被写体」とは、表現の中心的役割を果たす被写体であり、多くの場合、撮影者が撮像画像の構図を設定する際に中心的役割を意図した被写体であり、人物、特に顔領域であることが多い。人物の含まれない風景写真の場合も、ある場合には近景の花・動物・静物が主要被写体であり、別の場合には背景の山・空・雲が主要被写体であったりする。「出力画像の大きさに対する主要被写体の大きさ」とは、出力画像全体の面積に対する主要被写体の面積であってもよい。あるいは、所定の長さ部分の比較でもよく、例えば、出力画像と主要被写体それぞれの縦横長さを比較したり、出力画像の外周と接する内接円や外接円の半径（直径）と、主要被写体をほぼ囲む円の半径（直径）を比較するといったことでもよい。なお、本発明は、原画像信号に対して画像処理を施すものであるが、「主要被写体の大きさ」のみに従って画像処理するわけではなく、画像処理の際に他の各種条件を考慮してよいのは勿論である。
【００２３】
また、請求項２及び請求項５において、「被写体領域」とは、撮影画像のうち主要被写体によって占められる領域である。「撮影シーンの構成」とは、人物や風景といった被写体の種類、その数、位置関係などの画像内の構成を言う。「ストロボ光の反射光」の情報は反射光の有無、強度のいずれも含む。
【００２４】
本発明によれば、出力画像の大きさに対する主要被写体の大きさに応じて、原画像信号に対して画像処理を施すことから、どのような出力メディアサイズであっても適切であるように画像処理が施される。具体的には、レンズ収差補正やその位置、トリミング補正、平滑化処理、鮮鋭処理といったこれらの処理が主要被写体の大きさに応じて、適切に施される。
また、「主要被写体の大きさ」という分かりやすい条件に応じて、各処理がなされ処理条件の設定など簡単に設定することができる。さらに、請求項２のように、主要被写体の大きさについて撮影条件から推定することができるので、ユーザーが主要被写体の大きさを入力する必要もなく、手間もかからずに簡単に上記のような各画像処理を行なうことができる。
【００２５】
【発明の実施の形態】
以下に図面を参照して、本発明の画像処理方法及び画像処理装置について説明するが、本発明はこの実施の形態に限定されるものではない。
図１は、本発明の画像処理装置１の全体構成を示す外観図である。ここでは画像処理装置１として、感光材料を露光して現像し、プリントを作成するものを例示しているが、これに限らず、画像情報に基づいてプリントを作成できるものであればよく、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式のプリント作成装置であってもよい。
【００２６】
この画像処理装置１は、本体２の左側面にマガジン装填部３を備え、本体２内には記録媒体である感光材料を露光する露光処理部４と、露光された感光材料を現像処理して乾燥し、プリントを作成するプリント作成部５とを備えている。作成されたプリントは本体２の右側面に設けられたトレー６に排出される。さらに、本体２の内部には、露光処理部４の上方位置に制御部７が設けられている。
また、本体２の上部には、ＣＲＴ（Cathode Ray Tube）８が配置されている。ＣＲＴ８には、画像処理前後の画像情報等が表示される。なお、ＣＲＴ８の代わりにＬＣＤ（Liquid Crystal Display）などの他の表示手段であってもよい。
ＣＲＴ８の左側に透過原稿読み込み装置であるところのフィルムスキャナ部９が配置され、右側に反射原稿入力装置１０が配置されている。
【００２７】
フィルムスキャナ部９は、フィルムスキャナーにより、アナログカメラにより撮像したネガフィルムを現像して得られる現像済みのネガフィルムＮから画像情報を読み取って、アナログの駒画像情報をデジタル画像データに変換して制御部７へ出力する。
反射原稿入力装置１０のフラットヘッドスキャナにより、駒画像を印画紙に焼き付けて現像処理したプリントＰからの画像情報を読み取ってデジタル画像データに変換して制御部７へ出力する。
フィルムスキャナ部９や反射原稿入力装置１０から読み込まれる原稿として写真感光材料があり、この写真感光材料としては、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等が挙げられ、アナログカメラにより撮像した駒画像情報が記録される。
【００２８】
また、本体２の制御部７の付近には、画像読込部１４が設けられている。画像読込部１４には、ＰＣカード用アダプタ１４ａ、フレキシブルディスク用アダプタ１４ｂが備えられ、ＰＣカード１３ａやフレキシブルディスク１３ｂが差し込み可能になっている。ＰＣカード１３ａは、例えばデジタルカメラで撮像した複数の駒画像情報が記憶されたメモリを有する。フレキシブルディスク１３ｂには、例えば、デジタルカメラで撮像して複数の駒画像情報が記憶されている。その他、本体２にマルチメディアカード、メモリーステック、ＭＤデータ、ＣＤ−ＲＯＭ等の記録媒体を着脱可能に構成し、これらに記憶された駒画像データを取得するようにしてもよい。
【００２９】
ＣＲＴ８の前側に操作部１１が配置され、この操作部１１に情報入力手段１２が設けられている。情報入力手段１２は、例えばタッチパネル等で構成され、該タッチパネルで操作することで情報入力手段１２からの操作信号が指示信号として制御部７に対して出力される。なお、操作部１１は、キーボードやマウスを備えていてもよい。
なお、操作部１１、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４は、本体２に一体的に設けられて装置の構造となっているが、いずれか１つ以上を別体として設けてもよい。
【００３０】
さらに、本体２の制御部７の付近には、画像書込部１５が設けられている。画像書込部１５にはフレキシブルディスク用アダプタ１５ａ、光磁気ディスク用アダプタ１５ｂ、光ディスク用アダプタ１５ｃが備えられ、画像記録メディアであるフレキシブルディスク１６ａ、光磁気ディスク１６ｂ、光ディスク１６ｃがそれぞれ差し込み可能になっており、画像処理後の画像情報を画像記録メディアに書き込むことができるようになっている。
【００３１】
更に画像処理装置１には通信手段１７（図３に図示）が設けられており、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像信号とプリント等の作業命令を受信し、画像処理を施した上で出力することができ、所謂ネットワークプリンタ装置として機能することが可能になっている。また、画像処理装置１は、通信手段１７により、画像処理を施した後の撮影画像を表す画像情報とそれに付帯するオーダー情報を、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して送付することも可能になっている。
【００３２】
図２は画像処理装置１の機能的構成を概略して示す図である。
制御部７は、画像処理手段としての画像処理部７０を有し、該画像処理部７０が、操作部１１の情報入力手段１２からの入力信号（指令情報）に基づいて、フィルムスキャナ部９や反射原稿入力装置１０により原稿画像の読み込みを行わせて取得した原画像信号、画像読込部１４から読み込まれた原画像信号、及び通信手段１７（図３に図示）を介して外部機器より入力された原画像信号に対して出力メディアに応じて画像処理を施す。そして、画像処理部７０において、画像処理された後の画像データ（出力用の画像信号）を、ＣＲＴ８、露光処理部４、画像書込部１５、通信手段１７、或いは外部プリンタから出力する。
フィルムスキャナ部９から画像処理部７０に対して、アナログカメラにより撮像された現像済のネガフィルムＮからの駒画像データが入力され、反射原稿入力装置１０から画像処理部７０に対して駒画像を印画紙に焼き付けて現像処理したプリントＰからの駒画像データが入力される。
【００３３】
原画像信号を読み込む画像読込部１４は、画像転送手段３０としてＰＣカード用アダプタ１４ａ、フレキシブルディスク用アダプタ１４ｂが設けられている。ユーザーがＰＣカード用アダプタ１４ａにＰＣカード１３ａを差し込み、またはフレキシブルディスク用アダプタ１４ｂにフレキシブルディスク１３ｂを差し込むと、各アダプタは、ＰＣカード１３ａやフレキシブルディスク１３ｂに記録された駒画像情報を読み取りマイクロコンピュータで構成される制御部７へ転送する。ＰＣカード用アダプタ１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【００３４】
また、制御部７は、画像処理部７０で画像情報を画像処理して露光用画像情報を形成し、露光処理部４に送る。
露光処理部４では、画像処理部７０からの処理後の画像データについて、感光材料を露光して潜像を記録し、その潜像物をプリント作成部５に送る。
プリント作成部５は、露光処理部４により露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１はサービスサイズ、ハイビジョンサイズ、パノラマサイズ等であり、プリントＰ２はＡ４サイズ、プリントＰ３は名刺サイズのプリントである。
【００３５】
さらに、制御部７は、画像処理部７０で処理された後のデータを前記画像書込部１５に出力する。画像書込部１５は、画像搬送部３１として前述のフレキシブルディスク用アダプタ１５ａ、光磁気ディスク用アダプタ１５ｂ、光ディスク用アダプタ１５ｃを備え、画像搬送部３１に装着されたフレキシブルディスク１６ａ、光磁気ディスク１６ｂ、光ディスク１６ｃといった画像記録メディアに、制御部７の画像処理部７０により画像処理された画像データを書き込む。
【００３６】
また、画像処理装置１はデータ蓄積手段８１及びテンプレート記憶手段８２を有する。データ蓄積手段８１において、画像情報とそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し順次蓄積する。
【００３７】
テンプレート記憶手段８２には、操作部１１から入力されるサンプル識別情報に対応したサンプル画像データである背景画像、イラスト画像等と、合成領域を設定する１個以上のテンプレートのデータが予め記憶されている。さらに、テンプレート記憶手段８２には、典型的なコメントの文字データや画像データが記憶され、これらがユーザーからの注文で選択されるようになっている。
画像処理部７０の制御の下で、オペレータの操作部１１からの指令によりテンプレート記憶手段８２に予め記憶された中から所定のテンプレートが選択されると、テンプレート処理部７９で、前記所定のテンプレートに原画像データが合成され、さらに、指定されたサンプル識別情報に基づくサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、これによってコメントやイラストが付与されたプリントが作成される。このテンプレートによる合成は、周知のクロマキー法によって行なわれる。
【００３８】
画像処理装置１は、以上で概略説明したように、各種デジタルメディアの画像データ、及び画像原稿由来の画像情報を取り込む画像入力手段（フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４、通信手段１７）と、この画像入力手段から取り入れた入力画像の画像情報について、「出力画像の大きさ」と「出力画像における主要被写体の大きさ」という情報を取得又は推定して出力メディア上で画像を観察する際に好ましい印象を与えるように処理を行なう画像処理手段（画像処理部７０）と、処理済の画像を表示、またはプリント出力、あるいは画像記録メディアに書き込む、あるいは通信回線を介して施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して画像信号と付帯するオーダー情報を出力する画像出力手段（ＣＲＴ８、露光処理部４及びプリント作成部５、画像書込部１５、通信手段１７）とを有するのである。
【００３９】
以下、本発明の特徴的な処理を行う画像処理部７０の構成とその処理機能について詳細に説明する。
図３は、前記画像処理部７０の構成を示す図である。フィルムスキャナ部９から入力された画像信号は、フィルムスキャンデータ処理部７１において、フィルムスキャナ部９固有の校正操作・ネガ原稿の場合のネガポジ反転・ゴミキズ除去・グレーバランス調整・コントラスト調整・粒状ノイズ除去・鮮鋭化強調などが施され、原画像信号として画像調整処理部７４に送られる。また、フィルムサイズ・ネガポジ種別・フィルムに光学的或いは磁気的に記録された主要被写体に関わる情報・撮影条件に関する情報（例えばＡＰＳの記載情報内容）などが、併せて画像調整処理部７４に送られる。
【００４０】
反射原稿入力装置１０から入力された画像信号は、反射原稿スキャンデータ処理部７２において、反射原稿入力装置１０固有の校正操作・ネガ原稿の場合のネガポジ反転・ゴミキズ除去・グレーバランス調整・コントラスト調整・ノイズ除去・鮮鋭化強調などが施され、画像調整処理部７４に送られる。
画像転送手段３０及び通信手段１７から入力された画像信号は、画像データ書式解読処理部７３において、その信号のデータ書式に従い必要に応じて圧縮符号の復元・色信号の表現方法の変換等を行ない、画像処理部７０内の演算に適したデータ形式に変換されて画像調整処理部７４に送られる。また、画像信号のヘッダ情報・タグ情報から取得した主要被写体に関わる情報及び撮影条件に関する情報が、併せて画像調整処理部７４に出力される。
【００４１】
この他、フィルムスキャナ部９・反射原稿入力装置１０・画像転送手段３０・通信手段１７からの主要被写体に関わる情報及び撮影条件に関する情報を補足・補充する形で、操作部から該情報を画像調整処理部７４に送る事もできる。
つまり、画像調製処理部７４が、本発明の取得手段である。
【００４２】
出力画像の大きさについての指定は操作部１１から入力されるが、この他に通信手段１７へ送られた出力画像の大きさについての指定や、画像転送手段３０が取得した画像信号のヘッダ情報・タグ情報に埋め込まれた出力画像の大きさについての指定があった場合には、画像データ書式解読処理部７３が該情報を検出し、画像調整処理部７４へ転送する。
【００４３】
画像調整処理部７４では、テンプレート処理が必要な場合にはテンプレート処理部７９に画像信号を転送しテンプレート処理後の画像信号を再び受け取る。
また画像調整処理部７４は、操作部１１又は制御部７の指令に基づき、フィルムスキャナ部９・反射原稿入力装置１０・画像転送手段３０・通信手段１７・テンプレート処理部７９から受け取った画像信号に対して、後述する方法で出力メディア上で画像を観察する際に好ましい印象を与える画像を与えるように画像処理を行ない、ＣＲＴ固有処理部７５、プリンタ固有処理部Ａ７６、画像データ書式作成処理部７８、場合によってはプリンタ固有処理部Ｂ７７へ処理済みの画像信号を送出する。
【００４４】
ＣＲＴ固有処理部７５では、画像調整処理部７４から受け取った画像信号に対して、必要に応じて画素数変更・カラーマッチング等の処理を行ない、制御情報等表示が必要な情報と合成した表示用の信号をＣＲＴ８に送出する。
【００４５】
プリンタ固有処理部Ａ７６では、画像調製処理部７４から出力された画像データに対して、必要に応じてプリンタ固有の校正処理・カラーマッチング・画素数変更等を行なった後、露光処理部４に画像信号を送出する。画像処理装置１に、更に大判インクジェットプリンタなど、外部プリンタ装置を接続する場合には、接続するプリンタ装置ごとにプリンタ固有処理部Ｂ７７を設け、適正なプリンタ固有の校正処理・カラーマッチング・画素数変更等を行なうようにする。なお、このように外部プリンタを接続する場合には、外部プリンタも本発明の画像出力手段となる。
【００４６】
画像データ書式作成処理部７８においては、画像調整処理部７４から受け取った画像信号に対して、必要に応じてJPEG、TIFF、Exif等に代表される各種の汎用画像フオーマットへの変換を行ない、画像搬送部３１や通信手段１７へ画像信号を転送する。
以上の、フィルムスキャンデータ処理部７１・反射原稿スキャンデータ処理部７２・画像データ書式解読処理部７３・画像調整処理部７４・ＣＲＴ固有処理部７５・プリンタ固有処理部Ａ７６・画像データ書式作成処理部７８という区分は、画像処理部７０の機能の理解を助ける為に設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【００４７】
次に、画像調製処理部７４で実施される画像処理の詳細を説明する。本発明では、この画像調製処理部７４において、出力メディア上で画像を観察する際により好ましい印象を与えるように、出力画像の大きさに対する主要被写体の大きさに応じて、原画像信号に対して画像処理を施すことを特徴としている。本発明では、特に画像処理として、レンズ収差補正の程度を変えたり、レンズ収差補正の位置を変えたり、トリミング補正をかけたり、鮮鋭化処理を行ったり、平滑化処理を施すといったことが挙げられる。具体的な画像処理内容の態様については後に詳細に述べる。
【００４８】
「出力画像の大きさ」とは、出力対象であるメデイア上にプリント又は表示された時の撮像画像全域の実寸を意味し、たとえばＡ４サイズの用紙に印刷された場合には、縁取りの余白を除く190ｍｍ×280ｍｍ程度の領域が出力画像の大きさとなる。
ここで言う撮像画像とはフィルムカメラやデジタルカメラなどの手段で撮影されたいわゆる画像部分そのもののことを意味する。たとえば、出力メディアに額縁のイラストが書かれており、このイラストをテンプレートとしてその内側に撮像画像がはめ込まれている場合は、一般に鑑賞距離は額縁のイラストの大きさでなく、内側の撮像画像の大きさに支配される。そこで本発明における「出力画像の大きさ」とは、テンプレートの内側にある撮像画像の大きさとする。また、ひとつのテンプレート内に大きさの異なる複数の撮像画像がはめ込まれている場合は、各々の撮像画像について個別に出力画像の大きさが定義される。
【００４９】
なお、メデイア上にプリント又は表示された撮像画像を人間が鑑賞するとき、その一般的な鑑賞距離は「出力画像の大きさ」により変化する。この距離は画像の長辺が視野角約30度におさまる距離になることが多い。例えば、画像の大きさが写真のＬ版（86ｍｍ×128ｍｍ）〜２Ｌ版（128ｍｍ×172ｍｍ）の場合の鑑賞距離は30ｃｍ程度であり、画像がこれよりも大きくなる場合には視野内に画像全体を収めるために鑑賞距離が遠くなる。逆に画像が小さい場合でも、鑑賞距離が30ｃｍから大きく近づくことはない。
【００５０】
「出力画像の大きさに対する主要被写体の大きさ」は、メデイア上にプリント又は表示された時の主要被写体領域の実寸を意味する。たとえば、出力画像がＡ４サイズの用紙に印刷された場合、人物のクローズアップ写真では50〜100ｍｍ角の大きさになることが多いし、集合写真や建造物を背景にした人物の記念撮影では10〜30ｍｍ角程度の大きさになる事が多い。このように、出力画像の大きさ（メディア）が一定である場合でも、出力画像における好ましい主要被写体の大きさは１画像毎に異なる。
なお、本実施の形態は、自動的にレンズ収差補正やトリミング等の機能を有するものであるので、主要被写体が人物で、しかも１０人程度またはそれ以上の人数の集合写真であることを主に想定しているが、本発明の画像処理はこの場合に限定されない。
【００５１】
また、本発明では、「出力画像の大きさに対する主要被写体の大きさに応じて」であるので、「主要被写体の大きさの値に応じて」でもよいし、「主要被写体の出力画像に対する大きさの割合」でも構わない。つまり、主要被写体の大きさは、必ずしも出力画像上の実寸で取得する必要はなく、「出力画像において主要被写体の占める割合」を算出可能にする情報を取得することにしてもよい。さらに、「値」、「割合」のいずれでも、出力画像と主要被写体の面積同士を比較してもよいし、所定箇所の長さの比較であってもよい。
たとえば、主要被写体の大きさについて、画像処理部７０が、操作部１１からの指定等から主要被写体の領域を矩形状の一辺又は円の半径の画素数で取得すれば、画像全体の画素数と比較することで画像において主要被写体の占める割合が容易に算出され、前述のように取得又は推定した出力画像の大きさを乗じることで出力画像における主要被写体の大きさを容易に算出することができる。
【００５２】
画像処理部７０は、「出力画像の大きさ」を次のように取得する。本実施例の画像処理装置１は、画像出力装置を兼ねたプリンターを内蔵する装置であるので、ユーザーが操作部１１から入力する印刷命令の内容から容易に出力画像の大きさを取得する事ができる。なお、画像処理装置がプリントと別体として接続されている場合も同様である。
さらに、本発明の画像処理装置が直接プリンタに接続されずに処理後の画像データをファイル又は通信手段に出力するのみの装置であった場合でも、想定する出力画像の大きさを画像処理装置のユーザーが指定することにより、出力画像の大きさを取得する事ができる。
【００５３】
また、出力画像の大きさをユーザーからの指示により取得する事ができない状況でも、「出力画像の大きさを推定する」事により、取得してもよい。
たとえば、入力する原画像信号の画素数はユーザーが意図する出力メディア上のサイズと強く相関する。１万画素程度の画像はサムネール・インデックス用途であり出力画像の大きさは数センチ角程度を意図していると推定されるし、200万画素程度の画像はＬ〜２Ｌ版のプリントを意図していると推定される。従って、原画像信号の画素数と出力画像の大きさの典型的な関係をメモリしておき、原画像信号から出力画像を推定してもよい。あるいは、解像度として一般的なカラー画像の印刷条件（例えば300DPI）を仮定して、原画像信号の画素数から出力画像の大きさに換算することにより求めてもよい。
【００５４】
「主要被写体の大きさ」を取得する方法は、ユーザーが操作部１１を介して入力指示したり、原画像信号に添付された付加情報（所謂タグ情報など）を参照したりする事で達成される。こうした付加情報の添付方法は、独自の情報フォーマットや独立の情報ファイル・信号として与えられてもよいが、より好ましい態様としてはJPEG、TIFF、Exif等に代表される各種の汎用画像フオーマットに規定されている既存のタグ情報を利用したり、メーカーノートやユーザーノートといった自由に使用できる領域を利用することが挙げられる。
【００５５】
また、主要被写体の大きさが直接的に指定されない状況では、画像調製処理部７４は撮影条件に関する情報を取得し、該情報に基づいて主要被写体の占める割合を推定する。
撮影条件に関する情報の具体例としては、被写体領域・撮影シーンの構成・撮影時の被写体距離・撮影時のストロボ反射光に関する情報が挙げられる。これらの情報は、多くの場合、撮影時あるいは画像処理装置１にデータとして送られる前の加工時等の原画像信号の作成の際に情報として取得され、画像調製処理部７４に送られてくる原画像信号に付与されているデータに含まれるものである。そして、これら情報は、独自の情報フォーマットや独立の情報ファイル・信号として与えられてもよいが、より好ましい態様としてはJPEG、TIFF、Exif等に代表される各種の汎用画像フオーマットに規定されている既存のタグ情報を参照したり、メーカーノートやユーザーノートといった自由に使用できる領域を利用することで入力される。
さらには、これら情報は、原画像信号が画像処理装置１において画像処理される際に操作部１１から入力するように構成してもよい。
【００５６】
特に、本発明における被写体領域、撮影シーンの構成、被写体距離、ストロボ光源の反射光のうち少なくとも１つの情報を取得する手段としては、デジタル画像データに付与するいわゆるタグ情報を利用することが好ましい。撮影時に画像データごとに対応するタグ情報に、これらの情報が自動的に記録されるデータであってもよいし、撮影時にユーザーが入力してもよいし、撮影後に記録されたデータでもよい。
これら撮影条件の情報から推定した主要被写体の大きさは、原画像信号における被写体の割合ではあるが、主要被写体の画像全体に対する大きさが、原画像と出力画像とでほとんど変更しない場合には、この推定方法で十分に「出力画像における主要被写体の大きさ（割合）」が分かる。なお、原画像と出力画像とで好適な主要被写体の大きさ（割合）が変わることもあるが、このような場合には、多くはユーザーが所望の主要被写体サイズを入力すると考えられるので、このような推定は不要である。また、主要被写体の大きさの割合が変わり、しかもユーザーからの指定がない場合でも、撮影条件の情報から推定した原画像信号の主要被写体の大きさ（割合）から、さらに出力画像における好適な被写体の大きさ（割合）を推定する、といったように２段階の工程で出力画像における主要被写体の大きさ（割合）を求めてもよい。
【００５７】
画像処理部７０による撮影条件に関する情報から主要被写体の占める割合を推定する方法について、例を挙げて説明する。
（１）被写体領域の情報を取得した場合
被写体領域のデータの由来は、デジタルカメラの撮影者などが作成したデータであってもよいし、デジタルカメラなどが自動的に認識して取得したデータであってもよい。自動的に取得する場合、例えば撮影者の視線を基準に所定領域を主要被写体領域として決定する方法、肌色と判断した部分や人型形状から主要被写体領域を決定する方法など周知の各種方法が挙げられる。
【００５８】
このように取得し原画像信号に含まれる被写体領域のデータ方式は特に限定されないが、例えば、被写体領域に関する情報が、円形領域の中心座標と半径の画素数、あるいは矩形領域の中心座標と縦・横の画素数のように、主要被写体領域の画素数を算出可能なデータであれば、画像処理部７０は、画像全体の画素数と比較することで画像において主要被写体の占める割合を容易に算出し、本発明が前述の方法で取得又は推定した出力画像の大きさを乗じることで、出力画像における主要被写体の大きさを容易に算出する。
また被写体領域の情報が、領域の中心座標の１点のみで与えられた場合には、画像処理部７０は、指定された座標周辺の数画素の平均色相・平均明度を算出して、指定された中心の座標の周辺で色相・明度が該平均値から一定の範囲（例えば色相角の差が１０度以内で、明度の差がダイナミックレンジの１０％以内）におさまる画素領域を探索することで主要被写体領域の画素数を確定する。
【００５９】
（２）撮影シーンの構成とは、撮影シーンの状況や被写体の構成に関する情報であり、この情報は、撮影者などが「ポートレートモード」や「風景モード」といったように撮影モードを指定することで作成されたデータであってもよいし、デジタルカメラなどが自動的に認識して取得したデータであってもよい。
画像処理部７０は、撮影シーンの構成の情報が与えられた場合、たとえば人物や、ポートレートの撮影であるというデータであれば、主要被写体は人物の顔であり、その直径は画像全体が矩形状であるときの画像短辺の1/4〜1/2程度であると推定する。概略値として画像短辺の画素数の1/3程度の直径円の面積相当の画素数を用いて主要被写体の占める割合と推定することができるし、画像短辺の1/4〜1/2程度の肌色領域を画像内から探索することで推定精度を向上させることもできる。
また、撮影シーンが風景である場合は、画像面積の１０％程度を占める主要被写体が存在する場合が多い。撮影シーンタイプが夜景である場合は、画像全体と比較して明度が高い領域が主要被写体であると推定できる。
【００６０】
（３）被写体距離の情報は、デジタルカメラなどにおいては測距動作などにより撮影時に自動的に取得され、原画像信号に含まれることが多い。
被写体距離が（無限大ではなくて）具体的に得られている場合には、遠景の風景などの画像ではなく比較的近距離の被写体であることが多い。そこで、画像調製処理部７４は、被写体距離の情報が与えられた場合には、主要被写体は人間の顔であると仮定して、一般的なコンパクトカメラのレンズ特性から被写体距離に応じた顔の大きさを算出することで画像中で主要被写体の占める割合を推定する。
【００６１】
（４）ストロボ反射光の情報が与えられた場合は、反射光の有無・強度の情報でおよその被写体距離が推定でき、その結果（３）と同様の方法で画像中で主要被写体の占める割合を推定できる。
（１）〜（４）の撮影情報が複数与えられた場合には、それらを適宜組み合わせて判断してもよく、これにより推定の精度を向上できる。
【００６２】
なお、上記では撮影条件に関する情報として特に有効である４つの条件を挙げたが、上記の４つに限らず他の条件であってもよいし、また、上記４つの条件を含めて複数の条件を組み合わせて主要被写体の大きさ（あるいは割合）を推定するように構成してもよい。
また、画像調製処理部７４による主要被写体の大きさ（あるいは割合）の推定は、上記で挙げた方法だけでなく、画像情報から肌色部分を抽出したり、画像中央部で色相・明度が一定の範囲におさまる範囲を抽出することで、推定してもよい。
【００６３】
画像調製処理部７４は、上記の方法で取得又は推定した「出力画像全体の大きさ」と「出力画像における主要被写体の大きさ」に基づいて、出力メディア上で画像を観察する際により好ましい印象を与えるように、自動的に撮影画像を表す画像信号に適用する画像処理（レンズ収差補正、レンズ収差補正の位置の変更、トリミング処理、平滑化処理、鮮鋭化処理）を施すことを特徴としている。主要被写体の大きさ（割合）と各画像処理の関係について以下説明する。なお、これら各処理の具体的な方法、つまりその処理のための演算等については、従来周知の方法を適宜用いればよい。
【００６４】
以下には、画像処理装置７０による▲１▼レンズ収差補正及び▲２▼補正の位置、▲３▼トリミング補正、▲４▼平滑化処理、▲５▼鮮鋭処理について説明していく。これら▲１▼〜▲５▼の処理は、画像調製処理部７４で、全て行うようにしてもよいし、一部のみでもよいし、また、ユーザーが選択できるようになっていてもよい。
【００６５】
▲１▼レンズ収差補正及び▲２▼補正の位置
レンズ収差補正は、レンズ形状に起因する画像の歪みを補正するもので、例えば人物の集合写真の場合、画像の周辺部の人物は歪んでしまい、顔・体が膨張して再現されるが、これを補正する処理である。
本実施の形態では、出力画像における主要被写体の占める領域を縦横成分別々に求め、出力画像の縦長さ、横長さのいずれか一方がそれぞれ独立に７０％以上であれば、レンズ収差の影響が主要被写体に及んでいるとしてレンズ収差補正をかける。補正位置については、例えば縦方向の主要被写体の割合が７０％を越えていれば、縦方向において両縁から長さ１０％までのエリア内とする。
さらに、補正位置について、出力画像に対する主要被写体の大きさ（割合）に応じて適宜変更するように設定してもよい。
加えて、主要被写体の大きさだけでなく、撮影したときのレンズや撮影時の光源の波長なども含めて、補正の程度、補正の位置を考慮してもよい。その場合、前述の撮影条件を取得したように、画像調製処理部７４が、原画像信号のタグ情報などからレンズ情報や光源波長や波長分布などを取り込み、補正処理の演算処理において考慮するように設定すればよい。
【００６６】
▲３▼トリミング補正
この処理は、出力画面における主要被写体の位置を見た目よく、例えば中心に変更するための処理である。
本実施の形態では、例えば、原画像信号から求められる画像サイズに対する主要被写体の割合が３０〜５０％である場合に、実際の出力サイズに対する主要被写体の割合が６０〜８０％となるように、トリミング補正を行うこととし、具体的には外形線を選択したり、必要に応じて倍率を選択する。
【００６７】
▲４▼平滑化処理
この処理は、画像の粒状の粗さを低減する処理である。より具体的には、デジタル画像において、ある画素の濃度を基準とし、その値に対し周辺画素の濃度を決め、より濃度を大きくまたは小さくすることで、各画素間の濃度を変化させ、画素間の濃度変化が滑らかになることで、見た目にはその処理を施した部分は濃度変化が小さく均一化する。主要被写体が人物で、特にポートレートなどで顔部分について粒状が目立たないことが好まれる場合や、主要被写体が空で明るく均一な色合いが好まれるような場合に行なわれる処理である。
本実施の形態では、例えば、出力サイズに対する主要被写体の大きさの割合が３０％以上であれば、主要被写体部分に対して平滑化処理を施す。さらに、主要被写体部分の割合に応じて、例えば５０％を境に割合が高ければより平滑化の程度を上げてもよい。
【００６８】
▲５▼鮮鋭処理
この処理は、画像に対して「くっきりした、はっきりした」描写になる処理を施すことである。この処理によって画像の粒状粗さが強調されるという作用があるため、前記平滑化処理とはトレードオフの関係にあり、平滑化処理とセットで考慮する必要がある。
本実施の形態では、出力サイズに対する主要被写体の大きさの割合が３０％以上であれば、前述のように平滑化処理を行う一方、鮮鋭処理を行わない。３０％未満であれば、主要被写体の占める割合が比較的小さくよりクリアに見せた方が好ましいことから鮮鋭化処理を施す。
あるいは、主要被写体の割合が３０％以上であれば、平滑化処理を行う一方で、鮮鋭処理を本来得たい鮮鋭度を１００％としたときの５０％までの鮮鋭処理を施すように設定してもよい。
【００６９】
以上の画像処理装置１及びそれによる画像処理方法によれば、画像処理部７０において、出力画像の大きさに対する主要被写体の大きさに応じて原画像信号に対して画像処理を施すことから、多様な出力メディアサイズに適切であるように画像処理が施される。具体的には、レンズ収差補正やその位置、トリミング補正、平滑化処理、鮮鋭処理といったこれらの処理が主要被写体の大きさに応じて、適宜施され、出力サイズにおける被写体がよりよい印象で修正されて出力される。また、画像処理装置１では、ユーザーからの入力がなくても、出力サイズや被写体の大きさについて推定した上で、自動的にこれら処理を行なうことができるので、ユーザーにとっては手間がかからず簡便に処理できるものである。
【００７０】
なお、本発明は、上記実施の形態に限定されるものではなく、画像処理装置としては、様々な態様が可能である。例えば、原画像信号を生成する撮影手段そのものが本発明の装置の機能を有していてもよいのである。
図４には、デジタルスチルカメラ１００の構成を示すブロック図である。
デジタルスチルカメラ１００は、原画像信号あるいは原画像信号の元となる画像データを生成する手段の一例でもあるし、また、本発明に係る画像処理機能を有する画像処理装置であってもよい。
図４において、撮影レンズ１０１により受光面に光学像を結像された光電変換手段１０２は、被写体の光学像を対応する電荷量に変換する、いわゆる光電変換を行うものである。Ａ／Ｄ変換装置１０３は、光電変換手段から入力されたアナログ信号をデジタル信号に変換して出力するものである。かかるＡ／Ｄ変換回路１０３を介して得られた画像信号は、一旦、画像用メモリ１０４に記録される。また被写体構成入力手段１０５が設けられており、画像データごとに被写体構成に関する情報が取得される。
【００７１】
画像用メモリ１０４に記録された画像データは、ＣＰＵ１０６によって各種の画像処理が施される。この際に併せて本発明の画像処理を実施する事もできるし、本発明の画像処理は実施せず、被写体構成入力手段に入力した被写体に関する情報を画像信号と共に記録しておくこともできる。更に、撮影条件に関する情報も画像信号と共に記録される。これらの画像信号及び各種情報は、最終的には画像毎に一つのファイルとして作成され、ＣＰＵ１０６に接続された主メモリに記録される。
また、画像用メモリ１０４に記録された画像データや被写体構成入力手段１０５に記録された各種情報等を、液晶表示画面などからなる表示手段１１０に表示できるようになっている。
【００７２】
尚、ＣＰＵ１０６は、内蔵電池等の電源１０７から電力供給を受け、インタフェース１０８（例えば、２３２Ｃシリアルポート、ＵＳＢ、ＩｒＤＡ通信装置等）を介して、外部のデジタルスチルカメラやパソコン等に対し、記録手段である主メモリに格納されたデータを転送でき、また受信することもできるようになっている。また、インタフェース１０８は、カメラ１００に装着されたメモリカードＭＣに記録されたデータを読み込んで、ＣＰＵ１０６を介して、主メモリ１０９に送信できるようになっている。
【００７３】
なお、上記実施の形態は一例を示したものであり、本発明は上記記載に限定されるものではない。また、上記では本発明にかかる画像処理の内容を中心に記載したものであり、図４のＣＰＵや図３の画像調整処理部でその他の必要とされる画像処理が実施されても良いのは勿論である。
【００７４】
【発明の効果】
本発明によれば、出力画像の大きさに対する主要被写体の大きさに応じて、原画像信号に対して画像処理を施すことから、どのような出力メディアサイズであっても適切であるように画像処理が施される。具体的には、レンズ収差補正やその位置、トリミング補正、平滑化処理、鮮鋭処理といったこれらの処理が主要被写体の大きさに応じて、適切に施される。
また、「主要被写体の大きさ」という分かりやすい条件に応じて、各処理がなされ処理条件の設定など簡単に設定することができる。さらに、請求項２のように、主要被写体の大きさについて撮影条件から推定することができるので、ユーザーが主要被写体の大きさを入力する必要もなく、手間もかからずに簡単に上記のような各画像処理を行なうことができる。
【図面の簡単な説明】
【図１】本発明に係る画像出力装置１の全体構成を示す外観図である。
【図２】図１の画像出力装置１の機能的構成を概略して示す図である。
【図３】図２の画像処理部７０の機能的構成を示すブロック図である。
【図４】デジタルスチルカメラの構成を示すブロック図である。
【符号の説明】
１ 画像処理装置
２ 本体
３ マガジン装填部
４ 露光処理部（画像出力手段）
５ プリント作成部（画像出力手段）
６ トレー
７ 制御部
８ ＣＲＴ（画像出力手段）
９ フィルムスキャナ部（画像入力手段）
１０ 反射原稿入力装置（画像入力手段）
１１ 操作部
１２ 情報入力手段
１４ 画像読込部（画像入力手段）
１５ 画像書込部（画像出力手段）
１７ 通信手段（画像入力手段、画像出力手段）
３０ 画像転送手段
３１ 画像搬送部
７０ 画像処理部（画像処理手段）
７１ フィルムスキャンデータ処理部
７２ 反射原稿スキャンデータ処理部
７３ 画像データ書式解読処理部
７４ 画像調整処理部（取得手段）
７５ ＣＲＴ固有処理部
７６ プリンタ固有処理部Ａ
７７ プリンタ固有処理部Ｂ
７８ 画像データ書式作成処理部
８１ データ蓄積手段
１００ デジタルスチルカメラ
１０５ 被写体構成入力手段
１０６ ＣＰＵ
１０９ 主メモリ

Claims (7)

1. 被写体を撮影して得られる撮影画像由来の原画像信号に所定の画像処理を施して出力用の画像信号を生成する画像処理手段を備える画像処理方法において、
   出力画像の大きさに対する主要被写体の大きさに応じて、原画像信号に対し、レンズの収差を補正する画像処理を施すことを特徴とする画像処理方法。
2. 撮影における被写体領域、撮影シーンの構成、被写体距離、及びストロボ光の反射光に関する情報のうちの１つ以上の情報を取得し、これら取得した情報に基づいて、前記出力画像の大きさに対する主要被写体の大きさを推定することを特徴とする請求項１に記載の画像処理方法。
3. 前記出力画像の大きさに対する主要被写体の大きさに応じて、原画像信号に対し、レンズ収差補正の位置を変えることを特徴とする請求項１に記載の画像処理方法。
4. 被写体を撮影して得られる撮影画像由来の原画像信号が入力する画像入力手段と、
   原画像信号に所定の画像処理を施し、出力用の画像信号を生成する画像処理手段とを備える画像処理装置において、
   画像処理手段は、出力画像の大きさに対する主要被写体の大きさに応じて、原画像信号に対し、レンズの収差を補正する画像処理を施すことを特徴とする画像処理装置。
5. 画像処理手段は、撮影における被写体領域、撮影シーンの構成、被写体距離、及びストロボ光の反射光に関する情報のうちの１つ以上の情報を取得する取得手段を備え、画像処理手段は、取得手段によって取得した前記情報に基づいて、前記出力画像の大きさに対する主要被写体の大きさを推定することを特徴とする請求項４に記載の画像処理装置。
6. 画像処理手段における処理後の画像を出力する画像出力手段を備えることを特徴とする請求項４又は５に記載の画像処理装置。
7. 画像処理手段は、前記出力画像の大きさに対する主要被写体の大きさに応じて、原画像信号に対し、レンズ収差補正の位置を変えることを特徴とする請求項４〜６のいずれかに記載の画像処理装置。

Images