JP4611413B2 - 画像出力装置及び画像出力方法 - Google Patents

Description

本発明は、画像出力装置及び画像出力方法に関する。特に、視差画像から抽出した奥行き分布情報に基づいて画像を処理し、出力し、又は、入力する画像出力装置及び画像出力方法に関する。

従来、撮影した画像に含まれる特徴量を抽出し、この特徴量に応じた画像処理を画像に施す技術が知られている（特開平７−２００８２４）。しかし、画像の特徴量から得られる情報は少ないので、例えば、現実空間で前後に位置していて部分的に重なって見える２つの顔を画面上で切り分けて認識することは困難である。従って、画像の特徴量だけに基づいて被写体ごとに異なる画像処理を施すことは難しい。

一方、従来、多数の測距ポイントを二次元的に設定して、各測距ポイントにおける距離データの経時変化を検出して主要被写体を抽出し、主要被写体に合わせて露光制御する技術が知られている（特開平５−１９６８５７）。

しかし従来における測距方法である赤外線三角測量方式では、赤外線ビームの指向性の低さから測距ポイントを増やすことは難しく、主要被写体を抽出する精度を高めることは難しかった。従って、より精度の高い奥行き分布情報に基づいて主要被写体を抽出し、その方法で抽出した主要被写体に合わせて撮影し、画像処理することが望まれていた。

そこで本発明は、上記の課題を解決することのできる画像処理装置、画像出力装置、及び、カメラを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明のさらなる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、被写体の各部までの距離を示す奥行き分布情報に基づいて、前記被写体を撮像した画像の画像処理条件を決定する条件決定部を備える。

前記画像処理条件に基づいて、前記画像に画像処理を施す画像処理部をさらに備えてもよい。前記被写体を複数の異なる視点から撮像する視差画像に基づいて、前記奥行き分布情報を抽出する抽出部をさらに備えてもよい。前記抽出部は、前記奥行き分布情報に基づいて、前記画像から主要被写体を抽出し、前記条件決定部は、前記主要被写体に関する情報に基づいて前記画像処理条件を決定する手段をさらに有してもよい。前記抽出部は、さらに前記画像に含まれる画像情報に基づいて、前記画像から前記主要被写体を抽出してもよい。

本発明の第２の形態においては、被写体の各部までの距離を示す奥行き分布情報に基づいて、前記被写体を撮像した画像の画像出力条件を決定する条件決定部を備える。

前記画像出力条件に基づいて、前記画像を出力する出力部をさらに備えてもよい。前記被写体を複数の異なる視点から撮像する視差画像に基づいて、前記奥行き分布情報を抽出する抽出部をさらに備えてもよい。前記抽出部は、前記奥行き分布情報に基づいて、前記画像から主要被写体を抽出し、前記条件決定部は、前記主要被写体に関する情報に基づいて前記画像出力条件を決定する手段をさらに有してもよい。前記抽出部は、さらに前記画像に含まれる画像情報に基づいて、前記画像から前記主要被写体を抽出してもよい。

本発明の第３の形態においては、被写体を複数の異なる視点から撮像する視差画像を入力する手段と、前記被写体を撮像する画像を入力する手段を有する入力部と、前記視差画像に基づいて、前記画像の画像入力条件を決定する条件決定部とを備える。

前記視差画像に基づいて、前記被写体の各部までの距離を示す奥行き分布情報を抽出する抽出部をさらに備え、前記条件決定部は、前記奥行き分布情報に基づいて前記画像入力条件を決定する手段を有してもよい。前記画像入力条件は、前記奥行き分布情報に基づいて前記入力部における焦点距離、絞り量、及び、露光時間のうち少なくとも一つの条件を含んでもよい。前記抽出部は、前記奥行き分布情報に基づいて、前記画像から主要被写体を抽出し、前記条件決定部は、前記主要被写体に関する情報に基づいて前記画像入力条件を決定する手段をさらに有してもよい。前記抽出部は、さらに前記画像に含まれる画像情報に基づいて、前記画像から前記主要被写体を抽出してもよい。

本発明の第４の形態においては、画像処理方法であって、被写体の各部までの距離を示す奥行き分布情報に基づいて、前記被写体を撮像した画像の画像処理条件を決定する段階を備える。

本発明の第５の形態においては、画像出力方法であって、被写体の各部までの距離を示す奥行き分布情報に基づいて、前記被写体を撮像した画像の画像出力条件を決定する段階を備える。

本発明の第６の形態においては、画像入力方法であって、被写体を複数の異なる視点から撮像する視差画像を入力する段階と、前記被写体を撮像する画像を入力する段階を有する段階と、前記視差画像に基づいて、前記画像の画像入力条件を決定する段階とを備える。

本発明の第７の形態においては、被写体を撮像した画像の画像処理条件を決定するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムが、前記コンピュータに働きかけて、前記被写体の各部までの距離を示す奥行き分布情報に基づいて、前記被写体を撮像した画像の画像処理条件を決定する手順を備える。

本発明の第８の形態においては、被写体を撮像した画像の画像出力条件を決定するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムが、前記コンピュータに働きかけて、前記被写体の各部までの距離を示す奥行き分布情報に基づいて、前記被写体を撮像した画像の画像出力条件を決定する手順を備える。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。

上記説明から明らかなように、本発明によれば高い精度で抽出した主要被写体に合わせて画像入力条件、画像処理条件、及び画像出力条件を決定することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の第１実施形態におけるデジタルカメラの構成図である。本実施形態におけるカメラは、被写体の画像を予備撮影し、予備撮影した画像（副画像）に基づく画像入力条件で本撮影をする。そして、本撮影した画像（主画像）は画像処理条件に基づいて画像処理される。また、主画像は画像出力条件に基づいて出力される。本実施形態のカメラは、入力部２０とＡ／Ｄ変換部３０とメモリ４０と制御ユニット５０とレリーズスイッチ５２と記録部９０と出力部９２とを備える。本実施形態のカメラには、例えばデジタルスチールカメラやデジタルビデオカメラ等が含まれる。

入力部２０は、視差画像入力手段２２と画像入力手段２４とを有する。視差画像入力手段２２は、被写体を異なる視点から撮像する視差画像を入力する。視差画像入力手段２２は、視差用レンズ３２と視差用シャッター３４と視差用ＣＣＤ（Charge coupled device:電荷結合素子）３６とを含む。視差用レンズ３２は、被写体を結像する。視差用シャッター３４は、視点となる開閉自在な複数の開閉部を含み、いずれかの開閉部が開く。視差用ＣＣＤ３６は、視差用レンズ３２により結像された被写体の画像を受光して電気信号に変換する。

視差用シャッター３４に含まれる複数の開閉部のうちいずれかの開閉部を開けることにより、視差用レンズ３２と開いているいずれかの開閉部とを介して、被写体の像が視差用ＣＣＤ３６に結ばれる。次いで、他の開閉部を開けることにより、視差用レンズ３２と開いている開閉部とを介して、被写体の像が視差用ＣＣＤ３６に結ばれる。このようにして撮像された画像は異なる視点から被写体を撮像した視差画像となる。

画像入力手段２４は、被写体を一つの視点から撮像する画像を入力する。画像入力手段２４は、レンズ２５と絞り２６とシャッター２７とカラーフィルタ２８とＣＣＤ２９とを含む。レンズ２５は被写体を結像し、絞り２６は絞り量を調整し、シャッター２７は露光時間を調整する。カラーフィルタ２８はレンズ２５を通して受光される光のＲＧＢ成分を分解する。ＣＣＤ２９はレンズ２５によって結像された被写体の画像を受光して電気信号に変換する。

Ａ／Ｄ変換部３０は、視差画像入力手段２２と画像入力手段２４とから受け取ったアナログ信号をデジタル信号に変換し、メモリ４０に出力する。メモリ４０は入力されたデジタル信号を格納する。即ち、メモリ４０は、視差画像入力手段２２が撮像した被写体の視差画像、及び、画像入力手段２４が撮像した画像を記憶する。

制御ユニット５０は、視差画像及び副画像に基づいて画像入力条件、画像処理条件、及び、画像出力条件のうち少なくとも一つを決定する。また、制御ユニット５０は、撮影した被写体の主画像を画像処理して出力する。制御ユニット５０は、レンズ２５のフォーカス、絞り２６の絞り量、シャッター２７の露光時間、ＣＣＤ２９の信号出力、視差用シャッター３４の開閉、及び、視差用ＣＣＤ３６の信号出力のうち少なくとも一つを制御する。

レリーズスイッチ５２は、制御ユニット５０に撮影動作の制御を開始させる信号を出力する。即ち、撮影者がレリーズスイッチ５２をオンにすると、制御ユニット５０が入力部２０を制御して被写体を撮影する。

記録部９０は、制御ユニット５０から受け取った画像及びその他の情報を記録媒体に記録する。記録部９０が画像を記録する記録媒体は、例えばフロッピーディスク等の磁気記録媒体やフラッシュメモリ等の交換可能な不揮発性メモリであってもよい。出力部９２は、記録部９０に記録された画像を出力する。出力方法としては、プリンタによるプリント出力やモニタによる画像出力等がある。例えば、カメラが液晶小型モニタを内蔵する場合、ユーザは制御ユニット５０により画像処理された処理結果の画像を直ちに確認することができる。外部接続装置としてのモニタに画像のデータを出力してもよい。

図２は、本実施形態の制御ユニット５０を詳細に示すブロック図である。本実施形態の制御ユニット５０は、撮像制御部５６と結像制御部５８と抽出部６０と条件決定部７０と画像処理部８４とを備える。

抽出部６０は、視差画像入力手段２２により撮像された視差画像、及び、画像入力手段２４により撮像された副画像をメモリ４０から受け取る。抽出部６０は、視差画像及び副画像に含められた情報に基づいて、副画像から主要被写体を抽出する。ここでいう主要被写体とは、撮影する被写体のうち、撮影者が意識的に撮影する独立した対象物である。例えば、部屋の中の人物を撮影するときの当該人物、水槽の中を泳ぐ魚を撮影するときの当該魚、木の枝に止まった鳥を撮影するときの当該鳥等が主要被写体である。抽出部６０は、主要被写体に関する情報を条件決定部７０に出力する。

条件決定部７０は、抽出部６０から受け取った主要被写体に関する情報、又は、奥行き分布情報に基づいて画像入力条件、画像処理条件、及び、画像出力条件のうち少なくとも一つを決定する。

結像制御部５８は、入力部２０に画像入力条件に基づいて被写体を結像させる。即ち、結像制御部５８は、レンズ２５のフォーカス、絞り２６の絞り量、シャッター２７の露光時間、及び、視差用シャッター３４の開閉のうち少なくとも一つを画像入力条件に基づいて制御する。

撮像制御部５６は、入力部２０に画像を撮像させる。即ち、撮像制御部５６は、ＣＣＤ２９の信号出力、視差用ＣＣＤ３６の信号出力のうち少なくともいずれかを制御する。また、撮像制御部５６は、入力部２０に主画像を撮像させ、画像処理部８４に主画像の画像処理をさせる。

画像処理部８４は、画像入力手段２４により撮像された主画像をメモリ４０から受け取る。そして、画像処理部８４は、条件決定部７０から受け取る画像処理条件に基づいて主画像に画像処理を施す。

図３は、抽出部６０の機能ブロック図である。抽出部６０は、奥行き情報抽出手段６２と画像情報抽出手段６４と主要被写体抽出手段６６とを含む。

奥行き情報抽出手段６２は、メモリ４０から受け取る視差画像に基づいて、被写体の各部までの距離を示す奥行き分布情報を抽出する。即ち、奥行き情報抽出手段６２は、視差画像に基づいて、所定の被写体について対応点決定処理を行うことにより視差量を求め、求めた視差量に基づいて奥行き分布情報を抽出する。対応点決定処理は、従来から知られている技術であるので説明を省略する。また、視差量に基づいて奥行き分布情報を抽出する処理は、従来から知られている三角測量の原理に基づいて行うことができるのでここでは説明を省略する。

画像情報抽出手段６４は、メモリ４０から受け取る副画像に基づいて、画像の画像情報、例えば輝度分布情報、色分布情報、テクスチュア分布情報、動きの分布情報等を抽出する。

主要被写体抽出手段６６は、奥行き分布情報と画像情報とに基づいて副画像から主要被写体を抽出する。ここで、主要被写体の抽出条件は、奥行き分布情報と画像情報との単純な多数決や平均のみでなく、他の計算方法で抽出してもよい。例えば、奥行き分布情報に基づいて画像に含まれる複数の被写体を抽出した上で、以下の判断要素に基づいて複数の被写体から主要被写体を選択する。

主要被写体を選択するための判断要素としては、例えば被写体が、カメラの近くに位置するか、画像の中央近くに位置するか、画像に写った被写体の高さが画像縦幅に対し所定の範囲の比率であるか等がある。この場合、各被写体からカメラまでの距離を奥行き分布情報に基づいて数値化し、さらに各被写体の画像中央からの距離、各被写体の高さの画像縦幅に対する比率を画像情報に基づいて数値化する。数値化した各判断要素に異なる重み付けをした数値の和を算出し、算出した和を各被写体の加重平均値とする。そして、算出した加重平均値のうち最大の加重平均値を有する被写体を主要被写体とする。

各判断要素の中で特に重視する判断要素がある場合、その判断要素の数値に対する重み付けを大きくしてもよい。人物を被写体とする場合においては、主要被写体抽出手段６６が被写体となる人物の顔部分を主要被写体として抽出する。顔部分を抽出する場合、肌色の部分があるか等をさらに判断要素としてもよい。この場合、肌色量を画像情報に基づいて数値化し、かかる肌色量の重み付けを特に大きくしてもよい。主要被写体抽出手段６６は、主要被写体の情報を条件決定部７０に出力する。

主要被写体抽出手段６６は、奥行き分布情報と画像情報とに基づいて主要被写体を抽出する。これにより、例えば、複数の人物の顔画像が前後に位置して部分的に重なっていても、画像情報だけに基づいて抽出する場合と異なり、奥行き分布情報に基づいて高い精度で前の人の顔と後ろの人の顔を抽出することができる。また、主要被写体抽出手段６６は、視差画像から求まる奥行き分布情報に基づいて主要被写体を抽出するので、多点測距式よりも高い精度で主要被写体を抽出することができる。

図４は、条件決定部７０の機能ブロック図である。条件決定部７０は、画像入力条件決定手段７６と画像処理条件決定手段７４と画像出力条件決定手段７２とを有する。

画像入力条件決定手段７６は、奥行き分布情報又は主要被写体の情報に基づいて画像入力条件を決定する。画像入力条件としては、以下の条件が考えられる。例えば、画像入力条件決定手段７６は、奥行き分布情報に基づいてカメラから各被写体までの距離分布をヒストグラム化し、カメラに最も近い被写体とカメラに最も遠い被写体との間の最大距離差を求める。そして、画像入力条件決定手段７６は、最大距離差に応じた絞り量を決定し、さらにこの絞り量に応じて露光時間を決定する。例えば、屋外での撮影において、比較的近距離の人物と遙か遠くにある山との双方をピント良く撮影したい場合、絞り量を大きくして露光時間を長くするという条件にしてもよい。

例えば、画像入力条件決定手段７６は、主要被写体の情報に基づいてホワイトバランスに関する条件を決定してもよい。ストロボを光らせて撮影する場合、近距離にいる主要被写体にはストロボ光が十分に当たって良好な色合いで写り、主要被写体以外の部分はストロボ光が十分に当たらず、暗く写る場合がある。従って、主要被写体に対してはホワイトバランスを調整せず、主要被写体以外の被写体に対してだけホワイトバランスを調整するという条件にしてもよい。例えば、画像入力条件決定手段７６は、主要被写体にフォーカスを合わせる条件を決定してもよい。

画像入力条件決定手段７６が決定した画像入力条件に基づいて、結像制御部５８は入力部２０の焦点距離、絞り量、露光時間等を制御する。記録部９０は、主画像を画像入力条件の情報とともに記録媒体に記録してもよい。出力部９２は、主画像を画像入力条件の情報とともに外部に接続されたモニタやプリンタ等に出力してもよい。

画像処理条件決定手段７４は、奥行き分布情報又は主要被写体の情報に基づいて画像処理条件を決定する。画像処理条件としては、以下の条件が考えられる。例えば、自然な遠近感を増幅させるために、画像処理条件決定手段７４は、奥行き分布情報に基づいて、カメラから近距離の被写体には色彩度を強調し、カメラから遠距離の被写体には色彩度を弱める条件にしてもよい。例えば、画像処理条件決定手段７４は、主要被写体とそれ以外の被写体とをそれぞれ最適な階調に処理する条件を決定してもよい。

例えば、主要被写体の画質を劣化させずに主画像全体の画像データサイズを圧縮したい場合に、画像処理条件決定手段７４は、主要被写体とそれ以外の被写体とで異なる減色（色圧縮）をする条件を決定してもよい。例えば、画像処理条件決定手段７４は、主要被写体の画像を拡大して強調した画像を主要被写体以外の部分と合成させたり、主要被写体の画像を任意の背景画像と合成する条件を決定してもよい。

画像処理条件決定手段７４が決定した画像処理条件に基づいて、画像処理部８４が主画像に画像処理を施す。記録部９０は、画像処理された主画像（処理結果画像）を画像処理条件の情報とともに記録媒体に記録してもよい。出力部９２は、処理結果画像を画像処理条件の情報とともに外部に接続されたモニタやプリンタ等に出力してもよい。

画像出力条件決定手段７２は、奥行き分布情報又は主要被写体の情報に基づいて画像出力条件を決定する。画像出力条件としては、以下の条件が考えられる。画像をモニタに表示する場合、データサイズの大きい画像を表示させるには多少時間がかかる。従って、例えば、主要被写体部分から優先的に表示させて主要被写体以外の部分を遅れて表示させる条件を決定してもよい。また、動画データを通信ネットワークを介して転送し、ネットワーク上のモニタに表示させる場合、画像出力条件決定手段７２は、主要被写体の部分の転送レートを高くし、主要被写体以外の部分の転送レートを低くする条件を決定してもよい。さらに、画像出力条件決定手段７２は、主要被写体の部分のシャープネスを強調し、主要被写体以外の部分のシャープネスを弱くする周波数変調処理の条件を決定してもよい。

画像を写真に印刷する場合、例えば、画像出力条件決定手段７２は、主要被写体の部分を基準に焼き付けする条件を決定してもよい。また、画像出力条件決定手段７２は、プリンタやモニタにおける画像出力のダイナミックレンジに応じて、主要被写体の部分と主要被写体以外の部分とで異なる階調変換をする条件を決定してもよい。

記録部９０は、主画像を画像入力条件、画像処理条件、画像出力条件、及び、奥行き分布情報のうちいずれかとともに記録媒体に記録してもよい。以上のように、奥行き分布情報又は主要被写体情報に基づいて画像入力条件、画像処理条件、画像出力条件を決定することとしたので、画像に含まれる情報だけに基づいて決定するよりも高い精度で、距離ごと又は被写体ごとに異なる処理等の条件にすることができる。

図５は、本実施形態における撮影方法を示すフローチャートである。まず、レリーズスイッチ５２を操作することにより撮影動作が開始される（Ｓ１００）。撮影動作が開始されると、視差画像入力手段２２により視差画像が入力され（Ｓ１０２）、また、画像入力手段２４により副画像が連続的に入力される（Ｓ１０４）。次に、主要被写体抽出手段６６が、主要被写体を抽出する（Ｓ１０６）。次に、条件決定部７０が、画像入力条件、画像処理条件及び画像出力条件を決定する（Ｓ１０８）。次に、入力部２０が画像入力条件に基づいて本撮影をする（Ｓ１１０）。次に、画像処理部８４が主画像に処理を施す（Ｓ１１２）。次に、記録部９０が画像を画像入力条件、画像処理条件及び画像出力条件のいずれかとともに記録する（Ｓ１１４）。出力部９２が、記録部９０により記録された画像を画像出力条件に基づいて出力し（Ｓ１１６）、撮影動作が終了する（Ｓ１１８）。

図６は、図５における主要被写体抽出段階（Ｓ１０６）の詳細な動作を示すフローチャートである。まず、奥行き情報抽出手段６２が、視差画像に基づいて奥行き分布情報を抽出し（Ｓ１２０）、また、画像情報抽出手段６４が、副画像に基づいて画像情報を抽出する（Ｓ１２２）。次に、主要被写体抽出手段６６が、奥行き分布情報と画像情報とに基づいて主要被写体を抽出する（Ｓ１２４）。

図７は、図５における各条件の決定段階（Ｓ１０８）の詳細な動作を示すフローチャートである。画像入力条件決定手段７６が画像入力条件を決定する（Ｓ１４０）。画像処理条件決定手段７４が画像処理条件を決定する（Ｓ１４２）。画像出力条件決定手段７２が画像出力条件を決定する（Ｓ１４４）。

図８は、図５における本撮影段階（Ｓ１１０）の詳細な動作を示すフローチャートである。まず、結像制御部５８が画像入力条件に基づいて入力部２０の焦点距離、絞り量、又は、露光時間のうち少なくともいずれかを制御して被写体の画像を結像する（Ｓ１６０）。次に、撮像制御部５６が入力部２０を制御して被写体の画像を撮像する（Ｓ１６２）。

次に、本発明の第２実施形態について説明する。図９は、本実施形態における銀塩カメラの構成図である。本実施形態のカメラは、被写体の画像を予備撮影し、予備撮影した画像（副画像）に基づいて画像入力条件、画像処理条件及び画像出力条件を決定する。図９の銀塩カメラは、入力部２０とＡ／Ｄ変換部３０とメモリ４０と制御ユニット５０とレリーズスイッチ５２とを備える。Ａ／Ｄ変換部３０、メモリ４０、制御ユニット５０及びレリーズスイッチ５２は、第１実施形態とほぼ同様の構成であるため説明を省略する。

入力部２０は、視差画像入力手段１２２と副画像入力手段１２４と主画像入力手段１３０とを有する。視差画像入力手段１２２及び副画像入力手段１２４は、第１実施形態の視差画像入力手段２２及び画像入力手段２４とそれぞれ同様の構成である。主画像入力手段１３０は、レンズ１３２と絞り１３４とシャッター１３６と撮影部１３８とを含む。レンズ１３２と絞り１３４とシャッター１３６とは図１におけるレンズ２５と絞り２６とシャッター２７とそれぞれ同様の構成である。撮影部１３８は、被写体の画像を光化学反応によって銀塩感光フイルム等に撮像させる。

第１実施形態のデジタルカメラでは、予備撮影と本撮影との双方を画像入力手段２４が行うが、本実施形態の銀塩カメラでは、予備撮影は副画像入力手段１２４が行い、本撮影は主画像入力手段１３０が行う点で異なる。

図１０は、本実施形態の制御ユニット５０を詳細に示すブロック図である。本実施形態の制御ユニット５０は、抽出部６０と条件決定部７０と結像制御部５８と撮像制御部５６とを備える。本実施形態の抽出部６０は第１実施形態と同様の構成なので説明を省略する。

条件決定部７０は、抽出部６０が抽出した奥行き分布情報又は主要被写体の情報に基づいて、画像入力条件及び画像出力条件のうち少なくともいずれかを決定する。結像制御部５８は、入力部２０に被写体を結像させる。また、結像制御部５８は、画像入力条件に基づいてレンズ１３２の焦点距離、絞り１３４の絞り量、シャッター１３６の露光時間のうち少なくとも一つを画像入力条件に基づいて制御する。撮像制御部５６は、画像入力条件又は画像出力条件に基づいて撮影部１３８に主画像を撮像させる。撮影部１３８は、銀塩フイルムに被写体の画像とともに画像出力条件の情報又は奥行き分布情報を記録する。銀塩フイルムには、画像を記録する部分以外に画像に関する情報を記録する部分が設けられる。

本実施形態においては、本撮影における銀塩式の画像入力手段以外に、予備撮影用にデジタル式の副画像入力手段１２４を用いている。これにより、最適な撮影条件を自動的に設定させて被写体を撮影することができる。

図１１は、本発明の第３実施形態におけるラボシステムの構成図である。図１１のラボシステムは、読込装置２１０とメモリ２２０と制御ユニット２３０と記録部２４０と出力部２５０とを備える。

読込装置２１０は、デジタルカメラ用記録媒体や銀塩フイルム等から画像及び画像に関する情報を読み込む。デジタルカメラ用記録媒体として、例えば、フロッピーディスクや着脱自在なフラッシュメモリ等から画像及び画像に関する情報を読み込む場合、読込装置２１０としてフロッピードライブ等の装置を用いる。また、デジタルカメラで撮影した画像及び画像に関する情報をインターネット等の通信を用いて読込装置２１０に転送し読み込ませることもできる。

銀塩フイルムから画像及び画像に関する情報を読み込む場合、読込装置２１０としてフイルムスキャナー等の装置を用いる。銀塩フイルムには、画像を記録する部分以外に画像に関する情報を記録する部分が設けられており、記録された画像に関する情報はフイルムスキャナーによって画像とともに読みとられる。

メモリ２２０には、読込装置２１０により読み込まれた複数の画像及び画像に関する情報が格納される。本実施形態においては、画像に関する情報として奥行き分布情報及び画像情報をメモリ２２０に格納する。

制御ユニット２３０は、第１の実施形態におけるカメラ内の制御ユニット５０と同様の機能を有し、メモリ２２０に格納された画像及び画像に関する情報に基づいて画像入力条件、画像処理条件、及び、画像出力条件のうち少なくともいずれかを決定する。

なお、銀塩フイルムの場合、画像以外に記録できるデータ容量は小さいので、主要被写体の情報等、最小限の情報を予め記録しておいてもよい。この場合、銀塩フイルムに記録された主要被写体の情報に基づいて画像処理条件及び画像出力条件が決定される。さらに他の形態においては、デジタルカメラ用記録媒体に、予め視差画像を記録しておき、この視差画像に基づいて制御ユニット２３０が奥行き分布情報を抽出してもよい。

制御ユニット２３０は、本撮影で得られた主画像に、画像処理条件に基づいて画像処理を施す。制御ユニット２３０により画像処理された画像は記録部２４０に記録される。記録部２４０に記録された画像は、出力部２５０により出力される。出力部２５０としては、カラーレーザプリンタやデジタルプリンタ等が用いられる。

本実施形態では画像選択装置の一例としてラボシステムについて説明したが、画像選択装置の他の一例として、ワークステーションやパーソナルコンピュータ等の電子計算機を用いたシステムにすることもできる。この場合、電子計算機は、図１１におけるメモリ２２０、制御ユニット２３０及び記録部２４０として機能する。そして、電子計算機とともにシステムを構成する外部接続装置が、図１１における読込装置２１０及び出力部２５０として機能する。

制御ユニット２３０において、奥行き分布情報に基づいて画像処理条件を決定する手順は、記録媒体３００に格納されたプログラムによってソフトウエアとして提供されてもよい。同様に、制御ユニット２３０において、奥行き分布情報に基づいて画像出力条件を決定する手順は、記録媒体３００に格納されたプログラムによってソフトウエアとして提供されてもよい。

以上のように、本実施形態によれば、主要被写体抽出手段６６が奥行き分布情報と画像情報とに基づいて主要被写体を抽出する。これにより、例えば、複数の人物の顔画像が前後に一部重なっていても、画像情報だけに基づいて抽出する場合と異なり、奥行き分布情報に基づいて高い精度で前の人の顔と後ろの人の顔を別々に抽出することができる。

また、本実施形態によれば、奥行き分布情報又は主要被写体情報に基づいて画像入力条件、画像処理条件、画像出力条件を決定する。したがって、画像に含まれる情報だけに基づいて決定するよりも高い精度で、距離ごと又は被写体ごとに異なる処理等の条件を決定することができる。

また、本実施形態によれば、主要被写体抽出手段６６は、視差画像から求まる奥行き分布情報に基づいて主要被写体を抽出するので、多点測距式よりも高い精度で主要被写体を抽出することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

デジタルカメラの構成図である。 制御ユニット５０のブロック図である。 抽出部６０の機能ブロック図である。 条件決定部７０の機能ブロック図である。 撮影方法を示すフローチャートである。 図５における主要被写体の抽出段階（Ｓ１０６）の詳細な動作を示すフローチャートである。 図５における各条件の決定段階（Ｓ１０８）の詳細な動作を示すフローチャートである。 図５における本撮影段階（Ｓ１１０）の詳細な動作を示すフローチャートである。 銀塩カメラの構成図である。 制御ユニット５０を詳細に示すブロック図である。 ラボシステムの構成図である。

符号の説明

２０ 入力部
２２ 視差画像入力手段
２４ 画像入力手段
２５ レンズ
２６ 絞り
２７ シャッター
２８ カラーフィルタ
２９ ＣＣＤ
３０ Ａ／Ｄ変換部
３２ 視差用レンズ
３４ 視差用シャッター
３６ 視差用ＣＣＤ
４０ メモリ
５０ 制御ユニット
５２ レリーズスイッチ
５６ 撮像制御部
５８ 結像制御部
６０ 抽出部
６２ 奥行き情報抽出手段
６４ 画像情報抽出手段
６６ 主要被写体抽出手段
７０ 条件決定部
７２ 画像出力条件決定手段
７４ 画像処理条件決定手段
７６ 画像入力条件決定手段
８４ 画像処理部
９０ 記録部
９２ 出力部
１２２ 視差画像入力手段
１２４ 副画像入力手段
１３０ 主画像入力手段
１３２ レンズ
１３４ 絞り
１３６ シャッター
１３８ 撮影部
２１０ 読込装置
２２０ メモリ
２３０ 制御ユニット
２４０ 記録部
２５０ 出力部
３００ 記録媒体

Claims (5)

1. 画像から主要被写体を抽出する抽出部と、
   前記画像に対して、前記画像内の前記主要被写体よりも前記主要被写体以外の被写体の方をより減色する画像処理部と、
   前記画像処理部により画像処理された前記画像の動画データを通信ネットワークを介して転送して表示させる場合に、前記主要被写体の部分の転送レートを高くし、前記主要被写体以外の部分の転送レートを低くする画像出力条件を決定する画像出力条件決定部と、
   前記画像出力条件に基づいて、前記画像を出力する出力部と
   を備える画像出力装置。
2. 前記被写体が複数の異なる視点から撮像された視差画像を入力する視差画像入力手段
   をさらに備え、
   前記抽出部は、
   前記視差画像に基づいて前記被写体までの距離を示す奥行き分布情報を抽出し、前記奥行き分布情報に基づいて前記画像から主要被写体を抽出する
   請求項１に記載の画像出力装置。
3. 前記抽出部は、前記被写体が撮像された画像を受け取り、前記奥行き分布情報に基づいて前記画像から複数の被写体を抽出し、抽出した前記複数の被写体のそれぞれについて、前記奥行き分布情報に基づいて前記被写体から前記被写体を撮像したカメラまでの距離を数値化し、前記被写体の画面中央からの距離及び前記被写体の高さの画像縦幅に対する比率を前記画像の画像情報に基づいて数値化し、数値化したそれぞれの数値に異なる重み付けをした数値の和を算出して加重平均値とし、前記複数の被写体のうち最大の加重平均値を有する被写体を前記主要被写体とする
   請求項２に記載の画像出力装置。
4. 前記抽出部は、前記複数の被写体のそれぞれについて肌色量を数値化し、前記肌色量の重み付けを、他の重み付けよりも大きくして、数値化したそれぞれの数値に異なる重み付けをした数値の和を算出して前記加重平均値とする
   請求項３に記載の画像出力装置。
5. 画像から主要被写体を抽出する抽出段階と、
   前記画像に対して、前記画像内の前記主要被写体よりも前記主要被写体以外の被写体の方をより減色する画像処理段階と、
   前記画像処理段階において画像処理された前記画像の動画データを通信ネットワークを介して転送して表示させる場合に、前記主要被写体の部分の転送レートを高くし、前記主要被写体以外の部分の転送レートを低くする画像出力条件を決定する画像出力条件決定段階と、
   前記画像出力条件に基づいて、前記画像を出力する出力段階と
   を備える画像出力方法。

Images