JPWO2013111415A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

３次元画像を撮像することが可能な撮像装置においてより適切な構図の設定を実現するために、２次元表示される入力画像について、第１の手法に基づいて構図を設定する第１の構図設定部と、３次元表示される入力画像について、上記第１の手法とは異なる第２の手法に基づいて構図を設定する第２の構図設定部とを含む画像処理装置が提供される。

Description

本開示は、画像処理装置および画像処理方法に関する。

近年、フォーカスや露光を自動調整するデジタルスチルカメラなどの撮像装置が普及している。かかる撮像装置では、例えば撮影シーンに適したフォーカスや露光などが設定され、ユーザはこれらの調整をしなくても、良好な撮像画像を取得することができる。

さらに、撮像画像の構図についても、例えば特許文献１，２に記載された技術のように、ユーザの操作によらず自動的に設定する技術が提案されている。これらの技術では、例えば、被写体の顔の大きさや位置を検出し、それらを基準にして、撮像画像の中の適切な領域をトリミング画像として切り出す。

特開２０１０−１０３９７２号公報 特開２００９−２１８８０７号公報

一方、近年、３次元画像を撮像することが可能な撮像装置も、次第に増加している。３次元画像は、奥行きを伴って観察されるものであるため、構図を設定するときに考慮すべき要素が必ずしも２次元画像の場合と同じではない。上記の特許文献１，２に記載された技術は、専ら２次元画像を想定したものであり、３次元画像についての適切な構図の設定を実現するものとは必ずしもいえない。

そこで、本開示では、３次元画像を撮像することが可能な撮像装置においてより適切な構図の設定を実現することが可能な、新規かつ改良された画像処理装置および画像処理方法を提案する。

本開示によれば、２次元表示される入力画像について、第１の手法に基づいて構図を設定する第１の構図設定部と、３次元表示される入力画像について、上記第１の手法とは異なる第２の手法に基づいて構図を設定する第２の構図設定部とを含む画像処理装置が提供される。

また、本開示によれば、２次元表示される入力画像について、第１の手法に基づいて構図を設定することと、３次元表示される入力画像について、上記第１の手法とは異なる第２の手法に基づいて構図を設定することとを含む画像処理方法が提供される。

また、本開示によれば、３次元表示される入力画像について、上記入力画像の奥行きを示す奥行き情報に基づいて構図を設定する構図設定部を含む画像処理装置が提供される。

また、本開示によれば、３次元表示される入力画像について、上記入力画像の奥行きを示す奥行き情報に基づいて構図を設定することを含む画像処理方法が提供される。

上記の構成によれば、３次元表示される入力画像について、２次元表示の場合とは異なる構図の設定処理が実行される。従って、構図の設定に３次元画像に適応した要素を反映させることができる。

以上説明したように、本開示によれば、３次元画像を撮像することが可能な撮像装置においてより適切な構図の設定を実現することができる。

本開示の第１の実施形態に係るデジタルスチルカメラの機能構成を示す概略的なブロック図である。 本開示の第１の実施形態に係るデジタルスチルカメラの処理を示すフローチャートである。 本開示の第１の実施形態における２次元および３次元の構図設定処理を概略的に説明するための図である。 本開示の第１の実施形態における３次元構図設定部による処理のフローチャートである。 本開示の第２の実施形態における２次元および３次元の構図設定処理を概略的に説明するための図である。 本開示の第２の実施形態における３次元構図設定部による処理のフローチャートである。 本開示の第３の実施形態における３次元構図設定部による処理のフローチャートである。 本開示の第４の実施形態に係るデジタルスチルカメラの機能構成を示す概略的なブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態（２次元の構図設定と３次元の構図設定とを切り替える例）
１−１．機能構成
１−２．処理フロー
１−３．３次元構図設定処理の例
２．第２の実施形態（奥行き情報と被写界深度とを用いる例）
３．第３の実施形態（奥行きの範囲を用いる例）
４．第４の実施形態（主に３次元の構図設定をする例）
５．補足

以下の説明では、画像処理装置の一例であるデジタルスチルカメラに係る本開示の第１〜第４の実施形態を紹介する。なお、本開示の実施形態に係る画像処理装置は、デジタルスチルカメラには限られず、入力画像を処理してトリミング画像を生成する機能を有する各種の装置でありうる。また、本開示の実施形態は、入力画像を処理してトリミング画像を生成する方法、入力画像を処理してトリミング画像を生成する機能をコンピュータに実現させるためのプログラム、および当該プログラムが記録されるコンピュータ読み取り可能な記録媒体をも含む。

（１．第１の実施形態）
（１−１．機能構成）
まず、図１を参照して、本開示の第１の実施形態に係るデジタルスチルカメラの機能構成について説明する。図１は、本実施形態に係るデジタルスチルカメラ１００の機能構成を示す概略的なブロック図である。

デジタルスチルカメラ１００は、撮像光学系１０１、撮像部１０２、制御回路１１０、表示部１２０、および記憶部１３０を含む。制御回路１１０は、被写体認識部１１１、画像判定部１１２、２次元構図設定部１１３、３次元構図設定部１１４、トリミング部１１５、記録制御部１１６、および表示制御部１１７の機能を実現する。なお、デジタルスチルカメラ１００は、図示された機能構成以外にも、一般的にデジタルスチルカメラに設けられる操作部などの構成要素を含みうる。

撮像光学系１０１は、フォーカスレンズ、ズームレンズなどの各種レンズ、光学フィルタ、および絞りなどの光学部品からなる。被写体から入射された光学像（被写体像）は、撮像光学系１０１に含まれる光学部品を介して、撮像部１０２に含まれる撮像素子の露光面に結像される。

撮像部１０２は、例えばＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子と、撮像素子を駆動するためのタイミングジェネレータ、および信号処理回路を含む。信号処理回路は、撮像素子が被写体像を光電変換することによって出力されるアナログ画像信号を処理し、デジタル画像信号に変換して制御回路１１０に出力する。信号処理回路は、例えばＤＳＰ（Digital Signal Processor）によって実現される。

（２次元／３次元の入力画像について）
ここで、撮像光学系１０１および撮像部１０２は、２次元表示される入力画像(以下、２次元入力画像ともいう)と、３次元表示される入力画像（以下、３次元入力画像ともいう）との両方を取得することが可能な構成を有する。

ここで、３次元入力画像は、２次元入力画像の情報に、画像の奥行きを示す奥行き情報が加えられたものである。奥行き情報は、例えば、左眼画像に対応する右眼画像によって表現される。この場合、奥行き情報は、左眼画像と右眼画像との間の視差から抽出される。画像を再生するときには、左眼画像を観察者の左眼に、右眼画像を観察者の右眼にそれぞれ呈示することによって、観察者に奥行きを知覚させる。

また、奥行き情報は、例えば、画像内の奥行きをマップや数値などで表現した情報であってもよい。この場合、奥行き情報は、例えば撮像時に距離センサを用いて実際に奥行きを計測することによって取得されうる。画像を再生するときには、奥行き情報を用いて、奥行きに対応した視差を設定した左眼画像および右眼画像を生成し、これらを観察者に呈示する。

上記のような３次元入力画像を取得するために、例えば、撮像光学系１０１は、左眼画像用および右眼画像用の２組のレンズを含む２眼式の光学系であってもよい。また、撮像光学系１０１は、１組のレンズによって取得される光学像を左眼画像用および右眼画像用に分離するシャッターなどを含む１眼式の光学系であってもよい。

なお、このような撮像系の構成については、例えば特開２０１１−２４８６９３号公報などに開示されている。撮像光学系１０１および撮像部１０２には、これらの文献に記載された構成をはじめとして、公知のあらゆる構成を利用することが可能である。

さらなる例として、撮像光学系１０１および撮像部１０２は、２次元入力画像を取得する通常の撮像系と同様の構成を有していてもよい。この場合、例えば、デジタルスチルカメラ１００が左右方向に移動しながら撮像を実行するときに、３次元入力画像として左眼画像と右眼画像とを取得するように撮像部１０２を制御してもよい。

制御回路１１０は、被写体認識部１１１、画像判定部１１２、２次元構図設定部１１３、３次元構図設定部１１４、トリミング部１１５、記録制御部１１６、および表示制御部１１７の機能を実現するとともに、デジタルスチルカメラ１００の各部の動作を制御する。制御回路１１０は、例えば、記憶部１３０に格納されたプログラムに基づいて動作することによって上記の機能を実現するＣＰＵ（Central Processing Unit）によって実現される。制御回路１１０の機能の一部または全部は、上記の信号処理回路と同様にＤＳＰによって実現されてもよい。以下、制御回路１１０によって実現される各機能部分について説明する。

被写体認識部１１１は、撮像部１０２から取得される入力画像のデジタル画像信号を解析して、入力画像に含まれる被写体を認識する。ここで、被写体は、例えば人の顔である。他にも、被写体は、動物の顔や花、料理など、各種の物体でありうる。被写体認識部１１１は、例えば、ウェーブレット変換やＨａａｒ特徴検出などのアルゴリズムを用いて被写体の領域を算出する。被写体の領域は、例えば人の顔の場合であれば、あご、耳、および眉が含まれる最小矩形の座標値でありうる。なお、被写体の領域は、必ずしも矩形でなくてもよく、三角形または楕円などの形であってもよい。さらに、被写体認識部１１１は、被写体の領域に加えて、被写体の向きを認識してもよい。

画像判定部１１２は、撮像部１０２から取得される入力画像が、２次元入力画像か３次元入力画像かを判定する。この判定は、例えば、入力画像が奥行き情報を伴うか否かに基づいて実行されうる。この場合、画像判定部１１２は、例えば入力画像に右眼画像と左眼画像が含まれているとき、または入力画像が奥行き情報のマップや数値などのデータを伴うときなどに、入力画像が３次元入力画像であると判定する。

あるいは、画像判定部１１２は、ユーザの操作などによってデジタルスチルカメラ１００に設定されている動作モードに基づいて、上記の判定を実行してもよい。デジタルスチルカメラ１００の構成の一例として、撮像光学系１０１および撮像部１０２が通常的に奥行き情報を取得する場合がありうる。この場合、動作モードとして２次元撮像モードと３次元撮像モードとが用意され、３次元撮像モードが設定されている場合にトリミング画像が３次元画像として生成されてもよい。

上記の場合、画像判定部１１２による判定の時点で入力画像が奥行き情報を伴っていても、入力画像は３次元表示されるとは限らない。そこで、このような場合、画像判定部１１２は、デジタルスチルカメラ１００に設定されている動作モードに基づいて、入力画像が２次元入力画像か３次元入力画像かを判定してもよい。なお、動作モードは、例えば撮像の状況によって自動的に設定されてもよく、またユーザの操作に従って設定されてもよい。

画像判定部１１２は、上記の判定の結果に基づいて、２次元構図設定部１１３および３次元構図設定部１１４を制御する。より具体的には、画像判定部１１２は、入力画像が２次元入力画像である場合には２次元構図設定部１１３が機能し、入力画像が３次元画像である場合には３次元構図設定部１１４が機能するように、これらを制御する。なお、例えば、デジタルスチルカメラ１００が、同じ入力画像を２次元表示用および３次元表示用の両方で記録する動作モードを有する場合、画像判定部１１２は、２次元構図設定部１１３と３次元構図設定部１１４との両方を機能させてもよい。この場合、入力画像は、２次元表示用の画像および３次元表示用の画像としてそれぞれトリミングされ、記録されうる。

２次元構図設定部１１３は、２次元入力画像について、第１の手法に基づいて構図を設定する。ここでいう「構図の設定」には、入力画像のトリミング領域の設定が含まれてもよい。２次元構図設定部１１３は、例えば入力画像の被写体が三分割構図や二分割構図などで配置されるようにトリミング領域を設定する。ここで２次元構図設定部１１３によって構図の設定に用いられる要素は、例えば被写体認識部１１１によって認識された被写体の位置、サイズ、および向きなどである。例えば、２次元構図設定部１１３は、被写体のサイズに応じて、トリミング領域のサイズを決定する。また、２次元構図設定部１１３は、被写体の向きに応じて、被写体を配置する位置を決定する。さらに、２次元構図設定部１１３は、決定された被写体の配置に従ってトリミング領域を決定する。このとき、２次元構図設定部１１３は、構図の設定の基準になる主要な被写体の近傍にある他の被写体が含まれるように、トリミング領域を調整してもよい。なお、ここでいうトリミング領域の調整は、例えばトリミング領域のサイズの変更に加えて、トリミング領域を横長にするか縦長にするかを変更することをも含む。２次元構図設定部１１３は、設定されたトリミング領域の情報を、トリミング部１１５に提供する。

３次元構図設定部１１４は、３次元入力画像について、第２の手法に基づいて構図を設定する。ここでいう「構図の設定」には、入力画像のトリミング領域の設定が含まれてもよい。３次元構図設定部１１４は、２次元構図設定部１１３と同様に、例えば入力画像の被写体が三分割構図や二分割構図などで配置されるようにトリミング領域を設定する。ただし、３次元構図設定部１１４は、２次元構図設定部１１３が用いる被写体の位置、サイズ、および向きなどに加えて、例えば入力画像の奥行き情報や被写界深度の情報などを構図の設定に用いる。つまり、３次元構図設定部１１４は、２次元構図設定部１１３が用いる第１の手法とは異なる第２の手法に基づいて構図を設定する。従って、３次元構図設定部１１４によって設定される構図は、２次元構図設定部１１３によって設定される構図とは異なりうる。

詳しくは後述するが、３次元構図設定部１１４は、例えば、構図の設定の基準になる被写体の近傍にある他の被写体が含まれるようにトリミング領域のサイズを調整するときに、主要な被写体と奥行きに差がある他の被写体を除外してもよい。また、３次元構図設定部１１４は、奥行きが異なる領域が含まれるようにトリミング領域のサイズを調整してもよい。さらに、３次元構図設定部１１４は、二分割構図や日の丸構図のような対称的な構図を設定してもよい。

なお、後述するように、３次元構図設定部１１４によって設定されたトリミング領域は、２次元入力画像に適用されてもよい。例えば、２次元構図設定部１１３と３次元構図設定部１１４との両方によってトリミング領域が設定され、入力画像から２種類のトリミング画像が生成されてもよい。また、２次元構図設定部１１３と３次元構図設定部１１４とのどちらを使用するかは、ユーザの操作に従って選択されてもよい。

上記の２次元構図設定部１１３および３次元構図設定部１１４は、設定したトリミング領域が入力画像の範囲を超える場合、設定条件を変更してトリミング領域を再設定してもよい。この再設定の処理は、トリミング領域が入力画像の範囲内に収まるまで繰り返されてもよい。

なお、本明細書では、画像における被写体配置の状態全般を「構図」と称する。この「構図」は、上記の例では、構図の種類（例えば三分割構図や二分割構図のような）、トリミング領域に対する被写体の相対的なサイズ、どの点に被写体を配置するか（例えば三分割構図の場合であれば、４つの交点のいずれに配置するか）、およびトリミング領域のサイズによって定義される。

トリミング部１１５は、入力画像から、２次元構図設定部１１３または３次元構図設定部１１４が設定したトリミング領域のトリミング画像を生成する。このとき、トリミング部１１５は、例えば画素補間して解像度を上げるなどの処理（超解像処理ともいう）によって、トリミング画像を入力画像のサイズまで拡大してもよい。２次元構図設定部１１３および３次元構図設定部１１４は、この拡大処理によって入力画像のサイズまで拡大することが可能であることを、構図の再設定処理の繰返しの条件として用いてもよい。

さらに、トリミング部１１５は、トリミング画像に設定される奥行き情報を調整してもよい。トリミング画像は、入力画像の一部を切り出したものであるため、奥行きが限られた範囲に偏っている場合がある。そこで、トリミング部１１５は、入力画像の奥行き情報に基づいて、トリミング画像内での奥行きの分布がバランスのよいものになるように、トリミング画像の奥行き情報を調整する。例えば、トリミング部１１５は、トリミング画像として入力画像から生成された左眼画像と右眼画像との間の視差を調整することによって、奥行き情報を調整してもよい。

また、トリミング部１１５は、トリミング画像のシーンや被写体の状態に応じて、トリミング画像に設定される奥行き情報を調整してもよい。例えば、トリミング部１１５は、被写体がトリミング画像に大きく写っているような場合には、被写体が飛び出しすぎないように視差を弱めてもよい。また、トリミング部１１５は、マクロ撮影の場合には視差を強め、風景撮影の場合には視差を弱めてもよい。

記録制御部１１６は、トリミング部１１５によって生成されたトリミング画像を、画像データとして記憶部１３０に記録する。記録制御部１１６は、トリミング画像とともに入力画像の画像データを記録してもよい。

表示制御部１１７は、記憶部１３０に画像データとして記録された画像を、表示部１２０に表示させる。表示制御部１１７は、例えば、デジタルスチルカメラ１００で撮像が実行された後に、プレビュー画像として画像を表示させてもよいし、ユーザの操作に従って記憶部１３０に記録された任意の画像を再生画像として表示させてもよい。

表示部１２０は、例えばＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどで構成される。表示部１２０は、表示制御部１１７の制御に従って、デジタルスチルカメラ１００に関する各種の情報をユーザに向けて表示する。

記憶部１３０には、デジタルスチルカメラ１００の処理に関する各種のデータが格納される。記憶部１３０は、例えば、フラッシュＲＯＭ（Read Only Memory）もしくはＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリ、ＤＶＤ（Digital Versatile Disc）もしくはＣＤ（Compact Disc）などの光ディスク、またはハードディスクなどでありうる。記憶部１３０は、デジタルスチルカメラ１００に内蔵される記憶装置であってもよく、デジタルスチルカメラ１００に着脱可能な記録媒体であってもよい。また、記憶部１３０は、複数の種類の記憶装置または記録媒体を含んでもよい。記憶部１３０には、記録制御部１１６によって入力画像やトリミング画像の画像データが格納されるほか、制御回路１１０のＣＰＵに上記の機能を実現させるためのプログラムなどが格納されうる。

（１−２．処理フロー）
（全体のフロー）
次に、図２を参照して、本開示の第１の実施形態に係るデジタルスチルカメラの処理フローについて説明する。図２は、デジタルスチルカメラ１００の処理を示すフローチャートである。

図示された処理では、まず、被写体認識部１１１が、撮像部１０２から取得された入力画像のデジタル画像信号を解析して、入力画像に含まれる被写体を認識する（ステップＳ１０１）。

次に、画像判定部１１２が、入力画像が３次元入力画像である否かを判定する（ステップＳ１０３）。画像判定部１１２は、例えば、入力画像が奥行き情報を伴う場合に、入力画像が３次元入力画像であると判定する。上述のように、ここでいう奥行き情報は、入力画像の奥行きを示す情報である。奥行き情報は、具体的には、左眼画像に対応する右眼画像（視差によって奥行きが示される）、または画像内の奥行きをマップや数値などで表現したデータなどでありうる。あるいは、画像判定部１１２は、デジタルスチルカメラ１００に設定されている動作モードに基づいて同様の判定を実行してもよい。

ステップＳ１０３において、入力画像が３次元入力画像であると判定された場合、３次元構図設定部１１４が、３次元構図設定処理を実行し（ステップＳ１０５）、入力画像についてトリミング領域を設定する。一方、入力画像が３次元入力画像ではない、すなわち２次元入力画像であると判定された場合、２次元構図設定部１１３が、２次元構図設定処理を実行し（ステップＳ１０７）、入力画像についてトリミング領域を設定する。上述のように、ステップＳ１０５またはステップＳ１０７での構図設定処理では、ステップＳ１０１で認識された被写体の情報が用いられうる。なお、３次元および２次元の構図設定処理の詳細については後述する。

次に、３次元構図設定部１１４または２次元構図設定部１１３は、入力画像の範囲内でトリミング領域が設定されたか否かを判定する（ステップＳ１０９）。ここで、入力画像の範囲内でトリミング領域が設定されたと判定された場合、トリミング部１１５が、設定されたトリミング領域に従って入力画像からトリミング画像を生成し（ステップＳ１１１）、記録制御部１１６がトリミング画像を記憶部１３０に記録する（ステップＳ１１３）。

一方、ステップＳ１０９で、入力画像の範囲内でトリミング領域が設定されなかったと判定された場合、３次元構図設定部１１４または２次元構図設定部１１３は、構図設定条件を変更して（ステップＳ１１５）、再度ステップＳ１０３以降の構図設定処理を実行する。

この場合、３次元構図設定処理（ステップＳ１０５）と２次元構図設定処理（ステップＳ１０７）のどちらが実行されるかは、基本的には初回と同じである。しかし、例えば、２次元構図設定処理（ステップＳ１０７）では入力画像の範囲内でトリミング領域が設定されない場合に、次の回では３次元構図設定処理（ステップＳ１０５）が実行されてもよいし、またはその逆であってもよい。つまり、２次元および３次元の構図設定処理のうちのどちらを用いるかも、ステップＳ１１５で変更される構図の設定条件に含まれていてもよい。

（１−３．３次元構図設定処理の例）
次に、図３および図４を参照して、本開示の第１の実施形態における３次元構図設定処理の例について説明する。図３は、本実施形態における２次元および３次元の構図設定処理を概略的に説明するための図である。図４は、３次元構図設定部による処理を示すフローチャートである。

図３には、入力画像３００と、２次元構図設定処理を用いてトリミングされたトリミング画像４２０、および３次元構図設定処理を用いてトリミングされたトリミング画像４２２が示されている。

入力画像３００には、優先顔３１１と、他の顔３１２とが含まれる。図示された例において、被写体認識部１１１は、被写体として人の顔を検出する。優先顔３１１は、例えば、画像に含まれる顔の中で最もユーザにとっての優先度が高いと推定される顔である。構図の設定にあたっては、この優先顔３１１が、基準になる主要な被写体として用いられる。一方、他の顔３１２は、被写体認識部１１１によって検出された優先顔３１１以外の顔である。

上述のように、構図に従って設定されるトリミング領域のサイズは、主要な被写体の近傍にある他の被写体が含まれるように調整されうる。図示された例では、他の顔３１２が、近傍にある他の被写体に相当する。しかしながら、他の顔３１２は、いずれも、画像上の平面距離では優先顔３１１の近傍にあるものの、実空間の奥行きでは、優先顔３１１よりもずっと奥にある。

上記のような入力画像について、２次元構図設定部１１３が構図設定処理を実行した場合、トリミング領域３２０が設定される。トリミング領域３２０は、優先顔３１１を基準にして設定される。さらに、トリミング領域３２０は、優先顔３１１の近傍にある他の顔３１２が含まれるように調整される。

一方、３次元構図設定部１１４が構図設定処理を実行した場合、トリミング領域３２２が設定される。トリミング領域３２２も、優先顔３１１を基準にして設定される。ただし、トリミング領域３２２は、優先顔３１１の近傍にある他の顔３１２が含まれるようには調整されない。これは、優先顔３１１と他の顔３１２との奥行きの差が大きいためである。結果として、トリミング領域３２２は、トリミング領域３２０よりも小さく、またトリミング領域３２０が横長であるのに対して縦長に設定される。

なお、優先顔３１１の近傍に位置し、奥行きの差も小さい他の顔３１２が入力画像３００に含まれる場合、３次元構図設定部１１４は、これらの他の顔３１２が含まれるようにトリミング領域３２２を調整してもよい。このように、本実施形態において、２次元構図設定部１１３と、３次元構図設定部１１４とは、異なる処理によってトリミング領域を設定しうる。

一般的に、優先顔３１１の近傍にある他の顔３１２は、例えば優先顔３１１の人物と一緒に映っている人物の顔など、優先顔３１１に関係がある顔でありうる。そのため、トリミング領域３２０は、優先顔３１１の近傍にある他の顔３１２を含むように調整されうる。しかしながら、実際には、図示された例のように、優先顔３１１と他の顔３１２とは奥行きが離れており、優先顔３１１の人物と他の顔３１２の人物とはあまり関係がないような場合もありうる。

画像が２次元表示される場合、このような他の顔３１２がトリミング画像に含まれるとしても、画像の観察者は違和感を覚えにくい。これは、画像の２次元表示では、主に画像上の平面距離によって被写体間の距離が認識されるためである。従って、優先顔３１１と他の顔３１２との間の画像上の平面距離が近ければ、構図は必ずしも不自然には感じられない。

一方、画像が３次元表示される場合、上記のような他の顔３１２がトリミング画像に含まれると、画像の観察者は違和感を覚えやすい。これは、３次元表示される画像では、画像上の平面距離に加えて、奥行きによって被写体間の距離が認識されるためである。従って、優先顔３１１と他の顔３１２との間の画像上の平面距離が近くても、奥行きが離れていれば、他の顔３１２が構図には不必要な顔であるように感じられ、結果として構図が不自然に感じられる場合がありうる。

そこで、本実施形態では、上記のように、３次元入力画像については３次元での表示を考慮した構図設定処理を実行し、より適切なトリミング画像の生成を実現する。

なお、図示された例において、トリミング領域３２２は、優先顔３１１の近傍にある他の顔３１２を含めるようには調整されないが、結果として他の顔３１２の一部はトリミング領域３２２に含まれている。このように、本実施形態の構図設定の処理において「顔が構図設定の対象から除外される」ことは、必ずしも「顔がトリミング領域に含まれない」ということを意味しない。
（処理フロー）

図４を参照すると、本実施形態における３次元構図設定部１１４の処理として、まず、優先顔３１１とその近傍にある他の顔３１２とが抽出される（ステップＳ１２１）。ここで、他の顔３１２は、優先顔３１１を基準にして設定されるトリミング領域３２２に含める被写体の候補として抽出される。

次に、抽出された優先顔３１１および他の顔３１２の奥行きが取得される（ステップＳ１２３）。それぞれの顔の奥行きは、例えば、入力画像に伴う奥行き情報を用いて取得されうる。例えば、入力画像として左眼画像と右眼画像とが取得される場合であれば、これらの画像からそれぞれの顔の領域での視差を抽出することによって、奥行きを取得することが可能である。

次に、他の顔３１２のうち、優先顔３１１とは奥行きが離れた顔があるか否かが判定される（ステップＳ１２５）。ここで、離れていると判定されるための奥行きの差の閾値は、例えば、３次元表示された画像を観察するときの人間の視覚特性に基づいて設定される。この閾値は、例えば、優先顔３１１の奥行きに応じて異なる値であってもよい。

ステップＳ１２５で、他の顔３１２の中に優先顔３１１とは奥行きが離れた顔があると判定された場合、構図に含める被写体の候補から、該当する他の顔３１２が除外される（ステップＳ１２７）。上記の図３の例では、他の顔３１２のすべてが除外される。

次に、優先顔３１１を基準にして構図が設定され（ステップＳ１２９）、構図に従ってトリミング領域が設定される（ステップＳ１３１）。このとき、トリミング領域のサイズは、ステップＳ１２７で除外されずに残った他の顔３１２が含まれるように調整されうる。

なお、本実施形態において、２次元構図設定部１１３は、上記で図４を参照して説明した処理のうち、ステップＳ１２３〜Ｓ１２７を除く処理を実行する。つまり、本実施形態において、３次元構図設定処理は、２次元構図設定処理に、ステップＳ１２３〜Ｓ１２７に示される他の顔３１２の選別処理を加えたものである。

以上説明した本開示の第１の実施形態では、例えば、トリミング領域に含める被写体の選定処理が、２次元入力画像と３次元入力画像との間で異なることによって、３次元入力画像について、より適切な被写体だけを含むトリミング画像が生成される。

（２．第２の実施形態）
次に、図５および図６を参照して、本開示の第２の実施形態について説明する。図５は、本実施形態における２次元および３次元の構図設定処理を概略的に説明するための図である。図６は、３次元構図設定部による処理を示すフローチャートである。

なお、この第２の実施形態では、構図設定処理が上記の第１の実施形態とは相違するため、以下で詳細に説明する。一方、それ以外の構成については、第１の実施形態と同様であるため、詳細な説明を省略する。

図５には、入力画像３００と、２次元構図設定処理を用いてトリミングされたトリミング画像４２０、および３次元構図設定処理を用いてトリミングされたトリミング画像４２２が示されている。

入力画像３００には、優先顔３１１が含まれる。また、入力画像３００には、優先顔３１１を含む手前側領域３３２（奥行きがより小さい領域）と、背景にあたる奥側領域３３４（奥行きがより大きい領域）とが含まれる。

上記のような入力画像について、２次元構図設定部１１３が構図設定処理を実行した場合、トリミング領域３２０が設定される。トリミング領域３２０は、優先顔３１１を基準にして設定され、そのサイズは、例えば優先顔３１１のサイズに基づく所定のサイズである。

一方、３次元構図設定部１１４が構図設定処理を実行した場合、トリミング領域３２２が設定される。トリミング領域３２２も、優先顔３１１を基準にして設定される。ただし、トリミング領域３２２は、優先顔３１１を含む手前側領域３３２に加えて奥側領域３３４を含むように設定される。結果として、トリミング領域３２２は、トリミング領域３２０よりも大きく、またトリミング領域３２０が縦長であるのに対して横長に設定される。このように、本実施形態において、２次元構図設定部１１３と、３次元構図設定部１１４とは、異なる処理によってトリミング領域を設定しうる。

画像が３次元表示される場合、画像内の奥行きの範囲が小さいと、観察者はあまり立体感を知覚しない。つまり、画像の印象は２次元表示の場合とあまり変わらない。一方、画像の奥行きの範囲が大きいと、観察者は立体感を知覚しやすい。つまり、画像の印象が３次元表示ならではのものになりうる。

そこで、本実施形態では、上記のように、３次元入力画像については３次元での表示を考慮した構図設定処理を実行し、より適切なトリミング画像の生成を実現する。

（処理フロー）
図６を参照すると、本実施形態における３次元構図設定部１１４の処理として、まず、優先顔３１１が抽出される（ステップＳ１４１）。次に、入力画像の被写体深度の情報が取得される（ステップＳ１４３）。被写体深度は、入力画像の奥行きのうち、撮像光学系１０１の焦点が合っている範囲を示す。被写界深度の情報は、例えば撮像時の撮像光学系１０１の設定に基づいて算出され、範囲を示す数値データとして入力画像に添付される。

次に、入力画像のうち、被写界深度内の領域に、奥行きが優先顔３１１から離れた領域があるか否かが判定される（ステップＳ１４５）。ここで、奥行きが離れていると判定されるための閾値は、例えば、３次元表示された画像を観察するときの人間の視覚特性に基づいて設定される。この閾値は、例えば、優先顔３１１の奥行きに応じて異なる値であってもよい。

ステップＳ１４５で、奥行きが離れた領域があると判定された場合、該当する領域が含まれるようにトリミング領域３２２のサイズが設定される（ステップＳ１４７）。ここで、トリミング領域３２２のサイズは、例えばトリミング領域３２２に含まれる手前側領域３３２と奥側領域３３４との面積比が所定の値になるように設定されうる。この所定の値は、例えば３次元表示された画像を観察するときの人間の視覚特性に基づいて設定されうる。一例として、トリミング領域３２２に含まれる手前側領域３３２と奥側領域３３４との面積比は、１：２、１：３などに設定されうる。

なお、ステップＳ１４５に示されているように、本実施形態においてトリミング領域３２２に奥側領域３３４が含まれるのは、奥側領域３３４の奥行きが被写界深度の範囲内に含まれる場合である。これは、被写界深度の範囲内にない、つまり焦点が合っていない領域を含む画像が３次元表示された場合、ユーザが不快感を覚える場合もあるためである。

一方、ステップＳ１４５で、奥行きが離れた領域はないと判定された場合、優先顔３１１のサイズを基準にしてトリミング領域３２２のサイズが設定される（ステップＳ１４９）。このようなトリミング領域３２２のサイズの設定は、２次元の構図設定処理と同じである。

次に、ステップＳ１４７またはステップＳ１４９で設定されたサイズで、トリミング領域が設定される（ステップＳ１５１）。

なお、本実施形態において、２次元構図設定部１１３は、上記で図６を参照して説明した処理のうち、ステップＳ１４３〜Ｓ１４７を除く処理を実行する。つまり、本実施形態において、３次元構図設定処理は、２次元構図設定処理に、ステップＳ１４３〜Ｓ１４７に示されるサイズ設定の処理を加えたものである。

以上説明した本開示の第２の実施形態では、例えば、トリミング領域のサイズの設定が、２次元入力画像と３次元入力画像との間で異なることによって、３次元入力画像について、ユーザに３次元画像ならではの印象を与えうるトリミング画像が生成される。

（３．第３の実施形態）
次に、図７を参照して、本開示の第３の実施形態について説明する。図７は、本実施形態における３次元構図設定部による処理のフローチャートである。

なお、この第３の実施形態は、構図設定処理が上記の第１の実施形態とは相違するため、以下で詳細に説明する。一方、それ以外の構成については、第１の実施形態と同様であるため、詳細な説明を省略する。また、本実施形態における２次元および３次元の構図設定処理の結果として生成されるトリミング画像は、上記の図５の例とほぼ同様であるため、本実施形態でも図５を引き続き参照する。

図７を参照すると、本実施形態における３次元構図設定部１１４の処理として、まず、画像全体の奥行き情報が取得される（ステップＳ１６１）。例えば、入力画像として左眼画像と右眼画像とが取得される場合であれば、これらの画像から画像全体での視差分布を抽出することによって、画像全体の奥行き情報が取得されうる。

次に、画像の奥行きの範囲が大きいか否かが判定される（ステップＳ１６３）。ここで、奥行きの範囲が大きいと判定されるための閾値は、例えば、３次元表示された画像を観察するときの人間の視覚特性に基づいて設定される。この閾値は、例えば、画像の中で最も手前にある部分の奥行きに応じて異なる値であってもよい。

ステップＳ１６３で、奥行きの範囲が大きいと判定された場合、ｎ＝ｎ_１としてトリミング領域のサイズが設定される（ステップＳ１６５）。なお、本実施形態において、トリミング領域のサイズは、優先顔３１１のサイズのｎ倍に設定される（ｎ≧１）。ステップＳ１６５では、このｎの値を、第１の所定の値ｎ_１に設定する。

一方、ステップＳ１６３で、奥行きの範囲が大きくないと判定された場合、ｎ＝ｎ_２としてトリミング領域のサイズが設定される（ステップＳ１６７）。ここで、第２の所定の値ｎ_２は、ｎ_１＞ｎ_２となる値である。つまり、本実施形態において、奥行きの範囲がより大きい場合、優先顔３１１のサイズとの比率によってトリミング領域のサイズを設定するための係数が、奥行きの範囲がより小さい場合よりも大きく設定される。さらに換言すれば、優先顔３１１のサイズが同じであれば、画像の奥行きの範囲がより大きい場合に、トリミング領域のサイズは大きくなる。

次に、ステップＳ１６５またはステップＳ１６７で設定されたサイズで、トリミング領域が設定される（ステップＳ１６９）。

以上説明した本開示の第３の実施形態では、例えば、画像の奥行き情報が所定の閾値以上の幅をもつ場合、図５のトリミング画像４２２のような、より引いた構図が設定されうる。一方、画像の奥行き情報が所定の閾値未満の幅しか持たない場合、よりクローズアップした構図が設定されうる。これによって、例えば、入力画像に含まれる立体感を感じさせる部分（奥行きの差がある部分）を含むトリミング画像を生成することができ、観察者に３次元表示ならではの印象を与えることができうる。

（４．第４の実施形態）
次に、図８を参照して、本開示の第４の実施形態について説明する。図８は、本実施形態に係るデジタルスチルカメラ２００の機能構成を示す概略的なブロック図である。

なお、この第４の実施形態では、デジタルスチルカメラ２００が専ら３次元構図設定部１１４を用いて構図を設定する点が上記の第１の実施形態とは相違するため、以下で詳細に説明する。一方、それ以外の構成については、第１の実施形態と同様であるため、詳細な説明を省略する。なお、構図設定処理については、第２および第３の実施形態と同様の処理が実行されてもよい。

図８を参照すると、本実施形態に係るデジタルスチルカメラ２００は、第１の実施形態に係るデジタルスチルカメラ１００と比較して、画像判定部１１２および２次元構図設定部１１３を含まない点が異なる。本実施形態において、撮像部１０２は、通常的に、奥行き情報を含む入力画像を出力する。それゆえ、トリミング画像を生成するための構図の設定は、専ら３次元構図設定部１１４によって実行される。

しかしながら、デジタルスチルカメラ２００において、トリミング画像は、必ずしも３次元画像として記録されなくてもよい。上述のように、３次元構図設定部１１４によって設定されたトリミング領域は、２次元画像のトリミングに適用することも可能である。従って、本実施形態において、トリミング部１１５は、３次元構図設定部１１４によって設定されたトリミング領域に従って、２次元画像としてトリミング画像を生成してもよい。トリミング部１１５が３次元のトリミング画像を生成するか２次元のトリミング画像を生成するかは、例えばデジタルスチルカメラ２００に設定される動作モードによって決定されうる。

（５．補足）
なお、本開示の実施形態は、上記で説明した以外にも、以下にその一例を示すように、さまざまな変形が可能である。

例えば、本開示の実施形態に係る画像処理装置は、デジタルスチルカメラには限られず、撮像機能を有する携帯電話（スマートフォン）やタブレット型ＰＣ（Personal Computer）などの携帯端末であってもよい。また、画像処理装置は、それ自体は撮像機能を有さないデスクトップ型のＰＣなどの情報処理装置であってもよい。この場合、画像処理装置は、例えば他の装置で撮像された画像を入力画像として取得する。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）２次元表示される入力画像について、第１の手法に基づいて構図を設定する第１の構図設定部と、
３次元表示される入力画像について、前記第１の手法とは異なる第２の手法に基づいて構図を設定する第２の構図設定部と
を備える画像処理装置。
（２）前記第２の構図設定部は、前記３次元表示される入力画像の奥行きを示す奥行き情報に基づいて構図を設定する、前記（１）に記載の画像処理装置。
（３）前記第２の構図設定部は、前記３次元表示される入力画像に含まれる第１の被写体が配置される構図を設定し、該構図に従って、前記入力画像で前記第１の被写体の近傍に位置する第２の被写体のうち前記第１の被写体との奥行きの差が小さい被写体が含まれるように前記３次元表示される入力画像のトリミング領域を設定する、前記（２）に記載の画像処理装置。
（４）前記第２の構図設定部は、前記第２の手法に基づいて設定された構図に従って、前記３次元表示される入力画像での奥行きがより小さい第１の領域とより大きい第２の領域とが含まれるように前記３次元表示される入力画像のトリミング領域を設定する、前記（２）または（３）に記載の画像処理装置。
（５）前記第２の構図設定部は、前記第２の領域の奥行きが前記３次元表示される入力画像の被写界深度の範囲に含まれる場合に、前記第２の領域を前記トリミング領域に含める、前記（４）に記載の画像処理装置。
（６）前記第２の構図設定部は、前記トリミング領域に含まれる前記第１の領域と前記第２の領域との割合が所定の値になるように前記トリミング領域を設定する、前記（４）または（５）に記載の画像処理装置。
（７）前記第２の構図設定部は、前記第２の手法に基づいて設定された構図に従って前記３次元表示される入力画像のトリミング領域を設定し、前記３次元表示される入力画像の奥行きの範囲が所定の大きさ以上である場合に、前記トリミング領域をより大きく設定する、前記（２）〜（６）のいずれか１項に記載の画像処理装置。
（８）前記第２の構図設定部は、前記入力画像の被写界深度を示す情報に基づいて構図を設定する、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）前記第２の構図設定部は、前記入力画像に含まれる被写体が配置される構図を設定する、前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１０）前記第２の構図設定部は、対称的な構図を設定する、前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１１）前記３次元表示される入力画像から、前記第２の手法に基づいて設定された構図に従って設定されるトリミング領域のトリミング画像を生成するとともに、前記３次元表示される入力画像の奥行きを示す奥行き情報に基づいて前記トリミング画像に設定される奥行きを調整するトリミング部をさらに備える、前記（１）〜（１０）のいずれか１項に記載の画像処理装置。
（１２）前記２次元表示される入力画像と、前記３次元表示される入力画像とを判別する画像判定部をさらに備える、前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）２次元表示される入力画像について、第１の手法に基づいて構図を設定することと、
３次元表示される入力画像について、前記第１の手法とは異なる第２の手法に基づいて構図を設定することと
を含む画像処理方法。
（１４）３次元表示される入力画像について、前記入力画像の奥行きを示す奥行き情報に基づいて構図を設定する構図設定部を備える画像処理装置。
（１５）前記構図設定部は、前記入力画像に含まれる第１の被写体が配置される構図を設定し、該構図に従って、前記入力画像で前記第１の被写体の近傍に位置する第２の被写体のうち前記第１の被写体との奥行きの差が小さい被写体が含まれるように前記入力画像のトリミング領域を設定する、前記（１４）に記載の画像処理装置。
（１６）前記構図設定部は、前記設定された構図に従って、前記奥行き情報によって示される奥行きがより小さい第１の領域とより大きい第２の領域とが含まれるように前記入力画像のトリミング領域を設定する、前記（１４）または（１５）に記載の画像処理装置。（１７）前記構図設定部は、前記第２の領域の奥行きが前記入力画像の被写界深度の範囲に含まれる場合に、前記第２の領域を前記トリミング領域に含める、前記（１６）に記載の画像処理装置。
（１８）前記構図設定部は、前記トリミング領域に含まれる前記第１の領域と前記第２の領域との割合が所定の値になるように前記トリミング領域を設定する、前記（１６）または（１７）に記載の画像処理装置。
（１９）前記入力画像から、前記構図に従って設定されるトリミング領域のトリミング画像を生成するとともに、前記奥行き情報に基づいて前記トリミング画像に設定される奥行きを調整するトリミング部をさらに備える、前記（１４）〜（１８）のいずれか１項に記載の画像処理装置。
（２０）３次元表示される入力画像について、前記入力画像の奥行きを示す奥行き情報に基づいて構図を設定することを含む画像処理方法。

１００，２００ デジタルスチルカメラ（画像処理装置）
１０２ 撮像部
１１１ 被写体認識部
１１２ 画像判定部
１１３ ２次元構図設定部
１１４ ３次元構図設定部
１１５ トリミング部
１１６ 記録制御部
１１７ 表示制御部
１２０ 表示部
１３０ 記憶部
３００ 入力画像
３２０ 第１のトリミング領域
３２２ 第２のトリミング領域

（処理フロー）
図６を参照すると、本実施形態における３次元構図設定部１１４の処理として、まず、優先顔３１１が抽出される（ステップＳ１４１）。次に、入力画像の被写界深度の情報が取得される（ステップＳ１４３）。被写界深度は、入力画像の奥行きのうち、撮像光学系１０１の焦点が合っている範囲を示す。被写界深度の情報は、例えば撮像時の撮像光学系１０１の設定に基づいて算出され、範囲を示す数値データとして入力画像に添付される。

Claims (20)

1. ２次元表示される入力画像について、第１の手法に基づいて構図を設定する第１の構図設定部と、
   ３次元表示される入力画像について、前記第１の手法とは異なる第２の手法に基づいて構図を設定する第２の構図設定部と
   を備える画像処理装置。
2. 前記第２の構図設定部は、前記３次元表示される入力画像の奥行きを示す奥行き情報に基づいて構図を設定する、請求項１に記載の画像処理装置。
3. 前記第２の構図設定部は、前記３次元表示される入力画像に含まれる第１の被写体が配置される構図を設定し、該構図に従って、前記入力画像で前記第１の被写体の近傍に位置する第２の被写体のうち前記第１の被写体との奥行きの差が小さい被写体が含まれるように前記３次元表示される入力画像のトリミング領域を設定する、請求項２に記載の画像処理装置。
4. 前記第２の構図設定部は、前記第２の手法に基づいて設定された構図に従って、前記３次元表示される入力画像での奥行きがより小さい第１の領域とより大きい第２の領域とが含まれるように前記３次元表示される入力画像のトリミング領域を設定する、請求項２に記載の画像処理装置。
5. 前記第２の構図設定部は、前記第２の領域の奥行きが前記３次元表示される入力画像の被写界深度の範囲に含まれる場合に、前記第２の領域を前記トリミング領域に含める、請求項４に記載の画像処理装置。
6. 前記第２の構図設定部は、前記トリミング領域に含まれる前記第１の領域と前記第２の領域との割合が所定の値になるように前記トリミング領域を設定する、請求項４に記載の画像処理装置。
7. 前記第２の構図設定部は、前記第２の手法に基づいて設定された構図に従って前記３次元表示される入力画像のトリミング領域を設定し、前記３次元表示される入力画像の奥行きの範囲が所定の大きさ以上である場合に、前記トリミング領域をより大きく設定する、請求項２に記載の画像処理装置。
8. 前記第２の構図設定部は、前記入力画像の被写界深度を示す情報に基づいて構図を設定する、請求項１に記載の画像処理装置。
9. 前記第２の構図設定部は、前記入力画像に含まれる被写体が配置される構図を設定する、請求項１に記載の画像処理装置。
10. 前記第２の構図設定部は、対称的な構図を設定する、請求項１に記載の画像処理装置。
11. 前記３次元表示される入力画像から、前記第２の手法に基づいて設定された構図に従って設定されるトリミング領域のトリミング画像を生成するとともに、前記３次元表示される入力画像の奥行きを示す奥行き情報に基づいて前記トリミング画像に設定される奥行きを調整するトリミング部をさらに備える、請求項１に記載の画像処理装置。
12. 前記２次元表示される入力画像と、前記３次元表示される入力画像とを判別する画像判定部をさらに備える、請求項１に記載の画像処理装置。
13. ２次元表示される入力画像について、第１の手法に基づいて構図を設定することと、
    ３次元表示される入力画像について、前記第１の手法とは異なる第２の手法に基づいて構図を設定することと
    を含む画像処理方法。
14. ３次元表示される入力画像について、前記入力画像の奥行きを示す奥行き情報に基づいて構図を設定する構図設定部を備える画像処理装置。
15. 前記構図設定部は、前記入力画像に含まれる第１の被写体が配置される構図を設定し、該構図に従って、前記入力画像で前記第１の被写体の近傍に位置する第２の被写体のうち前記第１の被写体との奥行きの差が小さい被写体が含まれるように前記入力画像のトリミング領域を設定する、請求項１４に記載の画像処理装置。
16. 前記構図設定部は、前記設定された構図に従って、前記奥行き情報によって示される奥行きがより小さい第１の領域とより大きい第２の領域とが含まれるように前記入力画像のトリミング領域を設定する、請求項１４に記載の画像処理装置。
17. 前記構図設定部は、前記第２の領域の奥行きが前記入力画像の被写界深度の範囲に含まれる場合に、前記第２の領域を前記トリミング領域に含める、請求項１６に記載の画像処理装置。
18. 前記構図設定部は、前記トリミング領域に含まれる前記第１の領域と前記第２の領域との割合が所定の値になるように前記トリミング領域を設定する、請求項１６に記載の画像処理装置。
19. 前記入力画像から、前記構図に従って設定されるトリミング領域のトリミング画像を生成するとともに、前記奥行き情報に基づいて前記トリミング画像に設定される奥行きを調整するトリミング部をさらに備える、請求項１４に記載の画像処理装置。
20. ３次元表示される入力画像について、前記入力画像の奥行きを示す奥行き情報に基づいて構図を設定することを含む画像処理方法。

Images