JP7672249B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

幅広い分野において、画像から任意の被写体領域を切り出したいという要求がある。被写体領域を切り出す技術として、ＡｌｐｈａＭａｔｔｅを作成し、ＡｌｐｈａＭａｔｔｅを用いて被写体を切り出す技術がある。ＡｌｐｈａＭａｔｔｅとは画像を前景領域（被写体）と背景領域とに分離した画像のことである。

高精度なＡｌｐｈａＭａｔｔｅを作成するためにＴｒｉｍａｐと呼ばれる中間データを使用する方法がよく用いられている。Ｔｒｉｍａｐとは前景領域、背景領域、未知領域の３つに分けられた画像のことである。

Ｔｒｉｍａｐを作成するための技術としては、例えば、特許文献１の技術が知られている。特許文献１には、入力画像からオブジェクト抽出技術により前景と背景の２値画像を作成し、前景と背景の境界に所定幅の未確定領域を設定することで３値画像を生成し、ＡｌｐｈａＭａｔｔｅを作成する技術が開示されている。

特開２０１０－０６６８０２号公報

しかしながら、特許文献１では距離情報を用いていないため、例えば被写体と背景の色が同じ場合にＴｒｉｍａｐの精度が悪くなってしまう。

本発明はこのような状況に鑑みてなされたものであり、像面位相差センサを用いた撮影を通じて取得される距離情報を使用することにより、精度の高いＴｒｉｍａｐを生成する技術を提供することを目的とする。

上記課題を解決するために、本発明は、結像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の光電変換部が配列された撮像素子を用いる撮影により生成される撮像画像及び複数の視差画像を取得する取得手段と、前記複数の視差画像から得られる距離分布情報に基づいて、前記撮像画像の領域を、前景領域、背景領域、及び未知領域に分類する背景分離用画像を生成する生成手段と、前記撮像画像及び前記背景分離用画像を出力する出力手段と、前記距離分布情報が示す距離のヒストグラムを表示手段に表示する第３の表示制御手段と、を備え、前記生成手段は、前記距離分布情報における距離が第１の範囲内である領域が前記前景領域に分類され、前記距離分布情報における距離が前記第１の範囲より広い第２の範囲外である領域が前記背景領域に分類され、前記距離分布情報における距離が前記第１の範囲外であり前記第２の範囲内である領域が前記未知領域に分類されるように、前記背景分離用画像を生成し、前記第３の表示制御手段は、前記第１の範囲及び前記第２の範囲を識別可能な態様で、前記ヒストグラムを表示することを特徴とする画像処理装置を提供する。

本発明によれば、精度の高いＴｒｉｍａｐを生成することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

各実施形態で用いられる画像処理装置１００の内部構成図。 画像センサとしての撮像部１０７の受光面の一部を示す図。 第１０の実施形態におけるＴｒｉｍａｐ生成処理のフローチャート。 第１０の実施形態の撮影待機処理（図３のＳ１００１）において表示される画像の例を示す図。 第１０の実施形態においてＴｒｉｍａｐを生成する際に用いる前景閾値の基準値の設定メニューの表示例を示す図。 第１０の実施形態においてＴｒｉｍａｐを生成する際に用いる背景閾値の基準値の設定メニューの表示例を示す図。 第１０の実施形態において、図４に示した画像を撮像部１０７が撮像している際にＣＰＵ１０２が算出した距離情報を図示した例を示す図。 第１０の実施形態においてユーザが設定した閾値の基準値と、その基準値に応じた値の範囲の関係例を示す図。 第１０の実施形態において図７の距離情報に基づいて生成したＴｒｉｍａｐの例を示す図。 第２０の実施形態においてＴｒｉｍａｐの各領域の境界線を撮像画像に重畳して表示する処理のフローチャート。 第２０の実施形態においてＴｒｉｍａｐの前景領域と未知領域との境界線及び未知領域と背景領域との境界線を撮像画像に重畳して表示する際のそれぞれの境界線の設定に関する設定メニューの表示例を示す図。 第２０の実施形態において、図４に示した画像に前景領域と未知領域との境界線２２０１、及び未知領域と背景領域との境界線２２０２を重畳して表示した画面の例を示す図。 第３０の実施形態及び第３１の実施形態においてＴｒｉｍａｐを画像の重畳する処理のフローチャート。 第３０の実施形態及び第３１の実施形態におけるＴｒｉｍａｐの透過度設定メニュー画面の説明図。 第３０の実施形態におけるＴｒｉｍａｐの透過度設定メニュー画面の説明図。 第３０の実施形態におけるＴｒｉｍａｐ重畳画像の例を示す図。 第３０の実施形態におけるＴｒｉｍａｐ重畳画像の例を示す図。 第３０の実施形態におけるＴｒｉｍａｐ重畳画像の例を示す図。 第３０の実施形態におけるＴｒｉｍａｐ重畳画像の例を示す図。 第３０の実施形態におけるＴｒｉｍａｐ重畳画像の例を示す図。 第３１の実施形態におけるＴｒｉｍａｐの透過度設定メニュー画面の説明図。 第３２の実施形態において透過度を変更する処理のフローチャート。 第４０の実施形態において、距離分布表示ヒストグラムを生成して表示部１１４に表示する処理のフローチャート。 第４０の実施形態における、全体風景と距離分布表示ヒストグラムとの関係の説明図。 第４０の実施形態における、距離分布表示ヒストグラムの表示例を示す図。 第４１の実施形態における、全体風景と距離分布表示ヒストグラムとの関係の説明図。 第４１の実施形態における全体処理のフローチャート。 第４１の実施形態における、Ｓ４４０５の処理の詳細を示すフローチャート。 第４１の実施形態における、Ｓ４４０５の処理の詳細を示すフローチャート。 第４１の実施形態における、Ｓ４４０６の処理の詳細を示すフローチャート。 第４１の実施形態における、Ｓ４４０６の処理の詳細を示すフローチャート。 第４１の実施形態における、距離分布表示ヒストグラム及び強調画像の表示例を示す図。 第４２の実施形態における、距離分布表示ヒストグラムを生成して表示部１１４に表示する処理のフローチャート。 第４２の実施形態における、距離分布表示ヒストグラムを生成して表示部１１４に表示する処理のフローチャート。 第４２の実施形態における、距離分布表示ヒストグラム及び着色画像の表示例を示す図。 第５０の実施形態において俯瞰図画像を生成して表示部１１４に表示する処理のフローチャート。 第５０の実施形態における、取得した画像と重畳処理した画像の距離との関係についての説明図。 第５０の実施形態における表示画面の説明図。 第５１の実施形態における表示画面の説明図。 第５２の実施形態における表示画面の説明図。 第６０の実施形態における、視差情報範囲と画素とＴｒｉｍａｐの説明図。 第６０の実施形態における第２のＴｒｉｍａｐ生成処理のフローチャート。 第６０の実施形態における第２のＴｒｉｍａｐ生成処理のフローチャート。 第６０の実施形態における、エッジ検出結果とＴｒｉｍａｐの説明図。 第７０の実施形態における第２のＴｒｉｍａｐ生成処理のフローチャート。 第７０の実施形態におけるＳ７００４の処理の詳細について説明する図。 第７０の実施形態におけるＳ７００５の処理の詳細について説明する図。 第７１の実施形態における第２のＴｒｉｍａｐ生成処理のフローチャート。 第７０の実施形態におけるＳ７１０６の処理の詳細について説明する図。 第７０の実施形態においてＦ値の変更に応じて閾値を変更する処理のフローチャート。 第８０の実施形態におけるフレーム画像の説明図。 第８０の実施形態における画像の分離方法の説明図。 第９０の実施形態におけるフォーカス領域の説明図。 第９０の実施形態におけるデフォーカス量の説明図。 第９０の実施形態におけるフォーカス領域境界の説明図。 第９０の実施形態におけるＴｒｉｍａｐ生成処理のフローチャート。 第９１の実施形態における、フォーカス領域境界の説明図。 第９１の実施形態における、フォーカス領域境界の設定分解能の説明図。 第９１の実施形態における、フォーカス領域境界の設定分解能の側面説明図。 第９１の実施形態においてフォーカス領域境界の調整分解能及び協会閾値を設定する処理のフローチャート。 第Ａ０の実施形態におけるＴｒｉｍａｐ生成処理のフローチャート。 第Ａ０の実施形態におけるＴｒｉｍａｐ生成処理のフローチャート。 第Ａ１の実施形態におけるＴｒｉｍａｐ生成処理のフローチャート。 第Ａ１の実施形態におけるＴｒｉｍａｐ生成処理のフローチャート。 第Ａ２の実施形態におけるＴｒｉｍａｐ生成処理のフローチャート。 第Ａ２の実施形態におけるＴｒｉｍａｐ生成処理のフローチャート。 第Ａ２の実施形態におけるＳＡ２０３の処理の詳細を示すフローチャート。 第Ｂ０の実施形態～Ｂ２の実施形態における撮像画像及びＴｒｉｍａｐの例を示す図。 第Ｂ０の実施形態におけるＴｒｉｍａｐ生成処理のフローチャート。 第Ｂ１の実施形態におけるＴｒｉｍａｐ生成処理のフローチャート。 第Ｂ２の実施形態におけるＴｒｉｍａｐ生成処理のフローチャート。 第Ｃ０の実施形態におけるＳＤＩのデータ構造を説明する図。 第Ｃ０の実施形態におけるストリーム生成処理のフローチャート。 第Ｃ０の実施形態におけるＳＣ００２の処理の詳細を示すフローチャート。 第Ｃ０の実施形態におけるＳＣ００２の処理の詳細を示すフローチャート。 第Ｃ０の実施形態におけるＳＣ００３及びＳＣ００４の処理の詳細を示すフローチャート。 第Ｃ０の実施形態におけるＳＣ００３及びＳＣ００４の処理の詳細を示すフローチャート。 第Ｃ０の実施形態におけるＳＣ００５の処理の詳細を示すフローチャート。 第Ｃ０の実施形態におけるデータパッキングの構造を示す図。 第Ｃ０の実施形態におけるアンシラリパケットの構造を示す図である。 第Ｃ１の実施形態におけるＳＣ００２の処理の詳細を示すフローチャート。 第Ｃ１の実施形態におけるデータパッキング処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
最初に、図１を参照して、各実施形態で用いられる画像処理装置１００の内部構成について説明する。図１において、画像処理装置１００は、画像の入力から出力までの処理、及び記録までの処理を実行可能である。

図１において、内部バス１０１に対して、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、画像処理部１０５、レンズユニット１０６、撮像部１０７、ネットワーク端子１０８、画像端子１０９、及び記録媒体Ｉ／Ｆ１１０が接続されている。加えて、内部バス１０１に対して、フレームメモリ１１１、操作部１１３、表示部１１４、物体検出部１１５、電源部１１６、及び発振部１１７が接続されている。記録媒体Ｉ／Ｆ１１０に対しては、記録媒体１１２が接続されている。内部バス１０１に接続される各部は、内部バス１０１を介して互いにデータのやりとりを行うことができるようにされている。

レンズユニット１０６（結像光学系）は、ズームレンズ及びフォーカスレンズを含むレンズ群、絞り機構、並びに駆動モータを含む。レンズユニット１０６を通過した光学像は、撮像部１０７で受像される。撮像部１０７は、ＣＣＤやＣＭＯＳセンサなどが用いられ、光学的な信号を電気的な信号に置き換える役割を果たしている。ここで得られる電気信号はアナログ値であるので、撮像部１０７は、アナログ値をデジタル値に変換する機能も備えている。撮像部１０７は像面位相差センサであり、その詳細については後述する。

ＣＰＵ１０２は、ＲＯＭ１０３に格納されるプログラムに従い、ＲＡＭ１０４をワークメモリとして用いて、画像処理装置１００の各部を制御する。この制御には、表示部１１４に対応する表示制御、及び記録媒体１１２に対する記録制御が含まれる。ＲＯＭ１０３は、不揮発性の記録素子であり、ＣＰＵ１０２を動作させるためのプログラムや各種調整パラメータなどが記録されている。ＲＡＭ１０４は、半導体素子を利用した揮発性のメモリであり、一般的に、フレームメモリ１１１に比べて、低速、低容量のものが使用される。

フレームメモリ１１１は、画像信号を一時的に溜めておき、必要な時に読み出すことが可能な素子である。画像信号は膨大なデータ量であるため、高帯域かつ大容量のものが求められる。近年では、ＤＤＲ４－ＳＤＲＡＭ（Ｄｕａｌ Ｄａｔａ Ｒａｔｅ ４ － Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ ＲＡＭ）などが用いられることが多い。このフレームメモリ１１１を使用することで、例えば、時間的に異なる画像を合成したり、画像から必要な領域だけを切り出したりするなどの処理を行うことが可能となる。

画像処理部１０５は、ＣＰＵ１０２の制御に基づいて、撮像部１０７からのデータ、又はフレームメモリ１１若しくは記録媒体１１２に格納された画像データに対して、各種画像処理を施す。画像処理部１０５が行う画像処理には、画像データの画素補間、符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。また、画像処理部１０５は、撮像部１０７の画素の性能ばらつきの補正、欠陥画素の補正、ホワイトバランスの補正、輝度の補正、レンズの特性により発生する歪みや周辺光量落ちの補正などの処理を行う。なお、画像処理部１０５は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては、画像処理部１０５を用いずにＣＰＵ１０２がプログラムに従って画像処理を施すことも可能である。

画像処理部１０５により得られた演算結果に基づいてＣＰＵ１０２がレンズユニット１０６の制御を行い、光学的な画像の拡大、焦点距離の調整、及び、光量を調整する絞りなどの調整を行うことができる。また、レンズ群の一部を光軸に直交する平面上を移動させることにより、手ブレ補正を行うことも可能である。

操作部１１３は、機器外部とのインタフェースの１つであり、ユーザの操作を受け付ける。操作部１１３は、メカニカルなボタンやスイッチなどの素子が使われ、電源スイッチ及びモード切替スイッチなどを含む。

画像を表示する機能として、表示部１１４がある。表示部１１４は、ユーザが視認することができる表示デバイスであり、例えば、画像処理部１０５で処理された画像や設定メニューなどを表示することが可能である。ユーザは、表示部１１４を見ることにより、画像処理装置１００の動作状況を確認することができる。表示部１１４は、近年では表示デバイスとしてＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）といった、小型で低消費電力のデバイスが利用されている。更には、タッチパネルと呼ばれる抵抗膜式や静電容量式の薄膜素子などが表示部１１４に兼備される場合もあり、操作部１１３の代替として利用されたりもする。

ＣＰＵ１０２は、画像処理装置１００の設定状態などをユーザに知らせるための文字列や、画像処理装置１００の設定をするためのメニューを生成し、画像処理部１０５で処理された画像に重畳して、表示部１１４に表示する。文字情報の他にも、ヒストグラム、ベクトルスコープ、波形モニタ、ゼブラ、ピーキング、フォルスカラーなどのような撮影アシスト表示も重畳することが可能である。

その他のインタフェースとして、画像端子１０９がある。代表的なインタフェースとしては、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）など様々なインタフェースが存在する。画像端子１０９を用いることにより、外部モニタなどにリアルタイムな画像を表示することが可能となる。

また、画像処理装置１００は、画像だけでなくコントロール信号も伝送可能な、ネットワーク端子１０８も備えている。ネットワーク端子１０８は、画像信号や音声信号の入出力を行うためのインタフェースである。ネットワーク端子１０８は、インターネットなどを介して外部機器と通信し、ファイルやコマンドなどの各種データの送受信を行うこともできる。

画像処理装置１００は、画像を外部に出力するだけでなく、内部に記録する機能も備えている。記録媒体１１２は、画像データや種々の設定データを記録することが可能で、大容量記憶素子が使用される。例えば、記録媒体１１２としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などが利用される。記録媒体１１２は、記録媒体Ｉ／Ｆ１１０に装着される。

物体検出部１１５は、例えば、ニューラルネットワークを用いたディープラーニングに代表される人工知能を用いて物体を検出するためのブロックである。ディープラーニングによる物体検出を例とした場合、ＣＰＵ１０２は、ＲＯＭ１０３に格納された処理のためのプログラム、並びに、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）やＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）などのネットワーク構造や重みパラメータなどを物体検出部１１５に送信する。物体検出部１１５は、ＣＰＵ１０２から得られる各種パラメータに基づいて、画像信号から物体を検出するための処理を行い、処理結果をＲＡＭ１０４に展開する。

最後に、これらのシステムを駆動させるために、画像処理装置１００には、電源部１１６や発振部１１７なども備えられている。電源部１１６は、上述してきた各ブロックに電源を供給する部分で、外部から供給される商用電源やバッテリなどの電源を任意の電圧に変換し、分配する機能を持つ。発振部１１７は、クリスタルと呼ばれる発振素子である。ＣＰＵ１０２などは、この発振素子から入力される周期的な信号を基準として所望のタイミング信号を生成し、プログラムシーケンスを進めていく。

以上が、画像処理装置１００の全体システムの一例である。

図２は、画像センサとしての撮像部１０７の受光面の一部を示している。撮像部１０７は、撮像面位相差オートフォーカスを可能にするために、１つのマイクロレンズに対して、光電変換部（受光部であるフォトダイオード）を２つ保持している画素部を、アレイ状に並べている。これにより、各画素部で、レンズユニット１０６の射出瞳を分割した光束を受光することが可能になっている。

図２（Ａ）は、赤（Ｒ）、青（Ｂ）、緑（Ｇｂ、Ｇｒ）のベイヤー配列例の画像センサ表面の一部の模式図である。図２（Ｂ）は、図２（Ａ）のカラーフィルタの配列に対応させて、１つのマイクロレンズに対して光電変換部としてのフォトダイオードを２つ保持している画素部例である。

図２（Ｂ）の構成を有する画像センサは、各画素部から位相差検出用の２つの信号（以下、Ａ像信号及びＢ像信号ともいう。）を出力できるようになっている。また、図２（Ｂ）の構成を有する画像センサは、２つのフォトダイオードの信号を加算した撮像用の信号（Ａ像信号＋Ｂ像信号）も出力できるようになっている。この加算した信号は、図２（Ａ）で概略説明したベイヤー配列例の画像センサの出力と同等の信号である。

撮像部１０７は、画素部毎に位相差検出用信号を出力することも可能であるが、近接する複数画素部の位相差検出用信号を加算平均した値を出力することも可能である。加算平均した値を出力することで、撮像部１０７から信号を読み出す時間の短縮や、内部バス１０１の帯域削減ができる。

このような画像センサとしての撮像部１０７からの出力信号を使って、ＣＰＵ１０２が２つの像信号の相関演算を行い、デフォーカス量や視差情報、各種信頼性などの情報を算出する。像面でのデフォーカス量は、Ａ像信号とＢ像信号との間のズレに基づき算出される。デフォーカス量は正負の値を持っており、デフォーカス量が正の値であるか負の値であるかによって、前ピンか後ピンかがわかる。また、デフォーカス量の絶対値によって、合焦までの度合いが分かり、デフォーカス量が０であれば合焦である。即ち、ＣＰＵ１０２は、デフォーカス量の正負を元に前ピンか後ピンかの情報を算出する。また、ＣＰＵ１０２は、デフォーカス量の絶対値に基づいて、合焦の度合い（ピントのズレの度合い）である合焦度合い情報を算出する。ＣＰＵ１０２は、前ピンか後ピンかの情報は、デフォーカス量が所定値を超える場合に出力し、デフォーカス量の絶対値が所定値以内である場合には、合焦であるという情報を出力する。ＣＰＵ１０２は、デフォーカス量に応じてレンズユニット１０６を制御してフォーカス調整を行う。

また、ＣＰＵ１０２は、視差情報とレンズユニット１０６のレンズ情報とに基づき、三角測量の原理を用いて被写体までの距離を算出する。更に、ＣＰＵ１０２は、被写体までの距離とレンズユニット１０６のレンズ情報及び画像処理装置１００の設定状況を加味してＴｒｉｍａｐを生成する。Ｔｒｉｍａｐの生成方法の詳細については後述する。

なお、ここでは、１画素毎に撮像用の（Ａ像信号＋Ｂ像信号）と位相差検出用のＡ像信号の２つの信号を撮像部１０７から出力している。この場合、出力後に（Ａ像信号＋Ｂ像信号）からＡ像信号を減算することで、位相差検出用のＢ像信号を算出することができる。このような方法に限定されず、Ａ像信号とＢ像信号の状態で撮像部１０７から出力を行ってもよく、この場合、撮像用の（Ａ像信号＋Ｂ像信号）は、Ａ像信号とＢ像信号を加算して算出することができる。

また、図２では、１つのマイクロレンズに対して光電変換部としてのフォトダイオードを２つ保持している画素部をアレイ状に並べている例を示した。この点、１つのマイクロレンズに対して光電変換部としてのフォトダイオードを３つ以上保持している画素部をアレイ状に並べているようにしてもよい。また、マイクロレンズに対して受光部の開口位置が異なる画素部を複数有するようにしてもよい。つまり、結果としてＡ像信号とＢ像信号といった位相差検出可能な位相差検出用の２つの信号が得られるようになっていれば足りる。

画像処理装置１００は上記の構成を備えるので、結像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の光電変換部が配列された撮像素子を用いる撮影により生成される撮像画像及び複数の視差画像を取得することができる。

以下の各実施形態では、特に断らない限り、上で説明した画像処理装置１００が使用される。また、以下の各実施形態の構成は、適宜組み合わせ可能である。

＜第１０の実施形態＞
第１０の実施形態では、Ｔｒｉｍａｐ（背景分離用画像）の生成処理の例について説明する。

図３は、第１０の実施形態におけるＴｒｉｍａｐ生成処理のフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。

ユーザが操作部１１３を操作して電源部１１６に電源が投入されると、Ｓ１００１において、ＣＰＵ１０２は撮影待機処理を行う。撮影待機処理では、ＣＰＵ１０２は、図４に示すような撮像部１０７で撮像し画像処理部１０５で処理を施した画像や、画像処理装置１００の設定をするためのメニューを、表示部１１４に表示する。

Ｓ１００２では、ユーザが表示部１１４を見ながら、操作部１１３を操作する。ＣＰＵ１０２は、上記操作に応じた設定や処理を画像処理装置１００の各処理部に対して行う。

図５は、Ｔｒｉｍａｐを生成する際に用いる前景閾値の基準値の設定メニューの表示例を示す図である。前景閾値の基準値の具体的な例については後述する。まず、ユーザが操作部１１３を操作することで、ＣＰＵ１０２は、前景閾値設定メニュー画面１２００を表示部１１４に表示し、前景閾値の基準値の設定を受け付けるようになる。ユーザは、操作部１１３を操作することで前景閾値設定メニュー画面１２００に表示されたカーソル１２０１を動かし、前景閾値の基準値の設定を行う。

図６は、Ｔｒｉｍａｐを生成する際に用いる背景閾値の基準値の設定メニューの表示例を示す図である。背景閾値の基準値の具体的な例については後述する。ユーザが操作部１１３を操作することで、ＣＰＵ１０２は、背景閾値設定メニュー画面１３００を表示部１１４に表示し、背景閾値の基準値の設定を受け付けるようになる。ユーザは、操作部１１３を操作することで背景閾値設定メニュー画面１３００に表示されたカーソル１３０１を動かし、背景閾値の基準値の設定を行う。

ここで、ＣＰＵ１０２は、前景閾値の基準値として設定された値より小さな値をユーザが設定できないように、背景閾値設定メニュー画面１３００の表示を行う。例えば、前景閾値の基準値として２が設定されている場合、ＣＰＵ１０２は、図６のグレー表示１３０２のような表示を行い、背景閾値として１が設定できないように制御する。

また、ＣＰＵ１０２は、Ｓ１００２で設定された前景閾値の基準値及び背景閾値の基準値に応じて、前景閾値及び背景閾値をそれぞれ決定する。

Ｓ１００３では、ＣＰＵ１０２は、視差情報とレンズユニット１０６のレンズ情報とに基づき、被写体までの距離情報を画素毎に算出する（即ち、距離分布情報が得られる）。

図７は、図４に示した画像を撮像部１０７が撮像している際にＣＰＵ１０２が算出した距離情報を図示した例を示す図である。図７において、デフォーカス量が０である位置の画素を白色で示し、デフォーカス量が０より大きく、又は小さくなるほど濃い黒色となるように示している。

Ｓ１００４では、ＣＰＵ１０２は、被写体までの距離情報が、Ｓ１００２で決定された前景閾値の範囲内かどうかを画素毎に判断する。前景閾値の範囲内であれば処理ステップはＳ１００６に進み、前景閾値の範囲外の場合は処理ステップはＳ１００５に進む。

Ｓ１００５では、ＣＰＵ１０２は、被写体までの距離情報が、Ｓ１００２で決定された背景閾値の範囲外かどうかを画素毎に判断する。背景閾値の範囲外であれば処理ステップはＳ１００７に進み、背景閾値の範囲内である場合は処理ステップはＳ１００８に進む。

Ｓ１００６では、ＣＰＵ１０２が、Ｓ１００４で距離情報が前景閾値の範囲内であると判断した画素の領域を前景領域に分類し、その領域の画素値を白色データに置き換える処理を行う。

Ｓ１００７では、ＣＰＵ１０２が、Ｓ１００５で距離情報が背景閾値の範囲外であると判断した画素の領域を背景領域に分類し、その領域の画素値を黒色データに置き換える処理を行う。

Ｓ１００８では、ＣＰＵ１０２が、Ｓ１００５で距離情報が背景閾値の範囲内と判断した画素の領域を未知領域に分類し、その領域の画素値を灰色データに置き換える処理を行う。

具体的には例えば、ＣＰＵ１０２がＳ１００３で算出した距離情報が－１２８から＋１２７の範囲の値をとり、デフォーカス量が０である位置の距離情報の値が０となるものであるとする。そして、Ｓ１００２でユーザが設定した閾値の基準値と、その基準値に応じた値の範囲とが、図８に示す関係になっているものとする。そして、Ｓ１００２で設定された前景閾値の基準値が２で、背景閾値の基準値が４の場合、ＣＰＵ１０２は、距離情報が－５０～＋５０の領域を前景領域、－１２８～－１０１と＋１０１～＋１２７の領域を背景領域、－１００～－５１と＋５１～＋１００の領域を未知領域に分類する。そして、ＣＰＵ１０２は、前景領域の画素値を白色データ、背景領域の画素値を黒色データ、未知領域の画素値を灰色データに置き換える処理を行う。

以上の処理により、ＣＰＵ１０２は、前景領域、背景領域、及び未知領域の３つの領域に分けられたＴｒｉｍａｐを生成する。図９は、図７の距離情報に基づいて生成したＴｒｉｍａｐの例を示す図である。

Ｓ１００９では、ＣＰＵ１０２がＴｒｉｍａｐを表示部１１４、画像端子１０９、又はネットワーク端子１０８に出力する処理を行う。

以上説明したように、本実施形態では、像面位相差センサのデータから算出される距離情報を用いてＴｒｉｍａｐを生成することで、キャリブレーションを行わずに容易にＴｒｉｍａｐを生成することができる。

なお、本実施形態では、Ｔｒｉｍａｐを表示又は出力する構成としたが、記録媒体Ｉ／Ｆ１１０を介して記録媒体１１２に記録する構成としてもよい。また、Ｔｒｉｍａｐを１枚の静止画として表示、出力、又は記録してもよいし、複数枚の連続するＴｒｉｍａｐを動画として表示、出力、又は記録する構成としてもよい。

また、本実施形態では、撮像部１０７から画素部ごとに位相差検出用信号を出力する構成としたが、撮像部１０７の近接する複数画素部の位相差検出用信号を加算平均した値を出力し、その値を用いることで縮小されたＴｒｉｍａｐを生成する構成としてもよい。その縮小されたＴｒｉｍａｐをそのままの画像サイズで表示、出力、又は記録する構成としてもよいし、画像処理部１０５でリサイズ処理を行い、異なる画像サイズのＴｒｉｍａｐを表示、出力、又は記録する構成としてもよい。

また、本実施形態では、前景領域を白色データ、背景領域を黒色データ、未知領域を灰色データのＴｒｉｍａｐを表示する構成としたが、各領域の色データを上述の例とは異なる色データに置き換えて表示する構成としてもよい。

＜第２０の実施形態＞
第１０の実施形態では、ユーザが撮影画像とＴｒｉｍａｐの各領域の境界との位置関係を把握するのが難しい。そこで第２０の実施形態では、Ｔｒｉｍａｐの各領域の境界線を撮像画像に重畳して表示する処理の例について説明する。

図１０は、第２０の実施形態においてＴｒｉｍａｐの各領域の境界線を撮像画像に重畳して表示する処理のフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。なお、本実施形態において、第１０の実施形態と同一又は同様の構成及びステップについては同一の符号を付し、重複した説明は省略する。

図１０のＳ２００１では、ユーザが表示部１１４を見ながら、操作部１１３を操作する。ＣＰＵ１０２は、上記操作に応じた設定や処理を画像処理装置１００の各処理部に対して行う。

図１１は、Ｔｒｉｍａｐの前景領域と未知領域との境界線及び未知領域と背景領域との境界線を撮像画像に重畳して表示する際のそれぞれの境界線の設定に関する設定メニューの表示例を示す図である。ユーザが操作部１１３を操作することで、ＣＰＵ１０２は、境界線設定メニュー画面２１００を表示部１１４に表示し、前景領域と未知領域との境界線及び未知領域と背景領域との境界線に関する各種の設定を受け付けるようになる。そして、ユーザは操作部１１３を操作することで境界線設定メニュー画面２１００に表示されたカーソル２１０１を動かし、各設定項目を選択することで、前景領域と未知領域との境界線及び未知領域と背景領域との境界線に関する各種の設定を行う。各設定項目の説明は後述する。

なお、Ｓ２００１では、Ｓ１００２と同様に、ユーザが前景閾値の基準値及び背景閾値の基準値の設定も行う。

Ｓ２００２では、ＣＰＵ１０２は、第１０の実施形態で説明したＳ１００３からＳ１００８の処理と同様の処理を行うことにより、Ｔｒｉｍａｐを生成する。

Ｓ２００３では、ＣＰＵ１０２は、Ｔｒｉｍａｐの各領域の境界を抽出する。具体的には例えば、前景領域、背景領域、未知領域がそれぞれ白色データ、黒色データ、灰色データからなるＴｒｉｍａｐの輝度値に対して、所定のカットオフ周波数のハイパスフィルタをかけて高周波成分を抽出することで、各領域の境界を抽出することができる。カットオフ周波数は、Ｓ２００１でユーザが操作部１１３を介して設定した周波数の値に応じてＣＰＵ１０２が決定する。

更に、ＣＰＵ１０２は、上記ハイパスフィルタで抽出される値の正負及び大きさに基づいて、白色データと灰色データとの境界か、灰色データと黒色データとの境界か、白色データと黒色データとの境界かの判別を行うこともできる。例えば、白色データと灰色データとの輝度の差は、白色データと黒色データとの輝度の差より小さいため、ハイパスフィルタで抽出した値の大きさで、白色データの領域の画素が、灰色データと黒色データのどちらとの境界にあるかを判別できる。また、灰色データを基準とすると、灰色データと白色データとの輝度の差と、灰色データと黒色データとの輝度の差は正負が逆であるため、ハイパスフィルタで抽出した値の正負で、灰色データの領域の画素が、白色データと黒色データのどちらとの境界にあるかを判別できる。

以上のようにして、白色データと灰色データとの境界か、灰色データと黒色データとの境界か、白色データと黒色データとの境界かの判別、即ち、前景領域と未知領域との境界か、未知領域と背景領域との境界か、前景領域と背景領域との境界かの判別を行うことができる。

Ｓ２００４では、ＣＰＵ１０２は、Ｓ２００３で抽出した境界が、前景領域と未知領域との境界かどうかを画素毎に判断する。前景領域と未知領域との境界であれば処理ステップはＳ２００５に進み、そうでない場合、即ち、未知領域と背景領域との境界もしくは前景領域と背景領域との境界である場合は処理ステップはＳ２００６に進む。

Ｓ２００５では、ＣＰＵ１０２は、Ｓ２００４で前景領域と未知領域との境界であると判断した画素と同じ位置の、画像処理部１０５の出力画像信号に対して、Ｓ２００１で設定した前景領域と未知領域との境界線の設定に応じた色データを重畳する。具体的には、境界線設定メニュー画面２１００で設定されたゲインの値が大きいほど、カラーとして設定された色が濃く見えるようなデータが、画像処理部１０５の出力画像信号に対して重畳される。

Ｓ２００６では、ＣＰＵ１０２は、Ｓ２００４で前景領域と未知領域との境界でない境界、即ち、未知領域と背景領域との境界もしくは前景領域と背景領域との境界であると判断した画素の位置の、画像処理部１０５の出力画像信号に対して、Ｓ２００１で設定した未知領域と背景領域との境界線の設定に応じた色データを重畳する。具体的には、境界線設定メニュー画面２１００で設定されたゲインの値が大きいほど、カラーとして設定された色が濃く見えるようなデータが、画像処理部１０５の出力画像信号に対して重畳される。

Ｓ２００７では、ＣＰＵ１０２は、Ｓ２００５又はＳ２００６で境界線が重畳された画像信号を、表示部１１４、画像端子１０９、又はネットワーク端子１０８に出力する処理を行う。図１２は、図４に示した画像に前景領域と未知領域との境界線２２０１、及び未知領域と背景領域との境界線２２０２を重畳して表示した画面の例を示す図である。図１２に示すように、撮像画像が、前景領域、背景領域、及び未知領域を識別可能な態様で表示される。

以上説明したように、本実施形態では、Ｔｒｉｍａｐの領域間の境界線を撮像画像に重畳して表示することで、ユーザが撮影画像とＴｒｉｍａｐの領域間の境界との関係を把握するのが容易になる。

また、前景領域と背景領域との境界線の設定を、未知領域と背景領域との境界線の設定と同じにすることで、未知領域内に被写体が入っていることをユーザが認識しやすくすることができる。

＜第３０の実施形態＞
画像とＴｒｉｍａｐを個別に表示する場合、画像の被写体に対してＴｒｉｍａｐの前景領域と未知領域が被写体をカバーしているかを確認することが困難という課題がある。本実施形態では、その課題を解決する構成について説明する。

本実施形態では、図１に示す画像処理部１０５が、画像にＴｒｉｍａｐの前景領域、未知領域、及び背景領域それぞれに透過度αを設定し、透過度を設定したＴｒｉｍａｐを画像に重畳する処理を施す。そして、ＣＰＵ１０２は、Ｔｒｉｍａｐを重畳した画像を表示部１１４に表示する。ここで、透過度αは、その値が０のときは不透明な状態を表し、１のときは透明な状態を表し、０から１の間のときには半透明な状態を表す。そして、Ｔｒｉｍａｐの前景領域、未知領域、及び背景領域の全てについてα＝１に設定することで、画像のみが表示されるようにしてもよいし、全てについてα＝０に設定することで、Ｔｒｉｍａｐのみが表示されるようにしてもよい。

図１３を参照して、ユーザがＴｒｉｍａｐの透過度設定をプリセットから選択する例について説明する。まず、Ｓ３００１で、ＣＰＵ１０２は、画像処理部１０５が処理を施した画像を取得する。Ｓ３００２で、ＣＰＵ１０２は、第１０の実施形態で説明したＳ１００３からＳ１００８の処理と同様の処理を施すことにより、Ｔｒｉｍａｐを生成する。

Ｓ３００３で、ユーザが操作部１１３を操作することで、ＣＰＵ１０２は、図１４に示すＴｒｉｍａｐ透過度設定メニュー画面３１００を表示部１１４に表示する。ここで、図１４は、Ｓ３００３において、Ｔｒｉｍａｐ透過度設定メニュー画面３１００とカーソル３１０１が表示部１１４に表示された例である。

Ｓ３００４で、ユーザが操作部１１３を操作することでＴｒｉｍａｐ透過度設定メニュー画面３１００に表示されたカーソル３１０１を動かし、Ｔｒｉｍａｐの透過度設定として、プリセット設定を選択する。ユーザの操作に応じて、ＣＰＵ１０２は、Ｔｒｉｍａｐ透過度設定メニュー画面３１００にプリセットの一覧を表示する。この場合、処理ステップはＳ３００４からＳ３００５へ進む。ここで、プリセットの一覧は、Ｓ３００３でＴｒｉｍａｐ透過度設定メニュー画面３１００を表示するときに表示してもよい。なお、ユーザ設定が選択された場合（処理ステップがＳ３００４からＳ３００７に進む場合）については、第３１の実施形態において説明する。

Ｓ３００５で、ユーザが操作部１１３を操作することでＴｒｉｍａｐ透過度設定メニュー画面３１００に表示されたカーソル３２０１を動かし、Ｔｒｉｍａｐの透過度設定の任意のプリセットを選択する。ここで、図１５は、Ｓ３００５において、Ｔｒｉｍａｐ透過度設定メニュー画面３１００とカーソル３２０１が表示部１１４に表示された例である。また、Ｔｒｉｍａｐの透過度設定のプリセットとは、Ｔｒｉｍａｐの前景領域、未知領域、及び背景領域それぞれの透過度の組み合わせを定義しているものを表す。例えば、ＲＯＭ１０３が、（ａ）画像（前景領域：α＝０、未知領域：α＝０、背景領域：α＝０）、（ｂ）Ｔｒｉｍａｐ（前景領域：α＝１、未知領域：α＝１、背景領域：α＝１）、（ｃ）画像＋Ｔｒｉｍａｐ（前景領域：α＝０．３、未知領域：α＝０．５、背景領域：α＝０．７）、（ｄ）簡単切り出し（前景領域：α＝０、未知領域：α＝０、背景領域：α＝１）のような、Ｔｒｉｍａｐの透過度設定をプリセットとして保持する。Ｓ３００６で、ＣＰＵ１０２は、Ｓ３００５で選択されたプリセットの透過度をＲＯＭ１０３から読み出す。

Ｓ３００８で、ＣＰＵ１０２は、Ｓ３００６で読み出した透過度を基にＴｒｉｍａｐに対して透過処理を施す。ここで、透過処理は、Ｔｒｉｍａｐの領域情報を基に、Ｔｒｉｍａｐ全てに対して１度の処理で領域毎に異なる透過度の透過処理を施すことで実現してもよい。或いは、透過処理は、Ｔｒｉｍａｐの領域毎に順番で透過処理を施し、中間データはフレームメモリ１１１に一時的に記録し、次の領域の透過処理を施すときに読み出すことで実現してもよい。

Ｓ３００９で、ＣＰＵ１０２は、Ｓ３００１で取得した画像に対して、Ｓ３００８で透過処理が施されたＴｒｉｍａｐを重畳する。Ｓ３０１０で、ＣＰＵ１０２は、Ｔｒｉｍａｐ重畳画像をフレームメモリ１１１に展開し、表示部１１４に表示する。また、Ｔｒｉｍａｐ重畳画像は、ピクチャインピクチャ形式で表示してもよいし、画像端子１０９から画像出力してもよいし、記録媒体１１２で記録してもよい。また、ＣＰＵ１０２は、Ｔｒｉｍａｐ重畳画像とＴｒｉｍａｐの領域情報を記録し、再生時に透過度を変更してもよいし、記録したＴｒｉｍａｐ重畳画像をＲＥＣレビュー時のみ表示部１１４に表示してもよい。ここで、図１６、図１７、図１８、及び図１９は、Ｓ３０１０において、Ｔｒｉｍａｐ重畳画像が表示部１１４に表示された例である。また、Ｓ３００５の透過度設定の例における「（ａ）画像」が図１６、「（ｂ）Ｔｒｉｍａｐ」が図１７、「（ｃ）画像＋Ｔｒｉｍａｐ」が図１８、「（ｄ）簡単切り出し」が図１９に対応する。なお、本実施形態では、前景領域を白色データ、未知領域を灰色データ、背景領域を黒色データとするＴｒｉｍａｐを重畳する構成としたが、各領域をそれぞれ横線、縦線、斜め線で表した画像を重畳して表示する構成としてもよい。このような表示の例を図２０に示す。

以上のように、第３０の実施形態によれば、画像とＴｒｉｍａｐの確認を容易に同時に行うことが可能となる。

＜第３１の実施形態＞
第３０の実施形態では、ユーザがＴｒｉｍａｐの透過度設定をプリセットから選択する例を説明したが、別の実施形態として、ユーザがＴｒｉｍａｐの透過度設定を手動で設定する例も考えられる。

第３１の実施形態では、図１３のフローチャートを用いて、ユーザがＴｒｉｍａｐの透過度設定を手動で設定する例について説明する。以下では、第３０の実施形態と異なる点を中心に説明し、第３０の実施形態と同様の構成や処理についての説明は省略する。

まず、Ｓ３００１からＳ３００３は第３０の実施形態と同様のため省略する。次に、Ｓ３００４で、第３０の実施形態と同様にユーザがメニューを操作し、Ｔｒｉｍａｐの透過度設定としてユーザ設定を選択する。ユーザの操作に従って、ＣＰＵ１０２は、Ｔｒｉｍａｐ透過度設定画面３８００を表示部１１４に表示する。この場合、処理ステップはＳ３００４からＳ３００７に進む。ここで、図２１は、Ｓ３００４において、Ｔｒｉｍａｐ透過度設定画面３８００、スクロールバー３８０１、スクロールバー３８０２、及びスクロールバー３８０３が表示部１１４に表示された例である。

Ｓ３００７で、ユーザが操作部１１３を操作することでＴｒｉｍａｐ透過度設定画面３７００に表示されたスクロールバー３８０１、スクロールバー３８０２、及びスクロールバー３８０３を動かす。ユーザの操作に従って、ＣＰＵ１０２は、Ｔｒｉｍａｐの前景領域、未知領域、及び背景領域それぞれの透過度αを設定する。ここで、Ｔｒｉｍａｐの透過度設定は、スクロールバーのようなＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を用いる操作に限らず、設定値を任意に変更できるボリュームつまみのような物理インタフェースを用いる操作により実現してもよい。次に、Ｓ３００８からＳ３０１０は第３０の実施形態と同様のため省略する。

以上のように、第３１の実施形態によれば、画像とＴｒｉｍａｐの確認を容易に同時に行うことが可能となる。

＜第３２の実施形態＞
第３０の実施形態及び第３１の実施形態において、画像やＴｒｉｍａｐの領域に影響がある状態が発生した場合や、画像やＴｒｉｍａｐの領域に影響がある操作が行われた場合に、画像又はＴｒｉｍａｐの確認が難しいという課題がある。本実施形態では、その課題を解決する構成について説明する。

第３２の実施形態では、図２２のフローチャートを用いて、Ｔｒｉｍａｐの透過度を自動で設定する例について説明する。以下では、第３０の実施形態及び第３１の実施形態と異なる点を中心に説明し、第３０の実施形態及び第３１の実施形態と同様の構成や処理についての説明は省略する。

まず、Ｓ３９０１及びＳ３９０２は、図１３におけるＳ３００１及びＳ３００２と同様のため説明は省略する。Ｓ３９０３では、図１３におけるＳ３００３からＳ３００７と同様の処理が行われる。

次に、Ｓ３９０４で、ＣＰＵ１０２は、ＲＯＭ１０３で保持されているＴｒｉｍａｐの透過度変更条件が満たされているか否かの判定を行う。ここで、透過度変更条件とは、例えば、画角外から被写体が入ってきて前景領域が追加で検出されたときや、レンズ操作検出時など、画像やＴｒｉｍａｐの領域に影響がある状態や操作の検出の有無のことである。透過度変更条件が満たされている場合、処理ステップはＳ３９０５に進み、透過度変更条件が満たされていない場合、処理ステップはＳ３９０６に進む。

なお、透過度の連続的な変更を防いで視認性を向上させるために、透過度変更条件が満たされてから所定のフレーム数以内であれば、透過度変更条件が満たされていない場合でも処理ステップをＳ３９０５に進め、透過度変更を行う構成を採用してもよい。また、透過度変更条件としては、検出の有無だけでなく、それ以外の条件を使用してもよい。

Ｓ３９０５で、ＣＰＵ１０２は、Ｓ３９０３で設定された透過度と透過度変更条件とに応じた透過度をＲＯＭ１０３から読み出し、透過度の変更を行う。例えば、レンズ操作時にはユーザは画像の確認を優先して行いたいので、ＣＰＵ１０２は、レンズ操作検出時のＴｒｉｍａｐの透過度として、前景領域、未知領域、及び背景領域の全てについてα＝１の設定値を読み出し、透過度の変更を行う。この場合、レンズ操作時は、画像のみが表示部１１４に表示され、レンズ操作終了後はＳ３９０３で設定された透過度が反映された透過処理が施されて表示部１１４に表示される。ここで、透過度変更条件に応じた透過度はユーザが任意に設定できるようにしてもよい。また、画像やＴｒｉｍａｐの領域に影響がある状態や操作の検出の有無以外の透過度変更条件を使用する場合、条件毎に対応した透過度をＲＯＭ１０３に保持しておき、条件に応じた透過度の設定値を読み出し、透過度の変更を行う構成を採用してもよい。

次に、Ｓ３９０４で透過度変更条件が満たされず、処理ステップがＳ３９０６に進む場合について説明する。Ｓ３９０６では、ＣＰＵ１０２は、Ｓ３９０３で設定された透過度を変更せずにそのまま維持する。

Ｓ３９０５又はＳ３９０６の処理に続くＳ３９０７、Ｓ３９０８、及びＳ３９０９は、図１３におけるＳ３００８、Ｓ３００９、及びＳ３０１０と同様のため説明は省略する。

以上のように、第３２の実施形態によれば、画像とＴｒｉｍａｐの確認を容易に同時に行うことと、画像やＴｒｉｍａｐの領域に影響がある状態や操作が発生した場合の画像又はＴｒｉｍａｐの確認を容易に行うことが可能となる。

＜第４０の実施形態＞
画像処理装置１００が出力するＴｒｉｍａｐについて、Ｔｒｉｍａｐを生成する際に使用する閾値と、撮影している被写体の距離情報との関係を、ユーザが認識することを容易にする構成について説明する。本実施形態では、距離情報の分布から距離分布表示ヒストグラムを生成して出力する例を述べる。

図２３は、距離情報の分布から距離分布表示ヒストグラムを生成し、表示部１１４に表示する処理のフローチャートである。このフローチャートの処理は、ユーザが操作部１１３を操作して、ヒストグラム生成のモードを選択すると実行される。このフローチャートにおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。

Ｓ４００１では、ＣＰＵ１０２は、第１０の実施形態のＳ１００２で設定された前景閾値と背景閾値を取得し、ＲＡＭ１０４に保存する。Ｓ４００４は、図３のＳ１００３と同様のため説明を省略する。

Ｓ４００５では、ＣＰＵ１０２は、距離分布表示ヒストグラムの表示設定がＯＮかＯＦＦかを判定する。距離分布表示ヒストグラムの表示設定は、ユーザが操作部１１３を用いてメニューを操作することで設定される。表示設定がＯＮの場合、処理ステップはＳ４００６へ進み、表示設定がＯＦＦの場合、処理ステップはＳ４０１４へ進む。

Ｓ４００６では、ＣＰＵ１０２は、Ｓ４００４で得られる距離情報に基づいて、距離分布表示ヒストグラムを生成する。本実施形態では、ＣＰＵ１０２は、フレームメモリ１１１から得られる画像において、対応する画素の距離情報をＳ４００４において取得し、距離情報の分布を表現した距離分布表示ヒストグラムを生成する。

距離分布表示ヒストグラムは、横軸を距離として、距離情報が０であるところを中心値とする。距離は±方向のレンジを持ち、画像処理装置から離れる方向を正の方向とする。例えば、実際の距離（メートル）を－１２８～１２７の実数値に正規化して、合焦位置を０として表現する。更に、各距離値を持つ画像内の画素数を度数として縦軸に表現する。

図２４は、撮影した全体風景と距離分布表示ヒストグラムの関係を示した例である。図２４（ａ）では、画像処理装置１００の前方に、切り抜き対象の被写体４１０２と、切り抜き対象ではない物体４１０３と、背景４１０４とが配置された場面が示されている。本場面において、画像処理装置１００が被写体４１０２に焦点を合わせて撮影し、被写体４１０２のみを切り出そうとしている場合を考える。画像処理装置１００が本場面を撮影すると、ＣＰＵ１０２は、被写体４１０２と、物体４１０３と、背景４１０４とが配置されている距離に対応した分布から、図２４（ｂ）のような距離分布表示ヒストグラム４１０９を生成する。

Ｓ４００７では、ＣＰＵ１０２は、ＲＡＭ１０４に保存されている前景閾値と背景閾値を読み出す。前景閾値は、負の値を持つ第１の前景閾値と、正の値を持つ第２の前景閾値から構成される。また、背景閾値は、負の値を持つ第１の背景閾値と、正の値を持つ第２の背景閾値から構成される。

Ｓ４００８では、ＣＰＵ１０２は、Ｓ４００６で生成された距離分布表示ヒストグラムに、Ｓ４００７で読み出した前景閾値と背景閾値を重畳する。具体的には、ＣＰＵ１０２は、図２４（ｂ）に示すように、距離分布表示ヒストグラム４１０９の横軸に対して、第１の前景閾値に一致する位置に縦点線４１０６を、第２の前景閾値に一致する位置に縦点線４１０７を重畳する。次に、ＣＰＵ１０２は、第１の背景閾値に一致する位置に縦点線４１０５を、第２の背景閾値に一致する位置に縦点線４１０８を重畳する。これにより、切り出す被写体と閾値との位置関係を示すことができる。なお、距離分布表示ヒストグラムに前景閾値及び背景閾値を重畳させる方法はこれに限らず、前景閾値と背景閾値の位置が認識でき、前景領域と、背景領域と、未知領域との区別がつくような手法ならば、他の重畳方法を用いてもよい。例えば、距離分布表示ヒストグラムの背景を、前景領域、背景領域、未知領域で色分けするなどが挙げられる。

また、図２４（ｂ）に示すように、ＣＰＵ１０２は、距離分布表示ヒストグラムの横軸において、前景領域４１１２は白色に、背景領域４１１０及び背景領域４１１４は黒色に、未知領域４１１１及び未知領域４１１３は灰色に着色してもよい。これにより、距離分布表示ヒストグラムの各分布が前景領域、背景領域、未知領域のいずれに属するのかを認識しやすいように表示できる。なお、距離分布表示ヒストグラムにおいて前景領域、背景領域、及び未知領域を示す方法はこれに限らず、前景領域、背景領域、及び未知領域を容易に認識可能な表示を実現する方法であれば、他の方法を用いてもよい。

Ｓ４００９では、ＣＰＵ１０２は、フレームメモリ１１１から画像を取得する。Ｓ４０１０では、ＣＰＵ１０２は、Ｓ４００８で生成された距離分布表示ヒストグラムを、Ｓ４００９で取得した画像に重畳する。

図２５は、Ｓ４００９で取得した画像４２０６の下部に距離分布表示ヒストグラム４２０５を重畳した例を示す図である。これにより、ユーザは、画像と距離分布表示ヒストグラムを同時に確認することができる。なお、画像と距離分布表示ヒストグラムを重畳させる際は、上下に配置するに限らず、画像と距離分布表示ヒストグラムを同時に確認することができる手法ならば他の重畳方法を用いてもよい。例えば、画像と距離分布表示ヒストグラムを左右に並べて表示したり、距離分布表示ヒストグラムに透過度を持たせて、画像の一部に重畳したりしてもよい。

Ｓ４０１１では、ＣＰＵ１０２は、Ｓ４０１０で合成された図２５に示すような画像を表示部１１４に出力し、表示部１１４にて表示させる。Ｓ４０１２では、ＣＰＵ１０２は、第１０の実施形態の図５及び図６で示したように操作部１１３を用いてメニューを操作することで設定される前景閾値及び背景閾値の少なくとも一方が変更されているかを判定する。ＣＰＵ１０２は、ＲＡＭ１０４に保存されている前景閾値及び背景閾値と、操作部１１３を用いてメニューを操作することで設定される前景閾値及び背景閾値とを比較することにより、変更の有無を判定する。閾値が更新されている場合（前景閾値及び背景閾値の少なくとも一方が変更されている場合）、処理ステップはＳ４０１３へ進み、閾値が更新されていない場合、処理ステップはＳ４００４へ戻る。Ｓ４０１３の処理は、Ｓ４００１と同様のため説明を省略する。これにより、ユーザは距離分布表示ヒストグラム及び画像を確認しながら、各閾値を調整することが可能となる。

次に、Ｓ４００５からＳ４０１４へ処理ステップが進んだ場合について説明する。Ｓ４０１４の処理は、Ｓ４００９と同様のため説明を省略する。Ｓ４０１５では、ＣＰＵ１０２は、Ｓ４０１４で取得した画像を表示部１１４に出力し、表示部１１４にて表示させる。これにより、距離分布表示ヒストグラムを非表示に設定した場合には、撮影された画像のみを表示部１１４に表示させることができる。

以上のように、本実施形態によれば、画像の距離情報の分布が距離分布表示ヒストグラムによって表され、Ｔｒｉｍａｐを生成する際に使用する閾値と、撮影している被写体の距離情報との関係を、ユーザが容易に認識することが可能になる。また、ユーザが、閾値の範囲を目視で確認しながら調整することが可能となる。

＜第４１の実施形態＞
第４０の実施形態では、距離情報の分布から距離分布表示ヒストグラムを生成して、被写体と前景閾値及び背景閾値との位置関係を容易に認識できるように表示する例について述べた。また、前景閾値と背景閾値の表示を行うことにより、ユーザが閾値の範囲を目視で確認しながら調整することが可能となる例について述べた。しかし、上記実施形態では、被写体が移動したり、動作をしたりする場合、被写体が背景閾値の範囲外となったことにユーザが気づかず、ユーザが意図するＴｒｉｍａｐを生成できず、意図した形で被写体を切り出せない可能性がある。

これに対して、第４１の実施形態では、撮影する被写体が背景閾値の範囲外に飛び出てしまい切り出しに失敗する可能性を低減するために、距離分布表示ヒストグラムと画像に強調表現を行う構成について述べる。

図２６（ａ）は、第４０の実施形態の図２４（ａ）と同様の場面において、被写体４１０２の一部（部分４３０１）が縦点線４１０５（第１の背景閾値）を飛び出してしまっている状態を示している。この状態で撮影を行ってしまうと、画像処理装置１００から、部分４３０１が背景領域となったＴｒｉｍａｐが出力されてしまい、再撮影が必要となる。例えば、部分４３０１が背景領域となったＴｒｉｍａｐを用いて、外部のＰＣが切り出し処理を行うと、被写体４１０２の部分４３０１が失われた画像となる（即ち、切り出しに失敗する）。本実施形態では、部分４３０１のように背景閾値の範囲外に飛び出した部分について、撮影前及び撮影時にユーザに強調して示すことで、ユーザに被写体の位置や背景閾値の調整を促し、Ｔｒｉｍａｐの生成失敗による再撮影を未然に防ぐことができる。

図２６（ｂ）は、距離分布表示ヒストグラム４３０２に対して、前景閾値と、背景閾値と、表示閾値を重畳させたものである。表示閾値は、距離分布表示ヒストグラムのうち、表示部１１４で表示する範囲を規定するものである。第４０の実施形態の図２４（ｂ）のように、撮影している風景すべてについて距離分布表示ヒストグラムを表示した場合、背景４１０４のヒストグラムも同時に表示される。しかし背景４１０４のヒストグラムは前景閾値や背景閾値の調整を行うためには不要であり、非表示とする方が被写体と閾値の関係が認識しやすくなる。そこで本実施形態では、不要なヒストグラムを非表示にできるように表示閾値を設定する。表示閾値は、背景閾値と表示範囲オフセット値から算出され、負の値を持つ第１の表示閾値と、正の値を持つ第２の表示閾値から構成される。画像処理装置１００は、第１の表示閾値から第２の表示閾値までの範囲に属する距離分布表示ヒストグラムのみを表示し、範囲外のヒストグラムは非表示にする。

図２７、図２８Ａ、図２８Ｂ、図２９Ａ、及び図２９Ｂは、距離情報の分布から距離分布表示ヒストグラムを生成し、被写体が背景領域に飛び出てしまったことを強調した画像を表示部１１４に出力するフローチャートである。これらのフローチャートは、ユーザが操作部１１３を操作して、ヒストグラム生成及び画像強調表現を行うモードを選択すると実行される。これらのフローチャートにおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。

図２７において、Ｓ４４０１及びＳ４４０４の処理は、第４０の実施形態のＳ４００１及びＳ４００４と同様のため説明を省略する。Ｓ４４０５では、ＣＰＵ１０２は、Ｓ４４０４で得られる距離情報に基づいて、距離分布表示ヒストグラムを生成する。

図２８Ａ及び図２８Ｂは、Ｓ４４０５の処理の詳細を示すフローチャートである。Ｓ４５０１では、ＣＰＵ１０２は、距離分布表示ヒストグラムの表示設定がＯＮかＯＦＦかを判定する。距離分布表示ヒストグラムの表示設定は、ユーザが操作部１１３を用いてメニューを操作することで設定される。ＯＮの場合、処理ステップはＳ４５０２へ進み、ＯＦＦの場合、処理ステップはＳ４５２０へ進む。

Ｓ４５０２及びＳ４５０３の処理は、第４０の実施形態のＳ４００６及びＳ４００７と同様のため説明を省略する。Ｓ４５０４では、ＣＰＵ１０２は、ＲＯＭ１０３にあらかじめ保存されている表示範囲オフセット値を取得する。なお、表示範囲オフセット値の保存場所はＲＯＭ１０３に限らず、記録媒体１１２などを用いてもよい。また、ユーザが表示範囲オフセット値を任意に変更できるようにしてもよい。例えばユーザが操作部１１３を用いてメニューを操作して表示範囲オフセット値を選択し、ＣＰＵ１０２が操作部１１３から表示範囲オフセット値を取得する。

Ｓ４５０５では、ＣＰＵ１０２は、Ｓ４５０３で読み出した背景閾値とＳ４５０４で取得した表示範囲オフセット値とに基づいて表示閾値を算出する。図２６（ｂ）を参照して、表示閾値の具体的な算出方法を説明する。最初に、ＣＰＵ１０２は、縦点線４１０５（第１の背景閾値）から表示範囲オフセット値４３０８を減じたものを第１の表示閾値（縦点線４３０３）とする。次に、ＣＰＵ１０２は、縦点線４１０８（第２の背景閾値）に表示範囲オフセット値４３０９を加えたものを第２の表示閾値（縦点線４３０４）とする。これにより、２つの表示閾値が決定される。なお、表示閾値の算出は表示範囲オフセット値の加減算に限らず、距離情報の範囲内において、第１の表示閾値より第２の表示閾値の方が大きい関係が保たれているのであれば他の計算手法でもよい。また、表示範囲オフセット値について、第１の表示閾値の算出に使用するオフセット値と、第２の表示閾値の算出に使用するオフセット値は、同一の値としてもよいし、異なる値としてもよい。

Ｓ４５０６では、ＣＰＵ１０２は、Ｓ４５０２で生成された距離分布表示ヒストグラムに、Ｓ４５０３で読み出した前景閾値及び背景閾値、並びにＳ４５０５で算出した表示閾値を重畳する。距離分布表示ヒストグラムに前景閾値及び背景閾値を重畳する手法は、第４０の実施形態のＳ４００８と同様のため説明を省略する。図２６（ｂ）を参照して、距離分布表示ヒストグラムに表示閾値を重畳する手法を説明する。ＣＰＵ１０２は、距離分布表示ヒストグラム４３０２の横軸において、第１の表示閾値に一致する位置に縦点線４３０３を、第２の表示閾値に一致する位置に縦点線４３０４を重畳する。なお、距離分布表示ヒストグラムに表示閾値を重畳させる方法はこれに限らず、表示閾値の位置が認識できる手法ならば他の重畳方法でもよい。例えば、表示閾値の範囲内に属する距離分布表示ヒストグラムの背景を着色したり、しま模様や格子模様のような単一パターンを重畳したりしてもよい。

Ｓ４５０７では、ＣＰＵ１０２は、ＲＯＭ１０３にあらかじめ保存されている着色設定情報を取得する。着色設定情報は、距離分布表示ヒストグラム及び画像について、属している領域を区別できるように着色するために、各領域に指定する色の情報である。本実施形態では、前景領域と未知領域に属する場合は第１の色で着色する。背景領域については、距離情報が負の場合は第２の色、距離情報が正の場合は第３の色で着色する。なお、着色設定情報の保存場所はＲＯＭ１０３に限らず、記録媒体１１２などを用いてもよい。また、ユーザが着色設定情報を任意に変更できるようにしてもよい。例えば、ユーザが操作部１１３を用いてメニューを操作して、第１の色、第２の色、及び第３の色を指定し、ＣＰＵ１０２が操作部１１３から着色設定情報を取得する。

Ｓ４５０８では、ＣＰＵ１０２は、距離分布表示ヒストグラムの階級数を取得する。取得した階級数は変数ＮｍａｘとしてＲＡＭ１０４に保存される。例えば、距離分布表示ヒストグラムの階級数が２５６ならば、変数Ｎｍａｘは２５６である。

Ｓ４５０９では、ＣＰＵ１０２は、距離分布表示ヒストグラムの階級について、距離情報が最短の階級に注目する。具体的には、注目する距離分布表示ヒストグラムの階級を変数ｎとおいて、ｎに１を設定し、ＲＡＭ１０４に保存する。変数ｎが大きいほど、画像処理装置から遠い距離の階級のヒストグラムに対応する。

Ｓ４５１０では、ＣＰＵ１０２は、変数ｎが第１の表示閾値から第２の表示閾値の範囲内にあるか否かを判定する。表示閾値の範囲内にある場合、処理ステップはＳ４５１１へ進み、範囲内にない場合、処理ステップはＳ４５１６へ進む。

Ｓ４５１１では、ＣＰＵ１０２は、変数ｎが第１の背景閾値から第２の背景閾値の範囲内にあるか否かを判定する。第１の背景閾値から第２の背景閾値の範囲内にある場合、処理ステップはＳ４５１２へ進み、第１の背景閾値から第２の背景閾値の範囲内にない場合、処理ステップはＳ４５１３へ進む。

Ｓ４５１２では、ＣＰＵ１０２は、変数ｎの階級のヒストグラムに対して、第１の色で着色するように設定する。

Ｓ４５１３では、ＣＰＵ１０２は、変数ｎが第１の表示閾値から第１の背景閾値の範囲内にあるか否かを判定する。第１の表示閾値から第１の背景閾値の範囲内にある場合、処理ステップはＳ４５１４へ進み、第１の表示閾値から第１の背景閾値の範囲内にない場合、処理ステップはＳ４５１５へ進む。

Ｓ４５１４では、ＣＰＵ１０２は、変数ｎの階級のヒストグラムに対して、第２の色で着色するように設定する。

Ｓ４５１５では、ＣＰＵ１０２は、変数ｎの階級のヒストグラムに対して、第３の色で着色するように設定する。

Ｓ４５１６では、ＣＰＵ１０２は、変数ｎの階級のヒストグラムに対して、非表示にするように設定する。

Ｓ４５１７では、ＣＰＵ１０２は、変数ｎがヒストグラムの階級数Ｎｍａｘと等しくなったか判定する。等しい場合、処理ステップはＳ４５１７へ進み、等しくない場合、処理ステップはＳ４５１８へ進む。

Ｓ４５１８では、ＣＰＵ１０２は、変数ｎに対してｎ＋１を代入し、結果をＲＡＭ１０４に保存する。これにより、ＣＰＵ１０２が注目するヒストグラムを１階級上にする。

Ｓ４５１９では、ＣＰＵ１０２は、着色設定を施した距離分布表示ヒストグラムをＲＡＭ１０４に保存する。

Ｓ４５２０及びＳ４５２１の処理は、第４０の実施形態のＳ４０１２及びＳ４０１３と同様のため説明を省略する。Ｓ４５２０において「ＮＯ」と判定された場合、処理ステップは図２７のＳ４４０６へ進む。

以上のように、図２８Ａ及び図２８Ｂのフローチャートの処理をＣＰＵ１０２が実行することで、背景閾値の範囲外に存在する分布を強調させた距離分布表示ヒストグラムを生成できる。

再び図２７を参照する。Ｓ４４０６では、ＣＰＵ１０２は、Ｓ４４０４で得られる距離情報に基づいて、画像処理部１０５で得られる画像に強調表現を施した画像を生成する。

図２９Ａ及び図２９Ｂは、Ｓ４４０６の処理の詳細を示すフローチャートである。Ｓ４６０１では、ＣＰＵ１０２は、画像処理部１０５から画像及び画像サイズの情報を取得する。ＣＰＵ１０２は、画像サイズのうち、横のサイズをＸｍａｘ、縦のサイズをＹｍａｘとして、ＲＡＭ１０４に保存する。

Ｓ４６０２では、ＣＰＵ１０２は、Ｓ４４０４で算出された距離情報のうち、画素（ｘ，ｙ）に対応する距離情報に注目する。なお、変数ｘは画像の横軸の座標を、変数ｙは画像の縦軸の座標を表している。

Ｓ４６０３では、ＣＰＵ１０２は、Ｓ４６０２で注目している画素（ｘ，ｙ）の距離情報について、第１の表示閾値から第２の表示閾値の範囲内にあるか否かを判定する。表示閾値の範囲内にある場合、処理ステップはＳ４６０４へ進み、範囲内にない場合、処理ステップはＳ４６０８へ進む。

Ｓ４６０４では、ＣＰＵ１０２は、Ｓ４６０２で注目している画素（ｘ，ｙ）の距離情報について、第１の背景閾値から第２の背景閾値の範囲内にあるか否かを判定する。背景閾値の範囲内にある場合、処理ステップはＳ４６０８へ進み、範囲内にない場合、処理ステップはＳ４６０５へ進む。

Ｓ４６０５では、ＣＰＵ１０２は、Ｓ４６０２で注目している画素（ｘ，ｙ）の距離情報について、第１の表示閾値から第１の背景閾値の範囲内にあるか否かを判定する。第１の表示閾値から第１の背景閾値の範囲内にある場合、処理ステップはＳ４６０６へ進み、範囲内にない場合、処理ステップはＳ４６０７へ進む。

Ｓ４６０６では、ＣＰＵ１０２は、Ｓ４６０１で取得した画像の画素（ｘ，ｙ）について、Ｓ４５０７で取得した第２の色を重畳するように設定する。

Ｓ４６０７では、ＣＰＵ１０２は、Ｓ４６０１で取得した画像の画素（ｘ，ｙ）について、Ｓ４５０７で取得した第３の色を重畳するように設定する。

Ｓ４６０８では、ＣＰＵ１０２は、変数ｘについて、画像の横サイズＸｍａｘと等しいか判定する。等しい場合、処理ステップはＳ４６１０へ進み、等しくない場合、処理ステップはＳ４６０９へ進む。

Ｓ４６０９では、ＣＰＵ１０２は、変数ｘに対してｘ＋１を代入し、結果をＲＡＭ１０４に保存する。これにより、ＣＰＵ１０２は同じラインの１つ右隣の画素に注目する。

Ｓ４６１０では、ＣＰＵ１０２は、変数ｙについて、画像の縦サイズＹｍａｘと等しいか判定する。等しい場合、処理ステップはＳ４６１２へ進み、等しくない場合、処理ステップはＳ４６１１へ進む。

Ｓ４６１１では、変数ｘに対して０を、変数ｙに対してｙ＋１を、それぞれ代入し、結果をＲＡＭ１０４に保存する。これにより、ＣＰＵ１０２は、１ライン下の先頭の画素に注目する。

Ｓ４６１２では、ＣＰＵ１０２は、Ｓ４６０３からＳ４６１１で示した処理を行った画像をＲＡＭ１０４に保存する。

以上のように、図２９Ａ及び図２９Ｂのフローチャートの処理をＣＰＵ１０２が実行することで、背景閾値の範囲外に存在する被写体を強調させた画像を生成できる。

再び図２７を参照する。Ｓ４４０７では、ＣＰＵ１０２は、Ｓ４４０６で生成された強調画像に、Ｓ４４０５で生成された距離分布表示ヒストグラムを重畳する。

図３０は、画像処理部１０５で処理した画像４７０３の下部に距離分布表示ヒストグラム４３０２を重畳した例である。第１の背景閾値から第２の背景閾値の範囲内にある距離分布表示ヒストグラムの分布４３０５は、第１の色で着色される。第１の表示閾値から第１の背景閾値の範囲内にある画像の領域４７０１及び距離分布表示ヒストグラムの分布４３０６は、第２の色で着色し強調される。第２の背景閾値から第２の表示閾値の範囲内にある画像の領域４７０２及び距離分布表示ヒストグラムの分布４３０７は、第３の色で着色し強調される。これにより、ユーザは、撮影している被写体のうち、背景閾値の範囲外にある画像と距離分布表示ヒストグラムを同時に確認することができる。

更に、撮影時に被写体が動いて背景閾値に一部が飛び出てしまった場合には、ＣＰＵ１０２は、画像の領域４７０１及び領域４７０２と同様の強調と、距離分布表示ヒストグラムの分布４３０６及び４３０７と同様の強調を行う。これにより、ユーザに被写体の一部が飛び出たことをリアルタイムに通知することができ、再撮影の必要性が生じることを未然に防ぐことができる。

なお、画像と距離分布表示ヒストグラムを重畳させる際は上下に配置するに限らず、画像と距離分布表示ヒストグラムを同時に確認することができる手法ならば他の重畳方法でもよい。例えば、画像と距離分布表示ヒストグラムを左右に並べて表示したり、距離分布表示ヒストグラムに透過度を持たせて、画像の一部に重畳したりしてもよい。

Ｓ４４０８では、ＣＰＵ１０２は、Ｓ４４０７で生成された画像を表示部１１４に出力し、表示させる。

以上のように、本実施形態によれば、撮影する被写体が背景閾値の範囲外に飛び出した場合に、距離分布表示ヒストグラムと画像に着色してユーザに通知し、切り出し失敗による再撮影を未然に防ぐことが可能となる。

＜第４２の実施形態＞
第４０の実施形態では、距離情報の分布から距離分布表示ヒストグラムを生成して、被写体と前景閾値及び背景閾値の位置関係を容易に認識できるように表示する例について述べた。また、前景閾値と背景閾値の表示を行うことにより、ユーザが閾値の範囲を目視で確認しながら調整することが可能となる例について述べた。また、第４１の実施形態では、撮影する被写体が背景閾値の範囲外に飛び出てしまい切り出し失敗による再撮影を防ぐために、距離分布表示ヒストグラムと画像に強調表現を行いユーザに提示する例について述べた。

ところで、画像において、距離情報が０である部分はどこなのかがユーザにとって不明であり、ユーザにとって画像の被写体と距離分布表示ヒストグラムの分布の関係を十分に把握できない。

そこで、第４２の実施形態では、画像において、距離情報が０である画素に着色して、距離分布表示ヒストグラムと共にユーザに提示する例について述べる。

本実施形態によれば、距離情報が０である画素を明示することができ、距離分布表示ヒストグラムが、撮影されている被写体のどの部分に対応しているかをユーザが識別しやすくなる。

図３１Ａ及び図３１Ｂは、距離情報の分布から距離分布表示ヒストグラムを生成し、表示部１１４に表示するフローチャートである。このフローチャートは、ユーザが操作部１１３を操作して、ヒストグラム生成を行うモードを選択すると実行される。このフローチャートにおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。

Ｓ４８０１及びＳ４８０４の処理は、第４０の実施形態のＳ４００１及びＳ４００４と同様のため説明を省略する。

Ｓ４８０５では、ＣＰＵ１０２は、ＲＯＭ１０３にあらかじめ保存されている着色設定情報を取得する。着色設定情報は、距離情報が０である画素に着色する第４の色の情報を持つ。なお、着色設定情報の保存場所はＲＯＭ１０３に限らず、記録媒体１１２などを用いてもよい。また、ユーザが着色設定情報を任意に変更できるようにしてもよい。例えばユーザが操作部１１３を用いてメニューを操作して第４の色を指定し、ＣＰＵ１０２が操作部１１３から着色設定情報を取得する。

Ｓ４８０６からＳ４８０９の処理は、第４０の実施形態のＳ４００５からＳ４００８と同様のため説明を省略する。

Ｓ４８１０では、ＣＰＵ１０２は、フレームメモリ１１１から画像を取得する。Ｓ４８１１では、ＣＰＵ１０２は、Ｓ４８０４で取得した距離情報について、距離情報が０である画素にはフラグを１に、そうでない画素にはフラグ０を設定し、設定されたフラグをフレームメモリ１１１に保存する。

Ｓ４８１２では、ＣＰＵ１０２は、Ｓ４８１１にてフレームメモリ１１１に保存したフラグを参照する。ＣＰＵ１０２は、フラグが１の画素については、Ｓ４８１０で取得した画像の対応する画素を、Ｓ４８０５で取得した第４の色で着色する。ＣＰＵ１０２は、フラグが０の画素については、Ｓ４８１０で取得した画像の画素をそのまま使用する。これにより、第４の色が部分的に重畳された画像が生成される。

Ｓ４８１３では、ＣＰＵ１０２は、Ｓ４８１２で生成した画像に、Ｓ４８０９で生成された距離分布表示ヒストグラムを重畳する。

図３２は、Ｓ４８１２で処理した画像４９０２の下部に距離分布表示ヒストグラム４２０５を重畳した例を示す図である。画像４９０２のうち、被写体の部分４９０１に対応する画素について、その画素に対応する距離情報が０であるため、Ｓ４８１２の処理により第４の色で着色されている。これにより、ユーザは、撮影している被写体のうち、部分４９０１の距離情報が０であることを確認できる。

なお、画像と距離分布表示ヒストグラムを重畳させる際は上下に配置するに限らず、画像と距離分布表示ヒストグラムを同時に確認することができる手法ならば他の重畳方法でもよい。例えば、画像と距離分布表示ヒストグラムを左右に並べて表示したり、距離分布表示ヒストグラムに透過度を持たせて、画像の一部に重畳してもよい。

Ｓ４８１４では、ＣＰＵ１０２は、Ｓ４８１３で生成された画像を表示部１１４に出力し、表示させる。

Ｓ４８１５及びＳ４８１６の処理は、第４０の実施形態のＳ４０１２及びＳ４０１３と同様のため説明を省略する。

Ｓ４８１７及びＳ４８１８の処理は、第４０の実施形態のＳ４０１４及びＳ４０１５と同様のため説明を省略する。これにより、距離分布表示ヒストグラムを非表示に設定した場合には、撮影された画像のみを表示部１１４に表示させることができる。

以上のように、本実施形態によれば、被写体の画像において、距離情報が０である被写体の領域を明示することができ、距離分布表示ヒストグラムが、撮影されている被写体のどの部分に対応しているかを識別しやすくすることが可能になる。

＜第５０の実施形態＞
実施形態の１つとして、像面位相差センサから得られる情報を基にＣＰＵ１０２により算出できる視差情報やデフォーカス量を利用した、Ｔｒｉｍａｐの生成も可能である。実際の撮影においては、撮像画像とＴｒｉｍａｐにおける前景領域が一致しているかどうか、リアルタイムに確認できないという課題がある。本実施形態では、距離情報から俯瞰図画像を生成して出力することで、前景領域となる画像をリアルタイムに明示することにより、課題を解決する構成について説明する。

図３４及び図３５を参照して、俯瞰図画像について説明する。図３５（ａ）は、画像処理装置１００が取得した画像である。図３５（ａ）において、画像処理装置１００は、被写体５２０１に焦点を合わせているものとする。画像処理装置１００は、前述した方法により距離情報を算出する。

図３５（ｂ）は、図３５（ａ）において画像処理装置１００が焦点を合わせている被写体５２０１の距離情報を０として、背景５２０２を含む画像内の画素ごとの距離情報の分布を俯瞰する図である。図３５（ｂ）は、縦軸を画像処理装置１００が取得した距離情報、横軸を画像の水平方向の座標（水平座標）としたグラフとし、画像内の距離情報をドット又は領域により分布させることで描画した図である。図３５（ｂ）は、表示部１１４に表示させるものである。

図３４は、図３５（ａ）の画像に対して、上方向からの俯瞰図を想定して、画像内の被写体と背景の想定距離の関係性を示した図である。領域５１０１は、画像処理装置１００が前景領域として認識する範囲であり、被写体を含む距離情報の上限と下限（前景閾値の範囲）により決定される。領域５１０１は、表示部１１４に表示されるものであり、距離情報の上限と下限を表す横軸方向の直線５１０２で描画される。また、この領域は、直線５１０２による描画でなく、例えば領域５１０１の範囲内にある距離情報の分布となるドット又は領域の色を背景と異なるように表示させるなど、領域５１０１内であることを明示的に示す描画方法をとってもよい。また、図示は省略するが、図３４には、背景閾値の範囲も表示される。

図３３は、距離情報の分布から俯瞰図画像を生成して、表示部１１４に表示する処理のフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。

Ｓ５００１及びＳ５００４の処理は、第４０の実施形態のＳ４００１及びＳ４００４と同様のため説明を省略する。

Ｓ５００５では、ＣＰＵ１０２は、俯瞰図画像の表示設定がＯＮかＯＦＦかを判定する。俯瞰図画像の表示設定は、ユーザが操作部１１３を用いてメニューを操作することで設定される。ＯＮの場合、処理ステップはＳ５００６へ進み、ＯＦＦの場合、処理ステップはＳ５０１４へ進む。

Ｓ５００６では、ＣＰＵ１０２は、Ｓ５００４で得られる距離情報に基づいて、図３５（ｂ）に示すような俯瞰図画像を生成する。

Ｓ５００７の処理は、第４０の実施形態のＳ４００７と同様のため説明を省略する。

Ｓ５００８では、ＣＰＵ１０２は、俯瞰図画像に前景閾値及び背景閾値を重畳する。

Ｓ５００９の処理は、第４０の実施形態のＳ４００９と同様のため説明を省略する。

Ｓ５０１０では、ＣＰＵ１０２は、Ｓ５００８で生成した俯瞰図画像と、Ｓ５００９で取得した画像の２つを、並列あるいは重ね合わせの画像にまとめる。Ｓ５０１１では、ＣＰＵ１０２は、Ｓ５０１０で生成した画像を表示部１１４に出力する。

Ｓ５０１２及びＳ５０１３の処理は、第４０の実施形態のＳ４０１２及びＳ４０１３と同様のため説明を省略する。

Ｓ５０１４及びＳ５０１５の処理は、第４０の実施形態のＳ４０１４及びＳ４０１５と同様のため説明を省略する。

以上のように、本実施形態によれば、距離情報から俯瞰図画像を生成して出力することで、前景領域となる画像をリアルタイムに明示することが可能となる。

＜第５１の実施形態＞
第５０の実施形態で説明した通り、距離情報から俯瞰図画像を生成して出力することで、前景領域となる画像をリアルタイムに明示することが可能である。

一方で、第５０の実施形態で説明した手法では、被写体自体が深い被写界深度を必要とする場合に、画像分離の領域外に出ているかどうか、リアルタイムに確認しづらいという課題がある。本実施形態は、上記画像分離の領域外に出ている箇所を、わかりやすくする効果を見込む手法について説明する。

本実施形態は、第５０の実施形態で説明した、撮像画像及び俯瞰図画像に対して上記わかりやすくする効果を見込む処理を行う構成である。

図３６（ａ）は、画像処理装置１００が取得した画像であり、図３６（ｂ）は、第５０の実施形態で説明した図３３の処理で生成した俯瞰図画像である。図３６（ａ）の被写体５３０１は、背景５３０２と同じ画像に収まっている。背景５３０２は、相対距離がゼロとなる被写体５３０１とは相対距離が異なっていて、Ｔｒｉｍａｐ生成時には、背景領域として認識させたい距離にあるものとする。

図３６（ｂ）の領域５３０６は、Ｔｒｉｍａｐ生成時に、前景領域として認識させる距離情報の閾値間の範囲であり、前景閾値に基づいて決定される。図３６（ｂ）の領域５３０８は、Ｔｒｉｍａｐ生成時に、背景領域として認識させる距離情報の閾値間の範囲であり、背景閾値に基づいて決定される。図３６（ｂ）の領域５３０７は、Ｔｒｉｍａｐ生成時に、未知領域として認識させる距離情報の閾値間の範囲であり、前景閾値及び背景閾値に基づいて決定される。

図３６（ａ）における被写体５３０１は棒状の道具５３０３を持っている。この状態で、画像処理装置１００が画像を取得したものとする。また、道具５３０３の先端部分の領域５３０４は、焦点があっている被写体５３０１とは相対距離が離れているものとし、領域５３０４の距離情報は、図３６（ｂ）において背景領域として認識される範囲にあるものとする。

本実施形態では、ＣＰＵ１０２は、撮像画像及び俯瞰図画像のそれぞれに対して、道具５３０３が領域５３０８と重なる部分（領域５３０４）を所定の色で着色する処理を行う。また、本実施形態では、ＣＰＵ１０２は、領域５３０８と背景５３０２とが重なる部分（領域５３０５）についても、撮像画像及び俯瞰図画像のそれぞれに対して、所定の色で着色する処理を行う。

以上のように、本実施形態によれば、上記画像分離の領域外に出ている箇所を、わかりやすくする効果を見込むことが可能となる。

＜第５２の実施形態＞
第５０の実施形態及び第５１の実施形態で説明した通り、距離情報から俯瞰図画像を生成して出力することで、前景領域となる画像をリアルタイムに明示することが可能である。一方で、第５０の実施形態及び第５１の実施形態で説明した手法では、被写体自体に、焦点があっているかどうかリアルタイムに確認しづらいという課題がある。本実施形態は、上記焦点があっている領域が被写体自体に等しいかどうか、わかりやすく確認するための手法について説明する。

本実施形態は、撮像画像及び俯瞰図画像に対して、焦点が合っている箇所をわかりやすくする効果を見込む処理を行う構成である。

本実施形態では、ＣＰＵ１０２は、図３７（ｂ）に示すように相対距離が０として認識される領域５４０２に対応する画素について、図３７（ａ）で示す画像の対応する画素を所定の色で着色する処理を施す。

ユーザは、図３７（ａ）上で領域５４０１と画像内の被写体の両方を視認することで、画像処理装置１００が取得した画像において、被写体自身に焦点があっているかどうかについて確認することができる。

以上のように、本実施形態によれば、上記焦点があっている領域が被写体自体に等しいかどうか、わかりやすく確認することが可能となる。

＜第６０の実施形態＞
画像処理装置１００の撮像部１０７は、内部バス１０１などの帯域を削減するために、図３８に示すように画像信号の複数画素範囲の視差情報をまとめて伝送することができる。図３８は、撮像部１０７の出力の一部と、撮像部１０７から出力される視差情報とによって生成されるＴｒｉｍａｐの一部を記載した図である。本実施形態では、撮像部１０７は画像信号の１２画素分の範囲の視差情報をまとめて伝送するものとして説明する。

図３８に記載されている視差情報範囲Ａは、範囲内の１２画素全てが背景を撮像しているので、１２画素全てが背景領域である。視差情報範囲Ｃは、範囲内の１２画素全てが被写体を撮像しているので、１２画素全てが前景領域としてＴｒｉｍａｐが生成される。視差情報範囲Ｂは、範囲内の１２画素中に背景、被写体、及び、背景と被写体との境界をそれぞれ撮像しているが、視差情報がまとめられているため、１２画素全てが未知領域としてＴｒｉｍａｐが生成される。そのため、生成されるＴｒｉｍａｐの中で未知領域が占める面積が大きくなってしまう。

第６０の実施形態では、画像信号のエッジ検出結果を用いて、視差情報範囲よりも詳細な単位で未知領域の画素を前景領域、背景領域、及び未知領域に再分類し、未知領域の面積を小さくした第２のＴｒｉｍａｐを生成する例を述べる。

図３９Ａ及び図３９Ｂは、第６０の実施形態における第２のＴｒｉｍａｐ生成処理のフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に記録されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。

Ｓ６００１において、ＣＰＵ１０２は、第１０の実施形態で説明したＳ１００３からＳ１００８の処理と同様の処理を行うことにより、第１のＴｒｉｍａｐを生成する。ＣＰＵ１０２は、第１のＴｒｉｍａｐをフレームメモリ１１１へ記録する。

Ｓ６００２において、ＣＰＵ１０２は、画像処理部１０５にフレームメモリ１１１から読み出した画像信号を処理させることで、エッジ検出を実施する。画像処理部１０５が実施するエッジ検出は、例えば画像信号の輝度変化や色変化が不連続な位置を検出する、具体的には、エッジ検出は、勾配法やラプラシアン法によって実現される。ＣＰＵ１０２は、画像処理部１０５が処理したエッジ検出結果をフレームメモリ１１１に記録する。画像処理部１０５は、エッジ検出結果を画像信号の画素毎に、エッジに該当するか否かのフラグとして出力する。

Ｓ６００３において、ＣＰＵ１０２は、第１のＴｒｉｍａｐのうちの処理対象の視差情報範囲に対応する領域をフレームメモリ１１１から読み出し、その範囲が未知領域に分類されているか判断する。処理対象の視差情報範囲が未知領域に分類されている場合、処理ステップはＳ６００４へ進む。処理対象の視差情報範囲が未知領域に分類されていない場合、処理ステップはＳ６０１６へ進む。

Ｓ６００４において、ＣＰＵ１０２は、エッジ検出結果のうちの処理対象の視差情報範囲に対応する領域をフレームメモリ１１１から読み出し、その範囲内にエッジに該当する画素があるかを判断する。処理対象の視差情報範囲にエッジに該当する画素が含まれる場合、処理ステップはＳ６００５に進む。処理対象の視差情報範囲にエッジに該当する画素が含まれていない場合、処理ステップはＳ６０１６に進む。

Ｓ６００５において、ＣＰＵ１０２は、処理対象の視差情報範囲に対応する第１のＴｒｉｍａｐの領域において、エッジに該当する画素を未知領域のままに維持する。

Ｓ６００６において、ＣＰＵ１０２は、第１のＴｒｉｍａｐのうちの、処理対象の視差情報範囲の左側に隣接する視差情報範囲に対応する領域をフレームメモリ１１１から読み出し、その範囲が前景領域に分類されているか判断する。左隣の視差情報範囲が前景領域に分類されている場合、処理ステップはＳ６００７に進む。左隣の視差情報範囲が前景領域に分類されていない場合、処理ステップはＳ６００８に進む。

Ｓ６００７において、ＣＰＵ１０２は、処理対象の視差情報範囲に対応する第１のＴｒｉｍａｐの領域において、エッジに該当する画素より左に配置されている画素を前景領域に変更する。ＣＰＵ１０２は、変更を加えたＴｒｉｍａｐをフレームメモリ１１１に記録する。

Ｓ６００８において、ＣＰＵ１０２は、第１のＴｒｉｍａｐのうちの、処理対象の視差情報範囲の左側に隣接する視差情報範囲に対応する領域をフレームメモリ１１１から読み出し、その範囲が背景領域に分類されているか判断する。左隣の視差情報範囲が背景領域に分類されている場合、処理ステップはＳ６００９に進む。左隣の視差情報範囲が背景領域に分類されていない場合、処理ステップはＳ６０１０に進む。

Ｓ６００９において、ＣＰＵ１０２は、処理対象の視差情報範囲に対応する第１のＴｒｉｍａｐの領域において、エッジに該当する画素より左に配置されている画素を背景領域に変更する。ＣＰＵ１０２は、変更を加えたＴｒｉｍａｐをフレームメモリ１１１に記録する。

Ｓ６０１０において、ＣＰＵ１０２は、処理対象の視差情報範囲に対応する第１のＴｒｉｍａｐの領域において、エッジに該当する画素より左に配置されている画素を未知領域のままに維持する。

Ｓ６０１１において、ＣＰＵ１０２は、第１のＴｒｉｍａｐのうちの、処理対象の視差情報範囲の右側に隣接する視差情報範囲に対応する領域をフレームメモリ１１１から読み出し、その範囲が前景領域に分類されているか判断する。右隣の視差情報範囲が前景領域に分類されている場合、処理ステップはＳ６０１２に進む。右隣の視差情報範囲が前景領域に分類されていない場合、処理ステップはＳ６０１３に進む。

Ｓ６０１２において、ＣＰＵ１０２は、処理対象の視差情報範囲に対応する第１のＴｒｉｍａｐの領域において、エッジに該当する画素より右に配置されている画素を前景領域に変更する。ＣＰＵ１０２は、変更を加えたＴｒｉｍａｐをフレームメモリ１１１に記録する。

Ｓ６０１３において、ＣＰＵ１０２は、第１のＴｒｉｍａｐのうちの、処理対象の視差情報範囲の右側に隣接する視差情報範囲に対応する領域をフレームメモリ１１１から読み出し、その範囲が背景領域に分類されているか判断する。右隣の視差情報範囲が背景領域に分類されている場合、処理ステップはＳ６０１４に進む。右隣の視差情報範囲が背景領域に分類されていない場合、処理ステップはＳ６０１５に進む。

Ｓ６０１４において、ＣＰＵ１０２は、処理対象の視差情報範囲に対応する第１のＴｒｉｍａｐの領域において、エッジに該当する画素より右に配置されている画素を背景領域に変更する。ＣＰＵ１０２は、変更を加えたＴｒｉｍａｐをフレームメモリ１１１に記録する。

Ｓ６０１５において、ＣＰＵ１０２は、処理対象の視差情報範囲に対応する第１のＴｒｉｍａｐの領域において、エッジに該当する画素より右に配置されている画素を未知領域のままに維持する。

Ｓ６０１６において、ＣＰＵ１０２は、フレームメモリ１１１に記録されている画像信号の全ての視差情報範囲を処理したかを判断する。全ての視差情報範囲を処理した場合、処理ステップはＳ６０１８へ進む。全ての視差情報範囲を処理していない場合、処理ステップはＳ６０１７へ進む。

Ｓ６０１７において、ＣＰＵ１０２は、未処理の視差情報範囲を次の処理対象として選択する。例えば、処理対象の視差情報範囲は、左上からラスター方向に順に選択される。その後、処理ステップはＳ６００３へ戻る。

Ｓ６０１８において、ＣＰＵ１０２は、フレームメモリ１１１に記録されているＴｒｉｍａｐを第２のＴｒｉｍａｐとして、画像端子１０９又はネットワーク端子１０８から外部へ出力する。なお、ＣＰＵ１０２は、第２のＴｒｉｍａｐを記録媒体１１２へ記録してもよい。

図４０は、撮像部１０７出力の一部と、第１のＴｒｉｍａｐの一部と、Ｓ６００２で説明したエッジ検出結果の一部と、Ｓ６００３からＳ６０１５の処理によって得られる第２のＴｒｉｍａｐの一部とを記載した図である。図４０において、撮像部１０７の出力、及び第１のＴｒｉｍａｐは、図３８の撮像部１０７の出力、及びＴｒｉｍａｐと同様なので、説明を省略する。背景と被写体の境界に当たる画素は、Ｓ６００２のエッジ検出によって、図４０のエッジ検出結果において斜線で示すようにエッジに該当すると判断される。Ｓ６００３からＳ６０１５の処理により、第２のＴｒｉｍａｐが生成される。図４０においては、視差情報範囲Ｂのエッジに該当する画素は未知領域として、視差情報範囲Ｂのエッジに該当する画素と視差情報範囲Ａとの間に挟まれた画素は背景領域として、視差情報範囲Ｂのエッジに該当する画素と視差情報範囲Ｃとの間に挟まれた画素は前景領域として、それぞれ分類されている。

以上のように、第６０の実施形態によれば、画像信号のエッジ検出結果を用いることによって、視差情報範囲よりも詳細な単位で未知領域の画素を前景領域、背景領域、未知領域に再分類し、未知領域の面積を小さくした第２のＴｒｉｍａｐを生成ことができる。Ｔｒｉｍａｐの未知領域の面積が小さくなることで、Ｔｒｉｍａｐを利用して前景と背景の切り出しを行うニューラルネットワークの検出精度を高めることができる。

＜第７０の実施形態＞
人体などの被写体を足元まで撮影すると、足と接地している付近の床面は被写体の足とほぼ同じ距離になるので、距離情報からＴｒｉｍａｐを生成すると、床面が前景領域だと誤判定されてしまう。

第７０の実施形態では、被写体の足を部位検出することによって、被写体の足部分と相対距離が同距離な前景領域として誤判定された床面を未知領域又は背景領域に再分類した第２のＴｒｉｍａｐを生成する例を述べる。

図４１は、第７０の実施形態における第２のＴｒｉｍａｐ生成処理のフローチャートである。このフローチャートおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。

Ｓ７００１において、ＣＰＵ１０２は、第１０の実施形態で説明したＳ１００３からＳ１００８の処理と同様の処理を行うことにより、第１のＴｒｉｍａｐを生成する。ＣＰＵ１０２は、第１のＴｒｉｍａｐをフレームメモリ１１１へ記録する。

Ｓ７００２において、ＣＰＵ１０２は、ＲＯＭ１０３に記録された人体の足を検出するためのパラメータを物体検出部１１５に展開し、フレームメモリ１１１から読み出した画像を物体検出部１１５に処理させることで、人体の足を検出する。物体検出部１１５は、画像の水平方向をｘ軸、垂直方向をｙ軸とし、画像の左下隅を座標（０，０）とした、画像内で検出した足の領域を内包する長方形の対角の頂点を示す２つの座標を部位検出情報としてＲＡＭ１０４に記録する。

なお、本実施形態では、物体検出部１１５が、検出した領域の座標を出力するニューラルネットワークである場合を例に説明するが、他の人体の骨格を検出するニューラルネットワークでもよい。

Ｓ７００３において、ＣＰＵ１０２は、ＲＡＭ１０４に部位検出情報が記録されているか判断する。ＲＡＭ１０４に部位検出情報が記録されている場合、ＣＰＵ１０２は、画像内で人体の足が検出されたと判断して、処理ステップをＳ７００４へ進める。ＲＡＭ１０４に部位検出情報が記録されていない場合、ＣＰＵ１０２は、画像内で人体の足が検出されていないと判断して、本フローチャートの処理を終了する。

Ｓ７００４において、ＣＰＵ１０２は、フレームメモリ１１１に記録されている第１のＴｒｉｍａｐと、ＲＡＭ１０４に記録されている部位検出情報とを読み出し、部位検出情報によって示されるＴｒｉｍａｐ上の長方形の領域内部を未知領域へ変更する。Ｓ７００４における処理の詳細については、図４２を用いて後述する。

Ｓ７００５において、ＣＰＵ１０２は、部位検出情報によって示されるＴｒｉｍａｐ上の長方形のｙ座標と同じ範囲内のｙ座標の領域であって、且つ、長方形のｘ座標と同じ範囲内のｘ座標を含まない領域のうちの、Ｔｒｉｍａｐで前景領域又は未知領域と分類された領域を、背景領域へ変更する。ＣＰＵ１０２は、Ｓ７００４及びＳ７００５において変更を加えたＴｒｉｍａｐをフレームメモリ１１１へ記録する。Ｓ７００５における処理の詳細については、図４３を用いて後述する。

Ｓ７００６において、ＣＰＵ１０２は、ＲＡＭ１０４に他の部位検出情報が記録されているか判断する。ＲＡＭ１０４に他の部位検出情報が記録されている場合、ＣＰＵ１０２は、画像内で他の人体の足が検出されたと判断して、再び処理ステップをＳ７００４へ進める。ＲＡＭ１０４に部位検出情報が記録されていない場合、ＣＰＵ１０２は、画像内で他の人体の足が検出されていないと判断して、処理ステップをＳ７００７へ進める。

Ｓ７００７において、ＣＰＵ１０２は、フレームメモリ１１１に記録されているＴｒｉｍａｐを、第２のＴｒｉｍａｐとして画像端子１０９又はネットワーク端子１０８から外部へ出力する。終了ステップへ進む。なお、ＣＰＵ１０２は、第２のＴｒｉｍａｐを記録媒体１１２へ記録してもよい。

図４２を用いて、Ｓ７００４の処理の詳細について説明する。図４２は、フレームメモリ１１１に記録されている画像上に、物体検出部１１５が出力する部位検出情報から得られる２つの座標と、部位検出情報が示す検出した足の領域を内包する長方形とを表示した図である。部位検出情報から得られる２つの座標は（Ｘ１，Ｙ１）と（Ｘ２，Ｙ２）である。この２つの座標を対角の頂点とする（Ｘ１，Ｙ１）、（Ｘ２，Ｙ１）、（Ｘ１，Ｙ２）、（Ｘ２，Ｙ２）の４点で示される長方形の領域内が、Ｓ７００４において未知領域に設定される。

図４３を用いて、Ｓ７００５の処理の詳細について説明する。図４３は、フレームメモリ１１１に記録されている画像上に、Ｓ７００５において背景領域に設定される長方形領域を表示した図である。足の周辺領域に対応する長方形領域（図４２）のｙ座標と同じ範囲内のＹ１からＹ２の領域であって、且つ、足の周辺領域に対応する長方形領域（図４２）のｘ座標と同じ範囲内のＸ１からＸ２の領域を含まない２つの長方形領域が、背景領域に設定される。即ち、（Ｘ０，Ｙ１）、（Ｘ１，Ｙ１）、（Ｘ０，Ｙ２）、（Ｘ１，Ｙ２）の４点で示される長方形と、（Ｘ２，Ｙ１）、（Ｘ３，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ２）の４点で示される長方形の２つの領域内が、Ｓ７００５において背景領域に設定される。なお、ｘ座標Ｘ０は画像の最左端でありｘ座標Ｘ３は画像の最右端である。

以上のように、第７０の実施形態によれば、被写体の足部分と相対距離が同じで前景領域として誤判定された床面を未知領域又は背景領域に再分類した第２のＴｒｉｍａｐを生成することができる。

本実施形態では、人体の足を検出するニューラルネットワークを用いることで、人体の足と接地している床面を未知領域又は背景領域に再分類する例について説明した。例えば、車やバイクを被写体とする場合には、床面と接地するタイヤを検出するニューラルネットワークを用いれば、本実施形態を適応可能である。同様に、他の被写体の床面と接地している部位を検出するニューラルネットワークを用いることで、本実施形態は他の被写体にも適応可能である。

＜第７１の実施形態＞
第７０の実施形態では、前景領域として誤判定された床面を未知領域又は背景領域に再分類した第２のＴｒｉｍａｐを生成する例について説明した。しかしながら、被写体と同距離で前景領域として誤判定される床面の範囲は、画像処理装置１００が前傾していれば広く、後傾していれば狭くなる。

第７１の実施形態では、前景領域として誤判定された床面を未知領域又は背景領域に再分類した第２のＴｒｉｍａｐを生成する際に、レンズユニット１０６に内蔵されている手振れ補正用の加速度センサの情報を利用して画像処理装置１００の傾きを参照することにより、再分類する範囲を変更する例を述べる。

図４４は、第７１の実施形態における第２のＴｒｉｍａｐ生成処理のフローチャートである。このフローチャートおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に記録されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。

Ｓ７１０１からＳ７１０４までの処理は、第７０の実施形態で説明したＳ７００１からＳ７００４までと同様の処理なので説明を省略する。

Ｓ７１０５において、ＣＰＵ１０２は、レンズユニット１０６の加速度センサから傾き情報を読み出す。傾き情報は、画像処理装置１００が前傾しているか後傾しているかを示す数値である。ＣＰＵ１０２は、傾き情報に基づいて背景領域調整値ｔを決定する。背景領域調整値ｔは、画像処理装置１００が床面と水平であれば０とし、画像処理装置１００が前傾していれば増加し、画像処理装置１００が後傾していれば減少する。

Ｓ７１０６において、ＣＰＵ１０２は、部位検出情報によって示されるＴｒｉｍａｐ上の長方形の上部と下部からそれぞれｙ座標方向に背景領域調整値ｔだけ伸長したｙ座標と同じ範囲内のｙ座標の領域であって、且つ、長方形のｘ座標と同じ範囲内のｘ座標を含まない領域のうちの、Ｔｒｉｍａｐで前景領域又は未知領域と分類された領域を背景領域へ変更する。ＣＰＵ１０２はＳ７１０４とＳ７１０６において変更を加えられたＴｒｉｍａｐをフレームメモリ１１１へ記録する。Ｓ７１０６の処理の詳細については、図４５を用いて後述する。

Ｓ７１０７及びＳ７１０８の処理は、第７０の実施形態で説明したＳ７００６及びＳ７００７と同様の処理なので説明を省略する。

図４５を用いて、Ｓ７１０６の処理の詳細について説明する。図４５は、フレームメモリ１１１に記録されている画像上に、Ｓ７１０６において背景領域に設定される長方形領域を表示した図である。足の周辺領域に対応する長方形領域（図４２）の上部と下部からｙ座標方向に背景領域調整値ｔだけ伸長したｙ座標と同じ範囲内の（Ｙ１＋ｔ）から（Ｙ２－ｔ）の領域であって、且つ、足の周辺領域に対応する長方形領域（図４２）のｘ座標と同じ範囲内のＸ１からＸ２の領域を含まない２つの長方形領域が、背景領域に設定される。即ち、（Ｘ０，Ｙ１＋ｔ）、（Ｘ１，Ｙ１＋ｔ）、（Ｘ０，Ｙ２－ｔ）、（Ｘ１，Ｙ２－ｔ）の４点で示される長方形と、（Ｘ２，Ｙ１＋ｔ）、（Ｘ３，Ｙ１＋ｔ）、（Ｘ２，Ｙ２－ｔ）、（Ｘ３，Ｙ２－ｔ）の４点で示される長方形の２つの領域内が、Ｓ７１０６において背景領域に設定される。なお、ｘ座標Ｘ０は画像の最左端であり、ｘ座標Ｘ３は画像の最右端である。

以上のように、第７１の実施形態によれば、前景領域として誤判定された床面を背景領域に再分類した第２のＴｒｉｍａｐを生成する際に、レンズユニット１０６に内蔵されている手振れ補正用の加速度センサの情報を利用して画像処理装置１００の傾きを参照することにより、背景領域に再分類する範囲を変更することができる。

＜第８０の実施形態＞
実施形態の１つとして、像面位相差センサから得られる情報を基にＣＰＵ１０２により算出できる視差情報やデフォーカス量を利用した、Ｔｒｉｍａｐの生成も可能である。撮影中にレンズの絞りが変更となった状況では、前景領域と背景領域の境界でのフレームごとの視差情報も併せて変わってしまうため、未知領域の境界が変わってしまうという課題がある。本実施形態では、その課題を解決する構成について説明する。

図４６を参照して、画像処理装置１００が視差情報をもとにＴｒｉｍａｐを生成する機能について説明する。図４６は、画像処理装置１００が、フレームごとのＴｒｉｍａｐを生成する際に、前景領域と背景領域と未知領域との各境界を分離するためのデフォーカス量についての閾値を決定するための処理である。図４６の処理は、画像処理装置１００の中で、フレーム単位でＴｒｉｍａｐ生成が行われるたびに、繰り返し実行される。

Ｓ８００１及びＳ８００２の処理は、第４０の実施形態のＳ４００１及びＳ４００４と同様のため説明を省略する。

Ｓ８００３では、画像処理装置１００（ＣＰＵ１０２）は、第１０の実施形態で説明したＳ１００３からＳ１００８の処理と同様の処理を行うことにより、Ｔｒｉｍａｐを生成する。

Ｓ８００４では、画像処理装置１００は、被写界深度の変更が行われたかどうかを、Ｆ値の変化量に基づいて判断する。なお、Ｓ８００４の判断で用いるＦ値については、焦点距離、及びレンズユニット１０６へ入射する光量を計算できる変数で置き換えてもよい。例えば、画像処理装置１００は、光学系の透過率から計算される指標であるＴ値又はＨ値による変化量について、フレームごとの比較を行ってもよい。Ｆ値の変更があった場合は、処理ステップはＳ８００６に進み、Ｆ値の変更がなかった場合は、処理ステップはＳ８００８に進む。

Ｓ８００６では、画像処理装置１００は、Ｆ値と閾値との関係を規定するテーブルを参照する。このテーブルは、画像処理装置１００内（例えばＲＯＭ１０３内）に格納されているものとする。

Ｓ８００７では、画像処理装置１００は、Ｓ８００６で参照したテーブルと、現在の（変更後の）Ｆ値とに基づいて、ＲＡＭ１０４に新しい閾値（前景閾値及び背景閾値）を設定する。

Ｓ８００８では、画像処理装置１００は、閾値（前景閾値及び背景閾値）を次のフレームに関連付けて記憶する。

画像処理装置は、Ｓ８００１からＳ８００８までの処理を、フレームを取得するたびに繰り返すことで、フレームごとに最適な画像の分離を実現する。

なお、動画となる連続するフレーム画像全てでなく、例えば被写界深度の変更がなされた場合のみ、Ｓ８００８の処理を行う構成を採用してもよい。また、動画となる連続するフレーム画像全てではなく、一定のフレーム数ごとに、Ｓ８００４～Ｓ８００８の処理を行う手法をとってもよい。

第８０の実施形態では、Ｆ値の変更があった場合に、フレームごとに最適な画像の分離を実現する。この例を、図４７と図４８を用いて説明する。

図４７は、本実施形態の構成を用いた上で、被写体８１１にフォーカスをあてるように取得した、フレーム画像である。図４７（ａ）は、任意の状態で取得したフレーム画像である。

図４７（ｂ）は、図４７（ａ）と比較して、被写界深度を浅く、即ちＦ値を小さくした状態で取得したフレーム画像である。図４７（ｂ）のフレーム画像内の被写体８１１以外の背景８１２は、デフォーカス量が大きくなることで、見た目上でぼやけた画像となる。図４７（ｂ）において、被写体８１１と背景８１２の境界部分は、デフォーカス量の差分が大きくなりやすいという理由で、画像の分離をおこなったときに、被写体８１１を前景領域に、背景８１２の境界部分を背景領域の部分に区分しやすくなる。

図４７（ｃ）は、図４７（ａ）と比較して、被写界深度を深く、即ちＦ値を大きくした状態で取得したフレーム画像である。図４７（ｃ）のフレーム画像内の被写体８１１以外の背景８１２は、デフォーカス量が小さくなることで、見た目上でくっきりした画像となる。図４７（ｃ）において、被写体８１１と背景８１２の境界部分は、デフォーカス量の差分が小さくなりやすいという理由で、画像の分離をおこなったときに、被写体８１１の外側で、背景８１２の部分も前景領域として区分してしまうというデメリットが生じる。

図４８は、フレーム内の全画素に対して、デフォーカス量に応じて前景領域、背景領域、未知領域の３つに分離する方法を示した図である。図４８（ａ）は、任意の状態で取得した図４７（ａ）のフレーム画像に対応して、画像の分離を実施した際の区分を示す。領域８２１は、デフォーカス量が小さく、前景領域として区分する範囲である。領域８２２は、デフォーカス量が大きく、背景領域として区分する範囲である。領域８２３は、デフォーカス量に応じて、前景領域とも背景領域とも判断できず、未知領域として区分する範囲である。

図４８（ｂ）は、図４８（ａ）と比較して、被写界深度を浅く、即ちＦ値を小さくする操作がなされた場合の、画像分離を行う際の区分の範囲である。被写体８１１と背景８１２の境界部分は、図４７（ｂ）の状態では、デフォーカス量の差分が大きくなりやすい。このため、図４８（ｂ）に示す通り、領域８２３は、図４８（ａ）と比較して狭めるようなデフォーカス量の範囲になるように、Ｓ８００６のテーブルは設定されている。

図４８（ｃ）は、図４８（ａ）と比較して、被写界深度を深く、即ちＦ値を大きくする操作がなされた場合の、画像分離を行う際の区分の範囲である。被写体８１１と背景８１２の境界部分は、図４７（ｃ）の状態では、デフォーカス量の差分が小さくなりやすい。このため、図４８（ｃ）に示す通り、領域８２３は、図４８（ａ）と比較して広げるようなデフォーカス量の範囲になるように、Ｓ８００６のテーブルは設定されている。

また、本実施形態の構成において、図４７の被写体８１１全体が見た目上ぼやける条件においては、Ｓ８００６のテーブルは、Ｆ値を小さくした場合は、被写体８１１と背景８１２の境界部分が広がるように設定されていてもよい。同じく、図４７の被写体８１１全体が見た目上ぼやける条件において、Ｓ８００６のテーブルは、Ｆ値を大きくした場合は、被写体８１１と背景８１２の境界部分が狭まるように設定されていてもよい。

以上のように、第８０の実施形態によれば、レンズの絞りによりＦ値が変更となった場合においても、前景領域、背景領域、未知領域の各境界を適切に識別できるという効果を見込む。

＜第９０の実施形態＞
実施形態の１つとして、像面位相差センサから得られる情報を基にＣＰＵ１０２により算出できる視差情報やデフォーカス量を利用した、Ｔｒｉｍａｐの生成も可能である。

まず、図４９を参照して、視差情報の取得について説明する。図４９は、ある被写体の注目点を撮影したときの被写体から撮像素子までの光路を示したものである。図４９（ａ）は、焦点が合っている状態（被写体が焦点位置にある状態）の図である。画像はフォーカスレンズによって集光され、撮像面で結像する。この時、同一画素内のＡ像信号とＢ像信号は同じ情報を出力することとなる。図４９（ｂ）は、前フォーカスの状態の図である。画像はフォーカスレンズによって集光されるが、結像が撮像面よりも前にあるため、光路が交差したあと、撮像面に入ることになる。このとき焦点が合っている状態に比べて、Ａ像信号とＢ像信号の位置関係が図のように離れることになる。この離れ具合を検出することで前フォーカスであることがわかる。図４９（ｃ）は、後フォーカスの状態の図である。画像はフォーカスレンズによって集光されるが、結像が撮像面よりも後にあるため、光路が交わることなく撮像面に入ることになる。このとき焦点が合っている状態に比べて、Ａ像信号とＢ像信号の位置関係が図のように離れており、これは前フォーカス時に比べると、Ａ像信号とＢ像信号の位置が逆転する関係となる。これらを検出することで後フォーカスであることがわかる。

そして、図５０のように、検出した画素の離れ具合がデフォーカス量となり、検出画素の離れ具合が大きくなるほどデフォーカス量が大きくなり、ピンボケ状態が強くなることを意味する。この画素的なずれ具合を小さくするように制御できれば焦点のあった画像を撮影することができる。

本実施形態では、このＡ像信号とＢ像信号の検出画素の位置のずれを検出することを利用してＴｒｉｍａｐを生成する。図４９及び図５０の考え方を元に、図５１（ａ）のように、焦点が合っている領域（合焦領域）と前フォーカス領域又は後フォーカス領域の境界（閾値）を設定する。この境界を設けることで、単純には、この合焦領域を前景領域と判定し、前フォーカス領域又は後フォーカス領域を背景領域と判定することで画像を２値化することが可能となる。又は、合焦領域と前フォーカス領域を前景領域と判定させ、後フォーカス領域を背景領域と判定させることも可能である。更には、図５１（ｂ）のように、合焦領域と前フォーカス領域又は後フォーカス領域の境界に中間領域を設定することも可能である。この中間領域を未知領域として判定することで、前景領域、背景領域、未知領域の３値とすることが可能となり、Ｔｒｉｍａｐ画像を生成することができる。

以上の処理を、図５２のフローチャートを参照して説明する。これは主に画像処理装置１００のＣＰＵ１０２で実行されるもので、この例では、合焦領域と前フォーカス領域を前景領域として、後フォーカス領域を背景領域、境界部分を未知領域に設定する場合のものである。

まず、Ｓ９００１において、ユーザは、画像処理装置１００を使って、所望の被写体を撮影する。被写体の画像は、撮像部１０７で受像される。Ｓ９００２において、ＣＰＵ１０２は、撮像部１０７から像面位相差の情報を取得し、Ａ像信号又はＢ像信号に入ってくる情報の位置的なずれ具合を検出する。ＣＰＵ１０２は、その情報からフォーカス情報を生成する。Ｓ９００３において、ＣＰＵ１０２が、ある注目する画素のＡ像信号とＢ像信号の位置的なずれが小さく、合焦領域であると判断すると、処理ステップをＳ９００４に進め、その画素は前景領域として判定する。一方、Ｓ９００５において、ＣＰＵ１０２が、位置的なずれが大きく、前フォーカスの状態と判断した場合は、処理ステップをＳ９００６に進め、その画素を前景領域として判定する。これは、合焦領域よりも前にあるものは、ユーザが所望している被写体であることが多いため、前景領域としておくのである。また、Ｓ９００７において、ＣＰＵ１０２が、ある注目する画素のＡ像信号とＢ像信号の位置的なずれが大きく、それが後フォーカスの状態であると判断した場合は、処理ステップをＳ９００８に進め、その画素を背景領域と判定する。更に、合焦領域でもなく、前フォーカス領域でもなく、後フォーカス領域でもない場合は、ＣＰＵ１０２は、処理ステップをＳ９００９に進め、その画素を未知領域と判定する。この例では、合焦領域と前フォーカス領域は前景領域としているため、その間には未知領域を作る必要はない。

Ｓ９０１０において、ＣＰＵ１０２は、この処理の結果をフレームメモリ１１１に一時的に保存する。Ｓ９０１１において、ＣＰＵ１０２は、撮像部１０７のすべての画素において処理が完了しているかを判定し、完了していれば、処理ステップをＳ９０１２に進め、フレームメモリ１１１から画像を読み出し、Ｔｒｉｍａｐ画像を生成し、表示部１１４などに出力する。

以上述べたように、フォーカス情報と、Ａ像信号とＢ像信号のずれ具合から検出できるデフォーカス量を用いて、Ｔｒｉｍａｐ画像を生成することができる。

＜第９１の実施形態＞
第９０の実施形態では、フォーカス情報であるデフォーカス量を用いてＴｒｉｍａｐ画像を生成した。第９１の実施形態では、更に精度を上げてＴｒｉｍａｐ画像を生成する方法を説明する。図５３は、図５１と同じようにフォーカス領域を分離した図である。この時、前フォーカス領域と後フォーカス領域で境界部分を異なるものにしてもよい。例えば、図５３（ａ）の場合、前フォーカス領域においては、合焦領域が広くなるように境界（閾値）を設定している。一方、図５３（ｂ）の場合、後フォーカス領域において、合焦領域が狭くなるように境界（閾値）を設定している。このように前フォーカス領域と後フォーカス領域で境界の閾値を個別に設定できれば、被写体の動きに合わせて微調整することが可能となる。例えば、被写体が人間の場合、人間の顔や手の動きは前フォーカス領域に入ることが多いなどという実情に合わせたＴｒｉｍａｐ画像の生成が可能となる。

更には、調整機能として、境界の閾値設定を自由に変えることも可能で、且つ、前フォーカス領域と後フォーカス領域でそれぞれの異なる調整分解能を持たせることができる。図５４にそれを示した。図５４（ａ）は、前フォーカス領域での調整分解能であり、図５４（ｂ）は、後フォーカス領域での調整分解能である。ここでは前フォーカス領域の分解能は粗く設定されており、後フォーカス領域の分解能は密に設定されている。図５５に、分解能と距離の関係がわかるような図を示した。このように設定しておくことで、被写体の動きに合わせて微調整することが可能となり、撮影の実情に合わせながらも精度を高めたＴｒｉｍａｐ画像の生成が可能となる。

以上の処理を、図５６のフローチャートを参照して説明する。これは主に画像処理装置１００のＣＰＵ１０２で処理されるものであり、この例では、調整分解能の設定と、それを使った領域閾値設定に関するところである。まず、Ｓ９１０１において、画像処理装置１００は、レンズ情報の取得処理を行う。これはＣＰＵ１０２が、画像処理装置１００に装着されているレンズユニット１０６の情報を取得する作業である。レンズユニット１０６は、解像感が高いものや低いもの、透過度が高いもの低いもの、絞り羽根の枚数、イメージスタビライザー機能付きなどの点において、機能及び性能が様々である。ＣＰＵ１０２は、これらの情報をもとに初期値を設定する作業を行う。

Ｓ９１０２において、ＣＰＵ１０２は、合焦領域において中心となるゼロ点を設定する。これは、前フォーカス領域と後フォーカス領域の中間点であり、境界分離はこのゼロ点を起点に処理される。

Ｓ９１０３において、ＣＰＵ１０２は、前フォーカス領域の調整分解能の設定を行う。Ｓ９１０４において、ＣＰＵ１０２は、後フォーカス領域の調整分解能の設定を行う。これら調整分解能は、先述した装着されているレンズユニット１０６のレンズ情報に基づいて設定され、領域ごとに独立で設定される。

Ｓ９１０５において、ユーザが、境界閾値を変えたいと考え、操作部１１３を使って操作を開始すると、ＣＰＵ１０２は、表示部１１４にどの領域を設定するかに関する画面を表示する。

Ｓ９１０６において、ユーザが、前フォーカス領域を選択すると、処理ステップはＳ９１０７に進み、ユーザは前フォーカス領域の境界閾値を変えることができる。一方、ユーザが後フォーカス領域を選択すると、処理ステップはＳ９１０８に進み、ユーザは後フォーカス領域の境界閾値を変えることができる。

Ｓ９１０９において、ＣＰＵ１０２は、設定された境界閾値を反映する。Ｓ９１１０において、ＣＰＵ１０２は、設定された境界閾値を表示部１１４などに表示し、設定が完了したことを報知する。Ｓ９１１１において、ユーザが、設定操作を完了すると、本フローチャートの処理は終了する。

以上説明したように、ユーザが、前フォーカス領域と後フォーカス領域において、任意の境界閾値を設定すること、且つ、その調整分解能を選択的にすることによって、撮影状態に合わせた最適なＴｒｉｍａｐ画像の生成を行うことが可能となる。

なお、先述した調整分解能は、レンズの品種情報だけではなく、あらかじめテーブルなどでＲＯＭ１０３に複数保持して、ＣＰＵ１０２がそれをＲＡＭ１０４などに呼び出して使用してもよい。又は、ユーザに任意の調整分解能を設定させてもよい。他にもレンズの状態、例えば絞りの開閉状態やフォーカスレンズの操作スピードなどに応じて調整分解能をフレキシブルに変更させることも可能である。また、上記説明は、前フォーカス領域と後フォーカス領域に特化して説明したが、中間領域（未知領域）を加えても実施可能である。

＜第Ａ０の実施形態＞
複数の被写体を撮影する場合にその複数の被写体をＴｒｉｍａｐの前景領域として認識させたい場合がある。しかしながら、上記実施形態では奥行き方向に被写体同士の距離が離れてしまっている場合に一部の被写体が背景領域と認識されてしまう可能性がある。本実施形態では上記問題に鑑み、複数の被写体がある場合でもすべての被写体を前景領域としてＴｒｉｍａｐを生成する処理について説明する。

本実施形態では、図１における画像処理装置１００で顔検出を行う。顔検出機能について説明する。ＣＰＵ１０２は、顔検出対象の画像データを物体検出部１１５に送る。ＣＰＵ１０２の制御下で物体検出部１１５は、画像データに水平方向バンドパスフィルタを作用させる。また、ＣＰＵ１０２の制御下で物体検出部１１５は、処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平方向及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。

その後、ＣＰＵ１０２は、検出されたエッジ成分に関してパターンマッチングを行い、目、鼻、口、及び耳の候補群を抽出する。そして、ＣＰＵ１０２は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、ＣＰＵ１０２は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。ＣＰＵ１０２は、顔の検出結果に応じて顔情報を出力し、処理を終了する。このとき、ＣＰＵ１０２は、顔の数などの特徴量をＲＡＭ１０４に記憶する。

次に、図５７Ａ及び図５７Ｂのフローチャートを用いて、第Ａ０の実施形態におけるＴｒｉｍａｐ生成処理について説明する。まず、ＳＡ００１で、ＣＰＵ１０２は、画像処理部１０５により検出された顔領域の数を、画像処理部１０５より取得する。ＳＡ００２で、ＣＰＵ１０２は、ＳＡ００１で取得した顔領域の数に基づいて、顔領域があるかどうかを判断する。つまり、顔領域の数が０であれば顔領域はなく、それ以外であれば顔領域があると判断される。顔領域があると判断されれば、処理ステップはＳＡ００３に進み、そうでなければ、処理ステップはＳＡ０１６に進む。

ＳＡ００３で、ＣＰＵ１０２は、内部変数Ｎを１に設定し、内部変数Ｍを１に設定する。ＳＡ００４で、ＣＰＵ１０２は、Ｎ番目の顔領域の座標を画像処理部１０５より取得する。ＳＡ００５で、ＣＰＵ１０２は、ＳＡ００４で取得した座標により特定される顔領域内のデフォーカス量の平均を算出する。ＳＡ００６で、ＣＰＵ１０２はＳＡ００５で算出したデフォーカス量の平均が閾値以下かどうかを判断する。つまり、顔領域内のデフォーカス量の平均が閾値以下でボケていない画像であるかどうかを判断する。デフォーカス量の平均が閾値以下と判断した場合、処理ステップはＳＡ００７に進み、そうでない場合、処理ステップはＳＡ０１３に進む。

ＳＡ００７で、ＣＰＵ１０２は、デフォーカス量の平均に応じてＴｒｉｍａｐを生成するための閾値のパラメータを設定する。ここでの閾値は、前景領域、背景領域、未知領域を決定するための閾値である。ＳＡ００８で、ＣＰＵ１０２は、ＳＡ００４で取得した座標により特定される顔領域内の相対距離の平均を算出する。

ＳＡ００９で、ＣＰＵ１０２は、ＤｅｐｔｈＭａｐ（例えば、図３のＳ１００３の処理により取得される距離情報）の各画素の相対距離から、ＳＡ００８で算出した相対距離の平均を減算することにより、新しいＤｅｐｔｈＭａｐを生成する。ＳＡ０１０で、ＣＰＵ１０２は、ＳＡ００９で生成した新しいＤｅｐｔｈＭａｐに基づき、Ｍ番目のＴｒｉｍａｐを生成する。

一方、ＳＡ００６でデフォーカス量の平均が閾値より大きいと判断された場合、ＳＡ０１３で、ＣＰＵ１０２は、内部変数Ｍの値を１デクリメントする。

ＳＡ０１０又はＳＡ０１３の処理に続いて、ＳＡ０１１で、ＣＰＵ１０２は、未処理の顔領域が存在するかどうかの判断をする。つまり、ＣＰＵ１０２は、ＳＡ００１で取得された顔領域の数が内部変数Ｎと一致している場合に、未処理の顔領域が存在しないと判断する。未処理の顔領域が存在する場合、処理ステップはＳＡ０１２に進む。ＳＡ０１２で、ＣＰＵ１０２は、内部変数Ｎの値を１インクリメントし、内部変数Ｍの値を１インクリメントし、処理ステップをＳＡ００４に戻す。

一方、ＳＡ０１１で未処理の顔領域が存在しないと判断された場合、ＳＡ０１４で、ＣＰＵ１０２は、内部変数Ｍが０かどうかを判断する。Ｍ＝０であるということは、ＳＡ００６でデフォーカス量の平均が閾値より大きいと判断された顔領域が存在しない場合である。これは、新たなＤｅｐｔｈＭａｐを生成する必要がない場合である。ＳＡ０１４で内部変数Ｍが０でないと判断された場合、処理ステップはＳＡ０１５に進む。

ＳＡ０１５で、ＣＰＵ１０２は、ＳＡ０１０において生成されたＭ枚のＴｒｉｍａｐを合成する。ここでの合成は、前景領域及び未知領域と判断された領域の論理和を取り１枚のＴｒｉｍａｐを生成する処理である。

一方、ＳＡ０１４で内部変数Ｍが０だと判断された場合、又はＳＡ００２で顔領域が存在しないと判断された場合、ＳＡ０１６で、ＣＰＵ１０２は、ＤｅｐｔｈＭａｐに基づいてＴｒｉｍａｐを生成する。

以上のように、第Ａ０の実施形態によれば、画像内に複数の被写体がある場合に、それぞれの被写体を前景領域としたＴｒｉｍａｐを生成することが可能となる。

＜第Ａ１の実施形態＞
第Ａ０の実施形態では、検出された被写体の数だけＴｒｉｍａｐを生成するために処理に時間がかかるという問題がある。本実施形態では、上記問題に鑑み、複数の被写体がある場合でもＴｒｉｍａｐを複数作ることなく全ての被写体を前景領域としてＴｒｉｍａｐを生成する処理について説明する。

図５８Ａ及び図５８Ｂのフローチャートを用いて、第Ａ１の実施形態におけるＴｒｉｍａｐ生成処理について説明する。図５８Ａ及び図５８Ｂのフローチャートにおいて、図５７Ａ及び図５７Ｂと同様の処理をするステップは図５７Ａ及び図５７Ｂと同じ符号を付加し説明は割愛する。

まず、ＳＡ００１からＳＡ００８の処理は、図５８Ａ及び図５８Ｂと同様のためその説明は割愛する。但し、ＳＡ００７は存在せず、ＳＡ００６において「ＹＥＳ」と判定された場合、処理ステップはＳＡ００８に進む。その後、処理ステップはＳＡ１０１に進む。

ＳＡ１０１で、ＣＰＵ１０２は、ＳＡ００８において算出された平均を、Ｍ番目の相対距離の平均としてＲＡＭ１０４に記憶する。続くＳＡ０１１からＳＡ０１４までの処理は図５８Ａ及び図５８Ｂと同様のため説明を割愛する。

次に、ＳＡ１０２で、ＣＰＵ１０２は、ＲＡＭ１０４に記憶したＭ個の相対距離の平均の平均Ｄを算出する。ＳＡ１０３で、ＣＰＵ１０２は、各画素の相対距離からＳＡ１０２で算出した平均Ｄを減算することにより、新しいＤｅｐｔｈＭａｐを生成する。ＳＡ１０４で、ＣＰＵ１０２は、ＲＡＭ１０４に記憶したＭ個の相対距離の平均、及びＳＡ１０２で算出した平均Ｄに応じて、未知領域判定処理の閾値のパラメータを設定する。ＳＡ１０５で、ＣＰＵ１０２は、新しいＤｅｐｔｈＭａｐに基づいてＴｒｉｍａｐを生成する。

以上のように、第Ａ１の実施形態によれば、画像内に複数の被写体がある場合に、それぞれの被写体を前景領域としたＴｒｉｍａｐを生成することが可能となる。

＜第Ａ２の実施形態＞
第Ａ１の実施形態では、被写体の間に何か物体があった場合に本来は背景領域とすべきところが前景領域として認識されてしまうという問題がある。本実施形態では、上記問題に鑑み、複数の被写体がある場合でも被写体間に物体がある場合に背景領域としてよい部分は背景領域となるようにしてＴｒｉｍａｐを生成する処理について説明する。

図５９Ａ及び図５９Ｂのフローチャートを用いて、第Ａ２の実施形態におけるＴｒｉｍａｐ生成処理について説明する。図５９Ａ及び図５９Ｂのフローチャートにおいて、図５７Ａ及び図５７Ｂと同様の処理をするステップは図５７Ａ及び図５７Ｂと同じ符号を付加し説明は割愛する。

まず、ＳＡ００１からＳＡ００８のフローの順序は図５７と同様のためその説明は割愛する。ＳＡ００８の処理に続いて、ＳＡ２０１で、ＣＰＵ１０２は、ＳＡ００７で設定した未知領域判定処理の閾値のパラメータと、ＳＡ００８で算出した相対距離の平均とを、Ｍ番目の閾値、及び相対距離の平均としてＲＡＭ１０４に記憶する。続くＳＡ０１１からＳＡ０１４までの処理は、図５７Ａ及び図５７Ｂと同様のため説明を割愛する。

次に、ＳＡ２０２で、ＣＰＵ１０２は、ＲＡＭ１０４に記憶したＭ個の閾値、及び相対距離の平均を、閾値のパラメータとして設定する。ＳＡ２０３で、ＣＰＵ１０２はＤｅｐｔｈＭａｐとＳＡ２０２で設定されたパラメータとを用いて、Ｔｒｉｍａｐを生成する。ＳＡ２０３における処理の詳細は、図６０を用いて後述する。

次に、図６０のフローチャートを用いて、ＳＡ２０３の処理の詳細を説明する。まず、ＳＡ３０１で、ＣＰＵ１０２は、どの閾値のパラメータを設定するかを決める内部変数Ｉの値を１に設定する。ＳＡ３０２で、ＣＰＵ１０２は、未使用のパラメータが存在するかどうかを判断する。つまり、ＣＰＵ１０２は、内部変数Ｉの値が内部変数Ｍを超えているかどうかを判断する。未使用のパラメータが存在すると判断された場合、処理ステップはＳＡ３０３に進む。

次に、ＳＡ３０３でＣＰＵ１０２は、Ｉ番目の閾値のパラメータを設定する。ＳＡ３０４で、ＣＰＵ１０２は、生成途中のＴｒｉｍａｐのデータが前景領域に分類されたデータとなっているかを判断する。前景領域に分類されていないと判断された場合、処理ステップはＳＡ３０５に進む。

ＳＡ３０５で、ＣＰＵ１０２は、被写体までの距離情報が、ＳＡ３０３で決定された前景閾値の範囲内かどうかを判断する。前景閾値の範囲内であると判断された場合、処理ステップはＳＡ３０６に進む。ＳＡ３０６で、ＣＰＵ１０２は、ＳＡ３０４で距離情報が前景閾値の範囲内であると判断した領域を前景領域に分類し、その領域のＴｒｉｍａｐのデータを前景閾値のデータに置き換える処理を行う。

一方、ＳＡ３０５で前景閾値の範囲外であると判断された場合、処理ステップはＳＡ３０７に進む。ＳＡ３０７で、ＣＰＵ１０２は、生成途中のＴｒｉｍａｐのデータが未知領域に分類されたデータとなっているかを判断する。未知領域に分類されていないと判断された場合、処理ステップはＳＡ３０８に進む。

ＳＡ３０８で、ＣＰＵ１０２は、被写体までの距離情報が、ＳＡ３０３で決定された背景閾値の範囲外かどうかを判断する。背景閾値の範囲外であると判断された場合、処理ステップはＳＡ３０９に進む。ＳＡ３０９で、ＣＰＵ１０２は、ＳＡ３０８で距離情報が背景閾値の範囲外であると判断した領域を背景領域に分類し、その領域のＴｒｉｍａｐのデータを背景閾値のデータに置き換える処理を行う。

一方、ＳＡ３０８で背景閾値の範囲内であると判断された場合、処理ステップはＳＡ３１０に進む。ＳＡ３１０で、ＣＰＵ１０２は、ＳＡ３０８で距離情報が背景閾値の範囲内であると判断された領域を未知領域に分類し、その領域のＴｒｉｍａｐのデータを未知領域のデータに置き換える処理を行う。

一方、ＳＡ３０７で未知領域に分類されていると判断された場合、処理ステップはＳＡ３１１に進む。また、ＳＡ３０４でＴｒｉｍａｐのデータが前景領域に分類されていると判断された場合も、処理ステップはＳＡ３１１に進む。

ＳＡ３１１で、ＣＰＵ１０２は、内部変数Ｉの値を１インクリメントし、処理ステップをＳＡ３０２に戻す。

一方、ＳＡ３０２で未処理のパラメータが存在しないと判断された場合、本フローチャートの処理は終了する。

以上のように、第Ａ２の実施形態によれば、画像内に複数の被写体がある場合に、それぞれの被写体間に物体がある場合にそれらを背景領域とし、被写体のみを前景領域としたＴｒｉｍａｐを生成することが可能となる。

＜第Ｂ０の実施形態＞
本実施形態では、同じ距離に位置する複数の被写体を撮影する場合において、選択された領域外の距離情報を変更することで、所定の被写体のみが表示されたＴｒｉｍａｐを生成する例を述べる。所定の被写体は、ユーザがＴｒｉｍａｐとして表示したい被写体を表し、これを注目被写体と呼ぶ。

図６２は、被写体の検出を行い、注目被写体の領域外の距離情報にオフセット値を加えることで注目被写体のみをＴｒｉｍａｐとして表示する処理のフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。

ＳＢ１０１では、ＣＰＵ１０２は、画像処理部１０５で処理された画像に対し、物体検出部１１５を用いて被写体の検出を行うように制御する。本実施形態では、物体検出部１１５が行う被写体を検出する処理は、処理結果として座標データを出力するものであり、例えば、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）やＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）と呼ばれるニューラルネットワークを用いたディープラーニングなどである。ＣＰＵ１０２は、物体検出部１１５から得られる座標データに基づいて、検出された被写体の領域を示す検出領域を、画像処理部１０５で処理された画像に重畳して表示部１１４に表示する。

図６１(ａ)は、ＳＢ１０１において検出された第１の被写体Ｂ００１及び第２の被写体Ｂ００２に対して、第１の検出領域Ｂ００３及び第２の検出領域Ｂ００４が表示部１１４に表示された例を示す図である。

ＳＢ１０２では、ユーザが、検出領域の選択を行う。選択方法は種々の方法を採ることができる。例えば、ユーザは、操作部１１３の十字キーなどを用いて検出領域を選択してもよい。また、表示部１１４がタッチパネルであれば、ユーザが、表示された検出領域に直接触れて選択する方法を用いてもよい。なお、選択できる数は１つに限られない。ユーザが選択した結果に基づいて、ＣＰＵ１０２は、注目被写体の検出領域を示す選択領域を、ＳＢ１０１で処理された画像に重畳して表示部１１４に表示する。表示された選択領域は、例えば、検出領域に比べて太枠で表示される。

図６１(ｂ)は、ＳＢ１０２において、第１の被写体Ｂ００１を注目被写体とした場合に対応する選択領域Ｂ００５が表示部１１４に表示された例を示す図である。

ＳＢ１０４では、ＣＰＵ１０２は、画像の各画素に対し、選択領域か否かを判定する。具体的には、ＣＰＵ１０２は、物体検出部１１５から得られる座標データに基づいて、選択領域の座標位置を判断し、各画素の座標位置が選択領域の座標位置の範囲内であればその画素を選択領域だと判断する。選択領域の場合、処理ステップはＳＢ１０３へ進み、そうでない場合、処理ステップはＳＢ１０５へ進む。

ＳＢ１０５では、ＣＰＵ１０２は、画像の各画素に対し、背景領域か否かを判断する。前景領域、背景領域、未知領域の分類については、第１０の実施形態で説明したものと同様の処理なので説明を省略する。背景領域の場合、処理ステップはＳＢ１０３へ進み、そうでない場合、処理ステップはＳＢ１０６へ進む。

ＳＢ１０６では、ＣＰＵ１０２は、選択領域外の画素に対応する距離情報（相対距離）に対し、所定のオフセット値を加算する。オフセット値は、加算後にその画素が背景領域と判断される値である。具体的には、例えば、距離情報の範囲が０～２５５であり、１２７～２５５の範囲が背景領域と判断されるとした場合、２５５をオフセット値として与えれば、選択領域外の画素は全て背景領域として判断されることとなる。なお、距離情報にオフセット値を加算する場合には、オーバーフローを防ぐために２５５の値でリミットが設けられているものとする。

ＳＢ１０３で、ＣＰＵ１０２は、第１０の実施形態で説明したＳ１００３からＳ１００８の処理と同様の処理を行うことにより、Ｔｒｉｍａｐを生成する。ＣＰＵ１０２は、生成されたＴｒｉｍａｐをフレームメモリ１１１に展開し、表示部１１４、画像端子１０９、又はネットワーク端子１０８に出力する。なお、ＣＰＵ１０２は、Ｔｒｉｍａｐを記録媒体１１２へ記録してもよい。

図６１(ｃ)は、本実施形態において最終的に生成されるＴｒｉｍａｐの例を示す図である。

以上のように、本実施形態によれば、同じ距離に位置する複数の被写体を撮影する場合に、注目被写体以外は前景領域に含まれず、注目被写体のみを表示したＴｒｉｍａｐを生成することが可能となる。

＜第Ｂ１の実施形態＞
図６２を用いて、選択された領域外の距離情報を変更することで、注目被写体のみが表示されたＴｒｉｍａｐを生成する例を説明したが、別の実施形態として、選択された領域外のＴｒｉｍａｐの色データを変更する例も考えられる。

本実施形態では、同じ距離に位置する複数の被写体を撮影する場合において、選択された領域外のＴｒｉｍａｐの色データを変更することで、注目被写体のみが表示されたＴｒｉｍａｐを生成する例を述べる。

図６３は、被写体の検出を行い、注目被写体の領域外のＴｒｉｍａｐの色データを背景領域に対応した色で塗りつぶすことで注目被写体のみをＴｒｉｍａｐとして表示する処理のフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。なお、図６３のＳＢ２０１～ＳＢ２０３の処理は、第Ｂ０の実施形態で説明した図６２のＳＢ１０１～ＳＢ１０３と同様なので説明を省略する。

ＳＢ２０４では、ＣＰＵ１０２は、Ｔｒｉｍａｐの各画素に対し、選択領域か否かを判定する。判定処理は、第Ｂ０の実施形態で説明した図６２のＳＢ１０４と同様の処理なので説明を省略する。選択領域の場合、ＣＰＵ１０２は本フローチャートの処理を終了し、そうでない場合、ＣＰＵ１０２は処理ステップをＳＢ２０５へ進める。

ＳＢ２０５では、ＣＰＵ１０２は、Ｔｒｉｍａｐの各画素に対し、背景領域か否かを判断する。前景領域、背景領域、未知領域の分類については、第１０の実施形態で説明したものと同様の処理なので説明を省略する。背景領域の場合、ＣＰＵ１０２は本フローチャートの処理を終了し、そうでない場合、ＣＰＵ１０２は処理ステップをＳＢ２０６へ進める。

ＳＢ２０６では、ＣＰＵ１０２は、選択領域外の各画素の色データを背景領域に対応した所定の色に塗りつぶす。具体的には、例えば、背景領域に対応した色が黒色であった場合、ＣＰＵ１０２は、選択領域外の画素の色データを黒色で塗りつぶす。

ＣＰＵ１０２は、処理されたＴｒｉｍａｐをフレームメモリ１１１に展開し、表示部１１４、画像端子１０９、又はネットワーク端子１０８に出力する。なお、ＣＰＵ１０２は、Ｔｒｉｍａｐを記録媒体１１２へ記録してもよい。図６１(ｃ)は、本実施形態において最終的に生成されるＴｒｉｍａｐの例である。

以上のように、本実施形態によれば、距離情報を変更することなく、注目被写体のみを表示したＴｒｉｍａｐを生成することが可能となる。

＜第Ｂ２の実施形態＞
図６３を用いて、選択された領域外のＴｒｉｍａｐの色データを変更することで、注目被写体のみが表示されたＴｒｉｍａｐを生成する例を説明したが、別の実施の形態として、選択された領域内のＴｒｉｍａｐの色データを変更する例も考えられる。

本実施形態では、同じ距離に位置する複数の被写体を撮影する場合において、選択された領域内のＴｒｉｍａｐの色データを変更することで、注目被写体のみが表示されたＴｒｉｍａｐを生成する例を述べる。

図６４は、被写体の検出を行い、注目被写体以外の被写体の領域内のＴｒｉｍａｐの色データを背景領域に対応した色で塗りつぶすことで注目被写体のみをＴｒｉｍａｐとして表示する処理のフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。なお、図６４のＳＢ３０１～ＳＢ３０３の処理は、第Ｂ０の実施形態で説明した図６２のＳＢ１０１～ＳＢ１０３と同様なので説明を省略する。但し、本実施形態においては、選択領域は、注目被写体以外の検出領域を表す。従って、ＳＢ３０２では、ＳＢ１０２と異なり、ユーザは注目被写体以外の被写体を選択する。

図６１（ｄ）は、ＳＢ３０２において、第１の被写体Ｂ００１を注目被写体とした場合において選択領域Ｂ００６が表示部１１４に表示された例である。

ＳＢ３０４では、ＣＰＵ１０２は、Ｔｒｉｍａｐの各画素に対し、選択領域か否かを判定する。判定方法は、第Ｂ０の実施形態で説明した図６２のＳＢ１０４と同様の処理なので説明を省略する。選択領域の場合、処理ステップはＳＢ３０５へ進み、そうでない場合、本フローチャートの処理は終了する。

ＳＢ３０５では、ＣＰＵ１０２は、Ｔｒｉｍａｐの各画素に対し、背景領域か否かを判断する。前景領域、背景領域、未知領域の分類については、第１０の実施形態で説明したものと同様の処理なので説明を省略する。背景領域の場合、ＣＰＵ１０２は本フローチャートの処理を終了させ、そうでない場合、ＣＰＵ１０２は処理ステップをＳＢ３０６へ進める。

ＳＢ３０６では、ＣＰＵ１０２は、選択領域内の各画素の色データを背景領域に対応した所定の色で塗りつぶす。なお、ここでの処理の内容は、第Ｂ１の実施形態で説明した図６３のＳＢ２０６と同様なので説明を省略する。

ＣＰＵ１０２は、処理されたＴｒｉｍａｐをフレームメモリ１１１に展開し、表示部１１４、画像端子１０９、又はネットワーク端子１０８に出力する。なお、ＣＰＵ１０２は、Ｔｒｉｍａｐを記録媒体１１２へ記録してもよい。図６１（ｃ）は、本実施形態において、最終的に生成されるＴｒｉｍａｐの例である。

以上のように、本実施形態によれば、選択領域外を表示することなく、注目被写体のみを表示したＴｒｉｍａｐを生成することが可能となる。

＜第Ｃ０の実施形態＞
生成したＴｒｉｍａｐを外部に出力する方法として、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）で出力する方法がある。ＳＤＩにＴｒｉｍａｐのデータを重畳する方法として、データをアンシラリパケット化して補助データ領域に重畳することが考えられる。Ｔｒｉｍａｐのデータを効率よくパッキングしてデータを生成しようとすると、禁止コードになってしまう可能性がある。本実施形態では上記問題に鑑み、禁止コードにならないようにデータをマッピングする処理について説明する。

図６５を用いて、フレームレートが２９．９７ｆｐｓの場合のＨＤ－ＳＤＩのデータストリームの構造を説明する。本実施形態では、画像処理装置１００は、動画データをＳＤＩ規格に従って伝送する。詳しくは、画像処理装置１００は、ＳＭＰＴＥ ＳＴ ２９２－１に準拠して各画素データを配分する。図６５は、１ライン分のＹデータを重畳するデータストリームと、Ｃデータを重畳するデータストリームとを表している。１フレームでは、このデータストリームが１１２５ラインある。Ｙデータ及びＣデータは、１ワードが１０ビットで２２００ワードで構成される。なお、１ワードのビット数は、Ｎビット（Ｎ≧１０）でもよい。データは１９２０ワード目から画像信号の区切り位置を認識するための識別子ＥＡＶが重畳され、続いて、ＬＮ（Ｌｉｎｅ Ｎｕｍｂｅｒ）及び伝送エラーチェック用のデータＣＲＣＣ（Ｃｙｃｌｅ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ Ｃｏｄｅ）が重畳される。そして、アンシラリデータを重畳してよいデータ領域が２６８ワード続き、ＥＡＶと同様に画像信号の区切り位置を認識するための識別子ＳＡＶが重畳される。そして、画像データが１９２０ワード重畳されて伝送される。フレームレートが変わると１ラインのワード数が変わるため、アンシラリデータを重畳してよいデータ領域のワード数が変わる。

次に、図６６、図６７Ａ、図６７Ｂ、図６８Ａ、図６８Ｂ、及び図６９のフローチャートを用いて、第Ｃ０の実施形態におけるストリーム生成処理を説明する。図６６のフローチャートにおいて、ＳＣ００１では、ＣＰＵ１０２は、有効画像データが開始されるラインになったかどうかを判断する。例えば、プログレッシブの画像であれば４２ライン目が有効画像の開始ラインであり、有効画像は１１２１ライン目まで続く。インタレースの画像であれば第１フィールドの有効画像データは２１ライン目から５６０ライン目までであり、第２フィールドの有効画像データは５８４ライン目から１１２３ライン目までである。有効画像データが開始されるラインだと判断された場合、処理ステップはＳＣ００２に進む。一方、有効画像データが開始していない場合は、ＣＰＵ１０２は、有効画像データが開始するまで待つ。

ＳＣ００２で、ＣＰＵ１０２は、Ｔｒｉｍａｐのデータを１ワード１０ビットのデータにパッキングする。パッキング処理の詳細は後述する。ＳＣ００３で、ＣＰＵ１０２は、Ｙデータストリームに重畳するＹアンシラリパケットを生成する。ＳＣ００４で、ＣＰＵ１０２は、Ｃデータストリームに重畳するＣアンシラリパケットを生成する。ＹアンシラリパケットとＣアンシラリパケットの生成処理の詳細は後述する。ＳＣ００５で、ＣＰＵ１０２は、ＹアンシラリパケットとＣアンシラリパケットをデータストリームに重畳する。アンシラリパケットの重畳処理の詳細は後述する。図６６のフローチャートの処理は、１フレーム又は１フィールドの処理に対応し、この処理がフレーム毎又はフィールド毎に繰り返される。

次に、図６７Ａ及び図６７Ｂのフローチャートを用いて、Ｔｒｉｍａｐのデータを１ワード１０ビットのデータにパッキングする処理の説明をする。ＳＣ１０１で、ＣＰＵ１０２は、内部変数Ｌを１に設定する。ＳＣ１０２で、ＣＰＵ１０２は、内部変数Ｐを０に設定する。ＳＣ１０３で、ＣＰＵ１０２は、内部変数Ｉを０に設定する。ＳＣ１０４で、ＣＰＵ１０２は、内部変数Ｗを０に設定する。

ＳＣ１０５で、ＣＰＵ１０２は、Ｐピクセル目のＴｒｉｍａｐのデータが白色データかどうかを判断する。つまり、ＣＰＵ１０２は、Ｔｒｉｍａｐのデータが０ｘ００かどうかを判断する。ＳＣ１０５でＴｒｉｍａｐのデータが白色データと判断された場合、処理ステップはＳＣ１０６に進み、そうでない場合、処理ステップはＳＣ１０９に進む。

ＳＣ１０６で、ＣＰＵ１０２は、内部変数Ｐの値が偶数かどうかを判断する。偶数と判断された場合、処理ステップはＳＣ１０７に進む。ＳＣ１０７で、ＣＰＵ１０２は、白色データを０ｘ００とする。

一方、ＳＣ１０６で内部変数Ｐが偶数でないと判断された場合、処理ステップはＳＣ１０８に進む。ＳＣ１０８で、ＣＰＵ１０２は、白色データを０ｘ１１とする。

ＳＣ１０９で、ＣＰＵ１０２は、Ｗワード目のＩビット及びＩ＋１ビットにＴｒｉｍａｐのデータを割り付ける。

ＳＣ１１０で、ＣＰＵ１０２は、内部変数Ｉが８かどうかを判断する。内部変数Ｉが８だと判断された場合、処理ステップはＳＣ１１１に進む。ＳＣ１１１で、ＣＰＵ１０２は、内部変数Ｉを０に設定する。ＳＣ１１２で、ＣＰＵ１０２は、内部変数Ｗを１インクリメントする。

一方、ＳＣ１１０で内部変数Ｉが８ではないと判断された場合、処理ステップはＳＣ１１３に進む。ＳＣ１１３で、ＣＰＵ１０２は、内部変数Ｉを２インクリメントする。

次に、ＳＣ１１４で、ＣＰＵ１０２は、現在のピクセル（Ｐ番目のピクセル）が最終ピクセルかどうかを判断する。つまり、有効画像のピクセル数は１９２０であるので、ＣＰＵ１０２は、内部変数Ｐが１９１９かどうかを判断する。ＳＣ１１４で最終ピクセルではないと判断された場合、処理ステップはＳＣ１１５に進む。ＳＣ１１５で、ＣＰＵ１０２は、内部変数Ｐを１インクリメントして、処理ステップをＳＣ１０５に戻す。

一方、ＳＣ１１４で最終ピクセルであると判断された場合、処理ステップはＳＣ１１６に進む。ＳＣ１１６で、ＣＰＵ１０２は、Ｔｒｉｍａｐのデータをパッキングした１ライン分のワードデータをＲＡＭ１０４に記憶する。ＳＣ１１７で、ＣＰＵ１０２は、現在のライン（Ｌ番目のライン）が最終ラインかどうかを判断する。例えば、プログレッシブの画像であれば有効画像ライン数は１０８０であるので、ＣＰＵ１０２は、内部変数Ｌが１０８０かどうかを判断する。最終ラインではないと判断された場合、処理ステップはＳＣ１１８に進む。ＳＣ１１８では、ＣＰＵ１０２は、内部変数Ｌを１インクリメントし、処理ステップをＳＣ１０２に戻す。

一方、ＳＣ１１７で最終ラインであると判断された場合、本フローチャートの処理は終了する。

図７０は、図６７Ａ及び図６７Ｂのフローチャートの処理で生成されるデータ構造を示す。図７０のデータ構造は、１ワード１０ビットにＴｒｉｍａｐのデータをパッキングしたときのデータ構造である。図７０（ａ）に示すように、１ワードの中に５ピクセル分のＴｒｉｍａｐのデータがパッキングされている。具体的には、０ビット目及び１ビット目に１画素目、２ビット目及び３ビット目に２画素目、４ビット目及び５ビット目に３画素目、６ビット目及び７ビット目に４画素目、８ビット目及び９ビット目に５画素目、のＴｒｉｍａｐデータが割り付けられている。図６７Ａ及び図６７Ｂのフローチャートでは、１ワードに５画素をパッキングする処理を説明したが、図７０（ｂ）に示すように、１ワードに４画素をパッキングする処理としてもよい。その場合は、８ビット目及び９ビット目には、ＥｖｅｎＰａｒｉｔｙとＮｏｔ Ｅｖｅｎ Ｐａｒｉｔｙを割り付けるようにする。また、ここでのビット割り付けは一例であり、その割り付け方は他のビット構造でもよい。更に、ＥｖｅｎＰａｒｉｔｙも一例であり、他の情報を割り当ててもよい。

次に、図６８Ａ及び図６８Ｂのフローチャートを用いて、アンシラリパケットの生成処理の説明をする。ここで生成するアンシラリパケットの例を図７１（ａ）に示す。

図７１（ａ）において、ＡＤＦ（Ａｎｃｉｌｌａｒｙ Ｄａｔａ Ｆｌａｇ）は、アンシラリデータパケットの開始を示している。ＤＩＤ（Ｄａｔａ ＩＤ）は、アンシラリの種別を表すＩＤである。ＳＤＩＤ（Ｓｅｃｏｎｄａｒｙ Ｄａｔａ ＩＤ）も、ＤＩＤと同様でアンシラリの種別を表すＩＤである。ＤＣ（Ｄａｔａ Ｃｏｕｎｔ）は、データ数を表す。ＬＮ（Ｌｉｎｅ Ｎｕｍｂｅｒ）は、ライン数を表す。

ＬＮのビット割り付けの詳細を図７１（ｂ）に示す。ＬＮ０の０ビット目と１ビット目はリザーブデータであり、２ビット目から８ビット目にライン数の０ビット目から６ビット目が割り付けられる。９ビット目には、８ビット目の反転データが割り付けられる。ＬＮ１の０ビット目と１ビット目、及び６ビット目から８ビット目は、リザーブデータである。２ビット目から５ビット目にライン数の７ビット目から１１ビット目が割り付けられる。９ビット目には、８ビット目の反転データが割り付けられる。次に、ＳｔａｔｕｓはＴｒｉｍａｐデータのステータスを示す情報である。

Ｓｔａｔｕｓの詳細を図７１（ｃ）に示す。Ｓｔａｔｕｓ０の０ビット目と１ビット目は、白色データを表すデータが何であるかを示す。２ビット目と３ビット目は、黒色データを表すデータが何であるかを示す。４ビット目と５ビット目は、灰色データを表すデータが何であるかを示す。６ビット目は、０ｘ００のデータを反転するかどうかを表すフラグである。７ビット目は、偶数ピクセルのデータに０ｘ００を割り当てたか０ｘ１１のデータを割り当てたかの極性(Polarity)を表す。８ビット目は、Ｅｖｅｎ Ｐａｒｉｔｙであり、９ビット目は、Ｎｏｔ Ｅｖｅｎ Ｐａｒｉｔｙである。Ｓｔａｔｕｓ１の０ビット目から２ビット目は、１ワードに何ピクセルのデータをパッキングしたかを示す。３ビット目から７ビット目は、リザーブデータである。８ビット目は、Ｅｖｅｎ Ｐａｒｉｔｙであり、９ビット目は、Ｎｏｔ Ｅｖｅｎ Ｐａｒｉｔｙである。

図７１（ａ）において、ＴｒｉｍａｐＤａｔａ０からは、Ｔｒｉｍａｐのデータがパッキングしたワード数だけ重畳される。ＣＳ（Ｃｈｅｃｋ Ｓｕｍ）はチェックサムである。これはアンシラリパケットの一例でありビットの割り付けはこの例以外でもよい。

まず、ＳＣ２０１で、ＣＰＵ１０２は、内部変数Ｌを１に設定する。ＳＣ２０２で、ＣＰＵ１０２は、内部変数Ｗを０に設定する。ＳＣ２０３で、ＣＰＵ１０２は、ＡＤＦ（Ａｎｃｉｌｌａｒｙ Ｄａｔａ Ｆｌａｇ）を重畳する。ＳＣ２０４で、ＣＰＵ１０２は、ＤＩＤ（Ｄａｔａ ＩＤ）を重畳する。ＳＣ２０５で、ＣＰＵ１０２は、ＳＤＩＤ（Ｓｅｃｏｎｄａｒｙ Ｄａｔａ ＩＤ）を重畳する。ＳＣ２０６で、ＣＰＵ１０２は、ＤＣ（Ｄａｔａ Ｃｏｕｎｔ）を重畳する。ＳＣ２０７で、ＣＰＵ１０２は、ＬＮ（Ｌｉｎｅ Ｎｕｍｂｅｒ）を重畳する。ＳＣ２０８で、ＣＰＵ１０２は、Ｓｔａｔｕｓを重畳する。

ＳＣ２０９で、ＣＰＵ１０２は、Ｔｒｉｍａｐのデータをパッキングしたワードが最終ワードかどうかを判断する。例えば、１ワードに５ピクセルをパッキングする場合、ワード数は３８４ワードとなる。つまり、ＣＰＵ１０２は、内部変数Ｗが３８４かどうかを判断する。ＳＣ２０９で最終ワードではないと判断された場合、処理ステップはＳＣ２１０に進む。ＳＣ２１０で、ＣＰＵ１０２は、Ｙアンシラリを生成するかどうかを判断する。Ｙアンシラリを生成すると判断された場合、処理ステップはＳＣ２１１に進む。ＳＣ２１１で、ＣＰＵ１０２は、Ｌライン目のＷワード目のデータをＲＡＭ１０４より読み出して重畳する。

一方、ＳＣ２１０でＹアンシラリを生成しない（即ち、Ｃアンシラリを生成する）と判断された場合、処理ステップはＳＣ２１２に進む。ＳＣ２１２で、ＣＰＵ１０２は、Ｌライン目のＷ＋１ワード目のデータを重畳する。

ＳＢ２１３で、ＣＰＵ１０２は、内部変数Ｗを２インクリメントして、処理ステップをＳＣ２０９に戻す。

一方、ＳＣ２０９で最終ワードであると判断された場合、処理ステップはＳＣ２１４に進む。ＳＣ２１４で、ＣＰＵ１０２は、ＣＳを重畳する。ＳＣ２１５で、ＣＰＵ１０２は、生成したアンシラリパケットをＲＡＭ１０４に記憶する。

ＳＣ２１６で、ＣＰＵ１０２は、現在のライン（即ち、Ｌ番目のライン）が最終ラインかどうかを判断する。例えば、プログレッシブの画像であれば有効画像ライン数は１０８０であるので、ＣＰＵ１０２は、内部変数Ｌが１０８０かどうかを判断する。最終ラインではないと判断された場合、処理ステップはＳＣ２１７に進む。ＳＣ２１７で、ＣＰＵ１０２は、内部変数Ｌを１インクリメントし、処理ステップをＳＣ２０２に戻す。

一方、ＳＣ２１６で最終ラインであると判断された場合、本フローチャートの処理は終了する。

次に、図６９のフローチャートを用いて、アンシラリパケット重畳の処理を説明する。ＳＣ３０１で、ＣＰＵ１０２は、内部変数Ｌを１に設定する。ＳＣ３０２で、ＣＰＵ１０２は、内部変数Ｐを０に設定する。

ＳＣ３０３で、ＣＰＵ１０２は、Ｐピクセル目はアンシラリパケットを重畳する位置かどうかを判断する。例えば、アンシラリは図６５における１９２８ピクセル目から重畳することができる。Ｔｒｉｍａｐのデータを１ワード５ピクセルでパッキングした場合のアンシラリパケットは２０３ワードとなるので、１９２８ピクセルから２１３０ピクセルまでが重畳位置となる。つまり、ＣＰＵ１０２は、内部変数Ｐが１９２８から２１３０の範囲内であるかどうかを判断する。アンシラリパケットを重畳する位置と判断された場合、処理ステップはＳＣ３０４に進み、そうでない場合、処理ステップはＳＣ３０６に進む。

ＳＣ３０４で、ＣＰＵ１０２は、Ｌライン目のＹアンシラリパケットでＰピクセル目に重畳すべきデータをＲＡＭ１０４より読み出して重畳する。ＳＣ３０５で、ＣＰＵ１０２は、Ｌライン目のＣアンシラリパケットでＰピクセル目に重畳すべきデータをＲＡＭ１０４より読み出して重畳する。

次に、ＳＣ３０６で、ＣＰＵ１０２は、現在のピクセル（Ｐピクセル）が最終ピクセルかどうかを判断する。つまり、１ラインのピクセル数は２２００であるので、ＣＰＵ１０２は、内部変数Ｐが２０９９かどうかを判断する。ＳＣ３０６で最終ピクセルでないと判断された場合、処理ステップはＳＣ３０７に進む。ＳＣ３０７で、ＣＰＵ１０２は、内部変数Ｐを１インクリメントして、処理ステップをＳＣ３０３に戻す。

一方、ＳＣ３０６で最終ピクセルであると判断された場合、処理ステップはＳＣ３０８に進む。ＳＣ３０８で、ＣＰＵ１０２は、現在のライン（Ｌ番目のライン）が最終ラインかどうかを判断する。例えばプログレッシブの画像であれば有効画像ライン数は１０８０であるので、ＣＰＵ１０２は、内部変数Ｌが１０８０かどうか判断する。最終ラインではないと判断された場合、処理ステップはＳＣ３０９に進む。ＳＣ３０９で、ＣＰＵ１０２は、内部変数Ｌを１インクリメントし、処理ステップをＳＣ３０２に戻す。

一方、ＳＣ３０８で最終ラインであると判断された場合、本フローチャートの処理は終了する。

以上のように、第Ｃ０の実施形態によれば、ＴｒｉｍａｐのデータをパッキングしてＳＤＩのアンシラリパケットを生成して重畳することで、ＳＤＩからＴｒｉｍａｐのデータを出力することが可能となる。

＜第Ｃ１の実施形態＞
第Ｃ０の実施形態では、複数のＴｒｉｍａｐのデータを出力しようとした場合に補助領域が不足しデータが伝送できないという問題がある。本実施形態では上記問題に鑑み、禁止コードが発生しないように複数のＴｒｉｍａｐのデータをマッピングする処理について説明する。

フレームレートが２９．９７ｆｐｓの場合の３Ｇ－ＳＤＩのデータストリームの構造を説明する。本実施形態では、画像処理装置１００は、動画データをＳＤＩ規格に従って伝送する。詳しくは、画像処理装置１００は、ＳＭＰＴＥ ＳＴ ４２５－１に準拠し、ＳＭＰＴＥ ＳＴ ３７２のＲ’Ｇ’Ｂ’＋Ａ １０ビットの多重化構造を適用して各画素データを配分する。Ａチャネルには任意のデータを重畳してよいため、本実施形態では、画像処理装置１００は、複数のＴｒｉｍａｐのデータを重畳して伝送する。

次に、図７２Ａ及び図７２Ｂのフローチャートを用いて、第Ｃ１の実施形態の処理を説明する。図７２Ａ及び図７２Ｂのフローチャートは、Ａチャネルに複数のＴｒｉｍａｐのデータをパッキングする処理を示す。

ＳＣ７０１で、ＣＰＵ１０２は、ラインをカウントするための内部変数Ｌを１に設定する。ＳＣ７０２で、ＣＰＵ１０２は、ピクセルをカウントするための内部変数Ｐを０に設定する。ＳＣ７０３で、ＣＰＵ１０２は、Ｔｒｉｍａｐをカウントするための内部変数Ｎを１に設定する。ＳＣ７０４で、ＣＰＵ１０２は、Ｔｒｉｍａｐの最大数Ｎｍａｘを取得する。

ＳＣ７０５で、ＣＰＵ１０２は、Ｎフレーム目のＰピクセル目のＴｒｉｍａｐのデータが白色データかどうかを判断する。Ｔｒｉｍａｐのデータが白色データだと判断された場合、処理ステップはＳＣ７０６に進み、そうでない場合、処理ステップはＳＣ７０９に進む。ＳＣ７０６で、ＣＰＵ１０２は内部変数Ｎが奇数かどうかを判断する。奇数と判断された場合、処理ステップはＳＣ７０７に進む。ＳＣ７０７で、ＣＰＵ１０２は、白色データを０ｘ００とする。

一方、ＳＣ７０６で内部変数Ｎが偶数だと判断された場合、処理ステップはＳＣ７０８に進む。ＳＣ７０８で、ＣＰＵ１０２は、白色データを０ｘ１１とする。

次に、ＳＣ７０９で、ＣＰＵ１０２は、Ｐピクセル目のＡチャネルの（Ｎ＊２）ビット及び（Ｎ＊２）＋１ビットにデータを割り付ける。ＳＣ７１０で、ＣＰＵ１０２は、内部変数ＮがＮｍａｘと等しいかどうかを判断する。ＮがＮｍａｘと等しくないと判断された場合、処理ステップはＳＣ７１１に進む。ＳＣ７１１で、ＣＰＵ１０２は内部変数Ｎの値を１インクリメントして、処理ステップをＳＣ７０５に戻す。

一方、ＳＣ７１０でＮがＮｍａｘと等しいと判断された場合、処理ステップはＳＣ７１２に進む。ＳＣ７１２で、ＣＰＵ１０２は、現在のピクセル（Ｐピクセル）が最終ピクセルかどうかを判断する。つまり、有効画像のピクセル数は１９２０であるので、ＣＰＵ１０２は、内部変数Ｐが１９１９かどうかを判断する。ＳＣ７１２で最終ピクセルではないと判断された場合、処理ステップはＳＣ７１３に進む。ＳＣ７１３で、ＣＰＵ１０２は、内部変数Ｐを１インクリメントして、処理ステップをＳＣ７０３に戻す。

一方、ＳＣ７１２で最終ピクセルであると判断された場合、処理ステップはＳＣ７１４に進む。ＳＣ７１４で、ＣＰＵ１０２は、Ａチャネルを記憶する。ＳＣ７１５で、ＣＰＵ１０２は、現在のライン（Ｌ番目のライン）が最終ラインかどうかを判断する。例えばプログレッシブの画像であれば有効画像ライン数は１０８０であるので、ＣＰＵ１０２は、内部変数Ｌが１０８０かどうかを判断する。最終ラインではないと判断された場合、処理ステップはＳＣ７１６に進む。ＳＣ７１６では、ＣＰＵ１０２は、内部変数Ｌを１インクリメントし、処理ステップをＳＣ７０２に戻す。

一方、ＳＣ７１５で最終ラインだと判断された場合、本フローチャートの処理は終了する。

本実施形態においても、ＣＰＵ１０２は、第Ｃ０の実施形態に示したアンシラリパケットを生成してもよい。本実施形態においては、ＣＰＵ１０２は、ＴｒｉｍａｐのデータをパッキングしたデータをＡチャネルに重畳するので、ＴｒｉｍａｐＤａｔａをアンシラリのパケットに含める必要はない。また、アンシラリパケットについても、ＣＰＵ１０２は、アンシラリが重畳可能な領域の任意の場所に１つ重畳するだけよい。

なお、本実施形態においては、伝送路が１本である場合を説明したが、これに限らず、伝送路を複数用意し、画像とは別の伝送路を用いてＴｒｉｍａｐのデータを出力する構成を採用してもよい。また、伝送技術はＳＤＩに限らず、ＨＤＭＩ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）、ＵＳＢ、又はＬＡＮなどの画像伝送を行える伝送技術でもよく、これらを組み合わせて伝送路を複数用意してもよい。

なお、縮小されたＴｒｉｍａｐを生成した場合には、ＣＰＵ１０２は、縮小されたデータを出力してもよいし、同じデータを複数回重複してＳＤＩのフォーマットサイズにして出力してもよい。

以上のように、第Ｃ１の実施形態によれば、複数のＴｒｉｍａｐのデータをパッキングしてＳＤＩのＡチャネルに重畳することで、ＳＤＩから複数のＴｒｉｍａｐのデータを出力することが可能となる。

上述した各実施形態は様々な具体例を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。例えば、第１の実施形態から第Ｃ１の実施形態までを部分的に組み合わせた運用も可能である。また、画像処理装置１００でのメニュー表示から、ユーザにより機能を選択させて制御を実行させる構成としてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…画像処理装置、１０２…ＣＰＵ、１０３…ＲＯＭ、１０４…ＲＡＭ、１０５…画像処理部、１０６…レンズユニット、１０７…撮像部、１１１…フレームメモリ、１１２…記録媒体、１１３…操作部、１１４…表示部、１１５…物体検出部

Claims (23)

1. 結像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の光電変換部が配列された撮像素子を用いる撮影により生成される撮像画像及び複数の視差画像を取得する取得手段と、
   前記複数の視差画像から得られる距離分布情報に基づいて、前記撮像画像の領域を、前景領域、背景領域、及び未知領域に分類する背景分離用画像を生成する生成手段と、
   前記撮像画像及び前記背景分離用画像を出力する出力手段と、
   前記距離分布情報が示す距離のヒストグラムを表示手段に表示する第３の表示制御手段と、
   を備え、
   前記生成手段は、
   前記距離分布情報における距離が第１の範囲内である領域が前記前景領域に分類され、
   前記距離分布情報における距離が前記第１の範囲より広い第２の範囲外である領域が前記背景領域に分類され、
   前記距離分布情報における距離が前記第１の範囲外であり前記第２の範囲内である領域が前記未知領域に分類される
   ように、前記背景分離用画像を生成し、
   前記第３の表示制御手段は、前記第１の範囲及び前記第２の範囲を識別可能な態様で、前記ヒストグラムを表示する
   ことを特徴とする画像処理装置。
2. 前記背景分離用画像を前記表示手段に表示する第１の表示制御手段と、
   前記背景分離用画像を記録媒体に記録する記録制御手段と、
   を更に備えることを特徴とする請求項１に記載の画像処理装置。
3. ユーザの入力を受け付ける入力手段と、
   前記入力手段が受け付けた入力に基づいて前記第１の範囲及び前記第２の範囲の少なくとも一方を設定する第１の設定手段と、
   を更に備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記撮像画像を前記表示手段に表示する第２の表示制御手段を更に備え、
   前記第２の表示制御手段は、前記背景分離用画像に基づいて、前記前景領域、前記背景領域、及び前記未知領域を識別可能な態様で、前記撮像画像を表示する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第２の表示制御手段は、前記背景分離用画像に基づいて、前記前景領域と前記未知領域との間の境界線、及び前記未知領域と前記背景領域との間の境界線を、前記撮像画像に重畳して表示する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記第２の表示制御手段は、所定のカットオフ周波数のハイパスフィルタを用いて前記背景分離用画像における高周波成分を抽出することにより、前記前景領域と前記未知領域との間の前記境界線、及び前記未知領域と前記背景領域との間の前記境界線を検出する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記背景分離用画像における前記前景領域、前記背景領域、及び前記未知領域の透過度を設定する第２の設定手段を更に備え、
   前記第２の表示制御手段は、前記背景分離用画像を前記設定された透過度で前記撮像画像に重畳して表示する
   ことを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
8. 前記第１の範囲は閾値Ｔｈ２と閾値Ｔｈ３との間の範囲であり、
   前記第２の範囲は閾値Ｔｈ１と閾値Ｔｈ４との間の範囲であり、Ｔｈ１＜Ｔｈ２＜Ｔｈ３＜Ｔｈ４である
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 結像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の光電変換部が配列された撮像素子を用いる撮影により生成される撮像画像及び複数の視差画像を取得する取得手段と、
   前記複数の視差画像から得られる距離分布情報に基づいて、前記撮像画像の領域を、前景領域、背景領域、及び未知領域に分類する背景分離用画像を生成する生成手段と、
   前記撮像画像及び前記背景分離用画像を出力する出力手段と、
   前記距離分布情報に基づいて、前記撮像画像の水平座標と距離との関係を表す俯瞰図を表示手段に表示する第４の表示制御手段と、
   を備え、
   前記生成手段は、
   前記距離分布情報における距離が第１の範囲内である領域が前記前景領域に分類され、
   前記距離分布情報における距離が前記第１の範囲より広い第２の範囲外である領域が前記背景領域に分類され、
   前記距離分布情報における距離が前記第１の範囲外であり前記第２の範囲内である領域が前記未知領域に分類される
   ように、前記背景分離用画像を生成し、
   前記第４の表示制御手段は、前記第１の範囲及び前記第２の範囲を識別可能な態様で、前記俯瞰図を表示する
   ことを特徴とする画像処理装置。
10. 前記生成手段は、前記撮像画像からエッジを検出し、当該検出されたエッジに基づいて前記背景分離用画像を生成する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記生成手段は、前記撮像画像から物体を検出し、当該検出された物体が存在する領域に基づいて前記背景分離用画像を生成する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記生成手段は、前記撮像画像に関する前記撮影の際の絞り値に応じて前記未知領域に対応する距離の範囲が変化するように、前記第１の範囲及び前記第２の範囲のうちの少なくとも一方を決定する
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記生成手段は、前記撮像画像に関する前記撮影の際の焦点位置の情報に応じて前記前景領域、前記背景領域、及び前記未知領域を決定することにより、前記背景分離用画像を生成する
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 複数の物体を検出する物体検出手段を更に備え、
    前記生成手段は、前記物体検出手段により検出された複数の物体ごとに前記背景分離用画像を生成する
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記生成手段は更に、複数の前記背景分離用画像を合成して１つの背景分離用画像を生成する
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 前記物体検出手段により検出された複数の物体のうちの少なくとも１つを選択する選択手段を更に備え、
    前記生成手段は、前記選択手段による物体の選択に基づいて少なくとも１つの前記背景分離用画像を生成する
    ことを特徴とする請求項１４に記載の画像処理装置。
17. 前記出力手段は、Ｎビット（Ｎ≧１０）単位で構成されるデータストリームに前記背景分離用画像を付加して前記撮像画像と共に出力する
    ことを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 前記出力手段は、画素毎にデータを反転させるように前記背景分離用画像を前記データストリームに付加する
    ことを特徴とする請求項１７に記載の画像処理装置。
19. 前記出力手段は、ＳＤＩによる伝送を行う伝送手段に前記データストリームを出力する
    ことを特徴とする請求項１７又は１８に記載の画像処理装置。
20. 前記撮像素子を備えることを特徴とする請求項１乃至１９のいずれか１項に記載の画像処理装置。
21. 画像処理装置が実行する画像処理方法であって、
    結像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の光電変換部が配列された撮像素子を用いる撮影により生成される撮像画像及び複数の視差画像を取得する取得工程と、
    前記複数の視差画像から得られる距離分布情報に基づいて、前記撮像画像の領域を、前景領域、背景領域、及び未知領域に分類する背景分離用画像を生成する生成工程と、
    前記撮像画像及び前記背景分離用画像を出力する出力工程と、
    前記距離分布情報が示す距離のヒストグラムを表示手段に表示する第３の表示制御工程と、
    を備え、
    前記生成工程では、
    前記距離分布情報における距離が第１の範囲内である領域が前記前景領域に分類され、
    前記距離分布情報における距離が前記第１の範囲より広い第２の範囲外である領域が前記背景領域に分類され、
    前記距離分布情報における距離が前記第１の範囲外であり前記第２の範囲内である領域が前記未知領域に分類される
    ように、前記背景分離用画像を生成し、
    前記第３の表示制御工程では、前記第１の範囲及び前記第２の範囲を識別可能な態様で、前記ヒストグラムを表示する
    ことを特徴とする画像処理方法。
22. 画像処理装置が実行する画像処理方法であって、
    結像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の光電変換部が配列された撮像素子を用いる撮影により生成される撮像画像及び複数の視差画像を取得する取得工程と、
    前記複数の視差画像から得られる距離分布情報に基づいて、前記撮像画像の領域を、前景領域、背景領域、及び未知領域に分類する背景分離用画像を生成する生成工程と、
    前記撮像画像及び前記背景分離用画像を出力する出力工程と、
    前記距離分布情報に基づいて、前記撮像画像の水平座標と距離との関係を表す俯瞰図を表示手段に表示する第４の表示制御工程と、
    を備え、
    前記生成工程では、
    前記距離分布情報における距離が第１の範囲内である領域が前記前景領域に分類され、
    前記距離分布情報における距離が前記第１の範囲より広い第２の範囲外である領域が前記背景領域に分類され、
    前記距離分布情報における距離が前記第１の範囲外であり前記第２の範囲内である領域が前記未知領域に分類される
    ように、前記背景分離用画像を生成し、
    前記第４の表示制御工程では、前記第１の範囲及び前記第２の範囲を識別可能な態様で、前記俯瞰図を表示する
    ことを特徴とする画像処理方法。
23. コンピュータを、請求項１乃至２０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。