JP6029021B2 - 画像処理装置、撮像装置および画像処理方法 - Google Patents

Description

本発明は、画像内の領域に情報を埋め込む画像処理のための画像処理装置に関する。

画像内の領域に情報を埋め込む画像処理に関する技術として、特許文献１および特許文献２に記載の技術がある。

特開２００９−２００７８４号公報 特開２００４−１０４３３１号公報

しかしながら、不適切な領域に情報が埋め込まれることにより、画像または情報が見え難い状態に陥る可能性がある。

そこで、本発明は、情報を埋め込むための領域を適切に決定することができる画像処理装置を提供する。

本発明の一態様に係る画像処理装置は、画像を取得する画像取得部と、前記画像内の領域に埋め込まれる埋め込み情報を取得する埋め込み情報取得部と、前記画像の各画素の奥行き値を示すデプス情報を取得するデプス情報取得部と、前記デプス情報を用いて、前記埋め込み情報が埋め込まれる前記領域である埋め込み領域を決定する埋め込み領域決定部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の一態様に係る画像処理装置は、情報を埋め込むための領域を適切に決定することができる。

図１は、埋め込み情報の埋め込み後の画像を示す図である。 図２は、デプスマップを示す図である。 図３Ａは、埋め込み情報が目立たないデプスマップを示す図である。 図３Ｂは、埋め込み情報に違和感があるデプスマップを示す図である。 図３Ｃは、埋め込み情報が適切に見えるデプスマップを示す図である。 図４は、実施の形態１に係る画像処理装置の構成図である。 図５Ａは、第１の例に係る入力画像のデプスマップを示す図である。 図５Ｂは、第１の例に係るデプス範囲を示す図である。 図５Ｃは、第１の例に係る探索領域を示す図である。 図５Ｄは、第１の例に係る埋め込み領域を示す図である。 図６Ａは、第２の例に係る入力画像のデプスマップを示す図である。 図６Ｂは、第２の例に係るデプス値のヒストグラムである。 図６Ｃは、第２の例に係る埋め込み領域を示す図である。 図７Ａは、第３の例に係る入力画像のデプスマップを示す図である。 図７Ｂは、第３の例に係る初期の探索領域を示す図である。 図７Ｃは、第３の例に係る新たな探索領域を示す図である。 図７Ｄは、第３の例に係る埋め込み領域を示す図である。 図７Ｅは、第３の例に係るデプス範囲を示す図である。 図７Ｆは、第３の例に係る埋め込み後のデプスマップを示す図である。 図８Ａは、第４の例に係る入力画像のデプスマップを示す図である。 図８Ｂは、第４の例に係る撮影のための通知メッセージを示す図である。 図８Ｃは、第４の例に係る補正のための通知メッセージを示す図である。 図８Ｄは、第４の例に係る埋め込み領域を示す図である。 図９Ａは、装飾部品の埋め込み後のデプスマップを示す図である。 図９Ｂは、フレームの埋め込み後のデプスマップを示す図である。 図９Ｃは、テキストの一部が強調されたデプスマップを示す図である。 図９Ｄは、音声のパワーに応じてテキストが埋め込まれたデプスマップを示す図である。 図１０Ａは、実施の形態１に係る画像処理装置の動作を示すフローチャートである。 図１０Ｂは、実施の形態１に係る埋め込み領域の探索処理を示すフローチャートである。 図１１は、実施の形態２に係る画像処理装置の構成図である。 図１２Ａは、実施の形態２に係る入力画像のデプスマップを示す図である。 図１２Ｂは、実施の形態２に係るデプスマップ信頼度を示す図である。 図１２Ｃは、実施の形態２に係る埋め込み後のデプスマップの第１の例を示す図である。 図１２Ｄは、実施の形態２に係る埋め込み後のデプスマップの第２の例を示す図である。 図１３は、実施の形態３に係る画像処理装置の構成図である。 図１４は、実施の形態３に係る画像処理装置の動作を示すフローチャートである。 図１５は、実施の形態４に係る画像処理装置の構成図である。 図１６は、実施の形態４に係る画像処理装置の動作を示すフローチャートである。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、画像内の領域に情報を埋め込む画像処理に関する技術に関し、以下の課題を見出した。

撮影等で得られた画像にテキストメッセージまたは装飾部品などを埋め込むための埋め込み機能を有する画像処理装置が存在する。このような埋め込み機能の想定用途として、例えば、誕生パーティまたは結婚式などの催しにおいて、参加者が撮影画像にメッセージを付与する場合などがある（図１参照）。

ここでは、画像に埋め込まれるメッセージ等の情報を埋め込み情報と呼ぶ。画像に埋め込み情報を埋め込むとは、画像の上に埋め込み情報を配置し、画像に埋め込み情報を重ね合わせることを意味する。したがって、画像に埋め込み情報が埋め込まれることにより、画像の一部が隠れる。

そのため、埋め込み情報が埋め込まれる位置（埋め込み位置）が適切でない場合、撮影画像内の主要な被写体の上に埋め込み情報が埋め込まれ、主要な被写体が埋め込み情報で隠れる可能性がある。そこで、適切な埋め込み位置を適切に決定する方法として、画像に含まれる情報を用いて埋め込み位置を決定する方法が知られている（特許文献１）。

この方法に係る画像処理装置は、画像に含まれる情報（フォーカスエリア、日付の写し込み、顔の位置、文字の位置、および、被写体の輪郭など）を用いて画像内の主要な位置を検出し、主要な位置を避けて埋め込み情報を埋め込む。これにより、画像処理装置は、画像内の主要な位置への埋め込みを避け、主要な位置以外の領域に埋め込み情報を埋め込むことができる。したがって、画像処理装置は、通常の写真に埋め込み情報を適切に埋め込むことができる。

次に、埋め込み情報を含む画像が３Ｄ画像として立体的に鑑賞されるように、埋め込み機能を拡張することが考えられる。３Ｄ画像を生成するための主な方法として、２種類の方法がある。１つは、ステレオカメラから得られる左右２枚の画像の視差を利用して、３Ｄ画像を生成する方法である。もう１つは、画素毎にカメラから被写体までの距離を計測し、その距離に基づいて３Ｄ画像を生成する方法である。

なお、ここでは、上記の視差または距離に対応する奥行きの度合いを示す値を奥行き値（デプス値）と呼ぶ。また、画像または画像の領域における各画素の奥行き値に関する情報をデプス情報と呼ぶ。例えば、左右２枚の画像の視差から、それらの画像の各画素の奥行き値、および、それらの画像の各画素の奥行き値に関するデプス情報が得られる。逆に、平面画像と、その平面画像の各画素の奥行き値を示すデプス情報とを組み合わせることで、視差を有する左右２枚の画像が得られる。

特許文献２では、計測された距離に基づいて３Ｄ画像が生成され、埋め込み情報にデプス情報が付与される。これにより、埋め込み情報が埋め込まれた３Ｄ画像が立体的に鑑賞される。ここで、埋め込み情報に適切なデプス情報が付与されることで、３Ｄ画像に埋め込まれた埋め込み情報が、違和感無く３Ｄで表示される。

特許文献２では、埋め込み情報にデプス情報を付与する方法として、ユーザインターフェイスを用いる方法が示されている。この方法では、ユーザは、「遠く」または「近く」のボタンを適切な回数押すことで、埋め込み情報に適切なデプス情報を付与することが可能である。

特許文献１のように埋め込み位置を決定する方法、および、特許文献２のように埋め込み情報にデプス情報を付与する方法等の技術に基づいて、埋め込み情報は３Ｄ画像に埋め込まれる。しかし、３Ｄ画像への埋め込みには、以下に示される複数の課題が存在する。

まず、３Ｄ画像に埋め込まれた埋め込み情報が適切に見えない可能性がある。３Ｄ画像に埋め込まれた埋め込み情報は、周囲から飛び出して、目立って見える方がよい。この課題を説明するため、画像の各画素のデプス値を示すデプスマップ（ＤｅｐｔｈＭａｐ）を説明する。

図２は、デプスマップを示す。デプスマップは、通常、図２のような画像で表される。図２等のデプスマップは、画素の色が白いほど（ハッチングが薄いほど）、カメラから被写体への距離が近く、画素の色が黒いほど（ハッチングが濃いほど）、カメラから被写体への距離が遠いことを示す。埋め込み情報の周囲のデプス値が埋め込み情報と同等の奥行きを示す場合、または、埋め込み情報の周囲のデプス値が埋め込み情報よりも手前側の奥行きを示す場合、３Ｄ画像に埋め込まれた埋め込み情報は適切に見えない。

例えば、図３Ａに示されたデプスマップのように、埋め込み情報のデプス値が周囲のデプス値と同等の奥行きを示す場合、埋め込み情報の飛び出し量は周囲と同等である。このような埋め込み情報は、飛び出し感に乏しく、書割感を与える。そして、このような埋め込み情報は、強調されず、目立たない。

また、図３Ｂに示されたデプスマップのように、埋め込み情報のデプス値が周囲のデプス値よりも奥側の奥行きを示す場合、埋め込み情報が、奥側に引っ込んで見える。このような画像は、違和感を生じさせる。

一方、図３Ｃに示されたデプスマップのように、埋め込み情報のデプス値が周囲のデプス値よりも手前側の奥行きを示す場合、埋め込み情報が飛び出して適切に見える。

特許文献１に示された方法では、埋め込み位置の決定にデプス値が用いられない。そのため、埋め込み情報のデプス値と、埋め込み位置の周囲のデプス値との関係が適切でない可能性があり、埋め込み情報が適切に見えない可能性がある。さらに、人物の顔が埋め込み位置から除外された場合でも、人物の身体、または、人物が有する物体などの領域に埋め込み位置が設定され、画像が適切に見えない可能性もある。

また、埋め込み情報へのデプス情報の設定が、利用者にとって不便である場合がある。特許文献２では、ユーザインターフェイスを介して、埋め込み情報へデプス情報が付与される。そのため、この機能を利用する度に、利用者がデプス情報を調整する手間が生じる。

そこで、本発明の一態様に係る画像処理装置は、画像を取得する画像取得部と、前記画像内の領域に埋め込まれる埋め込み情報を取得する埋め込み情報取得部と、前記画像の各画素の奥行き値を示すデプス情報を取得するデプス情報取得部と、前記デプス情報を用いて、前記埋め込み情報が埋め込まれる前記領域である埋め込み領域を決定する埋め込み領域決定部とを備える。

これにより、画像処理装置は、情報を埋め込むための領域を適切に決定することができる。

例えば、前記埋め込み領域決定部は、前記デプス情報を用いて、所定の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される前記埋め込み領域を決定してもよい。

これにより、画像処理装置は、奥側の領域を埋め込み領域として決定する。したがって、画像処理装置は、画像の主要な位置が隠れることを回避することができる。

また、例えば、前記画像処理装置は、さらに、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を検出することにより、前記被写体位置を示す被写体位置情報を取得する被写体位置検出部を備え、前記埋め込み領域決定部は、前記デプス情報および前記被写体位置情報を用いて、前記被写体位置の画素の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される前記埋め込み領域を決定してもよい。

これにより、画像処理装置は、所定の被写体よりも奥側の領域を埋め込み領域として決定する。したがって、画像処理装置は、所定の被写体と同等の領域が隠れることを回避することができる。

また、例えば、前記埋め込み領域決定部は、前記デプス情報を用いて、所定の奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される前記埋め込み領域を決定してもよい。

これにより、画像処理装置は、奥行き値の分散の度合いが小さい領域を埋め込み領域として決定する。奥行き値の分散の度合いが小さい領域は、目立たない領域である可能性が高い。したがって、画像処理装置は、目立たない可能性が高い領域を埋め込み領域として決定することができる。

また、例えば、前記埋め込み領域決定部は、前記デプス情報を用いて、出現頻度がピークである奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される前記埋め込み領域を決定してもよい。

これにより、画像処理装置は、出現頻度が高い奥行き値を有する領域を埋め込み領域として決定する。出現頻度が高い奥行き値を有する領域は、目立たない可能性が高い。したがって、画像処理装置は、目立たない可能性が高い領域を埋め込み領域として決定することができる。

また、例えば、前記埋め込み領域決定部は、前記デプス情報を用いて、所定の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される領域であり、出現頻度がピークである奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される領域である前記埋め込み領域を決定してもよい。

これにより、画像処理装置は、目立たない可能性が高い奥側の領域を埋め込み領域として決定することができる。

また、例えば、前記デプス情報取得部は、前記画像の各画素の奥行き値の信頼度を示す情報を含む前記デプス情報を取得してもよい。

これにより、画像処理装置は、画像の各画素のデプス値の信頼度を含むデプス情報を用いて、適切に埋め込み領域を決定することができる。

また、例えば、前記埋め込み領域決定部は、前記デプス情報を用いて、奥行き値の信頼度が所定の信頼度よりも低い画素を含む前記埋め込み領域を決定してもよい。

これにより、画像処理装置は、デプス値の信頼度が低い画素を含む領域を隠すことができる。

また、例えば、前記埋め込み領域決定部は、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を除く領域の中から、前記デプス情報を用いて前記埋め込み領域を決定してもよい。

これにより、画像処理装置は、主要な被写体を除く領域の中から、埋め込み領域を決定することができる。すなわち、画像処理装置は、主要な被写体が隠れることを回避することができる。

また、例えば、前記埋め込み領域決定部は、前記埋め込み情報取得部で取得された前記埋め込み情報の情報量を用いて前記埋め込み領域のサイズを設定し、設定された前記サイズを有する前記埋め込み領域を決定してもよい。

これにより、画像処理装置は、埋め込み情報に基づいて、埋め込み領域のサイズを適切に設定することができる。

また、例えば、前記埋め込み領域決定部は、前記デプス情報を用いて前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を除く領域の中から前記埋め込み領域を決定してもよい。

これにより、埋め込み領域がデプス情報に基づいて決定されない場合でも、画像処理装置は、被写体を除く領域の中から埋め込み領域を決定することができる。

また、例えば、前記画像処理装置は、さらに、前記埋め込み情報の奥行き値を決定する奥行き値決定部と、前記奥行き値決定部で決定された前記奥行き値を用いて前記画像内の前記埋め込み領域に前記埋め込み情報を埋め込む埋め込み部とを備えてもよい。

これにより、画像処理装置は、埋め込み情報に奥行き値を設定することができる。したがって、立体的に観賞される埋め込み情報が得られる。

また、例えば、前記奥行き値決定部は、前記埋め込み情報の奥行き値を、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置の奥行き値と同じ度合いの奥行き値に決定してもよい。

これにより、画像処理装置は、埋め込み情報が被写体と同程度に目立つように、埋め込み情報の奥行き値を設定することができる。

また、例えば、前記奥行き値決定部は、前記デプス情報を用いて前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を除く領域の中から決定される前記埋め込み領域に埋め込まれる前記埋め込み情報の奥行き値を前記被写体位置における奥行き値よりも手前側を示す奥行き値に決定してもよい。

これにより、画像処理装置は、埋め込み情報に目立たない奥行き値が設定されることを回避することができる。

また、例えば、前記被写体位置検出部は、前記画像に含まれる人物の顔の、前記画像における位置を前記被写体位置として検出することにより、前記人物の顔の位置を前記被写体位置として示す前記被写体位置情報を取得してもよい。

これにより、例えば、画像処理装置は、被写体の顔よりも奥側の領域を埋め込み領域として決定する。したがって、画像処理装置は、被写体の顔と同等の領域が隠れることを回避することができる。

また、例えば、前記埋め込み情報取得部は、テキスト、装飾部品、フレーム、および、画像のうち少なくとも１つを含む前記埋め込み情報を取得してもよい。

これにより、画像処理装置は、テキスト、装飾部品、フレームまたは画像等を埋め込むための埋め込み領域を決定することができる。

また、例えば、前記画像処理装置は、さらに、前記画像を表示する表示部を備え、前記表示部は、前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、利用者に前記埋め込み領域が存在しないことを示す通知メッセージを表示してもよい。

これにより、画像処理装置は、埋め込み情報を埋め込むための領域が画像に存在しないことを利用者に通知することができる。

また、例えば、前記埋め込み領域決定部は、前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、前記デプス情報を用いて、前記画像に含まれる所定の被写体が近いか否かを判定し、前記表示部は、前記被写体が近いと判定された場合、前記被写体から離れて前記被写体を撮影することを利用者に促すメッセージを含む前記通知メッセージを表示してもよい。

これにより、画像処理装置は、埋め込み情報を埋め込むための領域が画像に存在しない場合、被写体から離れて被写体を撮影することを利用者に促すことができる。

また、本発明の一態様に係る撮像装置は、前記画像処理装置を備え、前記画像取得部は、被写体を撮影することにより、前記画像を取得する。

これにより、撮像装置は、撮影で得られた画像に埋め込まれる埋め込み情報の領域を適切に決定することができる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図４は、本実施の形態に係る画像処理装置の構成、および、画像処理装置の各構成要素への入力情報を示す。図４の通り、本実施の形態に係る画像処理装置１００は、撮像部１、被写体位置検出部２、埋め込み情報取得部３、デプス情報取得部４、埋め込み領域探索部５、デプス情報設定部６、および、埋め込み部７を有する。

ここで、上記のように、３Ｄ画像を生成する方法として、２種類の方法がある。１つは、ステレオカメラから得られる左右２枚の画像の視差を利用して、３Ｄ画像を生成する方法である。もう１つは、画素毎にカメラから被写体までの距離を計測し、その距離に基づいて３Ｄ画像を生成する方法である。つまり、カメラから被写体までの距離に対応するデプス情報と、平面画像とを組み合わせることで、３Ｄ画像が生成される。

ステレオカメラが用いられる場合、ステレオカメラで被写体を撮影することにより得られる左右２枚の画像に対して、埋め込み情報が埋め込まれる。具体的には、埋め込み領域が決定され、左の画像の埋め込み領域と右の画像の埋め込み領域との違いに応じて埋め込み情報が変形され、変形された埋め込み情報が左右２枚の画像に埋め込まれる。

特に、本実施の形態は、カメラから被写体までの距離に対応するデプス情報と、平面画像とを組み合わせて、３Ｄ画像を生成する方法に適用される。ただし、本実施の形態は、ステレオカメラを用いる方法に適用されてもよい。以下、各構成要素を説明する。

撮像部１は、光線を集めるレンズが組み込まれたレンズユニットと、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子とで構成される。撮像部１は、被写体を撮像して画像を出力する。

被写体位置検出部２は、撮像前（記録前）または撮像後（記録後）の画像、あるいは、その両方の画像を用いて、画像内の主要な被写体の位置（領域）である被写体位置（被写体領域）を検出する。ここで、主要な被写体は、埋め込み情報を被せない方がよい対象物であり、例えば、人物の顔である。また、主要な被写体は、人物以外でもよく、動物でもよいし、構造物などでもよい。本実施の形態において、被写体位置検出部２は、人物の顔（顔領域）を主要な被写体として検出する。

顔領域を検出する方法は、限定されない。一般的な方法が顔領域の検出に用いられてもよい。また、画像内に複数の人物が存在する場合、被写体位置検出部２は、複数の顔領域を検出する。画像内に人物が存在しない場合、被写体位置検出部２は、顔領域が検出不能であると判定する。そして、被写体位置検出部２は、検出結果を埋め込み領域探索部５へ出力する。

埋め込み情報取得部３は、撮像部１で得られた画像に埋め込まれる埋め込み情報を取得する。埋め込み情報には、テキスト、装飾部品、または、撮像部１で得られた画像とは異なる画像などを含んでもよい。

埋め込み情報取得部３は、撮影の直後、または、撮影で得られた画像の編集時に、画像処理装置１００に付属のマイク（図示せず）を介して、音声認識処理を行うことにより、埋め込み情報を取得してもよい。また、埋め込み情報取得部３は、ユーザの入力を受け付ける入力装置（図示せず）を介して、埋め込み情報を取得してもよい。また、埋め込み情報取得部３は、予め用意された複数のテンプレートから、埋め込み情報をユーザに選択させてもよい。

なお、埋め込み情報取得部３が埋め込み情報を取得する方法は、上記の方法に限られず、どのような方法でもよい。

デプス情報取得部４は、撮像前または撮像後の画像、あるいは、その両方の画像に対応するデプス情報を取得し、デプス情報を埋め込み領域探索部５へ出力する。デプス情報は、画像内の各画素の奥行き値（デプス値）を含む。

デプス情報を取得する方法には、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）でデプス情報を取得する方法、あるいは、ＤＦＦ（Ｄｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓ）およびＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）のように複数の画像を用いてデプス情報を取得する方法がある。デプス情報は、いずれの方法で取得されてもよい。

また、取得されたデプス情報がデプスマップとして表される場合、デプスマップのサイズは、撮影画像のサイズと同じである方がよいが、撮影画像のサイズよりも小さくてもよい。つまり、デプスマップの解像度が、撮影画像の解像度よりも低くてもよい。また、デプスマップにおいて奥行きの度合いの階調数（図２のハッチングの濃さの階調数）は、距離の分解能の観点から８〜１６程度である方がよいが、それ以下でもよい。本実施の形態では、奥行きの度合いの階調数は２５６であり、デプス値は、０〜２５５で表される。

埋め込み領域探索部５は、埋め込み情報を埋め込むための埋め込み領域を探索する。以下に、図５Ａ、図６Ａ、図７Ａおよび図８Ａのデプスマップが得られた場合の埋め込み領域の探索方法の例を示す。しかし、埋め込み領域の探索方法は、以下の探索方法に限られず、他の探索方法が用いられてもよい。

埋め込み領域探索部５は、被写体位置検出部２から得られる被写体位置情報と、デプス情報取得部４から得られるデプス情報とを用いて、埋め込み領域を探索する。埋め込み領域の探索において、埋め込み領域探索部５は、まず、被写体位置情報から被写体位置を取得し、デプス情報から被写体位置のデプス値を取得する。

図５Ｂは、被写体位置（被写体領域）のデプス範囲を示す。図５Ｂに示されたデプス範囲Ａは、被写体位置検出部２で被写体位置として検出された位置（すなわち、本実施の形態では、顔の位置）におけるデプス値の範囲を示す。埋め込み領域探索部５は、デプス情報を用いて、被写体位置のデプス値がデプス範囲Ａであることを特定する。そして、埋め込み領域探索部５は、被写体位置のデプス値よりも奥側のデプス範囲Ｂのデプス値を有する複数の画素で構成される探索領域から埋め込み領域を探索する（図５Ｃ）。

埋め込み情報自体のデプス値は、主要な被写体のデプス値と同程度である方がよい。そして、埋め込み領域の周辺のデプス値は、埋め込み情報のデプス値よりも奥側を示している方がよい。したがって、被写体位置のデプス値よりも奥側のデプス範囲Ｂに対応する探索領域から埋め込み領域を探索する。

ここで、被写体位置検出部２は、人の顔を検出しているので、人の体は検出されない。しかし、顔のデプス値と体のデプス値とは、同程度である。したがって、埋め込み領域探索部５は、顔のデプス値と同程度のデプス値を有する領域を除外することで、体の領域も埋め込み領域から排除することができる。すなわち、デプス値を用いることで、より適切な埋め込み領域の設定が可能である。

また、図５Ｂでは、被写体領域のデプス値を含むデプス範囲Ａと、探索領域のデプス値を含むデプス範囲Ｂとの間に、わずかな区間が存在する。この区間の幅が大きければ大きいほど、埋め込み情報のデプス値と埋め込み情報の周辺のデプス値との間に大きな差が設定される。そして、差が大きいほど、埋め込み情報が飛び出して見える。この区間の幅は埋め込み情報の目立ちやすさを決めるパラメータであり、任意に設定可能である。

埋め込み領域探索部５は、図５Ｃのように設定された探索領域内で、適切な画素数を有する領域を埋め込み領域として設定する。埋め込み領域は、図５Ｄのように矩形でもよいし、矩形でなくてもよい。また、埋め込み領域探索部５は、埋め込み領域の重心と、被写体位置検出部２で検出された複数の被写体位置の重心とが所定の範囲に含まれるように、埋め込み領域を探索してもよい。また、埋め込み領域は、埋め込み情報が画像に占めるサイズを有する矩形領域でもよいし、円形の形状でもよいし、埋め込み情報に含まれる形状を示すマスクでもよい。

また、埋め込み領域探索部５は、デプス範囲Ｂのうち、デプス値が一定のデプス範囲内に収まっている領域、または、出現頻度が最も高いデプス値を含むデプス範囲内に収まっている領域等を埋め込み領域として選択してもよい。これは、画像に主要な被写体（人物の顔）以外の他の被写体（壁または物）が存在する場合、埋め込み情報は、他の被写体に被らない方が見やすい場合があるためである。以下、図６Ａ〜図６Ｃを用いて詳しく説明する。

図６Ａは、人物と人物以外の物（この例では机）が入り込んでいる画像のデプスマップを示す。図６Ｂは、デプス値を横軸として用い、画素数を縦軸として用いて、図６Ａのデプスマップに含まれるデプス値のヒストグラムを示す。

図６Ａのように、人物以外の物が入り込んでいる場合、埋め込み領域探索部５は、図６Ｂのヒストグラムに示されるデプス範囲Ａ（被写体領域）よりも奥側のデプス範囲Ｂの領域を第１探索領域として設定する。次に、埋め込み領域探索部５は、デプス範囲Ｂのうち、画素数がピーク（極大値）であるデプス値を含むデプス範囲Ｄの領域を第２探索領域として設定する。

この例のように、被写体領域よりも奥側の領域である第１探索領域（デプス範囲Ｂ）内に複数の物体がある場合、埋め込み領域探索部５は、第２探索領域（デプス範囲Ｄ）で埋め込み領域を探索した方がよい。

最も奥側のピークを示すデプス値を含むデプス範囲Ｄに対応する第２探索領域は、背景の領域と推定される。したがって、埋め込み領域探索部５は、第２探索領域の中から埋め込み領域を設定することにより、背景の領域の中から埋め込み領域を設定することができる。

図６Ｃは、第２探索領域から探索された埋め込み領域を示す。すなわち、図６Ｃでは、机の領域が埋め込み領域から排除される。よって、埋め込み領域探索部５は、画像においてデプス値の変化が平坦である領域を埋め込み領域として適切に設定できる。

また、図７Ａのデプスマップに対応する画像が撮像部１で得られた場合、複数の人物が画像に存在するため、埋め込み領域の探索領域が狭い（図７Ｂ）。このような場合、適切な大きさの埋め込み領域を設定できない可能性がある。そのため、埋め込み領域探索部５は、被写体位置検出部２で得られた特に重要な被写体位置である顔位置を除いて、顔位置以外の探索領域（図７Ｃ）から埋め込み領域（図７Ｄ）を設定してもよい。

また、事前に特定の領域が画像処理装置１００の表示部（図示せず）に表示されてもよい。そして、画像処理装置１００は、特定の領域に人物が写らないようにユーザに注意を促しながら、撮像部１で撮像を行い、この事前に決められた特定の領域を埋め込み領域として設定してもよい。

また、図８Ａのように、画像の大部分を人物の顔が占める場合、適切な埋め込み領域を設定することが難しい。この場合、図８Ｂのように、画像処理装置１００は、埋め込み領域を設定できないことを表示部にＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）として表示してユーザに伝え、再度撮影を促してもよい。

その際、画像処理装置１００は、デプス情報を用いて、撮像部１から被写体までの距離が近いか否かを判定し、近い場合には離れて撮影し直すことを表示部にＯＳＤとして表示してもよい。また、その際、画像処理装置１００は、図８Ｃのように、画像サイズを補正することを促すようなメッセージを表示し、図８Ｄのように埋め込み領域を確保してもよい。

デプス情報設定部６は、埋め込み情報のデプス値を設定する。図５Ｄおよび図６Ｃのように、被写体位置のデプス値よりも奥側のデプス値を有する埋め込み領域が設定された場合、デプス情報設定部６は、図５Ｂのデプス範囲Ｃに含まれるデプス値を設定し、人物の領域と同程度のデプス値を埋め込み情報に付与する。

図７Ｄのように、人物領域と同程度のデプス値を含む埋め込み領域が設定された場合、埋め込み情報が目立たない状態に陥ることを避けるため、デプス情報設定部６は、図７Ｅのように、被写体領域のデプス範囲Ａよりも手前のデプス範囲Ｅからデプス値を決定する。そして、デプス情報設定部６は、決定されたデプス値を埋め込み情報に付与する（図７Ｆ）。

図８Ｄのように、埋め込み領域が設定された場合、デプス情報設定部６は、埋め込み領域のデプス値を、補正された画像のデプス値と、同等もしくはそれ以下（奥側）に設定してもよい。そして、デプス情報設定部６は、埋め込み情報のデプス値を、埋め込み領域のデプス値よりも高く（手前側に）設定してもよい。

埋め込み部７は、撮像部１で得られた画像と、埋め込み情報取得部３で得られた埋め込み情報と、デプス情報取得部４で得られたデプス情報と、埋め込み領域探索部５で得られた埋め込み領域と、デプス情報設定部６で付与されたデプス値とを用いて、埋め込み後のデプス情報と、埋め込み後の画像とを出力する。

埋め込み後のデプス情報は、デプス情報取得部４で得られたデプス情報と、デプス情報設定部６で得られたデプス値とを合成することで生成される（図３Ｃおよび図７Ｆ等）。同様に、埋め込み後の画像も、撮像部１で得られた画像と、埋め込み情報取得部３で得られた埋め込み情報とを合成することで生成される。

なお、図３Ａ〜図８Ｄでは、埋め込み情報取得部３で得られた埋め込み情報が、テキスト情報として示されているが、埋め込み情報は、テキスト情報に限られない。例えば、図９Ａのように、画像処理装置１００は、テキスト情報に加えて、画像処理装置１００に予め設定された装飾部品またはフレームなどの埋め込み画像を埋め込み情報として撮影画像に貼り付けてもよい。この場合、画像処理装置１００は、テキスト情報と同様の基準で埋め込み画像のデプス値を設定し、撮影画像に埋め込み画像を埋め込んでもよい。

また、図９Ｂのように、画像処理装置１００は、テキスト情報を埋め込む際、その背景として装飾フレームを配置してもよい。そして、画像処理装置１００は、装飾フレームのデプス値が人物のデプス値とテキスト情報のデプス値との間に設定されるように、装飾フレームのデプス値、および、テキスト情報のデプス値を設定してもよい。そして、画像処理装置１００は、装飾フレームおよびテキスト情報が埋め込まれた画像を生成してもよい。

また、埋め込み情報のデプス値は、一定の値でなくてもよい。例えば、画像処理装置１００は、画像処理装置１００に予め登録された言葉がより飛び出して見えるように、デプス値を設定してもよい（図９Ｃ）。また、画像処理装置１００は、音声認識を用いて埋め込み情報を埋め込む場合、大きな声ほど埋め込み情報が飛び出して見えるように音声のパワーに応じて埋め込み情報のデプス値を設定してもよい（図９Ｄ）。

また、上記では、静止画像への埋め込みが示されているが、同様の処理をフレーム毎に行うことで、動画への埋め込みも可能である。動画への埋め込みにおいて、埋め込み領域探索部５は、埋め込み領域の位置が複数のフレームにおいて大きく変わらないように、埋め込み領域の位置を調整してもよい。

次に、図１０Ａおよび図１０Ｂを用いて、図４に示された画像処理装置１００の動作を説明する。図１０Ａは、全体の処理の流れを示す図であり、図１０Ｂは、埋め込み領域を探索する処理（図１０ＡのＳ１０５）の流れを示す図である。

撮像部１は、被写体を撮影することにより画像を生成する（Ｓ１０１）。被写体位置検出部２は、撮像部１で得られた画像を用いて、被写体の位置（人物の顔の位置など）を検出する（Ｓ１０２）。埋め込み情報取得部３は、音声情報またはユーザからの入力等に基づいて、埋め込み情報を取得する（Ｓ１０３）。デプス情報取得部４は、撮像部１で得られた画像に対応するデプス情報を取得する（Ｓ１０４）。

埋め込み領域探索部５は、デプス情報取得部４で得られたデプス情報を用いて、被写体位置検出部２で得られた被写体位置のデプス値を取得し、被写体位置のデプス値よりも奥側の領域を特定する（Ｓ２０１）。

また、埋め込み領域探索部５は、埋め込み情報取得部３で得られた埋め込み情報に基づいて、埋め込み情報が埋め込まれる埋め込み領域の矩形サイズを設定する（Ｓ２０２）。

例えば、埋め込み情報がテキスト情報である場合、埋め込み領域探索部５は、埋め込み情報のフォントサイズ、行数、および、配置の方向（縦または横）などの予め設定された複数の設定項目の組み合せに基づいて、矩形サイズの複数の候補を設定してもよい。また、埋め込み情報が、装飾部品または画像である場合、埋め込み領域探索部５は、予め設定された複数の拡大／縮小率に基づいて、矩形サイズの複数の候補を設定してもよい。そして、埋め込み領域探索部５は、このような複数の候補から矩形サイズを選択してもよい。

埋め込み領域探索部５は、設定された条件を満たす埋め込み領域を探索領域から探索する（Ｓ２０３）。そして、埋め込み領域探索部５は、設定された条件を満たす埋め込み領域が見つかったか否かを判定する（Ｓ２０４）。

ここで、埋め込み領域探索部５は、設定された条件を満たす埋め込み領域が見つかった場合、埋め込み領域が存在すると判定して、埋め込み領域の探索を終了する。設定された条件を満たす埋め込み領域が見つからなかった場合、埋め込み領域探索部５は、設定された矩形サイズの全ての候補で埋め込み領域を探索したか否かを判定する（Ｓ２０５）。埋め込み領域探索部５は、未探索の候補が残っている場合、再び未探索の候補を探索条件として設定して埋め込み領域を探索する（Ｓ２０２およびＳ２０３）。

埋め込み領域探索部５は、矩形サイズの全ての候補で埋め込み領域が探索されている場合、デプス情報を用いずに、顔領域以外の全ての領域を探索領域（図７Ｃ参照）として探索したか否かを判定する（Ｓ２０６）。

すなわち、初めに、埋め込み領域探索部５は、検出された顔領域とデプス情報とを用いて埋め込み領域を探索する。その際、人物の体の領域等も探索領域から排除される。そして、条件を満たす埋め込み領域が見つからない場合、埋め込み領域探索部５は、探索領域を広げる。

埋め込み領域探索部５は、既に顔領域以外の探索領域で埋め込み領域を探索している場合、埋め込み領域が存在しないと判定し（Ｓ２０９）、埋め込み領域の探索を終了する。埋め込み領域探索部５は、まだ顔領域以外の探索領域で埋め込み領域を探索していない場合、被写体位置情報を用いて顔領域以外の全ての領域を探索領域に設定する（Ｓ２０７）。そして、埋め込み領域探索部５は、再び、矩形サイズを設定して、埋め込み領域を探索する（Ｓ２０２およびＳ２０３）。

上記の手順で、埋め込み領域探索部５は、埋め込み領域を探索して（Ｓ１０５）、埋め込み領域が存在するか否かを判定する（Ｓ１０６）。埋め込み領域が存在しないと判定された場合、画像処理装置１００は、埋め込み領域が存在しないことをＯＳＤとして表示して、利用者に再撮影を促す（Ｓ１０７）（図８Ｂ参照）。埋め込み領域が存在すると判定された場合、デプス情報設定部６は、埋め込み情報にデプス情報を設定する（Ｓ１０８）。

デプス情報設定部６は、埋め込み情報を埋め込む位置の周囲のデプス値を参照して、埋め込み情報のデプス値を設定してもよい。デプス情報設定部６は、周囲のデプス値が人物領域よりも奥側を示す場合、埋め込み情報のデプス値を人物領域と同程度に設定する。デプス情報設定部６は、周囲のデプス値が人物領域と同程度の奥行きを示す場合、人物領域のデプスよりも手前を示すデプス値を埋め込み情報に設定する。埋め込み部７は、埋め込み情報にデプス情報が設定された後、埋め込み情報を埋め込む（Ｓ１０９）。

以上、本実施の形態に係る画像処理装置１００は、デプス情報を用いて、埋め込み情報が埋め込まれる位置および埋め込み情報のデプス値を設定する。そのため、ユーザに余計な操作を強いることなく、より適切な位置に埋め込み情報が表示される。

なお、本実施の形態では、デプス情報を表すための形式に、画像として表現されるデプスマップが用いられている。しかし、デプス情報を表すための形式は、このようなデプスマップに限られない。デプス情報を表すための形式に、その他の形式が用いられてもよい。

（実施の形態２）
本実施の形態に係る画像処理装置は、埋め込み領域の決定に、デプス値の信頼度を用いる。

図１１は、本実施の形態に係る画像処理装置の構成図である。以下、図４に示された構成要素と同様の構成要素に同じ符号を用いて説明を省略し、図４に示された構成要素とは異なる構成要素を主に説明する。図１１の通り、本実施の形態に係る画像処理装置２００は、実施の形態１に係る画像処理装置１００と比較して、デプス信頼度取得部８を追加の構成要素として備える。

デプス信頼度取得部８は、デプス情報取得部４で得られたデプスマップの信頼度であるデプスマップ信頼度を取得する。デプス情報取得部４で得られたデプスマップは、通常、誤差を含む。デプスマップの精度に関する信頼性は、デプスマップを取得する方法によって変動する。デプス情報取得部４が、全ての画素のうちのいくつかについて、正しい距離情報を取得できない場合もある。そのため、デプス信頼度取得部８は、デプスマップの誤差を推定するため、デプスマップの信頼度を画素毎に算出する。

例えば、デプス情報取得部４は、ステレオカメラの左右の画像からデプスマップを生成する際、左の画像と右の画像との対応関係を、画素単位またはブロック単位での画素値の差分を用いて、求める。差分が小さい場合、左右の２つの画像の間において、画素またはブロックの一致度は高い。この場合、デプス信頼度取得部８は、その画素またはブロックのデプス値の信頼度が高いと判定する。一方、差分が大きい場合、デプス信頼度取得部８は、その画素またはブロックのデプス値の信頼度が低いと判定する。

すなわち、デプス信頼度取得部８は、左の画像の画素値と、右の画像の画素値との差分に基づいて、差分が小さいほど高い信頼度を算出する。

また、例えば、デプス信頼度取得部８は、デプス値が所定の範囲内でない場合、信頼度が低いと判定してもよい。この場合、デプス信頼度取得部８は、画像の各画素のデプス値に基づいて、所定の範囲からの乖離が大きいほど低い信頼度を算出する。また、デプス信頼度取得部８は、隣接画素間において、デプス値の差が大きい場合、信頼度が低いと判定してもよい。この場合、デプス信頼度取得部８は、差の大きさに基づいて、差が大きいほど低い信頼度を算出する。

図１２Ａは、デプス情報取得部４で得られたデプスマップを示す。図１２Ａに示されたデプスマップは、人物の付近にいくつかのデプス値の誤りを含む。図１２Ｂは、図１２Ａに示されたデプスマップに対応するデプスマップ信頼度を示す。

図１２Ｂのデプスマップ信頼度は、白ければ白いほど（ハッチングが薄いほど）その画素位置のデプス値の信頼度が高く、黒ければ黒いほど（ハッチングが濃いほど）その画素位置のデプス値の信頼度が低いことを示す。デプス値の信頼度が低い場合、デプス値が誤りである可能性が高い。デプス信頼度取得部８は、図１２Ｂのようなデプスマップ信頼度を取得し、埋め込み領域探索部５へ出力する。

埋め込み領域探索部５は、デプスマップ信頼度を用いて、デプス値の信頼度の低い領域を優先的に埋め込み領域として決定する。ただし、被写体位置検出部２で得られた被写体位置（人物の顔の位置など）のデプス値の信頼度が低い場合でも、埋め込み領域探索部５は、被写体位置を避けて埋め込み領域を決定してもよい。また、埋め込み領域探索部５は、デプス値の信頼度が低い領域の重心位置を検出し、その重心位置が埋め込み領域の中心に一致するように、埋め込み領域の位置、サイズおよび形状を決定してもよい。

図１２Ｃおよび図１２Ｄは、図１２Ｂに示されたデプスマップ信頼度を用いて決定された埋め込み領域に埋め込み情報が埋め込まれた状態を示す。このように、デプス値の信頼度の低い領域に優先的に埋め込み情報が埋め込まれる。したがって、デプス値にエラーがある可能性の高い領域が隠される。すなわち、画像処理装置２００は、３Ｄ画像として不適切な領域を隠すことにより、適切な３Ｄ画像を生成することができる。

以上、本実施の形態に係る画像処理装置２００は、埋め込み情報の埋め込み位置をデプス値の信頼度が低い領域に設定することで、適切な３Ｄ画像を生成することができる。

なお、本実施の形態では、デプス値の信頼度を表すための形式に、画像として表現されるデプスマップ信頼度が用いられている。しかし、デプス値の信頼度を表すための形式は、このような形式に限られない。デプス値の信頼度を表すための形式に、その他の形式が用いられてもよい。

また、実施の形態１と実施の形態２とが組み合わされてもよい。例えば、奥側の領域のうち、信頼度が低い領域が、埋め込み領域として設定されてもよい。また、信頼度が低い領域が存在しない場合に、奥側の領域が埋め込み領域として設定されてもよい。実施の形態１および実施の形態２で示された埋め込み領域に関する様々な条件を組み合わせることが可能である。

（実施の形態３）
本実施の形態は、実施の形態１および実施の形態２で示された特徴的な構成および手順を確認的に示す。

図１３は、本実施の形態に係る画像処理装置の構成図である。図１３の通り、本実施の形態に係る画像処理装置１１０は、画像取得部１１、埋め込み情報取得部１３、デプス情報取得部１４、および、埋め込み領域決定部１５を備える。

画像取得部１１は、画像を取得する。例えば、画像取得部１１は、実施の形態１および実施の形態２に係る撮像部１に対応する。

埋め込み情報取得部１３は、埋め込み情報を取得する。埋め込み情報は、画像内の領域に埋め込まれる情報である。例えば、埋め込み情報取得部１３は、実施の形態１および実施の形態２に係る埋め込み情報取得部３に対応する。

デプス情報取得部１４は、デプス情報を取得する。デプス情報は、画像の各画素の奥行き値を示す。例えば、デプス情報取得部１４は、実施の形態１および実施の形態２に係るデプス情報取得部４に対応する。

埋め込み領域決定部１５は、デプス情報を用いて、埋め込み領域を決定する。埋め込み領域は、埋め込み情報が埋め込まれる領域である。例えば、埋め込み領域決定部１５は、実施の形態１および実施の形態２に係る埋め込み領域探索部５に対応する。

図１４は、図１３に示された画像処理装置１１０の動作を示すフローチャートである。まず、画像取得部１１は、画像を取得する（Ｓ３０１）。次に、埋め込み情報取得部１３は、埋め込み情報を取得する（Ｓ３０２）。次に、デプス情報取得部１４は、デプス情報を取得する（Ｓ３０３）。最後に、埋め込み領域決定部１５は、デプス情報を用いて、埋め込み領域を決定する（Ｓ３０４）。

上記の構成および手順により、画像処理装置１１０は、情報を埋め込むための領域を適切に決定することができる。

（実施の形態４）
本実施の形態は、実施の形態３と同様に、実施の形態１および実施の形態２で示された特徴的な構成および手順を確認的に示す。実施の形態３と比較して、本実施の形態には、任意に追加される構成および手順が含まれる。

図１５は、本実施の形態に係る画像処理装置の構成図である。図１５の通り、本実施の形態に係る画像処理装置１２０は、画像取得部２１、被写体位置検出部２２、埋め込み情報取得部２３、デプス情報取得部２４、埋め込み領域決定部２５、奥行き値決定部２６、埋め込み部２７、および、表示部２８を備える。

画像取得部２１は、画像を取得する。例えば、画像取得部２１は、実施の形態１に係る撮像部１、実施の形態２に係る撮像部１、および、実施の形態３に係る画像取得部２１に対応する。

被写体位置検出部２２は、被写体位置を検出することにより、被写体位置を示す被写体位置情報を取得する。被写体位置は、画像に含まれる所定の被写体の、画像における位置である。例えば、被写体位置検出部２２は、実施の形態１に係る被写体位置検出部２、および、実施の形態２に係る被写体位置検出部２に対応する。

埋め込み情報取得部２３は、埋め込み情報を取得する。埋め込み情報は、画像内の領域に埋め込まれる情報である。例えば、埋め込み情報取得部２３は、実施の形態１に係る埋め込み情報取得部３、実施の形態２に係る埋め込み情報取得部３、および、実施の形態３に係る埋め込み情報取得部１３に対応する。

デプス情報取得部２４は、デプス情報を取得する。デプス情報は、画像の各画素の奥行き値を示す。例えば、デプス情報取得部２４は、実施の形態１に係るデプス情報取得部４、実施の形態２に係るデプス情報取得部４、および、実施の形態３に係るデプス情報取得部１４に対応する。

埋め込み領域決定部２５は、デプス情報を用いて、埋め込み領域を決定する。埋め込み領域は、埋め込み情報が埋め込まれる領域である。例えば、埋め込み領域決定部２５は、実施の形態１に係る埋め込み領域探索部５、実施の形態２に係る埋め込み領域探索部５、および、実施の形態３に係る埋め込み領域決定部１５に対応する。

奥行き値決定部２６は、埋め込み情報の奥行き値を決定する。奥行き値決定部２６は、実施の形態１に係るデプス情報設定部６、および、実施の形態２に係るデプス情報設定部６に対応する。

埋め込み部２７は、奥行き値決定部２６で決定された奥行き値を用いて埋め込み領域に埋め込み情報を埋め込む。埋め込み部２７は、実施の形態１に係る埋め込み部７、および、実施の形態２に係る埋め込み部７に対応する。

表示部２８は、画像を表示する。表示部２８は、画像取得部２１で取得された画像を表示してもよいし、埋め込み部２７によって埋め込み情報が埋め込まれた画像を表示してもよい。表示部２８は、実施の形態１に係るＯＳＤを表示してもよい。

図１６は、図１５に示された画像処理装置１２０の動作を示すフローチャートである。まず、画像取得部２１は、画像を取得する（Ｓ４０１）。次に、埋め込み情報取得部２３は、埋め込み情報を取得する（Ｓ４０２）。次に、デプス情報取得部２４は、デプス情報を取得する（Ｓ４０３）。次に、被写体位置検出部２２は、被写体位置を検出することにより、被写体位置を示す被写体位置情報を取得する（Ｓ４０４）。

次に、埋め込み領域決定部２５は、デプス情報を用いて、埋め込み領域を決定する（Ｓ４０５）。次に、奥行き値決定部２６は、埋め込み情報の奥行き値を決定する（Ｓ４０６）。次に、埋め込み部２７は、奥行き値決定部２６で決定された奥行き値を用いて埋め込み領域に埋め込み情報を埋め込む（Ｓ４０７）。最後に、表示部２８は、埋め込み部２７によって埋め込み情報が埋め込まれた画像を表示する（Ｓ４０８）。

上記の構成および手順により、画像処理装置１２０は、情報を埋め込むための領域を適切に決定することができる。

なお、埋め込み領域決定部２５は、デプス情報および被写体位置情報を用いて、埋め込み領域を決定してもよい。また、埋め込み領域決定部２５は、所定の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される領域を埋め込み領域として決定してもよい。所定の奥行き値は、被写体位置の画素の奥行き値でもよい。

埋め込み領域決定部２５は、所定の奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される領域を埋め込み領域として決定してもよい。所定の奥行き値は、出現頻度がピークである奥行き値でもよいし、出現頻度が最も奥側のピークである奥行き値でもよい。埋め込み領域決定部２５は、所定の奥行き値よりも奥側を示す奥行き値を有する複数の画素のうち、出現頻度がピークである奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される領域を埋め込み領域として決定してもよい。

デプス情報取得部２４は、画像の各画素の奥行き値の信頼度を示す情報を含むデプス情報を取得してもよい。また、埋め込み領域決定部２５は、奥行き値の信頼度が所定の信頼度よりも低い画素を含む領域を埋め込み領域として決定してもよい。

埋め込み領域決定部２５は、埋め込み情報取得部２３で取得された埋め込み情報の情報量を用いて埋め込み領域のサイズを設定してもよい。そして、埋め込み領域決定部２５は、設定されたサイズを有する埋め込み領域を決定してもよい。

埋め込み領域決定部２５は、被写体位置を除く領域の中から、デプス情報を用いて埋め込み領域を決定してもよい。埋め込み領域決定部２５は、デプス情報を用いて埋め込み領域を決定するために用いられる条件を満たす埋め込み領域が存在しない場合、被写体位置を除く領域の中から埋め込み領域をデプス情報によらずに決定してもよい。この場合、奥行き値決定部２６は、埋め込み情報の奥行き値を被写体位置における奥行き値よりも手前側を示す奥行き値に決定してもよい。

奥行き値決定部２６は、埋め込み情報の奥行き値を被写体位置の奥行き値と同じ度合いの奥行き値に決定してもよい。奥行き値決定部２６は、埋め込み情報の奥行き値を被写体位置の奥行き値から所定の範囲内の奥行き値に決定してもよい。

被写体は、人物の顔でもよい。埋め込み情報は、テキスト、装飾部品、フレーム、および、画像のうち少なくとも１つを含んでもよい。

表示部２８は、埋め込み領域を決定するために用いられる条件を満たす埋め込み領域が存在しない場合、利用者に埋め込み領域が存在しないことを示す通知メッセージを表示してもよい。

表示部２８は、被写体から離れて被写体を撮影することを利用者に促すメッセージを含む通知メッセージを表示してもよい。表示部２８は、埋め込み領域を決定するために用いられる条件を満たす埋め込み領域が存在しない場合、かつ、被写体位置の画素の奥行き値が所定の奥行き値よりも手前側を示す場合、このような通知メッセージを表示してもよい。

埋め込み領域決定部２５は、埋め込み領域を決定するために用いられる条件を満たす埋め込み領域が存在しない場合、デプス情報を用いて、画像に含まれる所定の被写体が近いか否かを判定してもよい。例えば、埋め込み領域決定部２５は、被写体位置の画素の奥行き値が所定の奥行き値よりも手前を示す場合、被写体が近いと判定する。表示部２８は、被写体が近いと判定された場合、被写体から離れて被写体を撮影することを利用者に促すメッセージを含む通知メッセージを表示してもよい。

画像処理装置１２０は、カメラ等の撮像装置でもよいし、撮像装置の一部でもよい。画像取得部２１は、被写体を撮影することにより、画像を取得してもよい。

なお、本発明に係る態様は、装置として実現されてもよいし、その装置を構成する処理部をステップとして含む方法として実現されてもよい。また、本発明に係る態様は、それらのステップをコンピュータに実行させるためのプログラムとして実現されてもよいし、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体として実現されてもよい。

また、本発明に係る態様は、そのプログラムを示す情報、データまたは信号として実現されてもよい。そして、それらプログラム、情報、データおよび信号は、インターネット等の通信ネットワークを介して配信されてもよい。

（その他の変形例）
本発明に係る態様は、上記の複数の実施の形態に限定されない。本発明に係る態様は、以下の態様でもよい。

（１）上記の画像処理装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。

ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、画像処理装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードを複数個組み合わせて構成される。

（２）上記の画像処理装置を構成する複数の構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）で構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭおよびＲＡＭなどを含めて構成されるコンピュータシステムである。

ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の画像処理装置を構成する構成要素の一部または全部は、画像処理装置に脱着可能なＩＣカードまたは単体のモジュールで構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭおよびＲＡＭなどで構成されるコンピュータシステムである。

ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含んでもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。ＩＣカードまたはモジュールは、耐タンパ性を有してもよい。

（４）本発明に係る態様は、上記に示す方法でもよい。また、本発明に係る態様は、この方法をコンピュータにより実現するコンピュータプログラムでもよいし、コンピュータプログラムを構成するデジタル信号でもよい。

また、本発明に係る態様は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、または、半導体メモリなどに記録されてもよい。また、本発明に係る態様は、これらの記録媒体に記録されているデジタル信号でもよい。

また、本発明に係る態様は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線通信回線、有線通信回線、インターネットに代表されるネットワーク、または、データ放送等を経由して伝送する構成でもよい。

また、本発明に係る態様は、マイクロプロセッサとメモリを備えるコンピュータシステムでもよい。そして、メモリは、上記のコンピュータプログラムを記憶していてもよいし、マイクロプロセッサは、コンピュータプログラムに従って動作してもよい。

また、プログラムまたはデジタル信号は、記録媒体に記録されて移送されてもよいし、ネットワーク等を経由して移送されてもよい。そして、本発明に係る態様は、独立した他のコンピュータシステムにより実施されてもよい。

（５）上記の実施の形態および上記の変形例を組み合わせてもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、画像を取得し、前記画像内の領域に埋め込まれる埋め込み情報を取得し、前記画像の各画素の奥行き値を示すデプス情報を取得し、前記デプス情報を用いて、前記埋め込み情報が埋め込まれる前記領域である埋め込み領域を決定する画像処理方法を実行させる。

また、各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

以上、本発明の一つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

例えば、上記の各実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

本発明は、画像への情報の埋め込みに有用であり、例えば、デジタルスチルカメラ、デジタルビデオカメラ、民生用または業務用の撮像装置、デジタルフォトフレーム、テレビジョン受像機、携帯端末または携帯電話等に利用可能である。

１ 撮像部
２、２２ 被写体位置検出部
３、１３、２３ 埋め込み情報取得部
４、１４、２４ デプス情報取得部
５ 埋め込み領域探索部
６ デプス情報設定部
７、２７ 埋め込み部
８ デプス信頼度取得部
１１、２１ 画像取得部
１５、２５ 埋め込み領域決定部
２６ 奥行き値決定部
２８ 表示部
１００、１１０、１２０、２００ 画像処理装置

Claims (19)

1. 画像を取得する画像取得部と、
   前記画像内の領域に埋め込まれる埋め込み情報を取得する埋め込み情報取得部と、
   前記画像の各画素の奥行き値を示すデプス情報を取得するデプス情報取得部と、
   前記デプス情報を用いて、前記埋め込み情報が埋め込まれる前記領域である埋め込み領域を決定する埋め込み領域決定部とを備え、
   前記埋め込み領域決定部は、前記デプス情報を用いて、所定の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される前記埋め込み領域を決定する
   画像処理装置。
2. 前記画像処理装置は、さらに、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を検出することにより、前記被写体位置を示す被写体位置情報を取得する被写体位置検出部を備え、
   前記埋め込み領域決定部は、前記デプス情報および前記被写体位置情報を用いて、前記被写体位置の画素の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される前記埋め込み領域を決定する
   請求項１に記載の画像処理装置。
3. 前記埋め込み領域決定部は、前記デプス情報を用いて、所定の奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される前記埋め込み領域を決定する
   請求項１または３に記載の画像処理装置。
4. 前記埋め込み領域決定部は、前記デプス情報を用いて、出現頻度がピークである奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される前記埋め込み領域を決定する
   請求項１、３および４のいずれか１項に記載の画像処理装置。
5. 前記埋め込み領域決定部は、前記デプス情報を用いて、所定の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される領域であり、出現頻度がピークである奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される領域である前記埋め込み領域を決定する
   請求項１および３〜５のいずれか１項に記載の画像処理装置。
6. 前記デプス情報取得部は、前記画像の各画素の奥行き値の信頼度を示す情報を含む前記デプス情報を取得する
   請求項１および３〜６のいずれか１項に記載の画像処理装置。
7. 前記埋め込み領域決定部は、前記デプス情報を用いて、奥行き値の信頼度が所定の信頼度よりも低い画素を含む前記埋め込み領域を決定する
   請求項７に記載の画像処理装置。
8. 前記埋め込み領域決定部は、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を除く領域の中から、前記デプス情報を用いて前記埋め込み領域を決定する
   請求項１および３〜８のいずれか１項に記載の画像処理装置。
9. 前記埋め込み領域決定部は、前記埋め込み情報取得部で取得された前記埋め込み情報の情報量を用いて前記埋め込み領域のサイズを設定し、設定された前記サイズを有する前記埋め込み領域を決定する
   請求項１および３〜９のいずれか１項に記載の画像処理装置。
10. 前記埋め込み領域決定部は、前記デプス情報を用いて前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を除く領域の中から前記埋め込み領域を決定する
    請求項１および３〜１０のいずれか１項に記載の画像処理装置。
11. 前記画像処理装置は、さらに、
    前記埋め込み情報の奥行き値を決定する奥行き値決定部と、
    前記奥行き値決定部で決定された前記奥行き値を用いて前記画像内の前記埋め込み領域に前記埋め込み情報を埋め込む埋め込み部とを備える
    請求項１および３〜１１のいずれか１項に記載の画像処理装置。
12. 前記奥行き値決定部は、前記埋め込み情報の奥行き値を、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置の奥行き値と同じ度合いの奥行き値に決定する
    請求項１２に記載の画像処理装置。
13. 前記奥行き値決定部は、前記デプス情報を用いて前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を除く領域の中から決定される前記埋め込み領域に埋め込まれる前記埋め込み情報の奥行き値を前記被写体位置における奥行き値よりも手前側を示す奥行き値に決定する
    請求項１２または１３に記載の画像処理装置。
14. 前記被写体位置検出部は、前記画像に含まれる人物の顔の、前記画像における位置を前記被写体位置として検出することにより、前記人物の顔の位置を前記被写体位置として示す前記被写体位置情報を取得する
    請求項３に記載の画像処理装置。
15. 前記埋め込み情報取得部は、テキスト、装飾部品、フレーム、および、画像のうち少なくとも１つを含む前記埋め込み情報を取得する
    請求項１および３〜１５のいずれか１項に記載の画像処理装置。
16. 前記画像処理装置は、さらに、前記画像を表示する表示部を備え、
    前記表示部は、前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、利用者に前記埋め込み領域が存在しないことを示す通知メッセージを表示する
    請求項１および３〜１６のいずれか１項に記載の画像処理装置。
17. 前記埋め込み領域決定部は、前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、前記デプス情報を用いて、前記画像に含まれる所定の被写体が近いか否かを判定し、
    前記表示部は、前記被写体が近いと判定された場合、前記被写体から離れて前記被写体を撮影することを利用者に促すメッセージを含む前記通知メッセージを表示する
    請求項１７に記載の画像処理装置。
18. 請求項１および３〜１８のいずれか１項に記載の画像処理装置を備え、
    前記画像取得部は、被写体を撮影することにより、前記画像を取得する
    撮像装置。
19. 画像を取得し、
    前記画像内の領域に埋め込まれる埋め込み情報を取得し、
    前記画像の各画素の奥行き値を示すデプス情報を取得し、
    前記デプス情報を用いて、前記埋め込み情報が埋め込まれる前記領域である埋め込み領域を決定する
    ことを含み、
    前記埋め込み領域の決定では、前記デプス情報を用いて、所定の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される前記埋め込み領域を決定する
    画像処理方法。

Images