JP5922517B2 - 撮影機能を有する電子機器 - Google Patents

Description

この発明は、撮影機能を有する電子機器に関する。

旅先で三脚がなかったり、近くに撮影操作を依頼する第３者が存在していなかったりした場合には、撮影者は、自分を含めた撮影ができず、風景だけの撮影画像になったり、グループの場合には、撮影者が一人欠けた撮影画像となってしまう。また、卒業記念写真の撮影日に、急に参加できなくなった人は、同級生と一緒に撮影されない。

特許文献１（特開２０１０−１６１５２６号公報）には、この問題を解決したデジタルカメラが提案されている。この特許文献１においては、２回の撮影操作に応じて取得した第１の画像と第２の画像から、第３の画像を生成して、その第３の画像を撮影画像として記録する。例えば、１回目の撮影の際に撮影者であった者のみを、２回目の撮影において、１回目の撮影時と同じ画角位置で撮影する。そして、２回目の撮影においてピントが合っている１回目の撮影の撮影者を含む部分を部分画像として切り出し、１回目の撮影画像に上書き合成する。

これにより、特許文献１によれば、三脚を使用したり第３者に撮影依頼をしたりすることなく、撮影者を含めた記念写真等を容易に得ることができる。

特開２０１０−１６１５２６号公報

上記の課題を解決するために、この発明は、
カメラ部と、
前記カメラ部により撮影された撮影画像に合成して記録しようとする合成用オブジェクトのデータを取得する合成用オブジェクトデータ取得手段と、
前記合成用オブジェクトデータ取得手段で前記データを取得した前記合成用オブジェクトに対する、前記撮影画像への挿入位置の指定情報を少なくとも含む調整制御情報を受け付ける調整制御情報受付手段と、
前記合成用オブジェクトデータ取得手段で取得した前記合成用オブジェクトのデータから、前記調整制御情報受付手段で受け付けた前記調整制御情報に基づいて、前記撮影画像に合成する前記合成用オブジェクトの合成用データを作成する合成用データ作成手段と、
前記撮影画像に、前記合成用データ作成手段で作成された前記合成用オブジェクトの前記合成用データによる画像を、前記調整制御情報に含まれる前記撮影画像への挿入位置において合成した合成画像データを生成する合成手段と、
前記合成手段で生成された前記合成画像データによる画像を表示画面にモニター表示するための表示手段と、
撮影者による撮影実行指示に応じて、前記合成手段で生成した前記合成画像データを記録する記録手段と、
を備え、
前記合成用オブジェクトデータ取得手段は、前記カメラ部により撮影された撮影画像に合成して記録しようとする前記合成用オブジェクトのデータに加えて、前記合成用オブジェクトの大きさに関する属性情報を取得し、
前記調整制御情報には、前記合成用オブジェクトを前記撮影画像に合成する際の前記カメラ部からの仮想的な距離を含み、
前記合成用データ作成手段は、前記合成用オブジェクトのデータから、前記調整制御情報に含まれる前記カメラ部からの前記仮想的な距離と、前記合成用オブジェクトの大きさに関する属性情報とに基づいて、前記撮影画像に合成する前記合成用オブジェクトの大きさを決定して、前記合成用オブジェクトの合成用データを作成する
ことを特徴とする撮影機能を備える電子機器を提供する。

また、撮影の場に存在しない欠席者は、その場では撮影ができないので、特許文献１の発明では、撮影の場に存在しない者を含めた撮影画像を得ることができない。

この発明は、以上の点にかんがみ、１回の撮影で、撮影者や欠席者を含めた撮影を可能にした撮影機能を有する電子機器を提供することを目的とする。

上記の課題を解決するために、この発明は、
カメラ部と、
前記カメラ部により撮影された撮影画像に合成して記録しようとする合成用オブジェクトのデータを取得する合成用オブジェクトデータ取得手段と、
前記合成用オブジェクトデータ取得手段で取得した前記合成用オブジェクトに対する、前記撮像画像への挿入位置の指定情報を少なくとも含む調整制御情報を受け付ける調整制御情報受付手段と、
前記合成用オブジェクトデータ取得手段で取得した前記合成用オブジェクトのデータから、前記調整制御情報受付手段で受け付けた前記調整制御情報に基づいて、前記撮影画像に合成する前記合成用オブジェクトの合成用データを作成する合成用データ作成手段と、
前記撮影画像に、前記合成用データ作成手段で作成された前記合成用オブジェクトの前記合成用データによる画像を、前記調整制御情報に含まれる前記撮像画像への挿入位置において合成した合成画像データを生成する合成手段と、
前記合成手段で生成された前記合成画像データによる画像を表示画面にモニター表示するための表示手段と、
撮影者による撮影実行指示に応じて、前記合成手段で生成した前記合成画像データを記録する記録手段と、
を備えることを特徴とする撮影機能を備える電子機器を提供する。

上述の構成のこの発明による撮影機能を備える電子機器においては、例えば撮影者や欠席者の画像の情報を、合成用オブジェクトのデータとして作成して、電子機器内の合成用オブジェクトデータ格納部やインターネットのサイトの合成用オブジェクトデータ格納部に記憶しておく。そして、例えば撮影者は、カメラ部で撮影している撮影画像について撮影実行指示をする前に、合成用オブジェクトデータ取得手段により、合成用オブジェクトデータ格納部に記憶されている合成用オブジェクトの中から、撮影画像に合成する合成用オブジェクト、例えば合成用オブジェクトとして作成された自分自身の画像や欠席者の画像を取得する。

次に、調整制御情報受付手段は、例えば撮影者の入力操作により取得した合成用オブジェクトに対する、撮影画像への挿入位置の指定情報を含む調整制御情報を受け付ける。

合成用データ作成手段は、調整制御情報受付手段で受け付けられた調整制御情報に基づいて、撮影画像に合成する合成用オブジェクトの合成用データを作成する。この場合に、合成用データ作成手段は、調整制御情報に応じて、例えば、撮影画像に合成する合成用オブジェクトの大きさを決定したり、合成用オブジェクトの画像を修飾したりする処理を実行し、それらの処理を施した合成用データを作成することができる。

そして、合成手段は、撮影画像に、合成用データ作成手段で作成された合成用オブジェクトの合成用データによる画像を、調整制御情報に含まれる挿入位置において合成した合成画像データを生成する。表示手段は、この合成手段で合成された合成画像データを表示画面にモニター表示する。

以上のようにして、撮影者が、合成用オブジェクトとして作成された自分の画像や欠席者の画像など、撮影画像に合成したい画像を選択指定すると共に調整制御情報を指定することで、その選択指定した合成用オブジェクトを撮影画像に合成した合成画像が、表示画面に、いわゆる拡張現実（ＡＲ（Augmented Reality））技術が用いられて表示される。

撮影者は、この表示画面にモニター表示された合成画像データによる合成画像を観視して、自分が撮影画像に合成したい合成用オブジェクト及びその合成位置（挿入位置）、さらには合成時の画像態様を確認することができる。そして、撮影者は、その確認の結果、撮影を実行したいときには、撮影実行指示をする。すると、合成手段で撮影画像に合成用オブジェクトが合成された合成画像データが撮影画像データとして記録される。

以上のようにして、この発明によれば、所望の合成用オブジェクトを撮影画像にＡＲ技術を用いて重畳表示させて、その合成用オブジェクトが重畳表示された状態の撮影画像を、記録することができる。

この発明によれば、撮影者は、自分が撮影画像に合成したい合成用オブジェクトを取得すると共に調整制御情報を指定することで、その調整制御情報に応じて合成用オブジェクトが合成された撮影画像を表示画面で確認し、撮影を実行して、取得することができる。したがって、この発明によれば、１回の撮影で、撮影者や欠席者を含めた撮影を可能にした撮影機能を有する電子機器を提供することができる。

この発明による電子機器の実施形態のハードウエア構成例を説明するためのブロック図である。 図１の例の電子機器の合成用オブジェクトデータ格納部のデータ内容の例を示す図である。 この発明による電子機器の実施形態の要部を説明するために用いる図である。 この発明による電子機器の実施形態の要部を説明するために用いる図である。 この発明による電子機器の実施形態の要部を説明するために用いる図である。 この発明による電子機器の実施形態の要部を説明するために用いる図である。 この発明による電子機器の実施形態によるＡＲ合成画像の例を示す図である。 この発明による電子機器の実施形態における処理動作の流れの一例を説明するためのフローチャートの一部を示す図である。 この発明による電子機器の実施形態における処理動作の流れの一例を説明するためのフローチャートの一部を示す図である。

以下、この発明による撮影機能を有する電子機器の実施形態を、図を参照しながら説明する。ここで、撮影機能を有する電子機器としては、デジタルカメラ、デジタル一眼カメラなどの撮影専用の電子機器のみのではなく、カメラ部を備える携帯電話端末などの携帯機器からなる電子機器であってもよい。以下に説明する実施形態は、電子機器が高機能のカメラ部を備える携帯電話端末である場合である。

図１は、この発明の実施形態である携帯電話端末からなる電子機器１のハードウエア構成例を示すブロック図である。この実施形態の電子機器１は、例えばマイクロコンピュータを備える制御部１０により、後述する各部が制御される構成を備える。

制御部１０には、操作入力部１１と、無線通信部１２と、電話回路部１３と、メモリ部１４と、現在位置検出部１５と、メディアドライブ１６と、時計部１７と、端末向き検出部１８、表示制御部１９とが接続されている。表示制御部１９には、例えばＬＣＤ（Liquid Crystal Display）からなる表示部２０が接続されている。

操作入力部１１は、ボタン操作部と、表示部２０の表示画面、この例ではＬＣＤ画面に重ねて配設されているタッチパネルとを含む。制御部１０は、ボタン操作部におけるボタン操作を検出する機能と、タッチパネルを通じたタッチ操作を検出する機能とを備える。制御部１０の、それらの操作を検出する機能を実行するためのソフトウエアプログラムは、メモリ部１４に格納されている。

無線通信部１２は、携帯電話基地局との間での無線通信を行なうためのものである。この例では、制御部１０は、無線通信部１２を用いて、携帯電話基地局を介してインターネットにも接続することが可能なように構成されている。そして、インターネットを通じた情報を表示部２０の表示画面に表示するためのブラウザ機能のソフトウエアプログラムがメモリ部１４に格納されている。

電話回路部１３は、携帯電話通信を行うためのもので、図示は省略するが、マイクロホンやスピーカを含む。

メモリ部１４は、この実施形態の電子機器１の各種の機能を実行するためのソフトウエアプログラムを格納すると共に、撮影機能を用いて撮影した撮影画像を記憶したり、インターネットを通じて取得した情報を蓄積したりするためにも用いられる。

現在位置検出部１５は、電子機器１の現在位置をＧＰＳ（Global Positioning System）衛星からの電波や、携帯電話基地局からの情報などから検出する。制御部１０は、この実施形態では、この現在位置検出部１５で検出した電子機器１の現在位置を、撮影場所を判断するための情報として用いるようにする。

メディアドライブ１６は、外部のメモリ媒体、この例では、カード型メモリが装填可能とされており、制御部１０が、装填されたカード型メモリに撮影画像を保存したり、また、カード型メモリに格納されている後述する合成用オブジェクトのデータを読み込んだりするために用いられる。

時計部１７は、時刻の情報と、年、月、日の情報とからなる日時情報を提供する。この実施形態では、後述するように制御部１０は、時計部１７からの日時情報を、撮影日時の情報として、撮影画像と共に記録したり、撮影シーンを判断したりする際に利用したりする。

端末向き検出部１８は、例えば地磁気センサを用いて、端末の向きを検出する。

表示制御部１９は、制御部１０からの表示データに基づく表示画像を、制御部１０の表示制御に基づいて、表示部２０の表示画面に表示する。制御部１０からの表示データとしては、メニュー画面や待ち受け画面、あるいはインターネットに接続した際のブラウザ画面の表示データが例として挙げられる。また、この実施形態の電子機器１では、表示制御部１９は、撮影機能が起動されたときには、後述するように、制御部１０の制御に基づいて、カメラ部で撮影された撮影画像、あるいは、その撮影画像に合成用オブジェクトが合成された合成画像を、表示部２０の表示画面に表示する。

そして、この実施形態の電子機器１は、撮影機能を実現するためにカメラ部２１と、このカメラ部２１からの撮影画像信号に、合成用オブジェクトのデータを合成するための信号処理部とを備える。以下の説明においては、撮影画像に合成用オブジェクトのデータによる画像を合成することをＡＲ合成と称し、また、ＡＲ合成されて得られた合成画像をＡＲ合成画像と称することとする。

カメラ部２１は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサからなる撮像素子２１１と、撮像レンズ系２１２と、この撮像レンズ系２１２を制御してオートフォーカス（ＡＦと略称する）を行うためのＡＦモータ２１３と、ＡＦ制御部２１４とを備えて構成されている。ＡＦ制御部２１４は、制御部１０の制御にしたがって、ＡＦモータ２１３の制御信号を供給する。

この例では、撮像レンズ系２１２は、光学ズーム機能を備えていない。そして、ＡＦ制御部２１４は、ＡＦモータ２１３への制御信号に対応するカメラ部２１からの被写体までの距離（撮影者から被写体までの距離に相当）の情報を制御部１０に供給するようにする。制御部１０は、後述するように、オートフォーカスのための評価値（ＡＦ評価値）から被写体にピントが合っているか否かを判断し、その判断結果とＡＦ制御部２１４からのカメラ部２１から被写体までの距離情報とに応じてＡＦ制御部２１４へのＡＦ制御信号を生成する。そして、制御部１０は、生成したＡＦ制御信号をＡＦ制御部２１４に供給して、オートフォーカスを行うように制御する。なお、ＡＦ制御方式としては、位相差方式、コントラスト方式、ＡＦ画素方式などがあり、そのいずれを用いるようにしても良い。

カメラ部２１の撮像素子２１１の出力信号は、撮影画像信号処理部２２に供給される。撮影画像信号処理部２２は、撮像素子２１１の出力信号から撮影画像信号を生成する出力する処理を行う。そして、この撮影画像信号処理部２２からの撮影画像信号は、ＡＲ合成部２３に供給される。

ＡＲ合成部２３は、制御部１０から合成用オブジェクトの合成制御指示を受けていないときには、撮影画像信号処理部２２からの撮影画像信号を、そのまま表示制御部１９に供給すると共に、記録部２４に供給する。また、後述するように、制御部１０から合成用オブジェクトの合成制御指示を受けているときには、ＡＲ合成部２３は、撮影画像信号処理部２２からの撮影画像信号に、合成用データ作成部２６からの合成用データを合成し、その合成信号を、表示制御部１９に供給すると共に、記録部２４に供給する。

したがって、表示部２０の表示画面には、撮影画像信号処理部２２からの撮影画像信号による撮影画像または撮影画像に合成用データによる合成用オブジェクトの合成用画像がＡＲ合成された画像が表示される。つまり、カメラ部２１で取り込まれた撮影画像が、表示部２０の表示画面でそのままモニター表示される、あるいは、カメラ部２１で取り込まれた撮影画像に合成用オブジェクトの合成用画像がＡＲ合成された画像がモニター表示される。

撮影者は、この表示部２０に表示された画像により、カメラ部２１で取り込んで撮影しようとしている被写体画像や、ＡＲ合成画像を確認するようにする。そして、その確認の結果、撮影を実行することを決断した撮影者は、操作入力部１１を通じて、撮影実行操作をする。すると、制御部１０の制御指示により、記録部２４は、ＡＲ合成部２３からの画像信号を、記録画像信号に変換し、制御部１０に送る。制御部１０は、この記録画像信号を、操作入力部１１を通じた撮影者の指示に応じて、メモリ部１４またはメディアドライブ１６に保存する。

この実施形態の電子機器１は、合成用オブジェクトデータ格納部２５を備える。したがって、この実施形態では、合成用オブジェクトデータの取得手段は、合成用オブジェクトデータ格納部２５と制御部１０からなる合成用オブジェクトの読み出し手段とからなる。

合成用オブジェクトデータ格納部２５には、カメラ部２１で撮影された被写体の撮影画像にＡＲ合成することが想定される合成用オブジェクトのデータが格納される。ここで、合成用オブジェクトとしては、例えば撮影者自身、欠席予定者などの人のみならず、ペットや、他の動植物、石、車、建物など、合成用オブジェクトのデータにより、その画像を表すことができるものであれば何でも構わない。

この実施形態では、合成用オブジェクトのデータは、複数個のポリゴンと、各ポリゴンに貼付するテクスチャとからなる。この合成用オブジェクトのデータは、例えば、予め、パソコンなどで作成して、カード型メモリに保存したものを、メディアドライブ１６を通じて取り込み、合成用オブジェクトデータ格納部２５に格納することができる。

例えば、合成用オブジェクトのデータを作成するアプリケーションプログラムを予めパソコンに用意しておく。そして、例えば合成用オブジェクトが３次元オブジェクトであって、かつ、人である場合には、デジタルカメラで、対象となる人を、その正面方向、斜め方向、横方向、背面方向など、その人を中心にした複数の角度方向から撮影し、パソコンに合成用オブジェクトとしての３次元オブジェクトのデータ作成用として読み込む。そして、パソコンの合成用オブジェクトのデータ作成用アプリケーションプログラムを起動し、その複数の角度方向の撮影画像信号から、ポリゴンとテクスチャからなる、対象となる人の３次元オブジェクトのデータを作成し、その作成した３次元オブジェクトのデータをカード型メモリに格納する。そして、その作成した３次元オブジェクトのデータを格納したカード型メモリを、電子機器１のメディアドライブ１６に装填する。

電子機器１の制御部１０は、その装填されたカード型メモリから合成用オブジェクトのデータを読み出し、合成用オブジェクトデータ格納部２５に格納する。この際に、当該合成用オブジェクトの元々の大きさの情報を合わせて格納しておくようにする。以上の動作を、ＡＲ合成を想定する対象物のそれぞれについて行い、各合成用オブジェクトのデータを合成用オブジェクトデータ格納部２５に格納する。

図２に、合成用オブジェクトデータ格納部２５の格納データの例を示す。すなわち、この例においては、合成用オブジェクトのそれぞれを後に読み出す際のインデックスとするために、各合成用オブジェクト名を付与しておく。そして、各合成用オブジェクト名に対応付けて、その合成用オブジェクトのデータ（ポリゴンデータとテクスチャデータ）を格納する。

また、この場合に、合成用オブジェクト名に対応付けて、その合成用オブジェクトとして登録する対象物（人や動植物、石、建物など）の大きさを示す情報を合成用オブジェクトデータ格納部２５に格納する。合成用オブジェクトが人である場合には、その伸長、肩幅などが、大きさを示す情報として格納される。また、犬や猫などのペットの動物の場合には、その体高及び体長が大きさを示す情報として格納される。その他も、同様に、それぞれの対象物の大きさを特定するための属性の情報が大きさの情報として格納される。この大きさを示す情報は、後述するように、撮影画像に合成する際の合成用オブジェクトの画像の大きさを定めるために用いられる。

また、この実施形態では、合成用オブジェクトとして登録する対象物が、人の場合には、合成用オブジェクトのデータの作成時に、撮影画像から、表情筋の特徴点を取得して、各オブジェクト名に対応付けて合成用オブジェクトデータ格納部２５に記憶しておくようにする。この表情筋の特徴点の情報は、合成用オブジェクトとしての人を撮影画像に合成する際に、笑顔やすまし顔などに、顔の表情を制御するための情報として用いられる。

なお、電子機器１に、合成用オブジェクトのデータを作成するアプリケーションプログラムを用意すると共に、カメラ部２１を用いて上述と同様に、合成用オブジェクトを複数の角度方向から撮影した撮影画像を取り込むことにより、電子機器１自身で、合成用オブジェクトのデータを作成して、合成用オブジェクトデータ格納部２５に格納するようにすることもできる。

制御部１０は、この合成用オブジェクトデータ格納部２５に格納されているオブジェクト名の情報から、ＡＲ合成する合成用オブジェクトの一覧リストを生成して、ＡＲ合成する合成用オブジェクトの選択用として、表示部２０の表示画面に呈示するようにする。撮影者などの使用者は、この合成用オブジェクトの一覧リストから、操作入力部１１を通じて、ＡＲ合成を希望する合成用オブジェクトの選択操作をすることができる。制御部１０は、撮影者などの使用者からＡＲ合成を希望する合成用オブジェクトの選択操作情報を受け取ると、その選択操作情報を合成用オブジェクトデータ格納部２５に送る。合成用オブジェクトデータ格納部２５は、受け取った選択操作情報で指定される合成用オブジェクトのデータ、大きさ属性及び顔認識結果（存在する場合のみ）を、合成用データ作成部２６に送る。

合成用データ作成部２６は、制御部１０からの調整制御情報を受ける。そして、合成用データ作成部２６は、合成用オブジェクトデータ格納部２５から受けた合成用オブジェクトのデータ、大きさ属性及び顔認識結果と、制御部１０から受けた調整制御情報とを用いて、撮影画像データに合成する合成用データを作成する。この場合に、この例では、合成用データ作成部２６は、一旦、合成用オブジェクトについての合成用の３次元オブジェクトのデータを作成し、その作成した合成用の３次元オブジェクトのデータを、撮影画像データに合成可能な合成用データに変換して、ＡＲ合成部２３に供給する。

制御部１０は、撮影者などの使用者に対して、表示部２０の表示画面に調整制御情報の入力を促す画面を呈示し、これを受けた撮影者などの使用者からの指示入力を、操作入力部１１を通じて受けて、調整制御情報を生成し、生成した調整制御情報を合成用データ作成部２６に送る。

この場合の使用者からの指示入力には、合成用オブジェクトの撮影画像への挿入位置の情報が含まれる。この挿入位置の情報には、撮影画像の画枠内位置と、合成用オブジェクトのカメラ部２１からの仮想的な距離の情報が含まれる。合成用データ作成部２６は、この挿入位置の情報に含まれる合成用オブジェクトのカメラ部２１からの仮想的な距離の情報と、合成用オブジェクトデータ格納部２５から取得して大きさに関する属性情報とから、撮影画像に合成する合成用オブジェクトの画像の大きさを判定して、その判定した大きさの合成用画像を作成する。

また、この実施形態では、合成用オブジェクトの対象物が人である場合には、使用者からの指示入力には、その人の表情、例えば笑顔やすまし顔などに関する表情指定情報を挿入可能としている。合成用データ作成部２６は、調整制御情報に表情指定情報が含まれている場合には、合成用オブジェクトデータ格納部２５から取得した顔認識結果の表情筋の特徴点の情報を用いて、合成用オブジェクトである人の顔の表情を、表情指定情報で指定された笑顔やすまし顔となるように制御する。

また、この実施形態では、撮影時のシーンに合わせて、合成用オブジェクトの画像の修飾をしたり、持ち物などを追加したりすることができるように構成されている。撮影時のシーンは、使用者から、旅行、ビジネス、結婚式、葬儀などの場合や目的の選択入力を受け付けると、その選択入力された場合や目的の情報と、現在位置検出部１５で検出された現在地（場所）の情報と、時計部１７から得られる日時情報とから、自動的に判断できる。すなわち、撮影時のシーンは、Ｔ（時間）、Ｐ（場所）、Ｏ（場合）から自動的に判断できる。

そこで、この実施形態では、制御部１０は、使用者から、操作入力部１１を通じて前記場合や目的の選択入力を受けるようにする。そして、制御部１０は、それぞれの撮影時において、予め受け付けている場合や目的の情報と、現在地検出部１５からの現在地（場所）の情報と、時計部１７からの日時情報とからシーンを判断する。そして、制御部１０は、合成用データ作成部２６に対して、そのシーンに応じた装飾を合成用オブジェクトの画像に対して施すと共に、必要に応じて持ち物などを追加する依頼を、調整制御情報に含めて送るようにする。

以上のような合成用オブジェクトの装飾や付加物の追加の処理のために、この実施形態では、メモリ部１４には、シーンに応じた人の服装や装飾品、持ち物のデータが、合成用オブジェクトの画像に合成可能なように登録されて格納されている。これらの服装や装飾品、持ち物のデータは、使用者が作成して登録するようにしてもよいし、無線通信部１２を通じて、インターネットの所定のサイトから予め取得して登録しておくようにしてもよい。制御部１０は、調整制御情報に、シーンに応じた人の服装や装飾品、持ち物のデータを含めて、合成用データ作成部２６に、合成用オブジェクトについての装飾依頼、持ち物の追加依頼をするようにする。

なお、以上のようにして、制御部１０により自動的にシーンが判別されて、その判別したシーンに応じた服装や装飾品、持ち物などが自動的に選択されるが、その後、使用者の選択操作に応じて、その自動選択された服装や持ち物などを変更することもできる。そのため、制御部１０は、使用者から合成用オブジェクトに対する服装などの変更要求を受けたときには、シーンに対応して格納されている服装や装飾品、持ち物の一覧リストを、使用者に提示して、その選択指定を受け付けるようにする。シーンに応じて自動的に、合成用オブジェクトの装飾や付加物の選定をするのではなく、最初から、使用者が、合成用オブジェクトの装飾や付加物の選定を行うようにしても勿論良い。

合成用データ作成部２６は、制御部１０から受けた調整制御情報に応じて、合成用の３次元オブジェクトのテクスチャを変更し、また、持ち物の画像を追加合成する処理を行う。

また、この実施形態の合成用オブジェクトのデータは、この例では、３次元オブジェクトのデータであるので、使用者は、合成しようとする合成用オブジェクトの向きを操作入力部１１から入力して、調整制御情報に含めるようにすることができる。合成用データ作成部２６は、制御部１０から受けた調整制御情報に含まれる合成用オブジェクトの向きの情報に応じて、合成用オブジェクトの向きを定めた合成用画像を作成するようにする。

また、この実施形態では、制御部１０は、撮影者により指定された絞り、シャッタースピード、フィルタ、エフェクタ（特殊効果）などの撮影条件や、撮影時の太陽の向きを検出するための現在位置検出部１５から検出した現在位置と端末向き検出部１８で検出した携帯電話端末の向きの情報と時計部１７の日時情報も、調整制御情報に含めて合成用データ作成部２６に供給するようにする。

合成用データ作成部２６は、調整制御情報に含まれる現在位置と、携帯電話端末の向きと、時計部１７からの日時情報とから、撮影時の太陽の向きを検出する。このとき、合成用データ作成部２６は、インターネットを通じて当該撮影時点における現在位置の天候の情報をも取得しておく。そして、合成用データ作成部２６は、調整制御情報に含まれる撮影条件と、検出した撮影時の太陽の位置と撮影時点における現在位置の天候の情報とに合わせるように、合成用オブジェクトの合成用画像の色調、てかり、影などを制御するようにする。

合成用データ作成部２６は、以上のようにして、合成用オブジェクトデータ格納部２５からの選択指定された合成用オブジェクトに対して、調整制御情報に基づいて修飾や追加処理を施して、合成用画像のデータを先ず作成する。そして、この作成した合成用画像のデータを、ＡＲ合成部２３に供給して撮影画像と合成するために、画素単位の合成用画像データに変換するようにする。

この場合に、制御部１には、合成用データ作成部２６から、画枠ＦＬにおいて合成用画像が占める領域の大きさに関する情報が送られる。制御部１０は、後述するように、撮影者などの使用者により指定された撮影画像の画枠ＦＬ内の挿入位置と、合成用データ作成部２６からの合成用画像が占める領域の大きさに関する情報とから、合成用画像を、画枠ＦＬ内において挿入する画像領域を特定する。そして、制御部１０は、その特定された画像領域において、合成用画像データをＡＲ合成部２３に出力するように制御する出力制御情報を生成して、合成用データ作成部２６に供給する。

また、ＡＲ合成部２３は、制御部１０からの合成制御情報に基づいて、撮影画像信号処理部２２からの撮影画像データと、合成用データ作成部２６からの合成用データとを合成して、撮影画像に合成用オブジェクトの画像とを合成したＡＲ合成データを生成する。この場合、制御部１０からの合成制御情報は、画枠ＦＬ内において、合成用画像を挿入する画像領域では、合成用データ作成部２６からの合成用データをＡＲ合成部２３から出力し、その他の領域では、撮影画像信号処理部２２からの撮影画像データをＡＲ合成部２３から出力するように制御する情報である。

そして、制御部１０は、使用者により指定された合成用オブジェクトの挿入位置において、撮影画像の現実の被写体との重なりを考慮して、合成制御情報を生成する。

すなわち、制御部１０は、以下に説明するように、カメラ部２１の位置（撮影者の位置）に対する現実の被写体と合成用オブジェクトの合成位置との前後関係を検出し、撮影画像の現実の被写体が合成用オブジェクトと重なる場合には、その重なり部分では、カメラ部２１に対してより近い方のみをＡＲ合成画像に残すように、合成制御情報を生成する。もしも、現実の被写体と合成用オブジェクトのカメラ部２１に対する距離が同じとなっている場合には、制御部１０は、撮影者に対して、いずれを優先するかの問い合わせをして、その前後関係を、撮影者に特定させるようにする。

この実施形態では、撮影画像に含まれる現実の被写体（以下、被写体オブジェクトという）のそれぞれと、カメラ部２１との距離を特定することができるように、以下のような構成を備える。

すなわち、撮影画像信号処理部２２からの撮影画像信号は、ＡＦ評価値算出部２７に供給される。この実施形態のＡＦ評価値算出部２７は、前述した３種のＡＦ制御方式のうちの例えばコントラスト検出方式によりＡＦ評価値を算出する。

この実施形態のＡＦ評価値算出部２７は、例えば図３（Ａ）に示すような撮影画像の画枠ＦＬを、図３（Ｂ）に示すように、例えば縦×横＝８×８の領域に分割し、各分割領域ＢＫの撮影画像信号の高周波成分と、隣接画像間での輝度の差を、各分割領域ＢＫのコントラストとして算出する。そして、ＡＦ評価値算出部２７は、各分割領域ＢＫのコントラストの算出値を、制御部１０に供給する。

制御部１０は、各分割領域ＢＫのコントラストを合計して平均し、撮影画像全体についてのＡＦ評価値とする。そして、制御部１０は、ＡＦ制御部２１４を駆動して、フォーカス位置を無限遠から最短撮影距離まで変更させてサーチし、各フォーカス位置におけるＡＦ評価値を求め、ＡＦ評価値が最大になるフォーカス位置を合焦位置とする。そして、制御部１０は、ＡＦ制御部２１４を合焦位置とするように制御して、撮影画像全体についてのオートフォーカスを実行する。

この実施形態では、制御部１０は、上記のような撮影画像全体についての合焦位置を求めるオートフォーカス機能に加えて、各分割領域ＢＫについても合焦位置を検出し、その合焦位置に対応するカメラ部からの距離（以下、被写体距離という）を算出して一時保持するようにする。

また、この実施形態では、撮影画像に含まれる被写体オブジェクトのそれぞれを分離することができるようにしている。すなわち、撮影画像信号処理部２２からの撮影画像信号は、被写体オブジェクト分析部２８に供給される。この被写体オブジェクト分析部２８には、また、画像パターン記憶部２９に予め格納されている画像パターンのデータが供給される。

画像パターン記憶部２９には、撮影画像の被写体オブジェクトとなり得る人物、犬、猫、その他の動物、植物、車、建物などの画像パターンデータが、それぞれについて、その多種多様な変形も含めて登録されて記憶されている。この画像パターン記憶部２９の格納情報も、予め、無線通信部１２を通じてインターネットにアクセスし、所定のサイトから取得しておくようにする。

そして、被写体オブジェクト分析部２８では、撮影画像信号処理部２２からの撮影画像信号による撮影画像と、画像パターン記憶部２９からの登録されている画像パターンとのパターンマッチングを行って、撮影画像に含まれる被写体オブジェクトのそれぞれを分離する。なお、所定の被写体距離よりも遠くにあるものは、背景として、この例では、この被写体オブジェクト分析部２８での分析対象から排除するものである。

この被写体オブジェクト分析部２８での分析の結果のデータは、撮影画像から分離された被写体オブジェクトの画像部分が画枠ＦＬ内で占める領域データとされ、これが制御部１０に供給される。制御部１０は、ＡＦ評価値算出部２７から得た各分割領域ＢＫの被写体距離うち、被写体オブジェクトの各画像部分が画枠ＦＬ内に占める領域が含む分割領域ＢＫの被写体距離の平均値を算出して、それぞれの被写体オブジェクトの被写体距離とする。

例えば図３（Ａ）の撮影画像の例の場合には、被写体オブジェクト分析部２８において、人物の被写体オブジェクトＰＡ及びＰＣ、看板の被写体オブジェクトＰＢ、岩の被写体オブジェクトＰＤ、建物の被写体オブジェクトＰＥのそれぞれが、図４（Ａ）〜（Ｅ）に示すように、分離される。そして、被写体オブジェクト分析部２８は、各被写体オブジェクトＰＡ〜ＰＥの画枠ＦＬ内の領域データＡＲＡ〜ＡＲＥを、制御部１０に供給する。

そして、制御部１０は、分離された各被写体オブジェクトＰＡ〜ＰＥの画像が占める領域内の分割領域ＢＫの被写体距離の平均値を算出し、それぞれの被写体オブジェクトの被写体距離ＤＡ〜ＤＥを算出する。そして、制御部１０は、算出した被写体距離ＤＡ〜ＤＥを、図５に示すように、各被写体オブジェクトＰＡ〜ＰＥの領域データＡＲＡ〜ＡＲＥと対応付けて保持する。

制御部１０は、この被写体オブジェクトＰＡ〜ＰＥについての被写体距離ＤＡ〜ＤＥと、領域データＡＲＡ〜ＡＲＥと、合成用オブジェクトの挿入位置とから、ＡＲ合成部２３で、撮影画像信号処理部２２からの撮影画像信号を出力するか、合成用オブジェクトの合成用データを出力するかを制御する合成制御情報を生成する。

例えば図３（Ａ）の撮影画像に合成する合成用オブジェクトとして、図６（Ａ）に示すような人物の合成用オブジェクトＰａｒが、操作入力部１１を通じて選択指定された場合を一例として、上述の合成処理を説明する。

制御部１０は、この例の場合には、現在位置の情報と、時間の情報と、使用者から入力された目的が「登山」とされたことに基づいて、撮影された画像は、登山での記念撮影シーンであると判断し、図６（Ｂ）に示すように、合成用オブジェクトＰａｒに対して、登山用の帽子ＣＰを被せ、登山用の服装ＣＬを着用させ、付加物としてリュックサックＲＳを背負うように、修飾及び追加物処理を行う。また、図６（Ｂ）の例では、合成用オブジェクトＰａｒの人物が右横を向くように、回転させる指示を使用者がした場合である。

このようにして作成された合成用オブジェクトＰａｒの合成用画像ＰＡＲの挿入位置として、撮影者により、例えば図７に示すように、人物の被写体オブジェクトＰＣの横であって、岩の被写体オブジェクトＰＤと、建物の被写体オブジェクトＰＥとの間の位置が指定されたとする。

この場合、制御部１０は、合成用オブジェクトの合成用画像ＰＡＲの挿入位置の情報から、指定された仮想被写体距離（カメラ部２１から合成用オブジェクトまでの距離）を算出し、その算出した仮想被写体距離の情報を合成用データ作成部２６に供給する。

合成用データ作成部２６は、受け取った仮想被写体距離の情報と、合成用オブジェクト格納部２５からの合成用オブジェクトＰａｒの大きさについての属性情報とから、合成用画像ＰＡＲの大きさを判断し、その大きさとなるように、合成用オブジェクトＰａｒから合成用画像のＣＧデータを生成する。そして、合成用データ作成部２６は、制御部１０からの服装や装飾品、追加物の指示、回転指示を伴う調整制御情報に基づいて、図６（Ｂ）に示すような合成用画像ＰＡＲの３次元オブジェクトのデータを作成する。さらに、合成用データ作成部２６は、作成された合成用画像ＰＡＲが占める領域の大きさに関する情報を制御部１０に供給するようにする。

制御部１０は、操作入力部１１を通じて入力された合成用オブジェクトの挿入位置の情報と、合成用データ作成部２６から受け取った合成用画像ＰＡＲが占める領域の大きさに関する情報とから、合成用データ作成部２６に供給する出力制御情報と、ＡＲ合成部２３に供給する合成制御情報とを生成する。この場合、制御部１０は、合成制御情報は、合成用画像ＰＡＲと重なる、岩の被写体オブジェクトＰＤ及び建物の被写体オブジェクトＰＥとについて、いずれの画像の画素を選択するかの制御情報である。

すなわち、合成用画像ＰＡＲと、岩の被写体オブジェクトＰＤとが重なる領域では、岩の被写体オブジェクトＰＤが、合成用画像ＰＡＲよりもカメラ部２１に近いので、岩の被写体オブジェクトＰＤの画素データを出力するように、ＡＲ合成部２３を制御する。また、合成用画像ＰＡＲと、建物の被写体オブジェクトＰＥとが重なる領域では、建物の被写体オブジェクトＰＥが、合成用画像ＰＡＲよりもカメラ部２１から遠いので、合成用画像ＰＡＲの画素データを出力するように、ＡＲ合成部２３を制御する。

以上のようなＡＲ合成部２３での合成制御処理により、表示部２０の表示画面には、図７に示すように、カメラ部２１による撮影画像に、合成用画像ＰＡＲが指定された挿入位置に重ねて表示されたＡＲ合成画像が表示される。したがって、撮影者は、ＡＲ合成しようとする合成用画像ＰＡＲの挿入位置や挿入状態、また、合成用画像ＰＡＲの画像内容について、表示部２０の表示画面において確認することができる。

そして、撮影者は、表示部２０の表示画面に表示されているＡＲ合成画像を確認後に、シャッター操作などの撮影実行指示操作を、操作入力部１１を通じて行う。すると、表示部２０にモニター表示されている通りのＡＲ合成画像が、記録部２４で撮影画像として記録される。そして、制御部１０は、撮影者の指示操作に従い、そのＡＲ合成画像を、メモリ部１４やカード型メモリに保存する。

次に、制御部１０の処理を中心としたＡＲ合成画像の撮影処理の流れの一例を、図８及び図９を参照して説明する。

制御部１０は、先ず、操作入力部１１を通じて撮影モードを指定する操作があったか否か判別し（ステップＳ１０１）、撮影モードを指定する操作がなかったと判別したときには、その他の処理を実行し（ステップＳ１０２）、その後、ステップＳ１０１に処理を戻す。

ステップＳ１０１で、撮影モードを指定する操作がなされたと判別したときには、制御部１０は、使用者により操作入力部１１を通じてＡＲ合成指示操作がなされたか否か判別し（ステップＳ１０３）、ＡＲ合成指示操作はなされていないと判別したときには、通常の撮影処理ルーチンを実行するようにする（ステップＳ１０４）。

また、ステップＳ１０３で、ＡＲ合成指示操作がなされたと判別したときには、制御部１０は、合成用オブジェクトデータ格納部２５に格納されている合成用オブジェクトの一覧リストを生成し、使用者による合成用オブジェクトの選択を促すようにする画面を表示部２０の表示画面に表示する（ステップＳ１０５）。

そして、制御部１０は、使用者からの操作入力部１１を通じた選択入力操作が完了したか否か監視し（ステップＳ１０６）、選択入力操作が完了したと判別したときには、カメラ部２１で撮影された撮影画像を取り込んで、表示部２０の表示画面にモニター表示するようにする（ステップＳ１０７）。

このステップＳ１０７の処理と並行して、制御部１０は、ＡＦ評価値算出部２７からの分割領域ＢＫ毎のコントラストの情報を取得して、各分割領域毎の被写体距離を算出し保持する（ステップＳ１０８）。また、制御部１０は、被写体オブジェクト分析部２８からの解析結果を取得し、撮影画像の各被写体オブジェクトの被写体距離及び画枠ＦＬ内での占有領域を検出して保持する（ステップＳ１０９）。

次に、制御部１０は、使用者に対して、合成用オブジェクトの撮影画像への挿入位置など、合成用オブジェクトの調整制御情報の入力を促す画面を、表示部２０の表示画面に表示する（ステップＳ１１０）。

次に、制御部１０は、使用者からの調整制御情報の入力を受け付けたか監視し（図９のステップＳ１１１）、調整制御情報の入力を受け付けたと判別したときには、合成用データ作成部２６に調整制御情報を送って、合成用オブジェクトに対して修飾及び追加処理を行った合成用画像を作成させるように制御する（ステップＳ１１２）。

次に、制御部１０は、合成用データ作成部２６に出力制御情報を送ると共に、ＡＲ合成部２３に合成制御情報を送って、撮影画像の画像データと合成用画像の合成用データとをＡＲ合成させるように制御する（ステップＳ１１３）。この結果、表示部２０の表示画面にはＡＲ合成画像がモニター表示される（ステップＳ１１４）。

次に、制御部１０は、撮影者により操作入力部１１を通じた撮影実行指示を受け付けたか否か判別する（ステップＳ１１５）。そして、このステップＳ１１５で、撮影実行指示を受け付けてはいないと判別したときには、制御部１０は、調整制御情報が変更されたか否か判別し（ステップＳ１１６）、調整制御情報が変更されてはいないと判別したときには、処理をステップＳ１１４に戻す。また、ステップＳ１１６で、調整制御情報が変更されたと判別したときには、制御部１０は、処理をステップＳ１１２に戻し、このステップＳ１１２以降の処理を繰り返す。

また、ステップＳ１１５で、撮影実行指示を受け付けたと判別したときには、制御部１０は、ＡＲ合成画像の記録処理を実行し、また、指示に応じて保存処理を実行する（ステップＳ１１７）。そして、制御部１０は、操作入力部１１を通じて使用者から、撮影モードの終了指示を受け付けたか否か判別し（ステップＳ１１８）、終了指示を受け付けてはいないと判別したときには、処理をステップＳ１０３に戻し、このステップＳ１０３以降の処理を繰り返す。また、ステップＳ１１８で終了指示を受け付けたと判別したときには、制御部１０は、撮影モードを終了して、携帯電話端末の待ち受けモードに変更し（ステップＳ１１９）、その後、ステップＳ１０１に処理を戻す。

以上説明したように、上述の実施形態によれば、撮影者は、予め登録してある合成用オブジェクトを読み出して、撮影画像にＡＲ合成し、そのＡＲ合成画像を、１回の撮影実行指示により、記録することができる。したがって、例えば、撮影者は、自分の画像を合成用オブジェクトとして登録しておくことにより、風景に撮影者自身をＡＲ合成した撮影画像を記録することが可能となる。また、旅行に参加できなった人の３次元オブジェクトのデータを合成用オブジェクトとして登録しておくことにより、当該不参加者をＡＲ合成した記念写真を記録することも可能となる。

そして、上述の実施形態によれば、撮影画像にＡＲ合成する合成用オブジェクトは、調整制御情報に基づいて、撮影シーンに合致するように修飾したり、追加の画像部分を付加したりすることができるので、自然な感じで撮影画像に合成用オブジェクトをＡＲ合成した合成画像が得られるという効果がある。

また、上述の実施形態によれば、撮影画像にＡＲ合成する合成用オブジェクトと、撮影画像の被写体オブジェクトとが重なる場合においては、被写体オブジェクトの被写体距離と、合成用オブジェクトを挿入する仮想の被写体距離とに基づいて、前後関係を把握して、カメラ部に近い方のみをＡＲ合成画像とするようにしたので、この点でも自然な感じで撮影画像に合成用オブジェクトをＡＲ合成した合成画像が得られるという効果がある。

［他の実施形態または変形例］
上述の実施形態では、合成用オブジェクトデータ格納部２５を電子機器が備えるようにしたが、インターネットの所定のサイトに合成用オブジェクトデータ格納部２５と同等の合成用オブジェクトデータ格納部を設けておき、電子機器から、そのサイトにアクセスして、必要な合成用オブジェクトを取得するようにしても良い。

以上の実施形態の説明では、合成用オブジェクトは、３次元オブジェクトのデータとしたが、２次元オブジェクトのデータであってもよい。また、撮影画像は、静止画に限らず、動画であっても良い。

また、以上の実施形態では、電子機器は、携帯電話端末の場合を例にとって説明したが、この発明の電子機器は、前述もしたように、デジタルカメラなどの撮影装置であっても勿論良い。要は、この発明の電子機器は、撮影機能を有する電子機器であれば、どのような電子機器であっても良い。

２１…カメラ部、２３…ＡＲ合成部、２４…記録部、２５…合成用オブジェクトデータ格納部、２６…合成用データ作成部、２７…ＡＦ評価値算出部、２８…被写体オブジェクト分析部、２９…画像パターン記憶部

Claims (6)

1. カメラ部と、
   前記カメラ部により撮影された撮影画像に合成して記録しようとする合成用オブジェクトのデータを取得する合成用オブジェクトデータ取得手段と、
   前記合成用オブジェクトデータ取得手段で前記データを取得した前記合成用オブジェクトに対する、前記撮影画像への挿入位置の指定情報を少なくとも含む調整制御情報を受け付ける調整制御情報受付手段と、
   前記合成用オブジェクトデータ取得手段で取得した前記合成用オブジェクトのデータから、前記調整制御情報受付手段で受け付けた前記調整制御情報に基づいて、前記撮影画像に合成する前記合成用オブジェクトの合成用データを作成する合成用データ作成手段と、
   前記撮影画像に、前記合成用データ作成手段で作成された前記合成用オブジェクトの前記合成用データによる画像を、前記調整制御情報に含まれる前記撮影画像への挿入位置において合成した合成画像データを生成する合成手段と、
   前記合成手段で生成された前記合成画像データによる画像を表示画面にモニター表示するための表示手段と、
   撮影者による撮影実行指示に応じて、前記合成手段で生成した前記合成画像データを記録する記録手段と、
   を備え、
   前記合成用オブジェクトデータ取得手段は、前記カメラ部により撮影された撮影画像に合成して記録しようとする前記合成用オブジェクトのデータに加えて、前記合成用オブジェクトの大きさに関する属性情報を取得し、
   前記調整制御情報には、前記合成用オブジェクトを前記撮影画像に合成する際の前記カメラ部からの仮想的な距離を含み、
   前記合成用データ作成手段は、前記合成用オブジェクトのデータから、前記調整制御情報に含まれる前記カメラ部からの前記仮想的な距離と、前記合成用オブジェクトの大きさに関する属性情報とに基づいて、前記撮影画像に合成する前記合成用オブジェクトの大きさを決定して、前記合成用オブジェクトの合成用データを作成する
   ことを特徴とする撮影機能を備える電子機器。
2. 前記合成用オブジェクトのデータは、複数個のポリゴンとテクスチャとからなる３次元オブジェクトのデータである
   ことを特徴とする請求項１に記載の撮影機能を備える電子機器。
3. 前記調整制御情報受付手段は、前記合成用オブジェクトを修飾するための情報及び／または前記合成用オブジェクトに付加画像を追加するための情報を前記調整制御情報として含む
   ことを特徴とする請求項１または請求項２に記載の撮影機能を備える電子機器。
4. 合成用データ作成手段は、前記カメラ部での被写体の撮影条件に応じて、前記合成用オブジェクトの合成用データを生成する
   ことを特徴とする請求項１〜請求項３のいずれかに記載の撮影機能を備える電子機器。
5. 前記カメラ部により撮影された前記撮影画像に含まれる１または複数個の被写体オブジェクトをパターン認識すると共に、認識した前記被写体オブジェクトの前記カメラ部からの距離を算出して、前記被写体オブジェクトのそれぞれに対応して記憶する被写体オブジェクト分析手段と、
   前記調整制御情報受付手段で受け付けた前記調整制御情報に含まれる前記合成用オブジェクトの前記カメラ部からの仮想的な距離と、前記被写体オブジェクト分析手段に記憶されている前記被写体オブジェクトのそれぞれの前記カメラ部からの前記距離とに基づいて、前記合成用オブジェクトと前記被写体オブジェクトの前後関係を判定する判定手段と、
   合成手段は、前記判定手段での判定結果に応じて、前記撮影画像の画像データと前記合成用オブジェクトの合成用データとを合成する
   ことを特徴とする請求項１〜請求項４のいずれかに記載の撮影機能を有する電子機器。
6. 前記合成用オブジェクトの前記カメラ部からの仮想的な距離と同等な距離に前記被写体オブジェクトが存在している場合には、前記合成用オブジェクトと前記被写体オブジェクトとの前後の順番の指定を受け付ける手段を備える
   ことを特徴とする請求項５に記載の撮影機能を有する電子機器。

Images