JP5040844B2 - 撮影装置、撮影方法及びプログラム - Google Patents

Description

本発明は、撮影される被写体像に対してアバター画像を合成する撮影装置、撮影方法及び撮影プログラムに関する。

従来、被写体像の特徴に応じて、この被写体像を抽象化された人物画像（アニメーション、キャラクター等のいわゆるアバター画像）に置換する技術が存在する。

例えば、特許文献１には、人物の性別、年代、体型等の情報に基づいて特徴点を抽出し、特徴点の特徴量の一致によって対応するアニメーション・キャラクタの画像を選択して置換する手法が示されている。この手法によれば、被写体像を抽象化したアニメーション・キャラクタの画像を用いることにより、個人の肖像権又はプライバシー等の侵害を防止できる。

特開２００５−２１０３２４号公報（明細書［００１６］、図２）

しかしながら、上記従来の技術では、被写体像が抽象化されたアニメーション・キャラクタは、各被写体像に固有の特徴によって一義的に決まってしまうため面白味に欠ける。
すなわち、コンピュータによって被写体像の特徴が抽出されて、性別、年代、体型等の情報が特定され、特定された情報から一義的にアニメーション・キャラクタが決定されてしまう。このアニメーション・キャラクタは、被写体像が抽象化されたものであり、被写体像に固有の特徴点及び特徴量が十分に活かされているため、被写体像に近似し過ぎて、面白味に欠けることになる。

本発明は、被写体像に基づいてアバター画像を生成する際に、被写体像に固有の特徴を活かしつつ、ユーザ操作による多様なアバター画像を生成することができる撮影装置、撮影方法及びプログラムを提供することを目的とする。

請求項１記載の発明は、被写体像を撮影して画像を生成する撮影手段と、ユーザ操作による入力に基づいて、被写体像の特徴を第１の特徴情報として設定する設定手段と、前記撮影した画像に基づいて被写体像の特徴を抽出し、当該抽出した特徴を第２の特徴情報として設定する特徴取得手段と、前記第１の特徴情報及び前記第２の特徴情報に応じて、アバター画像を生成するアバター画像生成手段と、前記撮影手段により撮影された画像中の被写体像に対して、前記アバター画像生成手段により生成されたアバター画像を合成して合成画像を生成し、当該合成画像を表示する画像合成手段と、被写体像に自動的に合焦する自動合焦手段と、を備え、前記アバター画像生成手段は、当該自動合焦手段により合焦した被写体像に対してのみ、前記アバター画像を生成することを特徴とする撮影装置を提供するものである。

請求項２記載の発明は、前記画像合成手段は、前記特徴取得手段により抽出した特徴の確からしさに応じて、前記合成画像中のアバター画像の表示を変化させることを特徴とする請求項１に記載の撮影装置を提供するものである。

請求項３記載の発明は、前記アバター画像生成手段により生成されたアバター画像を、前記撮影手段により撮影された画像に関連付けて記憶する記憶手段を更に備え、前記画像合成手段は、所定の認証処理が実行された場合には、前記アバター画像を合成した画像ではなく、前記撮影手段により撮影した画像を表示することを特徴とする請求項１または２に記載の撮影装置を提供するものである。

請求項４記載の発明は、前記被写体像は、人物画像であり、前記特徴取得手段は、前記第２の特徴情報として前記人物画像の性別又は年代を取得することを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置を提供するものである。
請求項５記載の発明は、前記設定手段は、前記第１の特徴情報として前記被写体像の種別、髪型、目の何れかを設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮影装置を提供するものである。

請求項６記載の発明は、被写体像を撮影して画像を生成する工程と、ユーザ操作による入力に基づいて、被写体像の特徴を第１の特徴情報として設定する工程と、前記撮影された画像に基づいて被写体像の特徴を抽出し、当該抽出した特徴を第２の特徴情報として設定する工程と、前記第１の特徴情報及び前記第２の特徴情報に応じて、アバター画像を生成する工程と、被写体像に自動的に合焦する自動合焦工程と、を備え、前記自動合焦工程により合焦した被写体像に対して、前記アバター画像を生成することを特徴とする撮影方法を提供するものである。

請求項７記載の発明は、被写体像を撮影して画像を生成する撮影手段を有するコンピュータを、被写体像に自動的に合焦する自動合焦手段、ユーザ操作による入力に基づいて、被写体像の特徴を第１の特徴情報として設定する設定手段、前記撮影した画像に基づいて被写体像の特徴を抽出し、当該抽出した特徴を第２の特徴情報として設定する特徴取得手段、前記自動合焦手段により合焦した被写体像に対して、前記第１の特徴情報及び前記第２の特徴情報に応じてアバター画像を生成するアバター画像生成手段、として機能させることを特徴とするプログラムを提供するものである。

本発明によれば、第１の特徴情報を設定することでアバター画像にユーザの意思を反映させつつ、第２の特徴情報を設定することで被写体像に固有の特徴をアバター画像に取り入れる。よって、被写体像に固有の特徴を活かしつつ、ユーザ操作による多様なアバター画像を生成することができる。

以下、本発明の実施形態について図に従って説明する。
図１は、本発明の撮影装置の実施形態であるデジタルカメラの電気的構成を示したブロック図である。このデジタルカメラは、基本となる動作モードとしてアバター生成モードが設けられたものである。

図１に示すように本実施形態のデジタルカメラは、撮影レンズ１と、撮影レンズ１により収束された撮影光をシャッタ２を介して受光するとともに、受光面に結像された被写体の光学増を光電変換し画像信号として出力する撮像素子であるＣＭＯＳセンサ３、ＣＭＯＳセンサ３の出力信号をディジタルの画像データへ変換するＡ／Ｄ変換器４、変換後の画像データを逐次記憶するＤＲＡＭ５を備えている。なお、ＣＭＯＳセンサ３は、本発明の撮影手段として機能する。

前記シャッタ２の動作はＣＰＵ９の命令に従いシャッタ制御部８により制御され、前記ＣＯＭＳセンサ３、及びＡ／Ｄ変換器４の動作はＣＰＵ９の命令に従い受光制御部１０により制御される。前記ＤＲＡＭ５に格納された１枚分の画像データ、すなわちＲＡＷデータはデモザイク部１１により画素毎に色情報を補間されてＹＵＶデータに変換された後、液晶表示コントローラ６を介して液晶表示器７にスルー画像として表示される。

記録モードでの撮影時にデモザイク部１１によりＹＵＶデータに変換された画像データは、ＣＰＵ９によってＪＰＥＧ等の所定の圧縮方式に従い圧縮された後、外部記憶メモリ１２に静止画ファイルとして記録される。外部記憶メモリ１２に静止画ファイルとして記憶された画像データは、再生モードにおいては、必要に応じＣＰＵ９に読み出されて伸張された後、液晶表示コントローラ６を介して液晶表示器７において表示される。なお、外部記憶メモリ１２は、例えばカメラ本体に着脱自在なメモリカードや、カメラ本体に内蔵されたフラッシュメモリ等により構成される。

また、ＣＰＵ９には、キー入力ブロック１３、メモリ１４、アバター画像生成部１５、画像合成部１６、特徴取得部１７が接続されている。アバター画像生成部１５は本発明のアバター画像生成手段として、画像合成部１６は本発明の画像合成手段として、特徴取得部１７は本発明の特徴取得手段として、それぞれ機能する。キー入力ブロック１３は、使用者によるデジタルカメラの操作に使用される、電源キーやシャッタキー、モード切替キー等を含む複数のスイッチ類から構成される。メモリ１４は、ＣＰＵ９の動作に必要な種々のプログラム及びプログラムの実行に際して使用される各種のデータが記憶されたメモリである。

ＣＰＵ９は、メモリ１４に記憶されたプログラムに従い、キー入力ブロック１３におけるいずれかのキーの操作に応じてデジタルカメラの各部の動作を制御するとともに、前述した画像データの圧縮・伸張を行う。なお、ＣＰＵ９は、本発明の自動合焦手段および設定手段として機能する。

図２は、被写体像の特徴に関するパラメータと各パラメータについての選択枝との関係を示すテーブルデータ３０の図である。なお、このテーブルデータ３０はメモリ１４に記憶されている。

テーブルデータ３０は、被写体像の第１の特徴情報のパラメータである性別及び年代と、被写体像の第２の特徴情報のパラメータである種別、髪型、目と、で構成される。
これらのパラメータのうち、性別及び年代は、特徴取得部１７により、画像データに基づいて選択肢の中から選択されて設定される。つまり、性別について、「男性」又は「女性」が選択され、年代について、「子供」、「大人」および「老人」のうちの１つが選択される。

また、種別、髪型及び目は、ユーザ操作による入力に基づいて、ＣＰＵ９により設定される。つまり、種別について、「人間」、「犬」および「うさぎ」のうちの１つが選択され、髪型について、「ショート」、「ミディアム」および「ロング」のうちの１つが選択され、目について、「細い」、「標準」および「少女漫画」のうちの１つが選択される。

換言すれば、第１の特徴情報は、ユーザ操作により設定され、被写体像からは取得されないパラメータであり、第２の特徴情報は、被写体像から取得されて、ユーザ操作により変更できないパラメータである。なお、パラメータは、これらに限られるものではなく、肌の色、めがねの有無、ひげ、表情など様々なパラメータを採用することができる。

また、メモリ１４には、種別、髪型及び目のパラメータについて、予め６種類の所定の画像がテンプレートとして記憶されている。
つまり、図２に示すように、特徴取得部１７により取得される性別及び年代の組合せは、男性で子供、男性で大人、男性で老人、女性で子供、女性で大人、女性で老人の６種類であるので、これら６種類の組合せについて、種別、髪型及び目の形状が異なるように、テンプレートが記憶されている。

次に、以上の構成からなるデジタルカメラの動作について説明する。図３は、デジタルカメラにおけるＣＰＵ９の処理手順を示すフローチャートである。以下に示す処理は基本的にＣＰＵ９がメモリ１４に記憶されたプログラムに従って実行することができるが、必要に応じてプログラムの一部又は全部を、例えばネットワーク等を介して受信して実現するようにしてもよい。

まず、デジタルカメラの電源がＯＮ状態にあり、アバター生成モードが選択されている状態では、ライブビューが行われる（ステップＳ２０）。ライブビューとは、所定のフレームレートで時系列的にフレーム画像を取得してＤＲＡＭ５に一時記憶し、記憶した画像データを縮小して液晶表示器７にスルー画像として表示するものである。ユーザはライブビュー画像を見ながらフレーミングできる。

次に、ＣＰＵ９は、ユーザのキー入力ブロック１３の操作により、パラメータ入力を検知したか否かを判断する（ステップＳ２１）。すなわち、図２に示すテーブルデータを液晶表示器７に表示して、ユーザが第１の特徴情報に関するパラメータである種別、髪型、目について、選択枝の中から視覚的に選択できるようにする。
なお、このステップＳ２１においては、種別、髪型、目のみを、図２に示す選択枝の中から選択可能であるので、この選択可能なパラメータのみを液晶表示器７に表示してもよい。このようにテーブルデータを表示することにより、ユーザにとって入力が容易となる。

ステップＳ２１においてユーザ操作によるパラメータ入力を検知した場合は、ステップＳ２２に進む。一方、ステップＳ２１においてユーザ操作によるパラメータ入力を検知しない場合は、各パラメータをメモリ１４にデフォルトで記憶した設定とし、ステップＳ２３に進む。

ステップＳ２２では、図２に示すテーブルデータの中から、該当するパラメータを入力された選択肢に設定する。

次に、シャッタの半押しを検知したか否かを判断する（ステップＳ２３）。シャッタの半押しを検知しない場合は、処理をステップＳ２０に戻し、ライブビュー状態を継続する。一方、シャッタの半押しを検知した場合は、自動合焦処理（ＡＦ）と自動露出処理（ＡＥ）を行う（ステップＳ２４）。

次に、ＡＦ対象の被写体像について、パラメータである性別及び年代を推定し（ステップＳ２５）、この推定に基づいて性別及び年代を設定する（ステップＳ２６）。すなわち、特徴取得部１７により、ＡＦ対象の被写体像画像データに基づいて、被写体像の性別及び年代についての特徴を推定して、この推定に基づいて、性別及び年代を選択枝の中から選択して設定する。
これら性別や年代の推定は、ニューラルネットワークやサポートベクターマシンなど公知の技術を用いて行うことができる。例えば、文献１：Ｃｏｔｔｒｅｌｌ，Ｇ．Ｗ．＆Ｍｅｔｃａｌｆｅ，Ｊ．（１９９１）“Ｅｍｐａｔｈ，ｆａｃｅ，ｇｅｎｄｅｒ，ａｎｄ ｅｍｏｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｈｏｌｏｎｓ，”ｉｎ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ，３，ｐｐ．５６４−５７１．、文献２：Ｇｕｔｔａ，Ｓ．，Ｈｕａｎｇ，Ｊ．Ｒ．Ｊ．，Ｊｏｎａｔｈｏｎ，Ｐ．，Ｗｅｃｈｓｌｅｒ，Ｈ．（２０００）“Ｍｉｘｔｕｒｅ ｏｆ Ｅｘｐｅｒｔｓ ｆｏｒ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ｇｅｎｄｅｒ，Ｅｔｈｎｉｃ Ｏｒｉｇｉｎ，ａｎｄ Ｐｏｓｅ ｏｆ Ｈｕｍａｎ Ｆａｃｅｓ，”ＩＥＥＥ Ｔｒａｎｓａｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ｖｏｌ．１１，ｐｐ．９４８−９５９．、文献３：Ｇｏｌｏｍｂ，Ｂ．Ａ．，Ｌａｗｒｅｎｃｅ，Ｄ．Ｔ．，Ｓｅｊｎｏｗｓｋｉ，Ｔ．Ｊ．（１９９０）“ＳＥＸＮＥＴ：Ａ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｉｄｅｎｔｉｆｉｅｓ ｓｅｘ ｆｒｏｍ ｈｕｍａｎ ｆａｃｅｓ，”ｉｎ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ，ｐｐ．５７２−５７７．、文献４：伊賀、和泉、林、深野、大谷（２００３）“人物顔画像による性別・年齢推定システム”第９回画像センシングシンポジウムなどに記載の手法を用いることができる。

次に、設定されたパラメータに応じたアバター画像を生成する（ステップＳ２７）。すなわち、ステップＳ２２において設定された第１の特徴情報に関するパラメータと、ステップＳ２６において設定された第２の特徴情報に関するパラメータと、に基づいて、アバター画像生成部１５によってアバター画像を生成する。

次に、ＡＦ対象の被写体像をアバター画像に置換してライブビューを継続する（ステップＳ２８）。
このライブビュー状態でシャッタの全押しを検知したか否かを判断し（ステップＳ２９）、シャッタの全押しを検知しない場合は処理をステップＳ２０に戻す。これにより、生成されたアバター画像がユーザの所望のアバター画像ではない場合に、最初からアバター画像の設定をやり直すことができる。一方で、シャッタの全押しを検知した場合は、撮影を行う（ステップＳ３０）。

撮影が完了すると、ＣＰＵ９は、２つの画像データを圧縮して符号化し、この圧縮・符号化した画像データをＤＲＡＭ５に格納し、外部記憶メモリ１２に記録する（ステップＳ３１、Ｓ３２）。２つの画像データとは、１つは、アバター画像が合成されていない画像データであり、もう１つは、ＡＦ対象の被写体像をアバター画像に置換した画像である。

以上の処理では、例えば、複数の被写体像を含む画像に対して、次のように動作する。
例えば、ユーザにより、第１の特徴情報である種別は「人間」、髪型は「ミディアム」、目は「標準」が設定されているものとする。
そして、この状態で、図４（ａ）に示すように、画像４０の左側には女の子４１、右側には中年男性４２を配置してライブビューを実行する（ステップＳ２０）。
この場合、画像４０中の女の子４１をＡＦ対象としてシャッタを半押しすると、図４（ｂ）に示すように、この女の子４１がアバター画像４１Ａに置換される。この女の子４１の性別は「女性」、年代は「子供」、種別は「人間」、髪型は「ミディアム」、目は「標準」となる。
さらに、第１の特徴情報としての種別を「人間」から「犬」に変更すると、図５のように、女の子のアバター画像は、アバター画像４１Ａからアバター画像４１Ｂに変更される。

一方、右側の中年男性４２をＡＦ対象としてシャッタを半押しすると（ステップＳ２３）、図４（ｃ）に示すように、この中年男性４２がアバター画像４２Ａに置換される（ステップＳ２８）。この中年男性４２の性別は「男性」、年代は「大人」、種別は「人間」、髪型は「ミディアム」、目は「標準」となる。
この場合、さらに、第１の特徴情報としての種別を「人間」から「犬」に変更すると、図６のように、中年男性のアバター画像は、アバター画像４２Ａからアバター画像４２Ｂに変更される。

本発明によれば、以下のような効果がある。
（１）ユーザ操作による入力に基づいて種別、髪型、目を第１の特徴情報として設定する。また、撮影した画像に基づいて被写体像の性別及び年代を抽出し、抽出した性別及び年代を第２の特徴情報として設定する。そして、第１の特徴情報及び前記第２の特徴情報に応じて、アバター画像４１Ａ、４１Ｂ、４２Ａ、４２Ｂを生成する。つまり、第１の特徴情報を設定することでアバター画像にユーザの意思を反映させつつ、第２の特徴情報を設定することで被写体像に固有の特徴をアバター画像４１Ａ、４１Ｂ、４２Ａ、４２Ｂに取り入れる。よって、被写体像に固有の特徴を活かしつつ、ユーザ操作による多様なアバター画像を生成することができる。

（２）合焦した被写体像に対してのみ、アバター画像を生成したので、カメラを被写体像に向けて焦点を合わせるだけで、アバター画像４１Ａ、４１Ｂ、４２Ａ、４２Ｂを容易に生成することができる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、顔の認識処理の確からしさを数値化し、アバター画像を表示する際に、アバター画像のコントラストや彩度を変更したり、点滅させたりして、顔の認識処理の確からしさを表示させてもよい。例えば、認識処理の精度が高い判定した場合には、アバター画像を濃く表示し、認識処理の精度が低いと判定した場合にはアバター画像を薄く表示してもよい。

また、ＤＲＡＭ５に記録された２つの画像データを互いに関連付けて記憶しておき、所定の認証処理が実行された場合には、アバター画像を合成した画像ではなく、アバター画像を合成していない元の画像を表示してもよい。
アバター画像を合成していない画像には、特定の個人が被写体として撮影されているが、このように認証処理が実行された場合にのみ、元の画像を表示すれば、この特定の個人のプライバシーが侵害されるのを防止できる。

また、本発明は、デジタルカメラに限らず、例えばカメラ付きの携帯電話端末等の静止画撮影機能を有する他の撮像装置にも適用できる。
また、本発明は、撮像装置に限らず、所定のプログラムに基づき動作することにより前記機能が実現されるパーソナルコンピュータも含まれる。

本発明の撮影装置の実施形態であるデジタルカメラの電気的構成を示したブロック図である。 被写体像のパラメータと各パラメータについての選択肢との関係を示すテーブルデータの図である。 デジタルカメラにおける処理手順を示すフローチャートである。 アバター画像を合成する手順を説明するための図である。 アバター画像を異なるアバター画像に置換する手順を説明するための図（その１）である。 アバター画像を異なるアバター画像に置換する手順を説明するための図（その２）である。

符号の説明

３ ＣＭＯＳセンサ（撮像手段）
９ ＣＰＵ（自動合焦手段、設定手段）
１５ アバター画像生成部（アバター画像生成手段）
１６ 画像合成部（画像合成手段）
１７ 特徴取得部（特徴取得手段）

Claims (7)

1. 被写体像を撮影して画像を生成する撮影手段と、
   ユーザ操作による入力に基づいて、被写体像の特徴を第１の特徴情報として設定する設定手段と、
   前記撮影した画像に基づいて被写体像の特徴を抽出し、当該抽出した特徴を第２の特徴情報として設定する特徴取得手段と、
   前記第１の特徴情報及び前記第２の特徴情報に応じて、アバター画像を生成するアバター画像生成手段と、
   前記撮影手段により撮影された画像中の被写体像に対して、前記アバター画像生成手段により生成されたアバター画像を合成して合成画像を生成し、当該合成画像を表示する画像合成手段と、
   被写体像に自動的に合焦する自動合焦手段と、
   を備え、
   前記アバター画像生成手段は、当該自動合焦手段により合焦した被写体像に対してのみ、前記アバター画像を生成することを特徴とする撮影装置。
2. 前記画像合成手段は、前記特徴取得手段により抽出した特徴の確からしさに応じて、前記合成画像中のアバター画像の表示を変化させることを特徴とする請求項１に記載の撮影装置。
3. 前記アバター画像生成手段により生成されたアバター画像を、前記撮影手段により撮影された画像に関連付けて記憶する記憶手段を更に備え、
   前記画像合成手段は、所定の認証処理が実行された場合には、前記アバター画像を合成した画像ではなく、前記撮影手段により撮影した画像を表示することを特徴とする請求項１または２に記載の撮影装置。
4. 前記被写体像は、人物画像であり、
   前記特徴取得手段は、前記第２の特徴情報として前記人物画像の性別又は年代を取得することを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。
5. 前記設定手段は、前記第１の特徴情報として前記被写体像の種別、髪型、目の何れかを設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮影装置。
6. 被写体像を撮影して画像を生成する工程と、
   ユーザ操作による入力に基づいて、被写体像の特徴を第１の特徴情報として設定する工程と、
   前記撮影された画像に基づいて被写体像の特徴を抽出し、当該抽出した特徴を第２の特徴情報として設定する工程と、
   前記第１の特徴情報及び前記第２の特徴情報に応じて、アバター画像を生成する工程と、
   被写体像に自動的に合焦する自動合焦工程と、
   を備え、
   前記自動合焦工程により合焦した被写体像に対して、前記アバター画像を生成することを特徴とする撮影方法。
7. 被写体像を撮影して画像を生成する撮影手段を有するコンピュータを、
   被写体像に自動的に合焦する自動合焦手段、
   ユーザ操作による入力に基づいて、被写体像の特徴を第１の特徴情報として設定する設定手段、
   前記撮影した画像に基づいて被写体像の特徴を抽出し、当該抽出した特徴を第２の特徴情報として設定する特徴取得手段、
   前記自動合焦手段により合焦した被写体像に対して、前記第１の特徴情報及び前記第２の特徴情報に応じて、アバター画像を生成するアバター画像生成手段、
   として機能させることを特徴とするプログラム。

Images