JP6292867B2 - 合成イメージを撮影する撮影装置及びその方法 - Google Patents

Description

本発明は、撮影装置及びその合成イメージ撮影方法に関し、より詳細には、イメージから分離された客体をライブビューとともに表示し、合成イメージを撮影する撮影装置及びその合成イメージ撮影方法に関する。

電子技術の発達により、多様な携帯型機器が開発及び普及されている。最近、普及されている携帯型機器は、ほとんどがディスプレイ手段及び撮影手段を備えており、撮影機能をサポートしている。撮影機能をサポートする撮影装置は、レンズを通じて入射される光を用いて、ディスプレイ手段にライブビューをディスプレイする。ユーザは、ライブビューを見ながら撮影を行うことができる。

それにより、写真撮影が日常化したことで、多様な場所で撮影が行われ、撮影された写真は多様に活用されている。一例として、ユーザは自分が撮影した写真を、ブログや、ウェブカフェ、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）等にアップロードさせ、他人と共有することができる。

一方、ユーザは、有名な場所や建物等を背景に自分の姿を撮影しようとすることが頻繁に発生する。この場合、他人からの助けがない限りは、セルフ撮影モードやタイマー機能等を利用するしかなかった。

しかし、タイマー機能を利用するためには、自分の撮影装置を床やその他の物の上に置いて、撮影角度や方向を調整した後、固定させなければならないという不都合があった。なお、セルフ撮影を行う場合には、腕の長さの制限等により、写真のかなりの部分がユーザの顔で埋るようになったり、背景をまともに写すことができないという問題点があった。

それにより、ユーザが自分の姿と背景とをいい具合に撮影できるようにする技術が必要になってきている。

韓国特開第２０１１−００６０４９９号公報 韓国特開第２０１２−０１１８５８３号公報 日本特開第２００５−２０４０１５号公報

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影イメージから客体を分離し、分離された客体が重畳されたライブビューを提供し、合成イメージを撮影することができるようにする撮影装置及びその合成イメージ撮影方法を提供することにある。

以上のような目的を達成するための本発明の一実施形態に係る撮影装置は、撮影部と、前記撮影部を介して獲得された第１撮影イメージから客体を分離するイメージ処理部と、前記分離された客体が重畳された背景ライブビューをディスプレイするディスプレイ部と、背景撮影命令が入力されると、前記背景ライブビューに対応する第２撮影イメージを獲得し、前記第２撮影イメージに前記分離された客体を付加して合成イメージを生成する制御部とを含む。

ここで、前記制御部は、合成撮影モードが選択されると、前記撮影部のライブビューをディスプレイするように前記ディスプレイ部を制御し、前記ライブビューの各フレームをモニタリングしながら前記客体を探索して追跡し、客体撮影命令が入力されると、前記撮影部のライブビューに対応する前記第１撮影イメージを生成し、前記第１撮影イメージ内で、前記追跡された客体を分離するように前記イメージ処理部を制御してよい。

そして、前記撮影部は、第１撮影方向で撮影を行うための第１撮影部と、前記第１撮影方向の反対方向である第２撮影方向で撮影を行うための第２撮影部とを含んでよい。

なお、前記制御部は、前記合成撮影モードが開始されると、前記ライブビューを前記ディスプレイ部に提供するように前記第１撮影部を活性化させ、前記第１撮影部によって前記第１撮影イメージが獲得されると、前記背景ライブビューを前記ディスプレイ部に提供するように前記第２撮影部を活性化させてよい。

または、事前学習された客体モデルが保存された保存部を更に含んでよい。

この場合、前記制御部は、前記第１撮影イメージ内で前記客体モデルに合致する領域を前記客体と判断してよい。

なお、前記ディスプレイ部は、前記第１撮影イメージをディスプレイし、前記制御部は、前記第１撮影イメージに対するユーザ操作が行われると、前記ユーザ操作に応じて前記客体と判断された領域の大きさ及び形を変更してよい。

または、前記制御部は、前記第１撮影イメージから分離された前記客体の形状を復元するように前記イメージ処理部を制御し、復元された客体を前記背景ライブビューに重畳させて表示してよい。

そして、前記制御部は、前記背景ライブビュー内で、前記客体の表示位置、大きさ、カラー及び輝度のうち、少なくとも一つを、ユーザの選択に応じて調整するように前記イメージ処理部を制御してよい。

または、前記制御部は、前記背景ライブビューの特性に基づいて、前記分離された客体の表示位置、大きさ、カラー及び輝度のうち、少なくとも一つを調整してよい。

一方、本発明の一実施形態に係る合成イメージ撮影方法は、第１撮影イメージを獲得し、前記第１撮影イメージから客体を分離するステップと、前記客体が重畳された背景ライブビューをディスプレイするステップと、背景撮影命令が入力されると、前記背景ライブビューに対応する第２撮影イメージを獲得するステップと、前記第２撮影イメージに前記分離された客体を付加して合成イメージを生成するステップとを含む。

なお、前記客体を分離するステップは、合成撮影モードが選択されると、ライブビューをディスプレイするステップと、前記ライブビューの各フレームをモニタリングしながら前記客体を探索して追跡するステップと、客体撮影命令が入力されると、前記ライブビューに対応する前記第１撮影イメージを生成するステップと、前記第１撮影イメージ内で、前記追跡された客体を分離するステップとを含む。

そして、前記客体を探索して追跡するステップは、前記第１撮影イメージ内で、事前学習された客体モデルに合致する領域を前記客体と判断してよい。

そして、前記客体を分離するステップは、前記第１撮影イメージをディスプレイするステップと、前記第１撮影イメージに対するユーザ操作が行われると、前記ユーザ操作に応じて前記客体と判断された領域の大きさ及び形を変更するステップとを含んでよい。

または、前記第１撮影イメージから分離された前記客体の形状を復元するステップを更に含んでよい。

一方、前記背景ライブビュー内における前記分離された客体の表示位置、大きさ、カラー及び輝度のうち、少なくとも一つを、ユーザの選択に応じて調整するステップを更に含んでよい。

または、前記背景ライブビューの特性に基づいて、前記分離された客体の表示位置、大きさ、カラー及び輝度のうち、少なくとも一つを調整するステップを更に含んでよい。

以上説明したように、本発明によれば、客体が重畳されたライブビューを提供し、ユーザが特定客体を含む合成イメージを容易に撮影することができるようになる。

本発明の一実施形態に係る撮影装置の構成を示すブロック図である。 本発明の一実施形態に係る合成イメージ撮影方法を説明するための図である。 ライブビュー上で客体の表示状態を変更する多様な方法を説明するための図である。 ライブビュー上で客体の表示状態を変更する多様な方法を説明するための図である。 撮影イメージから客体を分離する方法を説明するための図である。 ユーザ操作に応じて客体分離領域を調整する方法を説明するための図である。 撮影イメージから客体を分離して形を復元する方法を説明するための図である。 複数の撮影部を用いる実施形態に係る撮影装置の構成を示すブロック図である。 複数の撮影部を用いて合成イメージを撮影する方法の一例を示す図である。 合成イメージ撮影過程を具体的に説明するための図である。 本発明の一実施形態に係る合成イメージ撮影方法を説明するためのフローチャートである。 本発明の一実施形態に係る客体分離方法を説明するためのフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の一実施形態に係る撮影装置の構成を示すブロック図である。図１に係る撮影装置１００は、デジタルカメラやカムコーダだけでなく、携帯電話、タブレットパソコン、ラップトップコンピュータ、ＰＤＡ、ＭＰ３プレーヤ等のような多様な類型の装置で実現されてよい。

図１によると、撮影装置１００は、撮影部１１０と、イメージ処理部１２０と、ディスプレイ部１３０及び制御部１４０を含む。

撮影部１１０は、撮影動作を行うための構成要素である。撮影部１１０は、レンズとイメージセンサとを含む。撮影部１１０に使用できるレンズの種類には、一般的な汎用レンズ、広角レンズ、ズームレンズ等がある。レンズの種類は、撮影装置１００の種類および特性、使用環境によって決定されてよい。イメージセンサとしては、相補型金属酸化膜半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）と電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）等が使用されてよい。

イメージ処理部１２０は、撮影部１１０を介してセンシングされるイメージを処理する。具体的には、イメージ処理部１２０は、撮影部１１０を介して獲得された撮影イメージから被写体の具体的な形状である客体を分離する。

客体分離は、多様なアルゴリズムによって行われてよい。

一例として、制御部１４０は、撮影イメージをピクセル単位で、または複数個のピクセルからなるピクセルブロック単位で区分する。制御部１４０は、各ピクセルのピクセル値または各ピクセルブロックの代表ピクセル値を比較し、その差が閾値を超過するピクセル領域を検出する。制御部１４０は、検出されたピクセル領域をエッジ（ｅｄｇｅ）と判断し、そのエッジを基準に客体領域を区分する。制御部１４０は、区分された客体領域のうち、予め設定された条件を満たす客体領域を合成対象と判断する。制御部１４０は、合成対象として判断された客体領域を撮影イメージから分離するようにイメージ処理部１２０を制御する。人の顔を合成しようとする場合には、人の顔色に該当するピクセル値を有する客体領域を合成対象と判断する。

別の例として、制御部１４０は、事前学習された客体モデルを用いて客体領域を判断することもできる。客体モデルとは、複数の撮影動作を行って獲得された複数の撮影イメージを分析し、客体が位置した領域の統計値に応じて客体領域を定義したモデルを意味する。客体モデルは、繰り返し学習によって持続的にアップデートすることができる。制御部１４０は、撮影イメージに客体モデルを適用し、その客体モデルに合致する領域を客体と判断することができる。具体的には、客体モデルに合致する領域の周辺のエッジを基準に客体を特定することができる。制御部１４０は、客体と判断された部分を分離するようにイメージ処理部１２０を制御する。

ディスプレイ部１３０は、撮影部１１０によって撮影されるライブビューをディスプレイする。ライブビューとは、被写体をビューファインダではないディスプレイ部１３０を介して確認することができるように提供するイメージを意味する。具体的には、撮影部１１０のレンズを通じて入射される光は、イメージセンサで入射され、イメージセンサは入射された光に対応する電気信号をディスプレイ部１３０に出力する。それにより、現在の撮影範囲内の被写体のイメージがライブビュー領域に表示される。ライブビューは、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）ライブビュー方式、位相差ＡＦライブビュー方式、ライブビュー処理のための別途のイメージセンサを利用する方式等のように、多様な方式によって提供されてよい。イメージ処理部１２０で客体を分離した場合、分離された客体はライブビューに重畳されてディスプレイされる。

制御部１４０は、撮影装置１００の動作全般を制御する。具体的には、制御部１４０は、撮影命令が入力されると、撮影部１１０を制御して撮影動作を行う。それにより、背景に該当する撮影イメージが獲得されると、その撮影イメージに客体を付加して合成イメージを生成する。制御部１４０は、客体に対して多様なイメージ処理を行うようにイメージ処理部１２０を制御し、客体１１が撮影イメージに自然に合成できるようにすることができる。具体的には、イメージ処理部１２０は、客体１１と背景イメージの輝度差を軽減させ、カラー分布を補正するトーンマッピング（ｔｏｎｅ ｍａｐｐｉｎｇ）を行うことができる。または、イメージ処理部１２０は、客体と背景イメージとの間の境界を除去するようにイメージマッティング（ｉｍａｇｅ ｍａｔｔｉｎｇ）を行うこともできる。それにより、より自然な合成イメージを生成することができる。

このような合成イメージ生成動作は、撮影装置１００が合成撮影モードで動作する際に行われてよい。すなわち、撮影装置１００は、ユーザの選択に応じて、一般撮影モード、セルフ撮影モード、合成撮影モード、特殊撮影モード等のような多様なモードで動作することができる。

図２は、合成イメージを撮影する過程を説明するための図である。図２に示すように、制御部１４０は、合成撮影モードが選択されると、撮影部１１０を活性化させ、そのライブビューをディスプレイする。このような状態で、撮影命令が入力されると、客体１１を含む撮影イメージ１０が獲得される。イメージ処理部１２０は、撮影イメージ１０から客体１１を分離する。

制御部１４０は、撮影イメージ１０が獲得されると、再び撮影部１１０を活性化させ、ライブビュー２０をディスプレイ部１３０上にディスプレイする。ディスプレイ部１３０は、ライブビュー２０と客体１１とを一つの画面上に重畳させて表示する。ライブビュー２０は、撮影装置１００の撮影方向に応じてリアルタイムで変更されるが、客体１１は毎ライブビュー２０画面上に持続的に表示される。それにより、ユーザは、背景イメージと客体１１とを一つの画面で確認することができるようになり、客体１１と背景イメージの構図を考慮して適切な撮影角度及び時点で撮影命令を入力することができる。撮影命令が入力されると、制御部１４０は、撮影部１１０を制御して撮影イメージを獲得し、その撮影イメージと客体１１とを一つのイメージに合成する。説明の便宜上、先に撮影されたイメージを第１撮影イメージまたは客体イメージとし、その後撮影されたイメージを第２撮影イメージまたは背景イメージとする。なお、客体１１とともに表示されるライブビューは、背景ライブビューとする。

図３は、本発明の別の実施形態に係る合成方法を説明するための図である。図３によると、撮影装置１００は、背景ライブビュー内における客体の表示位置、大きさ、カラー及び輝度等のような表示属性のうち、少なくとも一つを変更することができる。

例えば、第１撮影イメージから客体１１が分離されると、図３の（ａ）に示すように、分離された客体１１は背景ライブビュー２０に重畳されて表示される。このような状態で、ユーザが、客体１１の表示された地点をタッチして別の地点にドラッギングすると、制御部１４０は、ディスプレイ部１３０に内蔵されたタッチセンサのセンシング値を用いて、タッチ地点の座標値を分析してドラッギング軌跡及び方向を判断する。制御部１４０は、そのドラッギング軌跡及び方向に応じて、客体１１の表示位置を変更するようにイメージ処理部１２０を制御する。それにより、図３の（ｂ）に示すように、客体１１がライブビュー２０の画面内で別の位置に移動して表示される。

または、ユーザは、ピンチインやピンチアウト等のような操作を行うこともできる。制御部１４０は、客体１１の表示された領域内で二つ以上の地点がタッチされ、タッチ地点の間の間隔が広がると、客体１１の大きさを拡大させるためのピンチイン操作が行われたと判断する。一方、タッチ地点の間の間隔が狭まると、客体１１の大きさを縮小させるためのピンチアウト操作が行われたと判断する。制御部１４０は、判断結果に応じて、客体１１の大きさを拡大または縮小するように、イメージ処理部１２０を制御する。図３の（ｃ）においては、客体１１が縮小された状態を示す。

図３の（ｂ）及び（ｃ）においては、ユーザ操作に応じて、客体の表示位置または大きさを変更するものとして説明したが、客体の表示属性は背景ライブビューの特性に応じて自動的に調整されてよい。すなわち、制御部１４０は、背景ライブビュー２０を分析し、背景ライブビュー２０内の別の客体と重ならない位置に客体１１の位置を移動させるか、別の客体と重ならない程度の大きさに客体１１の大きさと調整するように、イメージ処理部１２０を制御する。

図３においては、客体の表示位置や大きさを変更する場合について説明したが、その他に、客体の輝度やカラー等のような属性を背景ライブビューの特性に基づいて調整することもできる。

図４では、分離された客体１１の輝度を背景ライブビュー２０に輝度やカラー等のような属性に合致するように調整する実施形態を示す。制御部１４０は、背景ライブビューの輝度やカラー等のような属性を分析する。そして、分析された属性に対応する値に、客体１１の輝度やカラー等を調整するようにイメージ処理部１２０を制御する。図４では、背景ライブビュー２０の輝度に応じて客体１１の輝度が増加された状態を示す。

一方、本発明の更に別の実施形態によると、撮影装置１００はライブビューに基づいて客体を追跡して分離することもできる。

図５は、このような実施形態に係る客体分離方法を説明するための図である。合成撮影モードが行われると、制御部１４０は、撮影部１１０を活性化させてライブビュー１０をディスプレイする。ライブビュー３０には、被写体に対応する客体１１が表示されてよい。

制御部１４０は、ライブビュー３０の各フレームをモニタリングしながら客体を探索する。具体的には、制御部１４０は、ライブビュー３０のフレーム単位で抽出し、そのフレームを分析してエッジを検出する。エッジによって区分されるピクセル領域のうち、類似するピクセル値を有しつつ、連続して配置されるピクセルを含むピクセル領域を一つの客体と判断する。

この場合、ピクセル領域の大きさが閾値未満である場合には、客体判断が困難になる場合がある。例えば、図５の（ａ）に示すように、ユーザの後頭が写っているか、図５の（ｂ）に示すように、横顔が写っている場合には、顔色に対応するピクセル領域が小さいため、顔領域判断が困難になる。制御部１４０は、顔領域が判断されるまで、ライブビューをモニタリングし続ける。

それにより、図５の（ｃ）に示すように、ユーザが顔を向けた場合には、顔領域の大きさが閾値以上になり、顔領域及びそれに連結されたユーザ身体領域を含み、一つの客体と判断することができる。制御部１４０は、一旦客体１１が探索されると、その探索された客体１１の大きさが縮小されたり、移動するとしても持続的に追跡することができる。それにより、図５の（ｄ）、（ｅ）に示すように、ユーザが多様な形に動かして顔の形が変更されても、客体１１を正確に判断することができる。このような状態で、撮影が行われると、図５の（ｆ）のように、撮影イメージ１０が獲得される。そして、最終的に撮影されたイメージ１０から客体１１を分離する。

以上のように、ユーザが自分の姿を先に撮影すると、その撮影イメージからユーザの姿を分離するセグメンテーション（ａｕｔｏ ｓｅｇｍｅｎｔａｔｉｏｎ）作業が行われる。図５では、自動的に客体が分離される過程について説明したが、精度を高めるために、ユーザが更に客体分離領域を調整する実施形態で実現されてよい。

図６は、本発明の更に別の実施形態に係る撮影装置における客体分離領域調整方法を説明するための図である。制御部１４０は、第１撮影イメージ１０が獲得されると、それをディスプレイ部１３０画面上にディスプレイする。このとき、画面上には客体の境界部分を表示するためのガイドイメージ６１を同時に表示することができる。制御部１４０は、客体領域を自動的に特定するオートセグメンテーション作業を行い、その客体境界部分を判断した後、判断された境界部分に点線や実線のガイドイメージ６１をレンダリングすることができる。

このような状態で、ユーザは画面に対してタッチ、ドラッグ、フリック、スクリブル（ｓｃｒｉｂｂｌｅ）、ラグ（ｒｕｇ）等のような多様なユーザ操作を行うことができる。この場合、画面上には、ユーザ操作が行われる軌跡に応じて、ラインイメージ６２が表示されてよい。結果的に、ユーザ操作の方向や大きさ等に応じて、客体と判断された領域の大きさ及び形が容易に変更されてよい。よって、ユーザの姿と同様の客体が表示された領域を細部的に補正して正確な客体検出が可能となる。

なお、撮影イメージの構造は、被写体との距離や被写体の大きさ等によって多様であってよい。仮に、ユーザが自分の姿を撮影すると、腕の長さ制限のため、ユーザの全身が写らず、顔や上半身の一部だけが撮影イメージに表示される。このような状態で客体を分離すると、残りの上半身や下半身は写らなくなるため、背景イメージと合成すると不自然になるおそれがある。よって、合成の前に、分離された客体の形を復元することができる。

図７は、本発明の更に別の実施形態に係る撮影装置における客体復元方法を説明するための図である。図７によると、客体１１の中で、顔領域の幅やボディ領域の幅を用いて、復元領域の幅を決定することができる。すなわち、図７の（ａ）に示すように、顔領域の幅の半分をＷｆ、ボディ領域の幅の半分をＷｓとすると、ログ関数を適用して復元領域の大きさを決定することができる。

具体的には、制御部１４０は、以下の数式を用いて復元領域を決定することができる。

数式（１）を通じて計算される値は、復元領域の幅であってよい。数式（１）において、ｘは横軸座標値を意味する。すなわち、図７の（ａ）で、左側最上段の座標を（０、０）とし、右方に進むにつれｘが増加し、下方になるにつれｙが増加するｘ−ｙ座標系でモデリングすることができる。この場合、肩の形状を構成する部分を（ｘ、ｙ）と表示することができる。図７において、肩を復元するために、肩の形状を優先して見つけなければならない。右肩を復元しようとする場合、制御部１４０は、肩の形状を構成する部分のうち、右側最後のｘ座標値地点でｙ値が最大値になるまで、ｘ値を順次に増加させつつ、数式（１）を用いてｙ値を算出する。ｙ値の最大値は、結局、第１撮影イメージの縦方向最大解像度になってよい。左肩を復元する場合には、左側最後のｘ座標値地点で、ｙ値が最大値になるまでｘ値を順次に現象させつつｙ値を算出することができる。それにより、肩に該当する領域が推定されると、イメージ処理部１２０は、ボディ領域のエッジラインに沿って肩部分１２の境界ラインをドローイング（ｄｒａｗｉｎｇ）し、そのドローイングされた境界ラインの内部領域を決定されたピクセル値で埋め、肩領域を復元する。復元領域のピクセル値は、その周辺色相をそのまま借用するミラーリング技法によって決定されてよい。

上述の数式（１）は一例に過ぎず、制御部１４０は、その他に多様な数式化された関数グラフを用いて肩を復元することができる。例えば、ログ関数の代わりに、ログ関数に近い別の関数を使用することもできる。

結果として、図７の（ｂ）及び（ｃ）に示すように、イメージ処理部１２０は、第１撮影イメージ１０から客体１１を分離し、肩部分１２を復元することができる。図７の（ｃ）は、肩部分が復元された客体１１の形状を示す。

以上のように、撮影装置１００は、撮影部１１０を用いて複数の撮影イメージを撮影した後、合成イメージを生成する。撮影部の数は多様に実現されてよい。仮に、一つの撮影部をもって撮影動作を複数回行い、複数の撮影イメージを獲得することもでき、二つの撮影部をもって順次にまたは同時に撮影動作を行い、複数の撮影イメージを獲得することもできる。以下では、複数の撮影部を備える実施形態に係る撮影装置の構成及び動作について説明する。

図８は、複数の撮影部を備える実施形態に係る撮影装置の構成を示すブロック図である。図８によると、撮影装置１００は、撮影部１１０と、イメージ処理部１２０と、ディスプレイ部１３０と、制御部１４０及び保存部１５０を含む。

保存部１５０は、撮影装置で使用される多様なプログラム及びデータ等が保存されてよい。なお、撮影部１１０で撮影された撮影イメージ、イメージ処理部１２０で生成される合成イメージ等も、保存部１５０に保存されてよい。その他に、上述の客体モデルも保存部１５０に保存されてよい。保存部１５０は、撮影装置に内蔵されるフラッシュメモリやＨＤＤ等であってよく、撮影装置に装着または接続可能なメモリカード、ＵＳＢメモリスティック、外付けハード等であってよい。

撮影部１１０は、第１撮影部１１１と、第２撮影部１１２のように、複数の撮影部を含むことができる。第１撮影部１１１と第２撮影部１１２とは、撮影装置１００の本体で対向方向に配置されてよい。例えば、第１撮影部１１１が第１撮影方向に撮影を行うことができるように撮影装置１００の第１面に配置されているとしたら、第２撮影部１１２は第１撮影方向の反対方向である第２撮影方向で撮影を行うことができるように第２面に配置される。

制御部１４０は、合成撮影モードが開始されると、第１撮影部１１１を先に活性化させ、第１撮影部１１１のライブビューをディスプレイ部１３０の画面上にディスプレイする。このような状態で撮影命令が入力されると、制御部１４０は、第１撮影部１１１を制御して撮影を行い、第１撮影イメージを獲得する。イメージ処理部１２０は、第１撮影イメージから客体を分離することができる。

制御部１４０は、第１撮影部１１１によって第１撮影イメージが獲得されると、第２撮影部１１２を活性化させる。それにより、第２撮影部１１２によって撮影されるライブビュー、すなわち、背景ライブビューをディスプレイ部１３０に提供する。

イメージ処理部１２０は、第１バッファ部１２１と、客体処理部１２２と、第２バッファ部１２３と、加算部１２４を含む。第１バッファ部１２１には、第１撮影部１１１を介してセンシングされるイメージデータがバッファリングされ、第２バッファ部１２３には、第２撮影部１１２を介してセンシングされるイメージデータがバッファリングされる。

客体処理部１２２は、第１バッファ部１２１に保存されたイメージデータのうち、客体と判断された領域のデータを分離する。分離された客体は、加算部１２４に提供される。

加算部１２４は、第２バッファ部１２３にバッファリングされたイメージと客体処理部１２２で分離された客体とを重畳させてディスプレイ部１３０に出力する。

ディスプレイ部１３０は、第１バッファ部１２１と、第２バッファ部１２３及び加算部１２４から出力されるイメージデータを選択的にディスプレイすることができる。

制御部１４０は、客体及び背景ライブビューがディスプレイされている状態で、撮影命令が入力されると、第２撮影部１１２を制御して撮影を行う。そして、撮影イメージと客体とを合成させて保存部１５０に保存させる。

図９は、二つの撮影部を用いて合成イメージを生成する方法の一例を説明するための図である。図９によると、撮影装置１００の一表面にディスプレイ部１３０が配置される。第１撮影部１１１は、ディスプレイ部１３０と同一面に配置され、第２撮影部１１２は、ディスプレイ１３９と反対面に配置される。

合成撮影を行うとする場合、第１撮影部１１１及び第２撮影部１１２は、上述のように、順次に活性化されてよいが、図９においては、第１撮影部１１１及び第２撮影部１１２が同時に活性化される実施形態を示す。この場合、ディスプレイ部１３０には、第１撮影部１１１のライブビュー９１０と第２撮影部１１２のライブビュー９２０とが同時にディスプレイされてよい。ユーザは、二つのライブビュー９１０、９２０を同時に見ながら撮影を行うことができる。

一例によると、ユーザが撮影命令を入力すると、制御部１４０は、第１撮影部１１１を制御して撮影動作を行う。イメージ処理部１２０は、その撮影イメージから客体９１１を分離する。画面は、第２撮影部１１２のライブビューに切り替えられ、分離された客体９１１がその画面上に同時に表示される。このような状態で、再び撮影命令が入力されると、客体９１１を含む合成イメージが生成される。

別の実施形態によると、ユーザは、背景イメージを先に選択し、撮影することもできる。すなわち、二つのライブビュー９１０、９２０が表示された状態で、ユーザが第２ライブビュー９２０をタッチすると背景イメージが撮影される。この場合、第２ライブビュー９２０が表示されていた領域に背景イメージが固定的に表示され、第１ライブビュー９１０は引き続きディスプレイされてよい。または、背景イメージが全画面に表示され、第１ライブビュー９１０はＰＩＰ（Ｐｉｃｔｕｒｅ ｉｎ Ｐｉｃｔｕｒｅ）形態で表示されたり、背景イメージ上で透明に重畳して表示されてよい。

更に別の実施形態によると、二つのライブビュー９１０、９２０が表示された状態で、ユーザが撮影命令を入力すると、制御部１４０は、第１撮影部１１１及び第２撮影部１１２を同時に制御し、同時撮影を行うこともできる。それにより、背景イメージと客体とが同時に獲得されると、その客体を背景イメージに重畳させて表示し、ユーザ選択に応じて、客体の表示位置、大きさ、形、表示属性等を変更することができる。

以上のような多様な実施形態は、撮影機能を備えた多様な装置で行われてよい。撮影装置が携帯電話やタブレットパソコン等のように、多様なアプリケーションをサポートする装置である場合、 撮影前にユーザが撮影モードを選択することもできる。

図１０は、合成撮影モードを選択して合成イメージを生成する全過程を説明するための図である。図１０によると、撮影装置１００がターンオンされたり、アンロック（ｕｎ−ｌｏｃｋ）されると、予め設定されたアプリケーションやフォルダ等に対するアイコンを含むアイコン画面１０００が表示されてよい。ユーザは、このようなアイコンのうち、カメラアプリケーションに該当するアイコンを選択することができる。

カメラアイコンが選択されると、ディスプレイ部１３０は、各種モードを選択することができる選択画面１０１０をディスプレイする。選択画面１０１０には、一般撮影、セルフ撮影、合成撮影、特殊撮影等のような多様なモードに関する情報がディスプレイされる。

このような状態で、合成撮影モードが選択されると、先に第１撮影部１１１が活性化され、第１撮影部１１１のライブビュー１０２０が表示される。ライブビュー１０２０画面には、撮影メニュー１０２２が表示されてよい。ユーザが、撮影メニュー１０２２を選択すると、ライブビュー１０２０に対応する第１撮影イメージが生成され、第１撮影イメージから客体１０２１が分離される。そして、第２撮影部１１２が活性化され、第２撮影部１１２のライブビュー１０３０と客体１０２１とが重畳されて表示される。このような背景ライブビュー１０３０にも撮影メニュー１０２２が表示されてよい。

ユーザは、撮影装置１００をあっちこっちに回転させて所望の背景を選択することができる。それにより、背景ライブビュー１０３０内の適した位置に客体１０２１の位置した状態で、撮影メニュー１０２２を選択して撮影を行うことができる。

制御部１４０は、背景イメージまで撮影されると、客体１０２１が含まれた合成イメージ１０４０を画面上に表示し、その合成イメージ１０４０を保存するかを問い合わせる問い合わせメッセージ１０５０を表示する。制御部１４０は、問い合わせメッセージ１０５０に対するユーザの選択によって、保存部１５０に保存したり、保存取り消すことができる。保存取り消しされると、再び客体１０２１を含む背景ライブビュー１０３０を表示するステップに復帰する。

図１１は、本発明の一実施形態に係る合成イメージ撮影方法を説明するためのフローチャートである。図１１によると、撮影装置は、先に第１撮影イメージを獲得した後（Ｓ１１１０）、その第１撮影イメージから客体を分離させる（Ｓ１１２０）。

そして、分離された客体を重畳された背景ライブビューをディスプレイする（Ｓ１１３０）。客体と背景ライブビューとは、相互異なる撮影部を通じてそれぞれ獲得することもでき、一つの撮影部を用いて順次に獲得することもできる。客体の位置、大きさ、形、カラー、輝度等のような多様な表示属性は、ユーザの操作に応じて、または背景ライブビューの表示属性に応じて、背景ライブビュー上で多様に変更されてよい。なお、客体に対しては、形復元が行われてよく、トーンマッピング、イメージマッティング等のような後続処理が行われてよい。

撮影命令が入力された場合、背景ライブビューに対応する撮影イメージを生成し、その撮影イメージに客体を合成して合成イメージを生成する（Ｓ１１５０）。

図１２は、本発明の一実施形態に係る客体分離方法を説明するためのフローチャートである。図１２によると、合成撮影モードが開始されると（Ｓ１２１０）、ライブビューをディスプレイする（Ｓ１２２０）。撮影装置は、ライブビューの各フレームをモニタリングしながら客体を探索する（Ｓ１２３０）。客体探索は、事前学習された客体モデルを用いて行われてよい。例えば、撮影装置１００は、撮影イメージ内で客体モデルに合致する領域を客体と判断することができる。客体が探索されて特定されると、撮影装置は探索された客体を持続的に追跡する（Ｓ１２４０）。

その後、客体を撮影するための客体撮影命令が入力されると、ライブビューに対応する第１撮影イメージを撮影し（Ｓ１２６０）、その第１撮影イメージ内で追跡された客体を分離する（Ｓ１２７０）。分離された客体は、背景ライブビューに重畳され、ユーザが合成イメージの構図を撮影前に予め予測することができる。

以上のように、本発明の多様な実施形態によると、ユーザのイメージは、背景イメージと適切に合成されてよい。特に、八系イメージを撮影するためのライブビュー上でユーザイメージの位置や、大きさ、形、表示属性等を便宜に調整し、セルフ撮影の限界を克服することができる。

ユーザは、合成イメージを自分の撮影装置１００に保存したり、外部のクラウドサーバ、ウェブサーバ等にアップロードさせて他人と共有することができる。

一方、以上のような実施形態では、第１撮影イメージから客体を分離し、その客体をライブビューと重畳表示するものとして説明したが、客体は必ずしも静止映像のみから分離されるものではない。例えば、客体は、動画データの各フレームから分離されたり、ライブビューそのものから分離される動的客体であってよい。

具体的に、図８に示すような実施形態で、第１撮影部から提供されるライブビューは第１バッファ部１２１にバッファリングされる。客体処理部１２２は予め設定された周波数周期によって、第１バッファ部１２１にバッファリングされるライブビューに対して客体分離作業を行う。それにより、第１撮影部１１１から提供される第１ライブビューの変化によって、分離される客体の形及び位置も持続的に変化するようになる。変化された客体は、第２撮影部１１２から提供される第２ライブビューに重畳表示されてよい。ユーザは、動的客体が重畳された第２ライブビューを見ながら、適した時点で撮影命令を入力することができる。制御部１４０は、撮影命令が入力されると、第１及び第２撮影部１１１、１１２をそれぞれ制御して撮影動作を行い、第１撮影部１１１で撮影された第１イメージから分離された客体を、第２撮影部１１２で撮影されたイメージに付加し、合成イメージを生成することができる。

または、第１撮影部１１１で提供されるライブビュー以外に保存部１５０または外部保存媒体から提供される動画コンテンツから客体を分離し、撮影イメージに重畳させることもできる。それにより、ユーザは既存に撮影した動画データのうちからも所望の客体を分離し、新規撮影イメージに合成させることができる。客体分離方法及び合成方法は、上述の別の実施形態と同様に、繰り返し説明は省略する。

以上のように、本発明の多様な実施形態によると、周囲に人がなくてもユーザ本人が入っているイメージを容易に撮影することができるようになる。

上述の多様な実施形態に係る合成イメージ撮影方法、客体分離方法等は、ソフトウェアでコーディングされて、非一時的な読み取り可能な媒体に保存されてよい。このような非一時的な読み取り可能な媒体は、上述のような多様な撮影装置に搭載され、当該装置で上述の方法を実行するようにサポートすることができる。

非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のように短い間だけデータを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（Ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ 撮影イメージ
１１、９１１、１０２１ 客体
１２ 肩部分
２０、３０、９１０、９２０、１０２０、１０３０ ライブビュー
６１ ガイドイメージ
６２ ラインイメージ
１００ 撮影装置
１１０ 撮影部
１１１ 第１撮影部
１１２ 第２撮影部
１２０ イメージ処理部
１２１ 第１バッファ部
１２２ 客体処理部
１２３ 第２バッファ部
１２４ 加算部
１３０ ディスプレイ部
１４０ 制御部
１５０ 保存部
１０００ アイコン画面
１０１０ 選択画面
１０２２ 撮影メニュー
１０４０ 合成イメージ
１０５０ 問い合わせメッセージ

Claims (13)

1. 撮影部と、
   前記撮影部を介して獲得された第１撮影イメージから客体を分離するイメージ処理部と、
   前記分離された客体が重畳された背景ライブビューをディスプレイするディスプレイ部と、
   背景撮影命令が入力されると、前記背景ライブビューに対応する第２撮影イメージを獲得し、前記第２撮影イメージに前記分離された客体を付加して合成イメージを生成する制御部と
   を含み、
   前記制御部は、
   前記第１撮影イメージに含まれず、前記分離された客体の領域と重畳していない復元領域を付加することによって、前記分離された客体の形状を復元するように前記イメージ処理部を制御し、前記復元された形状を含む前記分離された客体を前記背景ライブビューに重畳させる、
   ことを特徴とする、撮影装置。
2. 前記制御部は、
   合成撮影モードが選択されると、前記撮影部のライブビューをディスプレイするように前記ディスプレイ部を制御し、前記ライブビューの各フレームをモニタリングしながら前記客体を探索して追跡し、
   客体撮影命令が入力されると、前記撮影部のライブビューに対応する前記第１撮影イメージを生成し、前記第１撮影イメージ内で、前記追跡された客体を分離するように前記イメージ処理部を制御することを特徴とする請求項１に記載の撮影装置。
3. 前記撮影部は、
   第１撮影方向で撮影を行うための第１撮影部と、
   前記第１撮影方向の反対方向である第２撮影方向で撮影を行うための第２撮影部と
   を含み、
   前記制御部は、
   前記合成撮影モードが開始されると、前記ライブビューを前記ディスプレイ部に提供するように前記第１撮影部を活性化させ、前記第１撮影部によって前記第１撮影イメージが獲得されると、前記背景ライブビューを前記ディスプレイ部に提供するように前記第２撮影部を活性化させることを特徴とする請求項２に記載の撮影装置。
4. 事前学習された客体モデルが保存された保存部を更に含み、
   前記制御部は、
   前記第１撮影イメージ内で前記客体モデルに合致する領域を前記客体と判断することを特徴とする請求項１に記載の撮影装置。
5. 前記ディスプレイ部は、
   前記第１撮影イメージをディスプレイし、
   前記制御部は、
   前記第１撮影イメージに対するユーザ操作が行われると、前記ユーザ操作に応じて前記客体と判断された領域の大きさ及び形を変更することを特徴とする請求項４に記載の撮影装置。
6. 前記制御部は、
   前記背景ライブビュー内で、前記客体の表示位置、大きさ、カラー及び輝度のうち、少なくとも一つを、ユーザの選択に応じて調整するように前記イメージ処理部を制御することを特徴とする請求項１ないし５のいずれか一項に記載の撮影装置。
7. 前記制御部は、
   前記背景ライブビューの特性に基づいて、前記分離された客体の表示位置、大きさ、カラー及び輝度のうち、少なくとも一つを調整することを特徴とする請求項１ないし５のいずれか一項に記載の撮影装置。
8. 合成イメージ撮影方法において、
   第１撮影イメージを獲得し、前記第１撮影イメージから客体を分離するステップと、
   前記客体が重畳された背景ライブビューをディスプレイするステップと、
   背景撮影命令が入力されると、前記背景ライブビューに対応する第２撮影イメージを獲得するステップと、
   前記第２撮影イメージに前記分離された客体を付加して合成イメージを生成するステップと
   を含み、さらに、
   前記第１撮影イメージに含まれず、前記分離された客体の領域と重畳していない復元領域を付加することによって、前記第１撮影イメージから分離された前記客体の形状を復元するステップ、
   を含む、ことを特徴とする合成イメージ撮影方法。
9. 前記客体を分離するステップは、
   合成撮影モードが選択されると、ライブビューをディスプレイするステップと、
   前記ライブビューの各フレームをモニタリングしながら前記客体を探索して追跡するステップと、
   客体撮影命令が入力されると、前記ライブビューに対応する前記第１撮影イメージを生成するステップと、
   前記第１撮影イメージ内で、前記追跡された客体を分離するステップと
   を含むことを特徴とする請求項８に記載の合成イメージ撮影方法。
10. 前記客体を探索して追跡するステップは、
    前記第１撮影イメージ内で、事前学習された客体モデルに合致する領域を前記客体と判断することを特徴とする請求項９に記載の合成イメージ撮影方法。
11. 前記客体を分離するステップは、
    前記第１撮影イメージをディスプレイするステップと、
    前記第１撮影イメージに対するユーザ操作が行われると、前記ユーザ操作に応じて前記客体と判断された領域の大きさ及び形を変更するステップと
    を含むことを特徴とする請求項１０に記載の合成イメージ撮影方法。
12. 前記背景ライブビュー内における前記分離された客体の表示位置、大きさ、カラー及び輝度のうち、少なくとも一つを、ユーザの選択に応じて調整するステップを更に含むことを特徴とする請求項８ないし１１のいずれか一項に記載の合成イメージ撮影方法。
13. 前記背景ライブビューの特性に基づいて、前記分離された客体の表示位置、大きさ、カラー及び輝度のうち、少なくとも一つを調整するステップを更に含むことを特徴とする請求項８ないし１１のいずれか一項に記載の合成イメージ撮影方法。
    

Images