JP5963256B2 - 画像生成装置 - Google Patents

Description

本発明は、同一装置に搭載された複数のカメラ機能で撮影された画像を重乗させて一つの画像を生成する画像生成装置に係り、特に、一人の撮影者が自身の画像と景色画像とを同時に撮影して各画像を重畳させることにより、所望の背景に自身の人物領域を写し込める画像生成装置に関する。

デジタルカメラを利用して旅行記念写真を撮影することが一般的になっている。しかしながら、一人で旅行している際に自身を含む記念撮影を行うためには、三脚などを利用した撮影、もしくは他の旅行者に撮影を依頼する必要がある。しかしながら、前者は所持品が増える課題が存在し、後者は他の旅行者が存在しない場合には実現が不可能である。しかも、いずれの場合も事前に自身を含んだ構図を確認できないので、所望の構図での撮影が困難である。

このような技術課題に対して、非特許文献１には、異なる時期に撮影した自分自身の画像と記念写真とを後から合成する技術が開示されている。非特許文献２には、２人で交互に撮影して得られる画像を重畳して二人の記念写真を一枚に合成する技術が開示されている。

Carsten Rother, Sanjiv Kumar, Vladimir Kolmogorov and Andrew Blake. "Digital Tapestry",IEEE Computer Vision and Pattern Recognition(CVPR) 2005. 田中正行、神尾亮、奥富正敏："オンライン画像合成撮影 -ふたりっきりでもツーショット撮影-"，第17回画像センシングシンポジウム（SSII2011）講演論文集，pp. DS2-08-1-1，2011.

非特許文献1では、撮影時に合成結果を確認することができないので、所望のシーンに対する最適な自身の撮影データが得られなかったことに後から気付いたような場合には、合成写真を作成できない。非特許文献２では、その場で撮影結果を確認することができるものの、最低二人で２回の撮影が必要となってしまう。

本発明の目的は、上記の技術課題を全て解決し、撮影者一人での撮影において、撮影者自身を含む記念撮影を一回の撮影で実現可能にし、かつその場で撮影結果を確認することを可能にする画像生成技術を提供することにある。

上記の目的を達成するために、本発明は、一方側および他方側の各主面に撮像素子が相互に反対方向を指向して設けられ、前記一方側の主面に画像表示パネルが設けられた画像生成装置において、以下の構成を具備した点に特徴がある。

(1)一方側の撮像素子で撮影された正面画像から人物領域を抽出する人物領域抽出手段と、他方側の撮像素子で撮影された景色画像上に前記抽出された人物領域の画像を重畳して重畳画像を生成する画像重畳手段と、正面画像および重畳画像を前記表示パネルに選択的に表示させる表示制御手段とを具備した。

(2)画像重畳手段は、正面画像内での人物領域の位置と対応した景色画像内の位置に人物領域を重畳させるようにした。

(3)正面画像内で人物領域を追跡して当該正面画像内での人物領域の現在位置を検知する追跡手段を設け、画像重畳手段は、正面画像内での人物領域の現在位置と対応した景色画像内の位置に前記人物領域を重畳させるようにした。

(4)人物領域抽出手段は、正面画像の時系列を比較し、変化量が所定の閾値を下回る画像領域を人物領域として抽出するようにした。

(5)人物領域の抽出に先だって、前記一方側の主面をユーザ自身に向けて構えさせ、ユーザと装置との相対的な向きおよび位置関係を保ったまま体をヨー方向に軸揺動させる旨のメッセージを出力する手段をさらに具備した。

(6)人物領域抽出手段は、抽出された人物領域の輪郭を正面画像上で強調させるようにした。

(7)人物領域は、追跡手段により追跡されている間は半透明化されて景色画像上に重畳表示されるようにした。

(8)一方側の撮像素子で撮影される人物領域の大きさが常時よりも小さくなって、他方側の撮像素子で撮影された背景画像に重畳する際の違和感が無くなるように、一方側の撮像素子の焦点距離が他方側の撮像素子の焦点距離よりも短く調整されるようにした。

本発明によれば、以下のような効果が達成される。

(1)撮影者自身が一人で、一方のカメラ機能で撮影した自身の人物画像を、他方のカメラ機能で撮影した景色画像上に、両者の相対位置を調整しながら重畳させることができるので、所望の背景に自身を簡単に写し込めるのみならず、重畳画像をリアルタイムで撮影者自身が視覚的に確認できるので撮影ミスを防止できる。

(2)正面画像内での人物領域の位置と対応した景色画像内の位置に人物領域が重畳されるので、人物領域の位置を簡単かつ任意に決められるようになる。

(3)人物領域の現在位置を検知する追跡手段を設け、重畳画像上での人物領域の位置に自身の移動をリアルタイムで反映させられるので、重畳画像上での人物領域の位置を簡単に調整できるようになる。

(4)人物領域抽出手段は、正面画像の時系列を比較し、変化量が所定の閾値を下回る画像領域を人物領域として抽出するので、撮影者に対して、正面側カメラを自身に向けて構えさせ、自身と装置との相対的な向きおよび位置関係を保ったまま体をヨー方向へ軸揺動させるだけで、人物領域を簡単かつ正確に抽出できるようになる。

(5)撮影者に対して、人物領域を抽出するために必要な動作をメッセージで要求するようにしたので、人物領域の抽出に必要な動作を撮影者に簡単に行わせることが可能になる。

(6)抽出された人物領域の輪郭が正面画像上で強調されるので、撮影者は人物領域の抽出が正確に行われているか否かを簡単に確認できるようになる。

(7)人物領域は、追跡手段による追跡中は半透明化されて景色画像上に重畳表示されるので、人物領域と重なっている部分の景色領域も認識できるようになる。

(8)一方側の撮像素子で撮影される人物領域の大きさが常時よりも小さくなるので、この人物領域を他方側の撮像素子で撮影された背景画像に重畳する際の違和感を無くすることができる。

本発明の一実施形態に係るスマートフォンの外観図である。 本発明の一実施形態に係るスマートフォンの主要部の構成を示した機能ブロック図である。 本発明の一実施形態の動作を示したフローチャートである。 正面画像I1の表示例を示した図である。 人物領域を抽出するためのユーザ操作を示した図である。 人物領域を抽出するためのユーザ動作を示した図である。 ユーザ動作に応じて正面画像I1が変化する様子を示した図である。 人物領域の抽出方法を示した図である。 人物領域の抽出結果の表示例を示した図である。 景色画像I2の表示例を示した図である。 人物領域が半透明化されて重畳表示される様子を示した図である。 重畳画像I4の構図を調整する方法を示した図である。 重畳画像I4の一例を示した図である。 本発明の他の実施形態に係るスマートフォンの主要部の構成を示した機能ブロック図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明を適用した画像生成装置の一実施形態に係るスマートフォン１の構成を示した正面図[同図(a)]、背面図[同図(b)]および斜視図[同図(c)]であり、図２は、その機能ブロック図である。

スマートフォン１の筐体（本体ケース）は全体として板状体であり、その一方側の主面（正面）には大型のディスプレイ１０１と共に撮像素子１０２およびそのカメラレンズ１０３が配置されている。他方側の主面（背面）には撮像素子１０４およびそのカメラレンズ１０５が配置されている。前記正面側および背面側の各撮像素子１０２，１０４およびそのカメラレンズ１０３，１０５は同軸上に配置される必要はなく、反対方向を指向していれば相互に異なる軸上に設けられていても良い。

カメラ部１００は、各撮像素子１０２，１０４の出力信号を所定の周期でサンプリングして正面画像I1および景色画像I2を生成し、これらを連続的にディスプレイ１０１へ表示出力すると共に、シャッター操作のタイミングで静止画像として記録する。人物領域抽出部１０６は、前記撮像素子１０２で撮影された正面画像I1から人物領域の画像I3を抽出する。人物領域追跡部１０６ａは、抽出された人物領域の正面画像内での現在位置Pを追跡する。

重畳画像生成部１０７は、前記撮像素子１０４で撮影された景色画像I2に前記抽出された人物領域の画像I3を重畳して重畳画像I4を生成する。表示制御部１０８は、各画像を切り替えてディスプレイ１０１に出力する。

次いで、図３のフローチャートに沿って本発明による画像生成方法について説明する。本発明の画像生成方法は、スマートフォンにアプリケーション（プログラム）として実装されても良いし、ハードウェアとして実装されても良い。

画像生成処理が起動されると、ステップＳ１では、カメラ部１００において正面側のカメラ機能が起動され、撮像素子１０２の出力信号に基づいて正面画像I1が生成される。この正面画像は、図４に示したように、前記表示制御部１０８によりディスプレイ１０１に表示され、これが所定のサンプリング周期で繰り返されることにより、ディスプレイ１０１には正面画像I1が略リアルタイムで動画のように表示され続ける。

ステップＳ２では、端末ユーザＵに対して、正面側のカメラを自身に向けて構えさせ、自身とスマートフォン１との相対的な向きおよび位置関係を保ったまま体をヨー方向に軸揺動させる旨の音声メッセージが出力される。ステップＳ３では、前記人物領域抽出部１０６による人物処理の抽出処理が開始される。

ここで、端末ユーザＵが前記メッセージに応答して、図５に示したように、正面側カメラを自身に向けて構え、さらに図６に示したように、自身とスマートフォン１との相対的な向きおよび位置関係を保ったまま体をヨー方向へ軸揺動させると、図７に示したように正面画像I1が変化する。すなわち、端末ユーザＵが図６(a)，(b)，(c)のように体をヨー方向に軸揺動させると、それぞれ図７(a)，(b)，(c)に示したように正面画像I1が変化する。

各正面画像I1を比較すれば、景色部分は大きく変化しているのに対して、人物領域に関しては、画面内での位置が多少変化するだけで画像自身の変化は小さいことが判る。そこで、本発明ではこのような景色部分と人物領域との画像変化の違いに着目し、図８に示したように、サンプリング周期で更新される正面画像I1の時系列I1(t0)，I2(t1)，I3(t2)…を画素単位またはn×nブロック単位で比較し、画像特徴量の変化が所定の閾値を下回る画像領域が人物領域として抽出されるようにしている。

なお、本実施形態では人物領域の抽出に成功すると、図９に一例を示したように、抽出された人物領域の輪郭が強調されるなどして抽出結果が提示される。端末ユーザＵは、当該表示を参照することで抽出結果を評価し、抽出結果が不正確であるような場合には、当該抽出結果を削除して上記の抽出処理をやり直すことができる。

ステップＳ４において、前記人物領域の抽出完了が検知されると、ステップＳ５では、前記人物領域が正面画像I1から切り出される。ステップＳ６では、前記人物領域追跡部１０６ａにより、前記抽出された人物領域の正面画像I1内での追跡が開始され、当該人物領域の正面画像I1内での現在位置Pが識別される。このような追跡処理は、人物領域の画像特徴量をパラメータとして用い、既存のOptical Flow技術[(OpenCV) calcOpticalFlowPyrLK]を利用することで実現できる。

以上のようにして、人物領域の抽出、切出が完了すると、ステップＳ７では、カメラ部１００において背面側のカメラ機能が起動され、撮像素子１０４の出力信号に基づいて景色画像I2が生成される。ステップＳ８では、端末ユーザＵに対して、背面側のカメラで景色画像を撮影させる音声メッセージが出力される。

ここで、端末ユーザＵが前記メッセージに応答して、図１０に示したように、所望の背景を背面側のカメラで撮影すると、その景色画像I2が表示制御部１０８によりディスプレイ１０１に表示され、これが所定のサンプリング周期で繰り返されることにより、ディスプレイ１０１には景色画像I2が略リアルタイムで表示され続ける。

ステップＳ８では、前記人物領域追跡部１０６ａから、その正面画像I1内での現在位置Pが取得される。ステップＳ９では、前記重畳画像生成部１０７において、人物領域の正面画像I1内での現在位置Pと対応する景色画像I2上の位置に、前記人物領域の画像I3を重畳させることで重畳画像I4が生成される。ステップＳ１０では、前記重畳画像I4が表示制御部１０８によりディスプレイ１０１に出力される。

図１１は、重畳画像I4の表示例を示した図であり、景色画像I2に前記人物領域の画像I3が重畳されている。なお、図１１では判りにくいが、本実施形態では人物領域の画像I3が、その追跡中は半透明化されて景色画像I2に重畳表示されるので、人物領域と重なっている景色画像I2の様子も確認できる。

ステップＳ１１では、表示されている重畳画像I4に対する記録要求の有無が判定され、端末ユーザＵによるシャッター操作等が検知されるまでは、ステップＳ８へ戻って重畳画像I4の更新が所定のサンプリング周期で繰り返される。

このとき、本実施形態では前記人物領域追跡部１０６ａが人物領域を追跡中なので、図１２(a)に示したように、スマートフォン１に対する自身の位置を変化させて正面画像I1内で人物領域の位置を移動させると、前記人物領域追跡部１０６ａにより検知される現在位置Pが変化するので、同図(b)に示したように、表示中の重畳画像I4においても人物領域の位置が移動する。

また、景色画像I2は背面側カメラの被写体を変化させれば変化するので、端末ユーザＵは、表示中の重畳画像I4を確認しながら、カメラに対する自身の位置を変化させたり、背面側カメラによる被写体を変化させたりすることで、重畳画像I4の構図を確認しながら自由に調整できるようになる。

その後、重畳画像I4の構図が確定してシャッターボタンが押されるなどすると、当該時点での重畳画像I4が静止画として記録される。この際、半透明化されていた人物領域の画像は、図１３に示したように不透明化される。

ところで、本実施形態では正面画像I1が、いわゆる自分撮りにより撮影されるので、カメラレンズ１０３と人物（撮影者）との距離が腕の長さに制限され、それ以上に離すことができない。したがって、正面画像I1における人物領域が大きくなり、その結果、重畳画像I4に占める人物領域の割合が、一般的な記念写真における割合に較べて大きくなり過ぎる場合がある。

一方、正面画像I1用のカメラ機能のみ、その焦点距離を予め短く設定するなどしておけば上記の技術課題は解決されるものの、別の用途で撮影する際に焦点距離が短くなり過ぎて、使い勝手が損なわれる可能性がある。

これに対して、本発明では、図１４に一例を示したように、正面画像I1における人物領域が小さくなるように、カメラの焦点距離を適応的に短くしたり、あるいは画像メモリ上でイメージデータを適応的に縮小したりすることで人物領域を小さくする人物縮小部１００ａを設ける。そして、前記重畳撮影用のアプリケーションが起動されると、前記人物縮小部１００ａにより、例えば正面画像I1を撮影する側のカメラ機能に関してのみ、その焦点距離を常時よりも自動的に短くすることで、重畳画像I4に占める人物領域の割合が小さくなるようにしても良い。

１…スマートフォン，１００…カメラ部，１０１…ディスプレイ，１０２，１０４…撮像素子，１０３，１０５…カメラレンズ，１０６…人物領域抽出部，１０６ａ…人物領域追跡部，１０７…重畳画像生成部，１０８…表示制御部

Claims (8)

1. 一方側および他方側の各主面に撮像素子が相互に反対方向を指向して設けられ、前記一方側の主面に画像表示パネルが設けられた画像生成装置において、
   各撮像素子の出力信号を所定の周期でサンプリングし、一方側の撮像素子で撮影された正面画像および他方側の撮像素子で撮影された景色画像を連続的に出力するカメラと、
   前記正面画像から人物領域を抽出する人物領域抽出手段と、
   前記景色画像上に前記抽出された人物領域の画像を重畳して重畳画像を生成し、これを前記サンプリング周期で繰り返す画像重畳手段と、
   前記正面画像および重畳画像を前記表示パネルに選択的に表示させる表示制御手段と、
   シャッター操作のタイミングにおける前記重畳画像が静止画として記録される手段と、
   前記人物領域の抽出に先だって、前記一方側の主面をユーザ自身に向けて構えさせ、ユーザと装置との相対的な向きおよび位置関係を保ったまま体をヨー方向に軸揺動させる旨のメッセージを出力する手段とを具備したことを特徴とする画像生成装置。
2. 前記画像重畳手段は、正面画像内での人物領域の位置と対応した景色画像内の位置に前記人物領域を重畳させることを特徴とする請求項１に記載の画像生成装置。
3. 正面画像内で人物領域を追跡して当該正面画像内での人物領域の現在位置を検知する追跡手段を具備し、
   前記画像重畳手段は、正面画像内での人物領域の現在位置と対応した景色画像内の位置に前記人物領域を重畳させることを特徴とする請求項２に記載の画像生成装置。
4. 前記人物領域抽出手段は、正面画像の時系列を比較し、変化量が所定の閾値を下回る画像領域を人物領域として抽出することを特徴とする請求項１ないし３のいずれかに記載の画像生成装置。
5. 前記人物領域抽出手段は、前記抽出された人物領域の輪郭を前記正面画像上で強調させることを特徴とする請求項１ないし４のいずれかに記載の画像生成装置。
6. 前記人物領域は、前記追跡手段により追跡されている間は半透明化されて景色画像上に重畳表示されることを特徴とする請求項３に記載の画像生成装置。
7. 前記一方側の撮像素子で撮影される人物領域の大きさを縮小する人物縮小手段をさらに具備したことを特徴とする請求項１ないし６のいずれかに記載の画像生成装置。
8. 前記人物縮小手段は、前記一方側の撮像素子の焦点距離が前記他方側の撮像素子の焦点距離よりも短くなるように、前記一方側の撮像素子の焦点距離を調整することを特徴とする請求項７に記載の画像生成装置。