JP5719967B2 - プロジェクタ付き撮影装置及びその制御方法 - Google Patents

Description

本発明は、プロジェクタ機能の利用価値を高めたプロジェクタ付き撮影装置及びその制御方法に関する。

近年、デジタルカメラ等の撮影装置にプロジェクタを搭載したものが普及し始めている。デジタルカメラがプロジェクタを持っていると、撮影した画像を、カメラ背面に設けられた小さな表示部に表示させて確認するのではなく、撮影したその現場や家に帰った後、スクリーンや白壁などに拡大投射して確認，観賞できるため、便利である。

しかし、デジタルカメラに搭載するプロジェクタは、デジタルカメラ筐体内の狭い空きスペースにしか搭載できない関係で、小型のものに限られてしまう。このため、撮影した画像を、家の大型テレビジョン受像機に表示させたり、専用の大型プロジェクタで投射したりした場合に比べて、表示画像の画質や精細感は劣る。

この様に低画質の画像しか表示できないと、デジタルカメラのユーザは、プロジェクタに利用価値を見出すことができず、プロジェクタを搭載することでコスト増になってしまうプロジェクタ付きデジタルカメラの購買を躊躇させてしまう。

そこで、投射画像の画質向上以外に、プロジェクタ機能の利用価値を高め、カメラ使用者がプロジェクタ付きデジタルカメラに興味を示すようにする必要がある。例えば、特許文献１，２，３に記載されているプロジェクタ付きデジタルカメラでは、撮影されている画像をリアルタイムに確認するためのライブビュー画像（スルー画像）といわれる動画像を椅子の背もたれ部分や壁などに投射させる様にしている。デジタルカメラで証明写真等を自分撮りする場合、カメラ背面側の壁などでスルー画像を確認し、撮影構図を見ることができれば、失敗写真が減り、プロジェクタ機能の利用価値は高まる。

日本国特開２００６―８０８７５号公報 日本国特開２０１１―９５４３０号公報 ＷＯ２００８／１２３４４３号公報

カメラ背面側の壁などにスルー画像をプロジェクタで投射すれば、自分撮りを行うときの構図をユーザ自身が確認できるため、プロジェクタ機能の利用価値を高めることができる。しかし、構図確認だけでは、ユーザのプロジェクタ付きデジタルカメラに対する購買意欲を満たすには不十分であり、更にプロジェクタ機能の利用価値を高めると共にプロジェクタ機能の使い勝手を向上させる必要が生じる。

本発明の目的は、プロジェクタ機能の利用価値を高めると共にその使い勝手を向上させることができるプロジェクタ付き撮影装置及びその制御方法を提供することにある。

本発明のプロジェクタ付き撮影装置は、被写体を撮像する撮像部と、上記撮像部で撮像された上記被写体のライブビュー画像を鏡像に変換する鏡像変換部と、上記鏡像変換部で鏡像に変換された上記被写体のライブビュー画像と、予め保持された複数のポーズ画像一覧の中から選択されたポーズ画像またはタッチパネルを利用して手書き入力されたポーズ画像とを重畳するポーズ画像重畳部と、上記ポーズ画像重畳部で重畳された上記被写体のライブビュー画像と上記ポーズ画像とを上記撮像部の撮像方向とは反対の方向に投射するプロジェクタと、上記プロジェクタで投射された投射画像に含まれる上記被写体から主要被写体の輪郭形状を抽出する被写体形状抽出部と、上記投射画像の上記主要被写体の姿勢が予め設定された条件を満たしたとき上記撮像部による上記被写体の記録用の本撮影を開始する制御部と、を備え、上記制御部は、抽出された上記主要被写体の輪郭形状の大きさと上記ポーズ画像の大きさとを合わせる様に上記ポーズ画像の拡大縮小を行った後、上記投射画像の中の上記主要被写体と上記ポーズ画像との重なり度を求め、上記重なり度が閾値以上となる状態のとき、上記予め設定された条件を満たしたとして上記本撮影を行うものである。

本発明によれば、プロジェクタにより投射された投射画像中の主要被写体画像の姿勢が所定条件を満たすように被撮影者が動くことで本撮影を開始させることができるため、プロジェクタ機能の利用価値が高くなり、かつプロジェクタ機能の使い勝手も向上する。

本発明の第１の実施形態に係る撮影装置の外観斜視図である。 図１に示す撮影装置の機能ブロック構成図である。 本発明の第１の実施形態に係る撮影装置の制御手順を示すフローチャートである。 予め用意されるポーズ画像（ＣＧ画像）を例示する。 撮像画像を鏡像変換する説明図である。 投影画像の一例の説明図である。 本発明の第２の実施形態に係る撮影装置の機能ブロック構成図である。 本発明の第２の実施形態に係る制御手順を示すフローチャートである。 本発明の第２の実施形態の説明図である。 本発明の第３の実施形態に係る撮影装置の機能ブロック構成図である。 本発明の第３の実施形態に係る制御手順を示すフローチャートである。 本発明の第３の実施形態の説明図である。 本発明の第４の実施形態に係る撮影装置の機能ブロック構成図である。 本発明の第４の実施形態に係る制御手順を示すフローチャートである。 本発明の第４の実施形態に係る重なり度（一致度）を数値表示した説明図である。 本発明の第４の実施形態に係る重なり度（一致度）をバーグラフ表示した説明図である。 本発明の第５の実施形態に係る撮影装置の外観斜視図である。 本発明の第５の実施形態に係る撮影装置の機能ブロック構成図である。 本発明の第５の実施形態に係る制御手順を示すフローチャートである。 本発明の別実施形態に係る投射画像の説明図である。 本発明の更に別実施形態に係る撮影装置の外観斜視図である。 図２１に示す撮影装置の機能ブロック構成図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、プロジェクタ付き撮影装置（デジタルカメラ）１０の第１の実施形態に係る外観斜視図である。このデジタルカメラ１０は、矩形の筐体１１の前部に、撮影レンズ１２を備える。この撮影レンズ１２は、沈胴式のレンズ鏡筒１３内に収納されている。筐体１１において向かって左肩部分にはシャッタレリーズボタン１４が設けられ、右肩部分の背部側には電子ビューファインダ装置１５が設けられている。筐体１１の背面には、撮影画像やスルー画像（ライブビュー画像），カメラメニュー画像等を表示する液晶表示部（図２のＬＣＤ１６）が設けられている。右肩部分の前部にはフラッシュ発光部４４が設けられている。

電子ビューファインダ装置１５は、図示省略の小型液晶表示部を備え、小型液晶表示部に表示したスルー画像を、ユーザがファインダ窓を通して見る構成となっている。そして、本実施形態では、この小型液晶表示部の表示画像をユーザ側ファインダ窓を通し、カメラ背面側に投射するプロジェクタ（映像投射部）１７が設けられている。

なお、図示する例では、電子ファインダ装置１５内にプロジェクタを内蔵させたが、例えば特許文献１に記載されている様に、カメラ筐体１１の外部に設けたり、ファインダ以外の箇所に内蔵させることでも良い。

図２は、図１に示すデジタルカメラの機能ブロック構成図である。このデジタルカメラ１０は、撮影レンズ１２の背部に設けられたイメージセンサ（この実施形態ではＣＭＯＳ型撮像素子）２１と、デジタルカメラ１０を統括制御する制御部（ＣＰＵ）２２を備える。

ＣＰＵ２２は、バス２３に接続され、このバス２３に、フレームメモリ２４と、画像処理を行う信号処理部２５と、ＪＰＥＧ形式等に圧縮された撮影画像データを外部メモリカード２６に保存するカードインタフェース（Ｉ／Ｆ）２７と、カメラ背面のＬＣＤ（液晶表示部）１６の表示制御を行う表示制御部２８と、ＬＣＤ１６に表示する文字情報等のＯＳＤ信号を発生させるＯＳＤ信号発生部２９と、映像投射部（プロジェクタ）１７による映像投射を制御する映像投射制御部３０とが接続される。

バス２３には更に、自動撮影制御部３１と、被写体形状抽出部３２と、被写体とポーズ画像の重なり度算出部３３と、顔検出部３４と、被写体とポーズ画像の重なり度判定部３５と、ポーズ画像重畳部３６と、画像反転部３７とが接続されている。

被写体形状抽出部３２は、被写体の外形形状の輪郭線を抽出する。重なり度算出部３３は、ポーズ画像と被写体の輪郭線との重なり程度を数値で算出する。顔検出部３４は、被写体中に「顔画像」があるか否かをパターンマッチングで検出する。重なり度判定部３５は、重なり度算出部３３が算出した重なり度と閾値とを比較する。ポーズ画像重畳部３６は、ライブビュー画像にポーズ画像を重畳する。画像反転部３７は、ライブビュー画像を鏡像に変換する。

ＣＰＵ２２には、制御プログラム等を格納したＲＯＭ２２ａやＲＡＭ２２ｂと、シャッタレリーズボタン１４を含む操作部４０とが接続されている。また、このデジタルカメラ１０には、撮影レンズ１２のフォーカスレンズ位置等を制御するレンズ駆動部４１と、イメージセンサ２１の駆動タイミング信号を発生するタイミングジェネレータ（ＴＧ）４２と、イメージセンサ２１を駆動するドライバ４３と、発光部４４の発光制御を行うフラッシュ制御回路４５とが設けられており、これらはＣＰＵ２２によって制御指示される。

図３は、ユーザがデジタルカメラ１０を用いて自分撮り等を行うときに実行される制御プログラムの処理手順を示すフローチャートである。この制御プログラムはＲＯＭ２２ａに保存されており、実行時にＲＡＭ２２ｂに読み出されＣＰＵ２２により実行処理される。図２に示した、自動撮影制御部３１、被写体形状抽出部３２、被写体とポーズ画像の重なり度算出部３３、顔検出部３４、被写体とポーズ画像の重なり度判定部３５、ポーズ画像重畳部３６、及び画像反転部３７は、ＣＰＵ２２がこの制御プログラムを実行することによって実現される機能ブロックである。

先ず、ユーザは、どの様なポーズの自分撮り画像を撮影したいかをポーズ画像一覧から選択する。例えば図４に示す様に、予め用意された複数のポーズ画像の中から任意のポーズ画像を選択する。ポーズ画像は、例えば、１人用全身，半身の各種ポーズ画像，２人用の各種ポーズ画像，３人用の各種ポーズ画像，…等が予め用意されており、その中から希望するポーズ画像を選択する。希望するポーズ画像が無い場合には、例えばカメラ背面のＬＣＤ１６に設けられたタッチパネルを利用して手書き入力することにしても良い。

今、仮に、１人用のポーズ画像のうち、右手でＶサインをしている上半身だけのポーズ画像６１を選択したとする（図３のステップＳ１）。次にデジタルカメラ１０は、被写体の画像（三脚などに取り付けたデジタルカメラ１０の前に位置するユーザ自身の動画像）をライブビュー画像（スルー画像）として取り込む（ステップＳ２）。そして、ステップＳ３で、カメラ姿勢が横撮り姿勢であるか、縦撮り姿勢であるかを判定し、横撮り姿勢の場合には、次のステップＳ４で被写体の画像を左右反転させてからステップＳ６に進む。縦撮り姿勢の場合には、ステップＳ３からステップＳ５に進み、被写体の画像を上下反転させてからステップＳ６に進む。

図５（ａ）は左右反転を、図５（ｂ）は上下反転を説明する図である。カメラ１０が横撮り姿勢の場合、被写体の右手位置Ｒは左側に撮影され、左手位置Ｌは右側に撮影される。カメラ１０が縦撮り姿勢の場合、被写体の右手位置Ｒは左側（カメラの上面側）に撮影され、左手位置Ｌは右側（カメラの底面側）に撮影される。

この撮影画像を、被写体から見て正面（カメラ側）、つまり、カメラ１０から見て被写体撮影方向と反対方向（背面方向）の白壁等にプロジェクタ１７で投射する関係で、ステップＳ４又はステップＳ５で撮像画像を鏡像に変換する。これにより、ユーザ自身は、投射画像を鏡に映った自身の画像として認識可能となる。

撮像画像を鏡像に変換した後、ステップＳ６で、撮像画像にポーズ画像を重畳する。ポーズ画像として、予め鏡像となっているポーズ画像を選択したのであればそのまま撮影画像に重畳すればよく、ポーズ画像自体が鏡像になっていない場合には鏡像に変換した後に撮影画像に重畳する。図４に例示するポーズ画像６１は、非鏡像画像である。

次のステップＳ７で、図６に示す様に、撮影画像（スルー画像）６２にポーズ画像６１を重畳した画像をカメラ背面側の白壁等にプロジェクタ１７で投射する。なお、図６のポーズ画像６１は、図４のポーズ画像を左右反転した鏡像である。この図６の投射画像では、まだ、被写体の右手画像６２ａの位置が、ポーズ画像６１の右手Ｖサイン位置６１ａと重なっていない。

次のステップＳ８では、被写体の顔の検出処理を行う。この顔検出は、周知の顔検出方法で行うことができ、例えばパターンマッチングにより検出する。ステップＳ９で顔検出が成功したか否かを判定し、顔検出が不成功の場合には成功するまでステップＳ８，ステップＳ９を繰り返す。

顔が検出された場合にはステップＳ９からステップＳ１０に進み、顔を基準として顔を含む被写体の輪郭形状を抽出する。そして、次のステップＳ１１で、被写体の輪郭形状と、ポーズ画像とがどの程度重なっているかを示す重なり度（一致度）を算出する。

次のステップＳ１２では、ステップＳ１１で算出した重なり度が所定閾値以上であるか否かを判定する。重なり度が低くステップＳ１２の判定結果が否定となる場合にはステップＳ８に戻り、重なり度の再判定処理を繰り返す。

自分撮りしているユーザ自身が投射画像を見ながら、ポーズ画像に重なるように自身の位置や姿勢を修正して、重なり度が閾値以上になると、ステップＳ１２からステップＳ１３に進み、自動撮影が行われる。つまり、シャッタが自動で切れ、ユーザの静止画像が本撮影され、メモリカード２６に記録される。

図６に示す投射画像では、ユーザ自身の右手によるＶサイン部分が重なっていないため、重なり度が低くなり、自動撮影は行われない。ユーザが右手でＶサインをしてポーズ画像に重なると、シャッタが自動で切れ、右手でＶサインしている被写体の静止画像が本撮影される。

上述した実施形態では、重なり度が一致したとき直ちに自動撮影が行われる例について述べたが、例えばシャッタを切るまでのタイマ計数を開始することでも良い。重なり度が閾値を超えたとき、例えば２秒タイマが開始し、２秒後にシャッタが切れるようにしても良い。

図７は、図２の実施形態に代わる第２の実施形態にかかる機能ブロック構成図であり、図２の構成に加えてポーズ画像拡大縮小部５１がバス２３に接続されている点が異なる。このポーズ画像拡大縮小部５１も制御プログラムをＣＰＵ２２が実行することによって実現される機能ブロックである。図８は、図３の実施形態に代わる第２の実施形態にかかる制御プログラムの処理手順を示すフローチャートであり、図３のフローチャートのステップＳ９とステップＳ１０との間にステップＳ２１を設けた点が異なる。

図９に示す様に、被写体画像の輪郭形状６２の大きさと、ポーズ画像６１の大きさとが一致しない場合もある。例えば、ユーザがデジタルカメラ１０を三脚等に設置して撮影レンズ１２のズーム倍率を調整し、適当な大きさで自身の上半身の静止画像が撮影できるようにしていたとする。この場合、ポーズ画像のデフォルトの大きさと被写体画像の大きさとが大きく異なってしまうと、ステップＳ１２の判定で、何時までたっても重なり度が閾値以上にならなくなってしまう。

そこで、この第２の実施形態の図７のポーズ画像拡大縮小部５１は、図８のステップＳ２１で、ポーズ画像の拡大縮小を行い、被写体画像の大きさとポーズ画像の大きさとが一致する様にする。どの程度の拡大縮小を行えば良いかは、被写体の顔画像の大きさと、ポーズ画像の顔領域部分の大きさとが一致する様に行えばよい。

なお、図７，図８の実施形態では、ポーズ画像の拡大縮小で対応したが、撮影レンズのズーム倍率の自動調整で被写体画像の方を拡大縮小し、対応する構成としても良い。

図１０及び図１１は、夫々、本発明の第３の実施形態に係る機能ブロック構成図及びフローチャートである。図７，図８の実施形態では、ポーズ画像の大きさと被写体画像の大きさとが一致するようにポーズ画像，被写体画像の拡大縮小を行った。しかし実際には、両者の大きさが不一致の場合の他に、図１２に示す様に、画面中の位置にずれが生じている場合もある。

そこで、本実施形態では、図１０に示す様に、バス２３に、ポーズ画像移動部５２を設けると共に、図１１のフローチャートで、ステップＳ９とステップＳ１０の間にステップＳ２２を設けている。ポーズ画像移動部５２は、ＣＰＵ２２がこの制御プログラムを実行することによって実現される機能ブロックである。

このステップＳ２２では、ポーズ画像移動部５２が、顔画像の大きさ及び画面中の位置と、ポーズ画像の顔領域部分の大きさ及び画面中の位置とを求め、ポーズ画像の位置を被写体画像に一致するように移動させ、両者の大きさの調整も第２の実施形態と同様に行う。

図１３及び図１４は、夫々、本発明の第４の実施形態に係る機能ブロック構成図及びフローチャートである。図１３の実施形態では、図２の実施形態に対してバス２３に、現時点における重なり度を投射画像に重畳表示させる重なり度表示重畳部５３を設けている点が異なる。勿論、図７，図１０の実施形態に重なり度表示重畳部５３を設けても良い。重なり度表示重畳部５３は、ＣＰＵ２２がこの制御プログラムを実行することによって実現される機能ブロックである。

図１４は、本実施形態の制御プログラムのフローチャートである。本実施形態では、ステップＳ１１とステップＳ１２との間に、重なり度表示重畳部５３が現時点における重なり度を投射画像に重畳表示させるステップＳ２３を設けている。

図１５は、現時点の重なり度を数値表示した投射画像例を示す図である。この数値を見ることで、ユーザは自身の姿勢を直し、重なり度が閾値（例えば重なり度８５％）を超えるようにする。重なり度が閾値を超えてシャッタのセルフタイマがスタートした後は、重なり度の表示に変えて、セルフタイマのカウントダウンを表示しても良い。

図１６は、重なり度をバーグラフ表示した投射画像例である。バーグラフ中の閾値８５％の位置と、姿勢によって上下する現在の重なり度８０％とを比較することで、ユーザは視覚的に自身の姿勢がポーズ画像に合っているか否かを判断できる。

なお、ステップＳ１２の判定で用いる重なり度の閾値は、デフォルト値ではなく、ユーザ自身が設定できるようにしても良い。例えばステップＳ１でポーズ画像を選択するとき、一緒に、閾値の設定も行えば良い。

図１７は、本発明の第５実施形態に係るデジタルカメラ７０の外観斜視図である。図１に示すデジタルカメラ１０は単眼のカメラであったが、本実施形態では２眼のステレオ画像（立体画像）撮像用のデジタルカメラである。本実施形態でも、カメラ背面側に画像を投射するプロジェクタ１７を備える。

図１７のデジタルカメラ７０の機能ブロック図を図１８に示す。基本構成は図２と同じであり、右眼用撮影レンズ１２Ｒに設けられる撮像系の各部には図２と同じ数字符号に「Ｒ」を付け、左眼用撮影レンズ１２Ｌに設けられる撮像系の各部には図２と同じ数字符号に「Ｌ」を付けて示す。本実施形態では、バス２３に、距離画像撮像部５４が接続されている。

立体画像を撮像するステレオカメラ７０は、被写体までの距離を単眼カメラに比較して高精度に識別可能となる。この機能を利用して図１９の制御プログラムを実行することになる。

図１９のフローチャートは、図３のフローチャートのステップＳ１０の替わりに、ステップＳ２４，Ｓ２５を実行する様になっている。即ち、ステップＳ２４では、距離画像（立体画像）の撮像を行い、ステップＳ２５では、顔と同一距離範囲にあり、顔を含む平面を被写体形状としている。

カメラの「被写体」とは、カメラに写っている全てが被写体である。自分撮りの場合、自身が被写体中の主要被写体となり、背景の被写体と区別する必要がある。図３のステップＳ１０では、主要被写体の顔として検出された被写体の輪郭を抽出して主要被写体の輪郭形状としているが、背景画像や手前にある画像が複雑だと、主要被写体の輪郭形状を精度良く抽出できない場合が生じる。

立体画像撮像用のデジタルカメラであれば、被写体各々のカメラからの距離を撮像画像から測定することができる。このため、顔が検出されたとき、顔と同一距離範囲内の被写体（デジタルカメラから当該顔までの距離と同じ距離にある被写体）を主要被写体とし、その輪郭形状を抽出すれば、背景画像等から主要被写体の輪郭形状を高精度に区別可能となる。従って、主要被写体の輪郭形状とポーズ画像との比較を高精度に行うことが可能となる。

なお、この実施形態では、２眼の立体画像撮影用のカメラを例に説明したが、例えば特開２０１２―１５８２０号公報に記載されているように、単眼で立体画像を撮像できるカメラでも良いことはいうまでもない。

図３，図６で説明した実施形態では、Ｖサイン部分の被写体形状をポーズ画像に一致させたとき自動撮影を行うとしたが、これは、被写体（ユーザ）自身がシャッタを切る瞬間又はタイマをスタートさせる瞬間を右手で制御していることになる。

この制御機能だけを利用する構成とすることでも良い。例えば、ポーズ画像とは別に、図２０の投射画像に示す様に、シャッタレリーズボタンのアイコン画像８１を投射画像中に表示させ、主要被写体の輪郭形状であると認識された一部が画面上で移動してアイコン画像８１にタッチしたとき、セルフタイマをスタートさせる様にすることも可能である。

また、同様に、ズームレンズのワイド側ズームボタンのアイコン画像８２やテレ側ズームボタンのアイコン画像８３を投射画像に重畳表示し、ユーザ自身がアイコン画像８２，８３にタッチしてズーム位置を操作する様にすることも可能である。

ユーザが自分撮りする場合、１枚撮る毎にカメラの設置位置に戻って設定をし直すのは面倒なため、必要な操作ボタンアイコンを投射画像に重畳表示しておくと便利である。自分撮りするとき、予め撮影枚数を設定しておいても良いが、例えば、撮影した自分撮り画像をプロジェクタ１７で背面の白壁等に投射させて確認するとき、再撮影指示ボタンアイコンを重畳表示しておけば、一々、カメラ設置位置まで戻る必要がなくなる。

なお、上述した実施形態では、被写体の静止画像を記録するための撮影を「本撮影」として説明したが、本撮影として動画像を記録する場合にも適用できる。例えば、動画撮影の開始トリガとして、図２０のスイッチアイコン８１をユーザ（主要被写体）がタッチすれば本撮影として記録用の動画撮影が開始する様にできる。

以上、本発明の撮影装置の実施形態として、デジタルカメラについて説明してきたが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型又は外付け型のＰＣ用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図２１は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図２１に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。また、図２１では図示を省略したが、図１と同様に、背面側にスルー画像を投射するプロジェクタ１７（図２２参照）を備える。

図２２は、図２１に示すスマートフォン２００の構成を示すブロック図である。図２２に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。主制御部２２０にはプロジェクタ１７が接続される。

図２１に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力するものである。また、図２１に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２１に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２０８は、主制御部２２０の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力することができる。図２１に示すにスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよいし、あるいは、複数のカメラ部２０８が搭載されてもよい。なお、複数のカメラ部２０８が搭載されている場合には、撮影に供するカメラ部２０８を切り替えて単独にて撮影したり、あるいは、複数のカメラ部２０８を同時に使用して撮影したりすることもできる。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記録部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力することもできる。

このスマートフォン２００を、例えば三脚などの設置台に固定して自分撮りするとき、上述した実施形態と同様に、背面側にスルー画像を投射すれば、失敗することなく任意ポーズの画像を撮像することが可能となる。

なお、以上、個々の実施形態について説明したが、複数の実施形態を組み合わせることも可能であることは言うまでもない。例えば、スマートフォンはステレオカメラを内蔵しても良く、また、立体画像撮像用のカメラに係る第５の実施形態でポーズ画像の拡大縮小や移動を行う構成とすることでも良い。

以上述べた様に、本実施形態によるプロジェクタ付き撮影装置は、被写体を撮像する撮像部と、上記撮像部で撮像された上記被写体のライブビュー画像を鏡像に変換する鏡像変換部と、上記ライブビュー画像の鏡像を上記撮像部の撮像方向とは反対の方向に投射するプロジェクタと、主要被写体の姿勢が予め設定された条件を満たしたとき上記撮像部による上記被写体の記録用の本撮影を開始する制御部と、投射画像にポーズ画像を重畳するポーズ画像重畳部と、を備え、上記制御部は、上記投射画像中の主要被写体と上記ポーズ画像との重なり度が閾値以上となる状態で上記予め設定された条件を満たしたとして上記本撮影を行い、更に、上記制御部は、上記投射画像中の主要被写体の輪郭形状を抽出し、上記輪郭形状の大きさと上記ポーズ画像との大きさを合わせる様に上記被写体のライブビュー画像の鏡像又は上記ポーズ画像の拡大縮小を行うものである。

また、実施形態のプロジェクタ付き撮影装置の上記制御部は、上記輪郭形状と上記ポーズ画像との一致度を上記重なり度として判定するものである。

また、実施形態のプロジェクタ付き撮影装置の上記制御部は、上記ライブビュー画像に含まれる顔画像を検出し、その顔画像を基準として上記輪郭形状を抽出するものである。

また、実施形態のプロジェクタ付き撮影装置の上記制御部は、上記輪郭形状の上記投射画像における位置と上記ポーズ画像の上記投射画像における位置を合わせ重畳させるものである。

また、実施形態のプロジェクタ付き撮影装置は、上記撮像部は立体画像を撮像する撮像部であり、上記輪郭形状は、上記立体画像を用いて検出される撮影装置から同一距離の被写体から抽出するものである。

また、実施形態のプロジェクタ付き撮影装置の上記制御部は、上記投射画像に上記重なり度を示す情報を重畳して表示させるものである。

また、実施形態のプロジェクタ付き撮影装置の上記制御部は、上記重なり度を示す情報と上記閾値の値を上記投射画像に重畳して表示させるものである。

また、実施形態のプロジェクタ付き撮影装置は、被写体を撮像する撮像部と、上記撮像部で撮像された上記被写体のライブビュー画像を鏡像に変換する鏡像変換部と、上記ライブビュー画像の鏡像を上記撮像部の撮像方向とは反対の方向に投射するプロジェクタと、主要被写体の姿勢が予め設定された条件を満たしたとき上記撮像部による上記被写体の記録用の本撮影を開始する制御部と、を備え、上記制御部は、上記ライブビュー画像から抽出した主要被写体の輪郭形状の鏡像の一部が、上記ライブビュー画像の鏡像を投射する投射画面内の予め設定された位置に重なった状態で上記予め設定された条件が満たされたとして上記本撮影を行うものである。

また、実施形態のプロジェクタ付き撮影装置は、上記予め設定された位置に撮影操作を行う操作ボタンを表すアイコン画像が上記プロジェクタにより投射されるものである。

また、実施形態のプロジェクタ付き撮影装置の上記制御部は、投射される上記アイコン画像に上記輪郭形状の一部が重なった状態で対応する撮影操作の入力がされたものとして撮影装置の操作を行うものである。

また、実施形態のプロジェクタ付き撮影装置の上記制御部は、上記予め設定された条件が満たされた状態で直ちに上記本撮影を行うものである。

また、実施形態のプロジェクタ付き撮影装置の上記制御部は、上記予め設定された条件が満たされた状態で上記本撮影までのタイマの計数を開始するものである。

また、実施形態のプロジェクタ付き撮影装置の制御方法は、被写体を撮像部で撮像し、上記撮像部で撮像された上記被写体のライブビュー画像を鏡像に変換し、上記ライブビュー画像の鏡像を上記撮像部の撮像方向とは反対の方向にプロジェクタによって投射し、投射画像にポーズ画像を重畳し、主要被写体の姿勢が予め設定された条件を満たした状態で上記撮像部による上記被写体の記録用の本撮影を開始し、投射画像中の主要被写体の輪郭形状を抽出し、上記輪郭形状の大きさと上記ポーズ画像との大きさを合わせる様に上記被写体のライブビュー画像の鏡像又は上記ポーズ画像の拡大縮小を行うものである。

以上述べた実施形態によれば、プロジェクタにより投射された主要被写体の画像の姿勢を動かすことで撮影操作を行うことができるため、プロジェクタ機能の利用価値が高くなり、かつプロジェクタ機能の使い勝手も向上する。

本発明に係るプロジェクタ付き撮影装置は、利用価値の高い画像を投射できかつ使い勝手が良いため、プロジェクタ付き撮影装置を普及させるのに有用である。

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、２０１２年３月１３日出願の日本特許出願（特願２０１２−５６０１２）に基づくものであり、その内容はここに取り込まれる。

１０，７０，２００ プロジェクタ付き撮影装置
１２ 撮影レンズ
１５ 電子ファインダ装置
１７ 背面投射型のプロジェクタ
２１ イメージセンサ
２２，２２０ 制御部（ＣＰＵ）
３１ 自動撮影制御部
３２ 被写体形状抽出部
３３ 被写体とポーズ画像の重なり度算出部
３４ 顔検出部
３５ 被写体とポーズ画像の重なり判定部
３６ ポーズ画像重畳部
３７ 画像反転部（鏡像変換部）
５１ ポーズ画像拡大縮小部
５２ ポーズ画像移動部
５３ 重なり度表示重畳部
５４ 距離画像撮像部
６１ ポーズ画像
６２ 被写体画像の鏡像
８１，８２，８３ 操作用のアイコン画像

Claims (8)

1. 被写体を撮像する撮像部と、
   前記撮像部で撮像された前記被写体のライブビュー画像を鏡像に変換する鏡像変換部と、
   前記鏡像変換部で鏡像に変換された前記被写体のライブビュー画像と、予め保持された複数のポーズ画像一覧の中から選択されたポーズ画像またはタッチパネルを利用して手書き入力されたポーズ画像とを重畳するポーズ画像重畳部と、
   前記ポーズ画像重畳部で重畳された前記被写体のライブビュー画像と前記ポーズ画像とを前記撮像部の撮像方向とは反対の方向に投射するプロジェクタと、
   前記プロジェクタで投射された投射画像に含まれる前記被写体から主要被写体の輪郭形状を抽出する被写体形状抽出部と、
   前記投射画像の前記主要被写体の姿勢が予め設定された条件を満たしたとき前記撮像部による前記被写体の記録用の本撮影を開始する制御部と、
   を備え、
   前記制御部は、抽出された前記主要被写体の輪郭形状の大きさと前記ポーズ画像の大きさとを合わせる様に前記ポーズ画像の拡大縮小を行った後、前記投射画像の中の前記主要被写体と前記ポーズ画像との重なり度を求め、前記重なり度が閾値以上となる状態のとき、前記予め設定された条件を満たしたとして前記本撮影を行うプロジェクタ付き撮影装置。
2. 請求項１に記載のプロジェクタ付き撮影装置であって、
   前記制御部は、前記輪郭形状と前記ポーズ画像との一致度を前記重なり度として判定するプロジェクタ付き撮影装置。
3. 請求項１に記載のプロジェクタ付き撮影装置であって、
   前記被写体形状抽出部は、前記ライブビュー画像に含まれる顔画像を検出し、前記顔画像を基準として前記輪郭形状を抽出するプロジェクタ付き撮影装置。
4. 請求項１乃至請求項３のいずれか１項に記載のプロジェクタ付き撮影装置であって、
   前記制御部は、前記輪郭形状の前記投射画像における位置と前記ポーズ画像の前記投射画像における位置を合わせ重畳させるプロジェクタ付き撮影装置。
5. 請求項１乃至請求項４のいずれか１項に記載のプロジェクタ付き撮影装置であって、
   前記撮像部は立体画像を撮像する撮像部であり、
   前記輪郭形状は、前記立体画像を用いて検出される撮影装置から同一距離の被写体から抽出するプロジェクタ付き撮影装置。
6. 請求項１乃至請求項５のいずれか１項に記載のプロジェクタ付き撮影装置であって、
   前記制御部は、前記投射画像に前記重なり度を示す情報を重畳して表示させるプロジェクタ付き撮影装置。
7. 請求項６に記載のプロジェクタ付き撮影装置であって、
   前記制御部は、前記重なり度を示す情報と前記閾値の値を前記投射画像に重畳して表示させるプロジェクタ付き撮影装置。
8. 被写体を撮像部で撮像し、前記撮像部で撮像された前記被写体のライブビュー画像を鏡像に変換し、前記鏡像に変換した被写体のライブビュー画像と、予め保持された複数のポーズ画像一覧の中から選択されたポーズ画像またはタッチパネルを利用して手書き入力されたポーズ画像とを重畳し、前記重畳された前記被写体のライブビュー画像と前記ポーズ画像とを前記撮像部の撮像方向とは反対の方向にプロジェクタによって投射し、投射された投射画像に含まれる前記被写体から主要被写体の輪郭形状を抽出し、抽出された前記主要被写体の輪郭形状の大きさと前記ポーズ画像の大きさとを合わせる様に前記ポーズ画像の拡大縮小を行った後、前記主要被写体と前記ポーズ画像との重なり度を求め、前記重なり度が閾値以上となる状態のとき、前記撮像部による前記被写体の記録用の本撮影を開始するプロジェクタ付き撮影装置の制御方法。

Images