JP6119534B2 - 撮像表示装置、及び制御方法 - Google Patents

Description

本発明は、撮像表示装置、及びその制御方法に関する。

特許文献１には、ムービングプロジェクタシステムが開示されている。特許文献１のプロジェクタシステムは、撮像時にカメラのパン信号、チルト信号等の駆動信号を記録する記録装置を有している。そして、パン信号及びチルト信号に基づいて、ムービングプロジェクタを回転させている。

特開平９−１４９２９６号公報

特許文献１では、撮像時の角度に応じて、ムービングプロジェクタが回転している。よって、効果的な演出を行うことができる。しかしならが、画像を表示する際に、より臨場感のある表示を行うことが望まれる。

本発明は上記の点に鑑みなされたもので、より臨場感のある表示を行うことができる撮像表示装置、及びその制御方法を提供することを目的とする。

本発明の一態様にかかる撮像表示装置は、予め取得された動画形式の表示画像を表示する表示部と、前記表示部が表示している表示画像を見ているユーザの顔を撮像する撮像部と、前記撮像部で撮像された撮像画像に対して顔認識を行う顔認識部と、前記顔認識部で認識された顔に対応する人の顔画像が、前記表示画像に含まれる場合、前記表示画像において前記顔画像を強調表示する表示制御部と、を備えるものである。

本発明の一態様にかかる撮像表示装置の制御方法は、予め取得された動画形式の表示画像を表示する表示部と、前記表示部に表示されている表示画像を見ているユーザの顔を撮像する撮像部と、を備えた撮像表示装置の制御方法であって、前記撮像部で撮像された撮像画像に対して顔認識を行うステップと、前記顔認識された顔に対応する人の顔画像が、前記表示画像に含まれる場合、前記表示画像において前記顔画像を強調表示するステップと、を備えるものである。

本発明によれば、臨場感のある表示を行うことができる撮像表示装置、及びその制御方法を提供することを目的とする。

本実施形態に係る撮像装置の全体構成を模式的に示す側面図である。 本実施形態に係る撮像装置の全体構成を模式的に示す側面図である。 撮像装置のモニタ部の構成を模式的に示す図である。 撮像装置の制御系を示すブロック図である。 制御データを説明するためのテーブルである。 強調表示の制御動作を説明するための図である。 強調表示の制御動作を説明するための図である。 強調表示の制御方法を示すフローチャートである。 第１の角度制御方法の制御動作を説明するための図である。 第１の角度制御方法の制御動作を説明するための図である。 第１の角度制御方法の制御動作を説明するための図である。 第１の角度制御方法の制御動作を説明するための図である。 第１の角度制御方法の記録動作を示すフローチャートである。 第１の角度制御方法の再生動作を示すフローチャートである。 第２の角度制御方法の制御動作を説明するための図である。 第２の角度制御方法の制御動作を説明するための図である。 第２の角度制御方法の制御動作を示すフローチャートである。

（全体構成）
以下、図面を参照して、本発明の実施の形態に係る撮像装置、及びその制御方法について説明する。まず、図１、図２を用いて、撮像装置の全体構成について説明する。図１、図２は、本実施の形態にかかる撮像装置の全体構成を示す側面図である。撮像装置１は、本体部１１と、モニタ部１２と、第１駆動機構１３と、第２撮像部１５と、プロジェクタ１８と、第２駆動機構１９とを備えている。なお、図１、図２では、ＸＹＺ直交座標系を示している。図１、図２では、メインカメラとなる第１撮像部（図１、図２では不図示）のレンズの光軸と平行な方向をＺ方向とする。そして、Ｚ方向と垂直な平面をＸＹ平面とする。Ｙ方向が鉛直方向（上下方向）となり、Ｘ方向が水平方向（左右方向）となっている。もちろん、上記の方向は、相対的なものであり、撮像装置１の向きに応じて変化する。

本体部１１は、ＣＭＯＳ撮像素子及びレンズなどを備えた第１撮像部（図１では不図示）を内蔵する筐体を備えている。メインカメラである第１撮像部は、被写体から光を受光して、動画、及び静止画を撮像する。さらに、本体部１１は、図示しない、バッテリ、内蔵メモリ、メモリカードスロット、ＣＰＵ(Central Processing Unit)等を内蔵している。第１撮像部が取得した画像データは、所定の処理が施されて、メモリに格納される。第１撮像部は、撮像装置１の前方を向いて配置されている。すなわち、第１撮像部は、ユーザ２１と反対側を向いて配置されている。したがって、第１撮像部は、投影面Ｐ側を撮像する。なお、撮影者が、操作ボタン等を押すことで、撮影が開始、又は停止することができる。

本体部１１の側面には、Ｙ軸周りに開閉可能に設けられたモニタ部１２が取り付けられている。例えば、モニタ部１２を閉状態とすると、モニタ部１２が、本体部１１の側面と平行になる。モニタ部１２は、液晶モニタ等のディスプレイを内蔵しており、第１撮像部が取得した動画又は静止画を表示する。モニタ部１２は、観察者であるユーザ２１側に表示画面１２ａを備えている。したがって、撮像装置１を把持するユーザ２１は、モニタ部１２の表示画面１２ａを視認しながら、第１撮像部で撮像を行うことができる。これにより、第１撮像部を所望の被写体に向けながらの撮影が可能になる。図１では、モニタ部１２の表示画面１２ａがＸＹ平面に平行となっている。

さらに、モニタ部１２は、第１駆動機構１３を介して、本体部１１に取り付けられている。本体部１１は、第１駆動機構１３を介して、モニタ部１２を回転可能に支持している。第１駆動機構１３はモータ等のアクチュエータを備えている。そして、第１駆動機構１３は、Ｘ軸周りに、モニタ部１２を回転駆動する。第１駆動機構１３は、本体部１１に対するモニタ部１２の角度を変える。これにより、本体部１１に対してモニタ部１２が矢印方向に回転して、モニタ部１２が上下に傾いた状態になる。また、撮影者がモニタ部１２を直接操作して、モニタ部１２を回転させてもよい。図２は、モニタ部１２を図１に示す状態から下側に傾けた状態を示している。このように、第１駆動機構１３を駆動することによって、表示画面１２ａの角度が変化する。

さらに、モニタ部１２にはプロジェクタ１８が設けられている。プロジェクタ１８は、例えば、小型のピコプロジェクタであり、モニタ部１２の表示画面１２ａとは反対側の背面に設置されている。すなわち、プロジェクタ１８は、モニタ部１２のユーザ２１と反対側に配置されている。プロジェクタ１８は、モニタ部１２に表示される表示画像を投影面Ｐに投影する。したがって、ユーザ２１は、投影面Ｐに投影された投影画像を視認することができる。投影面Ｐは室内の壁面やスクリーンである。

なお、モニタ部１２とプロジェクタ１８は、同じ表示画像を同時に表示することができる。たとえは、モニタ部１２とプロジェクタ１８は、第１撮像部によって取得された動画を表示することができる。あるいは、モニタ部１２とプロジェクタ１８は、他の撮像装置で取得された動画を表示することができる。この場合、他の撮像装置で取得された動画のファイルを撮像装置１のメモリ等に記憶させておく。あるいは、撮像措置１に通信機能を持たせて、ネットワークを介して他の撮像装置１で撮像された動画データを取得するようにしてもよい。

このように、撮像装置１は、同時に同じ画像を表示可能なモニタ部１２及びプロジェクタ１８を備えている。換言すると、撮像装置１は２つの表示部を備えている。もちろん、プロジェクタ１８をＯＦＦして、モニタ部１２のみで表示を行ってもよい。さらには、モニタ部１２をＯＦＦして、プロジェクタ１８のみで表示を行ってもよい。例えば、ユーザが操作ボタン等を押すことによって、プロジェクタ１８をＯＮ／ＯＦＦすることができる。これにより、モニタ部１２の液晶モニタのみの単独表示か、モニタ部１２の液晶モニタとプロジェクタ１８の同時表示かを選択することができる。

プロジェクタ１８は、第２駆動機構１９を介して、モニタ部１２に取り付けられている。すなわち、モニタ部１２は、第２駆動機構１９を介して、プロジェクタ１８を回転可能に支持している。第２駆動機構１９は、プロジェクタ１８の光軸周りにプロジェクタ１８を回転する。第２駆動機構１９は、プロジェクタ１９の投影レンズ及び表示素子を含む全体を回転させる。これにより、投影面Ｐに投影されている投影画像の傾きを変えることができる。例えば、図１に示す状態では、プロジェクタ１８の投影レンズの光軸、及び第１撮像部の光軸が平行になっている。したがって、図１に示す状態において、第２駆動機構１９は、Ｚ軸周りにプロジェクタ１８を回転させる。換言すると、第２駆動機構１９は、投影面Ｐに対して垂直な軸周りにプロジェクタ１８を回転する。これにより、投影面Ｐに投影される投影画像を傾けることができる。

また、第１駆動機構１３を駆動することで、モニタ部１２とともにプロジェクタ１８もＸ軸周りに回転する。これにより、プロジェクタ１８の投影方向が上下に変化する。よって、投影面Ｐにおける投影位置を変化させることができる。図２では図１に示す状態から、投影面Ｐにおける投影画像の高さが変化している。このように、第１駆動機構１３は、モニタ部１２とプロジェクタ１８の向きを変化している。また、第１駆動機構１３は、プロジェクタ１８の投影方向を変化している。第１駆動機構１３と第２駆動機構１９の制御方法については後述する。

モニタ部１２の構成について、図３を用いて説明する。図３は、モニタ部１２の構成を模式的に示す図である。図３は、モニタ部１２を表示側から見た図を示している。モニタ部１２の表示側には、矩形状の表示画面１２ａが設けられている。表示画面１２ａは、第１撮像部で撮像した画像を表示する。モニタ部１２の側方には、第１駆動機構１３が設けられている。第１駆動機構１３がモニタ部１２を回転駆動することで、表示画面１２ａの表示方向が変わる。例えば、第１駆動機構１３は、表示画面１２ａの表示方向を上下に傾ける。

さらに、モニタ部１２には、サブカメラとなる第２撮像部１５が設けられている。第２撮像部１５は、表示画面１２ａの外側に配置されている。ここでは、第２撮像部１５は、表示画面１２ａの上に固定されている。第２撮像部１５は、モニタ部１２の表示側を撮像する。第２撮像部１５は、撮像装置１を把持した撮影者を撮像するために設けられている。撮影者がモニタ部１２の表示画面１２ａを見ながら撮影すると、第２撮像部１５は撮影者を撮像する。なお、第２撮像部１５のレンズの光軸は、表示画面１２ａと垂直になっている。第２撮像部１５は、モニタ部１２の回転角度に応じて撮像方向が変化する。

なお、プロジェクタ１８は、モニタ部１２の表示画面１２ａと反対側の面に設けられている。したがって、第１駆動機構１３がモニタ部１２を駆動すると、プロジェクタ１８の角度も変化する。また、第２撮像部１５の光軸は、プロジェクタ１８と平行になっている。

第２撮像部１５の近傍にはライト１６が設けられている。ライト１６は、ＬＥＤ（Light Emitting Diode）などの光源を備えおり、照明光を出射する。照明光は、第２撮像部１５で撮像される被写体を照明する。

（制御系）
次に、図４を参照して、撮像装置１の制御系について説明する。図４は、撮像装置１の制御系を示すブロック図である。

中央制御部４００はＣＰＵ（Central Processing Unit）、各種プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成されている。中央制御部４００をマイクロコンピュータで構成することができる。中央制御部４００は、撮像、各種画像の表示、又は後述する画像処理や画像表示等に関する撮像装置１全体の処理を統括的に制御する。

メインカメラとなる第１撮像部１４は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４を備えている。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子１０４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成される。

撮像素子１０４はズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。そして、画像Ａ／Ｄ変換部１０６は、デジタル画像データを、映像信号として、画像入力コントローラ１０７に出力する。画像入力コントローラ１０７は、画像Ａ／Ｄ変換部１０６から出力されたデジタル画像データを撮像画像データとして取り込んで、バス２００を介してメインメモリ２０６に格納する。

サブカメラとなる第２撮像部１５は、ズームレンズ５０１、フォーカスレンズ５０２、絞り５０３、及び撮像素子５０４を備えている。ズームレンズ５０１は図示しないズームアクチュエータによって光軸ＬＢに沿って移動する。同様に、フォーカスレンズ５０２は、図示しないフォーカスアクチュエータによって光軸ＬＢに沿って移動する。絞り５０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子５０４は、ＣＣＤやＣＭＯＳ等で構成される。

撮像素子５０４はズームレンズ５０１、フォーカスレンズ５０２、及び絞り５０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。アナログ画像信号処理部５０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部５０６が、その増幅された信号をデジタル画像データに変換する。そして、画像Ａ／Ｄ変換部５０６は、デジタル画像データを、映像信号として、画像入力コントローラ５０７に出力する。画像入力コントローラ５０７は、画像Ａ／Ｄ変換部５０６から出力されたデジタル画像データを撮像画像データとして取り込んで、バス２００を介してメインメモリ２０６に格納する。

なお、第１撮像部１４は、メインカメラであり、第２撮像部１５は、サブカメラである。したがって、第２撮像部１５は、第１撮像部１４よりも撮像性能が低いものとすることができる。例えば、撮像素子５０４は、撮像素子１０４よりも画素数が低くなっていてもよい。あるいは、ズームレンズ５０１、フォーカスレンズ５０２は、ズームレンズ１０１、フォーカスレンズ１０２よりもレンズ性能の低いレンズであってもよい。

デジタル信号処理部１０８は、バス２００を介して中央制御部４００からの指令に基づき、メインメモリ２０６に格納された撮像画像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。

音声処理部２０２は、バス２００を介して中央制御部４００の指示に従い、マイク（不図示）等で取得された音声データに所定の処理を施す。例えば、音声データをデジタルデータに変換したり、雑音除去処理等をしたりする。

圧縮／伸長処理部２０１は、バス２００を介して中央制御部４００からの指示に従って、第１撮像部１４によって取得された撮像画像データ及びデジタル音声データに所定の圧縮処理を施して圧縮データを生成する。また、圧縮／伸長処理部２０１は、中央制御部４００からの指示に従って、記録部の一例であるカード型記録媒体３０２に格納された圧縮データに所定形式の伸張処理を施して非圧縮データを生成する。所定の圧縮処理としては、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式を採用することができ、動画に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式を採用することができる。圧縮／伸長処理部２０１は、第１撮像部１４によって取得された撮像画像データに対して、処理を行う。

ＲＯＭ２０３はバス２００を介して中央制御部４００に接続されており、中央制御部４００が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ２０４は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。撮像装置１は、様々な撮像のシチュエーションに応じて、いくつかの撮像モードと、各モードにあわせた撮像条件の設定を予めフラッシュＲＯＭ２０４に記憶している。そして、ユーザは撮像を開始する前に、各モードの中から最適なモードを選択することにより、最適な撮像条件で撮像を実施することができる。例えば、特定の人物の撮像に適した「ポートレートモード」、運動会等の撮像に適した「スポーツモード」、又は夜景等の暗い場所の撮像に適した「夜景モード」等である。ＶＲＡＭ２０５は、表示用の撮像データの一時記憶領域として使用される。

メディア制御部２０７は、中央制御部４００からの指示に従って、カードＩ／Ｆ３０１を介してカード型記録媒体３０２に対してデータを書き込み、カード型記録媒体３０２に記録されたデータを読み出すよう制御する。カード型記録媒体３０２はＳＤカードやコンパクトフラッシュ（登録商標）等の外部メモリであり、撮像装置１に対して脱着可能に設けられている。カード型記録媒体３０２には、第１撮像部１４で撮像した動画の撮像画像データが圧縮して格納される。

液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。液晶モニタ３０４は、モニタ部１２に内蔵されている。液晶モニタ３０４は、例えばＶＲＡＭ２０５やメインメモリ２０６に一時記録された撮像画像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。液晶モニタ３０４は、第１撮像部１４によって取得された動画を表示する。あるいは、液晶モニタ３０４はカード型記録媒体３０２に記録されている動画を表示する。

スピーカ３０５は、例えばメインメモリ２０６に一時記録された音声を出力する。操作部３０６は、図示しないレリーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。入出力端子３０７は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。

さらに、プロジェクタ１８は、入出力Ｉ／Ｆ３０３に接続されている。プロジェクタ１８は、例えばＶＲＡＭ２０５やメインメモリ２０６に一時記録された撮像画像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。プロジェクタ１８は、第１撮像部１４によって取得された動画を表示する。あるいは、プロジェクタ１８は、カード型記録媒体３０２に記録されている動画を表示する。

プロジェクタ１８は、液晶モニタ３０４に表示される表示画像と同じ画像を投影する。したがって、プロジェクタ１８は、投影面Ｐに投影画像を投影する。また、プロジェクタ１８は、投影画像のズームやフォーカス等を調整する。

さらに、第１駆動機構１３は、入出力Ｉ／Ｆ３０３に接続されている。第１駆動機構１３はモータ、モータドライバ、及びエンコーダなどを備えている。そして、第１駆動機構１３は、液晶モニタ３０４が設けられているモニタ部１２を回転駆動する。例えば、第１駆動機構１３は、中央制御部４００からの指令値に基づいて、モニタ部１２を回転させる。

同様に、第２駆動機構１９は、入出力Ｉ／Ｆ３０３に接続されている。第２駆動機構１９はモータ、モータドライバ、及びエンコーダなどを備えている。そして、第２駆動機構１９は、プロジェクタ１８を回転駆動する。例えば、第２駆動機構１９は、中央制御部４００からの指令値に基づいて、プロジェクタ１８を回転させる。

また、ライト１６が入出力Ｉ／Ｆ３０３に接続されている。ライト１６は、第２撮像部１５で撮像される領域を照明する。ライト１６は、中央制御部４００からの制御信号に基づいて、制御される。例えば、ライト１６は、第２撮像部１５で撮像される領域が暗い場合に点灯する。もちろん、ユーザが直接、ライト１６のＯＮ／ＯＦＦ等を設定するようにしてもよい。

ジャイロセンサ２０８は、撮像装置１の３軸の加速度及び角速度の変化を検出する。ジャイロセンサ２０８が検出した角速度を積分することで、本体部１１の角度を求めることができる。

照度センサ２０９は、撮像装置１の使用環境の照度を検出する。照度センサ２０９は、投影面Ｐを含む部屋が明るさを検出する。そして、照度センサ２０９の検出結果に応じて、中央制御部４００が、ライト１６を制御する。例えば、照度センサ２０９で検出された照度が閾値よりも低い場合、中央制御部４００は、ライト１６をオンする。もちろん、ユーザが直接、ライト１６のＯＮ／ＯＦＦ等を設定するようにしてもよい。

中央制御部４００は、顔認識部４０１と、角度データ取得部４０２と、制御データ生成部４０３と、表示制御部４０４と、回転角度設定部４０５と、駆動制御部４０６と、を備えている。顔認識部４０１は、第２撮像部１５が取得した画像に対して、顔認識処理を行う。より具体的には、顔認識部４０１は、動画のフレーム画像に対して顔認識を行う。

また、顔認識部４０１は、顔認識によって抽出された顔の特徴量を抽出する。顔認識部４０１は、顔の特徴量に基づいて、顔認識されている人を特定する。すなわち、顔認識部４０１は、顔の特徴量が一致している人は同じ人であると認識する。顔認識部４０１は、どの人が画像に含まれているかを検出する。顔認識部４０１は、動画の１フレーム毎に、画像に含まれているユーザを特定する。

角度データ取得部４０２は、ジャイロセンサ２０８での検出結果に基づいて、撮像時の本体部１１の角度を取得する。例えば、角度データ取得部４０２は、ジャイロセンサ２０８が検出した角速度を積分して、本体部１１の角度を求めることができる。角度データ取得部４０２は、１フレーム毎に３軸の回転角度を取得する。

制御データ生成部４０３は、顔認識データと角度データに基づいて、制御データを生成する。例えば、制御データ生成部４０３は、１フレーム毎の顔認識データと角度データをテーブルとして保存する。制御データ生成部４０３は、制御データファイルを、例えば、メインメモリ２０６又はカード型記録媒体３０２に格納する。また、制御データファイルは、取得した動画ファイルと対応付けて保存される。

図５に制御データ生成部４０３が生成した制御データのテーブルの一例を示す。ここでは、１フレームからｎフレームまでの動画に対する制御データが格納されている。なお、録画開始時の先頭フレームが１フレームであり、録画終了時の最終フレームがｎフレームとなっている。そして、フレーム番号が動画の経過時間に対応する。

制御データのテーブルには、１フレーム毎に、顔認識データＡ、顔認識データＢ、角度データが対応付けられている。顔認識データＡは、ユーザＡが撮像されているか否かを示すデータである。すなわち、顔認識データＡの縦列にユーザＡと示されているフレームでは、撮像画像内にユーザＡの顔が含まれており、空欄となっているフレームでは、撮像画像内にユーザＡの顔が含まれていない。図５では、３フレーム目〜１０１フレーム目までユーザＡの顔が撮像されている。そして、１０２フレーム目から２００フレーム目までは、ユーザＡの顔が撮像されていない。さらに、２０１フレーム目からｎフレーム目までユーザＡの顔が撮像されている。このように、ユーザＡの顔が検出できたか否かに応じて、顔認識データＡが生成される。

同様に、顔認識データＢは、ユーザＢが撮像されているか否かを示すデータである。すなわち、顔認識データＢにユーザＢと示されているフレームでは、撮像画像内にユーザＢの顔が含まれており、空欄となっているフレームでは、撮像画像内にユーザＢの顔が含まれていない。図５では６フレーム目から１０２フレーム目までは、ユーザＢの顔が検出されている。もちろん、ユーザＡ，Ｂ以外のユーザの顔が撮像される場合は、そのユーザについても顔認識データを保存する。例えば、他のユーザＣやユーザＤの顔が撮像される場合は、それぞれのユーザについて顔認識データを生成する。

このように、顔認識部４０１は、顔認識の結果により得られた顔の特徴量によって、顔に対応するユーザを特定する。そして、制御データ生成部４０３は、撮像画像に登場するユーザ毎に、時系列に沿った顔認識データを取得する。なお、顔認識データとしては、撮像画像におけるユーザの有無に限らず、撮像画像における顔画像の位置や傾きなどが含まれていてもよい。

角度データは、例えば、Ｘ軸周りの回転角度φ、Ｙ軸周りの回転角度θ、Ｚ軸周りの回転角度Ψを有している。そして、制御データのテーブルには、１フレーム毎に（φ、θ、Ψ）が格納される。例えば、ｎフレーム目の角度データは、（φｎ、θｎ、Ψｎ）となっている。このように、制御データ生成部４０３は、撮像時の顔認識データと角度データとに基づいて、制御データを生成する。

制御データをメタファイルとして記憶される。あるいは、制御データをストリームデータとして記憶してもよい。また、制御データは撮像と並行して生成されていてもよく、撮像の終了後に生成されていてもよい。また、ユーザが制御データを生成するか否かを指定するようにしてもよい。

そして、表示制御部４０４は、制御データに基づいて、表示を制御する。表示制御部は、制御データと、第２撮像部１５が撮像中の撮像画像の顔認識データを比較する。そして、比較結果に応じて、強調表示を行う。例えば、表示制御部４０４は、プロジェクタ１８が投影している投影画像に対して強調表示を行う。このように、表示制御部４０４は、表示画像に対応する制御データの顔認識データに基づいて、動画形式の表示画像の顔を強調して表示する。この強調表示については後述する。

回転角度設定部４０５は制御データに基づいて、回転角度を設定する。回転角度設定部４０５は、例えば、角度データに基づいて、第１駆動機構１３と第２駆動機構１９の回転角度を設定する。そして、駆動制御部４０６は、回転角度に応じた指令値を第１駆動機構１３、及び第２駆動機構１９に出力する。これにより、第１駆動機構１３及び第２駆動機構１９が設定された回転角度になるように回転する。なお、第１駆動機構１３と第２駆動機構１９の制御については、後述する。

なお、上記の説明では、制御データがフレーム毎に生成されているものとして説明したが、制御データは複数フレーム毎に生成されていてもよい。あるいは、所定の時間間隔ごとに制御データを生成してもよい。すなわち、制御データを取得した時間又はフレームが、その制御データに対応付けられていればよい。換言すると動画の経過時間とともに制御データが格納されている。よって、動画の経過時間に対応付けて、角度データと顔認識データが記憶される。さらには、角度データと顔認識データは、同じ時間間隔で取得されていなくてもよい。例えば、角度データは、１フレーム毎に取得され、顔認識データは、２フレーム毎に取得されていてもよい。

（強調表示の動作説明）
以下、強調表示の動作について、図６を用いて説明する。図６は、強調表示を行う前の状態を示し、図７は、強調表示が行われている状態を模式的に示す図である。なお、図６、図７では、撮像装置１の構成の一部を省略して図示している。強調表示では、制御データの顔認識データが用いられる。図６、図７では、顔認識データと対応付けられた動画ファイルを再生している状態を模式的に示している。

図６のように、プロジェクタ１８が投影面Ｐに対して投影画像を投影している。ここでは、既にカード型記録媒体３０２に記録されている動画ファイルを再生する。以下、プロジェクタ１８によって投影された投影画像を再生画像３０とする。再生画像３０は、ユーザ２１ａ、及びユーザ２１ｂを含んでいる。すなわち、ユーザ２１ａ、及びユーザ２１ｂを被写体として含んで撮像された動画をプロジェクタ１８が再生している。この場合、制御データは、図５に示したように、ユーザ２１ａの顔認識データＡとユーザ２１ｂの顔認識データＢが含まれている。ここで、制御データに含まれる顔認識データを参照データとする。

さらに、プロジェクタ１８による表示中に、第２撮像部１５がプロジェクタ１８の投影方向と反対方向を撮像する。すなわち、第２撮像部１５は、再生画像３０を視認している観察者（ユーザ）を撮像する。図６では、第２撮像部１５が撮像装置１の後方で再生画像３０を視認しているユーザ２１ａ及びユーザ２１ｃを撮像する。顔認識部４０１は、第２撮像部１５で撮像された撮像画像に対して、顔認識を行う。顔認識部４０１は、ユーザ２１ａとユーザ２１ｃの顔をそれぞれ認識する。なお、顔認識部４０１は、第２撮像部１５で撮像されている動画の各フレームに対して、顔認識を行う。これにより、第２撮像部１５の撮像画像の顔認識データが生成される。ここで、第２撮像部１５の撮像画像の顔認識データを比較データとする

そして、表示制御部４０４は、参照データと、現在の比較データとを比較する。すなわち、制御データに含まれる顔認識データと、撮像中の撮像画像の顔認識データを比較して、一致している顔を検出する。例えば、図６に示す例では、ユーザ２１ａの顔が再生画像３０と撮像画像の両方に含まれる。したがって、撮像中のユーザ２１ａの比較データが参照データと一致すると判定する。

一方、撮像中のユーザ２１ｃの比較データは、ユーザ２１ｂの参照データと一致しない。すなわち、ユーザ２１ｂの顔画像は、撮像画像には含まれていない。また、ユーザ２１ｃの顔画像は、再生画像３０には含まれていない。よって、撮像中のユーザ２１ｂの顔認識データと、参照データに含まれるユーザ２１ｃの顔認識データは、一致していない。このように、図６では、ユーザ２１ａのみ、参照データと比較データが一致する。

そして、表示制御部４０４は、参照データと比較データとの比較結果に応じて、強調表示データを生成する。参照データと比較データが一致したユーザの顔画像を強調するよう、プロジェクタ１８が表示を行う。これにより、図７に示すように、ユーザ２１ａの顔が強調表示される。例えば、図７では、ユーザ２１ａの顔に強調表示用の図形３１を重畳して、表示する。表示制御部４０４は、再生中の動画に図形３１を重畳して、表示用データを生成する。そして、プロジェクタ１８は元の表示画像に図形３１が重畳された強調表示画像を表示する。なお、強表表示のために重畳するデータとしては、再生画像３０に枠や吹き出し、文字、記号等のグラフィックを用いることができる。あるいは、表示色によって強調表示することも可能である。

このように、プロジェクタ１８は、再生画像３０を視認中のユーザ２１ａのみを強調して表示する。ユーザ２１ａは、再生画像３０に含まれていることが容易に認識される。現在、再生画像３０を見ている観察者に対して、図形３１を付加して表示する。こうすることにより、観察者に対して、より臨場感のある再生画像３０を表示させることができる。よって、エンターテイメント性を高くすることができる。

次に、図８を用いて、強調表示を行う制御方法について説明する。図８は、強調表示の制御方法を示すフローチャートである。

まず、ユーザが予め取得された動画ファイルを選択すると、プロジェクタ１８による再生を開始する。すると、部屋が明るいか否かを判定する（ステップＳ１０１）。例えば、照度センサ２０９で検出した照度に基づいて、明るいか暗いかを判定することができる。部屋が明るい場合（ステップＳ１０１のＹＥＳ）、ステップＳ１０６に移行する。

部屋が暗い場合（ステップＳ１０１のＮＯ）、中央制御部４００がライト１６をＯＮする（ステップＳ１０２）。部屋が暗い場合、撮像中の撮像画像での顔認識の精度が低下する。よって、ライト１６をＯＮして、第２撮像部１５が撮像する領域を照明する。これにより、投影画像を視認するユーザが照明され、顔認識を精度よく行うことができる。

ライト１６をＯＮしたら、顔を事前登録するか否かを判定する（ステップＳ１０３）。例えば、液晶モニタ３０４又はプロジェクタ１８の表示によって、顔を事前登録するか否かをユーザに問い合わせる。ユーザが操作部３０６を操作して、顔を事前登録するか否かを決定する。

操作部３０６が顔を事前登録するとの入力を受け付けた場合、事前顔登録の処理を行う（ステップＳ１０４）。すなわち、ライト１６がＯＮした状態で、第２撮像部１５が観察者となるユーザの顔を撮像する。ここでは、第２撮像部１５が静止画を撮像するようにしてもよい。さらには、再生画像を視認する複数のユーザを登録してもよい。そして、顔認識部４０１が、撮像した静止画に対して顔認識を行う。これにより、観察者であるユーザの顔認識データが取得される。もちろん、複数のユーザを事前登録する場合、それぞれの顔認識データが取得される。複数のユーザを事前登録する場合、１枚の静止画で事前登録してもよい、ユーザ毎に顔の静止画を撮像してもよい。なお、事前顔登録を行うための画像は、動画であってもよい。さらには、第１撮像部１４で事前顔登録用の画像を撮像してもよい。

ユーザの事前顔登録が終了したら、ライト１６をオフする（ステップＳ１０５）。そし、ステップＳ１０６に移行する。一方、操作部３０６が顔を事前登録しないとの入力を受け付けた場合（ステップＳ１０３のＮＯ）、ライト１６をＯＮとしたまま、ステップＳ１０６に移行する。

ステップＳ１０６では、プロジェクタ１８が動画再生を開始すると同時に、第２撮像部１５で撮像した撮像画像に対して、顔認識処理を開始する。これにより、第２撮像部１５の撮像画像に対して、リアルタイムに顔認識データが取得されていく。なお、ステップＳ１０４で事前に顔登録を行った場合は、リアルタイムの顔認識処理を省略することができる。

事前に顔登録を行っていない場合、顔認識部４０１が撮像画像に対して、随時顔認識を行う。この場合、部屋が明るい状態で撮像された動画に対して顔認識が行われる。あるいは、ライト１６がＯＮしている状態で撮像された動画に対して顔認識が行われる。よって、いずれの場合にも、明るい環境で第２撮像部１５が撮像した撮像画像について、顔認識が行われる。これにより、顔認識の精度を向上することができる。

次に、顔認識データの比較が行われる（ステップＳ１０７）。すなわち、表示制御部４０４が、顔認識部４０１で顔認識された比較データと、参照データとを比較する。ここで、ステップＳ１０４において、事前に顔登録を行った場合、ステップＳ１０４で取得した顔認識データが利用される。すなわち、ステップＳ１０４で取得した顔認識データ（比較データ）と、参照データが比較される。換言すると、再生画像３０を表示中にリアルタイムで取得した動画に対しては、顔認識が行われない。

顔事前登録を行っていない場合、再生画像３０の再生中に第２撮像部１５がリアルタイムで撮像している撮像画像の顔認識データが用いられる。すなわち、表示制御部４０４が、リアルタイムに取得した比較データを参照データと比較する。これにより、リアルタイムのユーザ２１の観察状況に応じて、比較処理を行うことができる。

そして、顔認識データが一致するか否かを判定する（ステップＳ１０８）。すなわち、参照データが、第２撮像部１５で取得したユーザ（観察者）の顔の比較データと一致するか否かを判定する。顔認識データが一致する場合（ステップＳ１０８のＹＥＳ）、一致した顔認識データに対応する顔画像を強調表示する（ステップＳ１０９）。例えば、図７に示したように、ユーザ２１ａの顔画像に図形３１などを重畳して、表示する。これにより、再生画像３０において、再生画像３０を視認中のユーザ２１の顔が強調表示される。もちろん、二人以上の顔認識データが一致した場合、それぞれについて強調表示する。そして、ステップＳ１１０に移行する。

顔認識データが一致しない場合（ステップＳ１０８のＮＯ）、ステップＳ１０９をスキップして、ステップＳ１１０に移行する。すなわち、どのユーザに対しても強調表示を行わずに、ステップＳ１１０に移行する。

そして、動画再生が終了したか否かを判定する（ステップＳ１１０）。すなわち、ユーザが動画再生の停止ボタンを押したか、あるいは、動画が最終フレームまで再生されたかを判定する。そして、動画再生が終了した場合（ステップＳ１１０のＹＥＳ）、処理を終了する。また、動画再生が終了していない場合、（ステップＳ１１０のＮＯ）、ステップＳ１０７に戻って、処理を繰り返す。すなわち、動画再生が終了するまで、参照データと比較データとを比較して、比較結果に基づいて、強調表示を行う。これにより、フレーム毎に強調表示が行われる。

このように、第２撮像部１５の撮像画像に基づいて、再生画像に対して強調表示を行っている。すなわち、顔認識部４０１は、第２撮像部１５の撮像画像に対して、顔認識を行う。そして、顔認識部４０１は、撮像画像に基づく比較データと、再生画像に基づく参照データとを比較する。そして、比較データと参照データとに一致する顔画像がある場合、表示制御部４０４は、一致する顔画像に対して強調表示を行う。これにより、より臨場感のある動画再生が可能になる。

また、上記の実施の形態では、制御データとなる顔認識データを動画の取得時に生成している。そして、再生画像３０、すなわち、動画ファイルに、顔認識データを対応付けて記憶している。このように、予め顔認識データ（参照データ）を用意しておくことで、処理を簡素化することができる。よって、迅速に処理を行うことができ、速やかに顔を強調して表示することができる。もちろん、実際に表示を行う際に、顔認識データを生成してもよい。すなわち、動画ファイルの再生中に、顔認識部４０１がその参照データを生成するようにしてもよい。

さらに、再生環境が暗い場合、ライトをＯＮした状態の撮像画像に対して顔認識を行っている。これにより、顔認識の精度を向上することができる。特に、プロジェクタ１８が使用される室内は、室内灯をＯＦＦすることが多い。この場合でも、顔認識の精度を向上することができる。また、事前登録するときのみ、ライト１６をＯＮすることで、消費電力を提言することができる。さらに、部屋を暗くすることができるため、視認性を向上することができる。

さらに、事前に顔登録を行った顔認識データを用いることで、顔情報が一致するか否かを適切に判定することができる。すなわち、再生中の部屋が暗い場合でも、適切に処理することができる。

また、動画再生中に、第２撮像部１５が撮像した動画をリアルタイムに顔認識することで、適切に顔が一致するか否かを判定することができる。例えば、再生途中に観察者となるユーザが増減した場合でも、適切に強調表示を行うことができる。よって、より臨終感のある動画表示が可能になる。

（第１の角度制御方法）
次に、制御データに含まれる角度データを用いた第１の角度制御方法について、図９〜図１２を用いて説明する。図９〜図１２は、第１の角度制御方法の動作を説明するための図である。図９、及び図１０は、動画を撮像中の動作を示す模式図であり、図１１、及び図１２は、動画を再生中の動作を示す模式図である。なお、図９〜図１２では、撮像装置１の一部の構成を省略している。第１の角度調整方法では、第１駆動機構１３がモニタ部１２の角度を変化させている。

まず、第１撮像部１４で動画を撮像中の動作について説明する。ここでは、動画を撮像中に、本体部１１の角度を変えた場合について説明する。図９、図１０は、ユーザ２１ａ、２１ｂを撮像中の撮像装置１と、モニタ部１２に表示されている表示画像４０を示す図である。図９と図１０とでは、本体部１１の角度が異なっている。

図９では、第１撮像部１１の光軸ＬＡが水平になっている。すなわち、水平方向Ｈと光軸ＬＡが平行になっている。このとき、ユーザ２１ａ、２１ｂの顔が第１撮像部１１の画角の中央付近にある。したがって、モニタ部１２の液晶モニタ上の表示画像４０において、ユーザ２１ａ、２１ｂの顔が中央付近にある。

図１０は、本体部１１を上方に傾けた状態を示している。すなわち、第１撮像部１１の光軸ＬＡが斜めになっている。水平方向Ｈと光軸ＬＡが平行にならない。水平方向Ｈと光軸ＬＡの成す角度がαとなっている。第１撮像部１１が斜め上方を撮像する。ここで、ユーザ２１ａ、２１ｂの位置はほとんど変わっていない。したがって、ユーザ２１ａ、２１ｂの顔が、第１撮像部１１の画角の下側に移動する。よって、表示画像４０においても、ユーザ２１ａ、２１ｂの顔が下側にある。

第１撮像部１４の撮像中に、ユーザが本体部１１の角度を変えたとする。例えば、図９に示す状態から、ユーザ（撮影者）が本体部１１を角度αだけ上方に向けて、図１０に示す状態にしたとする。ここで、ジャイロセンサ２０８は、本体部１１の角速度を検出している。角速度に基づいて、角度データ取得部４０２が、本体部１１の角度を取得する。よって、角度データ取得部４０２は、本体部１１の角度αを取得することができる。なお、角度αは、Ｘ軸周りの回転角度である。

ここで、動画ファイルにおいて、図９のように光軸ＬＡが水平となったタイミングでの経過時間をＴ１とし、そのフレームをＦ１とする。動画ファイルにおいて、図１０のように光軸ＬＡが角度αだけ傾斜したタイミングでの経過時間をＴ２とし、そのフレームをＦ２とする。

角度データ取得部４０２が取得した回転角度φの変化が制御データとして記憶される。制御データは、フレーム毎又は経過時間毎の角度データを有している。したがって、経過時間Ｔ１又はフレームＦ１がφ＝０と対応付けて記憶される。また、経過時間Ｔ２又はフレームＦ２がφ＝αと対応付けて記憶される。なお、ここでは、水平方向Ｈと光軸ＬＡが平行な場合のφを０としたが、φ＝０となる基準方向は、水平方向Ｈに限られるものではない。角度データ取得部４０２は、時系列の角度データを、撮像された撮像画像の動画ファイルに対応付けて、メモリ等に格納する。

角度データと対応付けられた動画ファイルを再生する場合、角度データに応じて、第１駆動機構１３がモニタ部１２の角度を制御する。これにより、プロジェクタ１８の投影方向が変化する。例えば、再生中に経過時間Ｔ１（フレームＦ１）を表示するタイミングでは、図１１に示すようにプロジェクタ１８の投影方向を水平にして、プロジェクタ１８が再生画像３０を投影する。すなわち、プロジェクタ１８の投影レンズの光軸ＬＣが水平方向Ｈと平行になっている。

次に、再生中に経過時間Ｔ２（フレームＦ２）を表示するタイミングでは、図１２に示すように、プロジェクタ１８の光軸ＬＣを水平方向から角度αだけ傾けて、再生画像３０を投影する。すなわち、プロジェクタ１８の投影方向を制御データに含まれる角度データに応じて、制御する。ここでは、Ｘ軸周りの角度データφ_Ｆ２に基づいて、第１駆動機構１３がモニタ部１２の角度を制御している。そして、第１駆動機構１３は、図２で説明したようにＸ軸周りにモニタ部１２を回転している。これにより、再生画像３０の高さを変えることができる。図１０では、本体部１１を上に向けて撮像したため、図１２に示すように、再生画像３０の位置が高くなっている。

このように、撮像時に取得された角度データに基づいて、第１駆動機構１３がモニタ部１２を回転する。これにより、撮像時の角度データに応じて、投影方向が変わるため、より臨場感を高くすることができる。なお、図１１、図１２では、第１撮像部１４の光軸は、水平方向Ｈと平行になっている。

なお、上記の説明では、撮像時の角度データと、投影方向の傾斜角度を同じ値としたが、異なる値としてもよい。すなわち、撮像時における本体部１１の角度と、再生時におけるモニタ部１２の角度は一致していなくてもよい。例えば、角度データの変化よりも大きい角度、あるいは小さい角度だけ、モニタ部１２の角度を変えるようにしてもよい。さらには、基準方向となる方向は水平方向Ｈと平行でなくてもよく、本体部１１の設置角度に応じて設定すればよい。例えば、本体部１１が水平方向から傾斜して設置されている場合、その傾斜角度がφ＝０となるようにしてもよい。また、角度データの基準となる回転軸を、投影方向を傾斜させる回転軸と一致させることが好ましい。例えば、Ｘ軸周りに角度データφに基づいて、モニタ部１２又はプロジェクタ１８をＸ軸周りに回転させることが好ましい。

このようにすることで、撮像時の撮像方向の動きに合わせて、投影面Ｐ上において、再生画像３０の投影位置を移動させることができる。これにより、広い空間を有効に利用することができ、臨場感の高い表示を行うことができる。

次に、第１の角度調整方法における処理について、図１３、及び図１４を用いて説明する。図１３、及び図１４は、第１の角度調整方法を説明するためのフローチャートである。図１３は、撮像時（記録時）の処理を示し、図１４は、再生時の処理を示している。

まず、図１３を参照して、記録時の処理について説明する。ユーザが録画開始ボタンを押すなどして、第１撮像部１４の記録を開始する。すると、角度データ取得部４０２がジャイロセンサ２０８からデータ取得を試みる（ステップＳ２０１）。そして、角度データ取得部４０２が、データが取得可能であるか否かを判定する（ステップＳ２０２）。ジャイロセンサ２０８からデータが取得できない場合（ステップＳ２０２のＮＯ）、ステップＳ２０１に戻り、再度データ取得を試みる。

角度データ取得部４０２がジャイロセンサ２０８からデータが取得できた場合（ステップＳ２０２のＹＥＳ）、経過時間と角度データを保存する（ステップＳ２０３）。具体的には、ジャイロセンサ２０８が検出した角速度データから、角度データ取得部４０２は、本体部１１の角度を算出する。そして、制御データ生成部４０３は、角度データを経過時間（フレーム番号）に対応付けて、保存する。

そして、経過時間と角度データとを保存したら、第１撮像部１４の記録が停止しているか否かを判定する（ステップＳ２０４）。記録が停止した場合（ステップＳ２０４のＹＥＳ）、処理を終了する。すなわち、ユーザが録画停止ボタンを押すなどして、記録を停止したら、記録処理が終了する。

記録が停止していない場合（ステップＳ２０４のＮＯ）、ステップＳ２０１に戻って、処理を繰り返す。すなわち、ジャイロセンサ２０８からデータを取得して、角度データを保存する。この処理を記録停止まで繰り返すことで、記録開始から記録停止までの角度データが保存される。角度データは、経過時間、すなわちフレームに対応付けられている。よって、各フレームでの角度データが保存される。このように、制御データ生成部４０３は、時系列に沿った角度データを制御データとして生成する。例えば、制御データ生成部４０３は、角度データと経過時間が対応付けられたメタファイルを生成する。メタファイルは、動画ファイルとともにメインメモリ２０６又はカード型記録媒体３０２等に記録される。

次に、図１４を参照して、再生時の処理について説明する。まず、ユーザが上記のように取得した動画ファイルを指定して再生ボタンを押す。すると、すると、圧縮／伸長処理部２０１が動画ファイルをデコードして、動画再生が開始する（ステップＳ３０１）。これにより、モニタ部１２の液晶モニタ３０４が動画ファイルの表示を開始する。次に、プロジェクタ１８の出力がＯＮとなっているか判定する（ステップＳ３０２）。例えば、液晶モニタ３０４とプロジェクタ１８の同時表示が行われているか否かを判定する。

プロジェクタ１８の出力がＯＮとなっていない場合（ステップＳ３０２のＮＯ）、液晶モニタ３０４が通常再生を行う（ステップＳ３０３）。すなわち、プロジェクタ１８の出力がＯＦＦの場合、液晶モニタ３０４のみで動画ファイルを再生する。通常再生では、第１駆動機構１３が角度を変更しない。

通常再生が行われたら、再生が停止したか否かを判定する（ステップＳ３０４）。そして、再生が停止していない場合（ステップＳ３０４のＮＯ）、ステップＳ３０３に戻って、通常再生を継続する。再生が停止した場合（ステップＳ３０４のＹＥＳ）、液晶モニタ３０４が再生を終了する。ユーザが再生停止ボタンなどを押す、あるいは動画ファイルの最終フレームまで再生すると、再生が停止する。このように、プロジェクタ１８がＯＦＦの場合、再生が停止するまで、通常再生を継続する。すなわち、プロジェクタ１８が表示を行っていない場合は、液晶モニタ３０４の角度を固定して、通常の再生を行う。

一方、プロジェクタ１８の出力がＯＮとなっている場合（ステップＳ３０２のＹＥＳ）、プロジェクタ１８から映像出力を行う（ステップＳ３０５）。これにより、投影面Ｐに再生画像が投影される。なお、プロジェクタ１８のＯＮ／ＯＦＦはユーザが設定することができる。そして、現再生時間（経過時間）における角度データがあるか否かを判定する（ステップＳ３０６）。例えば、回転角度設定部４０５が制御データに含まれる角度データを参照する。

現再生時間における角度データがある場合（ステップＳ３０６のＹＥＳ）、現再生時間に対応した角度データを取得する（ステップＳ３０７）。すなわち、回転角度設定部４０５が経過時間に対応する角度データを取得する。そして、この角度データに基づいて、第１駆動機構１３がモニタ部１２の角度を変更する（ステップＳ３０８）。すなわち、回転角度設定部４０５は、経過時間の角度データに基づいて、第１駆動機構１３の回転角度を算出する。そして、駆動制御部４０６が回転角度に応じた指令値を算出して、第１駆動機構１３に出力する。これにより、第１駆動機構１３が、モニタ部１２の角度を変化させる。モニタ部１２の背面側に取り付けられたプロジェクタ１８の向きも変化する。これにより、プロジェクタ１８の投影方向が変化して、投影位置が変わる。そして、モニタ部１２の角度を変更したら、ステップＳ３０９に移行する。

現再生時間における角度データが無い場合（ステップＳ３０６のＮＯ）、ステップＳ３０７、Ｓ３０８をスキップして、ステップＳ３０９に移行する。すなわち、モニタ部１２の角度を変更せずに、ステップＳ３０９に移行する。

そして、モニタ部１２の角度制御が終わったら、再生停止か否かを判定する（ステップＳ３０９）。ユーザが再生ボタンを押すなどして、再生を停止した場合（ステップＳ３０９のＹＥＳ）、再生処理を終了する。再生が停止していない場合（ステップＳ３０９のＮＯ）、ステップＳ３０７に戻り、処理を繰り返す。これにより、時系列の角度データに応じて、モニタ部１２の角度が変化する。すなわち、再生時間（経過時間）に応じて、モニタ部１２の角度が変化する。

本体部１１の傾斜角度に応じて、第１駆動機構１３がプロジェクタ１８の傾斜角度を変えている。こうすることで、投影面Ｐにおける再生画像３０の投影位置が変化する。よって、より臨場感のある画像を表示することができる。すなわち、撮像時における撮像装置１の角度が反映されて、再生画像３０が表示される。このため、観察者（ユーザ）が撮像時の臨場感を体感することができる。さらに、経過時間に応じてモニタ部１２の角度が変更される。すなわち、フレームに応じて、第１駆動機構１３が角度を調整する。よって、空間を十分に使用して再生することができ、より臨場感のある画像を表示することができる。なお、投影位置を変えた場合、台形補正等の画像設定を自動で行うようにしてもよい。

（第２の角度制御方法）
次に、第２駆動機構１９を用いた第２の角度制御方法について、説明する。ここでは、制御データに含まれる角度データに応じて、第２駆動機構１９がプロジェクタ１８を回転させる。図１５は第２駆動機構１９により角度制御前の状態を模式的に示す図であり、図１６は、角度制御後の状態を模式的に示す状態を示す図である。なお、図１５、図１６において、投影面Ｐ内における鉛直方向（縦方向）をＹ方向とし、横方向をＸ方向としている。さらに、再生画像３０の縦方向をＹ’とし、横方向をＸ’として示している。再生画像３０内における水平方向をＨ’としている。

ここでは、撮像中に、本体部１１が光軸ＬＡ周りに回転した場合の制御を説明する。本体部１１が光軸ＬＡ周りに回転した場合、図１５に示すように、再生画像３０中に含まれるユーザ２１ａ、２１ｂが傾いて表示される。すなわち、鉛直方向に沿って立った状態のユーザ２１ａ、２１ｂを撮像する際に、本体部１１が回転した状態で撮像されると、再生画像３０中のユーザ２１ａ、２１ｂが再生画像３０の縦方向Ｙ’から傾いてしまう。このように、撮影者の操作ミスなどで本体部１１が意図せずに回転した場合、再生画像３０の水平が保たれなくなってしまう。再生画像３０中の水平方向Ｈ’が実空間での水平方向Ｈから傾いてしまう。この場合、観察者が再生画像３０を見づらくなってしまう。

そこで、本実施の形態では、制御データに基づいて、第２駆動機構１９がプロジェクタ１８を回転させている。例えば、制御データに含まれるＺ軸周りの角度データΨに基づいて、第２駆動機構１９がプロジェクタ１８を光軸ＬＣ周りに回転させる。これにより、図１６に示すように、プロジェクタ１８で投影された再生画像３０が傾いて表示される。再生画像３０の縦方向Ｙ’が投影面Ｐの鉛直方向Ｙから傾いている。そして、再生画像３０中のユーザ２１ａ、２１ｂが投影面Ｐの鉛直方向Ｙに沿って立った状態で表示される。すなわち、撮像時の実空間の鉛直方向と、再生時の実空間の鉛直方向が一致することになる。換言すると、再生画像３０中の水平方向Ｈ’と実空間の水平方向Ｈが平行になっている。

このようにすることで、再生画像３０中の被写体の水平を常時保つことができる。よって、撮像時に傾けて撮像してしまった動画ファイルであっても、表示を見やすくすることができる。このように、本実施の形態では、再生画像３０の角度を投影面Ｐ内で、再生画像３０の中心を回転軸として回転している。

図１７に、第２の角度制御方法のフローチャートを示す。まず、ユーザが動画ファイルを指定して再生ボタンを押す。すると、圧縮／伸長処理部２０１が動画ファイルをデコードして、動画再生が開始する（ステップＳ４０１）。これにより、モニタ部１２の液晶モニタ３０４が動画ファイルの表示を開始する。次に、次に、角度データがあるか否かを判定する（ステップＳ４０２）。すなわち、動画ファイルに対応する角度データが存在するか否かを判定する。

動画ファイルに対応付けられた角度データが存在しない場合（ステップＳ４０２のＮＯ）、ステップＳ４０４に移行する。動画ファイルに対応付けられた角度データが存在する場合（ステップＳ４０２のＹＥＳ）、プロジェクタ１８の出力がＯＮとなっているか判定する（ステップＳ４０３）。例えば、液晶モニタ３０４とプロジェクタ１８の同時表示が行われているか否かを判定する。プロジェクタ１８の出力がＯＮとなっていない場合（ステップＳ４０３のＮＯ）、ステップＳ４０４に移行する。

角度データが存在しない場合（ステップＳ４０２のＮＯ）、又は、プロジェクタ１８がＯＮでない場合（ステップＳ４０３のＮＯ）、液晶モニタ３０４が通常再生を行う（ステップＳ４０４）。角度データが存在しない動画ファイルでは、再生画像３０を回転させることができないので、プロジェクタ１８を使用しない。プロジェクタ１８の出力がＯＦＦの場合、液晶モニタ３０４のみで動画ファイルを再生する。

ステップＳ４０４で通常再生が行われたら、再生が停止したか否かを判定する（ステップＳ４０５）。そして、再生が停止していない場合（ステップＳ４０５のＮＯ）、ステップＳ４０４に戻って、通常再生を継続する。ユーザが再生停止ボタンなどを押して、再生が停止した場合（ステップＳ４０５のＹＥＳ）、液晶モニタ３０４が再生を終了する。このように、角度データが無い場合、又は、プロジェクタ１８がＯＦＦの場合、再生が停止するまで、通常再生を継続する。すなわち、プロジェクタ１８が表示を行っていない場合は、液晶モニタ３０４の角度を固定して、通常の再生を行う。

一方、プロジェクタ１８の出力がＯＮとなっている場合（ステップＳ４０３のＹＥＳ）、角度データを取得する（ステップＳ４０６）。例えば、回転角度設定部４０５が制御データに含まれる角度データを参照する。

そして、取得した角度データに応じて、第２駆動機構１９がプロジェクタ１８を傾ける（ステップＳ４０７）。すなわち、回転角度設定部４０５が、経過時間の角度データに基づいて、プロジェクタ１８の回転角度を算出する。そして、駆動制御部４０６が回転角度に応じた指令値を算出して、第２駆動機構１９に出力する。これにより、プロジェクタ１８の角度が変化する。プロジェクタ１８がその光軸ＬＣ周りに回転して、投影面Ｐ上において、プロジェクタ１８による投影画像が傾斜する。そして、プロジェクタ１８を傾けたら、ステップＳ４０８に移行する。

そして、プロジェクタ１８の角度制御が終わったら、再生停止か否かを判定する（ステップＳ４０８）。ユーザが再生ボタンを押すなどして、再生を停止した場合（ステップＳ４０８のＹＥＳ）、再生処理を終了する。再生が停止していない場合（ステップＳ４０８のＮＯ）、ステップＳ４０６に戻り、処理を繰り返す。これにより、角度データに応じて、プロジェクタ１８の角度が変化する。よって、経過時間に応じて、プロジェクタ１８の角度が変化する。

本体部１１の傾斜角度に応じて、第２駆動機構１９がプロジェクタ１８の傾斜角度を変えている。こうすることで、投影面Ｐにおける再生画像３０が傾斜する。よって、見やすい表示が可能になる。すなわち、撮像時の角度が反映されて再生画像３０が表示されるため、再生画像３０内の被写体の水平が一定に保たれる。さらに、経過時間に応じてプロジェクタ１８の角度が変更される。すなわち、フレームに応じて、第２駆動機構１９が角度を調整する。よって、常時、再生画像３０内の被写体の水平が保たれる。なお、投影位置を変えた場合、台形補正等の画像設定を自動で行うようにしてもよい。

なお、第２の角度制御方法において、ジャイロセンサ２０８に検出結果に基づいて、角度データを算出したが、本実施の形態はこれに限られるものではない。例えば、顔認識データを用いて、角度データを算出してもよい。すなわち、顔認識を行った際に算出される顔の傾きデータを角度データとする。すなわち、再生画像３０内における顔の傾きに応じて、プロジェクタ１８の傾きを変えてもよい。また、顔認識データに基づく角度データと、ジャイロセンサ２０８に基づく角度データが両方ある場合、顔認識データの角度データを優先して用いてもよく、ジャイロセンサ２０８に基づく角度データを優先して用いてもよい。

また、強調表示、第１の角度制御、及び第２の角度制御の処理について、説明したが、これらのうちの少なくとも一つが行われていればよい。例えば、強調表示のみを行い、第１及び第２の角度制御を行わなくてもよい。この場合、必要な制御データとしては、顔認識データのみとなる。よって、制御に必要なデータのみを撮像時に制御データとして生成すればよい。

さらに、強調表示、第１の角度制御、及び第２の角度制御の処理を２つ以上組み合わせて行ってもよい。例えば、第１の角度制御又は第２の角度制御を強調表示と同時に行ってもよい。さらには、強調表示、第１及び第２の角度制御を同時に行ってもよい。

第１駆動機構１３と第２駆動機構１９を配置する場所は特に限られるものではない。例えば、第２駆動機構１９がモニタ部１２をＺ軸周りに回転するようにしてもよい。また、Ｘ軸周り、又はＺ軸周りの回転角度に限らず、Ｙ軸周りの回転角度についても角度制御を行ってもよい。この場合、プロジェクタ１８をＹ軸周りに回転させる駆動機構を用意する。そして、プロジェクタ１８をＹ軸周りに回転することで、投影面Ｐ内において、再生画像３０が横方向、すなわちＸ方向に沿って変化する。

また、上記の説明では、第１撮像部１４が再生画像を撮像したものとして説明したが、再生画像を撮像する撮像装置は他の撮像装置であってもよい。すなわち、制御データが対応付けられた動画ファイルを他の撮像装置で取得してもよい。この場合、取得した動画ファイルとともに制御データが、撮像装置１に記憶される。そして、撮像装置１が動画ファイルを再生する。このように、予め取得された動画形式の表示画像に対して、制御を行えばよい。

上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されても良い。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、ＣＤ−ＲＯＭ(Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ(例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM）、ＥＰＲＯＭ(Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ(Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

１ 撮像装置、 １１ 本体部、 １２ モニタ部、 １３ 第１駆動機構
１４ 第１撮像部、 １５ 第２撮像部、 １８ プロジェクタ、
１９ 第２駆動機構

Claims (6)

1. 予め取得された動画形式の表示画像を表示する表示部と、
   前記表示部が表示している表示画像を見ているユーザの顔を撮像する撮像部と、
   前記撮像部で撮像された撮像画像に対して顔認識を行う顔認識部と、
   前記顔認識部で認識された顔に対応する人の顔画像が、前記表示画像に含まれる場合、前記表示画像において前記顔画像を強調表示する表示制御部と、を備え、
   前記表示画像に含まれる顔の顔認識データを、前記表示画像の経過時間に対応付けて記憶している、撮像表示装置。
2. 予め取得された動画形式の表示画像を表示する表示部と、
   前記表示部が表示している表示画像を見ているユーザの顔を撮像する撮像部と、
   前記撮像部で撮像された撮像画像に対して顔認識を行う顔認識部と、
   前記顔認識部で認識された顔に対応する人の顔画像が、前記表示画像に含まれる場合、前記表示画像において前記顔画像を強調表示する表示制御部と、を備え、
   前記表示部が、前記表示画像を投影面に投影するプロジェクタを有しており、
   前記プロジェクタの傾斜角度を変える駆動機構が設けられ、
   前記表示画像の動画ファイルに対応付けられた角度データに基づいて、前記駆動機構を制御する、撮像表示装置。
3. 前記表示画像を撮像した時に検出された角度データに基づいて、前記駆動機構が前記プロジェクタの傾斜角度を変えることで、前記投影面における前記表示画像が回転する請求項２に記載の撮像表示装置。
4. 前記表示画像を撮像した時に検出された角度データに基づいて、前記駆動機構が前記プロジェクタの傾斜角度を変えることで、前記投影面における前記表示画像の投影位置が変化する請求項２、又は３に記載の撮像表示装置。
5. 予め取得された動画形式の表示画像を表示する表示部と、
   前記表示部に表示されている表示画像を見ているユーザの顔を撮像する撮像部と、を備えた撮像表示装置の制御方法であって、
   前記撮像部で撮像された撮像画像に対して顔認識を行うステップと、
   前記顔認識された顔に対応する人の顔画像が、前記表示画像に含まれる場合、前記表示画像において前記顔画像を強調表示するステップと、を備え、
   前記表示画像に含まれる顔の顔認識データを、前記表示画像の経過時間に対応付けて記憶している、制御方法。
6. 予め取得された動画形式の表示画像を表示する表示部と、
   前記表示部に表示されている表示画像を見ているユーザの顔を撮像する撮像部と、を備えた撮像表示装置の制御方法であって、
   前記撮像部で撮像された撮像画像に対して顔認識を行うステップと、
   前記顔認識された顔に対応する人の顔画像が、前記表示画像に含まれる場合、前記表示画像において前記顔画像を強調表示するステップと、を備え、
   前記表示部が、前記表示画像を投影面に投影するプロジェクタを有しており、
   前記表示画像の動画ファイルに対応付けられた角度データに基づいて、前記プロジェクタの傾斜角度を変える、制御方法。

Images