JP6349811B2 - 映像信号出力装置、映像信号出力方法、及びプログラム - Google Patents

Description

本発明は、画像を表示する技術に関する。

表示装置の表示画面上の手または指などの指示体の位置を認識して表示画面に反映させる技術が知られている。例えば特許文献１には、表示装置であるプロジェクターに搭載したカメラで撮影した画像から、ユーザーの手の位置を検出し、検出した手の位置に基づいて表示画像に反映することが記載されている。特許文献２には、プロジェクターに搭載したカメラで撮影された画像から指の位置を認識し、さらにユーザーの指とその影とを検出することにより、それらの距離に基づいて、指がスクリーンに接触しているか否かを判定し、表示画像に反映することが記載されている。

特開２０１１−２０３８３０号公報 特開２０１１−１８０７１２号公報

特許文献１や２に記載されたような従来技術では、表示装置がカメラを搭載し、ユーザーの手や指などの指示体の位置を認識し、表示画像に反映する必要がある。したがって、表示装置の構成が複雑になり、高い処理能力を持つ表示装置が要求され、コストが高くなるという問題があった。

本発明は、上述した従来の技術が有する課題を解消し、指示体の位置を認識する機能を持たない表示装置を使用しても、表示装置により表示された画像に対して手や指などの指示体で行われた操作をその画像に反映する機能を実現することを目的の一つとする。

本発明は、第１の画像に応じた映像信号を表示装置に出力する出力部と、前記映像信号に応じた前記第１の画像が前記表示装置により表示された表示画面の画像を指示体とともに撮影する撮影部と、前記撮影された画像に基づいて、前記指示体の軌跡を前記表示画面上での前記指示体の軌跡として検出する検出部と、前記検出された軌跡に応じた第２の画像を生成する生成部と、前記生成された第２の画像と前記第１の画像とを合成して合成画像を生成する合成部と、を備え、前記出力部は、前記生成された合成画像に応じた映像信号を前記表示装置に出力することを特徴とする映像信号出力装置を提供する。
この映像信号出力装置によれば、指示体の位置を認識する機能を持たない表示装置を使用した場合でも、表示装置により表示された画像に対して指示体で行われた操作をその画像に反映する機能を実現することができる。

前記映像信号出力装置は、前記撮影された画像に基づいて、前記指示体の形状を認識する認識部をさらに備え、前記生成部は、前記認識された指示体の形状に応じて、前記第２の画像の生成を制御してもよい。
この映像信号出力装置によれば、指示体の形状によって、ユーザーの操作を画像に反映するか否かを制御することができる。

前記映像信号出力装置は、前記撮影された画像に基づいて、前記指示体の形状を認識する認識部をさらに備え、前記第２の画像は、前記軌跡に応じた線画であり、前記生成部は、前記認識された指示体の形状に応じて、前記線画で用いられる線を変化させてもよい。
この映像信号出力装置によれば、指示体の形状によって、第２の画像の線を変えることができる。

前記指示体は、手または指であってもよい。この場合、特別な指示体を用意する必要がない。

前記映像信号出力装置は、携帯端末であってもよい。この場合、携帯端末はどこへでも簡単に持ち運べるため特別なセッティングをする必要がない。

前記表示装置は、プロジェクターであってもよい。この場合、大画面の投写が容易であり、ユーザーはその大画面上で操作をすることができる。

また、本発明は、（Ａ）第１の画像が表示装置により表示された表示画面の画像を指示体とともに撮影するステップと、（Ｂ）前記撮影された画像に基づいて、前記指示体の軌跡を前記表示画面上での前記指示体の軌跡として検出するステップと、（Ｃ）前記検出された軌跡に応じた第２の画像を生成するステップと、（Ｄ）前記生成された第２の画像と前記第１の画像とを合成して合成画像を生成するステップと、（Ｅ）前記生成された合成画像に応じた映像信号を前記表示装置に出力するステップとを有する映像信号出力方法を提供する。
この映像信号出力方法によれば、指示体の位置を認識する機能を持たない表示装置を使用した場合でも、表示装置により表示された画像に対して指示体で行われた操作をその画像に反映する機能を実現することができる。

上述した映像信号出力方法は、コンピューターに上述したステップを実行させるためのプログラムとして実現しても良い。
このプログラムによれば、指示体の位置を認識する機能を持たない表示装置を使用した場合でも、表示装置により表示された画像に対して指示体で行われた操作をその画像に反映する機能を実現することができる。

さらに、本発明は、第１の画像に応じた映像信号を出力する映像信号出力装置と、前記映像信号に応じた画像を表示画面に表示する表示装置と、前記表示画面の画像を指示体とともに撮影する撮影装置とを有し、前記映像信号出力装置は、前記撮影装置が撮影した前記画像に基づいて、前記指示体の軌跡を前記表示装置の表示画面上での指示体の軌跡として検出する検出部と、前記検出された軌跡に応じた第２の画像を生成する生成部と、前記生成された第２の画像と前記第１の画像とを合成して合成画像を生成する合成部と、前記生成された合成画像に応じた映像信号を前記表示装置に出力する出力部とを有する表示システムを提供する。
この表示システムによれば、指示体の位置を認識する機能を持たない表示装置を使用したシステムにおいても、表示装置により表示された画像に対して指示体で行われた操作をその画像に反映する機能を実現することができる。

表示システム１０のハードウェア構成を示す図。 プロジェクター１００のハードウェア構成を示す図。 携帯端末３００のハードウェア構成を示す図。 携帯端末３００の機能構成を示す図。 表示システム１０が行う投写処理を示すフローチャート。 インタラクティブ処理を示すフローチャート。 ユーザーの操作に用いられる手の形状の一例を示す図。 手書き画像２４０の生成の一例を示す図。 合成画像２５０の生成の一例を示す図。 スクリーン２００に表示された合成画像２５０の一例を示す図。 変形例に係るユーザーの操作に用いられる手の形状の一例を示す図。 変形例に係るユーザーの操作に用いられる手の形状の一例を示す図。 変形例に係るユーザーの操作に用いられる手の形状の一例を示す図。

１．構成
図１は、表示システム１０のハードウェア構成を示す図である。表示システム１０は、表示画面に画像を表示するシステムである。また、表示システム１０は、表示画面に表示された画像に対して指示体としての指で行われた操作をその画像に反映する機能を実現する。表示システム１０は、表示装置としてのプロジェクター１００と、スクリーン２００と、携帯端末３００とを備える。スクリーン２００は、投写面（表示画面）の一例である。プロジェクター１００及び携帯端末３００は、いずれもスクリーン２００に向けて設置される。プロジェクター１００と携帯端末３００とは、無線又は有線で接続される。ここでは、プロジェクター１００と携帯端末３００とが無線で接続されるものとする。

図２は、プロジェクター１００のハードウェア構成を示す図である。プロジェクター１００は、スクリーン２００に画像を投写する装置である。プロジェクター１００は、映像処理回路１１０と、ＣＰＵ（Central Processing Unit）１２０と、メモリー１３０と、光源１４０と、光変調器１５０と、投写部１６０と、入力装置１７０と、通信ＩＦ（interface）部１８０とを有する。

映像処理回路１１０は、映像信号に対して映像処理を施し、映像処理を施した信号を光変調器１５０に出力する。ＣＰＵ１２０は、プロジェクター１００の他のハードウェアを制御する制御装置である。メモリー１３０は、プログラムや各種のデータを記憶する記憶装置である。光源１４０は、投写光を出力する装置であり、ランプまたはレーザーの発光装置およびその駆動回路を含む。光変調器１５０は、光源１４０から出力された光を、映像処理回路１１０から出力される信号に応じて変調する装置であり、液晶パネルまたはＤＭＤ（Digital Mirror Device）等の電気光学装置およびその駆動回路を含む。投写部１６０は、光変調器１５０により変調された光をスクリーン２００に投写する装置であり、ダイクロイックプリズム、投写レンズ、フォーカスレンズ等の光学系を含む。入力装置１７０は、ユーザーがプロジェクター１００（ＣＰＵ１２０）に指示または情報を入力するために用いられる装置であり、例えば、キーパッド、タッチスクリーン、またはリモートコントローラーを含む。通信ＩＦ部１８０は、携帯端末３００と通信を行うインターフェースである。

図３は、携帯端末３００のハードウェア構成を示す図である。携帯端末３００は、例えばスマートフォンである。携帯端末３００は、映像信号出力装置の一例である。また、携帯端末３００は、スクリーン２００に表示された画像に対して指で操作が行われた場合には、この操作を画像に反映するための処理を行う。携帯端末３００は、ＣＰＵ３１０と、ＲＡＭ（Random Access Memory）３２０と、ＲＯＭ（Read Only Memory）３３０と、表示装置３４０と、通信ＩＦ３５０と、記憶装置３６０と、入力装置３７０と、撮影部又は撮影装置としてのカメラ３８０とを有する。

ＣＰＵ３１０は、携帯端末３００の他のハードウェアを制御する制御装置である。ＲＡＭ３２０は、ＣＰＵ３１０がプログラムを実行する際のワークエリアとして機能する揮発性の記憶装置である。ＲＯＭ３３０は、データおよびプログラムを記憶した不揮発性の記憶装置である。表示装置３４０は、情報を表示する装置、例えば液晶ディスプレイである。通信ＩＦ３５０は、プロジェクター１００と通信を行うインターフェースである。記憶装置３６０は、データおよびプログラムを記憶する書き換え可能な不揮発性の記憶装置である。入力装置３７０は、ユーザーの操作に応じた情報をＣＰＵ３１０に入力するための装置、例えば、キーボード、マウス、又はタッチスクリーンを含む。カメラ３８０は、画像を撮影する。以上の要素は、バスにより接続されている。

記憶装置３６０には、プロジェクター１００に出力される画像データ３６１が記憶される。この画像データ３６１は、例えばプレゼンテーションの資料として用いられる画像を示すものであってもよいし、映画等の動画を示すものであってもよい。

また、記憶装置３６０には、描画アプリケーション３６３が記憶される。この描画アプリケーション３６３は、基本的には、記憶装置３６０に記憶された画像データ３６１をプロジェクター１００の処理に適した映像信号に変換してプロジェクター１００に送信する。例えば、描画アプリケーション３６３は、プロジェクター１００が所定のフレームレートに対応する場合には、画像データ３６１を所定のフレームレートの映像信号に変換して送信する。

ただし、描画アプリケーション３６３は、スクリーン２００に表示された画像に対して指で操作が行われた場合には、この操作を反映した画像に応じた映像信号をプロジェクター１００に送信する。例えば、描画アプリケーション３６３は、スクリーン２００上にて手書きで情報を書き込む操作が行われた場合には、記憶装置３６０に記憶された画像データ３６１が示す画像と手書きで書き込まれた情報とを合成した画像に応じた映像信号をプロジェクター１００に送信する。この映像信号も、上述した画像データ３６１に応じた映像信号と同様に、プロジェクター１００の処理に適した形式を有する。

図４は、携帯端末３００の機能構成を示す図である。携帯端末３００は、ＣＰＵ３１０が描画アプリケーション３６３を実行することにより、認識部３１１、検出部３１２、生成部３１３、合成部３１４、及び出力部３１５の機能を実現する。携帯端末３００は、これらの機能を実現するコンピューターの一例である。これらの機能は、ＣＰＵ３１０と他のハードウェア構成との協働により実現されてもよい。

出力部３１５は、記憶装置３６０に記憶された画像データ３６１に応じた映像信号を出力する。プロジェクター１００は、出力部３１５から出力された映像信号に応じた第１の画像をスクリーン２００に投写する。カメラ３８０は、スクリーン２００の画像を撮影する。認識部３１１は、カメラ３８０により撮影された画像に基づいて、手の形状を認識する。検出部３１２は、カメラ３８０により撮影された画像に基づいて、スクリーン２００上での指の軌跡を検出する。生成部３１３は、検出部３１２により検出された軌跡に応じた第２の画像を生成する。合成部３１４は、生成部３１３により生成された第２の画像と記憶装置３６０に記憶された画像データ３６１に応じた第１の画像とを合成して合成画像２５０を生成する。出力部３１５は、合成画像２５０に応じた映像信号をプロジェクター１００に出力する。

２．動作
図５は、表示システム１０が行う投写処理を示すフローチャートである。ステップＳ１０１において、プロジェクター１００は、携帯端末３００から画像データ３６１に応じた映像信号が出力されると、この映像信号に応じた画像２１０をスクリーン２００に投写する。この画像２１０は、表示画面の画像の一例である。具体的には、携帯端末３００の出力部３１５により、記憶装置３６０に記憶された画像データ３６１（第１の画像）に応じた映像信号がプロジェクター１００に送信される。プロジェクター１００は、この映像信号を受信すると、受信した映像信号に応じた画像２１０をスクリーン２００に投写する。これにより、図１に示すように、スクリーン２００に画像２１０が表示される。なお、上述したように、携帯端末３００とプロジェクター１００とは無線で接続されているため、映像信号は無線で送信される。

ステップＳ１０２において、携帯端末３００のカメラ３８０は、スクリーン２００を含む範囲の動画を撮影する。この動画は、連続して撮影された複数の画像により構成される。これらの画像は、順次出力される。

ステップＳ１０３において、検出部３１２は、カメラ３８０から出力された画像に基づいて、スクリーン２００における画像２１０の投写領域２２０を特定する。例えば、検出部３１２は、カメラ３８０から出力された画像と画像データ３６１が示す画像２１０とを比較し、相関の高い部分を投写領域２２０として特定する。

ステップＳ１０４において、携帯端末３００は、インタラクティブ処理を行う。
図６は、インタラクティブ処理を示すフローチャートである。ステップＳ２０１において、検出部３１２は、カメラ３８０から出力された画像に基づいて、ステップＳ１０３で特定された投写領域２２０からユーザーの手を検出する。例えば、検出部３１２は、カメラ３８０から出力された画像の投写領域２２０に手の特徴を有する部分が含まれる場合には、この部分を手として検出する。この特徴は、例えば色や形状である。投写領域２２０から手が検出されると（ステップＳ２０１：ＹＥＳ）、インタラクティブ処理はステップＳ２０２に進む。一方、投写領域２２０から手が検出されない場合には（ステップＳ２０１：ＮＯ）、カメラ３８０から出力された次の画像に基づいて、ステップＳ２０１の処理が行われる。

ステップＳ２０２において、認識部３１１は、ステップＳ２０１で検出された手の形状を認識する。例えば、認識部３１１は、検出された手の部分と様々な手の形状のパターンとをマッチングすることにより、手の形状を認識する。

ステップＳ２０３において、生成部３１３は、ステップＳ２０２で認識された手の形状に応じて、ユーザーの操作を画像２１０に反映させるか否かを判断する。

図７は、ユーザーの操作に用いられる手の形状の一例を示す図である。図７に示す例では、ユーザーの操作には、手の形状２１又は２２が用いられる。形状２１は、指を一本だけ立てた形である。形状２２は、五本の指を全て握った形である。図７に示す例では、生成部３１３は、ステップＳ２０２で形状２１が認識された場合には、ユーザーの操作を画像２１０に反映させると判断する。この場合、インタラクティブ処理はステップＳ２０４に進む。一方、生成部３１３は、ステップＳ２０２で形状２２が認識された場合には、ユーザーの操作を画像２１０に反映させないと判断する。この場合、インタラクティブ処理はステップＳ２０１に戻る。

ステップＳ２０４において、検出部３１２は、カメラ３８０から出力された画像に基づいて、指の軌跡を投写領域２２０上での指の軌跡として検出する。具体的には、検出部３１２は、カメラ３８０から出力された各画像における投写領域２２０上での指先の位置を示す座標を算出する。この時、指先がスクリーン２００に接触している必要はない。カメラ３８０から出力した画像に基づいて、投写領域２２０上における指先に位置を示す座標が算出できるのであれば、スクリーン２００から指先が離れていてもよい。検出部３１２は、算出した座標を時系列に沿って結んだ線を、指の軌跡として検出する。また、検出部３１２は、記憶装置３６０に記憶された画像データ３６１に応じた仮想スクリーンを設定し、投写領域２２０を仮想スクリーン上に投射変換する。この仮想スクリーンは、画像データ３６１に対応するものであり、例えば画像データ３６１と同じ縦横比を有する。これにより、投写領域２２０上での指の軌跡を示す座標が仮想スクリーンの座標系の座標に変換される。

ステップＳ２０５において、生成部３１３は、ステップＳ２０４で検出された軌跡に応じた手書き画像２４０を生成する。この手書き画像２４０は、第２の画像の一例である。

図８は、手書き画像２４０の生成の一例を示す図である。図８に示す例では、ユーザーは、スクリーン２００に表示された画像２１０上にて指で線２３０を描く。この場合、線２３０を示す線画が手書き画像２４０として生成される。

なお、生成部３１３は、上述したステップＳ２０３でユーザーの操作を画像２１０に反映すると判断された場合には、手書き画像２４０を生成するが、ユーザーの操作を画像２１０に反映しないと判断された場合には、手書き画像２４０を生成しない。この判断は、ステップＳ２０２で認識された手の形状に応じて行われる。このように、生成部３１３は、ステップＳ２０２で認識された手の形状に応じて、手書き画像２４０の生成を制御する。また、この判断は、手や指がスクリーン２００に接触しているか否かによって行ってもよい。接触しているか否かは手や指の影を利用して判断することができる。

ステップＳ２０６において、合成部３１４は、ステップＳ２０５で生成された手書き画像２４０と記憶装置３６０に記憶された画像データ３６１が示す画像２１０とを合成して合成画像２５０を生成する。このとき、合成部３１４は、仮想スクリーンにおける軌跡の座標に基づいて、手書き画像２４０がこの座標が示す位置に配置されるように、手書き画像２４０と画像２１０との位置を合わせて合成する。

図９は、合成画像２５０の生成の一例を示す図である。図９に示す例では、画像２１０の上に手書き画像２４０を重ねることにより合成画像２５０が生成される。

ステップＳ２０７において、出力部３１５は、ステップＳ２０６で生成された合成画像２５０に応じた映像信号をプロジェクター１００に送信する。

プロジェクター１００は、合成画像２５０に応じた映像信号を受信すると、受信した映像信号に応じた合成画像２５０をスクリーン２００に投写する。これにより、スクリーン２００に合成画像２５０が表示される。

図１０は、スクリーン２００に表示された合成画像２５０の一例を示す図である。この合成画像２５０には、ユーザーの指で描かれた線２３０を示す手書き画像２４０が含まれる。このように、ユーザーは、スクリーン２００に表示された画像２１０に対して手書きで情報を書き込むことができる。

ユーザーにより手書きで書き込まれた情報がスクリーン２００に表示されている間は、携帯端末３００からプロジェクター１００に合成画像２５０に応じた映像信号が出力される。一方、ユーザーにより手書きで書き込まれた情報がスクリーン２００に表示されない間は、携帯端末３００からプロジェクター１００に画像データ３６１に応じた映像信号が出力される。

また、以下のタイミングで、ユーザーにより書き込まれた情報の表示と非表示とを切り替えてもよい。
（１）携帯端末３００の入力装置３７０を用いて切り替え指示を入力する操作が行われたとき
（２）スクリーン２００上で切り替え指示を入力する操作が行われたとき
（３）プロジェクター１００によりスクリーン２００に表示されている画像の基となる画像データが複数のページに区分された画像データである場合において、スクリーン２００に表示されている画像のページの切り替えが行われたとき

例えば（２）の場合、画像データ３６１が示す画像２１０と切り替え操作用のメニュー画像とを合成した画像をスクリーン２００に投写し、スクリーン２００上でこのメニュー画像を選択する操作が行われたときに、ユーザーにより書き込まれた情報（例えば、手書き画像２４０）の表示と非表示とを切り替えてもよい。また、例えば（３）の場合、スクリーン２００に表示された画像のページが切り替えられたときに、前のページの画像の表示中にユーザーにより書き込まれた情報（例えば、手書き画像２４０）を消去してもよい。

本実施形態では、携帯端末３００を利用してインタラクティブ処理が行われるため、プロジェクター１００は、赤外線カメラ等の専用のデバイスを備える必要がない。したがって、例えば指示体の位置を認識する機能をもたないような簡単な構成のプロジェクター１００を用いて、プロジェクター１００により投写された画像２１０に対して指で行われた操作をこの画像２１０に反映する機能を実現することができる。

また、従来の技術では、スクリーン２００に表示された画像に対して手書きで情報を書き込む場合には、例えば描画を指示する操作を示すアイコンを合成した画像をスクリーン２００に表示し、ユーザーはスクリーン２００上でこのアイコンを選択する操作を行う必要があった。しかし、本実施形態によれば、このような操作を行わずに、手の形を例えば図７に示す形状２１にするだけで、スクリーン２００に表示された画像２１０に対して手書きで情報を書き込むことができる。

また、本実施形態では、手の形を図７に示す形状２１にすれば、例えば指をスクリーン２００から浮かせた状態で線２３０を描いても、手書き画像２４０が生成される。そのため、ユーザーは、スクリーン２００に表示された画像２１０に対して手書きで情報を書き込む操作を行うときに、必ずしもスクリーン２００に接触する必要がない。これにより、スクリーン２００の劣化や損傷を抑制することができる。

３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。

上述した実施形態において、生成部３１３は、ステップＳ２０２で認識された手の形状に応じて、手書き画像２４０で用いられる線の太さを変化させてもよい。

図１１は、この変形例に係るユーザーの操作に用いられる手の形状の一例を示す図である。図１１に示す例では、ユーザーの操作には、手の形状２１、２３、又は２４が用いられる。形状２１は、上述したように、指を一本だけ立てた形である。形状２３は、指を二本立てた形である。形状２４は、指を三本立てた形である。この場合、ステップＳ２０３では、ステップＳ２０２で形状２１、形状２３、又は２４が認識された場合には、ユーザーの操作を画像２１０に反映すると判断される。ステップＳ２０５では、ステップＳ２０２で形状２１が認識された場合には、細線を用いて手書き画像２４０が生成される。ステップＳ２０２で形状２３が認識された場合には、太線を用いて手書き画像２４０が生成される。ステップＳ２０２で形状２４が認識された場合には、極太線を用いて手書き画像２４０が生成される。

上述した実施形態において、生成部３１３は、ステップＳ２０２で認識された手の形状に応じて、手書き画像２４０で用いられる線の種別を変化させてもよい。

図１２は、この変形例に係るユーザーの操作に用いられる手の形状の一例を示す図である。図１２に示す例では、ユーザーの操作には、手の形状２１又は２５が用いられる。形状２１は、指を一本だけ立てた右手の形である。形状２５は、指を一本だけ立てた左手の形である。この場合、ステップＳ２０３では、ステップＳ２０２で形状２１又は形状２５が認識された場合に、ユーザーの操作を画像２１０に反映すると判断される。ステップＳ２０５では、ステップＳ２０２で形状２１が認識された場合には、実線を用いて手書き画像２４０が生成される。ステップＳ２０２で形状２５が認識された場合には、破線を用いて手書き画像２４０が生成される。

上述した実施形態において、携帯端末３００は、ステップＳ２０２で認識された指の形状に応じて、スクリーン２００に表示された画像２１０又は合成画像２５０を変化させてもよい。

図１３は、この変形例に係るユーザーの操作に用いられる手の形状の一例を示す図である。図１３に示す例では、ユーザーの操作には、手の形状２６、２７又は２８が用いられる。形状２６は、指を五本立てた形である。形状２７は、指を一本だけ立ててその指先をユーザーの右に向けた形である。形状２８は、指を一本だけ立ててその指先をユーザーの左に向けた形である。

図１３に示す例では、形状２６は、手書き画像２４０を消去する操作に用いられる。例えば、図１０に示す合成画像２５０に含まれる手書き画像２４０部分を消去したい場合、ユーザーは、手の形を形状２６にして、スクリーン２００に表示された合成画像２５０に含まれる手書き画像２４０の部分の上に重ねる。この場合、ステップＳ２０２で形状２６が認識されると、携帯端末３００は、合成画像２５０から手書き画像２４０部分を消去した画像を生成し、生成した画像に応じた映像信号をプロジェクター１００に送信する。このとき、携帯端末３００は、手書き画像２４０部分のうちユーザーの手の位置に対応する部分だけを消去してもよいし、手書き画像２４０部分を全て消去してもよいし、プロジェクター１００は、この映像信号を受信すると、受信した映像信号に応じた画像をスクリーン２００に投写する。これにより、スクリーン２００には、手書き画像２４０が消去された画像が表示される。

図１３に示す例では、形状２７は、スクリーン２００に表示された画像のページを送る操作に用いられる。この場合、記憶装置３６０には、複数のページに区分された画像データが記憶される。ステップＳ２０２で形状２７が認識されると、出力部３１５は、記憶装置３６０から次のページの画像データを読み出して、この画像データに応じた映像信号をプロジェクター１００に送信する。例えば、スクリーン２００に１０ページ目の画像が表示されている場合には、１１ページ目の画像データに応じた映像信号がプロジェクター１００に送信される。プロジェクター１００は、この映像信号を受信すると、受信した映像信号に応じた次のページの画像をスクリーン２００に投写する。これにより、次のページの画像がスクリーン２００に表示される。

図１３に示す例では、形状２８は、スクリーン２００に表示された画像のページを戻す操作に用いられる。この場合、記憶装置３６０には、複数のページに区分された画像データが記憶される。ステップＳ２０２で形状２８が認識されると、出力部３１５は、記憶装置３６０から前のページの画像データを読み出して、この画像データに応じた映像信号をプロジェクター１００に送信する。例えば、スクリーン２００に１０ページ目の画像が表示されている場合には、９ページ目の画像データに応じた映像信号がプロジェクター１００に送信される。プロジェクター１００は、この映像信号を受信すると、受信した映像信号に応じた前のページの画像をスクリーン２００に投写する。これにより、前のページの画像がスクリーン２００に表示される。

上述した実施形態及び変形例で説明した手の形状は、一例である。上述した操作は、他の形状を用いて行われてもよい。また、上述した操作に用いられる手の形状は、ユーザー毎に設定されてもよい。さらに、上述した操作に用いられる手の形状は、予め携帯端末３００に記憶されてもよいし、外部装置に記憶され、携帯端末３００にダウンロードされてもよい。この外部装置は、例えばクラウドコンピューティングを利用してサービスを提供するクラウドサーバー装置であってもよい。

上述した実施形態において、例えば携帯端末３００がスクリーン２００に向けて配置されていない場合には、ステップＳ１０３で投写領域２２０が特定されない。この場合、携帯端末３００は、表示装置３４０に「スクリーン２００の方へ向けてください」というメッセージを表示してもよい。

上述した実施形態において、手の形状を認識し易くするために、ユーザーは特殊な指サックや手袋を付けて操作を行ってもよい。また、ユーザーは、ペンや棒等の指示体を用いて操作を行ってもよい。この指示体は、赤外光を発する機能を有する必要はない。この場合、検出部３１２は、カメラ３８０から出力された画像に基づいてペンや棒等の指示体の形状や位置などを認識する。

上述した実施形態において、携帯端末３００の機能は、複数のアプリケーションにより実現されてもよい。例えば、図４に示す認識部３１１、検出部３１２、生成部３１３、及び合成部３１４と、出力部３１５とが異なるアプリケーションにより実現されてもよい。

上述した実施形態において、画像データ３６１が外部装置に記憶されてもよい。この外部装置は、他の携帯端末であってもよいし、クラウドコンピューティングを利用してサービスを提供するクラウドサーバー装置であってもよい。この場合、外部装置と携帯端末３００とは、有線又は無線で接続される。携帯端末３００は、外部装置から画像データ３６１を取得して実施形態で説明した処理を行う。この変形例では、外部装置は記憶装置として機能する。

上述した実施形態において、携帯端末３００に代えて外部装置が実施形態で説明した処理の一部又は全部を行ってもよい。この外部装置は、他の携帯端末であってもよいし、クラウドコンピューティングを利用してサービスを提供するクラウドサーバー装置であってもよい。この場合、外部装置は、図４に示す機能の少なくとも一部を有する。外部装置が図４に示す機能を全て有する場合には、外部装置が出力装置として機能する。一方、外部装置が図４に示す機能の一部を有する場合には、携帯端末３００と外部装置とが協働して出力装置として機能する。

例えば、外部装置が画像データ３６１を記憶するとともに、合成部３１４の機能を有していてもよい。この場合、携帯端末３００と外部装置とは、有線又は無線で接続される。携帯端末３００は、生成部３１３により生成された手書き画像２４０を示す画像データを外部装置に送信する。外部装置は、この画像データを受信すると、受信した画像データに基づいて合成画像２５０を生成する。外部装置は、この合成画像２５０を示す合成画像データを携帯端末３００に送信する。携帯端末３００は、外部装置から合成画像データを受信すると、受信した合成画像データに応じた映像信号をプロジェクター１００に送信する。あるいは、外部装置は、合成画像２５０に応じた映像信号をプロジェクター１００に送信してもよい。他の例として、プロジェクター１００がカメラ３８０を備え、さらに図４に示す機能を全て備えてもよい。

携帯端末３００が行う処理の順序は、実施形態で説明した順序に限定されない。例えば、図５に示すステップＳ１０３の処理が、図６に示すインタラクティブ処理のステップＳ２１０の処理の前に行われてもよい。

上述した携帯端末３００は、スマートフォンに限定されない。例えば携帯端末３００は、ノート型パーソナルコンピューター、タブレット型コンピューター、又はデジタルカメラであってもよい。

上述した表示装置は、プロジェクター１００に限定されない。例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイなどの投写型以外の表示装置であってよい。

ＣＰＵ３１０によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ、ＦＤ（Flexible Disk））など）、光記録媒体（光ディスク（ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk））など）、光磁気記録媒体、半導体メモリー（フラッシュＲＯＭなど）などのコンピューター読取り可能な記録媒体に記憶した状態で提供されてもよい。また、このプログラムは、インターネットのようなネットワーク経由でダウンロードされてもよい。

１０…表示システム、１００…プロジェクター、２００…スクリーン、３００…携帯端末、３１１…認識部、３１２…検出部、３１３…生成部、３１４…合成部、３１５…出力部

Claims (13)

1. 第１の画像に応じた映像信号を表示装置に出力する出力部と、
   前記映像信号に応じて前記表示装置が表示した画像と、指示体とを、ともに撮影する撮影部と、
   前記撮影部が撮影した画像において、前記第１の画像との比較により、前記表示装置により前記画像が表示された領域を特定し、前記撮影部が撮影した画像に基づいて、前記特定した領域から前記指示体の軌跡を検出する検出部と、
   前記表示装置により前記画像が表示された領域が、前記撮影部が撮影した画像に含まれない場合には、前記撮影部を前記領域の方へ向けることを要求するメッセージを表示する表示部と、
   前記検出部が検出した前記軌跡に応じた第２の画像を生成する生成部と、
   前記生成部が生成した前記第２の画像と前記第１の画像とを合成して合成画像を生成する合成部と、を備え、
   前記出力部は、前記合成部が生成した前記合成画像に応じた映像信号を前記表示装置に出力することを特徴とする映像信号出力装置。
2. 前記映像信号出力装置は、前記撮影部が撮影した前記画像に基づいて、前記指示体の形状を認識する認識部をさらに備え、
   前記生成部は、前記認識部が認識した前記指示体の形状に応じて、前記第２の画像の生成を制御することを特徴とする
   請求項１に記載の映像信号出力装置。
3. 前記映像信号出力装置は、前記撮影部が撮影した前記画像に基づいて、前記指示体の形状を認識する認識部をさらに備え、
   前記生成部は、前記認識部が認識した前記指示体の形状に応じて、前記第２の画像を変化させることを特徴とする
   請求項１に記載の映像信号出力装置。
4. 前記第２の画像は、前記軌跡に応じた線画であり、
   前記生成部は、前記認識部が認識した前記指示体の形状に応じて、前記線画で用いられる線を変化させることを特徴とする
   請求項３に記載の映像信号出力装置。
5. 前記指示体は手または指であることを特徴とする
   請求項１ないし請求項４のいずれか１項に記載の映像信号出力装置。
6. 前記映像信号出力装置は、携帯端末であることを特徴とする
   請求項１ないし請求項５のいずれか１項に記載の映像信号出力装置。
7. 前記表示装置はプロジェクターであることを特徴とする
   請求項１ないし請求項６のいずれか１項に記載の映像信号出力装置。
8. （Ａ）第１の画像に応じた映像信号に応じて表示装置が表示した画像と、指示体とを、ともに撮影するステップと、
   （Ｂ）前記撮影された画像において、前記第１の画像との比較により、前記表示装置により前記画像が表示された領域を特定するステップと、
   （Ｃ）前記撮影された画像に基づいて、前記特定された領域から前記指示体の軌跡を検出するステップと、
   （Ｄ）前記検出された軌跡に応じた第２の画像を生成するステップと、
   （Ｅ）前記生成された第２の画像と前記第１の画像とを合成して合成画像を生成するステップと、
   （Ｆ）前記生成された合成画像に応じた映像信号を前記表示装置に出力するステップと、
   前記表示装置により前記画像が表示された領域が、前記ステップ（Ａ）で撮影した前記画像に含まれない場合には、前記画像を撮影した撮影部を前記領域の方へ向けることを要求するメッセージを表示するステップと
   を有する映像信号出力方法。
9. 前記ステップ（Ｃ）は、前記ステップ（Ａ）で撮影した前記画像に基づいて、前記指示体の形状を認識するステップをさらに備え、
   前記ステップ（Ｄ）は、前記認識された指示体の形状に応じて、前記第２の画像の生成を制御することを特徴とする
   請求項８に記載の映像信号出力方法。
10. 前記ステップ（Ｃ）は、前記ステップ（Ａ）で撮影した前記画像に基づいて、前記指示体の形状を認識するステップをさらに備え、
    前記ステップ（Ｄ）は、前記認識された指示体の形状に応じて、前記第２の画像を変化させることを特徴とする
    請求項８に記載の映像信号出力装置。
11. 前記第２の画像は、前記軌跡に応じた線画であり、
    前記ステップ（Ｄ）は、前記認識された指示体の形状に応じて、前記線画で用いられる線を変化させることを特徴とする
    請求項１０に記載の映像信号出力方法。
12. 前記指示体は手または指であることを特徴とする請求項８ないし請求項１１のいずれか１項に記載の映像信号出力方法。
13. コンピューターに、請求項８ないし請求項１２のいずれか１項に記載のステップを実行させるためのプログラム。

Images