JP5317630B2 - 画像配信装置、方法及びプログラム - Google Patents

Description

本発明は、電子データとして作成されたプレゼンテーション用資料を用いて実施される会議などを撮像して、会議の様子を特定の表示装置に配信する画像配信装置などに関する。より詳しくは、電子データとして作成されたプレゼンテーション用資料を用いて発表者が発表を行う際に、カメラによって前記発表を撮影した画像と前記電子データとを特定の表示装置に向けて適応的に出力する画像配信装置などに関する。

近年、会議や講義などの場面において、発表者が従前にパーソナルコンピュータを用いてプレゼンテーション用資料を電子データとして作成し、スクリーンや大型テレビなどに表示して発表をすることが一般化しつつある。

また聴講者全員が視聴する一台の大型プロジェクや大型テレビだけではなく、各聴講者の座席付近にそれぞれモニタなどを配置し、プレゼンテーション用資料やカメラによって撮影された画像（以降、会議映像という）をこれらモニタに配信することも珍しくない。

また電子データやデジタルデータとしての会議映像を用いることで、ある地点の会議を別の地点から聴講する、いわゆる遠隔会議も可能である。この場合には、発表が行われる会議場から会議映像を聴講者のいる地点に配信する遠隔配信システムを構築する。

なお、上記会議映像は、図１４に示すようにプレゼンテーション用資料を表示したスクリーンや大型テレビとともに発表者を撮影するのが一般的である。これにより聴講者は、手元のモニタで発表を臨場感をもって聴講することができる。

特許第３９４８２６４号公報

しかし、上記のような遠隔配信システムでは、従来から以下の課題があった。
第一に、会議映像の解像度やモニタの大きさが不十分である場合には、プレゼンテーション用資料が見づらくなってしまうという課題があった。

第二に、上記課題を解決する簡易な方法として、プレゼンテーション用資料のみを電子的に配信する方法があるが、この場合、発表者の動きや表情など、会議の臨場感が伝わりづらいという課題があった。

第三に、上記第一、第二の課題を解決する方法として、会議映像を配信し、さらにそれに同期してプレゼンテーション用資料を同時に表示する方法が考えられるが、この場合、聴講者はどの画面に注目すべきかを判断しなければならないという課題があった。さらに、例えば発表者がレーザポインタを使用した場合には、都度聴講者は、指し示された位置を会議映像で確認し、対応する部分を電子データから読み取るという作業が発生してしまうという課題があった。

第四に、上記第一から第三の課題を解決する方法として、発表者あるいは操作者が選択的に会議映像と電子データを配信する方法も考えられるが、この場合、発表者又は操作者の負担が増加してしまうという課題があった。

これらの課題を解決する技術として、例えば特許文献１に記載の技術が考えられる。係る技術は、複数の入力があった場合に、現在どの情報制御表示手段により表示されている画像が注目されているかを判別する機能を具備することで、情報の有用性を判定している。

しかしながら、特許文献１に記載された技術は、電子データのみを利用することを前提としており、会議映像について適用できるものではない。特に実際の会議においてはマウスのみならず、レーザポインタを利用する場合や、手で指し示す場合もあり、この場合には、特許文献１に記載された技術とは目的が異なるため適用が難しい。

本発明は上記課題を鑑みてなされたものであり、聴講者、発表者または操作者のいずれの負担も増やすことなく、プレゼンテーション用資料をより鮮明に見ることができ、かつ会議の臨場感も送ることができる画像配信装置を提供することを目的とする。

本発明の画像配信装置は、例えば、電子データを表示している表示手段を撮像装置によって撮像した撮像画像及び前記表示手段に表示している電子データを外部装置に出力する画像配信装置であって、前記撮像画像中の指定された領域内を指す第１の指標を前記撮像装置にて撮像された前記撮像画像から検出する指標検出手段と、前記撮像画像中の人物の所定の動作を認識する認識手段と、前記外部装置に前記撮像画像を出力している状態において前記指標検出手段が前記第１の指標を検出した場合に前記外部装置に前記電子データを出力する状態に遷移する画像出力手段とを有し、前記画像出力手段は、前記外部装置に前記電子データを出力している状態において前記指標検出手段が前記第１の指標を検出している間に前記認識手段が人物の前記所定の動作を認識した場合には前記電子データを出力している状態を維持し、前記外部装置に前記電子データを出力している状態において前記指標検出手段が前記第１の指標を検出せず、かつ、前記認識手段が人物の前記所定の動作を認識した場合には前記外部装置に前記撮像画像を出力する状態に遷移することを特徴とする。

本発明によれば、例えば電子データとして作成されたプレゼンテーション用資料を用いて発表者が発表を行う際に、ポインタ（指標）の検出結果に応じて、発表の撮像映像と電子データとを特定の表示装置に向けて適応的に出力できる。これにより、操作者又は聴講者に負担を強いること無く、現在最も注目すべきものが何であるかを聴講者に知らしめるようにして会議の映像を配信することができる。

以下、図面を参照しながら本発明の実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像配信システムの構成を示す図である。図１において、１１は表示装置である。表示装置１１は、前方投影型プロジェクタとスクリーンまたは大型ディスプレイ装置によって実施される。表示装置１１は、後述する情報処理装置１２と接続され、情報処理装置１２によって表示内容を制御される。

１２は情報処理装置である。情報処理装置１２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備え、ＣＰＵがＲＯＭに記憶したプログラムをＲＡＭに展開して各種処理を実行する装置であり、典型的にはパーソナルコンピュータで実施される。情報処理装置１２は、操作者（発表者と同一の場合も含む）によって操作され、電子データのプレゼンテーション用資料を表示装置１１を用いて表示する。情報処理装置１２の詳細な内部構成については後述する。なお、本実施の形態においては、情報処理装置１２はパーソナルコンピュータであることを前提とするが、同様の機能を具備する装置であればこれに限るものではない。

１３は撮像装置である。撮像装置１３は、典型的にはディジタルビデオカメラとして実施され、必要に応じてパン機構およびチルト機構を備え、パン量およびチルト量を制御でき、更にはズーム機構を備え、ズーム量を制御できるものとする。撮像装置１３は、発表者あるいは表示装置１１を会議映像として動画像の形式で撮像画像を撮像する。撮像装置１３は、内部に撮像を行う撮像部１０３と、不図示のインターフェイス、電源装置などを具備する。撮像部１０３の詳細については、図３を用いて後述する。

次に情報処理装置１２の内部構成について順に説明する。情報処理装置１２において、１０１は電子データ出力部である。電子データ出力部１０１は、表示装置１１と接続され、情報処理装置１２が保持する電子データを表示装置１１を用いて表示する。

１０２はポインタ入力装置（指標入力手段）である。ポインタ入力装置１０２は、典型的には情報処理装置１２に接続されるマウスとして実施される。ポインタ入力装置１０２によって入力されたポインタ情報は、電子データ出力部１０１に送信され、ポインタ（指標）を電子データに重畳して表示装置１１に表示できる。ポインタの位置情報は、同時に後述の指標検出部１０４に送出される。

１０４は指標検出部である。指標検出部１０４は、撮像部１０３から受信した会議映像から、ポインタ検出領域中のポインタを検出するとともに、電子データ出力部１０１から出力される電子データからポインタを検出する。ポインタ検出領域は、後述の開始状態において検出領域入力部１０７によって任意に指定される領域であり、典型的には画角中から表示装置１１によって電子データが表示される領域（スクリーン内など）とする。指標検出部１０４は、この検出領域入力部１０７で指定された領域をポインタ検出領域として設定する。また、指標検出部１０４には、撮像部１０３によって取得された画像のうち少なくともポインタ検出用映像である会議映像が入力される。これにより指標検出部１０４は、入力された撮像部１０３からの映像からポインタを検出する。なお、検出するポインタとしては、ポインタ入力装置１０２により指示されたポインタや、発表者が指し示したレーザポインタなどの指標が挙げられる。

そして指標検出部１０４は、検出したポインタの個数情報と、検出した各ポインタの会議映像中の水平、垂直の座標を電子データ上の座標に変換し、後段の画像生成部１０５に送出する。座標変換については、前記ポインタ検出領域をアフィン変換し、電子データの座標にマッピングすればよい。また、指標検出部１０４は、電子データ出力部１０１から取得した電子データと、ポインタ入力装置１０２によって与えられた電子データ中の水平、垂直の座標も取得し、後段の画像生成部１０５に送出する。

１０５は、画像処理を行う画像生成部である。画像生成部１０５には、撮像部１０３と電子データ出力部１０１とから出力された会議映像および現在表示中の電子データが入力される。さらに、画像生成部１０５には、指標検出部１０４によって検出された会議映像中のポインタ検出結果情報と、電子データ上のポインタ検出結果が入力される。

そして画像生成部１０５は、ポインタ検出結果情報に基づいて、図３に示すような状態遷移に応じて、会議映像と電子データのどちらを表示するかを決定し、選択された画像から出力画像を生成する。なお、図３に示す状態遷移の詳細は後述する。画像生成の好適な実施例としては、単純に会議映像と電子データのいずれかを選択してもよい。または、出力画像中に２つの表示領域を設けて、選択された画像を大きく表示するとか、前面に表示するなどしてもよい。また、同時に生成した画像を圧縮符号化し、データ量を削減してもよい。また、画像生成部１０５は、電子データ出力時には、図４（ｄ）に示すように前記ポイント検出結果の情報（ポインタ４０１）を、電子データに重畳して表示する。

なお、本実施の形態においては、画像生成部１０５が送信側にあることを想定しているが、受信側、すなわち表示装置１４側に設けてもよい。この場合、画像配信システムは、電子データを従前に送信側と受信側とで共有し、送信側と受信側とで同一アプリケーションを同期して操作する、いわゆるアプリケーション共有によって実施される。アプリケーション共有時において画像生成部１０５は、電子データ表示を送信側からデータを受信することなく、従前に共有した電子データに同期することで実施可能である。この場合にも、前記ポインタ検出結果情報を電子データ上に重畳した画像を生成するようにする。

１０６は画像出力部である。画像出力部１０６は、画像生成部１０５によって生成された画像を、所定のプロトコルにて１以上のモニタ（表示装置１４、本発明でいう外部装置に対応する一例）に出力する。画像出力部１０６は、例えば同一会議室内のモニタに対して画像を出力するのであれば、モニタの制御を行うディスプレイアダプタとして実施され、例えばＤＶＩ出力などの汎用的な出力端子から画像を出力すればよい。また、遠隔配信を行う用途であれば、画像出力部１０６は、Ｅｔｈｅｒｎｅｔ（登録商標）などのネットワークアダプタとして実施され、一般的なＴＣＰ／ＵＤＰプロトコルで画像を出力すればよい。

１０７は検出領域入力部である。本実施の形態に係る画像配信システムの操作者は、開始状態（会議開始後に撮像装置１３により会議映像の撮影を開始した状態）において、会議映像から電子データが表示されている領域を好適には指定するようにする。検出領域入力部１０７は、上述したように、操作者により指定された所定の領域の情報を指標検出部１０４に入力する。

次に撮像部１０３の構成について、図２を用いて説明する。図２において、２０１はレンズである。レンズ２０１は、入力光の画角や焦点位置を決定し、後述する映像用イメージセンサ２０３およびポインタ検出用イメージセンサ２０５上に結像する。２０２はハーフミラーである。ハーフミラー２０２は、入力光を分光し、後述する映像用イメージセンサ２０３およびポインタ検出用イメージセンサ２０５に適切な割合で分配する。ハーフミラー２０２の分配比率は、ポインタ検出用イメージセンサ２０５に対して、ポインタ検出が実施できる必要最低限の光量を分配することが望ましい。

２０３は映像用イメージセンサである。映像用イメージセンサ２０３は、ＣＣＤあるいはＣＭＯＳの光電変換センサアレイとして実施されるのが一般的である。映像用イメージセンサ２０３に蓄積された電荷は、後述の映像用読出し回路２０６によって読み出される。

２０４は偏光フィルタである。偏光フィルタ２０４は、ハーフミラー２０２によって分配された入力光のうち、特定の周波数かつ位相を持つ光だけを通過させる特性を持つ変更フィルタである。これにより、特定のコヒーレント光で組成されるレーザポインタなどをより効率的に検出できる。

２０５はポインタ検出用イメージセンサである。ポインタ検出用イメージセンサ２０５は、ＣＣＤあるいはＣＭＯＳの光電変換アレイとして実施される。ポインタ検出用イメージセンサ２０５に蓄積された電荷は、後述のポインタ検出用読出し回路２０７によって読み出される。ポインタ検出用イメージセンサ２０５は、必ずしも映像用イメージセンサ２０３と同一の解像度を有する必要はなく、ポインタ検出の空間的な分解能を鑑みて決定すればよい。

２０６は映像用読出し回路である。映像用読出し回路２０６は、映像用イメージセンサ２０３によって光電変換された電荷を読出し、Ａ／Ｄ変換を行った上で出力する。２０７はポインタ検出用読出し回路である。ポインタ検出用読出し回路２０７は、ポインタ検出用イメージセンサ２０５によって光電変換された電荷を読出し、Ａ／Ｄ変換を行った上で出力する。

次に、以上で説明した本実施の形態に係る画像配信システムの動作を、図３乃至図６を用いて説明する。図３は、本実施の形態に係る画像配信システムの状態遷移を説明する状態遷移図である。図４は、本実施の形態に係る画像配信システムを用いた場合の実際の会議場の風景と、聴講者の手元のモニタである表示装置１４の表示画面とを示した図である。図５は、図３に示す状態遷移のうち、会議映像表示状態３０２の処理を示したフローチャートである。図６は、図３に示す状態遷移のうち、後述の電子データ表示状態３０３の処理を示したフローチャートである。

まず図３を用いて、本実施の形態に係る画像配信システムの状態遷移を説明する。図３において、３０１は開始状態を示している。画像配信システムは起動時には開始状態にあり、この状態では、検出領域入力部１０７が操作者に対して検出領域の入力を促す。具体的には、その旨を画面に表示するなどする。入力が完了すれば、入力された該領域情報を指標検出部１０４に通知し、開始指示を待つ。図中、Ｃ００１は、開始状態から後述の会議映像表示状態３０２へ遷移する遷移条件を示す。条件Ｃ００１は、操作者が、例えば不図示の開始ボタンを押下し、開始指示を行った場合に成立する。

３０２は会議映像表示状態を示している。会議映像表示状態３０２においては、画像生成部１０５が撮像部１０３から受信した会議映像を基に画像を生成し、画像出力部１０６に転送する。したがって、会議映像表示状態３０２において画像出力部１０６から出力される画像は、図４（ｂ）に示すようになる。なお、図４（ａ）は、図４（ｂ）に対応する実際の会議場の風景を示す。また図３において、Ｃ００３およびＣ００４は会議映像表示状態３０２から後述の電子データ表示状態３０３へ遷移する遷移条件であり、Ｃ００５は会議映像表示状態３０２から後述の終了状態３０４へ遷移する遷移条件である。

条件Ｃ００３は、撮像部１０３によって取得された会議映像中の検出領域内からポインタが検出された場合に成立する。したがって、発表者やその他の会議参加者がレーザポインタなどで表示装置１１を指し示した場合に、条件Ｃ００３が成立する。条件Ｃ００４は、情報処理装置１２において、発表者がポインタ入力装置１０２を使用して、電子データにポインタを表示させた場合に成立する。条件Ｃ００５は、操作者が例えば不図示の終了ボタンを押下し、終了指示を行った場合に成立する。

３０３は電子データ表示状態を示している。電子データ表示状態３０３においては、画像生成部１０５が電子データ出力部１０１から受信した電子データを基に画像を生成し、画像出力部１０６に送出する。したがって、電子データ表示状態３０３においては、画像出力部１０６から出力される画像は、図４（ｄ）に示すようになる。なお、図４（ｃ）は、図４（ｄ）に対応する実際の会議場の風景を示しており、図４（ｃ）、（ｄ）において、４０１はポインタを示している。また図３において、Ｃ００２は電子データ表示状態３０３から会議映像表示状態３０２へ遷移する遷移条件である。条件Ｃ００２は、撮像部１０３によって取得された会議映像中の検出領域内にも、電子データ上にもポインタが検出されなくなった場合に成立する。また、Ｃ００６は、電子データ表示状態３０３から後述の終了状態３０４へ遷移する遷移条件である。条件Ｃ００６は、操作者が例えば不図示の終了ボタンを押下し、終了指示を行った場合に成立する。

３０４は終了状態を示している。終了状態３０４は、上述で既に述べたが、会議映像表示状態３０２および電子データ表示状態３０３において、操作者が例えば不図示の終了ボタンを押下し、終了指示を行った場合に遷移する状態である。

次に、本実施の形態に係る画像配信システムが会議映像表示状態３０２にある場合の条件判定フローを、図５を用いて説明する。まずステップＳ１０１において画像出力部１０６は、会議映像を出力する。

次にステップＳ１０２において指標検出部１０４は、表示装置１１に表示した電子データ上からポインタを検出することを試みる。このステップは前記状態遷移条件Ｃ００４に相当する。ここでポインタが検出された場合には、即座にステップＳ１０６に進む。また、電子データ上からポインタが検出されなかった場合には、ステップＳ１０３へ進む。

ステップＳ１０３においては、指標検出部１０４は、撮像部１０３からの会議映像中のポインタ検出領域からポインタを検出することを試みる。このステップは前記状態遷移条件Ｃ００３に相当する。ここでポインタが検出された場合には、即座にステップＳ１０６に進む。また、会議映像中のポインタ検出領域からポインタが検出されなかった場合には、ステップＳ１０４へ進む。

ステップＳ１０４においては、情報処理装置１２に含まれる不図示のＣＰＵが終了を判定する。このステップは不図示の終了指示ボタンの操作をＣＰＵが検出した場合に成立する。終了指示がなされた場合にはステップＳ１０５に進む。

そしてステップＳ１０５においては不図示のＣＰＵが当該画像配信システムを終了状態へ遷移させ、ステップＳ１０６においては不図示のＣＰＵが当該画像配信システムを電子データ表示状態３０３へ遷移させる。

次に、本実施の形態に係る画像配信システムが電子データ表示状態３０３にある場合の条件判定フローを、図６を用いて説明する。まずステップＳ２０１において画像出力部１０６は、電子データを出力する。

次にステップＳ２０２において指標検出部１０４は、表示装置１１に表示された電子データ上からポインタを検出することを試みる。ここでポインタが検出される場合には、ステップＳ２０１に戻る。すなわち、電子データからポインタが検出され続けている期間は、電子データ表示状態３０３を維持する。電子データ上からポインタが検出されなかった場合には、ステップＳ２０３へ進む。

ステップＳ２０３においては、指標検出部１０４は、撮像部１０３からの会議映像中のポインタ検出領域からポインタを検出することを試みる。ポインタが検出される場合には、ステップＳ２０１に戻る。すなわち、会議映像からポインタが検出され続けている期間は、電子データ表示状態３０３を維持する。会議映像中のポインタ検出領域からポインタが検出されなかった場合には、ステップＳ２０４へ進む。

ステップＳ２０４においては、情報処理装置１２に含まれる不図示のＣＰＵが終了を判定する。このステップは、不図示の終了指示ボタンの操作をＣＰＵが検出した場合に成立する。終了指示がなされた場合にはステップＳ２０５に進み、終了指示がない場合にはステップＳ２０６に進む。

そしてステップＳ２０５においては不図示のＣＰＵが画像配信システムを終了状態へ遷移させ、ステップＳ２０６においては不図示のＣＰＵが画像配信システムを会議映像表示状態３０２へ遷移させる。

以上で本発明の第１の実施の形態に係る画像配信システムを説明した。すなわち、本実施の形態に係る画像配信システムを用いれば、電子データとして作成されたプレゼンテーション用資料を用いて発表者が発表を行う際に、ポインタ（指標）の検出結果に応じて、会議映像と電子データとを特定の表示装置に向けて適応的に出力できる。これにより、操作者または聴講者などに負担を強いること無く、現在最も注目すべきものが何であるかを聴講者に知らしめるようにして会議の映像を配信することができる。

なお、本実施の形態では、画像出力部１０６が出力する画像中に２つの表示領域を設けて、選択された画像を大きく表示するようにしてもよいと述べた。これに類するものとして、聴衆者の手元に２つのモニタがある場合は、会議映像および電子データの双方をこれらに配信するようにしてもよい。そして、このような態様である場合は、指標検出部１０４によりポインタが電子データ中で検出された場合には、電子データから生成する画像を会議映像に比して大きくしたりする。また、ポインタが検出されない場合は、会議映像から生成するが像を電子データの画像に比して大きくしたりする。これにより、聴衆者はどちらの画像に注目すべきかが容易に分かる。

（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。本実施の形態に係る画像配信システムは、図７に示すような装置構成を有する。なお、第１の実施の形態と同様の構成要素については同符号で示す。

すなわち、図７において、１１は表示装置であり、第１の実施の形態で説明した表示装置１１と同様のものである。２２は情報処理装置である。本実施の形態では、情報処理装置２２は、電子データ出力部１０１およびポインタ入力装置１０２を具備しており、電子データ出力部１０１で出力する電子データを保持している。２３は撮像装置である。本実施の形態では、撮像装置２３が、撮像部１０３、指標検出部１０４、画像生成部１０５、画像出力部１０６および検出領域入力部１０７を具備する。なお、電子データ出力部１０１、ポインタ入力装置１０２、撮像部１０３、指標検出部１０４、画像生成部１０５、画像出力部１０６および検出領域入力部１０７は第１の実施の形態で説明したものと同様の機能を有するものである。１４は表示装置であり、第１の実施の形態で説明した表示装置１４と同様のものである。

本実施の形態に係る画像配信システムでは、以上のような構成において、第１の実施の形態で説明した処理を実施する。このようにシステムを構成する各装置における機能を変更した場合にも、本発明を実施できる。

（第３の実施の形態）
次に、本発明の第３の実施の形態を説明する。本実施の形態に係る画像配信システムは、図８に示すような装置構成を有する。なお、第１の実施の形態と同様の構成要素については同符号で示す。

すなわち、図８において、１１は表示装置であり、図１における表示装置１１と同様のものである。３２は情報処理装置である。本実施の形態では、情報処理装置３２が、電子データ出力部１０１、ポインタ入力装置１０２、指標検出部１０４および検出領域入力部１０７を具備しており、電子データ出力部１０１で出力する電子データを保持している。電子データ出力部１０１、ポインタ入力装置１０２、指標検出部１０４および検出領域入力部１０７は、第１の実施の形態で説明したものと同様の機能を有するものである。１３は撮像装置であり、第１の実施の形態で説明した撮像装置１３と同様のものである。

３４は表示装置である。本実施の形態では、表示装置３４は、典型的には、表示装置を持つパーソナルコンピュータを用いて実施される。表示装置３４は、画像生成部１０５、画像出力部１０６、表示部３４１および電子データ保持部３４２を具備する。画像生成部１０５および画像出力部１０６は、第１の実施の形態で説明したものと同様の機能を有するものである。

本実施の形態において、表示装置３４は、送信側の情報処理装置３２から、会議映像と、電子データの同期信号と、指標検出部１０４からの指標検出情報とを受信する。画像生成部１０５は、受信した指標検出部１０４からの指標検出結果に基づいて、撮像部１０３から送信された会議映像または電子データ保持部３４２によって保持された電子データのいずれかを表示する。このとき、電子データを表示する際には、電子データ同期信号を用いて該当するスライドなどを表示し、さらに、指標検出部１０４によって検出されたポインタ情報を重畳した画像を生成し表示する。画像出力部１０６は、典型的にはディスプレイアダプタとして実施され、後段の表示部３４１に対する出力画像の供給を行う。表示部３４１は、典型的にはＬＣＤなどのディスプレイとして実施される。また、電子データ保持部３４２は、記憶装置であって、従前に表示装置１１に表示される電子データを受信し保持する。電子データ保持部３４２の実施方法は半導体記憶素子であっても良いし、磁気記憶やその他の方法であって良い。

本実施の形態に係る画像配信システムは、以上で説明したような構成において、第１の実施の形態で説明した処理を送信端および受信端を変更して実施する。そして、第１の実施の形態で示した効果に加え、さらに送信端である情報処理装置３２と、受信端である表示装置３４との間に電子データを即時伝送する必要がないことから、この間の通信帯域を減少させることができる。

（第４の実施の形態）
次に本発明の第４の実施の形態について説明する。図９は、本実施の形態に係る画像配信システムの装置構成を示す図である。なお、第１の実施の形態と同様の構成要素については同符号で示す。

図９において、１１は表示装置である。表示装置１１は、前方投影型プロジェクタとスクリーンまたは大型ディスプレイ装置によって実施される。表示装置１１は、後述する情報処理装置４２と接続され、情報処理装置４２によって表示内容を制御される。

４２は情報処理装置である。情報処理装置４２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備え、ＣＰＵがＲＯＭに記憶したプログラムをＲＡＭに展開して各種処理を実行する装置であり、典型的にはパーソナルコンピュータで実施される。情報処理装置４２は、操作者（発表者と同一の場合も含む）によって操作され、電子データのプレゼンテーション用資料を表示装置１１を用いて表示する。情報処理装置４２の詳細な内部構成については後述する。なお、本実施の形態においては、情報処理装置４２はパーソナルコンピュータであることを前提とするが、同様の機能を具備する装置であればこれに限るものではない。

１３は撮像装置である。撮像装置１３は、典型的にはディジタルビデオカメラとして実施され、必要に応じてパン機構およびチルト機構を備え、パン量およびチルト量を制御でき、更にはズーム機構を備え、ズーム量を制御できるものとする。撮像装置１３は、発表者あるいは表示装置１１を会議映像として動画像の形式で撮影する。撮像装置１３は、内部に撮像を行う撮像部１０３と、不図示のインターフェイス、電源装置などを具備する。なお、撮像部１０３の構成は、第１の実施の形態で説明したものと同様である。

次に、情報処理装置４２の内部構成について順に説明する。１０１は電子データ出力部である。電子データ出力部１０１は、表示装置１１と接続され、情報処理装置４２が保持する電子データを表示装置１１を用いて表示する。

１０２はポインタ入力装置である。ポインタ入力装置１０２は、典型的には情報処理装置４２に接続されるマウスとして実施される。ポインタ入力装置１０２によって入力されたポインタ情報は、電子データ出力部１０１に送信され、ポインタを電子データに重畳して表示装置１１から表示できる。ポインタの位置情報は、同時に後述の指標検出部１０４に送出される。

１０４は指標検出部である。指標検出部１０４は、撮像部１０３から受信した会議映像から、ポインタ検出領域中のポインタを検出するとともに、電子データ出力部１０１から出力される電子データからポインタを検出する。ポインタ検出領域は、後述の開始状態において、検出領域入力部１０７によって任意に指定される領域（スクリーン内）であり、典型的には画角中から表示装置１１によって電子データが表示される領域とする。この指標検出部１０４は、検出領域入力部１０７で指定された領域をポインタ検出領域として設定する。また、指標検出部１０４には、撮像部１０３によって取得された画像のうち少なくともポインタ検出用映像である会議映像が入力される。これにより指標検出部１０４は、入力された撮像部１０３からの映像からポインタを検出できる。なお、検出するポインタとしては、ポインタ入力装置１０２により指示されたポインタや、発表者が指し示したレーザポインタなどの指標が挙げられる。

そして指標検出部１０４は、検出したポインタの個数情報と、検出した各ポインタの会議映像中の水平、垂直の座標を電子データ上の座標に変換し、後段の画像生成部１０５に送出する。座標変換については、前記ポインタ検出領域をアフィン変換し、電子データの座標にマッピングすればよい。また、指標検出部１０４は、電子データ出力部１０１から取得した電子データと、ポインタ入力装置１０２によって与えられた電子データ中の水平、垂直の座標を取得し、後段の画像生成部１０５に送出する。

１０５は画像生成部である。画像生成部１０５には、撮像部１０３と電子データ出力部１０１とから出力された会議映像および現在表示中の電子データが入力される。さらに、画像生成部１０５には、指標検出部１０４によって検出された会議映像中のポインタ検出結果情報と、電子データ上のポインタ検出結果と、後述する動作認識部９０１からの認識結果と、後述するタイマ９０３からの経過時刻とが入力される。

そして画像生成部１０５は、ポインタ検出結果情報などの上記の情報に基づいて、図１０に示すような状態遷移に応じて、会議映像と電子データのどちらを表示するかを決定し、選択された画像から出力画像を生成する。なお、図１０に示す状態遷移の詳細は後述する。画像生成の好適な実施例としては、単純に会議映像と電子データを選択してもよい。または、出力画像中に２つの表示領域を設けて、選択された画像を大きく表示するとか、前面に表示するなどしてもよい。また、同時に生成した画像を圧縮符号化し、データ量を削減してもよい。また、画像生成部１０５は、電子データ出力時には、図１１（ｄ）に示すように前記ポイント検出結果の情報（ポインタ１１０１）を、電子データに重畳して表示する。

なお、本実施の形態においては、画像生成部１０５が送信側にあることを想定しているが、受信側、すなわち表示装置１４側に設けてもよい。この場合、本発明の画像配信システムは、電子データを従前に送信側と受信側で共有し、送信側と受信側で同一アプリケーションを同期して操作する、いわゆるアプリケーション共有によって実施される。アプリケーション共有時において画像生成部１０５は、電子データ表示を送信側からデータを受信することなく、従前に共有した電子データに同期することで実施可能である。この場合にも、前記ポインタ検出結果情報を電子データ上に重畳した画像を生成するようにする。

１０６は画像出力部である。画像出力部１０６は、画像生成部１０５によって生成された画像を、所定のプロトコルにて１以上のモニタ（表示装置１４）に出力する。画像出力部１０６は、例えば同一会議室内のモニタに対して画像を出力するのであれば、モニタの制御を行うディスプレイアダプタとして実施され、例えばＤＶＩ出力などの汎用的な出力端子から画像を出力すればよい。また、遠隔配信を行う用途であれば、画像出力部１０６は、Ｅｔｈｅｒｎｅｔなどのネットワークアダプタとして実施され、一般的なＴＣＰ／ＵＤＰプロトコルで画像を出力すればよい。

１０７は検出領域入力部である。本実施の形態に係る画像配信システムの操作者は、開始状態（会議開始後に撮像装置１３により会議映像の撮影を開始した状態）において、会議映像から電子データが表示されている領域を好適には指定するようにする。検出領域入力部１０７は、上述したように、操作者により指定された所定の領域の情報を指標検出部１０４に入力する。

９０１は動作認識部である。動作認識部９０１は、従前に設定された発表者のジェスチャを検出するために利用される。動作認識部９０１は、撮像部１０３から得られた会議画像から人物抽出を行い、更に後述する動作認識用辞書９０２を参照することにより、該抽出した人物のジェスチャを識別する。例えば、腕の動作から「指し示す」行動と、「掲げる」行動を認識する。画像生成部１０５は、動作認識部９０１からの認識結果を受信し、動作認識部９０１が特定のジェスチャを検出した場合に、図１１（ｆ）に示すように会議映像を出力する。

９０２は動作認識用辞書である。動作認識用辞書９０２には、動作認識部９０１がジェスチャの判定をする際に必要となるデータベースが格納されている。動作認識用辞書９０２は、半導体記憶素子として実施されてもよいし、その他の方法で保持されていてもよい。

９０３は経過時間測定用のタイマである。タイマ９０３は、指標検出部１０４がポインタを検出することでリセットされ、ポインタが最後に検出されてからの経過時間を測定する。

次に、以上説明した本実施の形態に係る画像配信システムの動作を、図１０乃至１３を用いて説明する。図１０は、本実施の形態に係る画像配信システムの状態遷移を説明する状態遷移図である。図１１は、本実施の形態に係る画像配信システムを用いた場合の実際の会議場の風景と、聴講者の手元のモニタである表示装置１４の表示画面を示した図である。図１２は、図１０に示す状態遷移のうち、会議映像表示状態１００２の処理を示したフローチャートである。図１３は、図１０に示す状態遷移のうち、電子データ表示状態１００３の処理を示したフローチャートである。

まず図１０を用いて、本実施の形態に係る画像配信システムの状態遷移を説明する。図１０において、１００１は開始状態を示している。画像配信システムは起動時には開始状態にあり、この状態では、検出領域入力部１０７が操作者に対して検出領域の入力を促す。入力が完了すれば、入力された該領域情報を指標検出部１０４に通知し、開始指示を待つ。図中、Ｃ１０１は、開始状態から後述の会議映像表示状態１００２に遷移する遷移条件を示す。条件Ｃ１０１は、操作者が、例えば不図示の開始ボタンを押下し、開始指示を行った場合に成立する。

１００２は会議映像表示状態を示している。会議映像表示状態１００２においては、画像生成部１０５が撮像部１０３から受信した会議映像を基に画像を生成し、画像出力部１０６に送信する。したがって、会議映像表示状態１００２において、画像出力部１０６から出力される画像は、図１１（ｂ）に示すようになる。なお、図１１（ａ）は、図１１（ｂ）に対応する実際の会議場の風景を示す。また図１０において、Ｃ１０４およびＣ１０５は会議映像表示状態１００２から後述の電子データ表示状態１００３へ遷移する遷移条件であり、Ｃ１０６は、会議映像表示状態１００２から後述の終了状態１００４へ遷移する遷移条件である。

条件Ｃ１０４は、撮像部１０３によって取得された会議映像中の検出領域内からポインタが検出された場合に成立する。したがって、発表者やその他の会議参加者がレーザポインタで表示装置１１を指し示した場合に、Ｃ１０４が成立する。条件Ｃ１０５は、情報処理装置４２において、発表者がポインタ入力装置１０２を使用して、電子データにポインタを表示させた場合に成立する。条件Ｃ１０６は、操作者が例えば不図示の終了ボタンを押下し、終了指示を行った場合に成立する。

１００３は電子データ表示状態を示している。電子データ表示状態１００３においては、画像生成部１０５が電子データ出力部１０１から受信した電子データを基に画像を生成し、画像出力部１０６に送出する。したがって、電子データ表示状態１００３においては、画像出力部１０６から出力される画像は、図１１（ｄ）に示すようになる。なお、図１１（ｃ）は、図１１（ｄ）に対応する実際の会議場の風景を示しており、図１１（ｃ）、（ｄ）において、１１０１はポインタを示している。また、図１１において、Ｃ１０２およびＣ１０３は、電子データ表示状態１００３から会議映像表示状態１００２へ遷移する遷移条件を示す。条件Ｃ１０２は、動作認識部９０１が発表者のジェスチャを認識した場合に成立する。条件Ｃ１０３は、タイマ９０３によって計測された経過時間が所定の時間に達した場合に成立する。タイマ９０３は指標検出部１０４が最後にポインタを検出してからの経過時間を測定する。すなわち、条件Ｃ１０３は、撮像部１０３によって取得された会議映像中の検出領域内にも、電子データ上にもポインタが検出されなくなってから所定の時間が経過した場合に成立する。また、Ｃ１０７は、電子データ表示状態１００３から後述の終了状態１００４へ遷移する遷移条件である。条件Ｃ１０７は、操作者が例えば不図示の終了ボタンを押下し、終了指示を行った場合に成立する。

１００４は終了状態を示している。終了状態１００４は、上述で既に述べたが、会議映像表示状態１００２および電子データ表示状態１００３において、操作者が例えば不図示の終了ボタンを押下し、終了指示を行った場合に遷移する状態である。

次に、本実施の形態に係る画像配信システムが会議映像表示状態１００２にある場合の条件判定フローを、図１２を用いて説明する。まずステップＳ３０１において画像出力部１０６は、会議映像を出力する。

次にステップＳ３０２において指標検出部１０４は、表示装置１１に表示する電子データ上からポインタを検出することを試みる。このステップは、前記状態遷移条件Ｃ１０５に相当する。ここでポインタが検出された場合には、即座にステップＳ３０６に進む。また、電子データ上からポインタが検出されなかった場合には、ステップＳ３０３へ進む。

ステップＳ３０３においては、指標検出部１０４は、撮像部１０３からの会議映像中のポインタ検出領域からポインタを検出する。このステップは前記状態遷移条件Ｃ１０４に相当する。操作が検出された場合には、即座にステップＳ３０６に進む。また、操作が検出されなかった場合には、ステップＳ３０４へ進む。

ステップＳ３０４においては、情報処理装置４２に含まれる不図示のＣＰＵが終了を判定する。このステップは、不図示の終了指示ボタンの操作をＣＰＵが検出した場合に成立する。終了指示がなされた場合にはステップＳ３０５に進む。そしてステップＳ３０５においては、不図示のＣＰＵが画像配信システムを終了状態に遷移させる。

またステップＳ３０６においては、タイマ９０３がリセット動作を行う。すなわち、ステップＳ３０２またはステップＳ３０３において、ポインタが検出された場合には、タイマ９０３がリセットされ、即座にステップＳ３０７へ進む。そしてステップＳ３０７においては、不図示のＣＰＵが画像配信システムを電子データ表示状態１００３へ遷移させる。

次に、本実施の形態に係る画像配信システムが電子データ表示状態１００３にある場合の条件判定フローを図１３を用いて説明する。
まずステップＳ４０１において画像出力部１０６は、電子データを出力する。

次にステップＳ４０２において指標検出部１０４は、電子データ上からポインタを検出する。ポインタが検出されている場合には、ステップＳ４０４に進む。また、電子データ上からポインタが検出されなかった場合には、ステップＳ４０３へ進む。

ステップＳ４０３においては、指標検出部１０４は、撮像部１０３からの会議映像中のポインタ検出領域からポインタを検出する。操作が検出された場合には、ステップＳ４０４へ進む。また、操作が検出されなかった場合には、ステップＳ４０５に進む。

ステップＳ４０４においては、タイマ９０３がリセット動作を行い、その後ステップＳ４０１に戻る。すなわち、電子データ上にポインタが検出されている間または会議映像上にポインタが検出されている間は、常に電子データ表示状態１００３を維持する。

またステップＳ４０５においては、動作認識部９０１が動作認識を行う。ここで動作認識部９０１が所定の動作が検出すればステップＳ４０９へ進む。また、動作を検出しない場合はステップＳ４０６へ進む。なお、上述したように電子データ上にポインタが検出されている間は、常に電子データ表示状態１００３を維持されるため、このときに動作認識部９０１が所定の動作を認識したとしてもステップＳ４０９には移行しない。すなわち、ポインタの検出は動作認識よりも優先されるようになっている。

ステップＳ４０６においては画像生成部１０５がタイマ９０３の経過時間を評価する。本実施の形態において画像生成部１０５は、従前に所定の経過時間（閾値）を保持しており、タイマ９０３の経過時間と比較する。タイマ９０３の経過時間が所定の経過時間に達した場合は、ステップＳ４０９に遷移する。また、タイマ９０３の経過時間が所定の経過時間に達していない場合はステップＳ４０７へ進む。

ステップＳ４０７においては、情報処理装置４２に含まれる不図示のＣＰＵが終了を判定する。このステップは、不図示の終了指示ボタンの操作をＣＰＵが検出した場合に成立する。終了指示がなされた場合には、ステップＳ４０８に進み、終了指示がなされていない場合はステップＳ４０１に戻る。

そしてステップＳ４０８においては不図示のＣＰＵが画像配信システムを終了状態へ遷移させ、ステップＳ４０９においては不図示のＣＰＵが画像配信システムを会議映像表示状態１００２へ遷移させる。

以上、本発明の第４の実施の形態に係る画像配信システムを説明した。すなわち、本実施の形態に係る画像配信システムを用いれば、上述した第１の実施の形態で示した効果に加え、さらにポインタが非表示になってからの一定時間経過すると自動的に会議映像に戻り、また、発表者の動作に応じて会議映像に注目することができる。これにより、より実際の会議に適した適応的な処理が可能になる。

なお、上述の第１〜第４の実施の形態をもって本発明の画像配信システムを説明したが、本発明は、上述の実施の形態に限定されるものではなく、各種の変更が可能である。例えば、第２、第３の実施の形態に構成に、第４の実施の形態で説明した動作認識部９０１やタイマ９０３の機能を追加するなどしてもよい。また、上述の実施の形態では、撮像装置が１台である例を挙げたが、撮像装置を２以上の複数として、これらから入力される撮像画像からそれぞれポインタを検出して、会議映像または電子データを選択するようにしても構わない。

また、本発明を実現するために、上述した実施形態の機能を実現するソフトウェアのプログラムコード（プログラム）を記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。

本発明の第１の実施の形態に係る画像配信システムの装置構成を示す図である。 本発明の第１の実施の形態に係る画像配信システムに含まれる撮像装置の撮像部の構成を示す図である。 本発明の第１の実施の形態に係る画像配信システムの状態遷移を説明するための状態遷移図である。 本発明の第１の実施の形態に係る画像配信システムを用いた場合の実際の会議場の風景と、聴講者の手元のモニタの表示画面とを示した図である。 本発明の第１の実施の形態に係る画像配信システムの会議映像表示状態における処理を示したフローチャートである。 本発明の第１の実施の形態に係る画像配信システムの電子データ表示状態における処理を示したフローチャートである。 本発明の第２の実施の形態に係る画像配信システムの装置構成を示す図である。 本発明の第３の実施の形態に係る画像配信システムの装置構成を示す図である。 本発明の第４の実施の形態に係る画像配信システムの装置構成を示す図である。 本発明の第４の実施の形態に係る画像配信システムの状態遷移を説明するための状態遷移図である。 本発明の第４の実施の形態に係る画像配信システムを用いた場合の実際の会議場の風景と、聴講者の手元のモニタの表示画面を示した図である。 本発明の第４の実施の形態に係る画像配信システムの会議映像表示状態における処理を示したフローチャートである。 本発明の第４の実施の形態に係る画像配信システムの電子データ表示状態における処理を示したフローチャートである。 電子データを大型スクリーンなどに表示して会議などを行う様子の一例を示す図である。

符号の説明

１１ 表示装置
１２、２２、３２、４２ 情報処理装置
１３、２３ 撮像装置
１４、３４ 表示装置
１０１ 電子データ出力部
１０２ ポインタ入力装置
１０３ 撮像部
１０４ 指標検出部
１０５ 画像生成部
１０６ 画像出力部
１０７ 検出領域入力部
２０１ レンズ
２０２ ハーフミラー
２０３ 映像用イメージセンサ
２０４ 偏光フィルタ
２０５ ポインタ検出用イメージセンサ
２０６ 映像用読出し回路
２０７ ポインタ検出用読出し回路
３４１ 表示部
３４２ 電子データ保持部
９０１ 動作認識部
９０２ 動作認識用辞書
９０３ タイマ

Claims (12)

1. 電子データを表示している表示手段を撮像装置によって撮像した撮像画像及び前記表示手段に表示している電子データを外部装置に出力する画像配信装置であって、
   前記撮像画像中の指定された領域内を指す第１の指標を前記撮像装置にて撮像された前記撮像画像から検出する指標検出手段と、
   前記撮像画像中の人物の所定の動作を認識する認識手段と、
   前記外部装置に前記撮像画像を出力している状態において前記指標検出手段が前記第１の指標を検出した場合に前記外部装置に前記電子データを出力する状態に遷移する画像出力手段とを有し、
   前記画像出力手段は、前記外部装置に前記電子データを出力している状態において前記指標検出手段が前記第１の指標を検出している間に前記認識手段が人物の前記所定の動作を認識した場合には前記電子データを出力している状態を維持し、
   前記外部装置に前記電子データを出力している状態において前記指標検出手段が前記第１の指標を検出せず、かつ、前記認識手段が人物の前記所定の動作を認識した場合には前記外部装置に前記撮像画像を出力する状態に遷移することを特徴とする画像配信装置。
2. 前記電子データにおいて第２の指標を表示させる位置を示す位置情報を取得する取得手段を有し、
   前記画像出力手段は、前記外部装置に前記撮像画像を出力している状態において前記位置情報の取得に応じて前記第２の指標を前記電子データに表示した場合に前記外部装置に前記電子データを出力する状態に遷移することを特徴とする請求項１に記載の画像配信装置。
3. 前記電子データにおいて第２の指標を表示させる位置を示す位置情報を取得する取得手段を有し、
   前記画像出力手段は、前記外部装置に前記電子データを出力している状態において前記位置情報の取得に応じて前記第２の指標を表示している場合に前記認識手段が人物の前記所定の動作を認識した場合には前記電子データを出力している状態を維持し、前記外部装置に前記電子データを出力している状態において前記第２の指標を表示せず、かつ、前記認識手段が人物の前記所定の動作を認識した場合には前記外部装置に前記撮像画像を出力する状態に遷移することを特徴とする請求項１に記載の画像配信装置。
4. 前記表示手段に表示している前記電子データに第２の指標を表示させる指標入力手段を更に有し、
   前記画像出力手段は、前記外部装置に前記電子データを出力している状態において前記指標入力手段の操作をしている場合に前記認識手段が人物の前記所定の動作を認識した場合には前記電子データを出力する状態を維持し、前記外部装置に前記電子データを出力している状態において前記指標入力手段の操作をしておらず、かつ、前記認識手段が人物の前記所定の動作を認識した場合には前記外部装置に前記撮像画像を出力する状態に遷移することを特徴とする請求項１に記載の画像配信装置。
5. 前記表示手段に表示している前記電子データに第２の指標を表示させる指標入力手段を更に有し、
   前記画像出力手段は、前記外部装置に前記電子データを出力している状態において前記第１の指標を検出せず、かつ前記指標入力手段が操作されなくなってから所定の時間が経過した場合に前記外部装置に前記撮像画像を出力する状態に遷移することを特徴とする請求項１に記載の画像配信装置。
6. 前記画像出力手段は、前記外部装置に前記撮像画像を出力している状態において前記指標検出手段が前記第１の指標を検出した場合に、前記電子データから生成する画像を前記撮像画像に比して大きくして前記外部装置に前記電子データ及び前記撮像画像を出力する状態に遷移することを特徴とする請求項１に記載の画像配信装置。
7. 前記指標検出手段に、前記第１の指標を検出するための前記撮像画像における領域である検出領域を入力する検出領域入力手段を更に有することを特徴とする請求項１に記載の画像配信装置。
8. 前記指標検出手段は、複数の前記撮像装置にて撮像された撮像画像から前記第１の指標を検出することを特徴とする請求項１に記載の画像配信装置。
9. 電子データを表示している表示手段を撮像装置によって撮像した撮像画像及び前記表示手段に表示している電子データを外部装置に出力する画像配信方法であって、
   前記撮像画像中の指定された領域内を指す第１の指標を前記撮像装置にて撮像された前記撮像画像から検出する指標検出ステップと、
   前記撮像画像中の人物の所定の動作を認識する認識ステップと、
   前記外部装置に前記撮像画像を出力している状態において、前記指標検出ステップにおいて前記第１の指標を検出した場合に前記外部装置に前記電子データを出力する画像出力ステップとを有し、
   前記画像出力ステップにおいて、前記外部装置に前記電子データを出力している状態において前記第１の指標を検出している間に人物の前記所定の動作を認識した場合には前記電子データを出力している状態を維持し、前記外部装置に前記電子データを出力している状態において前記第１の指標を検出せず、かつ、人物の前記所定の動作を認識した場合には前記外部装置に前記撮像画像を出力する状態に遷移することを特徴とする画像配信方法。
10. 前記電子データにおいて第２の指標を表示させる位置を示す位置情報を取得する取得ステップを有し、
    前記画像出力ステップにおいて、前記外部装置に前記電子データを出力している状態において前記位置情報の取得に応じて前記第２の指標を表示している場合に人物の前記所定の動作を認識した場合には前記電子データを出力している状態を維持し、前記外部装置に前記電子データを出力している状態において前記第２の指標を表示せず、かつ、人物の前記所定の動作を認識した場合には前記外部装置に前記撮像画像を出力する状態に遷移することを特徴とする請求項９に記載の画像配信方法。
11. 電子データを表示している表示手段を撮像装置によって撮像した撮像画像及び前記表示手段に表示している電子データを外部装置に出力するコンピュータに、
    前記撮像画像中の指定された領域内を指す第１の指標を前記撮像装置にて撮像された前記撮像画像から検出する指標検出手順と、
    前記撮像画像中の人物の所定の動作を認識する認識手順と、
    前記外部装置に前記撮像画像を出力している状態において、前記指標検出手順において前記第１の指標を検出した場合に前記外部装置に前記電子データを出力する画像出力手順とを実行させ、
    前記画像出力手順において、前記外部装置に前記電子データを出力している状態において前記第１の指標を検出している間に人物の前記所定の動作を認識した場合には前記電子データを出力している状態を維持し、前記外部装置に前記電子データを出力している状態において前記第１の指標を検出せず、かつ、人物の前記所定の動作を認識した場合には前記外部装置に前記撮像画像を出力する状態に遷移する処理を前記コンピュータに実行させるためのプログラム。
12. 前記コンピュータに、
    前記電子データにおいて第２の指標を表示させる位置を示す位置情報を取得する取得手順を実行させ、
    前記画像出力手順において、前記外部装置に前記電子データを出力している状態において前記位置情報の取得に応じて前記第２の指標を表示している場合に人物の前記所定の動作を認識した場合には前記電子データを出力している状態を維持し、前記外部装置に前記電子データを出力している状態において前記第２の指標を表示せず、かつ、人物の前記所定の動作を認識した場合には前記外部装置に前記撮像画像を出力する状態に遷移する処理を実行させるための請求項１１に記載のプログラム。

Images