JP4253446B2

JP4253446B2 - Recording and playback device for presentation

Info

Publication number: JP4253446B2
Application number: JP2001179133A
Authority: JP
Inventors: 貴史北口; 青木　　伸; 憲彦村田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-06-13
Filing date: 2001-06-13
Publication date: 2009-04-15
Anticipated expiration: 2021-06-13
Also published as: JP2002374527A

Description

【０００１】
【発明の属する技術分野】
本発明は、プレゼンテーションの状況を記録し、再生するプレゼンテーション用記録再生装置に関する。
【０００２】
【従来の技術】
現在、講演会や会議といったプレゼンテーションにおいて、コンピュータを用いて電子データに基づく画像を形成し、プロジェクタに表示することが行われている。また、プレゼンテーションの際、プレゼンテーションの内容をビデオカメラやテープレコーダで映像、あるいは音声として記録し、後日再生することも行われている。
【０００３】
しかし、ビデオカメラには、記録された映像から表示されている画像を読み取るのに充分な解像度を持たないものもある。プレゼンテーション記録の再生時、プレゼンテーション中に表示された画像を明瞭に表示できる従来の装置として、例えば、特開平１０−５５３９１号公報に記載された情報再生装置および資料提示装置がある。
【０００４】
特開平１０−５５３９１号公報に記載された情報再生装置および資料提示装置は、プレゼンテーション時に提示された資料を電子データに基づく文章（電子文書）として格納する。そして、再生時にプレゼンテーション時と同様のタイミングで表示させている。このような構成によれば、資料を、プレゼンテーション時と同様のタイミング、および状態で表示することができる。
【０００５】
【発明が解決しようとする課題】
ところで、プレゼンテータは、一般的に表示された画像のうちの現在説明している箇所を指し示しながらプレゼンテーションを進行させる。また、プレゼンテータは、画像に対する立ち位置によって画像のうちの説明されている箇所を聴衆に示したり、身振りや手振りを交えて説明することもある。特開平１０−５５３９１号公報に記載された発明は、画像を明瞭に表示できるものの、プレゼンテータが指し示した画像の位置やプレゼンテータの動作を記録することはできず、プレゼンテーションの状況をより正確に再現するために改善の余地があるものといえる。
【０００６】
本発明は、上記の点に鑑みてなされたものであり、プレゼンテーションで提示された画像を明瞭に表示でき、しかもプレゼンテータによってなされた動作を示す情報をも画像に付加できてプレゼンテーションの状況を理解しやすい状態で再現できるプレゼンテーション用記録再生装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記した課題を解決し、目的を達成するため、請求項１に記載の発明にかかるプレゼンテーション用記録再生装置は、電子データに基づく画像を表示して行われるプレゼンテーションの状況を記録、再生するプレゼンテーション用記録再生装置であって、前記画像が表示された時刻を記録する表示時刻記録手段と、前記画像とプレゼンテータとの相対的な位置関係を検出する相対位置検出手段と、プレゼンテータを示すプレゼンテータ画像を作成するプレゼンテータ画像作成手段と、前記プレゼンテータ画像を、前記表示時刻記録手段によって記録された時刻と前記相対位置検出手段によって検出された位置関係とに基づいて前記電子データに基づいて形成された画像と合成するプレゼンテータ合成手段と、を備えることを特徴とする。
【００１０】
この請求項１に記載の発明によれば、電子データに基づいて形成された画像を用いて行われるプレゼンテーション中に、画像が表示された時刻を記録すると共に、画像とプレゼンテータとの相対的な位置関係と、プレゼンテータの画像とを抽出する。そして、プレゼンテーションに用いられた画像と同様の電子データに基づいて形成された画像と、プレゼンテータ画像とを画像とプレゼンテータとの相対的な位置関係に基づいて合成することができる。
【００１１】
請求項２に記載の発明にかかるプレゼンテーション用記録再生装置は、電子データに基づく画像を表示して行われるプレゼンテーションの状況を記録、再生するプレゼンテーション用記録再生装置であって、前記画像が表示された時刻を記録する表示時刻記録手段と、プレゼンテータの動作を示す動作画像を作成する動作画像作成手段と、前記画像とプレゼンテータとの相対的な位置関係を検出する相対位置検出手段と、前記動作画像を、前記表示時刻記録手段によって記録された時刻と前記相対位置検出手段によって記録された相対的な位置関係とに基づいて前記電子データに基づいて形成された画像と合成する動作画像合成手段と、を備えることを特徴とする。
【００１２】
この請求項２に記載の発明によれば、電子データに基づいて形成された画像を用いて行われるプレゼンテーション中に、画像が表示された時刻を記録すると共に、画像とプレゼンテータとの相対的な位置関係を抽出し、プレゼンテータの動作を示す動作画像を作成する。そして、プレゼンテーションに用いられた画像と同様の電子データに基づいて形成された画像と、動作画像とを画像とプレゼンテータとの相対的な位置関係に基づいて合成することができる。
【００１３】
請求項３に記載の発明にかかるプレゼンテーション用記録再生装置は、電子データに基づく画像を表示して行われるプレゼンテーションにおいて、前記画像が表示された時刻を記録する表示時刻記録手段を有し、プレゼンテータの動作にかかるプレゼンテータ情報を前記表示時刻記録手段によって記録された時刻に基づいて時系列に記録するプレゼンテータ記録手段と、該プレゼンテータ情報に基づいて画像を作成する情報画像作成手段と、該情報画像作成手段によって作成された画像と前記電子データに基づいて作成された画像とを合成して表示するプレゼンテーション再生手段とを備えるプレゼンテーション記録再生装置であって、前記情報画像作成手段によって作成される画像の種別を選択するための画像種別選択手段を備え、前記画像種別選択手段によって前記画像の指し示された位置を示すマーク画像が選択された場合、前記プレゼンテータ記録手段が、前記画像の指し示された指示位置を検出すると共に前記表示時刻記録手段によって記録された時間と対応付けて記録し、前記情報画像作成手段が、記録された指示位置をマークによって表示するマーク画像を作成し、前記プレゼンテーション再生手段が、前記マーク画像を前記電子データに基づいて形成された画像と合成し、前記画像種別選択手段によってプレゼンテータを示すプレゼンテータ画像が選択された場合、前記プレゼンテータ記録手段が前記画像とプレゼンテータとの相対的な位置関係を検出し、前記情報画像作成手段がプレゼンテータを示すプレゼンテータ画像を作成し、前記プレゼンテーション再生手段が前記プレゼンテータ画像を、前記表示時刻記録手段によって記録された時刻と前記相対位置検出手段によって記録された位置関係とに基づいて前記電子データに基づいて形成された画像と合成し、前記画像種別選択手段によってプレゼンテータの動作を示す動作画像が選択された場合、前記プレゼンテータ記録手段が前記画像とプレゼンテータとの相対的な位置関係を検出し、前記情報画像作成手段がプレゼンテータの動作を示す動作画像を作成し、前記プレゼンテーション再生手段が前記動作画像を、前記表示時刻記録手段によって記録された時刻と前記相対位置検出手段によって記録された相対的な位置関係とに基づいて前記電子データに基づいて形成された画像と合成することを特徴とする。
【００１４】
この請求項３に記載の発明によれば、電子データに基づいて形成された画像を用いて行われるプレゼンテーション中に、画像が表示された時刻を記録すると共に、画像とプレゼンテータとの相対的な位置関係を抽出する。そして、プレゼンテーションに用いられた画像と同様の電子データに基づいて形成された画像と、マーク画像、プレゼンテータ画像、動作画像のうちの選択された画像とを合成することができる。
【００１５】
請求項４に記載の発明にかかるプレゼンテーション用記録再生装置は、さらに、前記電子データに基づいて作成された画像に合成される画像の大きさおよび合成位置の少なくとも一方を変更するレイアウト変更手段を備えることを特徴とする。
【００１６】
この請求項４に記載の発明によれば、電子データに基づいて作成された画像に合成される画像の大きさおよび合成位置の少なくとも一方を変更することができる。
【００１７】
請求項５に記載の発明にかかるプレゼンテーション用記録再生装置は、電子データに基づく画像を表示して行われるプレゼンテーションの状況を記録、再生するプレゼンテーション用記録再生装置であって、前記画像が表示された時刻を記録する表示時刻記録手段と、プレゼンテーションの状況を映像として記録するプレゼンテーション映像記録手段と、前記プレゼンテーション映像記録手段によって記録された映像における前記画像の表示位置を検出する表示位置検出手段と、前記表示時刻記録手段によって記録された時刻に基づいて、前記電子データに基づいて作成された画像を前記表示位置検出手段によって検出された表示位置に合成する画像合成手段と、を備えることを特徴とする。
【００１８】
この請求項５に記載の発明によれば、電子データに基づいて形成された画像を用いて行われるプレゼンテーション中にプレゼンテーションの状況を映像として記録し、記録された映像における画像の表示位置を検出する。また、画像の表示時刻に基づいて、プレゼンテーションに用いられた画像と同様の電子データに基づいて形成された画像を検出された表示位置に合成することができる。
【００１９】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかるプレゼンテーション用記録再生装置の好適な実施の形態を詳細に説明する。
（実施の形態１）
図１は、実施の形態１のプレゼンテーション用記録再生装置（以下、単に記録再生装置と記す）の構成を説明するためのブロック図であって、プレゼンテータＰが、資料表示部１０９で資料となる画像を表示しながらプレゼンテーションを行っている状態を示している。資料表示部１０９は、電子的なデータ（以下、単にデータと記す）に基づいて画像を形成するパーソナルコンピュータ（以下、パソコンと記す）、形成された画像を表示するプロジェクタとで構成されている。
【００２０】
なお、本発明の実施の形態では、表示された画像がプレゼンテーションにおいて資料となる文書であることから、以降、電子文書という。また、プレゼンテーション中に資料表示部１０９に表示される電子文書を電子文書Ｉaと記す。
【００２１】
図示した記録再生装置は、データに基づいて形成された電子文書Ｉaを表示して行われるプレゼンテーションの状況を記録、再生するプレゼンテーション用の記録再生装置である。そして、資料表示部１０９によって電子文書Ｉaが表示された時刻を記録するための計時部１０１および時刻記録部１０２、プレゼンテータＰによって電子文書Ｉaが指し示された位置を検出する指示位置検出部１０４、検出された指示位置を時刻記録部１０２によって記録された時間と対応付けて記録する指示位置記録部１０５を備えている。また、実施の形態１の記録再生装置は、ビデオカメラ１０３を備え、プレゼンテーションの状況を映像および音声によって記録している。
【００２２】
さらに、実施の形態１の記録再生装置は、記録された指示位置にマークを表示すると共に、電子文書Ｉaを形成したデータによって形成された電子文書とマークとを合成する指示位置合成部１０６を備えている。指示位置合成部１０６で合成された画像は、再生表示部１０７によって再生し、表示することができる。
【００２３】
なお、資料表示部１０９によって表示された電子文書Ｉaと、再生時に合成されて再生表示部１０７で表示される電子文書とは同一のデータに基づいて形成されている。本発明の実施の形態では、説明の便宜上、資料表示部１０９によってプレゼンテーション中に表示された電子文書を電子文書Ｉaと記す。そして、後述するように、合成された後に再生表示部１０７で再生、表示される電子文書を電子文書Ｉbと記して両者を区別するものとする。
【００２４】
上記した構成は、以下のように動作する。すなわち、ビデオカメラ１０３は、プレゼンテーションの開始と同時にプレゼンテーションの状況を映像および音声によって記録する。また、計時部１０１が、プレゼンテーションの開始と同時に計時を開始し、時刻を時刻記録部１０２に入力する。
【００２５】
プレゼンテーションは、複数の電子文書を表示して行われることが多い。このような場合、プレゼンテータＰが、プレゼンテーションの進行に合わせて表示される電子文書Ｉaを切り換える。複数の電子文書Ｉaのうちのそれぞれが表示されたタイミングは、資料表示部１０９から時刻記録部１０２に入力する。時刻記録部１０２は、計時部１０１の計時時間に基づいて電子文書Ｉaの各々が表示された時刻を記録する。
【００２６】
このとき、指示位置検出部１０４は、プレゼンテータＰによって指し示された電子文書Ｉaの位置（指示位置）を検出している。指示位置検出部１０４の具体的な構成は、例えばプロジェクタをタッチパネル式のものにし、タッチパネルのプロジェクタに備えられる座標入力装置としてもよい。また、指先の形状のパターンを記憶し、このパターンの動きを追跡するものでもよい。
【００２７】
さらに、プレゼンテータＰがレーザポインタで電子文書Ｉaを指し示す場合、指示位置検出部１０４を、例えばビデオカメラで電子文書Ｉaを撮影すると共にプロジェクタを制御して一瞬電子文書Ｉaの表示を中断する構成とする。電子文書Ｉaの表示が中断されると、プロジェクタの表示画面にレーザポインタによって指示された点だけが見えるため、指示位置を検出することができる。
【００２８】
指示位置は、指示位置記録部１０５によって記録される。また、計時部１０１は、指示位置記録部１０５に計時時間を出力している。指示位置記録部１０５は、計時部１０１が出力した計時時間を入力し、計時時間に基づいて指示位置を時系列に記録する。以上の動作により、プレゼンテーションで表示されるすべての電子文書Ｉaの表示時刻と指示位置とが時系列に記録される。
【００２９】
次に、記録されたプレゼンテーションに関する情報を再生する動作を説明する。指示位置合成部１０６は、電子文書Ｉaの形成に使用されたデータＤIを資料表示部１０９から入力する。また、時刻記録部１０２に記録された電子文書Ｉaの各々の表示時刻と、指示位置記録部１０５において時刻に対応して記録された指示位置とを入力する。そして、データＤIに基づいて形成された電子文書と、指示位置に挿入されたマークとを合成する。
【００３０】
図２(ａ)、(ｂ)は、データＤIに基づいて形成された電子文書Ｉbにマークとしてポインタ２０１を合成した例を示す図である。(ａ)は、電子文書の指示位置ａを示す図であって、(ｂ)は、(ａ)に示した指示位置にポインタ２０１を合成した状態を示す図である。合成されたポインタ２０１および電子文書Ｉbは、図３のように再生表示部１０７で表示される。
【００３１】
上述した実施の形態１によれば、記録されたプレゼンテーションの情報を再生する際、プレゼンテーションに用いられた電子文書ばかりでなく、プレゼンテータによって指し示された位置を聴衆に示すことができる。このため、聴衆の理解を助けることができる。また、ポインタの位置を時系列に記録したことにより、電子文書Ｉbにおいて、ポインタ２０１は、プレゼンテーション時と同様に時刻によって移動する、あるいは電子文書上から消去される。このため、プレゼンテーションの記録をより正確に再現することができる。
【００３２】
（実施の形態２）
図４は、本発明の実施の形態２を説明するための図である。図中、実施の形態１で説明した構成と同様の構成については同様の符号を付して説明を略すものとする。
【００３３】
図４に示した実施の形態２の記録再生装置は、実施の形態１の記録再生装置と同様に、電子文書Ｉaを表示する資料表示部１０９、計時部１０１で計時された時刻に基づいて電子文書Ｉaの表示時刻を記録する時刻記録部１０２を備えている。資料表示部１０９において電子文書Ｉaを形成したデータＤI、時刻記録部１０２に記録された電子文書の表示時刻は、話者合成部４０３に入力する。
【００３４】
また、実施の形態２においても、ビデオカメラ１０３を用いてプレゼンテーションの状況を映像として記録するものとする。ビデオカメラ１０３には計時部１０１によって計時された時刻が入力されていて、映像は時刻と共に記録される。
【００３５】
また、実施の形態２の記録再生装置は、資料表示部１０９に表示されている電子文書ＩaとプレゼンテータＰとの相対的な位置関係を検出する相対位置検出部４０２と、プレゼンテータＰを示す画像であるプレゼンテータ画像Ｐ’を作成する話者切り出し部４０１を備えている。相対位置検出部４０２は、計時部１０１が計時した時間を入力し、プレゼンテータＰと電子文書Ｉaとの相対的な位置関係を時刻と対応付けて検出し、相対位置情報を作成する。
【００３６】
以下、話者切り出し部４０１、相対位置検出部４０２の動作をより詳細に説明する。実施の形態２は、話者切り出し部４０１を、映像ＤV中の複数の点を測距できる測距センサとして構成する。図５(ａ)、(ｂ)は、測距センサが映像からプレゼンテータ画像を切り出す方法を説明するための図である。
【００３７】
実施の形態２の記録再生装置は、ビデオカメラ１０３（実施の形態１のビデオカメラ１０３とは別の専用のビデオカメラであってもよい）で記録された映像ＤVを話者切り出し部４０１に入力する。話者切り出し部４０１の測距センサは、図５(ａ)に示す映像において、先ず像の濃淡で撮影対象物の位置（手前が白（淡）、奥が黒(濃)）を表現する。この結果、(ａ)に示す映像は、(ｂ)に示す映像となる。
【００３８】
濃淡で表現された映像において、奥にあるものが背景で、手前にプレゼンテータＰがいることが多い。このため、測距センサで構成された相対位置検出部４０２は、濃淡の適当なしきい値を定めることによって対象物の映像における奥と手前とを判断する。そして、手前にあると判断された領域にある画像をプレゼンテータ画像Ｐ’とし、計時部１０１から入力した時刻と対応付けて話者合成部４０３に出力する。
【００３９】
一方、相対位置検出部４０２は、電子文書Ｉaの位置を、映像ＤVの中から特定の色を検出するなどの方法によって抽出する。また、話者切り出し部４０１と同様に測距センサなどを用いてプレゼンテータＰの位置を検出する。そして、検出されたプレゼンテータＰの位置と電子文書Ｉaとの相対的な位置を検出し、計時部１０１によって入力された時刻に基づき相対位置情報として時系列に記録する。この際、電子文書ＩaとプレゼンテータＰとのサイズ比が、相対位置情報と共に記録される。
【００４０】
なお、上述した構成は、話者切り出し部４０１と相対位置検出部４０２とで測距センサを共用し、一方で検出されたプレゼンテータＰの位置を他方に出力することもできる。
【００４１】
話者合成部４０３は、話者切り出し部４０１から入力したプレゼンテータ画像Ｐ’を、相対位置検出部４０２から入力した相対位置情報に基づいてデータＤIと合成する。この合成は、時刻記録部１０２によって記録された電子文書Ｉaの表示時刻と、プレゼンテータ画像Ｐ’と共に記録されている時刻、相対位置情報と共に記録されている時刻とを同期させながら実行される。合成されたプレゼンテータ画像Ｐ’および電子文書Ｉbは、再生表示部１０７に出力され、再生される。
【００４２】
図６(ａ)〜(ｃ)は、以上述べた処理によって表示される画像を説明するための図である。図６(ａ)は、ビデオカメラ１０３によって記録された映像を示している。また、(ｂ)は、再生時に再生表示部１０７で表示される電子文書Ｉbを示す。(ｃ)は、(ａ)に示す映像から切り出されたプレゼンテータ画像Ｐ’を、相対位置情報に基づいて(ｂ)の電子文書Ｉbに合成した画像を示す図である。図７は、図６(ｃ)に示した画像を再生表示部１０７に表示した状態を示す図である。
【００４３】
以上述べた実施の形態２のように、(ｂ)に示す電子文書Ｉbにプレゼンテータ画像Ｐ’を合成することにより、再生時にデータに基づく画像を明瞭に表示できるばかりでなく、プレゼンテータの情報をも聴衆に与えることができる。また、プレゼンテータ画像Ｐ’の合成を、表示時刻と相対位置情報とに基づいて実行することにより、高い臨場感を持ってプレゼンテーションの状況を再生することができる。
【００４４】
また、実施の形態２の記録再生装置は、以上述べた構成に限定されるものではない。すなわち、以上述べた構成は、自動的に電子文書ＩaとプレゼンテータＰとの相対的な位置を検出する構成としている。しかし、相対位置検出部４０２は、電子文書ＩaとプレゼンテータＰとの相対的な位置を手動で検出する構成であってもよい。
【００４５】
また、実施の形態２の記録再生装置は、話者切り出し部４０１を測距センサとして構成している。しかし、話者切り出し部４０１は、測距センサを用いる構成に限定されるものでなく、例えば、オプティカルフローを用いて電子文書ＩaとプレゼンテータＰとの相対的な位置関係を求めるものであってもよい。
【００４６】
図８は、話者切り出し部４０１にオプティカルフローを用いる場合を説明するための図である。オプティカルフローは、撮影の対象物が動く部分がフローF（矢印）で表現され、動きがない部分にはフローFが表れない。オプティカルフローを用いた場合、話者切り出し部４０１は、フローFが検出された部分をプレゼンテータとして切り出す。
【００４７】
さらに、実施の形態２は、電子文書Ｉbに合成される画像の大きさおよび合成位置の少なくとも一方を変更する構成を付加することもできる。図９は、実施の形態２の他の構成例を説明するための図である。図９に示した記録再生装置は、資料表示部１０９、計時部１０１、ビデオカメラ１０３、話者切り出し部４０１、相対位置検出部４０２、話者合成部４０３、再生表示部１０７、位置大きさ修正部９０３を備えている。そして、さらに、電子文書Ｉbに合成されるプレゼンテータ画像Ｐ’の大きさおよび合成位置の少なくとも一方を変更する位置大きさ修正部９０３を備えている。
【００４８】
プレゼンテータＰは、資料表示部１０９に表示された電子文書Ｉaを指し示しながらプレゼンテーションを進行させる。ビデオカメラ１０３は、プレゼンテーションの状況を、映像DVと音声とによって記録する。
【００４９】
話者切り出し部４０１は、ビデオカメラ１０３によって記録された映像DVからプレゼンテータ画像Ｐ’を切り出し、相対位置検出部４０２が映像DVから電子文書ＩaとプレゼンテータＰとの相対的な位置を相対位置情報として検出する。プレゼンテータ画像Ｐ’、相対位置情報は、話者合成部４０３に出力される。
【００５０】
また、図９の構成では、資料表示部１０９において電子文書Ｉaが表示された時刻も話者切り出し部４０１で記録され、話者合成部４０３に出力される。話者合成部４０３は、電子文書Ｉaが資料表示部１０９で表示された時刻や相対位置情報に基づいて電子文書Ｉbにプレゼンテータ画像Ｐ’を合成する。
【００５１】
さらに、図９に示した構成は、図７に示した画像においてプレゼンテータ画像Ｐ’と電子文書Ｉbとの位置関係がずれている場合、オペレータが、位置大きさ修正部９０３を使って修正することができる。位置大きさ修正部９０３は、例えば、資料表示部１０９を構成するコンピュータのマウスやキーボードといったインターフェースとして構成される。
【００５２】
図９に示した構成によれば、電子文書Ｉbとプレゼンテータ画像Ｐ’との位置関係、あるいはプレゼンテータ画像Ｐ’の大きさといったレイアウトをプレゼンテーションの記録を再生しながら調整することができる。このため、より好みや状況に即した状態でプレゼンテーションを再現することができる。
【００５３】
なお、図９に示した実施の形態２の記録再生装置は、電子文書Ｉbに合成される画像をプレゼンテータ画像Ｐ’に限定するものではない。例えば、前述した実施の形態１のマーク画像および後述する動作画像のいずれを電子文書Ｉbに合成する場合にも適用できる。
【００５４】
（実施の形態３）
次に、本発明の実施の形態３の記録再生装置を説明する。図１０に示した実施の形態３の記録再生装置は、実施の形態１の記録再生装置と同様に、電子文書Ｉaを表示する資料表示部１０９、計時部１０１で計時された時刻に基づいて電子文書Ｉaの表示時刻を記録する時刻記録部１０２を備えている。
【００５５】
また、実施の形態３の記録再生装置は、プレゼンテーションの状況を映像DVと音声とによって記録するビデオカメラ１０３、記録された映像DVから電子文書ＩaとプレゼンテータＰとの相対的な位置を検出する相対位置検出部４０２を備えている。相対位置検出部４０２によって検出された相対位置は、計時部１０１によって計時された時刻に基づいて時系列に記録され、相対位置情報となる。
【００５６】
さらに、実施の形態３の記録再生装置は、プレゼンテータＰの動作を示す動作画像を作成する話者動作認識部１００１および話者映像作成部１００２、作成された動作画像を、時刻記録部１０２によって記録された時刻と相対位置情報とに基づいて電子文書Ｉbと合成する画像合成部１００３とを備えている。
【００５７】
話者動作認識部１００１において、プレゼンテータＰは、実施の形態２で述べた測距センサやオプティカルフローを用いる方法によって検出される。また、プレゼンテータＰの腕の状態や指の状態は、例えば腕や指の動作を基本的なテンプレートに照合し、動作を特定するテンプレートマッチングによって認識できる。話者映像作成部１００２は、話者動作認識部１００１から認識結果を入力し、認識されたプレゼンテータＰの動作を表すアニメーション像を作成する。
【００５８】
すなわち、話者映像作成部１００２は、例えば、「プレゼンテータＰの位置：５００」、「左腕：１００度」、「右腕：−１０度」、「右前腕：９５度」、「手のひら：９０度」といった認識結果に基づいて図１１に示す像を作成する。話者動作認識部１００１は、プレゼンテータＰの動作を時系列で順次認識し、認識結果を話者映像作成部１００２に出力する。話者映像作成部１００２は、順次入力されてくる認識結果に基づいて図１１のような像を順次作成する。順次作成された像は、時系列に記録されてプレゼンテータＰの連続した動作を表すアニメーション像となる。
【００５９】
なお、実施の形態３においてなされる動作の認識方法は、上述したプレゼンテータＰの動作を基本的なテンプレートに照合する方法に限定されるものではない。
【００６０】
画像合成部１００３は、プレゼンテーションの記録の再生時、話者映像作成部１００２によって作成されたアニメーション像を入力する。また、相対位置検出部４０２によって検出された相対位置情報、資料表示部１０９で表示された電子文書Ｉaを形成したデータＤIを入力する。そして、アニメーション像、相対位置情報、データＤIを、各々に記録された時刻に基づいて同期をとりながら合成する。合成された電子文書Ｉaとアニメーション像は、再生表示部１０７において再生される。
【００６１】
図１２は、実施の形態３の記録再生装置の再生の状態を説明するための図である。実施の形態３によれば、再生時に表示される電子文書Ｉbに対し、プレゼンテータＰの動作を示すアニメーション像Ａを合成することができる。このため、再生時に画像を明瞭に表示できるばかりでなく、プレゼンテータＰの動作をも再現することができ、プレゼンテーション時の情報が再生時に欠落することを抑えることができる。
【００６２】
また、プレゼンテーション中の電子文書ＩaとプレゼンテータＰとの相対的な位置に基づいてアニメーション像の合成位置を決定することができる。このため、プレゼンテーション再生時の臨場感をいっそう高めることができる。
【００６３】
（実施の形態４）
実施の形態４の記録再生装置は、電子文書Ｉbに合成して表示されるもの（合成表示物）を複数の種類作成でき、再生時にはこのうちから任意に選択された合成表示物を電子文書Ｉbと合成して表示する構成である。なお、実施の形態４の記録再生装置は、合成表示物として、電子文書Ｉa上の指示位置に表示されるポインタ、プレゼンテータ画像Ｐ’、プレゼンテータの動作を表すアニメーション像Ａの３種類のうちの少なくとも一つを電子文書Ｉbと合成できる構成とする。
【００６４】
図１３は、実施の形態４の記録再生装置の構成を示すブロック図である。図１３に示した記録再生装置は、前述した実施の形態１〜３の記録再生装置と同様の構成を含んでいる。図１３において、前述した構成と同様の構成については同様の符号を付し、説明を省くものとする。
【００６５】
実施の形態３の記録再生装置は、プレゼンテーションの際、データに基づく電子文書Ｉaを表示する資料表示部１０９、資料表示部１０９において電子文書Ｉaが表示された時刻を計時部１０１によって計時された時間に基づいて記録する時刻記録部１０２、プレゼンテーションの状況を映像DVと音声とによって記録するビデオカメラ１０３とを備えている。
【００６６】
さらに、記録再生装置は、ポインタを電子文書Ｉa上の指示位置に合成するための指示位置検出部１０４、指示位置記録部１０５、指示位置合成部１０６と、プレゼンテータ画像Ｐ’と電子文書Ｉaとを、プレゼンテーション中の電子文書ＩaとプレゼンテータＰとの相対的な位置に基づいて合成するための話者切り出し部４０１、相対位置検出部４０２、話者合成部４０３と、プレゼンテータＰの動作を示すアニメーション像を作成し、アニメーション像Ａと電子文書Ｉaとを、プレゼンテーション中の電子文書ＩaとプレゼンテータＰとの相対的な位置に基づいて合成するための話者動作認識部１００１、話者映像作成部１００２、画像合成部１００３と、電子文書Ｉbと合成される合成表示物としてポインタ、プレゼンテータ画像Ｐ’、アニメーション像Ａの少なくとも一つを選択するための選択部１３０１を備えている。
【００６７】
プレゼンテーションの記録の再生時、オペレータが選択部１３０１を用いてポインタ、プレゼンテータ画像Ｐ’、アニメーション像Ａの少なくとも一つを選択する。このとき、選択された合成表示物を作成して電子文書Ｉbと合成する構成が動作し、選択された合成表示物を電子文書Ｉbに合成する。合成された合成表示物と電子文書Ｉbとは、再生表示部１０７に出力されて表示される。
【００６８】
以上述べた実施の形態４によれば、プレゼンテーションの記録の再生時、好みや再生時の状況、さらには再生すべきプレゼンテーションの内容に合わせて電子文書Ｉbに合成される合成表示物を選択することができる。このため、プレゼンテーションや記録の再生時の状況に柔軟に対応し、より正確、あるいは理解しやすくプレゼンテーションを再現することができる。
【００６９】
（実施の形態５）
図１４は、本発明の実施の形態５を説明するための図である。図中、実施の形態１で説明した構成と同様の構成については同様の符号を付して説明を略すものとする。
【００７０】
図１４に示した実施の形態５の記録再生装置は、プレゼンテーション中に電子文書Ｉaを表示する資料表示部１０９、資料表示部１０９によって画像を表示しながら行われるプレゼンテーションの状況を映像と音声とによって記録するビデオカメラ１０３、ビデオカメラ１０３によって撮影された映像DVにおける電子文書Ｉaの表示位置を検出する位置検出部１４０１、電子文書Ｉaを形成したデータＤIに基づいて作成された電子文書を、位置検出部１４０１によって検出された電子文書Ｉaの表示位置に合成する電子文書合成部１４０２を備えている。
【００７１】
以上述べた構成は、以下のように動作する。すなわち、プレゼンテーションの開始と共に、ビデオカメラ１０３がプレゼンテーションの状況を記録する。このとき、ビデオカメラ１０３は、電子文書ＩaやプレゼンテータＰばかりでなく、電子文書Ｉa、プレゼンテータＰの周囲の状況をも映像と音声とによって記録する。
【００７２】
ビデオカメラ１０３によって記録された映像ＤVは、電子文書合成部１４０２と位置検出部１４０１とに入力する。位置検出部１４０１は、映像ＤVから色などに基づく情報を抽出し、この情報から電子文書Ｉaが表示されている領域（表示領域）を検出する。また、資料表示部１０９には計時部１０１が計時した計時時間が入力している。資料表示部１０９は、計時時間に基づいて電子文書Ｉaが表示された時刻を記録する。
【００７３】
表示領域を示す情報は、位置検出部１４０１から出力されて電子文書Ｉaの表示時刻と共に電子文書合成部１４０２に入力する。また、資料表示部１０９からは、電子文書Ｉaを形成したデータＤIが電子文書合成部１４０２に入力する。電子文書合成部１４０２は、表示領域を示す情報と表示時刻とに基づいて映像ＤVから電子文書Ｉaの表示領域を検出し、検出された表示領域にデータＤIによって形成された画像を貼りつける。
【００７４】
なお、上記した処理では、データＤIによって形成された画像を貼りつけたことによって映像中のプレゼンテータＰの像が消えることがある。この不具合を防ぐため、実施の形態５の記録再生装置は、予めプレゼンテータＰの位置を検出しておき、プレゼンテータＰと重なる表示領域を除去した部分に画像を貼りつけるようにしてもよい。
【００７５】
【発明の効果】
以上説明したように、請求項１に記載の発明は、プレゼンテーションの記録の再生時、聴衆がプレゼンテーションで用いられた画像を明瞭に視認することができる上、プレゼンテータの表情や立ち位置といった状態を再現することができる。このため、プレゼンテーションの状況をより理解しやすい状態で再現でき、また、プレゼンテーションの再生時の臨場感を高めることができるプレゼンテーション用記録再生装置を提供することができるという効果を奏する。
【００７７】
請求項２に記載の発明は、プレゼンテーションの記録の再生時、聴衆がプレゼンテーションで用いられた画像を明瞭に視認することができる上、プレゼンテータの動作や立ち位置を再現することができる。このため、プレゼンテーションの状況をより理解しやすい状態で再現でき、また、プレゼンテーションの再生時の臨場感をいっそう高めることができるプレゼンテーション用記録再生装置を提供することができるという効果を奏する。
【００７８】
請求項３に記載の発明は、プレゼンテーションの記録の再生時、聴衆がプレゼンテーションで用いられた画像を明瞭に視認することができる上、プレゼンテータによって指し示された点、プレゼンテータの状態、さらにはプレゼンテータの動作や立ち位置の少なくとも一つを選択して再現することができる。このため、プレゼンテーションの状況をより理解しやすく、かつ好みに応じて再現でき、また、プレゼンテーションの再生時の臨場感をいっそう高めることができるプレゼンテーション用記録再生装置を提供することができるという効果を奏する。
【００７９】
請求項４に記載の発明は、合成される画像の大きさおよび合成位置の少なくとも一方を変更することができ、プレゼンテーションの再現状態を好みや位置ずれなどに応じて修正でき、より操作性の高いプレゼンテーション用記録再生装置を提供することができるという効果を奏する。
【００８０】
請求項５に記載の発明は、プレゼンテーションの記録の再生時、聴衆がプレゼンテーションで用いられた画像を明瞭に視認することができる上、プレゼンテータ以外のプレゼンテーションの状況も併せて再現することができる。このため、プレゼンテーションの状況をより理解しやすく再現でき、また、プレゼンテーションの再生時の臨場感をいっそう高めることができるプレゼンテーション用記録再生装置を提供することができるという効果を奏する。
【図面の簡単な説明】
【図１】実施の形態１のプレゼンテーション用記録再生装置の構成を説明するためのブロック図である。
【図２】実施の形態１において、電子文書にポインタを合成した例を示す図である。
【図３】図２に示した像が再生表示部で再生、表示された状態を示す図である。
【図４】実施の形態２のプレゼンテーション用記録再生装置の構成を説明するためのブロック図である。
【図５】測距センサが映像からプレゼンテータ画像を切り出す方法を説明するための図である。
【図６】実施の形態２の処理によって表示される画像を説明するための図である。
【図７】図６（ｃ）示した像が再生表示部で再生、表示された状態を示す図である。
【図８】オプティカルフローによってプレゼンテータの画像を切り出すことを示す図である。
【図９】実施の形態２の他の構成例を説明するための図である。
【図１０】本発明の実施の形態３のプレゼンテーション用記録再生装置の構成を説明するためのブロック図である。
【図１１】話者映像作成部によって作成される像を説明するための図である。
【図１２】実施の形態３の記録再生装置の再生の状態を説明するための図である。
【図１３】本発明の実施の形態４のプレゼンテーション用記録再生装置の構成を説明するためのブロック図である。
【図１４】本発明の実施の形態５のプレゼンテーション用記録再生装置の構成を説明するためのブロック図である。
【符号の説明】
１０１計時部
１０２時刻記録部
１０３ビデオカメラ
１０４指示位置検出部
１０５指示位置記録部
１０６指示位置合成部
１０７再生表示部
１０９資料表示部
２０１ポインタ
４０１話者切り出し部
４０２相対位置検出部
４０３話者合成部
９０３修正部
１００１話者動作認識部
１００２話者映像作成部
１００３画像合成部
１３０１選択部
１４０１位置検出部
１４０２電子文書合成部
Ａアニメーション像
ＤI データ
ＤV 映像
Ｉa 電子文書
Ｉb 電子文書
Ｐプレゼンテータ
Ｐ’ プレゼンテータ画像[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a presentation recording / reproducing apparatus for recording and reproducing a presentation situation.
[0002]
[Prior art]
Currently, in presentations such as lectures and conferences, an image based on electronic data is formed using a computer and displayed on a projector. Also, at the time of presentation, the contents of the presentation are recorded as video or audio by a video camera or a tape recorder and reproduced at a later date.
[0003]
However, some video cameras do not have sufficient resolution to read the displayed image from the recorded video. As a conventional device that can clearly display an image displayed during presentation when reproducing a presentation recording, for example, there is an information reproducing device and a material presentation device described in Japanese Patent Laid-Open No. 10-55391.
[0004]
The information reproducing device and the material presentation device described in JP-A-10-55391 store the material presented at the time of presentation as a sentence (electronic document) based on electronic data. And at the time of reproduction, it is displayed at the same timing as at the time of presentation. According to such a configuration, the material can be displayed at the same timing and state as during the presentation.
[0005]
[Problems to be solved by the invention]
By the way, the presenter generally advances the presentation while pointing to the currently described portion of the displayed image. In addition, the presenter may indicate the portion being explained in the image to the audience according to the standing position with respect to the image, or may explain it with gestures or hand gestures. Although the invention described in Japanese Patent Laid-Open No. 10-55391 can display an image clearly, the position of the image pointed by the presenter and the operation of the presenter cannot be recorded, and the presentation situation can be reproduced more accurately. Therefore, it can be said that there is room for improvement.
[0006]
The present invention has been made in view of the above points, and can clearly display an image presented in a presentation, and can also add information indicating an operation performed by a presenter to the image to understand the situation of the presentation. It is an object of the present invention to provide a recording / playback apparatus for presentation that can be reproduced in an easy state.
[0007]
[Means for Solving the Problems]
In order to solve the above-described problems and achieve the object, a presentation recording / reproducing apparatus according to claim 1 is for presentation that records and reproduces a situation of a presentation performed by displaying an image based on electronic data. A recording / playback apparatus, wherein the display time recording means records the time when the image is displayed, and the image Relative position detecting means for detecting the relative positional relationship between the presenter and the presenter, presenter image creating means for creating a presenter image showing the presenter, and the time when the presenter image was recorded by the display time recording means and the relative A presenter for combining with an image formed based on the electronic data based on the positional relationship detected by the position detecting means And a synthesizing unit.
[0010]
This claim 1 According to the invention, the time when the image is displayed is recorded during the presentation performed using the image formed based on the electronic data, the relative positional relationship between the image and the presenter, and the presenter Extract the images. Then, an image formed based on electronic data similar to the image used for the presentation and the presenter image can be combined based on the relative positional relationship between the image and the presenter.
[0011]
Claim 2 The presentation recording / reproducing apparatus according to the invention described in the above is a presentation recording / reproducing apparatus that records and reproduces the status of a presentation performed by displaying an image based on electronic data, and records the time when the image is displayed. Display time recording means, action image creating means for creating an action image showing the action of the presenter, relative position detecting means for detecting a relative positional relationship between the image and the presenter, and the action image being displayed. And an operation image combining unit that combines the image formed based on the electronic data based on the time recorded by the time recording unit and the relative positional relationship recorded by the relative position detecting unit. Features.
[0012]
This claim 2 According to the invention, the time when the image is displayed is recorded and the relative positional relationship between the image and the presenter is extracted during the presentation performed using the image formed based on the electronic data. Then, an operation image showing the operation of the presenter is created. Then, an image formed based on electronic data similar to the image used for the presentation and the motion image can be combined based on the relative positional relationship between the image and the presenter.
[0013]
Claim 3 The presentation recording / reproducing apparatus according to the invention has a display time recording means for recording a time when the image is displayed in a presentation performed by displaying an image based on electronic data, and is related to the operation of the presenter. A presenter recording unit that records presenter information in time series based on the time recorded by the display time recording unit, an information image creation unit that creates an image based on the presenter information, and an information image creation unit A presentation recording / reproducing apparatus comprising: a presentation reproducing unit that synthesizes and displays a generated image and an image created based on the electronic data, for selecting a type of image created by the information image creating unit Image type selection means, and the image type selection When the mark image indicating the position pointed to by the image is selected by the means, the presenter recording means detects the indicated position pointed to by the image and records the time recorded by the display time recording means. The information image creating means creates a mark image for displaying the recorded designated position by a mark, and the presentation reproduction means creates the mark image based on the electronic data When a presenter image that combines and presents a presenter is selected by the image type selecting unit, the presenter recording unit detects a relative positional relationship between the image and the presenter, and the information image creating unit displays the presenter. An image is created and the presentation playback means The presenter image is combined with the image formed based on the electronic data based on the time recorded by the display time recording unit and the positional relationship recorded by the relative position detecting unit, and the image type selecting unit When an operation image indicating the operation of the presenter is selected, the presenter recording unit detects a relative positional relationship between the image and the presenter, and the information image generating unit generates an operation image indicating the operation of the presenter, An image formed by the presentation reproduction unit based on the electronic data based on the time recorded by the display time recording unit and the relative positional relationship recorded by the relative position detection unit. It is characterized by combining.
[0014]
This claim 3 According to the invention described in the above, during the presentation performed using the image formed based on the electronic data, the time when the image is displayed is recorded and the relative positional relationship between the image and the presenter is extracted. . Then, an image formed based on the same electronic data as the image used for the presentation and a selected image among the mark image, the presenter image, and the operation image can be synthesized.
[0015]
Claim 4 The presentation recording / reproducing apparatus according to the invention further includes layout changing means for changing at least one of a size and a synthesis position of an image synthesized with the image created based on the electronic data. And
[0016]
This claim 4 According to the invention described in (1), it is possible to change at least one of the size of the image to be synthesized with the image created based on the electronic data and the synthesis position.
[0017]
Claim 5 The presentation recording / reproducing apparatus according to the invention described in the above is a presentation recording / reproducing apparatus that records and reproduces the status of a presentation performed by displaying an image based on electronic data, and records the time when the image is displayed. Display time recording means, presentation video recording means for recording the presentation status as video, display position detection means for detecting the display position of the image in the video recorded by the presentation video recording means, and the display time recording Image synthesizing means for synthesizing an image created based on the electronic data with a display position detected by the display position detecting means based on the time recorded by the means.
[0018]
This claim 5 According to the above-described invention, the presentation status is recorded as a video during the presentation performed using the image formed based on the electronic data, and the display position of the image in the recorded video is detected. Further, based on the display time of the image, an image formed based on the same electronic data as the image used for the presentation can be synthesized with the detected display position.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Exemplary embodiments of a recording / reproducing apparatus for presentation according to the present invention will be explained below in detail with reference to the accompanying drawings.
(Embodiment 1)
FIG. 1 is a block diagram for explaining the configuration of a presentation recording / reproducing apparatus (hereinafter simply referred to as a recording / reproducing apparatus) according to the first embodiment, in which an image of a presenter P serving as a material in a material display unit 109 is shown. The state where the presentation is being performed is displayed. The material display unit 109 includes a personal computer (hereinafter referred to as a personal computer) that forms an image based on electronic data (hereinafter simply referred to as data) and a projector that displays the formed image.
[0020]
In the embodiment of the present invention, since the displayed image is a document that serves as a document in the presentation, it is hereinafter referred to as an electronic document. In addition, an electronic document displayed on the material display unit 109 during the presentation is referred to as an electronic document Ia.
[0021]
The illustrated recording / reproducing apparatus is a recording / reproducing apparatus for presentation that records and reproduces the status of a presentation performed by displaying an electronic document Ia formed based on data. Then, a time measuring unit 101 and a time recording unit 102 for recording the time when the electronic document Ia is displayed by the material display unit 109, an indicated position detecting unit 104 for detecting a position where the electronic document Ia is pointed by the presenter P, An indication position recording unit 105 that records the detected indication position in association with the time recorded by the time recording unit 102 is provided. In addition, the recording / reproducing apparatus of the first embodiment includes the video camera 103 and records the presentation status by video and audio.
[0022]
Furthermore, the recording / reproducing apparatus according to the first embodiment includes a designated position combining unit 106 that displays a mark at a recorded designated position and synthesizes an electronic document formed by data forming the electronic document Ia and the mark. ing. The image synthesized by the designated position synthesizing unit 106 can be reproduced and displayed by the reproduction display unit 107.
[0023]
The electronic document Ia displayed by the material display unit 109 and the electronic document synthesized at the time of reproduction and displayed on the reproduction display unit 107 are formed based on the same data. In the embodiment of the present invention, for convenience of explanation, an electronic document displayed during presentation by the material display unit 109 is referred to as an electronic document Ia. Then, as will be described later, an electronic document reproduced and displayed on the reproduction display unit 107 after being synthesized is referred to as an electronic document Ib and distinguished from each other.
[0024]
The configuration described above operates as follows. That is, the video camera 103 records the presentation status by video and audio simultaneously with the start of the presentation. Further, the timer unit 101 starts timing simultaneously with the start of the presentation, and inputs the time to the time recording unit 102.
[0025]
Presentations are often performed by displaying a plurality of electronic documents. In such a case, the presenter P switches the electronic document Ia displayed as the presentation progresses. The timing at which each of the plurality of electronic documents Ia is displayed is input from the material display unit 109 to the time recording unit 102. The time recording unit 102 records the time at which each electronic document Ia is displayed based on the time measured by the time measuring unit 101.
[0026]
At this time, the indicated position detection unit 104 detects the position (indicated position) of the electronic document Ia pointed to by the presenter P. As a specific configuration of the pointing position detection unit 104, for example, a projector may be a touch panel type, and a coordinate input device provided in the touch panel projector may be used. Alternatively, a fingertip shape pattern may be stored and the movement of this pattern may be tracked.
[0027]
Further, when the presenter P indicates the electronic document Ia with the laser pointer, the indication position detection unit 104 is configured to shoot the electronic document Ia with a video camera, for example, and control the projector to interrupt the display of the electronic document Ia for a moment. . When the display of the electronic document Ia is interrupted, only the point indicated by the laser pointer is visible on the display screen of the projector, so that the indicated position can be detected.
[0028]
The designated position is recorded by the designated position recording unit 105. Further, the time measuring unit 101 outputs a time measuring time to the indicated position recording unit 105. The designated position recording unit 105 receives the time measured by the time measuring unit 101 and records the designated position in time series based on the time measured. With the above operation, the display times and designated positions of all the electronic documents Ia displayed in the presentation are recorded in time series.
[0029]
Next, an operation for reproducing information relating to a recorded presentation will be described. The designated position synthesis unit 106 inputs data DI used to form the electronic document Ia from the material display unit 109. Further, the display time of each electronic document Ia recorded in the time recording unit 102 and the designated position recorded in correspondence with the time in the designated position recording unit 105 are input. Then, the electronic document formed based on the data DI and the mark inserted at the designated position are combined.
[0030]
FIGS. 2A and 2B are diagrams showing an example in which the pointer 201 is combined as a mark with the electronic document Ib formed based on the data DI. (a) is a figure which shows the instruction | indication position a of an electronic document, (b) is a figure which shows the state which synthesize | combined the pointer 201 with the instruction | indication position shown to (a). The combined pointer 201 and electronic document Ib are displayed on the reproduction display unit 107 as shown in FIG.
[0031]
According to the first embodiment described above, when reproducing the recorded presentation information, not only the electronic document used for the presentation but also the position pointed to by the presenter can be shown to the audience. This can help the audience understand. Further, by recording the position of the pointer in time series, the pointer 201 in the electronic document Ib moves according to the time as in the presentation or is erased from the electronic document. For this reason, the recording of the presentation can be reproduced more accurately.
[0032]
(Embodiment 2)
FIG. 4 is a diagram for explaining the second embodiment of the present invention. In the figure, components similar to those described in the first embodiment are denoted by the same reference numerals and description thereof is omitted.
[0033]
As in the recording / reproducing apparatus of the first embodiment, the recording / reproducing apparatus of the second embodiment shown in FIG. 4 electronically displays the electronic document Ia based on the time measured by the material display unit 109 and the time measuring unit 101. A time recording unit 102 for recording the display time of the document Ia is provided. The data DI forming the electronic document Ia in the material display unit 109 and the display time of the electronic document recorded in the time recording unit 102 are input to the speaker synthesizing unit 403.
[0034]
In the second embodiment, the video camera 103 is used to record the presentation status as a video. The time counted by the timer unit 101 is input to the video camera 103, and the video is recorded together with the time.
[0035]
Further, the recording / reproducing apparatus of the second embodiment includes a relative position detection unit 402 that detects a relative positional relationship between the electronic document Ia displayed on the material display unit 109 and the presenter P, and an image showing the presenter P. A speaker cutout unit 401 for creating a presenter image P ′ is provided. The relative position detector 402 receives the time counted by the timer 101, detects the relative positional relationship between the presenter P and the electronic document Ia in association with the time, and creates relative position information.
[0036]
Hereinafter, operations of the speaker cutout unit 401 and the relative position detection unit 402 will be described in more detail. In the second embodiment, the speaker cutout unit 401 is configured as a distance measuring sensor capable of measuring a plurality of points in the video DV. FIGS. 5A and 5B are diagrams for explaining a method by which the distance measuring sensor cuts out a presenter image from an image.
[0037]
The recording / playback apparatus according to the second embodiment inputs the video DV recorded by the video camera 103 (may be a dedicated video camera different from the video camera 103 according to the first embodiment) to the speaker cutout unit 401. To do. In the video shown in FIG. 5A, the distance measuring sensor of the speaker cutout unit 401 first represents the position of the object to be photographed (white (light) on the front and black (dark) on the back) with the density of the image. As a result, the video shown in (a) is the video shown in (b).
[0038]
In the image expressed in light and shade, what is in the back is the background, and there is often a presenter P in front. For this reason, the relative position detection unit 402 configured by the distance measuring sensor determines the depth and the near side in the image of the target object by setting an appropriate threshold value for light and shade. Then, the image in the area determined to be in front is set as the presenter image P ′, and is output to the speaker synthesizing unit 403 in association with the time input from the time measuring unit 101.
[0039]
On the other hand, the relative position detection unit 402 extracts the position of the electronic document Ia by a method such as detecting a specific color from the video DV. In addition, the position of the presenter P is detected using a distance measuring sensor or the like as in the speaker cutout unit 401. Then, the detected position of the presenter P and the relative position of the electronic document Ia are detected, and are recorded in time series as relative position information based on the time input by the timer unit 101. At this time, the size ratio between the electronic document Ia and the presenter P is recorded together with the relative position information.
[0040]
In the configuration described above, the speaker cutout unit 401 and the relative position detection unit 402 can share the distance measuring sensor, and the detected position of the presenter P can be output to the other side.
[0041]
The speaker synthesizing unit 403 synthesizes the presenter image P ′ input from the speaker cutout unit 401 with the data DI based on the relative position information input from the relative position detecting unit 402. This composition is executed while synchronizing the display time of the electronic document Ia recorded by the time recording unit 102 with the time recorded with the presenter image P ′ and the time recorded with the relative position information. The combined presenter image P ′ and electronic document Ib are output to the reproduction display unit 107 and reproduced.
[0042]
6A to 6C are diagrams for explaining images displayed by the above-described processing. FIG. 6A shows an image recorded by the video camera 103. (B) shows the electronic document Ib displayed on the reproduction display unit 107 during reproduction. (c) is a figure which shows the image which synthesize | combined the presenter image P 'cut out from the image | video shown to (a) with the electronic document Ib of (b) based on relative position information. FIG. 7 is a view showing a state in which the image shown in FIG. 6C is displayed on the reproduction display unit 107.
[0043]
As in the second embodiment described above, by synthesizing the presenter image P ′ with the electronic document Ib shown in (b), not only can the image based on the data be clearly displayed during reproduction, but also the presenter information can be displayed. Can be given to the audience. In addition, by performing the synthesis of the presenter image P ′ based on the display time and the relative position information, it is possible to reproduce the presentation status with high presence.
[0044]
Further, the recording / reproducing apparatus of the second embodiment is not limited to the configuration described above. In other words, the configuration described above automatically detects the relative position between the electronic document Ia and the presenter P. However, the relative position detection unit 402 may be configured to manually detect the relative position between the electronic document Ia and the presenter P.
[0045]
In the recording / reproducing apparatus of the second embodiment, the speaker cutout unit 401 is configured as a distance measuring sensor. However, the speaker cutout unit 401 is not limited to the configuration using the distance measuring sensor. For example, the speaker cutout unit 401 may obtain the relative positional relationship between the electronic document Ia and the presenter P using an optical flow. Good.
[0046]
FIG. 8 is a diagram for explaining a case where an optical flow is used for the speaker cutout unit 401. In the optical flow, the part where the object to be photographed moves is represented by a flow F (arrow), and the part where there is no movement does not appear. When the optical flow is used, the speaker cutout unit 401 cuts out a portion where the flow F is detected as a presenter.
[0047]
Further, the second embodiment can be added with a configuration for changing at least one of the size of the image combined with the electronic document Ib and the combining position. FIG. 9 is a diagram for explaining another configuration example of the second embodiment. The recording / playback apparatus shown in FIG. 9 includes a material display unit 109, a timekeeping unit 101, a video camera 103, a speaker cutout unit 401, a relative position detection unit 402, a speaker synthesis unit 403, a playback display unit 107, and a position size correction. Part 903. Further, a position size correction unit 903 is provided for changing at least one of the size and the synthesis position of the presenter image P ′ synthesized with the electronic document Ib.
[0048]
The presenter P advances the presentation while pointing to the electronic document Ia displayed on the material display unit 109. The video camera 103 records the status of the presentation using video DV and audio.
[0049]
The speaker cutout unit 401 cuts out the presenter image P ′ from the video DV recorded by the video camera 103, and the relative position detection unit 402 uses the relative position of the electronic document Ia and the presenter P as relative position information from the video DV. To detect. The presenter image P ′ and the relative position information are output to the speaker synthesis unit 403.
[0050]
In the configuration of FIG. 9, the time at which the electronic document Ia is displayed on the material display unit 109 is also recorded by the speaker cutout unit 401 and output to the speaker synthesizing unit 403. The speaker synthesizing unit 403 synthesizes the presenter image P ′ with the electronic document Ib based on the time when the electronic document Ia is displayed on the material display unit 109 and the relative position information.
[0051]
Further, in the configuration shown in FIG. 9, when the positional relationship between the presenter image P ′ and the electronic document Ib is deviated in the image shown in FIG. 7, the operator corrects the position using the position size correction unit 903. Can do. The position size correction unit 903 is configured as, for example, an interface such as a mouse or a keyboard of a computer that forms the material display unit 109.
[0052]
According to the configuration shown in FIG. 9, the layout such as the positional relationship between the electronic document Ib and the presenter image P ′ or the size of the presenter image P ′ can be adjusted while reproducing the presentation recording. For this reason, the presentation can be reproduced in a state more suited to the preference and situation.
[0053]
Note that the recording / reproducing apparatus of the second embodiment shown in FIG. 9 does not limit the image combined with the electronic document Ib to the presenter image P ′. For example, the present invention can be applied to the case where any one of the above-described mark image of Embodiment 1 and an operation image described later is combined with the electronic document Ib.
[0054]
(Embodiment 3)
Next, a recording / reproducing apparatus according to Embodiment 3 of the present invention will be described. As in the recording / reproducing apparatus of the first embodiment, the recording / reproducing apparatus of the third embodiment shown in FIG. 10 is electronically based on the time measured by the material display unit 109 and the time measuring unit 101 for displaying the electronic document Ia. A time recording unit 102 for recording the display time of the document Ia is provided.
[0055]
The recording / playback apparatus according to the third embodiment also includes a video camera 103 that records the presentation status using video DV and audio, and a relative that detects the relative positions of the electronic document Ia and the presenter P from the recorded video DV. A position detection unit 402 is provided. The relative position detected by the relative position detection unit 402 is recorded in time series based on the time measured by the time measuring unit 101, and becomes relative position information.
[0056]
Furthermore, in the recording / reproducing apparatus of the third embodiment, a speaker motion recognition unit 1001 and a speaker video creation unit 1002 that create a motion image indicating the operation of the presenter P, and a time recording unit 102 records the created motion image. And an image composition unit 1003 for compositing with the electronic document Ib based on the time and the relative position information.
[0057]
In the speaker movement recognition unit 1001, the presenter P is detected by the method using the distance measuring sensor or the optical flow described in the second embodiment. In addition, the arm state and finger state of the presenter P can be recognized by, for example, template matching that matches the motion of the arm or finger against a basic template and identifies the motion. The speaker video creation unit 1002 receives the recognition result from the speaker motion recognition unit 1001 and creates an animation image representing the recognized motion of the presenter P.
[0058]
That is, the speaker video creation unit 1002 may, for example, “presenter P position: 500”, “left arm: 100 degrees”, “right arm: −10 degrees”, “right forearm: 95 degrees”, “palm: 90 degrees”. The image shown in FIG. 11 is created based on the recognition result. The speaker motion recognition unit 1001 sequentially recognizes the operation of the presenter P in time series, and outputs the recognition result to the speaker video creation unit 1002. The speaker video creation unit 1002 sequentially creates images as shown in FIG. 11 based on the recognition results sequentially input. The sequentially created images are recorded in time series and become animation images representing the continuous operation of the presenter P.
[0059]
Note that the operation recognition method performed in the third embodiment is not limited to the above-described method of collating the operation of the presenter P with a basic template.
[0060]
The image composition unit 1003 inputs the animation image created by the speaker video creation unit 1002 when reproducing the presentation recording. Further, the relative position information detected by the relative position detection unit 402 and the data DI forming the electronic document Ia displayed by the material display unit 109 are input. Then, the animation image, the relative position information, and the data DI are combined while being synchronized based on the time recorded in each. The synthesized electronic document Ia and animation image are reproduced in the reproduction display unit 107.
[0061]
FIG. 12 is a diagram for explaining a reproduction state of the recording / reproducing apparatus of the third embodiment. According to the third embodiment, the animation image A indicating the operation of the presenter P can be combined with the electronic document Ib displayed during reproduction. For this reason, not only can an image be clearly displayed during reproduction, but also the operation of the presenter P can be reproduced, and information during presentation can be prevented from being lost during reproduction.
[0062]
In addition, based on the relative position between the electronic document Ia and the presenter P in the presentation, the synthesis position of the animation image can be determined. For this reason, it is possible to further enhance the sense of presence when reproducing the presentation.
[0063]
(Embodiment 4)
The recording / playback apparatus according to the fourth embodiment can create a plurality of types (synthetic display objects) that are combined and displayed on the electronic document Ib. During playback, a composite display object arbitrarily selected from these can be generated as the electronic document Ib. Are combined and displayed. Note that the recording / reproducing apparatus of Embodiment 4 has at least one of the three types of the pointer displayed at the indicated position on the electronic document Ia, the presenter image P ′, and the animation image A representing the operation of the presenter as a composite display object. One of them can be combined with the electronic document Ib.
[0064]
FIG. 13 is a block diagram showing the configuration of the recording / reproducing apparatus of the fourth embodiment. The recording / reproducing apparatus shown in FIG. 13 includes the same configuration as the recording / reproducing apparatus of the first to third embodiments. In FIG. 13, the same components as those described above are denoted by the same reference numerals, and description thereof is omitted.
[0065]
The recording / playback apparatus according to the third embodiment includes a material display unit 109 that displays an electronic document Ia based on data at the time of presentation, and a time measured by the time measuring unit 101 when the electronic document Ia is displayed on the material display unit 109. And a video camera 103 that records the presentation status using video DV and audio.
[0066]
Further, the recording / reproducing apparatus combines the pointing position detection unit 104, the pointing position recording unit 105, the pointing position combining unit 106 for combining the pointer with the pointing position on the electronic document Ia, the presenter image P ′, and the electronic document Ia. , A speaker cutout unit 401 for synthesizing based on the relative position of the electronic document Ia and the presenter P being presented, a relative position detector 402, a speaker synthesizing unit 403, and an animation image showing operations of the presenter P , And synthesizing the animation image A and the electronic document Ia based on the relative positions of the electronic document Ia and the presenter P during the presentation, a speaker motion recognition unit 1001, a speaker video creation unit 1002, As a composite display object to be combined with the image combining unit 1003 and the electronic document Ib, a pointer, a presenter image P ′, an animation And a selector 1301 for selecting at least one ® emission image A.
[0067]
At the time of reproducing the presentation recording, the operator selects at least one of the pointer, the presenter image P ′, and the animation image A using the selection unit 1301. At this time, the configuration for creating the selected combined display object and combining it with the electronic document Ib operates to combine the selected combined display object with the electronic document Ib. The synthesized composite display object and the electronic document Ib are output to the reproduction display unit 107 and displayed.
[0068]
According to the fourth embodiment described above, the composite display object to be combined with the electronic document Ib is selected in accordance with the presentation recording, playback preference, playback status, and the presentation content to be played back. Can do. For this reason, it is possible to flexibly deal with the situation at the time of presentation and recording reproduction, and to reproduce the presentation more accurately or easily.
[0069]
(Embodiment 5)
FIG. 14 is a diagram for explaining the fifth embodiment of the present invention. In the figure, components similar to those described in the first embodiment are denoted by the same reference numerals and description thereof is omitted.
[0070]
The recording / reproducing apparatus of the fifth embodiment shown in FIG. 14 shows the state of a presentation performed while displaying an image by the material display unit 109, which displays the electronic document Ia during the presentation, by video and audio. The video camera 103 to be recorded, the position detection unit 1401 for detecting the display position of the electronic document Ia in the video DV taken by the video camera 103, and the position detection of the electronic document created based on the data DI forming the electronic document Ia An electronic document synthesizing unit 1402 for synthesizing the electronic document Ia detected by the unit 1401 at the display position is provided.
[0071]
The configuration described above operates as follows. That is, with the start of the presentation, the video camera 103 records the presentation status. At this time, the video camera 103 records not only the electronic document Ia and the presenter P but also the situation around the electronic document Ia and the presenter P by video and audio.
[0072]
The video DV recorded by the video camera 103 is input to the electronic document composition unit 1402 and the position detection unit 1401. The position detection unit 1401 extracts information based on color or the like from the video DV, and detects an area (display area) where the electronic document Ia is displayed from this information. In addition, the time displayed by the time measuring unit 101 is input to the material display unit 109. The material display unit 109 records the time when the electronic document Ia is displayed based on the time measured.
[0073]
Information indicating the display area is output from the position detection unit 1401 and input to the electronic document composition unit 1402 together with the display time of the electronic document Ia. Further, the data DI forming the electronic document Ia is input to the electronic document composition unit 1402 from the material display unit 109. The electronic document composition unit 1402 detects the display area of the electronic document Ia from the video DV based on the information indicating the display area and the display time, and pastes the image formed by the data DI on the detected display area.
[0074]
In the above-described processing, the image of the presenter P in the video may disappear due to the pasting of the image formed by the data DI. In order to prevent this problem, the recording / reproducing apparatus of the fifth embodiment may detect the position of the presenter P in advance and paste the image on the portion where the display area overlapping the presenter P is removed.
[0075]
【The invention's effect】
As described above, the invention according to claim 1 allows the audience to clearly see the image used in the presentation when reproducing the recording of the presentation. It can reproduce the state of the presenter's expression and standing position. As a result, the presentation status can be reproduced in a more understandable state, and the presence of the presentation can be improved. It is possible to provide a presentation recording / reproducing apparatus capable of providing a presentation.
[0077]
Claim 2 According to the invention described in the above, at the time of reproducing the recording of the presentation, the audience can clearly see the image used in the presentation, and the operation and standing position of the presenter can be reproduced. Therefore, it is possible to provide a presentation recording / reproducing apparatus that can reproduce the presentation state in a more easily understandable state and can further enhance the sense of reality when reproducing the presentation.
[0078]
Claim 3 In the invention described in, when the recording of the presentation is reproduced, the audience can clearly see the image used in the presentation, the point indicated by the presenter, the state of the presenter, and the operation and standing of the presenter. At least one of the positions can be selected and reproduced. For this reason, it is possible to provide a presentation recording / reproducing apparatus that can more easily understand the presentation status and can reproduce it according to preference, and can further enhance the sense of reality when reproducing the presentation. .
[0079]
Claim 4 According to the invention described in the above, it is possible to change at least one of the size of the image to be synthesized and the synthesis position, and to correct the reproduction state of the presentation according to the preference and the positional deviation, so that the recording for presentation with higher operability can be achieved. There exists an effect that a reproducing | regenerating apparatus can be provided.
[0080]
Contract Claim 5 In the invention described in the above, at the time of reproducing the recording of the presentation, the audience can clearly see the image used in the presentation and can also reproduce the situation of the presentation other than the presenter. For this reason, it is possible to provide a presentation recording / reproducing apparatus that can reproduce the situation of the presentation in a more understandable manner and can further enhance the sense of reality when reproducing the presentation.
[Brief description of the drawings]
FIG. 1 is a block diagram for explaining the configuration of a presentation recording / reproducing apparatus according to Embodiment 1;
FIG. 2 is a diagram illustrating an example in which a pointer is combined with an electronic document in the first embodiment.
3 is a diagram showing a state where the image shown in FIG. 2 is reproduced and displayed on the reproduction display unit. FIG.
4 is a block diagram for explaining a configuration of a recording / reproducing apparatus for presentation according to Embodiment 2. FIG.
FIG. 5 is a diagram for explaining a method by which a distance measuring sensor cuts out a presenter image from an image.
6 is a diagram for explaining an image displayed by the processing of Embodiment 2. FIG.
7 is a diagram showing a state in which the image shown in FIG. 6C is reproduced and displayed on the reproduction display unit. FIG.
FIG. 8 is a diagram showing that an image of a presenter is cut out by an optical flow.
FIG. 9 is a diagram for explaining another configuration example of the second embodiment.
FIG. 10 is a block diagram for explaining the configuration of a presentation recording / reproducing apparatus according to Embodiment 3 of the present invention;
FIG. 11 is a diagram for explaining an image created by a speaker video creation unit;
FIG. 12 is a diagram for explaining a playback state of the recording / playback apparatus according to the third embodiment;
FIG. 13 is a block diagram for explaining the configuration of a presentation recording / reproducing apparatus according to Embodiment 4 of the present invention;
FIG. 14 is a block diagram for explaining the configuration of a presentation recording / reproducing apparatus according to a fifth embodiment of the present invention;
[Explanation of symbols]
101 Timekeeping section
102 Time recording part
103 video camera
104 Pointed position detector
105 Pointed position recording unit
106 Pointed position synthesis unit
107 Playback display section
109 Material display
201 Pointer
401 Speaker extraction unit
402 Relative position detector
403 Speaker synthesis unit
903 Correction
1001 Speaker action recognition unit
1002 Speaker video creation part
1003 Image composition unit
1301 Selection unit
1401 Position detection unit
1402 Electronic Document Composition Department
A Animation image
DI data
DV video
Ia Electronic Document
Ib Electronic Document
P Presenter
P 'presenter image

Claims

A presentation recording / reproducing apparatus for recording and reproducing a situation of a presentation performed by displaying an image based on electronic data,
Display time recording means for recording the time when the image is displayed;
A relative position detecting means for detecting a relative positional relationship between the image and the presenter;
Presenter image creating means for creating a presenter image showing a presenter;
Presenter combining means for combining the presenter image with an image formed based on the electronic data based on the time recorded by the display time recording means and the positional relationship detected by the relative position detecting means;
A presentation recording / reproducing apparatus comprising:

A presentation recording / reproducing apparatus for recording and reproducing a situation of a presentation performed by displaying an image based on electronic data,
Display time recording means for recording the time when the image is displayed;
Action image creation means for creating an action image showing the action of the presenter;
A relative position detecting means for detecting a relative positional relationship between the image and the presenter;
Motion image composition for compositing the motion image with an image formed based on the electronic data based on the time recorded by the display time recording means and the relative positional relationship recorded by the relative position detection means Means,
A presentation recording / reproducing apparatus comprising:

In a presentation that is performed by displaying an image based on electronic data, the present invention has a display time recording unit that records a time when the image is displayed, and a time when the presenter information related to the operation of the presenter is recorded by the display time recording unit Presenter recording means for recording in time series, information image creating means for creating an image based on the presenter information, an image created by the information image creating means, and an image created based on the electronic data A presentation recording / reproducing apparatus comprising a presentation reproducing means for combining and displaying
An image type selection means for selecting the type of image created by the information image creation means,
When the mark image indicating the position pointed to by the image is selected by the image type selection unit, the presenter recording unit detects the indicated position pointed to by the image and records it by the display time recording unit. Recorded in association with the recorded time, the information image creating means creates a mark image for displaying the recorded indicated position by a mark, and the presentation reproducing means forms the mark image based on the electronic data Composited with
When a presenter image indicating a presenter is selected by the image type selecting unit, the presenter recording unit detects a relative positional relationship between the image and the presenter, and the information image generating unit generates a presenter image indicating the presenter. Then, the presentation reproduction unit synthesizes the presenter image with an image formed based on the electronic data based on the time recorded by the display time recording unit and the positional relationship recorded by the relative position detection unit. And
When an operation image indicating the operation of the presenter is selected by the image type selection unit, the presenter recording unit detects a relative positional relationship between the image and the presenter, and the information image creation unit indicates the operation of the presenter. An operation image is created, and the presentation reproduction unit is configured to generate the operation image based on the electronic data based on the time recorded by the display time recording unit and the relative positional relationship recorded by the relative position detection unit. A recording / reproducing apparatus for presentation, characterized in that it is synthesized with an image formed in this manner.

Further, in any one of claims 1-3, characterized in that it comprises a layout change means for changing at least one of the size and composition position of the image to be combined with the image created on the basis of the electronic data The recording / reproducing apparatus for presentation as described.

A presentation recording / reproducing apparatus for recording and reproducing a situation of a presentation performed by displaying an image based on electronic data,
Display time recording means for recording the time when the image is displayed;
Presentation video recording means for recording the presentation status as video;
Display position detecting means for detecting the display position of the image in the video recorded by the presentation video recording means;
Based on the time recorded by the display time recording means, an image synthesizing means for synthesizing an image created based on the electronic data with the display position detected by the display position detecting means;
A presentation recording / reproducing apparatus comprising: