JP5304912B2

JP5304912B2 - 画像記録装置及びプログラム

Info

Publication number: JP5304912B2
Application number: JP2012040173A
Authority: JP
Inventors: 庸介新中; 和彦住谷
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2012-02-27
Filing date: 2012-02-27
Publication date: 2013-10-02
Anticipated expiration: 2027-06-15
Also published as: JP2012157013A

Description

本発明は、画像記録装置及びプログラムに関する。

スライド画像を順次表示しつつ行われる講演やプレゼンテーションなどを記録する装置がある。

特開２００６−１２７５１８号公報

かかる装置では、プレゼンテーションソフトウエアなどでスライドが早送りされて次々切り替えられたときに、各スライドを記録してしまうことを抑制することが行われる。

例えば、入力されるビデオ信号を一定時間おきに取得し、前回取得したビデオ信号との比較を行って、予め定めた回数以上続けて取得したビデオ信号に変化がなかったときに、当該取得したビデオ信号を記録の対象とすることで、プレゼンテーションソフトウエアなどでスライドが早送りされて次々切り替えられたときには記録をせず、一定の時間以上表示されていたスライドのみを記録することが行われている（特許文献１）。

一方で、スライド内に表示されるアニメーション効果を備えた画像を、記録の対象としたいとの要望もあり、変化の態様に応じた記録を行うことが求められていた。

請求項１記載の発明は、画像記録装置であって、出力の対象となる画像情報を、予め定めた時点ごとに繰り返し取得する画像取得手段と、前記取得した画像情報を、前回取得した画像情報と比較する比較手段と、前記比較の結果に基づく画像情報の変化の態様に応じ、互いに異なって定められている、前記取得した画像情報を記録するか否かを決定する条件に基づき、前記取得した画像情報を記録するか否かを決定する決定手段と、前記決定手段が、取得した画像情報を記録すると決定したときに、前記取得した画像情報を記録する記録手段と、を含み、前記変化の態様には、前記取得した画像情報と前回取得した画像情報との相違量に応じた、全体的変化、部分的変化、及び変化なし、の態様を含み、前記決定手段は、前記取得した画像情報と前回取得した画像情報との相違量に応じて定められた、画像情報の変化の態様に応じて互いに異なって定められている、前記取得した画像情報を記録するか否かを決定する条件に基づき、前記取得した画像情報を記録するか否かを決定することとしたものである。

請求項２記載の発明は、請求項１記載の画像記録装置であって、前記決定手段は、前記相違量を、予め定めた上限しきい値及び下限しきい値と比較して、画像情報の変化の態様を、全体的変化、部分的変化、及び変化なしのいずれであるかを判断し、当該判断の結果に応じて互いに異なって定められている、前記画像情報を記録するか否かを決定する条件に基づき、前記取得した画像情報を記録するか否かを決定することとしたものである。

請求項３記載の発明は、請求項１または２に記載の画像記録装置であって、前記比較手段は、比較の対象となる画像情報を予め定められた領域に分割し、領域ごとに比較し、前記決定手段は、領域ごとの変化の態様に基づいて、前記取得した画像情報を記録するか否かを決定することとしたものである。

請求項４記載の発明は、プログラムであって、コンピュータを、出力の対象となる画像情報を、予め定めた時点ごとに繰り返し取得する画像取得手段と、前記取得した画像情報を、前回取得した画像情報と比較する比較手段と、前記比較の結果に基づく画像情報の変化の態様に応じ、互いに異なって定められている、前記取得した画像情報を記録するか否かを決定する条件に基づき、前記取得した画像情報を記録するか否かを決定する決定手段と、前記決定手段が、取得した画像情報を記録すると決定したときに、前記取得した画像情報を記録する記録手段と、として機能させ、前記変化の態様には、前記取得した画像情報と前回取得した画像情報との相違量に応じた、全体的変化、部分的変化、及び変化なし、の態様を含み、前記決定手段として機能させる際には、コンピュータに、前記取得した画像情報と前回取得した画像情報との相違量に応じて定められた、画像情報の変化の態様に応じて互いに異なって定められている、前記取得した画像情報を記録するか否かを決定する条件に基づき、前記取得した画像情報を記録するか否かを決定させることとしたものである。

請求項１，４記載の発明によると、次々切り替えられる画像と、アニメーション効果を備えた画像のように、変化の態様が異なる場合に、記録の条件を異ならせることができ、変化の態様として変化量が全体的であるか部分的であるかに応じて、記録の条件を異ならせることができる。

請求項２記載の発明によると、部分的変化の検出の条件を変化量の上限値及び下限値を用いて定めることができる。

請求項３記載の発明によると、画像情報に含まれる領域ごとに変化の態様を検出し、それに基づいて記録の条件を異ならせることができる。

本発明の実施の形態に係る情報記録装置の例を表す構成ブロック図である。本発明の実施の形態に係る情報記録装置が記録する画像情報及び音声データの例を表す説明図である。本発明の実施の形態に係る情報記録装置の一例を表す機能ブロック図である。本発明の実施の形態に係る情報記録装置の処理例を表すフローチャート図である。本発明の実施の形態に係る情報記録装置の模式的な動作例を表す説明図である。表示、取得、ないし記録される画像情報の例を表す説明図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像記録装置は、図１に例示する情報記録装置１により実現される。この情報記録装置１は、制御部１１、記憶部１２、及びインタフェース部（Ｉ／Ｆ部）１３を含んで構成されている。また、この情報記録装置１は、パーソナルコンピュータ２等に接続される。

制御部１１は、マイクロコンピュータなどであり、プログラムを記憶しており、当該記憶しているプログラムに従って動作する。このプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのコンピュータ可読な記録媒体に格納された状態で提供されてもよい。こうした記録媒体に格納された状態で提供される場合は、当該媒体から読み出されたプログラムがマイクロコンピュータに複写されて格納される。

本実施の形態の情報記録装置１は、パーソナルコンピュータ２から、パーソナルコンピュータ２がディスプレイや、外部のプロジェクタなどに対して出力する画像情報の入力を受け入れる。制御部１１は、当該受け入れた画像情報を予め定めたタイミングごとに繰り返し取得し、一時的に記憶する。

制御部１１は、新たに取得した画像情報を、前回取得して一時的に記憶している画像情報と比較する。制御部１１は、新たに取得した画像情報を、前回取得して一時的に記憶している画像情報との間での変化の態様を検出する。

そして制御部１１は、この検出した変化の態様に応じて、予め定められている記録の条件を参照し、当該条件を満足しているときに、取得した画像情報を記憶部１２に蓄積して記録する処理を行う。ここで変化の態様としては、変化した画素の総量の多少がある。この制御部１１の動作については、後に詳しく述べる。

記憶部１２は、メモリ素子やハードディスクなどを含んで構成される。この記憶部１２は、制御部１１から入力される指示によって、画像や音声などの情報を記録する。

本実施の形態では、この記憶部１２は、図２に示すように、画像情報（Ｖ）と、各画像情報に固有に発行されているインデックス情報（Ｄ）とを関連づけて記録する。またこの記憶部１２は、音声データ（Ａ）と、当該音声データに同期するべき画像情報（Ｖ）のインデックス情報（Ｄ）とを関連づけて記録している。

ここで音声データは、音声信号を所定の形式で符号化した情報であり、例えばＭＰＥＧ（Motion Picture Experts Group）によって定められたフォーマット（ＭＰ３など）がある。なお、インデックス情報は記録開始からの記録順序を表す連番であってもよい。

Ｉ／Ｆ部１３は、本実施の形態の情報記録装置１と、パーソナルコンピュータ２とを接続するためのインタフェース部であり、例えば画像信号入力用のＶＧＡ端子である。情報記録装置１は、このＩ／Ｆ部１３を介して、パーソナルコンピュータ２にて出力される画像を取得することになる。また、情報記録装置１はマイク入力端子を有しており、これに接続されたマイクから外部の音声（例えばプレゼンターの声）を取得することができる。

パーソナルコンピュータ２には、一般的なプレゼンテーションソフトウエアがインストールされており、スライドショーに係る画像を出力できるようになっている。このパーソナルコンピュータ２は、例えばウィンドウズ（登録商標）などのオペレーティングシステムに基づいて動作しており、データをウィンドウと呼ばれる領域ごとに分けて表示可能になっている。

また、このパーソナルコンピュータ２では、ディスプレイや、外部のプロジェクタなどに表示のために出力する画像情報を、パーソナルコンピュータ２のＶＧＡ端子に接続されたＶＧＡケーブルを介して情報記録装置１へ出力するプログラムが実行されている。

本実施の形態の情報記録装置１は、制御部１１のソフトウエア的な処理によって機能的には、図３に示すように、画像・音声取得部２１と、比較部２２と、記録要否決定部２３と、記録処理部２４と、インデックス発行部２５とを含んで構成される。

画像・音声取得部２１は、パーソナルコンピュータ２が出力する画像情報や、音声データを受け入れる。この画像・音声取得部２１は、音声データを記録処理部２４に出力する。また、入力される画像情報を所定のタイミングごとに取得する。ここで所定のタイミングは、例えば定期的なタイミングとすればよい。

比較部２２は、画像・音声取得部２１が取得した画像情報を受け入れて、一時的に（少なくとも次回の画像情報が受け入れられ、その後の処理が終了するまで）保持する。比較部２２は、前回保持した画像情報を、今回受け入れた画像情報とを比較する。そして、前回保持した画像情報と、今回受け入れた画像情報との間での変化の態様を検出する。ここでは変化の態様として画素値が異なっている画素の総数を算出し、記録要否決定部２３に出力する。この算出された画素の総数は、前回と今回との画像情報の相違の量（以下、相違量と呼ぶ）として用いられる。

記録要否決定部２３は、比較部２２が算出した相違量に基づいて、受け入れた画像情報を記録するか否かを決定する。具体的な例として、この記録要否決定部２３は、相違量が予め定めた上限しきい値を超えているか否か、及び下限しきい値を下回っているか否かによって、画像情報の変化が全体的変化であったか、部分的変化であったか、または変化がなかったかを判断する。すなわち、相違量が上限しきい値を超えていれば「全体的変化」があったとし、相違量が上限しきい値と下限しきい値との間にあれば「部分的変化」があったとし、相違量が下限しきい値を下回っていれば「変化なし」とする。下限しきい値は、例えば、マウスカーソルの画素数に基づいて定めておけば、マウスカーソルの移動により、変化があったと誤認することを防止できる。また、マウスカーソルなどが表示されないならば、下限しきい値は「１」としておき、下限しきい値未満であるときに「変化なし」と判定するようにしておいてもよい。

そして全体的変化、部分的変化、変化なしの態様に応じ、互いに異なって定められている記録条件に基づき、画像情報を記録するか否かを決定する。

例えば、この条件は、「全体的変化」である場合は、「今後ｎ回（ｎ＞２）続けて変化なしであったときに記録する」との条件とする。また、「部分的変化」である場合は「今回の画像情報を記録する」との条件としておく。具体的な処理の例として、記録要否決定部２３は、「全体的変化」を検出したときにはカウンタＣを「０」にリセットする。そして、「変化なし」を検出すると、カウンタＣを「１」だけインクリメントする。記録要否決定部２３は、カウンタＣが事前に設定されたｎに一致するとき、または「部分的変化」が検出されたときに、取得した画像情報を記録するよう、記録処理部２４に指示する。

記録処理部２４は、画像情報の記録が指示されると、比較部２２が保持する画像情報を取得する。そしてインデックス発行部２５に対して新たなインデックス情報を発行するよう要求する。記録処理部２４は、インデックス発行部２５から発行されたインデックス情報が入力されると、当該インデックス情報と、取得した画像情報とを関連づけて記憶部１２に記録する。

また、この記録処理部２４は、音声データの入力を受けて記憶部１２に記録している。また、インデックス情報が発行されると、当該インデックス情報を、音声データに関連づけて記録する。

ここでインデックス発行部２５が発行するインデックス情報は、例えば本実施の形態の情報記録装置１の処理が開始されてから、発行が要求された時点までの経過時間を表す情報であってもよい。

この場合、記録された情報を再生（プレイバック）する際には、再生の時点（記録の始点からの経過時間）を表す時刻情報を生成し、当該時刻情報に対応する音声データを再生するとともに、時刻情報に一致するインデックス情報が見出されるごとに、当該見出したインデックス情報に関連づけて記録された画像情報を表示する。これにより、音声と映像とが同期して再生される。

なお、インデックス情報として発行の順序を表す連番値を用いてもよい。この場合は、例えば記録する画像情報を個々のデータファイルとして記憶部１２に格納し、インデックス情報に関連づけておく。音声データも同様にして、インデックス情報が発行されるごとに、一つのデータファイルとして記憶部１２に格納し、インデックス情報に関連づけておく。

この形式のデータを再生するときには、カウンタを用いて、カウンタ値に対応するインデックス情報に関連づけられた画像情報を表示するとともに、同じくカウンタ値に対応するインデックス情報に関連づけられた音声データのデータファイルから音声を再生する。音声の再生が終了すると、カウンタをインクリメントして、画像情報や音声データを再生する処理を繰り返す。これによっても、アニメーション的効果を伴って表示された画像情報に対し、それと共通するインデックス情報に関連づけられた音声が再生されることとなる。

このように本実施の形態では、記録する画像情報と、当該記録する画像情報が出力されている時点で取得した音声情報とを、例えばインデックス情報を介して、互いに関連づけて記録している。

こうして、本実施の形態の情報記録装置１は、次のように動作する。プレゼンテーションを行う利用者が、プレゼンテーションソフトウエアを起動し、プレゼンテーションを開始すると、パーソナルコンピュータ２は、提示されている画像情報を外部のプロジェクタや、パーソナルコンピュータ２に接続されているディスプレイに出力して表示させる。また、パーソナルコンピュータ２は、当該画像情報を情報記録装置１へも出力する。音声データはマイクが接続された情報記録装置１において取得される。

情報記録装置１では、図４に示すように、パーソナルコンピュータ２から受け入れた画像情報を予め定めたタイミングごとに繰り返し取得し（Ｓ１）、一時的に記憶する（Ｓ２）。そして画像情報を新たに取得すると、前回取得して一時的に記憶している画像情報と比較する（Ｓ４）。

情報記録装置１は、新たに取得した画像情報と、前回取得して一時的に記憶している画像情報との変化が「全体的変化」、「部分的変化」、「変化なし」のいずれであるかを判断する。

例えば、情報記録装置１は、新たに取得した画像情報と、前回取得して一時的に記憶している画像情報との間で相違する画素の総数を算出し、当該算出した総数が予め定められている上限しきい値を超えているか否か、及び当該算出した総数が予め定められている下限しきい値を超えているか否かを調べる。そして情報記録装置１は、上記算出した、画素の総数が上限しきい値を超えていれば「全体的変化」があったとし、上限しきい値と下限しきい値との間にあれば「部分的変化」があったとし、下限しきい値を下回っていれば「変化なし」とする。

情報記録装置１は、処理Ｓ４において「全体的変化」であると判断したときにはカウンタＣを「０」にリセットして（Ｓ５）、処理Ｓ１へ戻って処理を続ける。また情報記録装置１は処理Ｓ４において、「変化なし」と判断すると、カウンタＣを「１」だけインクリメントする（Ｓ６）。情報記録装置１は、カウンタＣが事前に設定されたｎに一致するか否かを調べて（Ｓ７）、ｎに一致するならば、取得した画像情報を記録し（Ｓ８）、処理Ｓ１へ戻って処理を続ける。一方、処理Ｓ７において、カウンタＣが事前に設定されたｎに一致しないならば、そのまま処理Ｓ１へ戻って処理を続ける。

さらに情報記録装置１は、処理Ｓ４において、「部分的変化」であると判断すると、処理Ｓ８へ移行して、カウンタＣの値に関わらず、直ちに取得した画像情報を記録する。なお、このときに、カウンタＣの値を「ｎ」にセットしてもよい。

ここで、利用者が提供する画像情報が、図５に模式的に例示するように、第１のスライドとして「背景」とのタイトルの下に、
・背景１
・背景２
の２つの項目を表示するスライドと、第２のスライドとして、「課題」のタイトルの下に、当初は、
・課題１
の項目のみを表示し、利用者が行う操作などに応じて、
・課題２
の項目がアニメーション的に出現するというように、動画的効果を備えたスライドと、第３のスライドとして、「解決手段」のタイトルの下、
・手段１
・手段２
の項目が表示されているスライドとを含むとする。

このとき、第１のスライド→第２のスライド（アニメーション効果が表示される）→第３のスライドと示しながら、利用者が説明のための発言を行っているとする。

すると、情報記録装置１は、表示中の画像情報を定期的に取得する（Ｐ１，Ｐ２…）。ここに、第１のスライドから第２のスライドへ移行した後、最初の取得時（Ｐ３）では、「全体変化」が検出され、その後直ちには、画像情報は記録されない。しかし第２のスライド内でアニメーション的な効果の表示が行われると、その後の取得時（Ｐ４）にて「部分変化」が検出されて、その時点での画像情報が記録される（Ｒ）。さらにその後、第３のスライドへ移ると、その後、一定の時間が経過してから（一定回数、同じ画像情報の取得が行われてから）、第３のスライドの画像情報が記録される。

なお、本発明の実施の形態に係る情報記録装置１は、以上に述べたところに限定されるものではない。例えばこの情報記録装置１のＩ／Ｆ部１３は、画像入力用のＶＧＡ端子とは限らない。その他の映像・音声信号の入出力端子であってもよい。この場合の入出力端子としては、例えば、ＲＣＡ端子やＳ端子、Ｄ端子、ＨＤＭＩ端子（High-Definition Multimedia Interface）などであり、アナログ、ディジタルを問わない。また、ＵＳＢ（Universal Serial Bus）でもよい。

ここでＲＣＡ端子の例のように、アナログ信号によって画像や音声の信号入力を受ける場合、情報記録装置１はこれらをディジタルの画像情報や音声データに変換して、上述の処理を行う。この処理の際、部分的変化が行われたか否かを判断する下限しきい値は、アナログ信号の特性に鑑み、画像情報が当初よりディジタルであった場合に比べて大きい値としておく。またこの場合、情報記録装置１は、入力された映像の信号をそのままプロジェクタなど外部の機器の映像入力端子へ供給してもよい。

さらに、全体的変化と部分的変化との識別は、上述のように、変化のあった画素の総量に基づくものだけに限られない。例えば、対象となる画像情報を、図６に示すように複数の領域に区分し、各領域ごとに、領域に内包される画素のうち、前回取得した画像情報と今回取得した画像情報で値の異なっている画素の総数（相違量）を算出する。

そして、相違量が予め定めたしきい値を超えている領域を特定し、当該特定した領域に、予め全体的変化の検出のために設定された注目領域が含まれていない場合は、「部分的変化」と判断する。また、特定した領域に注目領域が含まれていれば、「全体的変化」と判断する。

これはプレゼンテーション等で用いられるスライドの画像情報が、例えば、図６に示したように、表題部分（Ａ）と、内容部分（Ｂ）とに区分されているのが一般的であることに着目したもので、例えば、表題部分を注目領域としておき、内容部分を注目領域ではないが、相違量を算出する領域としておく。すると、表題部分に変化がなく、内容部分でアニメーション効果のある表示が行われると、「部分的変化」があったものと検出される。また、スライドが切り替えられるなどして表題部分が変化すると、「全体的変化」があったと検出する。ここで、領域の設定は、経験的に定めてもよいし、利用者がｈ１：ｈ２などと画像情報の縦方向の分割比を指定して定めてもよい。また、領域を個別に定めてもよい。さらに、プレゼンテーションアプリケーションからレイアウトに関する情報を取得して、当該取得した情報に基づいて領域を定めてもよい。

なお、領域のサイズに応じて、相違量との比較に用いるしきい値を調整してもよい。例えば領域のサイズが小さくなるほど、しきい値を小さくし、領域のサイズが大きくなるほど、しきい値を大きくしておくこととしてもよい。

さらに、このように領域ごとの判定と、画像情報全体における相違量の判定とを組み合わせ、いずれかの判定において、「部分的変化」があったと検出された場合は、「部分的変化」があったと判定することとしてもよい。

１情報記録装置、２パーソナルコンピュータ、１１制御部、１２記憶部、１３インタフェース部、２１画像・音声取得部、２２比較部、２３記録要否決定部、２４記録処理部、２５インデックス発行部。

Claims

出力の対象となる画像情報を、予め定めた時点ごとに繰り返し取得する画像取得手段と、
前記取得した画像情報を、前回取得した画像情報と比較する比較手段と、
前記比較の結果に基づく画像情報の変化の態様に応じ、互いに異なって定められている、前記取得した画像情報を記録するか否かを決定する条件に基づき、前記取得した画像情報を記録するか否かを決定する決定手段と、
前記決定手段が、取得した画像情報を記録すると決定したときに、前記取得した画像情報を記録する記録手段と、
を含み、前記変化の態様には、前記取得した画像情報と前回取得した画像情報との相違量に応じた、全体的変化、部分的変化、及び変化なし、の態様を含み、
前記決定手段は、前記取得した画像情報と前回取得した画像情報との相違量に応じて定められた、画像情報の変化の態様に応じて互いに異なって定められている、前記取得した画像情報を記録するか否かを決定する条件に基づき、前記取得した画像情報を記録するか否かを決定する画像記録装置。
前記決定手段は、前記相違量を、予め定めた上限しきい値及び下限しきい値と比較して、画像情報の変化の態様を、全体的変化、部分的変化、及び変化なしのいずれであるかを判断し、当該判断の結果に応じて互いに異なって定められている、前記画像情報を記録するか否かを決定する条件に基づき、前記取得した画像情報を記録するか否かを決定する請求項１記載の画像記録装置。
前記比較手段は、比較の対象となる画像情報を予め定められた領域に分割し、領域ごとに比較し、
前記決定手段は、領域ごとの変化の態様に基づいて、前記取得した画像情報を記録するか否かを決定することを特徴とする請求項１または２に記載の画像記録装置。
コンピュータを、出力の対象となる画像情報を、予め定めた時点ごとに繰り返し取得する画像取得手段と、
前記取得した画像情報を、前回取得した画像情報と比較する比較手段と、
前記比較の結果に基づく画像情報の変化の態様に応じ、互いに異なって定められている、前記取得した画像情報を記録するか否かを決定する条件に基づき、前記取得した画像情報を記録するか否かを決定する決定手段と、
前記決定手段が、取得した画像情報を記録すると決定したときに、前記取得した画像情報を記録する記録手段と、
として機能させ、前記変化の態様には、前記取得した画像情報と前回取得した画像情報との相違量に応じた、全体的変化、部分的変化、及び変化なし、の態様を含み、
前記決定手段として機能させる際には、コンピュータに、前記取得した画像情報と前回取得した画像情報との相違量に応じて定められた、画像情報の変化の態様に応じて互いに異なって定められている、前記取得した画像情報を記録するか否かを決定する条件に基づき、前記取得した画像情報を記録するか否かを決定させるプログラム。