JP5595849B2 - 画像記録装置と動画像データの記録方法 - Google Patents

Description

本発明の実施形態は、前後フレームの差分で構成される動画像データを逆再生可能に記録する動画像データの記録方法及びその動画像データを記録する画像記録装置に関する。

コンピュータ制御によるシステムの運用においては、制御対象機器の制御結果、操作結果、又は他の装置の状態等の各種のパラメータをコンピュータの表示データに加工してモニタに表示している。

制御対象のシステムにトラブルや障害が発生した場合、速やかに障害を復旧する必要がある。そのため、障害要因の詳細な検討を復旧作業前又は復旧作業とともに行うことは困難であり、事後的にこの障害要因を特定する作業を行ったり、事後的に復旧作業の正当性、妥当性を検証したりすることが非常に重要となる。

この障害要因の特定や復旧作業の検証については、制御コンピュータ画面の記録を後から再生し、画面の変化や操作の内容を再度確認することで実施する場合がある。具体的には、復旧作業において変化するコンピュータ画面の表示データを時系列的に連続して取得することで動画像データを取得しておき、この動画像データを後に再生して確認を行う。

動画像データの生成方式としては、全ての時刻において画面に表示されているデータを動画像データに含める方式があるが、この方式によると情報量が膨大となってしまう。そこで、初期画面と前後フレームの差分データとを動画像データに含める方式が一般的である。この従来の初期画面と前後フレームの差分データとを動画像データに含める方式では、時間軸に対して順方向の再生は可能であるが、逆再生ができない。

しかし、障害要因の特定や復旧作業の検証においては、システム障害の根本要因を遡りながら探ることが有効である。そこで、キーフレームと呼ばれる表示画面全体の表示データを所定間隔で動画像データに織り交ぜる動画像データ生成方式が提案されている。

特開２００３−１２５３２７号公報

キーフレームと呼ばれる表示画面全体の表示データを所定間隔で動画像データに織り交ぜる動画像データ生成方式によると、時刻を遡るようにキーフレームのみを抽出して表示させることで、一応の逆再生が可能である。しかし、キーフレームを用いる方式の場合、逆再生では、キーフレームの存在間隔の影響を受けて動画像が非連続となる。

本発明は、上記のような従来技術の問題点を解決するために提案されたもので、前後フレームの差分で構成される動画像データの滑らかな逆再生を可能とする動画像データの記録方法及びその画像記録装置を提供することを目的とする。

本実施形態の画像記録装置は、前後フレームの差分で構成される動画像データを保管する。この保管の段階では、まずフレームデータ内の上書きされる画像領域を示す更新領域情報と上書きする上書情報とを含む更新データを取得する。更新データを取得すると、更新領域情報を参照して、上書き直前のフレームデータから、上書きされる画像領域の被上書画像データを取得し、更新領域情報と被上書画像データとを対応づけて記憶する。そして、被上書画像データの取得後、更新領域情報が示す画像領域に上書情報を上書きしたフレームデータをメモリ上に描画する。

本実施形態に係る画像記録装置のネットワーク構成を示すブロック図である。 画像記録装置の詳細構成を示すブロック図である。 更新データを示す概念図である。 更新データを示す概念図である。 記録データを示す概念図である。 記録データを示す概念図である。 逆再生可能な動画像データの生成動作を示すフローチャートである。 両瞳の遷移状態を記録した動画像データである。 第１の記録データの生成及び描画処理を示す模式図である。 第２の記録データの生成及び描画処理を示す模式図である。 第３の記録データの生成及び描画処理を示す模式図である。 記録データの生成及び描画処理の全体を示す模式図である。 逆再生機能を有する画像記録装置の詳細構成を示すブロック図である。 逆再生処理の動作を示すフローチャートである。 第１の逆再生描画処理を示す模式図である。 第２の逆再生描画処理を示す模式図である。 第３の逆再生描画処理を示す模式図である。

以下、本発明に係る画像記録装置の実施形態について図面を参照しつつ詳細に説明する。

（構成）
まず、本実施形態に係る画像記録装置１の構成を説明する。図１は、本実施形態に係る画像記録装置１のネットワーク構成を示すブロック図である。

図１に示す画像記録装置１は、動画像データを保管するサーバである。この画像記録装置１は、コンピュータを含み構成される。画像記録装置１は、画面送信装置１００とネットワークＮを介して接続されており、この画像送信装置１００を遠隔操作して動画像データを受信し、ハードディスク等の外部記憶装置に格納する。格納の際には、受信した動画像データを逆再生が可能なデータに加工しておく。

ネットワークＮは、信号の送受信が可能な回線又は回線網である。回線又は回線網は、具体的には、ＬＡＮ、インターネット、又は専用回線を含む。

画面送信装置１００は、制御対象装置を制御するコンピュータを含み構成され、制御結果、操作結果、又は他の装置の状態等の各種のパラメータを表示データに加工してモニタに表示する。

この画面送信装置１００は、モニタ画面の表示データを所定のサンプリング周期でビデオＲＡＭ等のメモリから連続的に取得し、動画像データに加工し、画像記録装置１に送信する。この動画像データは、初期画面のフレームデータと前後画面の差分を示す更新データＤ１を含み構成される。画面送信装置１００は、更新データＤ１を画面送信装置１００へ逐次送信し、または一定時間や要求を契機として一定時間分まとめて送信する。尚、動画像データには、初期画面以外のキーフレームデータを含んでいてもよい。

図２は、この画像記録装置１の詳細構成を示すブロック図である。図２に示すように、画像記録装置１は、受信部１２と、順再生描画部１４と、ビデオＲＡＭ１５と、データ生成部１６と、データ記憶部１７とを備えている。

この画像記録装置１は、受信部１２による更新データＤ１の受信、データ生成部１６による被上書画像データＤ３の取得、データ生成部１６による被上書画像データＤ３と更新データＤ１とをマージした記録データＤ２の生成、及び順再生描画部１４による記録データ２を参照したビデオＲＡＭ１５へのフレームデータの描画を、更新データＤ１の受信毎に順に経ることにより、逆再生が可能な動画像データの加工を行い、当該動画像データをデータ記憶部１７へ格納する。

まず、受信部１２は、動画像データの取得手段であり、ＣＰＵやＭＰＵの他、パケットデータを送受信するＬＡＮアダプタやモデムを含み構成される。この受信部１２は、画面転送プロトコルを利用して画面送信装置１００を遠隔操作し、更新データＤ１を画像記録装置１に送信させる。また、受信部１２は、送り手となり、送信されてきたデータが更新データＤ１であれば、この更新データＤ１を受け手であるデータ生成部１６に渡す。

画面転送プロトコルは、画面の変化画像を伝送する遠隔操作の方式の一つである。具体的には、受信部１２は、通信方式としてＩＰ（インターネットプロトコル）の規約を利用し、更新データＤ１の送受信方式として、ＲＦＢ（Ｒｅｍｏｔｅ Ｆｒａｍｅ Ｂｕｆｆｅｒ）プロトコルを利用したＶＮＣ（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ）や、ＲＤＰ（Ｒｅｍｏｔｅ Ｄｅｓｋｔｏｐ Ｐｒｏｔｏｃｏｌ）を利用する。

取得手段としては、ネットワークＮを介しない装置であってもよく、磁気記憶媒体や光学記憶媒体や不揮発性記憶媒体から更新データＤ１を読み取るドライブやアダプタでもよい。

図３及び図４は、この受信部１２が受信する更新データＤ１を示す概念図である。更新データＤ１は、メッセージ種別と描画命令種別とパラメータを含むメッセージデータである。メッセージ種別は、全ての画面転送プロトコルメッセージに共通のフィールドであり、当該データが画面を更新する差分データであることを示す。描画命令種別は、更新データＤ１の描画種別を示すフィールドであり、所謂メソッド名である。パラメータは、描画命令種別に応じて付加される。

図３に示す更新データＤ１は、「Ｐｕｔ ｉｍａｇｅ」を描画命令種別として含む。「Ｐｕｔ ｉｍａｇｅ」は、フレームデータの指定領域を上書きする描画命令であり、より詳しくは、同梱される画像データで指定する画像領域を上書きする描画命令である。

この更新データＤ１には、更新領域情報Ｄ１１と属性情報と上書情報Ｄ１２が含まれる。描画命令種別の後に更新領域情報Ｄ１１が続き、更新領域情報Ｄ１１の後に上書情報Ｄ１２の属性情報が続き、当該属性情報の後に上書情報Ｄ１２が続く。

更新領域情報Ｄ１１は、画面を更新する直前のフレームデータ中の上書きされる画像領域を示す情報であり、位置を示す開始座標（ｘ，ｙ）と大きさを示す画像サイズ（ｗ，ｈ）で構成される。属性情報は、上書情報Ｄ１２の圧縮形式とピクセルフォーマットを含む。圧縮形式は、上書情報Ｄ１２の圧縮アルゴリズムやデータ形式を示す識別子である。ピクセルフォーマットは、画素のデータ形式を示す識別子であり、例えばＲＧＢ２４等の表色系とビット数を示す。上書情報Ｄ１２は、上書きする画像データである。

図４に示す更新データＤ１は、「Ｃｏｐｙ ｒｅｃｔａｎｇｌｅ」を描画命令種別として含む。「Ｃｏｐｙ ｒｅｃｔａｎｇｌｅ」は、フレームデータの指定領域を上書きする描画命令であり、より詳しくは、指定した画像領域の画像データで指定した画像領域を上書きする描画命令である。

この更新データＤ１にも、更新領域情報Ｄ１１と上書情報Ｄ１２が含まれる。「Ｃｏｐｙ ｒｅｃｔａｎｇｌｅ」を描画命令種別とする場合、上書情報Ｄ１２は、コピー元の画像データが存在する画像領域を示すコピー先開始座標（ｘ１，ｙ１）と大きさを示す画像サイズ（ｗ，ｈ）で構成される。

尚、図３及び図４に示す更新データＤ１の具体例では、上書きされる画像は矩形である前提の例となっているが、画面転送プロトコルの設計事項により、矩形以外の形状の画像を扱う場合は、それに合わせた位置情報やサイズ情報などの、画面に画像を復元するのに必要な情報を同梱させればよい。また、データ圧縮も必須でなく、無圧縮データであっても構わない。

データ生成部１６は、ＣＰＵを含み構成され、更新データＤ１を参照して、動画像データを逆再生可能に加工する。具体的には、時系列とは逆の方向にフレームデータを更新するデータを生成する。換言すると、時系列を基準に前後フレームデータで相違している画像部分を前フレームデータから取得して更新領域情報Ｄ１１と対応づけてデータ記憶部１７に記憶させる。

このデータ生成部１６は、領域抽出部１６１と情報付加部１６２を含む。領域抽出部１６１は、更新領域情報Ｄ１１を参照して、被上書画像データＤ３を取得する。被上書画像データＤ３は、ビデオＲＡＭ１５内に描画された上書直前のフレームデータから取得する。つまり、この被上書画像データＤ３は、時系列を基準に前フレームデータの上書きされる画像領域の画像データである。

具体的には、領域抽出部１６１は、図３に示す「Ｐｕｔ ｉｍａｇｅ」を描画命令種別とする更新データＤ１を受け取ると、この更新データＤ１から更新領域情報Ｄ１１を取得する。そして、領域抽出部１６１は、この更新領域情報Ｄ１１が示す上書きされる画像領域（ｘ，ｙ）−（ｘ＋ｗ，ｙ＋ｈ）を特定し、ビデオＲＡＭ１５内に描画された画像領域（ｘ，ｙ）−（ｘ＋ｗ，ｙ＋ｈ）の被上書画像データＤ３を読み取る。

尚、この読み取りの時点では、受信した更新データＤ１に基づくフレームデータの更新は行われておらず、ビデオＲＡＭ１５内に描画されているフレームデータは、受信した更新データＤ１に基づく更新より前のフレームデータである。

また、領域抽出部１６１は、図４に示す「Ｃｏｐｙ ｒｅｃｔａｎｇｌｅ」を描画命令種別とする記録データＤ２を受け取ると、この更新データＤ１から更新領域情報Ｄ１１を取得する。そして、領域抽出部１６１は、この更新領域情報Ｄ１１が示す上書きされる画像領域（ｘ１，ｙ１）−（ｘ１＋ｗ，ｙ１＋ｈ）を特定し、ビデオＲＡＭ１５内に描画された画像領域（ｘ１，ｙ１）−（ｘ１＋ｗ，ｙ１＋ｈ）の被上書画像データＤ３を読み取る。

情報付加部１６２は、記録データＤ２を生成する。図５及び６は、情報付加部１６２が生成する記録データＤ２を示す概念図である。図５及び６に示す記録データＤ２は、更新データＤ１とタイムスタンプＤ４と被上書画像データＤ３とをマージしたデータである。換言すると、タイムスタンプＤ４と、メッセージ種別と、描画命令種別と、更新領域情報Ｄ１１と、上書情報Ｄ１２と、被上書画像データＤ３と、被上書画像データＤ３の属性情報を含む。

即ち、情報付加部１６２は、領域抽出部１６１が読み取った被上書画像データＤ３を、参照した更新領域情報Ｄ１１が含まれる更新データＤ１に付加する。尚、メッセージ種別は、事実上固定されて自明の場合には、省略してもそのままにしておいてもよい。

また、情報付加部１６２は、タイムスタンプＤ４を取得して、このタイムスタンプＤ４も記録データＤ２に含める。タイムスタンプＤ４は、時刻を示し、フレームデータの時系列を従っていれば、更新データＤ１を受信した時点の時刻、記録データＤ２生成時の時刻、画面送信装置１００が更新データＤ１を送出する際に同梱した時刻等の何れを元にしてもよい。更新データＤ１を受信した時点の時刻、又は記録データＤ２生成時の時刻は、画像記録装置１の内部時計又はネットワークＮ上のタイムサーバが係時する時刻が参照される。また、情報付加部１６２は、被上書画像データＤ３の属性情報を生成して、記録データＤ２に含める。この属性情報は、圧縮形式及びピクセルフォーマットを含む。

順再生描画部１４は、ＣＰＵ又はＧＰＵを含み構成され、記録データＤ２を参照して、更新領域情報Ｄ１１が示す画像領域に上書情報Ｄ１２を反映したフレームデータをビデオＲＡＭ１５に描画する。順再生描画部１４は、描画命令種別に合わせたメソッドでビデオＲＡＭ１５内に存在するフレームデータの一部画像領域を上書きする。

データ生成部１６は、記録データＤ２を生成すると、この記録データＤ２をメッセージとして順再生描画部１４に送出する。順再生描画部１４は、この記録データＤ２の受け取りを契機として、描画処理を行う。尚、画像記録装置１をデータサーバ専用とし、ネットワークＮ上の他の装置へ動画像データを配信する場合には、ビデオＲＡＭ１５に代えてプログラムやデータを展開する主記憶装置や外部記憶装置にフレームデータを展開することもできる。

描画命令種別が「Ｐｕｔ ｉｍａｇｅ」であった場合には、順再生描画部１４は、更新領域情報Ｄ１１が示す上書きされる画像領域（ｘ，ｙ）−（ｘ＋ｗ，ｙ＋ｈ）のビットマップ空間に、ピクセルフォーマットに従って上書情報Ｄ１２の画像データを描画する。尚、順再生描画部１４は、描画命令種別が「Ｐｕｔ ｉｍａｇｅ」であった場合、描画前に上書情報Ｄ１２を圧縮形式に展開しておく。

また、描画命令種別が「Ｃｏｐｙ ｒｅｃｔａｎｇｌｅ」であった場合には、順再生描画部１４は、上書情報Ｄ１２が示すコピー先となる画像領域（ｘ１，ｙ１）−（ｘ１＋ｗ，ｙ１＋ｈ）の画像データをビデオＲＡＭ１５からコピーし、更新領域情報Ｄ１１が示す上書きされる画像領域（ｘ１，ｙ１）−（ｘ１＋ｗ，ｙ１＋ｈ）のビットマップ空間内に取得した画像データを描画する。

この順再生描画部１４は、順方向、即ち時系列に沿ってフレームデータを更新する手段であり、順方向のフレームデータの更新の際には、被上書画像データＤ３はパラメータとして使用されない。

（動作）
このような画像記録装置１の逆再生可能な動画像データの生成動作を図７を参照して説明する。図７は、逆再生可能な動画像データの生成動作を示すフローチャートである。

まず、画像記録装置１は、ネットワークＮを介して画面送信装置１００から更新データＤ１を受信する（Ｓ１０１）。尚、この更新データＤ１の受信の前提として、初期画面のデータはすでに受信している。

画像記録装置１は、更新データＤ１を受信すると、この更新データＤ１から更新領域情報Ｄ１１を読み出し（Ｓ１０２）、更新領域情報が示す画像領域の被上書画像データＤ３をビデオＲＡＭ１５に描画されている更新直前のフレームデータから取得する（Ｓ１０３）。

被上書画像データＤ３を取得すると、画像記録装置１は、取得した被上書画像データＤ３とタイプスタンプＤ４とを更新データＤ１に付加することで記録データＤ２を生成し（Ｓ１０４）、データ記憶部１７に記憶する（Ｓ１０５）。

更に、画像記録装置１は、この生成された記録データＤ２に従ってビデオＲＡＭ１６に描画されているフレームデータを更新する（Ｓ１０６）。

記録データＤ２に含まれている描画命令種別が「Ｐｕｔ ｉｍａｇｅ」であれば、該当のメソッドを実行することで、更新領域情報Ｄ１１が示す画像領域に上書情報Ｄ１２が示す画像データを描画する。記録データＤ２に含まれている描画命令種別が「Ｃｏｐｙ ｒｅｃｔａｎｇｌｅ」であれば、該当のメソッドを実行することで、上書情報Ｄ１２が示すコピー元の画像領域から画像データを取得し、取得した画像データを更新領域情報Ｄ１１が示す画像領域に描画する。

図８乃至１２は、この画像記録装置１による記録データＤ２の生成及びフレームデータの更新の具体例を示す。図８は、両瞳の遷移状態を記録した動画像データである。この動画像データは、図８の（ａ）に示すように、向かって右上に両瞳が向かっている状態から、図８の（ｂ）に示すように、右下に両瞳が移動する状態までを連続的に映写したものである。

まず、図９の（ａ）に示す画面全体のフレームデータの送信後、最初に受信部１２は、図９の（ｂ）に示すデータを受信する。受信部１２は、このデータのメッセージ種別を参照する。このデータは、更新データＤ１であるので、受信部１２は、この更新データＤ１をデータ生成部１６にメッセージとして転送する。

図９の（ｂ）に示す更新データＤ１は、向かって右瞳全体を含む画像領域Ｒ１の画像データをその右下位置の画像領域Ｒ２にコピーする内容となっている。即ち、この更新データＤ１に含まれる更新領域情報Ｄ１１は、右瞳右下位置の画像領域Ｒ２を示している。

領域抽出部１６１は、この更新領域情報を参照して、画像領域Ｒ２に存在する右の瞳の右下側の画像データを被上書画像データＤ３として取得する。そして、情報付加部１６２は、図９の（ｃ）に示す記録データＤ２を生成する。具体的には、領域抽出部１６１が取得した右瞳右下側を示す画像領域Ｒ２の画像データを被上書画像データＤ３として、タイムスタンプＤ２と属性情報とともに図９の（ｂ）の更新データＤ１に付加することで、記録データＤ２を生成する。

記録データＤ２が生成されると、データ生成部１６は、この記録データＤ２をメッセージとして順方向再生部１４に送信する。順方向生成部１４は、この記録データＤ２の上書情報Ｄ１２を参照して、図９の（ｄ）に示すように、画像領域Ｒ１に存在する右瞳全体を含む画像領域Ｒ１の画像データをコピーし、更新領域情報Ｄ１１を参照して、画像領域Ｒ２に上書きする。

次に、受信部１２は、図１０の（ａ）のフレームデータがビデオＲＡＭ１５に描画された状態で、図１０の（ｂ）に示すデータを受信する。受信部１２は、このデータのメッセージ種別を参照する。このデータは、更新データＤ１であるので、受信部１２は、この更新データＤ１をデータ生成部１６にメッセージとして転送する。

図１０の（ｂ）に示す更新データＤ１は、右瞳のコピーにより残った画像領域Ｒ１の上側画像領域Ｒ３を白ベタ塗り画像データで上書きする更新データＤ１である。即ち、この更新データＤ１に含まれる更新領域情報Ｄ１１は、画像領域Ｒ１の上側画像領域Ｒ３を示している。

領域抽出部１６１は、この更新領域情報を参照して、画像領域Ｒ３に存在する右瞳上側部分の画像データを被上書画像データＤ３として取得する。そして、情報付加部１６２は、図１０の（ｃ）に示す記録データＤ２を生成する。具体的には、領域抽出部１６１が取得した右瞳上側部分の画像データを被上書画像データＤ３として、タイムスタンプＤ２と属性情報とともに図１０の（ｂ）の更新データＤ１に付加することで、記録データＤ２を生成する。

記録データＤ２が生成されると、データ生成部１６は、この記録データＤ２をメッセージとして順方向再生部１４に送信する。順方向生成部１４は、この記録データＤ２の上書情報Ｄ１２を参照して、図１０の（ｄ）に示すように、画像領域Ｒ３に存在する右瞳上側部分に上書情報Ｄ１２である白ベタ塗り画像データを描画する。

次に、受信部１２は、図１１の（ａ）のフレームデータがビデオＲＡＭ１５に描画された状態で、図１１の（ｂ）に示すデータを受信する。受信部１２は、このデータのメッセージ種別を参照する。このデータは、更新データＤ１であるので、受信部１２は、この更新データＤ１をデータ生成部１６にメッセージとして転送する。

図１１の（ｂ）に示す更新データＤ１は、右瞳のコピー及び右瞳上側部分の白ベタ塗りにより残った画像領域Ｒ１の左側画像領域Ｒ４を白ベタ塗り画像データで上書きする更新データＤ１である。即ち、この更新データＤ１に含まれる更新領域情報Ｄ１１は、画像領域Ｒ１の上側画像領域Ｒ４を示している。

領域抽出部１６１は、この更新領域情報を参照して、画像領域Ｒ３に存在する右瞳左側部分の画像データを被上書画像データＤ３として取得する。そして、情報付加部１６２は、図１１の（ｃ）に示す記録データＤ２を生成する。具体的には、領域抽出部１６１が取得した右瞳左側部分の画像データを被上書画像データＤ３として、タイムスタンプＤ２と属性情報とともに図１１の（ｂ）の更新データＤ１に付加することで、記録データＤ２を生成する。

記録データＤ２が生成されると、データ生成部１６は、この記録データＤ２をメッセージとして順方向再生部１４に送信する。順方向生成部１４は、この記録データＤ２の上書情報Ｄ１２を参照して、図１１の（ｄ）に示すように、画像領域Ｒ３に存在する右瞳左側部分に上書情報Ｄ１２である白ベタ塗り画像データを描画する。

以上により、図１２の（ａ）及び（ｂ）に示す右瞳の移動が完了するとともに、この状態に遷移するまでの被上書画像データＤ３が更新領域情報Ｄ１１とともに取得される。

以下、同様に、図１２の（ｃ）に示すように、画像領域Ｒ６を更新領域情報Ｄ１１とし、画像領域Ｒ５の画像データを上書情報Ｄ１２とした更新データＤ１が画面送信装置１００から送信される。データ生成部１６は、図１２の（ｃ）の画像領域Ｒ６の画像データを被上書画像データＤ３として取得し、その後、順方向再生部１４が当該画像領域Ｒ６に画像領域Ｒ５の画像データを上書きする。

更に、図１２の（ｄ）に示すように、画像領域Ｒ７と画像領域Ｒ８を更新領域情報Ｄ１１とし、白一色で塗りつぶされた画像データを上書情報Ｄ１２とした更新データＤ１が画面送信装置１００から順次送信される。データ生成部１６は、図１２の（ｄ）の画像領域Ｒ７と画像領域Ｒ８の画像データを被上書画像データＤ３として取得し、その後、順方向再生部１４が当該画像領域Ｒ７と画像領域Ｒ８に白一色で塗りつぶされた画像データを上書きする。

以上により、両目が右上から右下に移動するまでの各被上書画像データＤ３が更新領域情報Ｄ１１とタイムスタンプＤ４とともにデータ記憶部１７に記憶される。そして、他の装置からネットワークＮを介して動画像データの送信要求があると、画像記録装置１は、ネットワークＮを介して、この逆再生可能な動画像データを配信する。他の装置では、被上書画像データＤ３と更新領域情報Ｄ１１を参照することで、逆再生で動画像データの再生が可能となる。

（逆再生処理）
この被上書画像データＤ３と更新領域情報Ｄ１１が付加された記録データＤ２による逆再生処理について説明する。尚、この画像記録装置１には、データサーバとしての機能の他に、動画像を順方向及び逆方向に再生する機能を付加してもよい。以下、画像記録装置１に動画像を順方向及び逆方向に再生する機能を付加した場合を例に説明する。

この画像記録装置１は、図１３に示すように、画像記録装置１は、表示部１３と逆再生描画部１８とを備えるようにしてもよい。

表示部１３は、液晶ディスプレイやＣＲＴディスプレイのスクリーンとＤＡＣやＤＶＩトランスミッタを含み構成され、ビデオＲＡＭ１５に描画されたフレームデータを所定のサンプリング周期で取得して、スクリーンに表示する。

また、表示部１３には、操作パネルが表示され、操作パネルには、逆再生ボタンと再生ボタンと動画像の経過時間を指し示すスライダとが配置される。再生ボタンが押下されると、順再生描画部１４が記録データＤ２を順次読み込んで、順方向に動画像データを再生していく。また、スライダをマウス等で所定の位置に移動させ、再生ボタンが押下されると、そのスライダが指し示す経過時間に最も近いタイムスタンプＤ４を有するキーフレームをビデオＲＡＭ１５に描画し、そのキーフレームから順次タイムスタンプＤ４を追って更新データＤ２を読み込んでフレームを更新していく。

逆再生ボタンが押下されると、逆再生描画部１８により、動画像データを逆再生するように、時系列とは逆にフレームデータが描画される。この逆再生描画部１８は、タイムスタンプＤ４を遡って記録データＤ３を順次読み出していき、それぞれの記録データＤ３に含まれる更新領域情報Ｄ１１が示す画像領域を被上書画像データＤ３で上書きする処理を繰り返していく。

図１４は、この逆再生描画部１８による逆再生処理の動作を示すフローチャートである。図１４に示すように、逆再生部１８は、最終画面又はキーフレームのタイムスタンプＤ４よりも一つ古いタイムスタンプＤ４が付加された更新データＤ２を取得する（Ｓ２０１）。

更新データＤ２を取得すると、ビデオＲＡＭ１５に描画されているフレームデータ中の更新領域情報Ｄ１１が示す画像領域を被上書画像データＤ３で上書きする（Ｓ２０２）。

フレームデータの更新を行うと、取得した更新データＤ２よりも古い更新データＤ２が存在する場合には（Ｓ２０３，Ｙｅｓ）、取得した更新データＤ２よりも一つ古いタイムスタンプＤ４が付加された更新データＤ２を取得し（Ｓ２０４）、Ｓ２０２を行う。取得した更新データＤ２よりも古い更新データＤ２が存在しなければ（Ｓ２０３，Ｎｏ）、逆再生を終了する。

図１５乃至１７は、この画像記録装置１による逆再生の具体例を示し、図８に示した両目の瞳を右上から右下に動かす動画を逆再生した例のうち、右の瞳を右上から右下に動かす動画部分の逆再生を示している。

まず、図１５の（ａ）の状態から一つ古いタイムスタンプＤ４を有する記録データＤ２には、図１５の（ｂ）に示すように、左上にあった瞳の右側部分が白一色で上書きされた画像領域Ｒ４を示す更新領域情報Ｄ１１が含まれている。逆再生描画部１８は、図１５の（ｃ）に示すように、この記録データＤ２から順方向においては上書きされた画像データである右上を見たときの瞳の左下部分を示す被上書画像データＤ３を読み出し、画像領域Ｒ４に上書きする。

次に、図１６の（ａ）の状態から一つ古いタイムスタンプＤ４を有する記録データＤ２には、図１６の（ｂ）に示すように、左上にあった瞳の上側部分が白一色で上書きされた画像領域Ｒ３を示す更新領域情報Ｄ１１が含まれている。逆再生描画部１８は、図１６の（ｃ）に示すように、この記録データＤ２から順方向においては上書きされた右上を見たときの瞳の上部分を示す被上書画像データＤ３を読み出し、画像領域Ｒ３に上書きする。

更に、図１７の（ａ）の状態から一つ古いタイムスタンプＤ４を有する記録データＤ２には、図１７の（ｂ）に示すように、左上にあった瞳の右下部分が画像領域Ｒ１の画像データで上書きされた画像領域Ｒ２を示す更新領域情報Ｄ１１が含まれている。逆再生描画部１８は、図１７の（ｃ）に示すように、この記録データＤ２から順方向においては上書きされてしまった部分である右上を見たときの瞳の右下部分を示す被上書画像データＤ３を読み出し、画像領域Ｒ２に上書きする。

以上により、右の瞳が右上から右下へ動いた動画像データを逆再生して、右下か右上へ戻る様子が再現できる。

このように、本実施形態に係る画像記録装置１は、フレーム内の上書きされる画像領域を示す更新領域情報Ｄ１１と上書きする上書情報Ｄ１２とを含む更新データＤ１を取得すると、この更新領域情報Ｄ１１を参照して、上書き直前のフレームデータから、上書きされる画像領域の被上書画像データＤ３を取得する。そして、この更新領域情報Ｄ１１と被上書画像データＤ３とを対応づけて記憶する。その後、更新領域情報Ｄ１１が示す画像領域に上書情報Ｄ１２を反映したフレームデータをビデオＲＡＭ１５上に描画する。

これにより、逆再生時には、更新領域情報Ｄ１１と被上書画像データＤ３とを参照することで、前後フレームの差分で構成される動画像データであっても滑らかな逆再生が可能となる。

以上のように、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これら新規な実施形態は、そのほかの様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 画面記録装置
１２ 受信部
１３ 表示部
１４ 順再生描画部
１５ ビデオＲＡＭ
１６ データ生成部
１６１ 領域抽出部
１６２ 情報付加部
１７ データ記憶部
１８ 逆再生描画部
Ｄ１ 更新データ
Ｄ１１ 更新領域情報
Ｄ１２ 上書情報
Ｄ２ 記録データ
Ｄ３ 被上書画像データ
Ｄ４ タイムスタンプ
１００ 画面送信装置
Ｎ ネットワーク

Claims (5)

1. 前後フレームの差分で構成される動画像データを保管する画像記録装置であって、
   フレームデータ内の上書きされる画像領域を示す更新領域情報と上書きする上書情報とを含む更新データを取得する取得手段と、
   前記更新領域情報を参照して、上書き直前の前記フレームデータから、上書きされる画像領域の被上書画像データを取得する領域抽出手段と、
   前記更新領域情報と前記被上書画像データとを対応づけて記憶する記憶手段と、
   前記領域抽出手段による前記被上書画像データの取得後、前記更新領域情報が示す画像領域に前記上書情報を上書きしたフレームデータをメモリ上に描画する順再生描画手段と、
   を備えること、
   を特徴とする画像記録装置。
2. 前記領域抽出手段は、
   前記更新領域情報を含む前記更新データに前記被上書画像データを付加し、
   前記記憶手段は、
   前記被上書画像データが付加された前記更新データを記憶すること、
   を特徴とする請求項１記載の画像記録装置。
3. 前記記憶手段に記憶された前記更新領域情報と前記被上書画像データとに基づき、前記動画像データを逆再生する逆再生描画手段を更に備えること、
   を特徴とする請求項１又は２記載の画像記録装置。
4. 前記逆再生描画手段は、
   前記更新領域情報が示す領域を前記被上書画像データで上書きしたフレームデータを生成すること、
   を特徴とする請求項３記載の画像記録装置。
5. 前後フレームの差分で構成される動画像データを逆再生可能に記録する動画像データの記録方法であって、
   フレームデータ内の上書きされる画像領域を示す更新領域情報と上書きする上書情報とを含む更新データを取得する第１のステップと、
   前記更新領域情報を参照して、上書き直前の前記フレームデータから、上書きされる画像領域の被上書画像データを取得する第２のステップと、
   前記更新領域情報と前記被上書画像データとを前記更新データに対応づけて記憶する第３のステップと、
   前記被上書画像データの取得後、前記更新領域情報が示す画像領域に前記上書情報を上書きしたフレームデータをメモリ上に描画する第４のステップと、
   を備えること、
   を特徴とする動画像データの記録方法。

Images