JP4637235B2 - 映像連動型制御対象外部機器制御装置 - Google Patents

Description

本発明は、映像連動型制御対象外部機器制御装置に関するものである。

特開平１０−１６４５２４号公報

近年、テレビ放送にも多重通信技術が適用され、音声多重放送や文字多重放送などですでに実用化が進んでいる。しかし、いずれも、音声周波数帯及び文字周波数帯が映像周波数帯とは別に設定されており、映像の送信画像に音声や文字等の付随情報を埋め込む思想のものではなかった。そこで、これを解決するために、特許文献１には、映像の送信画像、具体的にはその走査線の一部領域にバーコード状の付随情報を埋め込む技術が開示されている。具体的には、ＣＭ放送時にはＣＭ商品の詳細情報を、あるいはテレビ番組についてはその番組内容情報をバーコードに反映させておき、テレビ受像機側のその映像信号を解析してバーコードの内容を読み取り、映像画面上にスーパー等により表示する。

しかし、上記の技術では情報の出力先がテレビ受像機内に閉じており、画面上に付随情報を表示する以上の機能は期待できず、拡張性という観点において大きな欠点がある。

本発明の課題は、映像に付随する情報を映像再生システム外の電子機器に出力可能とすることで、電子機器の連動制御も視野に入れた機能拡張が実現可能な映像連動型制御対象外部機器制御装置を提供することにある。

課題を解決するための手段及び発明の効果

上記の課題を解決するために、本発明の映像連動型制御対象外部機器制御装置は、
主画像の映像信号を出力するための第一映像データに、制御対象外部機器の動作制御に使用する制御情報内容を反映した情報組み込みマーク画像の映像信号を出力するための第二映像データが付加された拡張映像データを映像データ源として使用するとともに、拡張映像データを再生する映像再生装置と制御対象外部機器とが接続して使用され、
映像データの再生に伴い再生装置から出力される、第一映像データに基づく主画像再生映像信号に第二映像データに基づく情報組み込みマーク画像再生映像信号が付加された拡張映像信号から、マーク画像再生映像信号を抽出するマーク画像再生映像信号抽出手段と、
マーク画像再生映像信号の内容を解析して、制御対象外部機器が自身の動作制御処理を行なうために直接読み取り可能な動作制御データに復号化する動作制御データ復号化手段と、
該復号化された動作制御データを制御対象外部機器に出力する動作制御データ出力手段と、を備えたことを特徴とする。

上記本発明の映像連動型制御対象外部機器制御装置の構成によると、主画像の映像信号を出力するための第一映像データに、制御対象外部機器の動作制御に使用する制御情報内容を反映した情報組み込みマーク画像の映像信号を出力するための第二映像データが付加された拡張映像データを映像記録媒体に記録しておく。その拡張映像データの再生により得られる拡張映像信号は、本発明の制御対象外部機器制御装置にて第一映像データに基づく主画像再生映像信号と第二映像データに基づく情報組み込みマーク画像再生映像信号とに分離される。そして、分離された情報組み込みマーク画像再生映像信号は、制御対象外部機器が直接読み取り可能な動作制御データに復号化された後、制御対象外部機器へ出力される。これにより、映像と連動して制御対象外部機器の動作制御を行なうことができ、従来の映像再生システムにはない外部への大幅な機能拡張を果たすことができる。

なお、本発明が適用可能な制御対象外部機器の種別については特に限定はないが、例えば、マッサージ機器や電動模型等のおもちゃ、子供向け教材に使用するロボットなどである。この場合、制御対象外部機器は、駆動部分（例えばマッサージ機器であれば人体にマッサージ力を与える動作部分、ロボットや電動模型であれば機械的な動作部分である）と、本発明の制御装置から制御情報を用いて上記の駆動部分の動作制御を直接司る制御ハードウェア部分とで構成されることになる。

該制御ハードウェア部分は、拡張映像データの入力インターフェースを備えたマイコンや、同様の処理能力を有する専用ハードウェアで構成することが可能である。また、拡張映像データの取得先となるデータ源は、例えば上記入力インターフェースに直接接続される映像記録媒体再生装置（例えば、ＤＶＤプレーヤーやＨＤＤ／ＤＶＤレコーダ）のほか、上記入力インターフェースにネットワーク接続される情報データベース（ネットワークは、ＬＡＮやインターネットなどである）であってもよく、また、テレビチューナからの放送受信装置であってもよい。

さらに、本発明の映像連動型制御対象外部機器制御装置は、制御対象外部機器自体に一体的に組み込まれていてもよく、これも「制御対象外部機器に接続して使用される」概念に属する。そして、上記制御ハードウェア部分は、本発明の制御装置と一体化すること、例えば共通のマイコン及び周辺ハードウェアで構成することも可能である。

拡張映像データは、出力モニタにおいて主画像を表示するための映像フレームに、情報組み込みマーク画像を埋め込んだ拡張映像フレームのデータとして作成することができる。マーク画像再生映像信号抽出手段は、当該拡張映像フレームのデータに基づく再生映像信号のうち、情報組み込みマーク画像を構成する画素の映像信号をマーク画像再生映像信号として抽出するものとできる。この構成によると、画素の同期信号をカウンタ計測することで個々のアドレスの画素の出力タイミングを簡単に特定でき、マーク画像再生映像信号の抽出を容易に行なうことができる。

情報組み込みマーク画像は、特許文献１のようなバーコードを用いることも可能であるが、次のような方式により、埋め込み可能な情報量をさらに増加させることができる。すなわち、画像を構成する画素の出力設定値を序列の予め定められた２ビット以上の複数段階に量子化し、該出力設定値の序列上の順位と、制御情報内容を記述するための複数ビットからなる制御用ビットデータとの間に一義的な対応関係を定める。そして、動作制御データ復号化手段は、マーク画像再生映像信号に反映される画素の出力設定値を検出して、上記の対応関係に基づいて制御用ビットデータに復号化する制御用ビットデータ復号化手段を有するものとする。映像記録媒体には、画像を品質保証して記録することが可能だから、情報組み込みマーク画像をカラーやグレースケールで記録しても、その再生映像信号は記録された画素の出力設定に対する誤差を小さく抑えることができる。従って、特許文献１では放送受信状態の制約により二値に制限されていた付随情報を、多値化することができ、埋め込み可能な情報量を大幅に増加させることができる。

上記の構成では、媒体上に記録された第二映像データが示すカラーやグレースケールの画素出力設定値が、複数ビットからなる制御用ビットデータに対応付けられることになる。しかし、本発明ではこの第二映像データを一旦再生して（モニタ表示に関する）再生映像信号とし、それを本発明の装置にて再度、画素出力値が示す複数ビットの情報、つまり制御用ビットデータに復号化する処理が不可避的に発生する。従って、再生時や復号化処理時におけるノイズ等の影響により、復号化後の制御用ビットデータが媒体上の画素出力設定値と正確に対応しなくなり、誤差要因となる場合がある。本発明者らは、このノイズ等の影響に対策するためのさまざまな手法についても提案する。

まず、情報組み込みマーク画像は、出力設定値が一律に定められた複数画素からなる画素集合単位に区切るようにしておき、制御用ビットデータ復号化手段は、該画素集合単位に定められた出力設定値に基づいて制御用ビットデータへの復号化を行なうように構成することができる。出力設定値が一律に定められる複数画素の組を単位として情報組み込みマーク画像を構成することで、単一画素では影響を受けやすかったノイズ等の影響を大幅に軽減することができる。

上記の影響は、特に再生映像信号としてＮＴＳＣ信号などのアナログ映像信号が使用される場合は一層顕著となる。拡張映像信号がアナログ映像信号である場合は、制御用ビットデータ復号化手段は、出力設定値が反映された当該アナログ映像信号のアナログ入力値をディジタル変換することにより制御用ビットデータに復号化するＡ／Ｄ変換器を有するものとして構成できる。この場合、上記のごとく出力設定値が一律に定められる複数画素の組を単位として情報組み込みマーク画像を構成することの効果が一層顕著に発揮される。

復号化により得られる制御用ビットデータは、これらを複数集合させて動作制御データの記述単位フィールドを構成することができる。これにより、動作制御データの識別や、制御対象外部機器へ転送などをより体系的に行なうことができる。

具体的には、記述単位フィールドが複数集合して制御対象外部機器への動作制御データの出力単位となるフレーム構造データを構成し、当該フレーム構造データは、その出力時系列における先頭側から、以降の画素列が動作制御データを記述するフレーム構造データであることを識別するための識別フィールドと、フレーム構造データのデータ長を示すデータ長フィールドと、制御対象外部機器への動作制御データ内容を示す主フィールドとをこの順で含むものとすることができる。識別フィールドの配置により、映像信号の一部として送られてくるフレーム構造データが、制御対象外部機器で使用する動作制御データを構成するものであるか否かを容易に識別でき、かつ、データ長フィールドによりデータ長を示すことで、どこまでが有効な動作制御データであるかを確実に判別できる。

また、各記述単位フィールドを構成する制御用ビットデータのデータビット数を全て同一とし、各記述単位フィールドのデータビット列の末尾を、当該データビット列のパリティチェックを行なうための垂直パリティビットとする一方、データ長により特定されるフレーム構造データの最終記述単位フィールドが、先行する記述単位フィールドの互いに対応する順位のデータビットを個別に集めてパリティチェックを行なうための複数の水平パリティビットを集めた水平パリティフィールドとすることができる。これにより、ノイズ等の影響によるデータ誤認識を効果的に防止することができる。

上記構成では、動作制御データを記述する主フィールドも一定のデータビット数を採用することになるので、主フィールドの数を動作制御データのサイズに応じて増減可能としておけば、より多様な動作制御データ内容に対応することができる。この場合、当該主フィールドの数に応じてデータ長フィールドに記述されるデータ長を変更すればよい。

また、主フィールドに記述された動作制御データに基づく制御対象外部機器への命令実行順位を一義的に特定する命令番号を格納する命令番号フィールドが識別フィールドとデータ長フィールドとの間に設けることができる。この場合、主フィールドの記述内容と命令番号とが同一のフレーム構造データを、複数の映像フレームないし映像フィールド（この場合のフィールドは、例えばインターレース走査方式において映像フレームを分割フィールドのことであり、フレーム構造データにおけるデータ格納領域を示すフィールドとは概念の異なるものである）に繰り返し埋め込むことができる。つまり、複数の同じ命令番号による同じ動作制御データを繰り返し映像に埋め込むことで、そのいずれかがノイズ等により読み取り不能だった場合のフェールセーフとして機能させることができる。

次に、情報組み込みマーク画像は、相対的な位置関係が一定に定められた一定個数の複数画素からなる画素集合単位に区切られてなり、制御用ビットデータ復号化手段は、該画素集合単位に属する個々の画素の出力設定値に対し、それら出力設定値を互いに演算結合する予め定められた復号化準備演算を施すとともに、その復号化演算結果に基づいて制御用ビットデータへの復号化を行なうものとして構成することができる。すなわち、この構成においては、画素の出力設定値を単独で制御用ビットデータに対応付けるのではなく、複数個の画素（画素集合単位）の出力設定値を演算結合して得られる結果に制御用ビットデータを対応付けることになる。これにより、情報組み込みマーク画像を構成する画素の設定値は、演算が介在する分だけ、制御用ビットデータとして同一の復号化結果を得る上での自由度が増し、映像再生時における情報組み込みマーク画像の表示形態を大幅に拡張できる利点が生ずる。特に、情報組み込みマーク画像の周囲に存在する主画像の画素との間の出力設定値差をそれほど拡大せずに制御用ビットデータを組み込むことも十分可能となり、映像視聴中に情報組み込みマーク画像が分離して見える違和感を大幅に軽減することができる。

この場合、上記の画素集合単位を、相対的な位置関係が一定に定められた画素対からなる情報組み込み画素対として定めることができる。このようにすると、復号化準備演算に供する画素の出力設定値の総数が２個で済み、復号化手順の簡略化を図ることができる。

情報組み込み画素対は、同一フレーム内にて互いに隣接する画素対として定めることができる。同一フレーム内で互いに隣接する画素対は、画素の設定値も比較的接近していることが多く、制御用ビットデータを組み込んだ状態においても視覚的な違和感をより感じ難くなる。

情報組み込み画素対は、同一走査線上にて隣接関係にある画素対とすることができる。このようにすると、走査シーケンスに従って順次取り込まれる画素の出力設定値を直ちに復号化準備演算に供することができ、情報組み込み画素対の特定ひいては復号化手順の簡略化を図ることができる。他方、情報組み込み画素対は、同一フレーム内にて互いに隣接する走査線間にて隣接関係にある画素対として定めることも可能であり、さらに、互いに隣接するフレーム間にて隣接関係にある画素対として定めることも可能である。これらの隣接画素対は、走査線ないしフレームは異なるが、走査線内ないしフレーム内での序列は同一となるので、情報組み込み画素対の特定処理の簡略化を図ることができる。

制御用ビットデータ復号化手段は、復号化準備演算として情報組み込み画素対の出力設定値の差分演算を行なうものとすることができる。そして、該差分演算により得られる差分値の予め定められた閾値との比較に基づいて制御用ビットデータへの復号化を行なうことができる。この方式によると、閾値との大小関係判定に必要十分な出力設定値を情報組み込み画素対に与えるだけで制御用ビットデータの組み込み処理を簡単に行なうことができ、また、復号化準備演算も単なる「引き算」を実行するだけでよいので、処理手順の大幅な簡略化を図ることができる。

この場合、情報組み込み画素対は、本来主画像を構成していた対応する原画素対の出力設定値を、意図された内容の制御用ビットデータを与える差分値を復号化準備演算により得られるものとなるように補正変換して生成することができる。つまり、組み込むべき制御用ビットデータに対応した所望の差分値を生ずるように、もともと主画像に属していた原画素対の出力設定値の一方又は双方を補正シフトすることにより情報組み込み画素対とするので、原画素対から出力設定値をそれほど変化させずともこれを情報組み込み画素対に変換でき、映像視聴上より目立ちにくい制御用ビットデータの組み込みが可能となる。

この場合、復号化に際して、前記差分値が予め定められた余裕度以上となるように、原画素対を情報組み込み画素対に変換するための出力設定値の補正内容を定めることができる。余裕度Ｄを適正に与えることで、当該余裕度Ｄの範囲内にてノイズ等に対する耐性を付与することができる。

次に、拡張映像フレームのデータは、出力モニタの各画素の出力設定状態を定める画素設定情報を、出力モニタに拡張映像フレームを表示する走査線上の画素順位に従って配列したものとすることができる。この場合、情報組み込みマーク画像の表示領域を、映像フレーム上の予め定められた位置の走査線として定めることができる。これにより、走査線の表示出力の同期信号から情報組み込みマーク画像の表示領域として使用される走査線の到来を容易に把握することができる。

拡張映像データの再生により得られる拡張映像信号は、映像の出力モニタと本発明の制御対象外部機器制御装置とに分配入力することができる。この場合、主画像再生映像信号は情報組み込みマーク画像とともに出力モニタへ映像出力されることとなる。また、拡張映像信号を、一旦本発明の制御対象外部機器制御装置に入力し、出力モニタに転送することも可能である。この場合、主画像再生映像信号とともに情報組み込みマーク画像再生映像信号も出力モニタに転送するようにしてもよいし、情報組み込みマーク画像再生映像信号を本発明の制御対象外部機器制御装置内で除去（フィルタリング）してから出力モニタへ転送するようにしてもよい。

いずれの方式においても、主画像再生映像信号と情報組み込みマーク画像再生映像信号との双方が出力モニタの送られる構成の場合、情報組み込みマーク画像自体は、本来視聴者の興味の対象とはならないものであるし、その映像を直接視認しても何を意味する内容であるかはわからないことのほうが多い。そこで、この情報組み込みマーク画像が、なるべく主画像再生映像の視認の妨げとならないように配慮することが望ましい。

例えば、出力モニタの走査方式がラスタ走査方式である場合、映像フレーム上の上下方向いずれかの端部に位置する１又は複数本の走査線を情報組み込みマーク画像の表示領域として定めることができる。この構成では、情報組み込みマーク画像となる走査線が画面の上下の端にしか現われないので、主画像を視聴する上でも気になりにくい。

また、画像フレームの切替えインターバル期間は、出力モニタ側の映像信号の各画素への出力が遮断され、映像非表示となるので、この期間を利用して情報組み込みマーク画像再生映像信号を出力するようにしてもよい。

情報組み込みマーク画像は、走査線上にて互いに隣接する出力設定状態が一律に定められた複数個の画素からなる画素集合単位に区切ることができ、制御用ビットデータ復号化手段は、該単位画素集合に定められた出力設定値に基づいて制御用ビットデータへの復号化を行なうものとすることができる。これにより、ノイズ等によるエラー発生を抑制することができる。

本発明の映像連動型制御対象外部機器制御装置を用いたシステム構成の模式図。 拡張映像データの一例を示す概念図。 情報組み込みマーク画像の画素構成の第一例を示す模式図。 画素構成の第二例を示す模式図。 輝度情報の量子化とビットデータとの対応関係を示す図。 色情報の量子化とビットデータとの対応関係を示す図。 フレーム構造データの一例を示す概念図。 輝度情報を用いたフレーム構造データに対応する情報組み込みマーク画像の例を示す図。 色度情報を用いたフレーム構造データに対応する情報組み込みマーク画像の例を示す図。 映像連動型外部機器制御装置のハードウェア構成の第一例を示すブロック図。 映像連動型外部機器制御装置のハードウェア構成の第二例を示すブロック図。 隣接画素の差分により制御用ビットデータを組み込む第一例を示す模式図。 同じく第二例を示す模式図。 同じく第三例を示す模式図。 映像連動型外部機器制御装置のハードウェア構成の第三例を示すブロック図。 隣接画素の差分により制御用ビットデータを組み込む処理の流れを示すフローチャート。 隣接画素の差分により制御用ビットデータを組み込む場合の効果を示すグラフ。

以下、本発明の実施の形態を添付の図面により説明する。
図１は、本発明の映像連動型制御対象外部機器制御装置のシステム構成の一例を概略的に示すものである。映像連動型制御対象外部機器制御装置６０は、主画像の映像信号を出力するための第一映像（動画）データに、制御対象外部機器の動作制御に使用する制御情報内容を反映した情報組み込みマーク画像の映像信号を出力するための第二映像（動画）データが付加された拡張映像データを映像（動画）データ源として使用する。そして、拡張映像（動画）データを再生する映像（動画）再生装置６１と制御対象外部機器６２とが接続して使用される。本実施形態では、映像連動型制御対象外部機器制御装置６０にテレビ受像機等からなる出力モニタ５０（音声出力用のスピーカ５１を備えている）も接続されている。拡張映像データは、ＤＶＤやビデオテープなどの映像記録媒体６１Ｍに記録されて映像再生装置６１で再生され、出力モニタ５０で主画像を含む映像を視聴することができる。

後述の回路構成により、映像連動型制御対象外部機器制御装置６０には次のような機能が搭載されている。
・マーク画像再生映像信号抽出手段：映像データの再生に伴い再生装置から出力される、第一映像データに基づく主画像再生映像信号に第二映像データに基づく情報組み込みマーク画像再生映像信号が付加された拡張映像信号から、マーク画像再生映像信号を抽出する。
・動作制御データ復号化手段：マーク画像再生映像信号の内容を解析して、制御対象外部機器６２が自身の動作制御処理を行なうために直接読み取り可能な動作制御データに復号化する。
・動作制御データ出力手段：該復号化された動作制御データを制御対象外部機器に出力する。

映像連動型制御対象外部機器制御装置６０は、主画像を再生するための第一映像データに、制御対象外部機器６２を制御するための情報として、制御対象外部機器の動作制御に使用する制御情報内容を反映した情報組み込みマーク画像の映像信号を出力するための第二映像データを付加した拡張映像データを用い、その拡張映像データを再生装置６１で再生して得られる拡張映像信号より、マーク画像再生映像信号を抽出して直接解読（復号化）し、制御対象外部機器６２を制御する装置である。

図１に実線（１）（２）で示すように、拡張映像データの再生により得られる拡張映像信号は、一旦外部機器制御装置６０に入力し、該外部危機制御装置６０から出力モニタ５０に転送するようになっている。この場合、主画像再生映像信号とともに情報組み込みマーク画像再生映像信号も出力モニタ５０に転送するようにしてもよいし、情報組み込みマーク画像再生映像信号を本発明の外部機器制御装置６０内で除去（フィルタリング）してから出力モニタ５０へ転送するようにしてもよい。他方、拡張映像データの再生により得られる拡張映像信号を、一点鎖線（３）（４）に示すように、出力モニタ５０と外部機器制御装置６０とに分配入力するようにしてもよい。いずれも、出力モニタ５０（テレビ受像機）に映される映像情報と連動して外部機器制御装置６０を制御することが可能になる。

例えば、販売対象となる電気機器を制御対象外部機器６２としたとき、その制御情報を情報組み込みマーク画像の形で付加した説明の映像をビデオテープ、ＤＶＤなどの媒体６１Ｍに録画して用意する。そして、映像再生装置６１、出力モニタ５０、外部機器制御装置６０及び制御対象外部機器６２を接続すると、出力モニタ５０の映像（ならびに音声）による説明に合わせて制御対象外部機器６２が連動制御され、リアルな商品説明が可能になる。制御対象外部機器がマッサージ機器等であれば顧客は連動制御されるマッサージ機器の効果を体感しながら、また、電動模型等であればその動作確認をしながら映像による詳しい説明が視聴できるようになる。また、例えば子供向けの教材などであれば、制御対象外部機器６２として上記教材としてのロボット６２等を用意しておくことで、媒体６１Ｍ（ビデオ、ＤＶＤ等）の再生画面に合わせてロボットにポーズ動作を行なわせたり、お喋りをさせたりすることが可能になり、従来の教材よりもリアルに楽しく学習できるようになる。また、制御情報内容の異なる媒体に交換すれば、ロボットはそれに合わせて異なる動作をするため、発展性も考えられる。

ＮＴＳＣ信号規格のテレビ信号（映像信号）を用いる場合を例にとり説明する（ただし、映像信号の種別はこれに限定されるものではない）。図２に示すように、市販の多くのテレビ受像機においてテレビ信号はインターレース走査を行なっており、１枚の画像は偶数走査線１０１Ａと奇数走査線１０１Ｂから構成される２枚のフィールド画像５０Ａ，５０Ｂにより構成されている。各フィールド画像の走査線数は２６２．５本あるが、そのうち映像を表示可能な走査線数は約２４０本である。

拡張映像フレームのデータは、出力モニタ５０の各画素の出力設定状態を定める画素設定情報を、出力モニタ５０に拡張映像フレームを表示する走査線１０１Ａ，１０１Ｂ上の画素順位に従って配列したものであり、情報組み込みマーク画像１０４の表示領域は、映像フレーム上の予め定められた位置の走査線１０１Ａ，１０１Ｂとして定められている。

情報組み込みマーク画像１０４は任意の走査線に挿入することが可能であり、表示期間に挿入すれば視覚的に情報を見ることも可能である。しかし、主画像再生映像信号と情報組み込みマーク画像再生映像信号との双方が出力モニタ５０に送られる構成の場合、情報組み込みマーク画像１０４自体は、本来視聴者の興味の対象とはならないものであるし、その映像を直接視認しても何を意味する内容であるかはわからないことのほうが多い。この場合、この情報組み込みマーク画像１０４が、なるべく主画像再生映像の視認の妨げとならないように配慮することが望ましいともいえる。

例えば、出力モニタ５０の走査方式が上記のようなラスタ走査方式である場合、図２に示すように、映像フレーム上の上下方向いずれかの端部に位置する１又は複数本の走査線１０１Ａ，１０１Ｂを情報組み込みマーク画像１０４の表示領域として定めることができる。この構成では、情報組み込みマーク画像１０４となる走査線１０１Ａ，１０１Ｂが画面の上ないし下の端にしか現われないので、主画像を視聴する上でも気になりにくい。

また、画像フレームの切替えインターバル期間は、出力モニタ５０側の映像信号の各画素への出力が遮断され、映像非表示となるので、この期間を利用して情報組み込みマーク画像再生映像信号を出力するようにしてもよい。この方式では、映像に全く影響を与えずに制御可能である。また、複数の走査線を情報組み込みマーク画像１０４に割り当てることで、より大量の情報を埋め込むことが可能である。

次に、情報組み込みマーク画像１０４は、図３に示すように、出力設定値が一律に定められた複数画素１００からなる画素集合単位１０５Ａ，１０５Ｂ，１０５Ｃに区切られている。そして、該画素集合単位１０５Ａ，１０５Ｂ，１０５Ｃ毎に定められた出力設定値に基づいて制御用ビットデータへの復号化が行なわれる。本実施形態においては、図３に示すように、情報組み込みマーク画像１０４は、走査線１０１Ａ，１０１Ｂ上にて互いに隣接する出力設定状態が一律に定められた複数個の画素（ここでは８画素）からなる画素集合単位１０５Ａ，１０５Ｂ，１０５Ｃに区切られている。

以下、制御情報を情報組み込みマーク画像１０４の形で映像データに付加する方法について、図２を用いて説明する。ここでは、横：６４０画素×縦：４８０画素の表示画面内に配置し、番号１〜４８０の走査線中の４７９，４８０走査線に固定として埋め込むものとする。この場合、制御情報は各フィールド５０Ａ，５０Ｂの表示期間の最後（２４０番目）の走査線に位置する。

情報組み込みマーク画像１０４は走査線中の任意位置より任意長にて挿入することが可能である。ここで、情報組み込みマーク画像１０４の構成画素数が少ないほど、１本の走査線１０１により多くの情報を埋め込むことが可能であるが、画像の圧縮方法やビデオ機器の画像劣化を考慮する必要がある。ここでは、１から６４０番目の画素のうち、先頭の１番目より開始し、図３にて説明したごとく、各画素集合単位１０５Ａ，１０５Ｂ，１０５Ｃの長さは８画素とする。この場合、１走査線には最大８０個の画像データを埋め込み可能である。また、走査線１０２Ａ，１０２Ｂ上において互いに隣接する複数の画素集合単位１０５Ａ，１０５Ｂ，１０５Ｃ（ここでは、３個）が組をなし、該組の復号化により得られる制御用ビットデータが、動作制御データの記述単位フィールド１０４を構成している。

なお、図４に示すように、画像フレーム上にて隣接する複数本の走査線１０２Ａ，１０２Ｂにまたがる形で画素集合単位１０５Ａ，１０５Ｂ，１０５Ｃを設定するようにしてもよい。

画像を構成する画素の出力設定値は、序列の予め定められた２ビット以上の複数段階に量子化され、該出力設定値の序列上の順位と、制御情報内容を記述するための複数ビットからなる制御用ビットデータとの間に一義的な対応関係を定める。そして、マーク画像再生映像信号に反映される画素の出力設定値を検出して、上記の対応関係に基づいて制御用ビットデータに復号化する。つまり、制御情報を映像における輝度情報、又は、カラー情報に変換して映像に埋め込むようにする。例えば、輝度情報は振幅として８ビット程度の分解能を有しており、細分化した方が多くの情報を埋め込むことが可能であるが、ここでは、図５に示すように輝度情報を３ビット（８段階）に判別するものとする。また、図６に示すようにモニタのカラー情報である赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の有無により３ビットの表現をすることも可能である。このように、図３の情報組み込みマーク画像１０４を構成する画素集合単位１０５Ａ，１０５Ｂ，１０５Ｃに３ビットの情報を持たせた場合、１走査線に埋め込まれる最大の制御情報は、３×８０＝２４０ビットとなる。なお、輝度情報を用いて３ビットの情報を書き込む場合は、原画像の色は変えずに明度のみを情報で置き換えることで、主画像の変化を最小限に留める形で、視聴の妨げとならないよう配慮することができる。つまり、主画像の色情報は引き継ぎつつ明度の情報はマーク画像として必要な情報が反映されるよう、主画像の明度から変更することで、マーク画像の画素を主画像の画素にも兼用させることが可能である。

次に、情報組み込みマーク画像１０４に制御情報を埋め込むための符号化の例を、図７を用いて説明する。映像データは画像圧縮やアナログレコーダによる画像記録等により劣化するため十分なノイズ対策を施す必要がある。また、表示画面を誤って制御情報と認識しないように考慮する必要がある。そこで、制御情報のヘッダ部分には、識別コード、命令番号、データ長を付加し、水平・垂直パリティ方式を導入する。

具体的には、前述の記述単位フィールド（図７において、各フィールドの特定番号を１〜７で示している）が複数集合して制御対象外部機器への動作制御データの出力単位となるフレーム構造データを構成している。当該フレーム構造データは、その出力時系列における先頭側から、以降の画素列が動作制御データを記述するフレーム構造データであることを識別するための識別フィールド（１）と、フレーム構造データのデータ長を示すデータ長フィールド（３）と、制御対象外部機器６２への動作制御データ内容を示す主フィールド（４，５，６）とをこの順で含んでいる。また、各記述単位フィールドを構成する制御用ビットデータのデータビット数は同一（ここでは、パリティビットを含めて９ビット）とされ、各記述単位フィールドのデータビット列の末尾が、当該データビット列のパリティチェックを行なうための垂直パリティビットＶＲＣとされている。また、データ長（３）により特定されるフレーム構造データの最終記述単位フィールドが、先行する記述単位フィールドの互いに対応する順位のデータビットを個別に集めてパリティチェックを行なうための複数の水平パリティビットを集めた水平パリティフィールドＬＲＣ（７）とされている。さらに、主フィールド（４，５，６）に記述された動作制御データに基づく制御対象外部機器への命令実行順位を一義的に特定する命令番号を格納する命令番号フィールド（２）が識別フィールド（１）とデータ長フィールド（３）との間に設けられている。

識別フィールド（１）には識別コードが書き込まれるとともに命令の先頭に位置し、このコードを取得しない場合には、フレーム構造データに制御命令が含まれないと判定することで誤認識を防ぐ。

また、命令番号フィールド（２）には、新たな制御情報ごとに１増える命令番号が書き込まれる（２５５の次は０から再開する）。このような命令番号を付加しつつ、複数の画像フィールド（あるいは画像フレーム）に渡って、同じ命令番号を有する同じ制御情報を埋め込む。そして、ある命令番号の制御情報の実行に失敗した場合は、同じ命令番号の次の制御情報を用いてリトライすることで、認識率が向上する。このために、同じ情報を、命令番号を変えずに複数回重複して書き込んで置く。なお、同じ制御情報の実行が無意味に繰り返されないようにするため、同じ命令番号で１度実行した後は、そのあとに現われる同一命令番号の制御情報を受け付けないようにしておく。つまり、各命令番号の制御情報の内容について、上記のごとき厳重なパリティイチェック等により誤りを検出し、誤りがなければ、その命令番号と同一の命令番号の制御情報を全てを除外して、次の新しい番号の命令を受け付るようにするのである。また、例えばＤＶＤのチャプタを変更した場合等においては、新たに異なる命令番号が出現するため、取得した命令番号情報を直ちに新しい命令番号情報として認識する（つまり、先行するチャプタとの間では、命令番号の同一性判定は行なわない）。

また、データ長（３）は命令のバイト数であり、水平パリティ（ＬＲＣ）フィールド（７）の位置を示すために付加される。データ８ビットにパリティビット（ＶＲＣ）を加えて９ビットとして（図７の横方向に）垂直パリティチェックを行い、さらに、（図７を縦方向に見て）水平パリティチェックを行なうことで誤認識を防ぐ。

次に、主フィールド（４，５，６）は動作制御データを記述するためのものであり、上記パリティチェックの関係上、一定のデータビット数で構成される。ここでは、主フィールドの数を動作制御データのサイズに応じて増減可能とされる（図７では３フィールドが割り当てられている）。また、該主フィールドの数に応じてデータ長フィールドに記述されるデータ長は変更される。図７において、主フィールド（４）に格納される制御命令１（＄１３）は１語命令で、例えば制御対象外部機器を初期化する動作を行なうものとする。また、主フィールド（５）の制御命令２（＄２０）は２語命令で、例えばその次の、主フィールド（６）内の制御データ（＄ＡＡ）をポートに出力し、制御対象外部機器を制御するようにする。このように、複数の命令長を用意することで多数の命令に対応することができる。

さて、８ビットの命令データに垂直パリティ１ビットを付加したデータは９ビットとなり、３ビット×３によりパターン化される（記述単位フィールド１０４）。これを輝度パターンと色パターンにて表現したものを図７の右側に示し、図２の画面の番号４７９及び４８０の走査線に表示する、上記記述単位フィールドをなす情報組み込みマーク画像１０４の表示例を図８及び図９にそれぞれ示す。

図１０は、情報組み込みマーク画像１０４の映像信号から輝度パターンを認識し、制御対象外部機器を制御するための、本発明の映像連動型外部機器制御装置６０の回路構成例を示すものである。映像再生装置の映像出力信号（前述の拡張映像信号となっている）は本装置の映像信号入力に接続される。そして、該入力される映像信号が分岐され、一方がバッファアンプ（ＡＭＰ）２０２にて負荷保証された形でモニターテレビの映像入力信号として使用される。

一方、分岐された他方の映像入力信号はバッファアンプ（ＡＭＰ）２０１により振幅補正された後、Ｙ／Ｃ分離・同期信号分離回路２０３により、輝度信号（Ｙ信号）と同期信号に分離される。クロック生成・タイミング制御回路２０７は、分離された同期信号よりＡＤ変換器２０４の量子化サンプリングのクロック（ＣＫ）や、信号レベル保持のためのクランプ（ＣＬＰ）信号を生成し、また、３ｔｏ９データ変換回路２０５において必要となる制御タイミング信号を作る。本実施形態では、Ｙ／Ｃ分離・同期信号分離回路２０３とＡＤ変換器２０４とのブロックが一体化されたビデオデコーダＬＳＩ（商品名：ＭＬ８６Ｖ７６６７（沖電気工業株式会社製））を使用している。また、データ変換回路２０５とクロック生成・タイミング制御回路２０７とのブロックが一体化されたゲートアレイ（製品名：ＸＣ９５７２（ＸＩＬＩＮＸ社製））を使用している。さらに、マイクロコンピュータ２０６はＡＴ９０Ｓ２３１３（ＡＴＭＥＬ社製）を使用している。

輝度信号（Ｙ信号）は、Ａ／Ｄ変換器２０４により０〜７の３ビットディジタルデータに変換される。なお、情報組み込みマーク画像１０４は決められた走査線上の決められた順位の画素に割り当てられている。そして、現在の映像信号が何番目の走査線に対応しているかは、クロック生成・タイミング制御回路２０７内にて、画像フレームの垂直同期信号を検出後、各走査線の水平同期信号の計数により把握でき、情報組み込みマーク画像１０４が割り振られた走査線が到来すれば、データ変換回路２０５にデータ変換のサンプリング指令信号を出力する。

データ変換回路２０５では、図３に示す３つの画素集合単位１０５Ａ，１０５Ｂ，１０５Ｃに対応した３回のデータサンプリングを行い、９ビットの記述単位フィールドのデータに変換した後、同回路２０５にて垂直パリティチェックを行なう。そして、パリティビットを除いたデータ部の８ビットがマイクロコンピュータ２０６に転送される。Ａ／Ｄ変換器２０４が動作制御データ復号化手段の要部を構成し、データ変換回路２０５がマーク画像再生映像信号抽出手段の要部を構成していることが明らかである。ただし、回路構成から明らかなごとく、データ変換回路２０５は、マーク画像再生映像信号とともに主画像再生映像信号のディジタル化も行なっており、データ変換回路２０５にてマーク画像再生映像信号に対応するディジタルのビットデータを抽出する形となっている。また、マイクロコンピュータ２０６は、所定のプログラム実行に基づいて動作制御データ出力手段として機能する。なお、本実施形態では、マーク画像再生映像信号が付加された拡張映像信号からマーク画像再生映像信号を抽出する処理が、信号をディジタル化してから行なわれていることが明らかである。

アナログ映像信号では、量子化（ディジタル化）後において走査線上の全ての画素を識別可能とできるほどの解像度は有していないことが多く、この場合は、連続する複数画素の期間は同一出力を設定することで信号の経時的な安定化を図ることができ、量子化後の設定値認識を行なう上での誤差を大幅に低減することができる。

データ変換回路２０５とマイクロコンピュータ２０６との間では、ステータス信号（ＳＴＡＴＵＳ）、アクノリッジ信号（ＡＣＫ）及びデータ信号（ＤＡＴＡ）のやり取りがなされる。ＳＴＡＴＵＳには、ＳＴＡＲＴフラグ、ＥＲＲフラグ、ＤＡＴＡフラグ及びＶＲＣフラグの出力が用意されている。ＳＴＡＲＴフラグは先頭命令データを出力する場合にセットされ、ＥＲＲフラグは垂直パリティエラーを検出した場合にセットされ、ＤＡＴＡフラグは８ビットデータが揃った時にセットされ、ＶＲＣフラグはデータにおける１の数が奇数の時にセットされる。これらのフラグは、マイクロコンピュータ２０６がデータを受理した時に返されるＡＣＫ信号によりクリアされ、次のデータが揃った時にその内容により設定される。マイクロコンピュータ２０６は次節の処理手順に沿って制御情報を処理し、制御対象外部機器に対して制御出力を行なう。

また、映像再生装置６１からの音声信号には、２チャンネル以上の音声情報を記録することが可能であり、例えば、ステレオ音声の場合には一方のチャンネルの信号を出力モニタ５０のモニタ音声として使用し、他方のチャンネルの信号を例えば接続したロボット（制御対象外部機器）の音声として独立に喋らせることが可能である。このために、本装置には音声入力端子（Ｌ，Ｒ）を備えており、バッファアンプ３０１を介して音声チャネル選択器３０３に入力され、ここで選択したチャンネルの音声を、バッファアンプ３０４を介して制御対象外部機器に出力可能にしている。なお、映像再生装置６１からの音声信号は、バッファアンプ３０２を介して図１の出力モニタ５０のスピーカ５１へも分配出力されるようになっている。

図１１は、情報組み込みマーク画像１０４の映像信号から色パターンを認識して制御対象外部機器を制御するための、本発明の映像連動型外部機器制御装置６０の回路構成例を示すものである。色パターンを認識するために、色信号処理回路２０３’により映像信号を赤色（Ｒ信号）、緑色（Ｇ信号）、青色（Ｂ信号）の強度信号に変換し、これを比較器２０４’による閾値処理により各色の有無を判定して、データ変換回路２０５にてビットデータに変換する。残余の構成は図１０と全く同じなので、詳細な説明は省略する。

なお、動作制御データ（あるいは音声）の制御対象外部機器への出力は、伝送線による有線接続により行なってもよいし、電波・赤外線等を用いた無線接続により行なってもいずれでもよい。

以上のようにして復号化された制御用ビットデータは、マイクロコンピュータ２０６によりＳＴＡＴＵＳ信号を監視しながら次の手順により取得される。
（１） ＳＴＡＲＴフラグを監視し、セットを確認後次のステップに移行する。
（２） ＥＲＲフラグがセットされていれば、ＡＣＫ信号を送信し（１）に戻る。
（３） ８ビットデータ（制御用ビットデータ）を受理し識別コード（＄Ｅ３）で無ければＡＣＫ信号を送信し（１）に戻る。
（４） ＡＣＫ信号を送信し全てのフラグをクリアする。
（５） ＤＡＴＡフラグを監視し、セットを確認後次のステップに移行する。
（６） ＥＲＲフラグがセットされていれば、ＡＣＫ信号を送信し（１）に戻る。
（７） データを受理し前の命令番号と同じであれば、ＡＣＫ信号を送信し（１）に戻る。
（８） ＡＣＫ信号を送信し全てのフラグをクリアする。
（９） ＤＡＴＡフラグを監視し、セットを確認後次のスッテプに移行する。
（１０）ＥＲＲフラグがセットされていれば、ＡＣＫ信号を送信し（１）に戻る。
（１１）データを受理しデータ長を内部レジスタに設定する。
（１２）ＡＣＫ信号を送信し全てのフラグをクリアする。
（１３）ＤＡＴＡフラグを監視し、セットを確認後次のステップに移行する。
（１４）ＥＲＲフラグがセットされていれば、ＡＣＫ信号を送信し（１）に戻る。
（１５）データを受理してメモリに命令データを順次格納する。
（１６）ＡＣＫ信号を送信し全てのフラグをクリアする。
（１７）データ長の内部レジスタを１減じ、０でなければ（１３）に戻る。
（１８）ＤＡＴＡフラグを監視し、セットを確認後次のステップに移行する。
（１９）ＥＲＲフラグがセットされていれば、ＡＣＫ信号を送信し（１）に戻る。
（２０）データを受理してパリティチェックを行い、異常があればＡＣＫ信号を送信し（１）に戻る。
（２１）ＡＣＫ信号を送信し全てのフラグをクリアする。

マイクロコンピュータ２０６は以上の処理により正常な命令データを受理し、メモリに格納された命令データの実行処理を行なった後、再び（１）に移行し命令待機状態となる。命令の実行処理では、例えば、図７のコマンド例における制御命令１（＄１３）を受理すると外部機器を初期化し、制御命令２（＄２０）に続いて制御データ（＄ＡＡ）を受理するとポートに＄ＡＡを出力して制御対象外部機器の制御を行なう。

以上の実施形態では、情報組み込みマーク画像は、情報組み込みマーク画像を構成する画素の出力設定値そのものを閾値と比較して、制御用ビットデータへの二値化による復号化を行なっていた。また、複数画素を集合として取り扱うことはあっても、それら画素の設定値は集合内で同一であるか、あるいは平均値などにより、当該画素集合の出力設定値として１つの代表値が採用されていることに何ら変わりなかった。

しかし、これとは別の手法として、次のような方法が可能である。情報組み込みマーク画像を、相対的な位置関係が一定に定められた一定個数の複数画素からなる画素集合単位に区切り、該画素集合単位に属する個々の画素の出力設定値に対し、それら出力設定値を互いに演算結合する予め定められた復号化準備演算を施すとともに、その復号化演算結果に基づいて制御用ビットデータへの復号化を行なう。

画素集合単位を構成する画素数（すなわち、出力設定値が復号化準備演算にて互いに結び合わされる画素数）は３以上であってもよいが、基本的には２つの画素、つまり画素対として設定するのが最も簡便な方法である（ただし、演算に供する画素数を増やせば、ノイズにより特定の出力設定値が変動した場合にも、その影響を小さく留めることができる利点はある）。この場合、相対的な位置関係が一定に定められた画素対、特に、フレーム内ないしフレーム間で互いに隣接した画素対を情報組み込み画素対とするのが、処理上も有利である。

画像情報は平面空間に連続であるため近傍画素は近い値を持つ。さらに、連続画像であるビデオ画像情報は時間軸において連続であるため、隣り合うフレーム（ＮＴＳＣの場合、撮影記録単位で１／３０秒毎の撮影画像）における同じ位置の画素は近い値を持つ。すなわち、
（１）水平ライン上の画素情報においては隣り合う画素の出力設定値は近い値をもつ（隣接相関）；
（２）連続する上下ラインの同じ位置の画素の出力設定値は近い値を持つ（ライン相関）；
（３）連続するフレームの同じ位置の画素の出力設定値は近い値を持つ（フレーム相関）；
の３つの関係がある。この相関関係を利用すれば、情報組み込み画素対に対し、制御用ビットデータの内容を特定するための差分値として付加することで、映像上も少ない変化量（目立たない）にて情報を組み込むことができる。

差分によるビットデータの内容判定（Ｈ：１，Ｌ：０）は、情報組み込み画素対の各出力設定値ａ，ｂにおいて、引算ａ−ｂ＝ｃにより差分値ｃを求め、例えば、ｃ≧０の時Ｈ、ｃ＜０の時Ｌとする（この場合、閾値は０であるが、ゼロ以外の値を閾値として用いてもよい）。これより、Ｈの情報を組み込む時にはｃ≧０となるように情報組み込み画素対の出力設定値ａ，ｂを操作し、Ｌの情報を組み込む時にはｃ＜０となるようにａ，ｂを補正操作すれば制御用ビットデータを問題なく読み取ることができる。

ここでは、ノイズ等への耐性を持たせるために、余裕度Ｄの概念を導入する。すなわち、該余裕度Ｄを用いた次の関係を満たすように最小の変化量にてａ，ｂを操作してａ’，ｂ’を書込む。
Ｈ：ａ’−ｂ’＝Ｄ
Ｌ：ａ’−ｂ’＝−Ｄ
Ｄ＞０ ‥（５１）
例えば、元の値がａ＝１００，ｂ＝１００で余裕度Ｄを１０に設定した場合、Ｈの情報を組み込む場合は、ａとｂとの平均値をとると、
（ａ＋ｂ）／２＝１００ ‥（５２）
なので、
ａ’＝ （（ａ＋ｂ）／２）＋Ｄ／２＝１００＋５＝１０５
ｂ’＝ （（ａ＋ｂ）／２）−Ｄ／２＝１００−５＝９５ ‥（５３）
とし、元の主画像の画素対の出力設定値ａ，ｂを、上記ａ’，ｂ’に補正シフトし、情報組み込み画素対の出力設定値とする。また、Ｌの情報を組み込む場合は、
ａ’ ＝ （（ａ＋ｂ）／２） −Ｄ／２＝１００−５＝９５
ｂ’ ＝ （（ａ＋ｂ）／２） ＋Ｄ／２＝１００＋５＝１０５ ‥（５４）
とし、ａ，ｂをａ’，ｂ’に同様に補正シフトする。

このように、主画像の画素対が隣接画素であるため、出力設定値ａ，ｂはもともと接近しており、比較的少ない補正シフト量（この例の場合は５）にて情報の組み込みが可能となっていることがわかる。また、例えば、主画像の画素対の出力設定値ａ＝１１５、ｂ＝１００である時にＨの情報を組み込む場合は、
ａ−ｂ＝１５≧Ｄ（＝１０） ‥（５５）
となり、主画像の画素対は、その出力設定値を変化させることなく（つまり、補正なしで）情報組み込み画素対として流用できる。

相関関係による近い値を持つ情報組み込み画素対の出力設定値に対して、制御用ビットデータを差分として組み込む方法を採用することで、原画像に対して少ない変化量による目立たない制御用ビットデータの組み込みが実現できるのである。

以下、さらに具体的に説明する。図１の映像連動型外部機器制御装置６０は、ここでは画素対の出力設定値の読み込みと、それを用いた復号化準備演算及び復号化処理とを担うことになる。制御装置６０を含む全体のシステム構成は図１と同様である。近年、パーソナルコンピュータ（ＰＣ）は演算能力が増大し、実時間にて埋め込み画像より制御情報を復号し外部機器６２を制御する能力を備えている。ここでは、図１５に、実施例として制御装置を、ＰＣ６０を主体に構成した例を示す。情報組み込みマーク画像を含む拡張映像データ（すなわち、制御情報が埋め込まれた画像情報）は、ＤＶＤなどのメディア（図１と同様のＤＶＤプレーヤーないしＶＴＲ（符号６１）や、インターネットによる配信、さらにはテレビ放送等をデータ源として、それに対応する画像入力インターフェース（具体的には、ＤＶＤドライブ、ＵＳＢインターフェース、ビデオキャプチャーカード、ＬＡＮカード、テレビチュナカード等）４０１をＰＣ６０に装備することで入力される。

ＰＣ６０は、ＣＰＵ４０３及びワークメモリ４０４を有した演算処理部４０２を備える。演算処理部４０２は、所定のプログラム処理に基づいて、拡張映像データの予め指定されているラインを構成する画素群から、情報組み込み画素対を取得するとともに、それらの画素設定値（ａ’，ｂ’）の比較演算により制御用ビットデータに順次展開する。そして、制御用ビットデータに対して既に説明したものと同様のエラーチェック処理や、識別コードによる判別処理が施され最終的な制御データが復号化される。そして、この情報は制御する機器に対応した制御出力インターフェース（ＵＳＢ、ＲＳ２３２、パラレルインターフェース等）４０３から外部機器６２に出力され、その制御に使用される。なお、制御装置６０は、上記のＰＣと同等の処理能力を実現するために専用に設計されたハードウェアでもよい。

復号化準備演算の方式としては、前述のごとく３種類ある。
（Ａ）隣接相関の利用：図１２において、フレームｆｚの水平ライン（走査線）ｌｙ上にて隣接位置Ｐｘ，Ｐｘ＋１を占める２つの画素ａ，ｂ。
（Ｂ）ライン相関：図１３において、フレームｆｚ上の連続する上下ライン（走査線）上ｌｙ、ｌｙ＋１の同じ水平位置Ｐｘの２つの画素ａ，ｂ
（Ｃ）フレーム相関：図１４において、隣接するフレームｆｚ、ｆｚ＋１上の同じ水平・垂直位置Ｐｘ，ｌｙを占めるの２つの画素ａ，ｂ。

以上の、いずれかの近い値を持つ２つの隣接画素の値ａ，ｂに対して補正操作を行なう。なお、画素の出力設定値とは、一般に用いられるＲ，Ｇ，ＢやＹ，Ｕ，Ｖの各要素の値のほか、それらを複合した値（例えば（Ｒ^２＋Ｇ^２＋Ｂ^２）^１／２）を使用してもよい。また、これにより、値ａ，ｂの範囲も異なるものとなるが、ここでは単純化するために０〜２５５の範囲の整数値を持つものとして説明する。また、ここではノイズ等に対する耐性を持たせるために前述の余裕度Ｄを導入するが、使用環境により余裕度Ｄの導入が必要とならない場合（例えば、劣化の全くないディジタル画像を扱う場合）もあり得る。

図１６は、上記２つの画素の出力設定値ａ，ｂに対して１ビットの制御用ビットデータ（Ｃ＝Ｈ ｏｒ Ｌ）を組み込むための、情報組み込み画素対の出力設定値ａ’，ｂ’を計算する手順を示す。
・Ｓ０１では、必要な情報を取得し初期設定する。
・Ｓ０２では、組み込む１ビットの制御用ビットデータ（Ｃ＝Ｈ ｏｒ Ｌ）により分岐する。
・Ｓ０３，０４では、元の画素の出力設定値ａ，ｂの差分値が余裕度Ｄを越えていれば何もせずにＳ０５にて値を置換え出力する。
・Ｓ０６，０７では、余裕度Ｄを内包した書込み値ａ’，ｂ’を算出する。
・Ｓ０８，１３では、数値が上限を超えている場合に分岐し、Ｓ１０，Ｓ１５にて調整する。
・Ｓ１２，０９では、数値が下限を超えている場合に分岐し、Ｓ１４，Ｓ１１にて調整する。
・Ｓ１６では、元の画素の出力設定値ａ，ｂの位置に算出した値ａ’，ｂ’を画像に書き込む。

上記（Ａ），（Ｂ），（Ｃ）の各相関関係を用いて、制御用ビットデータＥ３_Ｈ：１１１０００１１_Ｂに、さらに垂直パリティを付加した組み込み情報：１１１０００１１１_Ｂ（図７参照）を組み込む場合の、画素の出力設定値の補正計算例を表１、表３及び表５に示す（取得画素値は補正前の画素値を、書き込み画素値は補正後の画素値を意味する）。

表１における隣接相関（Ａ）による組み込み例では、水平ライン上の隣り合う画素の組（Ｄ０，Ｄ１），（Ｄ２，Ｄ３），（Ｄ４，Ｄ５）・・・を取得して値（ｂ，ａ）の組として代入する。これより最初の値はａ＝１０４，ｂ＝１００となる。これに対して最初の制御用ビットデータＨ（Ｈ：１，Ｌ：０）を組み込むために計算した結果として、ａ’＝１０７，ｂ’＝９７が得られる。同様にして、Ｄ０〜Ｄ１７の１８個の取得画素を用いて９個の制御用ビットデータ１１１０００１１１_Ｂを組み込むための書込み画素の出力設定値が算出される。この画像より、制御用ビットデータを復号化するには、（Ｄ０，Ｄ１），（Ｄ２，Ｄ３），（Ｄ４，Ｄ５）・・・の組に対して引算ａ−ｂ＝ｃにより差分値ｃを求め、ｃ≧０の時Ｈ（１）、ｃ＜０の時Ｌ（０）の判定すればよい。これにより、表２に示すように、ＨＨＨＬＬＬＨＨＨ＝１１１０００１１１_Ｂが制御用ビットデータの復号化結果として得られる。

表３におけるライン相関による組み込み例では、Ｌ４７８とＬ４７９の、連続する水平ラインの同じ垂直位置画素の出力設定値の組（Ｌ４７８：Ｄ０，Ｌ４７９：Ｄ０），（Ｌ４７８：Ｄ１，Ｌ４７９：Ｄ１），（Ｌ４７８：Ｄ２，Ｌ４７９：Ｄ３），・・・の値を取得し、値（ａ，ｂ）の組として代入することで書込み画素の出力設定値（ａ’，ｂ’）が算出される。ａ’の書込み情報値は４７８ラインにｂ’は４７９ラインへの書き換えにより組み込み画像が生成され、この画像は表４に示すごとく、正しい制御用ビットデータに復号化できる。

同様に、表５におけるフレーム相関による組み込み例では、連続するフレームＦ１とＦ２の同じ水平ラインＬ４７９の同じ垂直位置の画素の出力設定値の組（Ｆ１：Ｌ４７９：Ｄ０，Ｆ２：Ｌ４７９：Ｄ０），（Ｆ１：Ｌ４７９：Ｄ１，Ｆ２：Ｌ４７９：Ｄ１），（Ｆ１：Ｌ４７９：Ｄ２，Ｆ２：Ｌ４７９：Ｄ２），・・・の値を取得し、値（ａ，ｂ）の組として代入することで書込み画素の出力設定値（ａ’，ｂ’）が算出される。ａ’の書込み情報値はフレーム１の４７９ラインに、ｂ’はフレーム２の４７９ラインへの書き換えにより組み込み画像が生成され、表６に示すように正しい制御用ビットデータに復号化できる。

ここで、取得画素の出力設定値から書込み画素の出力設定値の減算による補正値は、例えば、表１のＤ０において−３，Ｄ１において＋３となり、画素の値の範囲０〜２５５に対して小さく画像変化は少ない。また、（Ｄ２，Ｄ３）では画像を変化させること無しに制御用ビットデータとして用いられる。表１の取得画素の出力設定値（実線）と書込み画素の出力設定値（破線）をグラフにした結果を図１７に示す。これより、２つの画素は出力設定値の差が十分に小さく、制御用ビットデータを組み込んだ画像と原画像とが目視により変化が判別できないレベルにまで抑制可能になっていることがわかる。

Claims (22)

1. 主画像の映像信号を出力するための第一映像データに、制御対象外部機器の動作制御に使用する制御情報内容を反映した情報組み込みマーク画像の映像信号を出力するための第二映像データが付加された拡張映像データを映像データ源として使用するとともに、前記拡張映像データを再生する映像再生装置と、前記制御対象外部機器とが接続して使用され、
   前記映像データの再生に伴い前記再生装置から出力される、前記第一映像データに基づく主画像再生映像信号に前記第二映像データに基づく情報組み込みマーク画像再生映像信号が付加された拡張映像信号から、前記マーク画像再生映像信号を抽出するマーク画像再生映像信号抽出手段と、
   前記マーク画像再生映像信号の内容を解析して、前記制御対象外部機器が自身の動作制御処理を行なうために直接読み取り可能な動作制御データに復号化する動作制御データ復号化手段と、
   該復号化された動作制御データを前記制御対象外部機器に出力する動作制御データ出力手段と、
   を備えたことを特徴とする映像連動型制御対象外部機器制御装置。
2. 前記拡張映像データは、出力モニタに前記主画像を表示するための映像フレームに、前記情報組み込みマーク画像を埋め込んだ拡張映像フレームのデータとして作成されてなり、前記マーク画像再生映像信号抽出手段は、当該拡張映像フレームのデータに基づく再生映像信号のうち、前記情報組み込みマーク画像を構成する画素の映像信号を前記マーク画像再生映像信号として抽出するものである請求の範囲第１項記載の映像連動型制御対象外部機器制御装置。
3. 前記画像を構成する画素の出力設定値が序列の予め定められた２ビット以上の複数段階に量子化されるとともに、該出力設定値の前記序列上の順位と、前記制御情報内容を記述するための複数ビットからなる制御用ビットデータとの間に一義的な対応関係が定められてなり、前記動作制御データ復号化手段は、前記マーク画像再生映像信号に反映される前記画素の前記出力設定値を検出して、前記対応関係に基づいて前記制御用ビットデータに復号化する制御用ビットデータ復号化手段を有する請求の範囲第２項記載の映像連動型制御対象外部機器制御装置。
4. 前記情報組み込みマーク画像は、出力設定値が一律に定められた複数画素からなる画素集合単位に区切られてなり、前記制御用ビットデータ復号化手段は、該画素集合単位に定められた前記出力設定値に基づいて前記制御用ビットデータへの復号化を行なう請求の範囲第３項記載の映像連動型制御対象外部機器制御装置。
5. 前記拡張映像信号がアナログ映像信号であり、前記制御用ビットデータ復号化手段は、前記出力設定値が反映された当該アナログ映像信号のアナログ入力値をディジタル変換することにより前記制御用ビットデータに復号化するＡ／Ｄ変換器を有する請求の範囲第４項記載の映像連動型制御対象外部機器制御装置。
6. 前記復号化により得られる前記制御用ビットデータが複数集合して前記動作制御データの記述単位フィールドを構成する請求の範囲第３項ないし第５項のいずれか１項に記載の映像連動型制御対象外部機器制御装置。
7. 前記記述単位フィールドが複数集合して前記制御対象外部機器への前記動作制御データの出力単位となるフレーム構造データを構成し、当該フレーム構造データは、その出力時系列における先頭側から、以降の画素列が前記動作制御データを記述するフレーム構造データであることを識別するための識別フィールドと、前記フレーム構造データのデータ長を示すデータ長フィールドと、前記制御対象外部機器への前記動作制御データ内容を示す主フィールドとをこの順で含むものである請求の範囲第６項記載の映像連動型制御対象外部機器制御装置。
8. 各前記記述単位フィールドを構成する前記制御用ビットデータはデータビット数が全て同一であり、各前記記述単位フィールドのデータビット列の末尾が、当該データビット列のパリティチェックを行なうための垂直パリティビットとされてなり、前記データ長により特定される前記フレーム構造データの最終記述単位フィールドが、先行する記述単位フィールドの互いに対応する順位のデータビットを個別に集めてパリティチェックを行なうための複数の水平パリティビットを集めた水平パリティフィールドとされている請求の範囲第７項記載の映像連動型制御対象外部機器制御装置。
9. 前記主フィールドの数が、前記動作制御データのサイズに応じて増減可能とされており、当該主フィールドの数に応じて前記データ長フィールドに記述される前記データ長が変更される請求の範囲第７項又は第８項記載の映像連動型制御対象外部機器制御装置。
10. 前記主フィールドに記述された前記動作制御データに基づく前記制御対象外部機器への命令実行順位を一義的に特定する命令番号を格納する命令番号フィールドが前記識別フィールドと前記データ長フィールドとの間に設けられるとともに、前記主フィールドの記述内容と前記命令番号とが同一の複数の前記フレーム構造データが、同じ前記映像フレーム又は映像フィールド上に繰り返し埋め込まれてなる請求の範囲第７項ないし第９項のいずれか１項に記載の映像連動型制御対象外部機器制御装置。
11. 前記情報組み込みマーク画像は、相対的な位置関係が一定に定められた一定個数の複数画素からなる画素集合単位に区切られてなり、前記制御用ビットデータ復号化手段は、該画素集合単位に属する個々の画素の前記出力設定値に対し、それら出力設定値を互いに演算結合する予め定められた復号化準備演算を施すとともに、その復号化準備演算結果に基づいて前記制御用ビットデータへの復号化を行なう請求の範囲第３項ないし第１０項のいずれか１項に記載の映像連動型制御対象外部機器制御装置。
12. 前記画素集合単位が、相対的な位置関係が一定に定められた画素対からなる情報組み込み画素対とされる請求の範囲第１１項記載の映像連動型制御対象外部機器制御装置。
13. 前記情報組み込み画素対は、同一フレーム内にて互いに隣接する画素対である請求の範囲第１２項記載の映像連動型制御対象外部機器制御装置。
14. 前記情報組み込み画素対は、同一走査線上にて隣接関係にある画素対である請求の範囲第１３項記載の映像連動型制御対象外部機器制御装置。
15. 前記情報組み込み画素対は、同一フレーム内にて互いに隣接する走査線間にて隣接関係にある画素対である請求の範囲第１３項記載の映像連動型制御対象外部機器制御装置。
16. 前記情報組み込み画素対は、互いに隣接するフレーム間にて隣接関係にある画素対である請求の範囲第１２項記載の映像連動型制御対象外部機器制御装置。
17. 前記制御用ビットデータ復号化手段は前記復号化準備演算として前記情報組み込み画素対の出力設定値の差分演算を行なうものであり、該差分演算により得られる差分値の予め定められた閾値との比較に基づいて前記制御用ビットデータへの復号化を行なう請求の範囲第１２項ないし第１６項のいずれか１項に記載の映像連動型制御対象外部機器制御装置。
18. 前記情報組み込み画素対は、本来前記主画像を構成していた対応する原画素対の出力設定値を、意図された内容の制御用ビットデータを与える差分値を前記復号化準備演算により得られるものとなるように補正変換して生成したものである請求の範囲第１７項に記載の映像連動型制御対象外部機器制御装置。
19. 前記復号化に際して、前記差分値が予め定められた余裕度以上となるように、前記原画素対を前記情報組み込み画素対に変換するための前記出力設定値の補正内容が定められてなる請求の範囲第１８項記載の映像連動型制御対象外部機器制御装置。
20. 前記拡張映像フレームのデータは、前記出力モニタの各画素の出力設定状態を定める画素設定情報を、前記出力モニタに前記拡張映像フレームを表示する走査線上の画素順位に従って配列したものであり、
    前記情報組み込みマーク画像の表示領域が、前記映像フレーム上の予め定められた位置の走査線として定められている請求の範囲第２項ないし第１９項のいずれか１項に記載の映像連動型制御対象外部機器制御装置。
21. 前記出力モニタの走査方式がラスタ走査方式であり、前記映像フレーム上の上下方向いずれかの端部に位置する１又は複数本の走査線が前記情報組み込みマーク画像の表示領域として定められている請求の範囲第２０項記載の映像連動型制御対象外部機器制御装置。
22. 前記情報組み込みマーク画像は、走査線上にて互いに隣接する出力設定状態が一律に定められた複数個の画素からなる画素集合単位に区切られてなり、前記制御用ビットデータ復号化手段は、該単位画素集合に定められた前記出力設定値に基づいて前記制御用ビットデータへの復号化を行なう請求の範囲第２０項又は第２１項に記載の映像連動型制御対象外部機器制御装置。

Images