JP4859271B2 - データを映像信号の水平オーバースキャン領域に符号化する方法およびシステム - Google Patents
データを映像信号の水平オーバースキャン領域に符号化する方法およびシステム Download PDFInfo
- Publication number
- JP4859271B2 JP4859271B2 JP2000500780A JP2000500780A JP4859271B2 JP 4859271 B2 JP4859271 B2 JP 4859271B2 JP 2000500780 A JP2000500780 A JP 2000500780A JP 2000500780 A JP2000500780 A JP 2000500780A JP 4859271 B2 JP4859271 B2 JP 4859271B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- video signal
- encoded
- word
- control data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000006854 communication Effects 0.000 claims abstract description 66
- 238000004891 communication Methods 0.000 claims abstract description 66
- 238000001514 detection method Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 45
- 238000012937 correction Methods 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 30
- 238000012546 transfer Methods 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 3
- 230000036278 prepulse Effects 0.000 claims 4
- 230000000977 initiatory effect Effects 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 31
- 230000005540 biological transmission Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 19
- 230000002452 interceptive effect Effects 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 12
- 239000000284 extract Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000002457 bidirectional effect Effects 0.000 description 6
- 239000000872 buffer Substances 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 230000007175 bidirectional communication Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
- H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
- H04N7/084—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the horizontal blanking interval only
- H04N7/085—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the horizontal blanking interval only the inserted signal being digital
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
- H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H2200/00—Computerized interactive toys, e.g. dolls
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Systems (AREA)
- Mobile Radio Communication Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Description
(関連出願の参照)
本出願は、共通譲受人に譲渡された1997年2月4日出願の米国特許出願第08/795,710号「無線制御システム用のプロトコル」の一部継続出願である。
【0002】
(技術分野)
本発明は、無線通信システムに関する。さらに詳しくは、データを映像信号の水平オーバースキャン領域に符号化することに関する。
【0003】
(背景技術)
今日、無線通信は、多くの家庭用製品に利用されている。例えばコードレス電話、ガレージ開閉装置、リモートコントロール装置、リモートコントロール玩具等は、無線通信を利用している。このような製品の製造業者は、無線通信機能のコストをできるだけ引き下げることに共通の関心を示している。従って無線周波信号を送受するための無線装置のコストを抑えながら、通信の信頼性を維持する研究がなされている。
【0004】
家庭用の対話式玩具、ゲーム、学習装置は、無線通信技術の応用が特に有用な分野である。無線システムは、有線接続がいらないので、多くの家庭用製品に役立つ。例えば無線式の玩具、ゲーム、学習装置は、コードがいらない。だから小さな子供がコードにつまずいたり引き抜いたり、あるいは犬がそれを噛んだりすることがない。無線製品は、プラグやアダプタを必要とせず、1つの制御装置で多くの無線装置を制御できる。被制御装置を接続するための大型端末装置も必要ない。このように無線通信接続は、安全、堅牢、汎用的であり、多くの場合、有線通信接続よりも経済的である。
【0005】
玩具、ゲーム、学習装置等の家庭用無線製品を設計するには、なすべき事項が多い。これらは競合することもある。まず第1に、システム全体は子供用娯楽製品として許される値段でなければならない。子供は、しばらくすると新しい被制御製品を欲しがるから、各被制御製品はできるだけ安くなければならない。すなわち被制御製品は、従来の振幅変調(AM)無線装置やデジタルデータ処理装置等、安価な無線通信装置を使う必要がある。
【0006】
第2に、1つの制御装置で複数の無線装置を同時に制御することが望まれる。数人の子供を同時に各自の無線玩具と遊ばせるためである。例えば、ある子供は玩具の「フレッド(FRED)」と遊び、他の子供は玩具の「ウィルマ(WILMA)」と遊び、さらに他の子供は玩具の「ダイノ(DINO)」と遊ぶ。各種の玩具を用意しておき、子供達が選んだり集めたりできれば好都合である。段階的学習システムでは、上達に応じた一連の玩具を用意し、それらとの対話を通して子供達の学習が段階的に向上することが望まれる。
【0007】
第3に、制御装置と被制御装置とは、双方向通信できることが好ましい。これは、対話式学習環境において、子供が被制御装置と対話する場合、特に有効である。例えば制御装置は、被制御装置である人形に対し、「私の左手を握って」と言わせる。するとその人形は、それに対する子供の反応を送り返し、制御装置はそれに応じた動作をする。例えば子供が人形の右手を握った場合、制御装置は人形に、「いいえ、それは私の右手です。私の左手を握って」と言わせる。
【0008】
第4に、前向きの互換性である。すなわち制御装置は、将来出回る被制御装置も操作できることが望まれる。例えば対話式玩具製品は、まず1つか2つの被制御装置(例えば「フレッド」と「ウィルマ」)だけを伴って販売される。その後数年間に、たくさんの新しい被制御装置(例えば「ダイノ」、「バムバム(BAM−BAM)」等)が販売され、システムをグレードアップできるであろう。前向きの互換性は、このような新しい被制御装置を元の制御装置で制御することを可能にする。
【0009】
さらに、制御装置は、制御データを必要とする。制御装置は、その制御データを局所無線通信リンクを介して被制御装置に送信する。制御データは、制御装置に隣接したコンピュータ等によって局所的に生成される。制御データは、放送レベルの通信リンクを使い、空中波や有線テレビ信号によって遠隔地から送信することも必要である。制御データは、テレビやモニタ等の表示装置を駆動する標準映像信号と共に送信すると特に都合が良い。この方法によれば、被制御装置は、映像信号が定義する番組情報と同期する。例えば被制御装置は、テレビやモニタに表示されるビデオ番組のキャラクターのように振る舞える。
【0010】
映像信号に対応して制御データを効果的に送信するには、複数の競合する目標を達成せねばならない。第1に、上述の通り、制御データを映像信号に時間的に同期させ、被制御装置の動きをテレビやモニタに映し出される番組情報に同期させねばならない。第2に、制御データは、標準映像信号に容易に連結でき、標準的な機器を使用する各種放送メディアによって送信できねばならない。第3に、制御信号は、映像信号と干渉してはならず、映像信号の表示を劣化させてはならない。第4に、上流通信リンク(例えば放送レベル通信リンク)用に十分な帯域幅を提供し、下流通信リンク(例えば局所無線通信リンク)の要求帯域幅を完全に満足させる必要がある。加えて、上流通信リンクに追加の帯域幅を用意し、他のデータシンク用に追加情報を送信できることが望まれる。これは広告、購読、緊急警告サービス等を提供するためである。例えばEメール、外国語字幕、電話呼び出し、気象警告、セットトップボックス用構成データ等のサービスを提供するためである。また上流通信リンクの帯域幅は、調整可能とし、コストや性能に対する消費者の多様な要求に応えることが望ましい。
【0011】
下流無線通信リンクに関しては、上流通信リンク用のプロトコルをアドレス指定可能とし、複数の被制御無線装置や他のデータシンクを同時に制御可能とする必要がある。このプロトコルは、エラー耐性があり、将来の被制御無線装置と放送メディアを介して提供される他のサービスとに対する前向きの互換性が求められる。これらはすべて、主に子供用娯楽製品向けのシステムに実施可能なコストで実現できねばならない。
【0012】
米国特許第4807031号ブロウトン氏の発明には、例えば玩具の車のように、表示装置を駆動する信号である映像信号によって可視領域内にて送信される制御データにより遠隔手段を制御するためのシステムが記載されている。ブロウトン氏のシステムは、制御データ送信のための映像信号の、可視領域の輝度変調に依存する。
従って、被制御無線装置用の制御データを映像信号に関連付けて符号化し、その被制御装置の動きを映像信号による番組情報に同期させる方法およびシステムの必要性がある。また、追加のデータを映像信号に関連付けて符号化し、Eメール、構内電話機能、外国語字幕、電話呼び出し、気象警告、セットトップボックス用構成データ等のサービスを提供する必要性がある。さらに、データを映像信号に関連付けて符号化するためのプロトコルであって、アドレス指定可能で、前向きの互換性があり、エラー耐性を持ち、主に子供用娯楽製品向けのシステムに実施可能であるプロトコルの必要性がある。
【0013】
(発明の開示)
本発明は、前記必要性を満たすため、制御データを映像信号の水平オーバースキャン領域に符号化する方法およびシステムを提供する。制御信号は、ラインごとに映像信号に連結されるため、対応する映像信号と時間的に同期する。これにより、無線機械式キャラクター等の被制御装置は、映像信号の番組情報が定義するシーン中のキャラクターのように振る舞う。符号化された制御データ用のプロトコルは、アドレス指定可能であり、前向きの互換性を持ち、エラー耐性があり、主に子供用娯楽製品向けのシステムに実施可能である。符号化されたデータが定義する通信リンクの帯域幅は、消費者の多様なコストおよび性能に対する要求を満たすべく、調整可能である。十分な帯域幅を用意することにより、複数の装置を制御すると共に、広告、購読、緊急警告等のサービスを追加できる。例えばEメール、外国語字幕、電話呼び出し、構内電話機能、気象警告、セットトップボックス用構成データ等を追加できる。
【0014】
本発明の概略を説明する。本発明は、映像信号内に制御データを符号化する方法を提供する。この映像信号は、一連のフレームを含み、各フレームは多くのラインを含む。符号化されたデータは、映像信号の各ラインに連結され、符号化された映像信号が生成される。符号化された映像信号は、各フレームに対応した内容データを定義するように構成される。内容データは、第1装置に関連した第1アドレスと、該第1装置用の装置制御データと、第2装置に関連した第2アドレスと、該第2装置用の装置制御データとを定義するように構成される。第1アドレスに基づき、第1装置用の装置制御データは、第1装置に転送され、第1装置の動きを制御する。同様に第2アドレスに基づき、第2装置用の装置制御データは、第2装置に転送され、第2装置の動きを制御する。
【0015】
映像信号は、一般に番組情報を定義する。この番組情報は、表示装置に表示されるシーンを含む。第1装置用の装置制御データは、一般に音声およびモータ制御データを含み、表示装置に表示されたシーン中のキャラクタのように第1装置を振る舞わせる。第2装置用の装置制御データは、音声およびモータ制御データを含み、表示装置に表示されたシーン中の第2キャラクタとして第2装置を振る舞わせる。本発明は、コンピュータシステムへ送信される電子メール、構内電話システムへ送信される構内電話(インターコム)情報、呼び出しシステムへ送信される電話呼び出し情報、言語翻訳情報、広告情報、購読(サブスクリプション)情報、緊急警告情報等を表示装置に表示できる。当業者には、他の多くの応用が明らかであろう。
【0016】
装置制御データに対するアドレス指定構成は、汎用的で拡張性のあるパケットデータ伝送フォーマットを実現する。例えば前記第1アドレスは、第1被制御装置用の第1開始パケットショートアドレスワードであり、第2アドレスは、第2被制御装置用の第2開始パケットショートアドレスワードである。この場合、第2開始パケットショートアドレスワードは、第1被制御装置用の終了パケットショートアドレスワードと解釈できる。
【0017】
さらに第1アドレスは、開始パケット開始ロングアドレスワードを定義できる。この場合、前記内容データは、第1装置に関連するロングアドレスの開始と、第1装置に関連する開始パケット終了ロングアドレスワードと、第1装置用の装置制御データとを定義する。
【0018】
本発明の一態様は、符号化されたデータに、信号検出ワードと内容ワードとを含める。各信号検出ワードと各内容ワードは、データビットと、このデータビットにおけるエラーを訂正するためのエラー訂正ビットとを含むことができる。特にこれらエラー訂正ビットは、データビット中の単一ビットエラーを検出し訂正するための訂正列を定義できる。各信号検出ワードは4個のデータビットと3個のエラー訂正ビットとを含み、各内容ワードは9個のデータビットと7個のエラー訂正ビットとを含むことができる。
【0019】
本発明の他の態様は、信号検出ワードを映像信号の各フレームに符号化する。そして一連の信号検出ワードが動的検査列を定義する。この動的検査列において、各信号検出ワードの少なくとも2ビットは、直前の信号検出ワードとは異なる。例えば、映像信号の2フィールドインタレースフレームの連続するフィールドにおいて伝送される動的検査列は、8、1、10、3、12、5、14、7の二値表現を含むことができる。
【0020】
本発明のさらに他の態様は、映像信号の水平オーバースキャン領域内のライン信号によって、符号化されたデータを定義する。特に各ライン信号は、映像信号の水平走査線のカラーバースト部と可視ラスター部との間の可視前パルスとできる。各パルスは、符号化されたデータの1ビットを定義しても良い。この場合、映像信号の2フィールドインタレースフレームにおける各フィールドの符号化されたデータは、1個の7ビット信号検出ワードと、13個の16ビット内容ワードとを定義できる。符号化されたデータ送信の帯域幅を増やすため、各ライン信号は、可視前パルスと可視後パルスとを含むことができる。可視後パルスは、可視ラスター部の後、水平ブランキング期間の前に配置する。符号化されたデータ送信の帯域幅をさらに増やすため、各パルスは、変調して数ビットを定義するようにしても良い。
【0021】
本発明は、さらに符号化された映像信号を提供する。この信号は、前記方法に基づき生成される。また本発明は、前記符号化された映像信号を生成し使用するシステムを提供する。このシステムは、映像信号エンコーダを含む。このエンコーダは、NTSCテレビ信号等の映像信号を提供する映像ソースに機能的に接続される。映像データエンコーダは、映像信号を受け取る。この映像信号は一連のフレームを含み、各フレームは多数のラインを含む。映像データエンコーダは、符号化されたデータを映像信号の各ラインに連結し、符号化された映像信号を生成する。
【0022】
映像データエンコーダは、データデコーダに機能的に接続される。データデコーダは、符号化された映像信号を映像データエンコーダから受け取る。データデコーダは、信号検出データを検出し、符号化された映像信号から内容データを抽出し、その内容データからシリアルデータ通信信号を組み立てる。データデコーダは、データエラー処理装置に機能的に接続される。データエラー処理装置は、データデコーダからシリアルデータ通信信号を受け取る。データエラー処理装置は、シリアルデータ通信信号を解析し、データビットとエラー訂正ビットとを取り出し、エラー訂正ビットを分析し、データビット中にエラーを検出し、そのエラーを訂正し、訂正したデータビットからエラー訂正済みデータストリームを組み立てる。
【0023】
データエラー処理装置は、プロトコルハンドラに機能的に接続される。プロトコルハンドラは、データエラー処理装置からエラー訂正済みデータストリームを受け取る。プロトコルハンドラは、第1装置に関する第1開始パケットショートアドレスワードを検出し、それに応じ、後続する装置制御データの第1装置への転送を開始する。またプロトコルハンドラは、第2装置に関する第2開始パケットショートアドレスワードを検出し、それに応じ、後続する装置制御データの第2装置への転送を開始する。さらにプロトコルハンドラは、第2開始パケットショートアドレスワードを、第1装置に関する第1終了パケットショートアドレスワードと解釈し、それに応じ、後続の装置制御データの第1装置への転送を中断する。
【0024】
またプロトコルハンドラは、開始パケット開始ロングアドレスワードを検出し、第3装置に関するロングアドレスを検出し、開始パケット終了ロングアドレスワードを検出し、後続の装置制御データの第3装置への転送を開始する。第3装置への送信を終了するため、プロトコルハンドラは、さらに別のアドレスワードを検出し、それに応じ、後続の装置制御データの第3装置への転送を中断する。
【0025】
本発明は、従来技術の欠点を改良し、前記利点を実現する。これらは、以下の実施例の詳細な説明、添付図面、請求の範囲から明らかになろう。
【0026】
(発明を実施するための最良の形態)
本発明の一実施例は、制御データを映像信号の水平オーバースキャン領域内に符号化するシステムである。制御信号は、ラインごとに映像信号に連結されるため、対応する映像信号と時間的に同期する。これにより、無線機械式キャラクター等の被制御装置は、映像信号の番組情報が定義するシーン中のキャラクターのように振る舞う。符号化された制御データ用のプロトコルは、アドレス指定可能であり、前向きの互換性を持ち、エラー耐性があり、主に子供用娯楽製品向けのシステムに実施可能である。符号化されたデータが定義する通信リンクの帯域幅は、消費者の多様なコストおよび性能に対する要求を満たすべく、調整可能である。十分な帯域幅を用意することにより、複数の機械式キャラクタを制御すると共に、広告、購読、緊急警告等のサービスを追加できる。例えばEメール、外国語字幕、電話呼び出し、構内電話機能、気象警告、セットトップボックス用構成データ等を追加できる。
【0027】
「リアルメーション」システム実施例
本発明は、制御装置(主装置とも呼ぶ)を含む無線通信環境において実施可能である。制御装置は、1つ以上の被制御装置(従装置とも呼ぶ)と通信しそれを制御する。この通信は、単一の無線周波(RF)通信回線で行われる。本発明の特定の実施例は、「リアルメーション」システムと呼ばれる。「リアルメーション(REALMATION)」は、「現実的(realistic)」と「アニメーション(animation)」を組み合わせたもので、ワシントン州レドモンドのマイクロソフト社が開発した新しい技術を示す。代表的な「リアルメーション」システムにおける制御装置は、コンピュータシステムを含む。このコンピュータシステムは、表示装置と無線モデムとを備える。このモデムは、動く機械式キャラクター等の1つ以上の被制御装置と通信しそれを制御する。制御装置は、表示装置を駆動し、映像/音声シーン等の番組情報を描画する。これと同時に、制御装置は、音声係数および動きベクトルを含む制御データを1つ以上の機械式キャラクターに送信する。機械式キャラクターは、その制御データを受け取ると、表示装置に表示されたシーン中のキャラクターのごとくに動き話す。
【0028】
マイクロソフト社が開発している「リアルメーション」製品ラインは、2つの主たる要素を含む。すなわち「リアルメーションコントローラ」と呼ぶ制御装置(主装置)と、「リアルメーションパフォーマ」と呼ぶ1つ以上の被制御装置(従装置)である。被制御装置は、特定の工業用、教育用、研究用、娯楽用等に特別設計しても良い。例えば怪獣キャラクタ「バーニー(BARNEY)」等の被制御装置を子供向けの学習および娯楽システムとして特別設計できる。各被制御装置は、無線周波受信システムを含み、制御装置が送信する信号を受信し、復調し、復号する。制御装置が送信する信号は、会話係数や動きベクトル等の制御データを含む。この制御データは、制御装置が制御する表示装置に表示されるシーン中のキャラクターのごとくに被制御装置を動かす。
【0029】
双方向環境においても、各被制御装置は、無線周波送信システムを含み、応答信号を符号化し、変調し、制御装置に送信する。この応答信号は、テストデータまたは検出器データを含む。このデータは、当該被制御装置に関する状態情報を定義する。被制御装置は、例えば圧力検出器または光検出器を持ち、ユーザ入力を検出できる。ユーザ入力とは、例えばキャラクタの一部を握ったり覆ったりすることである。これは、子供が被制御装置と対話する対話式学習環境において特に有用である。例えば制御装置は、被制御装置である「バーニー」に「左手を握って」と言わせる。するとその被制御装置は、それに対する子供の反応を送り返し、制御装置はそれに応じた動作をする。例えば子供が被制御装置の右手を握った場合、制御装置は被制御装置に対し、「いいえ、それは私の右手です。私の左手を握って」と言わせる。
【0030】
制御装置は、データソースを含む。このデータソースは、映像データおよび関連制御データを受信あるいは生成し、1つ以上の被制御装置を表示装置に表示されたシーン中のキャラクターのように振る舞わせる。このため、制御装置は、「リアルメーションリンクマスタ」と呼ばれる無線モデム(または一方向環境用の無線変調器)と、テレビまたはコンピュータモニタ等の表示装置とを含む。データソースは、コンピュータシステムや対話式テレビシステム等の能動装置でも良い。これらは、映像データと関連制御データとをリアルタイムに発生する。あるいはデータソースは、ケーブルシステム、ビデオデッキ、テレビ放送信号等の受動装置でも良い。受動装置は、映像データおよび符号化された制御データを含むあらかじめ生成されたデータストリームを無線モデムに送る。この場合、無線モデムは、データストリームから制御データを抽出し、映像データを表示装置に送り、制御データを1つ以上の被制御装置に送信する。
【0031】
さらに、制御装置は、ユーザ入力や他の制御信号に応じ、多数のソースから映像および制御データを生成し、選択し、組み合わせるように機能する知能システムでも良い。構成に関わりなく、ある種のデータソースは、映像データおよび関連制御データを含むデータストリームを提供する。無線モデムは、その映像データから制御データを抽出し、映像データを表示装置に転送し、制御データを1つ以上の被制御装置に送信する。制御データを送信するにあたり、無線モデムは、制御データを特別の差動パルスデータ変調(DDM)フォーマットに符号化し、DDM符号化された制御データを被制御装置に送信する。また、無線モデムは、被制御装置からDDM符号化応答信号を受信し復号する。
【0032】
「リアルメーション」製品ラインは、一方向環境または双方向環境において動作する。制御装置、無線モデム(または変調器)、被制御装置の各実施例における動作を、マイクロプロセッサベースコンピュータシステムで実行されるプログラムの範疇で説明する。当業者には明らかなように、本発明は、各種プログラムモジュールを含み、各種プログラミング言語を利用し、各種コンピュータ装置で実施できる。また各実施例は、制御装置が無線周波通信回線を介して被制御装置と通信するように説明しているが、当業者には明らかなように、無線周波通信回線に代えて、光ファイバリンク、銅線、赤外線信号等の通信媒体を使っても良い。
【0033】
一般にプログラムは、ここに定義するように、ルーチン、サブルーチン、プログラムモジュール、部品、データ構造等を含み、特定のタスクを実行したり、特定の抽象データ型を実行したりする。当業者には明らかなように、本発明の各態様は、他のコンピュータシステム構成にも適用できる。本発明を限定するものではないが、これらコンピュータシステム構成の例として、携帯装置、マルチプロセッサシステム、マイクロプロセッサベース民生電子製品、プログラム可能民生電子製品、ミニコンピュータ、メインフレームコンピュータ等がある。本発明の各態様は、インターネット等の分散コンピュータ環境にも適用可能である。分散コンピュータ環境は、通信ネットワークを介してリンクした遠隔処理装置によってタスクを実行し、プログラムモジュールを局所記憶装置および遠隔記憶装置に置く。
【0034】
一方向環境および双方向環境のいずれにおいても、被制御装置は、低価格の動く機械式キャラクターであり、子供用対話式学習および娯楽環境での使用を目的としたものである。少なくとも各被制御装置は、受信システム、会話合成器、スピーカ、処理装置、1つ以上のサーボモータを含む。被制御装置は、他の多くの最終効果装置を含むことができる。例えば光源、熱源、膨張装置、ポンプ等を含むことができる。無線制御システム用のプロトコルは、将来開発されるであろう広範な被制御装置に対して前向きの互換性を持つように設計できる。所定の無線周波回線から制御データを受け取る受信システムに応じ、処理装置は、受信したデータを復号し解釈しその内容に応答する。処理装置の応答は、1つ以上のサーボモータを駆動すること、会話合成器に入力を提供すること、特定の被制御装置に設けられている最終効果装置を駆動すること等を含む。
【0035】
双方向環境において、被制御装置は、1つ以上の検出器と送信システムとを含むこともできる。検出器は、例えば動きを検出する。例えば子供が被制御装置の腕を握ること、目を覆うこと、位置を変えることを検出する。これら検出器からの出力信号を監視することにより、処理装置は状態情報を集める。制御装置からの要求を受け取ると、処理装置はこの検出器状態情報を制御装置に送信する。これを受け取ると、制御装置は、その情報に応じて、音声および映像の動きを変える。例えば子供が被制御装置の目を覆うと、その動作に応じて音声および映像は、いないいないばーの遊びに移る。
【0036】
このように双方向環境においては、制御装置は1つ以上の被制御装置と双方向通信を行う。制御装置の双方向環境の実施は、プログラムに関連して説明する。このプログラムは、パーソナルコンピュータで実行されマイクロプロセッサベース通信装置で実行される他のプログラムと共働する。当業者には明らかなように、双方向環境は、他の方法でも実施可能である。例えば、スタンドアロンプラットフォーム、無線通信装置を備えた分散コンピュータ装置、対話式テレビシステム等で実行される単一のプログラムでも実施可能である。
【0037】
一方向環境では、制御装置は1つ以上の被制御装置と一方向通信を行う。制御装置の一方向環境の実施は、ビデオデッキ(VCR)またはマイクロプロセッサベース通信装置とインタフェースする有線テレビボックスに関連して説明する。当業者には明らかなように、他の方法でも実施可能である。例えば、直接放送信号、レーザディスク装置、ビデオテープ装置、CDROM装置等によっても実施できる。さらに一方向環境は、ビデオデッキ等の装置とマイクロプロセッサベース通信装置とを一体にしスタンドアロン構成で動作するようにしたものでも実施できる。
【0038】
以下の詳細説明は、従来のコンピュータ要素が行う処理および象徴的動作表現を主に用いる。従来のコンピュータ要素は、マイクロプロセッサ(MPU)、MPU用記憶装置、表示装置、出力制御信号、入力装置を含む。これら処理および動作は、分散異種コンピュータ環境における従来のコンピュータ要素を利用しても行える。分散異種コンピュータ環境は、遠隔ファイルサーバ、遠隔コンピュータサーバ、遠隔記憶装置を含む。これら従来の分散コンピュータ要素の各々は、MPUから通信ネットワークを介してアクセス可能である。
【0039】
コンピュータによって実行される処理および動作は、MPUまたは遠隔サーバによる信号の操作、1つ以上の局所記憶装置または遠隔記憶装置に格納されているデータ構造内における信号の保守を含む。このようなデータ構造は、記憶装置に格納されているデータの集まりに物理構成を与え、特定の電気的あるいは磁気的要素を表す。象徴的表現は、コンピュータプログラミングおよびコンピュータ構造の当業者に使われている手段であり、最も効果的に技術の教えや発見を他の当業者に伝えることができる。
【0040】
この関係において、処理は一般に、所望の結果を導く一連のコンピュータ実行ステップとしてとらえられる。これらステップは、一般に物理量の物理的操作を必要とする。通常これら量は、電気的、磁気的、あるいは光学的信号の形態をとり、格納、転送、組み合わせ、比較等の操作が可能である。ただし必ずしもこれらに限定されるものではない。当業者には明らかなように、これら信号は、ビット、バイト、データ、フラグ、変数、パラメータ、オブジェクト、プロパティ、タグ、タイプ、識別子、値、要素、シンボル、文字、項、数字、ポイント、レコード、画像、ファイル等と呼ばれる。ただしこれら語句は、従来からのラベルに過ぎない。すなわちコンピュータ動作の物理量に関係付けられ、コンピュータ動作中の物理量に適用される標識に過ぎない。
【0041】
コンピュータにおける操作は、例えば加算、比較、受信、送出、送信、応答等の用語で説明され、これらは操作者によって行われる手操作に関連付けられることが多い。本明細書に記載の動作は、機械動作であり、コンピュータと対話する操作者またはユーザによって与えられる各種入力に関連して実行されるものである。
【0042】
さらに、当業者には明らかなように、本明細書に説明するプログラム、処理、方法等は、特定のコンピュータまたは装置に関連するものでも限定されるものでもない。また特定の通信ネットワーク構成に関係するものでも限定されるものでもない。むしろ本明細書の教えに基づくプログラムモジュールは、各種の汎用装置に適用されるものである。また本明細書に記載の方法ステップを実行するために、特別の装置を構成することも有用である。このような特別の装置は、特定のネットワーク構成における専用コンピュータシステムと、ハードワイヤード論理または不揮発性メモリに格納したプログラムとで構成される。不揮発性メモリは、リードオンリメモリ、磁気記憶装置、光記憶装置等である。
【0043】
主装置と従装置間の通信は、振幅変調(AM)技術に基づく無線周波信号送信の範疇で説明する。無線周波信号は、デジタル情報のシンボル表現をある装置から他の装置へ転送するために使われる。無線周波信号は、キャリア信号の振幅を変調することによって発生する。この変調は、デジタルデータのシンボル表現の値に基づいて、所定の方法で行われる。当業者には明らかなように、各種通信技術を利用して情報を装置間で伝送することができる。また当業者には明らかなように、振幅変調技術の使用は、本発明のいかなる態様の原理をも制限しない。
【0044】
図面を参照しながら本発明の各態様および動作環境の例を説明する。図において同一番号は同一要素を示す。図1〜図7を参照して本発明の実施に適した環境を説明する。図8〜図14を参照してこれら環境における制御装置および被制御装置用の好適無線通信プロトコルを説明する。
【0045】
双方向環境
図1は、本発明に基づく双方向環境の実施例を示す。この双方向環境は、子供用の対話式学習および娯楽システムとして動作できる。双方向環境は、制御装置10と被制御装置60とを含む。制御装置10は、被制御装置60を制御し、それと相互作用する。制御装置10は、従来のパーソナルコンピュータ20と、無線モデム80と、アンテナ88と、スピーカ43と、表示装置47とを有する。パーソナルコンピュータ20は、ハードディスク装置27と、磁気ディスク装置28および/または光ディスク装置30とを含むことができる。
【0046】
動作を説明する。制御装置10は、表示装置47とスピーカ43に音声および映像を提示する。さらに制御装置10は、メッセージパケットを被制御装置60に送信する。このメッセージパケットは制御データを含む。この制御データは、例えば音声合成係数とモータベクトルを含み、被制御装置60の動作を制御する。制御データの送信処理は、適切なプロトコルを使ってのデータストリームの作成、該データストリームによるキャリアの変調、該変調キャリアの無線周波信号による送信を含む。この無線周波信号の送信は、アンテナ88から無線周波回線15を介して行われる。制御装置10は、特にマルチメディアパーソナルコンピュータシステム20と無線モデム80とを含む。コンピュータシステム20は、制御データを無線モデム80に送る。これは無線モデム80とコンピュータシステム20のゲーム(MIDI)ポート間のワイヤ接続を介して行われる。無線モデム80は、適切なプロトコルを使ってデータストリームを作成し、データストリームに基づいてキャリアを変調し、無線周波通信回線15を介して変調キャリアを送信する。
【0047】
被制御装置60は、制御装置からの無線周波信号をアンテナ68で受信する。受信システム61〜67は、受信した無線周波信号を処理し、制御データを復元する。被制御装置60は、受信した制御データを解釈し、その制御データに応答する。これは1つ以上のサーボモータ69または他の最終効果装置の動作を制御することによって行われる。これらは被制御装置60内にあり、例えば会話データをスピーカ71によって聴取可能に提示する。このように適切な制御データを被制御装置60に送信することで、被制御装置60は、呈示中の音声/映像中のキャラクターのごとくに動きしゃべる。
【0048】
被制御装置60は、光センサおよびタッチセンサ70を含む。子供が適切なやり方で被制御装置60にさわったり、握ったり、動かしたりすると、被制御装置60内の光センサおよび/またはタッチセンサ70は、状態情報を発生する。制御装置10からの指令に応じ、被制御装置60は、無線周波通信回線15を介してその状態情報を無線モデム80に返し、制御装置10に処理させる。制御装置10は、その状態情報を受信し解釈し、それに基づき呈示中の音声/映像を変化させる。
【0049】
図2は、図1の双方向環境において制御装置10を実現するためのコンピュータシステムの例を示す。このコンピュータシステムは、従来のパーソナルコンピュータ20を備える。パーソナルコンピュータ20は、処理装置21と、システムメモリ22と、システムバス23とを備える。このシステムバスは、前記システムメモリと処理装置21とを接続する。システムメモリ22は、リードオンリーメモリ(ROM)24と、ランダムアクセスメモリ(RAM)25とを含む。基本ルーチンを含む基本入出力システム(BIOS)26は、ROM24に格納される。この基本ルーチンは、例えばスタートアップ時に、パーソナルコンピュータ20内の要素間での情報の転送をサポートする。パーソナルコンピュータ20はさらに、ハードディスク装置27と、例えばリムーバブルディスク29を読み書きするための磁気ディスク装置28と、例えばCD-ROMディスク31等の光媒体を読み書きするための光ディスク装置30とを含む。ハードディスク装置27と磁気ディスク装置28と光ディスク装置30とは、それぞれハードディスク装置インタフェース32と磁気ディスク装置インタフェース33と光ディスク装置インタフェース34とを介して、システムバス23に接続される。これら装置および関連するコンピュータ読取り可能媒体は、パーソナルコンピュータ20用の不揮発性記憶装置として働く。コンピュータ読取り可能媒体として、ハードディスクとリムーバブル磁気ディスクとCD-ROMディスクとを示したが、当業者には明らかなように、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ベルヌーイカートリッジ等も、コンピュータ読取り可能媒体として前記動作環境で使える。
【0050】
前記記憶装置27〜30およびRAM25は、多くのプログラムモジュールを格納できる。例えばオペレーティングシステム35、1つ以上のアプリケーションプログラム36、他のプログラムモジュール37、プログラムデータ38等を格納できる。ユーザは、キーボード40や例えばマウス42等のポインティング装置を介して、パーソナルコンピュータ20にコマンドや情報を入力できる。他の入力装置(図示せず)として、マイクロフォン、ジョイスティック、トラックボール、ライトペン、ゲームパッド、スキャナ、カメラ等も利用できる。一般にこれら入力装置は、システムバスに接続したシリアルポートインタフェース46を介して処理装置21に接続されるが、ゲームポートや汎用シリアルバス(USB)等の他のインタフェースを介して接続してもよい。モニタ47等の表示装置は、ビデオアダプタ48等のインタフェースを介してシステムバス23に接続される。1つ以上のスピーカ43は、オーディオアダプタ44等のインタフェースを介してシステムバスに接続される。一般にパーソナルコンピュータは、前記モニタおよびスピーカに加えてプリンタやプロッタ等の周辺出力装置(図示せず)も含む。
【0051】
パーソナルコンピュータ20は、遠隔コンピュータ49等の1つ以上の遠隔コンピュータへの論理接続を用いたネットワーク環境で動作させてもよい。図2は記憶装置50しか示していないが、遠隔コンピュータ49は、サーバ、ルータ、同等装置、他のネットワークノード等であり、パーソナルコンピュータ20に関連して説明した要素の多くあるいは全部を含む。図2の論理接続は、ローカルエリアネットワーク(LAN)51と広域ネットワーク(WAN)52とを含む。このようなネットワーク環境は、事務所、企業コンピュータネットワーク、イントラネット、インターネットにおいて一般的である。
【0052】
LAN環境で使用される場合、パーソナルコンピュータ20は、ネットワークインタフェース53を介してLAN51に接続される。WAN環境で使用される場合、パーソナルコンピュータ20はモデム54等の手段を含み、インターネット等のWAN52を介して通信を確立する。モデム54は内蔵型あるいは外付け型であり、シリアルポートインタフェース46を介してシステムバス23に接続される。ネットワーク環境の場合、パーソナルコンピュータ20に関連するプログラムモジュールの全部または一部は、遠隔記憶装置に格納できる。図示のネットワーク接続は例であり、他の手段を使ってコンピュータ間に通信リンクを確立しても良い。
【0053】
パーソナルコンピュータ20は、楽器用デジタルインタフェース(MIDI)アダプタ39を含む。このMIDIアダプタにより、MPU21は、各種MIDI互換装置(例えば電子キーボード、シンセサイザ等)を制御できる。MIDIアダプタにより、MPU21は無線モデム80を制御できる。MIDIアダプタは、システムバス23を介してデータを受信し、MIDIプロトコルに基づいてそのデータをフォーマットし、MIDIバス45を介してそのデータを送信する。MIDIバスに取り付けられた機器は、MIDIフォーマットデータの送信を検出し、そのデータを受け取って処理するかあるいあ無視するかを決定する。すなわち無線モデム80は、MIDIバス上のデータを検査し、そのデータが無線モデム80を本来の受信装置として明確に指定している場合のみ、そのデータを処理する。そのデータを受信すると、無線モデム80は、そのデータすなわち1つ以上の被制御装置宛の制御データを無線周波通信回線15を介して送信する。
【0054】
図3は、無線モデム80を構成する各種要素を示すブロック図である。まずコンピュータ20で実行されるプログラムは、制御データを入手する。すなわちそのデータを発生するか、あるいはコンピュータ20がアクセス可能な記憶媒体からそのデータを取り出す。前記プログラムは、特定の「リアルメーション」プロトコル等の所定のプロトコルに基づき、その制御データをフォーマットする。あるいは前記プログラムは、記憶媒体から既にフォーマットされた制御データを取り出すこともできる。前記プログラムは、制御データを無線モデム80に転送する。この転送は、MIDIアダプタ39および81およびMIDIバス45を含むMIDIインタフェースを介して行われる。この処理は、制御データをMIDIフォーマットに再パッケージすることを含む。当業者には明らかなように、MIDIインタフェースは例に過ぎず、他のインタフェースを使って制御データをコンピュータ20と無線モデム80間で伝送しても良い。他のインタフェースとして、RS232、セントロニクス、SCSI等があるが、これらに限定されない。
【0055】
プロトコルハンドラ83は、MIDIアダプタ81からMIDIフォーマットされたデータを受信し、MIDIフォーマットを除去し、制御データを復元する。この処理において、プロトコルハンドラ83は、制御データおよび/またはMIDIフォーマットされたデータを一時的にデータバッファ82に格納しても良い。プロトコルハンドラ83は、制御データに他の処理も施し、そのデータの送信を準備する。制御データを送信する前に、データエンコーダ84は、制御データを符号化し、符号化された制御データを無線周波送信器86に渡す。無線周波送信器は、符号化された制御データを使ってキャリアを変調し、変調キャリアをアンテナ88から無線周波通信回線15を介して送信する。
【0056】
無線モデム80は、1つ以上の被制御装置60あるいは他の装置からの応答データを搬送する信号も受信する。無線モデム80は、アンテナ88でこれら信号を検出し、無線周波受信器87にそれら信号を提供する。無線周波受信器87は、受信した信号を変調し、符号化された応答データを取りだし、それをデータデコーダ85に送る。データデコーダ85は、符号化された応答データを復号し、それをプロトコルハンドラ83に送る。プロトコルハンドラ83は、復号された応答データをMIDIフォーマットにし、それをMIDIインタフェース81を介してコンピュータ20に送る。プロトコルハンドラ83とMIDIインタフェース81は、処理中において応答データをデータバッファ82に一時的に格納しても良い。MIDIインタフェース39において情報を受信すると、コンピュータ20は、MIDIフォーマットデータから応答データを復元し、その応答データを処理する。
【0057】
一方向環境
図4は、本発明に基づく一方向環境の実施例を示す。この一方向環境は、子供用の対話式学習および娯楽システムとして動作できる。一方向環境は、制御装置11と被制御装置60とを含む。制御装置11は、音声/映像信号ソース56と、無線変調器90と、アンテナ98と、表示装置57とを含む。この表示装置は、スピーカ59を含む。制御装置11は、アンテナ98と無線周波通信回線15とを介して被制御装置60に制御データを送信する。これを実現するため、無線変調器90は、標準ビデオインタフェースを介して音声/映像信号ソース56と表示装置57とにインタフェースする。この標準ビデオインタフェースを使って、無線変調器90は、音声/映像信号ソース56から制御データによって符号化された映像信号(符号化された映像)を受信する。無線変調器90は、符号化された映像信号から制御データを抽出し、無線周波通信回線15を介して被制御装置60にその制御データを転送する。
【0058】
さらに無線変調器90は、前記映像信号を表示装置57に送る。音声/映像信号ソース56は、表示装置57のスピーカ59ともインタフェースする。このインタフェースを介して、音声/映像信号ソース56は、音声/映像呈示用の音声を提供する。これにより子供は、表示装置57およびスピーカ59に呈示される音声および映像を観察する。同時に無線変調器90は、制御データを1つ以上の被制御装置60に転送する。その制御データを受信すると、被制御装置60は、呈示されている音声および映像中のキャラクターのごとくに動いたり話したりする。
【0059】
符号化された映像信号を変更せずにそのまま表示装置57に送っても良い。例えば制御装置11は、符号化された映像信号を受け取る。この信号は、標準映像信号を変更し、各走査線の水平オーバースキャン期間にデジタル情報を含めたもので、このデジタル情報は表示装置57には表示されない。表示装置57は、符号化された映像信号をそのまま受信し表示できる。制御装置11は、符号化された映像信号から制御データを抽出し、被制御装置60への送信用に無線周波変調制御信号を発生するだけである。
【0060】
図5は、符号化された映像データストリームを生成するためのシステムを示すブロック図である。この符号化された映像データストリームは、映像データと符号化された制御データとを含む。ビデオカセット録画/再生装置、有線受信ボックス、テレビチューナ、レーザディスクプレーヤ、ビデオ出力を有するコンピュータ等は、符号化された映像データストリームを提供できる。ただしこれらは例であり、本発明を限定するものではない。図5において、コンピュータシステム20は、映像データエンコーダ76と音声/映像信号ソース56とにインタフェースする。音声/映像信号ソース56は、2つの出力信号を提供する。すなわち映像信号と音声信号である。これら出力信号は、生の撮影データ、録画の再生データ、放送受信データ等を含むことができる。コンピュータシステム20は、制御信号を介して音声映像ソース56の動作を制御する。制御信号は、音声/映像信号ソース56からの音声および映像信号の出力をゲート制御する。
【0061】
コンピュータシステム20は、制御データも提供する。この制御データは映像信号上に符号化される。コンピュータシステム20は、制御データと映像信号を映像データエンコーダ76に送る。映像データエンコーダ76は、映像信号と制御データとを結合する。これは、制御データを映像信号上に符号化することによって行う(例えば符号化された映像データストリームを発生する)。この符号化技術は、ラインごとに映像信号の水平オーバースキャン領域の輝度を変調することを含む。例えば各走査線の水平オーバースキャン領域を変調して単一の制御データビットを表すようにする。映像信号のフィールド境界は、制御データ用のフレーム構造を提供し、各フレームは所定数のデータワードを含む。
【0062】
詳しく説明すると、映像信号の各フィールドは、4ビットからなるパターン識別ワードを含む。連続する各フィールド内のパターン識別ワードの値は、定義された値セットを通して周期的に連続する。パターン識別ワードの存在は、通常の映像信号から符号化された映像信号を区別する。通常の映像信号においては、パターン識別ワードの代わりにランダムノイズが現れる。従って符号化された映像信号から制御データを復元しようとするデコーダは、パターン識別ワードの存在を検出することによって、その信号が符号化された映像信号であるか否かを決定する。このようにパターン識別ワードは、復元された制御データに対して、単純なチェックサムエラー検出以上の完全性を提供する。
【0063】
無線変調器90は、符号化された映像信号を受信し、符号化された映像信号から制御データを復元する。無線変調器90は、その制御データを1つ以上の被制御装置に送信する。これら1つ以上の被制御装置は、図4の被制御装置60に代表される。あるいは映像放送機器79は、音声信号と共に符号化された映像信号を受信し、1つ以上の遠隔無線変調器および/または無線モデムに対しそれら信号を放送しても良い。あるいはまた、映像記憶装置78は、音声信号と共に符号化された映像信号を受信し、それらを記憶媒体に保存して将来の検索に備えることができる。
【0064】
図6は、無線変調器90を構成する各要素を示すブロック図である。無線変調器90の各要素は、ハードウエア、ソフトウエア、あるいはそれらの組み合わせによって実現される。無線変調器90の映像データ検出器91は、音声/映像信号ソース56からの映像信号を受け取り、その映像信号が符号化された映像信号であるか否かを識別する。映像データ検出器91は、受信した映像信号内にパターン識別ワードを検出すると、その映像信号は符号化された映像信号であると決定する。その信号が符号化された映像信号であれば、映像データ検出器91は、符号化された映像信号から制御データを抽出し、その制御データをデータエラー処理装置99に提供すると共に、符号化された映像信号を表示装置57に提供する。
【0065】
データエラー処理装置99は、制御データを分析し、該制御データ内に存在するエラーを検出しそれを訂正する。制御データ内のエラーを訂正すると、プロトコルハンドラ93は、復元され確認された制御データを受け取り、メッセージパケットを組み立てる。このメッセージパケットは、被制御装置60で代表される1つ以上の被制御装置に送信されるものである。メッセージパケットを組み立てると、プロトコルハンドラ93は、そのメッセージパケットをデータエンコーダ94に提供する。データエンコーダ94は、そのデータを符号化し、符号化されたデータを無線周波送信器96に送る。無線周波送信器96は、符号化されたデータを受け取り、それに基づいて所定の無線周波キャリア(すなわち無線通信システムに関連しての使用が承認された所定無線周波回線)を変調する。無線周波送信器は、変調キャリアをアンテナ98から送信する。制御データの処理中、コンピュータシステム20の各要素あるいは無線変調器90は、制御データを一時的にデータバッファ92等のデータバッファに格納しても良い。
【0066】
表示装置57は、映像データ検出器91または他のソースから映像信号を受け取り、音声/映像信号ソース56から音声信号を受け取る。表示装置57とスピーカ59は、映像信号によって定義される音声/映像を表示する。すなわち従来の方法で、一連のシーンが表示装置57およびスピーカ59を介して呈示される。
【0067】
前記したように、表示装置57に表示される音声/映像およびアンテナ98から送信される制御データは同期しているので、被制御装置60は、表示装置57に表示されているシーン中のキャラクターのごとくに振る舞う。制御データの検出、エラーの訂正、制御データの符号化、キャリアの変調等の処理は、わずかの遅延を伴う。しかしながら、符号化された映像信号において制御データを映像データ内に埋め込むことは、被制御装置の動作を表示装置57のシーンに効果的に同期させる。すなわち表示装置57が受信する映像信号とアンテナ98が送信する制御データは、同期する。その理由は、それらが符号化された映像信号の同一領域から得られるためである。すなわち符号化された映像信号には、内容に対応した制御データが映像信号に埋め込まれているためである。符号化された映像信号は、リアルタイムに制御データと映像データとに分離され、被制御装置は、表示されている音声/映像に対応して動き話す。
【0068】
被制御装置としての「リアルメーション」パフォーマ
図7は、被制御装置60を定義する各要素を示す機能ブロック図である。各要素は、ハードウエア、ソフトウエア、またはそれらの組み合わせによって実現される。一般に被制御装置60は、マイクロプロセッサ等の処理装置を含み、ROM等の不揮発性記憶媒体からプログラムを取り出し、そのプログラムの命令を実行する。被制御装置60は、ハードウエア要素を含む。このハードウエアは、例えば無線周波受信器67、無線周波送信器66、アンテナ68、読み書き可能メモリ62、センサ70、サーボモータ69、会話合成器61、スピーカ71である。
【0069】
無線周波受信器67は、アンテナ68から信号を受け取る。無線周波受信器67は、キャリアを復調し、符号化された制御データを取り出す。次にデータデコーダ65は、符号化された制御データを受け取り復号する。プロトコルハンドラ63は、デコーダ65から復号制御データ出力を受け取り、その制御データを翻訳する。制御データの内容に基づき、プロトコルハンドラ63は、制御データを適切な装置に送る。適切な装置とは、被制御装置60内のデータバッファ、最終効果装置等である。その制御データがモータ動作ベクトルを含んでいれば、少なくとも1つのサーボモータ69がその制御データを受け取り、そのモータ動作ベクトルに基づいて動く。制御データが音声合成係数を含んでいれば、会話合成器61がそれを受け取り、音声合成係数を音声信号に変換し、それをスピーカ71に送る。音声合成係数は、一時的にデータバッファ62に格納しても良い。これにより被制御装置60は、音声合成係数に基づいて音声を発生すると共に、応答データを制御装置に返送する。
【0070】
被制御装置60は、光センサおよびタッチセンサ70を含むことができる。センサ70は、圧力、光、温度等のパラメータの変化に応じて状態情報を発生する。被制御装置60は、この状態情報を図1の制御装置10に送信する。この処理は、状態情報をプロトコルハンドラ63においてフォーマットすること、状態情報をデータエンコーダ64において符号化すること、無線周波送信器66において符号化状態情報に基づきキャリアを変調すること、変調キャリアを無線周波通信回線15とアンテナ68を介して送信することを含む。
【0071】
符号化された映像信号の生成と使用
図8は、複数のデータシンク97a〜97nを制御するための符号化された映像信号を生成し使用するシステム100を示す機能ブロック図である。システム100は、映像データエンコーダ76に映像信号102を提供するための音声/映像信号ソース56を含む。音声/映像信号ソース56は、従来の各種映像ソースのいずれでもよい。例えばビデオカメラ、放送信号、有線テレビ信号、ビデオテーププレーヤ、インターネット送信映像信号、コンピュータ発生映像信号等である。映像信号102は、どのようなタイプの映像信号でもよく、複数のフレームを含み、各フレームが複数の走査線を含むものである。例えば映像信号102は、標準525ライン2フィールドインタレースNTSCテレビ信号である。この信号は、毎秒30フレームを含み、各フレームは2フィールドからなり、各フィールドは262.5本のインタレースされたラインを含む。これは当業者には公知である。
【0072】
映像データエンコーダ76は、符号化されたデータを映像信号102の各ラインに連結し、符号化された映像信号104を生成する。この詳細は、図9A、9B、10A、10Bに示す。この符号化されたデータにはプロトコルが定義される。このプロトコルは、アドレス指定可能であり、前向きの互換性を有し、エラー耐性があり、主に子供用娯楽製品向けのシステムに実施可能である。このプロトコルは、図11、12A、12Bを参照して詳細に説明する。
【0073】
映像データエンコーダ76は、符号化された映像信号104を映像データ検出器91に送る。映像データ検出器91は、遠隔装置でもよく、前記符号化された映像信号104を放送レベル送信を介して受信する。あるいは映像データ検出器91は、例えば構内通話等の局所装置でも良い。符号化されたデータは、対応する映像信号102の送信と干渉しない。このため符号化された映像信号104は、いかなる種類の映像送信媒体を用いても送信できる。例えば放送レベル有線テレビ信号、ビデオテーププレーヤ、インターネット送信映像信号、コンピュータ発生映像信号等である。また符号化されたデータは、映像信号102の可視前部あるいは可視後部に位置するので、代表的なテレビまたはモニタの動作を視覚的に干渉しない。従って符号化された映像信号104は、直接映像データ検出器91から表示装置57へ送ることができる。そして表示装置57は、符号化されたデータに邪魔されることなく、対応する映像信号102を表示できる。
【0074】
映像データ検出器91は、符号化されたデータの存在を符号化された映像信号104内に検出する。これは、図10A、10B、11で説明するように高度信号検出ワード(ISDW)の存在を検出することによって行われる。ISDW信号は、符号化された映像信号104の各フィールドの同一場所において送信されることが好ましい。例えば標準インタレース525ラインNTSCテレビ信号の場合、第1フィールドの第23ライン〜第29ライン、および第2フィールドの第286ライン〜第292ラインである。連続するISDW信号は、動的検査列を定義する。この時、各ISDW信号の少なくとも2ビットは、直前の信号検出ワードとは異なる。例えば動的検査列は、二値表現の8、1、10、3、12、5、14、7である。
【0075】
所定ラインにデータがあれば、映像データ検出器91はそれを読み出し、ISDWビットに訂正可能なエラーがあればそれを訂正し、ISDWの存在を検出する。各フレームにおいて、ISDWの後には、多くの内容ワードが続く。映像データ検出器91がISDWの存在を符号化された映像信号104内に検出すると、符号化された映像信号から内容ワードを抽出し、それらを組み立てて、シリアルデータ通信信号106を作成する。映像データ検出器91は、シリアルデータ通信信号106をデータエラー処理装置99へ送る。
【0076】
データエラー処理装置99は、エラー訂正ビットを取り出し、内容ビット中の訂正可能なエラーをすべて訂正し、訂正した内容ワードを組み立てて9ビットエラー訂正済みデータストリーム108を生成する。このデータストリーム108は、プロトコルハンドラ93に送られる。プロトコルハンドラ93は、多くのデータハンドラ89a〜89nを含む。これらデータハンドラは、装置制御データを検出し、それを対応するデータシンク97a〜97nへ送る。内容データ用のアドレス指定プロトコルは、図12Aおよび12B を参照して説明する。データハンドラ89a〜89nの各々は、アドレスデータを検出する。このアドレスデータは、対応するデータシンク97a〜97nに割り当てられたショートアドレスまたはロングアドレスを含む。その後データハンドラ89a〜89nは、後続の装置制御データ110a〜110nを対応するデータシンク97a〜97nへ送る。データハンドラ89a〜89nの各々は、装置制御データを再フォーマットして対応するデータシンク97a〜97n用に適切なフォーマットを有するデータストリームを提供する。
【0077】
特にデータシンク97aは、装置制御データを再フォーファットしてMIDIフォーマットを作成する。このMIDIフォーマットは、前記したように、DDMエンコーダ94、変調器95、送信器96を介して被制御無線装置60に送信される。DDMエンコーダ94を動作させるための一方法は、米国特許出願第08/794,921号「遠隔装置を制御するシステムおよび方法」に説明されている。この発明は、発明者レオナルド・デル・キャスティロ、ダモン・ダニエリ、スコット・ランドール、クレイグ・ランタ、ハルジ・シンであり、1997年2月4日に出願された。この発明は、共通譲受人が所有し、参考として取り上げた。
【0078】
図9A、9Bは、符号化された映像信号104の単一走査線における符号化されたデータの位置を示す図である。図9Aは、データビット値「1」128を示す波形図である。このデータビットは、符号化された映像信号104の走査線の水平オーバースキャン領域に符号化されている。走査線とは、表示装置57に表示される1フレームの1ラインを表す。縦軸は信号波形120の振幅を表し、単位はIREである。横軸は時間を表し、単位はマイクロ秒である。これらは当業者に公知である。図9A、9Bの縮小率は正確ではないが、重要な基準点は対応する軸に単位を記入した。走査線の波形120は、-40IREにおいて水平同期パルス122が開始する。これはタイミング信号であり、走査線の開始(すなわち時間=0)を示す。この時パルスの先端は-20IREを通過し、水平基準点「H-REF」を確立する。水平同期パルス122は、正弦カラーバースト124につながる(近似包絡線で示す)。これは表示装置57の較正信号として使われる。カラーバースト124は、可視ラスタ126を表す波形につながる(近似包絡線で示す)。この可視ラスタ126は、表示装置57に可視画像を生成しそれにわずかに重畳する。
【0079】
波形120は、可視前水平オーバースキャン領域127を含む。これは大体、H-REFの後9.2マイクロ秒から10.2マイクロ秒であり、カラーバースト124の後、可視ラスタ126の前に発生する。映像データエンコーダ76は、可視前(すなわち可視ラスタ126の前)データビット「1」128を検出する。これは波形120を所定の高い値、例えば80IREに駆動することによって行われる。この駆動は、H-REF後の9.2マイクロ秒〜10.2マイクロ秒の期間で行われる。データビット「1」128を表すパルスは、カラーバースト124の較正期間の後、可視ラスタ126の前に発生するので、表示装置57の動作に干渉したり表示画像に出現したりしない。
【0080】
図9Bは、データビット値「0」128'を示す波形図である。このデータビット値は、符号化された映像信号104の走査線の水平オーバースキャン領域に符号化される。映像データエンコーダ76は、可視前データビット「0」128'を検出する。これは波形120を所定の低い値、例えば7.5IREに駆動することによって行われる。この駆動は、H-REF後の9.2マイクロ秒〜10.2マイクロ秒の期間で行われる。
【0081】
前記したように、各16ビット内容ワードは9個のデータビットを含み、各フレームは13個の内容ワードを含む。このため走査線ごとに1ビットを符号化すると、代表的な59.94HzのNTSC映像信号に符号化されたデータは、7,013ボーの帯域幅を生成する。この帯域幅は、データシンク97aに十分なデータを提供でき、前記したような方法で複数の被制御無線装置60を制御できる。これについては、関連特許出願である米国特許出願第08/795.710号「無線制御システム用プロトコル」に記載されている。この出願は、1997年2月4日に出願され、共通譲受人に譲渡され、参考として取り上げた。
【0082】
符号化されたデータの7,013ボーの1ビット/走査線帯域幅は、他のデータシンク97b〜97nを制御して追加のサービスを提供するにも十分である。追加のサービスとは、広告、購読、緊急警告情報等である。このような情報は、表示装置57や他のデータシンクに送られる。例えばこれらサービスは、Eメール、外国語字幕、構内電話機能、電話呼び出し、気象警告、セットトップボックス用構成データ等を含むことができる。現在、7,013ボーの1ビット/走査線帯域幅は、好ましいものであり、「リアルメーション」システムに十分な帯域幅を提供し、システムの構成要素のコストを低く抑える。特に映像データエンコーダ76と映像データ検出器91のコストを低く抑える。この帯域幅は、可視後水平オーバースキャン領域130に第2のパルスを置くことによって、広げることもできる。この領域130は、可視ラスタ126の後、水平ブランキング期間132(この期間に表示装置57のCRTの電子銃は、終了直後の走査線の末端から次の走査線の先頭まで掃引する)の前である。
【0083】
帯域幅は、各パルス128および130が2つの状態(1,0)以上を表すようにすることによって、さらに広げることができる。例えば3状態(1.0、1.5、2.0DDMパルス幅)の場合、「リアルメーション」DDMプロトコルの類似物を使えば良い。4状態の場合、パルスは2ビットを表せば良い(例えば100〜80IRE=1,1;70〜50IRE=1,0;40〜20IRE=0,0;10〜-40IRE=0,1)。8状態の場合、パルスは3ビットを表せばよい。16状態の場合、パルスは4ビットを表せばよい、等である。例えばシステム100が可視前水平オーバースキャン領域127と可視後水平オーバースキャン領域130との両方にデータパルスを用いる場合、各データパルスが16状態を有するようにすれば、各走査線は8ビットを送信できよう。これにより帯域幅は、7,013ボーから56,104ボーに広がる。これは、映像データエンコーダ76と映像データ検出器91のコストを上昇させるが、将来の応用を考えれば十分な価値がある。
【0084】
図10A、10Bは、標準NTSC映像フレームにおける符号化されたデータの位置を示す。図10Aは、標準525ライン2フィールドインタレースNTSC映像信号の一部におけるデータビットの位置を示す。この映像データの各フレームは、垂直ブランキング期間140(この期間に表示装置57のCRTの電子銃は、表示直後のフレームの末端から次のフレームの先頭まで上方に戻って掃引する)を有する。それに続き、アクティブ映像期間142が来る。この期間は、多数の左から右への走査線を含み、表示装置57のスクリーンの上から下へ順次描画する。垂直ブランキング期間140の終了において、最後の2パルスは、字幕データ146と垂直ブランキングデータ148用に予約されることが多い。ただしこれらビットは他の目的に既に予約されていることもある。また各フィールドの最下部は、ヘッド切り替えノイズによって破損していることが多い。このようなノイズは、VHSや8ミリ等の民生フォーマットの螺旋スキャンビデオテーププレーヤの出力に存在する。従って各走査線の水平オーバースキャン領域は、符号化された映像信号104の符号化されたデータビット128、128'にとって好適な場所を提供する。
【0085】
図10Bは、標準NTSC映像フレームの2つのインタレースフィールドにおけるデータビットの位置を示す。すなわち図10Bは、完全NTSC525ライン2フィールドインタレースビデオフレームにおける符号化されたデータの位置を示す。映像データのフレームは、第1フィールド152における第1ライン〜第262ラインと、それにインタレースした第2フィールド154の第263ライン〜第525ラインを含む。第1フィールド152は、垂直ブランキング期間140aとアクティブ映像期間142aとを含む。垂直ブランキング期間140aは、第1ライン〜第22ラインを含み、字幕データ146aを含むことのある第21ラインと、垂直ブランキングデータ148aを含む第22ラインで終了する。ISDW156aは、第23ライン〜第29ラインに符号化され、内容データ158aは、第30ライン〜第237ラインに符号化される。第2フィールド154は、垂直ブランキング期間140bと、アクティブ映像期間142bとを含む。垂直ブランキング期間140bは、第263ライン〜第284ラインを含み、字幕データ146bを含むことのある第283ラインと、垂直ブランキングデータ148bを含むことのある第284ラインで終了する。ISDW156bは、第286ライン〜第292ラインに符号化され、内容データ158bは、第293ライン〜第500ラインに符号化される。
【0086】
各ISDWは、複数のデータビットと複数のエラー訂正ビットとを含むことが好ましい。このエラー訂正ビットは、データビット中に単一ビットエラーを検出し訂正することのできる訂正列を定義する。例えばISDWは、7ビットのハミングコード(すなわち4データビットと3エラー訂正ビット)を下記の表1に示すフォーマットにおいて含む。
【0087】
【表1】
映像フレームの各フィールド152、154において、13個までの16ビット内容ワード158は、下記の表2に示すようにISDW156に続く。
【0088】
【表2】
各内容ワードは、複数のデータビット164と複数のエラー訂正ビット166とを含むことが好ましい。これらエラー訂正ビットは、データビット中において単一ビットエラーを検出し訂正することができる訂正列を定義する。例えば内容ワードは、7ビットのハミングコード(すなわち4データビットと3エラー訂正ビット)と、9ビットのハミングコード(すなわち5データビットと4エラー訂正ビット)とを下記の表3に示すフォーマットにおいて含むことができる。
【0089】
【表3】
他の多くのより複雑なデータ訂正方法が使用できるであろうが、ハミングコードは、簡単で計算量が少ないので、好適である。
【0090】
図11は、符号化された映像信号104の水平オーバースキャンデータストリーム150のフォーマットを示すメッセージプロトコルである。水平オーバースキャンデータストリーム150は、一般に映像データ検出器91によって生成される。この検出器91は、符号化された映像信号104からデータを抽出し、抽出したデータを組み立ててシリアルデータ通信信号106を形成する。水平オーバースキャンデータストリーム150の各フィールドは、一般に単一の7ビットISDWである高度信号検出データと、一般に13個の16ビット内容ワードである内容データとを含む。例えばISDW156aは、前記表1に示すとおり、4個のデータビット160と、3個のエラー訂正ビット162とを含む。例えば内容ワード158aは、前記表2および3に示すように、4個のデータビット164aと、それに続く3個のエラー訂正ビット166aと、それに続く5個のデータビット164bと、それに続く4個のエラー訂正ビット166bとを含む。
【0091】
一連のISDW155a〜155nは、動的検査列170を定義する。各ISDWの少なくとも2ビットは、直前の信号検出ワードと異なる。例えば動的検査列は、二値表現において8、1、10、3、12、5、14、7を含むことができる。動的検査列170を連続するISDWの各々において少なくとも2ビット変化させることにより、ランダムノイズがISDWデータと誤認される危険を減らすことができる。
【0092】
内容データは、アドレスデータ172と装置制御データ174とを含む。このため内容データ用のプロトコルはアドレス指定可能であり、装置制御データは、各種データシンク97a〜97nに送ることが可能となる。内容データのアドレス指定可能性は、アドレスデータ172a〜172nと装置制御データ174a〜174nとによって実現される。アドレスデータ172の帯域幅要求を制限するため、限定数の所定ショートアドレスをデータシンクへの割り当て用に予約することが好ましい。プロトコルのアドレス指定をさらに増やすため、2個のショートアドレスをロングアドレスの開始と終了を示すために予約する。これにより、実質的に無限数の可変長ロングアドレスを将来割り当てることができる。
【0093】
各ショートアドレスの第1データビットは、アドレスワードと装置制御ワードとを区別する(0=アドレス、1=装置制御データ)。アドレスワードは、アドレス識別ビットに続く8ビットが256個のアドレスを可能にする。最初の254個のアドレスは、ショートアドレスクラスであり、被制御装置の特定のクラスにあらかじめ割り当てられる。最後の2個のアドレス(0FEと0FF)は、ロングアドレス用の開始および終了区切り文字として使われる。このように、実質的に無限数の可変長追加クラスアドレスが、ロングアドレス区切り文字を使うことによって将来的に割り当てできる。これはプロトコルに、非常に優れた前向きの互換性を与える。下記の表4は、アドレス指定プロトコルを示す。
【0094】
【表4】
図12Aは、符号化された映像信号104内のショートアドレス内容データのフォーマットを示すメッセージプロトコルである。この内容データは、エラー訂正済み内容データビットを含むことが好ましい。これらビットは、データエラー処理装置99によって9ビットデータストリームに組み立てられる。特定のショートアドレスデータシンク97aへのデータパケットをアドレス指定するため、そのデータシンクのショートアドレスは、符号化された映像信号104内において送信される。当該データシンクのショートアドレスの先頭は、データハンドラ89aによって開始パケットメッセージ202aとして解釈される。そしてデータハンドラ89aは、続いて受信する装置制御データをデータシンク97aに転送する。従って開始パケットメッセージ202aの後に、選択されたデータシンク97a用の装置制御データ204aが続く。
【0095】
データシンク97a用のパケットは、空アドレスまたは他のロングアドレスまたはショートアドレスを、符号化された映像信号104において送信することによって終了する。この新しいショートアドレスは、データハンドラ89aによって終了パケットメッセージ206aとして解釈される。データハンドラ89aは、引き続き受信する装置制御データのデータシンク97aへの転送を中止する。このアドレス指定手順は、ショートアドレスを割り当てられた各データシンクに対し、必要に応じて繰り返す。
【0096】
前記したように、プロトコルのアドレス指定をさらに増やすため、2個のショートアドレスがロングアドレスの開始と終了を示すために予約される。図12Bは、符号化された映像信号104内のロングアドレス内容データのフォーマットを示すメッセージプロトコルである。データパケットを特定のロングアドレスデータシンク97bにアドレス指定するため、開始ロングアドレスメッセージ210b(0FE)を示すショートアドレスが、符号化された映像信号104内において送信される。要求のデータシンクのロングアドレス212bが次に送信される。それに続いて、終了ロングアドレスメッセージ214b(0FF)を示すショートアドレスが送信される。データシンクのロングアドレスの先頭は、データハンドラ89bによって開始パケットメッセージとして解釈される。データハンドラ89bは、引き続き受信する装置制御データをデータシンク97bに転送開始する。従って開始パケットメッセージ202aの後に、データシンク97a用の装置制御データ204aが続く。
【0097】
データシンク97b用のパケットは、符号化された映像信号104内においてさらに別のアドレスワードを送信することによって終了する。この新しいアドレスは、データシンク89bによって終了パケットメッセージとして解釈される。そしてデータハンドラ89bは、それに応じ、引き続き受信する装置制御データのデータシンク97bへの転送を中止する。このアドレス指定手順は、ロングアドレスが割り当てられた各データシンクについて、必要に応じて繰り返される。
【0098】
図13は、映像データ検出器91用のルーチン1300を示す論理流れ図である。ルーチン1300は、ステップ1302で開始する。ステップ1304において映像データ検出器91は、映像データエンコーダ76から符号化された映像信号104を受け取る。ステップ1306において映像データ検出器91は、フレームマーカの先頭を検出する。ステップ1308において映像データ検出器91は、そのフレームのISDW領域内のビットを収集する。ステップ1310において映像データ検出器91は、そのデータ中の訂正可能な一般に1ビットのエラーを訂正する。ステップ1312において映像データ検出器91は、フレームのISDW領域から収集したデータが実際にISDWであるかを決定する。
【0099】
特に映像データ検出器91は、一連のISDWが動的検査列170に対応するかを決定する。動的検査列170において、各ISDWの少なくとも2ビットは、一般に直前の信号検出ワードと異なる。例えば動的検査列は、8、1、10、3、12、5、14、7の二値表現である。動的検査列170が検出されると、ステップ1312からYESの分岐をたどってステップ1314に進む。ステップ1314において映像データ検出器91は、内容ワード158を組み立てシリアルデータ通信信号106を生成する。ステップ1316において映像データ検出器91は、フレームマーカの終了を検出する。ステップ1318において映像データ検出器91は、当該フレームのシリアルデータ通信信号106をデータエラー処理装置99に送る。ステップ1318およびステップ1312のNOの分岐は、終了ステップ1320へ進む。このステップ1320は、ステップ1302へ戻りデータの次のフレームに対してルーチン1300を繰り返す。
【0100】
図14は、データエラー処理装置99用のルーチン1400を示す論理流れ図である。ルーチン1400は、ステップ1402で開始する。ステップ1404においてデータエラー処理装置99は、映像データ検出器91からシリアルデータ通信信号106を受け取る。ステップ1406においてデータエラー処理装置99は、シリアルデータ通信信号106の内容データビット164にデータエラーが検出されるかを決定する。シリアルデータ通信信号106の内容データビット164にデータエラーが検出されなければ、NOの分岐をたどってステップ1412に進む。このステップについては後述する。シリアルデータ通信信号106の内容データビット164にデータエラーが検出されれば、YESの分岐をたどってステップ1408に進む。ステップ1408においてデータエラー処理装置99は、そのエラーが訂正可能であるかを決定する。エラーは一般に1ビットデータエラーである。
【0101】
そのエラーが訂正可能データエラーであれば、ステップ1408のYESの分岐をたどってステップ1410に進む。ステップ1410においてデータエラー処理装置99は、そのエラーを訂正する。ステップ1412においてデータエラー処理装置99は、内容データビット164を組み立て9ビットのエラー訂正済みデータストリーム108を生成する。ステップ1414においてデータエラー処理装置99は、9ビットエラー訂正済みデータストリーム108をプロトコルハンドラ93に送る。ステップ1414およびステップ1406のNOの分岐は、終了ステップ1416へ進む。ステップ1416は、ステップ1402へ戻り、映像データ検出器91から受け取る次のシリアルデータ通信信号に対してルーチン1400を繰り返す。
【0102】
図15は、プロトコルハンドラ93のデータハンドラ89用のルーチン1500を示す論理流れ図である。このルーチンは、ショートアドレスに応答すべく構成されている。ルーチン1500は、ステップ1502で開始する。ステップ1504においてデータハンドラ89は、データエラー処理装置99から9ビットエラー訂正済みデータストリーム108を受け取る。ステップ1506においてデータハンドラ89は、9ビット内容ワードを読む。ステップ1508においてデータハンドラ89は、その内容ワードがアドレスワードであるかを決定する。これは、末尾データビットがゼロであるかをチェックすることによって行うことが好ましい。その内容ワードがアドレスワードであれば、YESの分岐をたどってルーチン1510へ進む。ルーチン1510においてデータハンドラ89は、そのアドレスワードを処理する。ルーチン1510は、図16を参照して後述する。
【0103】
その内容ワードがアドレスワードでなければ(すなわちその内容ワードが装置制御データであれば)、ステップ1508のNOの分岐をたどってステップ1512へ進む。ステップ1512においてデータハンドラ89は、アクティブモードにあるかを決定する。すなわちデータハンドラ89は、対応するデータシンク97用のショートアドレスを受け取ることにより既にアクティブモードに切り替えられているかを決定する。データハンドラ89がアクティブモードにあれば、ステップ1512のYESの分岐をたどってステップ1514へ進む。ステップ1514においてデータハンドラ89は、装置制御データを対応するデータシンク97用の適切なフォーマットに変換する。ステップ1516においてデータハンドラ89は、データシンクフォーマットデータ110を対応するデータシンク97へ送る。ステップ1516、ステップ1510、およびステップ1512のNOの分岐は、終了ステップ1518に進む。このステップ1518は、ステップ1502へ戻り、次の9ビット内容ワードに対してルーチン1500を繰り返す。
【0104】
図16は、ショートアドレスワードを処理するためのルーチン1510を示す論理流れ図である。ルーチン1510はステップ1602で開始する。これは図15のステップ1508のYESから分岐している。ステップ1604においてデータハンドラ89は、受け取ったアドレスがショートアドレスであって対応するデータシンク97に割り当てられたショートアドレスであるかを決定する。受け取ったアドレスが対応するデータシンク97に割り当てられたショートアドレスと一致すれば、YESの分岐をたどってステップ1608へ進む。ステップ1608においてデータハンドラ89は、アクティブモードに設定される。データシンク97用の装置制御データが後続するであろうから、データハンドラ89は、ステップ1610において、「データパケット開始」メッセージを対応するデータシンク97に送る。ステップ1610は、リターンステップ1616へ進む。このステップは図15のステップ1518へ戻る。
【0105】
ステップ1604に戻り、受け取ったアドレスが割り当てられたショートアドレスと一致しなければ、NOの分岐をたどってステップ1612へ進む。ステップ1612においてデータハンドラ89は、非アクティブモードに設定される。これはデータパケットの終了を知らせるので、データシンク97用の装置制御データが後続しないことを意味する。そこでデータハンドラ89は、ステップ1614において、「データパケット終了」メッセージを対応するデータシンク97に送る。ステップ1614は、リターンステップ1616へ進む。このステップは、図15のステップ1518へ戻る。
【0106】
図17は、プロトコルハンドラ93のデータハンドラ89用のルーチン1700を示す論理流れ図である。このルーチンは、ロングアドレスに応答すべく構成されている。ルーチン1700は、ステップ1702で開始する。ステップ1704においてデータハンドラ89は、データエラー処理装置99から9ビットエラー訂正済みデータストリーム108を受け取る。ステップ1706においてデータハンドラ89は、9ビット内容ワードを読む。ステップ1708においてデータハンドラ89は、その内容ワードがアドレスワードであるかを決定する。これは、その末尾データビットがゼロであるかをチェックすることで行うことが好ましい。その内容ワードがアドレスワードであれば、YESの分岐をたどってルーチン1710へ進む。ルーチン1710においてデータハンドラ89は、そのアドレスワードを処理する。ルーチン1710は、図18を参照して後述する。
【0107】
その内容ワードがアドレスワードでなければ(すなわちその内容ワードが装置制御データであれば)、ステップ1708のNOの分岐をたどってステップ1712へ進む。ステップ1712においてデータハンドラ89は、データアクティブモードにあるかを決定する。すなわちデータハンドラ89は、対応するデータシンク97用のロングアドレスを受け取ることにより既にアクティブモードに切り替えられているかを決定する。データハンドラ89がアクティブモードにあれば、ステップ1712のYESの分岐をたどってステップ1714へ進む。ステップ1714においてデータハンドラ89は、装置制御データを対応するデータシンク97用の適切なフォーマットに変換する。ステップ1716においてデータハンドラ89は、データシンクフォーマットデータ110を対応するデータシンク97へ送る。ステップ1716は、終了ステップ1722へ進む。このステップは、ステップ1702へ戻り、次の9ビット内容ワードに対してルーチン1700を繰り返す。
【0108】
データハンドラ89がデータアクティブモードになければ、ステップ1712のNOの分岐をたどってステップ1718へ進む。ステップ1718においてデータハンドラ89は、ロングアドレス収集モードにあるかを決定する。データハンドラ89がロングアドレス収集モードにあれば、YESの分岐をたどってステップ1720へ進む。ステップ1720においてデータハンドラ89は、現在の内容ワードのデータビットをロングアドレスの一部として収集する。データハンドラ89がロングアドレス収集モードになければ、NOの分岐をたどって終了ステップ1722へ進む。このステップはステップ1702へ戻り、次の9ビット内容ワードについてルーチン1700を繰り返す。
【0109】
図18は、ロングアドレスワードを処理するためのルーチン1710を示す論理流れ図である。ルーチン1710は、図17のステップ1708のYESの分岐をたどり、ステップ1802で開始する。ステップ1804においてデータハンドラ89は、受け取った内容ワードがロングアドレス開始メッセージであるかを決定する。これは、受け取った内容ワードがこのタイプのメッセージ専用のショートアドレス(0FE)であるかを決定することによって行うことが好ましい。受け取った内容ワードがロングアドレス開始メッセージであれば、YESの分岐をたどりステップ1806へ進む。ステップ1806においてデータハンドラ89は、ロングアドレス収集モードに設定される。
【0110】
ステップ1806はステップ1807へ進む。ステップ1807においてデータハンドラ89は、既にデータアクティブモードにあるかを決定する。データハンドラ89が既にデータアクティブモードにあれば、YESの分岐をたどってステップ1820へ進む。ステップ1820において、データハンドラはデータ非アクティブモードに設定される。これはデータパケット終了を知らせるので、データシンク97用の装置制御データが後続しないことを意味する。そこでデータハンドラ89は、ステップ1822において、「データパケット終了」メッセージを対応するデータシンク97に送る。ステップ1822は、リターンステップ1824へ進む。このステップは、図17のステップ1722へ戻る。
【0111】
ステップ1804に戻り、受け取った内容ワードがロングアドレス開始メッセージでなければ、NOの分岐をたどりステップ1808へ進む。ステップ1808においてデータハンドラ89は、受け取った内容ワードがロングアドレス終了メッセージであるかを決定する。これは、受け取った内容ワードがこのタイプのメッセージ専用のショートアドレス(0FF)であるかを決定することによって行うことが好ましい。受け取った内容ワードがロングアドレス終了メッセージでなければ、NOの分岐をたどりステップ1809へ進む。ステップ1809において、データハンドラ89用のデータ収集モードは、非アクティブにされる。ステップ1809はステップ1814へ進む。ステップ1814においてデータハンドラ89は、データアクティブモードに設定されているかを決定する。データハンドラ89がデータアクティブモードに設定されているならば、YESの分岐をたどりステップ1820へ進む。ステップ1820において、データハンドラはデータ非アクティブモードに設定される。これはデータパケット終了を知らせるので、データシンク97用の装置制御データが後続しないことを意味する。そこでデータハンドラ89は、ステップ1822において、「データパケット終了」メッセージを対応するデータシンク97に送る。ステップ1822は、リターンステップ1824へ進む。このステップは、図17のステップ1722へ戻る。
【0112】
ステップ1808に戻り、受け取った内容ワードがロングアドレス終了メッセージであれば、YESの分岐をたどりステップ1810へ進む。ステップ1810においてデータハンドラ89は、ロングアドレス収集モードに設定される。ステップ1812においてデータハンドラ89は、受け取ったロングアドレス(すなわち図17のステップ1720において収集したロングアドレス)が対応するデータシンク97に割り当てられたロングアドレスと一致するかを決定する。受け取ったロングアドレスが対応するデータシンク97に割り当てられたロングアドレスと一致すれば、YESの分岐をたどってステップ1816へ進む。ステップ1816においてデータハンドラ89は、アクティブモードに設定される。データシンク97用の装置制御データが後続するであろうから、データハンドラ89は、ステップ1818において、「データパケット開始」メッセージを対応するデータシンク97に送る。ステップ1818は、リターンステップ1824へ進む。このステップは図17のステップ1722へ戻る。
【0113】
当業者には明らかなように、表1〜4に示した特定のプロトコルは、例に過ぎない。他の多くのプロトコルを使っても、本発明に基づくショートアドレスおよびロングアドレスを用いたアドレス指定構成を実現できる。さらに符号化された映像信号104内のデータの位置は、システム100の機能に悪影響を与えることなく変化させることができる。特にマイクロソフト社は、米国連邦通信委員会から、標準525ラインNTSCテレビ放送信号の第1フィールドにおける第23ライン〜第257ラインと第2フィールドにおける第285ライン〜第519ラインにデジタルデータを符号化することの許可を受けている。図10Bおよび表1〜4に示すとおり、好適プロトコルは、第1フィールドの第23ライン〜第237ラインと第2フィールドの第286ライン〜第500ラインしか使わない。これは、符号化された映像信号104とMPEGベースの映像圧縮アルゴリズムとの互換性を強化する。MPEGベースの映像圧縮アルゴリズムは、一般に第285ラインを除外し、480本の可視走査線のみの圧縮表現を含める。
【0114】
このように本発明は、被制御無線装置用の制御データを映像信号に関連付けて符号化するための方法およびシステムを提供する。本発明により、被制御装置は、映像信号によって定義される番組情報と同期して動く。追加サービスを提供するための追加データを映像信号に符号化して送信することもできる。追加サービスとは、Eメール、外国語字幕、構内電話機能、電話呼び出し、気象警告、セットトップボックス用構成データ等である。符号化されたデータ用のプロトコルは、アドレス指定可能であり、前向きの互換性を持ち、エラー耐性があり、主に子供用娯楽製品向けのシステムに実施可能である。
【0115】
本発明の特定の実施例のみを説明してきたが、これら実施例には本発明の精神および範囲を逸脱することなく多くの変更が可能である。本発明の精神および範囲は、特許請求の範囲に記載の通りである。
【図面の簡単な説明】
【図1】 図1は、制御装置と被制御装置とを含む双方向無線制御環境を示すブロック図である。
【図2】 図2は、図1の制御装置の一部を構成するパーソナルコンピュータを示すブロック図である。
【図3】 図3は、図1の制御装置の一部を構成する無線モデムを示すブロック図である。
【図4】 図4は、制御装置と被制御装置とを含む一方向無線制御環境を示すブロック図である。
【図5】 図5は、映像データと符号化された制御データとを含むデータストリームを生成するためのシステムを示すブロック図である。
【図6】 図6は、図4の制御装置の一部を構成する無線モデムの各構成要素と処理を示すブロック図である。
【図7】 図7は、図4の被制御装置の各構成要素と処理を示す機能ブロック図である。
【図8】 図8は、符号化された映像信号を生成し使用することにより複数のデータシンクを制御するためのシステムを示すブロック図である。
【図9】 図9Aは、符号化された映像信号の走査線の水平オーバースキャン領域内にデータビット値「1」を符号化したことを示す波形図である。図9Bは、符号化された映像信号の走査線の水平オーバースキャン領域内にデータビット値「0」を符号化したことを示す波形図である。
【図10】 図10Aは、符号化された映像信号のフレームの一部におけるデータビットの位置を示す図である。図10Bは、符号化された映像信号のフレームの2個のインタレースフィールドにおけるデータビットの位置を示す図である。
【図11】 図11は、符号化された映像信号の水平オーバースキャンデータストリームのフォーマットを示すメッセージプロトコルである。
【図12】 図12Aは、符号化された映像信号のショートアドレス内容データのフォーマットを示すメッセージプロトコルである。図12Bは、符号化された映像信号のロングアドレス内容データのフォーマットを示すメッセージプロトコルである。
【図13】 図13は、符号化された映像信号を生成し使用することにより複数のデータシンクを制御するためのシステムにおいて映像データ検出器の動作を示す論理流れ図である。
【図14】 図14は、符号化された映像信号を生成し使用することにより複数のデータシンクを制御するためのシステムにおいてデータエラー処理装置の動作を示す論理流れ図である。
【図15】 図15は、符号化された映像信号を生成し使用することにより複数のデータシンクを制御するためのシステムにおいてプロトコルハンドラのショートアドレス用動作を示す論理流れ図である。
【図16】 図16は、プロトコルハンドラにおける図15のショートアドレス処理を示す論理流れ図である。
【図17】 図17は、符号化された映像信号を生成し使用することにより複数のデータシンクを制御するためのシステムにおいてプロトコルハンドラのロングアドレス用動作を示す論理流れ図である。
【図18】 図18は、プロトコルハンドラにおける図17のロングアドレス処理を示す論理流れ図である。
Claims (46)
- 表示装置(57)に表示されるために各々が複数のラインで構成される複数のフレーム(152,154)からなる映像信号(102)に前記表示装置(57)とは異なる装置の制御データ(110)を符号化する方法であって、各々のフレームは複数のラインを含み、符号化されたデータを前記映像信号のラインに連結することにより、符号化された映像信号(104)を生成する段階と、更に、各フレームに対応した前記制御データの内容データを定義すべく前記符号化されたデータを構成する段階とを備えており、
前記内容データが、
前記表示装置(57)とは異なる第1装置(97a)に対応した第1アドレス(172a)と、
前記第1装置用の装置制御データ(174a)と、
前記表示装置とは異なる第2装置(97b)に対応した第2アドレス(172b)と、
前記第2装置用の装置制御データ(174b)とを含むよう定義することと、
前記映像信号(102)の水平オーバースキャン部分(127,130)に前記内容データを符号化することを含み、
前記第1装置用の前記装置制御データが前記第1装置を制御し、かつ、前記第1装置は外部からの入力に応答して前記表示装置(57)の表示を制御すること
を特徴とする方法。 - 前記第1アドレスに基づき、前記第1装置用の装置制御データを前記第1装置(97a)に転送する段階と、
前記第1装置の動作を前記第1装置用の装置制御データに基づき制御する段階と、
前記第2アドレスに基づき、前記第2装置用の装置制御データを前記第2装置(97b)に転送する段階と、
前記第2装置の動作を前記第2装置用の装置制御データに基づき制御する段階とをさらに備える請求項1記載の方法。 - 前記映像信号が、前記表示装置(57)に表示されるシーンを構成するための番組情報を定義し、
前記第1装置用の装置制御データが、前記表示装置に表示されるシーン中のキャラクターとして前記第1装置を振る舞わせるための音声データおよびモータ制御データを含む請求項1又は2に記載の方法。 - 前記第2装置(97b)用の装置制御データ(174b)が、前記表示装置に表示されるシーン中の第2キャラクターとして前記第2装置を振る舞わせるための音声データと、
前記表示装置に表示されるシーン中の第2キャラクターとして前記第2装置を振る舞わせるためのモータ制御データと、
コンピュータシステムへ送信される電子メールと、
構内電話システムへ送信されるインターコム情報と、
呼び出しシステムへ送信される電話呼び出し情報と、
前記表示装置に表示される言語翻訳データと、
前記表示装置に表示される広告情報と、
前記表示装置に表示されるサブスクリプション情報と、
前記表示装置に表示される緊急警告情報とから選択される請求項1乃至3のいずれか1項に記載の方法。 - 前記第1アドレス(172a)が第1開始パケットショートアドレスワード(202a)からなり、前記第2アドレス(172b)が第2開始パケットショートアドレスワード(202b)からなり、
前記第2開始パケットショートアドレスワード(202b)を、前記第1装置に対応した第1終了パケットショートアドレスワードとして解釈する段階をさらに備える請求項1乃至4のいずれか1項に記載の方法。 - 前記第1アドレスが開始パケット開始ロングアドレスワード(210)からなり、
前記第1装置に対応したロングアドレス(212)の開始と、
前記第1装置に対応した開始パケット終了ロングアドレスワード(214)と、
前記第1装置用の装置制御データ(216)とを定義するように前記内容データを構成する段階をさらに備える請求項1乃至5のいずれか1項に記載の方法。 - 信号検出データ(156)を定義するように前記符号化されたデータを構成する段階をさらに備え、各信号検出ワードが、
複数のデータビット(160)と、
前記データビット中の単一ビットエラーを検出し訂正するための訂正列を定義する複数のエラー訂正ビット(162)とからなる請求項1乃至6のいずれか1項に記載の方法。 - 前記映像信号が複数の2フィールドインタレースフレーム(152,154)からなり、
前記映像信号の各フィールドの符号化されたデータが、基本的に4個のデータビット(160)と3個のエラー訂正ビット(162)とからなる単一の検出ワード(156)を定義する請求項1乃至7のいずれか1項に記載の方法。 - 前記内容データが複数の内容ワード(158)からなり、各内容ワードが、
複数のデータビット(164)と、
前記データビット中のエラーを検出し訂正するための訂正列を定義する複数のエラー訂正ビット(166)とからなる請求項1乃至8のいずれか1項に記載の方法。 - 各内容ワード(158)が、基本的に9個のデータビット(164)と7個のエラー訂正ビット(166)とからなる請求項9記載の方法。
- 前記映像信号の各フレーム(152,154)に符号化された信号検出ワード(156)からなる信号検出データを定義するように、符号化されたデータを構成する段階をさらに備え、
一連の信号検出ワードが、各信号検出ワードの少なくとも2ビットが直前の信号検出ワードと異なるような動的検査列を定義する請求項1乃至10のいずれか1項に記載の方法。 - 前記動的検査列が、8、1、10、3、12、5、14、7の二値表現からなる請求項10記載の方法。
- 前記符号化されたデータが複数のライン信号からなり、
各ライン信号が、前記映像信号の1ラインにおける前記水平オーバースキャン部分(127,130)にて符号化される1つ以上のデータビットを備える請求項1乃至12のいずれか1項に記載の方法。 - 前記映像信号の各ラインが、カラーバースト部(124)と可視ラスタ部(126)とからなり、各ライン信号が、前記カラーバースト部と前記可視ラスタ部との間に配置されるパルス(127)からなる請求項12記載の方法。
- 各パルスが、符号化されたデータの単一ビットを定義する請求項14記載の方法。
- 前記映像信号が複数の2フィールドインタレースフレーム(152,154)からなり、 前記映像信号の各フィールドの符号化されたデータが、1個の7ビット信号検出ワード(156)と13個の16ビット内容ワード(158)とを定義する請求項1乃至15のいずれか1項に記載の方法。
- 各パルス(127,130)が、前記符号化されたデータの複数ビットを定義するように変調される請求項14記載の方法。
- 前記映像信号の各ラインが、カラーバースト部(124)と可視ラスタ部(126)と水平ブランキング期間(132)とからなり、各ライン信号が、
前記カラーバースト部と前記可視ラスタ部との間に配置される可視前パルス(127)と、
前記可視ラスタ部の後であって前記水平ブランキング期間の前に配置される可視後パルス(130)とからなる請求項1乃至17のいずれか1項に記載の方法。 - 各可視前パルス(127)が、前記符号化されたデータの単一ビットを定義し、
前記可視後パルス(130)が、前記符号化されたデータの単一ビットを定義する請求項18記載の方法。 - 各可視前パルス(127)が、前記符号化されたデータの複数ビットを定義するように変調され、
各可視後パルス(130)が、前記符号化されたデータの複数ビットを定義するように変調される請求項19記載の方法。 - 表示装置(57)に表示される映像信号の各ラインに連結される符号化されたデータ(110)を含む複数のラインの各々にて構成される複数のフレーム(152,154)を定義する映像信号(102)を発生する装置であって、
前記符号化されたデータ(110)は前記映像信号(102)の水平オーバースキャン部分(127,130)内に配置され、
前記符号化されたデータは各フレームに対応した信号検出データ(156)と内容データ(158)とを定義し、
前記信号検出データが、各フレーム内に符号化された信号検出ワードを定義し、一連の信号検出ワードが、各信号検出ワードの少なくとも2ビットが直前の信号検出ワードと異なるような動的検査列を定義し、
前記内容データが、
前記表示装置(57)とは異なる第1装置(97a)に対応した第1開始パケットショートアドレスワード(172a)と、
前記第1装置(97a)用の装置制御データ(174a)と、
前記表示装置(57)とは異なる第2装置(97b)に対応した第2開始パケットショートアドレスワード(172b)と、
前記第2装置(97b)用の装置制御データ(174b)とを定義し、
前記第1装置用の前記装置制御データが前記第1装置を制御し、かつ、前記第1装置は外部からの入力に応答して前記表示装置(57)の表示を制御する
ことを特徴とする符号化された映像信号(104)を発生する装置。 - 前記内容データが、
第3装置(97c)に対応した開始パケット開始ロングアドレスワード(210)と、
前記第3装置に対応したロングアドレス(212)の開始と、
前記第3装置に対応した開始パケット終了ロングアドレスワード(214)と、
前記第3装置用の装置制御データ(216)とをさらに定義する請求項21記載の符号化された映像信号を発生する装置。 - 前記映像信号が番組情報を定義し、
前記第1装置用の装置制御データが、前記番組情報が定義するシーン中のキャラクターとして前記第1装置を振る舞わせる請求項21又は22に記載の符号化された映像信号を発生する装置。 - 前記符号化されたデータが複数のライン信号からなり、各ライン信号が前記映像信号の1ラインにおける水平オーバースキャン部分(127,130)に配置される請求項21乃至23のいずれか1項に記載の符号化された映像信号を発生する装置。
- 前記内容データが複数の内容ワード(158)からなり、
前記信号検出データが複数の信号検出ワード(156)からなり、
前記信号検出ワードと内容ワードの各々が、
複数のデータビット(160)と、
前記データビット中のエラーを検出し訂正するための訂正列を定義する複数のエラー訂正ビット(162)とからなる請求項21乃至24のいずれか1項に記載の符号化された映像信号を発生する装置。 - 映像データエンコーダを作動させるための方法であり、
表示装置(57)に表示するために各々が複数のラインで構成される複数のフレーム(152,154)を定義する、番組情報を定義する為の映像信号(102)を受け取る段階と、更に、符号化されたデータを前記映像信号の複数のフレームのラインに連結することにより、各フレームに対応した内容データ(158)を定義するための符号化された映像信号(104)を生成する段階とを含み、
定義する前記内容データを符号化することと、
前記表示装置(57)とは異なる第1装置(97a)に対応した第1開始パケットショートアドレスワード(202a)と、
前記番組情報が定義するシーン中のキャラクターとして前記第1装置を振る舞わせる装置制御データ(202a)と、
前記表示装置(57)とは異なる第2装置(97b)に対応した第2開始パケットショートアドレスワード(202b)と、
前記第2装置(97b)用の装置制御データ(204b)と、
前記符号化された映像信号(104)を前記第1の装置および前記第2の装置に送信することと、
前記内容データは前記映像信号(104)の水平オーバースキャン部分(127,130)内に配置されていて、
前記第1装置用の前記装置制御データが前記第1装置を制御し、かつ、前記第1装置は外部からの入力に応答して前記表示装置(57)の表示を制御する
ことを特徴とする映像データエンコーダ(76)を作動する方法。 - 前記内容データが、
第3装置(97c)に対応した開始パケット開始ロングアドレスワード(210)と、
前記第3装置(97c)に対応したロングアドレス(212)と、
前記第3装置(97c)に対応した開始パケット終了ロングアドレスワード(214)と、
前記第3装置(97c)用の装置制御データ(216)とをさらに定義する請求項26記載の方法。 - 前記符号化されたデータが、前記映像信号(104)の各フレーム(152,154)に符号化された信号検出ワード(156)を定義し、
一連の信号検出ワードが、各信号検出ワードの少なくとも2ビットが直前の信号検出ワードと異なるような動的検査列を定義する請求項26又は27に記載の方法。 - 前記符号化されたデータが複数のライン信号からなり、各ライン信号が、前記映像信号(104)の1ラインの水平オーバースキャン部分(127,130)に挿入される請求項26乃至28のいずれか1項に記載の方法。
- 前記内容データが複数の内容ワード(158)からなり、前記信号検出データが複数の信号検出ワード(156)からなり、前記信号検出ワードと内容ワードの各々が、
複数のデータビット(160,164)と、
前記データビット中のエラーを検出し訂正するための訂正列を定義する複数のエラー訂正ビット(162,166)とからなる請求項26乃至29のいずれか1項に記載の方法。 - 表示装置(57)に表示する映像信号(102)に関連付けてデータを符号化するため、映像ソース(56)に機能的に接続された映像データエンコーダ(76)を備えるシステムであり、該システムは、該映像データエンコーダが、前記表示装置(57)に表示するための各々が複数のラインで構成される複数のフレーム(152,154)からなる映像信号(102)を前記映像ソースから受け取り、更に、前記符号化されたデータを前記映像信号の複数のフレームのラインに連結することにより、符号化された映像信号(104)を生成するように動作するものであって、該システムは、
前記符号化されたデータ(104)が、各フレームに対応した信号検出ワード(156)と少なくとも1つの内容ワード(158)とを定義することにより、前記符号化された映像信号を生成する手段とを備え、前記内容ワードが、
前記表示装置(57)とは異なる第1装置(97a)に対応した第1開始パケットショートアドレスワード(202a)と、
前記第1装置用の装置制御データ(204a)と、
前記表示装置(57)とは異なる第2装置(97b)に対応した第2開始パケットショートアドレスワード(202b)と、
前記第2装置用の装置制御データ(204b)とから成り
前記内容ワードは前記映像信号(104)の水平オーバースキャン部分(127,130)に符号化されていて、
前記第1装置(97a)用の前記装置制御データが前記第1装置を制御し、かつ、前記第1装置は該システムの外部からの入力に応答して前記表示装置(57)の表示を制御することを特徴とするシステム(110)。 - 前記映像信号(104)が番組情報を定義し、
前記第1装置(97a)用の装置制御データ(204a)が、前記番組情報が定義するシーン中のキャラクターとして前記第1装置を振る舞わせる請求項31記載のシステム。 - 前記符号化されたデータが複数のライン信号からなり、各ライン信号が、前記映像信号の1ラインの水平オーバースキャン部分(127,130)に配置される請求項31又は32に記載のシステム。
- 前記映像信号の各ラインが、カラーバースト部(124)と可視ラスタ部(126)とからなり、各ライン信号が、前記カラーバースト部と前記可視ラスタ部との間に配置されるパルス(127)からなる請求項31乃至33のいずれか1項に記載のシステム。
- 各パルスが、符号化されたデータの単一ビットを定義する請求項34記載のシステム。
- 前記映像信号が複数の2フィールドインタレースフレーム(152,154)からなり、
前記映像信号の各フィールドの符号化されたデータが、1個の信号検出ワード(156)と13個の内容ワード(158)とを定義する請求項31乃至35のいずれか1項に記載のシステム。 - 各パルス(127,130)が、前記符号化されたデータの複数ビットを定義するように変調される請求項34記載のシステム。
- 前記映像信号の各ラインが、カラーバースト部(124)と可視ラスタ部(126)と水平ブランキング期間(132)とからなり、各ライン信号が、
前記カラーバースト部と前記可視ラスタ部との間に配置される可視前パルス(127)と、
前記可視ラスタ部の後であって前記水平ブランキング期間の前に配置される可視後パルス(130)とからなる請求項31乃至37のいずれか1項に記載のシステム。 - 各可視前パルス(127)が、前記符号化されたデータの単一ビットを定義し、
前記可視後パルス(130)が、前記符号化されたデータの単一ビットを定義する請求項38記載のシステム。 - 各可視前パルス(127)が、前記符号化されたデータの複数ビットを定義するように変調され、
各可視後パルス(130)が、前記符号化されたデータの複数ビットを定義するように変調される請求項39記載のシステム。 - 前記映像データエンコーダ(76)に機能的に接続され、
前記映像データエンコーダから符号化された映像信号(104)を受け取り、
前記信号検出データ(156)の存在を検出し、
前記符号化された映像信号から前記内容データ(158)を抽出し、
前記内容データからシリアルデータ通信信号(106)を組み立てるデータ検出器(91)、をさらに備える請求項31乃至40のいずれか1項に記載のシステム。 - 前記データ検出器(91)に機能的に接続され、
前記データデコーダ(91)から前記シリアルデータ通信信号(106)を受け取り、
前記シリアルデータ通信信号(106)からデータビット(160,164)とエラー訂正ビット(162,166)とを分離し、
前記エラー訂正ビット(162,166)を分析して前記データビット(160,164)中にエラーを検出し、
前記データビット(160,164)中に検出したエラーを訂正し、
前記エラーを訂正したデータビット(160,164)からエラー訂正済みデータストリーム(108)を組み立てるデータエラー処理装置(99)、をさらに備える請求項41記載のシステム。 - 前記データエラー処理装置(99)に機能的に接続され、前記エラー訂正済みデータストリーム(106)を受け取り、
第1装置(97a)に対応した前記第1開始パケットショートアドレスワード(202a)を検出し、
前記第1装置に対応した第1開始パケットショートアドレスワードの検出に応じ、後続して受け取る装置制御データ(204a)の前記第1装置への転送を開始し、
前記第2装置(97b)に対応した前記第2開始パケットショートアドレスワード(202b)を検出し、
前記第2装置に対応した第2開始パケットショートアドレスワードの検出に応じ、
後続して受け取る装置制御データ(204a)の前記第1装置(97a)への転送を中止し、
後続して受け取る装置制御データ(204b)の前記第2装置(97b)への転送を開始するプロトコルハンドラ(93)、をさらに備える請求項42記載のシステム。 - 前記プロトコルハンドラ(93)がさらに、
開始パケット開始ロングアドレスワード(210)を検出し、
第3装置(97c)に対応したロングアドレス(212)の開始を検出し、
開始パケット終了ロングアドレスワード(214)を検出し、
後続して受け取る装置制御データ(216)の前記第3装置(97c)への転送を開始し、
さらに別のアドレスワード(172)を検出し、
前記さらに別のアドレスワードの検出に応じ、後続して受け取る装置制御データ(216)の前記第3装置(97c)への転送を中止する請求項43記載のシステム。 - 前記第1、第2、および第3装置用の装置制御データが、
前記映像信号が定義する番組情報によって表示されるシーン中のキャラクターとして被制御装置を振る舞わせるために該被制御装置に送信される音声データと、
前記映像信号が定義する番組情報によって表示されるシーン中のキャラクターとして被制御装置を振る舞わせるために該被制御装置に送信されるモータ制御データと、
コンピュータシステムへ送信される電子メールと、
構内電話システムへ送信されるインターコム情報と、
呼び出しシステムへ送信される電話呼び出し情報と、 表示装置に表示される言語翻訳データと、
表示装置に表示される広告情報と、
表示装置に表示されるサブスクリプション情報と、
表示装置に表示される緊急警告情報とから選択される請求項31乃至44のいずれか1項に記載のシステム。 - 請求項1−20のいずれかに記載の前記方法を実行する為のコンピュータ実行プログラム命令を格納したコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/885,385 | 1997-06-30 | ||
US08/885,385 US6742188B1 (en) | 1997-02-04 | 1997-06-30 | Method and system for encoding data in the horizontal overscan portion of a video signal |
PCT/US1998/013482 WO1999000979A1 (en) | 1997-06-30 | 1998-06-29 | Method and system for encoding data in the horizontal overscan portion of a video signal |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001509649A JP2001509649A (ja) | 2001-07-24 |
JP2001509649A5 JP2001509649A5 (ja) | 2006-01-05 |
JP4859271B2 true JP4859271B2 (ja) | 2012-01-25 |
Family
ID=25386790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000500780A Expired - Lifetime JP4859271B2 (ja) | 1997-06-30 | 1998-06-29 | データを映像信号の水平オーバースキャン領域に符号化する方法およびシステム |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP0992158B1 (ja) |
JP (1) | JP4859271B2 (ja) |
AU (1) | AU8272198A (ja) |
CA (1) | CA2294948C (ja) |
DE (1) | DE69823195T2 (ja) |
WO (1) | WO1999000979A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6064420A (en) * | 1995-06-15 | 2000-05-16 | Intel Corporation | Simulating two way connectivity for one way data streams for multiple parties |
US6415439B1 (en) | 1997-02-04 | 2002-07-02 | Microsoft Corporation | Protocol for a wireless control system |
AUPP170298A0 (en) * | 1998-02-06 | 1998-03-05 | Pracas, Victor Manuel | Electronic interactive puppet |
US6629133B1 (en) * | 1998-09-11 | 2003-09-30 | Lv Partners, L.P. | Interactive doll |
US7191247B1 (en) | 1998-09-11 | 2007-03-13 | Lv Partners, Lp | Method for connecting a wireless device to a remote location on a network |
DE60006387T2 (de) * | 1999-06-03 | 2004-09-09 | OpenTV, Inc., Mountain View | Intelligente spielzeuge, die über ein netzwerk verbunden sind |
AU6646900A (en) * | 1999-08-19 | 2001-03-13 | Kidkids, Inc. | Networked toys |
GB2345779B (en) * | 1999-10-12 | 2004-08-11 | Roke Manor Research | Apparatus for controlling a remote item |
US6704058B2 (en) * | 1999-12-30 | 2004-03-09 | Microsoft Corporation | System and method of adaptive timing estimation for horizontal overscan data |
US6556247B1 (en) * | 1999-12-30 | 2003-04-29 | Microsoft Corporation | Method and system for decoding data in the horizontal overscan portion of a video signal |
US7150028B1 (en) * | 1999-12-30 | 2006-12-12 | Microsoft Corporation | Method and system for downloading, storing and displaying coupon data using the horizontal overscan portion of a video signal |
US6937289B1 (en) * | 1999-12-30 | 2005-08-30 | Microsoft Corporation | Method and system for downloading and storing interactive device content using the horizontal overscan portion of a video signal |
NZ521724A (en) * | 2000-03-01 | 2003-07-25 | Peter Ernest Hookham Miller | Presenting programs to user and providing user with a portable device that presents users with data relevant to the program |
KR20020093829A (ko) * | 2000-03-01 | 2002-12-16 | 피터 어니스트 후캄-밀러 | 프로그램의 제공 |
WO2002025924A2 (de) * | 2000-09-21 | 2002-03-28 | Matthias Zahn | Verfahren zur übertragung von daten mit einem fernsehsignal |
RU2285352C2 (ru) * | 2000-11-08 | 2006-10-10 | Конинклейке Филипс Электроникс Н.В. | Способ и устройство для передачи команды |
US20020072293A1 (en) * | 2000-12-13 | 2002-06-13 | One2Link.Com Inc. | Personal computer system having and operating an external animated doll device |
GB2375923A (en) * | 2001-05-25 | 2002-11-27 | Roke Manor Research | Recognising and extracting embedded data in a broadcast signal |
EP1276067A3 (en) * | 2001-07-09 | 2005-04-06 | Unilever N.V. | Interactive system |
US20040158877A1 (en) * | 2003-02-07 | 2004-08-12 | Global View Co., Ltd. | Control method and device of video signal combined with interactive control data |
EP1758398A1 (en) | 2005-08-23 | 2007-02-28 | Syneola SA | Multilevel semiotic and fuzzy logic user and metadata interface means for interactive multimedia system having cognitive adaptive capability |
JP5904754B2 (ja) * | 2011-10-17 | 2016-04-20 | キヤノン株式会社 | 情報処理システム、情報処理装置、それらの制御方法、およびプログラム |
CN108472225B (zh) * | 2016-01-29 | 2021-04-20 | 宝洁公司 | 用于增强毛发纤维特性的组合物 |
US10555051B2 (en) | 2016-07-21 | 2020-02-04 | At&T Mobility Ii Llc | Internet enabled video media content stream |
US10657380B2 (en) | 2017-12-01 | 2020-05-19 | At&T Mobility Ii Llc | Addressable image object |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61156405A (ja) * | 1984-12-28 | 1986-07-16 | Nintendo Co Ltd | 光感応制御装置 |
US4771344A (en) * | 1986-11-13 | 1988-09-13 | James Fallacaro | System for enhancing audio and/or visual presentation |
US4807031A (en) * | 1987-10-20 | 1989-02-21 | Interactive Systems, Incorporated | Interactive video method and apparatus |
US5200822A (en) * | 1991-04-23 | 1993-04-06 | National Broadcasting Company, Inc. | Arrangement for and method of processing data, especially for identifying and verifying airing of television broadcast programs |
EP0710022A3 (en) * | 1994-10-31 | 1998-08-26 | AT&T Corp. | System and method for encoding digital information in a television signal |
-
1998
- 1998-06-29 JP JP2000500780A patent/JP4859271B2/ja not_active Expired - Lifetime
- 1998-06-29 AU AU82721/98A patent/AU8272198A/en not_active Abandoned
- 1998-06-29 WO PCT/US1998/013482 patent/WO1999000979A1/en active IP Right Grant
- 1998-06-29 EP EP98932945A patent/EP0992158B1/en not_active Expired - Lifetime
- 1998-06-29 CA CA002294948A patent/CA2294948C/en not_active Expired - Lifetime
- 1998-06-29 DE DE69823195T patent/DE69823195T2/de not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP0992158A1 (en) | 2000-04-12 |
CA2294948A1 (en) | 1999-01-07 |
AU8272198A (en) | 1999-01-19 |
DE69823195T2 (de) | 2005-04-14 |
WO1999000979A1 (en) | 1999-01-07 |
DE69823195D1 (de) | 2004-05-19 |
EP0992158B1 (en) | 2004-04-14 |
JP2001509649A (ja) | 2001-07-24 |
CA2294948C (en) | 2005-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4859271B2 (ja) | データを映像信号の水平オーバースキャン領域に符号化する方法およびシステム | |
US6742188B1 (en) | Method and system for encoding data in the horizontal overscan portion of a video signal | |
US7787050B2 (en) | Method and system for downloading and storing interactive device content using the horizontal overscan portion of a video signal | |
US5659793A (en) | Authoring tools for multimedia application development and network delivery | |
US5826102A (en) | Network arrangement for development delivery and presentation of multimedia applications using timelines to integrate multimedia objects and program objects | |
US6154207A (en) | Interactive language editing in a network based video on demand system | |
US20020140718A1 (en) | Method of providing sign language animation to a monitor and process therefor | |
US6317714B1 (en) | Controller and associated mechanical characters operable for continuously performing received control data while engaging in bidirectional communications over a single communications channel | |
WO1996019779A1 (en) | Authoring tools for multimedia application development and network delivery | |
WO1996019779A9 (en) | Authoring tools for multimedia application development and network delivery | |
US20230047858A1 (en) | Method, apparatus, electronic device, computer-readable storage medium, and computer program product for video communication | |
CN1321287A (zh) | 后期同步信息流 | |
US20050177276A1 (en) | Animation system for a robot comprising a set of movable parts | |
US20020095294A1 (en) | Voice user interface for controlling a consumer media data storage and playback device | |
US20080162648A1 (en) | Device and method of expressing information contained in a communication message sent through a network | |
US6281939B1 (en) | Method and apparatus for decoding data encoded in the horizontal overscan portion of a video signal | |
CN1722803A (zh) | 通过音频视频数据流的字幕进行导航的方法和设备 | |
US6353635B1 (en) | Method for simultaneously controlling multiple devices using a single communication channel | |
JP4126126B2 (ja) | 送信システム、送信方法 | |
JP2003501965A (ja) | 予め定められたテレビジョン番組のインターラクティブ再生を伴なうディジタルテレビジョン受信器/復号器 | |
US6556247B1 (en) | Method and system for decoding data in the horizontal overscan portion of a video signal | |
CN105812382A (zh) | 一种基于超声波的多媒体推送内容获取方法 | |
CN114173157B (zh) | 视频流传输方法及装置、电子设备、存储介质 | |
CN106713974A (zh) | 数据转换方法和装置 | |
KR100320903B1 (ko) | 대화형 인형의 동작 신호를 생성하는 게이트웨이 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050628 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080131 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080220 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080220 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080306 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080313 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080404 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090608 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20090609 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20090609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20090612 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090723 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20091225 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20100520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100520 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111101 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |