JP3522537B2 - 画像再生方法、画像再生装置及び画像通信システム - Google Patents

画像再生方法、画像再生装置及び画像通信システム

Info

Publication number
JP3522537B2
JP3522537B2 JP17270198A JP17270198A JP3522537B2 JP 3522537 B2 JP3522537 B2 JP 3522537B2 JP 17270198 A JP17270198 A JP 17270198A JP 17270198 A JP17270198 A JP 17270198A JP 3522537 B2 JP3522537 B2 JP 3522537B2
Authority
JP
Japan
Prior art keywords
image
stream
played
streams
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17270198A
Other languages
English (en)
Other versions
JP2000013775A (ja
Inventor
洋太郎 村瀬
英松 笠野
Original Assignee
洋太郎 村瀬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 洋太郎 村瀬 filed Critical 洋太郎 村瀬
Priority to JP17270198A priority Critical patent/JP3522537B2/ja
Priority to US09/335,634 priority patent/US6470392B1/en
Publication of JP2000013775A publication Critical patent/JP2000013775A/ja
Application granted granted Critical
Publication of JP3522537B2 publication Critical patent/JP3522537B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、自然画（動画）の
リアリティを向上させた画像再生方法、画像再生装置お
よび画像通信システムに関する。
【０００２】
【従来の技術】従来、人件費削減、労働条件改善等を目
的とし、あるいは表現の目新しさを求め、疑似的に人が
応答しているような感覚を得るための技術、装置が開発
されてきた。
【０００３】例えばユーザからの入力等に応じて、コン
ピュータグラフィック（以下、ＣＧという。）により人
物等の画像を生成し、人が応答しているような感覚を与
える仮想現実（バーチャルリアリティ：以下、単にＶＲ
という。）技術が知られている。
【０００４】また、実写の動画像データ（例えば風景画
等）を複数パターン格納しておき、ユーザからの入力に
応じて再生する動画像を選択し、ユーザがあたかも風景
中を自由に散策しているかのような感覚を与える装置が
知られている。
【０００５】このような装置あるいは上述のＶＲ技術に
より、ユーザは、擬似的に現実と異なる事象を認識する
ことができる。
【０００６】
【発明が解決しようとする課題】しかしながら、上述の
ようなＶＲ技術ではＣＧにより生成した画像を用いてい
たため、計算負荷の制限等から表現が制限され、自然さ
に欠ける場合があった。また、実写の動画像を用いた場
合、画像データ作成の困難さ等から動画像の再生単位が
長く、これによって入力タイミングが制限され、ユーザ
入力に対する応答が遅い問題があった。
【０００７】本発明は、上述のような問題点に鑑みてな
されたものであり、ユーザからの入力に対する応答を改
善することを目的とする。また、本発明は、断片的な画
像データを適宜継ぎ合わせて再生しても、ユーザに継ぎ
合わせであることを気付かせない、より自然な画像とす
ることができる画像再生方法、画像再生装置及び画像通
信システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る画像再生方法は、先に再生されるス
トリームの最後の接続部の画像あるいは後に再生される
ストリームの最初の画像からなり、先に再生されるスト
リームと後に再生されるストリームを接続して連続的に
再生し得る接続部を有する複数の画像ストリームを画像
再生装置にあらかじめ記憶する画像ストリーム記憶工程
と、複数の画像ストリームを選択的に接続して連続的に
再生するために、複数の画像ストリーム間の接続関係を
定義した連関テーブルを画像再生装置にあらかじめ記憶
する連関テーブル記憶工程と、複数の画像ストリームの
中から現在再生中のストリームの次に再生すべき画像ス
トリームを選択する選択情報がユーザから画像再生装置
に指示入力される入力工程と、連関テーブルおよびユー
ザからの指示入力に基づいて、複数の画像ストリームの
中から現在再生中のストリームの次に再生すべき画像ス
トリームを画像再生装置が選択する選択工程と、選択工
程で選択された画像ストリームを画像再生装置が再生す
る再生工程とを含み、画像ストリーム記憶工程には、後
に連続して再生され得るストリームがあるストリームの
接続部に対して、当該ストリームの最後の接続部の画像
と、その画像で開始されるストリームの最初の接続部の
画像を一致させる画合わせをユーザに実施させる工程を
有し、選択工程には、現在再生中のストリームの再生中
に、指示入力が有効な時間を確保し、次に再生すべきス
トリームを連関テーブルから選択するための検索開始時
期を画像再生装置が決定する工程を有することを特徴と
するものである。また、本発明に係る画像再生装置は、
先に再生されるストリームの最後の接続部の画像あるい
は後に再生されるストリームの最初の画像からなり、先
に再生されるストリームと後に再生されるストリームを
接続して連続的に再生し得る接続部を有する複数の画像
ストリームをあらかじめ記憶する画像ストリーム記憶手
段と、画像ストリーム記憶手段に記憶された複数の画像
ストリームを選択的に接続して連続的に再生するため
に、複数の画像ストリーム間の接続関係を定義した連関
テーブルをあらかじめ記憶する連関テーブル記憶手段
と、画像ストリーム記憶手段に記憶された複数の画像ス
トリームの中から現在再生中のストリームの次に 再生す
べき画像ストリームを選択する選択情報がユーザから指
示入力される入力手段と、連関テーブル記憶手段に記憶
された連関テーブルおよび入力手段からの指示入力に基
づいて、画像ストリーム記憶手段に記憶された複数の画
像ストリームの中から現在再生中のストリームの次に再
生すべき画像ストリームを選択する選択手段と、選択手
段により選択された画像ストリームを再生する再生手段
とを備え、画像ストリーム記憶手段は、複数の画像スト
リームを記憶する際に、後に連続して再生され得るスト
リームがあるストリームの接続部に対して、当該ストリ
ームの最後の接続部の画像と、その画像で開始されるス
トリームの最初の接続部の画像を一致させる画合わせを
ユーザに実施させるための手段を有し、選択手段は、現
在再生中のストリームの再生中に、入力手段による指示
入力が有効な時間を確保し、次に再生すべきストリーム
を連関テーブルから選択するための検索開始時期を決定
する手段を有することを特徴とするものである。
【０００９】また、本発明に係る画像通信システムは、
先に再生されるストリームの最後の接続部の画像あるい
は後に再生されるストリームの最初の画像からなり、先
に再生されるストリームと後に再生されるストリームを
接続して連続的に再生し得る接続部を有する複数の画像
ストリームを選択的に接続された端末装置で連続的に再
生するために、複数の画像ストリームの中から１つの画
像ストリームを順次に選択して送信する画像送信装置
と、この画像送信装置から送信された画像ストリームを
受信して再生する端末装置とを備え、端末装置は、複数
の画像ストリームの中から現在再生中のストリームの次
に再生すべき画像ストリームを選択する選択情報を画像
送信装置に送信する選択情報送信手段と、選択情報送信
手段により選択された画像ストリームを再生する再生手
段とを有し、画像送信装置は、複数の画像ストリームを
あらかじめ記憶する画像ストリーム記憶手段と、画像ス
トリーム記憶手段に記憶された複数の画像ストリームを
選択的に接続して連続的に再生するために、複数の画像
ストリーム間の接続関係を定義した連関テーブルをあら
かじめ記憶する連関テーブル記憶手段と、端末装置の選
択情報送信手段により送信された選択情報を受信する選
択情報受信手段と、連関テーブル記憶手段に記憶された
連関テーブルおよび選択情報受信手段からの選択情報に
基づいて、画像ストリーム記憶手段に記憶された複数の
画像ストリームの中から現在再生中のストリームの次に
再生すべき画像ストリームを選択する選択手段と、選択
手段により選択された画像ストリームを前記端末装置に
送信する送信手段を有し、画像ストリーム記憶手段は、
複数の画像ストリームを記憶する際に、後に連続して再
生され得るストリームがあるストリームの接続部に対し
て、当該ストリームの最後の接続部の画像と、その画像
で開始されるストリームの最初の接続部の画像を一致さ
せる画合わせを端末装置の選択情報送信手段によりユー
ザに実施させるための手段を有し、選択手段は、現在再
生中のストリームの再生中に、選択情報送信手段による
選択情報が有効な時間を確保し、次に再生すべきストリ
ームを連関テーブルから選択するための検索開始時期を
決定する手段を有することを特徴とするものである。
【００１０】
【発明の実施の形態】図１は本発明の一実施形態に係る
画像再生装置の構成を示すブロック図である。この画像
再生装置は、例えばゲーム装置等の装置において、ユー
ザからの操作に応じてあるいは自動的に動画像を生成
し、さらに、例えばこれに同期して音声等の付随情報を
再生するため等に用いられる。
【００１１】この画像再生装置は、同図中に示すよう
に、画像データの読み出し制御等を行うホスト装置３１
と、このホスト装置３１と通信回線３０を介して接続さ
れ、ユーザからの入力をホスト装置３１に送信すると共
に、ホスト装置３１から供給される画像データを表示す
る複数の端末装置３２とを備えている。通信回線３０
は、例えば公衆網等を利用し、端末装置３２をダイアル
アップ接続によってホスト装置３１に接続してもよい
し、あるいは、ＬＡＮを用いて物理的には常時接続して
おき、必要時に画像データの送信処理を実行するように
してもよい。ユーザは、ホスト装置３１からの画像デー
タに基づいて表示された画像を見ながら端末装置３２を
操作して指示を入力し、この指示は、端末装置３２から
ホスト装置３１に送信される。
【００１２】ホスト装置３１は、所定の部分（ストリー
ム）毎に分割された画像データ（音声データ等の付随情
報を含む。）と、これらの画像データ間の連関を示すテ
ーブル（連関テーブル）が格納されているファイル装置
１と、ＲＯＭ２と、ＲＡＭ３と、ＲＯＭ２あるいはファ
イル装置１等に格納されている制御プログラムを実行す
ることによりファイル装置１からの画像データの読み出
し等を制御するＣＰＵ４と、ファイル装置１から読み出
された画像データを通信回線３０を介して端末装置３２
に送出すると共に、端末装置３２からのユーザ入力を受
信する送受信制御部５０と、ファイル装置１〜ＣＰＵ
４、送受信制御部５０が接続されたバス７とを備えてい
る。
【００１３】ＣＰＵ４は、通信回線３０、送受信制御部
５０を介して端末装置３２から供給されるユーザからの
指示に応じてファイル装置１に格納されている連関テー
ブルを参照し、この連関テーブルに基づいて再生する画
像データを選択し、選択した画像データをファイル装置
１から読み出し、送受信制御部５０を介して各々対応す
る端末装置３２に送信する。なお、連関テーブルは、動
作時にはＲＡＭ３に読み出して使用するようにしてもよ
い。
【００１４】各端末装置３２は、キーボード（Ｋ／Ｂ）
等を介してユーザからの指示の入力等を制御する入出力
（Ｉ／Ｏ）制御部５と、供給された画像データに基づく
画像を表示する画像表示部（ＤＩＳＰ）６と、ホスト装
置３１からの画像データを受信し、データ伸長を行う受
信／伸長部４０と、受信／伸長部４０により伸長された
ストリームに基づく画像データを生成して画像表示部６
に供給する表示制御部４１と、Ｉ／Ｏ制御部５により入
力されたユーザからの指示を送信する送信部４２とを備
えている。
【００１５】なお、ユーザからの指示を入力する装置と
しては、上述のキーボードの他に、音声入力装置等のユ
ーザからの入力を受けることができる全ての装置を利用
することができる。また、画像表示部６としては、ディ
スプレイ装置を始め全ての装置を利用することができ
る。また、通信回線３０は必ずしも必要ではなく、この
場合は、単独の装置にホスト装置３１と端末装置３２の
機能を実装して実現することもできる。また、端末装置
３２が１つのみであってもよい。
【００１６】送受信制御部５０は、具体的には、図２に
示すように、送信部５１と、受信部５２とを備えてお
り、送信部５１、受信部５２は、各々の端末装置３２に
対応した複数のチャネルｃｈ１、ｃｈ２、・・・、ｃｈ
ｎを備えている。送信部５１は、各チャネルの送信デー
タを保持する送信バッファ５５と、各送信バッファ５５
からの出力を通信回線３０に送信する送信制御部（ＣＣ
Ｕ：communication control unit）５３を備えている。
受信部５２は、各チャネルに対応する端末装置３２から
のデータを保持する受信バッファ５６と、通信回線３０
からの受信データを各チャネル毎に振り分け、受信バッ
ファ５６に格納する受信制御部（ＣＣＵ）５４とを備え
ている。
【００１７】送信部５１の各送信バッファ５５中の送信
データの残り容量は、上述の図１中のＣＰＵ４が監視し
ており、各々のチャネルに対してストリーム送出の管理
が行われる。
【００１８】Ａ．画像データ 画像データは、例えば人物及びその他の実写画像あるい
はＣＧをも含む作画によって作成された画像であり、例
えばＨ．２６１、ＭＰＥＧ等の動画圧縮方法によって圧
縮されて格納されている。また、この画像データには、
音声データを多重化させて一括して扱ってもよい。この
画像データは、予め、所定の間隔のストリーム毎に作成
されており、例えば圧縮された音声等のストリームと多
重化されてファイル装置１に格納されている。なお、こ
の画像データは、動作中は上述のＲＡＭに格納する場合
もある。また、ストリームの長さは、ハードウェア、ソ
フトウェア、ネットワーク環境の設定により、短くでき
る限度が決まる。また、ストリームの長さはこれらの環
境の設定に応じて、上限下限が決まる。
【００１９】また、後述のように、連続して再生し得る
ストリームの接続部（先に再生されるストリームの最後
の画像と後に再生されるストリームの最初の画像）は画
合わせして撮影された後、編集されて接続部が目立たな
いように作成されている。
【００２０】ストリーム等の検索に要する時間を十分短
くすること等により、一定時間（入力可能ストリームの
再生中）、ほぼいつ入力があっても、直ちにこの入力に
対応した動画映像の表示に切り替えることができる。さ
らに、ストリームの接続部の画合わせを行って作成した
後、接続部が目立たないようにすることにより、画像の
切り替えが目立たない自然な応答画像を表示させること
ができる。
【００２１】Ｂ．ストリーム構成 一定時間内で、ほぼいつ入力しても、その入力に対応し
た動画映像の表示に切り替わることを可能にするための
ストリーム構成は、１本のストリームから入力内容等に
応じて各々接続可能な複数の異なるストリームと、複数
の異なるストリームから接続が可能な１本のストリーム
との組み合わせを基本に構成される。
【００２２】また、入力に直ちに応じるためには、再生
中に入力受け付けが可能なストリームはできる限り短か
いものとする。例えば、複数のストリームに接続可能
な、数秒間のストリームを連続させた場合は、その間、
ほぼいつ入力しても遅くとも数秒後には入力内容に応じ
た別のストリームに接続させることが可能である。
【００２３】また、複数のストリームに接続可能なスト
リームを多数連続させた場合に、ストリーム数が無数に
増えてしまうので、複数のストリームから１本のストリ
ームに接続させるとこれを防ぐことができる。
【００２４】再生中の入力に応じ複数に接続可能なスト
リーム構成の代表的な例としては、図３に示すように各
々異なるストリームを接続させる場合と、図４に示すよ
うに接続部がほぼ同じ画像のストリームを接続させる場
合とがあり、図４に示すように入力後の接続可能なスト
リーム数を増加させることもできる。実際にはこれらを
組み合わせて全体の構成を行うが、ストリームの互いの
接続部がほぼ同じ画像ならストリームの中のその他の画
像については特に制限は無く、構成も自由である。
【００２５】Ｃ．連関テーブル 上述のような画像データの再生は、各チャネル毎に、い
わゆるテーブルドリブン法によって制御される。このテ
ーブルドリブン法では、通信回線３０を介したユーザの
（端末の）接続時間、ユーザの過去の使用内容、ユーザ
からの入力内容等の条件に応じて再生する画像データを
予め定め、条件と再生する画像データの対応を連関テー
ブルとしてファイル装置１等に格納しておく。なお、こ
の連関テーブルは、動作時には、高速動作等のためにＲ
ＡＭ３に読み出しておいてもよい。画像データの再生時
には、現在再生されているストリーム、ユーザからの入
力等に応じて連関テーブルを参照し、次に再生すべきス
トリームを選択する。
【００２６】図５は、各ストリームの画像データの再生
順の一例を示している。ここで、ファイル装置１には、
例えばストリームａ、ｂ、ｃ、ｄ、ｈ、ｉの画像データ
が格納されており、ストリームｂ、ｃ、ｄの再生中にお
いてユーザからの入力を認めることとする。図示の例で
は、ストリームａの次には入力の有無に関わらずストリ
ームｂを再生し、ストリームｂの次には、入力があれば
ストリームｈを再生し、入力が無ければストリームｃを
再生する。また、ストリームｃの次には、入力があれば
ストリームｈを再生し、入力が無ければストリームｄを
再生し、ストリームｄの次には入力があればストリーム
ｈを再生し、入力が無ければストリームｉを再生する。
なお、同図中の実線矢印は入力があった場合の処理の流
れ（例えば次に再生すべきストリーム）、破線矢印で示
したものは入力が無い場合の処理の流れをそれぞれ示し
ている。
【００２７】図６は、上述のような画像データの再生順
を示す連関テーブルを示している。同図中の「ａ→ｂ：
ｂ」との表記は、入力の有無に関わらずストリームａの
次にストリームｂを再生することを示している。また、
「ｂ→ｈ：ｃ」との表記は、ストリームｂの再生中に
（あるいは再生中の所定のタイミングまでに）入力があ
れば、ストリームｈを再生し、入力が無ければストリー
ムｃを再生することを示している。
【００２８】このような連関テーブルは具体的には、図
７に示すように、各ストリームコード毎の記述テーブル
から構成されている。なお、同図中では、上述の図６中
の入力なしが入力値０に、入力ありが入力値１にそれぞ
れ対応している。各ストリームコードの記述テーブルに
は、当該ストリームコードに対応するストリームの再生
中のユーザからの入力値に応じたアドレスに、次に選択
することが可能なストリームコードの格納位置が記録さ
れて構成されている。なお、上述のストリームコードの
格納位置が記録されているアドレスに各々対応する順番
を示す値（例えばこの図７の例では、入力値０、１）
は、入力値の他、ユーザのストリームコード選択状況等
に応じて変化する値とすることもできる。
【００２９】この場合は、例えばユーザ毎に作成される
ユーザコードに、当該ユーザがストリームコードを選択
する毎に、このストリームコードの情報を数値化して記
録し、数値化した値を特定のストリームコード選択時に
ユーザコードから読み出し、上述の入力値に代えて用い
る。
【００３０】さらに、ストリームコードの情報と書き換
え可能なユーザコードの情報を様々に組み合わせて処理
することで、ストリームコードの記述テーブルの変換に
用いる値をある程度自由に変化させることが可能にな
る。
【００３１】なお、入力値等そのままの値を用いるだけ
でなく、関数テーブル等を使用し、入力情報を変換して
求めた値を用いるようにしてもよい。
【００３２】また、この図７は、ストリームコードに記
述されている、次のストリームコードの格納領域（ディ
スクやＲＡＭ）上の格納位置情報をメモリに読み込んだ
後の状態を示すもので、図のアドレスの数値は仮に付け
たものである。
【００３３】このような連関テーブルに基づいた再生を
行う場合、ホスト装置３１のＣＰＵ４は、既にメモリに
読み込まれているストリームコードの情報の中の「次の
ストリームコード」に関するテーブル（連関テーブル）
を参照し、入力値等に応じたこのストリームコードの情
報を、格納領域からＲＡＭ３に読み込む。なお、上述の
ように入力値以外のその他の情報によって読み込みを行
うこともできるし、これらの情報を組み合わせて行うこ
ともできる。
【００３４】さらに、ＣＰＵ４は、ストリームコード中
の「送信するストリーム」の格納位置情報を読み、その
位置に格納されているストリームが、図２中の送信バッ
ファ５５に供給されるように読み出しの制御を行う。以
後、ＣＰＵ４は、このような動作を繰り返す。
【００３５】接続切断等の通信回線からの割り込み処理
は、例えば図８に示すように実行される。この図８は、
端末装置３２が接続されたポート毎の状態と、割り込み
種類に応じた制御の処理手順を示している。
【００３６】端末装置３２に対する入出力処理には、一
般的に、入力の有無を一定間隔でチェックして処理を実
行するポーリング処理と、入力が生じた際のハードウェ
ア割り込みに応じて処理を実行するイベントドリブン処
理とがあるが、この画像再生装置では、イベントドリブ
ン処理によって入出力処理を行っている。また、この画
像再生装置では、遷移状態に応じた処理を行うため、各
ポートの状態を保持する。
【００３７】具体的には、端末装置３２が接続されたポ
ート（物理的あるいは論理的なポート）に、ハードウェ
ア割り込みを許可する設定を行った後、割り込みの種類
に応じて端末入力処理等の処理を行う。さらに、各ポー
ト毎に端末が接続中か否かを示す情報を保持しており、
割り込みの種類と共にストリーム送信処理と端末入力処
理の制御を行う。
【００３８】以下、テーブルドリブン法を用いた処理の
概要を説明する。
【００３９】ホスト装置３１のＣＰＵ４は、各チャネル
毎に、端末装置３２からの接続による割り込みを待機し
ており、接続後は図９に示すストリーム処理を実行す
る。以下、順を追って説明する。
【００４０】１．ストリームコード読み込み処理 ストリームの再生中に、検索開始時期（Ｓ２１５）にな
ったら、次のストリームコード読み込み処理ルーチンを
実行する（Ｒ２０３）。この検索開始時期の決定につい
ては後述する。
【００４１】この、次のストリームコード読み込み処理
ルーチンでは、このとき既にメモリーに読み込まれてい
るストリームコードの情報から、テーブル変換の方法の
違い等で識別し（Ｓ２０４）、必要情報を数値化し、連
関テーブルによる変換を行い、次のストリームコードの
格納位置を算定する（Ｓ２０９）。入力可能なものは
（Ｓ２０５）、受信バッファ５６の情報を数値化して用
い（Ｓ２０６）その他の情報による場合は（Ｓ２０７）
ＲＡＭ３に読み込まれているユーザコード情報の特定の
ものを数値化して用いる等がある（Ｓ２０８）。テーブ
ル変換により格納位置が算定されたストリームコードは
ファイル装置１等（格納場所はＲＡＭ３上でもよい。）
からＲＡＭ３に読み込む（Ｓ２１０）。
【００４２】なお、端末装置３２がホスト装置３１に接
続後、最初のストリームコードの格納位置は、端末接続
に間する情報（Ｓ２００）と対象ユーザの過去の利用情
報等を記録したユーザコードを読み込んで（Ｓ２０
１）、テーブル変換して算定する（Ｓ２０２）。なお、
新規ユーザの場合は新たにユーザコードを作成する。
【００４３】具体的には、例えば図７の例では、ストリ
ームｂの再生中にストリームコードｂのテーブル情報か
ら、入力が無ければストリームコードｃを、入力があれ
ばストリームコードｈをＲＡＭ３に読み込む。
【００４４】２．ストリーム送出処理 ＣＰＵ４は、上述のように次に再生するストリームのス
トリームコードを読み込んだ後、直ちにストリームの送
信再生のためのストリーム送出処理ルーチンを実行して
（Ｒ２１１）、ユーザコード情報の更新等その他の処理
を行った上で（Ｓ２１３）待機する（Ｓ２１４）。
【００４５】ストリーム送出処理ルーチンでは、新たに
メモリに読み込まれたストリームコードに記述されてい
るストリームの格納位置情報により、ストリームデータ
をファイル装置１等（格納場所はＲＡＭ３上でもよい）
から読み出して送信バッファ５５に供給する（Ｓ２１
２）。
【００４６】図７の例では、入力が無ければストリーム
ｃを読み出して送信バッファ５５に供給して待機する。
【００４７】そして、再び検索開始時期になったら上述
の１．の処理に戻り、その時点で次のストリームコード
読み込み等の処理ルーチンを実行する。図７の例では、
ストリームコードｃに記述されているテーブル情報と入
力内容を元に次のストリームコードｄ又はｈをＲＡＭ３
に読み込む。
【００４８】読み込まれたストリームコードが終了スト
リームに対応する場合は（Ｓ２１６）、必要情報をユー
ザコードに書き込む等の保存処理をして（Ｓ２１７）、
通信回線を切断する（Ｓ２１８）。送信の終了は通信状
態、あるいはバッファ５５の状態を検出する等の方法に
よって行う。
【００４９】なお、ストリームはファイル装置１かＲＡ
Ｍ３上に格納することができるが、次に選択が可能なス
トリームコードに対応するストリームを、検索開始時期
の前にファイル装置１から全てＲＡＭ３に読み込んでお
き、検索開始時期になったら選択されたストリームをＲ
ＡＭ３上から送信バッファ５５に書き込むようにすれ
ば、予め全ストリームをＲＡＭ３上に格納しておく場合
に比べ、ＲＡＭ３の容量を節約しながら検索開始時期後
にストリームを送信バッファ５５に書き込む時間を短縮
することができる。
【００５０】ところで、連関テーブルは、例えば予め、
ストーリーの流れ（あるいはユーザの操作と処理の流れ
等）に従って各状態に対応するストリームコードの関係
を示すテーブルとして作成されている。この後、連関テ
ーブルの各ストリームコードに対応する画像データ（ス
トリーム）が作成される。
【００５１】Ｄ．画合わせ ところで、上述のように連続して再生され得る複数のス
トリームの画像データの接続部は、連続して再生した場
合に目立たないように、画合わせを行って作成されてい
る。このような画像データの作成は、例えば図１０に示
すような撮影システムを用いて行う。この撮影システム
は、同図中に示すように、被写体１０を撮影するビデオ
カメラ１１と、このビデオカメラ１１からの映像信号等
を記録するレコーダ１２と、ユーザから指示されたタイ
ミングで、ビデオカメラ１１からの映像信号を静止画像
データとして取り込む静止画記録装置１３と、ビデオカ
メラ１１からの映像と静止画記録装置１３によって取り
込まれた静止画像を合成し、この画像を反転させる合成
装置１４と、この合成装置１４によって合成、反転され
た画像を表示するモニタ１５とを備えている。このモニ
タ１５は、被写体１０側に向けておいてもよい。
【００５２】このような撮影システムを用いて各ストリ
ームの画像データを作成する際には、例えば上述の連関
テーブルに従って各ストリーム毎に作成してもよいし、
あるいはいくつかのストリームを一括して作成した後、
ストリーム毎に分割してもよい。
【００５３】また、画合わせは、連続して再生され得る
ストリームの作成時に行ってもよく、あるいは各ストリ
ームの作成後に画像データを編集することによって行っ
てもよい。また、これらの処理を組み合わせることによ
って行うこともできる。
【００５４】なお、実写画像に代えて作画による動画を
使った場合には、ＣＧによるものを含めた通常のアニメ
ーション制作方法により、連続して再生され得る前後の
ストリームの接続部の画像を画合わせしてして作成され
る。
【００５５】１．記録時に接続部の画像データを一致さ
せる 各々のストリームの作成時に接続部の画像データを一致
させる場合には、予め接続部の画像を静止画像として記
録しておく。すなわち、後に連続して再生され得るスト
リームがあるストリームを記録する際に、当該ストリー
ムの最後の画像を静止画記録装置１３によって記録して
おく。あるいは複数のストリームに続いて再生され得る
ストリームの記録を行う際に、当該ストリームの最初の
画像を記録しておく。
【００５６】このように記録した接続部の画像で開始あ
るいは終了するストリームの記録を行う際には、合成装
置１４は、静止画記録装置１３によって記録された接続
部の静止画像をビデオカメラ１１からの映像に合成して
表示する。具体的には、合成装置１４は、例えば同期さ
せた２つの映像信号を１対１の比率で加算して合成し、
さらに左右を反転させる。また、各々の映像を認識し易
くするため、映像信号の比率は自由に変えられるように
しておいてもよい。このような、映像信号に基づいて表
示される画像は、例えば図１１に示すように、ビデオカ
メラ１１からの映像２０に静止画像２１が合成された画
像となる。
【００５７】また、例えば静止画記録装置１３からの静
止画像の輪郭を抽出し、ビデオカメラ１１からの映像に
静止画像の輪郭を合成し、左右反転させて表示してもよ
く、あるいは、静止画記録装置１３からの静止画像とビ
デオカメラ１１からの映像の輪郭を各々抽出し、これら
を合成し、左右反転させて表示してもよい。また、静止
画記録装置１３からの静止画像とビデオカメラ１１から
の映像の差分を検出し、この差分の画像を左右反転させ
て表示するようにしてもよく、さらに、ビデオカメラ１
１からの映像に、この差分を合成し、左右反転させて表
示するようにしてもよい。あるいは、静止画記録装置１
３からの静止画像又はビデオカメラ１１からの映像の色
を他方と異なる色とし、この静止画像をビデオカメラ１
１からの映像に合成し、左右反転させて表示してもよ
い。
【００５８】さらに、２つの映像信号の一方の信号の奇
数走査線と他方の信号の偶数走査線をモニター画面に表
示させ、左右反転させて表示してもよい。
【００５９】以上のように、静止画記録装置１３によっ
て記録された静止画像をビデオカメラ１１からの映像に
合成して表示することにより、ユーザ又は被写体の人物
はモニタ１５の表示画面を見ながら、被写体１０の映像
が静止画像に一致するように被写体１０あるいはビデオ
カメラ１１の移動、向きの変更等を行うことができるた
め、容易に画合わせを行うことができる。
【００６０】また、上述のように、合成装置１４が合成
した映像を反転させているため、表示画像の動きと自己
の動きの左右が対応しており、左右の認識が容易とな
る。
【００６１】２．記録後に接続部の画像データを変更す
る 上述のように画合わせを行って撮影したストリームは、
連続して再生し得る前後のストリームの接続部の画像が
ほぼ一致しているが、予め設定したフレームレートで再
生した場合、前後のストリームの接続部分が最も自然に
見えるように、全ストリームを対象に編集を加える。
【００６２】具体的には、連続して再生され得るストリ
ームの接続部が再生した時に最も自然に見えるように、
先に再生されるストリームの最後の部分の複数のフレー
ムと、後から再生されるストリームの最初の部分の複数
のフレームの中から各々最適な１枚を選択し、そのフレ
ームを各々のストリームの最後と最初のフレームとして
設定する。
【００６３】接続部より前又は後の映像がほぼ静止状態
で続く場合は、この時設定されるフレームの２枚の画面
は、最も同一性の高い画面を選択するが、接統部の前後
が動きのある映像の場合は、この動きに合わせて互いに
少しずれた画面を選択してもよい。
【００６４】以上のような編集処理を再生され得る全て
のストリームの接続部に対して行う。このように編集さ
れたストリームは予め設定したフレームレートで圧縮さ
れ、識別処理等をされた後、蓄積される。再生フレーム
レートが毎秒７枚〜１５枚以下程度までであれば、上述
のように作成したストリームの接続部を見分けられなく
することが可能である。
【００６５】３．空間的フィルタリング 再生時に各ストリームの接続部が目立たないようにする
ためには、接続部の画面内の隣接画素間の輝度の差を少
なくする等の空間的フィルタリング処理により、接続部
で発生する画像のわずかなずれを目立たなくする。この
場合、ストリームの他の部分にも同様の処理をした画面
のフレームを混在させておくとより効果的である。
【００６６】具体的には、圧縮前の画像に対してフィル
タリングを行った後、全体を圧縮符号化するか、圧縮符
号化時に輝度等の画素値が平滑化されるような符号化処
理を特別に行う。
【００６７】Ｅ．ストリームの検索開始時期の設定 入力可能なストリームでは入力可能な時間をできるだけ
長く取るためには、次のストリームの検索はできるだけ
最後まで遅らせる必要がある。しかし、検索時期を遅ら
せ過ぎると、ストリームの接続部で送信の中断を起し、
表示映像の途切れや静止化を起してしまう。またストリ
ームは長さが一定であるとは限らないので、ストリーム
それぞれについて最適な検索開始時期を決める必要があ
る。
【００６８】このストリームの検索開始時期を決める方
法には、例えば以下の３つの方法がある。
【００６９】１．第１の方法 ストリーム中に検索開始を示す符号を入れておき、上述
の図２中の送信部５１中の送信バッファ５５から通信回
線３０にストリームのデータを送出するときに、検索開
始を示す符号を読み取り、ＣＰＵ４が検索開始スイッチ
を（ソフトウェア的に）オンにして検索開始時期を決定
する。
【００７０】この場合、ストリームを符号化する際に、
検索開始時期に当たるフレームの符号化情報のヘッダ部
分のユーザー層に他のヘッダ部分とは異なる検索開始を
示す符号を入れておく。
【００７１】２．第２の方法 送信バッファ５５から通信回線３０にストリームのデー
タを送出するときに、送信バイト数をカウントしてお
き、所定の値になつたら検索開始スイッチをオンにす
る。
【００７２】図１２に示すように、ストリームの最後か
らどの位置で次の検索を開始するのかを、予め全てのス
トリームで共通の位置（例えばバイト数で示す）として
決めておき、ストリームを検索した時に、このストリー
ムの総バイト数が解るので、この総バイト数中から予め
決めてあるバイト数（Ａ）を減じた値を、このストリー
ムでの送信開始から検索開始スイッチをオンにする迄の
バイト数（Ｂ）とし、送信バッファ５５から通信回線３
０にデータが送出される時にバイト数をカウントし、カ
ウント値がこの値（Ｂ）になったら上述の第１の方法と
同様に検索開始スイッチをオンにする。
【００７３】同時に送信バッファ５５中から通信回線３
０へのデータ送出数を０からカウントし直し、検索され
るストリームの総バイト数までカウントしたら、オフに
戻してある検索開始スイッチをオンにする。以後これを
繰り返す。
【００７４】あるいは、ストリーム毎にデータの通信回
線３０への送出数をカウントし、そのストリームの総バ
イト数から予め決めたバイト数（Ａ）を減じた値になっ
たら上述と同様に検索開始スイッチをオンにするように
してもよい。
【００７５】３．第３の方法 ストリーム毎に検索処理の割り込み間隔を設定し、この
時間が経過したら検索開始スイッチをオンにする。
【００７６】図１３に示すように、各ストリームの総バ
イト数からその送信時間を算出し、予め決めた全ストリ
ーム共通の値（Ｔ）を減じた値を、検索開始時期までの
時間（設定時間）とし、このストリームのデータの通信
回線３０に対する送出開始と同時に時間をカウントし、
設定時間が経過したら検索開始スイッチをオンにする。
これ以後同様の処理を繰り返す。
【００７７】時間カウントの方法は、送信バッファをス
トリーム毎に別に用い、１つの送信バッファが空になっ
たらこれを検知し、別の送信バッファのデータ送出を開
始すると同時にリセットしてカウントを始める。
【００７８】上述のように、次に送信するストリームの
検索開始時期を設定することにより、動画再生中の中
断、静止化を防止することができる。これにより、断片
的なストリームを適宜継ぎ合わせて再生しても、ユーザ
に継ぎ合わせであることを気付かせない、より自然な画
像とすることができる。
【００７９】入力とそれに対応するストリームを一致さ
せるために、入力可能なストリームの送信バッファ５５
からの送出が開始されたら、端末装置３２からの次のス
トリーム検索のための入力を有効にし、その後検索開始
スイッチがオンになったら、再生中の当該ストリームの
送信バッファ５５からの送出が完了するまでの間は、端
末装置３２からの入力を無効にする。
【００８０】また、送信バッファ５５にデータが無くな
ったのを検知し、受信バッファ５６をリセットすること
によって、検索開始スイッチがオンになってから受信バ
ッファ５６に入った入力データを無効にしてもよい。ま
た、入力値の読み取りはストリームの送信バッファ５５
からの送出が開始された後、ストリーム毎に決められた
上述の検索開始時期までの間に、入力値が最初に受信バ
ッファ５６に入ったらこれを検知し、検索開始スイッチ
をオンにして行ってもよい。
【００８１】なお、ストリームデータの送信バッファ５
５からの送出が完了後、端末装置３２における伸長処理
等の影響で、当該ストリームの再生終了が遅延する場合
には、この遅延時間内の入力をも無効とする。
【００８２】また、上述の再生中に入力を受け付けるス
トリームの長さは、短くするほど、再生中になされた入
力等により選択された次のストリームの再生開始が早く
なり、これにより入力に対する応答性を高めることがで
きる。
【００８３】上述の検索開始時期から現在再生中のスト
リームの送信バッファ５５からの送出が完了するまでの
時間は、ハードウェア環境、ソフトウェア環境、ネット
ワーク環境等により検索に要する時間等が異なるため、
状況に応じて変える必要がある。この時間中は端末装置
３２からの入力を無効とする必要があるため、入力可能
ストリームの再生時間すなわちストリームの長さが、こ
の時間以上になるように、入力が有効な時間を確保しな
ければならない。
【００８４】諸環境の設定により、入力可能なストリー
ムの再生中に一時的に入力を無効とする時間を短くし、
これにより入力後の応答速度を速くすることができる
が、入力が無効となる時間を０に近づけて行けば、入力
可能なストリームの長さも画像データ作成上の限度まで
短縮可能である。
【００８５】入力後の応答速度は映像の内容にもよる
が、１、２秒程度以内であればユーザの感覚上遅延を意
識することは少ない。画像データ作成上は、全体の製作
に要する時間等を問題にしなければ、作成ストリームの
長さは１フレームの静止画単位まで短くすることが可能
である。
【００８６】なお、上述の説明では、ストリーム間の接
続部の画合わせ等について説明したが、ストリーム間の
音声信号にも平滑化等の処理を行うことにより、音声の
継ぎ目が目立たない、より自然な動画像とすることがで
きる。
【００８７】
【発明の効果】本発明に係る画像再生方法及び画像再生
装置は、ユーザからの入力を取り込み、該ユーザからの
入力に応じて、ストリームの連関を示す連関テーブルを
参照し、現在再生中のストリームの次に再生するものを
選択し、選択したストリームを再生することにより、ユ
ーザの入力に対する応答の改善に寄与することができ
る。
【００８８】また、次に再生するストリームの選択にお
いて、前端部の画像が、現在再生されているストリーム
の後端部の画像と略一致しているストリームに限り選択
が可能であるため、接続部を認識されにくくすることが
でき、より自然な動画を生成することができる。
【００８９】さらに、ストリーム検索開始の正確なタイ
ミングが設定されているため、動画再生中の中断、静止
化が無くなり、断片的なストリームを適宜継ぎ合わせて
再生しても、ユーザに継ぎ合わせであることを気付かせ
ない、より自然な画像とすることができる。
【００９０】また、本発明に係る画像データ作成装置
は、合成手段により動画像撮影手段からの映像信号と静
止画像保持手段からの静止画像データに基づく画像を合
成して表示することにより、ユーザ又は被写体の人物は
当該合成画像を見ながら被写体、動画撮影手段の移動等
を行うことができ、画合わせを容易に行うことができ
る。
【図面の簡単な説明】
【図１】 本発明の一実施形態に係る画像再生装置の構
成を示すブロック図である。
【図２】 画像再生装置を構成するホスト装置の送受信
制御部の構成を示すブロック図である。
【図３】 ストリームの構成例を示す図である。
【図４】 ストリームの構成例を示す図である。
【図５】 各ストリームの再生順の例を示す図である。
【図６】 連関テーブルの一例を示す図である。
【図７】 連関テーブルの一例を示す図である。
【図８】 ホスト装置が実行する各チャネル毎の処理を
示すフローチャートである。
【図９】 ホスト装置が実行するストリーム処理を示す
フローチャートである。
【図１０】 撮影システムの一例を示すブロック図であ
る。
【図１１】 撮影システムを構成するモニタ１５に表示
される画像の一例を示す図である。
【図１２】 ストリームの検索開始時期の決定動作を示
す図である。を示す図である。
【図１３】 ストリームの検索開始時期の決定動作を示
す図である。
【符号の説明】
１ ファイル装置、４ ＣＰＵ、５ 入出力制御部、６
画像表示装置、３１ホスト装置、３２ 端末装置
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平10−150629（ＪＰ，Ａ) 特開 平９−138790（ＪＰ，Ａ) 特開 平10−111872（ＪＰ，Ａ) 特開 平９−146964（ＪＰ，Ａ) 特開 平６−351034（ＪＰ，Ａ) 国際公開98／13769（ＷＯ，Ａ１) 国際公開98／21722（ＷＯ，Ａ１) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/10,7/16 - 7/173 H04N 5/91 - 5/956

Claims (11)

    (57)【特許請求の範囲】
  1. 【請求項１】 先に再生されるストリームの最後の接続
    部の画像あるいは後に再生されるストリームの最初の画
    像からなり、先に再生されるストリームと後に再生され
    るストリームを接続して連続的に再生し得る接続部を有
    する複数の画像ストリームを画像再生装置にあらかじめ
    記憶する画像ストリーム記憶工程と、 前記複数の画像ストリームを選択的に接続して連続的に
    再生するために、前記複数の画像ストリーム間の接続関
    係を定義した連関テーブルを画像再生装置にあらかじめ
    記憶する連関テーブル記憶工程と、 前記複数の画像ストリームの中から現在再生中のストリ
    ームの次に再生すべき画像ストリームを選択する選択情
    報がユーザから画像再生装置に指示入力される入力工程
    と、 前記連関テーブルおよび前記ユーザからの指示入力に基
    づいて、前記複数の画像ストリームの中から現在再生中
    のストリームの次に再生すべき画像ストリームを画像再
    生装置が選択する選択工程と、 選択工程で選択された画像ストリームを画像再生装置が
    再生する再生工程とを含み、前記画像ストリーム記憶工程には、後に連続して再生さ
    れ得るストリームがあるストリームの接続部に対して、
    当該ストリームの最後の接続部の画像と、その画像で開
    始されるストリームの最初の接続部の画像を一致させる
    画合わせをユーザに実施させる工程を有し、 前記選択工程には、現在再生中のストリームの再生中
    に、前記指示入力が有効な時間を確保し、次に再生すべ
    きストリームを前記連関テーブルから選択するための検
    索開始時期を画像再生装置が決定する工程を有する こと
    を特徴とする画像再生方法。
  2. 【請求項２】 前記画像ストリーム記憶工程における画
    合わせは、 前記画像ストリーム記憶工程で、複数の画像ストリーム
    をあらかじめ画像再生装置に記憶する際に、当該ストリ
    ームの最後の接続部の画像を静止画像として記録してお
    き、 その静止画像と一致させる画像で開始されるストリーム
    の最初の接続部の画像と、前記静止画像とを合成表示さ
    せて一致させる ことを特徴とする請求項１に記載の画像
    再生方法。
  3. 【請求項３】 前記画像ストリーム記憶工程における画
    合わせは、 前記画像ストリーム記憶工程で、複数の画像ストリーム
    をあらかじめ画像再生装置に記憶する際に、当該ストリ
    ームの最後の接続部の画像を静止画像として記録してお
    き、 その静止画像と一致させる画像で開始されるストリーム
    の最初の接続部の画像と、前記静止画像の輪郭を抽出し
    た画像とを合成表示させて一致させる ことを特徴とする
    請求項１に記載の画像再生方法。
  4. 【請求項４】 前記画像ストリーム記憶工程における画
    合わせは、 前記画像ストリーム記憶工程で、複数の画像ストリーム
    をあらかじめ画像再生装置に記憶する際に、当該ストリ
    ームの最後の接続部の画像を静止画像として記録してお
    き、 その静止画像と一致させる画像で開始されるストリーム
    の最初の接続部の画像と、前記静止画像との差分の画像
    を表示させて一致させる ことを特徴とする請求項１に記
    載の画像再生方法。
  5. 【請求項５】 前記画像ストリーム記憶工程における画
    合わせは、 前記差分の画像と、静止画像と一致させる画像で開始さ
    れるストリームの最初の接続部の画像とを合成表示させ
    て一致させる ことを特徴とする請求項４に記載の画像再
    生方法。
  6. 【請求項６】 前記画像ストリーム記憶工程における画
    合わせは、 前記静止画像と一致させる画像で開始されるストリーム
    の最初の接続部の画像の色と、前記静止画像あるいはそ
    の輪郭を抽出した画像の色とを異ならせて合成表示させ
    る ことを特徴とする請求項２または３に記載の画像再生
    方法。
  7. 【請求項７】 前記選択工程における検索開始時期の決
    定は、 前記選択工程で、現在再生中のストリームの次に再生す
    べき画像ストリームを画像再生装置が選択する毎に、前
    記再生中のストリームに予め入れられた検索開始時期を
    示す符号を読み取ることで決定される ことを特徴とする
    請求項１に記載の画像再生方法。
  8. 【請求項８】 前記選択工程における検索開始時期の決
    定は、 前記選択工程で、現在再生中のストリームの次に再生す
    べき画像ストリームを画像再生装置が選択する毎に、前
    記再生中のストリームの総バイト数をカウントし、前記
    再生中のストリームの送出されるバイト数が予め決めた
    所定の値になることで決定される ことを特徴とする請求
    項１記載の画像再生方法。
  9. 【請求項９】 前記選択工程における検索開始時期の決
    定は、 前記選択工程で、現在再生中のストリームの次に再生す
    べき画像ストリームを画像再生装置が選択する毎に、前
    記再生中のストリームに対する割り込み間隔を設定し、
    この割り込み時間が経過することで決定される ことを特
    徴とする請求項１記載の画像再生方法。
  10. 【請求項１０】 先に再生されるストリームの最後の接
    続部の画像あるいは後に再生されるストリームの最初の
    画像からなり、先に再生されるストリームと後に再生さ
    れるストリームを接続して連続的に再生し得る接続部を
    有する複数の画像ストリームをあらかじめ記憶する画像
    ストリーム記憶手段と、 画像ストリーム記憶手段に記憶された複数の画像ストリ
    ームを選択的に接続して連続的に再生するために、前記
    複数の画像ストリーム間の接続関係を定義した連関テー
    ブルをあらかじめ記憶する連関テーブル記憶手段と、 画像ストリーム記憶手段に記憶された複数の画像ストリ
    ームの中から現在再生 中のストリームの次に再生すべき
    画像ストリームを選択する選択情報がユーザから指示入
    力される入力手段と、 連関テーブル記憶手段に記憶された連関テーブルおよび
    前記入力手段からの指示入力に基づいて、画像ストリー
    ム記憶手段に記憶された複数の画像ストリームの中から
    現在再生中のストリームの次に再生すべき画像ストリー
    ムを選択する選択手段と、 選択手段により選択された画像ストリームを再生する再
    生手段とを備え、前記画像ストリーム記憶手段は、複数の画像ストリーム
    を記憶する際に、後に連続して再生され得るストリーム
    があるストリームの接続部に対して、当該ストリームの
    最後の接続部の画像と、その画像で開始されるストリー
    ムの最初の接続部の画像を一致させる画合わせをユーザ
    に実施させるための手段を有し、 前記選択手段は、現在再生中のストリームの再生中に、
    前記入力手段による指示入力が有効な時間を確保し、次
    に再生すべきストリームを前記連関テーブルから選択す
    るための検索開始時期を決定する手段を有する ことを特
    徴とする画像再生装置。
  11. 【請求項１１】 先に再生されるストリームの最後の接
    続部の画像あるいは後に再生されるストリームの最初の
    画像からなり、先に再生されるストリームと後に再生さ
    れるストリームを接続して連続的に再生し得る接続部を
    有する複数の画像ストリームを選択的に接続された端末
    装置で連続的に再生するために、前記複数の画像ストリ
    ームの中から１つの画像ストリームを順次に選択して送
    信する画像送信装置と、 この画像送信装置から送信された画像ストリームを受信
    して再生する端末装置とを備え、該 端末装置は、 前記複数の画像ストリームの中から現在再生中のストリ
    ームの次に再生すべき画像ストリームを選択する選択情
    報を画像送信装置に送信する選択情報送信手段と、 前記選択情報送信手段により選択された画像ストリーム
    を再生する再生手段と を有し、前記 画像送信装置は、 前記複数の画像ストリームをあらかじめ記憶する画像ス
    トリーム記憶手段と、 画像ストリーム記憶手段に記憶された複数の画像ストリ
    ームを選択的に接続して連続的に再生するために、前記
    複数の画像ストリーム間の接続関係を定義した連関テー
    ブルをあらかじめ記憶する連関テーブル記憶手段と、 端末装置の選択情報送信手段により送信された選択情報
    を受信する選択情報受信手段と、 連関テーブル記憶手段に記憶された連関テーブルおよび
    前記選択情報受信手段からの選択情報に基づいて、画像
    ストリーム記憶手段に記憶された複数の画像ストリーム
    の中から現在再生中のストリームの次に再生すべき画像
    ストリームを選択する選択手段と、前記 選択手段により選択された画像ストリームを前記端
    末装置に送信する送信手段を有し、 前記画像ストリーム記憶手段は、複数の画像ストリーム
    を記憶する際に、後に連続して再生され得るストリーム
    があるストリームの接続部に対して、当該ストリームの
    最後の接続部の画像と、その画像で開始されるストリー
    ムの最初の接続部の画像を一致させる画合わせを前記端
    末装置の選択情報送信手段によりユーザに実施させるた
    めの手段を有し、 前記選択手段は、現在再生中のストリームの再生中に、
    前記選択情報送信手段による選択情報が有効な時間を確
    保し、次に再生すべきストリームを前記連関テーブルか
    ら選択するための検索開始時期を決定する手段を有する
    ことを特徴とする画像通信システム。
JP17270198A 1998-06-19 1998-06-19 画像再生方法、画像再生装置及び画像通信システム Expired - Fee Related JP3522537B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP17270198A JP3522537B2 (ja) 1998-06-19 1998-06-19 画像再生方法、画像再生装置及び画像通信システム
US09/335,634 US6470392B1 (en) 1998-06-19 1999-06-18 Apparatus for and a method of creating and conveying an interactive audiovisual work

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17270198A JP3522537B2 (ja) 1998-06-19 1998-06-19 画像再生方法、画像再生装置及び画像通信システム

Publications (2)

Publication Number Publication Date
JP2000013775A JP2000013775A (ja) 2000-01-14
JP3522537B2 true JP3522537B2 (ja) 2004-04-26

Family

ID=15946753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17270198A Expired - Fee Related JP3522537B2 (ja) 1998-06-19 1998-06-19 画像再生方法、画像再生装置及び画像通信システム

Country Status (2)

Country Link
US (1) US6470392B1 (ja)
JP (1) JP3522537B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6541858B1 (en) * 1998-12-17 2003-04-01 Micron Technology, Inc. Interconnect alloys and methods and apparatus using same
WO2001045411A1 (fr) * 1999-12-17 2001-06-21 Yotaro Murase Systeme et technique de transmission d'un produit audio/visuel par un serveur/client
US6957264B1 (en) * 2000-06-13 2005-10-18 Intel Corporation Method and apparatus for selecting internet-based broadcast sources
WO2002102052A2 (en) * 2001-02-07 2002-12-19 Infosphere Incorporated Method and apparatus for providing interactive media presentation
TWI292535B (en) * 2002-04-26 2008-01-11 Nti Inc Information providing method, information processing apparatus, information collecting system, communication method, communication system, relaying apparatus, and communication apparatus
US20030208613A1 (en) * 2002-05-02 2003-11-06 Envivio.Com, Inc. Managing user interaction for live multimedia broadcast
US7702727B2 (en) * 2003-09-30 2010-04-20 Avaya, Inc. Apparatus, method, and computer program for providing multimedia prompting in a communication system
WO2006050135A1 (en) * 2004-10-29 2006-05-11 Eat.Tv, Inc. System for enabling video-based interactive applications
US7734548B2 (en) * 2004-12-06 2010-06-08 At&T Intellectual Property, I,L.P. Methods, systems, and products for providing electronic media
EP1868381A4 (en) * 2005-03-11 2010-04-07 Pioneer Corp CONTENT DATA REGULATION ARRANGEMENT AND CONTENT DATA REGULATORY PROCESS
EP2290982A1 (en) * 2009-08-25 2011-03-02 Alcatel Lucent Method for interactive delivery of multimedia content, content production entity and server entity for realizing such a method
CN104969543B (zh) * 2013-02-14 2019-04-02 松下知识产权经营株式会社 电子镜装置
US11164352B2 (en) * 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
US10735826B2 (en) * 2017-12-20 2020-08-04 Intel Corporation Free dimension format and codec

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5209665A (en) * 1989-10-12 1993-05-11 Sight & Sound Incorporated Interactive audio visual work
US5237648A (en) * 1990-06-08 1993-08-17 Apple Computer, Inc. Apparatus and method for editing a video recording by selecting and displaying video clips
US5359712A (en) * 1991-05-06 1994-10-25 Apple Computer, Inc. Method and apparatus for transitioning between sequences of digital information
US5553864A (en) * 1992-05-22 1996-09-10 Sitrick; David H. User image integration into audiovisual presentation system and methodology
US5830065A (en) * 1992-05-22 1998-11-03 Sitrick; David H. User image integration into audiovisual presentation system and methodology
US5623690A (en) * 1992-06-03 1997-04-22 Digital Equipment Corporation Audio/video storage and retrieval for multimedia workstations by interleaving audio and video data in data file
US5404444A (en) * 1993-02-05 1995-04-04 Sight & Sound Incorporated Interactive audiovisual apparatus
JPH06351034A (ja) * 1993-06-14 1994-12-22 Hitachi Ltd マルチ画面編集装置及びマルチ画面表示装置
JP3752256B2 (ja) 1993-09-08 2006-03-08 株式会社日立製作所 マルチメディアデータ記録再生装置及びマルチメディアデータ生成方法
US6157391A (en) * 1994-01-10 2000-12-05 International Business Machines Corporation Method and apparatus for providing slow motion video at normal motion play speed
US5692212A (en) 1994-06-22 1997-11-25 Roach; Richard Gregory Interactive multimedia movies and techniques
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
JP2836550B2 (ja) * 1995-11-14 1998-12-14 日本電気株式会社 シナリオ編集装置
JPH09146964A (ja) * 1995-11-16 1997-06-06 Toshiba Corp 画像情報に基づく情報検索装置
US6141693A (en) * 1996-06-03 2000-10-31 Webtv Networks, Inc. Method and apparatus for extracting digital data from a video stream and using the digital data to configure the video stream for display on a television set
KR100496703B1 (ko) * 1996-09-27 2005-11-24 마쯔시다덴기산교 가부시키가이샤 비디오데이터의택일적인재생이가능한멀티미디어스트림생성방법과멀티미디어광디스크오소링시스템
JPH10111872A (ja) * 1996-10-08 1998-04-28 Nippon Telegr & Teleph Corp <Ntt> 動画配信装置及び方法
US6381398B1 (en) * 1996-11-13 2002-04-30 Matsushita Electric Industrial Co., Ltd. Apparatus and method of generating bit stream for information recording disc storage which enables seamless reproduction of a plurality of pieces of image information, and recording medium on which program applied to the generating apparatus is recorded
JPH10150629A (ja) * 1996-11-15 1998-06-02 Sony Corp 送受信システム、受信装置、及び送信装置
KR100270354B1 (ko) * 1996-11-20 2000-11-01 정선종 이기종망간의 중계 서버 및 실시간 중계 방법
US5953506A (en) * 1996-12-17 1999-09-14 Adaptive Media Technologies Method and apparatus that provides a scalable media delivery system
EP0923758A2 (en) * 1997-07-02 1999-06-23 Koninklijke Philips Electronics N.V. System for supplying data streams
DE19807076A1 (de) * 1998-02-20 1999-08-26 Cit Alcatel Datenbereitstellungsystem
US6219730B1 (en) * 1998-06-20 2001-04-17 Nghi Nho Nguyen Method and apparatus for producing a combined data stream and recovering therefrom the respective user input stream and at least one additional input signal

Also Published As

Publication number Publication date
US6470392B1 (en) 2002-10-22
JP2000013775A (ja) 2000-01-14

Similar Documents

Publication Publication Date Title
JP3890691B2 (ja) 画像記録再生装置及び画像記録再生プログラムを記憶した記憶媒体
JP3522537B2 (ja) 画像再生方法、画像再生装置及び画像通信システム
CN102917172B (zh) 摄像装置、摄影控制方法及图像再现方法
JP2001351126A (ja) ゲームのプログラムを記録したコンピュータ読み取り可能な記録媒体、ゲームのプログラム、ゲーム処理方法およびゲーム処理装置
US8614715B2 (en) Moving image file producing method, computer program product and electronic camera
WO2001045411A1 (fr) Systeme et technique de transmission d&#39;un produit audio/visuel par un serveur/client
JP2005117083A (ja) 再生装置、記録装置、再生プログラム、及び再生プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3086676B2 (ja) 画像再生装置
JP4458785B2 (ja) 画像管理装置
JP3894362B2 (ja) 複数動画像の閲覧装置および記録媒体
JP2007049634A (ja) 再生装置及び再生方法
JP4484220B2 (ja) 映像配信装置
JP2005292691A (ja) 動画像表示装置および動画像表示方法
JP2004215123A (ja) 画像再生装置、画像再生方法及び画像再生プログラム
JPH1138954A (ja) 画像表示装置、画像表示方法および画像表示プログラムを記録した媒体
JP2002262238A (ja) 映像再生装置、映像配信装置および記録媒体
JP6230675B2 (ja) 画像再生装置、画像再生方法及び画像再生プログラム
JP3524833B2 (ja) 画像再生装置
JP6016985B2 (ja) 画像処置装置及び画像処理方法
JP3951430B2 (ja) 映像信号符号化システム
JP2002125214A (ja) 複数コンテンツ同期再生方法及びシステム
JP5753569B2 (ja) 画像再生装置及び画像再生装置の再生方法
JP4419126B2 (ja) 編集再生装置、編集再生方法、及びプログラム
JP2000115779A (ja) 画像処理装置および同装置に適用される動画像符号化方法
JP5421423B2 (ja) 撮像装置、画像再生装置、撮影プログラム、画像再生プログラム、撮影制御方法及び画像再生方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040204

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110220

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees