JP4283964B2 - 符号化データ記録装置 - Google Patents
符号化データ記録装置 Download PDFInfo
- Publication number
- JP4283964B2 JP4283964B2 JP2000061212A JP2000061212A JP4283964B2 JP 4283964 B2 JP4283964 B2 JP 4283964B2 JP 2000061212 A JP2000061212 A JP 2000061212A JP 2000061212 A JP2000061212 A JP 2000061212A JP 4283964 B2 JP4283964 B2 JP 4283964B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- frame
- recording
- information
- received
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばＭＰＥＧ−４（Moving Picture Experts Group-4）を採用したデータ伝送システムのように、時間軸上で相関を有するフレームデータ群を自立情報と従属情報とにより表し、所定期間ごとに自立情報を少なくとも１つのフレームに挿入して伝送するようにしたシステムで使用される符号化データ記録装置に関する。
【０００２】
【従来の技術】
近年、携帯電話装置や携帯情報端末では、音声通信サービスのみならず、ＳＭＳ（Short Message Service）や電子メールサービス、無線インターネットを利用した情報配信サービス等の種々伝送サービスを使用できるようになってきている。しかしこの種のシステムにおいて、動画像データのような情報量の大きいデータを伝送しようとすると、伝送路帯域がネックとなりそのままでは伝送することができない。
【０００３】
そこで、動画像データを無線伝送する場合には動画像の圧縮／伸張処理が必要となり、その実現手段の一つとしてＭＰＥＧ−４と呼ばれる画像圧縮／伸張方式の採用が検討されている。ＭＰＥＧ−４は、動画像データのように時間軸上で関連性を有するデータを、静止画として圧縮した１画面の全画像情報要素を含み画像データとして独立して意味をなす自立情報としての画像フレーム（以後Ｉフレームと称する）と、１フレーム前の画像データとの差分情報からなるフレーム（以後Ｐフレームと称する）とで表す。そして、伝送開始後の最初のフレームタイミングではＩフレームを送信し、以後の各フレームタイミングではＰフレームを順次送信するようにしたもので、これにより例えば数Mbps 相当の情報量を持つ動画像データを数十Kbps に圧縮して伝送することを可能としている。
【０００４】
ところが、この様に初期フレームのみ絶対値情報を伝送し以後の各フレームでは前フレームとの差分情報を伝送するシステムでは、受信側の装置において例えば使用者がデータ受信途中で録画ボタンを押したとすると、差分情報（Ｐフレーム）しか記録することができず、この結果録画した画像データからは有効な画像再生を行うことができない。
【０００５】
そこでＭＰＥＧ−４では、各Ｐフレームの画面を多数のブロックに分割し、各Ｐフレームごとに任意のブロックのみ前フレームとの差分ではなく単独で圧縮した絶対値情報からなるデータを伝送するという工夫がなされている。上記絶対値情報からなるデータが挿入されるブロックはＩマクロブロックと呼ばれ、送信側は１画面を再構成するに必要なすべてのＩマクロブロックを複数のＰフレームに分散して周期的に送信する。一方Ｐフレームデータのうち前フレームとの差分データとして圧縮されるものはＰマクロブロックと呼ばれる。上記１画面分のＩマクロブロックを送信する周期を仮にマクロ周期と呼称する。したがって受信側は、少なくとも１マクロ周期分のＰフレームを受信することで、これらのＰフレームにより伝送された複数のマクロブロックをもとに非圧縮の１画面データを再構成することができる。
【０００６】
この様な方式であれば、受信側の装置においてデータストリームの受信途中で録画ボタンが押された場合でも、１マクロ周期分のＰフレームを受信することで、その中に含まれるＩ及びＰマクロブロックをもとに完全な１画面データを再生し記録することが可能となる。
【０００７】
【発明が解決しようとする課題】
しかしながらこの様な方式では、録画を開始してから１マクロ周期分のＰフレームを受信するまでの例えば約１０秒間は、完全な１画面データを再構成することができない。このため、録画開始直後の約１０秒間においては記録画像の品質が保証されず、使用者は品質が著しく劣化した記録画像を見せられることになり非常に好ましくなかった。
【０００８】
この発明は上記事情に着目してなされたもので、その第１の目的は、データ受信途中で記録を開始した場合でも、記録指示の入力直後から高品質のデータを記録できるようにした符号化データ記録装置を提供することである。
【０００９】
第２の目的は、データ受信途中で記録を開始した場合には、品質の劣化したデータを記録しないようにして高品質のデータのみを記録再生できるようにした符号化データ記録装置を提供することである。
【００１０】
【課題を解決するための手段】
上記第１の目的を達成するために第１の発明は、データストリーム上の各フレームデータをそれぞれ複数のマクロブロックに分割して、これらのマクロブロックごとにそのデータをデータ群として独立して意味をなす自立情報又は主として元のデータとの差分で構成される従属情報により表し、所定期間ごとに、前記各マクロブロックとも自立情報を少なくとも１つのフレームで伝送すると共にその他のフレームでは従属情報を伝送するようにしたデータ伝送システムで使用される符号化データ記録装置において、
データストリームの受信中に少なくとも最新の上記所定期間分の受信フレームをデータ保持手段に一時保持するようにし、上記データストリームの受信中に当該データストリームの記録指示が入力された場合に、この記録指示が入力された時点で上記データ保持手段に一時保持されている受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを記録媒体に記録するようにしたものである。
【００１１】
したがってこの発明によれば、データストリームの受信中には常に少なくとも最新の所定期間分の受信データストリームがデータ保持手段に保持されるため、データストリームの受信途中で当該データストリームの記録指示が入力された場合でも、その直前に受信された所定期間分の受信データストリームを記録媒体に記録することが可能となる。このため、記録データの再生時には、上記所定期間分の受信データストリームに含まれる１画面分の自立情報、つまりマクロブロックをもとに、記録指示入力時点から高品質のフレームデータを再生することが可能となる。
【００１３】
しかも、この様に構成すると、記録データの再生時にはフレームデータの再構築処理を行う必要がなくなって再生時の処理負荷が軽減され、これにより再生ボタンを押してから実際に再生データが出力されるまでの時間を短縮して、データ再生を応答性よく開始することができる。
【００１４】
またこの発明は、データ保持手段に保持されているデータストリームを記録媒体に記録する際に、記録指示が入力された時点でデータ保持手段に一時保持されている受信フレームを記録媒体に仮記録し、その後の所定のタイミング、例えば通信終了後のように符号化データ記録装置の主要動作が終了した後に、上記記録媒体に仮記録した受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを記録媒体に記録し直すものである。
【００１５】
この様にすると、フレームデータの再構築処理を、データ受信期間又は記録期間を避けて実行することが可能となり、これによりデータ受信中又は記録中に処理負荷が集中しないようにして、ＣＰＵ又はＤＳＰの負担を軽減することができる。
【００１６】
またその際、符号化データ記録装置が、バッテリの出力により動作する第１のモードと、商用電源の出力をもとに動作する第２のモードとを備えている場合には、上記フレームデータの再構築処理を上記第２のモードが設定されている状態で行うようにするとよい。
この様にすると、消費電力の大きなフレームデータ再構築処理を、商用電源出力のもとで安定に実行することができる。
【００１７】
また、上記第１の目的を達成するために第２の発明は、データストリームの受信中に当該データストリームの記録指示が入力された場合に、この記録指示が入力された時点以降に受信した少なくとも所定期間分の受信フレームを保持又は仮記録し、この保持又は仮記録された上記所定期間分の受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを上記記録媒体に記録するようにしたものである。
【００１８】
したがってこの発明によれば、データ受信途中で記録指示が入力されると、この時点以降の所定期間分の受信フレームが保持又は仮記録され、この保持又は仮記録された所定期間分の受信情報に含まれる１画面分の自立情報及び従属情報、つまりＩ及びＰマクロブロックをもとに、上記記録指示入力時点でのフレームデータが再構築されて記録されることになる。したがって、この場合にも前記第１の発明と同様に、記録指示入力時点から高品質のフレームデータを再生することが可能となる。
【００１９】
一方、前記第２の目的を達成するために第３の発明は、データストリームの受信中に当該データストリームの記録指示が入力された場合に、この記録指示が入力された時点以降に受信される所定期間分の受信フレームの自立情報及び従属情報をもとに、上記記録指示の入力時点から上記所定期間が経過した後のフレームデータを再構築するデータ再構築手段と、データ記録制御手段とを備える。そして、上記記録指示入力時点から上記データ再構築手段によりフレームデータが再構築されるまでの間は記録待機期間とし、この記録待機期間経過後に上記再構築フレームデータ及びその後受信される受信フレームを記録媒体に記録するようにしたものである。
【００２０】
したがってこの発明によれば、記録指示が入力された時点から所定期間内は記録待機状態に設定されるため受信データの記録は行われず、記録媒体には再構築したフレームデータから記録が開始される。このため、再生時には冒頭から高品質のデータを再生することが可能となる。ちなみに、記録指示の入力時点からそのまま受信データの記録を行うと、再生開始直後では再構築前の品質が著しく劣化したデータが再生されることになり、使用者に違和感を与え非常に好ましくない。
【００２１】
なお、この発明では記録指示入力時点から所定期間内の受信データについては記録されないと云う課題が残るが、これについては先に述べた第１又は第２の発明により解決できる。
【００２２】
【発明の実施の形態】
以下、図面を参照してこの発明に係わる符号化データ記録装置の実施形態を説明する。
【００２３】
（第１の実施形態）
この発明の第１の実施形態は、符号化データ記録機能を備えた携帯電話端末において、ＭＰＥＧ−４規格を使用して無線テレビジョン電話通信を行っている最中に、その受信画像フレームを一時記憶部に入力して、常に最新の１マクロ周期分の受信画像フレームを保持させる。そして、この状態で使用者が録画開始操作を行った場合に、上記一時記憶部に保持されている録画開始操作直前の１マクロ周期分の受信フレームと、上記録画開始操作後に受信される画像フレームとを、メイン記録部にそれぞれ転送して記録する。
また、画像圧縮記録モードが設定されている場合には、一時記憶部に保持されている１マクロ周期分の画像フレームのマクロブロックをもとに疑似Ｉフレームを再構築し、この疑似Ｉフレームをメイン記憶部に記録するようにしたものである。
【００２４】
図１は、この発明に係わる符号データ記録装置が使用されるデータ伝送システムの一つである移動通信システムの概略構成図である。同図において、移動通信システムがカバーするサービスエリアには複数の基地局ＢＳ１，ＢＳ２，…が分散して設置してあり、これらの基地局ＢＳ１，ＢＳ２，…は網ＮＷにそれぞれ接続されている。携帯電話端末ＭＳ１，ＭＳ２，…はそれぞれ、無線チャネルを介して最寄りの基地局ＢＳ１，ＢＳ２に接続され、これらの基地局ＢＳ１，ＢＳ２からさらに網ＮＷに接続される。網ＮＷでは、携帯電話端末ＭＳ１，ＭＳ２，…の発呼要求に応じて、該当する携帯電話端末ＭＳ１，ＭＳ２間を交換接続するための処理が行われる。そして、この交換接続処理により通信リンクが確立すると、以後携帯電話端末ＭＳ１，ＭＳ２間では無線テレビジョン電話通信が可能となる。
【００２５】
なお、上記無線チャネルのアクセス方式としては、例えばＷ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式が使用されるが、他にもＦＤＭＡ（Frequency Division Multiple Access）方式やＴＤＭＡ（Time Division Multiple Access）方式、さらには狭帯域のＣＤＭＡ方式を採用することも可能である。
【００２６】
図２は、上記移動通信システムにおいて、携帯電話端末ＭＳ１，ＭＳ２が相互に動画像データ、音声データ及びコンピュータ・データを多重化伝送することにより、無線テレビジョン電話通信を行う際の仕組みを示す図である。
【００２７】
携帯電話端末ＭＳ１，ＭＳ２は物理レイヤ（具体的には移動交換網ＮＷ）により相互に接続され、ＭＵＸ−ＰＤＵと呼ばれるパケット単位でデータ伝送を行う。ＭＵＸ−ＰＤＵは、図示するごとく先頭にフラグとヘッダとを配置し、その後ろに画像データ、音声データ及びコンピュータ・データを交互に配置したものである。ヘッダにはＭＵＸ−ＰＤＵの内容を表す情報が挿入される。
【００２８】
物理レイヤの上位にはＡＬ／ＭＵＸレイヤ（具体的には多重分離部）が配置され、このＡＬ／ＭＵＸレイヤにおいて上記ＭＵＸ−ＰＤＵが生成される。また、ＡＬ／ＭＵＸレイヤの上位には高位レイヤが配置され、ここでビデオチャネル、オーディオチャネル及び制御・データチャネルの接続が行われる。高位レイヤは、後述するマルチメディア処理部、音声コーデック及びデータ通信部により実現される。
【００２９】
動画像データは束ねられてビデオチャネルにより伝送されるが、このビデオチャネルにはＭＰＥＧ−４ストリームが埋め込まれている。このＭＰＥＧ−４ストリームでは、後述する図６に示すように１画面の全ての画素を含むＩフレーム（初期フレーム）が先ず送られ、以後各フレームタイミングごとに前フレームとの差分情報からなるＰフレームが順次送られる。
【００３０】
さて、上記各携帯電話端末ＭＳ１，ＭＳ２，…は次のように構成される。図３はその外観を示すもので、（ａ）は正面図、（ｂ）は側面図である。
この携帯電話端末ＭＳ１，ＭＳ２は、無線テレビジョン電話通信機能を有するもので、その筐体前面パネルには送話器としてのマイクロホン３１、受話器としてのスピーカ３２、液晶表示器（ＬＣＤ）３４及びキー入力部３５がそれぞれ配設されている。また筐体上部には、伸縮可能なアンテナ１１と、カメラ３３が取着されている。このカメラ３３は、ＣＭＯＳ又はＣＣＤ等の固体撮像素子を採用したもので、静止画像又は動画像を撮像可能である。さらに筐体背面部には、電源部用の装着部が設けられており、この装着部にはバッテリパックを構成する電源部４が着脱自在に装着される。
【００３１】
次に、携帯電話端末ＭＳ１，ＭＳ２，…の回路は次のように構成される。図４はその機能構成を示すブロック図であり、無線部１と、ベースバンド部２Ａと、入出力部３と、電源部４とから構成される。
【００３２】
すなわち、基地局ＢＳ１，ＢＳ２，…から移動通信システム用の無線チャネルを介して到来した無線周波信号は、アンテナ１１で受信されたのちアンテナ共用器（ＤＵＰ）１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、高周波増幅器、周波数変換器及び復調器を備える。そして、上記無線信号を低雑音増幅器で低雑音増幅したのち、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局部発振信号とミキシングして受信中間周波信号又は受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調する。復調方式としては、例えばＱＰＳＫ方式に対応した直交復調方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局部発振信号周波数は、ベースバンド部２Ａに設けられた主制御部２１から指示される。
【００３３】
上記復調器から出力された復調信号はベースバンド部２Ａに入力される。ベースバンド部２Ａは、主制御部２１と、多重分離部２２と、音声符号復号部（以後音声コーデックと呼称する）２３と、マルチメディア処理部２４と、一時記憶部２５と、メイン記録部２６とを備えている。
【００３４】
このうち一時記憶部２５は、例えばリングバッファ又はＦＩＦＯ（First-in First-out）メモリからなり、主制御部２１の指示に従い、多重分離部２２から出力された画像データを一時保持する。メイン記憶部２６は、例えばＲＡＭやＥＥＰＲＯＭからなり、主制御部２１の指示に従い、上記一時記憶部２５に一時保持されている画像データ及び上記多重分離部２２から出力された画像データを記録する。なお、このメイン記憶部２６には、携帯電話端末ＭＳ２に対し着脱可能な可搬性を有するフラッシュメモリ等を使用することも可能である。
【００３５】
上記復調信号は、主制御部２１において制御情報であるかマルチメディア情報であるかが識別され、マルチメディア情報であれば多重分離部２２に供給されてここで音声データと画像データとに分離される。そして、音声データは音声コーデック２３に供給されてここで音声復号され、これにより再生された音声信号は入出力部３のスピーカ３２から拡声出力される。これに対し画像データは、マルチメディア処理部２４に供給されてここで画像復号処理され、これにより再生された画像信号は図示しないＬＣＤ制御部を介して入出力部３のＬＣＤ３４に供給され表示される。
【００３６】
また、上記受信音声データ及び受信画像データは、キー入力部３５から録画指示が入力された場合に、主制御部２１の制御に従い一時記憶部２５を介してメイン記憶部２６に記録される。またＬＣＤ３４には、主制御部２１から出力された自装置の動作状態を表す種々情報、例えば電話帳や受信電界強度検出値、バッテリの残量なども表示される。
【００３７】
一方、入出力部３のマイクロホン３１から出力された端末使用者の送話音声信号は、ベースバンド部２Ａの音声コーデック２３に入力され、ここで音声符号化されたのち多重分離部２２に入力される。またカメラ（ＣＡＭ）３３から出力された画像信号は、ベースバンド部２Ａのマルチメディア処理部２４に入力され、ここで画像符号化処理が施されたのち上記多重分離部２２に入力される。多重分離部２２では、上記符号化された音声データと画像データとがH.223等で規定される所定のフォーマットにより多重化され、この多重化された送信データは主制御部２１から無線部１の送信回路（ＴＸ）１５に入力される。
【００３８】
送信回路１５は、変調器、周波数変換器及び送信電力増幅器を備える。上記送信データは、変調器でディジタル変調されたのち、周波数変換器により周波数シンセサイザ１４から発生された送信局部発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としては、ＱＰＳＫ方式が用いられる。そして、この生成された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅されたのち、アンテナ共用器１２を介してアンテナ１１に供給され、このアンテナ１１から図示しない基地局に向け送信される。
【００３９】
なお、電源部４には、リチウムイオン電池等のバッテリ４１と、このバッテリ４１を充電するための充電回路４２と、電圧生成回路（ＰＳ）４３とが設けられている。電圧生成回路４３は、例えばＤＣ／ＤＣコンバータからなり、バッテリ４１の出力電圧をもとに所定の電源電圧Ｖccを生成する。
【００４０】
また入出力部３には、操作時及び通信時にＬＣＤ３４及びキー入力部３５を照明するための照明器３６が設けられている。この照明器３６は、例えばバックライト又はイルミネーションと呼ばれる。
【００４１】
ところで主制御部２１は、マイクロプロセッサと、ＲＯＭ及びＲＡＭなどからなる内部メモリとを備えたもので、無線チャネルの接続制御や通信リンク確立後の通信制御等、通常の制御機能に加えて、この発明に係わる制御機能として、一時記憶制御手段２１ａと、メイン記憶制御手段２１ｂと、データフレーム再構築処理手段２１ｃとを備えている。
【００４２】
一時記憶制御手段２１ａは、無線テレビジョン電話通信中に、無線部１で受信された後多重分離部２２で分離された画像データストリームを一時記憶部２５に入力し、この画像データストリームのうち常に最新の１マクロ周期分を保持させる。
【００４３】
メイン記憶制御手段２１ｂは、上記無線テレビジョン電話通信中に、キー入力部３５において録画操作が行われた場合に、この時点で上記一時記憶部２５に保持されている最新の１マクロ周期分の画像データをメイン記録部２６に転送し記憶させると共に、その後受信された画像データを多重分離部２２から上記メイン記憶部２６に入力して記憶させる。
【００４４】
データフレーム再構築処理手段２１ｃは、上記メイン記憶部２６に記録されたＰフレームをもとに表示画像を復号再生する際に、録画開始直前に受信された１マクロ周期分のＰフレームのマクロブロックをもとに上記録画開始操作時点におけるＩフレームを再構築する。
【００４５】
また、画像データの圧縮記録モードが設定されている場合には、上記一時記憶部２５に保持されている１マクロ周期分の画像データの各マクロブロックをもとに、上記録画開始操作が行われた時点でのＩフレームを再構築し、この疑似Ｉフレームをメイン記録部２６に記憶させる。なお、上記疑似Ｉフレームの再構築処理は、上記録画操作がなされた時点で行うことも、また通信終了後に行うことも可能である。
【００４６】
次に、以上のように構成された携帯電話端末ＭＳ１，ＭＳ２，…の受信画像記録動作を説明する。
いま仮に、図１に示す携帯電話端末ＭＳ１と携帯電話端末ＭＳ２とがＭＰＥＧ−４を用いた無線テレビジョン電話通信を開始したとする。そうすると、送信側の携帯電話端末ＭＳ１は、カメラ３３により撮像して得た画像データをもとに先ず初期基準画面情報であるＩフレームを作成し、このＩフレームを最初のフレームタイミングで送信する。そして第２フレーム以降の各フレームタイミングではそれぞれ、１フレーム前の画像データとの差分情報（Ｐフレーム）をそれぞれ作成し、この差分情報をＰフレームとして順次送信する。
【００４７】
これに対し通信相手の携帯電話端末ＭＳ２は、先ず携帯電話端末ＭＳ１から伝送されたＩフレームを受信し、このＩフレームをもとにマルチメディア処理部２４で完全な１画面データを復号再生してこの１画面データをＬＣＤ３４に表示する。そして、それ以後は携帯電話端末ＭＳ１から伝送されたＰフレームを順次受信し、これらのＰフレームをそれぞれその１フレーム前に復号再生した画像データに加算することでそれぞれ１画面データを復号再生し、これらの１画面データをＬＣＤ３４に表示する。
【００４８】
図５は、上記ＭＰＥＧ−４を使用した画像データ圧縮伝送方式の動作例を模式的に示したものである。同図において、いま例えば送信側の携帯電話端末ＭＳ１においてＶ１，Ｖ２，Ｖ３，…に示す画像データがカメラ３３により順次得られたとする。そうすると送信側の携帯電話端末ＭＳ１は、先ず上記画像データＶ１を静止画として圧縮してＩフレームとして送信する。これに対し受信側の携帯電話端末ＭＳ２は、上記Ｉフレームをもとに１画面データＶ１′を復号再生してこれをＬＣＤ３４に表示する。
【００４９】
次に送信側の携帯電話端末ＭＳ１は、上記画像データＶ２，Ｖ３，…が得られるごとに、これらの画像データＶ２，Ｖ３，…とその１フレーム前の画像データＶ１，Ｖ２，…との間の差分を検出し、この差分情報をそれぞれＰフレームとして送信する。これに対し受信側の携帯電話端末ＭＳ２は、上記Ｐフレームを受信するごとにそれぞれ、そのデータを１フレーム前に復号再生した画像データＶ１′，Ｖ２′，…に加算して画像データを復号再生し、これらの再生画像データをＬＣＤ３４に表示する。
【００５０】
またＭＰＥＧ−４では、上記各Ｐフレームにそれぞれマクロブロックが設定され、このマクロブロックにおいては絶対値情報として符号化されるＩマクロブロックと、差分情報として符号化されるＰマクロブロックとがある。マクロブロックのサイズは、例えば１画面データのサイズが横１７６画素×縦１４４画素の場合、縦横共に１６画素に設定される。すなわち、この場合１画面を構成するために必要なマクロブロックの数は９９個となる。なお、図５では簡単のため１画面のマクロブロック数が３０の場合を例示している。
【００５１】
図６は、上記マクロブロックの伝送例を示すものである。同図に示すように、１画面を再構成するために必要な９９個のマクロブロックＭＢ１，ＭＢ２，…，ＭＢ９９は、１マクロ周期を構成する１３３個のＰフレーム（ただし図６では初期フレームＦ１としてＩフレームを伝送しているため、１マクロ周期のＰフレーム数は第２フレームＦ２以降の１３２フレームとなる）のうち、任意の９９個のＰフレームに分散配置されて伝送される。
【００５２】
なお、１画面を再構成するために必要な９９個のＩマクロブロックＭＢ１，ＭＢ２，…，ＭＢ９９を、１３３個のＰフレームのうちのどのフレームのどの位置に設定するかについては、動き検出などを行い動的に決定する。もちろん、予め決めた順に従い決定してもかまわない。
【００５３】
さて、以上のような無線テレビジョン電話通信を行っている状態で、いま例えば携帯電話端末ＭＳ２において使用者がキー入力部３５を操作して録画開始指示を入力したとする。
【００５４】
そうすると携帯電話端末ＭＳ２の主制御部２１は、この録画開始操作を図７に示すようにステップ６ｂで検出する。録画開始操作を検出すると主制御部２１は、ステップ６ｃで以後受信される画像フレームを、図８に示すようにメイン記憶部２６に順次記憶させるための制御を開始すると共に、ステップ６ｄで以後の一時記憶部２５への受信画像フレームの記憶を停止させる。したがって、一時記憶部２５には、上記録画開始操作が行われる直前の１マクロ周期分の受信画像フレームが保持される。
【００５５】
その後、使用者がキー入力部３５で録画終了操作を行うと、主制御部２１はこの録画終了操作をステップ６ｅで検出する。録画終了操作を検出すると主制御部２１は、ステップ６ｆでメイン記憶部２６への受信画像フレームの記憶を停止させたのち、ステップ６ｇに移行してここで上記一時記憶部２５に保持されている１マクロ周期分の画像フレームを、図８に示すようにメイン記憶部２６に転送して記憶させる。
【００５６】
一方、以上のようにメイン記憶部２６に記録された受信画像データを再生する場合には、図８に示すように先ず録画開始操作直前までに受信された１マクロ周期分の１３３個のＰフレームをメイン記憶部２５から読み出し、これらのＰフレームにより伝送されたＩ及びＰマクロブロックをもとに疑似Ｉフレームを再構築する。そして、この疑似Ｉフレームをマルチメディア処理部２４で復号伸張してＬＣＤ３４に表示させる。続いて、録画開始操作時点から録画終了操作時点までに受信された各Ｐフレームをメイン記憶部２５から順次読み出し、マルチメディア処理部２４でこれらのＰフレームを前記再構築した疑似Ｉフレームに順次加算して伸張した画像データを生成し、これらの画像データをＬＣＤ２６に順次表示させる。
【００５７】
したがって、画像データストリームの受信途中で録画開始操作が行われたとしても、この録画開始操作時点から高品質の画像データを再生することが可能となる。
【００５８】
なお、以上の説明では、一時記憶部２５に保持された１マクロ周期分のＰフレームをメイン記憶部２６に転送して記憶させる処理を、録画終了操作に応じて行う場合について述べた。しかし、上記一時記憶部２５からメイン記憶部２６へのＰフレームの転送記録は、通信終了後に行うようにしてもよい。
【００５９】
図９は、その制御手順を示すフローチャートである。同図において、主制御部２１はステップ６ｆによる記録動作の停止後、ステップ９ａで通信の終了を監視する。そして、通信が終了するとステップ９ｂに移行し、ここで一時記憶部２５に保持された１マクロ周期分のＰフレームをメイン記憶部２６に転送して記憶させる。
【００６０】
この様にすると、通信制御と、一時記憶部２５からメイン記憶部２６へのＰフレームデータの転送記録制御とを並行して行う必要がなくなるので、主制御部２１の負担を軽減できる。
【００６１】
次に、画像圧縮記録モードが設定されている場合の記録動作例をいくつか説明する。
待ち受け時、或いは録画開始操作に先立ち、使用者がキー入力部３５により画像圧縮記録モードを指定入力すると、主制御部２１は画像圧縮記録モードを設定し、以後この画像圧縮記録モードに従い画像データの記録を行う。
【００６２】
図１０は、この画像圧縮記録モードによる記録動作の第１の例を示すフローチャート、図１２はその動作内容を示すタイミング図である。なお、図１０において前記図９と同一部分には同一符号を付して説明を行う。
【００６３】
すなわち、通信中に録画開始操作が行われると、主制御部２１はステップ６ｃで以後受信される画像フレームをメイン記憶部２６に順次記憶させると共に、ステップ６ｄで一時記憶部２５への以降の受信画像フレームの記憶を停止させる。そして、上記メイン記憶部２６への受信画像フレームの記録を録画終了操作が検出されるまで行う。
【００６４】
さて、通信が終了すると、主制御部２１はステップ１０ａからステップ１０ｂに移行して、ここで一時記憶部２５から記録開始操作直前に受信された１マクロ周期分の画像フレームを読み出し、この１マクロ周期分のＰフレームにより伝送されたＩ及びＰマクロブロックをもとに疑似Ｉフレームを再構築する。そして、この疑似Ｉフレームをステップ１０ｃで図１２に示すようにメイン記録部２６に記録する。
【００６５】
なお、上記疑似Ｉフレームを再構築処理は次のように行われる。図１１はその手順と内容を示すフローチャートである。すなわち、主制御部２１は先ずステップ１１ａで一時記憶部２５からの読み出しアドレスを先頭の値にセットする。次に、ステップ１１ｂでフレームの先頭を検出するまで、ステップ１１ｃによる読み出しデータの破棄と、ステップ１１ｄによる読み出しアドレスのフォワーディングとを繰り返す。
【００６６】
そしてフレームの先頭が検出されると、主制御部２１はステップ１１ｅでこのフレームからマクロブロック（ＭＣＢ）を抽出し、ステップ１１ｆでこのマクロブロックが非圧縮データからなるマクロブロック（Ｉ−ＭＣＢ）であるか否かを判定する。この判定の結果、Ｉマクロブロックであればステップ１１ｇに移行してここで仮Ｉフレームに反映させる。これに対しＩ−ＭＣＢではなかった場合には、ステップ１１ｈで当該ＭＣＢに既にデータがあるか否かを判定し、データがあればこのデータをステップ１１ｉで仮Ｉフレームに反映させ、一方データがない場合にはステップ１１ｊでこのデータを破棄する。
【００６７】
そうして、１フレームに含まれるマクロブロックをＩフレームに反映させる処理を終了すると、主制御部２１はステップ１１ｋに移行してここで読み出しアドレスをフォワーディングする。そして、ステップ１１ｍで、Ｉフレームを再構築するために必要なすべてのマクロブロックのデータの抽出が終了したか否かを判定し、終了していなければステップ１１ｅに戻って、マクロブロックデータを仮Ｉフレームへ反映させる処理を繰り返す。
【００６８】
以上述べたように第１の動作例によれば、メイン記録部２６には、録画開始操作直前までに受信されかつ一時記憶部２５に保持されていた１マクロ周期分の１３３個のＰフレームをもとに再構築した疑似Ｉフレームが記憶されることになる。このため、１３３個のＰフレームをそのままメイン記録部２６に記録する場合に比べて記録情報量を減らすことができ、これによりメイン記憶部２６の記憶容量を節約して受信画像データの記録時間長を延ばすことができる。しかも、上記疑似Ｉフレームの再構築処理を通信終了後に行うようにしているので、主制御部２１の処理負荷の集中を防止して通信制御及び再構築処理を共に円滑に実行することができる。
【００６９】
次に、第２の動作例について説明する。図１３はその動作内容を説明するためのタイミング図である。
主制御部２１は、通信中に録画開始操作が行われた時点で、録画開始操作直前までに受信された１マクロ周期分の１３３個のＰフレームを一時記憶部２５から読み出し、これらのＰフレームにより伝送されたＩ及びＰマクロブロックをもとに疑似Ｉフレームを再構築する。この疑似Ｉフレームの再構築処理は図１１に示した手順により行われる。そして、この再構築した疑似Ｉフレームをメイン記憶部２６に記録する。また、それ以後受信される画像フレーム（Ｐフレーム）を録画終了操作が検出されるまでメイン記憶部２６に順次記憶する。
【００７０】
この第２の動作例は、主制御部２１が通信制御と疑似Ｉフレームの再構築処理とを並行して実行することになるため、主制御部２１に処理能力の高いものが必要となる。しかしその反面、１マクロ周期分のＰフレームを通信が終了するまで一時記憶部２５に保持させる必要がなくなるので、録画中に一時記憶部２５を別のデータを記憶するために使用することが可能となり、これによりメモリの有効利用を図ることができる。
【００７１】
次に、第３の動作例を説明する。図１４はその動作内容を説明するためのタイミング図である。
主制御部２１は、通信中に録画開始操作が行われた時点で、録画開始操作直前までに受信された１マクロ周期分の１３３個のＰフレームを一時記憶部２５から読み出し、これらのＰフレームをメイン記憶部２６に転送して記憶させる。そして、以後受信される画像フレームを録画終了操作が検出されるまでメイン記憶部２６に順次記憶させる。
【００７２】
そして、通信が終了すると、主制御部２１はメイン記憶部２６から記録開始操作直前に受信された１マクロ周期分の画像フレームを読み出し、この１マクロ周期分のＰフレームにより伝送されたＩ及びＰマクロブロックをもとに疑似Ｉフレームを再構築する。この疑似Ｉフレームの再構築処理は図１１に示した手順により行われる。そして、この再構築した疑似Ｉフレームをメイン記憶部２６に記録し、それまで記憶されていた１マクロ周期分のＰフレームをメモリ億部２６から削除する。すなわち、それまで記憶されていた１マクロ周期分のＰフレームに代わって疑似Ｉフレームをメイン記憶部２６に記録し直す。
【００７３】
この第３の動作例によれば、１マクロ周期分のＰフレームを通信が終了するまで一時記憶部２５に保持させる必要をなくすと共に、メイン記憶部２６には最終的に疑似Ｉフレームのみを記録することができ、これによりメモリの有効利用をさらに進めることができる。
【００７４】
（第２の実施形態）
この発明の第２の実施形態は、符号化データ記録機能を備えた携帯電話端末において、ＭＰＥＧ−４規格を使用して無線テレビジョン電話通信を行っている最中に使用者が録画開始操作を行った場合に、これ以降受信される画像フレームを順次一時記憶部に蓄積する。そして、１マクロ周期分の画像フレームが記録された時点、もしくは通信終了後に、上記一時記憶部に蓄積された録画開始直後の１マクロ周期分の画像フレームをもとに疑似Ｉフレームを生成してこれを初期画像フレームとしてメイン記憶部に記憶し、以後受信される画像フレームを録画終了操作が行われるまでメイン記憶部に順次記憶するようにしたものである。
【００７５】
図１５は、この第２の実施形態に係わる符号化データ記録機能を備えた携帯電話端末の構成を示す機能ブロック図である。なお、同図において前記図４と同一部分には同一符号を付して詳しい説明は省略する。
【００７６】
一時記憶制御手段２１ｄは、通信中において、録画開始操作を検出した時点から受信画像フレーム（Ｐフレーム）を一時記憶部２５に記憶させるように制御する。
【００７７】
メイン記憶制御手段２１ｂは、上記一時記憶部２５に１マクロ周期分の受信画像フレーム（１３３個のＰフレーム）が蓄積された時点、または通信が終了した時点で、上記一時記憶部２５に蓄積された録画開始操作直後の１マクロ周期分の受信画像フレームを読み出し、これらの受信画像フレームにより伝送された９９個のマクロブロックをもとに疑似Ｉフレームを再構成し、この疑似Ｉフレームをメイン記憶部２６に初期画面フレームとして記憶させる。また、それ以後録画終了操作が行われるまでの間の受信画像フレームをそのままメイン記憶部２６に記憶させる。
【００７８】
この様な構成であるから、この第２の実施形態における画像記録動作は次のように行われる。図１６はその動作内容を説明するためのタイミング図である。
【００７９】
すなわち、通信中に録画開始操作が行われると、この時点以降受信される受信画像フレームが図１５に示すように一時記憶部２５に順次蓄積される。そして、一時記憶部２５に１マクロ周期分の受信画像データが蓄積された時点で、これらの受信画像フレームが読み出され、そのマクロブロックをもとに主制御部２１で疑似Ｉフレームが再構成され、この疑似Ｉフレームが図１５に示すようにメイン記憶部２６に記憶される。そして、以後録画終了操作が検出されるまで、受信画像フレーム（Ｐフレーム）が一時記憶部２５介してメイン記憶部２６に順次記憶される。
【００８０】
したがって、メイン記憶部２６には疑似Ｉフレームが再構成されるまでは受信画像フレームは記録されない。このため、再生時の冒頭にＰフレームのみをもとに復号した低品質の画像が再生されることを避けることができ、これにより再生当初から常に高品質の画像を再生することが可能となる。
【００８１】
なお、この第２の実施形態における動作例では、通信中に一時記憶部２５に１マクロ周期分の受信画像フレームが蓄積された時点で、これらの受信画像フレームをもとに疑似Ｉフレームを推測してメイン記憶部２６に記録するようにしたが、通信終了後に疑似Ｉフレームを推測してメイン記憶部２６に記録するようにしてもよい。
【００８２】
（その他の実施形態）
画像データの符号化圧縮／伸張方式についてはＭＰＥＧ−４以外にH.263等のその他の方式を採用してもよく、また伝送データの種類についても動画像データ以外に静止画データやその他のデータであってもよい。
【００８３】
さらに、前記各実施形態では、携帯電話端末ＭＳ１，ＭＳ２間で無線テレビジョン電話通信を行う場合を例にとって説明した。しかし、それに限らず例えば携帯電話端末又はそれに代わる携帯情報端末を網ＮＷを介してインターネット上のＷＷＷサーバ等に接続し、このサーバからホームページの情報等をダウンロードするような場合にもこの発明を適用できる。
【００８４】
また前記各実施形態では、移動通信システムを例にとって説明したが、この発明は無線ＬＡＮやＢＴ（Bluetooth）に代表される近距離無線データ通信方式を使用する機器間無線伝送システム等にも適用することができ、さらには有線伝送システムに適用してもよい。
【００８５】
さらに、前記実施形態では一時保存したデータの中にＩフレーム情報が含まれていない場合を例にとって説明したが、Ｉフレームデータが含まれている場合にも有効であることは云うまでもない。
【００８６】
その他、端末装置の種類やその構成、疑似Ｉフレームの再構築処理手段の手順と内容などについても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００８７】
【発明の効果】
以上詳述したように第１の発明では、データストリームの受信中に少なくとも最新の上記所定期間分の受信フレームをデータ保持手段に一時保持するようにし、上記データストリームの受信中に当該データストリームの記録指示が入力された場合に、この記録指示が入力された時点で上記データ保持手段に一時保持されている受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを記録媒体に記録するようにしている。
或いは、データ保持手段に保持されているデータストリームを記録媒体に記録する際に、記録指示が入力された時点でデータ保持手段に一時保持されている受信フレームを記録媒体に仮記録し、その後の所定のタイミング、例えば通信終了後のように符号化データ記録装置の主要動作が終了した後に、上記記録媒体に仮記録した受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを記録媒体に記録し直すようにしている。
【００８８】
また第２の発明では、データストリームの受信中に当該データストリームの記録指示が入力された場合に、この記録指示が入力された時点以降に受信した少なくとも上記所定期間分の受信フレームを保持又は仮記録し、この保持又は仮記録された上記所定期間分の受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを上記記録媒体に記録するようにしている。
【００８９】
したがって第１及び第２の発明によれば、一時保持又は仮記録された所定期間分の受信情報に含まれる１画面分のマクロブロックを利用することで、データ受信途中で記録を開始する場合でも、記録指示の入力直後から高品質のデータを記録することが可能な符号化データ記録装置を提供することができる。
【００９０】
一方第３の発明では、データストリームの受信中に当該データストリームの記録指示が入力された場合に、この記録指示が入力された時点以降に受信される所定期間分の受信フレームの自立情報及び差分情報をもとに、上記記録指示の入力時点から上記所定期間が経過した後のフレームデータを再構築するデータ再構築手段と、データ記録制御手段とを備える。そして、上記記録指示入力時点から上記データ再構築手段によりフレームデータが再構築されるまでの間は記録待機期間とし、この記録待機期間経過後に上記再構築フレームデータ及びその後受信される受信フレームを記録媒体に記録するようにしている。
【００９１】
したがって第３の発明によれば、データ受信途中で記録を開始する場合に、品質の劣化したデータを記録しないようにして高品質のデータのみを記録再生することが可能な符号化データ記録装置を提供することができる。
【図面の簡単な説明】
【図１】 この発明に係わる符号データ記録装置が使用されるデータ伝送システムの一つである移動通信システムの概略構成を示す図。
【図２】 ＭＰＥＧ−４によるマルチメディア伝送システムのレイヤ構造を示す図。
【図３】 この発明の第１の実施形態に係わる符号データ記録機能を備えた携帯電話端末の外観を示す図。
【図４】 図３に示す携帯電話端末の回路構成を示す機能ブロック図。
【図５】 ＭＰＥＧ−４を使用した画像データ圧縮伝送方式の動作を模式的に示す図。
【図６】 マクロブロックの伝送動作の一例を示す図。
【図７】 図４に示す携帯電話端末において受信画像フレームを圧縮せずに記録する場合の制御手順とその内容を示すフローチャート。
【図８】 図７に示す記録動作の動作内容を説明するために使用するタイミング図。
【図９】 図４に示す携帯電話端末において受信画像フレームを通信終了後に圧縮せずに記録する場合の制御手順とその内容を示すフローチャート。
【図１０】 図４に示す携帯電話端末において受信画像データを圧縮記録する場合の第１の動作例を示すフローチャート。
【図１１】 疑似Ｉフレームの再構築処理手順及びその内容を示すフローチャート。
【図１２】 図１０に示した画像圧縮記録動作の動作内容を説明するために使用するタイミング図。
【図１３】 図４に示した携帯電話端末において受信画像データを圧縮記録する場合の第２の動作例を示すタイミング図。
【図１４】 図４に示した携帯電話端末において受信画像データを圧縮記録する場合の第３の動作例を示すタイミング図。
【図１５】 この発明の第２の実施形態に係わる符号データ記録機能を備えた携帯電話端末の回路構成を示す機能ブロック図。
【図１６】 図１５に示す携帯電話端末における画像記録動作を説明するために使用するタイミング図。
【符号の説明】
ＮＷ…網
ＢＳ１，ＢＳ２…基地局
ＭＳ１，ＭＳ２…携帯電話端末
１…無線部
２Ａ，２Ｂ…ベースバンド部
３…入出力部
４…電源部
１１…アンテナ
１２…アンテナ共用器（ＤＰＸ）
１３…受信回路（ＲＸ）
１４…周波数シンセサイザ（ＳＹＮ）
１５…送信回路（ＴＸ）
２１…携帯電話機の主制御部
２１ａ，２１ｄ…一時記憶制御手段
２１ｂ，２１ｅ…メイン記憶制御手段
２１ｃ…データフレーム再構築処理手段
２２…多重分離部
２３…音声コーデック
２４…マルチメディア処理部
２５…一時記憶部
２６…メイン記憶部
３１…マイクロホン
３２…スピーカ
３３…カメラ
３４…液晶表示器（ＬＣＤ）
３５…キー入力部
３６…照明器
４１…バッテリ
４２…充電回路（ＣＨＧ）
４３…電圧生成回路（ＰＳ）
【発明の属する技術分野】
この発明は、例えばＭＰＥＧ−４（Moving Picture Experts Group-4）を採用したデータ伝送システムのように、時間軸上で相関を有するフレームデータ群を自立情報と従属情報とにより表し、所定期間ごとに自立情報を少なくとも１つのフレームに挿入して伝送するようにしたシステムで使用される符号化データ記録装置に関する。
【０００２】
【従来の技術】
近年、携帯電話装置や携帯情報端末では、音声通信サービスのみならず、ＳＭＳ（Short Message Service）や電子メールサービス、無線インターネットを利用した情報配信サービス等の種々伝送サービスを使用できるようになってきている。しかしこの種のシステムにおいて、動画像データのような情報量の大きいデータを伝送しようとすると、伝送路帯域がネックとなりそのままでは伝送することができない。
【０００３】
そこで、動画像データを無線伝送する場合には動画像の圧縮／伸張処理が必要となり、その実現手段の一つとしてＭＰＥＧ−４と呼ばれる画像圧縮／伸張方式の採用が検討されている。ＭＰＥＧ−４は、動画像データのように時間軸上で関連性を有するデータを、静止画として圧縮した１画面の全画像情報要素を含み画像データとして独立して意味をなす自立情報としての画像フレーム（以後Ｉフレームと称する）と、１フレーム前の画像データとの差分情報からなるフレーム（以後Ｐフレームと称する）とで表す。そして、伝送開始後の最初のフレームタイミングではＩフレームを送信し、以後の各フレームタイミングではＰフレームを順次送信するようにしたもので、これにより例えば数Mbps 相当の情報量を持つ動画像データを数十Kbps に圧縮して伝送することを可能としている。
【０００４】
ところが、この様に初期フレームのみ絶対値情報を伝送し以後の各フレームでは前フレームとの差分情報を伝送するシステムでは、受信側の装置において例えば使用者がデータ受信途中で録画ボタンを押したとすると、差分情報（Ｐフレーム）しか記録することができず、この結果録画した画像データからは有効な画像再生を行うことができない。
【０００５】
そこでＭＰＥＧ−４では、各Ｐフレームの画面を多数のブロックに分割し、各Ｐフレームごとに任意のブロックのみ前フレームとの差分ではなく単独で圧縮した絶対値情報からなるデータを伝送するという工夫がなされている。上記絶対値情報からなるデータが挿入されるブロックはＩマクロブロックと呼ばれ、送信側は１画面を再構成するに必要なすべてのＩマクロブロックを複数のＰフレームに分散して周期的に送信する。一方Ｐフレームデータのうち前フレームとの差分データとして圧縮されるものはＰマクロブロックと呼ばれる。上記１画面分のＩマクロブロックを送信する周期を仮にマクロ周期と呼称する。したがって受信側は、少なくとも１マクロ周期分のＰフレームを受信することで、これらのＰフレームにより伝送された複数のマクロブロックをもとに非圧縮の１画面データを再構成することができる。
【０００６】
この様な方式であれば、受信側の装置においてデータストリームの受信途中で録画ボタンが押された場合でも、１マクロ周期分のＰフレームを受信することで、その中に含まれるＩ及びＰマクロブロックをもとに完全な１画面データを再生し記録することが可能となる。
【０００７】
【発明が解決しようとする課題】
しかしながらこの様な方式では、録画を開始してから１マクロ周期分のＰフレームを受信するまでの例えば約１０秒間は、完全な１画面データを再構成することができない。このため、録画開始直後の約１０秒間においては記録画像の品質が保証されず、使用者は品質が著しく劣化した記録画像を見せられることになり非常に好ましくなかった。
【０００８】
この発明は上記事情に着目してなされたもので、その第１の目的は、データ受信途中で記録を開始した場合でも、記録指示の入力直後から高品質のデータを記録できるようにした符号化データ記録装置を提供することである。
【０００９】
第２の目的は、データ受信途中で記録を開始した場合には、品質の劣化したデータを記録しないようにして高品質のデータのみを記録再生できるようにした符号化データ記録装置を提供することである。
【００１０】
【課題を解決するための手段】
上記第１の目的を達成するために第１の発明は、データストリーム上の各フレームデータをそれぞれ複数のマクロブロックに分割して、これらのマクロブロックごとにそのデータをデータ群として独立して意味をなす自立情報又は主として元のデータとの差分で構成される従属情報により表し、所定期間ごとに、前記各マクロブロックとも自立情報を少なくとも１つのフレームで伝送すると共にその他のフレームでは従属情報を伝送するようにしたデータ伝送システムで使用される符号化データ記録装置において、
データストリームの受信中に少なくとも最新の上記所定期間分の受信フレームをデータ保持手段に一時保持するようにし、上記データストリームの受信中に当該データストリームの記録指示が入力された場合に、この記録指示が入力された時点で上記データ保持手段に一時保持されている受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを記録媒体に記録するようにしたものである。
【００１１】
したがってこの発明によれば、データストリームの受信中には常に少なくとも最新の所定期間分の受信データストリームがデータ保持手段に保持されるため、データストリームの受信途中で当該データストリームの記録指示が入力された場合でも、その直前に受信された所定期間分の受信データストリームを記録媒体に記録することが可能となる。このため、記録データの再生時には、上記所定期間分の受信データストリームに含まれる１画面分の自立情報、つまりマクロブロックをもとに、記録指示入力時点から高品質のフレームデータを再生することが可能となる。
【００１３】
しかも、この様に構成すると、記録データの再生時にはフレームデータの再構築処理を行う必要がなくなって再生時の処理負荷が軽減され、これにより再生ボタンを押してから実際に再生データが出力されるまでの時間を短縮して、データ再生を応答性よく開始することができる。
【００１４】
またこの発明は、データ保持手段に保持されているデータストリームを記録媒体に記録する際に、記録指示が入力された時点でデータ保持手段に一時保持されている受信フレームを記録媒体に仮記録し、その後の所定のタイミング、例えば通信終了後のように符号化データ記録装置の主要動作が終了した後に、上記記録媒体に仮記録した受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを記録媒体に記録し直すものである。
【００１５】
この様にすると、フレームデータの再構築処理を、データ受信期間又は記録期間を避けて実行することが可能となり、これによりデータ受信中又は記録中に処理負荷が集中しないようにして、ＣＰＵ又はＤＳＰの負担を軽減することができる。
【００１６】
またその際、符号化データ記録装置が、バッテリの出力により動作する第１のモードと、商用電源の出力をもとに動作する第２のモードとを備えている場合には、上記フレームデータの再構築処理を上記第２のモードが設定されている状態で行うようにするとよい。
この様にすると、消費電力の大きなフレームデータ再構築処理を、商用電源出力のもとで安定に実行することができる。
【００１７】
また、上記第１の目的を達成するために第２の発明は、データストリームの受信中に当該データストリームの記録指示が入力された場合に、この記録指示が入力された時点以降に受信した少なくとも所定期間分の受信フレームを保持又は仮記録し、この保持又は仮記録された上記所定期間分の受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを上記記録媒体に記録するようにしたものである。
【００１８】
したがってこの発明によれば、データ受信途中で記録指示が入力されると、この時点以降の所定期間分の受信フレームが保持又は仮記録され、この保持又は仮記録された所定期間分の受信情報に含まれる１画面分の自立情報及び従属情報、つまりＩ及びＰマクロブロックをもとに、上記記録指示入力時点でのフレームデータが再構築されて記録されることになる。したがって、この場合にも前記第１の発明と同様に、記録指示入力時点から高品質のフレームデータを再生することが可能となる。
【００１９】
一方、前記第２の目的を達成するために第３の発明は、データストリームの受信中に当該データストリームの記録指示が入力された場合に、この記録指示が入力された時点以降に受信される所定期間分の受信フレームの自立情報及び従属情報をもとに、上記記録指示の入力時点から上記所定期間が経過した後のフレームデータを再構築するデータ再構築手段と、データ記録制御手段とを備える。そして、上記記録指示入力時点から上記データ再構築手段によりフレームデータが再構築されるまでの間は記録待機期間とし、この記録待機期間経過後に上記再構築フレームデータ及びその後受信される受信フレームを記録媒体に記録するようにしたものである。
【００２０】
したがってこの発明によれば、記録指示が入力された時点から所定期間内は記録待機状態に設定されるため受信データの記録は行われず、記録媒体には再構築したフレームデータから記録が開始される。このため、再生時には冒頭から高品質のデータを再生することが可能となる。ちなみに、記録指示の入力時点からそのまま受信データの記録を行うと、再生開始直後では再構築前の品質が著しく劣化したデータが再生されることになり、使用者に違和感を与え非常に好ましくない。
【００２１】
なお、この発明では記録指示入力時点から所定期間内の受信データについては記録されないと云う課題が残るが、これについては先に述べた第１又は第２の発明により解決できる。
【００２２】
【発明の実施の形態】
以下、図面を参照してこの発明に係わる符号化データ記録装置の実施形態を説明する。
【００２３】
（第１の実施形態）
この発明の第１の実施形態は、符号化データ記録機能を備えた携帯電話端末において、ＭＰＥＧ−４規格を使用して無線テレビジョン電話通信を行っている最中に、その受信画像フレームを一時記憶部に入力して、常に最新の１マクロ周期分の受信画像フレームを保持させる。そして、この状態で使用者が録画開始操作を行った場合に、上記一時記憶部に保持されている録画開始操作直前の１マクロ周期分の受信フレームと、上記録画開始操作後に受信される画像フレームとを、メイン記録部にそれぞれ転送して記録する。
また、画像圧縮記録モードが設定されている場合には、一時記憶部に保持されている１マクロ周期分の画像フレームのマクロブロックをもとに疑似Ｉフレームを再構築し、この疑似Ｉフレームをメイン記憶部に記録するようにしたものである。
【００２４】
図１は、この発明に係わる符号データ記録装置が使用されるデータ伝送システムの一つである移動通信システムの概略構成図である。同図において、移動通信システムがカバーするサービスエリアには複数の基地局ＢＳ１，ＢＳ２，…が分散して設置してあり、これらの基地局ＢＳ１，ＢＳ２，…は網ＮＷにそれぞれ接続されている。携帯電話端末ＭＳ１，ＭＳ２，…はそれぞれ、無線チャネルを介して最寄りの基地局ＢＳ１，ＢＳ２に接続され、これらの基地局ＢＳ１，ＢＳ２からさらに網ＮＷに接続される。網ＮＷでは、携帯電話端末ＭＳ１，ＭＳ２，…の発呼要求に応じて、該当する携帯電話端末ＭＳ１，ＭＳ２間を交換接続するための処理が行われる。そして、この交換接続処理により通信リンクが確立すると、以後携帯電話端末ＭＳ１，ＭＳ２間では無線テレビジョン電話通信が可能となる。
【００２５】
なお、上記無線チャネルのアクセス方式としては、例えばＷ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式が使用されるが、他にもＦＤＭＡ（Frequency Division Multiple Access）方式やＴＤＭＡ（Time Division Multiple Access）方式、さらには狭帯域のＣＤＭＡ方式を採用することも可能である。
【００２６】
図２は、上記移動通信システムにおいて、携帯電話端末ＭＳ１，ＭＳ２が相互に動画像データ、音声データ及びコンピュータ・データを多重化伝送することにより、無線テレビジョン電話通信を行う際の仕組みを示す図である。
【００２７】
携帯電話端末ＭＳ１，ＭＳ２は物理レイヤ（具体的には移動交換網ＮＷ）により相互に接続され、ＭＵＸ−ＰＤＵと呼ばれるパケット単位でデータ伝送を行う。ＭＵＸ−ＰＤＵは、図示するごとく先頭にフラグとヘッダとを配置し、その後ろに画像データ、音声データ及びコンピュータ・データを交互に配置したものである。ヘッダにはＭＵＸ−ＰＤＵの内容を表す情報が挿入される。
【００２８】
物理レイヤの上位にはＡＬ／ＭＵＸレイヤ（具体的には多重分離部）が配置され、このＡＬ／ＭＵＸレイヤにおいて上記ＭＵＸ−ＰＤＵが生成される。また、ＡＬ／ＭＵＸレイヤの上位には高位レイヤが配置され、ここでビデオチャネル、オーディオチャネル及び制御・データチャネルの接続が行われる。高位レイヤは、後述するマルチメディア処理部、音声コーデック及びデータ通信部により実現される。
【００２９】
動画像データは束ねられてビデオチャネルにより伝送されるが、このビデオチャネルにはＭＰＥＧ−４ストリームが埋め込まれている。このＭＰＥＧ−４ストリームでは、後述する図６に示すように１画面の全ての画素を含むＩフレーム（初期フレーム）が先ず送られ、以後各フレームタイミングごとに前フレームとの差分情報からなるＰフレームが順次送られる。
【００３０】
さて、上記各携帯電話端末ＭＳ１，ＭＳ２，…は次のように構成される。図３はその外観を示すもので、（ａ）は正面図、（ｂ）は側面図である。
この携帯電話端末ＭＳ１，ＭＳ２は、無線テレビジョン電話通信機能を有するもので、その筐体前面パネルには送話器としてのマイクロホン３１、受話器としてのスピーカ３２、液晶表示器（ＬＣＤ）３４及びキー入力部３５がそれぞれ配設されている。また筐体上部には、伸縮可能なアンテナ１１と、カメラ３３が取着されている。このカメラ３３は、ＣＭＯＳ又はＣＣＤ等の固体撮像素子を採用したもので、静止画像又は動画像を撮像可能である。さらに筐体背面部には、電源部用の装着部が設けられており、この装着部にはバッテリパックを構成する電源部４が着脱自在に装着される。
【００３１】
次に、携帯電話端末ＭＳ１，ＭＳ２，…の回路は次のように構成される。図４はその機能構成を示すブロック図であり、無線部１と、ベースバンド部２Ａと、入出力部３と、電源部４とから構成される。
【００３２】
すなわち、基地局ＢＳ１，ＢＳ２，…から移動通信システム用の無線チャネルを介して到来した無線周波信号は、アンテナ１１で受信されたのちアンテナ共用器（ＤＵＰ）１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、高周波増幅器、周波数変換器及び復調器を備える。そして、上記無線信号を低雑音増幅器で低雑音増幅したのち、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局部発振信号とミキシングして受信中間周波信号又は受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調する。復調方式としては、例えばＱＰＳＫ方式に対応した直交復調方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局部発振信号周波数は、ベースバンド部２Ａに設けられた主制御部２１から指示される。
【００３３】
上記復調器から出力された復調信号はベースバンド部２Ａに入力される。ベースバンド部２Ａは、主制御部２１と、多重分離部２２と、音声符号復号部（以後音声コーデックと呼称する）２３と、マルチメディア処理部２４と、一時記憶部２５と、メイン記録部２６とを備えている。
【００３４】
このうち一時記憶部２５は、例えばリングバッファ又はＦＩＦＯ（First-in First-out）メモリからなり、主制御部２１の指示に従い、多重分離部２２から出力された画像データを一時保持する。メイン記憶部２６は、例えばＲＡＭやＥＥＰＲＯＭからなり、主制御部２１の指示に従い、上記一時記憶部２５に一時保持されている画像データ及び上記多重分離部２２から出力された画像データを記録する。なお、このメイン記憶部２６には、携帯電話端末ＭＳ２に対し着脱可能な可搬性を有するフラッシュメモリ等を使用することも可能である。
【００３５】
上記復調信号は、主制御部２１において制御情報であるかマルチメディア情報であるかが識別され、マルチメディア情報であれば多重分離部２２に供給されてここで音声データと画像データとに分離される。そして、音声データは音声コーデック２３に供給されてここで音声復号され、これにより再生された音声信号は入出力部３のスピーカ３２から拡声出力される。これに対し画像データは、マルチメディア処理部２４に供給されてここで画像復号処理され、これにより再生された画像信号は図示しないＬＣＤ制御部を介して入出力部３のＬＣＤ３４に供給され表示される。
【００３６】
また、上記受信音声データ及び受信画像データは、キー入力部３５から録画指示が入力された場合に、主制御部２１の制御に従い一時記憶部２５を介してメイン記憶部２６に記録される。またＬＣＤ３４には、主制御部２１から出力された自装置の動作状態を表す種々情報、例えば電話帳や受信電界強度検出値、バッテリの残量なども表示される。
【００３７】
一方、入出力部３のマイクロホン３１から出力された端末使用者の送話音声信号は、ベースバンド部２Ａの音声コーデック２３に入力され、ここで音声符号化されたのち多重分離部２２に入力される。またカメラ（ＣＡＭ）３３から出力された画像信号は、ベースバンド部２Ａのマルチメディア処理部２４に入力され、ここで画像符号化処理が施されたのち上記多重分離部２２に入力される。多重分離部２２では、上記符号化された音声データと画像データとがH.223等で規定される所定のフォーマットにより多重化され、この多重化された送信データは主制御部２１から無線部１の送信回路（ＴＸ）１５に入力される。
【００３８】
送信回路１５は、変調器、周波数変換器及び送信電力増幅器を備える。上記送信データは、変調器でディジタル変調されたのち、周波数変換器により周波数シンセサイザ１４から発生された送信局部発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としては、ＱＰＳＫ方式が用いられる。そして、この生成された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅されたのち、アンテナ共用器１２を介してアンテナ１１に供給され、このアンテナ１１から図示しない基地局に向け送信される。
【００３９】
なお、電源部４には、リチウムイオン電池等のバッテリ４１と、このバッテリ４１を充電するための充電回路４２と、電圧生成回路（ＰＳ）４３とが設けられている。電圧生成回路４３は、例えばＤＣ／ＤＣコンバータからなり、バッテリ４１の出力電圧をもとに所定の電源電圧Ｖccを生成する。
【００４０】
また入出力部３には、操作時及び通信時にＬＣＤ３４及びキー入力部３５を照明するための照明器３６が設けられている。この照明器３６は、例えばバックライト又はイルミネーションと呼ばれる。
【００４１】
ところで主制御部２１は、マイクロプロセッサと、ＲＯＭ及びＲＡＭなどからなる内部メモリとを備えたもので、無線チャネルの接続制御や通信リンク確立後の通信制御等、通常の制御機能に加えて、この発明に係わる制御機能として、一時記憶制御手段２１ａと、メイン記憶制御手段２１ｂと、データフレーム再構築処理手段２１ｃとを備えている。
【００４２】
一時記憶制御手段２１ａは、無線テレビジョン電話通信中に、無線部１で受信された後多重分離部２２で分離された画像データストリームを一時記憶部２５に入力し、この画像データストリームのうち常に最新の１マクロ周期分を保持させる。
【００４３】
メイン記憶制御手段２１ｂは、上記無線テレビジョン電話通信中に、キー入力部３５において録画操作が行われた場合に、この時点で上記一時記憶部２５に保持されている最新の１マクロ周期分の画像データをメイン記録部２６に転送し記憶させると共に、その後受信された画像データを多重分離部２２から上記メイン記憶部２６に入力して記憶させる。
【００４４】
データフレーム再構築処理手段２１ｃは、上記メイン記憶部２６に記録されたＰフレームをもとに表示画像を復号再生する際に、録画開始直前に受信された１マクロ周期分のＰフレームのマクロブロックをもとに上記録画開始操作時点におけるＩフレームを再構築する。
【００４５】
また、画像データの圧縮記録モードが設定されている場合には、上記一時記憶部２５に保持されている１マクロ周期分の画像データの各マクロブロックをもとに、上記録画開始操作が行われた時点でのＩフレームを再構築し、この疑似Ｉフレームをメイン記録部２６に記憶させる。なお、上記疑似Ｉフレームの再構築処理は、上記録画操作がなされた時点で行うことも、また通信終了後に行うことも可能である。
【００４６】
次に、以上のように構成された携帯電話端末ＭＳ１，ＭＳ２，…の受信画像記録動作を説明する。
いま仮に、図１に示す携帯電話端末ＭＳ１と携帯電話端末ＭＳ２とがＭＰＥＧ−４を用いた無線テレビジョン電話通信を開始したとする。そうすると、送信側の携帯電話端末ＭＳ１は、カメラ３３により撮像して得た画像データをもとに先ず初期基準画面情報であるＩフレームを作成し、このＩフレームを最初のフレームタイミングで送信する。そして第２フレーム以降の各フレームタイミングではそれぞれ、１フレーム前の画像データとの差分情報（Ｐフレーム）をそれぞれ作成し、この差分情報をＰフレームとして順次送信する。
【００４７】
これに対し通信相手の携帯電話端末ＭＳ２は、先ず携帯電話端末ＭＳ１から伝送されたＩフレームを受信し、このＩフレームをもとにマルチメディア処理部２４で完全な１画面データを復号再生してこの１画面データをＬＣＤ３４に表示する。そして、それ以後は携帯電話端末ＭＳ１から伝送されたＰフレームを順次受信し、これらのＰフレームをそれぞれその１フレーム前に復号再生した画像データに加算することでそれぞれ１画面データを復号再生し、これらの１画面データをＬＣＤ３４に表示する。
【００４８】
図５は、上記ＭＰＥＧ−４を使用した画像データ圧縮伝送方式の動作例を模式的に示したものである。同図において、いま例えば送信側の携帯電話端末ＭＳ１においてＶ１，Ｖ２，Ｖ３，…に示す画像データがカメラ３３により順次得られたとする。そうすると送信側の携帯電話端末ＭＳ１は、先ず上記画像データＶ１を静止画として圧縮してＩフレームとして送信する。これに対し受信側の携帯電話端末ＭＳ２は、上記Ｉフレームをもとに１画面データＶ１′を復号再生してこれをＬＣＤ３４に表示する。
【００４９】
次に送信側の携帯電話端末ＭＳ１は、上記画像データＶ２，Ｖ３，…が得られるごとに、これらの画像データＶ２，Ｖ３，…とその１フレーム前の画像データＶ１，Ｖ２，…との間の差分を検出し、この差分情報をそれぞれＰフレームとして送信する。これに対し受信側の携帯電話端末ＭＳ２は、上記Ｐフレームを受信するごとにそれぞれ、そのデータを１フレーム前に復号再生した画像データＶ１′，Ｖ２′，…に加算して画像データを復号再生し、これらの再生画像データをＬＣＤ３４に表示する。
【００５０】
またＭＰＥＧ−４では、上記各Ｐフレームにそれぞれマクロブロックが設定され、このマクロブロックにおいては絶対値情報として符号化されるＩマクロブロックと、差分情報として符号化されるＰマクロブロックとがある。マクロブロックのサイズは、例えば１画面データのサイズが横１７６画素×縦１４４画素の場合、縦横共に１６画素に設定される。すなわち、この場合１画面を構成するために必要なマクロブロックの数は９９個となる。なお、図５では簡単のため１画面のマクロブロック数が３０の場合を例示している。
【００５１】
図６は、上記マクロブロックの伝送例を示すものである。同図に示すように、１画面を再構成するために必要な９９個のマクロブロックＭＢ１，ＭＢ２，…，ＭＢ９９は、１マクロ周期を構成する１３３個のＰフレーム（ただし図６では初期フレームＦ１としてＩフレームを伝送しているため、１マクロ周期のＰフレーム数は第２フレームＦ２以降の１３２フレームとなる）のうち、任意の９９個のＰフレームに分散配置されて伝送される。
【００５２】
なお、１画面を再構成するために必要な９９個のＩマクロブロックＭＢ１，ＭＢ２，…，ＭＢ９９を、１３３個のＰフレームのうちのどのフレームのどの位置に設定するかについては、動き検出などを行い動的に決定する。もちろん、予め決めた順に従い決定してもかまわない。
【００５３】
さて、以上のような無線テレビジョン電話通信を行っている状態で、いま例えば携帯電話端末ＭＳ２において使用者がキー入力部３５を操作して録画開始指示を入力したとする。
【００５４】
そうすると携帯電話端末ＭＳ２の主制御部２１は、この録画開始操作を図７に示すようにステップ６ｂで検出する。録画開始操作を検出すると主制御部２１は、ステップ６ｃで以後受信される画像フレームを、図８に示すようにメイン記憶部２６に順次記憶させるための制御を開始すると共に、ステップ６ｄで以後の一時記憶部２５への受信画像フレームの記憶を停止させる。したがって、一時記憶部２５には、上記録画開始操作が行われる直前の１マクロ周期分の受信画像フレームが保持される。
【００５５】
その後、使用者がキー入力部３５で録画終了操作を行うと、主制御部２１はこの録画終了操作をステップ６ｅで検出する。録画終了操作を検出すると主制御部２１は、ステップ６ｆでメイン記憶部２６への受信画像フレームの記憶を停止させたのち、ステップ６ｇに移行してここで上記一時記憶部２５に保持されている１マクロ周期分の画像フレームを、図８に示すようにメイン記憶部２６に転送して記憶させる。
【００５６】
一方、以上のようにメイン記憶部２６に記録された受信画像データを再生する場合には、図８に示すように先ず録画開始操作直前までに受信された１マクロ周期分の１３３個のＰフレームをメイン記憶部２５から読み出し、これらのＰフレームにより伝送されたＩ及びＰマクロブロックをもとに疑似Ｉフレームを再構築する。そして、この疑似Ｉフレームをマルチメディア処理部２４で復号伸張してＬＣＤ３４に表示させる。続いて、録画開始操作時点から録画終了操作時点までに受信された各Ｐフレームをメイン記憶部２５から順次読み出し、マルチメディア処理部２４でこれらのＰフレームを前記再構築した疑似Ｉフレームに順次加算して伸張した画像データを生成し、これらの画像データをＬＣＤ２６に順次表示させる。
【００５７】
したがって、画像データストリームの受信途中で録画開始操作が行われたとしても、この録画開始操作時点から高品質の画像データを再生することが可能となる。
【００５８】
なお、以上の説明では、一時記憶部２５に保持された１マクロ周期分のＰフレームをメイン記憶部２６に転送して記憶させる処理を、録画終了操作に応じて行う場合について述べた。しかし、上記一時記憶部２５からメイン記憶部２６へのＰフレームの転送記録は、通信終了後に行うようにしてもよい。
【００５９】
図９は、その制御手順を示すフローチャートである。同図において、主制御部２１はステップ６ｆによる記録動作の停止後、ステップ９ａで通信の終了を監視する。そして、通信が終了するとステップ９ｂに移行し、ここで一時記憶部２５に保持された１マクロ周期分のＰフレームをメイン記憶部２６に転送して記憶させる。
【００６０】
この様にすると、通信制御と、一時記憶部２５からメイン記憶部２６へのＰフレームデータの転送記録制御とを並行して行う必要がなくなるので、主制御部２１の負担を軽減できる。
【００６１】
次に、画像圧縮記録モードが設定されている場合の記録動作例をいくつか説明する。
待ち受け時、或いは録画開始操作に先立ち、使用者がキー入力部３５により画像圧縮記録モードを指定入力すると、主制御部２１は画像圧縮記録モードを設定し、以後この画像圧縮記録モードに従い画像データの記録を行う。
【００６２】
図１０は、この画像圧縮記録モードによる記録動作の第１の例を示すフローチャート、図１２はその動作内容を示すタイミング図である。なお、図１０において前記図９と同一部分には同一符号を付して説明を行う。
【００６３】
すなわち、通信中に録画開始操作が行われると、主制御部２１はステップ６ｃで以後受信される画像フレームをメイン記憶部２６に順次記憶させると共に、ステップ６ｄで一時記憶部２５への以降の受信画像フレームの記憶を停止させる。そして、上記メイン記憶部２６への受信画像フレームの記録を録画終了操作が検出されるまで行う。
【００６４】
さて、通信が終了すると、主制御部２１はステップ１０ａからステップ１０ｂに移行して、ここで一時記憶部２５から記録開始操作直前に受信された１マクロ周期分の画像フレームを読み出し、この１マクロ周期分のＰフレームにより伝送されたＩ及びＰマクロブロックをもとに疑似Ｉフレームを再構築する。そして、この疑似Ｉフレームをステップ１０ｃで図１２に示すようにメイン記録部２６に記録する。
【００６５】
なお、上記疑似Ｉフレームを再構築処理は次のように行われる。図１１はその手順と内容を示すフローチャートである。すなわち、主制御部２１は先ずステップ１１ａで一時記憶部２５からの読み出しアドレスを先頭の値にセットする。次に、ステップ１１ｂでフレームの先頭を検出するまで、ステップ１１ｃによる読み出しデータの破棄と、ステップ１１ｄによる読み出しアドレスのフォワーディングとを繰り返す。
【００６６】
そしてフレームの先頭が検出されると、主制御部２１はステップ１１ｅでこのフレームからマクロブロック（ＭＣＢ）を抽出し、ステップ１１ｆでこのマクロブロックが非圧縮データからなるマクロブロック（Ｉ−ＭＣＢ）であるか否かを判定する。この判定の結果、Ｉマクロブロックであればステップ１１ｇに移行してここで仮Ｉフレームに反映させる。これに対しＩ−ＭＣＢではなかった場合には、ステップ１１ｈで当該ＭＣＢに既にデータがあるか否かを判定し、データがあればこのデータをステップ１１ｉで仮Ｉフレームに反映させ、一方データがない場合にはステップ１１ｊでこのデータを破棄する。
【００６７】
そうして、１フレームに含まれるマクロブロックをＩフレームに反映させる処理を終了すると、主制御部２１はステップ１１ｋに移行してここで読み出しアドレスをフォワーディングする。そして、ステップ１１ｍで、Ｉフレームを再構築するために必要なすべてのマクロブロックのデータの抽出が終了したか否かを判定し、終了していなければステップ１１ｅに戻って、マクロブロックデータを仮Ｉフレームへ反映させる処理を繰り返す。
【００６８】
以上述べたように第１の動作例によれば、メイン記録部２６には、録画開始操作直前までに受信されかつ一時記憶部２５に保持されていた１マクロ周期分の１３３個のＰフレームをもとに再構築した疑似Ｉフレームが記憶されることになる。このため、１３３個のＰフレームをそのままメイン記録部２６に記録する場合に比べて記録情報量を減らすことができ、これによりメイン記憶部２６の記憶容量を節約して受信画像データの記録時間長を延ばすことができる。しかも、上記疑似Ｉフレームの再構築処理を通信終了後に行うようにしているので、主制御部２１の処理負荷の集中を防止して通信制御及び再構築処理を共に円滑に実行することができる。
【００６９】
次に、第２の動作例について説明する。図１３はその動作内容を説明するためのタイミング図である。
主制御部２１は、通信中に録画開始操作が行われた時点で、録画開始操作直前までに受信された１マクロ周期分の１３３個のＰフレームを一時記憶部２５から読み出し、これらのＰフレームにより伝送されたＩ及びＰマクロブロックをもとに疑似Ｉフレームを再構築する。この疑似Ｉフレームの再構築処理は図１１に示した手順により行われる。そして、この再構築した疑似Ｉフレームをメイン記憶部２６に記録する。また、それ以後受信される画像フレーム（Ｐフレーム）を録画終了操作が検出されるまでメイン記憶部２６に順次記憶する。
【００７０】
この第２の動作例は、主制御部２１が通信制御と疑似Ｉフレームの再構築処理とを並行して実行することになるため、主制御部２１に処理能力の高いものが必要となる。しかしその反面、１マクロ周期分のＰフレームを通信が終了するまで一時記憶部２５に保持させる必要がなくなるので、録画中に一時記憶部２５を別のデータを記憶するために使用することが可能となり、これによりメモリの有効利用を図ることができる。
【００７１】
次に、第３の動作例を説明する。図１４はその動作内容を説明するためのタイミング図である。
主制御部２１は、通信中に録画開始操作が行われた時点で、録画開始操作直前までに受信された１マクロ周期分の１３３個のＰフレームを一時記憶部２５から読み出し、これらのＰフレームをメイン記憶部２６に転送して記憶させる。そして、以後受信される画像フレームを録画終了操作が検出されるまでメイン記憶部２６に順次記憶させる。
【００７２】
そして、通信が終了すると、主制御部２１はメイン記憶部２６から記録開始操作直前に受信された１マクロ周期分の画像フレームを読み出し、この１マクロ周期分のＰフレームにより伝送されたＩ及びＰマクロブロックをもとに疑似Ｉフレームを再構築する。この疑似Ｉフレームの再構築処理は図１１に示した手順により行われる。そして、この再構築した疑似Ｉフレームをメイン記憶部２６に記録し、それまで記憶されていた１マクロ周期分のＰフレームをメモリ億部２６から削除する。すなわち、それまで記憶されていた１マクロ周期分のＰフレームに代わって疑似Ｉフレームをメイン記憶部２６に記録し直す。
【００７３】
この第３の動作例によれば、１マクロ周期分のＰフレームを通信が終了するまで一時記憶部２５に保持させる必要をなくすと共に、メイン記憶部２６には最終的に疑似Ｉフレームのみを記録することができ、これによりメモリの有効利用をさらに進めることができる。
【００７４】
（第２の実施形態）
この発明の第２の実施形態は、符号化データ記録機能を備えた携帯電話端末において、ＭＰＥＧ−４規格を使用して無線テレビジョン電話通信を行っている最中に使用者が録画開始操作を行った場合に、これ以降受信される画像フレームを順次一時記憶部に蓄積する。そして、１マクロ周期分の画像フレームが記録された時点、もしくは通信終了後に、上記一時記憶部に蓄積された録画開始直後の１マクロ周期分の画像フレームをもとに疑似Ｉフレームを生成してこれを初期画像フレームとしてメイン記憶部に記憶し、以後受信される画像フレームを録画終了操作が行われるまでメイン記憶部に順次記憶するようにしたものである。
【００７５】
図１５は、この第２の実施形態に係わる符号化データ記録機能を備えた携帯電話端末の構成を示す機能ブロック図である。なお、同図において前記図４と同一部分には同一符号を付して詳しい説明は省略する。
【００７６】
一時記憶制御手段２１ｄは、通信中において、録画開始操作を検出した時点から受信画像フレーム（Ｐフレーム）を一時記憶部２５に記憶させるように制御する。
【００７７】
メイン記憶制御手段２１ｂは、上記一時記憶部２５に１マクロ周期分の受信画像フレーム（１３３個のＰフレーム）が蓄積された時点、または通信が終了した時点で、上記一時記憶部２５に蓄積された録画開始操作直後の１マクロ周期分の受信画像フレームを読み出し、これらの受信画像フレームにより伝送された９９個のマクロブロックをもとに疑似Ｉフレームを再構成し、この疑似Ｉフレームをメイン記憶部２６に初期画面フレームとして記憶させる。また、それ以後録画終了操作が行われるまでの間の受信画像フレームをそのままメイン記憶部２６に記憶させる。
【００７８】
この様な構成であるから、この第２の実施形態における画像記録動作は次のように行われる。図１６はその動作内容を説明するためのタイミング図である。
【００７９】
すなわち、通信中に録画開始操作が行われると、この時点以降受信される受信画像フレームが図１５に示すように一時記憶部２５に順次蓄積される。そして、一時記憶部２５に１マクロ周期分の受信画像データが蓄積された時点で、これらの受信画像フレームが読み出され、そのマクロブロックをもとに主制御部２１で疑似Ｉフレームが再構成され、この疑似Ｉフレームが図１５に示すようにメイン記憶部２６に記憶される。そして、以後録画終了操作が検出されるまで、受信画像フレーム（Ｐフレーム）が一時記憶部２５介してメイン記憶部２６に順次記憶される。
【００８０】
したがって、メイン記憶部２６には疑似Ｉフレームが再構成されるまでは受信画像フレームは記録されない。このため、再生時の冒頭にＰフレームのみをもとに復号した低品質の画像が再生されることを避けることができ、これにより再生当初から常に高品質の画像を再生することが可能となる。
【００８１】
なお、この第２の実施形態における動作例では、通信中に一時記憶部２５に１マクロ周期分の受信画像フレームが蓄積された時点で、これらの受信画像フレームをもとに疑似Ｉフレームを推測してメイン記憶部２６に記録するようにしたが、通信終了後に疑似Ｉフレームを推測してメイン記憶部２６に記録するようにしてもよい。
【００８２】
（その他の実施形態）
画像データの符号化圧縮／伸張方式についてはＭＰＥＧ−４以外にH.263等のその他の方式を採用してもよく、また伝送データの種類についても動画像データ以外に静止画データやその他のデータであってもよい。
【００８３】
さらに、前記各実施形態では、携帯電話端末ＭＳ１，ＭＳ２間で無線テレビジョン電話通信を行う場合を例にとって説明した。しかし、それに限らず例えば携帯電話端末又はそれに代わる携帯情報端末を網ＮＷを介してインターネット上のＷＷＷサーバ等に接続し、このサーバからホームページの情報等をダウンロードするような場合にもこの発明を適用できる。
【００８４】
また前記各実施形態では、移動通信システムを例にとって説明したが、この発明は無線ＬＡＮやＢＴ（Bluetooth）に代表される近距離無線データ通信方式を使用する機器間無線伝送システム等にも適用することができ、さらには有線伝送システムに適用してもよい。
【００８５】
さらに、前記実施形態では一時保存したデータの中にＩフレーム情報が含まれていない場合を例にとって説明したが、Ｉフレームデータが含まれている場合にも有効であることは云うまでもない。
【００８６】
その他、端末装置の種類やその構成、疑似Ｉフレームの再構築処理手段の手順と内容などについても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００８７】
【発明の効果】
以上詳述したように第１の発明では、データストリームの受信中に少なくとも最新の上記所定期間分の受信フレームをデータ保持手段に一時保持するようにし、上記データストリームの受信中に当該データストリームの記録指示が入力された場合に、この記録指示が入力された時点で上記データ保持手段に一時保持されている受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを記録媒体に記録するようにしている。
或いは、データ保持手段に保持されているデータストリームを記録媒体に記録する際に、記録指示が入力された時点でデータ保持手段に一時保持されている受信フレームを記録媒体に仮記録し、その後の所定のタイミング、例えば通信終了後のように符号化データ記録装置の主要動作が終了した後に、上記記録媒体に仮記録した受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを記録媒体に記録し直すようにしている。
【００８８】
また第２の発明では、データストリームの受信中に当該データストリームの記録指示が入力された場合に、この記録指示が入力された時点以降に受信した少なくとも上記所定期間分の受信フレームを保持又は仮記録し、この保持又は仮記録された上記所定期間分の受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを上記記録媒体に記録するようにしている。
【００８９】
したがって第１及び第２の発明によれば、一時保持又は仮記録された所定期間分の受信情報に含まれる１画面分のマクロブロックを利用することで、データ受信途中で記録を開始する場合でも、記録指示の入力直後から高品質のデータを記録することが可能な符号化データ記録装置を提供することができる。
【００９０】
一方第３の発明では、データストリームの受信中に当該データストリームの記録指示が入力された場合に、この記録指示が入力された時点以降に受信される所定期間分の受信フレームの自立情報及び差分情報をもとに、上記記録指示の入力時点から上記所定期間が経過した後のフレームデータを再構築するデータ再構築手段と、データ記録制御手段とを備える。そして、上記記録指示入力時点から上記データ再構築手段によりフレームデータが再構築されるまでの間は記録待機期間とし、この記録待機期間経過後に上記再構築フレームデータ及びその後受信される受信フレームを記録媒体に記録するようにしている。
【００９１】
したがって第３の発明によれば、データ受信途中で記録を開始する場合に、品質の劣化したデータを記録しないようにして高品質のデータのみを記録再生することが可能な符号化データ記録装置を提供することができる。
【図面の簡単な説明】
【図１】 この発明に係わる符号データ記録装置が使用されるデータ伝送システムの一つである移動通信システムの概略構成を示す図。
【図２】 ＭＰＥＧ−４によるマルチメディア伝送システムのレイヤ構造を示す図。
【図３】 この発明の第１の実施形態に係わる符号データ記録機能を備えた携帯電話端末の外観を示す図。
【図４】 図３に示す携帯電話端末の回路構成を示す機能ブロック図。
【図５】 ＭＰＥＧ−４を使用した画像データ圧縮伝送方式の動作を模式的に示す図。
【図６】 マクロブロックの伝送動作の一例を示す図。
【図７】 図４に示す携帯電話端末において受信画像フレームを圧縮せずに記録する場合の制御手順とその内容を示すフローチャート。
【図８】 図７に示す記録動作の動作内容を説明するために使用するタイミング図。
【図９】 図４に示す携帯電話端末において受信画像フレームを通信終了後に圧縮せずに記録する場合の制御手順とその内容を示すフローチャート。
【図１０】 図４に示す携帯電話端末において受信画像データを圧縮記録する場合の第１の動作例を示すフローチャート。
【図１１】 疑似Ｉフレームの再構築処理手順及びその内容を示すフローチャート。
【図１２】 図１０に示した画像圧縮記録動作の動作内容を説明するために使用するタイミング図。
【図１３】 図４に示した携帯電話端末において受信画像データを圧縮記録する場合の第２の動作例を示すタイミング図。
【図１４】 図４に示した携帯電話端末において受信画像データを圧縮記録する場合の第３の動作例を示すタイミング図。
【図１５】 この発明の第２の実施形態に係わる符号データ記録機能を備えた携帯電話端末の回路構成を示す機能ブロック図。
【図１６】 図１５に示す携帯電話端末における画像記録動作を説明するために使用するタイミング図。
【符号の説明】
ＮＷ…網
ＢＳ１，ＢＳ２…基地局
ＭＳ１，ＭＳ２…携帯電話端末
１…無線部
２Ａ，２Ｂ…ベースバンド部
３…入出力部
４…電源部
１１…アンテナ
１２…アンテナ共用器（ＤＰＸ）
１３…受信回路（ＲＸ）
１４…周波数シンセサイザ（ＳＹＮ）
１５…送信回路（ＴＸ）
２１…携帯電話機の主制御部
２１ａ，２１ｄ…一時記憶制御手段
２１ｂ，２１ｅ…メイン記憶制御手段
２１ｃ…データフレーム再構築処理手段
２２…多重分離部
２３…音声コーデック
２４…マルチメディア処理部
２５…一時記憶部
２６…メイン記憶部
３１…マイクロホン
３２…スピーカ
３３…カメラ
３４…液晶表示器（ＬＣＤ）
３５…キー入力部
３６…照明器
４１…バッテリ
４２…充電回路（ＣＨＧ）
４３…電圧生成回路（ＰＳ）
Claims (5)
- データストリーム上の各フレームデータをそれぞれ複数のマクロブロックに分割して、これらのマクロブロックごとにそのデータをデータ群として独立して意味をなす自立情報又は主として元のデータとの差分で構成される従属情報により表し、所定期間ごとに、前記各マクロブロックとも自立情報を少なくとも１つのフレームで伝送すると共にその他のフレームでは従属情報を伝送するようにしたデータ伝送システムで使用される符号化データ記録装置において、
前記データストリームの受信中に少なくとも最新の前記所定期間分の受信フレームを一時保持するデータ保持手段と、
前記データストリームの受信中に当該データストリームの記録指示が入力された場合に、当該記録指示が入力された時点で前記データ保持手段に一時保持されている受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを記録媒体に記録するデータ記録制御手段と
を具備したことを特徴とする符号化データ記録装置。 - データストリーム上の各フレームデータをそれぞれ複数のマクロブロックに分割して、これらのマクロブロックごとにそのデータをデータ群として独立して意味をなす自立情報又は主として元のデータとの差分で構成される従属情報により表し、所定期間ごとに、前記各マクロブロックとも自立情報を少なくとも１つのフレームで伝送すると共にその他のフレームでは従属情報を伝送するようにしたデータ伝送システムで使用される符号化データ記録装置において、
前記データストリームの受信中に少なくとも最新の前記所定期間分の受信フレームを一時保持するデータ保持手段と、
前記データストリームの受信中に前記記録指示が入力された場合に、当該記録指示が入力された時点で前記データ保持手段に一時保持されている受信フレームを記録媒体に仮記録し、その後の所定のタイミングで、前記記録媒体に仮記録された受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを前記記録媒体に記録するデータ記録制御手段と
を具備することを特徴とする符号化データ記録装置。 - データストリーム上の各フレームデータをそれぞれ複数のマクロブロックに分割して、これらのマクロブロックごとにそのデータをデータ群として独立して意味をなす自立情報又は主として元のデータとの差分で構成される従属情報により表し、所定期間ごとに、前記各マクロブロックとも自立情報を少なくとも１つのフレームで伝送すると共にその他のフレームでは従属情報を伝送するようにしたデータ伝送システムで使用される符号化データ記録装置において、
前記データストリームの受信中に当該データストリームの記録指示が入力された場合に、この記録指示が入力された時点以降に受信した少なくとも前記所定期間分の受信フレームを保持又は仮記録するデータ記憶手段と、
このデータ記憶手段により保持又は仮記録された前記所定期間分の受信フレームをマクロブロック単位で読み出し、自立情報としてのＩマクロブロックとそれ以後の同じ位置における従属情報としてのＰマクロブロックとに基づいて疑似Ｉフレームを再構築し、この再構築した疑似Ｉフレームを記録媒体に記録するデータ再構築手段と
を具備したことを特徴とする符号化データ記録装置。 - 前記データ再構築手段は、疑似Ｉフレームの再構築処理を符号化データ記録装置の通信動作が終了した後に行うことを特徴とする請求項２又は３記載の符号化データ記録装置。
- データストリーム上の各フレームデータをそれぞれ複数のブロックに分割して、これらのブロックごとにそのデータをデータ群として独立して意味をなす自立情報又は主として元のデータとの差分で構成される従属情報により表し、所定期間ごとに、前記各ブロックとも自立情報を少なくとも１つのフレームで伝送すると共にその他のフレームでは従属情報を伝送するようにしたデータ伝送システムで使用される符号化データ記録装置において、
前記データストリームの受信中に当該データストリームの記録指示が入力された場合に、この記録指示が入力された時点以降に受信される前記所定期間分の受信フレームの自立情報及び従属情報をもとに、前記記録指示の入力時点から前記所定期間が経過した後のフレームデータを再構築するデータ再構築手段と、
前記記録指示入力時点から前記データ再構築手段によりフレームデータが再構築されるまでの間は記録待機期間とし、この記録待機期間経過後に前記再構築フレームデータ及びその後受信される受信フレームの自立情報及び従属情報を記録媒体に記録するデータ記録制御手段とを具備したことを特徴とする符号データ記録装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000061212A JP4283964B2 (ja) | 2000-03-06 | 2000-03-06 | 符号化データ記録装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000061212A JP4283964B2 (ja) | 2000-03-06 | 2000-03-06 | 符号化データ記録装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001251583A JP2001251583A (ja) | 2001-09-14 |
| JP4283964B2 true JP4283964B2 (ja) | 2009-06-24 |
Family
ID=18581387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000061212A Expired - Fee Related JP4283964B2 (ja) | 2000-03-06 | 2000-03-06 | 符号化データ記録装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4283964B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4707385B2 (ja) * | 2004-12-17 | 2011-06-22 | 京セラ株式会社 | ディジタル放送受信装置 |
| JP5047467B2 (ja) * | 2005-03-14 | 2012-10-10 | 株式会社エヌ・ティ・ティ・ドコモ | 映像記録装置、映像記録システム、及び、映像記録方法 |
| JP4831732B2 (ja) * | 2005-08-25 | 2011-12-07 | Ｎｅｃパーソナルコンピュータ株式会社 | テレビ電話装置、テレビ電話装置における映像データ処理方法 |
| FR2943877B1 (fr) * | 2009-03-24 | 2014-04-04 | Streamwide | Procede et dispositif de stockage d'une partie d'un flux video |
| JP2011066944A (ja) * | 2011-01-04 | 2011-03-31 | Nec Personal Products Co Ltd | テレビ電話装置、テレビ電話装置における映像データ処理方法 |
-
2000
- 2000-03-06 JP JP2000061212A patent/JP4283964B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001251583A (ja) | 2001-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4282201B2 (ja) | 符号化データ記録装置 | |
| JP4495821B2 (ja) | データ伝送システムとその通信装置 | |
| JP4250648B2 (ja) | 情報処理装置 | |
| US7725136B2 (en) | Information processing apparatus | |
| KR20050015932A (ko) | 전화 통신 시스템 | |
| US7652692B2 (en) | Apparatus and method for photographing a moving picture | |
| KR101755433B1 (ko) | 화질 개선이 가능한 영상 통화 방법 및 이를 지원하는 영상 통화 장치 | |
| US6693510B1 (en) | Image communication terminal, image communication system, and mobile station | |
| JP4283964B2 (ja) | 符号化データ記録装置 | |
| US20070044021A1 (en) | Method for performing presentation in video telephone mode and wireless terminal implementing the same | |
| JP4421055B2 (ja) | データ伝送システムとその通信装置 | |
| JP4241916B2 (ja) | 電話通信システム | |
| JP2003122339A (ja) | 移動通信端末 | |
| JP3480714B2 (ja) | 複合移動機におけるテレビ電話システム | |
| JP4413352B2 (ja) | 移動無線端末及び外部記憶ユニット | |
| KR100595619B1 (ko) | 이동 통신 단말기의 화상 통화 방법 | |
| JP2007281766A (ja) | 画像送信装置及びその送信方法 | |
| JP4116056B2 (ja) | 携帯端末 | |
| JP2003125453A (ja) | 移動通信端末 | |
| JPH05336515A (ja) | 画像記憶再生システム | |
| JP2006140777A (ja) | 動画再生装置、動画再生方法および動画再生プログラム | |
| JP2005151256A (ja) | 通信端末装置及び通信端末装置の制御方法、通信端末装置の制御プログラム並びにこれを記録した記録媒体 | |
| JP2007282164A (ja) | 画像送信装置及びその送信方法 | |
| JP2004343412A (ja) | 移動体通信端末とその記憶容量管理方法および記憶容量管理システム | |
| JP2006148625A (ja) | 移動通信端末装置、及び無線通信システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090310 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090323 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140327 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |