JP4842033B2

JP4842033B2 - 携帯端末機の画像表示装置及び方法

Info

Publication number: JP4842033B2
Application number: JP2006190581A
Authority: JP
Inventors: 正旭徐; 采煥林
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-11-25
Filing date: 2006-07-11
Publication date: 2011-12-21
Anticipated expiration: 2023-11-25
Also published as: US7782373B2; CN100493135C; KR20040045382A; JP2006325241A; GB0327271D0; DE10354556A1; JP3843269B2; KR100566253B1; GB2396988A; US20040150723A1; GB2396988B; DE10354556B4; CN1510906A; JP2004312685A

Description

本発明は携帯用端末機の画像表示装置及び方法に関して、特に静止画像を動画像画面に表示することができる装置及び方法に関するものである。

現在携帯用移動通信端末機は音声通信機能以外に高速のデータ伝送ができる構造に変換している。すなわち、ＩＭＴ２０００規格の移動通信網を具現すれば、前記携帯用電話機を利用して音声通信以外に高速データの通信を具現することができる。前記データ通信を遂行する携帯用端末機で処理できるデータはパケットデータ及び画像データである。

一般に、画像処理装置は画像を撮影するカメラと、前記カメラから撮影された画像信号を表示する表示部を備える。ここで、このカメラはＣＣＤやＣＭＯＳセンサーが使用可能であり、表示部はＬＣＤが使用可能である。また、カメラ装置の小型化により画像を撮影する装置はだんだん小型化する傾向にある。そして、カメラ装置は携帯用端末機にも装着される傾向である。この携帯用端末機は画像画面を撮影して動画像(moving picture)及び静止画像(still picture)に表示可能であり、また撮影された画像画面を基地局に伝送することもできる。

上記のように、現在動画像メールに関して事業者及び消費者の欲求が増加するにしたがって上記のようなサービスを具現しており、また今後非常に増加する傾向である。しかし、動画像画面を伝送する場合、データ量が多くて画像圧縮の問題を招き、携帯用端末機を利用して動画像画面を伝送する場合には一層大きな問題となる。

一般に、動画像信号の圧縮はＭＰＥＧ４(Moving Picture Expert Group 4)方法を使用している。ＭＰＥＧ４方式は動画像信号を圧縮する場合、多くのデータを圧縮することができるが、あまりに高いＭＩＰＳを要求している。したがって、ＡＲＭ７に基づいた携帯用端末機に適用するのが非常に難しい。例えば、ＶＯＤ(Video On Demand)の場合にＭＰＥＧ４にデコーディングするのに約１０MIPSが必要であり、映像メール(video mail)をＭＰＥＧ４にデコーディングするのに約２００MIPS以上が必要である。したがって、Embalzeチップ(emblaze chip)、メガパスチップ(megapass chip)、アルファモザイクチップ(Alphamosaic chip)などの多様な補助プロセッサを搭載すべきであり、これによりハードウェアのコストが増加し、嵩が大きくなるという短所がある。

したがって、上記のような画像圧縮方法を使用する場合、ソフトウェアのみに処理可能であり、画面の更新率が高いソルーションを有することができない。現在、カメラを内蔵する携帯用端末機またはカメラ外装形の携帯用端末機はＬＣＤ(Liquid Crystal Display)及び静止画面の画像データを圧縮するコーデックを有する。この静止画面用画像圧縮コーデックはＪＰＥＧコーデックになる。そして、上記のような構成を有するカメラフォンはＩＭＴ2000のような広帯域サービスが提供される状況でだんだん一般化する展望である。したがって、ＪＰＥＧコーデックを通じて受信される動画像信号を連続的に画像圧縮して動画像データとして貯蔵し、必要時にこれを動画像メールに伝送することができる。

したがって本発明の目的は、第１に、カメラ付きの携帯端末機でカメラから撮影される静止画像信号を動画像信号に生成及び表示できる装置及び方法を提供することにある。

本発明の目的は、第２に、カメラ付きの携帯端末機でカメラから撮影される動画像信号にオーディオ信号を結合して合成動画像信号に生成することができる装置及び方法を提供することにある。

本発明の目的は、第３に、カメラ付きの携帯端末機でカメラから撮影される動画像信号にテキスト信号を結合して合成動画像信号に生成することができる装置及び方法を提供することにある。

本発明の目的は、第４に、カメラ付きの携帯端末機でカメラから撮影される動画像信号にオーディオ及びテキスト信号を結合して合成動画像信号を生成することができる装置及び方法を提供することにある。

本発明の目的は、第５に、カメラ及び画像コーデック付きの携帯電話機で動画像信号及びオーディオ信号が合成された動画像信号にアクセスして動画像信号及びオーディオ信号に分離し、前記分離された動画像信号及びオーディオ信号を再生することができる装置及び方法を提供することにある。

本発明の目的は、第６に、カメラ及び画像コーデック付きの携帯電話機で動画像信号及びテキスト信号が合成された動画像信号にアクセスして動画像信号及びテキスト信号に分離し、この分離された動画像信号及びテキスト信号を再生することができる装置及び方法を提供することにある。

本発明の目的は、第７に、カメラ及び画像コーデック付きの携帯電話機で動画像信号、テキスト及びオーディオ信号が合成された動画像信号にアクセスして動画像信号、テキスト信号、及びオーディオ信号に分離し、この分離された動画像信号、テキスト及びオーディオ信号を再生することができる装置及び方法を提供することにある。

本発明の目的は、第８に、カメラ及び画像コーデック付きの携帯電話機で合成された動画像信号を通信経路を通じて伝送することができる装置及び方法を提供することにある。

本発明の目的は、第９に、カメラ及び画像コーデック付きの携帯電話機で基地局から受信される合成動画像信号を受信して貯蔵及び再生する装置及び方法を提供することにある。

このような目的を達成するために本発明は、画像信号を撮影するカメラを備える携帯端末機の合成動画像信号を生成する方法において、前記撮影される画像信号をフレームサイズの静止画像信号に符号化する過程と、受信されるオーディオ信号を符号化する過程と、前記符号化される各フレーム静止画像信号に画像パターン及び前記フレーム長さを含むイメージヘッダを挿入する過程と、前記イメージヘッダが挿入されたフレームサイズの符号化画像信号に前記符号化されたオーディオ信号を合成する過程と、これら過程を反復遂行しつつ連続するフレーム静止画像に前記対応するオーディオ信号を合成する過程と、記録終了時に前記合成された信号を動画像ファイルで貯蔵する過程とからなることを特徴とする。

このような目的を達成するために本発明は、携帯端末機の合成画像信号の生成装置において、画像信号を撮影するカメラ部と、前記撮影される画像信号をフレームサイズに符号化する画像コーデックを備え、前記カメラ部で生成される動画像信号をフレームサイズの表示画面に処理する画像処理部と、前記画像処理部で処理される画像信号を表示する表示部と、受信されるオーディオ信号を符号化するオーディオコーデックを備え、データを処理するデータ処理部と、前記画像コーデックで符号化する画像信号をフレームサイズにバッファリングするイメージバッファ及び前記オーディオコーデックで符号化するオーディオ信号をバッファリングするオーディオバッファを備えるバッファ部と、前記イメージバッファでフレームサイズの画像信号の出力時に前記画像信号に画像パターン及びフレームの長さを含むイメージヘッダを挿入して出力するヘッダ生成器と、前記ヘッダ生成器の出力に前記オーディオバッファの出力を合成して出力する合成器と、前記合成器の出力を合成動画像信号として貯蔵するメモリとから構成されることを特徴とする。

本発明は、カメラ及び画像コーデック付きの携帯端末機でカメラから撮影される連続する静止画像信号を符号化して動画像信号に生成することができる。また、動画像信号にオーディオ及び(または)テキスト信号を合成して合成動画像信号を生成することができる。また、前記合成動画像信号を再生または他の端末機またはサーバに伝送することができ、また受信される合成動画像信号を貯蔵及び再生することができる。したがって、携帯端末機で使用者が動画像メールを生成及び編集することができ、前記生成された動画像メールを伝送しあるいは受信される動画像メールを再生する効果がある。

以下、本発明の望ましい実施例を添付の図面を参照して詳細に説明する。図面において、同一の構成に対してはできるだけ同一の符号を使用して説明する。

下記の説明において、画像圧縮方式、動画像信号の伝送速度、画像データのフォーマット、画像信号サイズなどの特定詳細が本発明のより全般的な理解のために提供される。これら特定詳細なしに、これらの変形によっても本発明が容易に実施可能であることは、この技術分野で通常の知識を有する者には自明なことであろう。

本発明の実施例で画像信号のコーディング方式はＪＰＥＧコーディング方式を使用すると仮定する。しかし、他の画像コーディング方式を使用する場合にも同一に適用可能である。本発明の実施例では静止画像信号のコーディング方式のＪＰＥＧ方式を使用して受信される動画像信号を所定時間間隔にコーディングし、このコーディングされた画像データを生成する。そして、コーディングされた画像データにオーディオデータまたはテキストデータを合成した合成動画像信号を生成することができる。また、コーディングされたデータにオーディオ及びテキストデータを合成した合成動画像信号が生成できる。

そして、本発明の実施例では上記のように合成動画像信号を生成可能であり、この合成動画像信号を分解して再生可能であり、合成動画像信号を通信部を通じて伝送可能であり、また通信部を通じて受信することも可能である。

本発明の実施例で使用する用語において、動画像信号とは、撮影される動画像信号を画像コーデックが設定された時間単位で静止画像をコーディングし、このように連続的にコーディングされた静止画像信号を動画像形態で生成する画像信号を意味する。すなわち、画像コーデックは設定された時間ごとにフレームサイズの静止画像信号をコーディングし、ここで設定された時間とは画像コーデックが１フレームの画像信号をコーディングするのにかかる時間を意味する。ここで、画像コーデックはＪＰＥＧコーデックになりうる。また、本発明の実施例で合成動画像信号とは前記動画像信号にオーディオ信号、またはテキスト信号、またはオーディオ及びテキスト信号が合成された信号を意味する。

本発明の実施例において、動画像合成モードとはカメラから撮影される画像信号を前記画像コーデックが設定時間単位で静止画像をコーディングして符号化画像信号に出力し、前記画像コーデックで連続的にコーディングされた符号化画像信号にオーディオ信号、またはテキスト信号、またはオーディオ及びテキスト信号を合成するモードを意味する。動画像再生モードとは、符号化された動画像信号にオーディオ信号、またはテキスト信号、またはオーディオ及びテキスト信号が合成された画像データにアクセスして表示するモードを意味する。動画像伝送モードとは、動画像信号にオーディオ信号、またはテキスト信号、またはオーディオ及びテキスト信号の合成動画像信号を伝送するモードを意味する。このとき、動画像伝送モードは動画像合成モードを遂行した後に合成された動画像信号を伝送する手続きを連続的に遂行でき、また動画像合成モードを遂行してメモリに貯蔵している合成動画像信号を選択して伝送することもできる。動画像受信モードとは、基地局から送信される合成動画像信号を受信して貯蔵するモードを意味する。このとき、動画像受信モードを遂行しつつ動画像再生モードを連続的に遂行することもできる。

本発明の実施例により動画像信号を処理する携帯端末機を携帯電話機と仮定して説明する。しかし、本発明の実施例による携帯端末機は携帯電話機以外にカメラを利用して画像を表示する携帯用通信装置にも同一に適用することができる。

図１は本発明の実施例による携帯端末機の構成を示すもので、携帯電話機の構成にもなる。

同図を参照すれば、ＲＦ部２３は携帯用電話機の無線通信機能を遂行する。ＲＦ部２３は送信される信号の周波数を立ち上がり変換及び増幅するＲＦ送信機と、受信される信号を低雑音増幅し、周波数を立ち下がり変換するＲＦ受信機などを含む。すなわち、データ処理部２０は前記送信される信号を符号化及び変調する送信機及び前記受信される信号を復調及び復号化する受信機などを備える。すなわち、データ処理部２０はモデム及びコーデック(CODEC)で構成される。ここで、コーデックはパケットデータなどを処理するデータコーデックと音声などのオーディオ信号を処理するオーディオコーデック８５を備える。また、本発明の実施例でオーディオコーデック８５は携帯電話機に内蔵された音声コーデック(speech codec)と仮定する。オーディオコーデック８５が８kbps speech codecの場合、２０msec毎に１フレーム(20bytes)の符号化されたオーディオ信号が生成される。オーディオ処理部２５は前記データ処理部２０のオーディオコーデックから出力される受信オーディオ信号を再生し、あるいはマイクから発生する送信オーディオ信号をデータ処理部２０のオーディオコーデックに伝送する機能を遂行する。

キー入力部２７は数字及び文字情報を入力するためのキー及び各種機能を設定するための機能キーを備える。また、キー入力部２７は本発明の実施例により動画像モードを制御するための機能キー及びカメラを駆動する撮影キーを備えることができる。また、本発明の実施例ではキー入力部２７を通じて合成動画像信号に合成されるテキスト信号を入力することもできる。

メモリ３０はプログラムメモリ、データメモリ、そして本発明の実施例により生成及び受信される合成動画像信号を貯蔵する動画像メモリで構成される。このプログラムメモリは携帯用電話機の一般的な動作を制御するためのプログラム及び本発明の実施例により表示部に印加される画像信号の経路を制御するプログラムが貯蔵可能である。また、データメモリは前記プログラムの遂行中に発生するデータを一時貯蔵する機能を遂行する。また、データメモリはキー入力部２７を通じて入力されるテキスト信号を貯蔵するテキストバッファ、画像コーデック８０で生成される動画像信号を貯蔵するイメージバッファ、前記オーディオコーデック８５で生成されるオーディオ信号を貯蔵するオーディオバッファを備えることもできる。この動画像メモリは本発明の実施例によりコーディングされた画像データとテキスト信号(オーディオ信号も包含可能である)の合成データを貯蔵するメモリである。

制御部１０は携帯用電話機の全般的な動作を制御する機能を遂行する。また、制御部１０はデータ処理部２０を含むこともできる。また、制御部１０は本発明の実施例によりキー入力部２７から設定されるモード命令により合成動画像信号を生成、貯蔵、再生、伝送、及び受信する動作を制御する。また、制御部１０は使用者データ(user data)を表示部６０に出力して表示する機能を遂行する。ここで、使用者データは携帯電話機に表示される情報の現在時間、受信感度、バッテリ残量などを表示するための第１使用者データ及び使用者の設定により表示される第２使用者データである。ここで、第２使用者データとしては、本発明の実施例により使用者が選択または入力した合成動画像信号のテキスト信号がある。本発明の実施例で第２使用者データが合成動画像信号のテキスト信号と仮定する。

カメラ部(camera module)４０は画像撮影時に感知される光信号を電気的信号に変換するカメラセンサーと、このカメラセンサーから撮影されるアナログ画像信号をデータに変換する信号処理部を備える。ここで、カメラセンサーはＣＣＤセンサーと仮定し、この信号処理部ＤＳＰ(Digital Signal Processor)で具現できる。前記カメラセンサー及び信号処理部は一体形で具現することができ、また分離して具現することもできる。

画像処理部５０は、カメラ部４０から出力される画像信号を表示するための画面データを発生する機能を遂行する。この画像処理部５０はカメラ部４０から出力される画像信号をフレーム単位で処理し、前記フレーム画像データを表示部６０の特性及びサイズに合わせて出力する。また、画像処理部５０は画像コーデック８０を備え、この画像コーデック８０は画像信号を設定された方式でコーディングし、あるいはコーディングされたフレーム画像データを元のフレーム画像データにデコーディングする機能を遂行する。画像処理部５０は、制御部１０の制御下に設定されるモードによる動画像信号を生成及び再生する機能を遂行する。

表示部６０は、画像処理部５０から出力されるフレーム画像信号を画面で表示し、制御部１０から出力される使用者データを表示する。また、表示部６０は制御部１０の制御下に再生される動画像信号を表示する。ここで、表示部６０はＬＣＤを使用することができ、この場合に表示部６０はＬＣＤ制御部(LCD controller)、画像データを貯蔵するメモリ、及びＬＣＤ表示素子などが備えられる。ここで、ＬＣＤをタッチスクリーン(touch screen)方式で具現する場合、入力部として動作することもできる。

ＧＰＳ受信機(Global Positioning System receiver)７０はＧＰＳ衛星からＧＰＳ情報を受信して制御部１０に伝送する。ここで、ＧＰＳ情報は現在携帯電話機が位置した情報となる。本発明の実施例ではＧＰＳ受信機を通じて現在動画像を獲得する位置(場所)情報及び時間情報を受信することが可能である。

図１を参照すれば、発信通話時に使用者がキー入力部２７を通じてダイヤリング動作を遂行すれば、制御部１０はこれを感知し、データ処理部２０を通じて受信されるダイヤル情報を処理した後、ＲＦ部２３を通じてＲＦ信号にも変換して出力する。この後、相手加入者が応答すれば、ＲＦ部２３及びデータ理部２０を通じてこれを感知する。すると、制御部１０はＲＦ部２３、データ処理部２０、及びオーディオ処理部２５からなる通話路を形成して通信機能を遂行する。また、着信通話時に制御部１０はデータ処理部２０を通じて着信要求を感知し、オーディオ処理部２５を制御してリング信号を発生する。この後、使用者が応答すれば、制御部１０はこれを感知し、オーディオ処理部２５、データ処理部２０、及びＲＦ部２３からなる通話路を形成して通信機能を遂行する。発信及び着信通話では音声通信を例として説明したが、前記音声通信以外にパケットデータ及び画像データを通信するデータ通信機能を遂行することもできる。また、待機モードまたは文字通信を遂行する場合、制御部１０はデータ処理部２０を通じて処理される文字データを表示部６０上に表示する。

ここで、携帯電話機が符号分割多重接続(Code Division Multiple Access：以下、ＣＤＭＡ)方式のチャンネルを使用する場合、データ処理部２０はＣＤＭＡ方式のチャンネル送受信機を備える。また、データ処理部２０は上記したように本発明の実施例により動画像信号にオーディオ信号をコーディング及びデコーディングするためのオーディオコーデック８５を備える。

本発明の実施例による携帯電話機は人物または周辺環境を撮影して画像画面に表示または伝送する動作を遂行する。まず、カメラ部４０は携帯用電話機に装着され、あるいは外部の所定位置に連結されうる。すなわち、カメラ部４０は外装形または内蔵形カメラである。このカメラ部４０は画像を撮影するためのセンサー及び前記センサーから撮影される画像信号をディジタルデータに変換する信号処理部などを備えられる。このセンサーはＣＭＯＳセンサーやＣＣＤ(Charge Coupled Device)センサーを使用することもできる。カメラ部４０に撮影される画像は内部のセンサーで電気的信号に変換された後、信号処理部で画像信号をディジタル画像データに変換する。そして、この変換されたディジタル画像信号と同期信号を画像処理部５０に出力する。ここで、同期信号では水平同期信号(Horizontal Synchronization signal：Ｈｓｙｎｃ)及び垂直同期信号(Vertical Synchronization signal：Ｖｓｙｎｃ)などがある。

図２は、本発明の実施例による画像処理部５０の構成の一例を示すものである。画像処理部５０はカメラ部４０と表示部６０との間に画像信号をインターフェースすると同時にカメラ部４０から入力される画像信号をコーディング及びデコーディングする機能を遂行する。また、コーディングされるメイン画面の画像データの画素及びラインをデシメーション(decimation)及びクロッピング(cropping)して小画面を生成する機能を遂行する。上記したように、画像処理部５０は画像信号をコーディング及びデコーディングするための画像コーデック８０を備え、本発明の実施例では画像コーデック８０がＪＰＥＧコーデックの場合を仮定して説明する。

図２を参照すれば、カメラインターフェース部３１１はカメラ部４０から出力される画像データをインターフェースする機能を遂行する。ここで、カメラ部４０から出力される画像データはＹＵＶフォーマットの画像データで、表示部６０はＲＧＢフォーマットの画像データを表示すると仮定する。本発明の実施例では、カメラ部４０から出力される画像データがＹＵＶ２１１(16bit)フォーマットであって、ＣＩＦ(352×288)サイズに固定されると仮定し、表示部６０はＲＧＢフォーマットで、128×112サイズであると仮定する。

スケーラ３１３は制御部１０から出力される制御信号によりカメラ部４０で撮影される画像信号を表示部６０上に表示するようにスケーリングする。すなわち、上記したようにカメラ部４０で発生する画像信号のピクセル数はＣＩＦサイズ(352×288)で、表示部６０に表示できる画像信号のピクセル数は128×112または128×96である。したがって、スケーラ３１３はカメラ部４０から出力される画像信号ピクセルを表示部６０で表示可能な画像信号のピクセル数に縮小及びクロッピングする。しかし、表示部６０がカメラ部４０から出力される画像データのサイズより大きなサイズを有する画像データを表示する場合、スケーラ３１３は制御部１０の制御下にカメラ部４０から出力される画像信号を拡大して表示するように設計可能である。この拡大表示方法は、カメラ部４０から出力される画像信号で表示部６０で表示することができるピクセル数だけに選択して表示すればよい。

色変換部３１５はスケーラ３１３から出力されるＹＵＶデータをＲＧＢに変換して出力する。ここで、カメラ部４０が撮影される画像データをＲＧＢフォーマットに発生し、あるいは表示部６０がＹＵＶフォーマットの画像データを表示する場合には色変換部３１５の構成を省略することができる。

そして、ＬＣＤインターフェース部３１７は表示部６０に画像データをインタフェーシングする機能を遂行する。ＬＣＤインターフェース部３１７は内部にバッファを備えてＬＣＤインターフェース部３１７で表示部６０とインタフェーシングされる画像データをバッファリングする機能を遂行することができる。

画像コーデック８０は前記撮影される画像データを制御部１０の制御により画像コーディングし、あるいはコーディングされた画像データを復元する機能を遂行することができる。本発明の実施例で、画像コーデック８０はＪＰＥＧコーデックと仮定する。画像コーデック８０は制御部１０の制御下に色変換器３１５から出力されるカメラ画像信号または表示部６０で表示される画像信号を入力してＪＰＥＧコーディングし、またＪＰＥＧコーディングされた画像信号をデコーディングしてスケーラ３１３またはＬＣＤインターフェース部３１７に出力する。すなわち、画像コーデック８０はカメラ画像または表示される画像をコーディング及びデコーディングすることができる。

制御インターフェース部３２１は画像処理部５０と制御部１０との間のインターフェース機能を遂行し、また表示部６０と制御部１０との間のインターフェース機能を遂行する。すなわち、制御インターフェース部３２１は制御部１０と画像処理部５０との間のインターフェース機能を遂行する。

選択器３１９は制御部１０から出力される経路制御信号により画像処理部５０から出力されるデータまたは制御部１０から出力されるデータを選択して表示部６０に出力する機能を遂行する。ここで、第１経路制御信号は画像処理部５０と表示部６０との間のバスを活性化させる信号を意味し、第２経路制御信号は制御部１０と表示部６０との間の経路を活性化させる信号を意味する。また、制御部１０は選択器３１９を通じて表示部６０と両方向通信を遂行することができる。

図２を参照してカメラ部４０で獲得した画像データを表示部６０に伝送する動作を説明すれば、画像処理部５０はカメラ部４０で撮影される動画像データの伝送率を制御し、入力される画像データをそのままＬＣＤインターフェース部３１７を通じて表示部６０のメモリに貯蔵する。ここで、カメラ部４０から出力される1フレームの画像データサイズはＣＩＦ(352×288)であり、表示部６０で表示できる1フレーム画像データの画素数(128×112または128×96)に対応させるために縮小処理及び部分クロッピングを遂行する。したがって、画像処理部５０のスケーラ３１３はカメラ部４０から出力される画像データの画素数を表示部６０に表示するように画素中の一部を除去し、あるいは画素の一部領域を選択して表示(zooming)することができる。前記画像データの伝送率はマスタクロックを基準として固定的に決定する。しかし、カメラ部４０、画像処理部５０、及び表示部６０への画像信号の流れは表示部６０のアクセス速度により制限される。したがって、カメラ部４０からの読出し速度(read speed)と表示部６０に書込み速度(write speed)を調整するためにＬＣＤインターフェース部３１７はバッファを備えて一時的にバッファリングを遂行することができる。

また、カメラ部４０で撮影される画像信号を表示部６０で動画像画面に表示する過程で、使用者は表示される画面を静止画面にキャプチャして貯蔵する。すなわち、使用者はキー入力部２７の撮影機能キーを利用して表示される画像画面を写真として貯蔵する。このとき、撮影命令が発生すれば、制御部１０は画像処理部５０の動作を中断させて表示部６０に表示される画像画面を静止画面に再生し、画像コーデック８０を駆動する。すると、画像コーデック８０はカメラ部４０から出力される画像画面または表示部６０に表示中の画像画面の1フレーム画像データを入力するようになり、入力される画像データをＪＰＥＧフォーマットに符号化して制御インターフェース部３２１に出力する。そして、制御部１０は前記受信されるコーディングされた画像データをメモリ３０に写真として貯蔵する。

図２のような画像処理部５０の詳細な構成は、本願の出願人により先出願された韓国特許出願番号第２００２-２２０６６号及び第２００２-２２８４４号に開示されている。

図３は、本発明の第１実施例によりカメラ及び画像コーデックを備える携帯電話機でカメラで撮影される画像信号を連続する静止画像信号にコーディングし、このコーディングされた動画像信号にオーディオ信号及び(または)テキスト信号を合成して合成動画像信号を生成し、これを貯蔵する動作を説明するためのものである。

図３を参照すれば、まずカメラ部４０で撮影される画像信号は画像コーデック８０に印加されてフレーム単位でコーディングされてＪＰＥＧ画像データに符号化され、このＪＰＥＧ符号化画像データは制御部１０に印加される。このとき、画像コーデック８０は符号化性能によりカメラ部４０から出力される画像信号の中で一部フレームを飛ばしつつコーディングされたＪＰＥＧ符号化画像データを発生する。すなわち、画像コーデック８０は自分の符号化能力により連続する静止画像信号にコーディング動作を遂行するようになる。また、データ処理部２０のオーディオコーデック８５は動画像信号によるオーディオ信号をコーディング符号化し、この符号化されたオーディオ信号は制御部１０に印加される。すると、制御部１０は画像コーデック８０から出力される動画像信号にオーディオコーデック８５から出力されるオーディオ信号を合成して合成動画像信号を生成する。そして、このように生成された合成動画像信号をメモリ３０に貯蔵する。上記の動作を反復遂行すれば、メモリ３０には動画像信号にオーディオ信号が合成される合成動画像信号が貯蔵される。

また、制御部１０は画像コーデック８０から出力される動画像信号にデータ処理部２０から出力されるテキスト信号を合成して合成動画像信号を生成する。そして、このように生成された合成動画像信号をメモリ３０に貯蔵する。このとき、テキスト信号は使用者がキー入力部２７を通じて直接入力可能であり、また予め貯蔵したテキスト信号を選択して合成することもできる。また、動画像信号にテキスト信号を合成する方法は、テキスト及び動画像信号の入力はそれぞれ独立的に遂行し、動画像信号の入力が終了した状態で前記動画像信号にテキスト信号を合成することができる。

そして、貯蔵された合成動画像信号の名前、場所、時間などを共に貯蔵する。ここで、携帯電話機がＧＰＳ受信機を備える場合、前記動画像信号を撮影した場所及び時間はＧＰＳを通じて受信される場所及び時間情報を利用して自動に登録されるようにする。この場合、使用者は合成動画像信号の名前を別途に入力してメニュー情報として活用可能である。また、携帯電話機がＧＰＳ受信機を備えない場合には、上記の名前、撮影場所、及び時間を共に入力して今後メニュー情報として利用する。

上記のような動作はカメラ及び画像コーデックを備える携帯電話機に対する説明である。しかし、画像コーデックを備えずにソフトウェア的な画像コーデック(ＪＰＥＧ Codec)を有する携帯端末機に対しても上記のような動作が具現可能である。しかし、画像コーデックを内蔵してハードウェア的に画像信号をコーディング及びデコーディングする携帯電話機とは違って、ソフトウェア的にＪＰＥＧ画像をコーディング及びデコーディングすることは時間が長くかかる。したがって、受信された動画像メールでビデオに関連しては幾つのフレームを飛ばしつつＪＰＥＧデータをデコーディングし、オーディオに対してはすべてデコーディングするようになると、フレーム更新率は低くなるが、十分に音声メッセージと画像メッセージを伝送するようになる。

図４は、図３のように貯蔵された合成動画像信号にアクセスして動画像信号、オーディオ信号、及び(または)テキスト信号に分離し、前記分離された動画像信号、オーディオ信号、及び(または)テキスト信号を再生する動作を示すものである。

図４を参照すれば、合成動画像信号の再生が要求されると、制御部１０はメモリ３０で選択された合成動画像信号にアクセスした後、ヘッダを分析して画像、オーディオ、及び(または)テキスト信号を分離する。この後、制御部１０はオーディオ及び(または)テキスト信号をオーディオコーデック８５及び(または)表示部６０に伝送し、動画像信号は画像コーデック８０に伝送する。すると、画像コーデック８０は符号化されたＪＰＥＧ画像信号は元の画像信号に復元し、画像処理部５０はこの復元された画像信号を表示部６０のサイズに合わせて処理した後、表示部６０に伝送して表示する。このとき、制御部１０から出力されるテキスト信号は上記したような第２使用者データとなり、このテキスト信号は前記動画像信号を表示する状態で指定された表示形態により表示される。このとき、表示形態(display type)は後述する。そして、オーディオコーデック８５は符号化されたオーディオ信号を元のオーディオ信号に復元した後、オーディオ処理部２５を再生させる。

図５は、本発明の第３実施例によりカメラ及び画像コーデックを備える携帯電話機で合成動画像信号を伝送する動作を説明するためのものである。合成動画像信号を伝送する方法は、メモリ３０で貯蔵された合成動画像信号にアクセスして伝送し、あるいは図３のような動作を遂行しつつ合成された動画像信号を実時間に伝送することもできる。ここで、合成動画像信号は動画像、オーディオ、及び(または)テキスト信号が合成された場合を仮定する。

まず、メモリ３０に貯蔵された合成動画像信号を伝送する動作を説明する。このメモリ３０には少なくとも一つ以上の合成動画像信号が貯蔵されている。したがって、使用者はメニューを通じて希望する合成動画像信号が選択でき、この合成動画像信号が選択されると、制御部１０はメモリ３０で該当する合成動画像信号にアクセスした後、伝送形態のパケットデータで組み立ててからこれをデータ処理部２０に出力する。そして、このデータ処理部２０はデータチャンネルを割り当てた後、合成動画像信号をチャンネル符号化及び変調してＲＦ部２３に伝送し、ＲＦ部２３はこれをさらに無線信号に変換して伝送する。

次に、カメラ部４０で撮影される動画像信号を実時間に伝送する動作を説明する。カメラ部４０で撮影される動画像信号を画像コーデック８０でＪＰＥＧ符号化し、オーディオ信号をオーディオコーデック８５で符号化し、制御部１０は上記のように符号化された動画像信号及びオーディオ信号にテキスト信号を合成する。この合成過程で、テキスト信号及び画像信号はヘッダを備える。また、画像及びオーディオ信号は実時間(real time)に処理されるべきなので、画像及びオーディオ信号がインタレース(interlace)されて合成され、テキスト信号は先端または後端などと特定位置に合成される。本発明の実施例ではテキスト信号が動画像信号の最先端に位置され、画像及びオーディオ信号はインタレースされる形態に貯蔵されると仮定する。この後、制御部１０は前記合成された動画像信号をメモリ３０に貯蔵し、また伝送形態のパケットデータで組み立てた後、データ処理部２０に伝送する。そして、データ処理部２０はデータチャンネルを割り当てた後、合成動画像信号をチャンネル符号化及び変調してＲＦ部２３に伝送し、ＲＦ部２３はこれをさらに無線信号に変換して伝送する。

図６は、本発明の第４実施例によりカメラ及び画像コーデックを備える携帯電話機で合成動画像信号を受信する動作を説明するためのものである。合成動画像信号を受信する方法は、基地局から受信される合成動画像信号をメモリ３０に貯蔵し、あるいは受信された合成動画像信号を図４のような動作を遂行しつつ実時間で表示可能である。ここで、合成動画像信号は動画像、オーディオ及びテキスト信号が合成された場合を仮定している。

まず、受信される合成動画像信号をメモリ３０に貯蔵する動作を説明する。ＲＦ部２３は受信される無線信号を基底帯域の信号に変換し、データ処理部２０は前記受信される合成動画像信号をチャンネル復調及び復号して制御部１０に伝送する。すると、制御部１０はこの受信される合成動画像信号のパケット形態なので、受信されるパケットのヘッダを分析して上記のような形態の合成動画像信号に変換してメモリ３０に貯蔵する。本発明の実施例による合成動画像信号は上記のようにテキスト信号が動画像信号の最前端に位置され、この画像及びオーディオ信号はインタレースされる形態と仮定する。図４に説明したように、受信された合成動画像信号の名前などを登録して今後メニュー情報として活用することもできる。

次に、メモリ３０に貯蔵される情報は実時間で再生可能である。この場合、制御部１０はメモリ３０に受信された合成動画像信号を貯蔵すると同時に、図４のような動作を遂行して動画像信号及びオーディオ信号が再生可能である。

以下、図３で図６の実施例による動作を具体的に説明する。

図７は、本発明の第１実施例によりカメラ部４０で撮影される動画像信号を画像処理部５０の画像コーデック８０で連続する静止画像ＪＰＥＧの符号化データに生成し、データ処理部２０のオーディオコーデック８５で符号化されたオーディオデータを生成し、この生成された動画像データ及びオーディオデータを合成してメモリ３０に貯蔵する過程を示すものである。そして、図８は合成動画像信号を生成して貯蔵するとき、まず動画像信号を生成して貯蔵した後、前記貯蔵された動画像信号によるオーディオ信号を生成した後に合成して貯蔵する過程を示すものである。図９は、図７のような動作手続きを遂行する装置の構造を示すものである。

図７を参照すれば、使用者はキー入力部２７を通じて動画像及びオーディオ信号を合成するための動画像モードを遂行するための命令語を発生する。すると、制御部１０はステップ４１１で動画像モードを感知し、ステップ４１３及びステップ４１５でカメラ部４０を駆動して撮影を始め、画像処理部５０を制御してカメラ部４０で撮影される動画像信号のＪＰＥＧ符号化動作を始める。また、データ処理部２０のオーディオコーデック８５を駆動して動画像信号によるオーディオ信号の符号化動作も始まる。このとき、カメラ部４０で撮影される動画像信号は画像処理部５０を通じて表示部６０で印加されて表示される。

画像コーデック８０はフレームサイズの画像データをＪＰＥＧ符号化する。したがって、制御部１０はステップ４１７及びステップ４１９を遂行しつつ、画像コーデック８０が１画面(frame)の画像データをＪＰＥＧ符号化する間、オーディオコーデック８５から出力される符号化したオーディオデータをバッファリングする。その後、ＪＰＥＧ符号化された１画面の画像データが受信されると、制御部１０はステップ４１９でこれを感知し、ステップ４１７でバッファリングされたオーディオデータにアクセスし、ステップ４２１でこのオーディオデータを受信し、ステップ４２３でＪＰＥＧ符号化された画像データ及びオーディオデータを合成するためのヘッダを生成する。この後、制御部１０はステップ４２５で図１０Ｂのように生成されたヘッダ、ＪＰＥＧ符号化された画像データ及び前記オーディオデータを合成した後、メモリ３０に貯蔵する。そして、使用者が動画像モードを解除させるまで１画面単位でヘッダ、画像データ、及びオーディオデータを合成してメモリ３０に貯蔵する上記のような動作を反復遂行する。

したがって、メモリ３０に貯蔵される合成動画像データは図１０Ａに示したように静止画像データＪＰＥＧ１、ＪＰＥＧ２、…が連続的に貯蔵され、したがってメモリ３０に貯蔵された静止画像データは動画像形態となる。このとき、符号化された静止画像データＪＰＥＧ１、ＪＰＥＧ２、ＪＰＥＧ３…は上記したように画像コーデック８０の符号化の能力により決定されうる。すなわち、カメラ部４０で１秒に２０フレームの画像データを撮影し、画像コーデック８０が１秒に５フレームの画像データをコーディングすると仮定すれば、ＪＰＥＧ１はカメラ部４０から出力される第１フレームの画像データとなり、ＪＰＥＧ２はカメラ部４０から出力される５番目のフレームの画像データとなり、ＪＰＥＧ３はカメラ部４０から出力される９番目のフレームの画像データとなり、ＪＰＥＧ４はカメラ部４０から出力される１３番目のフレームの画像データとなる。また、制御部１０は使用者の選択により画像コーデック８０の符号化率を可変させる方法を使用することもできる。すなわち、画像コーデック８０の最大符号化率より低い符号化率を設定してＪＰＥＧ画像データを生成するように制御することもできる。例えば、カメラ部４０で１秒に２０フレームの画像データを撮影し、画像コーデック８０が１秒に５フレームの画像データをコーディングすると仮定すれば、使用者は１秒に１フレーム、２フレーム、３フレーム、及び４フレームのうちいずれか一つの符号化率を持つように画像コーデック８０を制御することもできる。

上記のようにフレーム単位で符号化した合成画像データを生成する中に使用者から動画像モードの終了要求が発生すれば、制御部１０はステップ４２７でこれを感知し、ステップ４２９で画像コーデック８０及びオーディオコーデック８５をオフさせる。このとき、カメラ部４０は携帯電話機の動作状態により独立的に制御可能である。すなわち、携帯電話機はカメラ部４０から撮影される画像信号を表示部６０に表示するモード(preview mode)を遂行する。この場合、画像コーデック８０及びオーディオコーデック８５は動作せず、カメラ部４０から撮影される画像信号は画像処理部５０の画面表示生成部を通じて表示部６０に表示される。したがって、動画像モードがプレビューモード状態で遂行された場合、動画像モードを終了すれば制御部１０は画像コーデック８０をオフさせ、カメラ部４０から出力される画像画面はカメラインターフェース部３１１、色変換部３１５、スケーラ３１３、及びＬＣＤインターフェース部３１７を通じて表示部６０に印加されてプレビュー画像画面に表示される。しかし、プレビューモードを遂行しない状態で前記動画像モードを遂行した場合、制御部１０はステップ４２９でカメラ部４０もオフさせる。

ステップ４２９を遂行した後、制御部１０はステップ４３１でメモリ３０に貯蔵された動画像の名前を登録するための情報を表示する。このとき、携帯電話機がＧＰＳ受信機を備えない場合、動画像を撮影した場所及び時間、そしてメモリ３０に貯蔵された合成動画像信号の名前を入力するように案内するメニューを表示する。そして、携帯電話機がＧＰＳ受信機を備える場合、メモリ３０に貯蔵された合成動画像信号の名前を入力するように案内するメニューを表示することができる。メニュー情報は制御部１０で生成し、この生成された情報は使用者データ(user data)として表示部６０上に表示される。

上記のようにメニューを表示する状態でキー入力部２７を通じて合成動画像の名前が入力されると、制御部１０はステップ４３３でこれを感知し、ステップ４３５でメモリ３０に貯蔵された合成動画像に対応する名前、撮影場所、及び時間情報を入力する。このとき、使用者は撮影場所及び時間情報を入力せず名前だけを入力することもできる。この場合、使用者は名前を入力した後、終了キーを押すと、制御部１０はこの終了キーにより名前メニューに入力された情報を通じて名前だけを登録する。

図７は、制御部１０で合成動画像信号を生成して貯蔵する動作手続きを示すものである。しかし、図７のような動作は図９に示す構成でも具現可能である。図９は、携帯電話機で合成動画像信号を生成して貯蔵する構成を示すものである。図９において、バッファ部２２０、スイッチ２１１、２１３、ヘッダ生成器２３０、及び合成器２４０は制御部１０の構成となりうる。

図９の構成を説明すれば、オーディオコーデック８５はオーディオ処理部２５から出力されるオーディオ信号を符号化し、この符号化されたオーディオデータを生成する。画像コーデック８０はカメラ部４０で撮影された画像データを符号化してＪＰＥＧ画像データを生成する。バッファ部２２０のイメージバッファ(Img_Buf)２２２は画像コーデック８０から出力されるＪＰＥＧ画像データをバッファリングする。第１及び第２オーディオバッファ(Aud_Buf)２２４及び２２６はそれぞれオーディオコーデック８５から出力される符号化されたオーディオデータをバッファリングする。スイッチ２１１は共通端子がオーディオコーデック８５の出力端に連結され、第１出力端子が第１オーディオバッファ２２４の入力端に連結され、第２出力端子が第２オーディオバッファ２２６の出力端に連結される。また、スイッチ２１３は第１入力端子が第１オーディオバッファ２２４の出力端に連結され、第２入力端子が第２オーディオバッファ２２６の出力端に連結され、共通端子が合成器２４０に連結される。スイッチ２１１及び２１３はイメージバッファ２２０の出力により制御される。ヘッダ生成器２３０はイメージバッファ２２２でＪＰＥＧデータの出力時にヘッダを挿入して出力する。合成器２４０はスイッチ２１３から出力されるオーディオとイメージバッファ２２２から出力されるＪＰＥＧ画像を合成して合成画像データを出力する。メモリ３０は制御部１０の制御下に合成器２４０から出力される合成画像データを貯蔵する。

図９の動作を説明すれば、オーディオデータ及び画像データはそれぞれオーディオコーデック８５及び画像コーデック８０で符号化され、それぞれの経路(path)を通じてバッファ部２２０に入力される。このとき、合成動画像の第１入力は無条件画像データに固定されると仮定する。バッファ部２２０の内部には２つのオーディオバッファ(Aud_Buf1,Aud_Buf2)２２４及び２２６と一つのイメージバッファ(Img_Buf)２２２が存在する。その動作順序は次のようである。

まず、イメージバッファ２２０は画像コーデック８０から出力される１フレームの画像データＪＰＥＧ１を入力する。このとき、イメージバッファ２２０は経路（ａ）を通じて第１スイッチ(speech input switch)２１１が(１)に位置するようにスイッチング制御し、したがって、オーディオコーデック８５から出力されるオーディオデータは第１オーディオバッファ(Aud_Buf1)に印加されてバッファリングされる。この後、イメージバッファ２２２にバッファリングされる画像データＪＰＥＧ１はヘッダ生成器２３０に印加され、このヘッダ生成器２３０は画像データＪＰＥＧ１にヘッダを挿入する。そして、ヘッダが挿入されたＪＰＥＧ１画像データは合成器２４０を通じてメモリ３０に伝達される。この後、イメージバッファ２２０は次のフレームの画像データＪＰＥＧ２をバッファリングするための準備をし、また経路（ａ）を通じて第１スイッチ２１１を(２)に位置するように制御し、同時に経路（ｂ）を通じて第２スイッチ(speech output switch)２１３が(３)に位置するように制御する。すると、第１オーディオバッファ２２４にバッファリングされたオーディオデータが合成器２４０に印加され、第２オーディオバッファ２２６にはオーディオコーデック８５から出力されるオーディオデータがバッファリングされる。その後、イメージバッファ２２２がＪＰＥＧ２のバッファリングを完了すれば、イメージバッファ２２０は画像データＪＰＥＧ２をヘッダ生成器２３０に出力し、ヘッダ生成器２３０は画像データＪＰＥＧ２にヘッダを挿入する。そして、ヘッダが挿入された画像データＪＰＥＧ２は合成器２４０を通じてメモリ３０に伝達される。その後、イメージバッファ２２０は次のフレームの画像データＪＰＥＧ３をバッファリングするための準備をし、また経路（ｂ）を通じて第１スイッチ２１１を(１)に位置するように制御し、同時に経路（ｂ）を通じて第２スイッチ２１３が(４)に位置するように制御する。すると、第２オーディオバッファ２２６にバッファリングされたオーディオデータが合成器２４０に印加され、第１オーディオバッファ２２４にはオーディオコーデック８５から出力されるオーディオデータがバッファリングされる。

上記のような動作を反復すれば、ヘッダ生成器２３０はイメージバッファ２２０で順次に出力される符号化した画像データＪＰＥＧ１、ＪＰＥＧ２、ＪＰＥＧ３、ＪＰＥＧ４、…にそれぞれヘッダを生成して挿入し、合成器２４０は順次に受信される符号化した画像データ及びオーディオデータを合成してヘッダ１、ＪＰＥＧ１、第１オーディオバッファ２２４の出力、ヘッダ２、ＪＰＥＧ２、第２オーディオバッファ２２６の順に出力される。そして、イメージバッファ２２２がスイッチ２１１及び２１３を制御するので、第１及び第２オーディオバッファ２２４及び２２６はそれぞれバッファリングされたオーディオデータを出力するようになる。したがって、メモリ３０に貯蔵される合成画像データは図１０Ｂのような動画像形態となることがわかる。

図８は、合成画像データを生成して貯蔵する他の形態の流れを示すものである。図８は、カメラ部４０から撮影される動画像を画像コーデック８０を通じて画像データＪＰＥＧに符号化してメモリ３０に貯蔵した後、メモリ３０に貯蔵された画像データＪＰＥＧにオーディオデータを合成して合成画像データを生成する手続きを示す。

図８を参照すれば、使用者はキー入力部２７を通じて動画像モードを遂行するための命令語を発生する。すると、制御部１０はステップ４５１で動画像モードであることを感知し、ステップ４５３及びステップ４５５でカメラ部４０を駆動して撮影を始め、画像処理部５０を制御してカメラ部４０で撮影される動画像信号ＪＰＥＧの符号化動作を始める。このとき、カメラ部４０で撮影される動画像信号は画像処理部５０を通じて表示部６０で印加されて表示する。

画像コーデック８０はフレームサイズの画像データをＪＰＥＧ符号化し、制御部１０は画像データＪＰＥＧの受信を待機する。その後、ＪＰＥＧ符号化された１フレームの画像データが受信されると、制御部１０はステップ４５７でこれを感知し、ステップ４５９で１フレームのＪＰＥＧデータをメモリ３０に貯蔵する。制御部１０はこのような動作を動画像モードの終了まで反復遂行し、このときメモリ３０に貯蔵されているデータは画像データＪＰＥＧとなる。

今後、使用者が動画像モードの終了を要求すれば、制御部１０はステップ４６１でこれを感知し、ステップ４６３で画像コーデックをオフさせる。また、ステップ４６５〜ステップ４６９を遂行しつつメモリ３０に貯蔵された動画像の名前、撮影場所及び時間を登録する。上記動作は、図７のステップ４３１〜４３５と同一に遂行させうる。

ステップ４５１〜４６９を遂行すれば、メモリ３０には画像データＪＰＥＧのみが貯蔵される。したがって、画像データＪＰＥＧにオーディオを合成する動作を遂行するためには、使用者はキー入力部２７を通じてオーディオ合成モードを命令する。すると、制御部１０は、ステップ４５１で動画像モードではないことを感知した後に、ステップ４７１でオーディオ合成モードであることを感知し、ステップ４７３で画像コーデック８０及びオーディオコーデック８５を駆動する。そして、制御部１０はステップ４７４でメモリ３０で貯蔵している動画像をメニューに表示して使用者の選択を待機する。このとき、使用者が表示中の動画像のうち特定動画像を選択すれば、制御部１０はステップ４７５でこれを感知し、ステップ４７７で選択された動画像の第１ＪＰＥＧフレームを復元する。この復元過程を説明すれば、画像データＪＰＥＧは画像コーデック８０に印加され、画像コーデック８０は受信される画像データＪＰＥＧを元の画像データに復元(decoding)し、画像処理部５０の画面画像生成部はこれを表示部６０のサイズにスケーリングして出力する。したがって、表示部６０には復元された画像データが表示される。そして、画像コーデック８０が１画面の画像データを復元する間に制御部１０はステップ４７９でオーディオコーデック８５から出力される符号化したオーディオデータをバッファリングする。その後、ＪＰＥＧ符号化された１画面の画像データが復元されると、制御部１０はステップ４８１でこれを感知し、ステップ４８３でバッファリングされたオーディオデータにアクセスし、ステップ４８５でＪＰＥＧ符号化された画像データ及びオーディオデータを合成するためのヘッダを生成する。その後、制御部１０はステップ４８７で図１０Ｂのように生成されたヘッダ、ＪＰＥＧ符号化された画像データ及び前記オーディオデータを合成した後、メモリ３０に貯蔵する。そして、使用者が動画像モードを解除させるまで１画面単位で前記画像データＪＰＥＧを復元して表示しつつ、ヘッダ、画像データＪＰＥＧ、及びオーディオデータを合成してメモリ３０に貯蔵する上記のような動作を反復遂行する。

したがって、メモリ３０に貯蔵される合成動画像データは図１０Ａに示したように静止画像データＪＰＥＧ１、ＪＰＥＧ２、…が連続的に貯蔵され、それによりメモリ３０に貯蔵された画像データは動画像形態になる。

上記のように画像データＪＰＥＧにオーディオデータを合成する動作の終了が要求されると、制御部１０はステップ４８９でこれを感知し、ステップ４９３〜４９７を遂行しつつ合成画像データの名前を登録する。この過程は、ステップ４３１〜４３５と同一に遂行させる。ステップ４６５〜４６９で登録した動画像をそのまま使用する場合、ステップ４９３〜４９７は省略可能である。

図１１は本発明の実施例によりカメラ部４０で撮影される動画像信号を画像処理部５０の画像コーデック８０で連続静止画像のＪＰＥＧ符号化データに生成し、この生成されるＪＰＥＧ符号化画像によるテキスト信号を生成した後、この生成された動画像及びテキスト信号を合成してメモリ３０に貯蔵する過程を示すものである。そして、図１２は合成動画像信号を生成して貯蔵するとき、動画像信号を生成して貯蔵した後、この貯蔵された動画像信号によるテキスト信号を合成して貯蔵する過程を示す。図１３は、図１１のような動作手続きを遂行する装置の構造を示すものである。

図１１を参照すれば、使用者はキー入力部２７を通じて動画像及びテキスト信号を合成するための動画像合成モードを遂行するための命令語を発生する。すると、制御部１０はステップ１４１１で動画像合成モードであることを感知し、ステップ１４１３でカメラ部４０を駆動して撮影を始め、画像処理部５０の画像コーデック８０を制御してカメラ部４０で撮影される動画像信号のＪＰＥＧ符号化動作を始める。このとき、カメラ部４０で撮影される動画像信号は画像処理部５０を通じて表示部６０で印加されて表示される。

画像コーデック８０はフレームサイズの画像データをＪＰＥＧ符号化し、１画面の画像信号をコーディングすれば、これを制御部１０に伝送する。ＪＰＥＧ符号化された１画面の画像信号が受信されると、制御部１０はステップ１４１５でこれを感知し、ステップ１４１７でＪＰＥＧ符号化された画像データのヘッダを生成して挿入する。このとき、ヘッダの情報は符号化された１画面の画像信号サイズ及び画像であることを示すパターン信号などとなる。その後、制御部１０はステップ１４１９でヘッダが挿入されたＪＰＥＧ画像をメモリ３０に貯蔵する。このとき、ＪＰＥＧ画像はメモリ３０のイメージバッファに貯蔵される。そして、上記のような動画像コーディング動作は使用者が動画像受信動作を解除させるまで反復遂行する。

したがって、メモリ３０に貯蔵される合成動画像データは静止画像データＪＰＥＧ１、ＪＰＥＧ２、…が連続して貯蔵され、それによりメモリ３０に貯蔵された画像データは動画像形態となる。このとき、符号化された画像データＪＰＥＧ１、ＪＰＥＧ２、ＪＰＥＧ３、…は上記したように画像コーデック８０の符号化能力により決定される。

上記のようにフレーム単位に符号化された合成画像データを生成する途中で使用者から動画像モードの終了要求が発生すると、制御部１０はステップ１４２１でこれを感知し、ステップ１４２３で貯蔵された動画像信号に合成するためのテキスト信号の選択有無を知らせるメニューを表示部６０に表示する。このとき、使用者がテキスト信号の入力を選択すれば、制御部１０はステップ１４２５でこれを感知し、ステップ１４３３で表示部６０にテキスト表示形態(text display type)を表示する。その後、使用者が表示形態のうち所定の表示方法を選択すれば、制御部１０はステップ１４３４でこれを感知し、ステップ１４３５で前記選択された表示方法により表示可能なテキストの最大長さを表示する。ここで、テキスト表示形態は先表示方法、後表示方法、スライド表示方法、パイルアップ表示方法などがある。

第１に、先表示方法(top display type)は動画像信号を表示する前にまずテキスト信号を表示する方法を意味する。この先表示方法を選択した場合、制御部１０は表示可能な最大テキスト長さを表示しない。

第２に、後表示方法(bottom display type)は動画像信号を表示した後、後でテキスト信号を表示する方法を意味する。この後表示方法を選択した場合、制御部１０は表示可能な最大テキスト長さを表示しない。

第３に、スライド表示方法(slide display type)は動画像信号を再生しつつ表示部６０の特定位置に前記テキスト信号をスライディングさせて表示する方法を意味する。このとき、テキストをスライディングする速度は動画像信号の全体再生時間に合わせて決定する。したがって、スライド表示方法を選択すれば、前記動画像信号との同期のために最大入力可能な文字数を制限する必要がある。ここで、１文字のスライディング速度を0.5secと仮定すれば、テキストの最大長さを下記のように計算することができる。

例えば、貯蔵された動画像信号の再生時間が１０秒であれば、入力可能な最大文字数は２０文字となる。したがって、制御部１０はメモリ３０のイメージバッファに貯蔵された動画像信号の再生時間を計算した後、計算結果によりスライディング表示形態で表示可能な最大文字数を計算してこれを表示する。また、この表示部６０の特定位置は表示部６０の上端または下端、そして左側または右側となる。また、表示部６０はテキスト信号を画像表示領域以外の表示領域にテキスト信号を表示し、あるいは画像信号が表示される領域にオンスクリーン形態で前記テキストを表示することもできる。

第４に、パイルアップ表示方法(pile-up display type)は前記スライディング表示方法に類似した表示方法で、動画像を再生する中に表示部６０に設定されたサイズのテキスト信号を表示部６０の特定位置に一度に表示する方法である。すなわち、パイルアップ表示方法は表示部６０に設定された数の文字を一定時間表示した後、時間が経ると、次の文字を上記のような方法で表示する方法である。このとき、一度に表示できる文字数の設定は表示部６０のサイズにより決定されうる。上記のようなパイルアップ方法を選択すれば、動画像信号との同期のために最大入力可能な文字数を制限する必要がある。本発明の実施例では１０つの文字と仮定し、この１０つの文字を表示する時間は２秒と仮定すれば、上記のようにテキストの最大長さを計算することができる。

したがって、総画像信号の再生時間が１０秒であればパイルアップ表示方法で表示可能な最大文字数は５０文字となる。したがって、制御部１０はメモリ３０のイメージバッファに貯蔵された動画像信号の再生時間を計算した後、計算結果によりパイルアップ表示形態で表示可能な最大文字数を計算してこれを表示する。また、表示部６０の特定位置は表示部６０の上端または下端、そして左側または右側となる。また、表示部６０はテキスト信号を画像表示領域以外の表示領域にテキスト信号を表示し、あるいは前記画像信号が表示される領域にオンスクリーン形態でテキストを表示することもある。

図１１を再び参照すると、その後、制御部１０は使用者がテキストを入力すれば、ステップ１４３７でこれを受信してメモリ３０に貯蔵する。このとき、テキストはメモリ３０のテキストバッファに貯蔵可能である。その後、テキストの入力が終了すれば、制御部１０はステップ１４３９でこれを感知し、ステップ１４４１で前記受信されたテキストにヘッダを挿入する。このとき、テキストヘッダはテキストであることを示すパターンと受信されたテキスト長さなどを含む。

図１４Ａはテキスト信号のフォーマットを示すもので、図１４ＢはＪＰＥＧ画像信号のフォーマットを示すもので、図１４Ｃはテキスト信号及び動画像信号が合成された信号のフォーマットを示すものである。

図１４Ａを参照すれば、Ｐはパターン信号(pattern signal)を挿入する領域で、続くデータがテキスト信号であることを示すパターンを挿入し、Ｌはテキスト信号の全長(text total length)を挿入し、Ｔは表示形態(display type)を挿入する領域で“００００”は先表示方法、“０００１”は後表示方法、“００１０”はスライド表示方法、“００１１”はパイルアップ表示方法と仮定する。そして、Ｔ領域の次はテキスト信号が挿入される領域となる。ここで、Ｐ、Ｌ、Ｔはテキストヘッダである。

また図１４Ｂを参照されば、Ｐはパターン信号を挿入する領域であって、続くデータがＪＰＥＧ画像信号であることを示すパターンを挿入し、ＬはＪＰＥＧ画像信号の全長(Image total length)を挿入する領域である。ここで、Ｐ及びＬはイメージヘッダとなる。

前記テキスト入力が終了すれば、制御部１０はステップ１４４３でメモリ３０のイメージバッファに貯蔵された動画像信号にメモリ３０のテキストバッファに貯蔵されたテキスト信号を合成する。このとき、動画像信号は連続して処理されるべき信号であるが、テキスト信号は上記したように必要により適切に表示すればよい。したがって、テキスト信号はオーディオ信号とは異なって動画像信号にインタレースされて合成しなくてもよい。本発明の実施例では、テキスト信号を動画像信号の前に挿入させて合成動画像信号を生成すると仮定する。図１４Ｃはテキスト信号と動画像信号が合成された合成動画像信号のフォーマットを示す。

図１１を再び参照すると、上記のように、前記動画像信号にテキスト信号を合成して合成動画像信号を生成した後、制御部１０はステップ１４２７でメモリ３０に貯蔵された動画像の名前を登録するための情報を表示する。このとき、携帯電話機がＧＰＳ受信機を備えない場合、動画像を撮影した場所及び時間、そしてメモリ３０に貯蔵された合成動画像信号の名前を入力するように案内するメニューを表示することができる。そして、携帯電話機がＧＰＳ受信機を備える場合、メモリ３０に貯蔵された合成動画像信号の名前を入力するように案内するメニューを表示することができる。このメニュー情報は制御部１０で生成し、この生成された情報は使用者データとして表示部６０上に表示される。

上記のようにメニューを表示する状態でキー入力部２７を通じて合成動画像の名前を入力すれば、制御部１０はステップ１４２９でこれを感知し、ステップ１４３１でメモリ３０に貯蔵された合成動画像に対応する名前、撮影場所及び時間情報を入力する。このとき、使用者は撮影場所及び時間情報を入力せず、名前のみを入力することも可能である。この場合、使用者は名前を入力した後終了キーを押すと、制御部１０は終了キーにより名前メニューに入力された情報を通じて名前のみを登録する。

図１１に、制御部１０で合成動画像信号を生成して貯蔵する動作手続きを示す。しかし、図１１のような動作は図９に示した構成でも具現可能である。図１３は、携帯電話機で合成動画像信号を生成して貯蔵する構成を示すものである。図１３の構成でバッファ部２２２、２２８、スイッチ２１１、２１３、ヘッダ生成器２３０、テキストヘッダ生成器２３５、及び合成器２４０は制御部１０の構成となる。

図１３の構成において、画像コーデック８０はカメラ部４０で撮影された画像データを符号化して画像データＪＰＥＧを生成する。イメージバッファ２２２は画像コーデック８０から出力される画像データＪＰＥＧをバッファリングする。ヘッダ生成器２３０はイメージバッファ２２２で画像データＪＰＥＧの出力時にヘッダを生成して挿入する。制御部１０は動画像信号に合成するテキストを発生する。この制御部１０は使用者が入力するテキスト信号を処理し、または使用者により指定された文字メモを選択して前記テキスト信号として発生することもできる。テキストバッファ２２８は制御部１０で生成されるテキストを貯蔵する。テキストヘッダ生成器２３５はテキストバッファ２２８から出力されるテキスト信号にヘッダを生成して挿入する。合成器２４０はテキストヘッダ生成器２３５から出力されるテキスト信号を前記イメージヘッダ生成器２３０から出力されるＪＰＥＧ画像に合成して合成画像データを出力する。メモリ３０は制御部１０の制御下に合成器２４０から出力される合成画像データを貯蔵する。

図１２は、合成画像データを生成して貯蔵するまた他の形態の流れを示すものである。図１２はカメラ部４０から撮影される動画像を画像コーデック８０を通じて画像データＪＰＥＧに符号化してメモリ３０に貯蔵した後、メモリ３０に貯蔵された画像データＪＰＥＧにテキスト信号を合成する手続きを示す。

図１２を参照すれば、使用者はキー入力部２７を通じて動画像モードを遂行するための命令語を発生する。すると、制御部１０はステップ１４５１で動画像モードであることを感知し、ステップ１４５３でカメラ部４０を駆動して撮影を始め、画像処理部５０の画像コーデック８０を制御してカメラ部４０で撮影される動画像信号ＪＰＥＧの符号化動作を始める。このとき、カメラ部４０で撮影される動画像信号は画像処理部５０を通じて表示部６０で印加されて表示される。

この画像コーデック８０はフレームサイズの画像データをＪＰＥＧ符号化し、１画面の画像信号をコーディングすれば、これを制御部１０に伝送する。ＪＰＥＧ符号化された１画面の画像信号が受信されると、制御部１０はステップ１４５５でこれを感知し、ステップ１４５７でＪＰＥＧ符号化した画像データのヘッダを生成して挿入する。このとき、ヘッダの情報は符号化された１画面の画像信号サイズ及び画像であることを示すパターン信号などとなる。この後、制御部１０はステップ１４５９でヘッダが挿入されたＪＰＥＧ画像をメモリ３０に貯蔵する。このとき、ＪＰＥＧ画像はメモリ３０のイメージバッファに貯蔵される。そして、上記のような動画像コーディング動作は使用者が動画像受信動作を解除させるまで反復遂行する。

この後、使用者が動画像モードの終了を要求すれば、制御部１０はステップ１４６１でこれを感知し、ステップ１４６３で動画像情報の入力命令のメニュー情報を表示する。ステップ１４６５及び１４６７を遂行しつつメモリ３０に貯蔵された動画像の名前、撮影場所及び時間を登録する。この動作は図１１のステップ１４２９及び１４３１と同一に遂行させることができる。

ステップ１４５１〜１４６７を遂行すれば、メモリ３０には画像データＪＰＥＧのみが貯蔵される。したがって、画像信号ＪＰＥＧにテキスト信号を合成する動作を遂行するためには、使用者はキー入力部２７を通じてテキスト合成モードを命令する。ステップ１４５１で動画像モードではないことを感知した後に、ステップ１４６９でテキスト合成モードを感知すれば、制御部１０はステップ１４７１で表示部６０にテキスト表示形態(text diplay type)を表示する。この後、使用者が表示形態のうち所定の表示方法を選択すれば、制御部１０はステップ１４７３でこれを感知し、ステップ１４７５で選択された表示方法により表示可能なテキストの最大長さを表示する。ここで、テキスト表示形態は上記したように先表示方法、後表示方法、スライド表示方法、パイルアップ表示方法などがある。

この後、制御部１０は使用者がテキストを入力すれば、ステップ１４７７でこれを受信してメモリ３０に貯蔵する。このとき、テキストはメモリ３０のテキストバッファに貯蔵される。この後、テキストの入力が終了すれば、制御部１０はステップ１４７９でこれを感知し、ステップ１４８１で受信されたテキストにヘッダを挿入する。このとき、テキストヘッダは図１４に示したようにテキストであることを示すパターンと受信されたテキストの長さなどを含む。

上記のテキスト入力が終了すると、制御部１０はステップ１４８３でテキスト信号を合成する動画像信号を選択するためのメニューを表示する。すなわち、メモリ３０は多数の動画像信号を貯蔵しており、テキスト信号の合成時に前記制御部１０はステップ１４８３で貯蔵している動画像信号を表示する。このとき、使用者が所定の動画像信号を選択すれば、制御部１０はステップ１４８５でこれを感知し、ステップ１４８９で前記選択された動画像信号に前記テキスト信号を合成する。

図１５は、本発明の実施例によりカメラ部４０で撮影される画像信号を連続する動画像信号にコーディングし、この動画像信号にオーディオ信号及びテキスト信号を合成する手続きを示す流れ図である。ここで、図１５は図７のようなオーディオ合成及び図１１のような合成手続きにより進行できる。そして、図１７は前記図１５のような手続きで生成される合成動画像信号の構成を示すものである。

図１５を参照すれば、まず動画像信号にオーディオ及びテキスト信号を合成するための動画像合成モードが選択されると、制御部１０はステップ８１１でこれを感知し、ステップ８１３でカメラ部４０、画像コーデック８０、及びオーディオコーデック８５を駆動する。その後、制御部１０はステップ８１５で図７のステップ４１７〜４２７のような動作を遂行しつつ連続する符号化画像画面信号に符号化するオーディオ信号を合成する。その後、制御部１０はステップ８１７で図１１のステップ１４２３〜１４４３のような動作を遂行しつつ、オーディオ信号が合成された動画像信号にテキストを合成する。その後、制御部１０はステップ８１９で動画像信号にオーディオ及びテキストが合成された動画像信号を貯蔵する。このときの動作手続きは図７のステップ４３１〜４３５または図１１のステップ１４２７〜１４３１の手続きを遂行する。

そして、図１５に示す手続きを遂行しつつ生成される合成動画像信号は図１７のような構成の装置でも遂行でき、このとき生成される合成動画像信号の構造は図１８に示すようである。

また、図１６は本発明の実施例によりカメラ部４０で撮影される画像信号を連続する動画像信号にコーディングし、このような動画像信号にオーディオ信号及びテキスト信号を合成する手続きを示すまた他の方法の流れ図である。ここで、図１６は図８のようなオーディオ合成及び図１２に示す合成手続きにより進まれる。

図１６を参照すれば、制御部１０は動画像モードが選択されると、ステップ８３１でこれを感知し、ステップ８３３で図８のステップ４５３〜４６３の手続きを遂行しつつ連続入力される画像画面を符号化して動画像信号を生成する。また、オーディオ合成モードが選択されると、制御部１０はステップ８３５でこれを感知し、ステップ８３７で図８のステップ４７３〜４９１を遂行しつつ選択された動画像信号にオーディオ信号を合成する。また、テキスト合成モードが選択されると、制御部１０はステップ８３９でこれを感知し、ステップ８４１で図１２のステップ１４７１〜１４８１の手続きを遂行しつつ選択された動画像信号にテキスト信号を合成する。このとき、選択される動画像信号はここにオーディオ信号が合成された動画像信号となる。そして、上記のように動画像信号または動画像信号を合成した後、制御部１０はステップ８４３で図８のステップ４６５〜４６９または図１２のステップ１４６３〜１４６７を遂行しつつ合成動画像信号を貯蔵する。

図１５〜図１７の方法で生成される合成動画像信号は、上記したような動画像信号にオーディオ及びテキスト信号が合成された信号となり、このときの合成動画像信号は図１８に示す構造を有する。

図１９は、本発明の第２実施例によりメモリ３０に貯蔵された合成動画像を再生する手続きを示す流れ図である。

図１９を参照すれば、使用者がキー入力部２７を通じて動画像再生モードを命令すれば制御部１０はステップ５１１でこれを感知し、ステップ５１３で表示部６０に動画像メニューを表示する。このとき、動画像メニュー情報はメモリ３０に貯蔵している合成動画像の名前または撮影場所及び時間となる。動画像メニューが表示している状態で使用者が希望する動画像を選択すれば、制御部１０はステップ５１５でこれを感知し、ステップ５１７及び５１９で画像コーデック８０及びオーディオコーデック８５を駆動すると同時にメモリ３０で選択された合成動画像情報にアクセスする。

この後、制御部１０はステップ５２１でアクセスされた合成動画像のヘッダを分析してＪＰＥＧ画像及びオーディオデータを分離する。その後、制御部１０はＪＰＥＧ画像データであればステップ５２５で画像データＪＰＥＧを画像コーデック８０に伝送し、オーディオデータであればステップ５２３でオーディオコーデック８５に伝送する。すると、ＪＰＥＧ画像は画像処理部５０の表示画面生成部を通じて処理された後、表示部６０に表示され、オーディオはオーディオ処理部２５を通じてスピーカで再生される。この状態で、制御部１０はステップ５２９でさらに次のフレームの合成動画像にアクセスした後、ステップ５２１〜５２５を反復遂行する。したがって、メモリ３０に貯蔵された合成動画像は連続的に表示部６０及びスピーカを通じて連続的に再生され、したがって動画像形態に再生される。制御部１０はメモリ３０で最後のフレームの合成動画像を再生し、あるいは使用者から再生中止命令が発生すると、ステップ５２７でこれを感知し、動画像再生モードを終了する。

図１９は、制御部１０で合成動画像信号を生成して貯蔵する動作手続きを示すものである。図１９の動作は図２０に示す構成でも具現可能である。図２０は携帯電話機で合成動画像信号を生成して貯蔵する構成を示すものである。図２０の構成でヘッダ分析器２５０、スイッチ２６１、２６３、２６５、バッファ部２７０は制御部１０の構成となる。

図２０の構成において、メモリ３０は合成動画像を貯蔵しており、制御部１０の制御下に選択された合成動画像がアクセスされる。ヘッダ分析器２５０はメモリ３０でアクセスされる合成動画像のヘッダを分析してＪＰＥＧ画像及びオーディオを分離するためのスイッチ制御信号を発生する。スイッチ２６１は共通端子がメモリ３０に連結され、第１出力端子がオーディオ信号をスイッチング出力するスイッチ２６３の共通端子に連結され、第２出力端子がイメージバッファ２７２に連結される。バッファ部２７０のイメージバッファ(Img_Buf)２７はスイッチ２６１から出力される画像データＪＰＥＧをバッファリングする。第１及び第２オーディオバッファ(Aud_Buf)２７４及び２７６はそれぞれ符号化されたオーディオデータをバッファリングする。スイッチ２６３は共通端子がスイッチ２６１の第１出力端子に連結され、第１出力端子が第１オーディオバッファ２７４の入力端に連結され、第２出力端子が第２オーディオバッファ２７６の出力端に連結される。また、スイッチ２６５は第１入力端子が第１オーディオバッファ２７４の出力端に連結され、第２入力端子が第２オーディオバッファ２７６の出力端に連結され、共通端子がオーディオコーデック８５に連結される。スイッチ２１１及び２１３はイメージバッファ２７０の出力により制御される。したがって、バッファ部２７０はメモリ３０から出力される合成画像でオーディオとＪＰＥＧ画像を分離する分離器(splitter)機能を遂行する。オーディオコーデック８５はスイッチ２６５から出力される符号化オーディオ信号を復元して出力する。画像コーデック８０はイメージバッファ２７２から出力される画像データＪＰＥＧを復元して出力する。

図２０の動作を説明すれば、オーディオデータ及び画像データはそれぞれオーディオコーデック８５及び画像コーデック８０で復号化され、それぞれの経路(path)を通じてバッファ部２７０に入力される。このとき、合成動画像の第１入力は無条件画像データに固定すると仮定する。バッファ部２７０の内部には２つのオーディオバッファ(Aud_Buf1, Aud_Buf2)２７４及び２７６と一つのイメージバッファ(Img_Buf)２７２が存在する。動作順序は次のようである。

まず、メモリ３０は貯蔵している合成動画像のうち選択された合成動画像を出力する。メモリ３０で貯蔵された合成動画像は、図１０Ｂに示したようにイメージヘッダを含むＪＰＥＧ画像及び符号化したオーディオがＪＰＥＧ画像のフレーム単位で貯蔵されている。したがって、動画像再生モード時に合成画像からＪＰＥＧ画像とオーディオを分離した後に再生すべきである。ヘッダ分析器２５０はメモリ３０から出力される図１０Ｂのような合成画像で前記ヘッダを分析してオーディオとＪＰＥＧ画像を分離するためのスイッチ制御信号を発生する。合成画像の形態は上記したようにヘッダ、ＪＰＥＧ画像、そしてオーディオ順に貯蔵されていると仮定する。

ヘッダ分析器２５０は合成画像のヘッダを分析した後、画像データＪＰＥＧであればスイッチ(A/V switch)を(１)の位置に移す。そして、イメージバッファ２７２はスイッチ(speech input switch)２６３を(２)の位置に移す。すると、メモリ３０から出力されるＪＰＥＧ画像はスイッチ２６１を通じてイメージバッファ２７２に貯蔵される。このとき、ヘッダ分析器２５０は１フレームのＪＰＥＧ画像が前記イメージバッファ２７２に印加されるようにスイッチ２６１が(６)に位置するように制御する。それにより、ＪＰＥＧ画像はイメージバッファ(Img_Buf)２７２に貯蔵される。このとき、メモリ３０でＪＰＥＧ画像の出力が終了すれば、ヘッダ分析器２５０はスイッチ２６１を(５)位置に移す。このとき、スイッチ２６３は(１)に位置している状態なので、メモリ３０から出力されるオーディオデータは第１オーディオバッファ(Aud_Buf1)に貯蔵される。

イメージバッファ(Img_Buf)２７２はバッファリングされた画像データＪＰＥＧを前記画像コーデック８０に印加し、スイッチ(speech output switch)を(３)位置に移し、第１オーディオバッファ(Aud_Buf1)のオーディオデータをオーディオコーデック８５に伝送する。すると、画像コーデック８０はＪＰＥＧ画像を復元して表示部６０に伝送し、オーディオコーデック８５は符号化したオーディオデータを復元してスピーカに出力する。

この後、メモリ３０で次のフレームの合成画像が出力されると、ヘッダ分析器２５０はスイッチ２６１を(６)に位置させ、イメージバッファ２７２はバッファリング中のＪＰＥＧ画像の出力が終了すれば、スイッチ２６３を(２)に位置させる。上記したようにメモリ３０から出力される次のフレームのＪＰＥＧ画像がイメージバッファ２７２にバッファリングされ、メモリ３０でＪＰＥＧ画像の出力が終了すると、ヘッダ分析器２５０はスイッチ２６１を(５)位置に移す。このとき、スイッチ２６３は(２)に位置されている状態なので、メモリ３０から出力されるオーディオデータは第２オーディオバッファ(Aud_Buf2)に貯蔵される。上記のような動作を反復しつつ、メモリ３０に貯蔵された合成画像を再生する。

図２１は、本発明の実施例によりメモリ３０に貯蔵された合成動画像を再生する手続きを示す流れ図である。ここで、合成動画像信号は動画像信号にテキスト信号が合成された場合であると仮定して説明する。

図２１を参照すれば、使用者がキー入力部２７を通じて合成動画像再生モードを命令すれば、制御部１０はステップ１５１１でこれを感知し、ステップ１５１３で表示部６０に動画像メニューを表示する。このとき、動画像メニュー情報はメモリ３０に貯蔵している合成動画像の名前または撮影場所及び時間となる。この動画像メニューが表示されている状態で使用者が希望する動画像を選択すれば、制御部１０はステップ１５１５でこれを感知し、ステップ１５１７で画像コーデック８０を同時にメモリ３０で選択された合成動画像情報のヘッダにアクセスする。ステップ１５１５で動画像が選択されなければ、手続きはステップ１５１３へ進行する。

その後、制御部１０はステップ１５１９でアクセされたス合成動画像のヘッダを分析してＪＰＥＧ画像とテキスト信号を分離する。このとき、ヘッダ分析の結果がテキストヘッダであれば、制御部１０はステップ１５２１及び１５２３でヘッダの表示形態及び長さを分析する。その後、制御部１０はステップ１５２５でテキスト信号にアクセスした後、ステップ１５２７で表示形態により表示部６０に出力して表示する。また、ステップ１５１９でのヘッダ分析の結果、イメージヘッダであれば、ステップ１５２９でヘッダの動画像長さを確認した後、ステップ１５３１で動画像信号にアクセスした後、ステップ１５３３で画像コーデック８０に伝送する。すると、画像コーデック８０はＪＰＥＧ画像信号を元の画像信号に復元し、画像処理部５０は復元された画像信号を表示部６０のサイズに合うように調整した後、表示部６０に出力して表示する。そして、動画像信号の再生が終了すれば、図２１のような手続きを終了する。

このとき、制御部１０はテキスト表示形態により先表示方法であれば、テキスト信号をまず表示部６０に出力して表示し、その後、動画像に連続的にアクセスして画像コーデック８０に出力する。すると、表示部６０はまずテキスト信号を表示した後、次に連続して受信される静止画像信号を動画像に表示する。第２に、前記表示形態が後表示方法であれば、動画像信号に連続的にアクセスして画像コーデックに出力し、画像信号の出力を終了した後、表示部６０にテキスト信号を出力する。表示部６０は静止画像信号を連続的に受信して動画像信号に表示し、その後、受信されるテキスト信号を表示する。第３に、表示形態がスライド表示方法であれば、画像信号を画像コーデック８０に出力すると同時に、上記<数式１>により決定された時間にこのテキストを表示部６０に伝送する。したがって、表示部６０は静止画像信号を連続的に受信して動画像信号に表示すると同時に制御部１０から出力されるテキスト信号を特定位置でスライディングさせて表示する。第４に、表示形態がパイルアップ表示方法であれば、画像信号を画像コーデック８０に出力すると同時に<数式２>により決定された時間で設定された数のテキストを表示部６０に伝送する。したがって、表示部６０は静止画像信号を連続的に受信して動画像信号に表示すると同時に制御部１０から出力される所定数のテキスト信号を特定位置に表示する。

図２１は、制御部１０で合成動画像信号を生成して貯蔵する動作手続きを示すものである。しかし、図２１のような動作は図２２のような構成でも具現可能である。図２２は、携帯電話機で合成動画像信号を再生する構成を示すものである。

図２２の構成において、メモリ３０は合成動画像を貯蔵しており、制御部１０の制御下に選択された合成動画像がアクセスされる。ヘッダ分析器２５０はメモリ３０でアクセスされる合成動画像のヘッダを分析してＪＰＥＧ画像及びテキスト信号を分離するためのスイッチ制御信号を発生する。スイッチ２６１は共通端子がメモリ３０に連結され、第１出力端子がテキストバッファ２２８に連結され、第２出力端子がイメージバッファ２７２に連結される。このイメージバッファ２２２はスイッチ２６１から出力されるＪＰＥＧ画像信号をバッファリングする。テキストバッファ２２８はスイッチ２６１から出力されるテキスト信号をバッファリングする。

ヘッダ分析器２５０及びスイッチ２６１、そしてバッファ２２２及び２２８は前記メモリ３０から出力される合成画像からテキスト信号及びＪＰＥＧ画像信号を分離する分離機能を遂行する。画像コーデック８０はイメージバッファ２２２から出力されるＪＰＥＧ画像データを復元して出力する。表示部６０は制御部１０の制御下に表示形態により出力されるテキスト信号及び動画像信号を表示する。

図２２の動作において、メモリ３０は貯蔵している合成動画像の中で選択された合成動画像を出力する。このメモリ３０で貯蔵された合成動画像は図１４Ａに示したようなテキストヘッダを含むテキスト信号及び図１４Ｂに示したようなイメージヘッダを含むＪＰＥＧ画像信号が貯蔵されている。したがって、動画像再生モード時に合成画像からＪＰＥＧ画像とオーディオを分離してから再生しなければならない。ヘッダ分析器２５０はメモリ３０から出力される図１４Ｃのような合成動画像信号でテキスト及び画像のヘッダを分析する。このとき、ヘッダ分析時にテキストヘッダは図１４Ａのように構成されており、イメージヘッダは図１４Ｂのように構成されている。図１４Ｃのような構造を有する場合、ヘッダ分析器２５０はまずテキストヘッダのパターン信号によりテキスト信号であることを感知し、続くＬ値を読み出してテキスト信号の長さを確認する。そして、スイッチ２６１を制御してメモリ３０の出力をテキストバッファ２２８に連結させる。その後、ヘッダ分析器２５０はＬ値だけのテキスト信号が出力されるようにメモリ３０を制御する。したがって、メモリ３０から出力されるテキスト信号はテキストバッファ２２８に印加され、このテキストバッファ２２８にバッファリングされるテキスト信号は制御部１０に印加される。また、ヘッダ分析器２５０はイメージヘッダが入力されると、ヘッダのパターン信号によりＪＰＥＧ画像信号であることを感知し、続くＬ値を読み出してテキスト信号の長さを確認する。そして、スイッチ２６１を制御してメモリ３０の出力をイメージバッファ２２２に連結させる。その後、ヘッダ分析器２５０はＬ値だけのＪＰＥＧ信号が出力されるようにメモリ３０を制御する。したがって、メモリ３０から出力される画像信号はイメージバッファ２２８に印加され、イメージバッファ２２２にバッファリングされるＪＰＥＧ画像信号は画像コーデック８０に印加される。このとき、画像コーデック８０に印加されるＪＰＥＧ画像信号はフレームサイズの画像信号であり、ヘッダ分析器２５０は連続するフレームサイズのＪＰＥＧ画像信号を出力するように制御する。

このとき、制御部１０がテキスト信号を受信すれば、このテキストヘッダの表示形態Ｔの情報を確認する。そして、画像処理部５０を制御して指定された表示形態によりテキスト信号と動画像信号を再生する。このとき、制御部１０が画像処理部５０及び表示部６０を制御して動画像信号及びテキスト信号を再生する方法は図２１で説明したようである。

図２３は、本発明の実施例によりオーディオ及びテキスト信号が合成された動画像信号を再生する手続きを示す流れ図である。そして、図２４は動画像信号にオーディオ及びテキスト信号が合成された信号を再生する装置の構成を示すものである。

図２３を参照すれば、動画像再生モードを発生すれば、制御部１０はステップ８６１でこれを感知し、ステップ８６３で合成動画像信号のメニューを表示する。合成動画像メニューが表示されている状態で希望する動画像が選択されると、制御部１０はステップ８６５でこれを感知し、ステップ８６７及びステップ８６９で画像コーデック８０及びオーディオコーデック８５を駆動すると同時に前記選択された合成動画像情報にアクセスする。

この後、制御部１０はステップ８６９でアクセスされた合成動画像のヘッダを分析してＪＰＥＧ画像及びオーディオデータを分離する。そして、制御部１０はＪＰＥＧ画像データであれば、ステップ８７３でＪＰＥＧ画像データを画像コーデック８０に出力して表示し、オーディオデータであればステップ８７１でオーディオコーデック８５に出力して再生し、テキストデータであればステップ８７５で表示部６０に出力して表示する。

制御部１０はステップ８７９でさらに次のフレームの合成動画像にアクセスした後、ステップ８６９〜８７５を反復遂行する。したがって、合成動画像信号は連続的に表示部６０及びスピーカを通じて連続的に再生され、したがって動画像形態に再生される。制御部１０は最後のフレームの合成動画像を再生し、または使用者から再生中止命令が発生すれば、ステップ８７７でこれを感知して動画像再生モードを終了する。

図２４は、図２３に示した手続きにより遂行される合成動画像信号の再生装置の構成を示すものである。図２４の構成で、ヘッダ分析器２５０、スイッチ２６１、２６３、２６５、及びバッファ部２７０は制御部１０の構成ともなる。図２４の合成動画像信号はテキスト、ＪＰＥＧ画像、及びオーディオ信号が合成された信号の場合を仮定する。

図２４の構成において、メモリ３０に貯蔵された合成動画像信号はヘッダ分析器２５０により分析される。このヘッダ分析器２５０はメモリ３０でアクセスされる合成動画像信号に含まれるテキストヘッダ及びイメージヘッダを分析してテキスト、ＪＰＥＧ画像、及びオーディオ信号を分離するためのスイッチ制御信号を発生する。スイッチ２６１は共通端子がメモリ３０に連結され、第１出力端子がオーディオ信号をスイッチング出力するスイッチ２６３の共通端子に連結され、第２出力端子がイメージバッファ２７２に連結され、第３出力端子がテキストバッファ２７８に連結される。バッファ部２７０のテキストバッファ２７８は前記スイッチ２６１から出力されるテキスト信号をバッファリングする。また、前記バッファ部２７０のイメージバッファ(Img_Buf)２７２はスイッチ２６１から出力されるＪＰＥＧ画像データをバッファリングする。第１及び第２オーディオバッファ(Aud_Buf)２７４及び２７６はそれぞれ符号化したオーディオデータをバッファリングする。スイッチ２６３は共通端子がスイッチ２６１の第１出力端子に連結され、第１出力端子が第１オーディオバッファ２７４の入力端に連結され、第２出力端子が第２オーディオバッファ２７６の出力端に連結される。また、スイッチ２６５は第１入力端子が第１オーディオバッファ２７４の出力端に連結され、第２入力端子が第２オーディオバッファ２７６の出力端に連結され、共通端子がオーディオコーデック８５に連結される。スイッチ２６３及び２６５はイメージバッファ２７０の出力により制御される。オーディオコーデック８５はスイッチ２６５から出力される符号化したオーディオ信号を復元して出力する。画像コーデック８０はイメージバッファ２７２から出力されるＪＰＥＧ画像データを復元して出力する。

図２４の動作を説明すれば、まずヘッダ分析器２５０はメモリ３０に貯蔵された合成動画像信号を一定のサイズで読み出しつつヘッダを分析する。このとき、ヘッダのパターン信号がテキストパターンであれば、ヘッダ分析器２５０はスイッチ２６１をテキストバッファ２７８に接続し、イメージパターンであればスイッチ２６１をイメージバッファ２７２に接続し、オーディオパターンであればスイッチ２６３に接続する。そして、イメージバッファ２７２はフレーム区間でスイッチ２６３及び２６５を制御して第１オーディオバッファ２７４が入力されるオーディオ信号をバッファリングするとき、第２オーディオバッファ２７６に貯蔵されたオーディオデータを出力し、または第２オーディオバッファ２７６が入力されるオーディオ信号をバッファリングするとき、第１オーディオバッファ２７４に貯蔵されたオーディオデータが出力されるようにする。

したがって、上記のように合成動画像信号がヘッダ分析器２５０の分析によりテキスト信号、動画像信号、及びオーディオ信号に分解され、この分解された各信号はそれぞれ制御部１０、画像コーデック８０、及びオーディオコーデック８５に印加されてそれぞれ再生される。

図２５は、合成動画像信号を伝送する動作手続きを示す流れ図である。図１３で伝送される合成動画像信号は図７、図８、図１１、図１２、図１５、または図１６のような動作を遂行してメモリ３０に貯蔵された合成動画像信号となりうる。また、図２５で伝送される合成動画像信号は動画像信号にテキスト及び（または）オーディオ信号が合成された合成動画像信号ともなる。また、図２５は上記のような合成動画像信号を生成する手続きを遂行した後、その手続きを遂行することもできる。

図２５を参照すれば、使用者がキー入力部２７を通じて動画像伝送を命令すれば、前記制御部１０はステップ５５１でこれを感知し、ステップ５５３で表示部６０を通じて合成動画像メニューを表示する。ここで、合成動画像メニューはメモリ３０に貯蔵された合成動画像の名前、撮影時間及び場所となる。この合成動画像メニューを表示する状態で使用者が希望する合成動画像を選択すれば、前記制御部１０はステップ５５５でこれを感知し、ステップ５５７でこのメモリ３０に貯蔵された該当する合成動画像にアクセスする。ステップ５５５で合成動画像が選択されなければ、手続きはステップ５５３へ進行する。

その後、制御部１０はアクセスされる合成動画像を分割して伝送のためのパケットデータで組み立てる。このとき、パケットのサイズは予め定義された一定長さ(Ｎ)に固定され、１フレームの画像データは多数のパケットに分けられて生成されることができる。そして、パケット内には画像/音声データが混合されて存在することもできる。そして、この組み立てられたパケットデータをデータ処理部２０に出力して伝送する。このとき、データ処理部２０は受信されるパケットデータをデータチャンネルを通じてチャンネル符号化及び変調して出力し、ＲＦ部２３はこれを無線信号に変換して送信する。上記のように、前記合成動画像のパケット伝送が完了していなければ、制御部１０はステップ５６５で次のフレームの合成動画像にアクセスしてステップ５５９及びステップ５６１でパケットを生成及び伝送する動作を反復遂行する。この後、選択された合成動画像の伝送が完了すれば、制御部１０はステップ５６３でこれを感知し、合成動画像の伝送手続きを終了する。

図２５は、上記したようにメモリ３０に貯蔵された合成動画像を伝送することを示す。しかし、図７及び図８のような手続きを遂行しながら合成画像を生成してメモリ３０に貯蔵すると同時に前記生成された合成画像を伝送することもできる。この場合、制御部１０は１フレームの合成動画像をメモリ３０に貯蔵し、このときの合成動画像をパケットデータで組み立てて伝送すればよい。

図２６は、携帯電話機で合成動画像信号を生成して貯蔵すると同時にこの合成動画像信号を伝送する構成を示すものである。図２６の構成で、バッファ部２２０、スイッチ２１１、２１３、ヘッダ生成器２３０、合成器２４０、及びパケット生成器２４５は制御部１０の構成となる。そして、図２７Ａ〜図２７Ｅは合成動画像を伝送するためのパケットデータ構造を示すものである。

図２６の携帯電話機の送信部は画像コーデック８０で出力される連続する静止画像(ＪＰＥＧ画像)とオーディオコーデック８５を通じて符号化する連続したオーディオ信号を合成(merge)して貯蔵し、また伝送時には合成動画像に予め定められたヘッダフォーマットを添付してパケット化(packetization)した後に伝送する。ここで、符号化したオーディオデータ及びＪＰＥＧ画像データを伝送するためのパケットデータは図２７Ａ〜図２７Ｅのようである。

図２７Ａは、ＲＦ部２３を通じて伝送される合成動画像のパケット構造を示すものである。この伝送される１フレームの合成画像パケットの全体サイズ(Ｎ)は必要により決定され、約２００〜１５００bytes程度に設定される。このとき、伝送されるパケットサイズはパケット毎に一定すべきである。このパケットの構造を説明すれば、まず４４バイトのＴＣＰ/ＩＰヘッダが連結され、７ビットのシーケンス番号(sequence number)が連結される。このシーケンス番号は生成されるパケットの順序を示すもので、０〜１２７番目まで表示した後、さらに０番から挿入される。そして、シーケンス番号の後に位置されるＡ/Ｖ１ビットは該当するパケットの第１部分のデータがオーディオデータまたはＪＰＥＧ画像データであるかどうかを表示する値である。

図２７Ｂ及び図２７ＣはＪＰＥＧ画像形態(image data format)を示すものである。ＪＰＥＧ画像の場合、一般に１フレームのサイズが５〜１０kbytes程度で、したがって本発明の実施例によりＲＦ部２３を通じて伝送するときに使用されるパケットデータより大きい。それにより、１フレームのＪＰＥＧ画像データは多数のパケットに伝送すべきである。このとき、フレーム画像データの第１パケットは図２７Ｂのようにイメージヘッダ(image header)Ｐ及びＬを付加する。図２７ＢでＰはパターン信号であって、パケットデータを受信する受信機でオーディオデータとＪＰＥＧ画像データを区分するために必要な値である。図２７ＢでＬはＪＰＥＧフレームの全体サイズを示す値である。これは、受信機がパターン信号ＰによりＪＰＥＧ画像と判断した後、長さＬだけＪＰＥＧ画像を読み出すためである。すると、受信機は受信されるパケットから長さＬだけ受信されるデータを継続バッファリングしてから、長さＬだけのデータが受信されると、この受信されたデータをＪＰＥＧ画像を復元する画像コーデック８０に印加して再生させる。図２７Ｃは伝送しようとする１フレームのＪＰＥＧ画像で第１パケットを伝送した後、続く残りのパケットの形態でイメージヘッダなしに全体がＪＰＥＧ画像データで詰めされる。

図２７Ｄはオーディオデータのパケット構造を示すものである。本発明の実施例ではオーディオコーデック８５が８kbps speech codecと仮定する。このオーディオコーデック８５が８kbps speech codecの場合、符号化されるオーディオデータは２０msec毎に１フレーム(20bytes)のオーディオデータが生成される。このとき、一つのパケットで組み立てられるデータの最大サイズのN-45bytesになるまで連続的に符号化されたオーディオフレームデータを連結してオーディオパケットを生成する。例えば、Ｎが２００の場合、１７フレームと３/４フレーム(15bytes)のオーディオデータを束ねて一つのパケットを生成するようになる。しかし、一般にオーディオフレーム間にＪＰＥＧ画像が入力されるので、図２７Ｅのようにオーディオ及びＪＰＥＧ画像が混合される構造を有するようになる。

図２６でオーディオコーデック８５、画像コーデック８０、スイッチ２１１、及び２１３、バッファ部２２０、ヘッダ生成器２３０、及び合成器２４０で構成される合成動画像を生成する構成の動作は図９と同一である。図２６は、上記のように構成される合成動画像生成器の構成にパケット生成器２４５をさらに備えて、この生成された合成動画像を伝送する機能を遂行する。

図２６を参照すれば、オーディオデータとＪＰＥＧ画像データはそれぞれオーディオコーデック８５と画像コーデック８０を通じて符号化され、それぞれの経路を通じてバッファ部２２０に入力される。このとき、本発明の実施例では動画像メールの第１入力は無条件ＪＰＥＧ画像データに固定されると仮定する。このバッファ部２２０の内部には２つのオーディオバッファ２２４、２２６と、一つのイメージバッファ２２２が存在する。合成動画像を生成する動作は図９の手続きと同一に遂行される。

まず、第１段階でイメージバッファ(Img_buf)２２０に１フレームのＪＰＥＧ画像データを入力し、第２段階でスイッチ２１１を(１)に位置させて符号化したオーディオデータを第１オーディオバッファ(Aud_Buf1)２２４に入力する。第３段階でイメージバッファ２２０に１フレームのＪＰＥＧ画像データが詰められると、ＪＰＥＧ画像データの先にヘッダを挿入した後、次の端に伝送する。このとき、ヘッダはＪＰＥＧ画像であることを示すパターン信号Ｐ及びＪＰＥＧ画像データの長さＬとなる。そして、第４段階で経路（ａ）を通じてスイッチ２１１を(２)の位置に変更し、同時に第５段階で経路（ｂ）を通じてスイッチ２１３を(３)の位置に変更する。第６段階で、オーディオコーデック８５で継続出力されるオーディオデータを第２オーディオバッファ(Aud_Buf2)２２６に貯蔵する。第７段階では、第１オーディオバッファ(Aud_Buf1)２２４にバッファリングされたオーディオデータを次の端に伝送する。第８段階では、第１段階に戻って上記のような動作を反復遂行する。このとき、スイッチ２１１及び２１３は以前状態の反対位置に動作する。

上記のような方法で順次に生成されるＪＰＥＧ画像データとオーディオデータは合成されて図１０Ｂのような形態にメモリ３０に臨時貯蔵される。そして、上記のように貯蔵された合成動画像データはパケット生成器２４５で図２７Ａ〜図２７Ｅのような形態のパケットで組み立てられた後、データ処理部２０及びＲＦ部２３を通じて伝送される。

メモリ３０に貯蔵された合成動画像データは図１０Ｂに示したように、イメージヘッダ、ＪＰＥＧ画像データ、オーディオデータフレームとなる。このような構造を有する合成動画像は多数のパケットデータで組み立てて伝送される。したがって、図１０Ｂのような合成画像データをパケットで組み立てた後伝送するために、パケット生成器２４５は各パケットデータにＴＣＰ/ＩＰヘッダ、シーケンス番号、及びＡ/Ｖビットを挿入した後、データを連結する。ここで、ＴＣＰ/ＩＰヘッダは各パケットデータの最前に位置され、本発明の実施例では４４バイトのサイズを有すると仮定する。また、シーケンス番号は生成されるパケットの順序を示すもので、７ビットのサイズを有すると仮定する。すると、シーケンス番号は０〜１２７番まで表示可能であり、１２７番を超えるとさらに０番から表示する。Ａ/Ｖビットは該当するパケットの第１部分がＪＰＥＧ画像データであるか、あるいはオーディオデータであるかを表示するビットで、１ビットで構成されると仮定する。このＴＣＰ/ＩＰヘッダ、シーケンス番号及びＡ/Ｖビットは毎パケットの前に位置され、本発明の実施例では４５バイトで構成されると仮定する。

図２７Ｂに示すように、合成動画像はまず１フレームのＪＰＥＧ画像データが位置され、後に１フレーム区間で生成されるオーディオデータが位置する。したがって、パケット生成器２４５はＪＰＥＧ画像のパケットデータを生成し、その後、オーディオパケットデータを生成する。

図２７Ｂ及び図２７ＣはＪＰＥＧ画像データのパケット形態を示すものである。ＪＰＥＧ画像データは１フレームサイズが５〜１０kbytes程度で、一つのパケットサイズより大きいデータを有する。したがって、１フレームのＪＰＥＧ画像データは多数のパケットで組み立てられなければならない。このとき、ＪＰＥＧ画像データの第１フレームは図２７ＢのようにＴＣＰ/ＩＰヘッダ、シーケンス番号、及びＡ/Ｖビットの次にイメージヘッダを連結する。ここで、イメージヘッダはオーディオデータとＪＰＥＧ画像データを区分するためのパターン信号Ｐと、フレーム画像データの全体サイズを示す長さＬで構成される。そして、受信側ではパターン信号ＰによりＪＰＥＧ画像データであることを判断した後、長さＬだけＪＰＥＧ画像データを読み込むようになる。図２７ＣはＪＰＥＧ画像データの１番目のパケット後に続く２番目以上のＪＰＥＧ画像データをパケットで組み立てるパケットデータフォーマットで、前記イメージヘッダなしに全体がＪＰＥＧ画像データで構成される。

図２７Ｂ及び図２７Ｃのような画像パケットを組み立てた後、オーディオデータは図２７Ｄのような形態でオーディオパケットで組み立てる。このとき、オーディオコーデック８５が上記したように８kbps音声コーデックの場合には２０msec毎に１フレーム(20bytes)のオーディオデータが生成され、パケット生成器２４５は一つのパケットに組み立てられる最大サイズのN-45バイトとなるまで連続してオーディオフレームを連結してオーディオパケットを生成する。このとき、画像及びオーディオデータをパケット化するとき、フレームの境界区間に生成されるパケットデータはオーディオと画像データが一つのパケットに組み立てることができる。この場合、パケット生成器２４５は図２７Ｅのようなパケットデータを生成するようになる。

パケット生成器２４５により生成されるパケットデータはデータ処理部２０を通じてチャンネル符号化及び変調された後、ＲＦ部２３を通じて伝送される。

図２６のような合成動画像の伝送方法は合成動画像を生成しつつ同時に伝送する場合を仮定して説明する。しかし、この合成動画像の伝送は図７及び図９のような動作を遂行した後、図２５のような動作を遂行しつつメモリ３０に貯蔵された合成動画像の中で希望する動画像を選択して伝送することもできる。

図２８は、携帯電話機で合成動画像信号を生成して貯蔵すると同時に合成動画像信号を伝送する構成を示すものである。図２８の構成で、バッファ部２２０、スイッチ２１１、２１３、イメージヘッダ生成器２３０、テキストヘッダ生成器２３５、及び合成器２４０、及びパケット生成器２４５は制御部１０の構成となる。そして、図２９Ａ及び図２９Ｂは、合成動画像信号の構造及び伝送のためのパケットデータ構造を示すものである。

図２８の携帯電話機の送信部は画像コーデック８０から出力される連続する静止画像(ＪＰＥＧ画像)とパケット信号を合成(merge)して貯蔵し、また伝送時には前記合成動画像に予め定められたパケットヘッダを添付してパケット化した後に伝送する。

図２８を参照すれば、画面画像信号は画像コーデック８０を通じて符号化されてイメージバッファ２２２に入力され、イメージヘッダ生成器２３０はフレームサイズのイメージヘッダを生成した後、イメージヘッダに該当画面の画像信号を連結する。

その後、制御部１０は現在貯蔵されたＪＰＥＧ画像信号の再生時間を計算した後、テキスト信号の最大長さを案内する。すると、使用者は表示部６０に表示されるテキストの最大サイズを確認した後、キー入力部２７を通じて合成動画像信号のテキスト信号を入力する。このテキスト信号はテキストバッファ２２８にバッファリングされ、テキストヘッダ生成器２３５は使用者が指定した表示形態及び入力されたテキストの長さを含むテキストヘッダを生成した後、このバッファリングされたテキストにテキストヘッダを挿入し、これを合成器２４０に印加する。すると、合成器２４０はメモリ３０に貯蔵している連続するＪＰＥＧ画像信号にテキスト信号を合成して図２９Ａのような合成動画像信号を生成する。このとき、合成方法はテキスト信号が動画像信号の前に位置されるようにする。図２９Ａのような合成動画像信号はさらにメモリ３０に貯蔵される。

そして、上記のように貯蔵された合成動画像データはパケット生成器２４５で図２９Ｂのような形態のパケットで組み立てた後、データ処理部２０及びＲＦ部２３を通じて伝送される。

このテキスト及び動画像信号が合成された動画像信号の伝送手続きを説明すれば、まずメモリ３０に貯蔵された合成動画像データは図２９Ａに示したように、テキストヘッダ、テキスト信号、イメージヘッダ、ＪＰＥＧ画像信号である。上記のような構造を有する合成動画像は多数のパケットデータで組み立てて伝送される。したがって、図２９Ａのような合成画像データをパケットで組み立ててから伝送するために、パケット生成器２４５は図２９Ｂのように各パケットデータにＴＣＰ/ＩＰヘッダ、シーケンス番号、及びＡ/Ｖ/Ｔビットからなるパケットヘッダを挿入した後、その後にデータを連結する。ここで、ＴＣＰ/ＩＰヘッダは各パケットデータの最前に位置され、本発明の実施例では４４バイトサイズを有すると仮定する。また、シーケンス番号は生成されるパケットの順序を示すもので、７ビットのサイズを有すると仮定する。すると、このシーケンス番号は０〜１２７番まで表示可能であり、１２７番を超えると、再び０番から表示する。Ａ/Ｖ/Ｔビットは該当パケットの第１部分がテキスト信号、ＪＰＥＧ画像信号、またはオーディオ信号のうちいずれの信号であるかを表示するビットであって、２ビットで構成されると仮定する。このＴＣＰ/ＩＰヘッダ、シーケンス番号及びＡ/Ｖビットはパケット毎の前に位置され、本発明の実施例では４５バイトで構成されると仮定する。

図３１Ａに示すように、合成動画像はまずテキスト信号が位置され、次に１フレームのＪＰＥＧ画像データが連続して位置される。したがって、パケット生成器２４５はまずテキスト信号のパケットデータを生成し、その後、インタレースされた形態のＪＰＥＧ画像信号のパケットデータを生成する。

図３１Ｂは、ＲＦ部２３を通じて伝送される合成動画像のパケット構造を示すものである。伝送される１フレーム合成画像パケットの全体サイズ(Ｎ)は必要により決定され、約２００〜１５００bytes程度に設定可能である。このとき、伝送されるパケットサイズはパケット毎に一定すべきである。パケットの構造において、まず４４バイトのＴＣＰ/ＩＰヘッダが連結され、７ビットのシーケンス番号が連結される。このシーケンス番号は生成されるパケットの順序を示すもので、０〜１２７番まで表示した後、さらに０番から挿入される。そして、シーケンス番号後に位置されるＡ/Ｖ１ビットは該当するパケットの第１部分のデータがオーディオデータであるか、あるいはＪＰＥＧ画像データであるかを表示する値である。

ＪＰＥＧ画像の場合、一般に１フレームのサイズが５〜１０kbytes程度で、したがって本発明の実施例によりＲＦ部２３を通じて伝送するときに使用されるパケットデータより大きい。それにより、１フレームのＪＰＥＧ画像データは多数のパケットに伝送すべきである。このとき、フレーム画像データの第１パケットはイメージヘッダ(image header)Ｐ及びＬを付加する。イメージヘッダのＰはパターン信号であって、パケットデータを受信する受信機でオーディオ信号及びテキスト信号とＪＰＥＧ画像データを区分するために必要な値である。このイメージヘッダのＬはＪＰＥＧフレームの全体サイズを示す値である。これは、受信機がパターン信号ＰによりＪＰＥＧ画像と判断した後、長さＬだけＪＰＥＧ画像を読み出すためである。すると、受信機は受信されるパケットから長さＬだけ受信されるデータを継続バッファリングしてから、長さＬだけのデータが受信されると、この受信されたデータをＪＰＥＧ画像を復元する画像コーデック８０に印加して再生させる。この後、１フレームのＪＰＥＧ画像で第１パケットを伝送した後、続く残りのパケットはイメージヘッダなしに全体がＪＰＥＧ画像データで詰めされる。

パケット生成器２４５により図３１Ｂのように生成されるパケットデータはデータ処理部２０を通じてチャンネル符号化及び変調された後ＲＦ部２３を通じて伝送される。

図３０は、携帯電話機で動画像、オーディオ及びテキスト信号で合成された動画像信号を生成して貯蔵すると同時に、この合成動画像信号を伝送する構成を示すものである。図３０の構成で、バッファ部２２０、スイッチ２１１、２１３、イメージヘッダ生成器２３０、テキストヘッダ生成器２３５、合成器２４０、及びパケット生成器２４５は制御部１０の構成にもなる。そして、図３１Ａ及び図３１Ｂは合成動画像信号の構造及び伝送するためのパケットデータ構造を示すものである。

図３０の携帯電話機の送信部は画像コーデック８０から出力される連続的静止画像(ＪＰＥＧ画像)とオーディオコーデック８５を通じて符号化する連続したオーディオ信号を合成して貯蔵し、また伝送時には合成動画像に予め定められたパケットヘッダを添付してパケット化した後伝送する。

図３０を参照すれば、オーディオデータとＪＰＥＧ画像データはそれぞれオーディオコーデック８５と画像コーデック８０を通じて符号化し、それぞれの経路を通じてバッファ部２２０に入力される。このとき、本発明の実施例では動画像メールの１番目の入力は無条件ＪＰＥＧ画像データに固定すると仮定する。このバッファ部２２０の内部には２つのオーディオバッファ２２４、２２６と、一つのイメージバッファ２２２及びテキストバッファ２２８が存在する。

合成動画像を生成して伝送する手続きは、下記のようである。

上記のような方法で順次に生成されるＪＰＥＧ画像データとオーディオデータは図３１Ａに示したようにＪＰＥＧ画像とオーディオ信号がインタレースされる形態に合成されてメモリ３０に臨時貯蔵される。その後、制御部１０は現在貯蔵されたＪＰＥＧ画像信号の再生時間を計算した後、テキスト信号の最大長さを案内する。すると、使用者は表示部６０に表示されるテキストの最大サイズを確認した後、キー入力部２７を通じて合成動画像信号のテキスト信号を入力する。このテキスト信号はテキストバッファ２２８によりバッファリングされ、テキストヘッダ生成器２３５は使用者が指定した表示形態及び入力されたテキスト長さを含むテキストヘッダを生成した後、前記バッファリングされたテキストにテキストヘッダを挿入し、これを合成器２４０に印加する。すると、合成器２４０はメモリ３０に貯蔵しているオーディオ及びＪＰＥＧ画像の合成信号に前記テキスト信号を合成して図３１Ｂのような合成動画像信号を生成する。そして、図３１Ｂのような合成動画像信号はメモリ３０に貯蔵される。

そして、上記のように貯蔵された合成動画像データはパケット生成器２４５で図３１Ｂのような形態のパケットで組み立てた後、データ処理部２０及びＲＦ部２３を通じて伝送される。

まずメモリ３０に貯蔵された合成動画像データは図３１Ｂに示したように、テキストヘッダ、テキスト信号、イメージヘッダ、ＪＰＥＧ画像信号、オーディオ信号となる。上記のような構造を有する合成動画像は多数のパケットデータで組み立てて伝送される。したがって、図３１Ｂのような合成画像データをパケットで組み立ててから伝送するために、パケット生成器２４５は図３１Ｃのように各パケットデータにＴＣＰ/ＩＰヘッダ、シーケンス番号、及びＡ/Ｖ/Ｔビットからなるパケットヘッダを挿入した後、その後にデータを連結する。ここで、ＴＣＰ/ＩＰヘッダは各パケットデータの最前に位置され、本発明の実施例では４４バイトサイズを有すると仮定する。また、シーケンス番号は生成されるパケットの順序を示すもので、７ビットのサイズを有すると仮定する。すると、このシーケンス番号は０〜１２７番まで表示可能であり、１２７番を超えると、再び０番から表示する。Ａ/Ｖ/Ｔビットは該当パケットの第１部分がテキスト信号、ＪＰＥＧ画像信号、またはオーディオ信号のうちいずれの信号であるかを表示するビットであって、２ビットで構成されると仮定する。このＴＣＰ/ＩＰヘッダ、シーケンス番号及びＡ/Ｖビットはパケット毎の前に位置され、本発明の実施例では４５バイトで構成されると仮定する。

図３１Ｂに示したように、合成動画像はテキスト信号が位置され、次に１フレームのＪＰＥＧ画像データ及び１フレーム画像区間で生成されたオーディオデータがインタレースされる形態で連続して位置される。したがって、パケット生成器２４５はテキスト信号のパケットデータを生成し、その後、インタレースされた形態のＪＰＥＧ画像信号及びオーディオ信号のパケットデータを生成する。

図３１Ｃは、ＲＦ部２３を通じて伝送される合成動画像のパケット構造を示すものである。伝送される１フレーム合成画像パケットの全体サイズ(Ｎ)は必要により決定され、約２００〜１５００bytes程度に設定可能である。このとき、伝送されるパケットサイズはパケット毎に一定すべきである。パケットの構造において、まず４４バイトのＴＣＰ/ＩＰヘッダが連結され、７ビットのシーケンス番号が連結される。このシーケンス番号は生成されるパケットの順序を示すもので、０〜１２７番まで表示した後、さらに０番から挿入される。そして、シーケンス番号後に位置されるＡ/Ｖ１ビットは該当するパケットの第１部分のデータがオーディオデータまたはＪＰＥＧ画像データであるかを表示する値である。

ＪＰＥＧ画像の場合、一般に１フレームのサイズが５〜１０kbytes程度で、したがって本発明の実施例によりＲＦ部２３を通じて伝送するときに使用されるパケットデータより大きい。それにより、１フレームのＪＰＥＧ画像データは多数のパケットに伝送すべきである。このとき、フレーム画像データの第１パケットはイメージヘッダＰ及びＬを付加する。イメージヘッダのＰはパターン信号であって、パケットデータを受信する受信機でオーディオデータとテキスト信号とＪＰＥＧ画像データを区分するために必要な値である。このイメージヘッダのＬはＪＰＥＧフレームの全体サイズを示す値である。これは、受信機がパターン信号ＰによりＪＰＥＧ画像と判断した後、長さＬだけＪＰＥＧ画像を読み出すためである。すると、受信機は受信されるパケットから長さＬだけ受信されるデータを継続バッファリングしつつ、長さＬだけのデータが受信されると、この受信されたデータをＪＰＥＧ画像を復元する画像コーデック８０に印加して再生させる。この後、１フレームのＪＰＥＧ画像で第１パケットを伝送した後、続く残りのパケットはイメージヘッダなしに全体がＪＰＥＧ画像データで詰めされる。

また、オーディオコーデック８５が８kbps speech codecと仮定すれば、符号化されるオーディオデータは２０msec毎に１フレーム(20bytes)のオーディオデータが生成される。このとき、一つのパケットで組み立てられるデータの最大サイズのN-45bytesになるまで連続して符号化したオーディオフレームデータを連結してオーディオパケットを生成する。例えば、Ｎが２００の場合、１７フレームと３/４フレーム(15bytes)のオーディオデータを束ねて一つのパケットを生成するようになる。しかし、一般に図３１Ａのようにテキスト信号が合成動画像信号の最前に位置され、オーディオフレーム間にＪＰＥＧ画像が入力されるので、テキスト信号とＪＰＥＧ画像、そしてオーディオ及びＪＰＥＧ画像が混合される構造を有するようになる。

このパケット生成器２４５により、図３１Ｂのように生成されるパケットデータはデータ処理部２０を通じてチャンネル符号化及び変調された後、ＲＦ部２３を通じて伝送される。

図３２は基地局から合成動画像信号を受信してメモリ３０に貯蔵し、貯蔵された合成動画像信号を再生する手続きを示すものである。図３３は携帯電話機で合成動画像信号を受信して貯蔵すると同時に合成動画像信号を再生する構成を示すものである。図３３の構成において、パケット分解器２５５、ヘッダ分析器２５０、スイッチ２６１、２６３、２６５、及びバッファ部２７０は制御部１０の構成となる。図３４Ａ〜図３４Ｃは、パケットデータを分解して合成動画像信号を生成する手続きを説明するためのものである。

図３２を参照すれば、基地局からデータが受信されると、制御部１０はステップ６１１でこれを感知し、ステップ６１３で合成動画像の受信有無を検査する。このとき、ステップ６１３で合成動画像が受信されたことを感知すれば、ステップ６１５で画像コーデック８０及びオーディオコーデック８５を駆動し、その後、受信されるパケットデータを分解してメモリ３０に貯蔵し、合成動画像のパターンを分析して再生する。

このとき、受信される合成動画像はパケット形態で受信されるので、制御部１０はステップ６１７でパケットを分解する。制御部１０はステップ６１７で受信されるパケットを分解した後、ステップ６１９でメモリ３０に貯蔵する。

この後、制御部１０はステップ６２１でメモリ３０に貯蔵された合成動画像のヘッダを分析してＪＰＥＧ画像とオーディオデータ及び(または)テキストデータを分離する。このとき、制御部１０はＪＰＥＧ画像データであればＪＰＥＧ画像データを画像コーデック８０に伝送し、オーディオデータであればオーディオコーデック８５に伝送し、テキストデータであれば表示部６０に伝送する。すると、ステップ６２５で、ＪＰＥＧ画像は画像処理部５０の表示画面生成部を通じて処理された後表示部６０に表示され、オーディオはオーディオ処理部２５を通じてスピーカで再生され、テキストは表示部６０上に表示される。上記のように、ステップ６１７〜６２７を反復遂行しつつ、制御部１０は受信されるパケットデータを分解してメモリ３０に貯蔵し、メモリ３０に貯蔵されたフレーム単位の合成動画像を再生する。その後、制御部１０は合成動画像の受信が終了すれば、制御部１０はステップ６２７でこれを感知し、ステップ６２９で受信された動画像の名前を入力するための動画像メニューを表示した後、入力される動画像情報により動画像メニューを登録し、動画像受信モードを終了する。

図３３は、携帯電話機で動画像及びオーディオ信号が合成された動画像信号のパケットを受信して貯蔵及び再生する構成を示すものである。図３３の構成で、パケット分解器２５５、ヘッダ分析器２５０、スイッチ２６１、２６３、２６５、バッファ部２７０は制御部１０の構成にもなる。

図３３の構成を説明すれば、パケットデータはＲＦ部２３及びデータ処理部２０を処理した後パケット分解器２５５に受信される。このとき、受信されるパケットは図２７Ａ〜図２７Ｅのような構造を有する。すると、パケット分解器２５５は受信されるパケットでＴＣＰ/ＩＰヘッダを除去する。このとき、パケット分解器２５５はパケットのシーケンス番号により送信時に伝送された順序にパケットを処理することができ、またＡ/Ｖビットによりオーディオパケットであるか、あるいはＪＰＥＧ画像パケットであるかを区分する。したがって、パケット分解器２５５は受信されるパケットを図１０Ｂのような形態で分解でき、このような受信データをメモリ３０に貯蔵する。上記のような動作は図３４Ａ〜図３４Ｃに示す。

すると、メモリ３０はパケット分解器２５５から出力される図１０Ｂのような合成動画像を貯蔵するようになり、メモリ３０に貯蔵された合成動画像はヘッダ分析器２５０により分析される。ヘッダ分析器２５０はメモリ３０でアクセスされる合成動画像のヘッダを分析してＪＰＥＧ画像及びオーディオを分離するためのスイッチ制御信号を発生する。スイッチ２６１は共通端子がメモリ３０に連結され、第１出力端子がオーディオ信号をスイッチング出力するスイッチ２６３の共通端子に連結され、第２出力端子がイメージバッファ２７２に連結される。このバッファ部２７０のイメージバッファ(Img_Buf)２７２はスイッチ２６１から出力されるＪＰＥＧ画像データをバッファリングする。第１及び第２オーディオバッファ(Aud_Buf)２７４及び２７６はそれぞれ符号化したオーディオデータをバッファリングする。スイッチ２６３は共通端子がスイッチ２６１の第１出力端子に連結され、第１出力端子が第１オーディオバッファ２７４の入力端に連結され、第２出力端子が第２オーディオバッファ２７６の出力端に連結される。また、スイッチ２６５は第１入力端子が第１オーディオバッファ２７４の出力端に連結され、第２入力端子が前記第２オーディオバッファ２７６の出力端に連結され、共通端子がオーディオコーデック８５に連結される。スイッチ２６１及び２６３はイメージバッファ２７２の出力により制御される。したがって、バッファ部２７０はメモリ３０から出力される合成画像からオーディオとＪＰＥＧ画像を分離する分離器(splitter)機能を遂行する。オーディオコーデック８５はスイッチ２６５から出力される符号化したオーディオ信号を復元して出力する。画像コーデック８０はイメージバッファ２７２から出力されるＪＰＥＧ画像データを復元して出力する。

図３３の動作を説明すれば、受信されるパケットはパケット分解器２５５でＴＣＰ/ＩＰヘッダが除去され、図３３のような構成を通じてオーディオデータと画像データに分離された後、対応するコーデックで復元される。上記したように受信されたパケットはパケット分解器２５５で分解されてメモリ３０に貯蔵され、その後、ヘッダ分析器２５０で分析され、その後の動作は図２０での動作と同一に進行される。

上記したように本発明の実施例では、オーディオデータ及び連続する静止画像データを合成して合成動画像信号を生成することができ、この生成された合成動画像信号を画像及びオーディオに分離して同時に再生することができる。また、生成された合成動画像信号を伝送パケット形態に組み立てて基地局を通じて他の端末機またはサーバに伝送することができ、他の端末機またはサーバから合成動画像のパケットを受信して分解した後再生可能である。

図３５は、携帯電話機で動画像信号とテキスト信号が合成された動画像信号を受信して貯蔵すると同時に、合成動画像信号を再生する構成を示すものである。図３５の構成で、パケット分解器２５５、ヘッダ分析器２５０、スイッチ２６１、２６３、２６５、及びバッファ部２７０は制御部１０の構成となる。

図３５の構成において、パケットデータはＲＦ部２３及びデータ処理部２０を通じて処理された後、パケット分解器２５５に受信される。このとき、受信されるパケットは図２９Ｂのような構造を有する。パケット分解器２５５は受信されるパケットからＴＣＰ/ＩＰヘッダを除去する。このとき、パケット分解器２５５はパケットのシーケンス番号により送信時に伝送される順序にパケットを処理することができ、またＶ/Ｔビットによりテキストパケット及びＪＰＥＧ画像パケットを区分することができる。したがって、パケット分解器２５５は受信されるパケットを分解可能であり、この受信データをメモリ３０に貯蔵する。このようにパケットを分解すれば、図２９Ａのような形態にメモリ３０に貯蔵される。

すると、メモリ３０に貯蔵された合成動画像信号はヘッダ分析器２５０により分析される。ヘッダ分析器２５０はメモリ３０でアクセスされる合成動画像信号に含まれたテキストヘッダ及びイメージヘッダを分析してテキスト及びＪＰＥＧ画像信号を分離するためのスイッチ制御信号を発生する。スイッチ２６１は共通端子がメモリ３０に連結され、第１出力端子がイメージバッファ２７２に連結され、第２出力端子がテキストバッファ２７８に連結される。このバッファ部２７０のテキストバッファ２７８はスイッチ２６１から出力されるテキスト信号をバッファリングする。また、バッファ部２７０のイメージバッファ(Img_Buf)２７２はスイッチ２６１から出力されるＪＰＥＧ画像データをバッファリングする。画像コーデック８０はイメージバッファ２７２から出力されるＪＰＥＧ画像データを復元して出力する。

図３５の動作を説明すれば、前記受信されるパケットはパケット分解器２５５でＴＣＰ/ＩＰヘッダが除去され、図３６のような構成を通じてオーディオデータと画像データに分離された後対応するコーデックで復元される。上記したように受信されたパケットはパケット分解器２５５で分解されてメモリ３０に貯蔵され、その後ヘッダ分析器２５０で分析される。この後の動作は図２２と同一の手続きに進行される。

図３６は携帯電話機で動画像、オーディオ及びテキスト信号が合成された動画像信号を受信して貯蔵すると同時に合成動画像信号を再生する構成を示すものである。図３６の構成で、パケット分解器２５５、ヘッダ分析器２５０、スイッチ２６１、２６３、２６５、及びバッファ部２７０は制御部１０の構成となる。図３６の合成動画像信号はテキスト、ＪＰＥＧ画像及びオーディオ信号が合成された信号の場合を仮定する。

図３６の構成において、パケットデータはＲＦ部２３及びデータ処理部２０を通じて処理された後、パケット分解器２５５に受信される。このとき、受信されるパケット図３１Ｂのような構造を有する。すると、パケット分解器２５５は受信されるパケットでＴＣＰ/ＩＰヘッダを除去する。このとき、パケット分解器２５５はパケットのシーケンス番号により送信時に伝送された順にパケットを処理し、またＡ/Ｖ/Ｔビットによりテキストパケット、オーディオパケット、及びＪＰＥＧ画像パケットを区分する。したがって、パケット分解器２５５は受信されるパケットを分解し、このような受信データをメモリ３０に貯蔵する。上記のようにパケットを分解すれば、図３１Ａのような形態でメモリ３０に貯蔵される。

すると、メモリ３０に貯蔵された合成動画像信号はヘッダ分析器２５０により分析される。このヘッダ分析器２５０はメモリ３０でアクセスされる合成動画像信号に含まれるテキストヘッダ及びイメージヘッダを分析してテキスト、ＪＰＥＧ画像及びオーディオ信号を分離するためのスイッチ制御信号を発生する。スイッチ２６１は共通端子がメモリ３０に連結され、第１出力端子がオーディオ信号をスイッチング出力するスイッチ２６３の共通端子に連結され、第２出力端子がイメージバッファ２７２に連結され、第３出力端子がテキストバッファ２７８に連結される。バッファ部２７０のテキストバッファ２７８はスイッチ２６１から出力されるテキスト信号をバッファリングする。また、バッファ部２７０のイメージバッファ(Img_Buf)２７２はスイッチ２６１から出力されるＪＰＥＧ画像データをバッファリングする。第１及び第２オーディオバッファ(Aud_Buf)２７４及び２７６はそれぞれ符号化したオーディオデータをバッファリングする。スイッチ２６３は共通端子がスイッチ２６１の第１出力端子に連結され、第１出力端子が第１オーディオバッファ２７４の入力端に連結され、第２出力端子が第２オーディオバッファ２７６の出力端に連結される。また、スイッチ２６５は第１入力端子が第１オーディオバッファ２７４の出力端に連結され、第２入力端子が第２オーディオバッファ２７６の出力端に連結され、共通端子がオーディオコーデック８５に連結される。スイッチ２６１及び２６３はイメージバッファ２７２の出力により制御される。オーディオコーデック８５はスイッチ２６５から出力される符号化したオーディオ信号を復元して出力する。画像コーデック８０はイメージバッファ２７２から出力されるＪＰＥＧ画像データを復元して出力する。

図３６の動作において、受信されるパケットはパケット分解器２５５でＴＣＰ/ＩＰヘッダが除去され、図３６のような構成を通じてオーディオデータと画像データに分離された後、対応するコーデックで復元する。上記したように受信されたパケットはパケット分解器２５５で分解されてメモリ３０に貯蔵され、その後、ヘッダ分析器２５０で分析される。この後の動作は図２４と同一の手続きを遂行する。

図３７はカメラ及び静止画像をコーディング符号化する画像コーデックを備える携帯電話機で、上記のような動作を遂行する手続きを示す流れ図である。

図３７を参照すれば、カメラ部４０を通じて画像を撮影して表示部６０に表示しようとする場合、使用者はキー入力部２７を通じてカメラ部４０を駆動するためのキーデータを発生する。このとき、撮影モードを駆動するキーはキー入力部２７のナビゲーションキー(navigation key)上に位置させ、あるいはメニューキーを利用してメニューに表示して選択することもできる。上記のように撮影モードが選択されると、制御部１０はステップ７１１でこれを感知し、ステップ７１３でカメラ部４０及び画像処理部５０を制御して撮影される画像信号を受信できる経路を活性化させる。このとき、撮影モード時にカメラ部４０は撮影される画像信号及び同期信号ＨＲＥＦ及びＶＲＥＦを発生する。ここで、ＨＲＥＦ信号は水平同期信号となり、ＶＲＥＦは垂直同期信号、すなわちフレーム同期信号となる。

したがって、ＶＲＥＦ信号が発生すれば、制御部１０はこれをフレームスタートを意味し、それにより選択器３１９はＬＣＤインターフェース部３１７の出力を選択する。すると、カメラ部４０から出力される画像データは画像処理部５０の画面表示生成部でライン単位(または、フレーム単位)で処理されて表示部６０に伝達する。このとき、上記したようにスケーラ３１３はカメラ部４０から出力されるＣＩＦ画像サイズを表示部６０に画面サイズに合うようにスケーリングし、色変換器３１５はＹＵＶフォーマットの画像信号をＲＧＢフォーマットに変換して出力する。そして、ＬＣＤインターフェース部３１７はライン単位で受信される画像信号をバッファリングしつつ、表示部６０のタイミングに合わせて表示部６０に出力する。上記のようなメラ部４０の画像信号表示動作は１フレームの画像信号伝送が終了するまでライン単位で反復される。

上記のような状態は、ステップ７１５のプレビュー画面(preview screen)を表示する状態で、このカメラ部４０から撮影される画像信号が動画像に表示され、及び制御部１０から出力される使用者データが表示される状態である。上記のように表示部６０上にプレビュー画像が表示される状態で、使用者が表示される動画像を確認して特定時点を静止画像を獲得するための撮影命令が発生可能である。この撮影命令はキー入力部２７上に特定機能キーを利用して具現でき、また表示部６０上に表示されるメニューキーを利用して選択することもできる。撮影命令が発生すれば、制御部１０はステップ７１７でこれを感知し、ステップ７１９で画像処理部５０の画像コーデック８０を駆動して選択されたフレームの画像データをＪＰＥＧ画像データに符号化し、表示部６０上にはＪＰＥＧ符号化されたフレーム画像データを静止画面に表示する。そして、ステップ７２１では画像コーデック８０で符号化されたＪＰＥＧ画像データをメモリ３０に貯蔵し、小画面生成部を通じて小画面を生成する。この後、制御部１０は写真情報入力を案内するメニューを表示し、写真情報が入力されると、制御部１０はステップ７２３でこれを感知し、ステップ７２５でＪＰＥＧ画像データを小画面及び写真名と共に貯蔵して登録する。

この後、撮影モードが終了し、あるいはプレビュー画面表示状態で前記撮影モードの解除要求が発生すると、前記制御部１０はステップ７２７でこれを感知し、撮影モードを終了する。

上記したように撮影モードではプレビュー画面を表示し、あるいは静止画面をキャプチャして貯蔵可能である。

また、ステップ７１１で撮影モードが選択されずに、使用者から合成動画像貯蔵モードが要求されると、制御部１０はステップ７３１でこれを感知し、合成動画像貯蔵モードを遂行する。このとき、合成動画像貯蔵モードが選択されると、制御部１０は動画像にオーディオ信号を合成するモード、動画像にテキスト信号を合成するモード及び動画像オーディオ及びテキスト信号を合成するモードを案内することもできる。このとき、使用者が該当する合成動画像の貯蔵モードを選択すれば、制御部１０はステップ７３３で図７または図８、図１１または図１２、そして図１５または図１６のような過程を遂行しつつ、カメラ部４０から撮影される画像データをフレーム単位でＪＰＥＧ符号化する。このとき、ＪＰＥＧフレーム画像は静止画像であるが、この画像コーデック８０が連続してＪＰＥＧ画像フレームを生成するので、動画像形態で発生する。そして、上記のように動画像形態で発生するＪＰＥＧ画像データと前記画像と関連したオーディオデータ及び(または)テキスト信号を合成して合成動画像に生成してメモリ３０に貯蔵する。

また、ステップ７３１で合成動画像貯蔵モードが選択されずに、使用者がメモリ３０に貯蔵された合成動画像を選択して再生を要求すれば、制御部１０はステップ７４１でこれを感知し、ステップ７４３で選択された合成動画像を再生する。このとき、制御部１０は動画像にオーディオ信号が合成された動画像信号であれば、ステップ７４３で図１９のような手続きを遂行しつつ合成動画像信号を再生し、動画像にテキスト信号が合成された動画像信号であれば、ステップ７４３で図２１のような手続きを遂行しつつ合成動画像信号を再生し、動画像にオーディオ及びテキスト信号が合成された動画像信号であれば、ステップ７４３で図２３のような手続きを遂行しつつ合成動画像信号を再生する。このとき、合成動画像の再生は合成されたＪＰＥＧ画像とオーディオ及び(または)テキスト信号をそれぞれ分離した後、対応するコーデックを通じて再生する。

また、メモリ３０に貯蔵された合成動画像は他の端末またはサーバに伝送可能である。このとき、伝送する方法は合成動画像を生成すると同時に伝送でき、メモリ３０に一旦貯蔵してから必要時に伝送することもできる。ステップ７４１で合成動画像の再生が要求されずに、使用者が動画像伝送を要求すれば、この制御部１０はステップ７５１及び７５３でこれを感知し、ステップ７５５で図２５のような手続きで伝送する。

また、画像コーデック及びオーディオコーデックを備える携帯電話機の場合には他の端末またはサーバから伝送される合成動画像を受信して再生することができる。したがって、ステップ７５１で動画像の伝送が要求されずに、合成動画像が受信される場合、制御部１０はステップ７６１及びステップ７６３を通じてこれを感知し、ステップ７６５で図３２のような手続きで合成動画像を受信及び再生する動作を遂行する。

本発明を遂行するための携帯端末機の構成を示す図である。図１の画像処理部の詳細な構成を示す図である。本発明の実施例により合成動画像信号を生成して貯蔵する手続きを説明する図である。本発明の実施例により合成動画像信号を再生する手続きを説明する図である。本発明の実施例により合成動画像信号を伝送する手続きを説明する図である。本発明の実施例により合成動画像信号を受信する手続きを説明する図である。本発明の実施例により画像信号及びオーディオ信号を獲得して合成された動画像信号を生成及び貯蔵する手続きを示す流れ図である。本発明の実施例により画像信号及びオーディオ信号を獲得して合成された動画像信号を生成及び貯蔵する手続きを示す他の流れ図である。本発明の実施例により画像信号及びオーディオ信号を獲得して合成された動画像信号を生成及び貯蔵する構成を示す図である。図７で図９により生成された合成動画像データの構造を示す図である。図１０Ａと同様の図である。本発明の実施例により動画像信号及びテキスト信号を合成し、この合成された動画像信号を貯蔵する手続きを示す流れ図である。本発明の実施例により動画像信号及びテキスト信号を合成し、前記合成された動画像信号を貯蔵する手続きを示す他の流れ図である。本発明の実施例により画像信号及びテキスト信号を獲得して合成された動画像信号を生成及び貯蔵する構成を示す図である。図１１〜図１３で生成するテキスト信号が合成された合成動画像信号のフォーマットを示す図である。図１４Ａと同様の図である。図１４Ａと同様の図である。本発明の実施例により動画像信号、オーディオ信号、及びテキスト信号を合成し、この合成された動画像信号を貯蔵する手続きを示す流れ図である。本発明の実施例により動画像信号、オーディオ信号、及びテキスト信号を合成し、この合成された動画像信号を貯蔵する手続きを示す他の流れ図である。本発明の実施例により画像信号、オーディオ信号、及びテキスト信号を獲得して合成された動画像信号を生成及び貯蔵する構成を示す図である。図１５〜図１７で生成する画像信号にオーディオ及びテキスト信号が合成された合成動画像信号のフォーマットを示す図である。本発明の実施例により合成動画像信号を分離して再生する手続きを示す流れ図である。本発明の実施例により合成動画像信号を分離して再生する構成を示す図である。本発明の実施例によりテキスト信号が合成された合成動画像信号を再生する手続きを示す流れ図である。本発明の実施例によりテキスト信号が合成された合成動画像信号を再生する構成を示す図である。本発明の実施例により画像信号、オーディオ信号、及びテキスト信号が合成された合成動画像信号を再生する手続きを示す流れ図である。本発明の実施例により画像信号、オーディオ信号、及びテキスト信号が合成された合成動画像信号を再生する構成を示す図である。本発明の実施例により合成動画像信号をパケットで組み立てて伝送する手続きを示す流れ図である。本発明の実施例により合成動画像信号をパケットで組み立てて伝送する構成を示す図である。前記合成動画像信号を伝送するときに生成される合成動画像信号のパケット構造を示す図である。図２７Ａと同様の図である。図２７Ａと同様の図である。図２７Ａと同様の図である。図２７Ａと同様の図である。本発明の実施例によりテキスト及び動画像信号が合成された合成動画像信号をパケットで組み立てて伝送する構成を示す図である。前記合成動画像信号の伝送パケットフォーマットを示す図である。図２９Ａと同様の図である。本発明の実施例によりテキスト、オーディオ、及び動画像信号が合成された合成動画像信号をパケットで組み立てて伝送する構成を示す図である。前記合成動画像信号の伝送パケットフォーマットを示す図である。図３１Ａと同様の図である。図３１Ａと同様の図である。本発明の実施例により受信される合成動画像信号のパケットを分解して合成動画像信号の形態に貯蔵する手続きを示す流れ図である。本発明の実施例により受信される合成動画像信号のパケットを分解して合成同期信号の形態で貯蔵及び再生する構成を示す図である。合成動画像信号のパケット構造を分解して合成動画像信号形態に生成する構造を示す図である。図３４Ａと同様の図である。図３４Ａと同様の図である。本発明の実施例によりテキスト及び動画像信号が合成された合成動画像信号のパケットを受信して分解する構成を示す図である。本発明の実施例によりテキスト、オーディオ、及び動画像信号が合成された合成動画像信号のパケットを受信して分解する構成を示す図である。本発明の実施例により合成動画像信号の生成、再生、伝送、及び受信する手続きを示す流れ図である。

符号の説明

１０制御部
２０データ処理部
２３ＲＦ部
２５オーディオ処理部
２７キー入力部
３０メモリ
４０カメラ部
５０画像処理部
６０表示部
７０ＧＰＳ受信機
８０画像コーデック
８５オーディオコーデック
２１１、２１３スイッチ
２２０バッファ部
２３０ヘッダ生成器
２３５テキストヘッダ生成器
２４０合成器２４０
３１１カメラインターフェース部
３１３スケーラ
３１５色変換部
３１７ＬＣＤインターフェース部
３１９選択器
３２１制御インターフェース部

Claims

カメラ及び画像コーデックを備え、フレーム画像信号にオーディオ信号が合成される合成画像信号を貯蔵するメモリを備える携帯端末機で前記合成動画像信号を再生する方法において、
合成動画像の再生モード時に前記メモリに貯蔵している合成動画像をメニュー表示する過程と、
前記メニュー表示された合成動画像が選択されると、前記選択された合成動画像に対応する前記メモリに貯蔵された合成動画像にフレーム単位でアクセスする過程と、
前記アクセスされたフレーム合成動画像信号からイメージヘッダを分析して動画像信号及び動画像信号のサイズを分析する過程と、
前記分析結果により前記合成動画像信号から画像信号を分離して前記画像コーデックに印加し、オーディオ信号をオーディオコーデックに印加して合成動画像信号を再生する過程と
からなる方法であって、
前記メモリに貯蔵している合成動画像は、
前記カメラで撮影される画像信号をフレームサイズの静止画像信号に符号化する過程と、
受信されるオーディオ信号を符号化する過程と、
前記符号化される各フレーム静止画像信号に画像であることを示す画像パターン及び前記フレーム長さを含むイメージヘッダを挿入する過程と、
前記イメージヘッダが挿入されたフレームサイズの符号化画像信号に前記符号化されたオーディオ信号を合成する過程と、
これら過程を反復遂行しつつ連続するフレーム静止画像に前記対応するオーディオ信号を合成する過程と、
記録終了時に前記合成された信号を前記合成動画像の動画像ファイルとして前記メモリに貯蔵する過程と
で構成されたものであることを特徴とする方法。
携帯端末機で合成画像信号を再生する装置において、
フレーム単位でイメージヘッダ、画像信号、及びオーディオ信号が合成された合成動画像信号を貯蔵しているメモリと、
前記イメージヘッダを分析して画像信号及びオーディオ信号を分離する制御信号を発生するヘッダ分析器と、
前記ヘッダ分析器の制御により前記メモリから出力される画像信号をフレームサイズにバッファリングするイメージバッファ及びオーディオコーデックで復号化するオーディオ信号をバッファリングするオーディオバッファを備えるバッファ部と、
画像コーデックを備え、前記画像コーデックが前記バッファ部から出力される画像信号を復元し、前記復元された画像信号をフレームサイズの表示画面に処理する画像処理部と、
前記画像処理部で処理される画像信号を表示する表示部と、
前記オーディオコーデックを備え、前記オーディオコーデックが前記バッファ部から出力されるオーディオ信号を復元し、前記復元されたオーディオ信号を再生するデータ処理部と、
画像信号を撮影するカメラ部と、
前記撮影される画像信号をフレームサイズに符号化する画像コーデックを備え、前記カメラ部で生成される動画像信号をフレームサイズの表示画面に処理する画像処理部と、
前記画像処理部で処理される画像信号を表示する表示部と、
受信されるオーディオ信号を符号化するオーディオコーデックを備え、データを処理するデータ処理部と、
前記画像コーデックで符号化された画像信号をフレームサイズにバッファリングするイメージバッファ及び前記オーディオコーデックで符号化されたオーディオ信号をバッファリングするオーディオバッファを備えるバッファ部と、
前記イメージバッファでフレームサイズの画像信号の出力時に前記画像信号に画像であることを示す画像パターン及びフレームの長さを含むイメージヘッダを挿入して出力するヘッダ生成器と、
前記ヘッダ生成器の出力に前記オーディオバッファの出力を合成して前記合成動画像信号として前記メモリへ貯蔵させる合成器と、
から構成されることを特徴とする装置。
カメラ及び画像コーデックを備える携帯端末機で合成動画像信号を伝送する方法において、
合成動画像伝送モード時にメモリに貯蔵している合成動画像をメニュー表示する過程と、
前記メニュー表示された合成動画像が選択されると、前記選択された合成動画像に対応する前記メモリに貯蔵された合成動画像にフレーム単位でアクセスする過程と、
前記アクセスされたフレーム合成動画像信号をパケットサイズに基づいて分割し、パケットヘッダをパケットに連結し、画像パケットを組み立て、その後に、オーディオパケットを組み立てる過程と、
前記組み立てられたパケットを順次に伝送する過程と
からなる方法であって、
前記メモリに貯蔵している合成動画像は、
前記カメラで撮影される画像信号をフレームサイズの静止画像信号に符号化する過程と、
受信されるオーディオ信号を符号化する過程と、
前記符号化される各フレーム静止画像信号に画像であることを示す画像パターン及び前記フレーム長さを含むイメージヘッダを挿入する過程と、
前記イメージヘッダが挿入されたフレームサイズの符号化画像信号に前記符号化されたオーディオ信号を合成する過程と、
これら過程を反復遂行しつつ連続するフレーム静止画像に前記対応するオーディオ信号を合成する過程と、
記録終了時に前記合成された信号を前記合成動画像の動画像ファイルとして前記メモリに貯蔵する過程と
で構成されたものであることを特徴とする方法。
カメラ及び画像コーデックを備える携帯端末機でフレーム画像信号にオーディオ信号が合成された請求項３記載のパケットを受信する方法において、
順次に受信される前記パケットのヘッダを分析し、前記分析された結果により画像パケット及びオーディオパケットを分解する過程と、
前記分解された画像及びオーディオデータを合成し、合成動画像信号を動画像ファイルとしてメモリに貯蔵する過程と、
前記合成動画像信号のイメージヘッダを分析して動画像信号及び動画像信号のサイズを分析する過程と、
前記分析結果により前記合成動画像信号から画像信号を分離して前記画像コーデックに印加し、オーディオ信号をオーディオコーデックに印加して合成動画像信号を再生する過程と
からなることを特徴とする方法。
携帯端末機で合成画像信号を再生する装置において、
順次に受信される請求項３記載のパケットのヘッダを分析し、前記分析結果により画像パケット及びオーディオパケットを分解し、前記分解された画像及びオーディオデータを合成するパケット分解器と、
フレーム単位でイメージヘッダ、画像信号、及びオーディオ信号が合成された合成動画像信号を動画像ファイルとして貯蔵するメモリと、
前記イメージヘッダを分析して画像信号及びオーディオ信号を分離する制御信号を発生するヘッダ分析器と、
前記ヘッダ分析器の制御により前記メモリから出力される画像信号をフレームサイズにバッファリングするイメージバッファ及びオーディオコーデックで符号化するオーディオ信号をバッファリングするオーディオバッファを備えるバッファ部と、
画像コーデックを備え、前記画像コーデックが前記バッファ部から出力される画像信号を復元し、前記復元された画像信号をフレームサイズの表示画面に処理する画像処理部と、
前記画像処理部で処理される画像信号を表示する表示部と、
前記オーディオコーデックを備え、前記オーディオコーデックが前記バッファ部から出力されるオーディオ信号を復元し、前記復元されたオーディオ信号を再生するデータ処理部とから構成されることを特徴とする装置。