JP4168269B2

JP4168269B2 - 携帯電話端末および携帯電話端末の同期制御方法

Info

Publication number: JP4168269B2
Application number: JP2003285169A
Authority: JP
Inventors: 浩嗣小野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2003-08-01
Filing date: 2003-08-01
Publication date: 2008-10-22
Anticipated expiration: 2023-08-01
Also published as: DE602004032293D1; EP1503567B1; CN1581881A; US20050037817A1; EP1503567A1; JP2005057430A; US7587223B2; CN100505945C

Description

本発明は、携帯電話端末および携帯電話端末の同期制御方法に関し、特には、音声等の音響を処理する音響処理部と動画像を処理する動画像処理部とが互いに異なる制御部によって制御されていても、音声等の音響と動画像との同期を取ることが可能な携帯電話端末および携帯電話端末の同期制御方法に関する。

従来、音声と動画像とを処理することができる携帯電話端末がある（特許文献１（特開２００２−１１８６３８号公報）参照）。

動画像処理としては、ISO14496にて規定されているMPEG4-VisualおよびTV電話システム用規格であるH.263などがある。また、音声処理としては、MPEG4-Audioおよび携帯電話におけるAMR(Adaptive Multi Rate) Codecがある。また、携帯電話においても第三世代用として3GPP（The 3rd Generation Partnership Project）規格で、上記動画像処理と上記音声処理とが採用されている。

従来、音声の録音および再生と、動画像の録画および再生とを実行することが可能な携帯電話端末においては、録画録音時に動画像と音声とを同期できるよう、また再生時にも動画像と音声とを同期できるよう、動画像処理を行う動画像処理部と音声処理を行う音声処理部とが、共通のＣＰＵ（ＤＳＰを含む。）より制御されている。

図１４は、音声の録音および再生と、動画像の録画および再生とを実行することが可能な従来の携帯電話端末の一例を示したブロック図である。

以下、図１４を参照して、音声の録音および再生と、動画像の録画および再生とを実行することが可能な従来の携帯電話端末を説明する。

図１４において、携帯電話端末１０１は、送受信ANT（アンテナ）８と、携帯電話用無線部９と、システム処理部１０と、音声入力部５と、音声出力部６と、動画像入力部１４と、動画像出力部１５と、音声動画像処理ブロック１０２とを含む。

送受信ANT（アンテナ）８は、携帯電話システムの無線信号を送受信する。携帯電話用無線部９は、携帯電話システムの無線信号の変復調を行う。システム処理部１０は、携帯電話信号の処理を行う。音声入力部５は、例えばマイクであり、音声などの音響を入力する。音声出力部６は、例えばスピーカであり、音声などの音響を出力する。動画像入力部１４は、例えばカメラであり、動画像を入力する。動画像出力部１５は、例えば表示部であり、動画像を出力する。音声動画像処理ブロック１０２は、音声（音響）の処理および動画像の処理を行う。

音声動画像処理ブロック１０２は、音声処理部１０３と、動画像処理部１０４と、音声動画像処理用ＣＰＵ１０５とを含む。

音声処理部１０３は、音声などの音響を示す音響情報の処理を行う。動画像処理部１０４は、動画像を示す動画像情報の処理を行う。音声動画像処理用ＣＰＵ１０５は、音声処理部１０３の動作および動画像処理部１０４の動作とを制御する。

図１４に示したように、従来の携帯電話端末では、音声動画像処理用ＣＰＵ１０５が、音声処理部１０３および動画像処理部１０４とを制御することにより、音声と動画像とが同期する。

特許文献２（特開２００３−４４６２１号公報）には、１つのシステムＣＰＵが動画像処理と音声処理とを制御する携帯電話端末において、動画像と音声とを同期させて再生するために、画像シーケンスデータの再生用のタイマと、音声シーケンスデータの再生用のタイマとが同時にスタートされる技術が記載されている。

なお、特許文献２には、画像シーケンスデータの再生用のタイマと、音声シーケンスデータの再生用のタイマとを同時にスタートさせるための具体的な手法は、記載されていない。
特開２００２−１１８６３８号公報特開２００３−４４６２１号公報

特許文献２に記載されたような従来の携帯電話端末では、１つのＣＰＵ（ＤＳＰを含む）が、動画像の処理を行う動画像処理部と音声の処理を行う音声処理部とを制御するので、ＣＰＵの負荷が大きくなるという問題が生じる。

ＣＰＵの負荷が大きくなるという問題を解決するために、動画像処理部を制御する動画像ＣＰＵ（ＤＳＰを含む）と、音声処理部を制御する音声ＣＰＵ（ＤＳＰを含む）とを別々に設けることが考えられるが、この場合、動画像処理部と音声処理部とが異なるＣＰＵで制御されるため、動画像が音声と同期しなくなってしまう可能性が生じるという問題が生じてしまう。

動画像処理部と音声処理部とが異なるＣＰＵで制御される場合に、動画像が音声と同期しなくなってしまう可能性が生じるという問題が発生する原因の１つとして、動画像ＣＰＵと音声ＣＰＵとの間で伝送される信号の伝送時間に起因する、動画像処理と音声処理との間の同期誤差があげられる。

例えば、動画像ＣＰＵが、動画像と音声とを同期させるために用いる信号を、音声ＣＰＵに伝送する場合、動画像と音声とを同期させるために用いる信号は、動画像ＣＰＵから出力されてから、所定の伝送時間を経過した後に、音声ＣＰＵに供給される。

よって、音声ＣＰＵが動画像と音声とを同期させるために用いる信号を受け取るタイミングは、動画像ＣＰＵが動画像と音声とを同期させるために用いる信号を出力したタイミングよりも、その信号の伝送時間だけ遅れてしまい、このタイミングの遅れが、動画像と音声とが同期しなくなる原因となる。

したがって、仮に、音声ＣＰＵに制御された音声処理部の音声処理速度と、動画像ＣＰＵに制御された動画像処理部の動画像処理速度とが等しい場合でも、動画像ＣＰＵと音声ＣＰＵとの間で伝送される信号の伝送時間に起因する、動画像処理と音声処理との間の同期誤差が生じてしまう。

さらに、音声ＣＰＵに制御された音声処理部の音声処理速度と、動画像ＣＰＵに制御された動画像処理部の動画像処理速度とが異なる場合には、動画像ＣＰＵと音声ＣＰＵとの間で伝送される信号の伝送時間に起因する同期誤差に加えて、音声処理速度と動画像処理速度との間の処理速度の違いに基づく同期ずれも生じる。

なお、動画像と音声とが同期しなくなる可能性が生じるという問題は、動画像処理部と音声処理部とが異なるＣＰＵ（ＤＳＰを含む。）により制御される際に発生する問題であり、この問題は、動画像処理部と音声処理部とが異なるＣＰＵにより制御される場合であれば、動画像処理部と音声処理部とが１つの携帯電話端末内に配設されている場合に限らず、いずれか一方のみが携帯電話端末内に配設されている場合にも生じる問題である。

例えば、携帯電話端末が有する動画像処理部の処理速度と異なる処理速度を有する外部の音声処理装置を携帯電話端末に接続して、動画像を携帯電話端末で処理し、音声を外部の音声処理装置で処理しようとすると、動画像と音声との同期が取れなくなってしまうという問題が生じる。

また、例えば、携帯電話端末が有する音声処理部の処理速度と異なる処理速度を有する外部の動画像処理装置を携帯電話端末に接続して、音声を携帯電話端末で処理し、動画像を外部の動画像処理装置で処理しようとすると、動画像と音声との同期が取れなくなってしまうという問題が生じる。

また、携帯電話端末が、リアルタイム伝送が保証されていない無線区間経由で、外部の音声処理装置または外部の動画像処理装置と接続されている場合も、携帯電話端末側の処理と外部装置（外部の音声処理装置または外部の動画像処理装置）の処理の同期が取れなくなってしまうという問題が生じる。

このように、携帯電話端末に対して、外部の音声処理装置または外部の動画像処理装置といった周辺機器を接続する場合にも、音声と動画像との同期が取れなくなる可能性が生じるという問題が生じる。

本発明の目的は、音声等の音響を処理する音響処理部と動画像を処理する動画像処理部とが異なる制御部によって制御されていても、音声等の音響と動画像との同期を取ることが可能な携帯電話端末および携帯電話端末の同期制御方法を提供することである。

上記目的を達成するために、本発明の携帯電話端末は、音響を示す音響情報を処理する音響処理部および前記音響処理部による音響処理を制御する音響処理制御部とを含む音響処理ブロックを用いて音響処理を行う携帯電話端末において、動画像を示す動画像情報を処理する動画像処理部と、前記動画像処理部による動画像処理を制御する動画像処理制御部と、前記音響処理ブロックと前記動画像処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算処理を行い、その後、前記伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理を行う同期制御部とを含むことを特徴とする。

上記の発明によれば、音響処理ブロックと動画像処理制御部との間で伝送される信号の伝送時間を計算し、計算した伝送時間に基づき、音響処理ブロックと動画像処理制御部との間で伝送される信号の伝送時間に起因する、動画像処理と音響処理との間の同期誤差を補償することによって、動画像処理部による動画像処理と音響処理部による音響処理とを同期させる同期処理を行うので、音響処理ブロックと動画像処理制御部との間で伝送される信号の伝送時間に起因して発生する、動画像と音声との同期ずれを解消することが可能となる。したがって、動画像処理制御部と音響処理制御部とを異なる制御部としても、動画像と音声との同期ずれを解消することが可能となる。

また、本発明の携帯電話端末は、前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、前記音響処理ブロックは、前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、前記同期制御部は、前記同期処理として、前記動画像処理制御部を介して前記音響処理カウンタのカウント値を取得し、取得した音響処理カウンタのカウント値と該音響処理カウンタのカウント値を取得した際の前記動画像処理カウンタのカウント値と所望のタイミングでの前記動画像処理カウンタのカウント値と前記伝送時間計算処理で計算した伝送時間とに基づき前記所望のタイミングでの音響処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの音響処理カウンタのカウント値と前記所望のタイミングでの動画像処理カウンタのカウント値との差が小さくなるように、前記動画像処理制御部を介して前記動画像処理部の処理速度を制御することを特徴とする。

上記の発明によれば、音響処理カウンタのカウント値と動画像処理カウンタのカウント値とに基づき、動画像と音響との同期を取ることが可能となる。

また、本発明の携帯電話端末は、前記同期制御部が、前記伝送時間計算処理および前記同期処理を間欠的に行うことを特徴とする。

上記の発明によれば、伝送時間計算処理および同期処理を間欠的に行うので、音響処理制御部に制御された音響処理部の音響処理速度と、動画像制御部に制御された動画像処理部の動画像処理速度とが異なる場合にも、動画像と音響との同期を間欠的に取ることが可能となる。

また、本発明の携帯電話端末は、前記同期制御部が、前記同期処理として、前記音響処理の開始を指示する音響処理開始信号を、前記動画像処理制御部を介して前記音響処理ブロックに伝送し、前記音響処理開始信号の伝送から、前記伝送時間計算処理で計算した伝送時間が経過したタイミングで前記動画像処理の開始を指示する動画像処理開始指示信号を前記動画像処理制御部に伝送することを特徴とする。

上記の発明によれば、音響処理の開始タイミングと動画像処理の開始タイミングを同期させることが可能となる。

また、本発明の携帯電話端末は、前記音響処理ブロックが、前記音響処理部の出力を外部に出力する音響処理信号出力部をさらに含み、前記音響処理出力部は、無線または有線により外部の音響出力機器と接続されることが望ましい。

また、本発明の携帯電話端末は、前記音響処理ブロックが、外部の音響処理端末に含まれ、前記動画像処理制御部は、無線または有線により前記音響処理ブロックと接続されることが望ましい。

また、本発明の携帯電話端末は、前記音響処理ブロックが、携帯電話システムを経由して複数の前記動画像処理制御部と接続可能な外部の音響処理端末に含まれ、前記同期制御部は、前記動画像処理制御部を介して前記動画像処理部を制御することによって、前記音響処理に対して前記動画像処理の同期を行うことを特徴とする。

上記の発明によれば、外部の音響処理端末から出力される音響と同期した動画像を複数の携帯電話端末で再生することが可能となる。

また、本発明の携帯電話端末は、動画像を示す動画像情報を処理する動画像処理部および前記動画像処理部による動画像処理を制御する動画像処理制御部とを含む動画像処理ブロックを用いて動画像処理を行う携帯電話端末において、音響を示す音響情報を処理する音響処理部と、前記音響処理部による前記音響処理を制御する音響処理制御部と、前記動画像処理ブロックと前記音響処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算処理を行い、その後、前記伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理とを行う同期制御部とを含むことを特徴とする。

上記の発明によれば、動画像処理ブロックと音響処理制御部との間で伝送される信号の伝送時間を計算し、計算した伝送時間に基づき、動画像処理ブロックと音響処理制御部との間で伝送される信号の伝送時間に起因する、動画像処理と音響処理との間の同期誤差を補償することによって、動画像処理部による動画像処理と音響処理部による音響処理とを同期させる同期処理を行うので、音響処理ブロックと動画像処理制御部との間で伝送される信号の伝送時間に起因して発生する、動画像と音声との同期ずれを解消することが可能となる。したがって、動画像処理制御部と音響処理制御部とを異なる制御部としても、動画像と音声との同期ずれを解消することが可能となる。

また、本発明の携帯電話端末は、前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、前記動画像処理ブロックは、前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、前記同期制御部は、前記同期処理として、前記音響処理制御部を介して前記動画像処理カウンタのカウント値を取得し、取得した動画像処理カウンタのカウント値と該動画像処理カウンタのカウント値を取得した際の前記音響処理カウンタのカウント値と所望のタイミングでの前記音響処理カウンタのカウント値と前記伝送時間計算処理で計算した伝送時間とに基づき前記所望のタイミングでの動画像処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの動画像処理カウンタのカウント値と前記所望のタイミングでの音響処理カウンタのカウント値との差が小さくなるように、前記音響処理制御部を介して前記音響処理部の処理速度を制御することを特徴とする。

また、本発明の携帯電話端末は、前記同期制御部が、前記同期処理として、前記動画像処理の開始を指示する動画像処理開始信号を、前記音響処理制御部を介して前記動画像処理ブロックに伝送し、前記動画像処理開始信号の伝送から、前記伝送時間計算処理で計算した伝送時間が経過したタイミングで前記音響処理の開始を指示する音響開始指示信号を前記音響処理制御部に伝送することを特徴とする。

また、本発明の携帯電話端末は、前記動画像処理ブロックが、前記動画像処理部の出力を外部に出力する動画像処理信号出力部をさらに含み、前記動画像処理出力部は、無線または有線により外部の表示機器と接続されることが望ましい。

また、本発明の携帯電話端末は、前記動画像処理ブロックが、外部の動画処理端末に含まれ、前記音響処理制御部は、無線または有線により前記動画像処理ブロックと接続されることが望ましい。

また、本発明の携帯電話端末は、前記動画像処理ブロックが、携帯電話システムを経由して複数の前記音響処理制御部と接続可能な外部の動画処理端末に含まれ、前記同期制御部は、前記音響処理制御部を介して前記音響処理部を制御することによって、前記動画像処理に対して前記音響処理の同期を行うことを特徴とする。

上記の発明によれば、外部の動画処理端末から出力される動画像と同期した音響を複数の携帯電話端末で再生することが可能となる。

また、本発明の携帯電話端末の同期制御方法は、音響を示す音響情報を処理する音響処理部および前記音響処理部による音響処理を制御する音響処理制御部とを含む音響処理ブロックを用いて音響処理を行い、動画像を示す動画像情報を処理する動画像処理部と、前記動画像処理部による動画像処理を制御する動画像処理制御部とを含む携帯電話端末が行う同期制御方法であって、前記音響処理ブロックと前記動画像処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算ステップと、前記伝送時間計算ステップで計算した信号の伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理を行う同期制御ステップとを含むことを特徴とする。

上記の発明によれば、音響処理ブロックと動画像処理制御部との間で伝送される信号の伝送時間に起因して発生する、動画像と音声との同期ずれを解消することが可能となる。したがって、動画像処理制御部と音響処理制御部とを異なる制御部としても、動画像と音声との同期ずれを解消することが可能となる。

また、本発明の携帯電話端末の同期制御方法は、前記携帯電話端末が、前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、前記音響処理ブロックは、前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、前記同期制御ステップは、前記同期処理として、前記動画像処理制御部を介して前記音響処理カウンタのカウント値を取得し、取得した音響処理カウンタのカウント値と該音響処理カウンタのカウント値を取得した際の前記動画像処理カウンタのカウント値と所望のタイミングでの前記動画像処理カウンタのカウント値と前記伝送時間計算ステップで計算した伝送時間とに基づき前記所望のタイミングでの音響処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの音響処理カウンタのカウント値と前記所望のタイミングでの動画像処理カウンタのカウント値との差が小さくなるように、前記動画像処理制御部を介して前記動画像処理部の処理速度を制御することを特徴とする。

また、本発明の携帯電話端末の同期制御方法は、前記伝送時間計算ステップと前記同期制御ステップとは、間欠的に実行されることを特徴とする。

上記の発明によれば、伝送時間計算ステップと同期制御ステップとが間欠的に実行されるので、音響処理制御部に制御された音響処理部の音響処理速度と、動画像制御部に制御された動画像処理部の動画像処理速度とが異なる場合にも、動画像と音響との同期を間欠的に取ることが可能となる。

また、本発明の携帯電話端末の同期制御方法は、前記同期制御ステップは、前記同期処理として、前記音響処理の開始を指示する音響処理開始信号を、前記動画像処理制御部を介して前記音響処理ブロックに伝送し、前記音響処理開始信号の伝送から、前記伝送時間計算ステップで計算した伝送時間が経過したタイミングで前記動画像処理の開始を指示する動画像処理開始指示信号を前記動画像処理制御部に伝送することを特徴とする。

また、本発明の携帯電話端末の同期制御方法は、動画像を示す動画像情報を処理する動画像処理部および前記動画像処理部による動画像処理を制御する動画像処理制御部とを含む動画像処理ブロックを用いて動画像処理を行い、音響を示す音響情報を処理する音響処理部と、前記音響処理部による前記音響処理を制御する音響処理制御部とを含む携帯電話端末が行う同期制御方法であって、前記動画像処理ブロックと前記音響処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算ステップと、前記伝送時間計算ステップで計算した伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理を行う同期制御ステップとを含むことを特徴とする。

また、本発明の携帯電話端末の同期制御方法は、前記携帯電話端末は、前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、前記動画像処理ブロックは、前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、前記同期制御ステップは、前記同期処理として、前記音響処理制御部を介して前記動画像処理カウンタのカウント値を取得し、取得した動画像処理カウンタのカウント値と該動画像処理カウンタのカウント値を取得した際の前記音響処理カウンタのカウント値と所望のタイミングでの前記音響処理カウンタのカウント値と前記伝送時間計算ステップで計算した伝送時間とに基づき前記所望のタイミングでの動画像処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの動画像処理カウンタのカウント値と前記所望のタイミングでの音響処理カウンタのカウント値との差が小さくなるように、前記動画像処理制御部を介して前記動画像処理部の処理速度を制御する、または前記音響処理制御部を介して前記音響処理部の処理速度を制御することを特徴とする。

上記の発明によれば、伝送時間計算ステップと同期制御ステップとを間欠的に行うので、音響処理制御部に制御された音響処理部の音響処理速度と、動画像制御部に制御された動画像処理部の動画像処理速度とが異なる場合にも、動画像と音響との同期を間欠的に取ることが可能となる。

また、本発明の携帯電話端末の同期制御方法は、前記同期制御ステップは、前記同期処理として、前記動画像処理の開始を指示する動画像処理開始信号を、前記音響処理制御部を介して前記動画像処理ブロックに伝送し、前記動画像処理開始信号の伝送から、前記伝送時間計算ステップで計算した伝送時間が経過したタイミングで前記音響処理の開始を指示する音響開始指示信号を前記音響処理制御部に伝送することを特徴とする。

以上説明したように、本発明においては、以下に記載するような効果を提供する。

第１の効果は、音響処理部を制御する音響処理制御部を、動画像処理部を制御する動画像処理制御部と異なるものとしても、音響と動画像との同期が取れる点である。これにより、各制御部の負荷を小さくできる。

第２の効果は、音響処理ブロックを携帯電話端末の外部に配置しても、音響と動画像とが同期した状態にすることができるようになることである。よって、携帯電話端末の外部に配置した音響処理ブロックを他の携帯電話端末と共有すれば、例えば、音響処理ブロックとして音響効果の優れた音響システムを使ったり、リモートスピーカを使ったりして、複数の携帯電話端末で同時に動画像再生を行うことができるようになる。

第３の効果は、動画像処理ブロックを携帯電話端末の外部に配置しても、音響と動画像とが同期した状態にすることができるようになることである。よって、携帯電話端末の外部に配置した動画像処理ブロックを他の携帯電話端末と共有すれば、例えば、動画像処理ブロックとしての表示スクリーンにて動画像を表示して、複数の携帯電話端末で同時に音響再生を行う映画館のような機能を実現できるようになる。

以下、本発明の一実施例を、図面を参照して説明する。

図１は、本発明の一実施例の携帯電話端末を示したブロック図である。

図１において、携帯電話端末１は、音声処理ブロック２と、音声入力部５と、音声出力部６と、送受信ANT（アンテナ）８と、携帯電話用無線部９と、システム処理部１０と、動画像処理ブロック１１と、動画像入力部１４と、動画像出力部１５と、ＣＰＵ間通信路１８とを含む。なお、図１において、図１４と同一構成のものには、同一符号を附してある。

携帯電話端末１は、音声処理ブロック２を用いて音響処理を行う。

音響処理ブロックとしての音声処理ブロック２は、音声処理カウンタ３と、音声処理部４と、音声処理用ＣＰＵ７とを含む。

音響処理カウンタとしての音声処理カウンタ３は、音声処理の進行状況を管理する。具体的には、音声処理カウンタ３は、音声処理部４による音声処理の進度をカウント値で示し、音声処理の処理速度に応じてカウントスピードが変動する。以下、音声処理カウンタ３のカウント値を「CountAOut値」と称する。

音響処理部としての音声処理部４は、音声等の音響を示す音響情報としての音声情報を処理する。

音響処理制御部としての音声処理用ＣＰＵ７は、音声処理部４による音声処理と音声処理カウンタ３のカウント動作とを制御する。

送受信ANT（アンテナ）８は、携帯電話システムの無線信号を送受信する。携帯電話用無線部９は、携帯電話システムの無線信号の変復調を行う。システム処理部１０は、携帯電話信号の処理を行う。

動画像処理ブロック１１は、同期制御部１２と、動画像処理カウンタ１３と、動画像処理部１６と、動画像処理用ＣＰＵ１７とを含む。

動画像処理カウンタ１３は、動画像処理の進行状況を管理する。具体的には、動画像処理カウンタ１３は、動画像処理部１６による動画像処理の進度をカウント値で示し、動画像処理の処理速度に応じて、カウントスピードが変動する。以下、動画像処理カウンタ１３のカウント値を「CountVOut値」と称する。

動画像処理部１６は、動画像を示す動画像情報を処理する。

動画像処理制御部としての動画像処理用ＣＰＵ１７は、動画像処理カウンタ１３のカウント動作と動画像処理部１６による動画像処理とを制御する。

また、動画像処理用ＣＰＵ１７は、ＣＰＵ間通信路１８を介して音声処理用ＣＰＵ７と接続している。

同期制御部１２は、音声処理ブロック２、具体的には音声処理用ＣＰＵ７と、動画像処理用ＣＰＵ１７との間で伝送される信号の伝送時間を計算する伝送時間計算処理を行う。なお、同期制御部１２が伝送時間計算処理を実行するという技術的事項は、、同期制御部１２が、動画像処理用ＣＰＵ１７を制御して、動画像処理用ＣＰＵ１７に伝送時間計算処理を実行させるという技術的事項を含む。

また、同期制御部１２は、計算した伝送時間に基づき、動画像処理部１６による動画像処理と音声処理部４による音声処理とを同期させる同期処理を行う。なお、同期制御部１２が同期処理を実行するという技術的事項は、、同期制御部１２が、動画像処理用ＣＰＵ１７を制御して、動画像処理用ＣＰＵ１７に同期処理を実行させるという技術的事項を含む。

以下に、同期制御部１２が行う同期処理の一例を示す。

同期制御部１２は、動画像処理用ＣＰＵ１７を介して音声処理カウンタ３のカウント値を取得する。

続いて、同期制御部１２は、取得した音声処理カウンタ３のカウント値と該音声処理カウンタ３のカウント値を取得した際の動画像処理カウンタ１３のカウント値と所望のタイミングでの動画像処理カウンタ１３のカウント値と計算した伝送時間とに基づき所望のタイミングでの音声処理カウンタ３のカウント値を計算する。

続いて、同期制御部１２は、計算した所望のタイミングでの音声処理カウンタ３のカウント値と所望のタイミングでの動画像処理カウンタ１３のカウント値との差が小さくなるように、動画像処理用ＣＰＵ１７を介して動画像処理部１６の処理速度を制御する。

以下に、同期制御部１２が行う同期処理の他の例を示す。

同期制御部１２は、音声処理の開始を指示する音声処理開始信号（例えば、音声再生要求信号または音声録音要求信号）を、動画像処理用ＣＰＵ１７を介して音声処理ブロック、具体的には音声処理用ＣＰＵ７に伝送し、音響処理開始信号の伝送から、先に計算した伝送時間が経過したタイミングで動画像処理の開始を指示する動画像処理開始指示信号（例えば、動画像再生開始信号または動画像録画開始信号）を動画像処理用ＣＰＵ１７に伝送する。

音声処理用ＣＰＵ７は、音声処理開始信号を受け取ると、受け取った音声処理開始信号に応じた音声処理を音声処理部４に実行させる。また、動画像処理用ＣＰＵ１７は、動画像処理開始指示信号を受け取ると、受け取った動画像処理開始指示信号に応じた動画像処理を動画像処理部１６に実行させる。

なお、本実施例において、同期制御部１２は、動画像処理用ＣＰＵ１７を制御して、上記同期処理を行う場合、同期制御部１２と動画像処理用ＣＰＵ１７とで、本発明の同期制御部を構成する。

次に、動作を説明する。

図２は、図１に示した携帯電話端末１の動作を説明するためのフローチャートである。以下、図２を参照して、図１に示した携帯電話端末１の動作を説明する。

例えば、ユーザが不図示のキーを操作することにより、音声付動画像の再生または記録が指定されると（ステップＳ１）、同期制御部１２は、動画像処理用ＣＰＵ１７を制御し、初期化動作として、動画像処理カウンタ１３のカウント（CountVOut）をスタートさせる。また、同期制御部１２は、動画像処理用ＣＰＵ１７を制御し、同期処理開始タイミングを示すTSync値に、動画像処理カウンタ１３のカウント値（CountVOut値）を代入する（ステップＳ２）。

なお、TSync値は、動画像処理用ＣＰＵ１７に格納される。また、ステップＳ２によって動画像処理カウンタ１３のカウントがスタートするが、この時点では、動画像処理部１６が動画像処理を実行しない。

次に、同期制御部１２は、音声処理ブロック２（具体的には、音声処理用ＣＰＵ７）と、動画像処理用ＣＰＵ１７との間で伝送される信号の伝送時間（時間誤差推定）を計算する（ステップＳ３）。

図３は、図２に示したステップＳ３の処理を説明するためのシーケンス図である。

以下、図３を参照して、ステップＳ３の伝送時間の計算処理（時間誤差推定）を説明する。

動画像処理ブロック１１内の動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づき、変数tv1に動画像処理カウンタ１３のカウント値であるCountVOut値を代入し（ステップＤ１）、ステップＤ１とほぼ同時に音声処理ブロック２、具体的には音声処理用ＣＰＵ７に対し同期要求を送信する（ステップＤ２）。なお、ステップＤ２で実行する同期要求には、変数tv1を引数として添付する。

ステップＤ２で実行された同期要求を受信した音声処理ブロック２、具体的には音声処理用ＣＰＵ７は、変数ta1に音声処理カウンタ３のカウント値であるCountAOut値を代入する（ステップＤ３）。なお、ステップＤ３は、省略してもよい。

ステップＤ２で実行された同期要求を受信した音声処理ブロック２、具体的には音声処理用ＣＰＵ７は、動画像処理ブロック１１、具体的には、動画像処理用ＣＰＵ１７に対して同期応答を送信する（ステップＤ４）。ステップＤ４で実行する同期応答には、変数tv1と変数ta1とを引数として添付してもよい。なお、ステップＤ３を省略した場合は、ステップＤ４で実行する同期応答に、変数tv1のみを引数として添付してもよい。

ステップＤ４で実行された同期応答を受信した動画像処理ブロック１１、具体的には動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、変数tv2に動画像処理カウンタ１３のカウント値であるCountVOut値を代入し（ステップＤ５）、ステップＤ５とほぼ同時に音声処理ブロック２、具体的には音声処理用ＣＰＵ７に対して同期確認を送信する（ステップＤ６）。なお、ステップＤ６で実行する同期確認には、少なくとも変数tv2を引数として添付してもよい。

ステップＤ６で実行された同期確認を受信した音声処理ブロック２は、変数ta2に音声処理カウンタ３のカウント値であるCountAOut値を代入する（ステップＤ９）。なお、ステップＤ９は省略してもよい。

動画像処理ブロック１１、具体的には、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、動画像処理ブロック１１と音声処理ブロック２との間の通信時間誤差を推定する。

本実施例では、通信時間誤差として、動画像処理用ＣＰＵ１７が音声処理ブロック２（具体的には、音声処理用ＣＰＵ７）へ信号を送信してから、その信号が音声処理ブロック２（具体的には、音声処理用ＣＰＵ７）に入力されるまでの時間と、音声処理ブロック２（具体的には、音声処理用ＣＰＵ７）が動画像処理用ＣＰＵ１７へ信号を送信してから、その信号が動画像処理用ＣＰＵ１７に入力されるまでの時間とを推定する。

具体的には、動画像処理用ＣＰＵ１７は、同期制御部１２の制御に基づき、通信時間誤差Tvaを、Tva＝（tv2−tv1）／2の式に基づき算出する（ステップＤ７）。なお、通信時間誤差Tvaの算出は、同期制御部１２が行ってもよい。

なお、この値Tvaは、動画像処理ブロック１１から音声処理ブロック２への伝送路の推定伝送速度と、音声処理ブロック２から動画像処理ブロック１１への伝送路の推定伝送速度との比率を示すTVAratioにより、Tva=f(tv2, tv1, TVAratio)の式で示される。例えば、Tva=(tv2-tv1)×TVAratioで示される。

図２に戻って、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づき、音声処理の開始を指示する音声処理開始信号（例えば、音声再生要求信号または音声録音要求信号）を、動画像処理用ＣＰＵ１７を介して音声処理ブロック２、具体的には音声処理用ＣＰＵ７に伝送する（ステップＳ４）。

音声処理用ＣＰＵ７は、音声処理開始信号を受け取ると、受け取った音声処理開始信号に応じた音声処理（再生または録音）を音声処理部４に実行させるとともに、音声処理カウンタ３をリセットし、音声処理カウンタ３を動作させる。

動画像処理用ＣＰＵ１７は、音響処理開始信号の伝送から先に計算した伝送時間（値Tva）が経過したタイミングで（ステップＳ５）、動画像処理の開始を指示する動画像処理開始指示信号（例えば、動画像再生開始信号または動画像録画開始信号）を同期制御部１２から受け取る。

動画像処理用ＣＰＵ１７は、動画像処理開始指示信号を受け取ると、受け取った動画像処理開始指示信号に応じた動画像処理（再生または録画）を動画像処理部１８に実行させるとともに、動画像処理カウンタ１３をリセットし、動画像処理カウンタ１３を動作させる。

ステップＳ４からステップＳ６を実行することにより、動画像処理ブロック１１と音声処理ブロックとの間で伝送される信号の伝送時間に起因する同期タイミング誤差が解消され、動画像処理と音声処理とが同じタイミングでスタートする。また、動画像処理カウンタ１３と音声処理カウンタ３とが同じタイミングでカウント動作を開始する。

よって、音声等の音響を処理する音声処理部と動画像を処理する動画像処理部とが異なる制御部（例えば、ＣＰＵ）によって制御されていても、音声等の音響と動画像との同期を取ることが可能となる。

続いて、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づき、動画像処理カウンタ１３のカウント値であるCountVOut値とTSync値の差が、再同期判断値TLimitよりも大きくなったか否か判断する（ステップＳ７）。

ステップＳ７で、動画像処理カウンタ１３のカウント値であるCountVOut値とTSync値の差が、再同期判断値TLimitよりも大きくないと、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づき、再度ステップＳ７を実行する。

ステップＳ７で、動画像処理カウンタ１３のカウント値であるCountVOut値とTSync値の差が、再同期判断値TLimitよりも大きい場合、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づき、TSync値に動画像処理カウンタ１３のカウント値であるCountVOut値を代入し（ステップＳ８）、音声処理カウンタ３のカウント値であるCountAOut値を推定する（ステップＳ９）。

図４は、ステップＳ９の一例を説明するためのシーケンス図である。なお、図４において、図３と同一の処理には、同一符号を附してある。以下、図４を参照して、ステップＳ９の一例を説明する。

動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づき、変数tv1に動画像処理カウンタ１３のカウント値であるCountVOut値を代入し（ステップＤ１）、ステップＤ１とほぼ同時に音声処理ブロック２、具体的には音声処理用ＣＰＵ７に対し同期要求を送信する（ステップＤ２）。なお、ステップＤ２で実行する同期要求には、変数tv1を引数として添付する。

ステップＤ２で実行された同期要求を受信した音声処理ブロック２、具体的には音声処理用ＣＰＵ７は、変数ta1に音声処理カウンタ３のカウント値であるCountAOut値を代入する（ステップＤ３）。

ステップＤ２で実行された同期要求を受信した音声処理ブロック２、具体的には音声処理用ＣＰＵ７は、動画像処理ブロック１１、具体的には、動画像処理用ＣＰＵ１７に対して同期応答を送信する（ステップＤ４）。ステップＤ４で実行する同期応答には、変数tv1と変数ta1とを引数として添付してもよい。

動画像処理ブロック１１、具体的には、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、動画像処理ブロック１１と音声処理ブロック２との間の通信時間誤差を推定する（ステップＤ７）。具体的には、動画像処理用ＣＰＵ１７は、同期制御部１２の制御に基づき、通信時間誤差Tvaを、Tva＝（tv2−tv1）／2の式に基づき算出する（ステップＤ７）。なお、通信時間誤差Tvaの算出は、同期制御部１２が行ってもよい。

続いて、動画像処理ブロック１１、具体的には、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、所望のタイミングでの動画像処理カウンタ１３のカウント値であるCountVOut値に対応する音声処理カウンタ３のカウント値CountAOut値を推定する（ステップＤ８）。なお、音声処理カウンタ３のカウント値CountAOut値を推定するための推定式は、例えば、以下に示すものを用いる。
推定CountAOut=(CountVOut-tv2)+ta1+(tv2-tv1)/2。

なお、推定CountAOutの算出は、同期制御部１２が行ってもよい。

図２に戻って、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、所望のタイミングでの音声処理カウンタ３の推定カウント値である推定CountAOut値と、前記所望のタイミングでの動画像処理カウンタ１３のカウント値であるCountVOut値とが、異なっているか否か判断する（ステップＳ１０）。

ステップＳ１０で、所望のタイミングでの音声処理カウンタ３の推定カウント値である推定CountAOut値と、前記所望のタイミングでの動画像処理カウンタ１３のカウント値であるCountVOut値とが異なっていないと、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、動画像と音声との同期が取れていると判断し、ステップＳ７に戻る。

ステップＳ１０で、所望のタイミングでの音声処理カウンタ３の推定カウント値である推定CountAOut値と、前記所望のタイミングでの動画像処理カウンタ１３のカウント値であるCountVOut値とが異なっていると、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、動画像と音声との同期が取れていないと判断し、所望のタイミングでの音声処理カウンタ３の推定カウント値である推定CountAOut値が所望のタイミングでの動画像処理カウンタ１３のカウント値であるCountVOut値より大きいか判断する（ステップＳ１１）。

ステップＳ１１で、所望のタイミングでの音声処理カウンタ３の推定カウント値である推定CountAOut値が所望のタイミングでの動画像処理カウンタ１３のカウント値であるCountVOut値より大きいと、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、動画像処理が音声より遅れていると判断して、該推定CountAOut値から該CountVOut値を差し引いた時間分だけ、動画像処理を進めるスキップ処理を行う（ステップＳ１２）。

ステップＳ１２において、動画像処理を進める動作は、動画像処理の高速動作（早回し）としてもよい。

動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、ステップＳ１２が終了すると、ステップＳ７に戻る。

ステップＳ１１で、所望のタイミングでの音声処理カウンタ３の推定カウント値である推定CountAOut値が所望のタイミングでの動画像処理カウンタ１３のカウント値であるCountVOut値より大きくないと、動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、動画像処理が音声より進んでいると判断して、該CountVOutから値該推定CountAOut値を差し引いた時間だけ、動画像処理を停止する（ステップＳ１３）。

ステップＳ１３において、動画像処理を停止する動作は、動画像処理の低速動作（スロー）で行ってもよい。

動画像処理用ＣＰＵ１７は、同期制御部１２による制御に基づいて、ステップＳ１３が終了すると、ステップＳ７に戻る。

なお、図２に示した動作は、同期制御部１２が行ってもよい。

本実施例では、音声処理カウンタのカウント値を、動画像処理ブロック１１と音声処理ブロックとの間で伝送される信号の伝送時間に起因するタイミング誤差を考慮して推定しているので、音声処理カウンタ３のカウント値と動画像処理カウンタ１３のカウント値とに基づき、動画像と音響との同期を取ることが可能となる。

また、本実施例によれば、音声処理部４を制御する音声処理用ＣＰＵを、動画像処理部１６を制御する動画像処理用ＣＰＵ１７と異なるものとしても、音声と動画像との同期を取ることが可能となる。これにより、例えば、外部の音響処理ブロックを利用しても、音響と動画像とが同期した状態にすることができるようになる。

また、本実施例は、間欠的に、ステップＳ８以降の動作を実行するので、音声処理用ＣＰＵ７に制御された音声処理部４の音声処理速度と、動画像処理用ＣＰＵ１７に制御された動画像処理部１６の動画像処理速度とが異なる場合にも、動画像と音声との同期を間欠的に取ることが可能となる。

図５は、本発明の他の実施例の携帯電話端末を示したブロック図である。なお、図５において、図１と同一構成のものには同一符号を附してある。

図５において、携帯電話端末１９は、動画像処理部１６の出力を外部に出力する動画像処理信号出力部１９ａを介して外部の表示機器２０と無線または有線により接続され、表示機器２０の中に設けてある表示部としての動画像出力部２１により動画像が表示される。なお、図５に示した携帯電話端末１９の動作は、図１に示した携帯電話端末１と同様である。

図６は、本発明の他の実施例の携帯電話端末を示したブロック図である。なお、図６において、図１と同一構成のものには同一符号を附してある。

図６において、携帯電話端末２２は、音声処理部４の出力を外部に出力する音響信号出力部２２ａを介して外部の音声（音響）出力機器２３と無線または有線により接続され、音声出力機器２３の中に設けてあるスピーカ等の音声出力部２４により音声が出力される。なお、図６に示した携帯電話端末２２の動作は、図１に示した携帯電話端末１と同様である。

図７は、本発明の他の実施例の携帯電話端末の一使用形態を示したブロック図である。

図７において、携帯電話端末２５は、伝送遅延保証ができないインターネット網２７および携帯電話網（携帯電話システム）２６を介して、音声処理を行う音声処理端末２８と接続されている。

図８は、図７に示した携帯電話端末２５と音声処理端末２８の一構成例を示すブロック図である。なお、図８において、図１と同一構成のものには同一符号を附してある。

携帯電話端末２５は、送受信ANT（アンテナ）８と、携帯電話用無線部９と、システム処理部１０と、動画像入力部１４と、動画像出力部１５と、動画像処理ブロック１１と、通信部２９とを含む。

通信部２９は、携帯電話網２６およびインターネット網２７を介して、音声処理端末２８と接続して通信することができる。なお、通信部２９は、ケーブル等を介して、有線で音声処理端末２８と接続して通信するようにしてもよい。

また、音声処理端末２８は、音声入力部５と、音声出力部６と、音声処理ブロック２と、通信部３０とを含む。音声処理用ＣＰＵ７は、通信部３０とインターネット網２７と携帯電話網２６と通信部２９とを介して、動画像処理用ＣＰＵ１７と接続されている。なお、通信部２９と通信部３０とが、ケーブル等を介して有線で接続されてもよい。なお、図８に示した携帯電話端末２５の動作は、図１に示した携帯電話端末１と同様である。

本実施例では、音声処理を担当する音声処理ブロックを携帯電話端末の外部に配置することができる。携帯電話端末の外に配置した音声処理ブロックが、複数の携帯電話端末と有線または無線で接続可能である場合には、音声処理ブロックを複数の携帯電話端末が共有することが可能となるので、例えば、音声処理ブロック（音声処理端末）として音響効果の優れた音響システムを使ったり、リモートスピーカを使ったりすることにより、複数の携帯電話端末で同時に動画像の再生を行うことができるようになる。

なお、上記の各実施例では、同期制御部を動画像処理ブロック側に設ける例を示したが、同期制御部を音声処理ブロック側に設けるようにしてもよい。

図９は、本発明の他の実施例の携帯電話端末の一使用形態を示したブロック図である。なお、図９において、図７と同一構成のものには、同一符号を附してある。

図９において、携帯電話端末３１は、伝送遅延保証ができないインターネット網２７および携帯電話網２６を介して、動画像処理を行う動画像処理端末３２と接続されている。

図１０は、図９に示した携帯電話端末３１と動画像処理端末３２の一構成例を示すブロック図である。なお、図１０において、図１と同一構成のものには同一符号を附してある。

図１０において、携帯電話端末３１は、送受信ANT（アンテナ）８と、携帯電話用無線部９と、システム処理部１０と、音声入力部５と、音声出力部６と、音声処理ブロック３３と、通信部３５とを含む。

携帯電話端末３１は、動画像処理ブロック３６を用いて動画像処理を行う。

音声処理ブロック３３は、音声処理カウンタ３と、音声処理部４と、音声処理用ＣＰＵ７、音声処理ブロック３３と動画像処理端末３２内の動画像処理ブロック３６との同期制御を行う同期制御部３４とを含む。

また、動画像処理端末３２は、動画像入力部１４と、動画像出力部１５と、動画像処理ブロック３６と、通信部３７とを含む。

動画像処理ブロック３６は、動画像処理部１６と、動画像処理カウンタ１３と、動画像処理用ＣＰＵ１７とを含む。

音声処理用ＣＰＵ７と動画像処理用ＣＰＵ１７とは、通信部３５と携帯電話網２６とインターネット網２７および通信部３７とを介して接続されている。なお、通信部３５と通信部３７とは、ケーブル等を介して有線で接続されてもよい。

同期制御部３４は、音声処理ブロック３３、具体的には音声処理用ＣＰＵ７と、動画像処理用ＣＰＵ１７との間で伝送される信号の伝送時間を計算する伝送時間計算処理を行う。なお、同期制御部３４が伝送時間計算処理を実行するという技術的事項は、、同期制御部３４が、音声処理用ＣＰＵ７を制御して、音声処理用ＣＰＵ７に伝送時間計算処理を実行させるという技術的事項を含む。

また、同期制御部３４は、計算した伝送時間に基づき、動画像処理部１６による動画像処理と音声処理部４による音声処理とを同期させる同期処理を行う。なお、同期制御部３４が同期処理を実行するという技術的事項は、、同期制御部３４が、音声処理用ＣＰＵ７を制御して、音声処理用ＣＰＵ７に同期処理を実行させるという技術的事項を含む。

以下に、同期制御部３４が行う同期処理の一例を示す。

同期制御部３４は、音声処理用ＣＰＵ７を介して動画像処理カウンタ１３のカウント値を取得する。

続いて、同期制御部３４は、取得した動画像処理カウンタ１３のカウント値と該動画像処理カウンタ１３のカウント値を取得した際の音声処理カウンタ３のカウント値と所望のタイミングでの音声処理カウンタ３のカウント値と計算した伝送時間とに基づき所望のタイミングでの動画像処理カウンタ１３のカウント値を計算する。

続いて、同期制御部３４は、計算した所望のタイミングでの動画像処理カウンタ１３のカウント値と所望のタイミングでの音声処理カウンタ３のカウント値との差が小さくなるように、音声処理用ＣＰＵ７を介して音声処理部４の処理速度を制御する。

以下に、同期制御部３４が行う同期処理の他の例を示す。

同期制御部３４は、動画像処理の開始を指示する動画像処理開始指示信号（例えば、動画像再生開始信号または動画像録画開始信号）を、音声処理用ＣＰＵ７を介して動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７に伝送し、動画像処理開始指示信号の伝送から、先に計算した伝送時間が経過したタイミングで音声処理の開始を指示する音声処理開始信号（例えば、音声再生要求信号または音声録音要求信号）を音声処理用ＣＰＵ７に伝送する。

動画像処理用ＣＰＵ１７は、動画像処理開始指示信号を受け取ると、受け取った動画像処理開始指示信号に応じた動画像処理を動画像処理部１６に実行させる。また、音声処理用ＣＰＵ７は、音声処理開始信号を受け取ると、受け取った音声処理開始信号に応じた音声処理を音声処理部４に実行させる。

なお、本実施例において、同期制御部３４は、音声処理用ＣＰＵ７を制御して、上記同期処理を行う場合、同期制御部３４と音声処理用ＣＰＵ７とで、本発明の同期制御部を構成する。

次に、動作を説明する。

図１１は、図１０に示した携帯電話端末３１の動作を説明するためのフローチャートである。以下、図１１を参照して、図１０に示した携帯電話端末３１の動作を説明する。

例えば、ユーザが不図示のキーを操作することにより、音声付動画像の再生または記録が指定されると（ステップＳ１０１）、同期制御部３４は、音声処理用ＣＰＵ７を制御し、初期化動作として、音声処理カウンタ３のカウント（CountAOut）をスタートさせる。また、同期制御部３４は、音声処理用ＣＰＵ７を制御し、同期処理開始タイミングを示すTSync値に、音声処理カウンタ３のカウント値（CountAOut値）を代入する（ステップＳ１０２）。

なお、TSync値は、音声処理用ＣＰＵ７に格納される。また、ステップＳ１０２によって音声処理カウンタ３のカウントがスタートするが、この時点では、音声処理部４は音声処理を実行しない。

次に、同期制御部３４は、音声処理ブロック３３（具体的には、音声処理用ＣＰＵ７）と、動画像処理ブロック３６（具体的には、動画像処理用ＣＰＵ１７）との間で伝送される信号の伝送時間（時間誤差推定）を計算する（ステップＳ１０３）。

図１２は、図１１に示したステップＳ１０３の処理を説明するためのシーケンス図である。

以下、図１２を参照して、ステップＳ３の伝送時間の計算処理（時間誤差推定）を説明する。

音声処理ブロック３３内の音声処理用ＣＰＵ７は、同期制御部３４による制御に基づき、変数ta1に音声処理カウンタ３のカウント値であるCounAVOut値を代入し（ステップＤ１０）、ステップＤ１０とほぼ同時に動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７に対し同期要求を送信する（ステップＤ１１）。なお、ステップＤ１１で実行する同期要求には、変数ta1を引数として添付する。

ステップＤ１１で実行された同期要求を受信した動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７は、変数tv1に動画像処理カウンタ１３のカウント値であるCountVOut値を代入する（ステップＤ１２）。なお、ステップＤ１２は、省略してもよい。

ステップＤ１１で実行された同期要求を受信した動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７は、音声処理ブロック３３、具体的には、音声処理用ＣＰＵ７に対して同期応答を送信する（ステップＤ１３）。ステップＤ１３で実行する同期応答には、変数tv1と変数ta1とを引数として添付してもよい。なお、ステップＤ１２を省略した場合は、ステップＤ１３で実行する同期応答に、変数ta1のみを引数として添付してもよい。

ステップＤ１３で実行された同期応答を受信した音声処理ブロック３３、具体的には音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、変数ta2に音声処理カウンタ３のカウント値であるCountAOut値を代入し（ステップＤ１４）、ステップＤ１４とほぼ同時に動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７に対して同期確認を送信する（ステップＤ１５）。なお、ステップＤ１５で実行する同期確認には、少なくとも変数ta2を引数として添付してもよい。

ステップＤ１５で実行された同期確認を受信した動画像処理ブロック３６は、変数tv2に動画像処理カウンタ１３のカウント値であるCountVOut値を代入する（ステップＤ１８）。なお、ステップＤ１８は省略してもよい。

音声処理ブロック３３、具体的には、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、動画像処理ブロック３６と音声処理ブロック３３との間の通信時間誤差を推定する。

本実施例では、通信時間誤差として、動画像処理ブロック（具体的には、動画像処理用ＣＰＵ１７）が音声処理ブロック２（具体的には、音声処理用ＣＰＵ７）へ信号を送信してから、その信号が音声処理ブロック２（具体的には、音声処理用ＣＰＵ７）に入力されるまでの時間と、音声処理ブロック２（具体的には、音声処理用ＣＰＵ７）が動画像処理ブロック（具体的には、動画像処理用ＣＰＵ１７）へ信号を送信してから、その信号が動画像処理ブロック（具体的には、動画像処理用ＣＰＵ１７）に入力されるまでの時間とを推定する。

具体的には、音声処理用ＣＰＵ７は、同期制御部３４の制御に基づき、通信時間誤差Tavを、Tav＝（ta2−ta1）／2の式に基づき算出する（ステップＤ１６）。なお、通信時間誤差Tavの算出は、同期制御部３４が行ってもよい。

なお、この値Tavは、音声処理ブロック３３から動画像処理ブロック３６への伝送路の推定伝送速度と、動画像処理ブロック３６から音声処理ブロック３３への伝送路の推定伝送速度との比率TAVratioにより、Tav=f(ta2, ta1, TAVratio)の式で示される。例えば、Tav=(ta2-ta1)×TAVratioで示される。

図１１に戻って、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づき、動画像処理の開始を指示する動画像処理開始指示信号（例えば、動画像再生開始信号または動画像録画開始信号）を、音声処理用ＣＰＵ７を介して動画像処理ブロック３６、具体的には動画像処理ＣＰＵ１７に伝送する（ステップＳ１０４）。

音声処理用ＣＰＵ７は、動画像処理開始指示信号の伝送から先に計算した伝送時間（値Tav）が経過したタイミングで（ステップＳ１０５）、音声処理の開始を指示する音声処理開始信号（例えば、音声再生要求信号または音声録音要求信号）を同期制御部３４から受け取る。

ステップＳ１０４からステップＳ１０６を実行することにより、動画像処理ブロック３６と音声処理ブロック３３との間で伝送される信号の伝送時間に起因する同期タイミング誤差が解消され、動画像処理と音声処理とが同じタイミングでスタートする。また、動画像処理カウンタ１３と音声処理カウンタ３とが同じタイミングでカウント動作を開始する。

続いて、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づき、音声処理カウンタ３のカウント値であるCountAOut値とTSync値の差が、再同期判断値TLimitよりも大きくなったか否か判断する（ステップＳ１０７）。

ステップＳ１０７で、音声処理カウンタ３のカウント値であるCountAOut値とTSync値の差が、再同期判断値TLimitよりも大きくないと、音声処理用ＣＰＵ１７は、同期制御部３４による制御に基づき、再度ステップＳ１０７を実行する。

ステップＳ１０７で、音声処理カウンタ３のカウント値であるCountAOut値とTSync値の差が、再同期判断値TLimitよりも大きい場合、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づき、TSync値に音声処理カウンタ３のカウント値であるCountAOut値を代入し（ステップＳ１０８）、動画像処理カウンタ１３のカウント値であるCountVOut値を推定する（ステップＳ１０９）。

図１３は、ステップＳ１０９の一例を説明するためのシーケンス図である。なお、図１３において、図１２と同一の処理には、同一符号を附してある。以下、図１３を参照して、ステップＳ１０９の一例を説明する。

音声処理用ＣＰＵ７は、同期制御部３４による制御に基づき、変数ta1に音声処理カウンタ３のカウント値であるCountAOut値を代入し（ステップＤ１０）、ステップＤ１０とほぼ同時に動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７に対し同期要求を送信する（ステップＤ１１）。なお、ステップＤ１１で実行する同期要求には、変数ta1を引数として添付する。

ステップＤ１１で実行された同期要求を受信した動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７は、変数tv1に動画像処理カウンタ１３のカウント値であるCountVOut値を代入する（ステップＤ１２）。

ステップＤ１１で実行された同期要求を受信した動画像処理ブロック３６、具体的には動画像処理用ＣＰＵ１７は、音声処理ブロック３３、具体的には、音声処理用ＣＰＵ７に対して同期応答を送信する（ステップＤ１３）。ステップＤ１３で実行する同期応答には、変数tv1と変数ta1とを引数として添付してもよい。

音声処理ブロック３３、具体的には、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、動画像処理ブロック３６と音声処理ブロック３３との間の通信時間誤差を推定する（ステップＤ１６）。具体的には、音声処理用ＣＰＵ７は、同期制御部３４の制御に基づき、通信時間誤差Tavを、Tav＝（ta2−ta1）／2の式に基づき算出する（ステップＤ１６）。なお、通信時間誤差Tavの算出は、同期制御部３４が行ってもよい。

続いて、音声処理ブロック３３、具体的には、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、所望のタイミングでの音声処理カウンタ３のカウント値であるCountAOut値に対応する動画像処理カウンタ１３のカウント値CountVOut値を推定する（ステップＤ１７）。なお、動画像処理カウンタ１３のカウント値CountVOut値を推定するための推定式は、例えば、以下に示すものを用いる。
推定CountVOut=(CountAOut-ta2)+tv1+(ta2-ta1)/2。

なお、推定CountVOutの算出は、同期制御部３４が行ってもよい。

図１１に戻って、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、所望のタイミングでの動画像処理カウンタ１３の推定カウント値である推定CountVOut値と、前記所望のタイミングでの音声処理カウンタ３のカウント値であるCountAOut値とが、異なっているか否か判断する（ステップＳ１１０）。

ステップＳ１１０で、所望のタイミングでの動画像処理カウンタ１３の推定カウント値である推定CountVOut値と、前記所望のタイミングでの音声処理カウンタ３のカウント値であるCountAOut値とが異なっていないと、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、動画像と音声との同期が取れていると判断し、ステップＳ１０７に戻る。

ステップＳ１１０で、所望のタイミングでの動画像処理カウンタ１３の推定カウント値である推定CountVOut値と、前記所望のタイミングでの音声処理カウンタ３のカウント値であるCountAOut値とが異なっていると、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、動画像と音声との同期が取れていないと判断し、所望のタイミングでの動画像処理カウンタ１３の推定カウント値である推定CountVOut値が所望のタイミングでの音声処理カウンタ３のカウント値であるCountAOut値より大きいか判断する（ステップＳ１１１）。

ステップＳ１１１で、所望のタイミングでの動画像処理カウンタ１３の推定カウント値である推定CountVOut値が所望のタイミングでの音声処理カウンタ３のカウント値であるCountAOut値より大きいと、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、音声処理が動画像処理より遅れていると判断して、該推定CountVOut値から該CountAOut値を差し引いた時間分だけ、音声処理を進めるスキップ処理を行う（ステップＳ１１２）。

ステップＳ１１２において、音声処理を進める動作は、音声処理の高速動作（早回し）としてもよい。

音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、ステップＳ１１２が終了すると、ステップＳ１０７に戻る。

ステップＳ１１１で、所望のタイミングでの動画像処理カウンタ１３の推定カウント値である推定CountVOut値が所望のタイミングでの音声処理カウンタ３のカウント値であるCountAOut値より大きくないと、音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、音声処理が動画像処理より進んでいると判断して、該CountAOutから値該推定CountVOut値を差し引いた時間だけ、音声処理を停止する（ステップＳ１１３）。

ステップＳ１１３において、音声処理を停止する動作は、音声処理の低速動作（スロー）で行ってもよい。

音声処理用ＣＰＵ７は、同期制御部３４による制御に基づいて、ステップＳ１１３が終了すると、ステップＳ１０７に戻る。

なお、図１１に示した動作は、同期制御部３４が行ってもよい。

本実施例では、動画像処理カウンタ１３のカウント値を、動画像処理ブロック３６と音声処理ブロック３３との間で伝送される信号の伝送時間に起因するタイミング誤差を考慮して推定しているので、音声処理カウンタ３のカウント値と動画像処理カウンタ１３のカウント値とに基づき、動画像と音響との同期を取ることが可能となる。

また、本実施例によれば、音声処理部４を制御する音声処理用ＣＰＵを、動画像処理部１６を制御する動画像処理用ＣＰＵ１７と異なるものとしても、音声と動画像との同期を取ることが可能となる。これにより、例えば、外部の動画像処理ブロックを利用しても、音響と動画像とが同期した状態にすることができるようになる。

また、本実施例は、間欠的に、ステップＳ１０８以降の動作を実行するので、音声処理用ＣＰＵ７に制御された音声処理部４の音声処理速度と、動画像処理用ＣＰＵ１７に制御された動画像処理部１６の動画像処理速度とが異なる場合にも、動画像と音声との同期を間欠的に取ることが可能となる。

また、携帯電話端末の外に配置した動画像処理ブロックが、複数の携帯電話端末と接続可能である場合には、動画像処理ブロックを複数の携帯電話端末が共有することが可能となるので、例えば、動画像処理ブロック（動画像処理端末）としての表示スクリーンにて動画像を表示して、複数の携帯電話端末で同時に音声録音・再生を行う映画館のような機能を実現できるようになる。

また、図１０において、動画像処理端末３２を、携帯電話端末３１内に配置するようにしてもよい。

さらに、動画像処理端末３２を、携帯電話端末３１内に配置した場合に、動画像出力部１５または音声出力部６を、携帯電話端末３１の外部の設けるようにしてもよい。なお、動画像出力部１５を、携帯電話端末３１の外部に設ける場合、携帯電話端末３１に、動画像処理部１６の出力を外部に出力する動画像処理信号出力部をさらに設け、この動画像処理出力部が、無線または有線により外部の表示機器としての動画像出力部１５と接続されるようにしてもよい。

以上説明した各実施例において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。

本発明の一実施例の携帯電話端末を示したブロック図である。図１に示した携帯電話端末の動作を説明するためのフローチャートである。図２に示したステップＳ３の一例を説明するためのシーケンス図である。図２に示したステップＳ９の一例を説明するためのシーケンス図である。本発明の他の実施例の携帯電話端末を示したブロック図である。本発明の他の実施例の携帯電話端末を示したブロック図である。本発明の他の実施例の携帯電話端末の使用形態の一例を示したブロック図である。本発明の他の実施例の携帯電話端末を示したブロック図である。本発明の他の実施例の携帯電話端末の使用形態の一例を示したブロック図である。本発明の他の実施例の携帯電話端末を示したブロック図である。図１０に示した携帯電話端末の動作を説明するためのフローチャートである。図１１に示したステップＳ１０３の一例を説明するためのシーケンス図である。図１１に示したステップＳ１０９の一例を説明するためのシーケンス図である。従来の携帯電話端末を示したブロック図である。

符号の説明

１携帯電話端末
２音声処理ブロック
３音声処理カウンタ
４音声処理部
５音声入力部
６音声出力部
７音声処理用ＣＰＵ
８送受信アンテナ
９携帯電話用無線部
１０システム処理部
１１動画像処理ブロック
１２同期制御部
１３動画像処理カウンタ
１４動画像入力部
１５動画像出力部
１６動画像処理部
１７動画像処理用ＣＰＵ
１８ＣＰＵ通信路
１９携帯電話端末
１９ａ動画像処理信号出力部
２０表示機器
２１動画像出力部
２２携帯電話端末
２２ａ音響信号出力部
２３音声出力機器
２４音声出力部
２５携帯電話端末
２６携帯電話網
２７インターネット網
２８音声処理端末
２９通信部
３０通信部
３１携帯電話端末
３２動画像処理端末
３３音声処理ブロック
３４同期制御部
３５通信部
３６動画像処理ブロック
３７通信部

Claims

音響を示す音響情報を処理する音響処理部および前記音響処理部による音響処理を制御する音響処理制御部とを含む音響処理ブロックを用いて音響処理を行う携帯電話端末において、
動画像を示す動画像情報を処理する動画像処理部と、
前記動画像処理部による動画像処理を制御する動画像処理制御部と、
前記音響処理ブロックと前記動画像処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算処理を行い、その後、前記伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理を行う同期制御部とを含むことを特徴とする携帯電話端末。
請求項１に記載の携帯電話端末において、
前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、
前記音響処理ブロックは、前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、
前記同期制御部は、前記同期処理として、前記動画像処理制御部を介して前記音響処理カウンタのカウント値を取得し、取得した音響処理カウンタのカウント値と該音響処理カウンタのカウント値を取得した際の前記動画像処理カウンタのカウント値と所望のタイミングでの前記動画像処理カウンタのカウント値と前記伝送時間計算処理で計算した伝送時間とに基づき前記所望のタイミングでの音響処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの音響処理カウンタのカウント値と前記所望のタイミングでの動画像処理カウンタのカウント値との差が小さくなるように、前記動画像処理制御部を介して前記動画像処理部の処理速度を制御することを特徴とする携帯電話端末。
請求項１または２に記載の携帯電話端末において、前記同期制御部は、前記伝送時間計算処理および前記同期処理を間欠的に行うことを特徴とする携帯電話端末。
請求項１に記載の携帯電話端末において、前記同期制御部は、前記同期処理として、前記音響処理の開始を指示する音響処理開始信号を、前記動画像処理制御部を介して前記音響処理ブロックに伝送し、前記音響処理開始信号の伝送から、前記伝送時間計算処理で計算した伝送時間が経過したタイミングで前記動画像処理の開始を指示する動画像処理開始指示信号を前記動画像処理制御部に伝送することを特徴とする携帯電話端末。
請求項１ないし４のいずれかに記載の携帯電話端末において、前記音響処理ブロックは、前記音響処理部の出力を外部に出力する音響処理信号出力部をさらに含み、前記音響処理信号出力部は、無線または有線により外部の音響出力機器と接続されることを特徴とする携帯電話端末。
請求項１ないし４のいずれかに記載の携帯電話端末において、前記音響処理ブロックは、外部の音響処理端末に含まれ、前記動画像処理制御部は、無線または有線により前記音響処理ブロックと接続されることを特徴とする携帯電話端末。
請求項１ないし４のいずれかに記載の携帯電話端末において、
前記音響処理ブロックは、携帯電話システムを経由して複数の前記動画像処理制御部と接続可能な外部の音響処理端末に含まれ、
前記同期制御部は、前記動画像処理制御部を介して前記動画像処理部を制御することによって、前記音響処理に対して前記動画像処理の同期を行うことを特徴とする携帯電話端末。
動画像を示す動画像情報を処理する動画像処理部および前記動画像処理部による動画像処理を制御する動画像処理制御部とを含む動画像処理ブロックを用いて動画像処理を行う携帯電話端末において、
音響を示す音響情報を処理する音響処理部と、
前記音響処理部による前記音響処理を制御する音響処理制御部と、
前記動画像処理ブロックと前記音響処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算処理を行い、その後、前記伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理とを行う同期制御部とを含むことを特徴とする携帯電話端末。
請求項８に記載の携帯電話端末において、
前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、
前記動画像処理ブロックは、前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、
前記同期制御部は、前記同期処理として、前記音響処理制御部を介して前記動画像処理カウンタのカウント値を取得し、取得した動画像処理カウンタのカウント値と該動画像処理カウンタのカウント値を取得した際の前記音響処理カウンタのカウント値と所望のタイミングでの前記音響処理カウンタのカウント値と前記伝送時間計算処理で計算した伝送時間とに基づき前記所望のタイミングでの動画像処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの動画像処理カウンタのカウント値と前記所望のタイミングでの音響処理カウンタのカウント値との差が小さくなるように、前記音響処理制御部を介して前記音響処理部の処理速度を制御することを特徴とする携帯電話端末。
請求項８または９に記載の携帯電話端末において、前記同期制御部は、前記伝送時間計算処理および前記同期処理を間欠的に行うことを特徴とする携帯電話端末。
請求項８に記載の携帯電話端末において、前記同期制御部は、前記同期処理として、前記動画像処理の開始を指示する動画像処理開始信号を、前記音響処理制御部を介して前記動画像処理ブロックに伝送し、前記動画像処理開始信号の伝送から、前記伝送時間計算処理で計算した伝送時間が経過したタイミングで前記音響処理の開始を指示する音響開始指示信号を前記音響処理制御部に伝送することを特徴とする携帯電話端末。
請求項８ないし１１のいずれかに記載の携帯電話端末において、前記動画像処理ブロックは、前記動画像処理部の出力を外部に出力する動画像処理信号出力部をさらに含み、前記動画像処理出力部は、無線または有線により外部の表示機器と接続されることを特徴とする携帯電話端末。
請求項８ないし１１のいずれかに記載の携帯電話端末において、前記動画像処理ブロックは、外部の動画処理端末に含まれ、前記音響処理制御部は、無線または有線により前記動画像処理ブロックと接続されることを特徴とする携帯電話端末。
請求項８ないし１１のいずれかに記載の携帯電話端末において、
前記動画像処理ブロックは、携帯電話システムを経由して複数の前記音響処理制御部と接続可能な外部の動画処理端末に含まれ、
前記同期制御部は、前記音響処理制御部を介して前記音響処理部を制御することによって、前記動画像処理に対して前記音響処理の同期を行うことを特徴とする携帯電話端末。
音響を示す音響情報を処理する音響処理部および前記音響処理部による音響処理を制御する音響処理制御部とを含む音響処理ブロックを用いて音響処理を行い、動画像を示す動画像情報を処理する動画像処理部と、前記動画像処理部による動画像処理を制御する動画像処理制御部とを含む携帯電話端末が行う同期制御方法であって、
前記音響処理ブロックと前記動画像処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算ステップと、
前記伝送時間計算ステップで計算した信号の伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理を行う同期制御ステップとを含むことを特徴とする携帯電話端末の同期制御方法。
請求項１５に記載の携帯電話端末の同期制御方法において、
前記携帯電話端末は、前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、前記音響処理ブロックは、前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、
前記同期制御ステップは、前記同期処理として、前記動画像処理制御部を介して前記音響処理カウンタのカウント値を取得し、取得した音響処理カウンタのカウント値と該音響処理カウンタのカウント値を取得した際の前記動画像処理カウンタのカウント値と所望のタイミングでの前記動画像処理カウンタのカウント値と前記伝送時間計算ステップで計算した伝送時間とに基づき前記所望のタイミングでの音響処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの音響処理カウンタのカウント値と前記所望のタイミングでの動画像処理カウンタのカウント値との差が小さくなるように、前記動画像処理制御部を介して前記動画像処理部の処理速度を制御することを特徴とする携帯電話端末の同期制御方法。
請求項１５または１６に記載の携帯電話端末の同期制御方法において、前記伝送時間計算ステップと前記同期制御ステップとは、間欠的に実行されることを特徴とする携帯電話端末の同期制御方法。
請求項１５に記載の携帯電話端末の同期制御方法において、前記同期制御ステップは、前記同期処理として、前記音響処理の開始を指示する音響処理開始信号を、前記動画像処理制御部を介して前記音響処理ブロックに伝送し、前記音響処理開始信号の伝送から、前記伝送時間計算ステップで計算した伝送時間が経過したタイミングで前記動画像処理の開始を指示する動画像処理開始指示信号を前記動画像処理制御部に伝送することを特徴とする携帯電話端末の同期制御方法。
動画像を示す動画像情報を処理する動画像処理部および前記動画像処理部による動画像処理を制御する動画像処理制御部とを含む動画像処理ブロックを用いて動画像処理を行い、音響を示す音響情報を処理する音響処理部と、前記音響処理部による前記音響処理を制御する音響処理制御部とを含む携帯電話端末が行う同期制御方法であって、
前記動画像処理ブロックと前記音響処理制御部との間で伝送される信号の伝送時間を計算する伝送時間計算ステップと、
前記伝送時間計算ステップで計算した伝送時間に基づいて前記動画像処理と前記音響処理との間の同期誤差を補償して、前記動画像処理部による動画像処理と前記音響処理部による音響処理とを同期させる同期処理を行う同期制御ステップとを含むことを特徴とする携帯電話端末の同期制御方法。
請求項１９に記載の携帯電話端末の同期制御方法において、
前記携帯電話端末は、前記音響処理部による音響処理の進度をカウント値で示す音響処理カウンタをさらに含み、前記動画像処理ブロックは、前記動画像処理部による動画像処理の進度をカウント値で示す動画像処理カウンタをさらに含み、
前記同期制御ステップは、前記同期処理として、前記音響処理制御部を介して前記動画像処理カウンタのカウント値を取得し、取得した動画像処理カウンタのカウント値と該動画像処理カウンタのカウント値を取得した際の前記音響処理カウンタのカウント値と所望のタイミングでの前記音響処理カウンタのカウント値と前記伝送時間計算ステップで計算した伝送時間とに基づき前記所望のタイミングでの動画像処理カウンタのカウント値を計算し、計算した前記所望のタイミングでの動画像処理カウンタのカウント値と前記所望のタイミングでの音響処理カウンタのカウント値との差が小さくなるように、前記音響処理制御部を介して前記音響処理部の処理速度を制御することを特徴とする携帯電話端末の同期制御方法。
請求項１９または２０に記載の携帯電話端末の同期制御方法において、前記伝送時間計算ステップと前記同期制御ステップとは、間欠的に実行されることを特徴とする携帯電話端末の同期制御方法。
請求項１９に記載の携帯電話端末の同期制御方法において、前記同期制御ステップは、前記同期処理として、前記動画像処理の開始を指示する動画像処理開始信号を、前記音響処理制御部を介して前記動画像処理ブロックに伝送し、前記動画像処理開始信号の伝送から、前記伝送時間計算ステップで計算した伝送時間が経過したタイミングで前記音響処理の開始を指示する音響開始指示信号を前記音響処理制御部に伝送することを特徴とする携帯電話端末の同期制御方法。