JP4685372B2 - 移動通信端末機の映像データ処理方法 - Google Patents

Description

本発明は、移動通信端末機の映像データ処理方法に関するもので、詳しくは、映像通話（ｖｉｄｅｏ ｔｅｌｅｐｈｏｎｙ）中にトラフィック状態によって映像データの解像度を変更して伝送する移動通信端末機の映像データ処理方法に関するものである。

最近、移動通信端末機は、音声通話のみを行う機器でなく、マルチメディアデータを処理し得る携帯用複合機器であって、高性能制御部、複雑な演算を処理するための信号処理部、及び大容量のメモリも備え、カメラ機能まで実現している。

前記カメラ機能を備えた移動通信端末機を利用して提供し得る一般のサービスは、映像通話サービスであって、固定されたベアラレート（ｂｅａｒｅｒ ｒａｔｅ）で映像及び音声を同時に伝送するサービスである。従って、使用者は、前記映像通話サービスを通して、相手方や相手方の映す映像を見ながら音声通話を行うことができる。

一般に、前記移動通信端末機に備えられたカメラを通して得られたイメージの最大解像度は、「横ピクセル数＊縦ピクセル数＊カラー構成数」を有する。

従来の移動通信端末機の映像通話サービスにおいて前記カメラを通して得られたイメージは、前記最大解像度を有するデータ状態で伝送されるため、その伝送データのサイズが非常に大きくなる。前記一連の映像を時間による構成に区分する単位がｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）であり、前記ｆｐｓが高いほど映像通話の動映像が自然になる。

しかしながら、このような従来の移動通信端末機の映像通話サービスは、通信網の環境によってｆｐｓを高くするのに限界があり、前記ｆｐｓが高いほどより多くのデータが伝送されるため、データの消失が発生する危険性が大きくなるという問題点があった。

即ち、従来の移動通信端末機の映像通話サービスは、カメラを通して入力された映像をそのまま伝送するため、伝送する移動通信端末機と基地局間のトラフィックが暴走する場合、正常な設定フレームを全て伝送し得ず映像が途切れて伝送され、一つのイメージ自体が大きなデータ量を有するため、伝送される単一フレームのイメージが破損される現象が発生する。

このように、従来の移動通信端末機の映像通話サービスは、カメラを通して入力された高容量のイメージデータをそのまま伝送するため、通信網のトラフィック状態によって時間内に伝送されないフレームが発生して自然な動映像を提供し得ないという問題点があった。

また、従来の移動通信端末機の映像通話サービスは、通信網のトラフィックが暴走する場合、単一フレームに対するデータを正常に伝達し得ないため、映像データの部分的消失が発生することで破損された映像が提供されるという問題点があるだけでなく、該当サービスの品質に対する信頼性が喪失されるという問題点があった。

本発明は、このような従来の課題に鑑みてなされたもので、映像通話中にデータリンク階層のトラフィックを分析し、その状態によってイメージデータの解像度を自動に変更する移動通信端末機の映像データ処理方法を提供することを目的とする。

このような目的を達成するため、本発明に係る移動通信端末機の映像データ処理方法は、カメラを備えた移動通信端末機の映像通話において、データリンク階層でトラフィックを分析する段階と、前記トラフィック状態によって、既設定された臨界値に前記カメラから入力される映像の解像度を減縮して伝送する段階と、を順次行うことを特徴とする。

また、本発明に係る移動通信端末機の映像データ処理方法は、トラフィック状態による所定段階の臨界値を既設定する段階と、映像通話が開始されると、移動通信端末機の第２階層の処理バッファが現在のトラフィック状態を分析する段階と、前記トラフィック状態と臨界値とを比較して、前記移動通信端末機のカメラから入力される映像の解像度を変更する段階と、前記変更された解像度の映像を伝送する段階と、を順次行うことを他の特徴とする。

また、本発明に係る移動通信端末機の映像データ処理方法は、トラフィック状態による所定段階の臨界値を既設定する段階と、移動通信端末機の第２階層の処理バッファが現在のトラフィック状態を分析する段階と、前記トラフィック状態と臨界値とを比較する段階と、前記移動通信端末機のカメラから入力される映像に所定サイズのウィンドウを適用して解像度を減縮する段階と、前記減縮された解像度の映像を伝送する段階と、を順次行うことを更に他の特徴とする。

本発明の移動通信端末機の映像データ処理方法は、カメラを備えた移動通信端末機の映像通話において、データリンク階層でトラフィックを分析する段階と、前記トラフィック状態によって、既設定された臨界値に前記カメラから入力される映像の解像度を減縮して伝送する段階と、を順次行うことを特徴とし、それにより上記目的が達成される。

前記トラフィック状態に対する所定段階の臨界値を予め設定する段階を更に行うことを特徴としてもよい。

前記臨界値は、移動通信端末機のデータリンク階層の処理バッファで伝送する最大のデータ量であることを特徴としてもよい。

前記映像の解像度を減縮して伝送する段階は、前記トラフィックが既設定された臨界値に到達するかを判断する段階と、前記トラフィックが臨界値に到達すると、所定サイズのウィンドウを映像に適用して解像度を減縮する段階と、前記減縮された解像度の映像を伝送する段階と、を含むことを特徴としてもよい。

本発明の移動通信端末機の映像データ処理方法は、トラフィック状態による所定段階の臨界値を既設定する段階と、映像通話が開始されると、移動通信端末機の第２階層の処理バッファが現在のトラフィック状態を分析する段階と、前記トラフィック状態と臨界値とを比較して、前記移動通信端末機のカメラから入力される映像の解像度を変更する段階と、前記変更された解像度の映像を伝送する段階と、を順次行うことを特徴とし、それにより上記目的が達成される。

前記臨界値は、移動通信端末機の第２階層の処理バッファで伝送する最大のデータ量であることを特徴としてもよい。

前記解像度を変更する段階は、現在のトラフィック状態と臨界値とを比較する段階と、前記トラフィックが臨界値を超過すると、第２階層の処理バッファが第３階層に映像処理レベルの調節に対する要請信号を伝送する段階と、前記要請信号を受信した第３階層が映像処理レベルの調節命令を第１階層に伝送する段階と、前記移動通信端末機のカメラを通して入力される映像の解像度を減縮する段階と、を含むことを特徴としてもよい。

前記解像度を減縮する段階は、カメラを通して入力された映像に異なるサイズのウィンドウを適用し、該当のウィンドウを一つのピクセルとして見なすようにして、サイズを維持しながら解像度を減縮することを特徴としてもよい。

本発明の移動通信端末機の映像データ処理方法は、トラフィック状態による所定段階の臨界値を既設定する段階と、移動通信端末機の第２階層の処理バッファが現在のトラフィック状態を分析する段階と、前記トラフィック状態と臨界値とを比較する段階と、前記移動通信端末機のカメラから入力される映像に所定サイズのウィンドウを適用して解像度を減縮する段階と、前記減縮された解像度の映像を伝送する段階と、を順次行うことを特徴とし、それにより上記目的が達成される。

前記臨界値を比較する段階は、前記トラフィックが臨界値を超過すると、第２階層の処理バッファが第３階層に映像処理レベルの調節に対する要請信号を伝送する段階と、前記要請信号を受信した第３階層が映像処理レベルの調節命令を第１階層に伝送する段階と、を含むことを特徴としてもよい。

本発明に係る移動通信端末機の映像データ処理方法は、映像通話中にデータリンク階層のトラフィックが設定された臨界値を超過すると、伝送すべき映像イメージの解像度を減縮してデータ量を減らすことで、途切れのない自然な動映像を提供し得るという効果がある。

また、本発明に係る移動通信端末機の映像データ処理方法は、通信網のトラフィック状態によって伝送イメージの解像度を変更して動映像を提供することで、該当サービスの品質に対する信頼性を向上し得るという効果がある。

以下、本発明に係る移動通信端末機の映像データ処理方法の実施例について、図面に基づいて説明する。

静止映像では、解像度が減少すると該当映像の品質が極端に低くなるが、動映像では、解像度の減少よりも映像の途切れが映像の品質に一層影響を及ぼす。特に、比較的遅く動作し低い明るさを有するディスプレイ部を含む移動通信端末機において、動映像の解像度の減少は、映像の連続性を通して使用者が認知し得る程度に補償することができる。然し、前記移動通信端末機を通して動映像を再生する場合、動映像の解像度は高いが、フレームの消失により映像が途切れるか、映像の一部が破損される現象が発生することは、致命的な品質低下の要因となる。

従って、本発明に係る移動通信端末機の映像データ処理方法は、トラフィックによって多様な段階の臨界値を設定し、映像通話時に、トラフィックを前記設定された臨界値と比較して解像度を変更した後に映像を伝送することで、途切れのない動映像を維持しようとする。

図１は、本発明に係る移動通信端末機の映像データ処理方法を示したフローチャートで、図示されたように、まず、移動通信端末機とネットワーク間の各トラフィックによる所定段階の臨界値を設定する（Ｓ１１）。このとき、前記臨界値は、前記移動通信端末機のデータリンク階層の処理バッファで伝送する最大データ量であって、前記トラフィックが大きくなるほど各臨界値は小さくなる。

使用者が、カメラが取付けられた移動通信端末機を利用して相手方と映像通話を開始すると（Ｓ１２）、前記処理バッファは、現在のトラフィック状態を把握して該当の臨界値を抽出し（Ｓ１３）、前記トラフィックが設定された臨界値に到達するかを判断する（Ｓ１４）。

前記トラフィックが設定された臨界値に到達すると、前記処理バッファは、上位階層に映像処理レベルを調節するための要請信号を伝送し（Ｓ１５）、前記上位階層では、前記要請信号によって前記映像処理レベルの調節命令を前記処理バッファの下位階層に伝送する（Ｓ１６）。

次いで、前記下位階層は、前記移動通信端末機のカメラから入力される映像の解像度を変更し（Ｓ１７）、前記処理バッファは、該変更された解像度の映像を読み込んで伝送する（Ｓ１８）。

即ち、前記移動通信端末機のデータリンク階層に該当する処理バッファは、前記映像処理レベルの調節に対する要請信号を第３階層に伝送し、該第３階層では、前記カメラを通して得られた映像に所定サイズを有するウィンドウを適用することで解像度を減縮する。

前記解像度を変更するためには多様な技法を用いることができるが、本発明においては、ｎ×ｎピクセルのウィンドウを利用して解像度を変更する。このようなウィンドウを利用する解像度の変更は、簡単なアルゴリズムであるため高速演算が可能である。

前記トラフィックが設定された臨界値に到達しないと、前記移動通信端末機のカメラから入力される映像を、解像度の減縮を行わずにそのままネットワークを通して伝送する（Ｓ１９）。

その後、移動通信端末機を利用した映像通話が終了されるかを判断し（Ｓ２０）、通話終了命令が入力されると、前記映像通話過程を全て終了し（Ｓ２１）、前記通話終了命令が入力されないと、前記映像通話が終了されるまで前記過程を繰り返す。

図２は、本発明に係る移動通信端末機の映像データ処理動作を示した説明図で、以下、映像通話時、トラフィックによって映像の解像度を変更／伝送する動作を図面に基づいて詳しく説明する。

前記移動通信端末機のデータリンク階層の処理バッファにトラフィック状態による所定段階の臨界値を設定し、映像通話のために前記移動通信端末機とネットワークとを連結する。

前記データリンク階層の処理バッファは、前記トラフィック状態を分析して設定された臨界値以上であるかを判断し、前記臨界値以上でないと、前記移動通信端末機に備えられたカメラを通して入力されるイメージを下位階層からそのまま読み込んで伝送する。

然し、前記処理バッファで分析されたトラフィック状態が臨界値以上であると、前記データリンク階層は、上位階層に映像処理レベルの調節に対する要請信号を伝送する。

次いで、前記要請信号を受信した上位階層は、前記データリンク階層の下位階層に前記映像処理レベルの調節命令を伝送し、前記下位階層は、前記移動通信端末機のカメラを通して入力される映像イメージの解像度を減縮して前記データリンク階層の処理バッファに伝送する。

前記解像度の減縮は、カメラを通して入力されたイメージに所定サイズを有するウィンドウを適用して解像度を下げることをいい、各イメージを構成するｎ×ｎピクセルが単一ピクセルに表現される。

図３（Ａ）は、一般の移動通信端末機のカメラにより獲得されたイメージの例で、図３（Ｂ）は、図３（Ａ）のイメージに３×３ピクセルのウィンドウを適用して解像度を減縮したイメージで、図３（Ｃ）は、図３（Ａ）のイメージに５×５ピクセルのウィンドウを適用して解像度を減縮したイメージである。

図３（Ａ）に示したイメージは、鮮明な画質を有する高い解像度のイメージであり、図３（Ｂ）のように原本イメージに３×３ピクセルのウィンドウを適用して解像度を減縮すると、イメージの線及び面が単純化されて該当イメージの品質は低くなるが、その形態の区分は可能である。

解像度が１２０×１６０の原本イメージに３×３ピクセルのウィンドウを適用すると、４０×５４の解像度に減縮することができるため、データ量を原本イメージのデータ量の１／９に減らすことができる。即ち、原本イメージをそのまま伝送する場合に比べて９倍多いフレームを伝送することができる。

図３（Ａ）の原本イメージに５×５ピクセルのウィンドウを適用して図３（Ｃ）のようにイメージの解像度を減縮すると、図３（Ｂ）のイメージよりも品質が更に低くなるが、その形態の区分は可能である。

前記５×５ピクセルのウィンドウを適用すると、１２０×１６０の原本イメージの解像度を２４×３２に減縮することができるため、データ量を原本イメージのデータ量の１／２５に減らすことができる。即ち、原本イメージをそのまま伝送する場合に比べて２５倍も多いフレームを伝送することができる。

一般に、１５ｆｐｓ程度の動映像の品質であれば使用者がリアルタイム動映像として認識することができるが、実際の映像通話においては１５ｆｐｓを達成し得ない場合が頻繁にある。

従って、本発明に係る移動通信端末機の映像データ処理方法は、小さなデータ量で多くのフレームを伝送することができるため、トラフィックが暴走する場合も従来に比べて途切れの少ない動映像を提供することができる。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明に係る移動通信端末機の映像データ処理方法を示したフローチャートである。 本発明に係る移動通信端末機の映像データ処理動作を示した説明図である。 図３（Ａ）は、移動通信端末機のカメラにより獲得されたイメージの実施例である。 図３（Ｂ）は、図３（Ａ）に３×３ピクセルのウィンドウを適用した実施例である。 図３（Ｃ）は、図３（Ａ）に５×５ピクセルのウィンドウを適用した実施例である。

Claims (2)

1. カメラを備えた移動通信端末機において映像データを処理する方法であって、前記方法は、
   各トラフィック毎に処理バッファが伝送可能な最大データ量を示す所定段階の臨界値を設定する段階（Ｓ１１）と、
   使用者がカメラを備えた移動通信端末機を利用して相手方と映像通話を開始する段階（Ｓ１２）と、
   前記映像通話が開始されると、前記移動通信端末機と基地局間のトラフィックを把握し、予め設定された所定段階の臨界値から前記把握されたトラフィックに対応する臨界値を抽出する段階（Ｓ１３）と、
   前記把握されたトラフィックで前記処理バッファから伝送されるデータ量が前記抽出された臨界値に達するか否かを判断する段階（Ｓ１４）と、
   前記把握されたトラフィックで前記処理バッファから伝送されるデータ量が前記抽出された臨界値に達すると、映像処理レベルの調節命令を出力する段階（Ｓ１５〜Ｓ１６）と、
   前記映像処理レベルの調節命令に応じて所定ピクセルのウィンドウを適用して前記カメラから入力される映像の解像度を下げる段階（Ｓ１７）と、
   前記解像度が下げられた映像を相手方に伝送する段階（Ｓ１８）と
   を包含する、方法。
2. 前記把握されたトラフィックで前記処理バッファから伝送されるデータ量が前記抽出された臨界値に達しない場合に、前記入力された映像を伝送することをさらに包含する、請求項１に記載の方法。