JPWO2004010703A1 - 移動端末 - Google Patents
移動端末 Download PDFInfo
- Publication number
- JPWO2004010703A1 JPWO2004010703A1 JP2004522706A JP2004522706A JPWO2004010703A1 JP WO2004010703 A1 JPWO2004010703 A1 JP WO2004010703A1 JP 2004522706 A JP2004522706 A JP 2004522706A JP 2004522706 A JP2004522706 A JP 2004522706A JP WO2004010703 A1 JPWO2004010703 A1 JP WO2004010703A1
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- moving image
- mobile terminal
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
Abstract
動画像を送受信する機能を有する携帯電話には、動画像の入力、動画像のエンコード/デコードなどの処理を実行するアプリケーションプロセッサが設けられている。アプリケーションプロセッサは、カメラ2が取り込んだ輝度と色差から、差分部21、DTC22、係数予測部23、および可変長符号化部24が、エンコードパラメータに基づいて動画像エンコードを行う。時間計測部31はエンコード時間を測定し、データ量計測部32がエンコード量を計測する。そして、エンコード時間、エンコード量が予め設定したレートをオーバしていないか否かを判定し、オーバしている場合には予め任意に選択したパラメータを用いてエンコードを行う。この表示パラメータは、コマ落ち、色数変更、および表示面積の変更がある。
Description
本発明は、移動端末に関し、特に、携帯電話などによる動画像の高品質な通信に適用して有効な技術に関するものである。
近年、移動体通信の1つとして、携帯電話が広く普及しており、該携帯電話には動画像の送受信機能などの多様性が求められている。この動画像の送受信では、MPEG(Moving Picture Experts Group)などの圧縮規格が広く用いられている。
また、動画データの送受信技術としては、たとえば、特開2001−333428号公報に示されるように、画像を垂直縮小フィルタで垂直方向の画素数を減らして画面を間引き、素材の動きの多少に応じて垂直縮小フィルタ、および間引かれた画像のいずれかを選択し、垂直拡大フィルタで垂直方向の画素数を元の画素数に戻した後、画像属性情報に従って垂直拡大フィルタから出力される画像、ならびに受信画像のいずれかを選択し、交互に読み出すものが知られている。
ところが、上記のような動画データの送受信技術では、次のような問題点があることが本発明者により見い出された。
すなわち、画像全体の拡大、縮小を行うので、データ量の削減には有効であるが、画像全体の拡大、縮小のために処理量が増加してしまい、それによって動画像圧縮の時間オーバになる恐れがあり、フレームスキップが発生してしまうという問題がある。
本発明の目的は、画像サイズ、ビットフレーム、およびフレームレートなどのパラメータを自動調整することにより、動画像圧縮で画像の変化が大きい場合でも画像スキップなどを防止することのできる携帯端末を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
また、動画データの送受信技術としては、たとえば、特開2001−333428号公報に示されるように、画像を垂直縮小フィルタで垂直方向の画素数を減らして画面を間引き、素材の動きの多少に応じて垂直縮小フィルタ、および間引かれた画像のいずれかを選択し、垂直拡大フィルタで垂直方向の画素数を元の画素数に戻した後、画像属性情報に従って垂直拡大フィルタから出力される画像、ならびに受信画像のいずれかを選択し、交互に読み出すものが知られている。
ところが、上記のような動画データの送受信技術では、次のような問題点があることが本発明者により見い出された。
すなわち、画像全体の拡大、縮小を行うので、データ量の削減には有効であるが、画像全体の拡大、縮小のために処理量が増加してしまい、それによって動画像圧縮の時間オーバになる恐れがあり、フレームスキップが発生してしまうという問題がある。
本発明の目的は、画像サイズ、ビットフレーム、およびフレームレートなどのパラメータを自動調整することにより、動画像圧縮で画像の変化が大きい場合でも画像スキップなどを防止することのできる携帯端末を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
本発明は、複数の表示パラメータを有し、動画像が初期設定のエンコードパラメータにより圧縮できない場合に、複数の表示モードパラメータのうち、任意の1つの表示パラメータにより動画像のエンコードを行う画像圧縮手段を備えたものである。
また、本発明は、前記画像圧縮手段が、複数の表示パラメータが格納されたパラメータ格納部と、初期設定のエンコードパラメータによってエンコードされた動画像がフレームレートオーバ、またはビットレートオーバの場合に、該パラメータ格納部に格納された任意の表示パラメータを選択し、選択した表示パラメータにより動画像をエンコードする画像処理部とよりなるものである。
さらに、本発明は、前記パラメータ格納部に格納された表示パラメータが、少なくともコマ落ち処理、色数変更処理、および面積変更処理よりなるものである。
また、本発明は、前記パラメータ格納部に格納された色数変更処理の表示パラメータは動画像を白黒画像処理するものである。
さらに、本発明は、前記パラメータ格納部に格納された複数の表示モードパラメータを受信側の移動端末が任意に選択し、動画像が初期設定のエンコードパラメータにより圧縮できない場合に、受信側の移動端末が選択した表示モードパラメータによりエンコードするものである。
また、本発明は、動画像が初期設定のエンコードパラメータにより圧縮できない場合に、動画像を色数変更処理のエンコードを行う画像圧縮手段を備えたものである。
さらに、本発明は、前記画像圧縮手段による色数変更処理が、動画像を白黒動画像に変換するものである。
また、本発明は、動画像が初期設定のエンコードパラメータにより圧縮できない場合に、動画像を面積変更処理のエンコードを行う画像圧縮手段を備えたものである。
また、本発明は、前記画像圧縮手段が、複数の表示パラメータが格納されたパラメータ格納部と、初期設定のエンコードパラメータによってエンコードされた動画像がフレームレートオーバ、またはビットレートオーバの場合に、該パラメータ格納部に格納された任意の表示パラメータを選択し、選択した表示パラメータにより動画像をエンコードする画像処理部とよりなるものである。
さらに、本発明は、前記パラメータ格納部に格納された表示パラメータが、少なくともコマ落ち処理、色数変更処理、および面積変更処理よりなるものである。
また、本発明は、前記パラメータ格納部に格納された色数変更処理の表示パラメータは動画像を白黒画像処理するものである。
さらに、本発明は、前記パラメータ格納部に格納された複数の表示モードパラメータを受信側の移動端末が任意に選択し、動画像が初期設定のエンコードパラメータにより圧縮できない場合に、受信側の移動端末が選択した表示モードパラメータによりエンコードするものである。
また、本発明は、動画像が初期設定のエンコードパラメータにより圧縮できない場合に、動画像を色数変更処理のエンコードを行う画像圧縮手段を備えたものである。
さらに、本発明は、前記画像圧縮手段による色数変更処理が、動画像を白黒動画像に変換するものである。
また、本発明は、動画像が初期設定のエンコードパラメータにより圧縮できない場合に、動画像を面積変更処理のエンコードを行う画像圧縮手段を備えたものである。
図1は、本発明の実施の形態1による携帯電話を用いて動画を送受信する際の全体構成の説明図、図2は、図1の携帯電話におけるブロック図、図3は、図2の携帯電話に設けられた画像圧縮部のブロック図、図4は、図2の携帯電話に設けられた画像伸張部のブロック図、図5は、図2の携帯電話における画像圧縮処理のフローチャート、図6は、携帯電話における画像伸張処理のフローチャート、図7は、図2の携帯電話に表示される動画像の一例を示す説明図、図8は、本発明の実施の形態2による携帯電話によりユーザ情報を用いて動画を送受信する際の説明図、図9は、図8のユーザ情報を用いた画像圧縮処理のフローチャート、図10は、図9に続く画像圧縮処理のフローチャート、図11は、画像圧縮処理における受信側の携帯電話のフローチャートである。
本発明を詳細に説明するために、添付の図面に従ってこれを説明する。なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
(実施の形態1)
本実施の形態1において、携帯電話(移動端末)1は、たとえば、電話としての機能、音楽の録音/再生、および動画像を送受信する機能などを有する。携帯電話1は、図1に示すように、中継局であるキャリアCRを介して他の携帯電話1との通信が行われる。たとえば、ある携帯電話1が動画像を送信すると、キャリアCRを介して任意の受信側の携帯電話1に動画像データが送信される。
また、携帯電話1は、図2に示すように、カメラ2、マイク3、表示部4、キー入力部5、スピーカ6、通信プロセッサ7、RAM8、ROM(画像圧縮手段、パラメータ格納部)9、アプリケーションプロセッサ(画像圧縮手段、画像処理部)10などから構成されている。
カメラ2は動画像を撮影し、マイク3は音声などを入力する。表示部4は、たとえば、液晶ディスプレイなどからなり、受信した動画像やキー入力部5から入力された情報などを表示する。キー入力部5は、電話番号や文字などを入力し、スピーカ6は音声などを出力する。
通信プロセッサ7は、RF部11、およびベースバンド12からなる。RF部11は、無線からデジタル情報を抽出し、ベースバンド12は、携帯電話としての機能や音声処理などを実行する。
RAM8は、通信プロセッサ7やアプリケーションプロセッサ10などにおける各プログラムのワークエリア、および電話番号などのユーザ情報を記録する。ROM9は、通信プロセッサ7、アプリケーションプロセッサ10が用いるプログラム、該プログラムの初期データ、ならびにアイコンなどの表示データなどが格納されている。
アプリケーションプロセッサ10は、動画像の入力、音楽の録音/再生、動画像のエンコード/デコードなどの処理を実行する。このアプリケーションプロセッサ10は、図2に示すように、内部RAM13、VIO14、画像処理部15、CPU16、APインタフェース17、ならびにI/Oインタフェース18などから構成されている。
内部RAM13は、使用頻度の高いプログラムやデータなどを一時的に格納する。VIO14は、カメラ2が取り込んだ画像データの輝度、および色差などを、いわゆるRGB(Red Green Blue)変換したり、逆にRGBを輝度、色差にそれぞれ変換する。
画像処理部15は、通信プロセッサ7を介して送受信される動画像データの圧縮/伸張処理を実行する。この画像処理部15は、画像圧縮部15aと画像伸張部15bから構成されている。
CPU16は、前述した内部RAM13、VIO14、および画像処理部15などにおけるすべての制御を司る。APインタフェース17は、アプリケーションプロセッサ10が、通信プロセッサ7、RAM8、およびROM9などと情報をやり取りする際のインタフェースである。
I/Oインタフェース18は、アプリケーションプロセッサ10が、カメラ2、マイク3、表示部4、キー入力部5、ならびにスピーカ6などと情報をやり取りする際のインタフェースである。
画像処理部15における画像圧縮部(画像処理部)15a、および画像伸張部15bについて説明する。
画像圧縮部15aは、図3に示すように、色数変更部19、面積変更部20、差分部21、DCT22、係数予測部23、可変長符号化部24、逆量子化部25、IDCT26、合成部27、動き補償部28、動き検出部29、動きベクトル予測部30、時間計測部31、およびデータ量計測部32などからなる。
色数変更部19は、カメラ2が取得した輝度と色差とを表示パラメータに基づいて色数変更する。面積変更部20は、カメラ2が取得した輝度と色差とを表示パラメータに基づいて面積変更する。
差分部21は、色数変更部19、または面積変更部20から出力された画像データと1つ前に入力された画像データとの差分をとる。DCT22は、入力された画像データをDCT(Discrete Cosine Transform:離散コサイン変換)処理し、輝度と色差の周波数成分を計算する。
係数予測部23は、DCT22が計算した輝度と色差の周波数成分における係数予測を行う。可変長符号化部24は、ハフマン符号化テーブルに基づいて係数予測、および動きベクトル予測部30が予測した動きベクトル予測を可変長符号化する。
逆量子化部25は逆量子化を行い、IDCT26は逆DCT処理を行い、輝度と色差とを復元する。合成部27は、IDCT26が復元化した輝度と色差とを補償し、動き補償部28は、1つ目の画像を復元する。
動き検出部29は画像の動きを検出し、動きベクトル予測部30は、その画像の動きベクトル予測を行う。時間計測部31は、画像圧縮に要した時間を測定する。データ量計測部32は、画像圧縮したデータ量を測定する。
そして、圧縮された画像データは、符号化データとしてRAM8に格納される。
また、画像伸張部15bは、図4に示すように、色数変更部33、面積変更部34、可変長復号化部35、逆量子化部36、IDCT37、動きベクトル復号化部38、動き補償部39、および合成部40から構成されている。
色数変更部33は、ベースバンド12を介して出力された符号化データの色数変更を行い、面積変更部34は、ベースバンド12から出力された符号化データの面積変更を行う。
可変長復号化部35は、可変長符号化された量子化係数を復元する。逆量子化部36は、復元された量子化係数の逆量子化を行い、DCT係数を復元する。IDCT37は逆DCT処理により、輝度と色差とを復元する。
動きベクトル復号化部38は、可変長復号化された動きベクトルを復号化し、動き補償部39は、復号化された動きベクトルの補償を行う。合成部40は、動き補償部39の動き補償の結果から、輝度、ならびに色差をそれぞれ合成する。合成された輝度、および色差は、RAM8に格納される。
次に、本実施の形態におけるアプリケーションプロセッサ10の動作について説明する。
はじめに、送信側の携帯電話1の画像圧縮部15aによる画像圧縮の動作例について、図5のフローチャートを用いて説明する。
まず、ユーザが携帯電話1のキー入力部5を操作して通信相手を選択する(ステップS101)。その後、ユーザは、エンコード処理におけるコマ落ち、色数変更、あるいは面積変更のいずれかの表示パラメータを設定する(ステップS102)。これにより、フレームレートやビットレートなどのエンコードパラメータがROM9から読み出されて設定される。同時に、時間やデータ量などがオーバした際に用いられる表示パラメータもROM9から読み出されて設定される。
そして、キー入力部5からのキー入力を取得する(ステップS103)。CPU16は、通信終了のキー入力があるか否かを判定する(ステップS104)。このステップS104の処理において、通信終了が選択されている場合には、終了処理を行い、エンコードを終了する(ステップS105)。
また、通信終了でない場合には、カメラ2が取り込んだ輝度と色差を取得する(ステップS106)。取得した輝度と色差とは、差分部21、DCT22、係数予測部23、および可変長符号化部24が、エンコードパラメータに基づいて通常の動画像エンコードを行う(ステップS107)。
さらに、時間計測部31は、エンコード時間を測定した後(ステップS108)、データ量計測部32がエンコードデータ量を計測する(ステップS109)。エンコードされた符号化データは、APインタフェース17を介してアプリケーションプロセッサ10からベースバンド12に転送され、RF部11によって電波信号に変換されて外部に送信される(ステップS110)。
CPU16は、エンコード時間が予め設定したフレームレートをオーバしていないか否かを判定する(ステップS111)。オーバしていない場合には、予め設定されたデータ量をオーバしていないか否かを判定する(ステップS112)。
ステップS111,S112の処理において、時間オーバ、またはデータ量オーバのいずれかの場合には、CPU16がステップS102の処理において設定された表示パラメータの選択を行う(ステップS113)。このステップS113の処理においては、コマ落ち、色数変更、あるいは表示面積の変更のいずれかが選択される。
コマ落ちが選択された場合、動画像のコマ落ち処理が実行される(ステップS114)。色数変更が選択されている場合、色数変更部19が色差情報をエンコードせずに白黒画像処理を行う(ステップS115)。このステップS115の処理では、白黒画像以外でもよく、たとえば、動画像がセピア色などになるように処理してもよい。動画像の表示面積の変更が選択されている際には、面積変更部34がエンコードする面積を狭くして処理を行う(ステップS116)。
ステップS114〜S116のいずれかの処理が終了すると、変更フラグをONに設定し(ステップS117)、変更情報が出力される(ステップS118)。
また、ステップS111,S112の処理において、時間オーバ、またはデータ量オーバでない場合には、変更フラグがONか否かを判定し、色数変更や面積変更などをの処理を行っているか否かを判定する(ステップS119)。
変更フラグがONでない場合には、ステップS103の処理に戻る。変更フラグがONの場合、色数、面積を再設定し(ステップS120)、パラメータを元の状態に戻す。
その後、I−VOP(Intra Video Object Plane)を出力して画面全体を再描画し(ステップS121)、変更フラグをOFFにした後(ステップS122)、ステップS103の処理に戻る。
さらに、受信側の携帯電話1における画像伸張部15bによる画像伸張の動作例について、図6のフローチャートを用いて説明する。
まず、ベースバンド12から符号化データを取得する(ステップS201)。そして、取得した符号化データが終了か否かを判定する(ステップS202)。終了している場合には、デコード処理が終了となる(ステップS203)。
また、符号化データが終了でない場合には、可変長復号化部35、逆量子化部36、IDCT37、動きベクトル復号化部38、動き補償部39、ならびに合成部40によって動画像デコードを行い(ステップS204)、表示部4に画像が表示される(ステップS205)。
その後、送信側の携帯電話1から、ステップS118の処理によって出力された動画像の変更情報を受信したか否かを判定する(ステップS206)。変更情報を受信しなかった場合には、ステップS201の処理に戻る。
変更情報を受信した際には、その表示パラメータの判定を行う(ステップS207)。表示パラメータは、ステップS118の処理によって送信されたコマ落ち処理、色数変更処理、または面積変更処理のいずれかである。
コマ落ち処理の際には、動画像のコマ落ち処理を実行する(ステップS208)。色数変更処理の場合、色数変更部19が色差情報を消去する(ステップS209)。動画像の表示面積の変更では、面積変更部34が表示面積を縮小する(ステップS210)。
そして、これらステップS204〜S210の処理によってデコード処理を繰り返すことにより、表示部4に動画像が表示される。
ここで、図5、および図6に示したエンコード/デコード処理により受信側の携帯電話1に表示される出力画像の一例を図7に示す。
図7の上方から下方にかけて、元画像G1〜G3、色数変更を行った画像G4〜G6、ならびに面積変更を行った画像G7〜G9における時間経過の画像処理の移り変わりをそれぞれ示している。
図7の中段に示す画像において、左側の画像G4に時間オーバかデータ量オーバが発生した場合、画像G5、および画像G6によって色数変更が行われ、色差情報を削除してエンコードを行う。それによって、画像はモノクロとなる。
さらに、画像の面積変更を行った際、図7の下段に示す画像において、画像G7に時間オーバかデータ量オーバが発生すると、画像G8,G9により面積変更が行われ、該画像G8,G9の中心部領域のみエンコードされる。その結果、表示される画像が縮小される。
それにより、本実施の形態1によれば、ビットレートやフレームレートの制限が大きい携帯電話1による動画像の通信であっても、画像のスキップや停止などを極力低減することができ、安定した品質の動画像通信を提供することができる。
(実施の形態2)
本実施の形態2では、受信側のユーザ情報を考慮した場合の画像圧縮を行う携帯電話1について説明する。携帯電話1のRAM8(図1)には、ユーザ情報を格納する領域が設けられている。
このユーザ情報は、受信側の携帯電話1を使用するユーザが所望する表示パラメータの情報が格納されている。そして、動画像をエンコードする際には、図8に示すように、ユーザ情報に基づいて色数変更部19、または面積変更部20が画像処理を行う。
また、RAM8に格納されたユーザ情報を用いた画像圧縮について、図9、ならびに図10のフローチャートを用いて説明する。
まず、携帯電話1のキー入力部5によって通信相手を選択する(ステップS301)。CPU16はRAM8を検索し、通信相手のユーザ情報が格納されているか否かを判定する(ステップS302)。
通信相手のユーザ情報がある場合には、該ユーザ情報を読み取り、その情報の表示パラメータが設定される(ステップS303)。また、通信相手のユーザ情報がない場合には、デフォルトに設定されている表示パラメータを設定する(ステップS304)。その後、通信が開始される(ステップS305)。
そして、送信側の携帯電話1は、「1.コマ落ち 2.色数変更 3.面積変更」のテロップ情報を送信する(ステップS306)。受信側の携帯電話1における表示部4に該テロップ情報が表示される。
受信側の携帯電話1からキー入力部5の操作があると(ステップS307)、送信側の携帯電話1のCPU16がキー判定を行い(ステップS308)、その結果、受信側の携帯電話1がテロップ情報からある表示パラメータを選択した場合には選択された表示パラメータを設定する(ステップS309)。
その後、キー入力部5からキー入力を取得し(ステップS310)、ユーザのキー入力が通信終了か否かを判定する(ステップS311)。通信終了の際には、設定されたユーザ情報をRAM8に記録した後(ステップS312)、エンコード終了の処理を行う(ステップS313)。
また、通信終了でない場合には、通信プロセッサ7から、RF部11、およびベースバンド12を介して受信側の携帯電話1のキー入力を取得する(ステップS314)。
そして、カメラ2から輝度、ならびに色差を取得し(ステップS315)、ステップS309の処理において設定された表示パラメータに基づいて、差分部21、DCT22、係数予測部23、ならびに可変長符号化部24などが動画像エンコードを行う(ステップS316)。
動画像のエンコード時間が時間計測部31によって計測され(ステップS317)、エンコードしたデータ量がデータ量計測部32によって計測される(ステップS318)。
エンコードされた符号化データは、APインタフェース17を介してアプリケーションプロセッサ10からベースバンド12に転送され、RF部11によって電波信号に変換されて送信される(ステップS319)。
次に、エンコード時間は、ステップS303,S304の処理において設定されたフレームレートをオーバしていないか否かを判定する(ステップS320)。
エンコード時間がオーバしていない場合には、エンコードしたデータがステップS303,S304の処理により設定したビットレートをオーバしていないか否かを判定する(ステップS321)。
ステップS320,S321の処理において、時間オーバ、またはビットレートオーバのいずれかの場合、ステップS312の受信側携帯電話1のキー入力によって選択された表示パラメータ、あるいはステップS303,S304の処理で設定した表示パラメータのいずれかを選択する(ステップS322)。このとき、受信側携帯電話1のキー入力が最優先となる。
以下、ステップS323〜S331の処理は、図5に示すステップS114〜S122の処理と同じであるので説明は省略する。
さらに、前述した図9、および図10の画像圧縮処理における受信側の携帯電話1の動作について図11のフローチャートを用いて説明する。
まず、送信側の携帯電話1におけるステップS306の通信を受信すると(ステップS401)、受信側の携帯電話1の表示部4には、受け取ったテロップ情報が表示される(ステップS402)。
キー入力により、表示されたテロップ情報から好みの表示パラメータを選択する(ステップS403)。キー入力があるか否かの判定を行い(ステップS404)、キー入力があった場合には、キー入力が表示パラメータの選択に対応したキー情報か否かを判定する(ステップS405)。
そして、ステップS405の処理において、表示パラメータの選択が行われたと判定した際には、送信側の携帯電話1に入力したキー情報を送信する(ステップS406)。
また、ステップS404の処理においてキー入力がない場合、時間計測部31が時間計測を実行する(ステップS407)。予め設定されている時間が経過してもキー入力がない場合には(ステップS408)、デフォルトキー(たとえば、コマ落ちなど)を設定した後(ステップS409)、ステップS406の処理を実行する。
それにより、本実施の形態2においては、ユーザ情報に基づいてコマ落ち、色数変更あるいは面積変更などの画像圧縮処理を行うので、受信側のユーザの好みに合わせた動画像通信を可能とすることができる。
以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は前記実施例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
(実施の形態1)
本実施の形態1において、携帯電話(移動端末)1は、たとえば、電話としての機能、音楽の録音/再生、および動画像を送受信する機能などを有する。携帯電話1は、図1に示すように、中継局であるキャリアCRを介して他の携帯電話1との通信が行われる。たとえば、ある携帯電話1が動画像を送信すると、キャリアCRを介して任意の受信側の携帯電話1に動画像データが送信される。
また、携帯電話1は、図2に示すように、カメラ2、マイク3、表示部4、キー入力部5、スピーカ6、通信プロセッサ7、RAM8、ROM(画像圧縮手段、パラメータ格納部)9、アプリケーションプロセッサ(画像圧縮手段、画像処理部)10などから構成されている。
カメラ2は動画像を撮影し、マイク3は音声などを入力する。表示部4は、たとえば、液晶ディスプレイなどからなり、受信した動画像やキー入力部5から入力された情報などを表示する。キー入力部5は、電話番号や文字などを入力し、スピーカ6は音声などを出力する。
通信プロセッサ7は、RF部11、およびベースバンド12からなる。RF部11は、無線からデジタル情報を抽出し、ベースバンド12は、携帯電話としての機能や音声処理などを実行する。
RAM8は、通信プロセッサ7やアプリケーションプロセッサ10などにおける各プログラムのワークエリア、および電話番号などのユーザ情報を記録する。ROM9は、通信プロセッサ7、アプリケーションプロセッサ10が用いるプログラム、該プログラムの初期データ、ならびにアイコンなどの表示データなどが格納されている。
アプリケーションプロセッサ10は、動画像の入力、音楽の録音/再生、動画像のエンコード/デコードなどの処理を実行する。このアプリケーションプロセッサ10は、図2に示すように、内部RAM13、VIO14、画像処理部15、CPU16、APインタフェース17、ならびにI/Oインタフェース18などから構成されている。
内部RAM13は、使用頻度の高いプログラムやデータなどを一時的に格納する。VIO14は、カメラ2が取り込んだ画像データの輝度、および色差などを、いわゆるRGB(Red Green Blue)変換したり、逆にRGBを輝度、色差にそれぞれ変換する。
画像処理部15は、通信プロセッサ7を介して送受信される動画像データの圧縮/伸張処理を実行する。この画像処理部15は、画像圧縮部15aと画像伸張部15bから構成されている。
CPU16は、前述した内部RAM13、VIO14、および画像処理部15などにおけるすべての制御を司る。APインタフェース17は、アプリケーションプロセッサ10が、通信プロセッサ7、RAM8、およびROM9などと情報をやり取りする際のインタフェースである。
I/Oインタフェース18は、アプリケーションプロセッサ10が、カメラ2、マイク3、表示部4、キー入力部5、ならびにスピーカ6などと情報をやり取りする際のインタフェースである。
画像処理部15における画像圧縮部(画像処理部)15a、および画像伸張部15bについて説明する。
画像圧縮部15aは、図3に示すように、色数変更部19、面積変更部20、差分部21、DCT22、係数予測部23、可変長符号化部24、逆量子化部25、IDCT26、合成部27、動き補償部28、動き検出部29、動きベクトル予測部30、時間計測部31、およびデータ量計測部32などからなる。
色数変更部19は、カメラ2が取得した輝度と色差とを表示パラメータに基づいて色数変更する。面積変更部20は、カメラ2が取得した輝度と色差とを表示パラメータに基づいて面積変更する。
差分部21は、色数変更部19、または面積変更部20から出力された画像データと1つ前に入力された画像データとの差分をとる。DCT22は、入力された画像データをDCT(Discrete Cosine Transform:離散コサイン変換)処理し、輝度と色差の周波数成分を計算する。
係数予測部23は、DCT22が計算した輝度と色差の周波数成分における係数予測を行う。可変長符号化部24は、ハフマン符号化テーブルに基づいて係数予測、および動きベクトル予測部30が予測した動きベクトル予測を可変長符号化する。
逆量子化部25は逆量子化を行い、IDCT26は逆DCT処理を行い、輝度と色差とを復元する。合成部27は、IDCT26が復元化した輝度と色差とを補償し、動き補償部28は、1つ目の画像を復元する。
動き検出部29は画像の動きを検出し、動きベクトル予測部30は、その画像の動きベクトル予測を行う。時間計測部31は、画像圧縮に要した時間を測定する。データ量計測部32は、画像圧縮したデータ量を測定する。
そして、圧縮された画像データは、符号化データとしてRAM8に格納される。
また、画像伸張部15bは、図4に示すように、色数変更部33、面積変更部34、可変長復号化部35、逆量子化部36、IDCT37、動きベクトル復号化部38、動き補償部39、および合成部40から構成されている。
色数変更部33は、ベースバンド12を介して出力された符号化データの色数変更を行い、面積変更部34は、ベースバンド12から出力された符号化データの面積変更を行う。
可変長復号化部35は、可変長符号化された量子化係数を復元する。逆量子化部36は、復元された量子化係数の逆量子化を行い、DCT係数を復元する。IDCT37は逆DCT処理により、輝度と色差とを復元する。
動きベクトル復号化部38は、可変長復号化された動きベクトルを復号化し、動き補償部39は、復号化された動きベクトルの補償を行う。合成部40は、動き補償部39の動き補償の結果から、輝度、ならびに色差をそれぞれ合成する。合成された輝度、および色差は、RAM8に格納される。
次に、本実施の形態におけるアプリケーションプロセッサ10の動作について説明する。
はじめに、送信側の携帯電話1の画像圧縮部15aによる画像圧縮の動作例について、図5のフローチャートを用いて説明する。
まず、ユーザが携帯電話1のキー入力部5を操作して通信相手を選択する(ステップS101)。その後、ユーザは、エンコード処理におけるコマ落ち、色数変更、あるいは面積変更のいずれかの表示パラメータを設定する(ステップS102)。これにより、フレームレートやビットレートなどのエンコードパラメータがROM9から読み出されて設定される。同時に、時間やデータ量などがオーバした際に用いられる表示パラメータもROM9から読み出されて設定される。
そして、キー入力部5からのキー入力を取得する(ステップS103)。CPU16は、通信終了のキー入力があるか否かを判定する(ステップS104)。このステップS104の処理において、通信終了が選択されている場合には、終了処理を行い、エンコードを終了する(ステップS105)。
また、通信終了でない場合には、カメラ2が取り込んだ輝度と色差を取得する(ステップS106)。取得した輝度と色差とは、差分部21、DCT22、係数予測部23、および可変長符号化部24が、エンコードパラメータに基づいて通常の動画像エンコードを行う(ステップS107)。
さらに、時間計測部31は、エンコード時間を測定した後(ステップS108)、データ量計測部32がエンコードデータ量を計測する(ステップS109)。エンコードされた符号化データは、APインタフェース17を介してアプリケーションプロセッサ10からベースバンド12に転送され、RF部11によって電波信号に変換されて外部に送信される(ステップS110)。
CPU16は、エンコード時間が予め設定したフレームレートをオーバしていないか否かを判定する(ステップS111)。オーバしていない場合には、予め設定されたデータ量をオーバしていないか否かを判定する(ステップS112)。
ステップS111,S112の処理において、時間オーバ、またはデータ量オーバのいずれかの場合には、CPU16がステップS102の処理において設定された表示パラメータの選択を行う(ステップS113)。このステップS113の処理においては、コマ落ち、色数変更、あるいは表示面積の変更のいずれかが選択される。
コマ落ちが選択された場合、動画像のコマ落ち処理が実行される(ステップS114)。色数変更が選択されている場合、色数変更部19が色差情報をエンコードせずに白黒画像処理を行う(ステップS115)。このステップS115の処理では、白黒画像以外でもよく、たとえば、動画像がセピア色などになるように処理してもよい。動画像の表示面積の変更が選択されている際には、面積変更部34がエンコードする面積を狭くして処理を行う(ステップS116)。
ステップS114〜S116のいずれかの処理が終了すると、変更フラグをONに設定し(ステップS117)、変更情報が出力される(ステップS118)。
また、ステップS111,S112の処理において、時間オーバ、またはデータ量オーバでない場合には、変更フラグがONか否かを判定し、色数変更や面積変更などをの処理を行っているか否かを判定する(ステップS119)。
変更フラグがONでない場合には、ステップS103の処理に戻る。変更フラグがONの場合、色数、面積を再設定し(ステップS120)、パラメータを元の状態に戻す。
その後、I−VOP(Intra Video Object Plane)を出力して画面全体を再描画し(ステップS121)、変更フラグをOFFにした後(ステップS122)、ステップS103の処理に戻る。
さらに、受信側の携帯電話1における画像伸張部15bによる画像伸張の動作例について、図6のフローチャートを用いて説明する。
まず、ベースバンド12から符号化データを取得する(ステップS201)。そして、取得した符号化データが終了か否かを判定する(ステップS202)。終了している場合には、デコード処理が終了となる(ステップS203)。
また、符号化データが終了でない場合には、可変長復号化部35、逆量子化部36、IDCT37、動きベクトル復号化部38、動き補償部39、ならびに合成部40によって動画像デコードを行い(ステップS204)、表示部4に画像が表示される(ステップS205)。
その後、送信側の携帯電話1から、ステップS118の処理によって出力された動画像の変更情報を受信したか否かを判定する(ステップS206)。変更情報を受信しなかった場合には、ステップS201の処理に戻る。
変更情報を受信した際には、その表示パラメータの判定を行う(ステップS207)。表示パラメータは、ステップS118の処理によって送信されたコマ落ち処理、色数変更処理、または面積変更処理のいずれかである。
コマ落ち処理の際には、動画像のコマ落ち処理を実行する(ステップS208)。色数変更処理の場合、色数変更部19が色差情報を消去する(ステップS209)。動画像の表示面積の変更では、面積変更部34が表示面積を縮小する(ステップS210)。
そして、これらステップS204〜S210の処理によってデコード処理を繰り返すことにより、表示部4に動画像が表示される。
ここで、図5、および図6に示したエンコード/デコード処理により受信側の携帯電話1に表示される出力画像の一例を図7に示す。
図7の上方から下方にかけて、元画像G1〜G3、色数変更を行った画像G4〜G6、ならびに面積変更を行った画像G7〜G9における時間経過の画像処理の移り変わりをそれぞれ示している。
図7の中段に示す画像において、左側の画像G4に時間オーバかデータ量オーバが発生した場合、画像G5、および画像G6によって色数変更が行われ、色差情報を削除してエンコードを行う。それによって、画像はモノクロとなる。
さらに、画像の面積変更を行った際、図7の下段に示す画像において、画像G7に時間オーバかデータ量オーバが発生すると、画像G8,G9により面積変更が行われ、該画像G8,G9の中心部領域のみエンコードされる。その結果、表示される画像が縮小される。
それにより、本実施の形態1によれば、ビットレートやフレームレートの制限が大きい携帯電話1による動画像の通信であっても、画像のスキップや停止などを極力低減することができ、安定した品質の動画像通信を提供することができる。
(実施の形態2)
本実施の形態2では、受信側のユーザ情報を考慮した場合の画像圧縮を行う携帯電話1について説明する。携帯電話1のRAM8(図1)には、ユーザ情報を格納する領域が設けられている。
このユーザ情報は、受信側の携帯電話1を使用するユーザが所望する表示パラメータの情報が格納されている。そして、動画像をエンコードする際には、図8に示すように、ユーザ情報に基づいて色数変更部19、または面積変更部20が画像処理を行う。
また、RAM8に格納されたユーザ情報を用いた画像圧縮について、図9、ならびに図10のフローチャートを用いて説明する。
まず、携帯電話1のキー入力部5によって通信相手を選択する(ステップS301)。CPU16はRAM8を検索し、通信相手のユーザ情報が格納されているか否かを判定する(ステップS302)。
通信相手のユーザ情報がある場合には、該ユーザ情報を読み取り、その情報の表示パラメータが設定される(ステップS303)。また、通信相手のユーザ情報がない場合には、デフォルトに設定されている表示パラメータを設定する(ステップS304)。その後、通信が開始される(ステップS305)。
そして、送信側の携帯電話1は、「1.コマ落ち 2.色数変更 3.面積変更」のテロップ情報を送信する(ステップS306)。受信側の携帯電話1における表示部4に該テロップ情報が表示される。
受信側の携帯電話1からキー入力部5の操作があると(ステップS307)、送信側の携帯電話1のCPU16がキー判定を行い(ステップS308)、その結果、受信側の携帯電話1がテロップ情報からある表示パラメータを選択した場合には選択された表示パラメータを設定する(ステップS309)。
その後、キー入力部5からキー入力を取得し(ステップS310)、ユーザのキー入力が通信終了か否かを判定する(ステップS311)。通信終了の際には、設定されたユーザ情報をRAM8に記録した後(ステップS312)、エンコード終了の処理を行う(ステップS313)。
また、通信終了でない場合には、通信プロセッサ7から、RF部11、およびベースバンド12を介して受信側の携帯電話1のキー入力を取得する(ステップS314)。
そして、カメラ2から輝度、ならびに色差を取得し(ステップS315)、ステップS309の処理において設定された表示パラメータに基づいて、差分部21、DCT22、係数予測部23、ならびに可変長符号化部24などが動画像エンコードを行う(ステップS316)。
動画像のエンコード時間が時間計測部31によって計測され(ステップS317)、エンコードしたデータ量がデータ量計測部32によって計測される(ステップS318)。
エンコードされた符号化データは、APインタフェース17を介してアプリケーションプロセッサ10からベースバンド12に転送され、RF部11によって電波信号に変換されて送信される(ステップS319)。
次に、エンコード時間は、ステップS303,S304の処理において設定されたフレームレートをオーバしていないか否かを判定する(ステップS320)。
エンコード時間がオーバしていない場合には、エンコードしたデータがステップS303,S304の処理により設定したビットレートをオーバしていないか否かを判定する(ステップS321)。
ステップS320,S321の処理において、時間オーバ、またはビットレートオーバのいずれかの場合、ステップS312の受信側携帯電話1のキー入力によって選択された表示パラメータ、あるいはステップS303,S304の処理で設定した表示パラメータのいずれかを選択する(ステップS322)。このとき、受信側携帯電話1のキー入力が最優先となる。
以下、ステップS323〜S331の処理は、図5に示すステップS114〜S122の処理と同じであるので説明は省略する。
さらに、前述した図9、および図10の画像圧縮処理における受信側の携帯電話1の動作について図11のフローチャートを用いて説明する。
まず、送信側の携帯電話1におけるステップS306の通信を受信すると(ステップS401)、受信側の携帯電話1の表示部4には、受け取ったテロップ情報が表示される(ステップS402)。
キー入力により、表示されたテロップ情報から好みの表示パラメータを選択する(ステップS403)。キー入力があるか否かの判定を行い(ステップS404)、キー入力があった場合には、キー入力が表示パラメータの選択に対応したキー情報か否かを判定する(ステップS405)。
そして、ステップS405の処理において、表示パラメータの選択が行われたと判定した際には、送信側の携帯電話1に入力したキー情報を送信する(ステップS406)。
また、ステップS404の処理においてキー入力がない場合、時間計測部31が時間計測を実行する(ステップS407)。予め設定されている時間が経過してもキー入力がない場合には(ステップS408)、デフォルトキー(たとえば、コマ落ちなど)を設定した後(ステップS409)、ステップS406の処理を実行する。
それにより、本実施の形態2においては、ユーザ情報に基づいてコマ落ち、色数変更あるいは面積変更などの画像圧縮処理を行うので、受信側のユーザの好みに合わせた動画像通信を可能とすることができる。
以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は前記実施例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
以上のように、本発明にかかる移動端末は、通信による動画像の最適な配信技術に適している。
Claims (10)
- 複数の表示パラメータを有し、動画像が設定のエンコードパラメータにより圧縮できない場合に、前記複数の表示パラメータのうち、任意の1つの表示パラメータにより前記動画像のエンコードを行う画像圧縮手段を備えたことを特徴とする移動端末。
- 請求項1記載の移動端末において、
前記画像圧縮手段が、
前記複数の表示パラメータが格納されたパラメータ格納部と、
前記初期設定のエンコードパラメータによってエンコードされた動画像が、フレームレートオーバ、またはビットレートオーバの場合に、前記パラメータ格納部に格納された任意の表示パラメータを選択し、前記選択した表示パラメータにより動画像をエンコードする画像処理部とよりなることを特徴とする移動端末。 - 請求項1または2記載の移動端末において、
前記パラメータ格納部に格納された表示パラメータが、少なくともコマ落ち処理、色数変更処理、および面積変更処理であることを特徴とする移動端末。 - 請求項3記載の移動端末において、
前記パラメータ格納部に格納された色数変更処理の表示パラメータは、前記動画像を白黒画像処理することを特徴とする移動端末。 - 請求項1〜4のいずれか1項に記載の移動端末において、
前記パラメータ格納部に格納された複数の表示パラメータを受信側の移動端末が任意に選択し、前記動画像が前記設定のエンコードパラメータにより圧縮できない場合に、前記受信側の移動端末が選択した表示パラメータによりエンコードすることを特徴とする移動端末。 - 動画像が設定のエンコードパラメータにより圧縮できない場合に、前記動画像を色数変更処理のエンコードを行う画像圧縮手段を備えたことを特徴とする移動端末。
- 請求項6記載の移動端末において、前記画像圧縮手段による色数変更処理が、前記動画像を白黒動画像に変換することを特徴とする移動端末。
- 動画像が設定のエンコードパラメータにより圧縮できない場合に、前記動画像を面積変更処理のエンコードを行う画像圧縮手段を備えたことを特徴とする移動端末。
- 複数の表示パラメータを有し、動画像が設定のエンコードパラメータにより圧縮できない場合に、前記複数の表示パラメータとは異なる表示パラメータにより前記動画像のエンコードを行う画像圧縮手段を備えたことを特徴とする移動端末。
- 動画像を受信すべき端末からの指示に従って、送信すべき動画像をエンコードする際の表示パラメータが設定されることを特徴とする移動端末。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2002/007446 WO2004010703A1 (ja) | 2002-07-23 | 2002-07-23 | 移動端末 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2004010703A1 true JPWO2004010703A1 (ja) | 2005-11-17 |
Family
ID=30490770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004522706A Withdrawn JPWO2004010703A1 (ja) | 2002-07-23 | 2002-07-23 | 移動端末 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2004010703A1 (ja) |
WO (1) | WO2004010703A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006319643A (ja) * | 2005-05-12 | 2006-11-24 | Fuji Photo Film Co Ltd | 動画通信システム |
JP2006333254A (ja) * | 2005-05-27 | 2006-12-07 | Fujifilm Holdings Corp | 動画像リアルタイム通信端末、動画像リアルタイム通信端末の制御方法及び動画像リアルタイム通信端末の制御プログラム |
JP6118518B2 (ja) * | 2012-07-26 | 2017-04-19 | 株式会社ニコン・トリンブル | 測量装置及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3579309B2 (ja) * | 1998-09-09 | 2004-10-20 | 日本電信電話株式会社 | 画質調整方法及びその方法を使用した映像通信装置及びその方法を記録した記録媒体 |
JP2001204002A (ja) * | 2000-01-20 | 2001-07-27 | Nec Eng Ltd | 画像伝送方式 |
JP3852267B2 (ja) * | 2000-05-01 | 2006-11-29 | 株式会社Kddi研究所 | 動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体 |
JP2001333428A (ja) * | 2000-05-19 | 2001-11-30 | Oki Electric Ind Co Ltd | 動画送受信システム |
JP3894359B2 (ja) * | 2000-09-05 | 2007-03-22 | 株式会社Kddi研究所 | 画像変換システムの制御方法 |
-
2002
- 2002-07-23 WO PCT/JP2002/007446 patent/WO2004010703A1/ja active Application Filing
- 2002-07-23 JP JP2004522706A patent/JPWO2004010703A1/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
WO2004010703A1 (ja) | 2004-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7957766B2 (en) | Method for controlling a camera mode in a portable terminal | |
CN101232622B (zh) | 用于子像素值内插的方法 | |
EP1859621B1 (en) | Communication terminals that vary a video stream based on how it is displayed | |
US7200513B1 (en) | Method for clocking speed using wireless terminal and system implementing the same | |
US20060215750A1 (en) | Image processing apparatus and computer-readable storage medium | |
KR100617702B1 (ko) | 이미지 편집이 가능한 휴대용 단말기 및 이를 이용한이미지 편집 방법 | |
KR100575984B1 (ko) | 휴대용 단말기의 섬네일 영상 데이터 서비스 방법 | |
US6798915B2 (en) | Apparatus having lower data transmission rate and less degradation of image quality and method therefor | |
US20040235413A1 (en) | Mobile terminal having image processing function and method therefor | |
JP2007267020A (ja) | 移動体通信端末、および、プログラム | |
US20070044021A1 (en) | Method for performing presentation in video telephone mode and wireless terminal implementing the same | |
JPWO2004010703A1 (ja) | 移動端末 | |
US20120134420A1 (en) | Apparatus and method for transmitting video data in video device | |
KR100815121B1 (ko) | 이동통신 단말기에서 화면을 분할하여 선택영역을확대하기 위한 방법 | |
US20070041337A1 (en) | Method of transmitting image data in video telephone mode of a wireless terminal | |
US8140955B2 (en) | Image communication portable terminal and method for carrying out image communication using the same | |
JP2001036655A (ja) | 画像送信装置およびその制御方法 | |
KR101077029B1 (ko) | 비디오 데이터 전송 장치 및 방법 | |
KR100678059B1 (ko) | 거울기능을 가지는 휴대용 복합 통신단말기 및 그 구현방법 | |
JP3567289B2 (ja) | テレビ電話装置 | |
JP2002271671A (ja) | 携帯端末装置 | |
JPH0686314A (ja) | ホワイトバランス補正装置 | |
KR100669607B1 (ko) | 휴대 단말기의 모드별 디스플레이 제어 장치 | |
JP2008113088A (ja) | ドアホン装置 | |
KR20060026691A (ko) | 이미지 캡쳐 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20051004 |