JPWO2003101102A1 - 携帯通信装置の動画ファイル再生方法及び携帯通信装置用の動画ファイル再生装置 - Google Patents
携帯通信装置の動画ファイル再生方法及び携帯通信装置用の動画ファイル再生装置 Download PDFInfo
- Publication number
- JPWO2003101102A1 JPWO2003101102A1 JP2004507247A JP2004507247A JPWO2003101102A1 JP WO2003101102 A1 JPWO2003101102 A1 JP WO2003101102A1 JP 2004507247 A JP2004507247 A JP 2004507247A JP 2004507247 A JP2004507247 A JP 2004507247A JP WO2003101102 A1 JPWO2003101102 A1 JP WO2003101102A1
- Authority
- JP
- Japan
- Prior art keywords
- video
- moving image
- data
- library
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Abstract
フォーマットを共通とする映像データを含む複数種類の動画ファイルを扱う携帯通信装置であって、インストールされたソフトウェア群は、動画ファイルに基づく映像を表示装置４に表示させるビデオデコーダ・ドライバ３２と、記録再生ライブラリ２２とを含む。記録再生ライブラリ２２には、複数種類の動画ファイルが提供され、動画ファイルがビデオデコーダ・ドライバ３２により処理可能なフォーマットであるときには、動画ファイルをビデオデコーダ・ドライバ３２に提供し、動画ファイルがビデオデコーダ・ドライバ３２により処理可能なフォーマットでないときには、動画ファイルを分離することによって、動画ファイルに含まれる映像データをビデオデコーダ・ドライバ３２に提供する。
Description
技術分野
本発明は、ネットワークを通してダウンロードしたデータファイル（以下「動画ファイル」という。）の再生機能、テレビ電話（ビデオ・コンファレンス）中に蓄積した動画ファイルの再生機能、カメラ撮影により蓄積した動画ファイルの再生機能等を備えた次世代携帯電話装置（例えば、ＩＭＴ２０００規格に準拠）のような携帯通信装置に関し、特に、携帯通信装置において動画ファイルを再生するためのソフトウェア群の実装方式に関するものである。
背景技術
高速動作可能な汎用的なハードウェアとその上で動作する専用のソフトウェアとの組合せで動作するパーソナルコンピュータとは異なり、携帯通信装置により動画再生機能やテレビ電話機能等を実現するためには、各機能を実現する専用のハードウェアと、各ハードウェアを制御するソフトウェアとが必要になる。携帯通信装置のソフトウェア構成の一例は、例えば、月刊誌「Ｉｎｔｅｒｆａｃｅ（インターフェース）」２０００年２月号、第１００頁（ＣＱ出版社発行）に掲載されている。
従来のソフトウェア構成には、テレビ電話中に蓄積された動画ファイルを再生する機能を提供するライブラリ、ダウンロードにより蓄積された動画ファイルを再生する機能を提供するライブラリ、自端末のカメラ撮影機能により取得された動画ファイルを再生する機能を提供するライブラリのように、各機能に対応したライブラリが含まれる。従って、例えば、コンテンツ配信サーバからダウンロードされ蓄積された動画ファイルを再生する場合には、蓄積動画ファイルの再生機能を提供するライブラリを介してデバイスドライバ群を制御して再生機能を実現し、テレビ電話中に蓄積されたデータを再生する場合には、テレビ電話機能を実現するライブラリを介してデバイスドライバ群を制御して再生機能を実現していた。
上記したように、従来の携帯通信装置は、ダウンロードにより取得した動画ファイルの再生とテレビ電話機能により取得した動画ファイルの再生とを実現するために、それぞれの再生機能を実行するライブラリを実装していた。言い換えれば、従来の携帯通信装置の記憶装置には、動画ファイルの種類に応じた数の再生実行用のライブラリがインストールされていた。従って、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図ろうとすると、インストールされるプログラム全体のサイズが大きくなり過ぎる傾向にあった。このため、従来の携帯通信装置のソフトウェアの実装方式では、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置の多機能化が困難であるという問題があった。また、この問題は、携帯通信装置の記憶装置の容量を増やすことにより解消できるが、記憶装置の容量の増加は、携帯通信装置の製造コストの上昇という別の問題を生じさせる。
そこで、本発明は、上記したような従来技術の課題を解決するためになされたものであり、その目的とするところは、実装されるプログラム全体のサイズの増大を抑えつつ多機能化を実現できるソフトウェアの実装方式を採用した携帯通信装置を提供することにある。
発明の開示
本発明の携帯通信装置の一形態は、フォーマットを共通とする映像データを含む複数種類の動画ファイルを扱う装置であって、動画ファイルを取得する動画ファイル取得手段と、映像を表示する表示手段と、記憶手段と、前記記憶手段にインストールされたソフトウェア群を用いて、前記動画ファイル取得手段、前記記憶手段、及び前記表示手段の動作を制御する制御手段とを有し、前記記憶手段にインストールされたソフトウェア群が、少なくとも前記映像データを処理可能であり、前記動画ファイル取得手段により取得された動画ファイルに基づく映像を前記表示手段に表示させるデバイスドライバと、前記動画ファイル取得手段により取得された動画ファイルが前記デバイスドライバにより処理可能なフォーマットであるときには、前記動画ファイル取得手段により取得された動画ファイルを前記デバイスドライバに提供し、前記動画ファイル取得手段により取得された動画ファイルが前記デバイスドライバにより処理可能なフォーマットでないときには、前記動画ファイル取得手段により取得された動画ファイルを分離することによって、前記動画ファイル取得手段により取得された動画ファイルに含まれる映像データを前記デバイスドライバに提供する再生制御処理を実行するライブラリとを含むものである。
また、本発明の携帯通信装置の他の形態は、前記複数種類の動画ファイルのそれぞれが、少なくとも映像データと音声データとを含むものである。
また、本発明の携帯通信装置のさらに他の形態は、前記記憶手段にインストールされたソフトウェア群が、前記複数種類の動画ファイルのそれぞれについてのユーザインターフェースを提供するアプリケーションを含むものである。
また、本発明の携帯通信装置のさらに他の形態は、前記動画ファイル取得手段が、動画ファイルを取得する通信手段と、映像入力装置、映像情報処理装置、マイク装置、及び音声情報処理装置を有し、前記映像入力装置により取得され前記映像情報処理装置により符号化された映像データ及び前記マイク装置により取得され前記音声情報処理装置により符号化された音声データを含む動画ファイルを生成する動画撮影手段とを含むものである。
また、本発明の携帯通信装置のさらに他の形態は、前記通信手段により取得される動画ファイルには、コンテンツ配信サーバからダウンロードされた動画ファイルと、テレビ電話の通話先から送信された動画ファイルとが含まれているものである。
また、本発明の携帯通信装置のさらに他の形態は、前記ライブラリが、前記動画ファイル取得手段により取得された動画ファイルを前記記憶手段に記録し、前記記憶手段に記録された動画ファイルについて前記再生制御処理を実行するものである。
また、本発明の携帯通信装置のさらに他の形態は、前記ライブラリが、前記動画撮影手段により取得された動画ファイルを、前記ダウンロードされた動画ファイルのフォーマットに変換して前記記憶手段に記録するものである。
また、本発明の携帯通信装置のさらに他の形態は、前記ライブラリが、前記動画撮影手段により取得された動画ファイルを、前記テレビ電話の通話先から送信された動画ファイルのフォーマットに変換して前記記憶手段に記録するものである。
また、本発明の携帯通信装置のさらに他の形態は、前記動画ファイル取得手段により取得された動画ファイルがタイムスタンプを付加可能なデータで構成されている場合に、前記動画ファイル取得手段により取得された動画ファイルのデータをタイムスタンプに従い復号化する機能と、タイムスタンプを無視して復号化する機能とを有する情報処理手段を有するものである。
発明を実施するための最良の形態
図１は、本発明の実施の形態１から５までに係る携帯通信装置のハードウェア構成を概略的に示すブロック図である。実施の形態１から５までに係る携帯通信装置は、例えば、ダウンロードした動画ファイルの再生機能、テレビ電話（ビデオ・コンファレンス）機能、カメラ撮影機能等を備えた携帯電話装置又は携帯情報端末装置である。
図１に示されるように、実施の形態１から５までに係る携帯通信装置は、無線又は有線の通信回線を通して複数種類のデータを送受信する通信装置１を備えている。通信装置１で受信される動画ファイルには、映像データと音声データとを多重化したテレビ電話用の動画ファイル（ＩＴＵ−ＴＨ．３２４規格、Ｈ．３２４／Ｍ規格、又は、３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）で規定された３Ｇ−３２４Ｍ規格等に準拠）と、コンテンツ配信サーバからダウンロードされた動画ファイル（例えば、ＡＳＦ（Ａｄｖａｎｃｅｄ Ｓｔｒｅａｍｉｎｇ Ｆｏｒｍａｔ）形式やＭＰ４形式（画像圧縮方式「ＭＰＥＧ４」と音声圧縮方式「ＭＰ３（ＭＰＥＧ−１ ａｕｄｉｏ ｌａｙｅｒ ３）」、「ＱＣＥＬＰ（Ｑｕａｌｃｏｍｍ Ｃｏｄｅ Ｅｘｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅｃｏｄｉｎｇ）」によるファイルフォーマット））が含まれる。
また、図１に示されるように、実施の形態１から５までに係る携帯通信装置は、映像データの符号化・復号化を行う映像情報処理装置（映像符号化・復号化装置）２と、音声データの符号化・復号化を行う音声情報処理装置（音声符号化・復号化装置）３とを備えている。映像情報処理装置２及び音声情報処理装置３は、動画ファイルがタイムスタンプを付加可能なデータで構成されている場合に、この動画ファイルを、圧縮データ内のタイムスタンプに従い復号化する機能と、タイムスタンプを無視してデータ受信直後に復号化する機能とを有する。このため、異なるフォーマットのデータを共通のデコーダで復号することができる。
また、実施の形態１から５までに係る携帯通信装置は、映像を表示する表示装置４と、音を出力するスピーカ装置５と、カメラ撮影により映像信号を生成する映像入力装置６と、音声信号を生成するマイク装置７とを備えている。さらに、実施の形態１から５までに係る携帯通信装置は、記憶装置（メモリ）８と、ＣＰＵ（中央処理装置）９とを備えている。なお、記憶装置８を複数設けて、プログラム格納用と動画ファイル蓄積用に分けて使用してもよい。また、ＣＰＵ９は、記憶装置８にインストールされたソフトウェア群及びリアルタイム・オペレーティングシステム（リアルタイムＯＳ）を用いて、各構成１から８までの動作を制御する。
実施の形態１．
図２は、本発明の実施の形態１に係る携帯通信装置のソフトウェア構成を示すブロック図である。なお、図２において矢印は、携帯通信装置のソフトウェア間におけるデータの授受を示す。
図２に示されるように、記憶装置８にインストールされたソフトウェア群は、ユーザーインターフェース（ＵＩ）を提供するソフトウェアを有するアプリケーション層１０と、データ処理を行うソフトウェアを有するライブラリ層２０と、デバイス（上記構成１から８までを含む）を制御するソフトウェアを有するドライバ層３０と、上記各層１０，２０，３０に含まれるソフトウェアを制御するリアルタイムＯＳ４０とに分類できる。
アプリケーション層１０には、テレビ電話実行時に使用するビデオ・コンファレンス・アプリケーション（テレビ電話アプリケーション：Ｖｉｄｅｏ Ｃｏｎｆｅｒｅｎｃｅ Ａｐｐｌｉｃａｔｉｏｎ）１１と、記憶装置８に蓄積された動画ファイルを再生する際に使用するムービー・ビューワ・アプリケーション（動画ビューワ・アプリケーション：Ｍｏｖｉｅ Ｖｉｅｗｅｒ Ａｐｐｌｉｃａｔｉｏｎ）１２とが含まれる。
ライブラリ層２０には、テレビ電話実行時にテレビ電話シーケンス制御を行うビデオ・コンファレンス・ライブラリ（テレビ電話ライブラリ：Ｖｉｄｅｏ Ｃｏｎｆｅｒｅｎｃｅ Ｌｉｂｒａｒｙ）２１と、動画ファイルの記録再生機能を有する記録再生ライブラリ（ビデオ録画再生ライブラリ：Ｖｉｄｅｏ Ｒｅｃｏｒｄ／Ｐｌａｙ Ｌｉｂｒａｒｙ）２２と、ネットワークを介して（例えば、ネットワーク上のコンテンツ配信サーバから）ダウンロードした動画ファイルのデータを映像データと音声データとに分離するマルチメディア・サービス・ライブラリ（Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｖｉｃｅ Ｌｉｂｒａｒｙ）２３とが含まれる。
ドライバ層３０には、ハードウェア機器を制御するためのソフトウェアである、カメラ・ビデオエンコーダ・ドライバ（Ｃａｍｅｒａ Ｖ−Ｅｎｃｏｄｅｒ Ｄｒｉｖｅｒ）３１と、多重分離ビデオデコーダ・ドライバ（ＭＵＸ／ＤＥＭＵＸ Ｖ−Ｄｅｃｏｄｅｒ Ｄｒｉｖｅｒ）３２と、オーディオ・ドライバ（Ａｕｄｉｏ Ｄｒｉｖｅｒ）３３と、ファイル・システム・ドライバ（Ｆｉｌｅ Ｓｙｓｔｅｍ Ｄｒｉｖｅｒ）３４とが含まれる。
実施の形態１における記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであるか否かを判定する。実施の形態１においては、多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、通信装置１を通してダウンロードされた動画ファイル、通信装置１を通してダウンロードされ記憶装置８に蓄積された動画ファイル、テレビ電話機能により通信装置１を通して取得された動画ファイル、テレビ電話機能により通信装置１を通して取得され記憶装置８に蓄積された動画ファイルを含む。多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、少なくともフォーマットを共通とする映像データを含む動画ファイルであれば、他の種類の動画ファイルであってもよい。
記録再生ライブラリ２２は、取得された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであると判定したときには、取得された動画ファイルを多重分離ビデオデコーダ・ドライバ３２に提供する。また、記録再生ライブラリ２２は、取得された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットでないと判定したときには、マルチメディア・サービス・ライブラリ２３にその動画ファイルを送り、分離することによって、その動画ファイルに含まれる映像データを多重分離ビデオデコーダ・ドライバ３２に提供する。以上の再生制御処理により、フォーマットの異なる複数種類の動画ファイルを共通の再生制御ライブラリである記録再生ライブラリ２２を使用して再生することができる。
また、記録再生ライブラリ２２は、ファイル・システム・ドライバ３４を制御して、通信装置１により取得された動画ファイルを記憶装置８に記録させる蓄積処理と、記憶装置８に記録された動画ファイルを再生するための再生制御処理をも実行する。蓄積処理の詳細は、後述の実施の形態２において説明する。
＜ダウンロードした動画ファイルの再生処理＞
図３は、本発明の実施の形態１に係る携帯通信装置によるダウンロードした動画ファイルの再生処理における要求及びデータの流れを示す図である。図３に基づいて、実施の形態１に係る携帯通信装置によるダウンロードした動画ファイルの再生処理を説明する。
ダウンロードした動画ファイルを再生する場合には、先ず、ユーザの操作（操作部は図示せず）により、動画再生のためのユーザーインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａとが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
次に、再生要求５０ａを受けた記録再生ライブラリ２２は、再生対象である動画ファイル５１ａのデータのフォーマット（規格）を判別し、ネットワークからダウンロードされた動画ファイルであるか否か、即ち、動画ファイルを構成するデータを映像データと音声データに分離する必要があるか否かを判断する。
再生対象である動画ファイル５１ａがダウンロードにより取得された動画ファイルである場合には、動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して得られた分離データ５３を記録再生ライブラリ２２に返す。
次に、記録再生ライブラリ２２は、分離データ５３のうちの映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、分離データ５３のうちの音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡すことにより、動画ファイルの再生（即ち、表示装置４による映像の表示及びスピーカ装置５による音響の出力）を実現する。音声データ５４の再生に際しては、オーディオ・ドライバ３３は、再生した音声データ５４のサイズ５５を記録再生ライブラリ２２に返し、記録再生ライブラリ２２は、サイズ５５から再生された経過時間を割り出し、この経過時間に同期して映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことにより、映像データと音声データとの再生の同期をとる。
＜テレビ電話中における動画ファイルの蓄積処理＞
図１及び図２に基づいて、実施の形態１に係る携帯通信装置による動画ファイルの蓄積処理を説明する。テレビ電話中に受信した動画ファイルを記録する場合には、先ず、ユーザの操作により、テレビ電話のためのユーザインタフェースを提供するアプリケーションであるビデオ・コンファレンス・アプリケーション１１を通して、テレビ電話中の動画ファイルの録画要求を、テレビ電話機能を提供するライブラリであるビデオ・コンファレンス・ライブラリ２１に対して発行する。
次に、録画要求を受けたビデオ・コンファレンス・ライブラリ２１は、動画記録再生制御を行うライブラリである記録再生ライブラリ２２に録画要求を発行する。記録再生ライブラリ２２は、テレビ電話中の動画ファイルの授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求を発行し、受信した動画ファイルを多重分離ビデオデコーダ・ドライバ３２により受け取り、記憶装置８（又は図示しない他の記憶装置）への蓄積を行う。蓄積の際に、動画ファイルのデータに、テレビ電話中の録画データであることを示す識別情報を付加する。
＜テレビ電話中に蓄積された動画ファイルの再生処理＞
図４は、本発明の実施の形態１に係る携帯通信装置によるテレビ電話中に蓄積された動画ファイルの再生処理における要求及びデータの流れを示す図である。図１、図２、及び図４に基づいて、実施の形態１に係る携帯通信装置によるテレビ電話中に記録された動画ファイルの再生処理を説明する。
テレビ電話中に録画した動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０ｂを、ムービー・ビューワ・ライブラリ２１を介して、記録再生ライブラリ２２に対して発行する。
記録再生ライブラリ２２は、再生対象である動画ファイル５１ｂのデータがテレビ電話中に録画した動画ファイルであり、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１ｂの多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
以上のようにして、異なるフォーマットを有する２種類の動画ファイル（ここでは、ダウンロードした動画ファイル５１ａとテレビ電話中に録画した動画ファイル５１ｂ）の再生を共通の再生機能ライブラリである記録再生ライブラリ２２、共通のドライバである多重分離ビデオデコーダ・ドライバ３２、及び共通のハードウェアを使用して実現することが可能となる。
以上説明したように、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイル（例えば、動画ファイル５１ａ及び５１ｂ）について共通の再生機能ライブラリである記録再生ライブラリ２２を使用している。即ち、実施の形態１に係る携帯通信装置においては、現状又は将来の携帯通信装置用として規格化されている複数種類の動画ファイルの映像データが共通のフォーマットで構成された映像データであることに着目し、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備える従来方式を採用していない。代わりに、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイルに共通する映像データを処理可能な共通の再生機能ライブラリである記録再生ライブラリ２２を用いて再生制御処理を実行している。
このように、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイルを、分離という処理を経ることによって共通の記録再生ライブラリ２２により再生可能にしているので、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図る場合であっても、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備えた従来技術に比べて、インストールされるプログラム（ソフトウェア群）全体のサイズを小さくすることができる。このため、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置であっても、多くの種類の動画ファイルに対応できる多機能化を実現できる。
なお、上記実施の形態１の説明においては、携帯通信装置が、ダウンロードした動画ファイルの再生機能及びテレビ電話中の動画ファイルの記録再生機能を持つ場合を説明したが、実施の形態１に係る携帯通信装置に他の機能を持たせることもできる。
また、上記実施の形態１の説明においては、ダウンロードした動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合を説明したが、動画ファイルのフォーマットが異なる場合には、動画ファイルの処理方法も異なる。従って、動画ファイルのフォーマットが異なる場合には、ダウンロードした動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡す場合もあり得る。
実施の形態２．
図５は、本発明の実施の形態２（又は実施の形態３，４）に係る携帯通信装置のソフトウェア構成を示すブロック図である。なお、図５において矢印は、携帯通信装置のソフトウェア間におけるデータの授受を示す。
実施の形態１のソフトウェア構成と同様に、実施の形態２における記憶装置８にインストールされたソフトウェア群は、アプリケーション層１０と、ライブラリ層２０と、ドライバ層３０と、リアルタイムＯＳ４０とに分類できる。
アプリケーション層１０には、テレビ電話実行時に使用するビデオ・コンファレンス・アプリケーション１１と、記憶装置８に蓄積された動画ファイルを再生する際に使用するムービー・ビューワ・アプリケーション１２と、ネットワーク上のサーバからダウンロードされた動画ファイルを蓄積する際に、ネットワークアクセスのためのユーザインターフェースと提供するウェブ・ブラウザ・アプリケーション（Ｗｅｂ Ｂｒｏｗｓｅｒ Ａｐｐｌｉｃａｔｉｏｎ）１３と、映像入力装置６で映像を撮影する際に使用するカメラ・アプリケーション（Ｃａｍｅｒａ Ａｐｐｌｉｃａｔｉｏｎ）１４とが含まれる。
ライブラリ層２０には、テレビ電話実行時にテレビ電話シーケンス制御を行うビデオ・コンファレンス・ライブラリ２１と、動画ファイルの記録再生機能を有する記録再生ライブラリ２２と、ネットワークを介して（例えば、ネットワーク上のコンテンツ配信サーバから）ダウンロードした動画ファイルのデータを映像データと音声データとに分離するマルチメディア・サービス・ライブラリ２３とが含まれる。
ドライバ層３０には、ハードウェア機器を制御するためのソフトウェアである、カメラ・ビデオエンコーダ・ドライバ３１と、多重分離ビデオデコーダ・ドライバ３２と、オーディオ・ドライバ３３と、ファイル・システム・ドライバ３４とが含まれる。
実施の形態２における記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであるか否かを判定する。実施の形態２においては、多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、通信装置１を通してダウンロードされた動画ファイル、通信装置１を通してダウンロードされ記憶装置８に蓄積された動画ファイル、テレビ電話機能により通信装置１を通して取得された動画ファイル、テレビ電話機能により通信装置１を通して取得され記憶装置８に蓄積された動画ファイル、映像入力装置６及びマイク装置７を通して取得された動画ファイルを含む。ただし、入力される動画ファイルは、少なくともフォーマットを共通とする映像データを含む動画ファイルであれば、他の種類の動画ファイルであってもよい。
記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであると判定したときには、取得された動画ファイルを多重分離ビデオデコーダ・ドライバ３２に提供する。また、記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットでないと判定したときには、マルチメディア・サービス・ライブラリ２３に動画ファイルを送り、分離することによって、動画ファイルに含まれる映像データを多重分離ビデオデコーダ・ドライバ３２に提供する。以上の再生制御処理により、フォーマットの異なる複数種類の動画ファイルを共通の再生制御ライブラリである記録再生ライブラリ２２を使用して再生することができる。
また、記録再生ライブラリ２２は、ファイル・システム・ドライバ３４を制御して、通信装置１により取得された動画ファイルを記憶装置８に記録させる蓄積処理と、記憶装置８に蓄積された動画ファイルを再生するための再生制御処理をも実行する。
＜ダウンロードした動画ファイルの蓄積処理＞
図６は、本発明の実施の形態２に係る携帯通信装置によるダウンロードされた動画ファイルの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図６に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
ネットワーク上のサーバから通信回線を経由してダウンロードした動画ファイルを蓄積する場合には、ユーザの操作により、ネットワークアクセスのためのユーザインタフェースを提供するアプリケーションであるウェブ・ブラウザ・アプリケーション１３を通して、動画ファイルのダウンロード要求６１を記録再生ライブラリ２２に対して発行する。記録再生ライブラリ２２は、ネットワークアクセス中の動画ファイル６３の授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求６２を発行し、受信した動画ファイル６３に対応する多重化データ６４を多重分離ビデオデコーダ・ドライバ３２から受け取り、多重化データ６４に対応する多重化データ６５をファイルシステムを制御するドライバであるファイル・システム・ドライバ３４を介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにダウンロードしたデータであることを示す識別情報を付加する。
＜テレビ電話動画ファイルの蓄積処理＞
図７は、本発明の実施の形態２に係る携帯通信装置によるテレビ電話の動画ファイルの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図７に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
テレビ電話中の動画ファイルを蓄積する場合には、ユーザの操作により、テレビ電話のためのユーザインタフェースを提供するアプリケーションであるビデオ・コンファレンス・アプリケーション１１を通して、テレビ電話中の録画要求７１を、テレビ電話機能を提供するライブラリであるビデオ・コンファレンス・ライブラリ２１に対して発行する。録画要求７１を受けたビデオ・コンファレンス・ライブラリ２１は、動画記録再生制御を行うライブラリである記録再生ライブラリ２２へ録画要求７２を発行する。記録再生ライブラリ２２は、テレビ電話中の動画ファイルの授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７３を発行し、受信した動画ファイル７４に対応する多重化データ７５を多重分離ビデオデコーダ・ドライバ３２から受け取り、多重化データ７５に対応する多重化データ７６をファイルシステムを制御するドライバであるファイル・システム・ドライバ３４を介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにテレビ電話中の録画データであることを示す識別情報を付加する。
＜映像入力装置によって撮像された動画ファイルの蓄積処理＞
図８は、本発明の実施の形態２に係る携帯通信装置によるカメラ撮影データの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図８に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
自端末に付属した映像入力装置６のカメラによって撮像された動画ファイルを蓄積する場合には、ユーザの操作により、カメラ撮影のためのユーザインタフェースを提共するアプリケーションであるカメラ・アプリケーション１４を通して、撮像画像の録画要求８１を、記録再生ライブラリ２２に対して発行する。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求８１を発行する。多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１からの映像データ８４とオーディオ・ドライバ３３からの音声データ８３とが合成された多重化データ８５を記録再生ライブラリ２２に提供する。記録再生ライブラリ２２は、多重化データ８５に対応する多重化データ８６を、ファイルシステムを制御するドライバであるファイル・システム・ドライバ３４にを介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにカメラ撮像による録画データであることを示す識別情報を付加する。
＜蓄積動画ファイルの再生処理＞
図９は、本発明の実施の形態２に係る携帯通信装置による蓄積動画ファイルの再生処理における要求及びデータの流れを示す図である。図１、図５、及び図９に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
蓄積された複数種類のフォーマットの動画ファイルを再生する場合には、ムービー・ビューワ・アプリケーション１２は、ユーザ操作によるファイル選択と再生要求５０を、記録再生ライブラリ２２に対して発行する。再生要求５０を受けた記録再生ライブラリ２２は、再生対象である動画ファイルのデータを判別し、ダウンロードした動画ファイルであるか否か、即ち、動画ファイルを構成する多重化データを映像データと音声データに分離する必要があるか否かを判断する。
再生対象である動画ファイル５１がダウンロードにより取得された動画ファイルである場合には、動画ファイル５１を構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
次に、記録再生ライブラリ２２は、映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡すことにより、動画ファイルの再生を実現する。音声データの再生に際しては、オーディオ・ドライバ３３は、再生した音声データのサイズ５５を記録再生ライブラリ２２に返し、記録再生ライブラリ２２は、サイズ５５から再生された経過時間を割り出し、この経過時間に同期して映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことにより、映像データと音声データとの再生の同期をとる。
テレビ電話中に録画した動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０を、記録再生ライブラリ２２に対して発行する。
記録再生ライブラリ２２は、再生対象である動画ファイル５１のデータがテレビ電話中に録画した動画ファイルであり、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１の多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
映像入力装置６によるカメラ撮影により取得され蓄積された動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０を、記録再生ライブラリ２２に対して発行する。
記録再生ライブラリ２２は、再生対象である動画ファイル５１のデータがカメラ撮影により蓄積された動画ファイルであり、例えば、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１の多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
以上のようにして、異なるフォーマットを有する複数種類の動画ファイル（ここでは、ダウンロードした動画ファイルと、テレビ電話中に録画した動画ファイルと、カメラ撮影により蓄積された動画ファイル）の再生を共通の再生機能ライブラリである記録再生ライブラリ２２、共通のドライバである多重分離ビデオデコーダドライバ３２、及び共通のハードウェアを使用して実現することが可能となる。
以上説明したように、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイル（例えば、ダウンロードされた動画ファイル、テレビ電話中に録画された動画ファイル、カメラ撮影により蓄積された動画ファイル）について共通の再生機能ライブラリである記録再生ライブラリ２２を使用している。即ち、実施の形態２に係る携帯通信装置においては、現状又は将来の携帯通信装置用として規格化されている複数種類の動画ファイルの映像データが共通のフォーマットで構成された映像データであることに着目し、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備える従来方式を採用していない。代わりに、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイルに共通する映像データを処理可能な共通の再生機能ライブラリである記録再生ライブラリ２２を用いて再生制御処理を実行している。
このように、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイルを、分離という処理を経ることによって共通の記録再生ライブラリ２２により再生可能にしているので、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図る場合であっても、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備えた従来技術に比べて、インストールされるプログラム（ソフトウェア群）全体のサイズを小さくすることができる。このため、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置であっても、多くの種類の動画ファイルに対応できる多機能化を実現できる。
なお、上記実施の形態２の説明においては、携帯通信装置が、ダウンロードされた動画ファイル、テレビ電話中に録画された動画ファイル、カメラ撮影により蓄積された動画ファイルを扱う場合を説明したが、実施の形態２に係る携帯通信装置は他の動画ファイルを扱うように構成してもよい。
また、上記実施の形態２の説明においては、ダウンロードした動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイル及びカメラ撮影により蓄積された動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合を説明したが、動画ファイルのフォーマットが異なる場合には、動画ファイルの処理方法も異なる。例えば、ダウンロードした動画ファイル及びカメラ撮影により蓄積された動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合のように、動画ファイルのフォーマットが異なる場合には、異なる処理方式が採用される。
実施の形態３．
図１０は、本発明の実施の形態３及び４に係る携帯通信装置によるカメラ撮影データの変換・蓄積処理における要求及びデータの流れを示す図である。実施の形態３に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態３に係る携帯通信装置のソフトウェア構成は図５の構成と同様である。実施の形態３に係る携帯通信装置は、自端末の映像入力装置６で撮影した動画をテレビ電話通信で使用する動画フォーマットに変換して保存する。図１、図５、及び図１０に基づいて、実施の形態３に係る携帯通信装置の動作を説明する。
自端末の映像入力装置６によりカメラ撮影して、撮像された動画ファイルを蓄積する場合には、カメラ・アプリケーション１４によるユーザ操作により、撮像画像の録画要求７１が記録再生ライブラリ２２に対して発行される。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７２を発行する。
多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１により符号化された映像データ７４とオーディオ・ドライバ３３より符号化された音声データ７３を受け取る。多重分離ビデオデコーダ・ドライバ３２は、映像データ７４及び音声データ７３を分離したままのデータ７５として記録再生ライブラリ２２に渡す。記録再生ライブラリ２２は、受け取った映像データ／音声データ７６をマルチメディア・サービス・ライブラリ２３に渡し、マルチメディア・サービス・ライブラリ２３は、テレビ電話通信で使用する動画フォーマットに変換を行う。
記録再生ライブラリ２２は、フォーマット変換されたデータからなる動画ファイル７７をマルチメディア・サービス・ライブラリ２３から受け取り、ファイル・システム・ドライバ３４を介して、ファイルシステムへデータの蓄積を行う。なお、蓄積の際に、カメラ撮像中の録画データであることを示す識別情報を動画ファイルに付加する。
実施の形態３に係る携帯通信装置によれば、カメラ撮影により取得された動画ファイルを、テレビ電話の通話先から送信された動画ファイルのフォーマットに変換して記憶装置８に蓄積するので、あらかじめ自端末で撮影した動画ファイルを相手端末へ迅速且つ容易に送信することができる。
なお、実施の形態３において、上記以外の点は、上記実施の形態２と同様である。
実施の形態４．
実施の形態４に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態４に係る携帯通信装置のソフトウェア構成は図５に示される構成と同様である。実施の形態４に係る携帯通信装置は、自端末の映像入力装置６によりカメラ撮影して取得された動画ファイルをダウンロードした動画ファイルと同じフォーマットに変換して記憶装置８に保存する。図１、図５、及び図１０に基づいて、実施の形態４に係る携帯通信装置によるカメラ撮影動作を説明する。
自端末の映像入力装置６によりカメラ撮影して、撮像された動画ファイルを蓄積する場合には、カメラ・アプリケーション１４によるユーザ操作により、撮像画像の録画要求７１が記録再生ライブラリ２２に対して発行される。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７２を発行する。
多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１より符号化された映像データ７４とオーディオ・ドライバ３３より符号化された音声データ７３を受け取る。多重分離ビデオデコーダ・ドライバ３２は、映像データ７４及び音声データ７３を分離したままのデータ７５として記録再生ライブラリ２２に渡す。記録再生ライブラリ２２は、受け取った映像データ／音声データ７６をマルチメディア・サービス・ライブラリ２３へ渡し、マルチメディア・サービス・ライブラリ２３は、ダウンロードした動画ファイルと同じフォーマットに変換を行う。
記録再生ライブラリ２２は、フォーマット変換されたデータからなる動画ファイル７７をマルチメディア・サービス・ライブラリ２３から受け取り、ファイル・システム・ドライバ３４を介して、ファイルシステムへデータの蓄積を行う。なお、蓄積の際に、カメラ撮像中の録画データであることを示す識別情報を動画ファイルに付加する。
実施の形態４に係る携帯通信装置によれば、カメラ撮影により取得された動画ファイルを、ダウンロードした動画ファイルと同じフォーマットに変換して記憶装置８に蓄積するので、あらかじめ自端末で撮影した動画ファイルをネットワークに迅速且つ容易にアップロードすることができる。
なお、実施の形態４において、上記以外の点は、上記実施の形態２と同様である。
実施の形態５．
図１１は、本発明の実施の形態５に係る携帯通信装置により、ダウンロードした動画ファイルを再生する場合の、音声データと映像データの同期を合わせるためのシーケンスを示す図である。実施の形態５に係る携帯通信装置のハードウェア構成は図１と同様であり、実施の形態５に係る携帯通信装置のソフトウェア構成は図２の構成と同様である。実施の形態５に係る携帯通信装置は、ダウンロードした動画ファイルを再生する際に、音声データと映像データの同期をとって再生を行う。図２、図３及び図１１に基づいて実施の形態５に係る携帯通信装置の動作を説明する。
図２又は図３に示されるように、ダウンロードした動画ファイルを再生する場合には、ユーザの操作により、動画再生のためのユーザーインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
図２又は図３に示されるように、再生対象である動画ファイル５１ａがダウンロードにより取得された動画ファイルである場合には、記録再生ライブラリ２２は動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
次に、図１１に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの同期を合わせるためのタイムテーブル２２５を作成する。このタイムテーブル２２５には、ある時刻での音声データの累積処理サイズ及び映像データの累積処理サイズが記述されている。
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡す。また、エラーが原因でオーディオ・ドライバ３３からの通知が発生しなかったときのために、内部タイマ２２１を設定する。内部タイマ２２１のイベント発生の間隔は、オーディオ・ドライバ３３からの通知の間隔と同じΔＴに設定する。
オーディオ・ドライバ３３は、一定の時間間隔ΔＴごとに、処理した音声データの累積サイズ（即ち、音声データサイズ）５５を記録再生ライブラリ２２に返す。ここで、間隔ΔＴは、一定時間内に表示させる映像フレームの枚数であるフレームレート〔ｓ−１〕に応じて決められる間隔であり、１フレーム期間（＝１÷フレームレート〔ｓ−１〕）よりも短い間隔である必要がある。記録再生ライブラリ２２は、タイムテーブル２２５を用いて、処理された音声データの累積サイズ５５から現在時刻を割り出す。さらに、記録再生ライブラリ２２は、タイムテーブル２２５を参照し、時刻Ｂにおいて、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定する。時刻Ｂにおいては、処理された音声データの累積サイズ５５は１フレーム分の映像データに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
さらに、オーディオ・ドライバ３３からの通知があった時刻Ｃにおいて、記録再生ライブラリ２２は、時刻Ｂと同様に、タイムテーブル２２５を参照し、処理された映像データの累積サイズが１フレーム分に達しているかを判定する。時刻Ｃにおいては、処理された映像データの累積サイズが１フレーム分に達しているため、記録再生ライブラリ２２は、そのフレームサイズの映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡し、映像データが表示される。
オーディオ・ドライバ３３からの通知があった時刻Ｄにおいて、音声データの累積サイズ５５（例えば、時刻ＡからＤまでの間に処理された音声データの累積サイズ）が、オーディオ・ドライバ３３に渡した音声データ５４（例えば、時刻Ａにおいて、記録再生ライブラリ２２がオーディオ・ドライバ３３に渡した音声データ）のサイズに達する前に、記録再生ライブラリ２２は、再び、音声データ５４をオーディオ・ドライバ３３に渡し（例えば、時刻Ｄにおいて）、オーディオ・ドライバ４３において処理すべき音声データが枯渇しないようにする。
さらに、オーディオ・ドライバ３３からの通知があった時刻Ｅにおいて、記録再生ライブラリ２２は、時刻Ｃと同様にタイムテーブル２２５を参照し、映像データの累積サイズが、（それまでに再生を行ったフレームのデータ）＋（１フレーム分のデータ）に達していれば、記録再生ライブラリ２２がフレームサイズ分の映像データ５６を多重分離ビデオデコーダ・ドライバ３３に渡し、映像データが表示される。
以上説明したように、実施の形態５に係る携帯通信装置によれば、記録再生ライブラリ２２がオーディオ・ドライバ３３から音声データ処理量を受け取り、音声の処理に合わせて映像の再生を行うため、音声が途切れることなく音声と映像の同期をとることができる。
次に音声データが欠けた、不正なコンテンツを再生する場合の例を説明する。
図１１から理解できるように、内部タイマ２２１のみを用いて音声、映像データ再生の制御を行った場合は、時刻Ａの次に映像データを表示するのは時刻Ｃとなる。時刻Ａから時刻Ｂの間の音声データが欠けた不正なコンテンツの場合、音声再生を途切れさせないためには、時刻Ｂから時刻Ｃの音声データを時刻Ａから時刻Ｂの間に再生させる必要があり、このため、時刻Ｃの時点で再生している音声データは時刻Ｄのものとなる。従って、音声、映像データ再生の同期が合わないという結果になる。
実施の形態５に係る携帯通信装置では、時刻Ａから時刻Ｂの間で再生すべき音声データが存在しない場合、オーディオ・ドライバ３３は、再生音が途切れないように時刻Ｂから時刻Ｃの間に再生すべき音声データを時刻Ａから時刻Ｂの間に再生する。この結果、時刻Ｂにてオーディオ・ドライバ３３から記録再生ライブラリ２２へ返す累積データサイズは、本来時刻Ｃにて返す値となる。記録再生ライブラリ２２は時刻Ｂにて、タイムテーブル２２５を用い、音声データの累積データサイズから現在時刻を割り出すため、その結果時刻Ｃであると判断し、映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡し、映像データが表示される。このため、内部タイマ２２１のみを用いた音声、映像の同期方法では、途中から同期が合わなくなるようなオーディオデータが欠けた不正なコンテンツでも、常に音声データが途切れることなく、音声データと映像データの同期を合わせることができる。
図１２は、実施の形態５に係る携帯通信装置により、音声データと映像データの同期を合わせながら動画ファイルを再生する際に、エラーが発生した場合のシーケンスを示す図である。図１２に基づいて実施の形態５に係る携帯通信装置のエラー処理の動作を説明する。
図２又は図３に示されるように、正常動作と同様に、ユーザの操作により、ムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
図２又は図３に示されるように、記録再生ライブラリ２２は、動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
次に、図１２に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの同期を合わせるためのタイムテーブル２２５を作成する。このタイムテーブル２２５には、ある時刻での音声データの累積処理サイズ及び映像データの累積処理サイズが記述されている。
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡す。また、エラーが原因でオーディオ・ドライバからの通知が発生しなかったときのために、内部タイマ２２１を設定する。内部タイマ２２１のイベント発生の間隔は、オーディオ・ドライバ３３から発生する通知の間隔と同じΔＴに設定する。
オーディオ・ドライバ３３は、一定の間隔ΔＴごとに、それまでに処理した音声データの累積サイズを記録再生ライブラリ２２に返す。何らかの理由で音声データサイズ５５が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｐ）、あらかじめ設定しておいた内部タイマ２２１のイベント２２３が発生し、記録再生ライブラリ２２は、時刻Ｂで、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｂにおいては、処理された映像データの累積サイズが１フレーム分のデータに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
さらに、何らかの理由で、オーディオ・ドライバ３３からの通知が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｑ）においても同様に、あらかじめ設定しておいた内部タイマ２２１のイベント２２３が発生し、時刻Ｃにおいて、記録再生ライブラリ２２は、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｃにおいては、処理された映像データの累積サイズが１フレーム分のデータに達しているため、記録再生ライブラリ２２は、１フレーム分の映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことができる。
オーディオ・ドライバ３３からの通知が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｒ）においても同様に、あらかじめ設定しておいた内部タイマ２２１のイベントが発生し、記録再生ライブラリ２２は、時刻Ｄで、映像データ及び音声データの処理状況の判定を行うことができる。時刻Ｄにおいては、タイムテーブル２２５より、あらかじめオーディオ・ドライバ３３に渡した音声データ５４が枯渇する可能性があると判定できるため、記録再生ライブラリ２２は、次の音声データ５４をオーディオ・ドライバ３３に渡す。
以上のように、実施の形態５に係る携帯通信装置によれば、オーディオ・ドライバ３３からの音声データ処理量の通知（即ち、音声データサイズ）５５が何らかの理由により、記録再生ライブラリ２２に到達しない場合においても、あらかじめ設定した内部タイマ２２１のイベント２２３により、音声データ及び映像データの再生タイミングを取ることができる。このため、音声と映像の同期をとりながら、動画の再生を行うことができる。
図１３は、実施の形態５に係る携帯通信装置により、映像データのみで構成される動画ファイルを再生するシーケンスを示す図である。図１３に基づいて実施の形態５に係る携帯通信装置の映像データのみで構成される動画像ファイルの再生動作を説明する。
図２又は図３に示されるように、ユーザの操作により、ムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
図２又は図３に示されるように、記録再生ライブラリ２２は、動画ファイル５１ａを構成する多重化データ５２をマルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。ただし、図１３で示す動画再生の形態では、動画ファイルは映像データのみで構成されるため、音声データが存在しない。
次に、図１３に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの再生タイミングを合わせるためのタイムテーブル２２５を作成する。この場合は音声データがないため、このタイムテーブル２２５には、ある時刻での映像データの累積処理サイズのみが記述されている。
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡す。この場合は、音声データが存在しないため、記録再生ライブラリ２２は、オーディオ・ドライバ３３に音声データを渡さないので、オーディオ・ドライバからの一定間隔ΔＴごとの通知が返って来ない。また、図１１及び図１２の例と同様に、内部タイマ２２１を一定間隔ΔＴで設定する。
内部タイマ２２１は、時間ΔＴ後に、イベント２２３を記録再生ライブラリ２２に通知する（図１３の時刻Ｂ）。記録再生ライブラリ２２は、この時刻Ｂにおいて、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｂにおいては、処理された映像データの累積サイズが１フレーム分のデータに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
さらに、時間ΔＴが経過し、内部タイマ２２１がイベント２２３を記録再生ライブラリ２２に通知する（図１３の時刻Ｃ）。時刻Ｃにおいては、処理された映像データの累積サイズが動画の１フレーム分に達しているため、記録再生ライブラリ２２は、１フレーム分の映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことができる。
以上のように、実施の形態５に係る携帯通信装置によれば、音声データを含まない動画ファイルの再生時においても、内部タイマ２２１が発生するイベント２２３によって、映像データから作成したタイムテーブル２２５に従って動画の再生を行うことができる。
図１４は、本発明の実施の形態６に係る携帯通信装置による、ダウンロードした動画ファイルをコマ送り再生する際の再生方法について示した図である。実施の形態６に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態６に係る携帯通信装置のソフトウェア構成は図２の構成と同様である。実施の形態６に係る携帯通信装置はダウンロードした動画ファイルをコマ送り再生することができるが、図１４に基づいて実施の形態６に係る携帯通信装置の動作を説明する。
ムービー・ビューワ・アプリケーション１２はコマ送りを進めるユーザインターフェースを有しており、これの入力に従って、コマ送り要求８１が記録再生ライブラリ２２に送られる。時刻Ａにおいて、ムービー・ビューワ・アプリケーション１２からのコマ送り要求８１を受けた、記録再生ライブラリ２２は、その時点で再生を行っていない場合は、マルチメディア・サービス・ライブラリ２３より受け取った分離データ８３から、１フレーム分の映像データ８６を多重分離ビデオデコーダ・ドライバに渡す。再生を行っていた場合は、その時点で再生を停止するが、多重分離ビデオデコーダ・ドライバ３２が表示した映像データ８６はそのまま表示し続ける。
続けて送られるムービー・ビューワ・アプリケーション１２からのコマ送り要求８１に対して、記録再生ライブラリ２２は、次のフレームの映像データ８６を多重分離ビデオデコーダ・ドライバ３２に渡す。このようにして、実施の形態６に係る携帯通信装置では、ユーザからの入力に対して映像データをコマ送りで表示することができる。
図１５は、実施の形態６に係る携帯通信装置がダウンロードした動画ファイルをコマ送り再生している際に、コマ送りしている映像データを静止画として取り込む方法を示したものである。
ムービー・ビューワ・アプリケーション１２は、コマ送りを進めるユーザインターフェースに加え、静止画取り込みを行うユーザインターフェースを有しており、これの入力に従って、取り込み要求９１を記録再生ライブラリ２２に送られる。
静止画取り込みはコマ送り再生中に行われる。ムービー・ビューワ・アプリケーション１２から通知されたコマ送り要求８１に対して記録再生ライブラリ２２は、１フレーム分の映像データ８６を多重分離ビデオデコーダ・ドライバ３２に渡し、そのデータは表示メモリ４１に送られ表示デバイスに表示される。コマ送り再生の表示を見たエンドユーザが、取り込みのユーザインターフェースを操作することにより、ムービー・ビューワ・アプリケーション１２からの取り込み要求９１が記録再生ライブラリ２２に送られる。記録再生ライブラリ２２はそのときに表示デバイスに表示されている映像データ９６ａを表示メモリ４１から取り込む。映像データ９６ａは保存に適した静止画フォーマットに変換され、変換された映像データ９６ｂはファイル・システム・ドライバ３４に渡されファイルシステムに保存される。
このようにして、実施の形態６に係る携帯通信装置では、エンドユーザがコマ送り再生した画像データを静止画として記録保存することができる。
なお、実施の形態６において、上記以外の点は、上記実施の形態５と同様である。
産業上の利用可能性
以上説明したように、本発明においては、記憶手段にインストールされたソフトウェア群に、複数種類の動画ファイルに共通して含まれる映像データを処理可能なライブラリが含まれている。このライブラリは、動画ファイルの種類を判別する機能と再生制御機能とを有し、動画ファイル取得手段により取得された動画ファイルがデバイスドライバにより処理可能なフォーマットであるときには、動画ファイル取得手段により取得された動画ファイルをデバイスドライバに提供し、動画ファイル取得手段により取得された動画ファイルがデバイスドライバにより処理可能なフォーマットでないときには、動画ファイル取得手段により取得された動画ファイルを分離することによって、動画ファイル取得手段により取得された動画ファイルに含まれる映像データをデバイスドライバに提供する。このように、本発明によれば、異なるフォーマットの動画ファイルを共通のライブラリによって再生できるので、記憶装置にインストールされるプログラム全体のサイズの増大を最小限に抑えつつ、多機能化を実現できる。
また、本発明は、異なるフォーマットの動画ファイルを共通のライブラリによって判別する機能を持つので、動画再生時に、動画ファイルのフォーマットの種類に関係なく共通のユーザーインタフェースを利用するソフトウェア構成を採用でき、この場合には、ユーザの使い勝手を向上させることができる。
また、動画撮影手段により取得された動画ファイルを、ダウンロードされた動画ファイルのフォーマットに変換して記憶手段に記録する場合には、予め自端末で撮影した動画をネットワーク上のサーバへ迅速且つ容易にアップロードすることができる。
また、動画撮影手段により取得された動画ファイルを、テレビ電話の通話先から送信された動画ファイルのフォーマットに変換して記憶手段に記録する場合には、テレビ電話通信中に、あらかじめ自端末で撮像した動画像を相手端末へ迅速且つ容易に送信することができる。
また、動画ファイル取得手段により取得された動画ファイルのデータをタイムスタンプに従い復号化する機能と、タイムスタンプを無視して復号化する機能を有する場合には、異なるフォーマットのデータを共通のデコーダで復号することができ、プログラム全体のサイズの増大を抑えつつ、複数種類のフォーマットの動画ファイルの再生機能を実現することができる。
【図面の簡単な説明】
図１は、本発明の実施の形態１から５までに係る携帯通信装置のハードウェア構成を概略的に示すブロック図であり、
図２は、本発明の実施の形態１に係る携帯通信装置のソフトウェア構成を示すブロック図であり、
図３は、本発明の実施の形態１に係る携帯通信装置によるダウンロードによる動画ファイルの再生処理における要求及びデータの流れを示す図であり、
図４は、本発明の実施の形態１に係る携帯通信装置によるテレビ電話による動画ファイルの再生処理における要求及びデータの流れを示す図であり、
図５は、本発明の実施の形態２に係る携帯通信装置のソフトウェア構成を示すブロック図であり、
図６は、本発明の実施の形態２に係る携帯通信装置によるダウンロードによる動画ファイルの記録処理における要求及びデータの流れを示す図であり、
図７は、本発明の実施の形態２に係る携帯通信装置によるテレビ電話による動画ファイルの記録処理おける要求及びデータの流れを示す図であり、
図８は、本発明の実施の形態２に係る携帯通信装置によるカメラ撮影による動画ファイルの記録処理おける要求及びデータの流れを示す図であり、
図９は、本発明の実施の形態２に係る携帯通信装置による動画ファイルの再生処理における要求及びデータの流れを示す図であり、
図１０は、本発明の実施の形態３及び４に係る携帯通信装置によるカメラ撮影データの変換・蓄積処理における要求及びデータの流れを示す図であり、
図１１は、本発明の実施の形態５に係る携帯通信装置により、ダウンロードした動画ファイルを再生する場合の、音声データと映像データの同期を合わせるためのシーケンスを示す図であり、
図１２は、本発明の実施の形態５に係る携帯通信装置により、音声データと映像データの同期を合わせながら動画ファイルを再生する際に、エラーが発生した場合のシーケンスを示す図であり、
図１３は、本発明の実施の形態５に係る携帯通信装置により、映像データのみで構成される動画ファイルを再生するシーケンスを示す図であり、
図１４は、本発明の実施の形態６に係る携帯通信装置による、ダウンロードした動画ファイルをコマ送り再生する際の再生方法について示した図であり、
図１５は、実施の形態６に係る携帯通信装置がダウンロードした動画ファイルをコマ送り再生している際に、コマ送りしている映像データを静止画として取り込む方法を示したものである。
本発明は、ネットワークを通してダウンロードしたデータファイル（以下「動画ファイル」という。）の再生機能、テレビ電話（ビデオ・コンファレンス）中に蓄積した動画ファイルの再生機能、カメラ撮影により蓄積した動画ファイルの再生機能等を備えた次世代携帯電話装置（例えば、ＩＭＴ２０００規格に準拠）のような携帯通信装置に関し、特に、携帯通信装置において動画ファイルを再生するためのソフトウェア群の実装方式に関するものである。
背景技術
高速動作可能な汎用的なハードウェアとその上で動作する専用のソフトウェアとの組合せで動作するパーソナルコンピュータとは異なり、携帯通信装置により動画再生機能やテレビ電話機能等を実現するためには、各機能を実現する専用のハードウェアと、各ハードウェアを制御するソフトウェアとが必要になる。携帯通信装置のソフトウェア構成の一例は、例えば、月刊誌「Ｉｎｔｅｒｆａｃｅ（インターフェース）」２０００年２月号、第１００頁（ＣＱ出版社発行）に掲載されている。
従来のソフトウェア構成には、テレビ電話中に蓄積された動画ファイルを再生する機能を提供するライブラリ、ダウンロードにより蓄積された動画ファイルを再生する機能を提供するライブラリ、自端末のカメラ撮影機能により取得された動画ファイルを再生する機能を提供するライブラリのように、各機能に対応したライブラリが含まれる。従って、例えば、コンテンツ配信サーバからダウンロードされ蓄積された動画ファイルを再生する場合には、蓄積動画ファイルの再生機能を提供するライブラリを介してデバイスドライバ群を制御して再生機能を実現し、テレビ電話中に蓄積されたデータを再生する場合には、テレビ電話機能を実現するライブラリを介してデバイスドライバ群を制御して再生機能を実現していた。
上記したように、従来の携帯通信装置は、ダウンロードにより取得した動画ファイルの再生とテレビ電話機能により取得した動画ファイルの再生とを実現するために、それぞれの再生機能を実行するライブラリを実装していた。言い換えれば、従来の携帯通信装置の記憶装置には、動画ファイルの種類に応じた数の再生実行用のライブラリがインストールされていた。従って、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図ろうとすると、インストールされるプログラム全体のサイズが大きくなり過ぎる傾向にあった。このため、従来の携帯通信装置のソフトウェアの実装方式では、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置の多機能化が困難であるという問題があった。また、この問題は、携帯通信装置の記憶装置の容量を増やすことにより解消できるが、記憶装置の容量の増加は、携帯通信装置の製造コストの上昇という別の問題を生じさせる。
そこで、本発明は、上記したような従来技術の課題を解決するためになされたものであり、その目的とするところは、実装されるプログラム全体のサイズの増大を抑えつつ多機能化を実現できるソフトウェアの実装方式を採用した携帯通信装置を提供することにある。
発明の開示
本発明の携帯通信装置の一形態は、フォーマットを共通とする映像データを含む複数種類の動画ファイルを扱う装置であって、動画ファイルを取得する動画ファイル取得手段と、映像を表示する表示手段と、記憶手段と、前記記憶手段にインストールされたソフトウェア群を用いて、前記動画ファイル取得手段、前記記憶手段、及び前記表示手段の動作を制御する制御手段とを有し、前記記憶手段にインストールされたソフトウェア群が、少なくとも前記映像データを処理可能であり、前記動画ファイル取得手段により取得された動画ファイルに基づく映像を前記表示手段に表示させるデバイスドライバと、前記動画ファイル取得手段により取得された動画ファイルが前記デバイスドライバにより処理可能なフォーマットであるときには、前記動画ファイル取得手段により取得された動画ファイルを前記デバイスドライバに提供し、前記動画ファイル取得手段により取得された動画ファイルが前記デバイスドライバにより処理可能なフォーマットでないときには、前記動画ファイル取得手段により取得された動画ファイルを分離することによって、前記動画ファイル取得手段により取得された動画ファイルに含まれる映像データを前記デバイスドライバに提供する再生制御処理を実行するライブラリとを含むものである。
また、本発明の携帯通信装置の他の形態は、前記複数種類の動画ファイルのそれぞれが、少なくとも映像データと音声データとを含むものである。
また、本発明の携帯通信装置のさらに他の形態は、前記記憶手段にインストールされたソフトウェア群が、前記複数種類の動画ファイルのそれぞれについてのユーザインターフェースを提供するアプリケーションを含むものである。
また、本発明の携帯通信装置のさらに他の形態は、前記動画ファイル取得手段が、動画ファイルを取得する通信手段と、映像入力装置、映像情報処理装置、マイク装置、及び音声情報処理装置を有し、前記映像入力装置により取得され前記映像情報処理装置により符号化された映像データ及び前記マイク装置により取得され前記音声情報処理装置により符号化された音声データを含む動画ファイルを生成する動画撮影手段とを含むものである。
また、本発明の携帯通信装置のさらに他の形態は、前記通信手段により取得される動画ファイルには、コンテンツ配信サーバからダウンロードされた動画ファイルと、テレビ電話の通話先から送信された動画ファイルとが含まれているものである。
また、本発明の携帯通信装置のさらに他の形態は、前記ライブラリが、前記動画ファイル取得手段により取得された動画ファイルを前記記憶手段に記録し、前記記憶手段に記録された動画ファイルについて前記再生制御処理を実行するものである。
また、本発明の携帯通信装置のさらに他の形態は、前記ライブラリが、前記動画撮影手段により取得された動画ファイルを、前記ダウンロードされた動画ファイルのフォーマットに変換して前記記憶手段に記録するものである。
また、本発明の携帯通信装置のさらに他の形態は、前記ライブラリが、前記動画撮影手段により取得された動画ファイルを、前記テレビ電話の通話先から送信された動画ファイルのフォーマットに変換して前記記憶手段に記録するものである。
また、本発明の携帯通信装置のさらに他の形態は、前記動画ファイル取得手段により取得された動画ファイルがタイムスタンプを付加可能なデータで構成されている場合に、前記動画ファイル取得手段により取得された動画ファイルのデータをタイムスタンプに従い復号化する機能と、タイムスタンプを無視して復号化する機能とを有する情報処理手段を有するものである。
発明を実施するための最良の形態
図１は、本発明の実施の形態１から５までに係る携帯通信装置のハードウェア構成を概略的に示すブロック図である。実施の形態１から５までに係る携帯通信装置は、例えば、ダウンロードした動画ファイルの再生機能、テレビ電話（ビデオ・コンファレンス）機能、カメラ撮影機能等を備えた携帯電話装置又は携帯情報端末装置である。
図１に示されるように、実施の形態１から５までに係る携帯通信装置は、無線又は有線の通信回線を通して複数種類のデータを送受信する通信装置１を備えている。通信装置１で受信される動画ファイルには、映像データと音声データとを多重化したテレビ電話用の動画ファイル（ＩＴＵ−ＴＨ．３２４規格、Ｈ．３２４／Ｍ規格、又は、３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）で規定された３Ｇ−３２４Ｍ規格等に準拠）と、コンテンツ配信サーバからダウンロードされた動画ファイル（例えば、ＡＳＦ（Ａｄｖａｎｃｅｄ Ｓｔｒｅａｍｉｎｇ Ｆｏｒｍａｔ）形式やＭＰ４形式（画像圧縮方式「ＭＰＥＧ４」と音声圧縮方式「ＭＰ３（ＭＰＥＧ−１ ａｕｄｉｏ ｌａｙｅｒ ３）」、「ＱＣＥＬＰ（Ｑｕａｌｃｏｍｍ Ｃｏｄｅ Ｅｘｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅｃｏｄｉｎｇ）」によるファイルフォーマット））が含まれる。
また、図１に示されるように、実施の形態１から５までに係る携帯通信装置は、映像データの符号化・復号化を行う映像情報処理装置（映像符号化・復号化装置）２と、音声データの符号化・復号化を行う音声情報処理装置（音声符号化・復号化装置）３とを備えている。映像情報処理装置２及び音声情報処理装置３は、動画ファイルがタイムスタンプを付加可能なデータで構成されている場合に、この動画ファイルを、圧縮データ内のタイムスタンプに従い復号化する機能と、タイムスタンプを無視してデータ受信直後に復号化する機能とを有する。このため、異なるフォーマットのデータを共通のデコーダで復号することができる。
また、実施の形態１から５までに係る携帯通信装置は、映像を表示する表示装置４と、音を出力するスピーカ装置５と、カメラ撮影により映像信号を生成する映像入力装置６と、音声信号を生成するマイク装置７とを備えている。さらに、実施の形態１から５までに係る携帯通信装置は、記憶装置（メモリ）８と、ＣＰＵ（中央処理装置）９とを備えている。なお、記憶装置８を複数設けて、プログラム格納用と動画ファイル蓄積用に分けて使用してもよい。また、ＣＰＵ９は、記憶装置８にインストールされたソフトウェア群及びリアルタイム・オペレーティングシステム（リアルタイムＯＳ）を用いて、各構成１から８までの動作を制御する。
実施の形態１．
図２は、本発明の実施の形態１に係る携帯通信装置のソフトウェア構成を示すブロック図である。なお、図２において矢印は、携帯通信装置のソフトウェア間におけるデータの授受を示す。
図２に示されるように、記憶装置８にインストールされたソフトウェア群は、ユーザーインターフェース（ＵＩ）を提供するソフトウェアを有するアプリケーション層１０と、データ処理を行うソフトウェアを有するライブラリ層２０と、デバイス（上記構成１から８までを含む）を制御するソフトウェアを有するドライバ層３０と、上記各層１０，２０，３０に含まれるソフトウェアを制御するリアルタイムＯＳ４０とに分類できる。
アプリケーション層１０には、テレビ電話実行時に使用するビデオ・コンファレンス・アプリケーション（テレビ電話アプリケーション：Ｖｉｄｅｏ Ｃｏｎｆｅｒｅｎｃｅ Ａｐｐｌｉｃａｔｉｏｎ）１１と、記憶装置８に蓄積された動画ファイルを再生する際に使用するムービー・ビューワ・アプリケーション（動画ビューワ・アプリケーション：Ｍｏｖｉｅ Ｖｉｅｗｅｒ Ａｐｐｌｉｃａｔｉｏｎ）１２とが含まれる。
ライブラリ層２０には、テレビ電話実行時にテレビ電話シーケンス制御を行うビデオ・コンファレンス・ライブラリ（テレビ電話ライブラリ：Ｖｉｄｅｏ Ｃｏｎｆｅｒｅｎｃｅ Ｌｉｂｒａｒｙ）２１と、動画ファイルの記録再生機能を有する記録再生ライブラリ（ビデオ録画再生ライブラリ：Ｖｉｄｅｏ Ｒｅｃｏｒｄ／Ｐｌａｙ Ｌｉｂｒａｒｙ）２２と、ネットワークを介して（例えば、ネットワーク上のコンテンツ配信サーバから）ダウンロードした動画ファイルのデータを映像データと音声データとに分離するマルチメディア・サービス・ライブラリ（Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｖｉｃｅ Ｌｉｂｒａｒｙ）２３とが含まれる。
ドライバ層３０には、ハードウェア機器を制御するためのソフトウェアである、カメラ・ビデオエンコーダ・ドライバ（Ｃａｍｅｒａ Ｖ−Ｅｎｃｏｄｅｒ Ｄｒｉｖｅｒ）３１と、多重分離ビデオデコーダ・ドライバ（ＭＵＸ／ＤＥＭＵＸ Ｖ−Ｄｅｃｏｄｅｒ Ｄｒｉｖｅｒ）３２と、オーディオ・ドライバ（Ａｕｄｉｏ Ｄｒｉｖｅｒ）３３と、ファイル・システム・ドライバ（Ｆｉｌｅ Ｓｙｓｔｅｍ Ｄｒｉｖｅｒ）３４とが含まれる。
実施の形態１における記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであるか否かを判定する。実施の形態１においては、多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、通信装置１を通してダウンロードされた動画ファイル、通信装置１を通してダウンロードされ記憶装置８に蓄積された動画ファイル、テレビ電話機能により通信装置１を通して取得された動画ファイル、テレビ電話機能により通信装置１を通して取得され記憶装置８に蓄積された動画ファイルを含む。多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、少なくともフォーマットを共通とする映像データを含む動画ファイルであれば、他の種類の動画ファイルであってもよい。
記録再生ライブラリ２２は、取得された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであると判定したときには、取得された動画ファイルを多重分離ビデオデコーダ・ドライバ３２に提供する。また、記録再生ライブラリ２２は、取得された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットでないと判定したときには、マルチメディア・サービス・ライブラリ２３にその動画ファイルを送り、分離することによって、その動画ファイルに含まれる映像データを多重分離ビデオデコーダ・ドライバ３２に提供する。以上の再生制御処理により、フォーマットの異なる複数種類の動画ファイルを共通の再生制御ライブラリである記録再生ライブラリ２２を使用して再生することができる。
また、記録再生ライブラリ２２は、ファイル・システム・ドライバ３４を制御して、通信装置１により取得された動画ファイルを記憶装置８に記録させる蓄積処理と、記憶装置８に記録された動画ファイルを再生するための再生制御処理をも実行する。蓄積処理の詳細は、後述の実施の形態２において説明する。
＜ダウンロードした動画ファイルの再生処理＞
図３は、本発明の実施の形態１に係る携帯通信装置によるダウンロードした動画ファイルの再生処理における要求及びデータの流れを示す図である。図３に基づいて、実施の形態１に係る携帯通信装置によるダウンロードした動画ファイルの再生処理を説明する。
ダウンロードした動画ファイルを再生する場合には、先ず、ユーザの操作（操作部は図示せず）により、動画再生のためのユーザーインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａとが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
次に、再生要求５０ａを受けた記録再生ライブラリ２２は、再生対象である動画ファイル５１ａのデータのフォーマット（規格）を判別し、ネットワークからダウンロードされた動画ファイルであるか否か、即ち、動画ファイルを構成するデータを映像データと音声データに分離する必要があるか否かを判断する。
再生対象である動画ファイル５１ａがダウンロードにより取得された動画ファイルである場合には、動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して得られた分離データ５３を記録再生ライブラリ２２に返す。
次に、記録再生ライブラリ２２は、分離データ５３のうちの映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、分離データ５３のうちの音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡すことにより、動画ファイルの再生（即ち、表示装置４による映像の表示及びスピーカ装置５による音響の出力）を実現する。音声データ５４の再生に際しては、オーディオ・ドライバ３３は、再生した音声データ５４のサイズ５５を記録再生ライブラリ２２に返し、記録再生ライブラリ２２は、サイズ５５から再生された経過時間を割り出し、この経過時間に同期して映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことにより、映像データと音声データとの再生の同期をとる。
＜テレビ電話中における動画ファイルの蓄積処理＞
図１及び図２に基づいて、実施の形態１に係る携帯通信装置による動画ファイルの蓄積処理を説明する。テレビ電話中に受信した動画ファイルを記録する場合には、先ず、ユーザの操作により、テレビ電話のためのユーザインタフェースを提供するアプリケーションであるビデオ・コンファレンス・アプリケーション１１を通して、テレビ電話中の動画ファイルの録画要求を、テレビ電話機能を提供するライブラリであるビデオ・コンファレンス・ライブラリ２１に対して発行する。
次に、録画要求を受けたビデオ・コンファレンス・ライブラリ２１は、動画記録再生制御を行うライブラリである記録再生ライブラリ２２に録画要求を発行する。記録再生ライブラリ２２は、テレビ電話中の動画ファイルの授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求を発行し、受信した動画ファイルを多重分離ビデオデコーダ・ドライバ３２により受け取り、記憶装置８（又は図示しない他の記憶装置）への蓄積を行う。蓄積の際に、動画ファイルのデータに、テレビ電話中の録画データであることを示す識別情報を付加する。
＜テレビ電話中に蓄積された動画ファイルの再生処理＞
図４は、本発明の実施の形態１に係る携帯通信装置によるテレビ電話中に蓄積された動画ファイルの再生処理における要求及びデータの流れを示す図である。図１、図２、及び図４に基づいて、実施の形態１に係る携帯通信装置によるテレビ電話中に記録された動画ファイルの再生処理を説明する。
テレビ電話中に録画した動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０ｂを、ムービー・ビューワ・ライブラリ２１を介して、記録再生ライブラリ２２に対して発行する。
記録再生ライブラリ２２は、再生対象である動画ファイル５１ｂのデータがテレビ電話中に録画した動画ファイルであり、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１ｂの多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
以上のようにして、異なるフォーマットを有する２種類の動画ファイル（ここでは、ダウンロードした動画ファイル５１ａとテレビ電話中に録画した動画ファイル５１ｂ）の再生を共通の再生機能ライブラリである記録再生ライブラリ２２、共通のドライバである多重分離ビデオデコーダ・ドライバ３２、及び共通のハードウェアを使用して実現することが可能となる。
以上説明したように、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイル（例えば、動画ファイル５１ａ及び５１ｂ）について共通の再生機能ライブラリである記録再生ライブラリ２２を使用している。即ち、実施の形態１に係る携帯通信装置においては、現状又は将来の携帯通信装置用として規格化されている複数種類の動画ファイルの映像データが共通のフォーマットで構成された映像データであることに着目し、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備える従来方式を採用していない。代わりに、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイルに共通する映像データを処理可能な共通の再生機能ライブラリである記録再生ライブラリ２２を用いて再生制御処理を実行している。
このように、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイルを、分離という処理を経ることによって共通の記録再生ライブラリ２２により再生可能にしているので、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図る場合であっても、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備えた従来技術に比べて、インストールされるプログラム（ソフトウェア群）全体のサイズを小さくすることができる。このため、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置であっても、多くの種類の動画ファイルに対応できる多機能化を実現できる。
なお、上記実施の形態１の説明においては、携帯通信装置が、ダウンロードした動画ファイルの再生機能及びテレビ電話中の動画ファイルの記録再生機能を持つ場合を説明したが、実施の形態１に係る携帯通信装置に他の機能を持たせることもできる。
また、上記実施の形態１の説明においては、ダウンロードした動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合を説明したが、動画ファイルのフォーマットが異なる場合には、動画ファイルの処理方法も異なる。従って、動画ファイルのフォーマットが異なる場合には、ダウンロードした動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡す場合もあり得る。
実施の形態２．
図５は、本発明の実施の形態２（又は実施の形態３，４）に係る携帯通信装置のソフトウェア構成を示すブロック図である。なお、図５において矢印は、携帯通信装置のソフトウェア間におけるデータの授受を示す。
実施の形態１のソフトウェア構成と同様に、実施の形態２における記憶装置８にインストールされたソフトウェア群は、アプリケーション層１０と、ライブラリ層２０と、ドライバ層３０と、リアルタイムＯＳ４０とに分類できる。
アプリケーション層１０には、テレビ電話実行時に使用するビデオ・コンファレンス・アプリケーション１１と、記憶装置８に蓄積された動画ファイルを再生する際に使用するムービー・ビューワ・アプリケーション１２と、ネットワーク上のサーバからダウンロードされた動画ファイルを蓄積する際に、ネットワークアクセスのためのユーザインターフェースと提供するウェブ・ブラウザ・アプリケーション（Ｗｅｂ Ｂｒｏｗｓｅｒ Ａｐｐｌｉｃａｔｉｏｎ）１３と、映像入力装置６で映像を撮影する際に使用するカメラ・アプリケーション（Ｃａｍｅｒａ Ａｐｐｌｉｃａｔｉｏｎ）１４とが含まれる。
ライブラリ層２０には、テレビ電話実行時にテレビ電話シーケンス制御を行うビデオ・コンファレンス・ライブラリ２１と、動画ファイルの記録再生機能を有する記録再生ライブラリ２２と、ネットワークを介して（例えば、ネットワーク上のコンテンツ配信サーバから）ダウンロードした動画ファイルのデータを映像データと音声データとに分離するマルチメディア・サービス・ライブラリ２３とが含まれる。
ドライバ層３０には、ハードウェア機器を制御するためのソフトウェアである、カメラ・ビデオエンコーダ・ドライバ３１と、多重分離ビデオデコーダ・ドライバ３２と、オーディオ・ドライバ３３と、ファイル・システム・ドライバ３４とが含まれる。
実施の形態２における記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであるか否かを判定する。実施の形態２においては、多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、通信装置１を通してダウンロードされた動画ファイル、通信装置１を通してダウンロードされ記憶装置８に蓄積された動画ファイル、テレビ電話機能により通信装置１を通して取得された動画ファイル、テレビ電話機能により通信装置１を通して取得され記憶装置８に蓄積された動画ファイル、映像入力装置６及びマイク装置７を通して取得された動画ファイルを含む。ただし、入力される動画ファイルは、少なくともフォーマットを共通とする映像データを含む動画ファイルであれば、他の種類の動画ファイルであってもよい。
記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであると判定したときには、取得された動画ファイルを多重分離ビデオデコーダ・ドライバ３２に提供する。また、記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットでないと判定したときには、マルチメディア・サービス・ライブラリ２３に動画ファイルを送り、分離することによって、動画ファイルに含まれる映像データを多重分離ビデオデコーダ・ドライバ３２に提供する。以上の再生制御処理により、フォーマットの異なる複数種類の動画ファイルを共通の再生制御ライブラリである記録再生ライブラリ２２を使用して再生することができる。
また、記録再生ライブラリ２２は、ファイル・システム・ドライバ３４を制御して、通信装置１により取得された動画ファイルを記憶装置８に記録させる蓄積処理と、記憶装置８に蓄積された動画ファイルを再生するための再生制御処理をも実行する。
＜ダウンロードした動画ファイルの蓄積処理＞
図６は、本発明の実施の形態２に係る携帯通信装置によるダウンロードされた動画ファイルの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図６に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
ネットワーク上のサーバから通信回線を経由してダウンロードした動画ファイルを蓄積する場合には、ユーザの操作により、ネットワークアクセスのためのユーザインタフェースを提供するアプリケーションであるウェブ・ブラウザ・アプリケーション１３を通して、動画ファイルのダウンロード要求６１を記録再生ライブラリ２２に対して発行する。記録再生ライブラリ２２は、ネットワークアクセス中の動画ファイル６３の授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求６２を発行し、受信した動画ファイル６３に対応する多重化データ６４を多重分離ビデオデコーダ・ドライバ３２から受け取り、多重化データ６４に対応する多重化データ６５をファイルシステムを制御するドライバであるファイル・システム・ドライバ３４を介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにダウンロードしたデータであることを示す識別情報を付加する。
＜テレビ電話動画ファイルの蓄積処理＞
図７は、本発明の実施の形態２に係る携帯通信装置によるテレビ電話の動画ファイルの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図７に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
テレビ電話中の動画ファイルを蓄積する場合には、ユーザの操作により、テレビ電話のためのユーザインタフェースを提供するアプリケーションであるビデオ・コンファレンス・アプリケーション１１を通して、テレビ電話中の録画要求７１を、テレビ電話機能を提供するライブラリであるビデオ・コンファレンス・ライブラリ２１に対して発行する。録画要求７１を受けたビデオ・コンファレンス・ライブラリ２１は、動画記録再生制御を行うライブラリである記録再生ライブラリ２２へ録画要求７２を発行する。記録再生ライブラリ２２は、テレビ電話中の動画ファイルの授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７３を発行し、受信した動画ファイル７４に対応する多重化データ７５を多重分離ビデオデコーダ・ドライバ３２から受け取り、多重化データ７５に対応する多重化データ７６をファイルシステムを制御するドライバであるファイル・システム・ドライバ３４を介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにテレビ電話中の録画データであることを示す識別情報を付加する。
＜映像入力装置によって撮像された動画ファイルの蓄積処理＞
図８は、本発明の実施の形態２に係る携帯通信装置によるカメラ撮影データの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図８に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
自端末に付属した映像入力装置６のカメラによって撮像された動画ファイルを蓄積する場合には、ユーザの操作により、カメラ撮影のためのユーザインタフェースを提共するアプリケーションであるカメラ・アプリケーション１４を通して、撮像画像の録画要求８１を、記録再生ライブラリ２２に対して発行する。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求８１を発行する。多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１からの映像データ８４とオーディオ・ドライバ３３からの音声データ８３とが合成された多重化データ８５を記録再生ライブラリ２２に提供する。記録再生ライブラリ２２は、多重化データ８５に対応する多重化データ８６を、ファイルシステムを制御するドライバであるファイル・システム・ドライバ３４にを介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにカメラ撮像による録画データであることを示す識別情報を付加する。
＜蓄積動画ファイルの再生処理＞
図９は、本発明の実施の形態２に係る携帯通信装置による蓄積動画ファイルの再生処理における要求及びデータの流れを示す図である。図１、図５、及び図９に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
蓄積された複数種類のフォーマットの動画ファイルを再生する場合には、ムービー・ビューワ・アプリケーション１２は、ユーザ操作によるファイル選択と再生要求５０を、記録再生ライブラリ２２に対して発行する。再生要求５０を受けた記録再生ライブラリ２２は、再生対象である動画ファイルのデータを判別し、ダウンロードした動画ファイルであるか否か、即ち、動画ファイルを構成する多重化データを映像データと音声データに分離する必要があるか否かを判断する。
再生対象である動画ファイル５１がダウンロードにより取得された動画ファイルである場合には、動画ファイル５１を構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
次に、記録再生ライブラリ２２は、映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡すことにより、動画ファイルの再生を実現する。音声データの再生に際しては、オーディオ・ドライバ３３は、再生した音声データのサイズ５５を記録再生ライブラリ２２に返し、記録再生ライブラリ２２は、サイズ５５から再生された経過時間を割り出し、この経過時間に同期して映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことにより、映像データと音声データとの再生の同期をとる。
テレビ電話中に録画した動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０を、記録再生ライブラリ２２に対して発行する。
記録再生ライブラリ２２は、再生対象である動画ファイル５１のデータがテレビ電話中に録画した動画ファイルであり、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１の多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
映像入力装置６によるカメラ撮影により取得され蓄積された動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０を、記録再生ライブラリ２２に対して発行する。
記録再生ライブラリ２２は、再生対象である動画ファイル５１のデータがカメラ撮影により蓄積された動画ファイルであり、例えば、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１の多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
以上のようにして、異なるフォーマットを有する複数種類の動画ファイル（ここでは、ダウンロードした動画ファイルと、テレビ電話中に録画した動画ファイルと、カメラ撮影により蓄積された動画ファイル）の再生を共通の再生機能ライブラリである記録再生ライブラリ２２、共通のドライバである多重分離ビデオデコーダドライバ３２、及び共通のハードウェアを使用して実現することが可能となる。
以上説明したように、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイル（例えば、ダウンロードされた動画ファイル、テレビ電話中に録画された動画ファイル、カメラ撮影により蓄積された動画ファイル）について共通の再生機能ライブラリである記録再生ライブラリ２２を使用している。即ち、実施の形態２に係る携帯通信装置においては、現状又は将来の携帯通信装置用として規格化されている複数種類の動画ファイルの映像データが共通のフォーマットで構成された映像データであることに着目し、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備える従来方式を採用していない。代わりに、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイルに共通する映像データを処理可能な共通の再生機能ライブラリである記録再生ライブラリ２２を用いて再生制御処理を実行している。
このように、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイルを、分離という処理を経ることによって共通の記録再生ライブラリ２２により再生可能にしているので、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図る場合であっても、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備えた従来技術に比べて、インストールされるプログラム（ソフトウェア群）全体のサイズを小さくすることができる。このため、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置であっても、多くの種類の動画ファイルに対応できる多機能化を実現できる。
なお、上記実施の形態２の説明においては、携帯通信装置が、ダウンロードされた動画ファイル、テレビ電話中に録画された動画ファイル、カメラ撮影により蓄積された動画ファイルを扱う場合を説明したが、実施の形態２に係る携帯通信装置は他の動画ファイルを扱うように構成してもよい。
また、上記実施の形態２の説明においては、ダウンロードした動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイル及びカメラ撮影により蓄積された動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合を説明したが、動画ファイルのフォーマットが異なる場合には、動画ファイルの処理方法も異なる。例えば、ダウンロードした動画ファイル及びカメラ撮影により蓄積された動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合のように、動画ファイルのフォーマットが異なる場合には、異なる処理方式が採用される。
実施の形態３．
図１０は、本発明の実施の形態３及び４に係る携帯通信装置によるカメラ撮影データの変換・蓄積処理における要求及びデータの流れを示す図である。実施の形態３に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態３に係る携帯通信装置のソフトウェア構成は図５の構成と同様である。実施の形態３に係る携帯通信装置は、自端末の映像入力装置６で撮影した動画をテレビ電話通信で使用する動画フォーマットに変換して保存する。図１、図５、及び図１０に基づいて、実施の形態３に係る携帯通信装置の動作を説明する。
自端末の映像入力装置６によりカメラ撮影して、撮像された動画ファイルを蓄積する場合には、カメラ・アプリケーション１４によるユーザ操作により、撮像画像の録画要求７１が記録再生ライブラリ２２に対して発行される。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７２を発行する。
多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１により符号化された映像データ７４とオーディオ・ドライバ３３より符号化された音声データ７３を受け取る。多重分離ビデオデコーダ・ドライバ３２は、映像データ７４及び音声データ７３を分離したままのデータ７５として記録再生ライブラリ２２に渡す。記録再生ライブラリ２２は、受け取った映像データ／音声データ７６をマルチメディア・サービス・ライブラリ２３に渡し、マルチメディア・サービス・ライブラリ２３は、テレビ電話通信で使用する動画フォーマットに変換を行う。
記録再生ライブラリ２２は、フォーマット変換されたデータからなる動画ファイル７７をマルチメディア・サービス・ライブラリ２３から受け取り、ファイル・システム・ドライバ３４を介して、ファイルシステムへデータの蓄積を行う。なお、蓄積の際に、カメラ撮像中の録画データであることを示す識別情報を動画ファイルに付加する。
実施の形態３に係る携帯通信装置によれば、カメラ撮影により取得された動画ファイルを、テレビ電話の通話先から送信された動画ファイルのフォーマットに変換して記憶装置８に蓄積するので、あらかじめ自端末で撮影した動画ファイルを相手端末へ迅速且つ容易に送信することができる。
なお、実施の形態３において、上記以外の点は、上記実施の形態２と同様である。
実施の形態４．
実施の形態４に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態４に係る携帯通信装置のソフトウェア構成は図５に示される構成と同様である。実施の形態４に係る携帯通信装置は、自端末の映像入力装置６によりカメラ撮影して取得された動画ファイルをダウンロードした動画ファイルと同じフォーマットに変換して記憶装置８に保存する。図１、図５、及び図１０に基づいて、実施の形態４に係る携帯通信装置によるカメラ撮影動作を説明する。
自端末の映像入力装置６によりカメラ撮影して、撮像された動画ファイルを蓄積する場合には、カメラ・アプリケーション１４によるユーザ操作により、撮像画像の録画要求７１が記録再生ライブラリ２２に対して発行される。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７２を発行する。
多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１より符号化された映像データ７４とオーディオ・ドライバ３３より符号化された音声データ７３を受け取る。多重分離ビデオデコーダ・ドライバ３２は、映像データ７４及び音声データ７３を分離したままのデータ７５として記録再生ライブラリ２２に渡す。記録再生ライブラリ２２は、受け取った映像データ／音声データ７６をマルチメディア・サービス・ライブラリ２３へ渡し、マルチメディア・サービス・ライブラリ２３は、ダウンロードした動画ファイルと同じフォーマットに変換を行う。
記録再生ライブラリ２２は、フォーマット変換されたデータからなる動画ファイル７７をマルチメディア・サービス・ライブラリ２３から受け取り、ファイル・システム・ドライバ３４を介して、ファイルシステムへデータの蓄積を行う。なお、蓄積の際に、カメラ撮像中の録画データであることを示す識別情報を動画ファイルに付加する。
実施の形態４に係る携帯通信装置によれば、カメラ撮影により取得された動画ファイルを、ダウンロードした動画ファイルと同じフォーマットに変換して記憶装置８に蓄積するので、あらかじめ自端末で撮影した動画ファイルをネットワークに迅速且つ容易にアップロードすることができる。
なお、実施の形態４において、上記以外の点は、上記実施の形態２と同様である。
実施の形態５．
図１１は、本発明の実施の形態５に係る携帯通信装置により、ダウンロードした動画ファイルを再生する場合の、音声データと映像データの同期を合わせるためのシーケンスを示す図である。実施の形態５に係る携帯通信装置のハードウェア構成は図１と同様であり、実施の形態５に係る携帯通信装置のソフトウェア構成は図２の構成と同様である。実施の形態５に係る携帯通信装置は、ダウンロードした動画ファイルを再生する際に、音声データと映像データの同期をとって再生を行う。図２、図３及び図１１に基づいて実施の形態５に係る携帯通信装置の動作を説明する。
図２又は図３に示されるように、ダウンロードした動画ファイルを再生する場合には、ユーザの操作により、動画再生のためのユーザーインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
図２又は図３に示されるように、再生対象である動画ファイル５１ａがダウンロードにより取得された動画ファイルである場合には、記録再生ライブラリ２２は動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
次に、図１１に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの同期を合わせるためのタイムテーブル２２５を作成する。このタイムテーブル２２５には、ある時刻での音声データの累積処理サイズ及び映像データの累積処理サイズが記述されている。
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡す。また、エラーが原因でオーディオ・ドライバ３３からの通知が発生しなかったときのために、内部タイマ２２１を設定する。内部タイマ２２１のイベント発生の間隔は、オーディオ・ドライバ３３からの通知の間隔と同じΔＴに設定する。
オーディオ・ドライバ３３は、一定の時間間隔ΔＴごとに、処理した音声データの累積サイズ（即ち、音声データサイズ）５５を記録再生ライブラリ２２に返す。ここで、間隔ΔＴは、一定時間内に表示させる映像フレームの枚数であるフレームレート〔ｓ−１〕に応じて決められる間隔であり、１フレーム期間（＝１÷フレームレート〔ｓ−１〕）よりも短い間隔である必要がある。記録再生ライブラリ２２は、タイムテーブル２２５を用いて、処理された音声データの累積サイズ５５から現在時刻を割り出す。さらに、記録再生ライブラリ２２は、タイムテーブル２２５を参照し、時刻Ｂにおいて、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定する。時刻Ｂにおいては、処理された音声データの累積サイズ５５は１フレーム分の映像データに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
さらに、オーディオ・ドライバ３３からの通知があった時刻Ｃにおいて、記録再生ライブラリ２２は、時刻Ｂと同様に、タイムテーブル２２５を参照し、処理された映像データの累積サイズが１フレーム分に達しているかを判定する。時刻Ｃにおいては、処理された映像データの累積サイズが１フレーム分に達しているため、記録再生ライブラリ２２は、そのフレームサイズの映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡し、映像データが表示される。
オーディオ・ドライバ３３からの通知があった時刻Ｄにおいて、音声データの累積サイズ５５（例えば、時刻ＡからＤまでの間に処理された音声データの累積サイズ）が、オーディオ・ドライバ３３に渡した音声データ５４（例えば、時刻Ａにおいて、記録再生ライブラリ２２がオーディオ・ドライバ３３に渡した音声データ）のサイズに達する前に、記録再生ライブラリ２２は、再び、音声データ５４をオーディオ・ドライバ３３に渡し（例えば、時刻Ｄにおいて）、オーディオ・ドライバ４３において処理すべき音声データが枯渇しないようにする。
さらに、オーディオ・ドライバ３３からの通知があった時刻Ｅにおいて、記録再生ライブラリ２２は、時刻Ｃと同様にタイムテーブル２２５を参照し、映像データの累積サイズが、（それまでに再生を行ったフレームのデータ）＋（１フレーム分のデータ）に達していれば、記録再生ライブラリ２２がフレームサイズ分の映像データ５６を多重分離ビデオデコーダ・ドライバ３３に渡し、映像データが表示される。
以上説明したように、実施の形態５に係る携帯通信装置によれば、記録再生ライブラリ２２がオーディオ・ドライバ３３から音声データ処理量を受け取り、音声の処理に合わせて映像の再生を行うため、音声が途切れることなく音声と映像の同期をとることができる。
次に音声データが欠けた、不正なコンテンツを再生する場合の例を説明する。
図１１から理解できるように、内部タイマ２２１のみを用いて音声、映像データ再生の制御を行った場合は、時刻Ａの次に映像データを表示するのは時刻Ｃとなる。時刻Ａから時刻Ｂの間の音声データが欠けた不正なコンテンツの場合、音声再生を途切れさせないためには、時刻Ｂから時刻Ｃの音声データを時刻Ａから時刻Ｂの間に再生させる必要があり、このため、時刻Ｃの時点で再生している音声データは時刻Ｄのものとなる。従って、音声、映像データ再生の同期が合わないという結果になる。
実施の形態５に係る携帯通信装置では、時刻Ａから時刻Ｂの間で再生すべき音声データが存在しない場合、オーディオ・ドライバ３３は、再生音が途切れないように時刻Ｂから時刻Ｃの間に再生すべき音声データを時刻Ａから時刻Ｂの間に再生する。この結果、時刻Ｂにてオーディオ・ドライバ３３から記録再生ライブラリ２２へ返す累積データサイズは、本来時刻Ｃにて返す値となる。記録再生ライブラリ２２は時刻Ｂにて、タイムテーブル２２５を用い、音声データの累積データサイズから現在時刻を割り出すため、その結果時刻Ｃであると判断し、映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡し、映像データが表示される。このため、内部タイマ２２１のみを用いた音声、映像の同期方法では、途中から同期が合わなくなるようなオーディオデータが欠けた不正なコンテンツでも、常に音声データが途切れることなく、音声データと映像データの同期を合わせることができる。
図１２は、実施の形態５に係る携帯通信装置により、音声データと映像データの同期を合わせながら動画ファイルを再生する際に、エラーが発生した場合のシーケンスを示す図である。図１２に基づいて実施の形態５に係る携帯通信装置のエラー処理の動作を説明する。
図２又は図３に示されるように、正常動作と同様に、ユーザの操作により、ムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
図２又は図３に示されるように、記録再生ライブラリ２２は、動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
次に、図１２に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの同期を合わせるためのタイムテーブル２２５を作成する。このタイムテーブル２２５には、ある時刻での音声データの累積処理サイズ及び映像データの累積処理サイズが記述されている。
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡す。また、エラーが原因でオーディオ・ドライバからの通知が発生しなかったときのために、内部タイマ２２１を設定する。内部タイマ２２１のイベント発生の間隔は、オーディオ・ドライバ３３から発生する通知の間隔と同じΔＴに設定する。
オーディオ・ドライバ３３は、一定の間隔ΔＴごとに、それまでに処理した音声データの累積サイズを記録再生ライブラリ２２に返す。何らかの理由で音声データサイズ５５が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｐ）、あらかじめ設定しておいた内部タイマ２２１のイベント２２３が発生し、記録再生ライブラリ２２は、時刻Ｂで、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｂにおいては、処理された映像データの累積サイズが１フレーム分のデータに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
さらに、何らかの理由で、オーディオ・ドライバ３３からの通知が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｑ）においても同様に、あらかじめ設定しておいた内部タイマ２２１のイベント２２３が発生し、時刻Ｃにおいて、記録再生ライブラリ２２は、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｃにおいては、処理された映像データの累積サイズが１フレーム分のデータに達しているため、記録再生ライブラリ２２は、１フレーム分の映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことができる。
オーディオ・ドライバ３３からの通知が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｒ）においても同様に、あらかじめ設定しておいた内部タイマ２２１のイベントが発生し、記録再生ライブラリ２２は、時刻Ｄで、映像データ及び音声データの処理状況の判定を行うことができる。時刻Ｄにおいては、タイムテーブル２２５より、あらかじめオーディオ・ドライバ３３に渡した音声データ５４が枯渇する可能性があると判定できるため、記録再生ライブラリ２２は、次の音声データ５４をオーディオ・ドライバ３３に渡す。
以上のように、実施の形態５に係る携帯通信装置によれば、オーディオ・ドライバ３３からの音声データ処理量の通知（即ち、音声データサイズ）５５が何らかの理由により、記録再生ライブラリ２２に到達しない場合においても、あらかじめ設定した内部タイマ２２１のイベント２２３により、音声データ及び映像データの再生タイミングを取ることができる。このため、音声と映像の同期をとりながら、動画の再生を行うことができる。
図１３は、実施の形態５に係る携帯通信装置により、映像データのみで構成される動画ファイルを再生するシーケンスを示す図である。図１３に基づいて実施の形態５に係る携帯通信装置の映像データのみで構成される動画像ファイルの再生動作を説明する。
図２又は図３に示されるように、ユーザの操作により、ムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
図２又は図３に示されるように、記録再生ライブラリ２２は、動画ファイル５１ａを構成する多重化データ５２をマルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。ただし、図１３で示す動画再生の形態では、動画ファイルは映像データのみで構成されるため、音声データが存在しない。
次に、図１３に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの再生タイミングを合わせるためのタイムテーブル２２５を作成する。この場合は音声データがないため、このタイムテーブル２２５には、ある時刻での映像データの累積処理サイズのみが記述されている。
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡す。この場合は、音声データが存在しないため、記録再生ライブラリ２２は、オーディオ・ドライバ３３に音声データを渡さないので、オーディオ・ドライバからの一定間隔ΔＴごとの通知が返って来ない。また、図１１及び図１２の例と同様に、内部タイマ２２１を一定間隔ΔＴで設定する。
内部タイマ２２１は、時間ΔＴ後に、イベント２２３を記録再生ライブラリ２２に通知する（図１３の時刻Ｂ）。記録再生ライブラリ２２は、この時刻Ｂにおいて、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｂにおいては、処理された映像データの累積サイズが１フレーム分のデータに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
さらに、時間ΔＴが経過し、内部タイマ２２１がイベント２２３を記録再生ライブラリ２２に通知する（図１３の時刻Ｃ）。時刻Ｃにおいては、処理された映像データの累積サイズが動画の１フレーム分に達しているため、記録再生ライブラリ２２は、１フレーム分の映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことができる。
以上のように、実施の形態５に係る携帯通信装置によれば、音声データを含まない動画ファイルの再生時においても、内部タイマ２２１が発生するイベント２２３によって、映像データから作成したタイムテーブル２２５に従って動画の再生を行うことができる。
図１４は、本発明の実施の形態６に係る携帯通信装置による、ダウンロードした動画ファイルをコマ送り再生する際の再生方法について示した図である。実施の形態６に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態６に係る携帯通信装置のソフトウェア構成は図２の構成と同様である。実施の形態６に係る携帯通信装置はダウンロードした動画ファイルをコマ送り再生することができるが、図１４に基づいて実施の形態６に係る携帯通信装置の動作を説明する。
ムービー・ビューワ・アプリケーション１２はコマ送りを進めるユーザインターフェースを有しており、これの入力に従って、コマ送り要求８１が記録再生ライブラリ２２に送られる。時刻Ａにおいて、ムービー・ビューワ・アプリケーション１２からのコマ送り要求８１を受けた、記録再生ライブラリ２２は、その時点で再生を行っていない場合は、マルチメディア・サービス・ライブラリ２３より受け取った分離データ８３から、１フレーム分の映像データ８６を多重分離ビデオデコーダ・ドライバに渡す。再生を行っていた場合は、その時点で再生を停止するが、多重分離ビデオデコーダ・ドライバ３２が表示した映像データ８６はそのまま表示し続ける。
続けて送られるムービー・ビューワ・アプリケーション１２からのコマ送り要求８１に対して、記録再生ライブラリ２２は、次のフレームの映像データ８６を多重分離ビデオデコーダ・ドライバ３２に渡す。このようにして、実施の形態６に係る携帯通信装置では、ユーザからの入力に対して映像データをコマ送りで表示することができる。
図１５は、実施の形態６に係る携帯通信装置がダウンロードした動画ファイルをコマ送り再生している際に、コマ送りしている映像データを静止画として取り込む方法を示したものである。
ムービー・ビューワ・アプリケーション１２は、コマ送りを進めるユーザインターフェースに加え、静止画取り込みを行うユーザインターフェースを有しており、これの入力に従って、取り込み要求９１を記録再生ライブラリ２２に送られる。
静止画取り込みはコマ送り再生中に行われる。ムービー・ビューワ・アプリケーション１２から通知されたコマ送り要求８１に対して記録再生ライブラリ２２は、１フレーム分の映像データ８６を多重分離ビデオデコーダ・ドライバ３２に渡し、そのデータは表示メモリ４１に送られ表示デバイスに表示される。コマ送り再生の表示を見たエンドユーザが、取り込みのユーザインターフェースを操作することにより、ムービー・ビューワ・アプリケーション１２からの取り込み要求９１が記録再生ライブラリ２２に送られる。記録再生ライブラリ２２はそのときに表示デバイスに表示されている映像データ９６ａを表示メモリ４１から取り込む。映像データ９６ａは保存に適した静止画フォーマットに変換され、変換された映像データ９６ｂはファイル・システム・ドライバ３４に渡されファイルシステムに保存される。
このようにして、実施の形態６に係る携帯通信装置では、エンドユーザがコマ送り再生した画像データを静止画として記録保存することができる。
なお、実施の形態６において、上記以外の点は、上記実施の形態５と同様である。
産業上の利用可能性
以上説明したように、本発明においては、記憶手段にインストールされたソフトウェア群に、複数種類の動画ファイルに共通して含まれる映像データを処理可能なライブラリが含まれている。このライブラリは、動画ファイルの種類を判別する機能と再生制御機能とを有し、動画ファイル取得手段により取得された動画ファイルがデバイスドライバにより処理可能なフォーマットであるときには、動画ファイル取得手段により取得された動画ファイルをデバイスドライバに提供し、動画ファイル取得手段により取得された動画ファイルがデバイスドライバにより処理可能なフォーマットでないときには、動画ファイル取得手段により取得された動画ファイルを分離することによって、動画ファイル取得手段により取得された動画ファイルに含まれる映像データをデバイスドライバに提供する。このように、本発明によれば、異なるフォーマットの動画ファイルを共通のライブラリによって再生できるので、記憶装置にインストールされるプログラム全体のサイズの増大を最小限に抑えつつ、多機能化を実現できる。
また、本発明は、異なるフォーマットの動画ファイルを共通のライブラリによって判別する機能を持つので、動画再生時に、動画ファイルのフォーマットの種類に関係なく共通のユーザーインタフェースを利用するソフトウェア構成を採用でき、この場合には、ユーザの使い勝手を向上させることができる。
また、動画撮影手段により取得された動画ファイルを、ダウンロードされた動画ファイルのフォーマットに変換して記憶手段に記録する場合には、予め自端末で撮影した動画をネットワーク上のサーバへ迅速且つ容易にアップロードすることができる。
また、動画撮影手段により取得された動画ファイルを、テレビ電話の通話先から送信された動画ファイルのフォーマットに変換して記憶手段に記録する場合には、テレビ電話通信中に、あらかじめ自端末で撮像した動画像を相手端末へ迅速且つ容易に送信することができる。
また、動画ファイル取得手段により取得された動画ファイルのデータをタイムスタンプに従い復号化する機能と、タイムスタンプを無視して復号化する機能を有する場合には、異なるフォーマットのデータを共通のデコーダで復号することができ、プログラム全体のサイズの増大を抑えつつ、複数種類のフォーマットの動画ファイルの再生機能を実現することができる。
【図面の簡単な説明】
図１は、本発明の実施の形態１から５までに係る携帯通信装置のハードウェア構成を概略的に示すブロック図であり、
図２は、本発明の実施の形態１に係る携帯通信装置のソフトウェア構成を示すブロック図であり、
図３は、本発明の実施の形態１に係る携帯通信装置によるダウンロードによる動画ファイルの再生処理における要求及びデータの流れを示す図であり、
図４は、本発明の実施の形態１に係る携帯通信装置によるテレビ電話による動画ファイルの再生処理における要求及びデータの流れを示す図であり、
図５は、本発明の実施の形態２に係る携帯通信装置のソフトウェア構成を示すブロック図であり、
図６は、本発明の実施の形態２に係る携帯通信装置によるダウンロードによる動画ファイルの記録処理における要求及びデータの流れを示す図であり、
図７は、本発明の実施の形態２に係る携帯通信装置によるテレビ電話による動画ファイルの記録処理おける要求及びデータの流れを示す図であり、
図８は、本発明の実施の形態２に係る携帯通信装置によるカメラ撮影による動画ファイルの記録処理おける要求及びデータの流れを示す図であり、
図９は、本発明の実施の形態２に係る携帯通信装置による動画ファイルの再生処理における要求及びデータの流れを示す図であり、
図１０は、本発明の実施の形態３及び４に係る携帯通信装置によるカメラ撮影データの変換・蓄積処理における要求及びデータの流れを示す図であり、
図１１は、本発明の実施の形態５に係る携帯通信装置により、ダウンロードした動画ファイルを再生する場合の、音声データと映像データの同期を合わせるためのシーケンスを示す図であり、
図１２は、本発明の実施の形態５に係る携帯通信装置により、音声データと映像データの同期を合わせながら動画ファイルを再生する際に、エラーが発生した場合のシーケンスを示す図であり、
図１３は、本発明の実施の形態５に係る携帯通信装置により、映像データのみで構成される動画ファイルを再生するシーケンスを示す図であり、
図１４は、本発明の実施の形態６に係る携帯通信装置による、ダウンロードした動画ファイルをコマ送り再生する際の再生方法について示した図であり、
図１５は、実施の形態６に係る携帯通信装置がダウンロードした動画ファイルをコマ送り再生している際に、コマ送りしている映像データを静止画として取り込む方法を示したものである。
【書類名】 明細書
【技術分野】
【０００１】
本発明は、ネットワークを通してダウンロードしたデータファイル（以下「動画ファイル」という。）の再生機能、テレビ電話（ビデオ・コンファレンス）中に蓄積した動画ファイルの再生機能、カメラ撮影により蓄積した動画ファイルの再生機能等を備えた次世代携帯電話装置（例えば、ＩＭＴ２０００規格に準拠）のような携帯通信装置に関し、特に、携帯通信装置において動画ファイルを再生するためのソフトウェア群の実装方式に関するものである。
【背景技術】
【０００２】
高速動作可能な汎用的なハードウェアとその上で動作する専用のソフトウェアとの組合せで動作するパーソナルコンピュータとは異なり、携帯通信装置により動画再生機能やテレビ電話機能等を実現するためには、各機能を実現する専用のハードウェアと、各ハードウェアを制御するソフトウェアとが必要になる。携帯通信装置のソフトウェア構成の一例は、例えば、月刊誌「Ｉｎｔｅｒｆａｃｅ（インターフェース）」２０００年２月号、第１００頁（ＣＱ出版社発行）に掲載されている。
【０００３】
従来のソフトウェア構成には、テレビ電話中に蓄積された動画ファイルを再生する機能を提供するライブラリ、ダウンロードにより蓄積された動画ファイルを再生する機能を提供するライブラリ、自端末のカメラ撮影機能により取得された動画ファイルを再生する機能を提供するライブラリのように、各機能に対応したライブラリが含まれる。従って、例えば、コンテンツ配信サーバからダウンロードされ蓄積された動画ファイルを再生する場合には、蓄積動画ファイルの再生機能を提供するライブラリを介してデバイスドライバ群を制御して再生機能を実現し、テレビ電話中に蓄積されたデータを再生する場合には、テレビ電話機能を実現するライブラリを介してデバイスドライバ群を制御して再生機能を実現していた。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記したように、従来の携帯通信装置は、ダウンロードにより取得した動画ファイルの再生とテレビ電話機能により取得した動画ファイルの再生とを実現するために、それぞれの再生機能を実行するライブラリを実装していた。言い換えれば、従来の携帯通信装置の記憶装置には、動画ファイルの種類に応じた数の再生実行用のライブラリがインストールされていた。従って、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図ろうとすると、インストールされるプログラム全体のサイズが大きくなり過ぎる傾向にあった。このため、従来の携帯通信装置のソフトウェアの実装方式では、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置の多機能化が困難であるという問題があった。また、この問題は、携帯通信装置の記憶装置の容量を増やすことにより解消できるが、記憶装置の容量の増加は、携帯通信装置の製造コストの上昇という別の問題を生じさせる。
【０００５】
そこで、本発明は、上記したような従来技術の課題を解決するためになされたものであり、その目的とするところは、携帯通信装置に実装されるプログラム全体のサイズの増大を抑えつつ、多機能化を実現できるソフトウェアの実装方式を採用した動画ファイル再生方法及び動画ファイル再生装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の動画ファイルの再生方法の一形態は、
音声データと映像データとが多重化された動画ファイルを再生する動画ファイル再生方法であって、
前記動画ファイルが、前記音声データと前記映像データとの同期が取れている状態で多重化されている動画ファイルか否かを判断する判断ステップと、
前記動画ファイルを前記音声データと前記映像データとに分離する分離ステップと、
前記音声データを所定のサイズ毎に再生する音声再生ステップと、
前記映像データを所定のフレーム数毎に再生する映像再生ステップと
を備え、
前記判断ステップにて、前記動画ファイルが、前記音声データと前記映像データとの同期の取れている状態で多重化されている動画ファイルでないと判断した場合は、
前記所定のサイズの音声データの再生終了毎に、前記所定のフレーム数の映像データを再生するか否かを決定する
ものである。
【発明の効果】
【０００７】
本発明の動画ファイルの再生方法によれば、動画ファイルの種類に応じた数の再生実行用のライブラリをインストールする必要が無くなり、その結果、プログラム全体のサイズが大きくなることを防止できる。また、音声が途切れることなく、音声と映像の同期をとることが可能となる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、本発明の実施の形態１から５までに係る携帯通信装置のハードウェア構成を概略的に示すブロック図である。実施の形態１から５までに係る携帯通信装置は、例えば、ダウンロードした動画ファイルの再生機能、テレビ電話（ビデオ・コンファレンス）機能、カメラ撮影機能等を備えた携帯電話装置又は携帯情報端末装置である。
【０００９】
図１に示されるように、実施の形態１から５までに係る携帯通信装置は、無線又は有線の通信回線を通して複数種類のデータを送受信する通信装置１を備えている。通信装置１で受信される動画ファイルには、映像データと音声データとを多重化したテレビ電話用の動画ファイル（ＩＴＵ−ＴＨ．３２４規格、Ｈ．３２４／Ｍ規格、又は、３ＧＰＰ（3rd Generation Partnership Project）で規定された３Ｇ−３２４Ｍ規格等に準拠）と、コンテンツ配信サーバからダウンロードされた動画ファイル（例えば、ＡＳＦ（Advanced
Streaming Format）形式やＭＰ４形式（画像圧縮方式「ＭＰＥＧ４」と音声圧縮方式「ＭＰ３(MPEG-1 audio layer 3)」、「ＱＣＥＬＰ（Qualcomm Code Exited Linear Predictive coding）」によるファイルフォーマット））が含まれる。
【００１０】
また、図１に示されるように、実施の形態１から５までに係る携帯通信装置は、映像データの符号化・復号化を行う映像情報処理装置（映像符号化・復号化装置）２と、音声データの符号化・復号化を行う音声情報処理装置（音声符号化・復号化装置）３とを備えている。映像情報処理装置２及び音声情報処理装置３は、動画ファイルがタイムスタンプを付加可能なデータで構成されている場合に、この動画ファイルを、圧縮データ内のタイムスタンプに従い復号化する機能と、タイムスタンプを無視してデータ受信直後に復号化する機能とを有する。このため、異なるフォーマットのデータを共通のデコーダで復号することができる。
【００１１】
また、実施の形態１から５までに係る携帯通信装置は、映像を表示する表示装置４と、音を出力するスピーカ装置５と、カメラ撮影により映像信号を生成する映像入力装置６と、音声信号を生成するマイク装置７とを備えている。さらに、実施の形態１から５までに係る携帯通信装置は、記憶装置（メモリ）８と、ＣＰＵ（中央処理装置）９とを備えている。なお、記憶装置８を複数設けて、プログラム格納用と動画ファイル蓄積用に分けて使用してもよい。また、ＣＰＵ９は、記憶装置８にインストールされたソフトウェア群及びリアルタイム・オペレーティングシステム（リアルタイムＯＳ）を用いて、各構成１から８までの動作を制御する。
【００１２】
図２は、本発明の実施の形態１に係る携帯通信装置のソフトウェア構成を示すブロック図である。なお、図２において矢印は、携帯通信装置のソフトウェア間におけるデータの授受を示す。
【００１３】
図２に示されるように、記憶装置８にインストールされたソフトウェア群は、ユーザーインターフェース（ＵＩ）を提供するソフトウェアを有するアプリケーション層１０と、データ処理を行うソフトウェアを有するライブラリ層２０と、デバイス（上記構成１から８までを含む）を制御するソフトウェアを有するドライバ層３０と、上記各層１０，２０，３０に含まれるソフトウェアを制御するリアルタイムＯＳ４０とに分類できる。
【００１４】
アプリケーション層１０には、テレビ電話実行時に使用するビデオ・コンファレンス・アプリケーション（テレビ電話アプリケーション：Video Conference Application）１１と、記憶装置８に蓄積された動画ファイルを再生する際に使用するムービー・ビューワ・アプリケーション（動画ビューワ・アプリケーション：Movie Viewer Application）１２とが含まれる。
【００１５】
ライブラリ層２０には、テレビ電話実行時にテレビ電話シーケンス制御を行うビデオ・コンファレンス・ライブラリ（テレビ電話ライブラリ：Video Conference Library）２１と、動画ファイルの記録再生機能を有する記録再生ライブラリ（ビデオ録画再生ライブラリ：Video Record/Play Library）２２と、ネットワークを介して（例えば、ネットワーク上のコンテンツ配信サーバから）ダウンロードした動画ファイルのデータを映像データと音声データとに分離するマルチメディア・サービス・ライブラリ（Multimedia
Service Library）２３とが含まれる。
【００１６】
ドライバ層３０には、ハードウェア機器を制御するためのソフトウェアである、カメラ・ビデオエンコーダ・ドライバ（Camera V-Encoder Driver）３１と、多重分離ビデオデコーダ・ドライバ（MUX/DEMUX V-Decoder Driver）３２と、オーディオ・ドライバ（Audio Driver）３３と、ファイル・システム・ドライバ（File System Driver）３４とが含まれる。
【００１７】
実施の形態１における記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであるか否かを判定する。実施の形態１においては、多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、通信装置１を通してダウンロードされた動画ファイル、通信装置１を通してダウンロードされ記憶装置８に蓄積された動画ファイル、テレビ電話機能により通信装置１を通して取得された動画ファイル、テレビ電話機能により通信装置１を通して取得され記憶装置８に蓄積された動画ファイルを含む。多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、少なくともフォーマットを共通とする映像データを含む動画ファイルであれば、他の種類の動画ファイルであってもよい。
【００１８】
記録再生ライブラリ２２は、取得された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであると判定したときには、取得された動画ファイルを多重分離ビデオデコーダ・ドライバ３２に提供する。また、記録再生ライブラリ２２は、取得された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットでないと判定したときには、マルチメディア・サービス・ライブラリ２３にその動画ファイルを送り、分離することによって、その動画ファイルに含まれる映像データを多重分離ビデオデコーダ・ドライバ３２に提供する。以上の再生制御処理により、フォーマットの異なる複数種類の動画ファイルを共通の再生制御ライブラリである記録再生ライブラリ２２を使用して再生することができる。
【００１９】
また、記録再生ライブラリ２２は、ファイル・システム・ドライバ３４を制御して、通信装置１により取得された動画ファイルを記憶装置８に記録させる蓄積処理と、記憶装置８に記録された動画ファイルを再生するための再生制御処理をも実行する。蓄積処理の詳細は、後述の実施の形態２において説明する。
【００２０】
＜ダウンロードした動画ファイルの再生処理＞
図３は、本発明の実施の形態１に係る携帯通信装置によるダウンロードした動画ファイルの再生処理における要求及びデータの流れを示す図である。図３に基づいて、実施の形態１に係る携帯通信装置によるダウンロードした動画ファイルの再生処理を説明する。
【００２１】
ダウンロードした動画ファイルを再生する場合には、先ず、ユーザの操作（操作部は図示せず）により、動画再生のためのユーザーインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａとが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
【００２２】
次に、再生要求５０ａを受けた記録再生ライブラリ２２は、再生対象である動画ファイル５１ａのデータのフォーマット（規格）を判別し、ネットワークからダウンロードされた動画ファイルであるか否か、即ち、動画ファイルを構成するデータを映像データと音声データに分離する必要があるか否かを判断する。
【００２３】
再生対象である動画ファイル５１ａがダウンロードにより取得された動画ファイルである場合には、動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して得られた分離データ５３を記録再生ライブラリ２２に返す。
【００２４】
次に、記録再生ライブラリ２２は、分離データ５３のうちの映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、分離データ５３のうちの音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡すことにより、動画ファイルの再生（即ち、表示装置４による映像の表示及びスピーカ装置５による音響の出力）を実現する。音声データ５４の再生に際しては、オーディオ・ドライバ３３は、再生した音声データ５４のサイズ５５を記録再生ライブラリ２２に返し、記録再生ライブラリ２２は、サイズ５５から再生された経過時間を割り出し、この経過時間に同期して映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことにより、映像データと音声データとの再生の同期をとる。
【００２５】
＜テレビ電話中における動画ファイルの蓄積処理＞
図１及び図２に基づいて、実施の形態１に係る携帯通信装置による動画ファイルの蓄積処理を説明する。テレビ電話中に受信した動画ファイルを記録する場合には、先ず、ユーザの操作により、テレビ電話のためのユーザインタフェースを提供するアプリケーションであるビデオ・コンファレンス・アプリケーション１１を通して、テレビ電話中の動画ファイルの録画要求を、テレビ電話機能を提供するライブラリであるビデオ・コンファレンス・ライブラリ２１に対して発行する。
【００２６】
次に、録画要求を受けたビデオ・コンファレンス・ライブラリ２１は、動画記録再生制御を行うライブラリである記録再生ライブラリ２２に録画要求を発行する。記録再生ライブラリ２２は、テレビ電話中の動画ファイルの授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求を発行し、受信した動画ファイルを多重分離ビデオデコーダ・ドライバ３２により受け取り、記憶装置８（又は図示しない他の記憶装置）への蓄積を行う。蓄積の際に、動画ファイルのデータに、テレビ電話中の録画データであることを示す識別情報を付加する。
【００２７】
＜テレビ電話中に蓄積された動画ファイルの再生処理＞
図４は、本発明の実施の形態１に係る携帯通信装置によるテレビ電話中に蓄積された動画ファイルの再生処理における要求及びデータの流れを示す図である。図１、図２、及び図４に基づいて、実施の形態１に係る携帯通信装置によるテレビ電話中に記録された動画ファイルの再生処理を説明する。
【００２８】
テレビ電話中に録画した動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０ｂを、ムービー・ビューワ・ライブラリ２１を介して、記録再生ライブラリ２２に対して発行する。
【００２９】
記録再生ライブラリ２２は、再生対象である動画ファイル５１ｂのデータがテレビ電話中に録画した動画ファイルであり、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１ｂの多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
【００３０】
以上のようにして、異なるフォーマットを有する２種類の動画ファイル（ここでは、ダウンロードした動画ファイル５１ａとテレビ電話中に録画した動画ファイル５１ｂ）の再生を共通の再生機能ライブラリである記録再生ライブラリ２２、共通のドライバである多重分離ビデオデコーダ・ドライバ３２、及び共通のハードウェアを使用して実現することが可能となる。
【００３１】
以上説明したように、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイル（例えば、動画ファイル５１ａ及び５１ｂ）について共通の再生機能ライブラリである記録再生ライブラリ２２を使用している。即ち、実施の形態１に係る携帯通信装置においては、現状又は将来の携帯通信装置用として規格化されている複数種類の動画ファイルの映像データが共通のフォーマットで構成された映像データであることに着目し、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備える従来方式を採用していない。代わりに、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイルに共通する映像データを処理可能な共通の再生機能ライブラリである記録再生ライブラリ２２を用いて再生制御処理を実行している。
【００３２】
このように、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイルを、分離という処理を経ることによって共通の記録再生ライブラリ２２により再生可能にしているので、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図る場合であっても、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備えた従来技術に比べて、インストールされるプログラム（ソフトウェア群）全体のサイズを小さくすることができる。このため、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置であっても、多くの種類の動画ファイルに対応できる多機能化を実現できる。
【００３３】
なお、上記実施の形態１の説明においては、携帯通信装置が、ダウンロードした動画ファイルの再生機能及びテレビ電話中の動画ファイルの記録再生機能を持つ場合を説明したが、実施の形態１に係る携帯通信装置に他の機能を持たせることもできる。
【００３４】
また、上記実施の形態１の説明においては、ダウンロードした動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合を説明したが、動画ファイルのフォーマットが異なる場合には、動画ファイルの処理方法も異なる。従って、動画ファイルのフォーマットが異なる場合には、ダウンロードした動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡す場合もあり得る。
【００３５】
実施の形態２．
図５は、本発明の実施の形態２（又は実施の形態３，４）に係る携帯通信装置のソフトウェア構成を示すブロック図である。なお、図５において矢印は、携帯通信装置のソフトウェア間におけるデータの授受を示す。
【００３６】
実施の形態１のソフトウェア構成と同様に、実施の形態２における記憶装置８にインストールされたソフトウェア群は、アプリケーション層１０と、ライブラリ層２０と、ドライバ層３０と、リアルタイムＯＳ４０とに分類できる。
【００３７】
アプリケーション層１０には、テレビ電話実行時に使用するビデオ・コンファレンス・アプリケーション１１と、記憶装置８に蓄積された動画ファイルを再生する際に使用するムービー・ビューワ・アプリケーション１２と、ネットワーク上のサーバからダウンロードされた動画ファイルを蓄積する際に、ネットワークアクセスのためのユーザインターフェースと提供するウェブ・ブラウザ・アプリケーション（Web Browser Application）１３と、映像入力装置６で映像を撮影する際に使用するカメラ・アプリケーション（Camera
Application）１４とが含まれる。
【００３８】
ライブラリ層２０には、テレビ電話実行時にテレビ電話シーケンス制御を行うビデオ・コンファレンス・ライブラリ２１と、動画ファイルの記録再生機能を有する記録再生ライブラリ２２と、ネットワークを介して（例えば、ネットワーク上のコンテンツ配信サーバから）ダウンロードした動画ファイルのデータを映像データと音声データとに分離するマルチメディア・サービス・ライブラリ２３とが含まれる。
【００３９】
ドライバ層３０には、ハードウェア機器を制御するためのソフトウェアである、カメラ・ビデオエンコーダ・ドライバ３１と、多重分離ビデオデコーダ・ドライバ３２と、オーディオ・ドライバ３３と、ファイル・システム・ドライバ３４とが含まれる。
【００４０】
実施の形態２における記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであるか否かを判定する。実施の形態２においては、多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、通信装置１を通してダウンロードされた動画ファイル、通信装置１を通してダウンロードされ記憶装置８に蓄積された動画ファイル、テレビ電話機能により通信装置１を通して取得された動画ファイル、テレビ電話機能により通信装置１を通して取得され記憶装置８に蓄積された動画ファイル、映像入力装置６及びマイク装置７を通して取得された動画ファイルを含む。ただし、入力される動画ファイルは、少なくともフォーマットを共通とする映像データを含む動画ファイルであれば、他の種類の動画ファイルであってもよい。
【００４１】
記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであると判定したときには、取得された動画ファイルを多重分離ビデオデコーダ・ドライバ３２に提供する。また、記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットでないと判定したときには、マルチメディア・サービス・ライブラリ２３に動画ファイルを送り、分離することによって、動画ファイルに含まれる映像データを多重分離ビデオデコーダ・ドライバ３２に提供する。以上の再生制御処理により、フォーマットの異なる複数種類の動画ファイルを共通の再生制御ライブラリである記録再生ライブラリ２２を使用して再生することができる。
【００４２】
また、記録再生ライブラリ２２は、ファイル・システム・ドライバ３４を制御して、通信装置１により取得された動画ファイルを記憶装置８に記録させる蓄積処理と、記憶装置８に蓄積された動画ファイルを再生するための再生制御処理をも実行する。
【００４３】
＜ダウンロードした動画ファイルの蓄積処理＞
図６は、本発明の実施の形態２に係る携帯通信装置によるダウンロードされた動画ファイルの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図６に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
【００４４】
ネットワーク上のサーバから通信回線を経由してダウンロードした動画ファイルを蓄積する場合には、ユーザの操作により、ネットワークアクセスのためのユーザインタフェースを提供するアプリケーションであるウェブ・ブラウザ・アプリケーション１３を通して、動画ファイルのダウンロード要求６１を記録再生ライブラリ２２に対して発行する。記録再生ライブラリ２２は、ネットワークアクセス中の動画ファイル６３の授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求６２を発行し、受信した動画ファイル６３に対応する多重化データ６４を多重分離ビデオデコーダ・ドライバ３２から受け取り、多重化データ６４に対応する多重化データ６５をファイルシステムを制御するドライバであるファイル・システム・ドライバ３４を介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにダウンロードしたデータであることを示す識別情報を付加する。
【００４５】
＜テレビ電話動画ファイルの蓄積処理＞
図７は、本発明の実施の形態２に係る携帯通信装置によるテレビ電話の動画ファイルの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図７に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
【００４６】
テレビ電話中の動画ファイルを蓄積する場合には、ユーザの操作により、テレビ電話のためのユーザインタフェースを提供するアプリケーションであるビデオ・コンファレンス・アプリケーション１１を通して、テレビ電話中の録画要求７１を、テレビ電話機能を提供するライブラリであるビデオ・コンファレンス・ライブラリ２１に対して発行する。録画要求７１を受けたビデオ・コンファレンス・ライブラリ２１は、動画記録再生制御を行うライブラリである記録再生ライブラリ２２へ録画要求７２を発行する。記録再生ライブラリ２２は、テレビ電話中の動画ファイルの授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７３を発行し、受信した動画ファイル７４に対応する多重化データ７５を多重分離ビデオデコーダ・ドライバ３２から受け取り、多重化データ７５に対応する多重化データ７６をファイルシステムを制御するドライバであるファイル・システム・ドライバ３４を介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにテレビ電話中の録画データであることを示す識別情報を付加する。
【００４７】
＜映像入力装置によって撮像された動画ファイルの蓄積処理＞
図８は、本発明の実施の形態２に係る携帯通信装置によるカメラ撮影データの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図８に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
【００４８】
自端末に付属した映像入力装置６のカメラによって撮像された動画ファイルを蓄積する場合には、ユーザの操作により、カメラ撮影のためのユーザインタフェースを提供するアプリケーションであるカメラ・アプリケーション１４を通して、撮像画像の録画要求８１を、記録再生ライブラリ２２に対して発行する。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求８１を発行する。多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１からの映像データ８４とオーディオ・ドライバ３３からの音声データ８３とが合成された多重化データ８５を記録再生ライブラリ２２に提供する。記録再生ライブラリ２２は、多重化データ８５に対応する多重化データ８６を、ファイルシステムを制御するドライバであるファイル・システム・ドライバ３４にを介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにカメラ撮像による録画データであることを示す識別情報を付加する。
【００４９】
＜蓄積動画ファイルの再生処理＞
図９は、本発明の実施の形態２に係る携帯通信装置による蓄積動画ファイルの再生処理における要求及びデータの流れを示す図である。図１、図５、及び図９に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
【００５０】
蓄積された複数種類のフォーマットの動画ファイルを再生する場合には、ムービー・ビューワ・アプリケーション１２は、ユーザ操作によるファイル選択と再生要求５０を、記録再生ライブラリ２２に対して発行する。再生要求５０を受けた記録再生ライブラリ２２は、再生対象である動画ファイルのデータを判別し、ダウンロードした動画ファイルであるか否か、即ち、動画ファイルを構成する多重化データを映像データと音声データに分離する必要があるか否かを判断する。
【００５１】
再生対象である動画ファイル５１がダウンロードにより取得された動画ファイルである場合には、動画ファイル５１を構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
【００５２】
次に、記録再生ライブラリ２２は、映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡すことにより、動画ファイルの再生を実現する。音声データの再生に際しては、オーディオ・ドライバ３３は、再生した音声データのサイズ５５を記録再生ライブラリ２２に返し、記録再生ライブラリ２２は、サイズ５５から再生された経過時間を割り出し、この経過時間に同期して映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことにより、映像データと音声データとの再生の同期をとる。
【００５３】
テレビ電話中に録画した動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０を、記録再生ライブラリ２２に対して発行する。
【００５４】
記録再生ライブラリ２２は、再生対象である動画ファイル５１のデータがテレビ電話中に録画した動画ファイルであり、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１の多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
【００５５】
映像入力装置６によるカメラ撮影により取得され蓄積された動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０を、記録再生ライブラリ２２に対して発行する。
【００５６】
記録再生ライブラリ２２は、再生対象である動画ファイル５１のデータがカメラ撮影により蓄積された動画ファイルであり、例えば、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１の多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
【００５７】
以上のようにして、異なるフォーマットを有する複数種類の動画ファイル（ここでは、ダウンロードした動画ファイルと、テレビ電話中に録画した動画ファイルと、カメラ撮影により蓄積された動画ファイル）の再生を共通の再生機能ライブラリである記録再生ライブラリ２２、共通のドライバである多重分離ビデオデコーダドライバ３２、及び共通のハードウェアを使用して実現することが可能となる。
【００５８】
以上説明したように、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイル（例えば、ダウンロードされた動画ファイル、テレビ電話中に録画された動画ファイル、カメラ撮影により蓄積された動画ファイル）について共通の再生機能ライブラリである記録再生ライブラリ２２を使用している。即ち、実施の形態２に係る携帯通信装置においては、現状又は将来の携帯通信装置用として規格化されている複数種類の動画ファイルの映像データが共通のフォーマットで構成された映像データであることに着目し、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備える従来方式を採用していない。代わりに、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイルに共通する映像データを処理可能な共通の再生機能ライブラリである記録再生ライブラリ２２を用いて再生制御処理を実行している。
【００５９】
このように、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイルを、分離という処理を経ることによって共通の記録再生ライブラリ２２により再生可能にしているので、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図る場合であっても、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備えた従来技術に比べて、インストールされるプログラム（ソフトウェア群）全体のサイズを小さくすることができる。このため、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置であっても、多くの種類の動画ファイルに対応できる多機能化を実現できる。
【００６０】
なお、上記実施の形態２の説明においては、携帯通信装置が、ダウンロードされた動画ファイル、テレビ電話中に録画された動画ファイル、カメラ撮影により蓄積された動画ファイルを扱う場合を説明したが、実施の形態２に係る携帯通信装置は他の動画ファイルを扱うように構成してもよい。
【００６１】
また、上記実施の形態２の説明においては、ダウンロードした動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイル及びカメラ撮影により蓄積された動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合を説明したが、動画ファイルのフォーマットが異なる場合には、動画ファイルの処理方法も異なる。例えば、ダウンロードした動画ファイル及びカメラ撮影により蓄積された動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合のように、動画ファイルのフォーマットが異なる場合には、異なる処理方式が採用される。
【００６２】
実施の形態３．
図１０は、本発明の実施の形態３及び４に係る携帯通信装置によるカメラ撮影データの変換・蓄積処理における要求及びデータの流れを示す図である。実施の形態３に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態３に係る携帯通信装置のソフトウェア構成は図５の構成と同様である。実施の形態３に係る携帯通信装置は、自端末の映像入力装置６で撮影した動画をテレビ電話通信で使用する動画フォーマットに変換して保存する。図１、図５、及び図１０に基づいて、実施の形態３に係る携帯通信装置の動作を説明する。
【００６３】
自端末の映像入力装置６によりカメラ撮影して、撮像された動画ファイルを蓄積する場合には、カメラ・アプリケーション１４によるユーザ操作により、撮像画像の録画要求７１が記録再生ライブラリ２２に対して発行される。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７２を発行する。
【００６４】
多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１により符号化された映像データ７４とオーディオ・ドライバ３３より符号化された音声データ７３を受け取る。多重分離ビデオデコーダ・ドライバ３２は、映像データ７４及び音声データ７３を分離したままのデータ７５として記録再生ライブラリ２２に渡す。記録再生ライブラリ２２は、受け取った映像データ／音声データ７６をマルチメディア・サービス・ライブラリ２３に渡し、マルチメディア・サービス・ライブラリ２３は、テレビ電話通信で使用する動画フォーマットに変換を行う。
【００６５】
記録再生ライブラリ２２は、フォーマット変換されたデータからなる動画ファイル７７をマルチメディア・サービス・ライブラリ２３から受け取り、ファイル・システム・ドライバ３４を介して、ファイルシステムへデータの蓄積を行う。なお、蓄積の際に、カメラ撮像中の録画データであることを示す識別情報を動画ファイルに付加する。
【００６６】
実施の形態３に係る携帯通信装置によれば、カメラ撮影により取得された動画ファイルを、テレビ電話の通話先から送信された動画ファイルのフォーマットに変換して記憶装置８に蓄積するので、あらかじめ自端末で撮影した動画ファイルを相手端末へ迅速且つ容易に送信することができる。
【００６７】
なお、実施の形態３において、上記以外の点は、上記実施の形態２と同様である。
【００６８】
実施の形態４．
実施の形態４に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態４に係る携帯通信装置のソフトウェア構成は図５に示される構成と同様である。実施の形態４に係る携帯通信装置は、自端末の映像入力装置６によりカメラ撮影して取得された動画ファイルをダウンロードした動画ファイルと同じフォーマットに変換して記憶装置８に保存する。図１、図５、及び図１０に基づいて、実施の形態４に係る携帯通信装置によるカメラ撮影動作を説明する。
【００６９】
自端末の映像入力装置６によりカメラ撮影して、撮像された動画ファイルを蓄積する場合には、カメラ・アプリケーション１４によるユーザ操作により、撮像画像の録画要求７１が記録再生ライブラリ２２に対して発行される。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７２を発行する。
【００７０】
多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１より符号化された映像データ７４とオーディオ・ドライバ３３より符号化された音声データ７３を受け取る。多重分離ビデオデコーダ・ドライバ３２は、映像データ７４及び音声データ７３を分離したままのデータ７５として記録再生ライブラリ２２に渡す。記録再生ライブラリ２２は、受け取った映像データ／音声データ７６をマルチメディア・サービス・ライブラリ２３へ渡し、マルチメディア・サービス・ライブラリ２３は、ダウンロードした動画ファイルと同じフォーマットに変換を行う。
【００７１】
記録再生ライブラリ２２は、フォーマット変換されたデータからなる動画ファイル７７をマルチメディア・サービス・ライブラリ２３から受け取り、ファイル・システム・ドライバ３４を介して、ファイルシステムへデータの蓄積を行う。なお、蓄積の際に、カメラ撮像中の録画データであることを示す識別情報を動画ファイルに付加する。
【００７２】
実施の形態４に係る携帯通信装置によれば、カメラ撮影により取得された動画ファイルを、ダウンロードした動画ファイルと同じフォーマットに変換して記憶装置８に蓄積するので、あらかじめ自端末で撮影した動画ファイルをネットワークに迅速且つ容易にアップロードすることができる。
【００７３】
なお、実施の形態４において、上記以外の点は、上記実施の形態２と同様である。
【００７４】
実施の形態５．
図１１は、本発明の実施の形態５に係る携帯通信装置により、ダウンロードした動画ファイルを再生する場合の、音声データと映像データの同期を合わせるためのシーケンスを示す図である。実施の形態５に係る携帯通信装置のハードウェア構成は図１と同様であり、実施の形態５に係る携帯通信装置のソフトウェア構成は図２の構成と同様である。実施の形態５に係る携帯通信装置は、ダウンロードした動画ファイルを再生する際に、音声データと映像データの同期をとって再生を行う。図２、図３及び図１１に基づいて実施の形態５に係る携帯通信装置の動作を説明する。
【００７５】
図２又は図３に示されるように、ダウンロードした動画ファイルを再生する場合には、ユーザの操作により、動画再生のためのユーザーインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
【００７６】
図２又は図３に示されるように、再生対象である動画ファイル５１ａがダウンロードにより取得された動画ファイルである場合には、記録再生ライブラリ２２は動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
【００７７】
次に、図１１に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの同期を合わせるためのタイムテーブル２２５を作成する。このタイムテーブル２２５には、ある時刻での音声データの累積処理サイズ及び映像データの累積処理サイズが記述されている。
【００７８】
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡す。また、エラーが原因でオーディオ・ドライバ３３からの通知が発生しなかったときのために、内部タイマ２２１を設定する。内部タイマ２２１のイベント発生の間隔は、オーディオ・ドライバ３３からの通知の間隔と同じΔＴに設定する。
【００７９】
オーディオ・ドライバ３３は、一定の時間間隔ΔＴごとに、処理した音声データの累積サイズ（即ち、音声データサイズ）５５を記録再生ライブラリ２２に返す。ここで、間隔ΔＴは、一定時間内に表示させる映像フレームの枚数であるフレームレート〔ｓ−１〕に応じて決められる間隔であり、１フレーム期間（＝１÷フレームレート〔ｓ−１〕）よりも短い間隔である必要がある。記録再生ライブラリ２２は、タイムテーブル２２５を用いて、処理された音声データの累積サイズ５５から現在時刻を割り出す。さらに、記録再生ライブラリ２２は、タイムテーブル２２５を参照し、時刻Ｂにおいて、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定する。時刻Ｂにおいては、処理された音声データの累積サイズ５５は１フレーム分の映像データに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
【００８０】
さらに、オーディオ・ドライバ３３からの通知があった時刻Ｃにおいて、記録再生ライブラリ２２は、時刻Ｂと同様に、タイムテーブル２２５を参照し、処理された映像データの累積サイズが１フレーム分に達しているかを判定する。時刻Ｃにおいては、処理された映像データの累積サイズが１フレーム分に達しているため、記録再生ライブラリ２２は、そのフレームサイズの映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡し、映像データが表示される。
【００８１】
オーディオ・ドライバ３３からの通知があった時刻Ｄにおいて、音声データの累積サイズ５５（例えば、時刻ＡからＤまでの間に処理された音声データの累積サイズ）が、オーディオ・ドライバ３３に渡した音声データ５４（例えば、時刻Ａにおいて、記録再生ライブラリ２２がオーディオ・ドライバ３３に渡した音声データ）のサイズに達する前に、記録再生ライブラリ２２は、再び、音声データ５４をオーディオ・ドライバ３３に渡し（例えば、時刻Ｄにおいて）、オーディオ・ドライバ４３において処理すべき音声データが枯渇しないようにする。
【００８２】
さらに、オーディオ・ドライバ３３からの通知があった時刻Ｅにおいて、記録再生ライブラリ２２は、時刻Ｃと同様にタイムテーブル２２５を参照し、映像データの累積サイズが、（それまでに再生を行ったフレームのデータ）＋（１フレーム分のデータ）に達していれば、記録再生ライブラリ２２がフレームサイズ分の映像データ５６を多重分離ビデオデコーダ・ドライバ３３に渡し、映像データが表示される。
【００８３】
以上説明したように、実施の形態５に係る携帯通信装置によれば、記録再生ライブラリ２２がオーディオ・ドライバ３３から音声データ処理量を受け取り、音声の処理に合わせて映像の再生を行うため、音声が途切れることなく音声と映像の同期をとることができる。
【００８４】
次に音声データが欠けた、不正なコンテンツを再生する場合の例を説明する。
図１１から理解できるように、内部タイマ２２１のみを用いて音声、映像データ再生の制御を行った場合は、時刻Ａの次に映像データを表示するのは時刻Ｃとなる。時刻Ａから時刻Ｂの間の音声データが欠けた不正なコンテンツの場合、音声再生を途切れさせないためには、時刻Ｂから時刻Ｃの音声データを時刻Ａから時刻Ｂの間に再生させる必要があり、このため、時刻Ｃの時点で再生している音声データは時刻Ｄのものとなる。従って、音声、映像データ再生の同期が合わないという結果になる。
【００８５】
実施の形態５に係る携帯通信装置では、時刻Ａから時刻Ｂの間で再生すべき音声データが存在しない場合、オーディオ・ドライバ３３は、再生音が途切れないように時刻Ｂから時刻Ｃの間に再生すべき音声データを時刻Ａから時刻Ｂの間に再生する。この結果、時刻Ｂにてオーディオ・ドライバ３３から記録再生ライブラリ２２へ返す累積データサイズは、本来時刻Ｃにて返す値となる。記録再生ライブラリ２２は時刻Ｂにて、タイムテーブル２２５を用い、音声データの累積データサイズから現在時刻を割り出すため、その結果時刻Ｃであると判断し、映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡し、映像データが表示される。このため、内部タイマ２２１のみを用いた音声、映像の同期方法では、途中から同期が合わなくなるようなオーディオデータが欠けた不正なコンテンツでも、常に音声データが途切れることなく、音声データと映像データの同期を合わせることができる。
【００８６】
図１２は、実施の形態５に係る携帯通信装置により、音声データと映像データの同期を合わせながら動画ファイルを再生する際に、エラーが発生した場合のシーケンスを示す図である。図１２に基づいて実施の形態５に係る携帯通信装置のエラー処理の動作を説明する。
【００８７】
図２又は図３に示されるように、正常動作と同様に、ユーザの操作により、ムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
【００８８】
図２又は図３に示されるように、記録再生ライブラリ２２は、動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
【００８９】
次に、図１２に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの同期を合わせるためのタイムテーブル２２５を作成する。このタイムテーブル２２５には、ある時刻での音声データの累積処理サイズ及び映像データの累積処理サイズが記述されている。
【００９０】
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡す。また、エラーが原因でオーディオ・ドライバからの通知が発生しなかったときのために、内部タイマ２２１を設定する。内部タイマ２２１のイベント発生の間隔は、オーディオ・ドライバ３３から発生する通知の間隔と同じΔＴに設定する。
【００９１】
オーディオ・ドライバ３３は、一定の間隔ΔＴごとに、それまでに処理した音声データの累積サイズを記録再生ライブラリ２２に返す。何らかの理由で音声データサイズ５５が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｐ）、あらかじめ設定しておいた内部タイマ２２１のイベント２２３が発生し、記録再生ライブラリ２２は、時刻Ｂで、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｂにおいては、処理された映像データの累積サイズが１フレーム分のデータに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
【００９２】
さらに、何らかの理由で、オーディオ・ドライバ３３からの通知が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｑ）においても同様に、あらかじめ設定しておいた内部タイマ２２１のイベント２２３が発生し、時刻Ｃにおいて、記録再生ライブラリ２２は、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｃにおいては、処理された映像データの累積サイズが１フレーム分のデータに達しているため、記録再生ライブラリ２２は、１フレーム分の映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことができる。
【００９３】
オーディオ・ドライバ３３からの通知が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｒ）においても同様に、あらかじめ設定しておいた内部タイマ２２１のイベントが発生し、記録再生ライブラリ２２は、時刻Ｄで、映像データ及び音声データの処理状況の判定を行うことができる。時刻Ｄにおいては、タイムテーブル２２５より、あらかじめオーディオ・ドライバ３３に渡した音声データ５４が枯渇する可能性があると判定できるため、記録再生ライブラリ２２は、次の音声データ５４をオーディオ・ドライバ３３に渡す。
【００９４】
以上のように、実施の形態５に係る携帯通信装置によれば、オーディオ・ドライバ３３からの音声データ処理量の通知（即ち、音声データサイズ）５５が何らかの理由により、記録再生ライブラリ２２に到達しない場合においても、あらかじめ設定した内部タイマ２２１のイベント２２３により、音声データ及び映像データの再生タイミングを取ることができる。このため、音声と映像の同期をとりながら、動画の再生を行うことができる。
【００９５】
図１３は、実施の形態５に係る携帯通信装置により、映像データのみで構成される動画ファイルを再生するシーケンスを示す図である。図１３に基づいて実施の形態５に係る携帯通信装置の映像データのみで構成される動画像ファイルの再生動作を説明する。
【００９６】
図２又は図３に示されるように、ユーザの操作により、ムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
【００９７】
図２又は図３に示されるように、記録再生ライブラリ２２は、動画ファイル５１ａを構成する多重化データ５２をマルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。ただし、図１３で示す動画再生の形態では、動画ファイルは映像データのみで構成されるため、音声データが存在しない。
【００９８】
次に、図１３に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの再生タイミングを合わせるためのタイムテーブル２２５を作成する。この場合は音声データがないため、このタイムテーブル２２５には、ある時刻での映像データの累積処理サイズのみが記述されている。
【００９９】
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡す。この場合は、音声データが存在しないため、記録再生ライブラリ２２は、オーディオ・ドライバ３３に音声データを渡さないので、オーディオ・ドライバからの一定間隔ΔＴごとの通知が返って来ない。また、図１１及び図１２の例と同様に、内部タイマ２２１を一定間隔ΔＴで設定する。
【０１００】
内部タイマ２２１は、時間ΔＴ後に、イベント２２３を記録再生ライブラリ２２に通知する（図１３の時刻Ｂ）。記録再生ライブラリ２２は、この時刻Ｂにおいて、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｂにおいては、処理された映像データの累積サイズが１フレーム分のデータに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
【０１０１】
さらに、時間ΔＴが経過し、内部タイマ２２１がイベント２２３を記録再生ライブラリ２２に通知する（図１３の時刻Ｃ）。時刻Ｃにおいては、処理された映像データの累積サイズが動画の１フレーム分に達しているため、記録再生ライブラリ２２は、１フレーム分の映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことができる。
【０１０２】
以上のように、実施の形態５に係る携帯通信装置によれば、音声データを含まない動画ファイルの再生時においても、内部タイマ２２１が発生するイベント２２３によって、映像データから作成したタイムテーブル２２５に従って動画の再生を行うことができる。
【０１０３】
実施の形態６．
図１４は、本発明の実施の形態６に係る携帯通信装置による、ダウンロードした動画ファイルをコマ送り再生する際の再生方法について示した図である。実施の形態６に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態６に係る携帯通信装置のソフトウェア構成は図２の構成と同様である。実施の形態６に係る携帯通信装置はダウンロードした動画ファイルをコマ送り再生することができるが、図１４に基づいて実施の形態６に係る携帯通信装置の動作を説明する。
【０１０４】
ムービー・ビューワ・アプリケーション１２はコマ送りを進めるユーザインターフェースを有しており、これの入力に従って、コマ送り要求８１が記録再生ライブラリ２２に送られる。時刻Ａにおいて、ムービー・ビューワ・アプリケーション１２からのコマ送り要求８１を受けた、記録再生ライブラリ２２は、その時点で再生を行っていない場合は、マルチメディア・サービス・ライブラリ２３より受け取った分離データ８３から、１フレーム分の映像データ８６を多重分離ビデオデコーダ・ドライバに渡す。再生を行っていた場合は、その時点で再生を停止するが、多重分離ビデオデコーダ・ドライバ３２が表示した映像データ８６はそのまま表示し続ける。
【０１０５】
続けて送られるムービー・ビューワ・アプリケーション１２からのコマ送り要求８１に対して、記録再生ライブラリ２２は、次のフレームの映像データ８６を多重分離ビデオデコーダ・ドライバ３２に渡す。このようにして、実施の形態６に係る携帯通信装置では、ユーザからの入力に対して映像データをコマ送りで表示することができる。
【０１０６】
図１５は、実施の形態６に係る携帯通信装置がダウンロードした動画ファイルをコマ送り再生している際に、コマ送りしている映像データを静止画として取り込む方法を示したものである。
【０１０７】
ムービー・ビューワ・アプリケーション１２は、コマ送りを進めるユーザインターフェースに加え、静止画取り込みを行うユーザインターフェースを有しており、これの入力に従って、取り込み要求９１を記録再生ライブラリ２２に送られる。
【０１０８】
静止画取り込みはコマ送り再生中に行われる。ムービー・ビューワ・アプリケーション１２から通知されたコマ送り要求８１に対して記録再生ライブラリ２２は、１フレーム分の映像データ８６を多重分離ビデオデコーダ・ドライバ３２に渡し、そのデータは表示メモリ４１に送られ表示デバイスに表示される。コマ送り再生の表示を見たエンドユーザが、取り込みのユーザインターフェースを操作することにより、ムービー・ビューワ・アプリケーション１２からの取り込み要求９１が記録再生ライブラリ２２に送られる。記録再生ライブラリ２２はそのときに表示デバイスに表示されている映像データ９６ａを表示メモリ４１から取り込む。映像データ９６ａは保存に適した静止画フォーマットに変換され、変換された映像データ９６ｂはファイル・システム・ドライバ３４に渡されファイルシステムに保存される。
【０１０９】
このようにして、実施の形態６に係る携帯通信装置では、エンドユーザがコマ送り再生した画像データを静止画として記録保存することができる。
【０１１０】
なお、実施の形態６において、上記以外の点は、上記実施の形態５と同様である。
【０１１１】
【図面の簡単な説明】
【図１】 図１は、本発明の実施の形態１から５までに係る携帯通信装置のハードウェア構成を概略的に示すブロック図である。
【図２】 図２は、本発明の実施の形態１に係る携帯通信装置のソフトウェア構成を示すブロック図である。
【図３】 図３は、本発明の実施の形態１に係る携帯通信装置によるダウンロードによる動画ファイルの再生処理における要求及びデータの流れを示す図である。
【図４】 図４は、本発明の実施の形態１に係る携帯通信装置によるテレビ電話による動画ファイルの再生処理における要求及びデータの流れを示す図である。
【図５】 図５は、本発明の実施の形態２に係る携帯通信装置のソフトウェア構成を示すブロック図である。
【図６】 図６は、本発明の実施の形態２に係る携帯通信装置によるダウンロードによる動画ファイルの記録処理における要求及びデータの流れを示す図である。
【図７】 図７は、本発明の実施の形態２に係る携帯通信装置によるテレビ電話による動画ファイルの記録処理おける要求及びデータの流れを示す図である。
【図８】 図８は、本発明の実施の形態２に係る携帯通信装置によるカメラ撮影による動画ファイルの記録処理おける要求及びデータの流れを示す図である。
【図９】 図９は、本発明の実施の形態２に係る携帯通信装置による動画ファイルの再生処理における要求及びデータの流れを示す図である。
【図１０】 図１０は、本発明の実施の形態３及び４に係る携帯通信装置によるカメラ撮影データの変換・蓄積処理における要求及びデータの流れを示す図である。
【図１１】 図１１は、本発明の実施の形態５に係る携帯通信装置により、ダウンロードした動画ファイルを再生する場合の、音声データと映像データの同期を合わせるためのシーケンスを示す図である。
【図１２】 図１２は、本発明の実施の形態５に係る携帯通信装置により、音声データと映像データの同期を合わせながら動画ファイルを再生する際に、エラーが発生した場合のシーケンスを示す図である。
【図１３】 図１３は、本発明の実施の形態５に係る携帯通信装置により、映像データのみで構成される動画ファイルを再生するシーケンスを示す図である。
【図１４】 図１４は、本発明の実施の形態６に係る携帯通信装置による、ダウンロードした動画ファイルをコマ送り再生する際の再生方法について示した図である。
【図１５】 図１５は、実施の形態６に係る携帯通信装置がダウンロードした動画ファイルをコマ送り再生している際に、コマ送りしている映像データを静止画として取り込む方法を示したものである。
【符号の説明】
【０１１２】
１ 通信装置、 ２ 映像情報処理装置、 ３ 音声情報処理装置、 ４ 表示装置、 ５ スピーカ装置、 ６ 映像入力装置、 ７ マイク装置、 ８ 記憶装置、 ９ ＣＰＵ、 １０ アプリケーション層、 １１ ビデオコンファレンスアプリケーション、 １２ ムービー・ビューワ・アプリケーション、 １３ ウェブブラウザアプリケーション、 １４ カメラアプリケーション、 ２０ ライブラリ層、 ２１ ビデオコンファレンスライブラリ、 ２２ 記録再生ライブラリ、 ２３ マルチ・メディア・サービスライブラリ、 ３０ ドライバ層、 ３１ カメラ・ビデオエンコードドライバ、 ３２ 多重分離ビデオデコーダドライバ、 ３３ オーディオドライバ、 ３４ ファイルシステムドライバ。
【技術分野】
【０００１】
本発明は、ネットワークを通してダウンロードしたデータファイル（以下「動画ファイル」という。）の再生機能、テレビ電話（ビデオ・コンファレンス）中に蓄積した動画ファイルの再生機能、カメラ撮影により蓄積した動画ファイルの再生機能等を備えた次世代携帯電話装置（例えば、ＩＭＴ２０００規格に準拠）のような携帯通信装置に関し、特に、携帯通信装置において動画ファイルを再生するためのソフトウェア群の実装方式に関するものである。
【背景技術】
【０００２】
高速動作可能な汎用的なハードウェアとその上で動作する専用のソフトウェアとの組合せで動作するパーソナルコンピュータとは異なり、携帯通信装置により動画再生機能やテレビ電話機能等を実現するためには、各機能を実現する専用のハードウェアと、各ハードウェアを制御するソフトウェアとが必要になる。携帯通信装置のソフトウェア構成の一例は、例えば、月刊誌「Ｉｎｔｅｒｆａｃｅ（インターフェース）」２０００年２月号、第１００頁（ＣＱ出版社発行）に掲載されている。
【０００３】
従来のソフトウェア構成には、テレビ電話中に蓄積された動画ファイルを再生する機能を提供するライブラリ、ダウンロードにより蓄積された動画ファイルを再生する機能を提供するライブラリ、自端末のカメラ撮影機能により取得された動画ファイルを再生する機能を提供するライブラリのように、各機能に対応したライブラリが含まれる。従って、例えば、コンテンツ配信サーバからダウンロードされ蓄積された動画ファイルを再生する場合には、蓄積動画ファイルの再生機能を提供するライブラリを介してデバイスドライバ群を制御して再生機能を実現し、テレビ電話中に蓄積されたデータを再生する場合には、テレビ電話機能を実現するライブラリを介してデバイスドライバ群を制御して再生機能を実現していた。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記したように、従来の携帯通信装置は、ダウンロードにより取得した動画ファイルの再生とテレビ電話機能により取得した動画ファイルの再生とを実現するために、それぞれの再生機能を実行するライブラリを実装していた。言い換えれば、従来の携帯通信装置の記憶装置には、動画ファイルの種類に応じた数の再生実行用のライブラリがインストールされていた。従って、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図ろうとすると、インストールされるプログラム全体のサイズが大きくなり過ぎる傾向にあった。このため、従来の携帯通信装置のソフトウェアの実装方式では、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置の多機能化が困難であるという問題があった。また、この問題は、携帯通信装置の記憶装置の容量を増やすことにより解消できるが、記憶装置の容量の増加は、携帯通信装置の製造コストの上昇という別の問題を生じさせる。
【０００５】
そこで、本発明は、上記したような従来技術の課題を解決するためになされたものであり、その目的とするところは、携帯通信装置に実装されるプログラム全体のサイズの増大を抑えつつ、多機能化を実現できるソフトウェアの実装方式を採用した動画ファイル再生方法及び動画ファイル再生装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の動画ファイルの再生方法の一形態は、
音声データと映像データとが多重化された動画ファイルを再生する動画ファイル再生方法であって、
前記動画ファイルが、前記音声データと前記映像データとの同期が取れている状態で多重化されている動画ファイルか否かを判断する判断ステップと、
前記動画ファイルを前記音声データと前記映像データとに分離する分離ステップと、
前記音声データを所定のサイズ毎に再生する音声再生ステップと、
前記映像データを所定のフレーム数毎に再生する映像再生ステップと
を備え、
前記判断ステップにて、前記動画ファイルが、前記音声データと前記映像データとの同期の取れている状態で多重化されている動画ファイルでないと判断した場合は、
前記所定のサイズの音声データの再生終了毎に、前記所定のフレーム数の映像データを再生するか否かを決定する
ものである。
【発明の効果】
【０００７】
本発明の動画ファイルの再生方法によれば、動画ファイルの種類に応じた数の再生実行用のライブラリをインストールする必要が無くなり、その結果、プログラム全体のサイズが大きくなることを防止できる。また、音声が途切れることなく、音声と映像の同期をとることが可能となる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、本発明の実施の形態１から５までに係る携帯通信装置のハードウェア構成を概略的に示すブロック図である。実施の形態１から５までに係る携帯通信装置は、例えば、ダウンロードした動画ファイルの再生機能、テレビ電話（ビデオ・コンファレンス）機能、カメラ撮影機能等を備えた携帯電話装置又は携帯情報端末装置である。
【０００９】
図１に示されるように、実施の形態１から５までに係る携帯通信装置は、無線又は有線の通信回線を通して複数種類のデータを送受信する通信装置１を備えている。通信装置１で受信される動画ファイルには、映像データと音声データとを多重化したテレビ電話用の動画ファイル（ＩＴＵ−ＴＨ．３２４規格、Ｈ．３２４／Ｍ規格、又は、３ＧＰＰ（3rd Generation Partnership Project）で規定された３Ｇ−３２４Ｍ規格等に準拠）と、コンテンツ配信サーバからダウンロードされた動画ファイル（例えば、ＡＳＦ（Advanced
Streaming Format）形式やＭＰ４形式（画像圧縮方式「ＭＰＥＧ４」と音声圧縮方式「ＭＰ３(MPEG-1 audio layer 3)」、「ＱＣＥＬＰ（Qualcomm Code Exited Linear Predictive coding）」によるファイルフォーマット））が含まれる。
【００１０】
また、図１に示されるように、実施の形態１から５までに係る携帯通信装置は、映像データの符号化・復号化を行う映像情報処理装置（映像符号化・復号化装置）２と、音声データの符号化・復号化を行う音声情報処理装置（音声符号化・復号化装置）３とを備えている。映像情報処理装置２及び音声情報処理装置３は、動画ファイルがタイムスタンプを付加可能なデータで構成されている場合に、この動画ファイルを、圧縮データ内のタイムスタンプに従い復号化する機能と、タイムスタンプを無視してデータ受信直後に復号化する機能とを有する。このため、異なるフォーマットのデータを共通のデコーダで復号することができる。
【００１１】
また、実施の形態１から５までに係る携帯通信装置は、映像を表示する表示装置４と、音を出力するスピーカ装置５と、カメラ撮影により映像信号を生成する映像入力装置６と、音声信号を生成するマイク装置７とを備えている。さらに、実施の形態１から５までに係る携帯通信装置は、記憶装置（メモリ）８と、ＣＰＵ（中央処理装置）９とを備えている。なお、記憶装置８を複数設けて、プログラム格納用と動画ファイル蓄積用に分けて使用してもよい。また、ＣＰＵ９は、記憶装置８にインストールされたソフトウェア群及びリアルタイム・オペレーティングシステム（リアルタイムＯＳ）を用いて、各構成１から８までの動作を制御する。
【００１２】
図２は、本発明の実施の形態１に係る携帯通信装置のソフトウェア構成を示すブロック図である。なお、図２において矢印は、携帯通信装置のソフトウェア間におけるデータの授受を示す。
【００１３】
図２に示されるように、記憶装置８にインストールされたソフトウェア群は、ユーザーインターフェース（ＵＩ）を提供するソフトウェアを有するアプリケーション層１０と、データ処理を行うソフトウェアを有するライブラリ層２０と、デバイス（上記構成１から８までを含む）を制御するソフトウェアを有するドライバ層３０と、上記各層１０，２０，３０に含まれるソフトウェアを制御するリアルタイムＯＳ４０とに分類できる。
【００１４】
アプリケーション層１０には、テレビ電話実行時に使用するビデオ・コンファレンス・アプリケーション（テレビ電話アプリケーション：Video Conference Application）１１と、記憶装置８に蓄積された動画ファイルを再生する際に使用するムービー・ビューワ・アプリケーション（動画ビューワ・アプリケーション：Movie Viewer Application）１２とが含まれる。
【００１５】
ライブラリ層２０には、テレビ電話実行時にテレビ電話シーケンス制御を行うビデオ・コンファレンス・ライブラリ（テレビ電話ライブラリ：Video Conference Library）２１と、動画ファイルの記録再生機能を有する記録再生ライブラリ（ビデオ録画再生ライブラリ：Video Record/Play Library）２２と、ネットワークを介して（例えば、ネットワーク上のコンテンツ配信サーバから）ダウンロードした動画ファイルのデータを映像データと音声データとに分離するマルチメディア・サービス・ライブラリ（Multimedia
Service Library）２３とが含まれる。
【００１６】
ドライバ層３０には、ハードウェア機器を制御するためのソフトウェアである、カメラ・ビデオエンコーダ・ドライバ（Camera V-Encoder Driver）３１と、多重分離ビデオデコーダ・ドライバ（MUX/DEMUX V-Decoder Driver）３２と、オーディオ・ドライバ（Audio Driver）３３と、ファイル・システム・ドライバ（File System Driver）３４とが含まれる。
【００１７】
実施の形態１における記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであるか否かを判定する。実施の形態１においては、多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、通信装置１を通してダウンロードされた動画ファイル、通信装置１を通してダウンロードされ記憶装置８に蓄積された動画ファイル、テレビ電話機能により通信装置１を通して取得された動画ファイル、テレビ電話機能により通信装置１を通して取得され記憶装置８に蓄積された動画ファイルを含む。多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、少なくともフォーマットを共通とする映像データを含む動画ファイルであれば、他の種類の動画ファイルであってもよい。
【００１８】
記録再生ライブラリ２２は、取得された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであると判定したときには、取得された動画ファイルを多重分離ビデオデコーダ・ドライバ３２に提供する。また、記録再生ライブラリ２２は、取得された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットでないと判定したときには、マルチメディア・サービス・ライブラリ２３にその動画ファイルを送り、分離することによって、その動画ファイルに含まれる映像データを多重分離ビデオデコーダ・ドライバ３２に提供する。以上の再生制御処理により、フォーマットの異なる複数種類の動画ファイルを共通の再生制御ライブラリである記録再生ライブラリ２２を使用して再生することができる。
【００１９】
また、記録再生ライブラリ２２は、ファイル・システム・ドライバ３４を制御して、通信装置１により取得された動画ファイルを記憶装置８に記録させる蓄積処理と、記憶装置８に記録された動画ファイルを再生するための再生制御処理をも実行する。蓄積処理の詳細は、後述の実施の形態２において説明する。
【００２０】
＜ダウンロードした動画ファイルの再生処理＞
図３は、本発明の実施の形態１に係る携帯通信装置によるダウンロードした動画ファイルの再生処理における要求及びデータの流れを示す図である。図３に基づいて、実施の形態１に係る携帯通信装置によるダウンロードした動画ファイルの再生処理を説明する。
【００２１】
ダウンロードした動画ファイルを再生する場合には、先ず、ユーザの操作（操作部は図示せず）により、動画再生のためのユーザーインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａとが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
【００２２】
次に、再生要求５０ａを受けた記録再生ライブラリ２２は、再生対象である動画ファイル５１ａのデータのフォーマット（規格）を判別し、ネットワークからダウンロードされた動画ファイルであるか否か、即ち、動画ファイルを構成するデータを映像データと音声データに分離する必要があるか否かを判断する。
【００２３】
再生対象である動画ファイル５１ａがダウンロードにより取得された動画ファイルである場合には、動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して得られた分離データ５３を記録再生ライブラリ２２に返す。
【００２４】
次に、記録再生ライブラリ２２は、分離データ５３のうちの映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、分離データ５３のうちの音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡すことにより、動画ファイルの再生（即ち、表示装置４による映像の表示及びスピーカ装置５による音響の出力）を実現する。音声データ５４の再生に際しては、オーディオ・ドライバ３３は、再生した音声データ５４のサイズ５５を記録再生ライブラリ２２に返し、記録再生ライブラリ２２は、サイズ５５から再生された経過時間を割り出し、この経過時間に同期して映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことにより、映像データと音声データとの再生の同期をとる。
【００２５】
＜テレビ電話中における動画ファイルの蓄積処理＞
図１及び図２に基づいて、実施の形態１に係る携帯通信装置による動画ファイルの蓄積処理を説明する。テレビ電話中に受信した動画ファイルを記録する場合には、先ず、ユーザの操作により、テレビ電話のためのユーザインタフェースを提供するアプリケーションであるビデオ・コンファレンス・アプリケーション１１を通して、テレビ電話中の動画ファイルの録画要求を、テレビ電話機能を提供するライブラリであるビデオ・コンファレンス・ライブラリ２１に対して発行する。
【００２６】
次に、録画要求を受けたビデオ・コンファレンス・ライブラリ２１は、動画記録再生制御を行うライブラリである記録再生ライブラリ２２に録画要求を発行する。記録再生ライブラリ２２は、テレビ電話中の動画ファイルの授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求を発行し、受信した動画ファイルを多重分離ビデオデコーダ・ドライバ３２により受け取り、記憶装置８（又は図示しない他の記憶装置）への蓄積を行う。蓄積の際に、動画ファイルのデータに、テレビ電話中の録画データであることを示す識別情報を付加する。
【００２７】
＜テレビ電話中に蓄積された動画ファイルの再生処理＞
図４は、本発明の実施の形態１に係る携帯通信装置によるテレビ電話中に蓄積された動画ファイルの再生処理における要求及びデータの流れを示す図である。図１、図２、及び図４に基づいて、実施の形態１に係る携帯通信装置によるテレビ電話中に記録された動画ファイルの再生処理を説明する。
【００２８】
テレビ電話中に録画した動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０ｂを、ムービー・ビューワ・ライブラリ２１を介して、記録再生ライブラリ２２に対して発行する。
【００２９】
記録再生ライブラリ２２は、再生対象である動画ファイル５１ｂのデータがテレビ電話中に録画した動画ファイルであり、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１ｂの多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
【００３０】
以上のようにして、異なるフォーマットを有する２種類の動画ファイル（ここでは、ダウンロードした動画ファイル５１ａとテレビ電話中に録画した動画ファイル５１ｂ）の再生を共通の再生機能ライブラリである記録再生ライブラリ２２、共通のドライバである多重分離ビデオデコーダ・ドライバ３２、及び共通のハードウェアを使用して実現することが可能となる。
【００３１】
以上説明したように、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイル（例えば、動画ファイル５１ａ及び５１ｂ）について共通の再生機能ライブラリである記録再生ライブラリ２２を使用している。即ち、実施の形態１に係る携帯通信装置においては、現状又は将来の携帯通信装置用として規格化されている複数種類の動画ファイルの映像データが共通のフォーマットで構成された映像データであることに着目し、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備える従来方式を採用していない。代わりに、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイルに共通する映像データを処理可能な共通の再生機能ライブラリである記録再生ライブラリ２２を用いて再生制御処理を実行している。
【００３２】
このように、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイルを、分離という処理を経ることによって共通の記録再生ライブラリ２２により再生可能にしているので、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図る場合であっても、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備えた従来技術に比べて、インストールされるプログラム（ソフトウェア群）全体のサイズを小さくすることができる。このため、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置であっても、多くの種類の動画ファイルに対応できる多機能化を実現できる。
【００３３】
なお、上記実施の形態１の説明においては、携帯通信装置が、ダウンロードした動画ファイルの再生機能及びテレビ電話中の動画ファイルの記録再生機能を持つ場合を説明したが、実施の形態１に係る携帯通信装置に他の機能を持たせることもできる。
【００３４】
また、上記実施の形態１の説明においては、ダウンロードした動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合を説明したが、動画ファイルのフォーマットが異なる場合には、動画ファイルの処理方法も異なる。従って、動画ファイルのフォーマットが異なる場合には、ダウンロードした動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡す場合もあり得る。
【００３５】
実施の形態２．
図５は、本発明の実施の形態２（又は実施の形態３，４）に係る携帯通信装置のソフトウェア構成を示すブロック図である。なお、図５において矢印は、携帯通信装置のソフトウェア間におけるデータの授受を示す。
【００３６】
実施の形態１のソフトウェア構成と同様に、実施の形態２における記憶装置８にインストールされたソフトウェア群は、アプリケーション層１０と、ライブラリ層２０と、ドライバ層３０と、リアルタイムＯＳ４０とに分類できる。
【００３７】
アプリケーション層１０には、テレビ電話実行時に使用するビデオ・コンファレンス・アプリケーション１１と、記憶装置８に蓄積された動画ファイルを再生する際に使用するムービー・ビューワ・アプリケーション１２と、ネットワーク上のサーバからダウンロードされた動画ファイルを蓄積する際に、ネットワークアクセスのためのユーザインターフェースと提供するウェブ・ブラウザ・アプリケーション（Web Browser Application）１３と、映像入力装置６で映像を撮影する際に使用するカメラ・アプリケーション（Camera
Application）１４とが含まれる。
【００３８】
ライブラリ層２０には、テレビ電話実行時にテレビ電話シーケンス制御を行うビデオ・コンファレンス・ライブラリ２１と、動画ファイルの記録再生機能を有する記録再生ライブラリ２２と、ネットワークを介して（例えば、ネットワーク上のコンテンツ配信サーバから）ダウンロードした動画ファイルのデータを映像データと音声データとに分離するマルチメディア・サービス・ライブラリ２３とが含まれる。
【００３９】
ドライバ層３０には、ハードウェア機器を制御するためのソフトウェアである、カメラ・ビデオエンコーダ・ドライバ３１と、多重分離ビデオデコーダ・ドライバ３２と、オーディオ・ドライバ３３と、ファイル・システム・ドライバ３４とが含まれる。
【００４０】
実施の形態２における記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであるか否かを判定する。実施の形態２においては、多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、通信装置１を通してダウンロードされた動画ファイル、通信装置１を通してダウンロードされ記憶装置８に蓄積された動画ファイル、テレビ電話機能により通信装置１を通して取得された動画ファイル、テレビ電話機能により通信装置１を通して取得され記憶装置８に蓄積された動画ファイル、映像入力装置６及びマイク装置７を通して取得された動画ファイルを含む。ただし、入力される動画ファイルは、少なくともフォーマットを共通とする映像データを含む動画ファイルであれば、他の種類の動画ファイルであってもよい。
【００４１】
記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであると判定したときには、取得された動画ファイルを多重分離ビデオデコーダ・ドライバ３２に提供する。また、記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットでないと判定したときには、マルチメディア・サービス・ライブラリ２３に動画ファイルを送り、分離することによって、動画ファイルに含まれる映像データを多重分離ビデオデコーダ・ドライバ３２に提供する。以上の再生制御処理により、フォーマットの異なる複数種類の動画ファイルを共通の再生制御ライブラリである記録再生ライブラリ２２を使用して再生することができる。
【００４２】
また、記録再生ライブラリ２２は、ファイル・システム・ドライバ３４を制御して、通信装置１により取得された動画ファイルを記憶装置８に記録させる蓄積処理と、記憶装置８に蓄積された動画ファイルを再生するための再生制御処理をも実行する。
【００４３】
＜ダウンロードした動画ファイルの蓄積処理＞
図６は、本発明の実施の形態２に係る携帯通信装置によるダウンロードされた動画ファイルの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図６に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
【００４４】
ネットワーク上のサーバから通信回線を経由してダウンロードした動画ファイルを蓄積する場合には、ユーザの操作により、ネットワークアクセスのためのユーザインタフェースを提供するアプリケーションであるウェブ・ブラウザ・アプリケーション１３を通して、動画ファイルのダウンロード要求６１を記録再生ライブラリ２２に対して発行する。記録再生ライブラリ２２は、ネットワークアクセス中の動画ファイル６３の授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求６２を発行し、受信した動画ファイル６３に対応する多重化データ６４を多重分離ビデオデコーダ・ドライバ３２から受け取り、多重化データ６４に対応する多重化データ６５をファイルシステムを制御するドライバであるファイル・システム・ドライバ３４を介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにダウンロードしたデータであることを示す識別情報を付加する。
【００４５】
＜テレビ電話動画ファイルの蓄積処理＞
図７は、本発明の実施の形態２に係る携帯通信装置によるテレビ電話の動画ファイルの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図７に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
【００４６】
テレビ電話中の動画ファイルを蓄積する場合には、ユーザの操作により、テレビ電話のためのユーザインタフェースを提供するアプリケーションであるビデオ・コンファレンス・アプリケーション１１を通して、テレビ電話中の録画要求７１を、テレビ電話機能を提供するライブラリであるビデオ・コンファレンス・ライブラリ２１に対して発行する。録画要求７１を受けたビデオ・コンファレンス・ライブラリ２１は、動画記録再生制御を行うライブラリである記録再生ライブラリ２２へ録画要求７２を発行する。記録再生ライブラリ２２は、テレビ電話中の動画ファイルの授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７３を発行し、受信した動画ファイル７４に対応する多重化データ７５を多重分離ビデオデコーダ・ドライバ３２から受け取り、多重化データ７５に対応する多重化データ７６をファイルシステムを制御するドライバであるファイル・システム・ドライバ３４を介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにテレビ電話中の録画データであることを示す識別情報を付加する。
【００４７】
＜映像入力装置によって撮像された動画ファイルの蓄積処理＞
図８は、本発明の実施の形態２に係る携帯通信装置によるカメラ撮影データの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図８に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
【００４８】
自端末に付属した映像入力装置６のカメラによって撮像された動画ファイルを蓄積する場合には、ユーザの操作により、カメラ撮影のためのユーザインタフェースを提供するアプリケーションであるカメラ・アプリケーション１４を通して、撮像画像の録画要求８１を、記録再生ライブラリ２２に対して発行する。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求８１を発行する。多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１からの映像データ８４とオーディオ・ドライバ３３からの音声データ８３とが合成された多重化データ８５を記録再生ライブラリ２２に提供する。記録再生ライブラリ２２は、多重化データ８５に対応する多重化データ８６を、ファイルシステムを制御するドライバであるファイル・システム・ドライバ３４にを介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにカメラ撮像による録画データであることを示す識別情報を付加する。
【００４９】
＜蓄積動画ファイルの再生処理＞
図９は、本発明の実施の形態２に係る携帯通信装置による蓄積動画ファイルの再生処理における要求及びデータの流れを示す図である。図１、図５、及び図９に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
【００５０】
蓄積された複数種類のフォーマットの動画ファイルを再生する場合には、ムービー・ビューワ・アプリケーション１２は、ユーザ操作によるファイル選択と再生要求５０を、記録再生ライブラリ２２に対して発行する。再生要求５０を受けた記録再生ライブラリ２２は、再生対象である動画ファイルのデータを判別し、ダウンロードした動画ファイルであるか否か、即ち、動画ファイルを構成する多重化データを映像データと音声データに分離する必要があるか否かを判断する。
【００５１】
再生対象である動画ファイル５１がダウンロードにより取得された動画ファイルである場合には、動画ファイル５１を構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
【００５２】
次に、記録再生ライブラリ２２は、映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡すことにより、動画ファイルの再生を実現する。音声データの再生に際しては、オーディオ・ドライバ３３は、再生した音声データのサイズ５５を記録再生ライブラリ２２に返し、記録再生ライブラリ２２は、サイズ５５から再生された経過時間を割り出し、この経過時間に同期して映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことにより、映像データと音声データとの再生の同期をとる。
【００５３】
テレビ電話中に録画した動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０を、記録再生ライブラリ２２に対して発行する。
【００５４】
記録再生ライブラリ２２は、再生対象である動画ファイル５１のデータがテレビ電話中に録画した動画ファイルであり、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１の多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
【００５５】
映像入力装置６によるカメラ撮影により取得され蓄積された動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０を、記録再生ライブラリ２２に対して発行する。
【００５６】
記録再生ライブラリ２２は、再生対象である動画ファイル５１のデータがカメラ撮影により蓄積された動画ファイルであり、例えば、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１の多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
【００５７】
以上のようにして、異なるフォーマットを有する複数種類の動画ファイル（ここでは、ダウンロードした動画ファイルと、テレビ電話中に録画した動画ファイルと、カメラ撮影により蓄積された動画ファイル）の再生を共通の再生機能ライブラリである記録再生ライブラリ２２、共通のドライバである多重分離ビデオデコーダドライバ３２、及び共通のハードウェアを使用して実現することが可能となる。
【００５８】
以上説明したように、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイル（例えば、ダウンロードされた動画ファイル、テレビ電話中に録画された動画ファイル、カメラ撮影により蓄積された動画ファイル）について共通の再生機能ライブラリである記録再生ライブラリ２２を使用している。即ち、実施の形態２に係る携帯通信装置においては、現状又は将来の携帯通信装置用として規格化されている複数種類の動画ファイルの映像データが共通のフォーマットで構成された映像データであることに着目し、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備える従来方式を採用していない。代わりに、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイルに共通する映像データを処理可能な共通の再生機能ライブラリである記録再生ライブラリ２２を用いて再生制御処理を実行している。
【００５９】
このように、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイルを、分離という処理を経ることによって共通の記録再生ライブラリ２２により再生可能にしているので、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図る場合であっても、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備えた従来技術に比べて、インストールされるプログラム（ソフトウェア群）全体のサイズを小さくすることができる。このため、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置であっても、多くの種類の動画ファイルに対応できる多機能化を実現できる。
【００６０】
なお、上記実施の形態２の説明においては、携帯通信装置が、ダウンロードされた動画ファイル、テレビ電話中に録画された動画ファイル、カメラ撮影により蓄積された動画ファイルを扱う場合を説明したが、実施の形態２に係る携帯通信装置は他の動画ファイルを扱うように構成してもよい。
【００６１】
また、上記実施の形態２の説明においては、ダウンロードした動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイル及びカメラ撮影により蓄積された動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合を説明したが、動画ファイルのフォーマットが異なる場合には、動画ファイルの処理方法も異なる。例えば、ダウンロードした動画ファイル及びカメラ撮影により蓄積された動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合のように、動画ファイルのフォーマットが異なる場合には、異なる処理方式が採用される。
【００６２】
実施の形態３．
図１０は、本発明の実施の形態３及び４に係る携帯通信装置によるカメラ撮影データの変換・蓄積処理における要求及びデータの流れを示す図である。実施の形態３に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態３に係る携帯通信装置のソフトウェア構成は図５の構成と同様である。実施の形態３に係る携帯通信装置は、自端末の映像入力装置６で撮影した動画をテレビ電話通信で使用する動画フォーマットに変換して保存する。図１、図５、及び図１０に基づいて、実施の形態３に係る携帯通信装置の動作を説明する。
【００６３】
自端末の映像入力装置６によりカメラ撮影して、撮像された動画ファイルを蓄積する場合には、カメラ・アプリケーション１４によるユーザ操作により、撮像画像の録画要求７１が記録再生ライブラリ２２に対して発行される。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７２を発行する。
【００６４】
多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１により符号化された映像データ７４とオーディオ・ドライバ３３より符号化された音声データ７３を受け取る。多重分離ビデオデコーダ・ドライバ３２は、映像データ７４及び音声データ７３を分離したままのデータ７５として記録再生ライブラリ２２に渡す。記録再生ライブラリ２２は、受け取った映像データ／音声データ７６をマルチメディア・サービス・ライブラリ２３に渡し、マルチメディア・サービス・ライブラリ２３は、テレビ電話通信で使用する動画フォーマットに変換を行う。
【００６５】
記録再生ライブラリ２２は、フォーマット変換されたデータからなる動画ファイル７７をマルチメディア・サービス・ライブラリ２３から受け取り、ファイル・システム・ドライバ３４を介して、ファイルシステムへデータの蓄積を行う。なお、蓄積の際に、カメラ撮像中の録画データであることを示す識別情報を動画ファイルに付加する。
【００６６】
実施の形態３に係る携帯通信装置によれば、カメラ撮影により取得された動画ファイルを、テレビ電話の通話先から送信された動画ファイルのフォーマットに変換して記憶装置８に蓄積するので、あらかじめ自端末で撮影した動画ファイルを相手端末へ迅速且つ容易に送信することができる。
【００６７】
なお、実施の形態３において、上記以外の点は、上記実施の形態２と同様である。
【００６８】
実施の形態４．
実施の形態４に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態４に係る携帯通信装置のソフトウェア構成は図５に示される構成と同様である。実施の形態４に係る携帯通信装置は、自端末の映像入力装置６によりカメラ撮影して取得された動画ファイルをダウンロードした動画ファイルと同じフォーマットに変換して記憶装置８に保存する。図１、図５、及び図１０に基づいて、実施の形態４に係る携帯通信装置によるカメラ撮影動作を説明する。
【００６９】
自端末の映像入力装置６によりカメラ撮影して、撮像された動画ファイルを蓄積する場合には、カメラ・アプリケーション１４によるユーザ操作により、撮像画像の録画要求７１が記録再生ライブラリ２２に対して発行される。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７２を発行する。
【００７０】
多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１より符号化された映像データ７４とオーディオ・ドライバ３３より符号化された音声データ７３を受け取る。多重分離ビデオデコーダ・ドライバ３２は、映像データ７４及び音声データ７３を分離したままのデータ７５として記録再生ライブラリ２２に渡す。記録再生ライブラリ２２は、受け取った映像データ／音声データ７６をマルチメディア・サービス・ライブラリ２３へ渡し、マルチメディア・サービス・ライブラリ２３は、ダウンロードした動画ファイルと同じフォーマットに変換を行う。
【００７１】
記録再生ライブラリ２２は、フォーマット変換されたデータからなる動画ファイル７７をマルチメディア・サービス・ライブラリ２３から受け取り、ファイル・システム・ドライバ３４を介して、ファイルシステムへデータの蓄積を行う。なお、蓄積の際に、カメラ撮像中の録画データであることを示す識別情報を動画ファイルに付加する。
【００７２】
実施の形態４に係る携帯通信装置によれば、カメラ撮影により取得された動画ファイルを、ダウンロードした動画ファイルと同じフォーマットに変換して記憶装置８に蓄積するので、あらかじめ自端末で撮影した動画ファイルをネットワークに迅速且つ容易にアップロードすることができる。
【００７３】
なお、実施の形態４において、上記以外の点は、上記実施の形態２と同様である。
【００７４】
実施の形態５．
図１１は、本発明の実施の形態５に係る携帯通信装置により、ダウンロードした動画ファイルを再生する場合の、音声データと映像データの同期を合わせるためのシーケンスを示す図である。実施の形態５に係る携帯通信装置のハードウェア構成は図１と同様であり、実施の形態５に係る携帯通信装置のソフトウェア構成は図２の構成と同様である。実施の形態５に係る携帯通信装置は、ダウンロードした動画ファイルを再生する際に、音声データと映像データの同期をとって再生を行う。図２、図３及び図１１に基づいて実施の形態５に係る携帯通信装置の動作を説明する。
【００７５】
図２又は図３に示されるように、ダウンロードした動画ファイルを再生する場合には、ユーザの操作により、動画再生のためのユーザーインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
【００７６】
図２又は図３に示されるように、再生対象である動画ファイル５１ａがダウンロードにより取得された動画ファイルである場合には、記録再生ライブラリ２２は動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
【００７７】
次に、図１１に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの同期を合わせるためのタイムテーブル２２５を作成する。このタイムテーブル２２５には、ある時刻での音声データの累積処理サイズ及び映像データの累積処理サイズが記述されている。
【００７８】
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡す。また、エラーが原因でオーディオ・ドライバ３３からの通知が発生しなかったときのために、内部タイマ２２１を設定する。内部タイマ２２１のイベント発生の間隔は、オーディオ・ドライバ３３からの通知の間隔と同じΔＴに設定する。
【００７９】
オーディオ・ドライバ３３は、一定の時間間隔ΔＴごとに、処理した音声データの累積サイズ（即ち、音声データサイズ）５５を記録再生ライブラリ２２に返す。ここで、間隔ΔＴは、一定時間内に表示させる映像フレームの枚数であるフレームレート〔ｓ−１〕に応じて決められる間隔であり、１フレーム期間（＝１÷フレームレート〔ｓ−１〕）よりも短い間隔である必要がある。記録再生ライブラリ２２は、タイムテーブル２２５を用いて、処理された音声データの累積サイズ５５から現在時刻を割り出す。さらに、記録再生ライブラリ２２は、タイムテーブル２２５を参照し、時刻Ｂにおいて、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定する。時刻Ｂにおいては、処理された音声データの累積サイズ５５は１フレーム分の映像データに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
【００８０】
さらに、オーディオ・ドライバ３３からの通知があった時刻Ｃにおいて、記録再生ライブラリ２２は、時刻Ｂと同様に、タイムテーブル２２５を参照し、処理された映像データの累積サイズが１フレーム分に達しているかを判定する。時刻Ｃにおいては、処理された映像データの累積サイズが１フレーム分に達しているため、記録再生ライブラリ２２は、そのフレームサイズの映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡し、映像データが表示される。
【００８１】
オーディオ・ドライバ３３からの通知があった時刻Ｄにおいて、音声データの累積サイズ５５（例えば、時刻ＡからＤまでの間に処理された音声データの累積サイズ）が、オーディオ・ドライバ３３に渡した音声データ５４（例えば、時刻Ａにおいて、記録再生ライブラリ２２がオーディオ・ドライバ３３に渡した音声データ）のサイズに達する前に、記録再生ライブラリ２２は、再び、音声データ５４をオーディオ・ドライバ３３に渡し（例えば、時刻Ｄにおいて）、オーディオ・ドライバ４３において処理すべき音声データが枯渇しないようにする。
【００８２】
さらに、オーディオ・ドライバ３３からの通知があった時刻Ｅにおいて、記録再生ライブラリ２２は、時刻Ｃと同様にタイムテーブル２２５を参照し、映像データの累積サイズが、（それまでに再生を行ったフレームのデータ）＋（１フレーム分のデータ）に達していれば、記録再生ライブラリ２２がフレームサイズ分の映像データ５６を多重分離ビデオデコーダ・ドライバ３３に渡し、映像データが表示される。
【００８３】
以上説明したように、実施の形態５に係る携帯通信装置によれば、記録再生ライブラリ２２がオーディオ・ドライバ３３から音声データ処理量を受け取り、音声の処理に合わせて映像の再生を行うため、音声が途切れることなく音声と映像の同期をとることができる。
【００８４】
次に音声データが欠けた、不正なコンテンツを再生する場合の例を説明する。
図１１から理解できるように、内部タイマ２２１のみを用いて音声、映像データ再生の制御を行った場合は、時刻Ａの次に映像データを表示するのは時刻Ｃとなる。時刻Ａから時刻Ｂの間の音声データが欠けた不正なコンテンツの場合、音声再生を途切れさせないためには、時刻Ｂから時刻Ｃの音声データを時刻Ａから時刻Ｂの間に再生させる必要があり、このため、時刻Ｃの時点で再生している音声データは時刻Ｄのものとなる。従って、音声、映像データ再生の同期が合わないという結果になる。
【００８５】
実施の形態５に係る携帯通信装置では、時刻Ａから時刻Ｂの間で再生すべき音声データが存在しない場合、オーディオ・ドライバ３３は、再生音が途切れないように時刻Ｂから時刻Ｃの間に再生すべき音声データを時刻Ａから時刻Ｂの間に再生する。この結果、時刻Ｂにてオーディオ・ドライバ３３から記録再生ライブラリ２２へ返す累積データサイズは、本来時刻Ｃにて返す値となる。記録再生ライブラリ２２は時刻Ｂにて、タイムテーブル２２５を用い、音声データの累積データサイズから現在時刻を割り出すため、その結果時刻Ｃであると判断し、映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡し、映像データが表示される。このため、内部タイマ２２１のみを用いた音声、映像の同期方法では、途中から同期が合わなくなるようなオーディオデータが欠けた不正なコンテンツでも、常に音声データが途切れることなく、音声データと映像データの同期を合わせることができる。
【００８６】
図１２は、実施の形態５に係る携帯通信装置により、音声データと映像データの同期を合わせながら動画ファイルを再生する際に、エラーが発生した場合のシーケンスを示す図である。図１２に基づいて実施の形態５に係る携帯通信装置のエラー処理の動作を説明する。
【００８７】
図２又は図３に示されるように、正常動作と同様に、ユーザの操作により、ムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
【００８８】
図２又は図３に示されるように、記録再生ライブラリ２２は、動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
【００８９】
次に、図１２に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの同期を合わせるためのタイムテーブル２２５を作成する。このタイムテーブル２２５には、ある時刻での音声データの累積処理サイズ及び映像データの累積処理サイズが記述されている。
【００９０】
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡す。また、エラーが原因でオーディオ・ドライバからの通知が発生しなかったときのために、内部タイマ２２１を設定する。内部タイマ２２１のイベント発生の間隔は、オーディオ・ドライバ３３から発生する通知の間隔と同じΔＴに設定する。
【００９１】
オーディオ・ドライバ３３は、一定の間隔ΔＴごとに、それまでに処理した音声データの累積サイズを記録再生ライブラリ２２に返す。何らかの理由で音声データサイズ５５が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｐ）、あらかじめ設定しておいた内部タイマ２２１のイベント２２３が発生し、記録再生ライブラリ２２は、時刻Ｂで、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｂにおいては、処理された映像データの累積サイズが１フレーム分のデータに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
【００９２】
さらに、何らかの理由で、オーディオ・ドライバ３３からの通知が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｑ）においても同様に、あらかじめ設定しておいた内部タイマ２２１のイベント２２３が発生し、時刻Ｃにおいて、記録再生ライブラリ２２は、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｃにおいては、処理された映像データの累積サイズが１フレーム分のデータに達しているため、記録再生ライブラリ２２は、１フレーム分の映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことができる。
【００９３】
オーディオ・ドライバ３３からの通知が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｒ）においても同様に、あらかじめ設定しておいた内部タイマ２２１のイベントが発生し、記録再生ライブラリ２２は、時刻Ｄで、映像データ及び音声データの処理状況の判定を行うことができる。時刻Ｄにおいては、タイムテーブル２２５より、あらかじめオーディオ・ドライバ３３に渡した音声データ５４が枯渇する可能性があると判定できるため、記録再生ライブラリ２２は、次の音声データ５４をオーディオ・ドライバ３３に渡す。
【００９４】
以上のように、実施の形態５に係る携帯通信装置によれば、オーディオ・ドライバ３３からの音声データ処理量の通知（即ち、音声データサイズ）５５が何らかの理由により、記録再生ライブラリ２２に到達しない場合においても、あらかじめ設定した内部タイマ２２１のイベント２２３により、音声データ及び映像データの再生タイミングを取ることができる。このため、音声と映像の同期をとりながら、動画の再生を行うことができる。
【００９５】
図１３は、実施の形態５に係る携帯通信装置により、映像データのみで構成される動画ファイルを再生するシーケンスを示す図である。図１３に基づいて実施の形態５に係る携帯通信装置の映像データのみで構成される動画像ファイルの再生動作を説明する。
【００９６】
図２又は図３に示されるように、ユーザの操作により、ムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
【００９７】
図２又は図３に示されるように、記録再生ライブラリ２２は、動画ファイル５１ａを構成する多重化データ５２をマルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。ただし、図１３で示す動画再生の形態では、動画ファイルは映像データのみで構成されるため、音声データが存在しない。
【００９８】
次に、図１３に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの再生タイミングを合わせるためのタイムテーブル２２５を作成する。この場合は音声データがないため、このタイムテーブル２２５には、ある時刻での映像データの累積処理サイズのみが記述されている。
【００９９】
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡す。この場合は、音声データが存在しないため、記録再生ライブラリ２２は、オーディオ・ドライバ３３に音声データを渡さないので、オーディオ・ドライバからの一定間隔ΔＴごとの通知が返って来ない。また、図１１及び図１２の例と同様に、内部タイマ２２１を一定間隔ΔＴで設定する。
【０１００】
内部タイマ２２１は、時間ΔＴ後に、イベント２２３を記録再生ライブラリ２２に通知する（図１３の時刻Ｂ）。記録再生ライブラリ２２は、この時刻Ｂにおいて、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｂにおいては、処理された映像データの累積サイズが１フレーム分のデータに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
【０１０１】
さらに、時間ΔＴが経過し、内部タイマ２２１がイベント２２３を記録再生ライブラリ２２に通知する（図１３の時刻Ｃ）。時刻Ｃにおいては、処理された映像データの累積サイズが動画の１フレーム分に達しているため、記録再生ライブラリ２２は、１フレーム分の映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことができる。
【０１０２】
以上のように、実施の形態５に係る携帯通信装置によれば、音声データを含まない動画ファイルの再生時においても、内部タイマ２２１が発生するイベント２２３によって、映像データから作成したタイムテーブル２２５に従って動画の再生を行うことができる。
【０１０３】
実施の形態６．
図１４は、本発明の実施の形態６に係る携帯通信装置による、ダウンロードした動画ファイルをコマ送り再生する際の再生方法について示した図である。実施の形態６に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態６に係る携帯通信装置のソフトウェア構成は図２の構成と同様である。実施の形態６に係る携帯通信装置はダウンロードした動画ファイルをコマ送り再生することができるが、図１４に基づいて実施の形態６に係る携帯通信装置の動作を説明する。
【０１０４】
ムービー・ビューワ・アプリケーション１２はコマ送りを進めるユーザインターフェースを有しており、これの入力に従って、コマ送り要求８１が記録再生ライブラリ２２に送られる。時刻Ａにおいて、ムービー・ビューワ・アプリケーション１２からのコマ送り要求８１を受けた、記録再生ライブラリ２２は、その時点で再生を行っていない場合は、マルチメディア・サービス・ライブラリ２３より受け取った分離データ８３から、１フレーム分の映像データ８６を多重分離ビデオデコーダ・ドライバに渡す。再生を行っていた場合は、その時点で再生を停止するが、多重分離ビデオデコーダ・ドライバ３２が表示した映像データ８６はそのまま表示し続ける。
【０１０５】
続けて送られるムービー・ビューワ・アプリケーション１２からのコマ送り要求８１に対して、記録再生ライブラリ２２は、次のフレームの映像データ８６を多重分離ビデオデコーダ・ドライバ３２に渡す。このようにして、実施の形態６に係る携帯通信装置では、ユーザからの入力に対して映像データをコマ送りで表示することができる。
【０１０６】
図１５は、実施の形態６に係る携帯通信装置がダウンロードした動画ファイルをコマ送り再生している際に、コマ送りしている映像データを静止画として取り込む方法を示したものである。
【０１０７】
ムービー・ビューワ・アプリケーション１２は、コマ送りを進めるユーザインターフェースに加え、静止画取り込みを行うユーザインターフェースを有しており、これの入力に従って、取り込み要求９１を記録再生ライブラリ２２に送られる。
【０１０８】
静止画取り込みはコマ送り再生中に行われる。ムービー・ビューワ・アプリケーション１２から通知されたコマ送り要求８１に対して記録再生ライブラリ２２は、１フレーム分の映像データ８６を多重分離ビデオデコーダ・ドライバ３２に渡し、そのデータは表示メモリ４１に送られ表示デバイスに表示される。コマ送り再生の表示を見たエンドユーザが、取り込みのユーザインターフェースを操作することにより、ムービー・ビューワ・アプリケーション１２からの取り込み要求９１が記録再生ライブラリ２２に送られる。記録再生ライブラリ２２はそのときに表示デバイスに表示されている映像データ９６ａを表示メモリ４１から取り込む。映像データ９６ａは保存に適した静止画フォーマットに変換され、変換された映像データ９６ｂはファイル・システム・ドライバ３４に渡されファイルシステムに保存される。
【０１０９】
このようにして、実施の形態６に係る携帯通信装置では、エンドユーザがコマ送り再生した画像データを静止画として記録保存することができる。
【０１１０】
なお、実施の形態６において、上記以外の点は、上記実施の形態５と同様である。
【０１１１】
【図面の簡単な説明】
【図１】 図１は、本発明の実施の形態１から５までに係る携帯通信装置のハードウェア構成を概略的に示すブロック図である。
【図２】 図２は、本発明の実施の形態１に係る携帯通信装置のソフトウェア構成を示すブロック図である。
【図３】 図３は、本発明の実施の形態１に係る携帯通信装置によるダウンロードによる動画ファイルの再生処理における要求及びデータの流れを示す図である。
【図４】 図４は、本発明の実施の形態１に係る携帯通信装置によるテレビ電話による動画ファイルの再生処理における要求及びデータの流れを示す図である。
【図５】 図５は、本発明の実施の形態２に係る携帯通信装置のソフトウェア構成を示すブロック図である。
【図６】 図６は、本発明の実施の形態２に係る携帯通信装置によるダウンロードによる動画ファイルの記録処理における要求及びデータの流れを示す図である。
【図７】 図７は、本発明の実施の形態２に係る携帯通信装置によるテレビ電話による動画ファイルの記録処理おける要求及びデータの流れを示す図である。
【図８】 図８は、本発明の実施の形態２に係る携帯通信装置によるカメラ撮影による動画ファイルの記録処理おける要求及びデータの流れを示す図である。
【図９】 図９は、本発明の実施の形態２に係る携帯通信装置による動画ファイルの再生処理における要求及びデータの流れを示す図である。
【図１０】 図１０は、本発明の実施の形態３及び４に係る携帯通信装置によるカメラ撮影データの変換・蓄積処理における要求及びデータの流れを示す図である。
【図１１】 図１１は、本発明の実施の形態５に係る携帯通信装置により、ダウンロードした動画ファイルを再生する場合の、音声データと映像データの同期を合わせるためのシーケンスを示す図である。
【図１２】 図１２は、本発明の実施の形態５に係る携帯通信装置により、音声データと映像データの同期を合わせながら動画ファイルを再生する際に、エラーが発生した場合のシーケンスを示す図である。
【図１３】 図１３は、本発明の実施の形態５に係る携帯通信装置により、映像データのみで構成される動画ファイルを再生するシーケンスを示す図である。
【図１４】 図１４は、本発明の実施の形態６に係る携帯通信装置による、ダウンロードした動画ファイルをコマ送り再生する際の再生方法について示した図である。
【図１５】 図１５は、実施の形態６に係る携帯通信装置がダウンロードした動画ファイルをコマ送り再生している際に、コマ送りしている映像データを静止画として取り込む方法を示したものである。
【符号の説明】
【０１１２】
１ 通信装置、 ２ 映像情報処理装置、 ３ 音声情報処理装置、 ４ 表示装置、 ５ スピーカ装置、 ６ 映像入力装置、 ７ マイク装置、 ８ 記憶装置、 ９ ＣＰＵ、 １０ アプリケーション層、 １１ ビデオコンファレンスアプリケーション、 １２ ムービー・ビューワ・アプリケーション、 １３ ウェブブラウザアプリケーション、 １４ カメラアプリケーション、 ２０ ライブラリ層、 ２１ ビデオコンファレンスライブラリ、 ２２ 記録再生ライブラリ、 ２３ マルチ・メディア・サービスライブラリ、 ３０ ドライバ層、 ３１ カメラ・ビデオエンコードドライバ、 ３２ 多重分離ビデオデコーダドライバ、 ３３ オーディオドライバ、 ３４ ファイルシステムドライバ。
本発明の携帯通信装置の動画ファイルの再生方法の一形態は、
音声データと映像データとが多重化された複数種類の動画ファイルを再生する携帯通信装置の動画ファイル再生方法であって、
前記動画ファイルが、前記音声データと前記映像データとの同期が取れている状態で多重化されている動画ファイルか否かを判断する判断ステップと、
前記動画ファイルを前記音声データと前記映像データとに分離する分離ステップと、
前記音声データを所定のサイズ毎に再生する音声再生ステップと、
前記映像データを所定のフレーム数毎に再生する映像再生ステップと
を備え、
前記判断ステップにて、前記動画ファイルが、前記音声データと前記映像データとの同期の取れている状態で多重化されている動画ファイルでないと判断した場合は、
前記所定のサイズの音声データの再生終了毎に、当該所定サイズの音声データの再生時間より再生時間が長くなるフレーム数の映像データを再生するか否かを決定する
ものである。
音声データと映像データとが多重化された複数種類の動画ファイルを再生する携帯通信装置の動画ファイル再生方法であって、
前記動画ファイルが、前記音声データと前記映像データとの同期が取れている状態で多重化されている動画ファイルか否かを判断する判断ステップと、
前記動画ファイルを前記音声データと前記映像データとに分離する分離ステップと、
前記音声データを所定のサイズ毎に再生する音声再生ステップと、
前記映像データを所定のフレーム数毎に再生する映像再生ステップと
を備え、
前記判断ステップにて、前記動画ファイルが、前記音声データと前記映像データとの同期の取れている状態で多重化されている動画ファイルでないと判断した場合は、
前記所定のサイズの音声データの再生終了毎に、当該所定サイズの音声データの再生時間より再生時間が長くなるフレーム数の映像データを再生するか否かを決定する
ものである。
本発明の携帯通信装置の動画ファイルの再生方法によれば、動画ファイルの種類に応じた数の再生実行用のライブラリをインストールする必要が無くなり、その結果、プログラム全体のサイズが大きくなることを防止できる。また、音声が途切れることなく、音声と映像の同期をとることが可能となる。
Claims (12)
- フォーマットを共通とする映像データを含む複数種類の動画ファイルを扱う携帯通信装置において、
前記動画ファイルを取得する動画ファイル取得手段と、
映像を表示する表示手段と、
記憶手段と、
前記記憶手段にインストールされたソフトウェア群を用いて、前記動画ファイル取得手段、前記記憶手段、及び前記表示手段の動作を制御する制御手段と
を有し、
前記記憶手段にインストールされたソフトウェア群が、
少なくとも前記フォーマットを共通とする映像データを処理可能であり、前記動画ファイル取得手段により取得された動画ファイルに基づく映像を前記表示手段に表示させるデバイスドライバと、
前記動画ファイル取得手段により取得された動画ファイルが前記デバイスドライバにより処理可能なフォーマットであるときには、前記動画ファイル取得手段により取得された動画ファイルを前記デバイスドライバに提供し、前記動画ファイル取得手段により取得された動画ファイルが前記デバイスドライバにより処理可能なフォーマットでないときには、前記動画ファイル取得手段により取得された動画ファイルを分離することによって、前記動画ファイル取得手段により取得された動画ファイルに含まれる前記フォーマットを共通とする映像データを前記デバイスドライバに提供する再生制御処理を実行するライブラリとを含む
ことを特徴とする携帯通信装置。 - 前記複数種類の動画ファイルのそれぞれが、少なくとも映像データと音声データとを含むことを特徴とする請求項１に記載の携帯通信装置。
- 前記記憶手段にインストールされたソフトウェア群が、前記複数種類の動画ファイルについてのユーザインターフェースを提供するアプリケーションを含むことを特徴とする請求項１又は２のいずれかに記載の携帯通信装置。
- 前記動画ファイル取得手段が、
動画ファイルを取得する通信手段と、
映像入力装置、映像情報処理装置、マイク装置、及び音声情報処理装置を有し、前記映像入力装置により取得され前記映像情報処理装置により符号化された映像データ及び前記マイク装置により取得され前記音声情報処理装置により符号化された音声データを含む動画ファイルを生成する動画撮影手段と
を含むことを特徴とする請求項１又は２のいずれかに記載の携帯通信装置。 - 前記通信手段により取得される動画ファイルには、
コンテンツ配信サーバからダウンロードされた動画ファイルと、
テレビ電話の通話先から送信された動画ファイルと
が含まれることを特徴とする請求項４に記載の携帯通信装置。 - 前記ライブラリが、前記動画ファイル取得手段により取得された動画ファイルを前記記憶手段に記録し、前記記憶手段に記録された動画ファイルについて前記再生制御処理を実行することを特徴とする請求項１又は２のいずれかに記載の携帯通信装置。
- 前記ライブラリが、前記動画撮影手段により取得された動画ファイルを、前記ダウンロードされた動画ファイルのフォーマットに変換して前記記憶手段に記録することを特徴とする請求項５に記載の携帯通信装置。
- 前記ライブラリが、前記動画撮影手段により取得された動画ファイルを、前記テレビ電話の通話先から送信された動画ファイルのフォーマットに変換して前記記憶手段に記録することを特徴とする請求項５に記載の携帯通信装置。
- 前記動画ファイル取得手段により取得された動画ファイルがタイムスタンプを付加可能なデータで構成されている場合に、前記動画ファイル取得手段により取得された動画ファイルのデータをタイムスタンプに従い復号化する機能と、タイムスタンプを無視して復号化する機能とを有する情報処理手段を有することを特徴とする請求項１又は２のいずれかに記載の携帯通信装置。
- 音声データを処理するオーディオドライバを有し、
前記動画ファイルから分離された前記音声データを前記オーディオドライバに提供し、
前記動画ファイルから分離された映像データを１フレームずつ前記デバイスドライバに提供し、
前記オーディオドライバにより処理された音声データの累積サイズに基づい決められる時間間隔ごとに、前記デバイスドライバによって処理された映像データの累積サイズを確認し、処理された映像データの累積サイズが所定の基準に達している場合には、前記映像データの前記デバイスドライバへの提供を実行する
ことを特徴とする請求項２に記載の携帯通信装置。 - 内部タイマを有し、
前記オーディオドライバにより処理された音声データの累積サイズが通知されない場合に、前記内部タイマにより決められる時間間隔ごとに、前記デバイスドライバによって処理された映像データの累積サイズの確認を行うことを特徴とする請求項１０に記載の携帯通信装置。 - 内部タイマを有し、
前記動画ファイルから分離された映像データを１フレームずつ前記デバイスドライバに提供し、
前記内部タイマにより決められる時間間隔ごとに、前記デバイスドライバによって処理された映像データの累積サイズを確認し、処理された映像データの累積サイズが所定の基準に達している場合には、前記映像データの前記デバイスドライバへの提供を実行する
ことを特徴とする請求項１に記載の携帯通信装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002150081 | 2002-05-24 | ||
| JP2002150081 | 2002-05-24 | ||
| PCT/JP2003/006329 WO2003101102A1 (en) | 2002-05-24 | 2003-05-21 | Mobile communication device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2003101102A1 true JPWO2003101102A1 (ja) | 2005-09-29 |
Family
ID=29561223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004507247A Pending JPWO2003101102A1 (ja) | 2002-05-24 | 2003-05-21 | 携帯通信装置の動画ファイル再生方法及び携帯通信装置用の動画ファイル再生装置 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JPWO2003101102A1 (ja) |
| TW (1) | TWI221252B (ja) |
| WO (1) | WO2003101102A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5596473B2 (ja) * | 2010-09-06 | 2014-09-24 | シャープ株式会社 | 映像コンテンツ再生装置及びその制御方法、プログラム、記録媒体 |
| JP6036225B2 (ja) * | 2012-11-29 | 2016-11-30 | セイコーエプソン株式会社 | 書画カメラ、映像音声出力システムおよび映像音声出力方法 |
Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04324777A (ja) * | 1991-04-24 | 1992-11-13 | Toshiba Corp | 画像音声同期システム |
| JPH05137103A (ja) * | 1991-11-15 | 1993-06-01 | Hitachi Ltd | プレゼンテーシヨン装置 |
| JPH06125539A (ja) * | 1992-10-14 | 1994-05-06 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化装置 |
| JPH08298655A (ja) * | 1995-04-27 | 1996-11-12 | Fujitsu Ltd | Ｔｖ会議／ビデオ・オン・デマンド自動切替方法及び装置 |
| JPH09326873A (ja) * | 1996-06-04 | 1997-12-16 | Toshiba Corp | 情報伝送システム |
| JPH11102450A (ja) * | 1997-07-31 | 1999-04-13 | Matsushita Electric Ind Co Ltd | ３次元仮想空間を表すデータストリームを送受信する装置及び方法 |
| JPH11134804A (ja) * | 1997-10-31 | 1999-05-21 | Toshiba Corp | 映像音声同期システム |
| JPH11134264A (ja) * | 1997-10-29 | 1999-05-21 | Hitachi Ltd | データ変換装置、データ変換装置を有するネットワークシステム、および、データ変換装置上で動作するプログラムを記録した記録媒体 |
| JPH11177518A (ja) * | 1997-12-12 | 1999-07-02 | Kokusai Electric Co Ltd | データ通信装置 |
| JP2000137946A (ja) * | 1998-10-30 | 2000-05-16 | Matsushita Electric Ind Co Ltd | デジタル映像データ及びデジタルオーディオデータの記録再生装置 |
| JP2000324461A (ja) * | 1999-05-07 | 2000-11-24 | Seiko Epson Corp | ミーティングシステムおよび情報記憶媒体 |
| JP2000324462A (ja) * | 1999-05-07 | 2000-11-24 | Seiko Epson Corp | ミーティングシステムおよび情報記憶媒体 |
| JP2001169249A (ja) * | 1999-12-09 | 2001-06-22 | Nec Corp | Ａｖ同期再生方法及びその装置並びに情報記録媒体 |
| JP2001245268A (ja) * | 2000-02-29 | 2001-09-07 | Toshiba Corp | コンテンツ伝送システム及びコンテンツ処理装置 |
| JP2001331280A (ja) * | 2000-05-22 | 2001-11-30 | Sony Corp | 情報処理装置、情報処理方法 |
| JP2001339637A (ja) * | 2000-05-25 | 2001-12-07 | Canon Inc | 画像処理装置及び方法並びに記憶媒体 |
| JP2002016878A (ja) * | 2000-06-27 | 2002-01-18 | Sharp Corp | 再生装置 |
| JP2002058025A (ja) * | 2000-08-11 | 2002-02-22 | Sony Corp | 信号処理装置及び方法並びにファイル生成方法 |
| JP2002064596A (ja) * | 2000-08-21 | 2002-02-28 | Matsushita Electric Ind Co Ltd | 携帯電話装置 |
| JP2002063520A (ja) * | 2000-08-22 | 2002-02-28 | Oki Electric Ind Co Ltd | 中継サーバ，中継方法及び支払システム |
| JP2002077838A (ja) * | 2000-06-30 | 2002-03-15 | Nokia Mobile Phones Ltd | ビデオ伝送システムにおいて中断中に代替の視覚データを伝送する方法及びシステム |
| JP2002077839A (ja) * | 2000-08-24 | 2002-03-15 | Sony Corp | 情報処理装置および方法、情報処理システム、並びにプログラム格納媒体 |
| JP2002123334A (ja) * | 2000-10-17 | 2002-04-26 | Shoogun:Kk | 多機能型携帯機器装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2993692B2 (ja) * | 1990-02-02 | 1999-12-20 | 株式会社日立製作所 | 動画像復号化装置 |
| JPH10143114A (ja) * | 1996-11-11 | 1998-05-29 | Sony Corp | 液晶表示装置 |
| JP3407287B2 (ja) * | 1997-12-22 | 2003-05-19 | 日本電気株式会社 | 符号化復号システム |
-
2003
- 2003-05-21 JP JP2004507247A patent/JPWO2003101102A1/ja active Pending
- 2003-05-21 WO PCT/JP2003/006329 patent/WO2003101102A1/ja active Application Filing
- 2003-05-22 TW TW092113819A patent/TWI221252B/zh not_active IP Right Cessation
Patent Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04324777A (ja) * | 1991-04-24 | 1992-11-13 | Toshiba Corp | 画像音声同期システム |
| JPH05137103A (ja) * | 1991-11-15 | 1993-06-01 | Hitachi Ltd | プレゼンテーシヨン装置 |
| JPH06125539A (ja) * | 1992-10-14 | 1994-05-06 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化装置 |
| JPH08298655A (ja) * | 1995-04-27 | 1996-11-12 | Fujitsu Ltd | Ｔｖ会議／ビデオ・オン・デマンド自動切替方法及び装置 |
| JPH09326873A (ja) * | 1996-06-04 | 1997-12-16 | Toshiba Corp | 情報伝送システム |
| JPH11102450A (ja) * | 1997-07-31 | 1999-04-13 | Matsushita Electric Ind Co Ltd | ３次元仮想空間を表すデータストリームを送受信する装置及び方法 |
| JPH11134264A (ja) * | 1997-10-29 | 1999-05-21 | Hitachi Ltd | データ変換装置、データ変換装置を有するネットワークシステム、および、データ変換装置上で動作するプログラムを記録した記録媒体 |
| JPH11134804A (ja) * | 1997-10-31 | 1999-05-21 | Toshiba Corp | 映像音声同期システム |
| JPH11177518A (ja) * | 1997-12-12 | 1999-07-02 | Kokusai Electric Co Ltd | データ通信装置 |
| JP2000137946A (ja) * | 1998-10-30 | 2000-05-16 | Matsushita Electric Ind Co Ltd | デジタル映像データ及びデジタルオーディオデータの記録再生装置 |
| JP2000324461A (ja) * | 1999-05-07 | 2000-11-24 | Seiko Epson Corp | ミーティングシステムおよび情報記憶媒体 |
| JP2000324462A (ja) * | 1999-05-07 | 2000-11-24 | Seiko Epson Corp | ミーティングシステムおよび情報記憶媒体 |
| JP2001169249A (ja) * | 1999-12-09 | 2001-06-22 | Nec Corp | Ａｖ同期再生方法及びその装置並びに情報記録媒体 |
| JP2001245268A (ja) * | 2000-02-29 | 2001-09-07 | Toshiba Corp | コンテンツ伝送システム及びコンテンツ処理装置 |
| JP2001331280A (ja) * | 2000-05-22 | 2001-11-30 | Sony Corp | 情報処理装置、情報処理方法 |
| JP2001339637A (ja) * | 2000-05-25 | 2001-12-07 | Canon Inc | 画像処理装置及び方法並びに記憶媒体 |
| JP2002016878A (ja) * | 2000-06-27 | 2002-01-18 | Sharp Corp | 再生装置 |
| JP2002077838A (ja) * | 2000-06-30 | 2002-03-15 | Nokia Mobile Phones Ltd | ビデオ伝送システムにおいて中断中に代替の視覚データを伝送する方法及びシステム |
| JP2002058025A (ja) * | 2000-08-11 | 2002-02-22 | Sony Corp | 信号処理装置及び方法並びにファイル生成方法 |
| JP2002064596A (ja) * | 2000-08-21 | 2002-02-28 | Matsushita Electric Ind Co Ltd | 携帯電話装置 |
| JP2002063520A (ja) * | 2000-08-22 | 2002-02-28 | Oki Electric Ind Co Ltd | 中継サーバ，中継方法及び支払システム |
| JP2002077839A (ja) * | 2000-08-24 | 2002-03-15 | Sony Corp | 情報処理装置および方法、情報処理システム、並びにプログラム格納媒体 |
| JP2002123334A (ja) * | 2000-10-17 | 2002-04-26 | Shoogun:Kk | 多機能型携帯機器装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW200402655A (en) | 2004-02-16 |
| WO2003101102A1 (en) | 2003-12-04 |
| TWI221252B (en) | 2004-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4949591B2 (ja) | ビデオ誤り回復方法 | |
| US20190124371A1 (en) | Systems, methods and computer software for live video/audio broadcasting | |
| KR101008764B1 (ko) | 쌍방향 미디어 응답 시스템에서 시각 단서를 제공하는 방법 | |
| JP5026167B2 (ja) | ストリーム伝送サーバおよびストリーム伝送システム | |
| KR20170109036A (ko) | 멀티미디어 파일 라이브 방송 방법, 시스템 및 서버 | |
| TW201138471A (en) | Streaming encoded video data | |
| EP1855483A2 (en) | Apparatus and method for transmitting and receiving moving pictures using near field communication | |
| US11128897B2 (en) | Method for initiating a transmission of a streaming content delivered to a client device and access point for implementing this method | |
| JP2000125260A (ja) | 動画像伝送サーバおよび同サーバを用いた動画像伝送システム並びに動画像伝送制御方法 | |
| JP2007336281A (ja) | 画像記録装置、画像再生装置、画像記録方法及び画像再生方法 | |
| JP2019083555A (ja) | 情報処理装置、コンテンツ要求方法およびコンピュータプログラム | |
| JP7290260B1 (ja) | サーバ、端末及びコンピュータプログラム | |
| KR20070119579A (ko) | 화상 처리 방법, 화상 처리 장치, 화상 처리 프로그램 및화상 열람 시스템 | |
| JP4526294B2 (ja) | ストリームデータ送信装置、受信装置、プログラムを記録した記録媒体、およびシステム | |
| JP4526965B2 (ja) | テレビドアホン装置 | |
| JP2012161012A (ja) | 動画記録装置 | |
| EP1511326B1 (en) | Apparatus and method for multimedia reproduction using output buffering in a mobile communication terminal | |
| JP5135147B2 (ja) | 動画ファイル送信サーバおよびその動作制御方法 | |
| JP3844485B2 (ja) | 携帯電話向けインターネットライブ放送システム、携帯電話向けインターネットライブ放送方法、ストリーミングデータ作成配信プログラム及び記録媒体 | |
| JP6501127B2 (ja) | 情報処理装置および方法 | |
| JPWO2003101102A1 (ja) | 携帯通信装置の動画ファイル再生方法及び携帯通信装置用の動画ファイル再生装置 | |
| JP2005506806A (ja) | 通信システムにおけるデータ記録 | |
| JP4254297B2 (ja) | 画像処理装置及びその方法並びにそれを用いた画像処理システム及びプログラム | |
| US8849089B2 (en) | Motion picture creation method in portable device and related transmission method | |
| JP2005117447A (ja) | 動画記録装置、動画記録方法および動画記録プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051004 |