JP4066235B2 - 動画送信装置及び動画合成プログラム - Google Patents

動画送信装置及び動画合成プログラム Download PDF

Info

Publication number
JP4066235B2
JP4066235B2 JP2002111930A JP2002111930A JP4066235B2 JP 4066235 B2 JP4066235 B2 JP 4066235B2 JP 2002111930 A JP2002111930 A JP 2002111930A JP 2002111930 A JP2002111930 A JP 2002111930A JP 4066235 B2 JP4066235 B2 JP 4066235B2
Authority
JP
Japan
Prior art keywords
still image
still
moving image
communication terminal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002111930A
Other languages
English (en)
Other versions
JP2003309834A (ja
Inventor
幹緒 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2002111930A priority Critical patent/JP4066235B2/ja
Publication of JP2003309834A publication Critical patent/JP2003309834A/ja
Application granted granted Critical
Publication of JP4066235B2 publication Critical patent/JP4066235B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、動画送信装置及び動画合成プログラムに関するものであり、特に、通信端末と通信回線で接続され通信端末に動画データを送信する動画送信装置、及びそのための動画データを合成する動画合成プログラムに関する。
【0002】
【従来の技術】
近年、携帯電話や個人情報端末(PDA)などの携帯端末のサービスも第3世代が開始しようとしており、携帯端末の伝送帯域が向上し、携帯端末のネットワーク上でも動画を含む情報量の多いコンテンツが配信されるようになってきた。
【0003】
しかしながら、携帯端末は消費電力や実装されるデバイスの制限などにより、パソコンに代表される設置型の端末と同等の情報量のコンテンツを再生することはできないのが現状である。これは、携帯端末に対しての通信路が小さいことにより通信できる情報量が制限されていることにもよる。
【0004】
特開2001−119661では、動画像データから等時間隔で特定の静止画を切り出し、それを早送りデータとして利用する技術が開示されている。しかし、この早送りデータはコンテンツ全体の内容確認用に使用されるためのもので動画データの情報量低減を直接の目的としていないため、動画再生能力の低い携帯端末でもスムーズに動画が再生されることは企図されていない。
【0005】
【発明が解決しようとする課題】
本発明は、上記の事情を考慮して、通信路が小さく動画再生能力が低い携帯端末でもスムーズに動画が再生される動画送信装置及び動画合成プログラムを提供することを目的とする。
【0006】
【課題を解決するための手段】
請求項1の本発明は、通信端末と通信回線で接続され、通信端末に動画データを送信する動画送信装置であって、動画データを各フレーム毎の静止画に変換する動画処理部と、前記通信端末との通信速度を検出する通信速度検出部と、検出された通信速度に基づいて前記通信端末に単位時間当たり通信可能な静止画の枚数を決定する制御部と、前記制御部で決定された単位時間当たり通信可能な静止画の枚数に基づいて前記動画処理部で変換された静止画の連続する複数フレームの画像の統一値を算出して静止画を再合成し、動画とする静止画再合成部と、動画を構成する連続した再合成静止画を通信端末に送出する静止画送出部と、からなる動画送信装置、からなる。
【0007】
請求項1の本発明によれば、動画処理部で動画データを各フレーム毎の静止画に変換し、通信速度検出部でこの動画送信装置と通信端末との通信速度を検出し、制御部において通信速度検出部で検出された通信速度に基づいて前記通信端末に単位時間当たり通信可能な静止画の枚数を決定し、静止画再合成部で前記制御部で決定された単位時間当たり通信可能な静止画の枚数に基づいて前記動画処理部で変換された静止画の連続する複数フレームの画像の統一値を算出して静止画を再合成し、静止画送出部で連続した再合成静止画を通信端末に送出する。
【0008】
複数フレームの画像の統一値を算出する方法としては、当該複数フレームの各画素を平均化したり、当該複数フレームの最大値を統一値としたり、当該複数フレームの最小値を統一値としたりする方法がある。
【0009】
請求項2の本発明は、前記動画送信装置は前記動画処理部で変換された静止画の連続する複数フレーム間でシーン変化を検出するシーン変化検出部を有し、前記シーン変化検出部でシーン変化が検出された場合には前記静止画再合成部において当該シーン変化を有する静止画フレームを統一値を算出する対象としない請求項1の動画送信装置、からなる。
【0010】
請求項2の本発明によれば、シーン変化検出部が前記動画処理部で変換された静止画の連続する複数フレーム間でシーン変化を検出し、前記シーン変化検出部でシーン変化が検出された場合には前記静止画再合成部が当該シーン変化を有する静止画フレームを統一値を算出する対象としない。シーン変化を有する静止画フレームを統一値の算出対象とすると、統一化する対象のなかに急激に変化した画像のフレームが含まれることになり、この画像も統一化対象にすると統一化した後の画像が不明確なものになってしまう可能性があるからである。
【0011】
請求項の本発明は、通信端末に送信するための動画データを合成するためにコンピュータに、動画データを各フレーム毎の静止画に変換するステップと、前記通信端末との通信速度を検出するステップと、検出された通信速度に基づいて前記通信端末に単位時間当たり通信可能な静止画の枚数を決定するステップと、前記決定された単位時間当たり通信可能な静止画の枚数に基づいて前記変換された静止画の連続する複数フレームの画像の統一値を算出して静止画を再合成して連続した再合成静止画を送出用の動画とするステップと、を実行させるための動画合成プログラム、からなる。
【0012】
請求項の本発明によれば、動画データを各フレーム毎の静止画に変換し、通信しようとする通信端末との通信速度を検出し、検出された通信速度に基づいて前記通信端末に単位時間当たり通信可能な静止画の枚数を決定し、前記決定された単位時間当たり通信可能な静止画の枚数に基づいて前記変換された静止画の連続する複数フレームの画像の統一値を算出して静止画を再合成して連続した再合成静止画を前記通信端末への送出用の動画とする。
【0013】
複数フレームの画像の統一値を算出する方法としては、上記請求項1の発明の説明で述べた通りの方法がある。
【0014】
【発明の実施の形態】
以下、添付図面に従って本発明の実施の形態を詳説する。
【0015】
本実施の形態では、動画サーバからインターネット回線を介して動画再生機である携帯電話に動画像データを送信する例を説明する。
【0016】
図1は、携帯電話4がインターネット回線を介して動画サーバ2に接続されている図である。動画サーバ2から携帯電話4のユーザが指定した動画像データがインターネット回線を介して携帯電話4に送信される。
【0017】
図2は、動画サーバ2の構成を示すブロック図である。
【0018】
動画サーバ2は、シーン検出部6、CPU8、作業メモリ10、動画処理部12、通信速度検出部14、動画データベース16、通信インターフェース18、静止画保管メモリ20、静止画合成部22、静止画送出部24がバス25を介して接続された構成になっている。作業メモリ10はデータを一時的に格納して各種作業をするためのメモリである。通信インターフェース18はインターネット網に接続されている。
【0019】
本実施の形態の作用を説明する。
【0020】
図5は、動画像データ送信のリクエストを受けてから動画像データを送信するまでの動画サーバ2の作動の流れを示したフローチャートである。
【0021】
まず、携帯電話4から所望の動画像データを送信するよう動画サーバ2にリクエストが発せられるので、動画サーバ2はそのリクエストを受信する(ステップ30)。携帯電話4のユーザは、キーワード等を入力して動画データベース16で所望のデータを検索することもできる。この場合は、動画データベース16での検索結果を携帯電話4に送信して提供可能な動画像のリストを携帯電話4のユーザに知らせる。
【0022】
ユーザの入力により送信してほしい動画像データが選択され、送信するべき動画が動画サーバ2内で特定される(ステップ32)。特定された動画が動画処理部12において各フレーム毎に静止画に変換される(ステップ34)。ここで変換された静止画のフレームが図3、図4に示すオリジナルフレーム26である。元の動画像データがMPEGの場合には、直前のフレームに対する動きの差分が入れられることになる。なお、変換された静止画のフレームは静止画保管メモリ20にて保管される。
【0023】
通信速度検出部14において携帯電話4と動画サーバ2との間の通信速度が検出される(ステップ36)。検出した通信速度に基づいて、CPU8が単位時間当たりの通信可能な静止画の枚数を計算する(ステップ38)。図示しないメモリには予めどの通信速度なら単位時間にどれくらいの静止画枚数を通信可能であるかのデータが格納されている。
【0024】
静止画保管メモリ20内に保管されている連続する静止画フレームの中に、動画符号列に含まれる動きベクトルに基づくシーン変化点があるかどうかをシーン検出部6で判断する(ステップ40)。シーン変化点とは、隣接する静止画フレームの対応する各画素の差をとってその差が大きい場合にシーン変化点とみなされる。シーン変化点があると判断された場合は、シーン変化が存在する静止画フレームを一旦後述する平均化対象から除去する(ステップ42)。
【0025】
その後、ステップ38で計算された単位時間当たりの通信可能な静止画の枚数のデータに基づいて、静止画合成部22において平均化するべき連続する複数のフレームを選択する(ステップ44)。すなわち、何枚の連続するオリジナルフレームで後述する平均値を算出するかを決定する。単位時間当たりの通信可能な静止画の枚数が多ければ少数の連続する静止画フレームで平均化することができ、単位時間当たりの通信可能な静止画の枚数が少なければ多数の連続する静止画フレームで平均化しなければならない。
【0026】
ステップ40でシーン変化点が検出されない場合はこのステップ44に移行する。
【0027】
静止画合成部22において、選択された連続する複数フレームの各ピクセルの平均値を算出し(ステップ46)、算出した平均値を取って静止画を再合成する(ステップ48)。図3は、オリジナルフレーム26にシーン変化点が存在しない場合に送出フレーム28を再合成する状態を示した模式図である。図4は、オリジナルフレーム26にシーン変化点が存在する場合に送出フレーム28を再合成する状態を示した模式図である。
【0028】
図3では、ステップ44で述べた連続する複数フレームの選択として4枚の連続するオリジナルフレーム26を選択している。そして4フレームで各ピクセルの平均値を算出し(ステップ46)、その平均値から1つの静止画フレームを送出フレーム28として生成している(ステップ48)。そして複数の送出フレーム28が連続状態になって1つの動画データを形成する。
【0029】
図4では、オリジナルフレームにおいてシーン変化点が検出されたため(ステップ40)、シーン変化が存在する静止画フレームを平均化対象から除去する(ステップ42)。したがって、ステップ44で述べた連続する複数フレームの選択として4枚の連続するオリジナルフレーム26を選択した場合でも、シーン変化が存在する前のフレームは2枚で平均化対象とされ、シーン変化中の2枚は平均化対象から外され、その後の4枚が平均化対象として選択されている。尚、シーン変化フレーム及びその後の3枚のフレームをまとめて平均化対象にすることはしない。
【0030】
そして4フレーム又は2フレームで各ピクセルの平均値を算出し(ステップ46)、その平均値から1つの静止画フレームを送出フレーム28として生成している(ステップ48)。そして複数の送出フレーム28が連続状態になって1つの動画データを形成する。シーン変化を有するオリジナルフレームを平均値の算出対象としないのは、平均化する対象のなかに急激に変化した画像のフレームが含まれることになり、この画像も平均化対象にすると平均した後の画像が不明確なものになってしまうからである。
【0031】
再合成した連続静止画は静止画送出部24に送られ(ステップ50)、通信インターフェース18からインターネット網を介して携帯電話4に送出される(ステップ52)。携帯電話4では受信した連続静止画が動画状態となって再生される。携帯電話4では送られてきた動画データを解凍することなしに動画を再生できるので、解凍機能を搭載する必要がない。
【0032】
本形態によれば、動画像のフレーム数は減るが、携帯電話に処理能力を必要とする動画再生機能を搭載することなく、携帯電話上でスムーズに変化する動画を再生することができる。
【0033】
本形態では動画送信装置として動画サーバを用いて説明したが、動画サーバ以外の本発明の機能を有する送信装置なら適用可能である。また、図5に示す手順で送出用フレームを生成するプログラムも本発明の範囲内である。
【0034】
【発明の効果】
請求項1の本発明によれば、複数フレームの静止画の統一値を算出する機能を有しているので、動画像のフレーム数が減っても通信端末で動画像をスムーズに再生することができ、動画再生機能が搭載されていない携帯端末や画像処理能力が低い端末でも動画の再生をすることができる。
【0035】
請求項2の本発明によれば、再合成した静止画が明瞭になるので、送信されてきた動画が何を表示しているかを見ている者が即座に理解できる利点を有する。
【0036】
請求項3の本発明によれば、複数フレームの静止画の統一値を算出するステップを有しているので、動画像のフレーム数が減っても通信端末で動画像をスムーズに再生することができ、動画再生機能が搭載されていない携帯端末や画像処理能力が低い端末でも動画の再生をすることができる。
【図面の簡単な説明】
【図1】携帯電話がインターネット回線を介して動画サーバに接続されている図。
【図2】動画サーバの構成を示すブロック図。
【図3】オリジナルフレームにシーン変化点が存在しない場合に送出フレームを再合成する状態を示した模式図。
【図4】オリジナルフレームにシーン変化点が存在する場合に送出フレームを再合成する状態を示した模式図。
【図5】動画像データ送信のリクエストを受けてから動画像データを送信するまでの動画サーバの作動の流れを示したフローチャート。
【符号の説明】
2…動画サーバ、4…携帯電話、6…シーン検出部、8…CPU、10…作業メモリ、12…動画処理部、14…通信速度検出部、18…通信インターフェース、20…静止画保管メモリ、22…静止画合成部、24…静止画送出部、26…オリジナルフレーム、28…送出フレーム

Claims (4)

  1. 通信端末と通信回線で接続され、通信端末に動画データを送信する動画送信装置であって、
    動画データを各フレーム毎の静止画に変換する動画処理部と、
    前記通信端末との通信速度を検出する通信速度検出部と、
    検出された通信速度に基づいて前記通信端末に単位時間当たり通信可能な静止画の枚数を決定する制御部と、
    前記制御部で決定された単位時間当たり通信可能な静止画の枚数に基づいて前記動画処理部で変換された静止画の連続する複数フレームの画像の統一値を算出して静止画を再合成し、動画とする静止画再合成部と、
    動画を構成する連続した再合成静止画を通信端末に送出する静止画送出部と、からなる動画送信装置。
  2. 前記動画送信装置は前記動画処理部で変換された静止画の連続する複数フレーム間でシーン変化を検出するシーン変化検出部を有し、前記シーン変化検出部でシーン変化が検出された場合には前記静止画再合成部において当該シーン変化を有する静止画フレームを統一値を算出する対象としない請求項1の動画送信装置。
  3. 前記静止画再合成部は、連続するフレームの2枚又は4枚から1枚の静止画を再合成する請求項1又は2記載の動画送信装置。
  4. 通信端末に送信するための動画データを合成するためにコンピュータに、
    動画データを各フレーム毎の静止画に変換するステップと、
    前記通信端末との通信速度を検出するステップと、
    検出された通信速度に基づいて前記通信端末に単位時間当たり通信可能な静止画の枚数を決定するステップと、
    前記決定された単位時間当たり通信可能な静止画の枚数に基づいて前記変換された静止画の連続する複数フレームの画像の統一値を算出して静止画を再合成して連続した再合成静止画を送出用の動画とするステップと、を実行させるための動画合成プログラム。
JP2002111930A 2002-04-15 2002-04-15 動画送信装置及び動画合成プログラム Expired - Fee Related JP4066235B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002111930A JP4066235B2 (ja) 2002-04-15 2002-04-15 動画送信装置及び動画合成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002111930A JP4066235B2 (ja) 2002-04-15 2002-04-15 動画送信装置及び動画合成プログラム

Publications (2)

Publication Number Publication Date
JP2003309834A JP2003309834A (ja) 2003-10-31
JP4066235B2 true JP4066235B2 (ja) 2008-03-26

Family

ID=29394591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002111930A Expired - Fee Related JP4066235B2 (ja) 2002-04-15 2002-04-15 動画送信装置及び動画合成プログラム

Country Status (1)

Country Link
JP (1) JP4066235B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101271692B1 (ko) 2009-09-16 2013-06-04 후지쯔 가부시끼가이샤 동화상 재생 장치, 동화상 재생 프로그램, 및 동화상 재생 방법

Also Published As

Publication number Publication date
JP2003309834A (ja) 2003-10-31

Similar Documents

Publication Publication Date Title
US7508413B2 (en) Video conference data transmission device and data transmission method adapted for small display of mobile terminals
US8988482B2 (en) Apparatus and method for providing emotion expression service in mobile communication terminal
WO2008108379A1 (ja) メディア配信システム、配信サーバ装置及びそれらに用いるメディア配信方法並びにそのプログラム
US20050021827A1 (en) Data processing device, data processing system, data processing method, data processing program and recording medium storing the program
CN113141523B (zh) 资源传输方法、装置、终端及存储介质
JP5140952B2 (ja) コンテンツ配信システム、コンテンツ配信サーバ、コンテンツ再生端末、プログラム、コンテンツ配信方法
KR20230039723A (ko) 프로젝션 데이터 프로세싱 방법 및 장치
US6928087B2 (en) Method and apparatus for automatic cross-media selection and scaling
JP2008079228A (ja) 動画像・音声再生携帯端末、及び、動画像・音声配信端末、及び、システム
JP4157983B2 (ja) 画像送信装置
JP4066235B2 (ja) 動画送信装置及び動画合成プログラム
JP4970912B2 (ja) 動画分割サーバおよびその制御方法
JP2009100193A (ja) 選択支援装置および選択支援システム
JP2003030085A (ja) コンテンツ配信システム、コンテンツ配信制御装置、コンテンツ配信方法及び移動端末装置
JP2004088621A (ja) マルチメディア通信制御方法、マルチメディア通信制御サーバ及びマルチメディア通信システム
CN111698262B (zh) 带宽确定方法、装置、终端及存储介质
JP2006101063A (ja) 再生側の環境を考慮した動画像データの送信
JP2007041718A (ja) 情報配信システム、情報配信装置、情報受信装置、および、プログラム
JP2004180190A (ja) カメラ制御装置及びその制御ステップを実行するプログラム
JP4902326B2 (ja) 動画送信サーバおよびその制御方法
CN111711835B (zh) 多路音视频整合方法、系统及计算机可读存储介质
CN113630507B (zh) 视频彩铃播放方法、装置、设备及计算机可读存储介质
JP2012199712A (ja) 電子機器、及び録画制御プログラム
JP2005292691A (ja) 動画像表示装置および動画像表示方法
JP2007228412A (ja) 携帯端末装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050201

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070906

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071226

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110118

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120118

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees