JP4561253B2 - 画像送信装置、画像加工装置、及び、画像送受信システム - Google Patents

Description

本発明は、画像送信装置、画像加工装置、及び、画像送受信システムに関し、詳しくは、カメラで連続的に撮影した画像（特に動画）をネットワーク上の記憶装置に保存する画像送信装置、画像加工装置、及び、画像送受信システムに関する。

近年、カメラ付携帯通信端末が普及している。たとえば、その代表は、カメラ付携帯電話機である。以下、このカメラ付携帯電話機のことを、単に「携帯電話機」ということにすると、この携帯電話機は、電話回線を介して携帯電話機同士又は一般加入電話機との間で音声通話を行うことに加え、インターネットプロトコル対応の電子メールを送受信したり、ホームページにアクセスしたり、さらには、付属のカメラを使用して静止画や動画を撮影したりすることができる利便性の高い携帯型の多用途機器である。

ところで、携帯電話機のカメラで撮影した画像ファイル、とりわけ、動画ファイルは、サイズが大きく、携帯電話機のメモリ容量を圧迫する。このため、ネットワーク上に携帯電話機ユーザ専用の記憶空間を設けておき、必要の都度、その記憶空間に画像ファイルをアップロードして遠隔保存できるサービスが提供されている（たとえば、非特許文献１参照）。

また、このサービスを利用する際の面倒な手続を簡略化して、ワンタッチで所望の画像ファイルをアップロードできるようにした技術（たとえば、特許文献１参照）や、上記の記憶空間を家庭内ネットワーク上のサーバ（ホームサーバ）として、このホームサーバにアップロードされた画像ファイルを当該家庭内ネットワーク上のテレビなどで自由に再生できるようにした技術（たとえば、特許文献２参照）なども知られている。

"イメージステーション"、［ｏｎｌｉｎｅ］、株式会社ソニー、［平成１６年５月１日検索］、インターネット＜ＵＲＬ：http://www.sony.jp/products/Consumer/PCOM/Software_01q2/ImageStation/＞ 特開２００２−１０１３７３号公報 特開２００２−９５０７１号公報

しかしながら、上記の各文献に記載の従来技術にあっては、単に、“撮影済”の画像ファイルをネットワーク上の記憶空間にアップロードするだけのものに過ぎず、たとえば、一時停止や各種エフェクト処理等の編集操作を行う場合には、もっぱら携帯電話機内部でそれらの処理を実行してからアップロードしなければならず、携帯電話機の処理負担が大きくなるという問題点がある。

そこで、本発明の目的は、撮影された画像（動画）の加工処理について、画像送信側の負担を軽減する画像送信装置、画像加工装置、及び、画像送受信システムを提供することにある。

請求項１記載の画像送信装置は、連続的に取得された画像を編集操作指令情報に基づいて加工する機能を有する画像受信装置へ前記連続的に取得された画像及び前記編集操作指令情報を送信する画像送信装置であって、画像を連続的に取得する画像取得手段と、この画像取得手段によって連続的に取得された画像を送信する画像送信手段と、それぞれ異なる何れかの特殊効果を連続的に取得される画像に施すよう指示するための複数の操作ボタンと、前記画像取得手段によって連続的に画像が取得されている期間に前記操作ボタンの操作を検出することにより発生した何れかの特殊効果を表すステータスとこのステータスが発生した撮影時間情報とを検出する検出手段と、前記画像取得手段による取得後に前記検出手段によって検出されたステータス及び撮影時間情報とから成る編集操作指令情報を送信する送信手段とを備えたことを特徴とする。
請求項２記載の画像送信装置は、請求項１に記載の画像送信装置において、前記特殊効果は、ボカシ、デジタルズームイン／ズームアウトであることを特徴とする。
請求項３記載の画像送信装置は、請求項１又は２に記載の画像送信装置において、撮像手段を更に備え、前記画像取得手段は、この撮像手段によって撮像された画像を連続的に取得することを特徴とする。
請求項４記載の画像加工装置は、画像送信装置から連続的に送信された画像を受信する画像受信手段と、前記画像受信手段による画像の受信が完了した後に前記画像送信装置から送信された当該画像送信装置が操作部の操作を検出することにより発生した特殊効果を表すステータスとこのステータスが発生した撮影時間情報とから成る編集操作指令情報を受信する受信手段と、前記受信手段によって編集操作指令情報が受信されると、前記画像受信手段によって受信された画像を当該編集操作指令情報に基づいて加工する画像加工手段とを備えたことを特徴とする。
請求項５記載の画像送受信システムは、画像を連続的に取得して送信する画像送信装置と、この画像送信装置から送信された画像を受信する画像受信装置とからなる画像送受信システムであって、前記画像送信装置は、それぞれ異なる何れかの特殊効果を連続的に取得される画像に施すよう指示するための複数の操作ボタンと、画像取得中に前記操作ボタンの操作を検出することにより発生した何れかの特殊効果を表すステータスとこのステータスが発生した撮影時間情報とを検出する検出手段と、前記画像の取得後に前記検出手段によって検出されたステータス及び撮影時間情報とから成る編集操作指令情報を送信する送信手段とを備え、前記画像受信装置は、前記送信手段より送信された編集操作指令情報を受信する受信手段と、前記受信手段によって編集操作指令情報が受信されると、この編集操作指令情報に基づいて前記画像を加工する画像加工手段とを備えたことを特徴とする。

本発明によれば、編集操作が画像受信装置で実行されるため、画像送信装置の処理負担を大幅に軽減することができる。

以下、本発明の実施例を、携帯電話機を例にして、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。

図１は、本発明の画像送受信システムの一実施形態の概念的なシステム構成図である。この図において、携帯電話機１（画像送信装置）は、基地局２及び当該携帯電話機１のキャリアサーバ３を介して、不図示の電話回線網にアクセスし、携帯電話機同士又は一般加入電話機との間で音声通話を行うことができることに加え、キャリアサーバ３に接続されているインターネット４にアクセスして、インターネットプロトコル対応の電子メールの送受信したりできる公知の仕組みを備えたものであり、さらに、この携帯電話機１は、カメラ付きのもの、すなわち、カメラ５（画像取得手段、撮像手段）と、このカメラ５を用いて、たとえば、動画を撮影するときに操作される動画撮影開始ボタン６と、動画撮影終了ボタン７と、動画撮影の一時停止ボタン８と、一個ないしは数個のエフェクトボタン９とを備えたものである。なお、これら以外にも、フックボタンやテンキーボタンなどの各種ボタン類１０、液晶ディスプレイ１１、音声通話用のマイク１２やスピーカ１３、及び、アンテナ１４などが備えられている。

ここで、インターネット４には、インターネットサービスプロバイダ（ＩＳＰ）のサービスサーバ１５が接続されており、このサービスサーバ１５にはホームサーバ１６が接続されている。サービスサーバ１５は、契約ユーザ（携帯電話機１のユーザ）に対して所要のサービスを提供するためのサーバであり、そのサービスの一つは、携帯電話機１のカメラ５で撮影した画像ファイルの保存サービスである。画像ファイルの保存先は、ホームサーバ１６（画像加工装置、画像受信装置）の記憶装置１７に予め設定されているユーザ固有のファイルディレクトリ（ユーザディレクトリ）である。以下、記憶装置１７それ自体を携帯電話機１のユーザディレクトリとする。

このような構成において、携帯電話機１のユーザは、（１）その携帯電話機１を用いて、他の携帯電話機や一般加入電話機との間で音声通話を行うことができる他、（２）インターネット４を介して電子メールを送受信したり、（３）さらには、カメラ５で撮影した画像ファイルをインターネット４上の任意のサーバに遠隔保存したりすることができる。本発明の課題は（３）に関するものである。すなわち、カメラ５で撮影した画像ファイル、とりわけ、動画ファイルをインターネット４上の記憶装置１７に遠隔保存する際の携帯電話機１の処理負担の軽減を図ることにある。

携帯電話機１のカメラ５で動画を撮影する際のケースとしては、まず、任意の時間だけ単純に動画を撮影し続ける第一のケースがある。この第一のケースにあっては、動画撮影開始ボタン６が押されてから動画撮影終了ボタン７が押されるまでの間が撮影時間であり、この時間に相当する大きさの動画ファイルが生成され、その動画ファイルがインターネット４上の記憶装置１７に遠隔保存されることになる。この第一のケースにおける携帯電話機１の処理負担は、もっぱら画像ファイルの生成とアップロード（送信）に要する処理だけであり、概ね許容できる負担である。

しかし、動画の撮影と並行して一時停止や各種エフェクト等の編集操作を行う第二のケースにあっては、その編集操作に伴い発生したステータスに応じた処理の分だけ携帯電話機１の負担が増えるため、特に、処理能力が低い携帯電話機１の場合、動画ファイルのフレーム欠損等の不都合を招くおそれがあり、何らかの解決策が求められる。

そこで、本実施形態においては、かかる第二のケースの不都合を回避するために、動画の撮影と並行して一時停止や各種エフェクト等の編集操作を行う場合には、その編集操作に伴って発生したステータスを動画撮影後にインターネット４上にアップロードして、インターネット４上で後処理的にこのステータスに対応する編集操作を行うことにより、携帯電話機１の処理負担を大幅に軽減するようにしている。

図２は、実施形態の全体的なブロック図である。この図において、携帯電話機１は、前述のカメラ５を含む画像取得部１８（画像取得手段、撮像手段）と、前述の各種ボタン（動画撮影開始ボタン６、動画撮影終了ボタン７、一時停止ボタン８、エフェクトボタン９など）を含む操作部１９と、前述のマイク１２を含む音声入力部２０と、前述のスピーカ１３を含む音声出力部２１と、画像取得部１８で取得された画像（静止画や動画）を処理する画像処理部２２と、音声入力部２０からの入力音声や音声出力部２１への出力音声を処理する音声処理部２３と、アンテナ１４（画像送信手段、送信手段）を介して最寄りの基地局２との間でデジタルデータを送受信する通信部２４（画像送信手段、送信手段）と、携帯電話機１の各部の動作を統括制御し、動画撮影中に前記操作部９の操作を検出することにより発生したステータスとこのステータスが発生した撮影時間情報とを対応付けて一時記憶するメモリ２５１を備える制御部２５（検出手段）とを備える。なお、これ以外にも液晶ディスプレイ１１の表示制御部や電源部などが備えられているが、図面の輻輳を避けるために図示を略している。

一方、ホームサーバ１６（画像加工装置、画像受信装置）は、少なくとも、通信部２６（画像受信手段、受信手段）と画像処理部２７（画像加工手段、制御手段）とを有しており、このホームサーバ１６は、携帯電話機１からアップロードされた未編集の動画ファイル２８を取り込み、その動画ファイル２８を記憶装置１７に保存する。ここで、動画ファイル２８に関するステータスとしてメモリ２５１に一時記憶された編集操作指令情報が携帯電話機１からアップロードされた場合には、ホームサーバ１６は、動画ファイル２８を記憶装置１７から取り出し、画像処理部２７において、その編集操作指令情報で指定された所要の加工処理を動画ファイル２８に施した後、その加工済の動画ファイル２９を記憶装置１７に保存すると共に、元の動画ファイル２８を削除するという操作を行う。

つまり、ホームサーバ１６は、単に携帯電話機１からアップロードされた未編集の動画ファイル２８を記憶装置１７に保存するだけでなく、その動画ファイル２８に関する編集操作指令情報が携帯電話機１からアップロードされた場合には、当該編集操作指令情報で指定された所要の加工処理を動画ファイル２８に施した後、その加工済の動画ファイル２９を記憶装置１７に保存すると共に、元の動画ファイル２８を削除するという従来技術にない新たな操作を行う点に動作上の特徴がある。

図３は、ホームサーバ１６における編集操作の概念図である。この図において、（ａ）及び（ｃ）は携帯電話機１からアップロードされた未編集の動画ファイル２８であり、（ｂ）及び（ｄ）は編集操作後の動画ファイル２９である。これらの動画ファイル２８、２９の升目はフレームを表しており、各フレーム中の番号（Ｆ１、Ｆ２、・・・・）は便宜的なフレーム番号を表している。

まず、（ａ）の動画ファイル２８と（ｂ）の動画ファイル２９について説明する。動画ファイル２８は、Ｆ１〜Ｆ７までの７つのフレームで構成されている。最初のフレームＦ１は動画撮影開始直後のもの、すなわち、携帯電話機１の動画撮影開始ボタン６が押されたときのものであり、また、最後のフレームＦ７は動画撮影終了直前のもの、すなわち、携帯電話機１の動画撮影終了ボタン７が押されたときのものである。

ここで、動画ファイル２８のいくつかのフレーム（Ｆ３、Ｆ４）がハッチングで示されている。これらのフレームは携帯電話機１の一時停止ボタン８が押されている間に生成されたフレームである。

このように、動画撮影中に携帯電話機１の一時停止ボタン８が押された場合、本実施形態では、一時停止ボタン８の押圧操作に関わらず、すべてのフレーム（Ｆ１〜Ｆ７）を含む未編集の動画ファイル２８を記憶装置１７に保存する。そして、この場合、ホームサーバ１６は、携帯電話機１からアップロードされたステータスである編集操作指令情報（一時停止コマンド）に基づいて、保存済の動画ファイル２８に加工処理（この場合は不要なフレームＦ３、Ｆ４の削除操作）を施し、その加工処理後の動画ファイル２９を記憶装置１７に保存すると共に、元の動画ファイル２８を記憶装置１７から消去する。なお、いちいち動画ファイル２８を消去せずに、加工処理後の動画ファイル２９で未編集の動画ファイル２８を上書きしても構わない。

次に、（ｃ）の動画ファイル２８と（ｄ）の動画ファイル２９について説明する。この動画ファイル２８も上記の（ａ）と同様にＦ１〜Ｆ７までの７つのフレームで構成されている。最初のフレームＦ１は動画撮影開始直後のもの、すなわち、携帯電話機１の動画撮影開始ボタン６が押されたときのものであり、また、最後のフレームＦ７は動画撮影終了直前のもの、すなわち、携帯電話機１の動画撮影終了ボタン７が押されたときのものである。

ここで、動画ファイル２８の任意のフレーム（Ｆ４）の期間でエフェクト操作が行われている。すなわち、フレームＦ４の期間で携帯電話機１のエフェクトボタン９が押されている。エフェクト操作とは、当該フレームの画像に何らかのデジタル加工を施す特殊効果のことをいい、たとえば、ボカシ加工やデジタルズームイン／ズームアウト処理などである。

このように、動画撮影中に携帯電話機１のエフェクトボタン９が押された場合、本実施形態では、エフェクトボタン９の押圧操作に関わらず、すべてのフレーム（Ｆ１〜Ｆ７）を含む動画ファイル２８を記憶装置１７に保存する。そして、この場合、ホームサーバ１６は、携帯電話機１からアップロードされたステータスとして編集操作指令情報（たとえば、ボカシ加工を指示する編集操作指令情報）に基づいて、保存済の動画ファイル２８のフレームＦ４にボカシ処理を施し、その後、この動画ファイル２９を記憶装置１７に保存すると共に、元の動画ファイル２８を記憶装置１７から消去する。

図４は、携帯電話機１とホームサーバ１６の間のタイムランを示す図である。この図において、携帯電話機１の動画撮影開始ボタン６が押されると、携帯電話機１のカメラ５で動画の撮影が開始される。そして、携帯電話機１からホームサーバ１６へと動画ファイル２８のアップロードが開始される。動画ファイル２８のアップロード終了は、携帯電話機１の動画撮影終了ボタン７の操作の検出で判断される。かかる動画ファイル２８のアップロード中に、たとえば、一時停止（携帯電話機１の一時停止ボタン８の押圧操作）、又は、エフェクト（携帯電話機１のエフェクトボタン９の押圧操作）が行われた場合、携帯電話機１は、それらの編集操作を実行せずにこれらの操作に関わるステータスを記録時間情報とともにメモリ２５１に一時記憶し、アップロード終了後、このメモリ２５１に一時記憶された内容をセッションを維持した状態でホームサーバ１６にアップロードする。

ホームサーバ１６は、携帯電話機１からステータスとして編集操作指令情報がアップロードされた場合、動画ファイル２８のアップロード終了後に、その編集操作指令情報に基づいて動画ファイル２８に所要の加工処理を施し、加工処理された動画ファイル２９を記憶装置１７に保存すると共に、元の動画ファイル２８を消去するという一連の「後処理」を実行する。

以上のとおりであるから、本実施形態においては、実際の加工処理をホームサーバ１６で実行することができ、携帯電話機１の処理負担を大幅に軽減することができる。すなわち、携帯電話機１は、単に動画ファイルの生成とアップロードの機能に加え、一時停止や各種エフェクト等、ステータスとして所望の編集操作指令情報のホームサーバ１６へのアップロード機能を備えればよく、とりわけ、処理負担の大きな動画ファイルの加工処理機能を携帯電話機１から取り除くことができるという優れた利点が得られる。

なお、以上の実施形態では、ホームサーバ１６は、携帯電話機１から編集操作指令情報がアップロードされた場合、動画ファイル２８のアップロード終了後に、その編集操作指令情報に基づいて動画ファイル２８に所要の加工処理を施し、その編集操作後の動画ファイル２９を記憶装置１７に保存すると共に、元の動画ファイル２８を消去するという一連の「後処理」を実行しているが、たとえば、後処理実行中には、新たな動画ファイル２８のアップロードを受け付けることができないという点で不都合がある。

図５は、他の実施形態を示すフローチャートであり、後処理実行中でも、新たな動画ファイル２８のアップロードを受け付けるよう改良した実施形態を示す図である。この図において、まず、動画撮影開始（携帯電話機１の動画撮影開始ボタン６の押圧操作）を検出すると（ステップＳ１）、後処理実行中であるか否かを判定する（ステップＳ２）。そして、後処理実行中でなければ、動画撮影終了（携帯電話機１の動画撮影終了ボタン７の押圧操作）を検出（ステップＳ４）するまで、動画ファイル２７の記憶装置１７への保存操作を行い、一方、後処理実行中であれば、その後処理を中断（ステップＳ３）した後、上記と同様に、動画撮影終了（携帯電話機１の動画撮影終了ボタン７の押圧操作）を検出（ステップＳ４）するまで、動画ファイル２８の記憶装置１７への保存操作を行う。

そして、動画撮影終了（携帯電話機１の動画撮影終了ボタン７の押圧操作）を検出（ステップＳ４）すると、次に、中断中の後処理の有無を判定し（ステップＳ５）、中断中の後処理がない場合には、今回の後処理を実行（ステップＳ７）する一方、中断中の後処理がある場合には、その中断中の後処理を再開し（ステップＳ６）、当該後処理が完了してから、今回の後処理を実行（ステップＳ７）する。

このように、この改良された実施形態では、仮に後処理を実行中に新たな動画ファイル２８がアップロードされた場合でも、その実行中の後処理を中断して、当該動画ファイル２８のアップロードを受け付けることができ、動画ファイル２８の保存後に、先の後処理（中断中の後処理）を再開して、その後処理の完了後に今回の動画ファイル２８の後処理を実行できるから、上記の不都合を解消することができる。

本発明は、以上の実施形態に限定されない。その発明の思想の範囲で様々な発展例や変形例を包含することはもちろんであり、たとえば、以下のようにしてもよい。
前記の実施形態においては、カメラ付の携帯電話機を例にしたが、たとえば、カメラ付情報端末等の通信端末であってもよい。また、動画ファイルの保存先も、インターネット４上のホームサーバ１６を介した記憶装置１７に限定されない。有線や無線等のＬＡＮ（ローカルエリアネットワーク）上の記憶装置であってもよい。また、ホームサーバ１６や記憶装置１７の数は図示のように単一である必然性はなく、複数備えてもよい。

実施形態の概念的なシステム構成図である。 実施形態の全体的なブロック図である。 ホームサーバ１６における編集操作の概念図である。 携帯電話機１とホームサーバ１６の間のタイムランを示す図である。 他の実施形態を示すフローチャートである。

符号の説明

１ 携帯電話機（画像送信装置）
４ インターネット（ネットワーク）
５ カメラ（画像取得手段、撮像手段）
１４ アンテナ（画像送信手段、送信手段）
１６ ホームサーバ（画像加工装置、画像受信装置）
１７ 記憶装置
１８ 画像取得部（画像取得手段）
２４ 通信部（画像送信手段、送信手段）
２５ 制御部（検出手段）
２６ 通信部（画像受信手段、受信手段）
２７ 画像処理部（編集加工手段、制御手段）
２８ 画像ファイル

Claims (5)

1. 連続的に取得された画像を編集操作指令情報に基づいて加工する機能を有する画像受信装置へ前記連続的に取得された画像及び前記編集操作指令情報を送信する画像送信装置であって、
   画像を連続的に取得する画像取得手段と、
   この画像取得手段によって連続的に取得された画像を送信する画像送信手段と、
   それぞれ異なる何れかの特殊効果を連続的に取得される画像に施すよう指示するための複数の操作ボタンと、
   前記画像取得手段によって連続的に画像が取得されている期間に前記操作ボタンの操作を検出することにより発生した何れかの特殊効果を表すステータスとこのステータスが発生した撮影時間情報とを検出する検出手段と、
   前記画像取得手段による取得後に前記検出手段によって検出されたステータス及び撮影時間情報とから成る編集操作指令情報を送信する送信手段と
   を備えたことを特徴とする画像送信装置。
2. 前記特殊効果は、ボカシ、デジタルズームイン／ズームアウトであることを特徴とする請求項１に記載の画像送信装置。
3. 撮像手段を更に備え、
   前記画像取得手段は、この撮像手段によって撮像された画像を連続的に取得することを特徴とする請求項１又は２に記載の画像送信装置。
4. 画像送信装置から連続的に送信された画像を受信する画像受信手段と、
   前記画像受信手段による画像の受信が完了した後に前記画像送信装置から送信された当該画像送信装置が操作部の操作を検出することにより発生した特殊効果を表すステータスとこのステータスが発生した撮影時間情報とから成る編集操作指令情報を受信する受信手段と、
   前記受信手段によって編集操作指令情報が受信されると、前記画像受信手段によって受信された画像を当該編集操作指令情報に基づいて加工する画像加工手段と
   を備えたことを特徴とする画像加工装置。
5. 画像を連続的に取得して送信する画像送信装置と、この画像送信装置から送信された画像を受信する画像受信装置とからなる画像送受信システムであって、
   前記画像送信装置は、
   それぞれ異なる何れかの特殊効果を連続的に取得される画像に施すよう指示するための複数の操作ボタンと、
   画像取得中に前記操作ボタンの操作を検出することにより発生した何れかの特殊効果を表すステータスとこのステータスが発生した撮影時間情報とを検出する検出手段と、
   前記画像の取得後に前記検出手段によって検出されたステータス及び撮影時間情報とから成る編集操作指令情報を送信する送信手段と
   を備え、前記画像受信装置は、
   前記送信手段より送信された編集操作指令情報を受信する受信手段と、
   前記受信手段によって編集操作指令情報が受信されると、この編集操作指令情報に基づいて前記画像を加工する画像加工手段と
   を備えたことを特徴とする画像送受信システム。

Images