JP7608810B2 - 撮像装置及び動画像データの配信方法 - Google Patents

Description

本発明は、撮像装置及び動画像データの配信方法に関する。

撮像装置は、撮像部が撮影した動画像データにウォーターマーク画像を重畳して記録媒体に記録したり、ネットワーク配信したりすることがある（特許文献１参照）。

特開２００４－３２８７４７号公報

撮像装置は、動画像データにユーザが操作した所定のタイミングでウォーターマーク画像を重畳してネットワーク配信することがある。一度ネットワーク配信した動画像データを、ウォーターマーク画像を重畳するタイミングを再現して再配信したい場合がある。このような場合、ユーザが最初の配信時と同じタイミングでウォーターマーク画像の重畳を指示することは困難である。そこで、所定のタイミングでウォーターマーク画像が重畳された配信用の動画像データを記録媒体に記録しておくことが考えられる。

撮像装置は、撮像部が撮影した動画像データを記録媒体に記録する。撮像装置が、撮像部が撮影した動画像データに加えて、配信用の動画像データを記録媒体に記録すると必要以上の記録容量が必要となるので好ましくない。配信用の動画像データは通常スケーリング処理されていてライン数及び画素数が記録媒体に記録される動画像データよりも低減されている。よって、配信用の動画像データのみを記録媒体に記録することは好ましくない。

本発明は、所定のタイミングでウォーターマーク画像が重畳されて一度ネットワーク配信された動画像データを、ウォーターマーク画像の重畳のタイミングを再現しながら再配信することができる撮像装置及び動画像データの配信方法を提供することを目的とする。

本発明は、被写体を撮影して撮影画像データを生成する撮像部と、前記撮影画像データを保持する画像データ保持部と、前記画像データ保持部より読み出された前記撮影画像データに基づいて配信用撮影画像データを生成する配信用撮影画像処理部と、前記配信用撮影画像データのフレームにウォーターマーク画像を重畳するウォーターマーク画像重畳部と、前記ウォーターマーク画像が重畳された前記配信用撮影画像データを配信するよう外部に出力する出力部と、前記ウォーターマーク画像重畳部が前記配信用撮影画像データに前記ウォーターマーク画像を重畳したタイミングを示す情報を少なくとも含むウォーターマーク重畳補助情報を生成するデータ処理部と、前記画像データ保持部より読み出された前記撮影画像データに基づいて記録用撮影画像データを生成する記録用撮影画像処理部と、前記記録用撮影画像データに前記ウォーターマーク重畳補助情報に基づく付加データを付加して記録媒体に記録する記録処理部と、を備える撮像装置を提供する。

本発明は、配信用撮影画像処理部が配信用撮影画像データを生成し、ウォーターマーク画像重畳部が、前記配信用撮影画像データのフレームにウォーターマーク画像を重畳し、出力部が、前記ウォーターマーク画像が重畳された前記配信用撮影画像データを配信し、データ処理部が、前記ウォーターマーク画像重畳部が前記配信用撮影画像データに前記ウォーターマーク画像を重畳したタイミングを示す情報を少なくとも含むウォーターマーク重畳補助情報を生成し、記録処理部が、記録用撮影画像データに前記ウォーターマーク重畳補助情報に基づく付加データを付加して記録媒体に記録し、再生処理部が、前記記録媒体に記録されている前記付加データが付加されている前記記録用撮影画像データを再生して再生画像データを生成し、前記配信用撮影画像処理部が前記再生画像データに基づいて再配信用再生画像データを生成し、前記ウォーターマーク画像重畳部が、前記付加データより抽出された前記ウォーターマーク重畳補助情報に基づくタイミングで前記再配信用再生画像データに前記ウォーターマーク画像を重畳し、前記出力部が、前記ウォーターマーク画像が重畳された前記再配信用再生画像データを再配信する動画像データの配信方法を提供する。

本発明の撮像装置及び動画像データの配信方法によれば、所定のタイミングでウォーターマーク画像が重畳されて一度ネットワーク配信された動画像データを、ウォーターマーク画像の重畳のタイミングを再現しながら再配信することができる。

一実施形態の撮像装置を示すブロック図である。 ウォーターマーク画像Ｗｍ１に対して設定されているαチャンネルを概念的に示す図である。 ウォーターマーク画像Ｗｍ２に対して設定されているαチャンネルを概念的に示す図である。 図１における配信用撮影画像処理部３１によって生成された配信用撮影画像データＤ３１の１フレームを示す図である。 図１におけるウォーターマーク画像重畳部３２によってウォーターマーク画像Ｗｍ１が重畳された配信用撮影画像データＤ３２の１フレームを示す図である。 ウォーターマーク画像重畳部３２が配信用撮影画像データＤ３１にウォーターマーク画像を重畳するタイミングの一例を示す図である。 図１における記録再生処理部２３が生成する記録用撮影画像データＤ２２１の１フレームを概念的に示す図である。

以下、一実施形態の撮像装置及び動画像データの配信方法について、添付図面を参照して説明する。

図１において、撮像部１１は撮像素子及び複数のレンズを含み、被写体を例えばアスペクト比１６：９の画角で撮影して撮影画像データを生成する。撮像素子は、ＣＣＤ（Charge Coupled Device）であってもよいし、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）であってもよい。画像データ保持部１２は、撮像部１１より出力された撮影画像データを一時的に保持する。画像データ保持部１２はフレームメモリであり、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）であってもよいし、ＤＤＲ（Double-Data-Rate SDRAM）であってもよい。

配信用撮影画像処理部３１は、画像データ保持部１２より読み出された撮影画像データＤ１２にライン数及び画素数を低減するスケーリング処理を施し、必要に応じてノイズ低減処理を施して配信用撮影画像データＤ３１を生成する。配信用撮影画像処理部３１は、撮影画像データＤ１２の各フレームの一部を切り取るクリッピング処理を施してもよい。

ウォーターマーク画像保持部３３は、配信用撮影画像データＤ３１に重畳するウォーターマーク画像データを保持する。ウォーターマーク画像保持部３３は不揮発性メモリによって構成されている。図１に示す例では、ウォーターマーク画像保持部３３は、２つのウォーターマーク画像Ｗｍ１及びＷｍ２を示すウォーターマーク画像データを保持している。ウォーターマーク画像保持部３３は、１つのウォーターマーク画像を示すウォーターマーク画像データを保持してもよい。

ウォーターマーク画像データは、画像の不透明度を設定するαチャンネルと称される補助データを有する形式の画像データで構成されている。一例として、ウォーターマーク画像データはＰＮＧ形式である。

図２Ａは、ウォーターマーク画像データが示すウォーターマーク画像Ｗｍ１に対して設定されているαチャンネルを概念的に示している。一例として矩形状の領域内の背景Ｗｍ００が不透明度０％（即ち透明度１００％）に設定され、マークＷｍ１０１が不透明度１００％（即ち透明度０％）に設定されている。図２Ａに示す例では、マークＷｍ１０１は「Ｗ．ＭＫ」なる文字である。

図２Ｂは、ウォーターマーク画像データが示すウォーターマーク画像Ｗｍ２に対して設定されているαチャンネルを概念的に示している。同様に、矩形状の領域内の背景Ｗｍ００が不透明度０％に設定され、マークＷｍ２０１が不透明度１００％に設定されている。図２Ｂに示す例では、マークＷｍ２０１は「ＡＢＣ」なる文字である。

ウォーターマーク画像重畳部３２には、ユーザによって操作されたウォーターマーク画像の重畳または重畳の停止を指示する操作データが入力される。ウォーターマーク画像保持部３３が複数のウォーターマーク画像のウォーターマーク画像データを保持する場合には、ウォーターマーク画像重畳部３２には、ウォーターマーク画像を選択する情報を含む操作データが入力される。

ウォーターマーク画像重畳部３２は、ユーザの操作によって入力された操作データに従って、配信用撮影画像データＤ３１に選択されたウォーターマーク画像を示すウォーターマーク画像データを所定のタイミングで重畳して、配信用撮影画像データＤ３２を生成する。ウォーターマーク画像重畳部３２に操作データを供給するコントローラは、撮像装置に付属されたリモートコントローラであってもよいし、撮像装置と通信するスマートフォンのようなモバイル端末であってもよい。

図３は、配信用撮影画像処理部３１より出力された配信用撮影画像データＤ３１の１フレームを示している。図４は、ウォーターマーク画像重畳部３２によってウォーターマーク画像Ｗｍ１が重畳された配信用撮影画像データＤ３２の１フレームを示している。αチャンネルによって背景Ｗｍ００が不透明度０％に設定されているため、配信用撮影画像データＤ３２には、不透明度１００％のマークＷｍ１０１のみが重畳されているように見える。

ウォーターマーク画像重畳部３２は、配信用撮影画像データＤ３１にウォーターマーク画像Ｗｍ１またはＷｍ２を重畳する位置を自動的に決定してもよいし、ユーザによって操作された操作データに基づいてウォーターマーク画像Ｗｍ１またはＷｍ２を重畳する位置を設定してもよい。

データ処理部４１は、ウォーターマーク画像重畳部３２が配信用撮影画像データＤ３１にウォーターマーク画像データをどのように重畳したかを示すウォーターマーク重畳補助情報を生成するようデータ処理する。具体的には、データ処理部４１は、ウォーターマーク画像データを重畳したタイミングを示す情報と、重畳を停止したタイミングを示す情報と、選択されたウォーターマーク画像データとを含むウォーターマーク重畳補助情報を生成する。

図５に示すように、一例として、ユーザが、配信用撮影画像データＤ３１の開始のタイミングである時刻ｔ０から所定の時間が進行した時刻ｔ１でウォーターマーク画像Ｗｍ１を重畳するよう操作し、時刻ｔ２で重畳を停止するよう操作したとする。また、ユーザが、時刻ｔ３でウォーターマーク画像Ｗｍ２を重畳するよう操作し、時刻ｔ４で重畳を停止するよう操作したとする。

この場合、データ処理部４１は、ウォーターマーク画像データを重畳した時刻ｔ１、重畳を停止した時刻ｔ２、ウォーターマーク画像Ｗｍ１を示すウォーターマーク画像データを含むウォーターマーク重畳補助情報を生成する。また、データ処理部４１は、ウォーターマーク画像データを重畳した時刻ｔ３、重畳を停止した時刻ｔ４、ウォーターマーク画像Ｗｍ２を示すウォーターマーク画像データを含むウォーターマーク重畳補助情報を生成する。データ処理部４１は、生成したウォーターマーク重畳補助情報を記録再生処理部２３に供給する。記録再生処理部２３は、記録処理部と再生処理部とを含む。

ウォーターマーク画像データを重畳したタイミング及び重畳を停止したタイミングは、配信用撮影画像データＤ３１の開始時刻以降の時刻で表されていてもよいし、配信用撮影画像データＤ３１の開始時点以降のフレームを計数したフレーム番号で表されていてもよい。ウォーターマーク重畳補助情報は、ウォーターマーク画像データをそのまま含む代わりに、ウォーターマーク画像Ｗｍ１またはＷｍ２を指定するための指定番号を含んでもよい。指定番号を採用すれば、ウォーターマーク重畳補助情報のデータ容量を少なくすることができる。

図１に戻り、出力処理部３４は、配信用撮影画像データＤ３２をエンコードし、必要に応じて、プロトコル用のパケット化処理と、ＳＤＩ（Serial Digital Interface）用のシリアル化処理を施して、出力部３５に供給する。出力部３５は、出力処理部３４から供給されたエンコードされた配信用撮影画像データＤ３２を撮像装置の外部であるネットワークに出力する。ネットワークを介して配信される画像データには、図５で示すタイミングでウォーターマーク画像Ｗｍ１またはＷｍ２が重畳されている。

記録用撮影画像処理部２２１は、画像データ保持部１２より読み出された撮影画像データＤ１２にスケーリング処理とノイズ低減処理との少なくとも一方である記録用撮影画像のための処理を施して、記録用撮影画像データＤ２２１を生成する。スケーリング処理の一例として、撮像部１１より出力された撮影画像データが４Ｋと称される水平方向の画素数×垂直方向の画素数が3840×2160であるとき、記録用撮影画像処理部２２１は、フルＨＤの1920×1080の画素数に縮小する。記録媒体２４の容量が十分に大きいとき、記録用撮影画像処理部２２１は撮影画像データを縮小しなくてもよい。

記録用撮影画像データＤ２２１のライン数及び画素数は、配信用撮影画像データＤ３１のライン数及び画素数よりも多い。

記録再生処理部２３は、記録用撮影画像処理部２２１より出力された記録用撮影画像データＤ２２１を記録媒体２４に記録するために、記録用撮影画像データＤ２２１をエンコードし、ファイル化する。このとき、記録再生処理部２３は、データ処理部４１より供給されたウォーターマーク重畳補助情報に基づいて付加データ（メタデータ）を生成してフレーム単位で付加する。

図６は、記録再生処理部２３が生成するファイル化された記録用撮影画像データＤ２２１の１フレームを概念的に示している。図６に示すフレームがウォーターマーク画像データを重畳したタイミングのフレームであれば、付加データはウォーターマーク画像データの重畳を開始することを示す情報を含む。図６に示すフレームがウォーターマーク画像データの重畳を停止したタイミングのフレームであれば、付加データはウォーターマーク画像データの重畳を停止することを示す情報を含む。

記録媒体２４に記録されるファイルは、ヘッダとボディとフッタとで構成されたクリップファイルで構成されていてもよい。ヘッダには、クリップの長さ、エンコードする際の圧縮方式等の基礎情報が格納される。ボディには、フレーム単位の画像データ及び音声データが格納される。ボディの各フレームには付加データが付加されることがある。フッタにはクリップ全体に付加すべき付加データが格納される。

例えば、フレーム番号１００のフレームでウォーターマーク画像データの重畳を開始し、フレーム番号８００のフレームでウォーターマーク画像データの重畳を終了したとする。ボディのフレーム番号１００のフレームには、ウォーターマーク画像データの重畳の開始を示す値を示す付加データが付加される。ボディのフレーム番号８００のフレームには、ウォーターマーク画像データの重畳の停止を示す値を示す付加データが付加される。

付加データは、ウォーターマーク画像Ｗｍ１またはＷｍ２が重畳を重畳するフレーム内の位置を示す情報を含んでもよい。例えば、フレーム番号１００のフレームでウォーターマーク画像Ｗｍ１またはＷｍ２を重畳する位置が水平方向の画素位置１０、垂直方向のライン数１０と指定されているとする。フレーム番号５００のフレームでウォーターマーク画像Ｗｍ１またはＷｍ２を重畳する位置が水平方向の画素位置１００、垂直方向のライン数１００に変更されたとする。この場合、ボディのフレーム番号５００のフレームには、ウォーターマーク画像データの重畳位置の変更を示す値と、変更した重畳位置を示す付加データが付加される。

フッタは、ウォーターマーク画像Ｗｍ１またはＷｍ２を示すウォーターマーク画像データを格納する。ウォーターマーク画像データは、各フレームの付加データとして格納されるのではなく、１つのクリップファイルのフッタに格納されるので、付加データのデータサイズがさほど大きくなることはなく、クリップファイルのデータサイズがさほど大きくなることはない。フッタにウォーターマーク画像Ｗｍ１とウォーターマーク画像Ｗｍ２との双方を格納する場合は、ボディのフレームに対して付加する付加データに、ウォーターマーク画像Ｗｍ１とウォーターマーク画像Ｗｍ２とのいずれかを指定する指定番号を加えればよい。

このように、記録再生処理部２３は、付加データを含むファイル化された記録用撮影画像データＤ２２１を記録媒体２４に記録する。記録媒体２４は任意の記録媒体であり、フラッシュメモリによって構成されたメモリカードであってもよいし、ハードディスクドライブであってもよい。

記録用撮影画像データＤ２２１をファイル化する際の付加データの形式は、上述した例に限定されない。フッタに、ウォーターマーク画像データの重畳の開始したフレーム番号と重畳の開始を示す値との組と、ウォーターマーク画像データの重畳の停止したフレーム番号と重畳の停止を示す値との組と、ウォーターマーク画像データとがまとめて格納されていてもよい。このようにすれば付加データの検索がしやすくなる。

さらに、各フレームにウォーターマーク画像データを重畳すれば値１、ウォーターマーク画像データを重畳しなければ値０のように付加データを付加してもよい。このとき、上記のように、付加データには、ウォーターマーク画像Ｗｍ１またはＷｍ２を指定する指定番号を含ませればよい。

次に、配信用撮影画像処理部３１～出力部３５が、ユーザの操作に応じてウォーターマーク画像が重畳された配信用撮影画像データＤ３２を配信した後の再配信の処理を説明する。

図１において、記録再生処理部２３は、記録媒体２４に記録されている付加データを含むファイル化された記録用撮影画像データＤ２２１を記録媒体２４より読み出す。記録再生処理部２３は、読み出した記録用撮影画像データＤ２２１をデコードして、デコードされた再生画像データを再生画像処理部２２２に供給する。また、記録再生処理部２３は、デコードした記録用撮影画像データＤ２２１が有する付加データよりウォーターマーク重畳補助情報を抽出してデータ処理部４１に供給する。データ処理部４１はウォーターマーク重畳補助情報を保持する。

再生画像処理部２２２は、撮像部１１から画像データ保持部１２に供給されて保持される撮影画像データと同じ形式の画像データとなるように、記録再生処理部２３より供給された再生画像データを処理する。記録用撮影画像処理部２２１が撮影画像データＤ１２にライン数及び画素数を低減するスケーリング処理を施す場合、再生画像処理部２２２は、ライン数及び画素数を増大（復元）するスケーリング処理を施す。画像データ保持部１２は再生画像処理部２２２より供給された再生画像データＤ２２２を一時的に保持する。

配信用撮影画像処理部３１は、画像データ保持部１２より読み出された再生画像データＤ２２２にライン数及び画素数を低減するスケーリング処理を施し、必要に応じてノイズ低減処理を施して再配信用再生画像データＤ３１ｒを生成する。配信用撮影画像処理部３１は、再生画像データＤ２２２の各フレームの一部を切り取るクリッピング処理を実行してもよい。

ウォーターマーク画像重畳部３２は、データ処理部４１に保持されているウォーターマーク重畳補助情報に基づき、再配信用再生画像データＤ３１ｒに図５と同じタイミングでウォーターマーク画像Ｗｍ１またはＷｍ２である同じウォーターマーク画像データを重畳して、再配信用再生画像データＤ３２ｒを生成する。データ処理部４１に保持されているウォーターマーク重畳補助情報がウォーターマーク画像Ｗｍ１またはＷｍ２を指定するための指定番号を含む場合には、ウォーターマーク画像重畳部３２は、指定番号に従ってウォーターマーク画像保持部３３よりウォーターマーク画像データを読み出して再配信用再生画像データＤ３１ｒに重畳すればよい。

出力処理部３４は、再配信用再生画像データＤ３２ｒをエンコードし、必要に応じて、プロトコル用のパケット化処理と、ＳＤＩ用のシリアル化処理を施して、出力部３５に供給する。出力部３５は、出力処理部３４から供給されたエンコードされた再配信用再生画像データＤ３２ｒをネットワークに出力する。

以上のようにして、本実施形態の撮像装置及び動画像データの配信方法によれば、所定のタイミングでウォーターマーク画像が重畳されて一度ネットワーク配信された動画像データを、ウォーターマーク画像の重畳のタイミングを再現しながら再配信することができる。本実施形態の撮像装置及び動画像データの配信方法によれば、配信用の動画像データ（配信用撮影画像データＤ３２）を記録媒体２４に記録する必要はない。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形可能である。

１１ 撮像部
１２ 画像データ保持部
２３ 記録再生処理部（記録処理部，再生処理部）
２４ 記録媒体
３１ 配信用撮影画像処理部
３２ ウォーターマーク画像重畳部
３３ ウォーターマーク画像保持部
３４ 出力処理部
３５ 出力部
４１ データ処理部
２２１ 記録用撮影画像処理部
２２２ 再生画像処理部

Claims (4)

1. 被写体を撮影して撮影画像データを生成する撮像部と、
   前記撮影画像データを保持する画像データ保持部と、
   前記画像データ保持部より読み出された前記撮影画像データに基づいて配信用撮影画像データを生成する配信用撮影画像処理部と、
   前記配信用撮影画像データのフレームにウォーターマーク画像を重畳するウォーターマーク画像重畳部と、
   前記ウォーターマーク画像が重畳された前記配信用撮影画像データを配信するよう外部に出力する出力部と、
   前記ウォーターマーク画像重畳部が前記配信用撮影画像データに前記ウォーターマーク画像を重畳したタイミングを示す情報を少なくとも含むウォーターマーク重畳補助情報を生成するデータ処理部と、
   前記画像データ保持部より読み出された前記撮影画像データに基づいて記録用撮影画像データを生成する記録用撮影画像処理部と、
   前記記録用撮影画像データに前記ウォーターマーク重畳補助情報に基づく付加データを付加して記録媒体に記録する記録処理部と、
   を備える撮像装置。
2. 前記記録媒体に記録されている前記付加データが付加されている前記記録用撮影画像データを再生する再生処理部と、
   前記再生処理部によって再生された再生画像データを処理する再生画像処理部と、
   をさらに備え、
   前記画像データ保持部は、前記再生画像処理部によって処理された前記再生画像データを保持し、
   前記配信用撮影画像処理部は、前記画像データ保持部より読み出された前記再生画像データに基づいて再配信用再生画像データを生成し、
   前記ウォーターマーク画像重畳部は、前記付加データより抽出された前記ウォーターマーク重畳補助情報に基づくタイミングで前記再配信用再生画像データに前記ウォーターマーク画像を重畳し、
   前記出力部は、前記ウォーターマーク画像が重畳された前記再配信用再生画像データを再配信するよう外部に出力する
   請求項１に記載の撮像装置。
3. 前記ウォーターマーク重畳補助情報は、前記配信用撮影画像データ及び前記再配信用再生画像データに重畳された前記ウォーターマーク画像のデータ、または、複数の前記ウォーターマーク画像のデータのうちの前記配信用撮影画像データ及び前記再配信用再生画像データに重畳された前記ウォーターマーク画像のデータを指定するための指定番号を含む請求項２に記載の撮像装置。
4. 配信用撮影画像処理部が配信用撮影画像データを生成し、
   ウォーターマーク画像重畳部が、前記配信用撮影画像データのフレームにウォーターマーク画像を重畳し、
   出力部が、前記ウォーターマーク画像が重畳された前記配信用撮影画像データを配信し、
   データ処理部が、前記ウォーターマーク画像重畳部が前記配信用撮影画像データに前記ウォーターマーク画像を重畳したタイミングを示す情報を少なくとも含むウォーターマーク重畳補助情報を生成し、
   記録処理部が、記録用撮影画像データに前記ウォーターマーク重畳補助情報に基づく付加データを付加して記録媒体に記録し、
   再生処理部が、前記記録媒体に記録されている前記付加データが付加されている前記記録用撮影画像データを再生して再生画像データを生成し、
   前記配信用撮影画像処理部が前記再生画像データに基づいて再配信用再生画像データを生成し、
   前記ウォーターマーク画像重畳部が、前記付加データより抽出された前記ウォーターマーク重畳補助情報に基づくタイミングで前記再配信用再生画像データに前記ウォーターマーク画像を重畳し、
   前記出力部が、前記ウォーターマーク画像が重畳された前記再配信用再生画像データを再配信する
   動画像データの配信方法。

Images