JP5933860B2

JP5933860B2 - 動画再生装置

Info

Publication number: JP5933860B2
Application number: JP2015555881A
Authority: JP
Inventors: 喬之築谷; 恭一益冨
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-01-21
Filing date: 2014-01-21
Publication date: 2016-06-15
Anticipated expiration: 2034-01-21
Also published as: CN105917383B; JPWO2015111131A1; CN105917383A; WO2015111131A1; US9872005B2; US20170048506A1; DE112014006224T5

Description

この発明は、単一動画データから複数のカラーバリエーションに対応した動画データを再生する動画再生装置に関するものである。

自動車や家電製品、衣服など同一形状で複数のカラーバリエーションを持つ物体が登場する動画データを作成するときに、そのカラーバリエーション全てに対して同じ内容の動画データを用意したい場合、あらかじめカラーバリエーション分だけ動画データを生成しておく必要がある。

ところが、その場合、カラーバリエーションの数に比例してファイル容量を消費してしまうという問題や、新たにカラーバリエーションが追加された場合に、毎回動画データを生成する手間がかかってしまうという問題がある。

これに対する解決策として、複数のカラーバリエーションに対応して、単一動画データ中の対象物体のみの色を、動画再生時に変更することが考えられる。単一の画像データから、複数の画像を生成する手法としては、例えば、特許文献１では、前景となる映像のうち３次元指示手段によって指示された部分を透明とし、背景となる映像と合成する手法が開示されている。また、特許文献２では、対象物体が背景画像上に影を落としている場合に、影を保持したまま背景画像を変更する手法が開示されている。

特開平１１−２２４３２１号公報特表２００２−５２４００３号公報

しかしながら、特許文献１は、動画データの中の対象物体に着目した合成はなされないため、対象物体の色だけを変更することはできないという課題があった。また、特許文献２は、対象物体に着目はしているが、そこから背景に落とされる影を対象としており、特許文献１と同じく、対象物体の色だけを変更することはできないという課題があった。

この発明は、上記のような課題を解決するためになされたものであり、動画データ中に表示される対象物体について、単一動画データから複数のカラーバリエーションに対応した動画データを再生時に生成することができる動画再生装置を提供することを目的とする。

この発明に係る動画再生装置は、透明度を有する対象物体と、対象物体上の陰影と光沢のうちの少なくとも一つと、背景画像とを含む動画データを格納する動画データ格納部と、動画データ格納部から動画データを取り出し、動画データの背後に、設定変更可能な色の領域を配置し、動画データと領域とを合成して、透明度に応じた領域の色を対象物体の色に設定する動画制御部とを備え、対象物体は、複数の透明度を有し、動画制御部は、設定変更可能な色の領域を複数配置し、複数の透明度各々に応じて対象物体の色を設定することを特徴とするものである。

この発明によれば、動画データ中に表示される対象物体について、単一動画データから複数のカラーバリエーションに対応した動画データを再生時に生成することができる。

この発明の実施の形態１に係る動画再生装置の構成図である。動画データ格納部に格納される動画データの一例を示す図である。この発明の実施の形態１におけるアニメーション生成手法の概観図である。この発明の実施の形態１に係る動画再生装置の動作のフローチャートである。この発明の実施の形態２に係る動画再生装置の動作のフローチャートである。この発明の実施の形態３におけるアニメーション生成手法の概観図である。この発明の実施の形態３に係る動画再生装置の動作のフローチャートである。

以下、この発明の実施の形態について添付の図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る動画再生装置１０１の構成図である。
図１に示すように、動画再生装置１０１は、動画データ格納部１０２と、動画制御部１０３とを備える。

動画データ格納部１０２は、再生する動画のもととなる動画データを格納する。なお、この実施の形態１では、動画データにおいて、対象物体２０１と対象物体上の陰影部や光沢部は単一の透明度を有する。この実施の形態１においては、例えば、対象物体２０１を透明、対象物体上の陰影と光沢のうちの少なくとも一つを半透明、背景画像２０３を不透明とする透明度を有し、対象物体２０１と、対象物体２０１上の陰影と光沢のうちの少なくとも一つと、背景画像２０３とが統合されて格納されている（図２を用いて後述する）ものとする。
動画制御部１０３は、動画データ格納部１０２から動画データを取り出し、動画データの背後に、設定変更可能な色の領域を配置し、動画データと当該領域とを合成して、透明度に応じた領域の色を対象物体２０１の色に設定し、表示装置１０４に表示する。

図２は、動画データ格納部１０２に格納される動画データの一例を示す図である。
なお、動画データ格納部１０２に格納される動画データは、動画を構成するフレームの集合であり、図２は、そのフレームの例である。
また、動画データ格納部１０２には、色変更の対象となる物体が一つ登場する動画であれば、あらゆる動画データを格納することができるが、ここでは、図２に示すように、対象物体２０１として直方体が一つ登場する動画データを例に説明する。

図２において、白色であらわされる直方体が対象物体２０１であり、ここでは、実際にはこの部分は透明となっている。
また、対象物体２０１の図中で、手前の頂点付近は、対象物体２０１上の陰影と光沢のうちの少なくとも一つをあらわす陰影・光沢部２０２であり、実際にはこの部分は半透明となっている。
さらに、横縞であらわされているのが背景画像２０３であり、この部分は完全な不透明である。

動画ではなく静止画であれば、対象物体２０１と同じ輪郭で単一色のレイヤーと背景画像を背後に配置すればよいが、動画で同じ構成にしようとすると、元々の動画データの他に輪郭だけを持った動画データを別途持っておく必要が生じ、二つの動画データを同時に再生することになってしまい、動画データサイズや再生時の処理の負荷が大きくなってしまう。そこで、この発明の実施の形態１においては、このように、対象物体２０１と陰影・光沢部２０２と背景画像２０３とを一つの動画に統合することで、動画データサイズや再生時の処理の負荷が大きくなってしまうという問題を回避している。

次に、この発明の実施の形態１に係る動画再生装置１０１の動作について説明する。
図３は、この発明の実施の形態１におけるアニメーション生成手法の概観図である。
図４は、この発明の実施の形態１に係る動画再生装置１０１の動作のフローチャートである。
動画制御部１０３は、動画データ格納部１０２から、動画データを一つ取り出し、動画レイヤー３０１として配置する（ステップＳＴ４０１）。
動画制御部１０３は、ステップＳＴ４０１で取り出した動画データの背後に、動画レイヤー３０１と同じ大きさで、動画制御部１０３によって自由に色を変更可能な単一色の矩形３０２を配置する（ステップＳＴ４０２）。なお、図３では、分かりやすいように矩形３０２はドット模様としているが、実際には模様のない単一色で塗りつぶされた矩形である。

動画制御部１０３は、動画再生時に、動画データと矩形３０２とを合成して表示装置１０４に表示する（ステップＳＴ４０３）。ステップＳＴ４０３において、動画制御部１０３が、動画データと矩形３０２とを合成した結果が、図３に示す生成結果３０３である。
生成結果３０３では、背景部分は背景画像２０３（図２参照）がそのまま反映されており、対象物体２０１部分は矩形３０２の色となっている。さらに、陰影・光沢部２０２は半透明であるため、矩形３０２の色が合成されたような見た目になっている。

以上のように、実施の形態１によれば、透明度を有する対象物体２０１と、対象物体２０１上の陰影と光沢のうちの少なくとも一つ（陰影・光沢部２０２）と、背景画像とを含む動画データを格納する動画データ格納部１０２と、動画データ格納部１０２から動画データを取り出し、動画データの背後に、設定変更可能な色の領域（矩形３０２）を配置し、動画データと領域とを合成して、透明度に応じた領域の色を対象物体２０１の色に設定する動画制御部１０３とを備えたので、動画データ中に表示される対象物体２０１について、動画再生時に、一つの動画データから、任意色のカラーバリエーションに対応した動画を生成、再生することができる。また、これによって、カラーバリエーションの数が増えても動画データの保存に必要なファイルサイズは増加せず、カラーバリエーションを新たに追加するときに発生する作業も非常に軽微なものとすることができる。

実施の形態２．
実施の形態１では、動画レイヤー３０１には変更を加えなかったが、この実施の形態２では、動画レイヤー３０１中の陰影・光沢部２０２の色を変更する実施の形態について説明する。
動画再生装置１０１の構成については、実施の形態１において図１で説明したものと同様であるため、重複した説明を省略する。
この発明の実施の形態２に係る動画再生装置１０１の動作について説明する。
図５は、この発明の実施の形態２に係る動画再生装置１０１の動作のフローチャートである。
なお、図５のステップＳＴ４０１，４０２，４０３は、実施の形態１において、図４で説明したステップＳＴ４０１，４０２，４０３と同様であるため、重複した説明を省略し、図４と異なる動作について説明する。

実施の形態１で図２を用いて説明したように、この実施の形態２でも、動画レイヤー３０１においては、対象物体２０１は完全な透明で、陰影・光沢部２０２は半透明で、背景画像２０３に関しては完全な不透明で表される透明度を有するものとする。
そこで、ステップＳＴ４０２で動画データの背後に、さらに、動画レイヤー３０１と同じ大きさで、動画制御部１０３によって自由に色を変更可能な単一色の矩形３０２を配置した後、ステップＳＴ４０３で動画レイヤー３０１と矩形３０２とを合成する直前に、動画制御部１０３は、陰影・光沢部２０２の色のみを任意に変更する（ステップＳＴ４０４）。

その後、動画制御部１０３は、動画レイヤー３０１と矩形３０２とを合成して表示して（ステップＳＴ４０３）、処理終了する。
このように、ステップＳＴ４０４の処理によって、完全な透明でも完全な不透明でもない部分だけ色を変更し、あたかも対象物体に対して照射されている光源の色が変わったかのような効果を与えることができる。なお、ステップＳＴ４０４の処理は、例えば、透明度が完全な透明でも完全な不透明でもないところだけ色を変えるシェーダを適用するなどして実現可能である。

以上のように、実施の形態２によれば、動画制御部１０３は、動画データと設定変更可能な色の領域（矩形３０２）とを合成する前に、透明度に応じて、対象物体２０１上の陰影と光沢のうちの少なくとも一つの色を変更するようにしたので、光源色の種類が増えても動画データの保存に必要なファイルサイズは増加せず、また、光源色の種類を新たに追加するときに発生する作業も非常に軽微なものとすることができる。さらに、陰影・光沢部２０２の色を変更する際にシェーダを用いた場合、一般にシェーダはGraphics Processing Unit（GPU）によって高速に処理されるため、実施の形態１と比べて増える処理負荷は軽微ですむ。

実施の形態３．
実施の形態１では、矩形３０２は１色であり、その結果として対象物体２０１は１色で構成されていたが、この実施の形態３では、２色以上での塗り分けを行う実施の形態について説明する。
動画再生装置１０１の構成については、実施の形態１において図１で説明したものと同様であるため、重複した説明を省略する。

ただし、実施の形態１では、図２を用いて説明したように、動画レイヤー３０１においては、対象物体２０１と陰影・光沢部２０２は単一の透明度を保持していたが、この実施の形態３においては、複数の透明度を保持するように動画データを拡張する。ここで、単一の透明度とは、RGBA（Red，Green，Blue，Alpha）のように一つの画素に対して透明度（Alpha）を一つ持つことを表し、複数の透明度とは、RGBA1A2（Red，Green，Blue，Alpha1，Alpha2）のように一つの画素に対して複数の透明度を持つことを表す。

この実施の形態３に係る動画再生装置１０１では、例えば、元々の透明度の上位ビットと下位ビットに分けて複数の透明度を格納するなどして、動画データ格納部１０２には、対象物体２０１と陰影・光沢部２０２が複数の透明度を持つ動画データが格納されているものとする。
さらに、矩形３０２も複数配置し、それぞれの透明度に関連付ける（詳細については後述する）。

この発明の実施の形態３に係る動画再生装置１０１の動作について説明する。
図６は、この発明の実施の形態３におけるアニメーション生成手法の概観図である。
図７は、この発明の実施の形態３に係る動画再生装置１０１の動作のフローチャートである。
なお、この実施の形態３では、対象物体６０１と陰影・光沢部６０２が２つの透明度を持つものとして説明する。

動画制御部１０３は、動画データ格納部１０２から、動画データを一つ取り出し、動画レイヤー５０１として配置する（ステップＳＴ７０１）。
動画制御部１０３は、ステップＳＴ７０１で配置した動画データの背後に、さらに、動画レイヤー５０１と同じ大きさで、動画制御部１０３によって自由に色を変更可能な単一色の矩形５０２，５０３をそれぞれ配置する（ステップＳＴ７０２）。具体的には、図６に示すように、動画レイヤー５０１に対して、色を表示する矩形５０２，５０３が配置される。

なお、ここでは、図６に示す対象物体６０１の、向かって右側の面（図６の（ａ）の部分）は、矩形５０３に対応した透明度を持ち、それ以外の面（図６の（ｂ）の部分）は矩形５０２に対応した透明度を持っているものとする。また、図６に示す対象物体６０１の向かって右側の面の陰影・光沢部６０２（図６の（ｅ）の部分）と、それ以外の陰影・光沢部６０２（図６の（ｆ）の部分）は、それぞれ矩形５０２と矩形５０３とに対応する異なる透明度を持っているものとする。例えば、対象物体の画素をＲＧＢＡ１Ａ２と定義し、Ａ１（０．０〜１．０）が矩形５０２、Ａ２（０．０〜１．０）が矩形５０３に対応しているとすると、ここでは、図６（ａ）の部分は、Ａ１が０．０，Ａ２が１．０、図６（ｂ）の部分は、Ａ１が１．０，Ａ２が０．０、図６（ｅ）の部分は、Ａ１が０．２，Ａ２が０．８、図６（ｆ）の部分は、Ａ１が０．３，Ａ２が０．２の透明度を持つものとする。
また、ここで、図６では、分かりやすいように矩形５０２，５０３はドット模様としているが、実際には模様のない単一色で塗りつぶされた矩形である。

動画制御部１０３は、動画再生時に、動画データと矩形５０２，５０３とを合成して表示装置１０４に表示する（ステップＳＴ７０３）。なお、この時、動画制御部１０３は、対象物体６０１と陰影・光沢部６０２について、それぞれの透明度に応じて配置した矩形５０２，５０３と合成する。

ステップＳＴ７０３において、動画制御部１０３が、動画データと矩形５０２，５０３とを合成した結果が、図６に示す生成結果５０４である。
ここで、図６（ａ）の部分は、Ａ１が０．０，Ａ２が１．０、図６（ｂ）の部分は、Ａ１が１．０，Ａ２が０．０の透明度を持つものとするので、図６（ａ）の部分にはＡ２が対応する矩形５０３の色のみが反映され、図６（ｂ）の部分にはＡ１が対応する矩形５０２の色のみが反映されることとなる。また、図６（ｅ）の部分は、Ａ１が０．２，Ａ２が０．８、図６（ｆ）の部分は、Ａ１が０．３，Ａ２が０．２の透明度を持つものとするので、図６（ｅ），（ｆ）の部分は、それぞれの透明度に応じて、矩形５０２の色と矩形５０３の色とが混ざった色が反映されることとなる。
したがって、生成結果５０４において、対象物体６０１の、向かって右の面（図６の（ｃ）の部分）だけ矩形５０３の色が反映されており、それ以外の面（図６の（ｄ）の部分）には矩形５０２の色が反映されている。さらに、対象物体６０１の陰影・光沢部６０２は、向かって右の面（図６の（ｇ）の部分）と、それ以外の面（図６の（ｈ）の部分）にそれぞれ、矩形５０３と矩形５０２が合成されたような見た目になっている。なお、背景部分は、実施の形態１同様、背景画像６０３がそのまま反映されている。

このように、動画データのフォーマットを変更しなくても、動画データ格納部１０２が、例えば、元々の透明度の上位ビットと下位ビットに分けるなどして複数の透明度を格納し、動画制御部１０３が、それらを取り出し、シェーダ処理などによってそれらを適切な矩形５０２，５０３と合成することによって、対象物体６０１と陰影・光沢部６０２とをそれぞれ２色に塗り分ける。
なお、ここでは、対象物体６０１と陰影・光沢部６０２はそれぞれ２色であり２つの透明度を持つ場合を例に説明したが、これに限らず、２つ以上の透明度を持つようにしてもよい。また、ここでは、２つの矩形５０２，５０３が配置されることとしたが、これに限らず、矩形の数はいくつでもよい。

また、この実施の形態３を、実施の形態２に適用することも可能である。つまり、動画制御部１０３は、複数の矩形５０２，５０３を配置し、対象物体６０１上の陰影・光沢部６０２の色を、透明度に応じてさらに任意に変更して、動画データと矩形５０２，５０３とを合成して表示するようにすることも可能である。

以上のように、実施の形態３によれば、動画制御部１０３は、設定変更可能な色の領域（矩形５０２，５０３）を複数配置し、複数の透明度各々に応じて対象物体６０１の色を設定するようにしたので、動画データ中に表示される対象物体６０１について、一つの動画データから、任意色のカラーバリエーションに対応した動画を生成、再生することができることに加え、対象物体６０１を複数の色で塗り分けられることができる。さらに、複数の透明度を適用する処理をシェーダで実施した場合は一般にシェーダはGraphics Processing Unit（GPU）によって高速に処理されるため、実施の形態１と比べて増える処理負荷は軽微である。

なお、上記実施の形態１〜３においては、対象物体２０１，６０１が動画領域中のどの部分に表示されるかわからないため、動画レイヤー３０１と同じ大きさの矩形３０２，５０２，５０３を配置するものとしたが、これに限らず、動画の透明部分、または、完全な不透明でない部分、つまり、対象物体２０１，６０１を覆う部分が色づけされる大きさであればよく、形状についても、矩形３０２，５０２，５０３に限らず、任意の形状とすればよい。
また、上記実施の形態１〜３において、動画データ格納部１０２は、ＨＤＤ、ＤＶＤ、メモリなどによって構成され、動画制御部１０３は、ソフトウェアに基づくＣＰＵを用いたプログラム処理によって実行されるものである。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る動画再生装置は、動画データ中に表示される対象物体について、単一動画データから複数のカラーバリエーションに対応した動画データを再生時に生成することができることができるため、単一動画データから複数のカラーバリエーションに対応した動画データを再生する動画再生装置等に適用することができる。

１０１動画再生装置、１０２動画データ格納部、１０３動画制御部、１０４表示装置、２０１，６０１対象物体、２０２，６０２陰影・光沢部、２０３，６０３背景画像、３０１，５０１動画レイヤー、３０２，５０２，５０３矩形、３０３，５０４生成結果。

Claims

透明度を有する対象物体と、前記対象物体上の陰影と光沢のうちの少なくとも一つと、背景画像とを含む動画データを格納する動画データ格納部と、
前記動画データ格納部から前記動画データを取り出し、前記動画データの背後に、設定変更可能な色の領域を配置し、前記動画データと前記領域とを合成して、前記透明度に応じた前記領域の色を前記対象物体の色に設定する動画制御部とを備え、
前記対象物体は、複数の前記透明度を有し、
前記動画制御部は、前記設定変更可能な色の領域を複数配置し、前記複数の透明度各々に応じて前記対象物体の色を設定する
ことを特徴とする動画再生装置。
前記動画制御部は、前記動画データと前記設定変更可能な色の領域とを合成する前に、前記透明度に応じて、前記対象物体上の陰影と光沢のうちの少なくとも一つの色を変更する
ことを特徴とする請求項１記載の動画再生装置。