JP5460277B2 - モノクロ動画の着色装置及びモノクロ動画の着色方法 - Google Patents

Description

本発明は、モノクロ動画に着色を行うモノクロ動画の着色装置及びモノクロ動画の着色方法に関する。

従来より、モノクロ映画やテレビのモノクロ動画等に着色を行いカラー動画を得る処理が行われている。例えば、モノクロ映画の１コマ１コマをスキャナーを用いてコンピュータで読み込み、描画ソフトを用いて読み込んだ１コマ１コマに手書きで着色を行うことがなされてきた。

また、特許文献１に示される色処理装置では、動画の見栄えを表示媒体に合わせて改善させる手法として色処理を行っている。この色処理装置では、動画像のフレーム画像に注目領域を設定し、注目領域が設定されたフレーム画像における注目領域がフレーム画像の全体に占める占有率を計算し、この占有率に基づき占有率の時間軸方向の増減を判定し、占有率と判定の結果に基づきフレーム画像ごとに色処理方法を選択して処埋する。

特開２００９−１２９３６２号公報

しかしながら、描画ソフトを用いて１コマ１コマに手書きで着色を行う場合、モノクロ動画のコマ数が多いと作業が繁雑で、且つ、１コマ１コマを別々に着色を行うことでコマ毎の色のばらつきが生じやすい。

また、特許文献１にあるような計算を駆使して着色の処理を行う場合、その処理に膨大な時間を費やし、簡易的に着色を施すことが困難である。

本発明は、このような事情に鑑みてなされたもので、１コマ１コマを別々に着色を行うことに比べ、作業量を抑えることが可能で、迅速且つ容易に着色可能なモノクロ動画の着色方法を提供することにある。

請求項１記載のモノクロ動画の着色装置は、モノクロ動画を所定のコマ数に分割しモノクロ画像を作成するモノクロ画像化手段と、モノクロ動画の同一の被写体である対象物が映り込んだ任意のワンシーンの最初の１コマのモノクロ画像とワンシーンの最後の１コマのモノクロ画像毎に、それぞれのモノクロ画像内の対象物毎の輪郭情報及び対象物毎の着色情報とからなるオブジェクト情報を入力する基礎オブジェクト情報入力手段と、基礎オブジェクト情報入力手段で入力した最初と最後のコマのオブジェクト情報から、最初と最後以外のコマのモノクロ画像のオブジェクト情報を作成するオブジェクト情報作成手段と、それぞれのモノクロ画像とモノクロ画像のそれぞれに対応するオブジェクト情報から、それぞれのモノクロ画像に着色してカラー画像を作成する着色手段と、カラー画像を連結してカラー動画を作成するカラー動画作成手段とを備え、オブジェクト情報作成手段が、同一の対象物の輪郭情報が最初と最後のコマの間でどのように変化しているかを認識し、その変化量と途中のコマ数とから１コマ毎の変化量を求め、１コマ毎の変化量に基づき、最初と最後以外のコマのオブジェクト情報を作成し、オブジェクト情報が、対象物毎に単一の階層として管理され、着色手段が、階層の重ね合わせの順に着色することを特徴とする。

請求項２記載のモノクロ動画の着色装置は、オブジェクト情報が、グラデーション情報を含むことを特徴とする。

請求項３記載のモノクロ動画の着色装置は、着色手段が、対象物のグラデーション情報を他の対象物のグラデーション情報に用いて着色することを特徴とする。

請求項４記載のモノクロ動画の着色装置は、モノクロ画像化手段が、モノクロ動画がインターレース動画の場合、モノクロ動画の奇数コマと偶数コマとの合成により、モノクロ画像を作成することを特徴とする。

請求項５記載のモノクロ動画の着色方法は、モノクロ動画を所定のコマ数に分割してモノクロ画像を作成し、モノクロ動画の同一の被写体である対象物が映り込んだ任意のワンシーンの最初の１コマのモノクロ画像とワンシーンの最後の１コマのモノクロ画像毎に、それぞれのモノクロ画像内の対象物毎の輪郭情報及び対象物毎の着色情報とからなるオブジェクト情報を入力し、同一の対象物の輪郭情報が最初と最後のコマの間でどのように変化しているかを認識し、その変化量と途中のコマ数とから１コマ毎の変化量を求め、１コマ毎の変化量に基づき、最初と最後以外のコマのオブジェクト情報を作成し、オブジェクト情報が、対象物毎に単一の階層として管理され、それぞれのモノクロ画像とモノクロ画像のそれぞれに対応するオブジェクト情報から、階層の重ね合わせの順に着色することでそれぞれのモノクロ画像に着色してカラー画像を作成し、カラー画像を連結してカラー動画を作成することを特徴とする。

請求項６記載のモノクロ動画の着色方法は、オブジェクト情報が、グラデーション情報を含むことを特徴とする。

請求項７記載のモノクロ動画の着色方法は、対象物のグラデーション情報を他の対象物のグラデーション情報に用いて着色することを特徴とする。

請求項８記載のモノクロ動画の着色方法は、モノクロ動画がインターレース動画の場合、モノクロ動画の奇数コマと偶数コマとの合成により、モノクロ画像を作成することを特徴とする。

請求項１及び請求項５の発明によれば、モノクロ動画の同一の被写体である対象物が映り込んだ任意のワンシーンの最初の１コマのモノクロ画像とワンシーンの最後の１コマのモノクロ画像毎に、それぞれのモノクロ画像内の対象物毎の輪郭情報及び対象物毎の着色情報とからなるオブジェクト情報を入力し、最初と最後のコマのオブジェクト情報から着色を行うことから、１コマ１コマを別々に着色を行うことに比べ、作業量を抑えることが可能で、迅速且つ容易に着色可能である。同一の対象物の輪郭情報が最初と最後のコマの間でどのように変化しているかを認識するのみで最初と最後以外のコマのオブジェクト情報を作成することから、着色のための計算量を抑え、迅速に着色が可能となる。また、オブジェクト情報が、対象物毎に単一の階層として管理され、階層の重ね合わせの順に着色することから、モノクロ画像で、奥側の対象物から着色することが可能となり、実際にモノクロ動画を撮影した状況に合わせた着色ができ、より忠実なカラー動画の作成が可能である。

請求項２及び請求項６の発明によれば、オブジェクト情報に、グラデーション情報が含まれることで、より変化に富んだ着色が可能で、細密なカラー動画の作成が可能である。

請求項３及び請求項７の発明によれば、グラデーション情報を、他の対象物のグラデーション情報として用いて着色を行うことで、対象物相互間で色彩が互いに影響し合っているような場合に、その影響に忠実に着色が可能で、より実際に近い着色が可能である。

請求項４及び請求項８の発明によれば、モノクロ動画がインターレース動画の場合、モノクロ動画の奇数コマと偶数コマとの合成により、モノクロ画像を作成することから、より鮮明なモノクロ画像に着色を行えるようになり、細密なカラー動画の作成が可能である。

本発明に係るモノクロ動画の着色装置の一例を示す構成図である。 同着色装置の各種ファイルの説明図である。 同着色装置の基礎オブジェクト情報作成手段の動作を示す説明図である。 同着色装置のオブジェクト情報の作成を示す説明図である。 同着色装置のオブジェクト情報のレイアの様子を示す説明図である。 同着色装置のオブジェクト情報作成手段の動作を示す説明図である。 同着色装置のオブジェクト情報作成手段の動作を示す説明図である。 同着色装置の着色手段の動作を示す説明図である。 同着色装置のグラデーション情報の処理を示す説明図である。

以下、本発明の形態について図面を参照しながら具体的に説明する。図１は、本発明に係るモノクロ動画の着色装置の一例を示す構成図である。図２は、同着色装置の各種ファイルの説明図である。図３は、同着色装置の基礎オブジェクト情報作成手段の動作を示す説明図である。図４は、同着色装置のオブジェクト情報の作成を示す説明図である。図５は、同着色装置のオブジェクト情報のレイアの様子を示す説明図である。図６は、同着色装置のオブジェクト情報作成手段の動作を示す説明図である。図７は、同着色装置のオブジェクト情報作成手段の動作を示す説明図である。図８は、同着色装置の着色手段の動作を示す説明図である。図９は、同着色装置のグラデーション情報の処理を示す説明図である。

本発明の形態における着色装置１は、コンピュータ本体１０及びその周辺機器で構成されている。コンピュータ本体１０は、バス１１で連結されたＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、ＨＤＤ１５、キー・インタフェース（キーＩ／Ｆ）１６、ＣＲＴインタフェース（ＣＲＴＩ／Ｆ）１７、映像インタフェース（映像Ｉ／Ｆ）１８等から構成されている。また、コンピュータ本体１０の外部には、キー・インタフェース（キーＩ／Ｆ）１６に接続されたキーボード１６ａ、ＣＲＴインタフェース（ＣＲＴＩ／Ｆ）１７に接続されたＣＲＴ１７ａ及び映像インタフェース（映像Ｉ／Ｆ）１８に接続されたプレーヤ１８ａを備えている。このプレーヤ１８ａは、映像インタフェース１８が入出力するアナログビデオ信号を再生録画可能な装置で、着色装置１で着色したいモノクロ動画をコンピュータ本体１０向けに再生したり、着色装置１で着色したカラー動画を記録媒体等に保存したりする役目を担う。プレーヤ１８ａは、例えばビデオプレーヤである。そして、着色装置１の機能・動作は、ＣＰＵ１２により実行されるソフトウェアにより実現される。以下、その動作を説明する。

まず、着色したいモノクロ動画を、コンピュータ本体１０に取り込む。具体的には、例えば、プレーヤ１８ａでモノクロ動画が録画されているビデオテープを再生し、そのアナログビデオ信号を映像インタフェース１８を介して、コンピュータ本体１０が処理可能な形式のデータとしてＨＤＤ１５に保存する。尚、モノクロ動画は、既にコンピュータ本体１０のＨＤＤ１５に保存可能な形式になっているものを図示しない各種記憶媒体を用いてＨＤＤ１５に保存するようにしてもよい。

次に、ＨＤＤ１５に保存したモノクロ動画を、所定のコマ数に分割してモノクロ画像を作成してＨＤＤ１５に保存する（モノクロ画像化手段）。ここで、所定のコマ数とは、例えば、モノクロ動画の元が映画である場合には１秒あたり２４コマであり、テレビ動画の場合１秒あたり３０コマであるが、モノクロ動画の状態等に合わせて適宜定めるものとする。以降の説明で、図２に示すように、モノクロ画像はファイル名を１００００＊．ｊｐｇとし、後述するオブジェクト情報はファイル名を１００００＊．ｏｂｊ、カラー画像はファイル名を１００００＊−ＣＯＬ．ｊｐｇとして説明する（尚、ファイル名の＊には、本実施の形態では、１〜４が入る。）。尚、モノクロ画像及びカラー画像として、ｊｐｇフアイルで説明するが、例えばｂｍｐファイル等の画像処理可能な形式であればよく、ｊｐｇファイルに限られるものではない。また、オブジェクト情報のファイルの拡張子は、ｏｂｊに限られるものではなく、オブジェクト情報としての機能が備わったものであればよい。

次に、ＨＤＤ１５に保存されたモノクロ画像のうち、モノクロ動画の任意のワンシーン（本実施の形態では、複数枚に及ぶモノクロ画像のうち、ワンシーン分としてモノクロ画像１００００１．ｊｐｇ〜１００００４．ｊｐｇを用いて説明する）の最初の１コマのモノクロ画像１００００１．ｊｐｇから、モノクロ画像１００００１．ｊｐｇ内の対象物毎の輪郭情報及び対象物毎の着色情報とからなるオブジェクト情報１００００１．ｏｂｊを作成する。また、任意のワンシーンの最後の１コマのモノクロ画像１００００４．ｊｐｇから、モノクロ画像１００００４．ｊｐｇ内の対象物毎の輪郭情報及び対象物毎の着色情報とからなるオブジェクト情報１００００４．ｏｂｊを作成する（基礎オブジェクト情報作成手段）。

この最初と最後のコマのオブジェクト情報の作成を、図４及び図５を用いて説明する（それぞれの図では、最後のコマで説明）。オブジェクト情報の作成は、ＣＲＴ１７ａに対象となるモノクロ画像（１００００１．ｊｐｇ）を表示し、その中の対象物毎の輪郭情報を入力し、またその対象物に着色情報を入力していく。具体的には、例えば図４のモノクロ画像を表示させ、キーボード１６ａ又は図示しないマウスを操作して、例えばモノクロ画像中のワゴン車の輪郭をトレースしていく（白抜き輪郭線）。そして、そのワゴン車の輪郭内に着色のための着色情報を設定すると、図４のオブジェクト情報のように、ワゴン車の輪郭の内部が一応に塗りつぶされる。１つの輪郭（輪郭情報）内の着色情報は、あくまでも輪郭内の色情報にしかすぎず、着色時に、その輪郭内の輝度等を無視してまで、その色の単色で塗りつぶすというわけではない。尚、対象物の輪郭のトレースは、説明したように手動で行ってもよいし、ソフトウェアの処理により自動的に行うようにさせてもよい。

１つのモノクロ画像には多くの対象物があり、それらの対象物毎に輪郭情報及び着色情報を作成していく。各対象物の輪郭情報及び着色情報は、オブジェクト情報内で、対象物毎にレイアとして管理され、レイア相互の重ね合わせの順番もオブジェクト情報内に納められ、後述するモノクロ画像の着色時には、レイアの重ね合わせの順に着色することになる。具体的にモノクロ画像中のワゴン車を対象物として説明すると、図５（ａ）に示すように、まずワゴン車全体の輪郭を把握し着色情報を１つのレイアに定める。次に、図５（ｂ）に示すように、左ウィンカの輪郭情報及び着色情報を作成し別のレイアに定めて、ワゴン車全体の輪郭のレイアの上に重ね合わせる。同様に、図５（ｃ）に示すように、右ウィンカの輪郭情報及び着色情報を作成し別のレイアに定めて、ワゴン車全体の輪郭のレイアの上に重ね合わせる。図５（ｄ）〜図５（ｈ）に示すように、順次、フロントガラス、サイドガラス後段、サイドガラス中段、サイドガラス前段、ダッシュボードと、輪郭情報及び着色情報を作成しレイアとして重ね合わせていく。このワゴン車に係るレイアの重ね合わせの順が、着色の順になる。これは、他の対象物に関しても同様で、景色（空や雲等）も１つの対象物ととらえ、輪郭情報及び着色情報をそれぞれのレイアで定めるようにする。１つのモノクロ画像単位で、そのモノクロ画像内の対象物毎の輪郭情報及び着色情報を対象物毎にレイアで把握した情報が、オブジェクト情報である。

次に、最初と最後のコマのオブジェクト情報から、最初と最後以外のコマのモノクロ画像のオブジェクト情報を作成する（オブジェクト情報作成手段）。具体的には、対象物の輪郭情報が最初と最後のコマの間でどのように変化しているかを認識し、その変化量と途中のコマ数とから１コマ毎の変化量を求め、１コマ毎の変化量に基づき、最初と最後以外のコマのオブジェクト情報を作成する（図６及び図７）。

次に、それぞれのモノクロ画像とモノクロ画像のそれぞれに対応するオブジェクト情報から、それぞれのモノクロ画像に着色してカラー画像を作成する（着色手段）。具体的には、ソフトウェアにより、各モノクロ画像毎に、そのモノクロ画像内のレイアとして管理された各対象物の輪郭情報及び着色情報に基づきレイアの重ね合わせの順に、着色が行われる（図８）。尚、着色にあたって、対象物の着色情報のみで単色で塗りつぶすのではなく、元のモノクロ画像の対象物毎の輝度情報を着色に反映させることで、より精度の高い着色が可能となる。

そして、すべてのモノクロ画像に着色が行われカラー画像が作成されると、そのカラー画像を連結することによりカラー動画が作成される（カラー動画作成手段）。そして、完成したカラー動画を、映像インタフェース１８を介してプレーヤ１８ａに送り、録画させたりする。また、カラー動画は、ＨＤＤ１５内に保存されており、ＣＲＴ１７ａで内容を確認したり、コンピュータ本体１０で認識可能な図示しない各種記憶媒体に保存し、コンピュータ本体１０以外に取り出すことも可能である。

以上のように、本実施の形態の着色装置１によれば、モノクロ動画の同一の被写体である対象物が映り込んだ任意のワンシーンの最初の１コマのモノクロ画像とワンシーンの最後の１コマのモノクロ画像毎に、それぞれのモノクロ画像内の対象物毎の輪郭情報及び対象物毎の着色情報とからなるオブジェクト情報を入力し、最初と最後のコマのオブジェクト情報から着色を行うことから、１コマ１コマを別々に着色を行うことに比べ、作業量を抑えることが可能で、迅速且つ容易に着色可能である。

また、同一の対象物の輪郭情報が最初と最後のコマの間でどのように変化しているかを認識するのみで最初と最後以外のコマのオブジェクト情報を作成することから、着色のための計算量を抑え、迅速に着色が可能となる。

さらに、オブジェクト情報が、対象物毎に単一の階層として管理され、階層の重ね合わせの順に着色することから、モノクロ画像で、奥側の対象物から着色することが可能となり、実際にモノクロ動画を撮影した状況に合わせた着色ができ、より忠実なカラー動画の作成が可能である。

尚、オブジェクト情報には、対象物毎の輪郭情報及び着色情報が含まれている旨を説明したが、グラデーション情報を含ませることも可能である。すなわち、単色での着色の他、その対象物の輪郭情報で区切られた輪郭の中の色に、変化（グラデーション）を持たせることも可能である。着色のための情報であるオブジェクト情報に、グラデーション情報が含まれることで、より変化に富んだ着色が可能で、細密なカラー動画の作成が可能である。

特定の対象物のグラデーション情報を、他の対象物のグラデーション情報として用いて着色を行うことも可能である。図９に示すように、オブジェクト情報中の右奥の空の部分にグラデーション情報を設定し、その空のグラデーション情報を、ワゴン車のサイドガラスに用いて着色し、カラー画像を作成している。このようにグラデーション情報を、他の対象物のグラデーション情報として用いて着色を行うことで、対象物相互間で色彩が互いに影響し合っているような場合に、その影響に忠実に着色が可能で、より実際に近い着色が可能である。

尚、上述の着色を行うモノクロ動画が、インターレース動画の場合、モノクロ動画の奇数コマと偶数コマとの合成により、モノクロ画像を作成することにより、より鮮明なモノクロ画像に着色を行えるようになり、細密なカラー動画の作成が可能である。

尚、本実施の形態では、コンピュータ本体１０によりソフトウェアで本発明の機能を実現させる形態で説明したが、コンピュータ本体１０による場合に限られるものではなく、ハードウェアのみで構成させる専用装置のようなものであってもよく、その形態によって制限されるものではない。

以上のように、１コマ１コマを別々に着色を行うことに比べ、作業量を抑えることが可能で、迅速且つ容易に着色可能なモノクロ動画の着色方法を提供することができる。

１・・・・・着色装置
１０・・・・コンピュータ本体
１１・・・・バス
１２・・・・ＣＰＵ
１３・・・・ＲＯＭ
１４・・・・ＲＡＭ
１５・・・・ＨＤＤ
１６・・・・キーＩ／Ｆ
１６ａ・・・キーボード
１７・・・・ＣＲＴＩ／Ｆ
１７ａ・・・ＣＲＴ
１８・・・・映像Ｉ／Ｆ
１８ａ・・・プレーヤ

Claims (8)

1. モノクロ動画に着色を施すモノクロ動画の着色装置において、
   該モノクロ動画を所定のコマ数に分割しモノクロ画像を作成するモノクロ画像化手段と、
   該モノクロ動画の同一の被写体である対象物が映り込んだ任意のワンシーンの最初の１コマの該モノクロ画像と該ワンシーンの最後の１コマの該モノクロ画像毎に、それぞれの該モノクロ画像内の該対象物毎の輪郭情報及び該対象物毎の着色情報とからなるオブジェクト情報を入力する基礎オブジェクト情報入力手段と、
   該基礎オブジェクト情報入力手段で入力した最初と最後のコマの該オブジェクト情報から、最初と最後以外のコマの該モノクロ画像のオブジェクト情報を作成するオブジェクト情報作成手段と、
   それぞれの該モノクロ画像と該モノクロ画像のそれぞれに対応する該オブジェクト情報から、それぞれの該モノクロ画像に着色してカラー画像を作成する着色手段と、
   該カラー画像を連結してカラー動画を作成するカラー動画作成手段とを備え、
   該オブジェクト情報作成手段が、同一の該対象物の輪郭情報が最初と最後のコマの間でどのように変化しているかを認識し、その変化量と途中のコマ数とから１コマ毎の変化量を求め、該１コマ毎の変化量に基づき、最初と最後以外のコマの該オブジェクト情報を作成し、
   該オブジェクト情報が、該対象物毎に単一の階層として管理され、該着色手段が、該階層の重ね合わせの順に着色することを特徴とするモノクロ動画の着色装置。
2. 前記オブジェクト情報が、グラデーション情報を含むことを特徴とする請求項１又は請求項１記載のモノクロ動画の着色装置。
3. 前記着色手段が、前記対象物のグラデーション情報を他の対象物のグラデーション情報に用いて着色することを特徴とする請求項２記載のモノクロ動画の着色装置。
4. 前記モノクロ画像化手段が、前記モノクロ動画がインターレース動画の場合、該モノクロ動画の奇数コマと偶数コマとの合成により、前記モノクロ画像を作成することを特徴とする請求項１〜請求項３のいずれかに記載のモノクロ動画の着色装置。
5. モノクロ動画に着色を施すモノクロ動画の着色方法において、
   該モノクロ動画を所定のコマ数に分割してモノクロ画像を作成し、
   該モノクロ動画の同一の被写体である対象物が映り込んだ任意のワンシーンの最初の１コマの該モノクロ画像と該ワンシーンの最後の１コマの該モノクロ画像毎に、それぞれの該モノクロ画像内の該対象物毎の輪郭情報及び該対象物毎の着色情報とからなるオブジェクト情報を入力し、
   同一の該対象物の輪郭情報が最初と最後のコマの間でどのように変化しているかを認識し、その変化量と途中のコマ数とから１コマ毎の変化量を求め、該１コマ毎の変化量に基づき、最初と最後以外のコマの該オブジェクト情報を作成し、
   該オブジェクト情報が、該対象物毎に単一の階層として管理され、それぞれの該モノクロ画像と該モノクロ画像のそれぞれに対応する該オブジェクト情報から、該階層の重ね合わせの順に着色することでそれぞれの該モノクロ画像に着色してカラー画像を作成し、
   該カラー画像を連結してカラー動画を作成することを特徴とするモノクロ動画の着色方法。
6. 前記オブジェクト情報が、グラデーション情報を含むことを特徴とする請求項５記載のモノクロ動画の着色方法。
7. 前記対象物のグラデーション情報を他の対象物のグラデーション情報に用いて着色することを特徴とする請求項６記載のモノクロ動画の着色方法。
8. 前記モノクロ動画がインターレース動画の場合、該モノクロ動画の奇数コマと偶数コマとの合成により、前記モノクロ画像を作成することを特徴とする請求項５〜請求項７のいずれかに記載のモノクロ動画の着色方法。