WO2012017793A1 - 映像処理装置、映像処理方法及びコンピュータプログラム - Google Patents
映像処理装置、映像処理方法及びコンピュータプログラム Download PDFInfo
- Publication number
- WO2012017793A1 WO2012017793A1 PCT/JP2011/066047 JP2011066047W WO2012017793A1 WO 2012017793 A1 WO2012017793 A1 WO 2012017793A1 JP 2011066047 W JP2011066047 W JP 2011066047W WO 2012017793 A1 WO2012017793 A1 WO 2012017793A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- video
- arrangement
- video portion
- background
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Processing Or Creating Images (AREA)
Abstract
奥行き感を強調させる映像処理が施された映像を、奥行き感強調処理の効果が損なわれないように配列させることができる映像処理装置を提供する。 複数の映像を配列させる映像処理装置に、背景映像部分、該背景映像部分の周縁の一部又は全部に配された周縁映像部分、及び前記背景映像の内側から該周縁映像部分へ飛び出す移動体映像部分を含む一つの映像を取得する映像取得部11と、背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を取得する映像特徴取得部12と、映像特徴取得部12にて取得した情報が示す大きさ及び移動範囲に基づいて、前記一つの映像の配置領域を決定する配置決定部14と、配置決定部14の決定結果に基づいて、前記一つの映像及び他の映像を配列させる映像合成部15とを備える。
Description
本発明は、複数の映像を配列させる映像処理装置、映像処理方法及びコンピュータプログラムに関する。
昨今、デジタルカメラ、デジタルカメラ機能を搭載した携帯電話の普及により、映像を撮影し、撮影された映像をデジタルデータとして保存することが一般的になってきている。また、ネットワーク環境の発達、及び高性能なパーソナルコンピュータ(PC:Personal Computer)の普及によって、ユーザ自身がコンテンツを作成し、他のユーザに公開することが一般的に行われている。ユーザによって作成されたコンテンツは、UGC(User Generated Contents)と呼ばれる。UGCの例としては、静止画、動画などの映像を組み合わせて作成されたフォトアルバム、映像に文字を組み合わせることで作成されたブログに代表される日記形式のコンテンツ等が挙げられる。
一方、特許文献1には、入力された映像に応じたレイアウトパターンを自動生成し、該映像を所定の大きさに拡大縮小させる自動レイアウト機能を有するレイアウト装置が開示されている。
しかしながら、デザイナー等のプロの知識を持ち合わせないユーザにとっては、奥行き感を強調させるなどの特殊な処理が施された映像の効果的なレイアウトを適切に行うことは困難であるという問題があった。
特許文献1に開示されたレイアウト装置によれば、入力された映像に応じたレイアウトパターンを作成することができるが、映像処理の効果を考慮した映像の配列は行われていない。従って、映像の配列方法によっては、該映像に施された映像処理の効果が損なわれることがあった。
特許文献1に開示されたレイアウト装置によれば、入力された映像に応じたレイアウトパターンを作成することができるが、映像処理の効果を考慮した映像の配列は行われていない。従って、映像の配列方法によっては、該映像に施された映像処理の効果が損なわれることがあった。
本発明は斯かる事情に鑑みてなされたものであり、奥行き感を強調させる映像処理が施された映像を、奥行き感強調処理の効果が損なわれないように配列させることができる映像処理装置、映像処理方法及びコンピュータプログラムを提供することを目的とする。
本発明に係る映像処理装置は、複数の映像を配列させる映像処理装置において、背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む一つの映像を取得する映像取得手段と、背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を取得する映像特徴取得手段と、該映像特徴取得手段にて取得した情報が示す大きさ及び移動範囲に基づいて、前記一つの映像の配置領域を決定する配置決定手段と、該配置決定手段の決定結果に基づいて、前記一つの映像及び他の映像を配列させる手段とを備えることを特徴とする。
本発明に係る映像処理方法は、複数の映像を配列させる映像処理方法において、背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む一つの映像を取得するステップと、背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を取得するステップと、取得した情報が示す大きさ及び移動範囲に基づいて、前記一つの映像の配置領域を決定するステップと、取得した前記一つの映像及び他の映像を、配置領域の決定結果に基づいて、配列させるステップとを備えることを特徴とする。
本発明に係るコンピュータプログラムは、コンピュータに、複数の映像を配列してなる映像を生成させるコンピュータプログラムにおいて、コンピュータを、背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む一つの映像を取得する映像取得手段と、背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を取得する映像特徴取得手段と、該映像特徴取得手段にて取得した情報が示す大きさ及び移動範囲に基づいて、前記一つの映像の配置領域を決定する配置決定手段と、該配置決定手段の決定結果に基づいて、前記一つの映像及び他の映像を配列してなる映像を生成させる手段として機能させることを特徴とする。
本発明にあっては、背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む一つの映像と、他の映像を配列する際、一つの映像に含まれる背景映像部分の大きさと、該背景映像部分から飛び出す移動体映像部分の移動範囲を考慮して、前記一つの映像を配置する。
本発明に係る映像処理装置は、複数の映像を配列させる映像処理装置において、背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む一つの映像を取得する映像取得手段と、該映像取得手段にて取得した映像に基づいて、該映像に含まれる背景映像部分の大きさ及び移動体映像部分の移動範囲を算出する映像特徴算出手段と、該映像特徴算出手段にて算出した大きさ及び移動範囲に基づいて、前記一つの映像の配置領域を決定する配置決定手段と、該配置決定手段の決定結果に基づいて、前記一つの映像及び他の映像を配列させる手段とを備えることを特徴とする。
本発明に係る映像処理方法は、複数の映像を配列させる映像処理方法において、背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む一つの映像を取得するステップと、取得した映像に基づいて、該映像に含まれる背景映像部分の大きさ及び移動体映像部分の移動範囲を算出するステップと、算出した大きさ及び移動範囲に基づいて、前記一つの映像の配置領域を決定するステップと、取得した前記一つの映像及び他の映像を、配置領域の決定結果に基づいて、配列させるステップとを備えることを特徴とする。
本発明に係るコンピュータプログラムは、コンピュータに、複数の映像を配列してなる映像を生成させるコンピュータプログラムにおいて、コンピュータを、背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む一つの映像を取得する映像取得手段と、該映像取得手段にて取得した映像に基づいて、該映像に含まれる背景映像部分の大きさ及び移動体映像部分の移動範囲を算出する映像特徴算出手段と、該映像特徴算出手段にて算出した大きさ及び移動範囲に基づいて、前記一つの映像の配置領域を決定する配置決定手段と、該配置決定手段の決定結果に基づいて、前記一つの映像及び他の映像を配列してなる映像を生成させる手段として機能させることを特徴とする。
本発明にあっては、背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む一つの映像と、他の映像を配列する際、該一つの映像に基づいて、該背景映像部分の大きさと、移動体映像部分の移動範囲とを算出する。そして、背景映像部分の大きさと、該背景映像部分から飛び出す移動体映像部分の移動範囲を考慮して、前記一つの映像を配置する。
本発明に係る映像処理装置は、前記配置決定手段は、移動体映像部分が、複数の映像を配列してなる映像の内側に収まるように、前記一つの映像の配置領域を決定するようにしてあることを特徴とする。
本発明にあっては、複数の映像を配列して得られる映像の周縁部から、移動体映像部分がはみ出すことは無い。
本発明に係る映像処理装置は、複数の映像が配されるべき複数の配置領域を示した配置情報を取得する配置情報取得手段を備え、前記配置決定手段は、前記配置情報取得手段にて取得した配置情報が示す複数の配置領域の中から、特定の配置領域を決定するようにしてあることを特徴とする。
本発明にあっては、複数の映像が配されるべき複数の配置領域を示した配置情報を取得し、該複数の配置領域の中から、前記一つの映像が配される特定の配置領域を選択する。
本発明に係る映像処理装置は、前記一つの映像の大きさを、背景映像部分が配置領域に収まるように変更する手段を備え、前記配置決定手段は、背景映像部分の大きさが最大になる配置領域を決定するようにしてあることを特徴とする。
本発明にあっては、前記一つの映像の大きさが最大になるように、該一つの映像の配置領域を決定する。
本発明に係る映像処理装置は、背景映像部分及び移動体映像部分を含む一つの映像、並びに背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を記憶した記憶手段を備えることを特徴とする。
本発明にあっては、背景映像部分、周縁映像部分及び移動体映像部分を含む映像と、背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を記憶手段が記憶している。
本発明に係る映像処理装置は、複数の映像を配列させる映像処理装置において、複数の映像が配されるべき配置領域を示した配置情報を取得する配置情報取得手段と、背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む映像、並びに背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を記憶した記憶手段と、該記憶手段が記憶している情報が示す大きさ及び移動範囲に基づいて、前記配置情報取得手段にて取得した配置情報が示した配置領域に配することが可能な一つの映像を前記記憶手段から取得する映像取得手段と、前記一つの映像及び他の映像を配列させる手段とを備えることを特徴とする。
本発明に係る映像処理方法は、背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む映像、並びに背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を記憶した記憶手段を用いて、複数の映像を配列させる映像処理方法において、複数の映像が配されるべき配置領域を示した配置情報を取得するステップと、取得した配置情報が示した配置領域に配することが可能な一つの映像を、前記記憶手段が記憶している情報が示す大きさ及び移動範囲に基づいて、前記記憶手段から取得するステップと、取得した前記一つの映像及び他の映像を配列させるステップとを備えることを特徴とする。
本発明に係るコンピュータプログラムは、背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む映像、並びに背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を記憶した記憶手段を備えたコンピュータに、複数の映像を配列してなる映像を生成させるコンピュータプログラムにおいて、コンピュータを、複数の映像が配されるべき配置領域を示した配置情報を取得する配置情報取得手段と、前記記憶手段が記憶している情報が示す大きさ及び移動範囲に基づいて、前記配置情報取得手段にて取得した配置情報が示した配置領域に配することが可能な一つの映像を前記記憶手段から取得する映像取得手段と、前記一つの映像及び他の映像を配列してなる映像を生成させる手段として機能させることを備えることを特徴とする。
本発明にあっては、背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む映像が複数ある。複数の映像を配列させる際、背景映像部分の大きさと、該背景映像部分から飛び出す移動体映像部分の移動範囲を考慮して、複数ある映像の中から一つの映像を選択し、配置する。
本発明によれば、奥行き感を強調させる映像処理が施された映像を、奥行き感強調処理の効果が損なわれないように配列させることができる。
以下、本発明の実施の形態を図面に基づいて詳述する。
(実施の形態1)
図1は、本発明の実施の形態1に係る映像処理システムの一構成例を示すブロック図である。本実施形態1に係る映像処理システムは、映像処理装置1、奥行き強調処理装置2、記憶部3及び出力装置4を有する。
(実施の形態1)
図1は、本発明の実施の形態1に係る映像処理システムの一構成例を示すブロック図である。本実施形態1に係る映像処理システムは、映像処理装置1、奥行き強調処理装置2、記憶部3及び出力装置4を有する。
奥行き強調処理装置2は、立体感又は奥行き感を向上させる奥行き強調処理対象の映像を取得し、取得した映像の立体感・奥行き感を強調させる処理を行い、奥行き強調処理が施された映像を記憶部3に与える。また、奥行き強調処理装置2は、奥行き強調処理が施された映像の特徴を示した映像特徴情報を記憶部3に与える。映像特徴情報の詳細は後述する。
図2は、奥行き強調処理対象の映像の一例を示す説明図である。奥行き強調処理対象の映像5は、動画であり、時系列の複数のフレーム51,52を含む。図2には、第nのフレーム51から第n+mのフレーム52までの各フレームを展開した様子を概念的に示している。フレーム51,52は、静止映像であって、二次元に配列された複数の画素夫々の輝度及び色を示したデータであり、奥行き方向の距離が異なる複数のオブジェクト、例えば鳥、木、太陽、空、雲等の被写体に相当する映像部分から構成されている。ここでは、映像5を構成するフレーム51,52は、奥行き方向の距離が長い背景映像部分51a,52aと、奥行き方向の距離が短い移動体映像部分51b,52bとで構成されているとする。奥行き方向の距離とは、オブジェクトに係る被写体と、所定位置、例えば該映像の撮像に用いた撮影装置の位置との距離をいう。以下、該距離を適宜、奥行きという。映像5は、所定の符号化方式、例えばMPEG-2(Moving Picture Expert Group phase2)、若しくはMotion-JPEG2000などの任意の圧縮方式で符号化されている。なお、言うまでもなく、映像5は、非圧縮であっても良い。
図3は、奥行き強調処理が施された映像の一例を示す説明図である。奥行き強調処理が施された映像6は、時系列の複数のフレーム61,62を含む。図3には、図2と同様、奥行き強調処理が施された第nのフレーム61から第n+mのフレーム62までの各フレームを展開した様子を概念的に示している。各フレーム61,62は、背景映像部分61a,62a、背景映像部分61a,62aの周縁の外側の一部又は全部に配された周縁映像部分61d,62d、背景映像部分61a、62aを囲む枠オブジェクト61c,62c、及び背景映像部分61a,62aから枠オブジェクト61c,62cを乗り越えて周縁映像部分61d,62dへ飛び出す移動体映像部分61b,62bを含む。映像6は、例えば、以下の手順で生成される。
奥行き強調処理装置2は、映像5と共に、フレーム51,52を構成する複数のオブジェクト夫々の奥行きを示した奥行き情報を取得する。本実施の形態では、奥行き方向における撮影装置及び各被写体間の距離を撮像時に計測しておき、計測して得られた距離の情報を有する奥行き情報である。奥行き強調処理装置2は、取得した映像5の各フレーム51,52を、奥行き情報に基づいて、背景映像部分51a,52aと、前景映像部分である移動体映像部分51b,52bとに分割する。そして、奥行き強調処理装置2は、図3に示すように、背景映像部分61a,62aの一部に、奥行きを強調するための枠オブジェクト62cを重畳させ、更に背景映像部分61a,62a及び枠オブジェクト62cの上に移動体映像部分61b,62bである鳥の映像部分を重畳する。次いで、奥行き強調処理装置2は、枠オブジェクト61c,62cの外側の領域、即ち周縁映像部分61d,62dを任意の色で塗りつぶす。このようにして、各オブジェクト間の重畳関係を描写することによって、二次元的に描写されたオブジェクトの一部が恰も現実世界の三次元空間に飛び出しているように錯覚を起こさせ、二次元の映像に立体感又は奥行き感を付与することができる。
奥行き強調処理装置2は、映像5と共に、フレーム51,52を構成する複数のオブジェクト夫々の奥行きを示した奥行き情報を取得する。本実施の形態では、奥行き方向における撮影装置及び各被写体間の距離を撮像時に計測しておき、計測して得られた距離の情報を有する奥行き情報である。奥行き強調処理装置2は、取得した映像5の各フレーム51,52を、奥行き情報に基づいて、背景映像部分51a,52aと、前景映像部分である移動体映像部分51b,52bとに分割する。そして、奥行き強調処理装置2は、図3に示すように、背景映像部分61a,62aの一部に、奥行きを強調するための枠オブジェクト62cを重畳させ、更に背景映像部分61a,62a及び枠オブジェクト62cの上に移動体映像部分61b,62bである鳥の映像部分を重畳する。次いで、奥行き強調処理装置2は、枠オブジェクト61c,62cの外側の領域、即ち周縁映像部分61d,62dを任意の色で塗りつぶす。このようにして、各オブジェクト間の重畳関係を描写することによって、二次元的に描写されたオブジェクトの一部が恰も現実世界の三次元空間に飛び出しているように錯覚を起こさせ、二次元の映像に立体感又は奥行き感を付与することができる。
記憶部3は、例えば、ハードディスク、光ディスク、光磁気ディスク、半導体メモリなどで構成されており、奥行き強調処理装置2から与えられた映像6及び映像特徴情報、並びにその他のコンテンツ映像を記憶する。また、記憶部3は、映像6及びその他のコンテンツ映像が配される配置レイアウト8の映像データである配置レイアウト情報と、映像6及びその他のコンテンツ映像を配列してなる映像を配置するためのレイアウトに関する配置情報とを記憶する。配置情報の詳細は後述する。なお、映像特徴情報及び配置情報は、例えばXML(eXtensible Markup Language)のような構造化されたデータとして記憶部3に格納されている。
映像処理装置1は、記憶部3から映像6を取得する映像取得部11と、記憶部3から映像特徴情報を取得する映像特徴取得部12と、記憶部3から配置レイアウト情報及び配置情報を取得する配置情報取得部13と、映像特徴情報及び配置情報に基づいて、映像6の配置領域を決定する配置決定部14と、決定した配置領域に従って映像6及びその他のコンテンツ映像を配列させた映像を合成する映像合成部15とを有する。
<映像取得部>
映像取得部11は、記憶部3が記憶している映像6及びその他のコンテンツ映像を取得し、取得した映像6及びコンテンツ映像を映像合成部15に与える。なお、映像6が符号化されている場合、映像取得部11は、映像6をRGB形式又はYUV形式などの映像6に複合する処理を行う。以下、本実施の形態1では、複合後の映像6について処理を行うものとする。また、本実施の形態1では記憶部3から取得する映像はユーザの指示などにより一意に決定されているものとする。
映像取得部11は、記憶部3が記憶している映像6及びその他のコンテンツ映像を取得し、取得した映像6及びコンテンツ映像を映像合成部15に与える。なお、映像6が符号化されている場合、映像取得部11は、映像6をRGB形式又はYUV形式などの映像6に複合する処理を行う。以下、本実施の形態1では、複合後の映像6について処理を行うものとする。また、本実施の形態1では記憶部3から取得する映像はユーザの指示などにより一意に決定されているものとする。
<映像特徴取得部>
映像特徴取得部12は、記憶部3が記憶している映像特徴情報を取得し、取得した映像特徴情報を配置決定部14に与える。映像特徴情報は、枠オブジェクト61c,62cの大きさを示した枠形状情報と、移動体映像部分61b,62bの移動範囲を示した動き情報を含む。
映像特徴取得部12は、記憶部3が記憶している映像特徴情報を取得し、取得した映像特徴情報を配置決定部14に与える。映像特徴情報は、枠オブジェクト61c,62cの大きさを示した枠形状情報と、移動体映像部分61b,62bの移動範囲を示した動き情報を含む。
図4は、一のフレーム61における枠形状情報を概念的に示す説明図である。図4に示すように、枠形状情報は、枠オブジェクト61cに外接する長方形の幅Wfと、高さHfとを含む情報である。但し、図4に示す例では、枠オブジェクト61cは長方形であるため、枠オブジェクト61cの幅及び高さと、枠オブジェクト61cに外接する長方形の幅Wf及び高さHfは一致している。
図5は、一のフレーム62における動き情報を概念的に示す説明図である。図5に示すように、移動体映像部分62bの動き情報は、移動体映像部分62bが背景映像部分62aから枠オブジェクト62cを乗り越えて、周縁映像部分62dへ飛び出す上下左右方向の最大の飛び出し距離を含む情報である。図5中、太線矢印は、移動体映像部分62bの動きを示した動きベクトル62vである。以下、移動体映像部分62bの左方向の最大飛び出し距離をDl、右方向の最大飛び出し距離をDr、上方向の最大飛び出し距離をDu、下方向の最大飛び出し距離をDbと表す。なお、図5に示す例では、右方向の最大飛び出し距離Dr以外の、最大飛び出し距離はDu=Dl=Db=0であるため図示されていない。
図6は、他のフレーム71における枠形状情報を概念的に示す説明図である。図6に示す例では、フレーム71は、背景映像部分71a及び枠オブジェクト71cが左下側に配されており、フレーム71の右側部分及び上側部分に周縁映像部分71dが配されている。そして、移動体映像部分71bは、上側に飛び出している。この場合、映像特徴取得部12は、左下側に配された枠オブジェクト71cに外接する長方形の幅Wf及び高さHfを含む枠形状情報を取得する。
図7は、他のフレームにおける動き情報を概念的に示す説明図である。フレーム72は、背景映像部分72a及び枠オブジェクト72cが左下側に配されており、周縁部の右側部分及び上側部分に周縁映像部分72dが配されている。そして、移動体映像部分72bは、右上に飛び出している。移動体映像部分72bが背景映像部分72aから右上に飛び出している場合、飛び出し距離Dr,Duが有限の値になる。その他の距離はDl=Db=0であるため図示されていない。なお、図7中、太線矢印は、移動体映像部分72bの動きを示した動きベクトル72vである。
<配置情報取得部>
配置情報取得部13は、記憶部3が記憶している配置レイアウト情報及び配置情報を取得し、取得した配置情報を配置決定部14に与える。
配置情報取得部13は、記憶部3が記憶している配置レイアウト情報及び配置情報を取得し、取得した配置情報を配置決定部14に与える。
図8A及び図8Bは、配置レイアウト情報及び配置情報を概念的に示す説明図である。図8Aは、配置レイアウト情報を概念的に示した説明図、図8Bは、配置情報の具体的な内容を概念的に示した説明図である。図8Aに示すように、配置レイアウト情報によって表される配置レイアウト8は、映像6と、図表、文字など等の他のコンテンツ映像とが配されるべき複数の配置領域81,82,83,84を含む映像である。各配置領域81,82,83,84は、例えば、略長方形であり、各配置領域81,82,83,84には、映像6及びその他のコンテンツ映像が嵌め込まれるようにして配列される。
配置情報は、図8Bに示すように、配置領域81,82,83,84の上辺、下辺、左辺及び右辺から配置レイアウト8の外周縁までの距離Lu,Lb,Ll,Lr、長方形の配置領域81,82,83,84自身の幅Wt及び高さHtの情報を含む。なお、図8Bには、配置領域82に関する各距離、幅及び高さのみが図示されているが、他の配置領域81,83,84についても同様である。
配置情報は、図8Bに示すように、配置領域81,82,83,84の上辺、下辺、左辺及び右辺から配置レイアウト8の外周縁までの距離Lu,Lb,Ll,Lr、長方形の配置領域81,82,83,84自身の幅Wt及び高さHtの情報を含む。なお、図8Bには、配置領域82に関する各距離、幅及び高さのみが図示されているが、他の配置領域81,83,84についても同様である。
<配置決定部>
配置決定部14は、映像特徴取得部12及び配置情報取得部13から与えられた映像特徴情報、及び配置情報に基づいて、映像6及び他のコンテンツ映像を配置すべき配置領域81,82,83,84を決定し、映像6及び他のコンテンツ映像と、配置領域81,82,83,84とを対応付けた配置決定結果情報と、配置レイアウト情報とを映像合成部15に与える。配置決定部14は、映像6を拡大又は縮小し、背景映像部分61a,62a及び枠オブジェクト61c,62cの外周縁と、配置領域81の外縁とを合わせるように配置した場合、移動体映像部分61b,62bが、配置レイアウト8の映像内に収まるか否かを判定する。同様にして、配置領域82,83,84に映像6を拡大又は縮小して配置した場合、移動体映像部分61b,62bが、配置レイアウト8の映像内に収まるか否かを判定する。そして、移動体映像部分61b,62bが、配置レイアウト8の映像内に収まり、かつ、背景映像部分61a,62aの大きさが最大になる配置領域81,82,83,84を、映像6の配置領域として決定する。その他のコンテンツ映像の配置は、該コンテンツ映像の大きさに基づいて、配置決定部14によって適宜決定される。映像6の配置領域の決定方法の詳細は、後述する。
配置決定部14は、映像特徴取得部12及び配置情報取得部13から与えられた映像特徴情報、及び配置情報に基づいて、映像6及び他のコンテンツ映像を配置すべき配置領域81,82,83,84を決定し、映像6及び他のコンテンツ映像と、配置領域81,82,83,84とを対応付けた配置決定結果情報と、配置レイアウト情報とを映像合成部15に与える。配置決定部14は、映像6を拡大又は縮小し、背景映像部分61a,62a及び枠オブジェクト61c,62cの外周縁と、配置領域81の外縁とを合わせるように配置した場合、移動体映像部分61b,62bが、配置レイアウト8の映像内に収まるか否かを判定する。同様にして、配置領域82,83,84に映像6を拡大又は縮小して配置した場合、移動体映像部分61b,62bが、配置レイアウト8の映像内に収まるか否かを判定する。そして、移動体映像部分61b,62bが、配置レイアウト8の映像内に収まり、かつ、背景映像部分61a,62aの大きさが最大になる配置領域81,82,83,84を、映像6の配置領域として決定する。その他のコンテンツ映像の配置は、該コンテンツ映像の大きさに基づいて、配置決定部14によって適宜決定される。映像6の配置領域の決定方法の詳細は、後述する。
<映像合成部>
映像合成部15は、配置決定部14から与えられた配置決定結果情報及び配置レイアウト情報と、映像取得部11から与えられた映像6及びその他のコンテンツ映像とを取得する。そして、映像合成部15は、取得した配置決定結果情報に基づいて、映像6及びその他のコンテンツ映像を拡大又は縮小し、拡大又は縮小された映像6及びコンテンツ映像を配置レイアウト8に配列してなる映像を生成する。映像合成部15は、生成された映像を出力装置4に与える。
映像合成部15は、配置決定部14から与えられた配置決定結果情報及び配置レイアウト情報と、映像取得部11から与えられた映像6及びその他のコンテンツ映像とを取得する。そして、映像合成部15は、取得した配置決定結果情報に基づいて、映像6及びその他のコンテンツ映像を拡大又は縮小し、拡大又は縮小された映像6及びコンテンツ映像を配置レイアウト8に配列してなる映像を生成する。映像合成部15は、生成された映像を出力装置4に与える。
図9は、奥行き強調処理が施された映像を配することにより得られた映像を概念的に示す説明図である。映像6は、例えば図9に示すように、配置領域82に配される。なお、図9には映像6を構成するフレーム62が図示されている。映像6は、枠オブジェクト62cの外縁と、配置領域82の外縁とが略一致するように拡大又は縮小され、配置領域82に枠オブジェクト62cが嵌め込まれるよう、枠オブジェクト62cの中心点と、配置領域82の中心点を一致させた位置に映像6が配される。また、映像6を配する場合、映像合成部15は、周縁映像部分62dに透過処理を施すため、図9上には現れない。このように映像6を配することによって、移動体映像部分62bが枠オブジェクト62aを乗り越えて他の配置領域へ飛び出したような構図の映像が得られる。
図10は、複数の映像を配列させることにより得られた映像を概念的に示す説明図である。図10に示すように、他の配置領域81,83,84には、他のコンテンツ映像6a,6b,6cが配置される。
出力装置4は、例えば液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイであり、映像合成部15から与えられた映像を表示する。
図11は、本実施の形態1に係る映像処理装置1の効果を説明するための第1の比較例を示す説明図、図12は、本実施の形態1に係る映像処理装置1の効果を説明するための第2の比較例を示す説明図である。図11には、フレーム61,62を、配置レイアウト8の配置領域83の外縁と、フレーム61,62の外縁とが一致するように拡大又は縮小し、拡大又は縮小されたフレーム61,62を配置領域83に嵌め込むように配置してなる映像が示されている。このようにフレーム61,62を配置した場合、移動体映像部分62bの飛び出しが行われない無駄な映像空間85が発生してしまう。
また、図12には、フレーム61,62を、配置レイアウト8の配置領域83の外縁と、枠オブジェクト61c、62cの外縁とが一致するように拡大又は縮小し、拡大又は縮小されたフレーム61,62を配置領域83に嵌め込むように配置してなる映像が示されている。このようにフレーム61,62を配置した場合、移動体映像部分62bが配置レイアウト8の映像からはみ出してしまい、奥行き感の強調効果が薄れてしまう。
また、図12には、フレーム61,62を、配置レイアウト8の配置領域83の外縁と、枠オブジェクト61c、62cの外縁とが一致するように拡大又は縮小し、拡大又は縮小されたフレーム61,62を配置領域83に嵌め込むように配置してなる映像が示されている。このようにフレーム61,62を配置した場合、移動体映像部分62bが配置レイアウト8の映像からはみ出してしまい、奥行き感の強調効果が薄れてしまう。
一方、図9、図10で説明した本実施の形態1に係る方法で、映像6のフレーム61,62を配置領域82に配した場合、無駄な映像空間85を発生させることなく、大きな映像6を、奥行き感強調処理の効果が損なわれないように配することができる。
図13は、本実施の形態1に係る映像処理方法の手順を示すフローチャートである。まず、映像取得部11は、記憶部3が記憶している映像6及びその他のコンテンツ映像を取得し、取得した映像6及びコンテンツ映像を映像合成部15に与える(ステップS11)。そして、映像特徴取得部12は、記憶部3が記憶している映像特徴情報を取得し、取得した映像特徴情報を配置決定部14に与え(ステップS12)、配置情報取得部13は、記憶部3が記憶している配置レイアウト情報及び配置情報を取得し、取得した配置レイアウト情報及び配置情報を配置決定部14に与える(ステップS13)。
次いで、配置決定部14は、映像特徴取得部12及び配置情報取得部13から与えられた映像特徴情報、並びに配置レイアウト情報及び配置情報に基づいて、映像6及び他のコンテンツ映像を配置すべき配置領域81,82,83,84を決定し、配置決定結果情報及び配置レイアウト情報を映像合成部15に与える(ステップS14)。以下、映像6及び他のコンテンツ映像を配置すべき領域として一意に決定された配置領域81,82,83,84を映像配置領域という。
図14は、映像配置領域の決定に係る処理手順を示すフローチャートである。配置決定部14は、映像配置領域に係る処理を開始した場合、まず、配置情報に基づいて、全ての配置領域81,82,83,84について映像6の配置の適否を検査したか否かを判定する(ステップS31)。
全ての配置領域81,82,83,84について映像6の配置の適否を検査していないと判定した場合(ステップS31:NO)、配置決定部14は、未だ検査されていない一つの配置領域81,82,83,84の適否を検査する(ステップS32)。配置領域の適否検査の処理を開始した配置決定部14は、下記式(1)~(4)の全てを満たす配置領域81,82,83,84を映像6の配置領域候補とする。
α*Dl≦Ll…(1)
α*Dr≦Lr…(2)
β*Du≦Lu…(3)
β*Db≦Lb…(4)
但し、
α=Wt/Wf…(5)
β=Ht/Hf…(6)
α*Dl≦Ll…(1)
α*Dr≦Lr…(2)
β*Du≦Lu…(3)
β*Db≦Lb…(4)
但し、
α=Wt/Wf…(5)
β=Ht/Hf…(6)
上記式(1)~(4)を全て満たす場合、拡大又は縮小後の映像6における左方向、右方向、上方向、下方向の最大飛び出し距離が、配置レイアウト8の外側に達することが無い。つまり、移動体映像部分61b,62bが配置レイアウト8からはみ出すことは無い。なお上記式(1)~(4)は、背景映像部分61a,62aが検査対象の配置領域の幅、高さに合うように拡大率又は縮小率を決めたものであるが、他の方法でα、βを設定しても良いことは言うまでもない。
図15は、配置領域適否検査に係る処理手順を示すフローチャートである。
まず、配置決定部14は、上記式(5)を用いて、映像6の横方向の拡大又は縮小率αを算出し(ステップS51)、次いで、上記式(6)を用いて、映像6の縦方向の拡大又は縮小率βを算出する(ステップS52)。
まず、配置決定部14は、上記式(5)を用いて、映像6の横方向の拡大又は縮小率αを算出し(ステップS51)、次いで、上記式(6)を用いて、映像6の縦方向の拡大又は縮小率βを算出する(ステップS52)。
次いで、配置決定部14は、α×D1が距離Ll以下であるか否かを判定する(ステップS53)。つまり、拡大又は縮小後の移動体映像部分61b,62bの飛び出し距離α×D1が、配置領域81,82,83,84の左辺から配置レイアウト8の左辺までの距離Ll以下であるか否かを判定する。
α×D1が距離Ll以下であると判定した場合(ステップS53:YES)、配置決定部14は、α×Drが距離Lr以下であるか否かを判定する(ステップS54)。つまり、拡大又は縮小後の移動体映像部分61b,62bの飛び出し距離α×Drが、配置領域81,82,83,84の右辺から配置レイアウト8の右辺までの距離Lr以下であるか否かを判定する。
α×Drが距離Lr以下であると判定した場合(ステップS54:YES)、配置決定部14は、β×Duが距離Lu以下であるか否かを判定する(ステップS55)。つまり、拡大又は縮小後の移動体映像部分61b,62bの飛び出し距離β×Duが、配置領域81,82,83,84の上辺から配置レイアウト8の上辺までの距離Lu以下であるか否かを判定する。
β×Duが距離Lu以下であると判定した場合(ステップS55:YES)、配置決定部14は、β×Dbが距離Lb以下であるか否かを判定する(ステップS56)。つまり、拡大又は縮小後の移動体映像部分61b,62bの飛び出し距離β×Dbが、配置領域81,82,83,84の下辺から配置レイアウト8の下辺までの距離Lb以下であるかを判定する。
β×Dbが距離Lb以下であると判定した場合(ステップS56:YES)、配置決定部14は、検査対象の配置領域81,82,83,84を配置領域候補とし(ステップS57)、処理を終える。
α×D1が距離Llより大きいと判定した場合(ステップS53:NO)、α×Drが距離Lrより大きいと判定した場合(ステップS54:NO)、β×Duが距離Luより大きいと判定した場合(ステップS55:NO)、β×Dbが距離Lbより大きいと判定した場合(ステップS56:NO)、配置決定部14は、検査対象の配置領域81,82,83,84を非配置領域候補であるとし(ステップS58)、処理を終える。
図14に戻り、配置領域の適否検査に係る処理を終えた配置決定部14は、該適否検査の戻り値に基づいて、検査対象の配置領域81,82,83,84が配置領域候補であるか否かを判定する(ステップS33)。配置領域候補でないと判定した場合(ステップS33:NO)、配置決定部14は、処理をステップS31に戻す。配置領域候補であると判定した場合(ステップS33:YES)、配置決定部14は、配置領域候補である一つの配置領域81,82,83,84を記憶し(ステップS34)、処理をステップS31に戻す。
ステップS31で全ての配置領域を検査したと判定した場合(ステップS31:YES)、配置決定部14は、配置領域候補が少なくとも一つあるか否かを判定する(ステップS35)。配置領域候補が一つもないと判定した場合(ステップS35:NO)、配置決定部14は、映像の配置に関してエラーがあった旨を記憶し(ステップS39)、処理を終える。配置領域候補が少なくとも一つあると判定した場合(ステップS35:YES)、配置決定部14は、配置領域候補が複数であるか否かを判定する(ステップS36)。
配置領域候補が複数あると判定した場合(ステップS36:YES)、映像6を配すべき一つの配置領域に絞り込む(ステップS37)。複数の配置領域候補から一つの配置領域一意に決定する条件としては、例えば、Max=α×βを最大化する、即ち映像6が一番大きく表示される配置領域81,82,83,84を選択することが挙げられる。また、Min=|1-α|*|1-β|を最小化する、即ち映像6を可能な限り原寸大に近いサイズで表示可能な配置領域を選択するものとしても良い。また、別途ユーザの指示を受け付け、複数の配置領域候補81,82,83,84の中から1つの配置領域81,82,83,84を選択するように構成しても良い。
ステップS37の処理を終えた場合、又はステップS36で配置領域候補が単数であると判定した場合(ステップS36:NO)、配置決定部14は、絞り込まれた一つの配置領域81,82,83,84を決定し(ステップS38)、処理を終える。
図13に戻り、映像配置領域の決定に係る処理を終えた後、配置決定部14は、映像6の配置に関してエラーがあったか否かを判定する(ステップS15)。エラーがあったと判定した場合(ステップS15:YES)、配置決定部14は処理を終える。エラーがなかったと判定した場合(ステップS15:NO)、映像合成部15は、拡大又は縮小率α及びβを用いて、映像6を拡大又は縮小する(ステップS16)。そして、映像合成部15は、拡大又は縮小された映像6と、その他のコンテンツ映像とを、配置レイアウト8上に配列してなる映像を生成し(ステップS17)、処理を終える。
このように構成された本実施の形態1に係る映像処理システムによれば、奥行き感を強調させる処理が施された映像を、奥行き感強調処理の効果が損なわれないように配列させることができる。
(変形例)
図16は、変形例に係る映像処理システムの一構成例を示すブロック図である。変形例に係る映像処理システムは、実施の形態1と同様の奥行き強調処理装置2、映像処理装置101、記憶部3及び出力装置4を有し、映像処理装置101が映像特徴情報を記憶部3から取得するのでは無く、映像に基づいて映像特徴情報を算出するように構成してある点が異なる。以下では主に上記相異点を説明する。
図16は、変形例に係る映像処理システムの一構成例を示すブロック図である。変形例に係る映像処理システムは、実施の形態1と同様の奥行き強調処理装置2、映像処理装置101、記憶部3及び出力装置4を有し、映像処理装置101が映像特徴情報を記憶部3から取得するのでは無く、映像に基づいて映像特徴情報を算出するように構成してある点が異なる。以下では主に上記相異点を説明する。
映像処理装置101は、映像取得部111、映像特徴算出部112、配置情報取得部13、配置決定部14及び映像合成部15を有する。映像特徴算出部112以外の構成は、実施の形態1と同様である。
映像特徴算出部112は、記憶部3が記憶している映像6を取得し、取得した映像6に基づいて、映像特徴情報を算出し、算出した映像特徴情報を配置決定部14に与える。映像特徴算出部112は、例えば、テクスチャ解析、パターンマッチング等のパターン認識によって、映像6に含まれる枠オブジェクト61c,62cを認識し、枠オブジェクト61c,62cに外接する長方形の短辺及び長辺の長さ、つまり枠形状情報を算出する。より具体的には、テクスチャ解析機能を有する映像特徴算出部112は、映像6から略同一の映像パターンを有する映像領域を抽出し、各フレーム61,62に共通する映像領域を枠オブジェクト61c,62cとして認識するように構成すれば良い。また、パターンマッチング機能を有する映像特徴算出部112は、枠オブジェクト61c,62cのテンプレート映像を記憶しており、映像6と、該テンプレート映像との一致度、例えばユークリッド距離等を算出し、相関が高い映像領域を枠オブジェクト61c,62cとして認識するように構成すれば良い。
また、映像特徴算出部は、枠オブジェクト61c,62cの外側にはみ出している非周辺映像部分を移動体映像部分61b、62bとして認識し、動き情報を算出することができる。
また、映像特徴算出部は、枠オブジェクト61c,62cの外側にはみ出している非周辺映像部分を移動体映像部分61b、62bとして認識し、動き情報を算出することができる。
変形例1によれば、映像特徴情報を予め用意し、記憶部3に記憶させておかなくても、実施の形態1と同様の効果を奏する。
(実施の形態2)
図17は、本実施の形態2に係る映像処理システムの一構成例を示すブロック図である。実施の形態2に係る映像処理システムは、実施の形態1と同様の映像処理装置201、奥行き強調処理装置2、記憶部3及び出力装置4を有する。実施の形態2に係る映像処理システムは、配置レイアウト208に映像206,207が配される配置領域が予め確定されており、特定の配置領域に適した映像206,207を、記憶部3が記憶する複数の映像206,207の中から選択するように構成してある点が異なる。以下では主に上記相異点を説明する。
図17は、本実施の形態2に係る映像処理システムの一構成例を示すブロック図である。実施の形態2に係る映像処理システムは、実施の形態1と同様の映像処理装置201、奥行き強調処理装置2、記憶部3及び出力装置4を有する。実施の形態2に係る映像処理システムは、配置レイアウト208に映像206,207が配される配置領域が予め確定されており、特定の配置領域に適した映像206,207を、記憶部3が記憶する複数の映像206,207の中から選択するように構成してある点が異なる。以下では主に上記相異点を説明する。
映像処理装置201は、映像選択部212、配置情報取得部213、配置決定部214、及び映像合成部15を有する。配置情報取得部213及び映像選択部212以外の構成は、実施の形態1と同様である。
配置情報取得部213は、記憶部3が記憶している配置レイアウト情報及び配置情報を取得し、取得した配置情報を映像選択部212に与え、取得した配置レイアウト情報及び配置情報を配置決定部214に与える。
図18A及び図18Bは、本実施の形態2に係る配置レイアウト208及び配置情報を概念的に示す説明図である。図18Aは、配置レイアウト情報を概念的に示した説明図、図18Bは、配置情報の具体的な内容を概念的に示した説明図である。図18Aに示すように、配置レイアウト情報によって表される配置レイアウト208は、基本的には実施の形態1における配置レイアウトと同様である。ただし、奥行き強調処理が施された映像206,207を配すべき配置領域は予め定められている。図18A中、実線で囲まれた配置領域281は、奥行き強調処理が施された映像206,207が配されるべき領域を示している。
配置情報は、図18Bに示すように、配置領域281,282,283,284の上辺、下辺、左辺及び右辺から配置レイアウト208の外周縁までの距離Lu,Lb,Ll,Lr、長方形の配置領域281,282,283,284自身の幅Wt及び高さHtの情報を含む。なお、図18Bには、配置領域281に関する各距離、幅及び高さのみが図示されているが、他の配置領域282,283,284についても同様である。また、配置情報は、奥行き強調処理が施された映像206,207が配されるべき配置領域を特定するための情報を含む。
図18A及び図18Bは、本実施の形態2に係る配置レイアウト208及び配置情報を概念的に示す説明図である。図18Aは、配置レイアウト情報を概念的に示した説明図、図18Bは、配置情報の具体的な内容を概念的に示した説明図である。図18Aに示すように、配置レイアウト情報によって表される配置レイアウト208は、基本的には実施の形態1における配置レイアウトと同様である。ただし、奥行き強調処理が施された映像206,207を配すべき配置領域は予め定められている。図18A中、実線で囲まれた配置領域281は、奥行き強調処理が施された映像206,207が配されるべき領域を示している。
配置情報は、図18Bに示すように、配置領域281,282,283,284の上辺、下辺、左辺及び右辺から配置レイアウト208の外周縁までの距離Lu,Lb,Ll,Lr、長方形の配置領域281,282,283,284自身の幅Wt及び高さHtの情報を含む。なお、図18Bには、配置領域281に関する各距離、幅及び高さのみが図示されているが、他の配置領域282,283,284についても同様である。また、配置情報は、奥行き強調処理が施された映像206,207が配されるべき配置領域を特定するための情報を含む。
映像選択部212は、記憶部3が記憶している複数の映像それぞれの映像特徴情報を取得する映像特徴取得部212aと、映像特徴取得部212aにて取得した映像特徴情報、及び配置情報取得部213から与えられた配置情報に基づいて、一つの映像206,207を選択し、選択された一つの映像206,207及び他のコンテンツ映像を取得する映像取得部212bとを含む。映像取得部212bは、選択された映像206,207及び他のコンテンツ映像を映像合成部15に与える。
図19A及び図19Bは、記憶部3が記憶している複数の映像206,207における枠形状情報及び動き情報を概念的に示す説明図である。特に図19Aは、第1の映像206の枠形状情報及び動き情報を示す説明図、図19Bは、第2の映像207の枠形状情報及び動き情報を示す説明図である。枠形状情報は、実施の形態1と同様、枠オブジェクト261c,271cに外接する長方形の幅Wfと、高さHfとを含む情報である。また、移動体映像部分261b、271bの動き情報は、移動体映像部分261b、271bが背景映像部分261a,271aから枠オブジェクト261c,271cを乗り越えて、周縁映像部分261d,271dへ飛び出す上下左右方向の最大の飛び出し距離を含む情報である。映像206,207が異なれば、基本的に枠形状情報及び動き情報も異なる。なお、図19中、太線矢印は、移動体映像部分261b,271bの動きを示した動きベクトル261v,271vである。
図20は、本実施の形態2に係る映像処理方法の手順を示すフローチャートである。まず、配置情報取得部213は、記憶部3が記憶している配置レイアウト情報及び配置情報を取得し、取得した配置情報を映像選択部212に与え、取得した配置レイアウト情報及び配置情報を配置決定部214に与える(ステップS211)。そして、映像選択部212は、配置情報取得部213から与えられた配置情報に基づいて、奥行き強調処理が施された映像206,207が配されるべき配置領域281を特定する(ステップS212)。配置情報には、各配置領域281,282,283,284の左端、上端、右端、下端からの距離Ll、Lt、Lr、Lbと、配置領域281,282,283,284の幅Wt及び高さHtと、奥行き強調処理が施された映像206,207が配されるべき配置領域281を特定するための特定情報とが含まれている。映像選択部212は、配置情報に含まれる該特定情報を用いて、映像206,207が配されるべき配置領域281を特定する。
次いで、映像選択部212は、記憶部3が記憶している複数の映像206,207の中から、配置領域281に配置すべき一つの映像206,207を選択し、選択された一つの映像206,207及び他のコンテンツ映像を記憶部3から取得し、取得した一つの映像206,207及び他のコンテンツ映像を映像合成部15に与える(ステップS213)。
図21は、配置映像の選択に係る処理手順を示すフローチャートである。映像選択部212は、配置映像の選択に係る処理を開始した場合、まず、記憶部3が記憶している全ての映像206,207について配置の適否を検査したか否かを判定する(ステップS231)。
全ての映像206,207について配置の適否を検査していないと判定した場合(ステップS231:NO)、映像選択部212は、未だ検査されていない一つの映像206,207を記憶部3から取得し(ステップS232)、取得した映像206,207に対応する映像特徴情報を取得する(ステップS233)。なお、本実施の形態2では、映像特徴情報と共に映像206,207を取得する例を説明したが、映像206,207を取得せず、映像特徴情報のみを取得するように構成しても良い。
そして、映像選択部212は、配置領域281に配置すべき映像206,207の適否を検査する(ステップS234)。映像選択部212は、実施の形態1と同様、上記式(1)~(4)の全てを満たす映像206,207を、配置領域208に配すべき適当な映像として、映像の適否を検査する。
図22は、本実施の形態2における映像適否検査に係る処理手順を示すフローチャートである。映像選択部212は、ステップS232で取得した一つの映像206,207と、ステップS212で特定された配置領域281と関係について、実施の形態1におけるステップS51~ステップS56と同様の処理をステップS251~ステップS256で実行する。そして、ステップS256で、β×Dbが距離Lb以下であると判定した場合(ステップS256:YES)、配置決定部214は、検査対象の一つの映像206,207を、配置領域281に配されるべき候補映像とし(ステップS257)、処理を終える。
α×D1が距離Llより大きいと判定した場合(ステップS253:NO)、α×Drが距離Lrより大きいと判定した場合(ステップS254:NO)、β×Duが距離Luより大きいと判定した場合(ステップS255:NO)、β×Dbが距離Lbより大きいと判定した場合(ステップS256:NO)、映像選択部212は、検査対象の一つの映像260,207を、非候補映像であるとし(ステップS258)、処理を終える。
図21に戻り、配置映像の適否検査に係る処理を終えた映像選択部212は、該適否検査の戻り値に基づいて、検査対象の映像206,207が候補映像であるか否かを判定する(ステップS235)。候補映像でないと判定した場合(ステップS235:NO)、配置決定部214は、処理をステップS231に戻す。候補映像であると判定した場合(ステップS235:YES)、配置決定部214は、配置領域281に配置すべき候補の映像206,207を記憶し(ステップS236)、処理をステップS231に戻す。
ステップS231で全ての映像206,207を検査したと判定した場合(ステップS231:YES)、映像選択部212は、配置領域281に配置する映像の候補が一つもないか否かを判定する(ステップS237)。候補映像が一つもないと判定した場合(ステップS237:NO)、映像選択部212は、映像の配置に関してエラーがあった旨を記憶し(ステップS241)、処理を終える。候補映像が少なくとも一つあると判定した場合(ステップS237:YES)、映像選択部212は、候補映像が複数であるか否かを判定する(ステップS238)。
候補映像が複数あると判定した場合(ステップS238でYES)、映像206,207を一つに絞り込む(ステップS239)。ステップS239の後、又は候補映像が複数ないと判定した場合(ステップS238でNO)、絞り込まれた映像206,207を、配置領域281に配置すべき映像として決定し(ステップS240)、処理を終える。例えば、映像選択部212は、Min=|1-α|*|1-β|を最小化する、可能な限り原寸大に近いサイズで表示可能な映像206,207に絞り込む。また、別途ユーザの指示を受け付け、複数の候補映像の中から一つの映像206,207を選択するように構成しても良い。
図20に戻り、配置映像の選択に係る処理を終えた後、配置決定部214は、映像206,207の配置に関してエラーがあったか否かを判定する(ステップS214)。エラーがあったと判定した場合(ステップS214:YES)、配置決定部214は処理を終える。エラーがなかったと判定した場合(ステップS214:NO)、映像合成部15は、拡大又は縮小率α及びβを用いて、映像206、207を拡大又は縮小する(ステップS215)。そして、映像合成部15は、拡大又は縮小された映像206、207と、他のコンテンツ映像とを、配置レイアウト208上に配列してなる映像を生成し(ステップS216)、処理を終える。
このように構成された実施の形態2に係る映像処理システムによれば、実施の形態1と同様の効果を奏する。
(実施の形態3)
図23は、本実施の形態3に係る映像処理システムの一構成例を示すブロック図である。実施の形態3に係る映像処理装置301は、本発明に係るコンピュータプログラム309aをコンピュータ301に実行させることによって実現される。
図23は、本実施の形態3に係る映像処理システムの一構成例を示すブロック図である。実施の形態3に係る映像処理装置301は、本発明に係るコンピュータプログラム309aをコンピュータ301に実行させることによって実現される。
コンピュータ301は、装置全体を制御するCPU(Central Processing Unit)311を備える。CPU311は、ROM(Read Only Memory)312と、演算に伴って発生する一時的な情報を記憶するRAM(Random Access Memory)313と、本発明の実施の形態に係るコンピュータプログラム309aを記録した記録媒体309、例えばCD-ROMからコンピュータプログラム309aを読み取る外部記憶装置314と、外部記憶装置314により読み取ったコンピュータプログラム309aを記録するハードディスク等の内部記憶装置315と、入力部316と、出力部317とが接続されている。CPU311は、内部記憶装置315からコンピュータプログラム309aをRAM313に読み出して各種演算処理を実行することによって、本発明に係る映像処理方法を実施する。CPU311の処理手順は、図13及び図15に示す通りであり、ステップS11~17、ステップS31~39、及びステップS51~58の処理手順を実行する。該処理手順は、本実施の形態1及び変形例に係る映像処理装置1、101を構成した各構成部の処理内容と同様であるため、その詳細な説明を省略する。
実施の形態3に係るコンピュータ301及びコンピュータプログラム309aにあっては、コンピュータ301を本実施の形態1に係る映像処理装置1として機能させ、また本実施の形態1に係る映像処理方法を実施させることができ、本実施の形態1及び変形例と同様の効果を奏する。
なお、CPUに、図20及び図22に示す通りであり、ステップS211~216、ステップS231~241、及びステップS251~258の処理手順を実行させるように構成しても良い。該処理手順は、本実施の形態2に係る映像処理装置201を構成した各構成部の処理内容と同様であるため、その詳細な説明を省略する。
このように構成されたコンピュータ及びコンピュータプログラムにあっては、コンピュータを本実施の形態2に係る映像処理装置201として機能させ、また本実施の形態2に係る映像処理方法を実施させることができ、本実施の形態2と同様の効果を奏する。
このように構成されたコンピュータ及びコンピュータプログラムにあっては、コンピュータを本実施の形態2に係る映像処理装置201として機能させ、また本実施の形態2に係る映像処理方法を実施させることができ、本実施の形態2と同様の効果を奏する。
また、本実施の形態3に係るコンピュータプログラム309aは、言うまでもなく記録媒体309に記録されているものに限定されず、有線又は無線の通信網を介してダウンロードし、記憶し、実行されるものであっても良い。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
1 奥行き強調処理装置
2 映像処理装置
3 記憶部
4 出力装置
8 配置レイアウト
11 映像取得部
12 映像特徴取得部
13 配置情報取得部
14 配置決定部
15 映像合成部
2 映像処理装置
3 記憶部
4 出力装置
8 配置レイアウト
11 映像取得部
12 映像特徴取得部
13 配置情報取得部
14 配置決定部
15 映像合成部
Claims (13)
- 複数の映像を配列させる映像処理装置において、
背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む一つの映像を取得する映像取得手段と、
背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を取得する映像特徴取得手段と、
該映像特徴取得手段にて取得した情報が示す大きさ及び移動範囲に基づいて、前記一つの映像の配置領域を決定する配置決定手段と、
該配置決定手段の決定結果に基づいて、前記一つの映像及び他の映像を配列させる手段と
を備えることを特徴とする映像処理装置。 - 複数の映像を配列させる映像処理装置において、
背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む一つの映像を取得する映像取得手段と、
該映像取得手段にて取得した映像に基づいて、該映像に含まれる背景映像部分の大きさ及び移動体映像部分の移動範囲を算出する映像特徴算出手段と、
該映像特徴算出手段にて算出した大きさ及び移動範囲に基づいて、前記一つの映像の配置領域を決定する配置決定手段と、
該配置決定手段の決定結果に基づいて、前記一つの映像及び他の映像を配列させる手段と
を備えることを特徴とする映像処理装置。 - 前記配置決定手段は、
移動体映像部分が、複数の映像を配列してなる映像の内側に収まるように、前記一つの映像の配置領域を決定するようにしてある
ことを特徴とする請求項1又は請求項2に記載の映像処理装置。 - 複数の映像が配されるべき複数の配置領域を示した配置情報を取得する配置情報取得手段を備え、
前記配置決定手段は、
前記配置情報取得手段にて取得した配置情報が示す複数の配置領域の中から、特定の配置領域を決定するようにしてある
ことを特徴とする請求項1から請求項3までのいずれか一項に記載の映像処理装置。 - 前記一つの映像の大きさを、背景映像部分が配置領域に収まるように変更する手段を備え、
前記配置決定手段は、
背景映像部分の大きさが最大になる配置領域を決定するようにしてある
ことを特徴とする請求項4に記載の映像処理装置。 - 背景映像部分及び移動体映像部分を含む一つの映像、並びに背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を記憶した記憶手段を備える
ことを特徴とする請求項1から請求項5までのいずれか一つに記載の映像処理装置。 - 複数の映像を配列させる映像処理装置において、
複数の映像が配されるべき配置領域を示した配置情報を取得する配置情報取得手段と、
背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む映像、並びに背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を記憶した記憶手段と、
該記憶手段が記憶している情報が示す大きさ及び移動範囲に基づいて、前記配置情報取得手段にて取得した配置情報が示した配置領域に配することが可能な一つの映像を前記記憶手段から取得する映像取得手段と、
前記一つの映像及び他の映像を配列させる手段と
を備えることを特徴とする映像処理装置。 - 複数の映像を配列させる映像処理方法において、
背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む一つの映像を取得するステップと、
背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を取得するステップと、
取得した情報が示す大きさ及び移動範囲に基づいて、前記一つの映像の配置領域を決定するステップと、
取得した前記一つの映像及び他の映像を、配置領域の決定結果に基づいて、配列させるステップと
を備えることを特徴とする映像処理方法。 - 複数の映像を配列させる映像処理方法において、
背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む一つの映像を取得するステップと、
取得した映像に基づいて、該映像に含まれる背景映像部分の大きさ及び移動体映像部分の移動範囲を算出するステップと、
算出した大きさ及び移動範囲に基づいて、前記一つの映像の配置領域を決定するステップと、
取得した前記一つの映像及び他の映像を、配置領域の決定結果に基づいて、配列させるステップと
を備えることを特徴とする映像処理方法。 - 背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む映像、並びに背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を記憶した記憶手段を用いて、複数の映像を配列させる映像処理方法において、
複数の映像が配されるべき配置領域を示した配置情報を取得するステップと、
取得した配置情報が示した配置領域に配することが可能な一つの映像を、前記記憶手段が記憶している情報が示す大きさ及び移動範囲に基づいて、前記記憶手段から取得するステップと、
取得した前記一つの映像及び他の映像を配列させるステップと
を備えることを特徴とする映像処理方法。 - コンピュータに、複数の映像を配列してなる映像を生成させるコンピュータプログラムにおいて、
コンピュータを、
背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む一つの映像を取得する映像取得手段と、
背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を取得する映像特徴取得手段と、
該映像特徴取得手段にて取得した情報が示す大きさ及び移動範囲に基づいて、前記一つの映像の配置領域を決定する配置決定手段と、
該配置決定手段の決定結果に基づいて、前記一つの映像及び他の映像を配列してなる映像を生成させる手段と
して機能させることを特徴とするコンピュータプログラム。 - コンピュータに、複数の映像を配列してなる映像を生成させるコンピュータプログラムにおいて、
コンピュータを、
背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む一つの映像を取得する映像取得手段と、
該映像取得手段にて取得した映像に基づいて、該映像に含まれる背景映像部分の大きさ及び移動体映像部分の移動範囲を算出する映像特徴算出手段と、
該映像特徴算出手段にて算出した大きさ及び移動範囲に基づいて、前記一つの映像の配置領域を決定する配置決定手段と、
該配置決定手段の決定結果に基づいて、前記一つの映像及び他の映像を配列してなる映像を生成させる手段と
して機能させることを特徴とするコンピュータプログラム。 - 背景映像部分、及び前記背景映像部分から該背景映像部分の外側へ飛び出す移動体映像部分を含む映像、並びに背景映像部分の大きさ及び移動体映像部分の移動範囲を示した情報を記憶した記憶手段を備えたコンピュータに、複数の映像を配列してなる映像を生成させるコンピュータプログラムにおいて、
コンピュータを、
複数の映像が配されるべき配置領域を示した配置情報を取得する配置情報取得手段と、
前記記憶手段が記憶している情報が示す大きさ及び移動範囲に基づいて、前記配置情報取得手段にて取得した配置情報が示した配置領域に配することが可能な一つの映像を前記記憶手段から取得する映像取得手段と、
前記一つの映像及び他の映像を配列してなる映像を生成させる手段と
して機能させることを特徴とするコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010173949A JP4954319B2 (ja) | 2010-08-02 | 2010-08-02 | 映像処理装置、映像処理方法及びコンピュータプログラム |
JP2010-173949 | 2010-08-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012017793A1 true WO2012017793A1 (ja) | 2012-02-09 |
Family
ID=45559300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/066047 WO2012017793A1 (ja) | 2010-08-02 | 2011-07-14 | 映像処理装置、映像処理方法及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4954319B2 (ja) |
WO (1) | WO2012017793A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002133444A (ja) * | 2000-10-20 | 2002-05-10 | Matsushita Electric Ind Co Ltd | 映像情報作成装置 |
JP2004088454A (ja) * | 2002-08-27 | 2004-03-18 | Nippon Telegr & Teleph Corp <Ntt> | 画像情報表示システム |
JP2007279904A (ja) * | 2006-04-04 | 2007-10-25 | Daiman:Kk | 遊技機 |
-
2010
- 2010-08-02 JP JP2010173949A patent/JP4954319B2/ja not_active Expired - Fee Related
-
2011
- 2011-07-14 WO PCT/JP2011/066047 patent/WO2012017793A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002133444A (ja) * | 2000-10-20 | 2002-05-10 | Matsushita Electric Ind Co Ltd | 映像情報作成装置 |
JP2004088454A (ja) * | 2002-08-27 | 2004-03-18 | Nippon Telegr & Teleph Corp <Ntt> | 画像情報表示システム |
JP2007279904A (ja) * | 2006-04-04 | 2007-10-25 | Daiman:Kk | 遊技機 |
Also Published As
Publication number | Publication date |
---|---|
JP2012033109A (ja) | 2012-02-16 |
JP4954319B2 (ja) | 2012-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200349386A1 (en) | Storing Information for Access Using a Captured Image | |
JP5847924B2 (ja) | 拡張現実表現のための二次元画像取込み | |
US9245043B2 (en) | Embedded media markers and systems and methods for generating and using them | |
CN100477745C (zh) | 图像合成装置和图象合成方法 | |
US8619098B2 (en) | Methods and apparatuses for generating co-salient thumbnails for digital images | |
US6396491B2 (en) | Method and apparatus for reproducing a shape and a pattern in a three-dimensional scene | |
US8134578B2 (en) | Hybrid importance maps for content aware digital image resizing | |
US20120075433A1 (en) | Efficient information presentation for augmented reality | |
CN109618222A (zh) | 一种拼接视频生成方法、装置、终端设备及存储介质 | |
US9865032B2 (en) | Focal length warping | |
CN101853268B (zh) | 图像检索系统及图像检索方法 | |
US20130002702A1 (en) | Image-based backgrounds for images | |
JP6610535B2 (ja) | 画像処理装置および画像処理方法 | |
CN110852942B (zh) | 一种模型训练的方法、媒体信息合成的方法及装置 | |
US8565491B2 (en) | Image processing apparatus, image processing method, program, and imaging apparatus | |
US6816159B2 (en) | Incorporating a personalized wireframe image in a computer software application | |
JP2011119974A (ja) | パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム | |
WO2013179560A1 (ja) | 画像処理装置および画像処理方法 | |
JP2007078842A (ja) | 表示制御装置及び表示制御方法 | |
EP2765555B1 (en) | Image evaluation device, image selection device, image evaluation method, recording medium, and program | |
JP4954319B2 (ja) | 映像処理装置、映像処理方法及びコンピュータプログラム | |
CN115937358A (zh) | 图像处理方法及其装置、电子设备和存储介质 | |
JP2013238987A (ja) | 情報表示装置、情報入力装置、情報表示プログラム及び情報入力プログラム | |
JP2005071223A (ja) | 多重画像作成装置、多重画像作成方法、多重画像作成プログラム及びプログラム記録媒体 | |
JP2005275765A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11814423 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11814423 Country of ref document: EP Kind code of ref document: A1 |