WO2010113859A1

WO2010113859A1 - 映像処理装置、映像処理方法及びコンピュータプログラム

Info

Publication number: WO2010113859A1
Application number: PCT/JP2010/055544
Authority: WO
Inventors: 健明末永; 山本　健一郎; 正宏塩井; 大津　誠; 幹生瀬戸
Original assignee: シャープ株式会社
Priority date: 2009-03-31
Filing date: 2010-03-29
Publication date: 2010-10-07
Also published as: JP4903240B2; EP2416582A4; CN102379127A; EP2416582A1; JP2010238108A; US20120026289A1

Abstract

専用の映像表示装置及び特殊な眼鏡を用いず、画像処理のみによって映像の奥行き感を向上させることができる映像処理装置を提供する。映像取得部１１にて取得した映像の奥行き感を強調する処理を行う映像処理装置１に、前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得する奥行き情報取得部１２と、奥行き情報取得部１２にて取得した奥行き情報及び前記映像に基づいて、映像を奥行き方向の距離が異なる複数の映像部分に分割する映像分割部１３と、映像分割部１３にて分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に奥行き強調画像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調画像を合成する映像合成部１６とを備える。

Description

映像処理装置、映像処理方法及びコンピュータプログラム

　入力された映像の奥行き感を強調する処理を行う映像処理装置、映像処理方法、及びコンピュータを前記映像処理装置として動作させるためのコンピュータプログラムに関する。

　テレビ、携帯電話などの映像表示装置に表示される二次元映像の立体感又は奥行き感を高める様々な手法が提案されている。例えば、立体感又は奥行き感を高める方法の一つとして両眼視差を利用した立体視手法が提案されている。立体視手法は、視聴者の左右の目それぞれに、左目用視差画像と、右目用視差画像とを送ることによって、視聴者に錯覚を起こさせ、二次元平面に立体感又は奥行き感を与える手法である。
　左右の目それぞれに左目用視差画像及び右目用視差画像を送る方式には、左目用視差画像と右目用視差画像とを交互に切り替えて表示する映像表示装置と、各視差画像の切り替え周波数に同期して、左右のシャッタを切り替えて光路を遮断する眼鏡とを用いた方式がある（例えば、特許文献１）。
　また、左目用視差画像及び右目用視差画像を夫々赤色画像及び青色画像に色変換し、色変換された各画像を重畳的に表示する映像表示装置と、赤青眼鏡とを用いることによって、左右の目それぞれに赤色画像及び青色画像を送るアナグリフ方式がある。
　更に、左目用視差画像及び右目用視差画像それぞれを異なる偏光にて表示する映像表示装置と、偏光眼鏡とを用いることによって、左右の目それぞれに左目用視差画像及び右目用視差画像を送る方式がある（例えば、特許文献２）。

　他方、絵画の分野では、遠近法、陰影法、前進色及び後退色の組み合わせなどの絵画的技巧を利用して絵画の立体感又は奥行き感を高めることが行われている。これらの絵画的技巧を利用して作成される絵画作品は、トリックアート又はトロンプ・ルイユと呼ばれている。トリックアートは、前述の絵画的技巧を利用して、平面作品における背景、各オブジェクト間の重畳関係を描写することで、二次元的に描写されたオブジェクトの一部が恰も現実世界の三次元空間に飛び出しているように錯覚を起こさせ、平面作品に立体感又は奥行き感を与えることができる。

特開昭６０－７２９１号公報特開平１－１７１３９０号公報

　しかしながら、特許文献１，２に係るシステムにおいては、専用の映像表示装置及び特殊な眼鏡を用意する必要があった。また、視聴者は特殊な眼鏡の装着を義務付けられ、視聴方法が著しく制限されるという問題があった。

　本発明は、斯かる事情に鑑みてなされたものであり、専用の映像表示装置及び特殊な眼鏡を用いず、画像処理のみによって映像の奥行き感を向上させることができる映像処理装置、映像処理方法及びコンピュータを前記映像処理装置として動作させるためのコンピュータプログラムを提供することを目的とする。

　本発明に係る映像処理装置は、入力された映像の奥行き感を強調する処理を行う映像処理装置であって、前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得する奥行き情報取得手段と、該奥行き情報取得手段にて取得した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割する映像分割手段と、該映像分割手段にて分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調画像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調画像を合成する映像合成手段とを備えることを特徴とする。

　本発明に係る映像処理装置は、入力された映像の輝度又は色に基づいて、輝度又は色が該映像と異なる奥行き強調映像を生成する生成手段を備え、前記映像合成手段は、前記生成手段にて生成された奥行き強調映像を合成するようにしてあることを特徴とする。

　本発明に係る映像処理装置は、前記生成手段は、前記映像分割手段にて分割された一の映像部分及び／又は他の映像部分の輝度又は色に基づいて、輝度又は色が該映像部分と異なる奥行き強調映像を生成するようにしてあることを特徴とする。

　本発明に係る映像処理装置は、時系列順に複数の映像が入力されるように構成されており、時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する移動方向情報取得手段を備え、前記生成手段は、該移動方向情報取得手段にて取得した移動方向情報に応じた形状を有する奥行き強調映像を生成するようにしてあることを特徴とする。

　本発明に係る映像処理装置は、時系列順に複数の映像が入力されるように構成されており、時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する移動方向情報取得手段と、該移動方向情報取得手段にて取得した移動方向情報に応じた形状を有する奥行き強調映像を生成する生成手段とを備え、前記映像合成手段は、前記生成手段にて生成された奥行き強調映像を合成するようにしてあることを特徴とする。

　本発明に係る映像処理装置は、所定の三次元画像を記憶する記憶手段を備え、前記生成手段は、前記記憶手段が記憶している三次元画像と、前記移動方向情報取得手段にて取得した一の映像部分の移動方向情報が示す移動方向とが所定の位置関係になるように、該三次元画像を回転させる回転処理手段を備え、該回転処理手段にて回転した三次元画像を所定の二次元平面に射影させて得られる二次元形状を有する奥行き強調映像を生成するようにしてあることを特徴とする。

　本発明に係る映像処理方法は、入力された映像の奥行き感を強調する処理を行う映像処理方法であって、前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得し、取得した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割し、分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調画像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調画像を合成することを特徴とする。

　本発明に係るコンピュータプログラムは、コンピュータに、映像の奥行き感を強調する処理を実行させるコンピュータプログラムであって、前記コンピュータに、前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割するステップと、分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調画像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調画像を合成するステップとを実行させることを特徴とする。

　本発明にあっては、映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得し、取得した奥行き情報に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割する。そして、少なくとも一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調画像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調画像が合成される。合成された映像は、一の映像部分、奥行き強調映像、及び他の映像部分がこの順で重畳的に合成されたものであるため、一の映像部分及び他の映像部分の奥行きが奥行き強調映像によって強調される。
　具体的には、一の映像部分の一部に奥行き強調映像が重畳的に合成された場合、視聴者は、奥行き強調映像が一の映像部分の手前側に位置していると認識する。また、奥行き強調映像の一部に他の映像部分が重畳的に合成された場合、視聴者は、他の映像部分が奥行き強調映像部分の手前側に位置していると認識する。従って、一の映像部分と、他の映像部分とが奥行き方向に離隔しているという奥行き感を、視聴者に与えることが可能になる。
　なお、奥行き強調映像の数は１つに限定されず、映像を、３以上の映像部分に分割し、各映像部分間夫々に奥行き強調映像が挿入されるように、各映像部分及び奥行き強調映像を合成する技術的思想も本発明に含まれる。

　本発明にあっては、生成手段は、入力された映像の輝度又は色に基づいて、輝度又は色が該映像と異なる奥行き強調映像を生成する。従って、奥行き強調画像と、映像部分とは異なる輝度又は色を有する。よって、一の映像部分及び他の映像部分の奥行きを効果的に強調することが可能になる。

　本発明にあっては、生成手段は、一の映像部分及び／又は他の映像部分の輝度又は色に基づいて、輝度又は色が該映像部分と異なる奥行き強調映像を生成する。従って、奥行き強調画像と、映像部分とは異なる輝度又は色を有する。よって、一の映像部分及び他の映像部分の奥行きを効果的に強調することが可能になる。

　本発明にあっては、移動方向情報取得手段は、時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する。そして、生成手段は、取得した移動方向情報に応じた形状を有する奥行き強調画像を生成する。つまり、生成手段は、映像部分の移動を強調することが可能な形状を有する奥行き強調画像を生成する。

　本発明にあっては、記憶手段は、奥行き強調映像の元になる三次元画像を記憶している。回転処理手段は、記憶手段が記憶している三次元画像と、移動方向情報取得手段にて取得した移動方向情報が示す移動方向とが所定の位置関係になるように、該三次元画像を回転させる。つまり、三次元画像は、映像部分の移動方向を向くように回転する。そして、生成手段は、回転した三次元画像を所定の二次元平面に射影させて得られる二次元形状を有する奥行き強調映像を生成する。従って、合成される奥行き強調映像は、映像部分の移動方向を向いたような形状となる。よって、映像部分の移動が強調される。
　なお、三次元画像とは、三次元空間における画像を意味し、三次元画像には、三次元空間における立体的な画像はもちろん、平面的な画像も含まれる。

　本発明によれば、専用の映像表示装置及び特殊な眼鏡を用いず、画像処理のみによって映像の奥行き感を向上させることができる。

本発明の実施の形態に係る映像処理装置の一構成例を示すブロック図である。映像取得部が取得した映像の一例を示す説明図である。奥行き情報を概念的に示す説明図である。前景映像部分を概念的に示す説明図である。背景映像部分を概念的に示す説明図である。飛び出し情報を概念的に示した説明図である。飛び出し情報を概念的に示した説明図である。原三次元枠オブジェクトを概念的に示す説明図である。枠オブジェクトの形状決定方法を概念的に示す説明図である。枠オブジェクトの形状決定方法を概念的に示す説明図である。枠オブジェクトの形状決定方法を概念的に示す説明図である。枠オブジェクトの輝度及び色の決定方法を概念的に示す説明図である。枠オブジェクトの輝度及び色の決定方法を概念的に示す説明図である。枠オブジェクトの輝度及び色の決定方法を概念的に示す説明図である。枠オブジェクトの輝度及び色の決定方法を概念的に示す説明図である。枠オブジェクトの輝度及び色の決定方法を概念的に示す説明図である。枠オブジェクトの輝度及び色の決定方法を概念的に示す説明図である。映像合成部の処理内容を概念的に示す説明図である。映像合成部の処理内容を概念的に示す説明図である。映像処理装置が実施する映像処理方法の流れを示すフローチャートである。枠オブジェクト生成部の動作の流れを示すフローチャートである。変形例１に係る映像処理装置の一構成例を示すブロック図である。変形例２に係る映像処理装置の一構成例を示すブロック図である。奥行き強調映像の一例であるカーテンオブジェクトを示す模式図である。変形例４に係る枠オブジェクトの形状決定方法を概念的に示す説明図である。変形例５に係る映像処理装置を示すブロック図である。

　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
　図１は、本発明の実施の形態に係る映像処理装置１の一構成例を示すブロック図である。本実施の形態に係る映像処理装置１は、映像取得部１１、奥行き情報取得部１２、映像分割部１３、飛び出し情報取得部１４、枠オブジェクト生成部１５及び映像合成部１６を備える。

＜映像取得部＞
　映像取得部１１は、立体感又は奥行き感を向上させる映像処理対象の映像を取得し、取得した映像を映像分割部１３へ出力する。映像取得部１１にて取得される映像は、静止画像又は動画像のいずれでも良い。静止画は、１フレームの映像で構成され、動画像は、時系列順の複数フレームの映像で構成される。また、該映像は、所定の符号化方式、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ－２（Moving Picture Expert Group phase2）等で圧縮されたものであっても、非圧縮のものであっても良い。符号化された映像を取得する構成である場合、映像取得部１１は、取得した映像を所定の符号化方式に従って、該映像を例えばＲＧＢ形式やＹＵＶ形式の映像に復号し、復号して得た映像を映像分割部１３へ出力する。
　以下、本実施の形態では、説明の簡単のため、静止画又は動画を構成する１フレームの映像に対して行う処理を説明するが、動画の場合、時系列順に連続する各フレームの映像に対して同様の処理を行うものとする。

　図２は、映像取得部１１が取得した映像の一例を示す説明図である。図２に示した映像は、二次元に配列された複数の画素夫々の輝度及び色を示したデータであり、奥行き方向の距離が異なる複数のオブジェクト、例えば鳥、木、太陽、空、雲等の被写体に相当する映像から構成されている。奥行き方向の距離とは、オブジェクトに係る被写体と、所定位置、例えば該映像の撮像に用いた撮影装置の位置との距離をいう。以下、該距離を適宜、奥行きという。

＜奥行き情報取得部＞
　奥行き情報取得部１２は、映像取得部１１から得られる映像を構成する複数のオブジェクト夫々の奥行きを示した奥行き情報を取得し、取得した奥行き情報を映像分割部１３へ出力する。本実施の形態では、奥行き方向における撮影装置及び各被写体間の距離を撮像時に計測しておき、計測して得られた距離の情報を有する奥行き情報が映像とは別に映像処理装置１に入力されるものとする。
　なお、撮影装置及び各被写体間の距離は、例えばステレオ法を応用して計測すれば良い。具体的には、離隔配置した２つの撮像部で共通の被写体を撮像し、各撮像部で撮像された２枚の映像における被写体の視差を算出し、三角測量の原理により撮像装置と被写体との距離を求める。
　また、被写体に赤外線を照射する測距用の赤外線照射部と、被写体で反射された赤外線の強度を測定する赤外線検出部とを撮像装置に設け、各被写体から反射された赤外線の強度に基づいて、撮像装置と被写体との距離を求めても良い。

　図３は、奥行き情報を概念的に示す説明図である。図３に示すように、映像を構成する複数のオブジェクト夫々に対応付けられた奥行きの情報を有する画像を奥行き画像という。奥行きは、例えば、距離の短い順に１、２、…、５の昇順の数字で示されている。具体的には、奥行き画像は、入力された映像と同様の複数の画素から構成されており、入力された映像を構成する各画素に対応する奥行きを示した１～５のいずれかの数値が、奥行き画像の各画素の画素値として割り当てられている。なお、ここでは説明の簡単のために、奥行き情報を５段階で示すものとするが、奥行き情報は５段階未満乃至は５段階より多くても良く、もちろん無段階で示すものとしても問題はない。

＜映像分割部＞
　映像分割部１３は、映像取得部１１で取得した映像を、奥行き情報取得部１２で取得した奥行き情報に基づいて、前景映像部分Ｆ１１と、背景映像部分Ｆ１２とに分割する（図４Ａ及び図４Ｂ参照）。そして、映像分割部１３は、分割した前景映像部分Ｆ１１及び背景映像部分Ｆ１２を、枠オブジェクト生成部１５及び映像合成部１６へ出力する。具体的には、映像分割部１３は、取得した映像の各画素に対応する奥行きと、所定の閾値とを比較し、奥行きが閾値未満である場合、該画素を前景映像部分Ｆ１１の画素とし、奥行きが閾値以上である場合、背景映像部分Ｆ１２の画素とする。閾値は、映像分割部１３が予め記憶している定数である。
　各画素を示した変数をｎ＝０、１、２…、前景映像部分Ｆ１１及び背景映像部分Ｆ１２の別を示す変数をＰｘ（ｎ）、各画素の奥行きを示す変数をＤｅｐｔｈ（ｎ）、閾値をＴｈ１とした場合、Ｐｘ（ｎ）は、下記式（１）、（２）で表される。
　Ｐｘ（ｎ）＝背景　（Ｔｈ１＜Ｄｅｐｔｈ（ｎ））…（１）
　Ｐｘ（ｎ）＝前景　（Ｔｈ１≧Ｄｅｐｔｈ（ｎ））…（２）

　図４Ａは前景映像部分Ｆ１１を、図４Ｂは背景映像部分Ｆ１２を、それぞれ概念的に示す説明図である。閾値Ｔｈ１が２である場合、図２に示した映像Ｆ１は、図３に示した奥行き画像Ｇ１及び閾値Ｔｈ１＝２に基づき、前景映像部分Ｆ１１（図４Ａ中の実線で囲まれた白色領域）と背景映像部分Ｆ１２（図４Ｂ中の実線で囲まれた白色領域（破線で囲まれたグレー領域を除いた領域））に分割される。

　なお、閾値Ｔｈ１は予め映像分割部１３に記録されている値として説明を行ったが、映像処理装置１を使用する視聴者が自由に設定できる値としても良い。また、閾値Ｔｈ１を計算で求めても良い。例えば、閾値Ｔｈ１は、下記式（３）で表される。
　Ｔｈ＝（ΣＤｅｐｔｈ（ｎ））／（ｗ＊ｈ）…（３）
　但し、ｎは０、１、２、…、ｗ＊ｈの整数、ｈは映像Ｆ１の高さ（垂直方向に配列した画素の数）、ｗは映像Ｆ１の幅（水平方向に配列した画素の数）である。

＜飛び出し情報取得部＞
　飛び出し情報取得部１４は、映像Ｆ１内の各オブジェクトに設定された飛び出しの方向を示した飛び出し情報を取得し、取得した飛び出し情報を枠オブジェクト生成部１５へ出力する。ここで、飛び出しの方向とは、映像内の各オブジェクトの飛び出しを強調する際に、どちらの方向に飛び出し感を与えるべきかを示した情報である。

　図５Ａ及び図５Ｂは、飛び出し情報を概念的に示した説明図である。飛び出し情報は例えば、図５Ａに示すように、映像Ｆ１の縦方向（垂直方向）をＹ軸、横方向（水平方向）をＸ軸、映像面に対して垂直な前後方向の仮想的な軸をＺ軸とした３次元空間における３次元のベクトルで表される。この飛び出し情報は、図５Ｂに示すように、オブジェクトごとに指定されているものとする。なお、本実施の形態では飛び出し情報は正規化された単位ベクトルとして扱うものとする。

＜枠オブジェクト生成部＞
　枠オブジェクト生成部１５は、映像の奥行きを強調するための枠オブジェクトＨ３（図９参照）の基になる情報を記憶する記憶部１５ａと、飛び出し情報に基づいて、枠オブジェクトＨ３の形状を決定するための回転処理部１５ｂ及び射影変換部１５ｃと、前景映像部分Ｆ１１及び背景映像部分Ｆ１２の輝度及び色に基づいて枠オブジェクトＨ３の輝度及び色を決定する色決定部１５ｄとを備える。ここで枠オブジェクトＨ３とは、前景映像部分Ｆ１１と、背景映像部分Ｆ１２との間に挿入することで前景及び背景との相対的な距離感を与え、視聴者に立体感、奥行き感を知覚させるためのオブジェクトである。本実施の形態では、枠オブジェクトＨ３として、映像Ｆ１の外周を囲う枠状の映像を生成する。

　記憶部１５ａは、枠オブジェクトＨ３の基になる情報を予め記憶している。具体的には、三次元空間における三次元画像を記憶している。以下、該三次元画像を原三次元枠オブジェクトＨ１（図６参照）という。

　図６は、原三次元枠オブジェクトＨ１を概念的に示す説明図である。原三次元枠オブジェクトＨ１は、三次元空間における原点に中心が位置し、ＸＹ平面に略平行な矩形枠状をなしている。Ｈ２は、原三次元枠オブジェクトＨ１の法線ベクトルＨ２を示している。

　まず、枠オブジェクト生成部１５は、原三次元枠オブジェクトＨ１と、飛び出し情報とに基づいて、枠オブジェクトＨ３の形状を決定する。
　図７Ａ～図７Ｃは、枠オブジェクトＨ３の形状決定方法を概念的に示す説明図である。ここでは、図７Ａに示すように、映像Ｆ２内にオブジェクトＦ２１が存在し、その飛び出し情報が指定されているものとする。なお、映像Ｆ２は、枠オブジェクトＨ３の生成方法を説明すべく、映像Ｆ１を簡略化したものである。枠オブジェクトＨ３の形状は、図７Ｂで示した仮想的な３次元空間中で原三次元枠オブジェクトＨ１を飛び出し方向に応じて回転させ、即ち傾きを与え、傾いた三次元枠オブジェクトＨ１１，Ｈ２１（図７Ｃ参照）をＸＹ平面上に射影することによって得られる。以下、詳細に説明する。

　まず、原三次元枠オブジェクトＨ１の傾きを規定する傾きベクトルを算出する。傾きベクトルは下記式（４）で表される。
　（ｘ１，ｙ１，ｚ１）＝（ａ＊ｘ，ｂ＊ｙ，ｃ＊ｚ）…（４）
　但し、（ｘ１，ｙ１，ｚ１）は飛び出し情報、ａ，ｂ，ｃは、枠オブジェクト生成部１５が予め記憶している定数（０≦ａ，ｂ，ｃ≦１．０）である。

　そして、回転処理部１５ｂは、原三次元枠オブジェクトＨ１の法線ベクトルＨ２が傾きベクトル（ｘ１，ｙ１，ｚ１）に一致するように、原三次元枠オブジェクトＨ１を回転させる。

　次いで、射影変換部１５ｃは、回転処理後の三次元枠オブジェクトＨ１１，Ｈ２１をＸＹ平面に正射影した二次元形状に変換し、該二次元形状を枠オブジェクトＨ３の形状として記憶する。

　例えば、図７Ｂに示すようにオブジェクトＦ２１の飛び出し情報が（０，０，１）で与えられ、ａ＝１．０、ｂ＝１．０、ｃ＝１．０である場合、傾きベクトルは（０，０，１）となる。そして、回転処理部１５ｂは、原三次元枠オブジェクトＨ１の法線ベクトルＨ２が傾きベクトル（０，０，１）と略一致するように、該原三次元枠オブジェクトＨ１を回転させる。回転処理後の三次元枠オブジェクトＨ１１をＸＹ平面上に投射した最終的な形状は図７ＢのＸＹ平面に示した形となる。

　また、図７Ｃに示すように、オブジェクトＦ２１の飛び出し情報が（ｘ，０，√（１－ｘ＾２））で与えられ、ａ＝１．０、ｂ＝１．０、ｃ＝１．０である場合、傾きベクトルは（ｘ，０，√（１－ｘ＾２））となる。そして、回転処理部１５ｂは、原三次元枠オブジェクトＨ１の法線ベクトルＨ２が傾きベクトル（ｘ，０，√（１－ｘ＾２）と略一致するように、該原三次元枠オブジェクトＨ１を回転させる。回転処理後の三次元枠オブジェクトＨ２１をＸＹ平面上に投射した最終的な形状は図７ＣのＸＹ平面に示すような形となる。

　次に、枠オブジェクト生成部１５は枠の輝度及び色を決定する。
　図８Ａ～図８Ｆは、枠オブジェクトＨ３の輝度及び色の決定方法を概念的に示す説明図である。色決定部１５ｄは、枠オブジェクトＨ３の色を映像全体の輝度、つまり前景映像部分Ｆ１１及び背景映像部分Ｆ１２双方の輝度に基づいて決定する。図８Ａは、特にある一の時点で映像取得部１１が取得した映像Ｆ３、図８Ｂは、映像Ｆ３の輝度ヒストグラムであり、映像Ｆ３の輝度の平均値がｆ３で表されている。色決定部１５ｄは、予め閾値Ｔｈ２と、平均輝度ｆ３が閾値Ｔｈ２以上であった場合の枠オブジェクトＨ３の色Ｃ１と、閾値Ｔｈ２未満であった場合の枠オブジェクトＨ３の色Ｃ２を記憶している。なお、色Ｃ１及び色Ｃ２は、異なる輝度を有している。映像Ｆ３の平均輝度ｆ３は閾値Ｔｈ２以上であるため、色決定部１５ｄは、図８Ｃに示すように枠オブジェクトＨ３の色としてＣ１を決定する。

　同様に、図８Ｄは他の時点で映像取得部１１が取得した映像Ｆ４、図８Ｅは、映像Ｆ４の輝度ヒストグラムであり、映像Ｆ４の輝度の平均値がｆ４で表されている。映像Ｆ４の平均輝度ｆ４は閾値Ｔｈ２未満であるため、色決定部１５ｄは、図８Ｆに示すように枠オブジェクトＨ３の色として色Ｃ２を決定する。

　なお、枠オブジェクトＨ３の色については、特に限定されない。但し、平均輝度が閾値Ｔｈ２以上である場合は閾値Ｔｈ２より輝度が低い色を、平均輝度が閾値Ｔｈ２より低い場合は閾値Ｔｈ２より輝度が高い色を選ぶ方が好ましい。
　また、予め定数ｄを色決定部１５ｄに記憶させておき、枠オブジェクトＨ３の輝度を下記式（５）、（６）で決定するようにすると良い。
　枠オブジェクトＨ３の輝度＝平均輝度－ｄ　（平均輝度≧閾値Ｔｈ２）…（５）
　枠オブジェクトＨ３の輝度＝平均輝度＋ｄ　（平均輝度＜閾値Ｔｈ２）…（６）

　更に、背景映像部分Ｆ１２に基づいて、半透明の枠オブジェクトＨ３を生成するように構成しても良い。枠オブジェクトＨ３が半透明である場合、枠オブジェクトＨ３によって背景映像部分Ｆ１２が覆い隠されても、視聴者は、覆い隠された背景映像部分Ｆ１２の内容を伺い知ることができる。従って、映像の情報削減量を抑え、かつ映像の奥行きを強調することができる。

　更にまた、枠オブジェクトＨ３を額縁、窓の枠やテレビの枠などを模したオブジェクトとして配置しても良い。

　更にまた、映像Ｆ３，Ｆ４の輝度に基づいて、枠オブジェクトＨ３の色Ｃ１，Ｃ２を決定する例を説明したが、映像Ｆ３，Ｆ４の色、例えば平均彩度に基づいて、枠オブジェクトＨ３の色を映像の色と異なるように決定するように構成しても良い。また、映像Ｆ３，Ｆ４の輝度及び色夫々に基づいて、枠オブジェクトＨ３の輝度及び色を決定するように構成しても良い。

　更にまた、映像全体の輝度に基づいて枠オブジェクトＨ３の色及び輝度を決定する例を説明したが、前景映像部分Ｆ１１のみの平均輝度に基づいて、枠オブジェクトＨ３の色及び輝度を決定しても良い。つまり、前景映像部分Ｆ１１の輝度と、枠オブジェクトＨ３の輝度とが異なるように、該枠オブジェクトＨ３の色及び輝度を決定しても良い。この場合、枠オブジェクトＨ３と、前景映像部分Ｆ１１との差異が際だつため、前景映像部分Ｆ１１の奥行きを効果的に強調することが可能になる。
　同様に、背景映像部分Ｆ１２のみの平均輝度に基づいて、枠オブジェクトＨ３の色及び輝度を決定しても良い。つまり、背景映像部分Ｆ１２の輝度と、枠オブジェクトＨ３の輝度とが異なるように、該枠オブジェクトＨ３の色及び輝度を決定しても良い。この場合、枠オブジェクトＨ３と、背景映像部分Ｆ１２との差異が際だつため、背景映像部分Ｆ１２の奥行きを効果的に強調することが可能になる。
　更に、前景映像部分Ｆ１１及び背景映像部分Ｆ１２の平均輝度を各別に算出し、算出された各平均輝度と、枠オブジェクトＨ３の輝度とが異なるように、該枠オブジェクトＨ３の輝度及び色を決定するように構成しても良い。この場合、枠オブジェクトＨ３、前景映像部分Ｆ１１、背景映像部分Ｆ１２夫々の差異が際だつため、前景映像部分Ｆ１１及び背景映像部分Ｆ１２の奥行きを効果的に強調することが可能になる。

　枠オブジェクト生成部１５は、射影変換部１５ｃにて決定した形状と、色決定部１５ｄにて決定した色とを有する枠オブジェクトＨ３を生成し、生成した枠オブジェクトＨ３を映像合成部１６へ出力する。

＜映像合成部＞
　図９Ａ及び図９Ｂは、映像合成部１６の処理内容を概念的に示す説明図である。映像合成部１６は、映像分割部１３から出力された前景映像部分Ｆ１１及び背景映像部分Ｆ１２と、枠オブジェクト生成部１５から出力された枠オブジェクトＨ３を入力する。そして、映像合成部１６は、図９Ａ及び図９Ｂに示すように背景映像部分Ｆ１２に枠オブジェクトＨ３が重畳され、更に枠オブジェクトＨ３に前景映像部分Ｆ１１が重畳されるように、背景映像部分Ｆ１２、枠オブジェクトＨ３及び前景映像部分Ｆ１１を合成する。また、映像及び枠オブジェクトＨ３の形状及び寸法が一致しない場合、図９Ｂに示すように、枠オブジェクトＨ３の外側の領域が発生するが、映像合成部１６は、枠オブジェクトＨ３の外側にはみ出た背景映像部分Ｆ１２を表示させないように、該領域には所定の補完映像Ｉ１，Ｉ２を合成する。なお、枠オブジェクトＨ３の外側にはみ出た前景映像部分Ｆ１１は、そのまま表示させる。つまり、補完映像Ｉ１，Ｉ２に重畳させるように、前景映像部分Ｆ１１を表示させる。補完映像Ｉ１，Ｉ２は、例えば、単色の映像、壁のテクスチャ等の任意の映像である。枠オブジェクトＨ３の外側にはみ出た背景映像部分Ｆ１２をそのまま表示した場合、視聴者が背景映像部分Ｆ１２の奥行きを誤って認識するおそれがあるところ、補完映像Ｉ１，Ｉ２によって、枠オブジェクトＨ３の外側にはみ出た映像部分を覆うことによって、奥行きの誤認を防止することができ、効果的に映像の奥行きを強調することが可能になる。

　なお、表示装置周辺の映像を取得できる場合は、該映像を補完映像として表示することとしても良い。

　映像合成部１６は、背景映像部分Ｆ１２、枠オブジェクトＨ３及び前景映像部分Ｆ１１の合成によって得られた合成映像を外部の表示部２へ出力する。

　表示部２は、例えば液晶表示パネル、プラズマディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイであり、映像処理装置１１から出力された合成映像を入力し、合成映像を表示する。
　なお、合成映像の出力先として表示部２を例示したが、合成映像を出力することが可能であれば、プリンタ、送信装置その他、各種出力装置を採用しても良い。

　図１０は、映像処理装置１が実施する映像処理方法の流れを示すフローチャートである。処理動作開始の指示が与えられた場合、各構成部は動作を開始し、映像取得部１１は、映像処理装置１に入力した映像を取得し、取得した映像を映像分割部１３へ出力する（ステップＳ１１）。次いで、奥行き情報取得部１２は、映像処理装置１に入力した奥行き情報を取得し、取得した奥行き情報を映像分割部１３へ出力する（ステップＳ１２）。

　そして、映像分割部１３は、映像及び奥行き情報を入力し、該映像及び奥行き情報に基づいて、枠オブジェクトＨ３の配置位置を決定する（ステップＳ１３）。次いで、映像分割部１３は、奥行き情報及び映像を枠オブジェクトＨ３の配置位置に基づいて、映像を前景映像部分Ｆ１１と、背景映像部分Ｆ１２とに分割し、分割された前景映像部分Ｆ１１及び背景映像部分Ｆ１２を枠オブジェクト生成部１５及び映像合成部１６へ出力する（ステップＳ１４）。

　次いで、飛び出し情報取得部１４は、映像処理装置１に入力した飛び出し情報を取得し、取得した飛び出し情報を枠オブジェクト生成部１５へ出力する（ステップＳ１５）。

　そして、枠オブジェクト生成部１５は、枠オブジェクトＨ３の生成を生成し、生成した枠オブジェクトＨ３を映像合成部１６へ出力する（ステップＳ１６）。

　図１１は、枠オブジェクト生成部１５の動作の流れを示すフローチャートである。枠オブジェクト生成部１５は、記憶部１５ａから原三次元枠オブジェクトＨ１を読み出す（ステップＳ３１）。そして、枠オブジェクト生成部１５の回転処理部１５ｂは、飛び出し情報に応じて、原三次元枠オブジェクトＨ１を回転させる処理を実行し（ステップＳ３２）、射影変換部１５ｃは、回転処理後の三次元枠オブジェクトＨ１１，Ｈ２１の射影変換によって、枠オブジェクトＨ３の形状を決定する（ステップＳ３３）。

　そして、色決定部１５ｄは、映像の輝度及び色に基づいて、枠オブジェクトＨ３の輝度及び色を決定し（ステップＳ３４）、枠オブジェクトＨ３の生成に係る処理を終える。

　ステップＳ１６の処理に次いで、映像合成部１６は、前景映像部分Ｆ１１及び背景映像部分Ｆ１２と、枠オブジェクトＨ３とを入力し、背景映像部分Ｆ１２、枠オブジェクトＨ３、前景映像部分Ｆ１１をこの順で重畳的に合成し、また補完映像Ｉ１，Ｉ２を合成し、合成して得た合成映像を表示部２へ出力する（ステップＳ１７）。

　そして、表示部２は、映像合成部１６から出力された合成映像を入力し、該合成映像を表示し（ステップＳ１８）、処理を終える。
　以上、１フレームの映像に対する映像処理手順を説明したが、動画を構成する複数フレームの映像を処理する場合、同様の映像処理を各映像に対して実行すれば良い。
　なお、複数フレームの映像に対して枠オブジェクトＨ３の配置位置、形状及び色が急激に変化すると視聴者に違和感を与えるおそれがあるため、時系列順に隣り合う各映像夫々で決定された配置位置、生成された形状及び色の変化量を一定に抑えるローパスフィルタを備えても良い。

　このように構成された映像処理装置１及び映像処理方法にあっては、専用の映像表示装置及び特殊な眼鏡を用いず、画像処理のみによって映像の奥行き感を向上させることができる。

　なお、本実施の形態に係る映像処理装置１及び映像処理方法は、表示部２を備える液晶テレビ、有機ＥＬテレビ、プラズマテレビ等のテレビ、表示部２を備える静止画カメラ、ビデオカメラ、携帯電話機、ＰＤＡ（Personal Digital Assistants）等の各種携帯機器、パーソナルコンピュータ、インフォメーションディスプレイ、映像を出力するＢＤ（Blu-ray Disc：登録商標）レコーダ、ＤＶＤ（Digital Versatile Disc）レコーダ、ＨＤＤ（Hard Disk Drive）レコーダ等の各種レコーダ、デジタルフォトフレーム、その他ディスプレイが設けられた各種家具及び家電に適用することが可能である。

（変形例１）
　図１２は、変形例１に係る映像処理装置１０１の一構成例を示すブロック図である。本実施の形態では、奥行き情報を映像とは別に取得するように構成されているところ、変形例１に係る映像処理装置１０１は、映像取得部１１１にて取得した映像から各種演算によって奥行き情報を取得するように構成されている。具体的には、映像取得部１１１及び奥行き情報取得部１１２の構成が異なるため、以下では主に上記相異点について説明する。

　映像取得部１１１は、立体感又は奥行き感を向上させる映像処理対象の映像を取得し、取得した映像を映像分割部１３へ出力すると共に、奥行き情報取得部１１２へ出力する。

　奥行き情報取得部１１２は、映像取得部１１１から出力された映像を入力し、入力した映像に基づいて奥行き情報を算出し、算出して得た奥行き情報を映像分割部１３へ出力する。

　奥行き情報の算出方法は、例えば特開平９－１６１０７４号公報に示された方法を利用すれば良い。

　また、映像がなんらかの方式で符号化されている場合、その符号化情報から奥行き情報を作成しても良い。例えばＭｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ（ＭＰＥＧ）によって作られた標準動画規格の一つであるＭＰＥＧ－４（Moving Picture Expert Group phase4）では背景や人物などのオブジェクト単位で符号化することが可能である。映像が該機能を用いて、背景と人物が別々に符号化されていた場合は、この情報を用いて奥行き情報を作成する。

　変形例１にあっては、映像処理装置１０１に奥行き情報を与えなくても、映像を前景映像部分Ｆ１１、背景映像部分Ｆ１２に分割し、枠オブジェクトＨ３を挿入することができ、映像の奥行きを強調することができる。

（変形例２）
　図１３は、変形例２に係る映像処理装置２０１の一構成例を示すブロック図である。本実施の形態では、飛び出し情報を映像とは別に取得するように構成されているところ、変形例２に係る映像処理装置２０１は、映像取得部２１１にて取得した映像から各種演算によって飛び出し情報を取得するように構成されている。具体的には、映像取得部２１１及び飛び出し情報取得部２１４の構成が異なるため、以下では主に上記相異点について説明する。

　映像取得部２１１は、立体感又は奥行き感を向上させる映像処理対象の映像、特に、背景や人物などのオブジェクト単位で符号化された動画の映像を取得し、取得した映像を映像分割部１３へ出力すると共に、飛び出し情報取得部２１４へ出力する。

　飛び出し情報取得部２１４は、連続するフレームを構成する映像中のオブジェクトの移動方向及び大きさの変化を算出する。そして、飛び出し情報取得部２１４は、オブジェクトの水平方向の移動量に基づいて、飛び出し情報のＸ軸ベクトル成分を算出する。図７に示す三次元空間において、オブジェクトがＸ軸正方向へ移動している場合、飛び出し情報のＸ軸ベクトル成分を正の値とし、オブジェクトの移動量が大きい程、該値を大きく設定する。逆に、オブジェクトがＸ軸負方向へ移動している場合、飛び出し情報のＸ軸ベクトル成分を負の値とし、オブジェクトの移動量が大きい程、該値の絶対値を大きく設定する。
　同様に、飛び出し情報取得部２１４は、オブジェクトの垂直方向の移動量に基づいて、飛び出し情報のＹ軸ベクトル成分を算出する。
　また、飛び出し情報取得部２１４は、オブジェクトの大きさが大きくなる方向へ変化している場合、飛び出し情報のＺ軸ベクトル成分を正の値とし、オブジェクトの大きさの変化量が大きい程、該値を大きく設定する。逆に、オブジェクトの大きさが小さくなる方向へ変化している場合、飛び出し情報のＸ軸ベクトル成分を負の値とし、オブジェクトの大きさの変化量が大きい程、該値の絶対値を大きく設定する。

　変形例２にあっては、映像処理装置２０１に飛び出し情報を与えなくても、映像を前景映像部分Ｆ１１、背景映像部分Ｆ１２に分割し、枠オブジェクトＨ３を挿入することができ、映像の奥行きを強調することができる。

　なお、変形例１及び変形例２を組み合わせ、映像処理装置２０１に入力した映像から奥行き情報及び飛び出し情報夫々を算出するように構成しても良い。この場合、映像処理装置２０１に奥行き情報及び飛び出し情報の双方を与えなくても、映像の奥行きを強調することができる。

（変形例３）
　実施の形態では、映像の奥行きを強調する奥行き強調映像として、額縁型の枠オブジェクトＨ３を例示したところ、変形例３に係る映像処理装置１は、枠オブジェクトＨ３に代えてカーテンオブジェクトＨ３０１を表示するように構成されている。具体的には、変形例３に係る映像処理装置１は、枠オブジェクト生成部１５に代えて、図示しないカーテンオブジェクト生成部を備える。

　図１４は、奥行き強調映像の一例であるカーテンオブジェクトＨ３０１を示す模式図である。カーテンオブジェクト生成部は、映像の水平方向両側夫々に位置するカーテン形状のカーテンオブジェクトＨ３０１を記憶しており、該カーテンオブジェクトＨ３０１を映像合成部１６へ出力する。カーテンオブジェクトＨ３０１の形状及び色は映像の内容に拘わらず一定である。なお、言うまでもなく、カーテンオブジェクト生成部が前景映像部分Ｆ１１及び背景映像部分Ｆ１２を入力し、該前景映像部分Ｆ１１及び背景映像部分Ｆ１２の輝度に基づいて、カーテンオブジェクトＨ３０１の色及び輝度を変更するように構成しても良い。また、三次元形状の原三次元カーテンオブジェクトを記憶しておき、飛び出し情報を入力し、該飛び出し情報を用いて原三次元カーテンオブジェクトを回転及び射影変換することによって、二次元形状のカーテンオブジェクトＨ３０１を生成するように構成しても良い。

　なお、奥行き強調映像の一例として実施の形態では枠形状、変形例３ではカーテン形状を例示したが、映像の奥行きを強調可能であれば、奥行き強調映像の形状はこれに限定されない。例えば、かぎ括弧形状の奥行き強調映像を採用しても良い。なお、背景映像の主要部分が隠れ無いよう、奥行き強調映像は、映像の端側に位置するように構成する方が好ましい。

（変形例４）
　実施の形態では、図７Ｂに示すように映像の飛び出し情報がＺ軸成分のみを有する場合、枠オブジェクトＨ４０３の形状は特に変形しないため、Ｚ軸方向への飛び出しを強調することができない。変形例４に係る映像処理装置１は、飛び出し情報がＺ軸成分のみを有する場合、枠オブジェクトＨ４０３の形状をＺ軸方向へ迫り出すように変更することによって、Ｚ軸方向、つまり視聴者側への飛び出しを強調することができるように構成したものである。実施の形態とは、枠オブジェクト生成部１５の処理内容のみが異なるため、以下では主に上記相異点について説明する。

　図１５は、変形例４に係る枠オブジェクトＨ４０３の形状決定方法を概念的に示す説明図である。枠オブジェクト生成部１５は、飛び出し情報のＺ軸成分のみを含む場合、又はＺ軸成分がＸ軸成分、Ｙ軸成分に比べて所定値以上大きい場合、特にＺ軸成分が正の場合、図１５に示すように、原三次元枠オブジェクトＨ４０１の水平方向略中央部を山としてＸ軸正方向へ迫り出すように屈曲させ、更に原三次元枠オブジェクトＨ４０１の水平枠部分（枠の長辺部分）を垂直方向へ押し広げた立体形状に変形させる。そして、枠オブジェクト生成部１５は、変形後の三次元枠オブジェクトＨ４０１をＸＹ平面に射影変換した二次元形状を算出し、算出された二次元形状を枠オブジェクトＨ４０３の形状として決定する。

　逆に、Ｚ軸成分が負の場合、枠オブジェクト生成部１５は、原三次元枠オブジェクトＨ４０１の水平方向略中央部を谷としてＸ軸負方向へ迫り出すように屈曲させ、更に原三次元枠オブジェクトＨ４０１の水平枠部分（枠の長辺部分）を垂直方向へ押し狭めた立体形状に変形させる。そして、枠オブジェクト生成部１５は、変形後の三次元枠オブジェクトＨ４０１をＸＹ平面に射影変換した二次元形状を算出し、算出された二次元形状を枠オブジェクトの形状として決定する。

　映像合成部１６の処理内容は、本実施の形態と同様である。映像合成部１６は、背景映像部分Ｆ１２に、枠オブジェクトＨ４０３、補完映像Ｉ４０１，Ｉ４０２，Ｉ４０３，Ｉ４０４、及び前景映像部分Ｆ１１が順に重畳させるように合成し、合成して得た合成映像部分を外部へ出力する。

　変形例４に係る映像処理装置１及び映像処理方法にあっては、オブジェクトがＺ軸方向、つまりオブジェクトが手前側に迫ってくるような映像、あるいは手前側に飛び出してくるオブジェクトが２個存在し、各々の飛び出し方向が左右別々である映像、例えば中央に位置する人間が画面左右両端に向かって両手を広げたような映像であっても、飛び出し感を強調することができる。

（変形例５）
　図１６は、変形例５に係る映像処理装置を示すブロック図である。変形例５に係る映像処理装置は、本発明に係るコンピュータプログラム４ａをコンピュータ３に実行させることによって実現される。

　コンピュータ３は、装置全体を制御するＣＰＵ(Central Processing Unit)３１を備える。ＣＰＵ３１は、ＲＯＭ（Read Only Memory）３２と、演算に伴って発生する一時的な情報を記憶するＲＡＭ（Random Access Memory）３３と、本発明の実施の形態に係るコンピュータプログラム４ａを記録した記録媒体４ａ、例えばＣＤ－ＲＯＭからコンピュータプログラム４ａを読み取る外部記憶装置３４と、外部記憶装置３４により読み取ったコンピュータプログラム４ａを記録するハードディスク等の内部記憶装置３５とが接続されている。ＣＰＵ３１は、内部記憶装置３５からコンピュータプログラム４ａをＲＡＭ３３に読み出して各種演算処理を実行することによって、本発明に係る映像処理方法を実施する。ＣＰＵ３１の処理手順は、図１０及び図１１に示す通りであり、ステップＳ１１～１８、ステップＳ３１～３４の処理手順を実行する。該処理手順は、本実施の形態及び変形例４に係る映像処理装置１を構成した各構成部の処理内容と同様であるため、その詳細な説明を省略する。

　変形例５に係るコンピュータ３及びコンピュータプログラム４ａにあっては、コンピュータ３を本実施の形態に係る映像処理装置として機能させ、また本実施の形態に係る映像処理方法を実施させることができ、本実施の形態及び変形例１～４と同様の効果を奏する。

　なお、本変形例５に係るコンピュータプログラム４ａは、言うまでもなく記録媒体４に記録されているものに限定されず、有線又は無線の通信網を介してダウンロードし、記憶し、実行されるものであっても良い。

　また、今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

　１　映像処理装置
　２　出力部
　３　コンピュータ
　４　記録媒体
　４ａ　コンピュータプログラム
　１１　映像取得部
　１２　奥行き情報取得部
　１３　映像分割部
　１４　飛び出し情報取得部
　１５　枠オブジェクト生成部
　１６　映像合成部
　１５ａ　記憶部
　１５ｂ　回転処理部
　１５ｃ　射影変換部
　１５ｄ　色決定部
　３１　ＣＰＵ
　３２　ＲＯＭ
　３３　ＲＡＭ
　３５　外部記憶装置
　３６　入力部
　３７　出力部
　Ｆ１１　前景映像部分
　Ｆ１２　背景映像部分
　Ｈ１　原三次元枠オブジェクト
　Ｈ３　枠オブジェクト

Claims

　入力された映像の奥行き感を強調する処理を行う映像処理装置であって、
　前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得する奥行き情報取得手段と、
　該奥行き情報取得手段にて取得した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割する映像分割手段と、
　該映像分割手段にて分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調画像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調画像を合成する映像合成手段と
　を備えることを特徴とする映像処理装置。
　入力された映像の輝度又は色に基づいて、輝度又は色が該映像と異なる奥行き強調映像を生成する生成手段を備え、
　前記映像合成手段は、
　前記生成手段にて生成された奥行き強調映像を合成するようにしてある
　ことを特徴とする請求項１に記載の映像処理装置。
　前記生成手段は、
　前記映像分割手段にて分割された一の映像部分及び／又は他の映像部分の輝度又は色に基づいて、輝度又は色が該映像部分と異なる奥行き強調映像を生成するようにしてある
　ことを特徴とする請求項２に記載の映像処理装置。
　時系列順に複数の映像が入力されるように構成されており、
　時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する移動方向情報取得手段を備え、
　前記生成手段は、
　該移動方向情報取得手段にて取得した移動方向情報に応じた形状を有する奥行き強調映像を生成するようにしてある
　ことを特徴とする請求項２又は請求項３に記載の映像処理装置。
　時系列順に複数の映像が入力されるように構成されており、
　時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する移動方向情報取得手段と、
　該移動方向情報取得手段にて取得した移動方向情報に応じた形状を有する奥行き強調映像を生成する生成手段と
　を備え、
　前記映像合成手段は、
　前記生成手段にて生成された奥行き強調映像を合成するようにしてある
　ことを特徴とする請求項１に記載の映像処理装置。
　所定の三次元画像を記憶する記憶手段を備え、
　前記生成手段は、
　前記記憶手段が記憶している三次元画像と、前記移動方向情報取得手段にて取得した一の映像部分の移動方向情報が示す移動方向とが所定の位置関係になるように、該三次元画像を回転させる回転処理手段を備え、
　該回転処理手段にて回転した三次元画像を所定の二次元平面に射影させて得られる二次元形状を有する奥行き強調映像を生成するようにしてある
　ことを特徴とする請求項４又は請求項５に記載の映像処理装置。
　入力された映像の奥行き感を強調する処理を行う映像処理方法であって、
　前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得し、
　取得した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割し、
　分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調画像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調画像を合成する
　ことを特徴とする映像処理方法。
　コンピュータに、映像の奥行き感を強調する処理を実行させるコンピュータプログラムであって、
　前記コンピュータに、
　前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割するステップと、
　分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調画像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調画像を合成するステップと
　を実行させることを特徴とするコンピュータプログラム。