JP5830705B2 - 画像信号処理装置および画像信号処理方法 - Google Patents

Description

本発明は、立体画像信号を処理する画像信号処理装置に関する。

特許文献１には、立体画像から奥行深度情報を取得し、奥行深度情報に対して平滑化処理や重み付け処理等を行うことによって、精度の高い奥行深度情報を取得し、この情報で任意の視点での立体画像を生成する技術が開示されている。

特開２００１−１７５８６３号公報

本開示は、所定の条件に応じてより自然な立体感が得られる立体画像を生成できる画像信号処理装置を提供する。

本開示における画像信号処理装置は、入力される立体画像信号を処理するものであり、立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得する取得部と、所定の条件に応じて平滑化処理の内容を定める処理決定部と、処理決定部によって定められた平滑化処理の内容に従って、奥行き情報を画像面において平滑化する平滑化部と、平滑化された奥行き情報に基づいて立体画像信号から新たな立体画像を生成する画像生成部と、を備える。

本開示における画像信号処理装置は、所定の条件に応じて、より好適な立体感の得られる立体画像を生成することが可能となる。

実施の形態に係る画像信号処理装置が用いられる構成例 実施の形態に係る画像信号処理装置の機能構成図 実施の形態に係る画像信号処理装置の処理を示すフローチャート （ａ）平滑化処理におけるフィルタ係数の計算式の例、（ｂ）平滑化処理におけるフィルタ係数の例、（ｃ）視差勾配と偏差σとの関係の例 表示パネルの大きさとフィルタサイズとの関係の例 視聴距離とフィルタサイズとの関係の例 付加する視差量とフィルタサイズとの関係の例 実施の形態の効果を説明するための図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

立体画像は、左眼用画像と右眼用画像とを有している。視聴者は、この左眼用画像と右眼用画像とで表示される被写体が、相互の画像において略水平方向に「ずれ」ていることを知覚して、当該被写体の立体感（奥行き感）を感じることができる。

入力される立体画像から、当該入力された立体画像とは異なる新たな視点位置での立体画像を生成する場合、検出された視差（奥行き値）が常に正確であるとは限らない。また、オクルージョン領域等、新たな視点位置での立体画像で表示されるべき内容が元の立体画像等に含まれない場合、当該部分については視差をそもそも検出することができない。

（実施の形態１）
［１−１．構成］
図１は本実施の形態に係る画像信号処理装置が用いられる構成例を示す図である。図１（ａ）は立体画像システム１００を例示している。立体画像システム１００は、立体画像表示装置１０１と、立体画像視聴用眼鏡１０２とを有している。立体画像表示装置１０１は、立体画像を構成する左眼用画像と右眼用画像とを、時間的に交互に、または一定フレーム数毎に切り替えて、表示する。立体画像視聴用眼鏡１０２は、立体画像表示装置１０１が表示する左眼用画像および右眼用画像の表示タイミングに合わせて、動作する。

具体的には、立体画像表示装置１０１が左眼用画像を表示しているときは、立体画像視聴用眼鏡１０２は、当該眼鏡１０２を装着する視聴者の左眼に入射する画像光を増加させる一方、右眼に入射する画像光を減少させる。立体画像表示装置１０１が右眼用画像を表示しているときは、立体画像視聴用眼鏡１０２は、左眼に入射する画像光を減少させる一方、右眼に入射する画像光を増加させる。

これにより、視聴者は、左眼で左眼用画像を視聴し、右眼で右眼用画像を視聴することになり、立体画像表示装置１０１が表示する画像が立体的であると知覚することが可能となる。

図１（ｂ）は立体画像視聴用眼鏡を用いずに立体画像を視聴する構成の例である。タブレット１０３は、画像を表示する画像表示面１０４を有する。画像表示面１０４には、裸眼で立体画像を表示可能なデバイス等が用いられている。例えば、レンチキュラー視差バリア機能を備えた表示ディスプレイが用いられる。視聴者は、両眼に対してタブレット１０３を好適な位置に設定することによって、画像表示面１０４に表示される画像が立体的であると知覚することができる。

図２は本実施の形態に係る画像信号処理装置の機能構成について例示する図である。図２の画像信号処理装置２００は、独立した装置でもよく、あるいは、図１の立体画像表示装置１０１やタブレット１０３等の内部に含まれる装置等であってもよい。

図２において、画像信号処理装置２００は、視差検出部２０１、平滑化部２０２、パラメータ算出部２０３、視差制御部２０４、および画像生成部２０５とを備えている。パラメータ算出部２０３および視差制御部２０４によって、本開示における処理決定部が構成されている。画像信号処理装置２００は、立体画像の画像信号を入力とし、新たに生成した立体画像の画像信号を出力する。出力された新たな立体画像の画像信号は、表示部２０６等により表示される。

視差検出部２０１は、入力される立体画像信号から、立体画像の左眼用画像と右眼用画像との間の視差を検出する。視差検出部２０１は、立体画像の左眼用画像と右眼用画像とに表示されている同じ被写体等について、左右画像での「ずれ」を検出する。この「ずれ」の大きさが大きいほど、左右画像の視差が大きいと考えることができる。反対に、「ずれ」の大きさが小さいほど、左右画像の視差が小さいと考えることができる。なお、同じ立体画像であっても、被写体によって「ずれ」の大きさは異なる。ある画像において前景側に配置されて映し出される被写体と、背景側に配置されて映し出される被写体とでは、視差（「ずれ」）の大きさが異なる。このため、視差検出部２０１は、同じ画像面において、当該画像面を複数の領域に分割し、それぞれの領域毎に視差を検出する。これにより、画像面全体において視差分布を得ることが出来る。

以降の説明において、「視差」とは、立体画像のある領域における「ずれ」または「ずれ」で示される「奥行き」を意味し、「視差マップ」とは、ある領域における「視差」を要素とし、立体画像の画像面上での各領域に対応する「視差」をそれぞれ集めた集合である。「視差マップ」には、それぞれの領域の「位置」を表す情報と、それぞれの領域における「視差」とを組み合わせた情報が含まれる。

視差検出部２０１は、入力される立体画像のそれぞれの領域において奥行き値としての視差を検出し、立体画像全体として、画像面の各位置における奥行き値を表す奥行き情報としての視差マップを出力する。

平滑化部２０２は、視差検出部２０１が画像面に対して検出した視差マップを平滑化する処理を行う。この処理の目的は、視差検出部２０１により検出された結果の視差マップに含まれる誤った結果等を抑制すること、あるいは、生成する立体画像で必要とされる領域であって、入力された立体画像では示されない領域、すなわちオクルージョン部分について好適処理すること、等である。

入力された立体画像のみから視差を検出した場合、検出された視差の信頼性は１００％となるわけではない。局所的に誤った視差が算出されたりする場合がある。このような誤った視差に基づいて立体画像を生成すると、生成された立体画像は不正確な内容となる。

また、入力された立体画像には示されない部分であって、新たな立体画像において、新たな視点位置に対応して生成される部分（オクルージョン領域）については、そもそも入力立体画像に当該領域の情報が含まれていないため、生成される立体画像は、当該部分について不正確な内容となる可能性が高い。

そこで、平滑化部２０２は、このように誤って検出された視差の影響を抑制するため、あるいは、オクルージョン領域等を好適に制御するため、算出された画像面上のある領域における視差を、当該領域の周辺の領域の視差を用いて平滑化する。これにより、誤って算出された視差の影響を抑制することができる。なお、平滑化部２０２の処理の詳細については後述する。

パラメータ算出部２０３は、平滑化部２０２が行う平滑化処理を設定するための各種のパラメータを算出する。すなわち、パラメータ算出部２０３は、視差制御部２０４によって決定された平滑化処理の内容を具体的に実現するために、フィルタサイズやフィルタ係数などのパラメータを算出する。

視差制御部２０４は、各種の条件に基づいて平滑化部２０２が行う平滑化処理の内容を決定する。ここで、各種の条件としては例えば、（１）検出された視差マップから得られる視差勾配（視差の変化量）の大きさ、（２）画像信号処理装置２００が出力する立体画像信号を表示する表示部２０６の画面サイズ、（３）立体画像を視聴する視聴者からの命令、（４）表示部２０６と視聴者との間の視聴距離、等がある。視差制御部２０４は、これらの条件に基づいて、平滑化部２０２における処理内容を決定する。

画像生成部２０５は、平滑化部２０２によって処理された視差マップに基づいて、入力された立体画像信号から、新たな立体画像の画像信号を生成する。画像生成部２０５は、生成した立体画像信号を表示部２０６等に出力する。

［１−２．動作］
図３は画像信号処理装置２００が立体画像信号等を処理するフローを示すフローチャートである。

（ステップＳ３０１）
視差検出部２０１は、入力された立体画像信号の左眼用画像信号および右眼用画像信号から、画像それぞれの領域における視差を検出する。視差検出部２０１は、それぞれの領域で算出した視差を、対応する領域に応じて画面全体に配することによって、視差マップを構成する。

（ステップＳ３０２）
視差制御部２０４は、所定の条件に応じて、平滑化部２０２で処理する平滑化処理の内容を決定する。

視差制御部２０４は例えば、視差検出部２０１で得られた視差マップに基づいて、隣接等する領域毎の視差の変化から視差勾配を検出する。この視差勾配に応じて、視差制御部２０４は、後述する平滑化処理時に用いるフィルタ係数等を好適なものに設定する。

図４（ａ）は平滑化処理に用いられるフィルタの一例を示す計算式である。図４（ａ）の式において、（ｘ，ｙ）は平滑化処理が行われる範囲内の各領域の相対的な位置座標を示す。中心領域の座標を（０，０）とし、水平方向にｘ軸、垂直方向にｙ軸を設定している。また、σは偏差を示すものであり、この値が大きいほど周辺領域の影響度が大きくなり、この値が小さいほど中心領域の影響度が大きくなる。ｆ（ｘ，ｙ）の値が座標（ｘ，ｙ）の領域のフィルタ係数になる。なお、フィルタ係数ｆ（ｘ，ｙ）は、フィルタ全体の合計が１になるように正規化されている。

図４（ｂ）は図４（ａ）で示される計算式から得られたフィルタ係数の例である。各領域の上段は、それぞれの位置座標（ｘ，ｙ）を示し、下段は図４（ａ）の式で算出された値を示す。図４（ｂ）では、フィルタサイズが３行３列であり、偏差σの値が１の場合の例を示している。

図４（ｃ）は視差勾配の大きさとフィルタ係数に用いる偏差σとの関係の一例を示すグラフである。図４（ｃ）の例では、視差勾配が大きいほど、偏差σの値が大きくなっている。すなわち、視差の変化が大きい部分では、偏差σの値を大きくし、平滑化処理において周囲領域の視差の影響度の大きさを大きくしている。これにより、ある特定の領域のみの視差が大きい場合には、周囲領域の視差に近づくように平滑化される一方、ある特定の領域のみならず周囲領域の視差も大きい場合には、大きい視差のまま平滑化される。

（ステップＳ３０３）
パラメータ算出部２０３は、視差制御部２０４が決定した平滑化処理の内容に応じて、フィルタサイズやフィルタ係数などの具体的なパラメータを決定する。例えば、図４（ｂ）で示したようなフィルタサイズやフィルタ係数を採用すればよい。これにより、それぞれの目的に応じた平滑化処理に対応する実際のパラメータが決定される。

（ステップＳ３０４）
平滑化部２０２は、パラメータ算出部２０３により算出されたパラメータを用いて、視差検出部２０１が算出した視差マップを平滑化処理する。

（ステップＳ３０５）
画像生成部２０５は、平滑化部２０２により平滑処理された視差マップに基づいて、入力された立体画像信号の左眼用画像および右眼用画像から、新たな視点での立体画像を生成する。具体的には、平滑化部２０２により平滑化された視差マップに基づいて、新たな視点位置での視差マップを生成する。この新たな視点位置での視差マップに従って、画像生成部２０５は入力される立体画像の左眼用画像のそれぞれの領域の内容を、当該領域に対応する分の視差だけずらす。これにより、新たな右眼用画像が生成され、元の左眼用画像と生成された右眼用画像とから新たな立体画像が生成される。

なお、ここの説明では左眼用画像を基準として右眼用画像を生成する場合について説明したが、本実施の形態の開示内容はこれに限定するものではない。右眼用画像を基準に左眼用画像を生成するものであっても良い。あるいは、左右両画像とも、新たに生成するものであってもよい。平滑化部２０２によって処理された視差マップを用いて画像を生成するものであれば、いずれの方法であってもよい。

なお、視差制御部２０４は、視差勾配以外の他の条件に応じて、平滑化処理の内容を定めるものであってもよい。

例えば、視差制御部２０４は、出力される立体画像信号を表示する表示部２０６の表示パネルの大きさに応じて、平滑化処理の内容を定めてもよい。図５は表示部２０６の表示パネルの大きさ（ディスプレイサイズ）と平滑化処理に用いるフィルタサイズとの関係の例を示すグラフである。図５では、ディスプレイサイズが大きくなるほど、フィルタサイズが大きくなるようにしている。フィルタサイズが大きくなるということは、ある領域の平滑化処理において影響を与える周辺領域の数が多くなることを意味する。このため、平滑化処理後における視差勾配がより緩くなる傾向になる。すなわち、表示パネルの大きさに応じて、平滑化処理におけるフィルタサイズを変更することによって、より好適な立体画像を視聴者に表示することが可能となる。なお、図５では、フィルタサイズとディスプレイサイズとがリニアな関係になっているが、これに限られるものではない。

また、視差制御部２０４は、表示部２０６の表示パネルと当該立体画像を視聴する視聴者との間の視聴距離に応じて、平滑化処理の内容を定めてもよい。図６は視聴距離とフィルタサイズとの関係の例を示すグラフである。図６では、視聴距離が短くなるほど、フィルタサイズが大きくなるようにしている。これは、視聴距離が短くなると、表示パネルに近づいた分だけ目に入る視差が大きくなってしまうので、その際は、視差勾配を緩やかにし、ぼかす効果を高める方が好適と考えられるためである。すなわち、視聴距離に応じて、平滑化処理におけるフィルタサイズを変更することによって、より好適な立体画像を視聴者に表示することが可能となる。なお、視聴距離の情報は、例えば、距離センサ等によって検出すればよい。また、図６では、フィルタサイズと視聴距離とがリニアな関係になっているが、これに限られるものではない。

また、視差制御部２０４は、視聴者からの要求に応じて、平滑化処理の内容を定めてもよい。例えば、本開示の画像信号処理装置を備えたシステムでは、ユーザの嗜好に従って、立体画像の立体感補正を調整できるものとする。すなわち、ユーザが、立体画像に付加する視差量を設定できるものとする。図７はユーザが設定した、付加する視差量とフィルタサイズとの関係の例を示すグラフである。図７では、付加する視差量が大きくなるほど、フィルタサイズが大きくなるようにしている。これは、付加する視差量が大きいときは、視差勾配を緩やかにし、ぼかす効果を高める方が好適と考えられるためである。これにより、視聴者の好みに近い平滑化処理を行うことが可能となる。すなわち、視聴者からの要求に基づいて、平滑化処理におけるフィルタサイズを変更することによって、より好適な立体画像を視聴者に表示することが可能となる。なお、図７では、フィルタサイズと付加する視差量とがリニアな関係になっているが、これに限られるものではない。

［１−３．効果等］
図８は本実施形態の効果を説明するための図である。図８（ａ）は画像信号処理装置２００に入力される立体画像の例であり、人物等の前景（近景）部分（図では「近」と表示）と、風景等の背景（遠景）部分（図では「遠」と表示）とが映されている。領域Ａ１は前景部分と背景部分との境界となる部分を示す。

画像信号処理装置２００は、視差検出部２０１によって、入力された立体画像から視差を検出する。図８（ｂ）は領域Ａ１における視差の変化を示す。図８（ｂ）では、図の上方を背景側、図の下方を前景側としており、横方向は図８（ａ）の画像の水平方向に対応している。この場合、検出された視差は、前景と背景との境界Ｂ１において、不連続に変化している。

この境界Ｂ１が、図８（ａ）の領域Ａ１に含まれた前景部分と背景部分との画像上の境界と一致している場合には、問題は無い。しかし、視差検出では、信頼性を１００％とすることは困難であるので、画像上の境界と視差の境界とが必ずしも一致しない場合がある。この場合には、視差検出部２０１が検出した視差に基づいて新たな立体画像を生成すると、不自然な立体画像となる場合がある。

図８（ｃ）は視差検出部２０１が検出した視差マップに対して平滑化部２０２が平滑化処理を行った後の、領域Ａ１における視差の変化を示す図である。この場合には、各種の条件に従って好適な平滑化処理が行われている。図８（ｃ）では、前景と背景との境界近傍において視差が、連続的に緩やかに変化している。このため、視差が変化する範囲、すなわち前景と背景との境界の範囲が実質的に広がっている。これにより、画像上の境界と検出した視差の境界とが正確に一致していない場合であっても、視差マップの平滑化処理によって視差の境界の範囲を広げたことによって、両境界の不一致が目立たなくなる。したがって、新たな立体画像の不自然さを抑制することができる。

入力された立体画像から、視差マップに基づいて、新たに立体画像を生成する場合の例について説明する。図８（ｄ）は図８（ａ）の立体画像から、視点位置が右側にずれた場合の例であり、被写体が全体的に画像面の左側に移っている。このような立体画像を新たに生成する場合、前景と背景との間にある、元の立体画像では表示されない部分すなわちオクルージョン領域ＯＡについては情報がないため、正確に立体画像を生成することが困難である。

このため、オクルージョン領域ＯＡについて、図８（ｂ）のように前景と背景とで視差が不連続に変化する視差マップを用いて新たな立体画像を生成すると、誤った画像となる可能性がある。例えば、オクルージョン領域ＯＡについて、前景側の画像内容と背景側の画像内容とから補間して画像を生成した場合には、元の立体画像の領域Ａ１における前景側の部分が、背景側の視差を有しているものとして誤って表示される可能性がある。この場合、画像の論理的な内容からは前景である部分が、視覚的には背景部分として表示されるため、非常に不自然な立体画像となってしまう。

一方、平滑化処理を行った視差マップを用いると、このような問題を抑えることができる。すなわち、オクルージョン領域ＯＡにおいて、図８（ｃ）のように視差は緩やかに変化しているため、画像の論理的な内容と実際の視差量との関係が全く反してしまう、という現象は生じにくい。このため、オクルージョン領域ＯＡについて画像内容を必ずしも正確に表示できなくても、図８（ｅ）のような違和感の少ない立体画像を生成することができる。

以上のように、本実施の形態において、画像信号処理装置２００は、取得部としての視差検出部２０１と、平滑化部２０２と、処理決定部としてのパラメータ算出部２０３および視差制御部２０４と、画像生成部２０５と、を備える。視差検出部２０１は、入力される立体画像信号について、画像面の各位置における視差を表す視差マップを取得する。パラメータ算出部２０３および視差制御部２０４は、所定の条件に応じて平滑化処理の内容を定める。平滑化部２０２は、パラメータ算出部２０３および視差制御部２０４によって定められた平滑化処理の内容に従って、視差マップを画像面において平滑化する。画像生成部２０５は、平滑化された視差マップに基づいて、入力される立体画像信号から、新たな立体画像を生成する。

これにより、所定の条件に応じて定められた平滑化処理の内容に従って、視差マップが平滑化される。そして、この平滑化された視差マップに基づいて新たな立体画像が生成される。したがって、所定の条件に応じた、自然な立体画像を生成することが可能となる。

ここでの所定の条件とは、例えば、視差マップにおける視差勾配、新たな立体画像を表示する表示パネルの大きさ、表示パネルと視聴者との視聴距離、視聴者からの要求、などである。このような条件に従って、平滑化処理の内容、例えば、フィルタサイズやフィルタ係数等を定めることによって、それぞれの条件にあった、より自然な立体画像を生成することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

上述の実施の形態１では、視差マップは立体画像信号から検出されるものとした。視差マップは、例えば、立体体画像信号とともに外部から与えられてもよい。また、視差マップは、奥行き情報の一例であり、立体画像信号の画像面の各位置における奥行き値を表す奥行き情報について、本開示内容は適用可能である。

上述の実施の形態１では、パラメータ算出部２０３および視差制御部２０４によって平滑化処理の内容が定めるものとしたが、処理決定部の構成はこれに限られるものではない。例えば、単一の処理部によって、所定の条件に応じて平滑化処理の内容を定める構成としてもかまわない。

また、上述の実施の形態１では、画像信号処理装置を例として説明したが、本開示の内容はこれに限定されない。他の実現方法として、上記の処理、例えば図３に示した処理フローを実現するプログラムを実装し、それをＣＰＵ等の演算装置上で動作させる画像信号処理方法としても実現できる。

添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、より自然な立体画像を生成する画像信号処理装置に適用可能である。具体的には、立体画像を表示するテレビやタブレット、立体画像を記録再生するレコーダなどに、本開示は有効である。

２００ 画像信号処理装置
２０１ 視差検出部（取得部）
２０２ 平滑化部
２０３ パラメータ算出部
２０４ 視差制御部
２０５ 画像生成部
２０６ 表示部

Claims (5)

1. 入力される立体画像信号を処理する画像信号処理装置であって、
   前記立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得する取得部と、
   前記奥行き情報における奥行き値の勾配に応じて、平滑化処理の内容を定める処理決定部と、
   前記処理決定部によって定められた平滑化処理の内容に従って、前記奥行き情報を、前記画像面において平滑化する平滑化部と、
   平滑化された前記奥行き情報に基づいて、前記立体画像信号から、新たな立体画像を生成する画像生成部とを備え、
   前記処理決定部は、前記奥行き値の勾配が大きいほど、平滑化における周辺の奥行き値の影響度が高くなるように、前記平滑化処理の内容を定める
   ことを特徴とする画像信号処理装置。
2. 入力される立体画像信号を処理する画像信号処理装置であって、
   前記立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得する取得部と、
   所定の条件に応じて、平滑化処理の内容を定める処理決定部と、
   前記処理決定部によって定められた平滑化処理の内容に従って、前記奥行き情報を、前記画像面において平滑化する平滑化部と、
   平滑化された前記奥行き情報に基づいて、前記立体画像信号から、新たな立体画像を生成する画像生成部とを備え、
   前記所定の条件は、前記画像信号処理装置が出力する新たな立体画像を表示する表示パネルの大きさであり、
   前記処理決定部は、前記表示パネルの大きさが大きいほど、前記平滑化処理におけるフィルタサイズを大きくなるように変更する
   ことを特徴とする画像信号処理装置。
3. 入力される立体画像信号を処理する画像信号処理装置であって、
   前記立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得する取得部と、
   所定の条件に応じて、平滑化処理の内容を定める処理決定部と、
   前記処理決定部によって定められた平滑化処理の内容に従って、前記奥行き情報を、前記画像面において平滑化する平滑化部と、
   平滑化された前記奥行き情報に基づいて、前記立体画像信号から、新たな立体画像を生成する画像生成部とを備え、
   前記所定の条件は、前記画像信号処理装置が出力する新たな立体画像を表示する表示パネルと、当該立体画像を視聴する視聴者と、の視聴距離であり、
   前記処理決定部は、前記視聴距離が短くなるほど、前記平滑化処理におけるフィルタサイズを大きくなるように変更する
   ことを特徴とする画像信号処理装置。
4. 入力される立体画像信号を処理する画像信号処理装置であって、
   前記立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得する取得部と、
   所定の条件に応じて、平滑化処理の内容を定める処理決定部と、
   前記処理決定部によって定められた平滑化処理の内容に従って、前記奥行き情報を、前記画像面において平滑化する平滑化部と、
   平滑化された前記奥行き情報に基づいて、前記立体画像信号から、新たな立体画像を生成する画像生成部とを備え、
   前記所定の条件は、前記画像信号処理装置が出力する新たな立体画像を視聴する視聴者からの要求であり、
   前記処理決定部は、前記要求に基づいて、前記平滑化処理時におけるフィルタサイズを変更する
   ことを特徴とする画像信号処理装置。
5. 立体画像信号を処理する画像信号処理方法であって、
   前記立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得し、
   前記奥行き情報における奥行き値の勾配に応じて、平滑化処理の内容を定め、
   定めた平滑化処理の内容に従って、前記奥行き情報を、前記画像面において平滑化し、
   平滑化された前記奥行き情報に基づいて、前記立体画像信号から、新たな立体画像を生成するものであり、
   前記奥行き値の勾配が大きいほど、平滑化における周辺の奥行き値の影響度が高くなるように、前記平滑化処理の内容を定める
   ことを特徴とする画像信号処理方法。