JP6024110B2 - 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システムに関する。

写真、ムービー及びテレビジョン映像などの様々な画像コンテンツの主観的な画質を向上させることを目的として、２次元の画像の立体感を擬似的に強調するいくつかの手法が提案されている。例えば、下記特許文献１は、画像信号の２次微分を用いて画像を遠景領域と近景領域とに分割し、これら領域について異なるレベルで輪郭強調を行う技術を提案している。また、下記特許文献２は、ステレオ法を用いて画像を遠景（背景）領域と近景領域とに分割し、近景領域内の物体に影を付加する技術を提案している。

特開平１０−１２６７０８号公報 特開２０１０−２０６３６２号公報

しかしながら、これら既存の手法はいずれも、画像に何が映っているかを考慮していない。ユーザによる立体感の感じ方は、例えば、画像に屋外の風景及び建物の内部のいずれが映っているか、又は被写体が人物なのか街並みなのかなど、画像に映る内容に関連する要因に依存して変化し得る。

従って、画像コンテンツの立体感を強調して主観的な画質を効果的に向上させるためには、画像に何が映っているかを判別した上で、その判別結果に応じて強調処理を制御することが望ましい。

本開示によれば、画像内の各画素の奥行きを表す奥行き情報を取得する奥行き情報取得部と、前記画像に映る内容を判別する判別部と、前記判別部による判別結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成する修正部と、前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行する強調部と、を備える画像処理装置が提供される。

また、本開示によれば、画像内の各画素の奥行きを表す奥行き情報を取得することと、前記画像に映る内容を判別することと、前記判別の結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成することと、前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行することと、を含む画像処理方法が提供される。

また、本開示によれば、画像処理装置を制御するコンピュータを、画像内の各画素の奥行きを表す奥行き情報を取得する奥行き情報取得部と、前記画像に映る内容を判別する判別部と、前記判別部による判別結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成する修正部と、前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行する強調部と、として機能させるためのプログラムが提供される。

また、本開示によれば、画像内の各画素の奥行きを表す奥行き情報を取得する奥行き情報取得部と、前記画像に映る内容を判別する判別部と、前記判別部による判別結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成する修正部と、画素値と前記修正奥行き情報により表される奥行きとに基づいて各画素を複数のクラスの１つに分類し、事前の学習処理においてクラスごとに決定されるフィルタ係数で各画素と周辺画素とを含むフィルタタップをフィルタリングすることにより、前記画像の立体感を強調する強調部と、を備える画像処理装置が提供される。

また、本開示によれば、処理対象画像を取得する画像取得部と、画像内の各画素の奥行きを表す奥行き情報を取得し、前記画像に映る内容を判別し、前記画像に映る内容の判別結果に基づいて前記奥行き情報を修正して修正奥行き情報を生成し、前記修正奥行き情報を用いて前記画像の立体感を強調するための立体感強調処理を実行する画像処理装置へ、前記処理対象画像を送信して前記画像処理装置により立体感の強調された前記処理対象画像を受信する通信部と、を備える端末装置が提供される。

また、本開示によれば、画像処理装置及び端末装置を含む画像処理システムであって、前記画像処理装置は、前記端末装置から受信される画像内の各画素の奥行きを表す奥行き情報を取得する奥行き情報取得部と、前記画像に映る内容を判別する判別部と、前記判別部による判別結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成する修正部と、前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行する強調部と、を備え、前記端末装置は、処理対象画像を取得する画像取得部と、取得された処理対象画像を前記画像処理装置へ送信し、前記画像処理装置により立体感の強調された前記処理対象画像を受信する通信部と、を備える、画像処理システムが提供される。

また、本開示によれば、実行可能なプログラムを記憶するメモリと、プロセッサと、を備える画像処理装置であって、前記プログラムは、前記プロセッサにより実行された場合に、前記プロセッサを、画像内の各画素の奥行きを表す奥行き情報を取得し、前記画像に映る内容を判別し、前記判別の結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成し、前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行する、ように動作させる、画像処理装置が提供される。

本開示に係る技術によれば、画像に映っている内容に応じて主観的な画質を効果的に向上することができる。

第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 シーンの種類ごとに定義される補助奥行き情報の一例について説明するための第１の説明図である。 シーンの種類ごとに定義される補助奥行き情報の一例について説明するための第２の説明図である。 補助奥行き領域を用いた奥行き情報の修正について説明するための説明図である。 領域の判別結果に応じた奥行き情報の修正について説明するための説明図である。 一実施形態に係る強調部の詳細な構成の一例を示すブロック図である。 一実施形態に係る画像処理の流れの一例を示すフローチャートである。 図７に示した立体感強調処理の詳細な流れの一例を示すフローチャートである。 第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 一例としての立体感強調処理のためのフィルタ係数の学習について説明するための説明図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．第１の実施形態
１−１．画像取得部
１−２．奥行き情報取得部
１−３．判別部
１−４．補助奥行きＤＢ
１−５．修正部
１−６．強調部
１−７．処理の流れ
２．第２の実施形態
３．フィルタ係数の学習
４．応用例
５．まとめ

＜１．第１の実施形態＞
まず、図１〜図８を用いて、本開示に係る技術の第１の実施形態について説明する。第１の実施形態に係る画像処理装置１００は、入力画像を取得し、取得した入力画像について立体感強調処理を実行して、出力画像を生成する。入力画像は、静止画であってもよく、又は動画を構成する個々のフレームであってもよい。出力画像は、ディスプレイに表示されてもよく、又は記憶媒体に記憶されてもよい。画像処理装置１００は、テレビジョン装置、ＰＣ（Personal Computer）、スマートフォン、コンテンツレコーダ、コンテンツプレーヤ、デジタルスチルカメラ若しくはデジタルビデオカメラなどのいかなる種類の装置であってもよく、又はこれら装置に搭載される画像処理モジュールであってもよい。

図１は、第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。図１を参照すると、画像処理装置１００は、画像取得部１１０、奥行き情報取得部１２０、判別部１３０、補助奥行きＤＢ（データベース）１４０、修正部１５０及び強調部１６０を備える。

［１−１．画像取得部］
画像取得部１１０は、入力画像を取得する。画像取得部１１０は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有するカメラモジュールにより撮像される画像を入力画像として取得してもよい。また、画像取得部１１０は、記憶媒体により記憶されている画像又は外部のデータソースから受信される画像を入力画像として取得してもよい。画像取得部１１０は、取得した入力画像を奥行き情報取得部１２０、判別部１３０及び強調部１６０へ出力する。

［１−２．奥行き情報取得部］
奥行き情報取得部１２０は、入力画像内の各画素の奥行きを表す奥行き情報を取得する。奥行き情報は、いわゆるデプスマップの形式で表現され得る。奥行き情報取得部１２０は、公知の奥行き解析技術を入力画像に適用することにより、奥行き情報を生成してもよい。例えば、奥行き情報取得部１２０は、入力画像の画像信号を２次元的に周波数変換（例えば、離散フーリエ変換又は離散コサイン変換など）することにより、高域から低域にかけての周波数成分の変換係数を計算する。そして、奥行き情報取得部１２０は、高周波成分がより多く検出される画素についてより小さい奥行きを示すような奥行き情報を生成し得る。また、奥行き情報取得部１２０は、入力画像の奥行き情報が他の装置から提供される場合には、提供される当該奥行き情報を取得してもよい。奥行き情報取得部１２０は、このように取得される奥行き情報を、修正部１５０へ出力する。また、奥行き情報取得部１２０は、入力画像について周波数解析を実行した場合には、周波数解析結果を判別部１３０へ出力してもよい。

［１−３．判別部］
判別部１３０は、入力画像に映る内容を判別する。本実施形態において、判別部１３０は、シーン判別部１３２、顔判別部１３４、オブジェクト判別部１３６及びエッジ判別部１３８という４つの判別モジュールを含む。実際には、これら判別モジュールのうちのいくつかは省略されてもよい。

シーン判別部１３２は、入力画像に映るシーンの種類を判別する。本実施形態において、シーンの種類は、「風景（Landscape）」、「街並み（City）」、「屋内（Indoor）」及び「ポートレート（Portrait）」という４つの種類を含む。シーン判別部１３２は、例えば、高周波成分がより少なく、青色又は緑色の強い入力画像のシーンを、「風景」であると判別し得る。また、シーン判別部１３２は、被写体のエッジの消失点（vanishing point）の分布が特徴的である入力画像のシーンを、「街並み」であると判別し得る。また、シーン判別部１３２は、高周波成分がより多く、直線的なエッジが多数存在する入力画像のシーンを、「屋内」であると判別し得る。また、シーン判別部１３２は、特定の被写体（例えば人物）にフォーカスが合っている入力画像のシーンを、「ポートレート」であると判別し得る。シーン判別部１３２は、このように判別される入力画像のシーンの種類を識別するシーン識別子を、修正部１５０へ出力する。なお、シーン判別部１３２におけるシーンの分類、及びシーンの種類を判別する手法は、上述した例に限定されない。

顔判別部１３４は、公知の顔領域検出技術を用いて、入力画像に映る人物の顔領域を判別する。顔判別部１３４は、例えば、肌色領域の検出結果に基づいて、入力画像内のどの領域に人物の顔が映っているかを判別してもよい。また、顔判別部１３４は、既知の顔画像と入力画像の部分画像とを比較することにより、入力画像内のどの領域に人物の顔が映っているかを判別してもよい。顔判別部１３４は、入力画像内で顔領域が検出されると、検出された顔領域の位置を示す顔領域情報を修正部１５０へ出力する。

オブジェクト判別部１３６は、入力画像に映る注目物体の領域を判別する。本明細書において、注目物体とは、画像を表示する際により精細な表現が望まれる物体をいう。注目物体は、例えば、動物体であってもよい。その場合には、オブジェクト判別部１３６は、背景画像又は過去のフレームの画像と入力画像との間の差分に基づいて、動物体を判別し得る。また、注目物体は、予め特徴量データの与えられる物体であってもよい。その場合には、オブジェクト判別部１３６は、入力画像から抽出される特徴量と注目物体の特徴量とを比較することにより、入力画像内のどの領域に注目物体が映っているかを判別し得る。オブジェクト判別部１３６は、入力画像内で注目物体が検出されると、検出された注目物体の位置を示す注目物体情報を修正部１５０へ出力する。

エッジ判別部１３８は、入力画像に映る主要なエッジを含むエッジ領域とそれ以外のテクスチャ領域とを判別する。エッジ領域は、いわゆる構造線を含む領域であり、例えばある物体と他の物体（又は背景）との間の境界を含む。エッジ判別部１３８は、例えば、公知のエッジ検出法を用いて入力画像に映るエッジを検出し、検出したエッジの長さ又はエッジの両側のテクスチャの相違などに基づいて、構造線に相当するエッジとその他のエッジとを区別し得る。そして、エッジ判別部１３８は、例えば、エッジ領域の位置を示すエッジ領域情報（又はテクスチャ領域の位置を示すテクスチャ領域情報）を修正部１５０へ出力する。

［１−４．補助奥行きＤＢ］
補助奥行きＤＢ１４０は、シーンの種類ごとに予め定義される補助奥行き情報を記憶媒体を用いて記憶するデータベースである。補助奥行き情報は、奥行き情報取得部１２０により取得される基本的な奥行き情報を修正するために使用されるものであり、奥行き情報と同様にデプスマップの形式で表現され得る。図２及び図３は、シーンの種類ごとに定義される補助奥行き情報の一例について説明するための説明図である。

図２の上段には、シーンの種類が「風景」である画像の例として画像Ｉｍ０１、シーンの種類が「街並み」である画像の例として画像Ｉｍ０２がそれぞれ示されている。各画像の横軸がＸ軸、縦軸がＹ軸、奥行き軸がＺ軸であるものとする。図２の下段には、「風景」について定義される補助奥行き情報ＳＤ０１及び「街並み」について定義される補助奥行き情報ＳＤ０２がそれぞれ示されている。補助奥行き情報ＳＤ０１は、より上に位置する画素ほどより大きい奥行きを示す。補助奥行き情報ＳＤ０２は、より上に位置する画素ほどより大きい奥行きを示すと共に、Ｘ軸の端部よりも中央部においてより大きい奥行きを示す。

図３の上段には、シーンの種類が「屋内」である画像の例として画像Ｉｍ０３、シーンの種類が「ポートレート」である画像の例として画像Ｉｍ０４がそれぞれ示されている。図３の下段には、「屋内」について定義される補助奥行き情報ＳＤ０３及び「ポートレート」について定義される補助奥行き情報ＳＤ０４がそれぞれ示されている。補助奥行き情報ＳＤ０３は、Ｘ軸及びＹ軸の双方について、端部よりも中央部においてより大きい奥行きを示す。補助奥行き情報ＳＤ０４は、画素位置によらず均一な奥行きを示す。

［１−５．修正部］
修正部１５０は、判別部１３０による判別結果に基づいて、奥行き情報取得部１２０から入力される奥行き情報（以下、基本奥行き情報という）を修正して、修正奥行き情報を生成する。

例えば、修正部１５０は、シーン判別部１３２により判別された入力画像のシーン識別子が入力されると、当該シーン識別子により識別されるシーンの種類と関連付けられている補助奥行き情報を補助奥行きＤＢ１４０から取得する。そして、修正部１５０は、取得した補助奥行き情報を基本奥行き情報と合成することにより、修正奥行き情報を生成する。

図４は、補助奥行き情報を用いた奥行き情報の修正について説明するための説明図である。図４の左上には、一例としての入力画像Ｉｍ１１が示されている。入力画像Ｉｍ１１に映るシーンの種類は、「風景」である。図４の中央上には、入力画像Ｉｍ１１について取得される基本奥行き情報ＢＤ１１が示されている。基本奥行き情報ＢＤ１１において、領域Ｒ１１の奥行きは、領域Ｒ１２及びＲ１３の奥行きよりも小さい。領域Ｒ１２の奥行きは、領域Ｒ１３の奥行きよりも小さい。図４の中央下には、「風景」と関連付けられる、図２に例示した補助奥行き情報ＳＤ０１が示されている。修正部１５０は、例えば、画素ごとに、基本奥行き情報ＢＤ１１の奥行きと補助奥行き情報ＳＤ０１の奥行きとを合成することにより、修正奥行き情報ＭＤ１１の画素ごとの奥行きの値を計算する。ここでの合成は、単純な平均であってもよく、又は所定の重みを用いた重み付け加算であってもよい。図４の右には、基本奥行き情報ＢＤ１１及び補助奥行き情報ＳＤ０１から生成される修正奥行き情報ＭＤ１１が示されている。

また、例えば、修正部１５０は、顔領域の位置を示す顔領域情報が入力されると、基本奥行き情報（又は補助奥行き情報を用いて修正された奥行き情報）の奥行きのうち、顔領域に含まれる画素の奥行きを修正する。修正部１５０は、顔領域に含まれる画素の奥行きから所定のオフセット値を減算することにより、顔領域がより手前に近付くように奥行きを修正してもよい。その代わりに、修正部１５０は、例えば顔の肌が粗く見えることを避けることが望まれるような場合には、顔領域に含まれる画素の奥行きに所定のオフセット値を加算することにより、顔領域がより遠ざかるように奥行きを修正してもよい。

また、例えば、修正部１５０は、注目物体の位置を示す注目物体情報が入力されると、基本奥行き情報（又は他の情報を用いて修正された奥行き情報）の奥行きのうち、注目物体の位置の画素の奥行きを修正する。典型的には、修正部１５０は、注目物体の位置の画素の奥行きから、所定のオフセット値を減算する。注目物体の種類に応じて異なるオフセット値が用いられてもよい。

図５は、領域の判別結果に応じた奥行き情報の修正について説明するための説明図である。図５の上には、一例としての入力画像Ｉｍ２１が示されている。入力画像Ｉｍ２１には、人物、及び動物体である自動車が映っている。図５の下には、このような入力画像Ｉｍ２１について修正部１５０へ入力される判別結果ＳＤ２１が示されている。判別結果ＳＤ２１において、領域Ｒ２１は顔領域である。修正部１５０は、領域Ｒ２１に含まれる画素の奥行き情報の奥行きから、オフセット値ｄ_１を減算する。また、領域Ｒ２２は、動物体が検出された領域である。修正部１５０は、領域Ｒ２２に含まれる画素の奥行き情報の奥行きから、オフセット値ｄ_２を減算する。オフセット値ｄ_１及びｄ_２は、等しい値であっても異なる値であってもよい。

また、例えば、修正部１５０は、エッジ領域情報又はテクスチャ領域情報が入力されると、基本奥行き情報（又は他の情報を用いて修正された奥行き情報）の奥行きのうち、エッジ領域又はテクスチャ領域に含まれる画素の奥行きを修正する。例えば、修正部１５０は、エッジ領域に含まれる画素の奥行きから所定のオフセット値を減算してもよい。その代わりに又はそれに加えて、修正部１５０は、テクスチャ領域に含まれる画素の奥行きに所定のオフセット値を加算してもよい。

修正部１５０は、このように修正された修正奥行き情報を強調部１６０へ出力する。

［１−６．強調部］
強調部１６０は、修正部１５０から入力される修正奥行き情報を用いて、入力画像の立体感を強調するための立体感強調処理を実行する。本実施形態において実行される立体感強調処理は、空気遠近法（atmospheric perspective又はaerial perspective）に関連する視覚特性を利用して立体感を強調する処理である。例えば、近景を高いコントラストで、遠景を低いコントラストで描くことで、人間の視覚特性に従って遠近感（立体感）が感知されることが知られている。コントラストの他にも、シャープネス、輝度、彩度及び解像度などのパラメータが、空気遠近法に従って遠近感を表現するために調整され得る。

強調部１６０は、例えば、修正奥行き情報においてより奥行きの小さい画素について、上述したパラメータのうち少なくとも１つの値がより大きく増加するように、入力画像の立体感を強調してもよい。その代わりに又はそれに加えて、強調部１６０は、修正奥行き情報においてより奥行きの大きい画素について、上述したパラメータのうち少なくとも１つの値がより大きく減少するように、入力画像の立体感を強調してもよい。パラメータ値の調整は、可変のフィルタ強度を有するフィルタを用いて行われてもよい。また、各画素の色成分を増減することにより、輝度又は彩度などのパラメータ値が調整されてもよい。本実施形態において、強調部１６０は、特開２０１１−２１７０１０号公報及び特開２０１１−２１７１４０号公報において説明されているクラス分類適応処理と呼ばれる手法を応用して、上述したパラメータの値を適応的に調整する。

図６は、本実施形態に係る強調部１６０の詳細な構成の一例を示すブロック図である。図６を参照すると、強調部１６０は、クラスタップ抽出部１６１、クラス分類部１６２、予測タップ抽出部１６３、係数テーブル１６４及び予測演算部１６５を有する。

クラスタップ抽出部１６１は、各画素のクラス分類のために使用されるクラスタップを入力画像から抽出する。クラスタップとは、画素値のパターンに応じて注目画素を複数のクラスのいずれかに分類する際に参照される、当該注目画素及び周辺画素の集合を指す。クラスタップは、例えば、注目画素を中心とする、縦横５個ずつのいわゆる十字型に配置された計９個の画素であってよい。なお、クラスタップは、かかる例に限定されず、注目画素及び周辺画素の任意の集合であってよい。クラスタップ抽出部１６１は、入力画像内の各画素を注目画素としてスキャンしながら、各注目画素について抽出されるクラスタップをクラス分類部１６２へ順次出力する。

クラス分類部１６２は、クラスタップ抽出部１６１から入力されるクラスタップの画素値のパターンと、修正奥行き情報により示される奥行きとに基づいて、各注目画素を複数のクラスのいずれかに分類する。クラス分類部１６２は、例えば、ＡＤＲＣ（Adaptive Dynamic Range Coding）法を用いて、各注目画素のクラスを決定してもよい。また、クラス分類部１６２は、クラスタップの画素値と注目画素の奥行きとにより構成されるベクトルをベクトル量子化することにより、各注目画素のクラスを決定してもよい。クラス分類部１６２は、このように各注目画素について決定されるクラスを示すクラスコードを、予測タップ抽出部１６３及び予測演算部１６５へ出力する。

予測タップ抽出部１６３は、各注目画素について、予測演算部１６５においてフィルタリングされるフィルタタップである予測タップを、入力画像から抽出する。予測タップは、例えば、注目画素を中心として対角線上に５個の画素を有する、菱形に配置された計１３個の画素であってよい。なお、予測タップは、かかる例に限定されず、注目画素及び周辺画素の任意の集合であってよい。予測タップ抽出部１６３は、各注目画素について抽出される予測タップを予測演算部１６５へ出力する。

係数テーブル１６４は、予め決定されるクラスごとのフィルタ係数のセットを記憶しているテーブルである。フィルタ係数は、後に説明する事前の学習処理において、クラスタップ及び奥行きを用いて分類されるクラスごとに、教師画像と生徒画像とを用いて学習され得る。

予測演算部１６５は、クラス分類部１６２から入力されるクラスコードにより示されるクラスに対応するフィルタ係数を係数テーブル１６４から取得する。そして、予測演算部１６５は、取得したフィルタ係数を用いて、予測タップ抽出部１６３から入力される予測タップをフィルタリングすることにより、各注目画素の予測画素値を生成する。

入力画像のスキャンに従って予測演算部１６５から順次出力される予測画素値は、画像処理装置１００からの出力画像を構成する。予測演算部１６５により使用されるフィルタ係数は、生徒画像を、空気遠近法に関連する視覚特性を利用して当該生徒画像の立体感を強調することにより生成される教師画像に近付けるように、事前に学習されている。従って、当該フィルタ係数でフィルタリングされた出力画像から主観的に感知される立体感は、入力画像から感知される立体感よりも強調されたものとなる。クラス分類適応処理のための学習処理について、後にさらに説明する。

なお、強調部１６０は、コントラスト、シャープネス、輝度、彩度及び解像度などのパラメータを修正奥行き情報により示される奥行きに従って調整して立体感を強調すると共に、ノイズ除去及びボケ除去などの画質改善を行ってもよい。

［１−７．処理の流れ］
（１）全体的な処理
図７は、本実施形態に係る画像処理装置１００により実行される画像処理の流れの一例を示すフローチャートである。

図７を参照すると、まず、画像取得部１１０は、入力画像を取得する（ステップＳ１１０）。そして、画像取得部１１０は、取得した入力画像を奥行き情報取得部１２０、判別部１３０及び強調部１６０へ出力する。

次に、奥行き情報取得部１２０は、入力画像内の各画素の奥行きを表す奥行き情報を取得する（ステップＳ１２０）。そして、奥行き情報取得部１２０は、取得した奥行き情報を修正部１５０へ出力する。

また、判別部１３０は、入力画像に映るシーンの種類、顔領域、注目物体の領域及びエッジ領域などを判別する（ステップＳ１３０）。そして、判別部１３０は、判別結果を示す情報（例えばシーン識別子など）を修正部１５０へ出力する。

次に、修正部１５０は、奥行き情報取得部１２０から入力される奥行き情報を、判別部１３０から入力される判別結果に基づいて修正して、修正奥行き情報を生成する（ステップＳ１４０）。そして、修正部１５０は、修正奥行き情報を強調部１６０へ出力する。

次に、強調部１６０は、修正部１５０から入力される修正奥行き情報を用いて、入力画像の立体感を強調するための立体感強調処理を実行する（ステップＳ１５０）。強調部１６０から出力される、立体感の強調された出力画像は、ディスプレイに表示されてもよく、又は記憶媒体に記憶されてもよい。

（２）立体感強調処理
図８は、図７のステップＳ１５０における立体感強調処理の詳細な流れの一例を示すフローチャートである。図８に示した立体感強調処理は、入力画像の各画素を注目画素として繰り返し実行される。

図８を参照すると、まず、クラスタップ抽出部１６１は、注目画素及び当該注目画素の周辺画素から、クラスタップを抽出する（ステップＳ１５１）。そして、クラスタップ抽出部１６１は、抽出したクラスタップをクラス分類部１６２へ出力する。

次に、クラス分類部１６２は、クラスタップ抽出部１６１から入力されるクラスタップ及び修正奥行き情報により示される奥行きに基づいて、注目画素のクラスを決定する（ステップＳ１５２）。そして、クラス分類部１６２は、決定したクラスを示すクラスコードを予測タップ抽出部１６３及び予測演算部１６５へ出力する。

次に、予測タップ抽出部１６３は、注目画素及び当該注目画素の周辺画素から、予測タップを抽出する（ステップＳ１５３）。予測タップの配置は、注目画素のクラスに依存して変化してもよい。予測タップ抽出部１６３は、抽出した予測タップを予測演算部１６５へ出力する。

次に、予測演算部１６５は、注目画素のクラスに対応するフィルタ係数を、係数テーブル１６４から取得する（ステップＳ１５４）。そして、予測演算部１６５は、取得したフィルタ係数を用いて、予測タップ抽出部１６３から入力される予測タップをフィルタリングすることにより、注目画素の予測画素値を生成する（ステップＳ１５５）。

その後、入力画像内に未処理の画素が残っている場合には、次の画素を注目画素として、上述した処理が繰り返される（ステップＳ１５６）。一方、未処理の画素が残っていない場合には、図８の立体感強調処理は終了する。

＜２．第２の実施形態＞
第２の実施形態では、第１の実施形態において説明したものと同様の手法に従って、立体視画像を再生する装置において、画像の立体感が強調される。

図９は、第２の実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。図９を参照すると、画像処理装置２００は、画像取得部２１０、奥行き情報取得部２２０、判別部２３０、補助奥行きＤＢ１４０、修正部２５０及び強調部２６０を備える。

画像取得部２１０は、左眼画像と右眼画像とを含むマルチビューのストリームを取得し、取得したストリームから左眼画像及び右眼画像を分離する。画像取得部２１０は、左眼画像及び右眼画像を、奥行き情報取得部２２０、判別部２３０及び強調部２６０へ出力する。

奥行き情報取得部２２０は、立体視画像の各画素の奥行きを表す奥行き情報を取得する。奥行き情報取得部２２０は、第１の実施形態に係る奥行き情報取得部１２０と同様に、周波数解析などの手法に従って奥行き情報を生成してもよく、又は他の装置から奥行き情報を取得してもよい。その代わりに、奥行き情報取得部２２０は、左眼画像と右眼画像との間の視差を計算し、当該視差に基づいて奥行き情報を生成してもよい。奥行き情報取得部２２０は、奥行き情報を修正部２５０へ出力する。

判別部２３０は、左眼画像及び右眼画像の少なくとも一方を用いて、立体視画像に映る内容を判別する。判別部２３０は、第１の実施形態に係る判別部１３０と同様に、立体視画像に映るシーンの種類、人物の顔領域、注目物体の領域、及びエッジ領域又はテクスチャ領域を判別してよい。判別部２３０は、判別結果を修正部２５０へ出力する。

修正部２５０は、第１の実施形態に係る修正部１５０と同様に、判別部２３０による判別結果に基づいて、奥行き情報取得部２２０から入力される基本奥行き情報を修正して、修正奥行き情報を生成する。そして、修正部２５０は、生成した修正奥行き情報を強調部２６０へ出力する。

強調部２６０は、修正部２５０から入力される修正奥行き情報を用いて、立体視画像を構成する右眼画像及び左眼画像の一方又は双方の立体感を強調するための立体感強調処理を実行する。本実施形態において実行される立体感強調処理は、第１の実施形態において実行される立体感強調処理と同様の、空気遠近法に関連する視覚特性を利用する処理であってよい。即ち、右眼画像及び左眼画像の一方又は双方のコントラスト、シャープネス、輝度、彩度及び解像度などのパラメータが、修正奥行き情報により示される奥行きに応じて調整され得る。

強調部２６０から出力される右眼画像及び左眼画像はディスプレイにより表示され、それにより立体視画像が再生される。

一般的に、両眼視差に基づいて知覚される立体視画像の視差を過剰に強調すると、ユーザの眼精疲労などの体調不良が引き起こされることが知られている。しかし、本実施形態に係る手法によれば、両眼視差を変化させることなく、右眼画像及び左眼画像の各々について空気遠近法に関連する視覚特性を利用して立体感が強調される。従って、ユーザの体調不良のリスクを増加させることなく、立体感の高まった立体視画像を提供することができる。

＜３．フィルタ係数の学習＞
本節では、クラス分類適応処理を応用した立体感強調処理において利用されるフィルタ係数を学習するための学習処理について説明する。

図１０は、立体感強調処理のためのフィルタ係数の学習について説明するための説明図である。

図１０を参照すると、一例としての画像処理装置１００及び学習装置３００が示されている。学習装置３００は、生徒画像と当該生徒画像に対応する教師画像との複数のセットを用いて、いわゆる教師あり学習処理を実行する。ここで利用される教師画像は、空気遠近法に従って、対応する生徒画像のコントラスト、シャープネス、輝度、彩度及び解像度などのパラメータの値を画素ごとの奥行きに応じて調整することにより生成される画像である。これらパラメータ値の調整と共に、ノイズ除去及びボケ除去が行われてもよい。学習装置３００には、各生徒画像についての奥行き情報もまた入力される。学習装置３００は、生徒画像の画素値と奥行きとに基づいて各画素のクラスを決定し、生徒画像の画素値を対応する教師画像の画素値に近付けるための最適なフィルタ係数のセットを、クラスごとに学習する。図１０の例では、クラスＣ１及びＣ２を含む複数のクラスの各々について、フィルタ係数のセットが決定されている。

画像処理装置１００は、学習装置３００により決定されるクラスごとのフィルタ係数のセットを利用して、入力画像から、立体感のより強調された出力画像を予測する。即ち、画像処理装置１００は予測装置であるとも言える。画像処理装置１００は、上述したように、学習装置３００により実行される事前の学習処理を通じて決定されるフィルタ係数のセットを、図６に例示した係数テーブル１６４内に記憶する。そして、画像処理装置１００は、入力画像に映る内容の判別結果に基づいて修正される奥行き情報を用いて各画素のクラスを決定し、決定したクラスに対応するフィルタ係数で各画素の予測タップをフィルタリングする。

このようなクラス分類適応処理によれば、各画素について、最適なフィルタ係数を用いた１回のフィルタリングで、空気遠近法に関連する様々なパラメータ値を同時に調整することができる。従って、パラメータごとに用意される複数のフィルタ（例えば、コントラスト調整フィルタ、シャープネス調整フィルタ及びノイズ除去フィルタなど）を逐次的に適用する手法と比較して、立体感強調処理により生じる遅延を短くすることができる。また、複数のフィルタ間でフィルタリングの効果が互いに打ち消されることもない。

＜４．応用例＞
本開示に係る技術は、画像を放送し若しくは配信する送信機、画像を受信する受信機、光ディスク若しくは磁気ディスクなどの媒体に画像を記録する記録装置、又は、受信され若しくは記録された画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

［４−１．第１の応用例］
図１１は、本開示に係る技術を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、映像信号処理部９０５は、画像処理装置１００又は２００の機能を有する。従って、テレビジョン装置９００での画像の表示に際して、立体感を強調して主観的な画質を向上することができる。

［４−２．第２の応用例］
図１２は、本開示に係る技術を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、画像処理装置１００又は２００の機能を有する。従って、携帯電話機９２０での画像の記録又は再生に際して、立体感を強調して主観的な画質を向上することができる。

［４−３．第３の応用例］
図１３は、本開示に係る技術を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。

制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３及びデコーダ９４７は、画像処理装置１００又は２００の機能を有する。従って、記録再生装置９４０での画像の記録又は再生に際して、立体感を強調して主観的な画質を向上することができる。

［４−４．第４の応用例］
図１４は、本開示に係る技術を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、画像処理装置１００又は２００の機能を有する。従って、撮像装置９６０での画像の記録又は再生に際して、立体感を強調して主観的な画質を向上することができる。

＜５．まとめ＞
ここまで、図１〜図１４を用いて、本開示に係る技術の２つの実施形態及びその応用例について詳細に説明した。上述した実施形態によれば、入力画像内の各画素の奥行きを表す奥行き情報が入力画像に映る内容の判別結果に基づいて修正され、修正された奥行き情報を用いて、入力画像の立体感を強調するための立体感強調処理が実行される。従って、画像に映る内容に依存し得る立体感の感じ方を考慮して、画像コンテンツの立体感を強調することができる。例えば、特許文献２により提案されているステレオ法を用いる技術によれば、カメラと被写体との間の距離を示す奥行き情報を得ることができる。しかし、そのような奥行き情報は、奥行きをある程度再現するものであっても、奥行きを強調するものではない。一方、上述した実施形態によれば、画像内容に基づいて、奥行きが強調される。即ち、例えば風景画像については風景の広がりが強調され、又は建物の内部の画像については建物の中にいるという没入感が強調される。結果として、ユーザにより経験される画像コンテンツの主観的な画質を効果的に向上することができる。

また、上述した実施形態によれば、入力画像に映るシーンの種類が判別され、判別されたシーンの種類に応じて奥行き情報が修正される。従って、シーンの種類ごとに得られている立体感の感じ方についての知見を活用して奥行き情報を修正し、立体感を適切に強調することができる。

また、上述した実施形態によれば、入力画像に映る顔領域、注目物体の領域又はエッジ領域若しくはテクスチャ領域が判別され、これら領域の奥行きが修正される。従って、これら領域ごとに立体感を選択的に強調し又は緩和することができる。

また、上述した実施形態によれば、空気遠近法に関連する視覚特性を利用して、画像の立体感が強調される。従って、両眼視差を強調する手法のようにユーザに過度の身体的負担を強いることなく、立体感を主観的に高めることができる。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、画像処理装置１００又は２００の機能は、クラウドコンピューティング環境内に実装されてもよい。その場合には、画像を記録し又は再生する端末装置は、画像処理装置１００又は２００と同等の機能を有する装置へ、画像取得部により取得される処理対象画像を通信部を介して送信し、当該装置により立体感の強調された処理対象画像を受信する。そのような端末装置と画像処理装置１００又は２００とにより画像処理システムが構成されてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画像内の各画素の奥行きを表す奥行き情報を取得する奥行き情報取得部と、
前記画像に映る内容を判別する判別部と、
前記判別部による判別結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成する修正部と、
前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行する強調部と、
を備える画像処理装置。
（２）
前記判別部は、前記画像に映るシーンの種類を判別し、
前記修正部は、前記判別部により判別される前記シーンの種類に応じて、前記奥行き情報を修正する、
前記（１）に記載の画像処理装置。
（３）
前記修正部は、シーンの種類ごとに予め定義される補助奥行き情報を前記奥行き情報と合成することにより、前記奥行き情報を修正する、前記（２）に記載の画像処理装置。
（４）
前記判別部は、前記画像に映る人物の顔領域を判別し、
前記修正部は、前記判別部により判別される前記顔領域の奥行きを修正する、
前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（５）
前記判別部は、前記画像に映る注目物体の領域を判別し、
前記修正部は、前記判別部により判別される前記注目物体の領域の奥行きを修正する、
前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記判別部は、前記画像に映るエッジとテクスチャとを判別し、
前記修正部は、前記判別部により判別される前記エッジの領域又は前記テクスチャの領域の奥行きを修正する、
前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記強調部は、空気遠近法に関連する視覚特性を利用して、前記画像の立体感を強調する、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記強調部は、前記修正奥行き情報においてより奥行きの小さい画素についてコントラスト、シャープネス、輝度、彩度及び解像度のうち少なくとも１つのパラメータがより大きく増加するように、前記画像の立体感を強調する、前記（７）に記載の画像処理装置。
（９）
前記強調部は、前記修正奥行き情報においてより奥行きの大きい画素についてコントラスト、シャープネス、輝度、彩度及び解像度のうち少なくとも１つのパラメータがより大きく減少するように、前記画像の立体感を強調する、前記（７）又は前記（８）に記載の画像処理装置。
（１０）
前記強調部は、事前の学習処理において奥行きに応じて決定されるフィルタ係数を用いて前記画像をフィルタリングすることにより、前記画像の立体感を強調する、前記（７）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
前記強調部は、画素値と前記修正奥行き情報により表される奥行きとに基づいて各画素を複数のクラスの１つに分類し、前記学習処理においてクラスごとに決定される前記フィルタ係数で各画素と周辺画素とを含むフィルタタップをフィルタリングする、前記（１０）に記載の画像処理装置。
（１２）
前記フィルタ係数は、生徒画像と当該生徒画像に対応する教師画像であって空気遠近法を利用して立体感の強調された当該教師画像との複数のセットを用いた前記学習処理において、クラスごとに決定される、前記（１１）に記載の画像処理装置。
（１３）
前記画像は、立体視画像を構成する右眼画像及び左眼画像の一方又は双方であり、
前記画像処理装置は、前記強調部により立体感の強調された前記画像を含む右眼画像及び左眼画像を表示装置に表示させて立体視画像を再生する、
前記（１）〜（１２）のいずれか１項に記載の画像処理装置。
（１４）
画像内の各画素の奥行きを表す奥行き情報を取得することと、
前記画像に映る内容を判別することと、
前記判別の結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成することと、
前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行することと、
を含む画像処理方法。
（１５）
画像処理装置を制御するコンピュータを、
画像内の各画素の奥行きを表す奥行き情報を取得する奥行き情報取得部と、
前記画像に映る内容を判別する判別部と、
前記判別部による判別結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成する修正部と、
前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行する強調部と、
として機能させるためのプログラム。
（１６）
画像内の各画素の奥行きを表す奥行き情報を取得する奥行き情報取得部と、
前記画像に映る内容を判別する判別部と、
前記判別部による判別結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成する修正部と、
画素値と前記修正奥行き情報により表される奥行きとに基づいて各画素を複数のクラスの１つに分類し、事前の学習処理においてクラスごとに決定されるフィルタ係数で各画素と周辺画素とを含むフィルタタップをフィルタリングすることにより、前記画像の立体感を強調する強調部と、
を備える画像処理装置。
（１７）
処理対象画像を取得する画像取得部と、
画像内の各画素の奥行きを表す奥行き情報を取得し、前記画像に映る内容を判別し、前記画像に映る内容の判別結果に基づいて前記奥行き情報を修正して修正奥行き情報を生成し、前記修正奥行き情報を用いて前記画像の立体感を強調するための立体感強調処理を実行する画像処理装置へ、前記処理対象画像を送信して前記画像処理装置により立体感の強調された前記処理対象画像を受信する通信部と、
を備える端末装置。
（１８）
画像処理装置及び端末装置を含む画像処理システムであって、
前記画像処理装置は、
前記端末装置から受信される画像内の各画素の奥行きを表す奥行き情報を取得する奥行き情報取得部と、
前記画像に映る内容を判別する判別部と、
前記判別部による判別結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成する修正部と、
前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行する強調部と、
を備え、
前記端末装置は、
処理対象画像を取得する画像取得部と、
取得された処理対象画像を前記画像処理装置へ送信し、前記画像処理装置により立体感の強調された前記処理対象画像を受信する通信部と、
を備える、
画像処理システム。
（１９）
実行可能なプログラムを記憶するメモリと、プロセッサと、を備える画像処理装置であって、
前記プログラムは、前記プロセッサにより実行された場合に、前記プロセッサを、
画像内の各画素の奥行きを表す奥行き情報を取得し、
前記画像に映る内容を判別し、
前記判別の結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成し、
前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行する、
ように動作させる、画像処理装置。

１００，２００ 画像処理装置
１１０，２１０ 画像取得部
１２０，２２０ 奥行き情報取得部
１３０，２３０ 判別部
１５０，２５０ 修正部
１６０，２６０ 強調部
３００ 学習装置

Claims (17)

1. 画像内の各画素の奥行きを表す奥行き情報を取得する奥行き情報取得部と、
   前記画像に映る内容を判別する判別部と、
   前記判別部による判別結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成する修正部と、
   前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行する強調部と、
   を備え、
   前記強調部は、予め奥行きに応じて決定されるフィルタ係数を用いて前記画像をフィルタリングすることにより、前記画像の立体感を強調し、
   前記フィルタ係数は、空気遠近法に関連する視覚特性を利用して前記画像の立体感を強調する係数であり、事前の学習処理において奥行きに応じて決定される、
   画像処理装置。
2. 前記判別部は、前記画像に映るシーンの種類を判別し、
   前記修正部は、前記判別部により判別される前記シーンの種類に応じて、前記奥行き情報を修正する、
   請求項１に記載の画像処理装置。
3. 前記修正部は、シーンの種類ごとに予め定義される補助奥行き情報を前記奥行き情報と合成することにより、前記奥行き情報を修正する、請求項２に記載の画像処理装置。
4. 前記判別部は、前記画像に映る人物の顔領域を判別し、
   前記修正部は、前記判別部により判別される前記顔領域の奥行きを修正する、
   請求項１に記載の画像処理装置。
5. 前記判別部は、前記画像に映る注目物体の領域を判別し、
   前記修正部は、前記判別部により判別される前記注目物体の領域の奥行きを修正する、
   請求項１に記載の画像処理装置。
6. 前記判別部は、前記画像に映るエッジとテクスチャとを判別し、
   前記修正部は、前記判別部により判別される前記エッジの領域又は前記テクスチャの領域の奥行きを修正する、
   請求項１に記載の画像処理装置。
7. 前記強調部は、前記修正奥行き情報においてより奥行きの小さい画素についてコントラスト、シャープネス、輝度、彩度及び解像度のうち少なくとも１つのパラメータがより大きく増加するような前記フィルタ係数を用いる、請求項１に記載の画像処理装置。
8. 前記強調部は、前記修正奥行き情報においてより奥行きの大きい画素についてコントラスト、シャープネス、輝度、彩度及び解像度のうち少なくとも１つのパラメータがより大きく減少するような前記フィルタ係数を用いる、請求項１に記載の画像処理装置。
9. 前記強調部は、画素値と前記修正奥行き情報により表される奥行きとに基づいて各画素を複数のクラスの１つに分類し、前記学習処理においてクラスごとに決定される前記フィルタ係数で各画素と周辺画素とを含むフィルタタップをフィルタリングする、請求項１に記載の画像処理装置。
10. 前記フィルタ係数は、生徒画像と当該生徒画像に対応する教師画像であって空気遠近法を利用して立体感の強調された当該教師画像との複数のセットを用いた前記学習処理において、クラスごとに決定される、請求項９に記載の画像処理装置。
11. 前記画像は、立体視画像を構成する右眼画像及び左眼画像の一方又は双方であり、
    前記画像処理装置は、前記強調部により立体感の強調された前記画像を含む右眼画像及び左眼画像を表示装置に表示させて立体視画像を再生する、
    請求項１に記載の画像処理装置。
12. 画像内の各画素の奥行きを表す奥行き情報を取得することと、
    前記画像に映る内容を判別することと、
    前記判別の結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成することと、
    前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行することと、
    を含み、
    前記立体感強調処理において、予め奥行きに応じて決定されるフィルタ係数を用いて前記画像をフィルタリングすることにより、前記画像の立体感が強調され、
    前記フィルタ係数は、空気遠近法に関連する視覚特性を利用して前記画像の立体感を強調する係数であり、事前の学習処理において奥行きに応じて決定される、
    画像処理方法。
13. 画像処理装置を制御するコンピュータを、
    画像内の各画素の奥行きを表す奥行き情報を取得する奥行き情報取得部と、
    前記画像に映る内容を判別する判別部と、
    前記判別部による判別結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成する修正部と、
    前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行する強調部と、
    として機能させ、
    前記強調部は、予め奥行きに応じて決定されるフィルタ係数を用いて前記画像をフィルタリングすることにより、前記画像の立体感を強調し、
    前記フィルタ係数は、空気遠近法に関連する視覚特性を利用して前記画像の立体感を強調する係数であり、事前の学習処理において奥行きに応じて決定される、
    プログラム。
14. 画像内の各画素の奥行きを表す奥行き情報を取得する奥行き情報取得部と、
    前記画像に映る内容を判別する判別部と、
    前記判別部による判別結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成する修正部と、
    画素値と前記修正奥行き情報により表される奥行きとに基づいて各画素を複数のクラスの１つに分類し、事前の学習処理においてクラスごとに決定されるフィルタ係数で各画素と周辺画素とを含むフィルタタップをフィルタリングすることにより、前記画像の立体感を強調する強調部と、
    を備える画像処理装置。
15. 処理対象画像を取得する画像取得部と、
    画像内の各画素の奥行きを表す奥行き情報を取得し、前記画像に映る内容を判別し、前記画像に映る内容の判別結果に基づいて前記奥行き情報を修正して修正奥行き情報を生成し、前記修正奥行き情報を用いて前記画像の立体感を強調するための立体感強調処理であって、予め奥行きに応じて決定されるフィルタ係数を用いて前記画像をフィルタリングすることを含む当該立体感強調処理を実行する画像処理装置へ、前記処理対象画像を送信して前記画像処理装置により立体感の強調された前記処理対象画像を受信する通信部と、
    を備え、
    前記フィルタ係数は、空気遠近法に関連する視覚特性を利用して前記画像の立体感を強調する係数であり、事前の学習処理において奥行きに応じて決定される、
    端末装置。
16. 画像処理装置及び端末装置を含む画像処理システムであって、
    前記画像処理装置は、
    前記端末装置から受信される画像内の各画素の奥行きを表す奥行き情報を取得する奥行き情報取得部と、
    前記画像に映る内容を判別する判別部と、
    前記判別部による判別結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成する修正部と、
    前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行する強調部と、
    を備え、
    前記強調部は、予め奥行きに応じて決定されるフィルタ係数を用いて前記画像をフィルタリングすることにより、前記画像の立体感を強調し、
    前記端末装置は、
    処理対象画像を取得する画像取得部と、
    取得された処理対象画像を前記画像処理装置へ送信し、前記画像処理装置により立体感の強調された前記処理対象画像を受信する通信部と、
    を備え、
    前記フィルタ係数は、空気遠近法に関連する視覚特性を利用して前記画像の立体感を強調する係数であり、事前の学習処理において奥行きに応じて決定される、
    画像処理システム。
17. 実行可能なプログラムを記憶するメモリと、プロセッサと、を備える画像処理装置であって、
    前記プログラムは、前記プロセッサにより実行された場合に、前記プロセッサを、
    画像内の各画素の奥行きを表す奥行き情報を取得し、
    前記画像に映る内容を判別し、
    前記判別の結果に基づいて前記奥行き情報を修正して、修正奥行き情報を生成し、
    前記修正奥行き情報を用いて、前記画像の立体感を強調するための立体感強調処理を実行する、
    ように動作させ、
    前記立体感強調処理において、予め奥行きに応じて決定されるフィルタ係数を用いて前記画像をフィルタリングすることにより、前記画像の立体感が強調され、
    前記フィルタ係数は、空気遠近法に関連する視覚特性を利用して前記画像の立体感を強調する係数であり、事前の学習処理において奥行きに応じて決定される、
    画像処理装置。

Images