JP6841888B2 - 映像処理装置及び映像処理方法 - Google Patents

Description

本発明は、映像処理装置及びその映像処理方法に関し、より詳細には、入力映像に対するエンハンス処理を行う映像処理装置及びその映像処理方法に関する。

電子技術の発達により、多様な電子機器が開発及び普及されている。特に、家庭内、事務所、公共の場など様々な場所で利用されるディスプレイ装置は、ここ数年間で持続的な発展を遂げている。

近来は、高解像度の映像サービスに対する要求が大幅に増加している。このような要求により、ディスプレイ機器の解像度が高まるにつれて、イメージのディテールを向上させるための技術は持続的に開発されている。特に、圧縮過程で損なわれたディテールや、イメージを拡大する過程でぼやけたイメージを鮮明にするためのディテール向上技術の開発が求められている。

特開２００９−３０２７６１号公報 韓国特許出願公開第２０１１−０００１４２５号公報 米国特許出願公開第２００９／０３１６０２４号明細書 特開２０１４−１２３２４７号公報

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、映像から客体の境界（ｂｏｕｎｄａｒｙ）を正確に検出し、検出された境界にシャドーイング（ｓｈａｄｏｗｉｎｇ）を適用して映像のディテール（ｄｅｔａｉｌ）を向上させる映像処理装置及びその映像処理方法を提供することにある。

以上のような目的を達成するための本発明の一実施形態に係る映像処理装置は、少なくとも一つのプロセッサと、プログラムコードを保存するメモリとを含み、前記プロセッサは、前記プログラムコードを実行することにより、入力映像のフィルタリングに基づいて臨界範囲の信号をシャドウ（ｓｈａｄｏｗ）で獲得し、異なる方向性に関連する複数の境界検出フィルタを前記入力映像に適用して境界情報を獲得し、前記境界情報によって識別される領域に前記シャドウを適用して前記入力映像から出力映像を獲得するプロセッサとを含む。

この場合、前記プロセッサは、前記入力映像を二次微分フィルタでフィルタリングして出力信号を獲得し、獲得された前記出力信号で負の信号をクリッピングして前記シャドウを獲得してよい。

ここで、前記獲得されたシャドウは、前記入力映像内に含まれた客体のうち第１臨界値未満のピクセル値を有する客体の内部境界、又は前記入力映像内に含まれた客体のうち前記第１臨界値より大きい第２臨界値以上のピクセル値を有する客体の外部境界のうち、少なくとも一方に対応してよい。

なお、前記境界情報は、前記境界領域の位置情報及び強度情報を含み、前記プロセッサは、前記位置情報に基づいて前記境界領域を識別し、前記識別された境界領域に対応する強度情報を前記識別された境界領域に対応するシャドウに適用し、前記強度情報の適用されたシャドウを前記識別された境界領域に挿入してよい。

なお、前記プロセッサは、前記入力映像に二次微分フィルタを適用して前記シャドウを獲得し、前記複数の境界検出フィルタのサイズは前記二次微分フィルタより大きくてよい。

なお、前記プロセッサは、前記入力映像に含まれたピクセルブロックに前記複数の境界検出フィルタをそれぞれ適用して複数のフィルタ出力値を獲得し、前記複数のフィルタ出力値のうちの一つに基づいて前記ピクセルブロックに対する境界情報を獲得してよい。

なお、前記プロセッサは、前記複数のフィルタ出力値のうち最小の負数値の大きさ又は最大の絶対値に基づいて、前記ピクセルブロックに対する境界情報を獲得してよい。

なお、前記プロセッサは、前記複数のフィルタ出力値のうち、前記最小の負数値の大きさ又は前記最大の絶対値に臨界値を適用してノーマライジングし、前記ノーマライジングによって獲得された加重値を前記獲得されたシャドウに適用して前記出力映像を獲得してよい。

なお、前記プロセッサは、前記シャドウを適用する境界領域の特性に基づいて、前記複数の境界検出フィルタの数又はサイズのうち少なくとも一方を決定してよい。

なお、前記複数の境界検出フィルタは、第１方向のライン単位で同一のフィルタ係数が重複する第１フィルタ、第２方向のライン単位で同一のフィルタ係数が重複する第２フィルタ、第３方向のライン単位で同一のフィルタ係数が重複する第３フィルタ及び第４方向のライン単位で同一のフィルタ係数が重複する第４フィルタを含んでよい。

なお、前記複数の境界検出フィルタの数がＮ個である場合、ｎ番目の境界検出フィルタの方向性は、数式ｎ番目の境界検出フィルタの角度＝１８０＊（ｎ−１）／Ｎを通じて算出されてよい。

なお、ディスプレイを更に含み、前記プロセッサは、前記出力映像を出力するように前記ディスプレイを制御し、前記出力映像は、４Ｋ ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像又は８Ｋ ＵＨＤ映像であってよい。

一方、本発明の一実施形態に係る映像処理装置の映像処理方法は、入力映像のフィルタリングに基づいて臨界範囲の信号をシャドウで獲得するステップと、異なる方向性に関連する複数の境界検出フィルタを前記入力映像に適用して境界情報を獲得するステップと、前記境界情報によって識別される領域に前記シャドウを適用して前記入力映像から出力映像を獲得するステップとを含む。

この場合、前記臨界範囲の信号をシャドウで獲得するステップは、前記入力映像を二次微分フィルタでフィルタリングして出力信号を獲得し、獲得された前記出力信号で負の信号をクリッピングして前記シャドウを獲得してよい。

ここで、前記獲得されたシャドウは、前記入力映像内に含まれた客体のうち第１臨界値未満のピクセル値を有する客体の内部境界、又は前記入力映像内に含まれた客体のうち前記第１臨界値より大きい第２臨界値以上のピクセル値を有する客体の外部境界のうち、少なくとも一方に対応してよい。

なお、前記境界情報は、前記境界領域の位置情報及び強度情報を含み、前記出力映像を獲得するステップは、前記位置情報に基づいて前記境界領域を識別し、前記識別された境界領域に対応する強度情報を前記識別された境界領域に対応するシャドウに適用し、前記強度情報の適用されたシャドウを前記識別された境界領域に挿入してよい。

なお、前記臨界範囲の信号をシャドウで獲得するステップは、前記入力映像に二次微分フィルタを適用して前記シャドウを獲得し、前記複数の境界検出フィルタのサイズは前記二次微分フィルタより大きくてよい。

なお、前記境界情報を獲得するステップは、前記入力映像に含まれたピクセルブロックに前記複数の境界検出フィルタをそれぞれ適用して複数のフィルタ出力値を獲得し、前記複数のフィルタ出力値のうちの一つに基づいて前記ピクセルブロックに対する境界情報を獲得してよい。

なお、前記境界情報を獲得するステップは、前記複数のフィルタ出力値のうち最小の負数値の大きさ又は最大の絶対値に基づいて、前記ピクセルブロックに対する境界情報を獲得してよい。

なお、本発明の一実施形態に係る電子装置のプロセッサによって実行される場合、前記電子装置が動作を行うようにするコンピュータ命令を保存する非一時的なコンピュータ読み取り可能な媒体において、前記動作は、入力映像のフィルタリングに基づいて臨界範囲の信号をシャドウで獲得するステップと、異なる方向性に関連する複数の境界検出フィルタを前記入力映像に適用して境界情報を獲得するステップと、前記境界情報によって識別される領域に前記シャドウを適用して前記入力映像から出力映像を獲得するステップとを含む。

以上説明したように、本発明によれば、高解像度の映像から客体の境界を正確に検出してシャドーイングを適用することにより、ノイズ（ｎｏｉｓｅ）の増幅を最小化しつつ客体の輪郭のみをくっきりとさせて映像の鮮明度を向上させることができる。

本発明の一実施形態に係る映像処理装置の実現例を説明するための図である。 本発明の一実施形態に係る映像処理装置の構成を示すブロック図である。 本発明の理解を促すための二次微分信号の特性を説明するための図である。 本発明の一実施形態に係るラプラシアンフィルタの多様な例示を示す図である。 本発明の一実施形態に係るラプラシアンフィルタ適用方法を説明するための図である。 本発明の一実施形態に係るフィルタの出力を説明するための図である。 本発明の一実施形態に係る複数の境界検出フィルタを説明するための図である。 本発明の別の実施形態に係る複数の境界検出フィルタを説明するための図である。 本発明の別の実施形態に係る複数の境界検出フィルタを説明するための図である。 本発明の一実施形態に係る入力映像の一例を示す図である。 本発明の一実施形態に係る二次微分映像を示す図である。 本発明の一実施形態に係るシャドウ映像を示す図である。 本発明の一実施形態に係る出力映像を示す図である。 本発明の一実施形態に係る境界検出効果を説明するための図である。 本発明の一実施形態に係る境界検出効果を説明するための図である。 本発明の一実施形態に係る境界検出効果を説明するための図である。 本発明の一実施形態に係る映像処理方法の一実現例を説明するための図である。 本発明の別の実施形態に係る映像処理装置の一実現例を示す図である。 本発明の一実施形態に係るシャドウ挿入効果を説明するための図である。 本発明の多様な実施形態で開示した内容の実施可否を判断することができる方法を説明するための図である。 本発明の多様な実施形態で開示した内容の実施可否を判断することができる方法を説明するための図である。 本発明の多様な実施形態で開示した内容の実施可否を判断することができる方法を説明するための図である。 本発明の多様な実施形態で開示した内容の実施可否を判断することができる方法を説明するための図である。 本発明の多様な実施形態で開示した内容の実施可否を判断することができる方法を説明するための図である。 本発明の一実施形態に係る映像処理方法を説明するためのフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

本明細書で使われる用語について概略に説明し、本発明について具体的に説明する。

本発明の実施形態で使われる用語は、本発明における機能を考慮しつつ可能な限り、現在広く使われる一般的な用語を選択しているが、それは、当分野に携わる技術者の意図又は判例、新たな技術の出現などによって変わることがある。なお、特定の場合は、出願人が任意に選定した用語もあり、この場合は該当する発明の説明部分で詳細にその意味を記載する。よって、本発明で使われる用語は、単なる用語の名称はなく、その用語のもつ意味と本発明の全般に亘る内容に基づいて定義されるべきである。

第１、第２などの用語は、様々な構成要素を説明するうえで使われてよいが、構成要素は用語によって限定されてはならない。用語は、一つの構成要素を別の構成要素から区別する目的としてのみ使われる。

単数の表現は、文脈上明白にそうでないことを意味しない限り、複数の表現を含む。本出願において、「含む」又は「構成される」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はそれらを組み合わせたものが存在することを指定するためのものであって、一つ又はそれ以上の別の特徴や数字、ステップ、動作、構成要素、部品又はそれらを組み合わせたものの存在又は付加可能性を予め排除しないと理解されるべきである。

Ａ又はＢのうち少なくとも一つという表現は、「Ａ」又は「Ｂ」、又は「Ａ及びＢ」のうちいずれか一つを示すものとして理解されるべきである。

本発明において、「モジュール」或いは「部」は、少なくとも一つの機能や動作を行い、ハードウェア又はソフトウェアで実現されたり、ハードウェアとソフトウェアとの結合で実現されてよい。なお、複数の「モジュール」或いは複数の「部」は、特定のハードウェアで実現される必要がある「モジュール」或いは「部」を除いては、少なくとも一つのモジュールで一体化されて少なくとも一つのプロセッサ（図示せず）で実現されてよい。

以下では、添付の図を参照し、本発明の実施形態に対して本発明の属する技術分野で通常の知識を有する者が容易に実施できるように詳細に説明する。しかし、本発明は、複数の異なる形態で実現されてよく、ここにおいて説明する実施形態に限定されない。そして、図面において、本発明を明確に説明するために、発明と関係のない部分は省略しており、明細書の全体を通して類似する部分については、類似する図面符号を付する。

図１は、本発明の一実施形態に係る映像処理装置の実現例を説明するための図である。

映像処理装置１００は、図１に示すように、テレビ又はセットトップボックスで実現されてよいが、それに限定されるものではなく、スマートフォン、タブレットパソコン、ノートパソコン、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、ＮＥＤ（Ｎｅａｒ Ｅｙｅ Ｄｉｓｐｌａｙ）、ＬＦＤ（Ｌａｒｇｅ Ｆｏｒｍａｔ Ｄｉｓｐｌａｙ）、Ｄｉｇｉｔａｌ Ｓｉｇｎａｇｅ（デジタル看板）、ＤＩＤ（Ｄｉｇｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ）、ビデオウォール（ｖｉｄｅｏ ｗａｌｌ）、プロジェクタディスプレイ、カメラ、カムコーダ、プリンタなどのように、映像処理及び／又はディスプレイ機能を備えた装置なら、限定されることなく適用可能である。

映像処理装置１００は、多様な圧縮映像又は様々な解像度の映像を受信することができる。例えば、映像処理装置１００は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）（例えば、ＭＰ２、ＭＰ４、ＭＰ７など）、ＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）、ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、Ｈ.２６４、Ｈ.２６５、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｅｃ）などで圧縮された形態で映像を受信することができる。又は、映像処理装置１００は、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）、Ｆｕｌｌ ＨＤ、Ｕｌｔｒａ ＨＤ映像のうち、何れか一つの映像を受信することができる。

一実施形態によって、映像処理装置１００がＵＨＤ ＴＶで実現されるとしても、ＵＨＤコンテンツそのものが不足するために、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）、Ｆｕｌｌ ＨＤなどの映像（以下、低解像度の映像という）が入力される場合が多い。この場合、入力された低解像度の映像をＵＨＤ映像（以下、高解像度の映像という）に変換して利用することができる。しかし、映像の変換過程で映像のテクスチャ（ｔｅｘｔｕｒｅ）又はエッジがぼやけて（Ｂｌｕｒ）ディテールが低下するという問題がある。例えば、バウンダリーは、視聴者にくっきり見えないおそれがある。

別の実施形態によって、高解像度の映像が入力されるとしても、映像圧縮及び解凍などの過程でディテールが損なわれる問題があった。デジタル映像は、画素数が増加するにつれてより多くのデータを必要とするようになり、大容量のデータを圧縮するようになる場合、圧縮によるディテール低下は避けられないためである。ディテールの低下は、原本映像に関連する圧縮解凍（Ｄｅｃｏｍｐｒｅｓｓｉｏｎ）が映像の圧縮段階で行われた後に増加するイメージの歪曲を含むことがある。

一方、映像には、様々な形態のエッジが存在するが、一例として、複数の方向を有する複雑な（ｃｏｍｐｌｅｘ）エッジと、方向が明確な真っすぐな（ｓｔｒａｉｇｈｔ）エッジの二種類に区分することができる。とりわけ、主に客体の境界（ｂｏｕｎｄａｒｙ）やテキスト等で示す方向が明確な真っすぐなエッジは、映像を視聴するユーザに最優先的に認知される要素であるため、真っすぐなエッジのエンハンス（Ｅｎｈａｎｃｅｍｅｎｔ）又はプレゼンテーション（ｐｒｅｓｅｎｔａｔｉｏｎ）に特化した処理は、映像でディテールの形状（ａｐｐｅａｒａｎｃｅ）又はクォリティー（ｑｕａｌｉｔｙ）を向上させる重要な技術である。

それにより、以下では、方向が明確な真っすぐなエッジを正確に検出してシャドーイング効果を適用することにより、映像のディテールを向上させる多様な実施形態について説明する。

図２は、本発明の一実施形態に係る映像処理装置の構成を示すブロック図である。図２によると、映像処理装置１００は、入力部１１０及びプロセッサ１２０を含む。

入力部１１０は、様々なタイプのコンテンツを入力される。例えば、入力部１１０は、ＡＰ基盤のＷｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ ＬＡＮネットワーク）、ブルートゥース（登録商標（Ｂｌｕｅｔｏｏｔｈ））、Ｚｉｇｂｅｅ、有／無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、イーサネット（登録商標（Ｅｔｈｅｒｎｅｔ））、ＩＥＥＥ １３９４、ＨＤＭＩ（登録商標（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ））、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）、ＡＥＳ／ＥＢＵ（Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ／Ｅｕｒｏｐｅａｎ Ｂｒｏａｄｃａｓｔｉｎｇ Ｕｎｉｏｎ）、オプティカル（Ｏｐｔｉｃａｌ）、コアキシャル（Ｃｏａｘｉａｌ）などのような通信方式を通じて外部装置（例えば、ソース装置）、外部保存媒体（例えば、ＵＳＢメモリ）、外部サーバ（例えば、ウェブハード）等からストリーミング又はダウンロード方式で映像信号を入力されることができる。ここで、映像信号は、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）、Ｆｕｌｌ ＨＤ又はＵｌｔｒａ ＨＤ映像のうち、何れか一つのデジタル映像信号であってよいが、それに限定されるものではない。

プロセッサは、映像処理装置１００の動作全般を制御する。

一実施形態によって、プロセッサ１２０は、デジタル映像信号を処理するデジタルシグナルプロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ（ＤＳＰ））、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）プロセッサ、ＴＣＯＮ（Ｔｉｍｅ
ｃｏｎｔｒｏｌｌｅｒ）で実現されてよい。ただし、それに限定されるものではなく、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ（ＣＰＵ））、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）、アプリケーションプロセッサ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ（ＡＰ））、又はコミュニケーションプロセッサ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ（ＣＰ））、ＡＲＭプロセッサのうち、一つ又はそれ以上を含むか、当該用語で定義されてよい。なお、プロセッサ１４０は、プロセッシングアルゴリズムが内蔵されたＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）で実現されてよく、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）形態で実現されてよい。

一実施形態によると、プロセッサ１２０は、少なくとも一つのＣＰＵを含んでよい。一実施形態によると、プロセッサ１２０は、少なくとも一つのプロセッサを含んでよい。例えば、一つのプロセッサは、少なくとも一つのメモリから命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）及びデータを読み込む（ｒｅａｄ）ことができる。例えば、少なくとも一つのメモリは、実行可能な命令を含むプログラムコードを保存することができる。一実施形態によると、プログラムコードは、少なくとも一つのプロセッサが図１４のロジックを行うようにすることができる。

プロセッサ１２０は、入力映像を映像処理して出力映像を獲得する。ここで、入力映像は、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）、Ｆｕｌｌ ＨＤ映像などであってよい。

具体的に、プロセッサ１２０は、入力映像から境界映像を検出し、検出された境界領域にシャドウを挿入（又は、検出された境界領域をシャドウ処理）して出力映像を獲得することができる。ここで、出力映像は、ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像、特に、４Ｋ（３８４０ｘ２１６０） ＵＨＤ映像又は８Ｋ（７６８０ｘ４３２０） ＵＨＤ映像であってよく、それに限定されるものではない。一例によって、入力映像に対してシャドウ処理前に様々な前処理が行われてよいが、以下では説明の便宜のために、入力映像と前処理された映像とを区分せずに、入力映像と称する。なお、本発明の一実施形態に係るシャドウ処理は、メモリ（図示せず）に予め保存された映像に対して行われてよいが、以下では説明の便宜のために入力映像に限定する。

一方、以下では、説明の便宜のために、シャドウを獲得（又は、生成）する方法を先に説明し、入力映像から含まれた境界に対する情報、即ち、境界情報を獲得する方法について説明する。しかし、実現例によって、シャドウの生成及び境界情報の獲得は、並列的に行われるか、何れか一つが別の一つの前に行われることができる。

本発明の一実施形態によると、プロセッサ１２０は、入力映像に基づいてシャドウを生成し、生成されたシャドウを境界領域に適用して出力映像を獲得することができる。

＜シャドウの生成＞
一実施形態によってプロセッサ１２０は、入力映像をフィルタリングし、フィルタリングされた信号から臨界範囲の信号をシャドウで獲得することができる。ここで、フィルタリングされた信号とは、入力映像に適用されるフィルタの出力信号であってよく、フィルタリングされたデータ又はフィルタリングされた値などの用語と称されてよい。

通常、入力映像に一次又は二次エッジ検出フィルタを適用すると、エッジの強度及びエッジの方向情報（勾配に垂直方向）を含むフィルタリングされた信号を獲得することができるようになる。ここで、一次エッジ検出フィルタとは、一次微分信号に基づいてエッジを検出するフィルタを意味し、二次エッジ検出フィルタとは、二次微分信号に基づいてエッジを検出するフィルタを意味する。エッジは、空間的に隣接するピクセル値が急激に変化する領域を意味することができる。例えば、エッジは、映像の輝度の低い値から高い値に、又は、高い値から低い値に急激に変化する領域であってよい。

図３Ａに示すように、一次微分信号はエッジ部分で負の値又は正の値を有する一方で、二次微分信号はエッジ部分で符号が入れ替わる零交差（ｚｅｒｏ ｃｒｏｓｓｉｎｇ）の特性を有するようになる。具体的に、二次微分信号は、エッジ部分で入力信号の減少傾向が強くなるか増加傾向が弱くなる場合は負の値を、逆に、入力信号の減少傾向が弱くなるか増加傾向が強くなり始める場合は正の値を有するようになる。即ち、二次微分信号は、暗い客体の内部境界では正の値、外部境界では負の値を有し、明るい客体の外部境界では正の値、内部境界では負の値を有するようになる。

本発明の一実施形態によると、プロセッサ１２０は、このような二次微分信号の特性に基づいてシャドウを生成することができる。例えば、プロセッサ１２０は、二次微分信号で正又は負の信号、即ち正（＋）の値又は負（−）の値を有する信号に基づいてシャドウを生成することができる。

一実施形態によって、プロセッサ１２０は、入力映像に二次微分フィルタを適用してフィルタの出力から負（−）の値を有する信号に基づいてシャドウを生成することができる。例えば、二次微分フィルタは、ラプラシアンフィルタ（Ｌａｐｌａｃｉａｎ Ｆｉｌｔｅｒ）で実現されてよい。ラプラシアンフィルタは、フィルタの中心から左右（又は、上下左右）が対称となり、係数の和が０であり、中心から離れるほど値が減少して符号が正数から負数に変わる形態を有してよい。即ち、中心係数は０を含むノンネガティブ（ｎｏｎ−ｎｅｇａｔｉｖｅ）数であってよい。このように、中心係数が正数であるラプラシアンフィルタの出力は、二次微分信号の反対になる符号を有するようになる。それにより、プロセッサ１２０は、二次微分信号を利用するようになる場合、二次微分信号に含まれた正の信号の符号を反転してシャドウを生成することができる。場合によって、プロセッサ１２０は、ラプラシアンフィルタの出力のうち、負の信号を変形（又はコンディショニング）してシャドウを生成することができる。ここで、変形（又は、コンディショニング）とは、負の信号に加重値を適用するか、予め設定された大きさの信号を引いたり足す作業であってよい。

図３Ｂは、本発明の一実施形態に係るラプラシアンフィルタの多様な例示を示す図である。即ち、ラプラシアンフィルタは、ｎ＊ｎの二次元形態であってよいが、二次元ピクセル領域に適用されてよい。図３Ｂにおいては、３＊３のラプラシアンフィルタを示している。この場合、シャドウ生成に用いられるフィルタは、後述の境界検出の際に用いられるフィルタのサイズより小さく実現されてよいが、それに限定されるものではない。例えば、フィルタのサイズは、一次元フィルタで係数の数、ｎを意味することができる。

一方、入力映像にラプラシアンフィルタを適用するとは、入力映像にラプラシアンフィルタを畳み込む（ｃｏｎｖｏｌｕｔｉｏｎ）ことを意味することができる。畳み込みは、加重値を有するフィルタを用いた映像処理技法として、入力映像のピクセル値とフィルタに含まれた対応する加重値（又は、係数）をそれぞれ掛け算した後、その和を獲得する技法を意味する。それにより、畳み込みは、通常、プロダクトの和を意味することができる。各プロダクトから被乗数（ｍｕｌｔｉｐｌｉｃａｎｄ）は、入力信号及びフィルタ係数から獲得されてよい。

ここで、フィルタをマスク、ウィンドウ又はカーネルともいう。即ち、図３Ｂに示すラプラシアンフィルタに含まれた数値が加重値（対応するピクセルをどのくらい利用するかを示す数値）であってよい。

図３Ｃは、本発明の一実施形態に係るラプラシアンフィルタ適用方法を説明するための図である。図３Ｃに示すように、Ｐ７が現在処理中のピクセルである場合、Ｐ７を中心ピクセルとしてラプラシアンフィルタを適用することができる。この場合、Ｐ７に対応する畳み込みＰ７Ｃ値は、Ｐ１＊０＋Ｐ２＊（−１）＋Ｐ３＊０＋Ｐ６＊（−１）＋Ｐ７＊４＋Ｐ８＊（−１）＋Ｐ１１＊０＋Ｐ１２＊（−１）＋Ｐ１３＊０の演算値で求めることができる。残りのピクセル値に対応する畳み込み値も同様の方式の演算を通じて求められるようになる。ただし、映像の角に位置するピクセル（例えば、Ｐ１ないしＰ５、Ｐ６、Ｐ１１、Ｐ１６、Ｐ２１など）は、フィルタを適用するための周辺のピクセルが不足するようになる。この場合、元々の映像に縁（例えば、ピクセル値０）を追加して映像を大きくして作った次のフィルタを適用するか、元々の映像の外部境界と同じ色を有するピクセルを追加した次のピクセルを適用することができる。

図４は、本発明の一実施形態に係るフィルタの出力を説明するための図である。

図３Ｂに示すように、ラプラシアンフィルタは、二次元（２−ｄｉｍｅｎｔｉｏｎａｌ）であってよいが、図４では、説明の便宜のため、一次元信号に一次元フィルタを適用するものとして示している。図３Ｃにおいて、例えば、入力イメージに対して１６の入力サンプルが存在し、９の出力値が存在する。フィルタは、ノンゼロ値５個を含む９個の値を有する。例えば、出力値は、シャドウを獲得するか、バウンダリー領域を識別するのに用いられるフィルタ出力になってよい。

図４は、図３Ｂに示すフィルタで一番目のフィルタ{−１、２、−１}を一次元信号に適用した場合のフィルタの出力値を示す図である。図４に示すｃａｓｅ＃０及び＃１でフィルタの出力４１２、４２２を見ると、入力信号４１１、４２１の減少傾向が強くなるか増加傾向が弱くなる場合には正の値を、逆に、入力信号４１１、４２１の減少傾向が弱くなるか増加傾向が強くなり始める場合には負の値を有するようになる。即ち、中心係数が正数のラプラシアンフィルタを利用するようになると、二次微分信号と反対符号を有する出力を獲得することができるようになる。この場合、プロセッサ１２０は、中心係数が正数のラプラシアンフィルタ出力から負の値を有する信号を用いてシャドウを獲得することができるようになる。

本発明の一実施形態によると、プロセッサ１２０は、シャドウを生成するために入力信号を与えた範囲に制限して出力信号を生成するクリッピング関数を用いることができる。例えば、プロセッサ１２０は、入力映像Ｉにラプラシアンフィルタｆを適用した後、負数部分のみをクリッピングしてシャドウＳを生成する。それは、下記のように、数式１で表されてよい。

（数式１）
Ｓ＝ｍｉｎ｛０，ｆ^＊Ｉ｝
数式１において、＊は畳み込みを意味することができ、畳み込み結果が０と比較された後、最小値が数式１の結果になり得る。それにより、Ｓ値は負数値になれない。

図４に示すｃａｓｅ＃０及び＃１で、ラプラシアンフィルタの出力のうち負の値に基づいて獲得されたシャドウ４１３、４２３を入力信号４１１、４２１に適用するようになると、図４に示すような出力信号４１４、４２４を獲得することができるようになる。例えば、入力信号４１１、４２１のピクセル値（又は、階調値）に負数値のシャドウ４１３、４２３が足され、それにより、出力信号４１４、４２４でシャドウ４１３、４２３の足されたピクセル領域のピクセル値（又は、階調値）は、入力信号４１１、４２１のピクセル値（又は、階調値）より小さい値を有するようになる。ただし、それは理解を促すために説明されたものであって、本発明の一実施形態によると、生成されたシャドウは、後述のように、境界情報に基づいて入力映像に適用されてよい。

一方、本発明の別の実施形態によると、プロセッサ１２０は、ディープラーニング基盤の人工神経網（又は、深層人工神経網）、即ち、学習ネットワークモデルを用いてシャドウを生成することができる。学習ネットワークモデルは、入力映像に対して連続的な合成倍演算を通じてユーザの望む出力データを得ることができるように設計され、数多くの映像を学習するシステム形態で実現されてよい。例えば、エッジ検出フィルタに含まれた係数（又は、パラメータ）又はフィルタのサイズのうち少なくとも一つが適切なシャドウ映像を出力するように学習されてよい。一例として、学習ネットワークモデルは映像が入力されると、入力映像の特性に基づいて強度の調整されたシャドウを含む映像（以下、シャドウ映像）を出力するように学習されてよい。別の例として、学習ネットワークモデルは、入力映像及びシャドウ映像（例えば、二次微分信号に基づいて生成されたシャドウ映像）が入力されると、入力映像の特性に基づいて強度の調整されたシャドウを含むシャドウ映像を出力するように学習されてよい。ここで、入力映像の特性は映像の解像度、タイプ、エッジ領域分布、テクスチャ領域の分布、色相分布など、入力映像に関連する多様な映像特性を含んでよい。

例えば、学習ネットワークモデルは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ Ｎｅｔｗｏｒｋ）、ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔｓ）又はＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）のうち、少なくとも一つのＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルで実現されてよい。

＜境界検出＞
プロセッサ１２０は、シャドウ生成とは別に、入力映像で含まれた境界に対する情報、即ち、境界情報を獲得することができる。本発明において、境界（Ｂｏｕｎｄａｒｙ）とは、方向性が明確で真っすぐなエッジ、及び／又は方向性が明確で臨界値以上の厚さを有するエッジを意味することから、方向が複雑なエッジとは区分することができる。例えば、境界は、客体又はテキストなどの境界になってよい。例えば、真っすぐなエッジは方向性が同じバウンダリー検出フィルタが隣接するピクセルブロックに対して高い値を有する場合に識別され得る。複雑なエッジは、方向性が異なるバウンダリー検出フィルタが隣接するピクセルブロックに対して高い値を有する場合に識別され得る。

このように、境界を検出する理由は、方向が明確で真っすぐなエッジにのみシャドーイングを適用するためである。８ｋ映像のような高解像度の映像で方向が明確で真っすぐなエッジ、即ち、境界に対するシャドーイングは画質を向上させることができるが、方向が複雑なエッジまでシャドーイングを適用するようになると、ノイズが増加して逆に画質を悪化させるおそれがあるためである。それにより、シャドーイングの追加又は挿入のための適切なエッジを決定することが重要である。

境界情報は、境界として検出されたピクセルに対する位置（ｐｏｓｉｔｉｏｎ）情報（又は、座標情報）、強度（ｍａｇｎｉｔｕｄｅ）情報又は方向（ｄｉｒｅｃｔｉｏｎ）情報のうち、少なくとも一つを含む情報であってよい。一例によって、境界情報は、マップ（ｍａｐ）又はテーブル（ｔａｂｌｅ）のうち少なくとも一つの形態で実現されてよい。例えば、境界情報は、各ピクセルブロックに対応する強度情報がピクセルブロック単位の行列形態で配列される構造を有してよい。本明細書で「ピクセルブロック（ｐｉｘｅｌ ｂｌｏｃｋ）」は、少なくとも一つのピクセルを含む隣接するピクセルの集合を意味し、「領域（ｒｅｇｉｏｎ）」は、映像の一部分を指す用語として少なくとも一つのピクセルブロック又はピクセルブロックの集合を意味することができる。

具体的に、プロセッサ１２０は、入力映像に異なる方向性に関連する複数の境界検出フィルタを適用して境界情報を獲得することができる。ここで、境界検出フィルタは、ｎ次微分フィルタ（例えば、一次又は二次微分フィルタ）で実現されてよい。例えば、プロセッサ１２０は、境界検出のために二次微分フィルタであるラプラシアンフィルタを利用することができる。ただし、それに限定されるものではなく、場合によって、ロバーツフィルタ（Ｒｏｂｅｒｔｓ Ｆｉｌｔｅｒ）、ソーベルフィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）、方向フィルタ（Ｄｉｒｅｃｔｉｏｎａｌ Ｆｉｌｔｅｒ）、傾斜フィルタ（Ｇｒａｎｄｉｅｎｔ Ｆｉｌｔｅｒ）、差フィルタ（Ｄｉｆｆｅｒｅｎｃｅ Ｆｉｌｔｅｒ）又はプレヴィットフィルタ（Ｐｒｅｗｉｔｔｅ Ｆｉｌｔｅｒ）のうち少なくとも一つが用いられてよい。例えば、プレヴィットフィルタ（又はカーネル）は、水平エッジの検出のための一次微分フィルタであり、３＊３マトリックスで配列された９のフィルタ係数を含むことができる。マトリックスの一番目のロー（又は行）は[１ １ １]を含み、二番目のローは[０ ０ ０]を含み、三番目のローは[−１ −１ −１]を含んでよい。ただそ、境界検出の際に、シャドウの生成時に用いられるフィルタと同じタイプのフィルタを用いることが望ましい。例えば、シャドウ生成時に二次微分フィルタを用いて境界検出の際に一次微分フィルタを利用する場合、検出された境界の位置がシャドウ生成から検出されるエッジ位置と差が生じるためである。ただし、必ずしも一致する領域にシャドウを適用しない場合、シャドウ生成に用いられるフィルタと異なるタイプのフィルタを用いて境界を検出することも可能である。

以下では、説明の便宜のために、ラプラシアンフィルタを用いて境界を検出する場合を想定して説明する。

ピクセル数の多い高解像度の映像では、検出すべきエッジを成すピクセルの数も増加するようになる。それにより、エッジ検出のためのフィルタのサイズも増加するようになる。例えば、圧縮された低解像度の入力映像を高解像度のディスプレイに拡大して出力する場合、入力映像に含まれたエッジも拡大するが、このような拡大映像からエッジ検出のためには、対応する大きいサイズのフィルタを利用しなければならない。それにより、境界検出に用いられるラプラシアンフィルタは、上述のシャドウ生成に用いられるラプラシアンフィルタより大きいサイズであってよい。例えば、５＊５以上（又は、７＊７以上）のサイズであってよいが、それに限定されるものではない。本発明の一実施形態によると、シャドウ生成の際には、小さいエッジ単位で検出してシャドウを生成するようになると、より自然なシャドウ生成が可能であるため、シャドウ生成時には境界検出の際より小さいフィルタを用いてシャドウを生成することができる。

一例によって、複数の境界検出フィルタの数がＮである場合、ｎ番目の境界検出フィルタは１８０＊（ｎ−1）／Ｎ角度の方向性を有してよい。ここで、複数の境界検出フィルタは、４以上であってよい。例えば、複数の境界検出フィルタは、第１方向のライン単位で同じフィルタ係数が重複する（又は、繰り返される）第１フィルタ、第２方向のライン単位で同じフィルタ係数が重複する（又は、繰り返される）第２フィルタ、第３方向のライン単位で同じフィルタ係数が重複する（又は、繰り返される）第３フィルタ、第４方向のライン単位で同じフィルタ係数が重複する（又は、繰り返される）第４フィルタを含んでよい。ただし、フィルタのサイズが大きくなるにつれ、複雑なエッジと真っすぐなエッジとを区分する性能が低下するおそれがある。それにより、本発明では、フィルタのサイズに比例して異なる方向性を有する複数のフィルタを追加して方向性が明確な真っすぐなエッジ、即ち、境界を正確に検出することができる。

図５は、本発明の一実施形態に係る複数の境界検出フィルタを説明するための図である。図５は、一実施形態によって複数の境界検出フィルタが４つであり、複数の境界検出フィルタのサイズが５＊５サイズであると想定しているが、それに限定されるものではない。なお、複数の境界検出フィルタは、対応する方向にラプラシアンフィルタの形態を有し、対応する方向の垂直方向に係数{−１９、６、２６、６、−２９}が繰り返される対称構造の二次元フィルタであると想定しているが、それに限定されるものではない。

この場合、ｎ番目の境界検出フィルタが１８０＊（ｎ−１）／Ｎ角度の方向性を有するように実現すると、図示のように、第１境界検出フィルタＧ（１）は０度の方向性を有し、第２境界検出フィルタＧ（２）は１８０＊（２−１）／４＝４５度の方向性を有する。同様に、第３境界検出フィルタＧ（３）、第４境界検出フィルタＧ（４）は、それぞれ９０度及び１３５度の方向性を有する。このように、４つの境界検出フィルタを用いる場合、

（＋及び×）の方向性を有するエッジを検出することができるようになる。例えば、０度、４５度、９０度、１３５度、１８０度、２２５度、２７０度、３１５度の方向のエッジを検出することができるようになる。

この場合、第２ないし第４境界検出フィルタは、第１境界検出フィルタを対応する角度の分回転させて獲得することができる。それにより、第１境界検出フィルタのみがメモリ（図示せず）に保存されていても、第２ないし第４境界検出フィルタを獲得することができるようになる。ただし、実施形態によって、第１ないし第４境界検出フィルタが全てメモリ（図示せず）に保存されることができる。

図６Ａ及び図６Ｂは、本発明の別の実施形態に係る複数の境界検出フィルタを説明するための図である。

図６Ａは、複数の境界検出フィルタが８つの二次微分フィルタである実施形態を示す。複数の境界検出フィルタは、対応する方向にラプラシアンフィルタの形態を有するように実現されてよいが、それに限定されるものではない。

この場合、ｎ番目の境界検出フィルタが１８０＊（ｎ−１）／Ｎ角度の方向性を有するように実現すると、図示のように、第１境界検出フィルタＧ（１）は０度の方向性を有し、第２境界検出フィルタＧ（２）は１８０＊（２−１）／８＝２２．５度の方向性を有する。同様に、第３ないし第８境界検出フィルタＧ（３）、Ｇ（４）、Ｇ（５）、Ｇ（６）、Ｇ（７）、Ｇ（８）は、それぞれ４５度及び６７．５度、９０度、１１２．５度、１３５度、１５７．５度の方向性を有する。即ち、図５に示す実施形態に比べて、２２．５度、６７．５度、１１２．５度、１５７．５度の方向性を有するフィルタが追加されてよい。このように、８つの境界検出フィルタを用いる場合、

の方向性を有するエッジを検出することができるようになる。例えば、０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度、１５７．５度、１８０度、２０２．５度、２２５度、２４７．５度、２７０度、２９２．５度、３１５度、３３７．５度の方向のエッジを検出することができるようになる。

この場合、第２ないし第８境界検出フィルタは、第１境界検出フィルタを対応する角度の分回転させて獲得することができる。それにより、第１境界検出フィルタのみがメモリ（図示せず）に保存されているとしても、第２ないし第８境界検出フィルタを獲得することができるようになる。ただし、実施形態によって、第１ないし第８境界検出フィルタが全てメモリ（図示せず）に保存されることができる。

一方、フィルタの係数のうち、中央に位置する中心係数は検出しようとする境界領域の厚さに応じて異なってよい。例えば、中心係数が大きい数値ほど細いエッジを検出することができる。それにより、プロセッサ１２０は検出しようとする境界の厚さに基づいて対応する係数を有するフィルタを適用することができる。

図６Ｂは、複数の境界検出フィルタが８つの一次微分フィルタである実施形態を示す。

図６Ａの図示と類似するように、８つのフィルタＧ（１）ないしＧ（８）のそれぞれは、０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度及び１５７．５度の方向性を有する。なお、図６Ａと同様に、

の方向性を有するエッジを検出することができるようになる。例えば、０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度、１５７．５度、１５７度、１８０度、２０２．５度、２２５度、２４７．５度、２７０度、２９２．５度、３１５度、３３７．５度の方向のエッジを検出することができるようになる。

例えば、図６Ａ及び図６Ｂに示す境界検出フィルタのサイズは、図５に示す境界検出フィルタのサイズより大きい場合であり、この場合、図５に示す境界検出フィルタより太いエッジを検出することができるようになる。ただし、フィルタのサイズが大きくなるにつれて複雑なエッジと真っすぐなエッジとを区分する性能が低下するおそれがあるため、図６Ａ及び図６Ｂに示すように、図５に比べて異なる方向性を有する複数のフィルタが追加的に用いられてよい。

本発明の一実施形態によると、プロセッサ１２０は検出しようとする境界領域の特性に応じて異なるサイズのフィルタを適用することができる。

一例として、プロセッサ１２０は、第１臨界値以上の厚さを有するエッジのにみシャドウを適用しようとする場合、当該厚さに対応するサイズの第１フィルタを利用することができる。

別の例として、プロセッサ１２０は、第１臨界値未満かつ第２臨界値以上の厚さを有するエッジにのみシャドウを適用しようとする場合、当該厚さに対応するサイズの第２フィルタを利用することができる。

更に別の例として、プロセッサ１２０は、第２臨界値未満の厚さを有するエッジにのみシャドウを適用しようとする場合、当該厚さに対応するサイズの第３フィルタを利用することができる。ここで、第２フィルタのサイズは第１フィルタのサイズより小さく、第３フィルタのサイズは第２フィルタのサイズより小さくてよい。この場合、第１フィルタは、周波数ドメインで相対的に低周波帯域信号（例えば、厚いエッジ）をフィルタリングするローパスフィルタであってよく、第２フィルタは、中間帯域信号（例えば、中間厚さのエッジ）をフィルタリングする帯域通過フィルタ、第３フィルタは、高周波帯域信号（例えば、細いエッジ）をフィルタリングする高周波フィルタであってよい。

一方、プロセッサ１２０は、ピクセルブロックに複数の境界検出フィルタをそれぞれ適用して複数のフィルタ出力値を獲得し、複数のフィルタ出力値のうち少なくとも一つに基づいてピクセルブロックに対する境界情報を獲得することができる。ピクセルブロックに境界検出フィルタを適用する方法は、図３Ｂに示すような畳み込み方式と同様であるため、詳細な説明は、省略する。ここで、複数のフィルタ出力値は、映像に含まれた境界の強度、位置情報、又は方向情報のうち少なくとも一つを含んでよい。

複数の境界検出フィルタの方向性が異なるため、各ピクセルブロックごとに複数のフィルタ出力値が異なるようになる。例えば、プロセッサ１２０が二次微分フィルタを用いる場合、第１ピクセルブロックの場合、第１境界検出フィルタの出力値が最も小さい負数値を含み、第２ピクセルブロックの場合、第２境界検出フィルタの出力値が最も小さい負数値を含んでよい。即ち、当該ピクセルブロックに含まれたエッジの方向性と最も類似する方向性を有する境界検出フィルタの出力値が最も小さい負数値を含んでよい。

一実施形態によって、プロセッサ１３０が中心係数が正数である二次微分フィルタ、例えば、ラプラシアンフィルタを用いて境界を検出する場合、複数のフィルタ出力値のうち最も大きい負数値の大きさに基づいて境界情報を獲得することができる。それは、上述のように、二次微分フィルタの出力値は境界領域で符号が入れ替わる零交差特性を有し、本発明の一実施形態に係るシャドウは、二次微分フィルタの出力値のうち負の値に基づいて生成されているためである。それにより、検出された境界は、生成されたシャドウ領域のうち、少なくとも一部と一致してよい。なお、複数のフィルタ出力値のうち最も小さい負数値を用いる理由は、各ピクセルブロックに含まれた境界の方向性に応じて各二次微分フィルタの出力値の大きさが異なることがあるためである。即ち、当該ピクセルブロックに含まれたエッジの方向性と最も類似する方向性を有する二次微分フィルタの出力値が最も小さい負数値になってよい。

このような過程は、以下の数式２のように、ｍａｘ関数を用いて表されてよい。

（数式２）
Ｂ_０＝ｍａｘ｛０，−（Ｇ［ｎ］＊Ｉ）｝
ここで、Ｂoは、複数のフィルタ出力値のうち最も小さい負数値の大きさ、Ｇ[ｎ]はｎ番目のフィルタ、Ｉは入力イメージ、Ｇ[ｎ]＊Ｉは、畳み込みによって決定されるｎ番目のフィルタの出力値であってよい。例えば、数値上、−１０は−９より小さい値になってよい。

一例によって、プロセッサ１２０は、複数のフィルタ出力値のうち最も小さい負数値の大きさＢoをノーマライジングして境界情報を獲得することができる。例えば、プロセッサ１２０は、以下のような数式３に基づいてＢoを変換して境界マップＢを獲得することができる。

（数式３）

数式３に示すように、複数のフィルタ出力値のうち最も小さい負数値の大きさＢoから臨界値Ｔｈを引いた値と１にｍｉｎ関数を適用すると、０と１との間の値にノーマライジングされた境界マップＢを獲得することができる。このように獲得された境界マップＢは、シャドウに対する加重値（ｗｅｉｇｈｔ）として適用されてよい。即ち、強度が臨界値（Ｔｈｒｅｓｈｏｌｄ）以下に低い強度は加重値を０とし、強度が高まるにつれてそれに比例して加重値が大きくなる境界マップＢを獲得することができる。

この場合、臨界値と勾配値は予め定義された固定値であるか、映像の特性、映像のタイプ、境界の強度、シャドウのタイプ又はシャドウの強度のうち、少なくとも一つに応じて可変する値であってよい。例えば、臨界値は、検出しようとする境界の強度に応じて異なってよい。一例として、強い強度の境界を検出しようとする場合、臨界値を相対的に小さい値に設定し、弱い強度の境界を検出しようとする場合、臨界値を相対的に大きい値に設定することができる。勾配（ｓｌｏｐｅ）値は最も小さい負数値の大きさＢoと境界情報Ｂが比例する程度を調節することができる。それにより、加重値を強度に比例して相対的に大きく調整しようとする場合、勾配値を大きい値に設定し、加重値を強度に比例して相対的に小さく調整しようとする場合、勾配値を小さい値に設定することができる。

別の実施形態により、プロセッサ１３０が一次微分フィルタを用いて境界を検出する場合、複数のフィルタ出力値のうち、最大の絶対値に基づいて境界情報を獲得することができる。一次微分フィルタの出力値は、図３Ａに示すように客体の内部及び外部境界を区分することができなくなる。それにより、二次微分フィルタの出力値と違って、シャドウの生成された境界領域を正確に検出することができなくなることがあるが、境界領域を広く検出してシャドウを挿入しようとする場合には、一次微分フィルタを用いて境界領域を検出することも可能である。

以下の数式４は、複数の一次微分フィルタの出力値のうち、最大の絶対値に基づいて境界情報を獲得する過程を数式で表したものである。

（数式４）
Ｍａｇ＝ｍａｘ｛｜Ｇ［ｉ］｜｝
一例によって、プロセッサ１２０は、複数のフィルタ出力値のうち、最大の絶対値をノーマライジングして境界情報を獲得することができる。例えば、複数のフィルタ出力値Ｇ（ｉ）のうち、最大の絶対値ｍａｘ{｜Ｇ[ｉ]｜}に臨界値を適用して範囲が０から１までの境界情報Ｂを獲得することができる。

以下の数式５は、複数のフィルタ出力値のうち、最大の絶対値が獲得される過程を数式で表したものである。

（数式５）
Ｍａｇ＝ｍａｘ｛｜Ｇ［ｉ］｜｝
以下の数式６は、複数のフィルタ出力値のうち、最大の絶対値を有する出力値をノーマライジングして境界情報を獲得する過程を数式で表したものである。

数式６は、数式３においてＢoがＭａｇに置き換えられたものであるため、詳細な説明は省略する。

一方、上述の実施形態では、複数のフィルタ出力値のうち、最も小さい負数値の大きさ又は最大の絶対値に基づいてピクセルブロックに対する境界情報を獲得するものとして説明しているが、それに限定されるものではない。例えば、二次微分フィルタ（ラプラシアンフィルタ）の場合、複数のフィルタ出力値のうち、負数値の平均の大きさを用いて、一次微分フィルタの場合、複数のフィルタ値の平均値に基づいてピクセルブロックに対する境界情報を獲得することもできる。又は、最も小さい負数値（又は、正数値）の大きさ又は最大の絶対値に任意の加重値を掛け算して境界情報を獲得することもできる。

プロセッサ１２０は、境界情報によって入力映像にシャドウを適用して出力映像を獲得することができる。ここで、境界情報は、境界領域の位置情報を含むことができる。即ち、プロセッサ１２０は、シャドウが生成された数多くのエッジ領域のうち、境界情報によって識別される境界領域にのにみシャドウを挿入することができる。

なお、境界情報は、境界領域の強度情報を含むことができる。この場合、プロセッサ１２０は、位置情報に基づいて境界領域を識別し、識別された境界領域に対応する強度情報を識別された境界領域に対応するシャドウに適用し、強度情報の適用されたシャドウを識別された境界領域に挿入することができる。

なお、境界情報は、境界領域の方向情報又は大きさ情報のうち、少なくとも一つを含んでよい。この場合、プロセッサ１２０は、方向情報又は大きさ情報のうち、少なくとも一つに基づいて境界領域の強度に異なる加重値を適用することができる。

一実施形態によって、プロセッサ１２０は、獲得されたシャドウＳに境界情報（即ち、境界マップＢ）を加重値として掛け算した後、加重値の適用されたシャドウを入力映像Ｉに足し算することで、出力映像を獲得することができる。この過程は、以下の数式７で表してよい。

（数式７）
Ｏ＝Ｉ＋Ｂ＊Ｓ
一方、本発明の別の実施形態によると、プロセッサ１２０は、境界領域の特性に基づいてシャドウ又は境界強度のうち、少なくとも一つの強度を更に調整してよい。

一例として、プロセッサ１２０は、境界領域の強度又は方向のうち少なくとも一つに基づいてシャドウ又は境界強度のうち、少なくとも一つに更なる加重値を適用することができる。この場合、プロセッサ１２０は、境界領域の強度又は方向のうち、少なくとも一つに基づいて異なる加重値を適用することができる。

別の例として、プロセッサ１２０は、境界領域と他境界領域との間の距離（又は、密集度）又は境界領域に隣接する領域の特性のうち、少なくとも一つに基づいてシャドウ又は境界強度のうち、少なくとも一つに更なる加重値を適用することができる。この場合、プロセッサ１２０は、境界領域と他境界領域との間の距離（又は、密集度）又は境界領域に隣接する領域の特性のうち、少なくとも一つに基づいて異なる加重値を適用することができる。

更に別の例として、プロセッサ１２０は、境界領域のサイズ又は対応のうち、少なくとも一つに基づいてシャドウ又は境界強度のうち、少なくとも一つに更なる加重値を適用することができる。例えば、プロセッサ１２０は、テキスト及び建物などの客体の境界に相互異なる加重値を適用することができる。又は、プロセッサ１２０は、絶対的（例えば、臨界値基準）又は相対的に大きい境界と異なるサイズの境界に相互異なる加重値を適用することができる。

上述のように、プロセッサ１２０は、フィルタの大きさ、フィルタの係数、臨界値（数式３、５）又は勾配値（数式３、５）のうち、少なくとも一つを調整してシャドーイングを適用しようとする境界領域を検出することができる。

別の実施形態によると、上述の境界領域検出も、ディープラーニング基盤の人工神経網（又は、深層人工神経網）、即ち、学習ネットワークモデルを用いて行われてよい。例えば、学習ネットワークモデルは、入力映像からシャドウ挿入に適した境界領域を検出するように、複数の境界検出フィルタの係数、サイズ又は大きさのうち、少なくとも一つが学習されてよい。

更に別の実施形態によると、上述のシャドウ生成及び境界検出が全て学習ネットワークモデルを用いて行われてよい。例えば、学習ネットワークモデルは、シャドウ生成に用いられるエッジ検出フィルタの係数、サイズ又は大きさのうち、少なくとも一つが学習され、シャドウ挿入に適した境界領域を検出するように複数の境界検出フィルタの係数、サイズ又は大きさのうち、少なくとも一つが学習されてよい。この場合、学習ネットワークモデルは、シャドウ生成のための第１学習ネットワークモデル及び境界情報獲得のための第２学習ネットワークモデルを含んでよい。プロセッサ１２０は、第１学習ネットワークモデルの出力及び第２学習ネットワークモデルの出力を掛け算して出力映像を獲得することができる。ただし、更に別の実施形態によると、上述のシャドウ生成、境界検出及びシャドウ挿入が全て学習ネットワークモデルを用いて行われてよい。即ち、入力映像が学習ネットワークモデルに入力されると、シャドウの挿入された出力映像が学習ネットワークモデルから出力されてよい。場合によって、第１学習ネットワークモデル及び第２学習ネットワークモデルは、パラメータを相互交換して学習を行うことも可能である。

上述の実施形態では、本発明の一実施形態に係るシャドウ挿入処理についてのみ説明しているが、雑音除去処理、シャープニング（ｓｈａｒｐｅｎｉｎｇ）、テクスチャ処理、スケーリングなど、他の映像処理が更に行われてよい。一例として、プロセッサ１２０は、境界検出前に雑音除去処理を行うことができる。通常、映像を圧縮する過程、伝送する過程などで雑音が発生する。雑音除去処理を行う理由は、雑音によって映像の画質を低下させるだけでなく、上述の境界検出など、他の映像処理効果も低下するおそれがあるためである。一実施形態によって、プロセッサ１２０は、ノンローカルフィルタリング（ｎｏｎ−ｌｏｃａｌ ｆｉｌｔｅｒｉｎｇ）及び自己相似（ｓｅｌｆ−ｓｉｍｉｌａｒｉｔｙ）を用いた方式、ローパスフィルタリングによるスムージング（ｓｍｏｏｔｈｉｎｇ）フィルタなどを用いて、雑音除去処理を行うことができる。

一方、シャドウ挿入処理は、実施形態によって映像のスケーリング前又は後で行われてよい。例えば、低解像度の映像を高解像度の映像に拡大するスケーリングの後に上述の映像処理を行うか、圧縮映像をデコーディングする過程で上述の映像処理を行った後スケーリングを行うこともできる。

図７Ａないし図７Ｄは、本発明の一実施形態に係る映像処理方法を説明するための図である。

図７Ａに示すような入力映像に二次微分フィルタ、例えば、中心係数が正数であるラプラシアンフィルタを適用すると、図７Ｂのようなフィルタ出力を獲得することができるようになる。

この場合、フィルタ出力は、図７Ｂに示すように、暗い客体である「円」の内部境界では負の値７１１を、外部境界では正の値７１２を有するようになる。なお、フィルタ出力は、明るい客体であるテキストの

の外部境界では負の値７２１を、明るい客体の内部境界には正の値７２２を有するようになる。それは、ラプラシアンフィルタによる二次微分値が図３に示すように、暗い客体の内部境界では負の値を、外部境界では正の値を有し、明るい客体の外部境界では負の値を、明るい客体の内部境界では正の値を有するようになるためである。

続いて、図７Ｃに示すように、フィルタ出力（図７Ｂ）で負の値７１１、７２１のみを用いてシャドウを生成することができる。例えば、プロセッサ１２０は、入力信号を与えられた範囲に制限して出力信号を生成するクリッピング関数を用いて負の値を有する領域を識別することができる。この場合、負の値を有する領域は、暗い客体の内部境界又は明るい客体の外部境界のうち、少なくとも一つになってよい。図７Ｃによると、円（暗い客体）の内部境界及び

の外部境界を暗くするシャドウが生成されていることを確認することができる。

生成されたシャドウ（図７Ｃ）を入力映像に足して図７Ｄのような出力映像を獲得することができる。図７Ｄを参照すると、入力映像対比テキストの輪郭がくっきりとなり、鮮明度が向上していることを確認することができる。

図８Ａ及び図８Ｂは、本発明の一実施形態に係る境界検出効果を説明するための図である。

図８Ａは、図７Ａに示すような入力映像に相互異なる８つの方向性（例えば、図６Ａ又は図６Ｂ）を有するラプラシアンフィルタを適用して境界を検出した結果を示している。図示のように、異なる方向を有するフィルタは、対応する方向に対する境界は検出に成功する一方、他の方向に対する境界は検出に失敗していることを確認することができる。なお、中心係数が正数であるラプラシアンフィルタを用いているため、客体の内部境界及び外部境界に対して相互異なる符号（正数、負数）の値を有することを確認することができる。

図８Ｂは、一実施形態によって各ピクセル領域から獲得された複数の境界検出値のうち、最も小さい負数値又は最も大きい正数値に基づいて全ての方向に対して一括的な形態の境界を推定した結果を示している。例えば、図８Ａに示す各フィルタの出力値のうち、最も小さい負数値を用いる場合、暗い客体（円領域）の内部境界及び

を検出することができ、最も大きい正数値を用いる場合、暗い客体（円領域）の外部境界及び

を検出することができるため、図８Ｂに示すような境界検出結果を獲得することができるようになる。

図８Ｃは、図８Ｂの境界検出結果でシャドウ効果を挿入するための負数領域（暗い領域）のみを抽出して示したものである。ここで、抽出された負数領域は

又は暗い客体（円領域）の内部境界になってよい。

図９は、本発明の一実施形態に係る映像処理方法の一実現例を説明するための図である。図９においては、シャドウ生成及び境界検出のために、ラプラシアンフィルタを用いることを想定しているが、それに限定されるわけではない。

図９によると、プロセッサ１２０は、入力映像Ｉにシャドウ生成のための第１ラプラシアンフィルタｆ及び境界検出のための第２ラプラシアンフィルタＦ[ｉ]をそれぞれ適用することができる（９１１、９２１）。ここで、第１ラプラシアンフィルタｆは、第２ラプラシアンフィルタＦ[ｉ]より小さく実現されてよい。なお、第２ラプラシアンフィルタＦ[ｉ]は、異なる方向性を有する複数のフィルタを含んでよい。

プロセッサ１２０は、第１ラプラシアンフィルタｆの出力、即ち、二次微分信号で負数部分をクリッピングしてシャドウＳを生成することができる（９２１）。この過程は、上述の数式１のように表されてよい。なお、プロセッサ１２０は、第２ラプラシアンフィルタＦ[ｉ]の出力Ｆ[ｉ]＊Ｉに基づいて境界を推定することができる（９２２）。具体的に、プロセッサ１２０は、異なる方向性に関連する複数のフィルタ出力値のうち、最も小さい負数値の大きさＢｏに基づいて境界を推定することができる。この過程は、上述の数式２のように表されてよい。

続いて、プロセッサ１２０は、複数のフィルタ出力値のうち最も小さい負数値の大きさＢｏに臨界値Ｔｈを適用して境界情報Ｂ（例えば、境界マップ）、言い換えると、加重値（ｗｅｉｇｈｔ）を獲得することができる（９２３）。この過程を通じて、強度が臨界値以下に低い強度は加重値を０とし、強度が高まるにつれてそれに比例して加重値が高くなるようにすることができる。この過程は、上述の数式３のように表されてよい。

その後、プロセッサ１２０は、生成されたシャドウＳと獲得された境界情報Ｂとを掛け算して出力映像を獲得することができる。例えば、プロセッサ１２０は、シャドウマップに含まれた各ピクセルデータを境界マップで対応する位置の各ピクセルデータと掛け算して出力映像を獲得することができる。この場合、境界情報Ｂが０である領域には、シャドウＳが適用されなくなり、境界情報Ｂが０以上の領域にはシャドウＳが適用されるため、結果的に本発明の一実施形態に係る境界領域にのみシャドウが適用されるようになる。

図１０は、本発明の別の実施形態に係る映像処理装置の一実現例を示す図である。図１０によると、映像処理装置１００’は、入力部１１０、プロセッサ１２０、メモリ１３０、ディスプレイ１４０、出力部１５０及びユーザインターフェース１６０を含む。図１０に示す構成のうち、図２に示す構成と重なる構成については、詳細な説明を省略する。

メモリ１３０は、プロセッサ１２０はと電気的に接続され、本発明の多様な実施形態のために必要なデータを保存することができる。メモリ１３０は、データを保存する用途に応じて、映像処理装置１００’にエンベデッドされたメモリ形態で実現されたり、映像処理装置１００’に着脱可能なメモリ形態で実現されてよい。例えば、映像処理装置１００’の駆動のためのデータの場合、映像処理装置１００’にエンベデッドされたメモリに保存され、映像処理装置１００’の拡張機能のためのデータの場合、映像処理装置１００に着脱可能なメモリに保存されてよい。一方、映像処理装置１００’にエンベデッドされたメモリの場合、揮発性メモリ（例えば、ＤＲＡＭ（ｄｙｎａｍｉｃ ＲＡＭ）、ＳＲＡＭ（ｓｔａｔｉｃ ＲＡＭ）、又はＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ＲＡＭ）など）、非揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ）（例：ＯＴＰＲＯＭ（ｏｎｅ ｔｉｍｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ａｎｄ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ａｎｄ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ｍａｓｋ ＲＯＭ、ｆｌａｓｈ ＲＯＭ、フラッシュメモリ（例：ＮＡＮＤ ｆｌａｓｈ又はＮＯＲ ｆｌａｓｈなど）、ハードドライブ、又はソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ（ＳＳＤ））のうち、少なくとも一つで実現されてよい。なお、映像処理装置１００’に着脱可能なメモリの場合、メモリカード（例えば、ＣＦ（ｃｏｍｐａｃｔ ｆｌａｓｈ）、ＳＤ（ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）、Ｍｉｃｒｏ−ＳＤ（Ｍｉｃｒｏ ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）、Ｍｉｎｉ−ＳＤ（ｍｉｎｉ ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）、ｘＤ（ｅｘｔｒｅｍｅ Ｄｉｇｉｔａｌ）、ＭＭＣ（ｍｕｌｔｉ−ｍｅｄｉａ ｃａｒｄ）など）、ＵＳＢポートに接続可能な外部メモリ（例えば、ＵＳＢメモリ）などのような形態で実現されてよい。

一実施形態によって、メモリ１３０は、外部装置（例えば、ソース装置）、外部保存媒体（例えば、ＵＳＢ）、外部サーバ（例えば、ウェブハード）等から受信された映像を保存することができる。ここで、映像は、デジタル動画であってよいが、それに限定されるものではない。

本発明の一実施形態によると、メモリ１３０は、本発明に係る多様な動作で生成されるデータを保存する単一メモリで実現されてよい。

ただし、本発明の別の実施形態によると、メモリ１３０は、第１ないし第３メモリを含むように実現されてよい。

第１メモリは、入力部１１０を介して入力された映像のうち少なくとも一部を保存することができる。特に、第１メモリは、入力された映像フレームのうち少なくとも一部の領域を保存することができる。この場合、少なくとも一部の領域は、本発明の一実施形態に係る映像処理を行ううえで必要な領域であってよい。一実施形態によって、第１メモリはＮラインメモリで実現されてよい。例えば、Ｎラインメモリは、縦方向に１７ライン相当の容量を有するメモリであってよいが、それに限定されるものではない。例えば、１０８０ｐ（１，９２０×１，０８０の解像度）のＦｕｌｌ ＨＤ映像が入力される場合、Ｆｕｌｌ ＨＤ映像で１７ラインの映像領域のみが第１メモリに保存される。このように、第１メモリは、Ｎラインメモリで実現され、入力された映像フレームのうち、一部の領域のみが映像処理のために保存される理由は、ハードウェア的な限界によって第１メモリのメモリ容量が制限されているためである。

第２メモリは、シャドウ映像、境界情報などを保存するためのメモリとして、本発明の多様な実施形態によって多様なサイズのメモリで実現されてよい。例えば、本発明の一実施形態によって生成されたシャドウ映像を保存する場合、当該シャドウ映像を保存するのに適したサイズで実現されてよい。

第３メモリは、映像処理（例えば、シャドウ挿入処理）された出力映像が保存されるメモリとして、多様な実施形態によって多様なサイズのメモリで実現されてよい。第３メモリは、入力映像の大きさと同じか大きいサイズで実現されてよい。別の実施形態によって、第１メモリのサイズに対応する映像単位で映像を出力するか、ピクセルライン単位で出力するなどの場合には、当該映像保存のための適したサイズで実現されてよい。ただし、第１メモリ又は第２メモリに出力映像がオーバーライトされるか、出力映像が保存されずに直ちにディスプレイされる形態で実現される場合などには、第３メモリは必要としなくてよい。

ディスプレイ１４０は、自発光素子を含むディスプレイ又は非自発光素子及びバックライトを含むディスプレイで実現されてよい。例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）ディスプレイ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、ＱＬＥＤ（Ｑｕａｎｔｕｍ ｄｏｔ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）などのような多様なディスプレイで実現されてよい。ディスプレイ１６０内には、ａ−ｓｉ ＴＦＴ、ＬＴＰＳ（ｌｏｗ ｔｅｍｐｅｒａｔｕｒｅ ｐｏｌｙ
ｓｉｌｉｃｏｎ） ＴＦＴ、ＯＴＦＴ（ｏｒｇａｎｉｃ ＴＦＴ）などのような形態で実現され得る駆動回路、バックライトユニットなども含まれてよい。一方、ディスプレイ１４０は、タッチセンサと組み合わせられたタッチスクリーン、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、ローラブル（ｒｏｌｌａｂｌｅ ｄｉｓｐｌａｙ）、三次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）、複数のディスプレイモジュールが物理的に接続されたディスプレイなどで実現されてよい。プロセッサ１２０は、本発明の多様な実施形態によって処理された出力映像を出力するようにディスプレイ１４０を制御することができる。

出力部１５０は、音響信号を出力する。例えば、出力部１５０は、プロセッサ１４０で処理されたデジタル音響信号をアナログ音響信号に変換して増幅して出力することができる。例えば、出力部１５０は、少なくとも一つのチャネルを出力できる、少なくとも一つのスピーカユニット、Ｄ／Ａコンバータ、オーディオアンプ（ａｕｄｉｏ ａｍｐｌｉｆｉｅｒ）などを含んでよい。一例として、出力部１５０は、多様なマルチチャネル音響信号を出力するように実現されてよい。この場合、プロセッサ１２０は、入力映像のエンハンス処理に対応するように入力された音響信号をエンハンス処理して出力するように出力部１５０を制御することができる。例えば、プロセッサ１２０は、入力された２チャネル音響信号を仮想のマルチチャネル（例えば、５．１チャネル）音響信号に変換するか、映像処理装置１００’の置かれた位置を認識して空間に最適化された立体音響信号として処理するか、入力映像のタイプ（例えば、コンテンツジャンル）に応じて最適化された音響信号を提供することができる。

ユーザインターフェース１６０は、ボタン、タッチパッド、マウス及びキーバードのような装置で実現されるか、上述のディスプレイ機能及び操作入力機能も併せて実行可能なタッチスクリーン、リモコン送受信部などで実現されてよい。リモコン送受信部は、赤外線通信、ブルートゥース通信又はＷｉ−Ｆｉ通信のうち、少なくとも一つの通信方式を通じて外部遠隔制御装置からリモコン信号を受信するか、リモコン信号を送信することができる。一例として、本発明の一実施形態に係るシャドウ挿入処理は、ユーザ設定メニューを通じて選択されてよく、この場合、リモコン送受信部を介してシャドウ挿入処理のためのユーザ命令を受信することもできる。

映像処理装置１００’は、実現例によって、チューナ及び復調部を更に含んでよい。チューナ（図示せず）は、アンテナを介して受信されるＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）放送信号のうち、ユーザによって選択されたチャネル又は予め保存された全チャネルをチューニングしてＲＦ放送信号を受信することができる。復調部（図示せず）は、チューナで変換されたデジタルＩＦ信号（ＤＩＦ）を受信して復調し、チャネル復号化などを行うこともできる。一実施形態によって、チューナを介して受信された入力映像は、復調部（図示せず）を介して処理された後、本発明の一実施形態に係るシャドウ処理のためにプロセッサ１２０に提供されてよい。

図１１は、本発明の一実施形態に係るシャドウ挿入効果を説明するための図である。図１１は、レンガで構成された壁を撮影した映像が入力された際、その入力映像（ｉｎｐｕｔ ｉｍａｇｅ）を従来の方法で処理した場合（ｐｒｅｖｉｏｕｓ ｍｅｔｈｏｄ）と、本発明の一実施形態によって処理された場合（ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ）とをそれぞれ表す。

図１１によると、入力映像にはレンガの間の太いエッジの他にも、レンガの表面の細いエッジが存在する。従来の技術によると、太いエッジ及び細いエッジに対応する周波数信号を同時に増幅させることにより、鮮明度の向上とともにノイズが増加するおそれがある。一方、本発明によると、太いエッジに対してシャドウを挿入して従来の技術対比ノイズ増幅が少なく、ディテール向上効果に優れていることを確認することができる。

図１２Ａないし図１２Ｄは、本発明の多様な実施形態で開示したバウンダリーエンハンス技術の実施可否を判断することができる方法を説明するための図である。

図１２Ａは、入力映像の一例を示したものである。図１２Ａに示すように、入力映像は中央から縁に進むにつれて太い円形から細い円形に変化するパターン映像になってよい。例えば、中央の円形は、数十のピクセルの厚さからなる厚いエッジであり、最も外郭にある円形は一ピクセル厚さの細いエッジになってよい。

図１２Ｂは、入力映像に含まれたエッジのうち、第１臨界値の未満の厚さを有するエッジを検出した映像を示したものである。例えば、プロセッサ１２０は、第１サイズのラプラシアンフィルタを用いて第１臨界値未満の厚さを有するエッジを検出することができる。

図１２Ｃは、入力映像に含まれたエッジのうち、第２臨界値未満の厚さを有するエッジを検出した映像を示したものである。ここで、第２臨界値は、第１臨界値より大きい値であってよい。例えば、プロセッサ１２０は、第１サイズより小さい第２サイズのラプラシアンフィルタを用いて、第２臨界値未満の厚さを有するエッジを検出することができる。

図１２Ｄは、入力映像に含まれたエッジのうち、第１臨界値以上第２臨界値未満の厚さを有するエッジを検出した映像を示したものである。例えば、プロセッサ１２０は、第２サイズより大きく第１サイズより小さい第３サイズのラプラシアンフィルタを用いて、第１臨界値以上第２臨界値未満の厚さを有するエッジを検出することができる。

ただし、別の実施形態によると、固定した大きさのフィルタ（例えば、図６Ａ）を用いてエッジを検出した後、数式３の臨界値を調整して相互異なる強度のエッジを検出することもできる。

図１２Ｂないし図１２Ｄに示す映像によると、映像の中央領域で８つの方向に不連続の領域（暗い領域）が形成されたことを確認することができるが、それは、異なる方向性を有する８つのフィルタ（例えば、図６Ａ）を用いて、エッジを検出することを意味することができる。即ち、図１２Ａに示す入力映像に対する出力映像が、図１２Ｂないし図１２Ｄに示すような形状を有する場合、本発明の実施形態のうちの一つを用いた場合と判断することができる。

図１３は、本発明の多様な実施形態で開示した内容の実施可否を判断することができる方法を説明するための図である。

図１３は、入力映像１３１０、出力映像１３２０及び差映像１３３０を順次に示したものである。差映像は、入力映像と出力映像を比較し、ピクセル値の差を示す映像を意味する。入力映像１３１０及び出力映像１３２０を比較して獲得された差映像１３３０を見ると、暗いエッジ位置で負数値を含んでいることを確認することができる。それは、客体の境界（例えば、暗い客体の内部境界）にシャドウを挿入したものであるため、本発明の一実施形態のいずれかを用いた場合と班ｄ何することができる。

図１４は、本発明の一実施形態に係る映像処理方法を説明するためのフローチャートである。

図１４に示す映像処理方法によると、入力映像が受信されると、入力映像のフィルタリングに基づいて臨界範囲の信号をシャドウで獲得する（Ｓ１４１０）。

続いて、異なる方向性に関連する複数の境界検出フィルタを入力映像に適用して境界情報を獲得する（Ｓ１４２０）。

その後、入力映像において、境界情報によって識別される領域にシャドウを適用して出力映像を獲得する（Ｓ１４３０）。ここで、出力映像は、４Ｋ ＵＳＢ（Ｕｌｔｒａ ＨＩｇｈ Ｄｉｆｉｎｉｔｉｏｎ）映像又は８Ｋ ＵＨＤ映像であってよい。

なお、シャドウを獲得するステップＳ１４１０においては、入力映像を二次微分フィルタでフィルタリングして二次微分信号を獲得し、二次微分信号で正の信号又は負の信号をクリッピングしてシャドウを獲得することができる。

この場合、獲得されたシャドウは、入力映像内に含まれた客体のうち、第１臨界値未満のピクセル値を有する客体の内部境界又は入力映像内に含まれた客体のうち、第１臨界値より大きい第２臨界値以上のピクセル値を有する客体の外部境界のうち、少なくとも一つに対応してよい。

なお、境界情報は、境界領域の位置情報及び強度情報を含み、出力映像を獲得するステップＳ１４３０においては、位置情報に基づいて境界領域を識別し、識別された境界領域に対応する強度情報を識別された境界領域に対応するシャドウに適用し、強度情報の適用されたシャドウを識別された境界領域に挿入してよい。

なお、シャドウを獲得するステップＳ１４１０においては、入力映像に二次微分フィルタを適用してシャドウを獲得することができる。この場合、境界情報を獲得するステップＳ１４２０においては、入力映像に二次微分フィルタより大きいサイズの複数の境界検出フィルタを適用して境界情報を獲得することができる。

なお、境界情報を獲得するステップＳ１４２０においては、入力映像に含まれたピクセルブロックに複数の境界検出フィルタをそれぞれ適用し、複数のフィルタ出力値を獲得し、複数のフィルタ出力値のうちの一つに基づいてピクセルブロックに対する境界情報を獲得することができる。

なお、境界情報を獲得するステップＳ１４２０においては、複数のフィルタ出力値のうち、最も小さい負数値の大きさ又は最大の絶対値に基づいて、ピクセルブロックに対する境界情報を獲得することができる。

なお、出力映像を獲得するステップＳ１４３０においては、複数のフィルタ出力値のうち、最も小さい負数値の大きさ又は最大の絶対値のうち、少なくとも一つに臨界値を適用してノーマライジングし、ノーマライジングによって獲得された加重値を獲得されたシャドウに適用して出力映像を獲得することができる。

なお、境界情報を獲得するステップＳ１４２０においては、シャドウを適用する境界領域の特性に基づいて複数の境界検出フィルタの数又はサイズのうち、少なくとも一つを決定してよい。

一方、複数の境界検出フィルタの数がＮ個である場合、ｎ番目の境界検出フィルタの方向性は１８０＊（ｎ−１）／Ｎのような数式を通じて算出されてよい。

上述の多様な実施形態によると、高解像度の映像から客体の境界を正確に検出してシャドウを適用することができる。それにより、映像のノイズの増幅を最小化して客体の輪郭のみをくっきりして映像の鮮明度を向上させることができる。

本発明の多様な実施形態は、映像処理装置だけでなく、セットトップボックスのような映像受信装置、テレビジョンのようなディスプレイ装置など、映像処理が可能な全ての電子装置に適用できる。

一方、上述の本発明の多様な実施形態に係る方法は、従来の映像処理装置に設置可能なアプリケーション形態で実現されてよい。又は、上述の本発明の多様な実施形態に係る方法は、ディープラーニング基盤の人工神経網（又は、深層人工神経網）、即ち、学習ネットワークモデルを用いて行われてよい。

なお、上述の本発明の多様な実施形態に係る方法は、従来の映像処理装置に対するソフトウェアアップグレード、又はハードウェアアップグレードのみで実現されてよい。

なお、上述の本発明の多様な実施形態は、映像処理装置に備えられたエンベデッドサーバ、又は映像処理装置の外部サーバを介して行われることも可能である。

一方、本発明の一実施形態によると、以上で説明された多様な実施形態は、機器（ｍａｃｈｉｎｅ）（例えば、コンピュータ）で読み取れる保存媒体（ｍａｃｈｉｎｅ−ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉａ）に保存された命令語を含むソフトウェアで実現されてよい。機器は、保存媒体から保存された命令語を呼び出し、呼び出された命令語に応じて動作が可能な装置として、開示された実施形態に係る映像処理装置（例えば、映像処理装置Ａ）を含んでよい。命令がプロセッサによって実行される場合、プロセッサが直接、又はプロセッサの制御下に別の構成要素を用いて命令語に該当する機能を行うことができる。命令は、コンパイラー又はインタープリターによって生成又は実行されるコードを含んでよい。機器で読み取れる保存媒体は、非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）保存媒体の形態で提供されてよい。ここで、「非一時的」とは、保存媒体が信号（ｓｉｇｎａｌ）を含まずに、実在（ｔａｎｇｉｂｌｅ）することを意味するだけで、データが保存媒体に半永久的又は一時的に保存されることを区分しない。

なお、本発明の一実施形態によると、以上で説明された多様な実施形態に係る方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含まれて提供されてよい。コンピュータプログラム製品は、商品として販売者及び購入者の間に取引されてよい。コンピュータプログラム製品は、機器で読み取れる保存媒体（例えば、ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ（ＣＤ−ＲＯＭ））の形態で、又は、アプリケーションストア（例えば、プレイストアＴＭ）を通じてオンラインで配布されてよい。オンライン配布の場合に、コンピュータプログラム製品の少なくとも一部は、製造社のサーバ、アプリケーションストアのサーバ、又は中継サーバのメモリのような保存媒体に少なくとも一次保存されたり、一時的に生成されてよい。

なお、上述の多様な実施形態に係る構成要素（例えば、モジュール又はプログラム）のそれぞれは、単数又は複数の個体で構成されてよく、上述の当該サブ構成要素のうちの一部のサブ構成要素が省略されたり、又は、他のサブ構成要素が多様な実施形態に更に含まれてよい。代替的に又は追加的に、一部の構成要素（例えば、モジュール又はプログラム）は、一つの個体で統合され、統合される前のそれぞれの当該構成要素によって行われる機能を同一又は類似するように行うことができる。多様な実施軽形態に係るモジュール、プログラム又は他の構成要素によって行われる動作は、順次に、並列的に、繰り返し、又はヒューリスティックに行われるか、少なくとも一部の動作が他の順で行われるか、省略されるか、又は他の動作が追加されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (15)

1. 少なくとも一つのプロセッサと、
   プログラムコードを保存するメモリと
   を含み、
   前記プロセッサは、
   前記プログラムコードを実行することにより、
   入力映像の二次微分フィルタによるフィルタリングに基づいて臨界範囲に対応するシャドウを獲得し、
   異なる方向性に関連する複数の境界検出フィルタを前記入力映像に適用して境界情報を獲得し、
   前記境界情報によって識別される境界領域に前記入力映像から獲得したシャドウを適用して前記入力映像から出力映像を獲得する映像処理装置。
2. 前記プロセッサは、
   前記入力映像を二次微分フィルタでフィルタリングして出力信号を獲得し、獲得された前記出力信号で正又は負の信号をクリッピングして前記シャドウを獲得することを特徴とする請求項１に記載の映像処理装置。
3. 前記獲得されたシャドウは、
   前記入力映像内に含まれた客体のうち第１臨界値未満のピクセル値を有する客体の内部境界、又は
   前記入力映像内に含まれた客体のうち前記第１臨界値より大きい第２臨界値以上のピクセル値を有する客体の外部境界のうち、少なくとも一方に対応することを特徴とする請求項１に記載の映像処理装置。
4. 前記境界情報は、前記境界領域の位置情報及び強度情報を含み、
   前記プロセッサは、
   前記位置情報に基づいて前記境界領域を識別し、前記識別された境界領域に対応する強度情報を前記識別された境界領域に対応するシャドウに適用し、前記強度情報の適用されたシャドウを前記識別された境界領域に挿入することを特徴とする請求項１−３のうち何れか１項に記載の映像処理装置。
5. 前記プロセッサは、
   前記入力映像に二次微分フィルタを適用して前記シャドウを獲得し、
   前記複数の境界検出フィルタのサイズは前記二次微分フィルタより大きいことを特徴とする請求項１に記載の映像処理装置。
6. 前記プロセッサは、
   前記入力映像に含まれたピクセルブロックに前記複数の境界検出フィルタをそれぞれ適用して複数のフィルタ出力値を獲得し、前記複数のフィルタ出力値のうちの一つに基づいて前記ピクセルブロックに対する境界情報を獲得することを特徴とする請求項１−５のうち何れか１項に記載の映像処理装置。
7. 前記プロセッサは、
   前記複数のフィルタ出力値のうち最小の負数値の大きさ又は最大の絶対値に基づいて、前記ピクセルブロックに対する境界情報を獲得することを特徴とする請求項６に記載の映像処理装置。
8. 前記プロセッサは、
   前記複数のフィルタ出力値のうち、前記最小の負数値の大きさ又は前記最大の絶対値に臨界値を適用してノーマライジングし、前記ノーマライジングによって獲得された加重値を前記獲得されたシャドウに適用して前記出力映像を獲得することを特徴とする請求項７に記載の映像処理装置。
9. 前記プロセッサは、
   前記シャドウを適用する境界領域の特性に基づいて、前記複数の境界検出フィルタの数又はサイズのうち少なくとも一方を決定することを特徴とする請求項１−８のうち何れか１項に記載の映像処理装置。
10. 前記複数の境界検出フィルタは、
    第１方向のライン単位で同一のフィルタ係数が重複する第１フィルタ、第２方向のライン単位で同一のフィルタ係数が重複する第２フィルタ、第３方向のライン単位で同一のフィルタ係数が重複する第３フィルタ及び第４方向のライン単位で同一のフィルタ係数が重複する第４フィルタを含むことを特徴とする請求項１に記載の映像処理装置。
11. 前記複数の境界検出フィルタの数がＮ個である場合、ｎ番目の境界検出フィルタの方向性は、下記の数式
    ｎ番目の境界検出フィルタの角度＝１８０＊（ｎ−１）／Ｎ
    を通じて算出されることを特徴とする請求項１−１０のうち何れか１項に記載の映像処理装置。
12. ディスプレイを更に含み、
    前記プロセッサは、
    前記出力映像を出力するように前記ディスプレイを制御し、
    前記出力映像は、
    ４Ｋ ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像又は８Ｋ ＵＨＤ映像であることを特徴とする請求項１−１１のうち何れか１項に記載の映像処理装置。
13. 映像処理装置の映像処理方法において、
    入力映像の二次微分フィルタによるフィルタリングに基づいて臨界範囲に対応するシャドウを獲得するステップと、
    異なる方向性に関連する複数の境界検出フィルタを前記入力映像に適用して境界情報を獲得するステップと、
    前記境界情報によって識別される境界領域に前記入力映像から獲得したシャドウを適用して前記入力映像から出力映像を獲得するステップと
    を含む映像処理方法。
14. 前記臨界範囲の信号をシャドウで獲得するステップは、
    前記入力映像を二次微分フィルタでフィルタリングして出力信号を獲得し、獲得された前記出力信号で正又は負の信号をクリッピングして前記シャドウを獲得することを特徴とする請求項１３に記載の映像処理方法。
15. 請求項１３又は１４に記載の映像処理方法を電子装置のコンピュータに実行させるコンピュータプログラム。

Images