WO2018216280A1

WO2018216280A1 - 画像処理装置、画像処理プログラム、記録媒体および画像処理方法

Info

Publication number: WO2018216280A1
Application number: PCT/JP2018/006525
Authority: WO
Inventors: 熊倉　威; 塩見　誠
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2017-05-25
Filing date: 2018-02-22
Publication date: 2018-11-29
Anticipated expiration: 2019-11-25

Abstract

画像に含まれる像の質感を適切に表現することが可能な画像処理装置などを実現する。画像処理装置（１００）は、画像を複数の分割領域に分割する分割部（１１）と、複数の分割領域のそれぞれにおける特定の質感の程度を示すスコアを算出するスコア算出部（１２）と、複数の分割領域のスコアに応じて特定の質感を調整する質感調整部（１４）とを備える。

Description

画像処理装置、画像処理プログラム、記録媒体および画像処理方法

　以下の開示は、画像の質感を調整する画像処理装置などに関する。

　特許文献１には、画素ごとの光沢付加量に基づいて階調処理の方式を切り換える画像形成装置が開示されている。

日本国公開特許公報「特開２０１３－１５６４０号公報（２０１３年１月２４日公開）」

　特許文献１に開示されている画像形成装置では、画素ごとに光沢付加量を判定しているため、画像に含まれている物体の像に対して光沢付加量を適切に決定できない虞がある。

　本開示の一態様は、画像に含まれる像の質感を適切に表現することが可能な画像処理装置などを実現することを目的とする。

　上記の課題を解決するために、本開示の一態様に係る画像処理装置は、画像の質感を調整する画像処理装置であって、上記画像を複数の分割領域に分割する分割部と、上記複数の分割領域のそれぞれにおける特定の質感の程度を示すスコアを算出するスコア算出部と、上記複数の分割領域の上記スコアに応じて上記特定の質感を調整する質感調整部とを備える。

　また、本開示の一態様に係る画像処理方法は、画像の質感を調整する画像処理方法であって、上記画像を複数の分割領域に分割する分割工程と、上記複数の分割領域のそれぞれにおける特定の質感の程度を示すスコアを算出するスコア算出工程と、上記複数の分割領域の上記スコアに応じて上記特定の質感を調整する質感調整工程とを含む。

　本開示の一態様によれば、画像に含まれる像の質感を適切に表現できる。

実施形態１に係る画像処理装置を含む画像表示システムの構成を示すブロック図である。入力画像を階層的に分割した例を示す図であって、（ａ）は、第０階層の分割の例を示し、（ｂ）は、第１階層の分割の例を示し、（ｃ）は、第２階層の分割の例を示し、（ｄ）は、第３階層の分割の例を示し、（ｅ）は、第４階層の分割の例を示し、（ｆ）は、第０～第４階層の階層構造を示す。スコア算出部における処理の例を示す図である。（ａ）は、入力画像の例を示す図であり、（ｂ）は、（ａ）に示した入力画像から輝度情報を抽出することによって生成した輝度画像を示す図であり、（ｃ）は、（ｂ）に示した輝度画像にぼかし処理を実行した後の輝度画像を示す図である。画像処理部が実行する処理の流れを示すフローチャートである。（ａ）は、入力画像の一例を示す図であり、（ｂ）は、（ａ）に示した入力画像に対応するスコアマスクを示す図であり、（ｃ）は、（ａ）に示した入力画像に対応するぼかし処理を施した輝度画像を示す図であり、（ｄ）は、光沢感が強調される領域のみを示す図であり、（ｅ）は、質感調整された出力画像を示す図である。画像処理部における処理のタイミングを示す図である。（ａ）は、画像処理装置に入力される入力画像の概念図、（ｂ）は、スコア算出部が生成するスコアマスクの概念図、（ｃ）は、画像処理装置から出力される画像（出力画像）を示す概念図である。実施形態２に係る画像処理装置を含む画像表示システムの構成を示すブロック図である。一般的な携帯情報端末の構成を示す図である。

　〔実施形態１〕
　以下、本開示の実施の形態について詳細に説明する。図１は、本実施形態の画像処理装置１００を含む画像表示システム１の構成を示すブロック図である。画像表示システム１は、画像処理装置１００および表示装置２００を含む。画像処理装置１００は、画像処理装置１００に入力された画像（入力画像）の特定の質感を調整する処理を実行する装置である。以下の説明では、画像処理装置１００は、前記特定の質感として、光沢感を調整するものとする。画像処理装置１００の調整の対象となる質感は、光沢感に限定されず、例えば、材質感（例えば、ざらつき）、立体感などであってもよい。また、入力画像は、動画であっても静止画であってもよい。

　図１に示すように、画像処理装置１００は、画像処理部１０、受信部２０、および記憶部３０を備える。表示装置２００は、画像処理装置１００により処理された画像を表示する装置である。

　画像処理部１０は、分割部１１、スコア算出部１２、スコア補正部１３および質感調整部１４を備える。画像処理部１０が備える各部については後述する。受信部２０は、放送により送信される画像を入力画像として受信する。また、受信部２０は、受信した入力画像を、適切なタイミングで分割部１１、スコア補正部１３および質感調整部１４に出力するバッファ処理を実行する。なお、受信部２０は、入力画像のデータが記憶された記憶媒体から当該データを読み取ってもよい。記憶部３０は、画像処理部１０による処理に必要な情報を記憶する。

　（分割部１１）
　分割部１１は、入力画像を複数の分割領域に分割する。本実施形態では、分割部１１は、分割領域の数が互いに異なる複数パターンの分割様式で上記画像を分割する。以下の説明では、互いに異なる複数パターンの分割様式のそれぞれを階層と称する。

　図２は、入力画像を階層的に分割した例を示す図である。図２の（ａ）は、第０階層の分割の例を示し、図２の（ｂ）は、第１階層の分割の例を示し、図２の（ｃ）は、第２階層の分割の例を示し、図２の（ｄ）は、第３階層の分割の例を示し、図２の（ｅ）は、第４階層の分割の例を示す。また、図２の（ｆ）は、第０～第４階層の階層構造を示す図である。

　図２の（ａ）～（ｆ）に示す例では、各階層において入力画像は以下のとおり分割される。
・第０階層（Ｌ０）：分割されない（分割領域数は１）。
・第１階層（Ｌ１）：縦および横のそれぞれに２分割される（分割領域数は４）。
・第２階層（Ｌ２）：縦および横のそれぞれに４分割される（分割領域数は１６）。
・第３階層（Ｌ３）：縦および横のそれぞれに８分割される（分割領域数は６４）。
・第４階層（Ｌ４）：縦および横のそれぞれに１６分割される（分割領域数は２５６）。なお、本開示の一態様において、階層の数は２以上４以下または６以上であってもよい。また、それぞれの階層における分割領域の数も、適宜設定されてよい。

　このように、複数の階層において画像を分割することで、画像に含まれる物体の位置および大きさに、柔軟に対応することができる。

　（スコア算出部１２）
　スコア算出部１２は、複数の分割領域のそれぞれにおける特定の質感（例えば、光沢感）の程度を示すスコアを算出する。スコア算出部１２として、ニューラルネットワークを有する学習済みモデルを用いることができる。換言すれば、スコア算出部１２は、特定の質感を有する物体の画像を複数用いて学習した学習済みモデルを含んでいる。

　上記ニューラルネットワークは、入力データが入力される最上位層である入力層と、出力データ（上記スコア）を出力する最下位層である出力層と、入力層と出力層との間に設けられた中間層とを含む、三層のニューラルネットワークである。中間層の数は、例えば、２０～２５層であるが、この例に限定されない。

　スコア算出部１２が光沢感を判定するものである場合、上記ニューラルネットワークに対して、光沢有りまたは光沢無しのタグを付与した多数の画像（学習データセットと称する）を読み込ませ、光沢感を学習させる（教師あり学習）。学習データセットに含まれる画像の数は、２万～３万枚程度であり、各画像には、様々な種類の物体の像が含まれている。

　ニューラルネットワークでは、上位階層から下位階層にノード値が伝達されるが、この伝達の際に、ノード間の接続毎に設定された重みパラメータを用いた重み付けが行われる。これらの重みは、誤差逆伝搬法（バックプロパゲーション）により学習可能なものである。誤差逆伝搬法は、各ニューロンについて、入力ｘが入力されたときの出力ｙと真の出力ｙ（教師）との差分を小さくするように、それぞれの重みパラメータを調整（学習）する手法である。学習データセットを用いた学習により、各重みパラメータが最適化され、光沢感の程度を示すスコアを生成可能なニューラルネットワークが構築される。

　このような学習方法（ディープラーニング）によって構築した学習済みモデルに対して、タグの付与されていない画像における光沢感の有無を判定させたところ、約９０％の正解率が得られた。

　光沢感以外の質感（例えば、立体感）をニューラルネットワークに判定させる場合には、当該質感有りまたは当該質感無しのタグを付与した画像を含む学習データセットを当該ニューラルネットワークに読み込ませ、学習させればよい。

　また、スコア算出部１２として、ディープラーニング以外の機械学習を行った学習済みモデルを利用してもよい。

　図３は、スコア算出部１２における処理の例を示す図である。本実施形態のスコア算出部１２は、入力画像を分割することによって生成された第０～第４階層の、合計３４１の分割領域のそれぞれについてスコアを算出する。図３に示す例は、スコア算出部１２が、入力画像の第１階層における［ｘ、ｙ］＝［０，１］の分割領域（４分割された入力画像の左下の領域）について、（ｉ）上記スコアを算出する認識処理１２ａ、および（ｉｉ）当該分割領域の位置情報（［ｘ、ｙ］＝［０，１］）を取得する位置特定処理１２ｂ、を実行することを示している。分割領域の位置情報は、入力画像を分割する処理に伴って分割部１１によって生成され、記憶部３０に格納されている。

　スコア算出部１２は、入力画像の各分割領域について同様の処理を行い、スコアと位置情報とを紐づけしたデータを作成する。本実施形態におけるスコアは、分割領域が光沢感を有する確率であり、０％以上かつ１００％以下の範囲で算出される。

　また、スコア算出部１２はさらに、複数の分割画像間（階層間）で対応関係にある分割領域のスコアを加算することにより、最も分割領域の数が多い分割画像（第４階層）における各分割領域のスコアを算出する。上記スコアの集合をスコアマスクと称する。スコアマスクについて以下に具体的に説明する。

　それぞれの分割領域のスコアをＳｎ［ｘ，ｙ］と表す。ｎは階層（０～４）である。第ｎ階層において、画像は４^ｎの分割領域に分割され、分割領域ごとにスコアが算出されるため、当該階層におけるスコアの数も４^ｎである。ｘおよびｙは、分割領域の位置を示す。［ｘ，ｙ］＝［０，０］が画像の左上隅の分割領域の位置を示し、［ｘ，ｙ］＝［２^ｎ－１，２^ｎ－１］が画像の右下隅の分割領域の位置を示す。例えば第４層の４隅のスコアは、それぞれＳ４［０，０］、Ｓ４［１５，０］、Ｓ４［０，１５］、およびＳ４［１５，１５］となる。

　スコアマスクに含まれるスコアは、各階層の分割領域におけるスコアを階層間で加算し、正規化したものである。このため、スコアマスクに含まれるスコアの個数は、最もスコアの個数が多い階層のものと同じになる。図２に示す例では、スコアが２５６個である第４階層が最も分割領域数が多い階層である。このため、スコアマスクも２５６個のスコアを有する。

　１６×１６分割のスコアマスクにおけるスコアの値をＳＭ［ｘ，ｙ］とすると、例えば当該スコアマスクの４隅のスコアは、それぞれ以下のように表される。
ＳＭ［０，０］＝Ｓ０［０，０］＋Ｓ１［０，０］＋Ｓ２［０，０］＋Ｓ３［０，０］＋Ｓ４［０，０］
ＳＭ［１５，０］＝Ｓ０［０，０］＋Ｓ１［１，０］＋Ｓ２［３，０］＋Ｓ３［７，０］＋Ｓ４［１５，０］
ＳＭ［０，１５］＝Ｓ０［０，０］＋Ｓ１［０，１］＋Ｓ２［０，３］＋Ｓ３［０，７］＋Ｓ４［０，１５］
ＳＭ［１５，１５］＝Ｓ０［０，０］＋Ｓ１［１，１］＋Ｓ２［３，３］＋Ｓ３［７，７］＋Ｓ４［１５，１５]
　これを一般化すると、ＳＭ［ｘ，ｙ］は以下の式で表される。
ＳＭ［ｘ，ｙ］＝（Ｓ０［０，０］＋Ｓ１［int（ｘ／８），int（ｙ／８）］＋Ｓ２［int（ｘ／４），int（ｙ／４）］＋Ｓ３［int（ｘ／２），int（ｙ／２）］＋Ｓ４［ｘ，ｙ］）／５
ここで、int（）は小数部分の切り捨てによる整数化を意味する。

　上述したとおり、本実施形態では、個々の分割領域のスコアは当該分割領域が光沢を有する確率であり、０％以上かつ１００％以下の値を取る。このため、第０～第４階層の各階層の分割領域のスコアの和は、０％以上かつ５００％以下の値を取る。上記の式においては、スコアを正規化するため、各階層の分割領域のスコアの和を階層の数である５で除している。

　ＳＭ［ｘ，ｙ］の算出においては、各階層におけるスコアが線形に加算される。したがって、例えば下位の階層の分割領域（大きな分割領域）におけるスコアが低い場合でも、上位の階層の分割領域（小さな分割領域）におけるスコアが高ければ、その分割領域における光沢感は強くなる。

　スコア算出部１２は、分割部１１が分割した、互いにサイズの異なる分割領域についてスコアを算出することで、画像における物体の位置および大きさなどに柔軟に対応することができる。すなわち、スコア算出部１２は、画像における物体の大小によらず、光沢感の有無に応じたスコアを算出することができる。一般に、分割領域内における物体の占める割合が高い場合には、当該割合が低い場合と比較して、スコア算出部１２による認識処理が正しく行われる傾向がある。

　（スコア補正部１３）
　スコア補正部１３は、特定の質感の程度と関連性のある情報を入力画像から抽出し、抽出した情報に基づいて、スコア算出部１２が算出したスコアを補正する。本実施形態では、上記特定の質感は光沢感であるため、スコア補正部１３は、光沢感の程度と関連性のある情報として輝度情報を抽出し、複数の分割領域のそれぞれに対応する輝度情報を用いて当該分割領域のスコアを補正する。

　具体的には、スコア補正部１３は、以下の処理を実行する。
・入力画像がＲＧＢ形式で表現されている場合、スコア補正部１３は、当該入力画像をＹＵＶ形式に変換した上で、輝度情報（Ｙ）を抽出する。換言すれば、スコア補正部１３は、入力画像を、輝度情報を示す輝度画像に変換する。
・スコア補正部１３は、輝度画像における、スコアマスクと同様の分割領域のそれぞれについて、当該分割領域の輝度を正規化した値である補正値を算出する。

　各分割領域の輝度は、例えば、当該分割領域に含まれる複数の画素が示す輝度値の平均値として求めることができる。算出された補正値と、各補正値が適用されるスコアマスクの分割領域を特定する情報との組み合わせの集合を補正マスクと称する。

　さらにスコア補正部１３は、上記補正マスクを用いてスコアマスクを補正する。具体的には、スコア補正部１３は、スコアマスクに含まれる分割領域のスコアのそれぞれに、スコアマスクの分割領域に対応する、補正マスクの分割領域が示す補正値を乗算する。すなわち、補正マスクの［ｘ，ｙ］の位置における補正値をＦ［ｘ，ｙ］、当該位置におけるスコアマスクのスコアをＳＦ［ｘ，ｙ］とした場合、ＳＦ［ｘ，ｙ］は以下の式で表される。
ＳＦ［ｘ，ｙ］＝ＳＭ［ｘ，ｙ］×Ｆ［ｘ，ｙ］
　スコア算出部１２が算出したスコアには、誤認識に基づいて算出したスコアが含まれる可能性がある。このため、スコアマスクにおいては、実際には光沢感がない分割領域が高いスコアを有する可能性がある。そこで、スコア補正部１３は、補正マスクを生成してスコアマスクを補正する。

　一般に、画像において、輝度が低い分割領域には光沢感がないと考えられる。したがって、入力画像の分割領域ごとの輝度を用いてスコアマスクを補正することで、スコアマスクの信頼度を向上させることができる。

　なお、テキストフォントの空白部など、輝度値が高くても光沢感がない場合も考えられるため、光沢感を示すスコアとして輝度値自体を用いることは適切ではない。したがって、輝度値はスコアを補正するためにのみ用いられる。

　また、さらにスコア補正部１３は、互いに隣接する分割領域のスコアの差が小さくなるように、各分割領域のスコアを補正（ぼかし処理）してもよい。このような補正の方法として、例えば輝度画像における互いに隣接する分割領域の輝度の差が小さくなるように、各分割領域の輝度を補正する方法が挙げられる。この例について、以下に説明する。

　図４の（ａ）は、入力画像の例を示す図である。図４の（ｂ）は、図４の（ａ）に示した入力画像から輝度情報を抽出することによって生成した輝度画像を示す図である。当該輝度画像は、ＹＵＶ形式の画像から輝度情報（Ｙ）を抽出することによって生成される。

　図４の（ｃ）は、図４の（ｂ）に示した輝度画像にぼかし処理を実行した後の輝度画像を示す図である。図４の（ａ）に示す入力画像、および図４の（ｂ）に示す輝度画像のエッジは明確である。図４の（ｂ）に示す輝度画像にぼかし処理を実行することで、図４の（ｃ）に示すように、エッジがぼやけた輝度画像が得られる。

　本開示の一態様においては、スコア補正部１３は、必ずしもぼかし処理を実行する必要はない。ただし、ぼかし処理を実行すると、画像のエッジ部分がぼやけるため、当該エッジ部分に対応する分割領域における補正値、および当該補正値により補正されるスコアの急激な変化が抑制される。その結果、当該エッジ部分での画質の破綻が抑制される。したがって、スコア補正部１３は、輝度画像にぼかし処理を実行することが好ましい。

　（質感調整部１４）
　質感調整部１４は、複数の分割領域について、スコア算出部１２が算出し、スコア補正部１３が補正したスコアに応じて特定の質感を調整する。本実施形態では、質感調整部１４は、複数の分割領域のうち、スコアが所定の値以上である分割領域について特定の質感を強調する。なお、上記所定の値は、強調する質感の種類に応じて適宜設定すればよい。

　上述したとおり、本実施形態では、特定の質感は光沢感である。このため、具体的には質感調整部１４は、スコアが所定の値以上である分割領域について、入力画像の各分割領域における輝度調整、コントラスト調整またはエッジ強調処理、もしくはこれらの組み合わせを実行する。輝度調整、コントラスト調整およびエッジ強調処理を行う程度については、後述するように複数段階を設定しておき、ユーザが選択できるようにしてもよい。

　主観的評価によれば、コントラスト強調およびエッジ強調は、人間が感じる光沢感に大きく影響する。したがって、質感調整部１４は、スコアが所定の値以上である分割領域について、コントラスト強調およびエッジ強調を含む処理を実行することで、当該分割領域の光沢感を強調することができる。

　また、特定の質感を立体感とした場合には、例えば、γ値およびコントラストを大きくすることによって、入力画像の輝度の階調に対する出力輝度の階調の変化を急峻にすることができる。出力輝度の階調の変化を急峻にすることで、出力画像における物体の影が相対的に濃く見えるようになるため、立体感を強調することができる。

　また、特定の質感を材質感とした場合には、例えば、エッジを強調することによって入力画像の模様がくっきりと感じられるようになるため、材質感を強調することができる。

　（処理の流れ）
　図５は、画像処理部１０が実行する処理（画像処理方法）の流れを示すフローチャートである。図６の（ａ）は、入力画像の一例を示す図である。図６の（ｂ）は、上記入力画像に対応するスコアマスクを示す図である。図６の（ｃ）は、上記入力画像に対応するぼかし処理を施した輝度画像を示す図である。図６の（ｄ）は、光沢感が強調される分割領域のみを示す図である。図６の（ｅ）は、質感調整された出力画像を示す図である。

　画像処理部１０において、分割部１１は、図６の（ａ）に示すような入力画像を、分割領域の数が互いに異なる複数パターンの分割様式で分割することにより、複数の分割領域を有する複数の階層の分割画像を生成する（Ｓ１、分割工程）。次に、スコア算出部１２は、分割領域ごとにスコアを算出し（Ｓ２、スコア算出工程）、階層間で対応関係にある分割領域のスコアを足し合わせてスコアマスクを生成する（Ｓ３）。スコアが高い分割領域ほど白に近くなるように可視化したスコアマスクの画像を図６の（ｂ）に示す。

　また、ステップＳ１～Ｓ３と並列に、スコア補正部１３は、図６の（ｃ）に示すような輝度画像が示す輝度値に基づく補正値を含む補正マスクを生成する（Ｓ４）。さらにスコア補正部１３は、補正マスクを用いてスコアマスクを補正する（Ｓ５）。

　その後、質感調整部１４は、スコアマスクにおいてスコアが所定の値以上である分割領域について、質感（光沢感）を強調する処理を実行する（Ｓ６、質感調整工程）。具体的には、質感調整部１４は、図６の（ｄ）に示すように、スコアが所定の値以上である分割領域のみ光沢感を強調した強調画像を生成する。さらに質感調整部１４は、入力画像と強調画像とを合成することで、図６の（ｅ）に示す出力画像を生成する。

　なお、図５に示した例では、スコア算出部１２による処理（Ｓ２、Ｓ３）と、スコア補正部１３による処理の一部（Ｓ４）とが並列に実行された。しかし、ステップＳ２～Ｓ４はこの順番で実行されてもよく、また、ステップＳ４がステップＳ２およびＳ３より先に実行されてもよい。

　図７は、画像処理部１０における処理のタイミングを示す図である。図７におけるｔ１～ｔ６は、画像処理部１０において何らかの処理が実行される時刻である。

　まず、時刻ｔ１において、受信部２０は、入力画像を受信し、バッファに保存処理する。受信部２０は、バッファした入力画像を、時刻ｔ２において分割部１１に出力する。分割部１１は、画像を複数の分割領域に分割する。スコア算出部１２は、分割領域のそれぞれについてスコアを算出してスコアマスクを生成する。

　また、受信部２０は、時刻ｔ２より後の時刻ｔ３において入力画像をスコア補正部１３に出力する。これは、分割部１１およびスコア算出部１２における処理に要する時間が、スコア補正部１３における処理に要する時間より長いためである。このように時刻ｔ２と時刻ｔ３とに時間差を設けることで、スコアマスクおよび補正マスクの両方が時刻ｔ４において生成される。

　時刻ｔ５において、スコア補正部１３は、補正マスクを用いてスコアマスクを補正する。上記補正と同じタイミングで、受信部２０は、入力画像を質感調整部１４へ出力する。これにより、時刻ｔ６において、質感調整部１４は、補正後のスコアマスクを用いて入力画像の光沢感を調整することができる。

　（実施例）
　図８は、画像処理装置１００による処理の例を説明するための図である。図８の（ａ）は、画像処理装置１００に入力される画像（入力画像）の概念図、図８の（ｂ）は、スコア算出部１２が生成するスコアマスクの概念図、図８の（ｃ）は、画像処理装置１００から出力される画像（出力画像）を示す概念図である。

　なお、簡単のため、図８の（ｂ）においてはスコアマスクについて、入力画像を縦および横のそれぞれに８分割した分割領域のそれぞれについてのスコアの集合として説明する。また、スコアマスクのそれぞれのスコアについて、便宜上、光沢感がある場合を１、光沢感がない場合を０とする。

　図８の（ａ）に示す入力画像には、金属のスプーンおよび陶器のスプーンの画像が含まれている。金属のスプーンの画像は光沢感を有する。一方、陶器のスプーンの画像は光沢感を有しない。

　このような場合、スコア算出部１２は、図８の（ｂ）に示すように、金属のスプーンの画像に対応する分割領域のスコアを１とし、それ以外の分割領域のスコアを０とするスコアマスクを生成する。

　質感調整部１４は、図８の（ｂ）に示す質感マスクの各分割領域におけるスコアが０．５以上である分割領域に光沢感を強調する処理を実行し、スコアが０．５未満である分割領域には光沢感を強調する処理を実行しない。これにより、図８の（ｃ）に示すような、金属のスプーンの画像に対応する分割領域にのみ光沢感の強調が行われ、それ以外の分割領域、例えば陶器のスプーンの画像に対応する分割領域には上記強調が行われない画像が表示装置２００に出力される。

　スコアは、例えば０以上かつ１以下の小数の値を取ってもよい。この場合、スコア算出部１２は、例えば光沢感を有する分割領域におけるスコアは０．５以上かつ１以下の値を取り、光沢感を有しない分割領域におけるスコアは０以上かつ０．５未満であるようなスコアマスクを生成する。

　また、スコアは例えば０以上かつ１以下とは異なる範囲の値を取ってもよい。さらに、質感調整部１４は、０．５とは別の所定の値を基準として、スコアが当該所定の値以上である分割領域について、光沢感を強調する処理を実行してもよい。

　また、質感調整部１４は、光沢感を強調する処理が複数段階設定され、分割領域のスコアに応じて当該分割領域にいずれの段階の処理を実行するか決定してもよい。この場合、それぞれの段階ごとに、輝度調整処理、コントラスト調整処理またはエッジ強調処理に用いるパラメータが予め対応付けられる。

　輝度調整処理におけるパラメータとはγ値である。輝度調整処理は、例えば以下の式により実行される。
ｐ＝２５５×（ｐ０／２５５）＾（１／γ）
ここで、ｐは処理対象の画素の出力画像における画素値であり、ｐ０は当該画素の入力画像における画素値である。また、「＾（１／γ）」は１／γ乗を意味する。γが１よりも増大するにつれ、輝度調整処理後の輝度は処理前の輝度より大きくなる。

　また、コントラスト調整処理におけるパラメータとは、処理対象の画素の画素値と中間値との差分に乗じる係数αである。コントラスト調整処理は、例えば以下の式により実行される。
ｐ＝ｐ０＋（ｐ０－ｐｔｈ）×α
ここで、ｐｔｈは画素値の中間値（すなわちコントラスト調整処理によって画素値を大きくするか小さくするかの基準となる値）である。αが増大するにつれ、中間値よりも大きい画素値はより大きくなり、中間値よりも小さい画素値はより小さくなる。

　また、エッジ強調処理におけるパラメータとは、エッジ強調処理のための、処理対象の画素の画素値に乗じる係数β１に対する、処理対象の画素の周囲の画素値に乗じる係数β２の比率β２／β１である。エッジ強調処理は、例えば以下の式により実行される。
ｐ＝（β１×ｐ０－β２×（ｐ１＋ｐ２＋ｐ３＋ｐ４））／（β１－４×β２）
ここで、ｐ１～ｐ４は処理対象の画素の四方に隣接する画素のそれぞれの画素値である。β２／β１が増大するにつれ、よりエッジが強調される。

　光沢感の強調段階が、例えば「なし」、「中」および「強」の３段階で設定される場合を考える。この場合において、強調段階が「なし」のとき、上記のパラメータは、処理の前後における画素値の変化量が０であるように設定（スルー設定）される。具体的には、例えば上記のγの値は１に、αおよびβ２／β１は０に設定される。

　強調段階が「中」のとき、上記のパラメータは、光沢感を強調する値に設定される。具体的には、例えば上記のγの値は１より大きい値に設定され、αおよびβ２／β１は０より大きい値に設定される。強調段階が「強」のとき、パラメータの変化量は、強調段階が「中」である場合よりもさらに光沢感を強調する値に（すなわち画像処理装置１００における最大値に）設定される。

　光沢感の強調段階は、４段階以上で設定されてもよい。例えば２５６段階など、段階の数が多い場合には、それぞれの段階に対応する上記パラメータの値を示すテーブルを参照してもよく、算術的に（例えば線形に）パラメータが補間されてもよい。

　（変形例）
　また、質感調整部１４は、スコアに基づいて光沢感を調整する対象となる分割領域を限定するのではなく、全ての分割領域を上記対象としてもよい。その上で、質感調整部１４は、スコア算出部１２が算出したスコアに応じて、質感調整のために変化させる当該質感のパラメータを増減させることにより、入力画像の各分割領域の質感を調整してもよい。

　具体的には、質感調整部１４は、上記パラメータが取り得る最小値と最大値との差である最大変化量に、重み係数として上記スコアを乗じた値を当該パラメータの値として採用する。

　例えば、上記のγについて、最小値を１、最大値を１．５（最大変化量が０．５）とする場合、スコアＳに対するγ値は以下の式で表される。
γ＝１＋０．５×Ｓ
また、スルー設定における値が０である上記のαおよびβ２／β１については、上記最大値にスコアを乗じることで、質感調整に用いるパラメータの値が得られる。

　なお、輝度調整処理、コントラスト調整処理およびエッジ強調処理は、上記の例に限定されず、処理の内容によって上記のパラメータも異なる。

　また、本開示の一態様において、画像処理装置１００は必ずしもスコア補正部１３を備える必要はない。画像処理装置１００がスコア補正部１３を備えない場合には、質感調整部１４は、スコア算出部１２が算出したスコアに応じて特定の質感を調整する。

　（効果）
　画像処理装置１００によれば、入力画像における、光沢感がある分割領域を抽出し、当該分割領域にのみ光沢感を強調する処理を実行することができる。したがって、光沢感を有しない分割領域への、光沢感を強調する処理の影響を考慮しなくとも、当該処理が画質の破綻を生じさせる虞を低減できる。

　〔実施形態２〕
　本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

　図９は、本実施形態に係る画像処理装置１００Ａを含む画像表示システム１Ａの構成を示すブロック図である。画像表示システム１Ａは、画像処理装置１００の代わりに画像処理装置１００Ａを含む点で画像表示システム１と相違する。

　画像処理装置１００Ａは、画像処理装置１００が備える各構成要素に加えて、通信部４０を備える。通信部４０は、スコア算出部１２に含まれる学習済みモデルを更新するために外部の装置と通信を行う。通信部４０を介して学習済みモデルを更新することで、画像処理装置１００Ａは、スコア算出部１２がスコアを算出する認識処理の精度を向上させることができる。

　なお、図９に示した画像処理装置１００Ａは、受信部２０および通信部４０を別々に備えている。しかし、受信部２０および通信部４０は共通の部材であってもよい。

　〔実施形態３〕
　本開示の他の実施形態について、以下に説明する。

　図１０は、一般的な情報端末２の構成を示す図である。情報端末２は、例えばワークステーション、パソコン、スマートフォンまたはタブレットなどであってよい。情報端末２は、制御用のＣＰＵ（Central Processing Unit）２０１、並列演算処理が可能な画像処理用のＧＰＵ（Graphics Processing Unit）２０２、ＲＡＭ（Random Access Memory）２０３、記憶部２０４、ディスプレイ２０５、静止画および動画を撮影するカメラ２０６、無線などによる通信を行う通信部２０７、音声入出力２０８、タッチパネルまたはボタンといったセンサ２０９、およびコネクタ２１０が、バス２１１により互いに接続されている構成を有する。

　このような情報端末２は、本開示の一態様に係る情報処理装置として機能することができる。例えば、記憶部２０４に記憶された入力画像が、図５に示したステップＳ１の処理により複数の分割領域に分割され、ＲＡＭ２０３に記憶される。次に、ＧＰＵ２０２が、ステップＳ２およびＳ３の処理と、ステップＳ４の処理とを並列的に実行し、さらにステップＳ５の処理を実行する。その後、ＣＰＵ２０１が、ステップＳ６の処理を実行する。処理後の出力画像は、ディスプレイ２０５に表示される。または、出力画像は、記憶部２０４に記憶されてもよく、通信部２０７またはコネクタ２１０を介して外部に出力されてもよい。

　〔実施形態４〕
　本開示の他の実施形態について、以下に説明する。なお、本実施形態の画像処理装置は、図１に示す画像処理装置１００と同様の構成を有するため、以下の説明では各部材に図１と同様の符号を付して説明する。

　本実施形態の画像処理装置１００は、実施形態１の変形例で説明したように、スコア算出部１２が算出したスコアに応じて、質感調整のために変化させる当該質感のパラメータを増減させることにより、入力画像の各分割領域の質感を調整する。その上で、本実施形態の画像処理装置１００は、スコア補正部１３がスコアを補正する様式または程度をユーザが調整可能に構成されている。例えば、スコア補正部１３がスコアを補正する程度について複数の段階が設定され、当該複数の段階のうち、所望する段階をユーザが選択すればよい。上記の選択は、例えば画像処理装置に表示部を設け、当該表示部に表示されるメニューを用いて行ってもよい。または、画像処理装置に、上記の選択のためのダイヤルまたはレバーなどを設けてもよい。

　上記の複数の段階のそれぞれには、スコアに乗じるための倍率が規定されている。スコア補正部１３は、それぞれの分割領域におけるスコアの値に、ユーザが選択した段階に応じた倍率を乗じる。上記の倍率を乗じることで、スコアに応じた光沢感調整の程度が増減される。

　また、スコアの値が負になるような段階が設定されてもよい。スコアの値が負である場合には、スコアの値が－１に近づくにつれ、光沢感を減少させる調整量が大きくなる。このため、光沢感がある分割領域の光沢感が減少する。

　本実施形態の画像処理装置１００によれば、ユーザは、スコア補正部１３がスコアを補正する様式または程度を調整することで、質感調整部１４が質感を調整する様式および程度を調整することができる。

　〔ソフトウェアによる実現例〕
　画像処理装置１００・１００Ａの制御ブロック（特に分割部１１、スコア算出部１２、スコア補正部１３および質感調整部１４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

　後者の場合、画像処理装置１００・１００Ａは、各機能を実現するソフトウェアである画像処理プログラムの命令を実行するＣＰＵ、上記画像処理プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記画像処理プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記画像処理プログラムを上記記録媒体から読み取って実行することにより、本開示の一態様の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記画像処理プログラムは、該画像処理プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記画像処理プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

　〔まとめ〕
　本開示の態様１に係る画像処理装置は、画像の質感を調整する画像処理装置であって、上記画像を複数の分割領域に分割する分割部と、上記複数の分割領域のそれぞれにおける特定の質感の程度を示すスコアを算出するスコア算出部と、上記複数の分割領域の上記スコアに応じて上記特定の質感を調整する質感調整部とを備える。

　上記の構成によれば、分割部が入力画像を複数の分割領域に分割し、スコア算出部が複数の分割領域のそれぞれにおける特定の質感の程度を示すスコアを算出する。質感調整部は、分割領域のスコアに応じて上記特定の質感を調整する処理を実行する。したがって、分割領域ごとに特定の質感を認識し、当該特定の質感を調整することができる。

　本開示の態様２に係る画像処理装置は、上記態様１において、上記質感調整部は、上記複数の分割領域のうち、上記スコアが所定の値以上である分割領域について上記特定の質感を強調することが好ましい。

　上記の構成によれば、スコアが所定の値以上である分割領域についてのみ特定の質感を強調することができる。

　本開示の態様３に係る画像処理装置は、上記態様１または２において、上記分割部は、上記分割領域の数が互いに異なる複数パターンの分割様式で上記画像を分割し、上記スコア算出部は、上記複数パターンの分割様式で分割された複数の分割画像間で対応関係にある分割領域のスコアを加算することにより、最も分割領域の数が多い分割画像における各分割領域のスコアを算出することが好ましい。

　上記の構成によれば、分割領域の数が互いに異なる複数パターンの分割様式で分割された、複数の分割画像のスコアを最終的なスコアの算出に利用することができる。したがって、画像における物体の、多様な大きさおよび位置などに柔軟に対応して適切なスコアを算出することができる。

　本開示の態様４に係る画像処理装置は、上記態様１から３のいずれかにおいて、上記特定の質感の程度と関連性のある情報を上記画像から抽出し、抽出した情報に基づいて、上記スコア算出部が算出したスコアを補正するスコア補正部をさらに備えることが好ましい。

　上記の構成によれば、スコア算出部が算出したスコアが適切でない場合であっても、スコア補正部が当該スコアを適切な値に補正することができる。

　本開示の態様５に係る画像処理装置は、上記態様４において、上記特定の質感は、光沢感であり、上記スコア補正部は、上記関連性のある情報として輝度情報を抽出し、上記複数の分割領域のそれぞれに対応する輝度情報を用いて当該分割領域のスコアを補正することが好ましい。

　上記の構成によれば、スコア補正部は、分割領域の輝度情報を用いて、分割領域のスコアを補正することができる。

　本開示の態様６に係る画像処理装置は、上記態様４または５において、上記スコア補正部は、互いに隣接する分割領域のスコアの差が小さくなるように、各分割領域のスコアを補正してもよい。

　上記の構成によれば、隣接する分割領域の間での、スコアの急激な変化が抑制され、画質の破綻が抑制される。

　本開示の態様７に係る画像処理装置は、上記態様１から６のいずれかにおいて、上記スコア算出部は、上記特定の質感を有する物体の画像を複数用いて学習した学習済みモデルを含んでいることが好ましい。

　上記の構成によれば、学習済みモデルにより、分割領域における特定の質感の有無を適切に判定することができる。

　本開示の態様８に係る画像処理装置は、上記態様７において、上記学習済みモデルを更新するために外部の装置と通信を行う通信部をさらに備えることが好ましい。

　上記の構成によれば、通信部を介して学習済みモデルを更新することで、特定の質感の有無の、判定の精度を向上させることができる。

　本開示の態様９に係る画像処理装置は、上記態様４または５において、上記スコア補正部が上記スコアを補正する様式または程度をユーザが調整可能であってもよい。

　上記の構成によれば、ユーザの主観によって、スコア補正部が上記スコアを補正する様式または程度を調整することができる。

　本開示の態様１０に係る画像処理装置は、上記態様１から９のいずれかにおいて、上記質感調整部は、上記画像の輝度調整、コントラスト調整またはエッジ強調処理を実行することが好ましい。

　上記の構成によれば、輝度調整、コントラスト調整またはエッジ強調処理によって、画像の光沢感を調整することができる。

　本開示の態様１１に係る画像処理方法は、画像の質感を調整する画像処理方法であって、上記画像を複数の分割領域に分割する分割工程と、上記複数の分割領域のそれぞれにおける特定の質感の程度を示すスコアを算出するスコア算出工程と、上記複数の分割領域の上記スコアに応じて上記特定の質感を調整する質感調整工程とを含む。

　上記の構成によれば、態様１と同様の効果を奏する。

　本開示の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の一態様の範疇に入る。

　本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
（関連出願の相互参照）
　本出願は、2017年5月25日に出願された日本国特許出願：特願2017-103895に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

　１１　分割部
　１２　スコア算出部
　１３　スコア補正部
　１４　質感調整部
　４０　通信部
　１００、１００Ａ　画像処理装置

Claims

　画像の質感を調整する画像処理装置であって、
　上記画像を複数の分割領域に分割する分割部と、
　上記複数の分割領域のそれぞれにおける特定の質感の程度を示すスコアを算出するスコア算出部と、
　上記複数の分割領域の上記スコアに応じて上記特定の質感を調整する質感調整部とを備えることを特徴とする画像処理装置。
　上記質感調整部は、上記複数の分割領域のうち、上記スコアが所定の値以上である分割領域について上記特定の質感を強調することを特徴とする請求項１に記載の画像処理装置。
　上記分割部は、上記分割領域の数が互いに異なる複数パターンの分割様式で上記画像を分割し、
　上記スコア算出部は、上記複数パターンの分割様式で分割された複数の分割画像間で対応関係にある分割領域のスコアを加算することにより、最も分割領域の数が多い分割画像における各分割領域のスコアを算出することを特徴とする請求項１または２に記載の画像処理装置。
　上記特定の質感の程度と関連性のある情報を上記画像から抽出し、抽出した情報に基づいて、上記スコア算出部が算出したスコアを補正するスコア補正部をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
　上記特定の質感は、光沢感であり、
　上記スコア補正部は、上記関連性のある情報として輝度情報を抽出し、上記複数の分割領域のそれぞれに対応する輝度情報を用いて当該分割領域のスコアを補正することを特徴とする請求項４に記載の画像処理装置。
　上記スコア補正部は、互いに隣接する分割領域のスコアの差が小さくなるように、各分割領域のスコアを補正することを特徴とする請求項４または５に記載の画像処理装置。
　上記スコア算出部は、上記特定の質感を有する物体の画像を複数用いて学習した学習済みモデルを含んでいることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
　上記学習済みモデルを更新するために外部の装置と通信を行う通信部をさらに備えることを特徴とする請求項７に記載の画像処理装置。
　上記スコア補正部が上記スコアを補正する様式または程度をユーザが調整可能であることを特徴とする請求項４または５に記載の画像処理装置。
　上記質感調整部は、上記画像の輝度調整、コントラスト調整またはエッジ強調処理を実行することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
　請求項１から１０のいずれか１項に記載に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、上記各部としてコンピュータを機能させる画像処理プログラム。
　請求項１１に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
　画像の質感を調整する画像処理方法であって、
　上記画像を複数の分割領域に分割する分割工程と、
　上記複数の分割領域のそれぞれにおける特定の質感の程度を示すスコアを算出するスコア算出工程と、
　上記複数の分割領域の上記スコアに応じて上記特定の質感を調整する質感調整工程とを含むことを特徴とする画像処理方法。