JP6744779B2

JP6744779B2 - 画像処理装置とその制御方法、及びプログラム

Info

Publication number: JP6744779B2
Application number: JP2016152290A
Authority: JP
Inventors: 角田　仁; 仁角田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-08-02
Filing date: 2016-08-02
Publication date: 2020-08-19
Anticipated expiration: 2036-08-02
Also published as: US20180041660A1; JP2018022294A; US10477066B2

Description

本発明は、画像処理装置とその制御方法、及びプログラムに関する。

近年、画像データの出力に際して、光沢感などの質感を再現する方法が提案されている。例えば特許文献１には、入力画像の高輝度の画素の画素値を上下させるようなトーンカーブを作成して、その画像データに適応することで、写真内の光の反射部を強調又は軽減することが記載されている。

特開２０１５−７９４４３号公報

上記特許文献１に記載の技術は、高輝度の画素の値を変更する処理であるため、入力画像の反射部の画素の輝度が高い場合には、高輝度の画素の信号値がすぐに飽和してしまい、光の反射を強調することが困難であるという課題がある。

本発明の目的は、上記従来技術の課題を解決することにある。

本発明の目的は、光沢があると判定された光沢領域に含まれる所定の輝度よりも輝度の高い高輝度の画素を含む高輝度領域を、高輝度領域の面積が大きいほど大きく拡張する技術を提供することにある。

上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
画像データの複数の領域のそれぞれに光沢があるか否かを判定する判定手段と、
前記判定手段によって光沢があると判定された光沢領域に含まれる所定の輝度よりも輝度の高い高輝度の画素を含む高輝度領域を抽出する抽出手段と、
前記抽出手段によって抽出された高輝度領域を拡張する拡張手段と、を有し、
前記拡張手段は、前記高輝度領域の面積が大きいほど、前記高輝度領域を拡張する量を大きくすることを特徴とする。

本発明によれば、光沢があると判定された光沢領域に含まれる所定の輝度よりも輝度の高い高輝度の画素を含む高輝度領域を、高輝度領域の面積が大きいほど大きく拡張することができるという効果がある。

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

添付図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。
実施形態に係る画像処理装置を説明するブロック図。実施形態に係る光沢制御部の処理を説明する概念図。実施形態に係る画像処理装置による画像処理を説明するフローチャート。実施形態における反射部の描画時の面積と、それに対応する太らせ画素数との関係を示す図（Ａ）と、画素の輝度を上げる処理を行うための１ＤＬＵＴ（一次元ルックアップテーブル）の一例を示す図（Ｂ）。実施形態に係る画像処理装置による反射部の画像データに対する処理を説明する概念図。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

実施形態では、入力画像の高輝度の画素の信号値を上げるとともに、高輝度の画素を太らせる。これにより、入力画像の高輝度の画素の信号値が元々、高い場合であっても、写真内の反射部を強調することができる処理を実現する。

図１（Ａ）は、本発明の実施形態に係る画像処理装置１００のハードウェア構成を説明するブロック図である。

この画像処理装置１００は、ネットワークを介して外部コンピュータ１１０と接続されている。ＣＰＵ１０１は、この画像処理装置１００の動作を制御する制御部として機能している。ＣＰＵ１０１はＲＯＭ１０２に記憶されているブートプログラムを実行して、ＨＤＤ１０６に記憶されているＯＳやプログラムをＲＡＭ１０３に展開して実行することにより、後述する各種制御を実行する。操作部１０４は、ユーザにより操作されるキーやＬＥＤ等を有する。表示部１０５は、ユーザへのメッセージや、入力した画像などを表示する。表示部１０５はタッチパネルを有することにより、操作部としても機能することができる。ＨＤＤ（ハードディスクドライブ）１０６は、受信した画像データや、処理対象及び処理済の画像データ等を記憶する。プリンタエンジン１０７は、ＣＰＵ１０１の制御の下で、画像データに従ってシートに画像を印刷する。

図１（Ｂ）は、実施形態に係る画像処理装置１００の機能を説明するブロック図である。尚、本実施形態では、これら機能は、ＣＰＵ１０１がＨＤＤ１０６に記憶されているＯＳやプログラムをＲＡＭ１０３に展開して実行することに達成されるものとして説明するが、これら機能を実現するＡＳＩＣ等で実現されても良い。

ここではＣＰＵ１０１がプログラム実行して実現される制御部１２０の機能として、ＰＤＬデータ取得部１２１、光沢制御部１２２、描画部１２３、出力色処理部１２４、中間調処理部１２５を有している。

以下、各機能を詳しく説明する。

ＰＤＬデータ取得部１２１は、外部コンピュータ１１０からＰＤＬデータを受信すると、光沢制御部１２２にＰＤＬデータを出力する。ＰＤＬデータは複数の描画命令を含むデータである。ＰＤＬデータは一例として、文字の描画命令、図形の描画命令、画像の描画命令を含む。画像の描画命令は、一例として入力画像データ、入力画像サイズ、描画位置及び描画サイズを含む。そして、入力画像データは、各画素がＲＧＢのそれぞれが８ビットの色要素で、例えばＲ＝Ｇ＝Ｂ＝０であれば黒色であり、Ｒ＝Ｇ＝Ｂ＝２５５であれば白色となる。

光沢制御部は１２２は、ＰＤＬデータ取得部１２１からＰＤＬデータを受け取り、そのうちの画像の描画命令の入力画像データに光沢制御処理を行い、処理済みの画像データを含むＰＤＬデータを描画部１２３に出力する。光沢制御部１２２は、入力した画像データの高輝度の画素の信号値を大きくするとともに、高輝度の画素を太らせることによって光沢感を高める。

描画部１２３は、光沢制御部１２２から受け取ったＰＤＬデータをもとに描画イメージ（ここでは、ＲＧＢイメージとする）を作成して出力色処理部１２４に出力する。ここで、画像の描画命令を処理する際には、入力画像のサイズと描画サイズとを用いて、入力した画像データを拡大又は縮小し、描画位置に、その拡大又は縮小した画像データを描画する処理を行う。

出力色処理部１２４は、描画部１２３からＲＧＢイメージを受け取り、そのＲＧＢイメージに色変換処理を行ってＣＭＹＫイメージを生成し、そのＣＭＹＫイメージを中間調処理部１２５に出力する。中間調処理部１２５は、出力色処理部１２４から受け取った多値のＣＭＹＫイメージをプリンタエンジン１０７の色材の潜像画像である二値のＣＭＹＫイメージに変換してプリンタエンジン１０７に出力する。プリンタエンジン１０７は、中間調処理部１２５から受け取った二値のＣＭＹＫイメージに基づいて各色材を紙などの出力媒体上に形成する。

次に、実施形態に係る光沢制御部１２２による処理を説明する。

図２は、実施形態に係る光沢制御部１２２の処理を説明する概念図である。

図２（Ａ）は、ＰＤＬデータに含まれる画像の描画命令の一例として、白線のある灰色の道路の上を走行している赤い自動車の写真を概念的に表している。この画像に示される自動車の表面には、光を反射する白色の反射部が３つ存在する。ここでは、反射部の色値をＲ＝Ｇ＝Ｂ＝２５４として説明する。

図２（Ｂ）は、この自動車の画像の中から光沢領域の抽出処理により、光沢感を有する部分（以下、光沢領域２０１，２０２）を抽出した例を示す。この光沢領域の抽出処理により、反射部とその周囲を光沢部として抽出する。ここで光沢領域２０１のように、光沢領域の中に複数の反射部２０３，２０４が存在しても良い。しかし、光沢領域の抽出処理では、反射部と同じ白色の領域であっても、光沢を感じない灰色の道路の上の白線の周囲は光沢領域として抽出しない。

図２（Ｃ）は、図２（Ｂ）で抽出した光沢領域で、より輝度の高い画素である反射部（高輝度領域）２０３〜２０５を検出して、その反射部を太らせる例を示す。このように、光沢領域に含まれる輝度の高い画素を検出することにより、その画像データに含まれる反射部を抽出し、各々の反射部の面積に応じて、反射部の太らせ量を決定する。ここでは、面積が小さい反射部は太らせ量が小さく、面積が大きい反射部では、太らせ量が大きくなるように決定する。そして、画像の描画命令から入力画像のサイズと描画画像のサイズから取得した描画部での拡大率を利用して、太らせ量を補正する。

図２（Ｄ）は、各反射部の画素の値を、Ｒ＝Ｇ＝Ｂ＝２５４からＲ＝Ｇ＝Ｂ＝２５５にする。更に、決定した太らせ量に応じて、各反射部を太らせた結果を示している。このように、反射部の画素値を大きくする（輝度を上げる）だけでは、反射部と他の部分との差は微差であるが、反射部を拡張して反射部２０３〜２０５の面積が大きくなったことにより、光の反射が大きくなった、即ち、反射部が拡大されてみえる。

図３は、実施形態に係る画像処理装置１００による画像処理を説明するフローチャートである。尚、この処理は前述したＣＰＵ１０１が、ＨＤＤ１０６に記憶されているプログラムをＲＡＭ１０３に展開して実行することにより達成されるものとして説明する。

先ずＳ３０１でＣＰＵ１０１は、ＰＤＬデータ取得部１２１から受けたＰＤＬデータの描画命令を１つ選択する。次にＳ３０２に進みＣＰＵ１０１は、Ｓ３０１で選択した描画命令が画像の描画命令か否かを判定する。Ｓ３０２で画像の描画命令であると判定するとＳ３０３に進むが、そうでないときはＳ３０１に戻る。Ｓ３０３でＣＰＵ１０１は、その画像の描画命令から光沢領域を抽出する。この光沢領域の抽出方法の一例として、その画像データをブロック状、もしくは領域分割技術を用いて複数の領域に分割し、各分割された領域について光沢感を有するか否かを判定する。そして光沢感があると判定すると、その光沢感のある領域を光沢領域として抽出し、光沢感が無ければ非光沢と判定することができる。また、光沢感の有無の判定方法の一例として、ヒストグラムの歪度を求め、その歪度が閾値以上かを判定する等の方法を利用しても良い。

次にＳ３０４に進みＣＰＵ１０１は、Ｓ３０３で抽出された光沢領域の内の１つを選択する。次にＳ３０５に進みＣＰＵ１０１は、Ｓ３０４で選択した光沢領域に含まれる高輝度の画素を抽出する。尚、ここではＳ３０３で少なくとも一つの光沢領域を抽出したものとして説明している。Ｓ３０３で複数の光沢領域を抽出したときは、その光沢領域の数の分、Ｓ３０４〜Ｓ３１２の処理が繰り返されることになる。ここで、Ｓ３０５での高輝度の画素の抽出方法の一例としては、ＲＧＢの画素値の平均が、例えば「２４０」以上である画素を抽出しても良い。次にＳ３０６に進みＣＰＵ１０１は、高輝度の画素の固まりを抽出し、それらの固まりを１つの反射部とする。尚、ここでも、Ｓ３０６で少なくとも一つの反射部を見つけたものとして説明している。Ｓ３０６で複数の反射部を見つけたときは、その反射部の数の分、Ｓ３０７〜Ｓ３１１の処理が繰り返されることになる。

次にＳ３０７に進みＣＰＵ１０１は、Ｓ３０６で見つけた反射部のうち１つを選択してＳ３０８に進み、その選択した反射部の面積を求めて反射部の太らせ量を決定する。

図４（Ａ）は、実施形態における、反射部の描画時の面積と、それに対応する太らせ画素数との関係を示す図である。

図４（Ａ）の横軸は、選択した反射部の面積に描画時の拡大率を乗じた値（反射部の描画時の面積）であり、縦軸は太らせる画素数である。図４（Ａ）では、反射部の描画時の面積が大きいほど太らせ量が大きく、反射部の描画時の面積が小さいほど太らせ量が小さく決定される。

次にＳ３０９に進みＣＰＵは、Ｓ３０７で選択した反射部に含まれる画素の輝度を上げる処理を行う。

図４（Ｂ）は、画素の輝度を上げる処理を行うための１ＤＬＵＴ（一次元ルックアップテーブル）の一例を示す図である。図４（Ｂ）の横軸は、入力した画像データの画素値であり、縦軸は、輝度を上げた結果である出力画素値を示している。尚、実施形態では、この画素値の輝度を上げる処理は、ＲＧＢの各要素に適応させている。

次にＳ３１０に進みＣＰＵは、その選択した反射部の太らせ処理を行う。この太らせ処理の詳細は図５を参照して後述する。Ｓ３１１に進みＣＰＵ１０１は、選択した光沢領域の全ての反射部を選択して処理したか否かを判定し、まだ選択していない反射部があればＳ３０７に進み、次の反射部を選択して、上述した処理を行う。こうして選択した光沢領域の全ての反射部を選択して、それに対する処理が終了するとＳ３１２に進む。Ｓ３１２でＣＰＵ１０１は、選択した描画命令の入力画像の全ての光沢領域を選択したか否かを判定し、まだ選択していない未処理の光沢領域があればＳ３０４に進み次の光沢領域を選択して、上述した処理を実行する。こうして選択した光沢領域の全ての反射部に対する処理が終了するとＳ３１３に進みＣＰＵ１０１は、入力した画像データを処理後の画像データに変更してＳ３１４に進む。Ｓ３１４でＣＰＵ１０１は、全ての描画命令を選択したか否かを判定し、全ての描画命令を処理をしていないときはＳ３０１に進んで未選択の描画命令を受信し、全ての描画命令を処理していると判定すると、このフローチャートで示す処理を終了する。

次に図５を参照して、前述の光沢制御部１２２による処理の詳細を用いて説明する。図３のＳ３１０の反射部を太らせ処理では、処理した結果が不自然にならないように、周囲の画素との中間色の画素を作りながら、反射部の太らせ処理を行う。

図５は、実施形態に係る画像処理装置１００による反射部の画像データに対する処理を説明する概念図である。

図５（Ａ）の画像５０１は、図２（Ａ）で示したＰＤＬデータの画像描画命令の入力画像の例と同じである。図５（Ａ）の５０２は、その自動車の反射部の一部を拡大した部分を示す。この部分５０２には、自動車の車体の色である赤色の部分５０３と、反射部中の白色の部分５０４と、その間の薄赤色の中間部５０５が含まれる。尚、この拡大されている反射部５０４に対しては、図３のＳ３１０で太らせ量が「３」に決定されているとする。

図５（Ｂ）の５１０は、図５（Ａ）の画像５０１で、反射部の画素を強調して示した画像で、黒い部分が反射部の画素、白い部分が非反射部の画素を示している。画像５１０では、画像５０１の自動車と白線は点線で示されており、これは反射部の位置を解りやすくするためであり、実際には存在しない。中間部は輝度が低いため非反射部となる。図５（Ｂ）の５１１は、図５（Ａ）の右側部分５０２で、反射部と非反射部との分けて示す画像である。

図５（Ｃ）は、図５（Ａ）の画像の反射部５０４の画素を、反射部５０４の周辺の非反射部の画素に向かって上下左右に１画素ずつ太らせた（拡張した）画像を示す。この図では上及び左に太らせた結果のみ確認できるが、下及び右について同様に太らせている。

図５（Ｄ）も同様に、図５（Ｂ）の画像の反射部の画素を上下左右に１画素ずつ太らせた画像を示す。

図５（Ｅ）（Ｆ）は、このような操作を太らせ量である３回分、繰り返した結果を示す。

このように１画素ずつ太らせる処理を所定の回数行うことにより、所定の太らせ量で反射部を太らせることができることがわかる。しかしながら、太らせ処理前の画像である図５（Ａ）の画像５０２では、反射部５０４と車の色５０３との間に薄赤色の中間部５０５が存在したが、太らせ処理後の図５（Ｅ）では、その中間部が存在しない。そのため、反射部が自動車の上に浮いて存在するように見えてしまうことがある。

そこで図５（Ｇ）に示すように、図５（Ｅ）の画像に対して、最後に１画素ずつ反射部を太らせる処理をもう一度行う。そして、その太らせる際に、元の非反射部（車体の色部分５０３）の画素の色と、太らせた反射部５０４の画素との平均値を求めて、それを中間部５０５とする。

これにより、反射部を太らせた結果が不自然にならないように周囲の画素とのブレンドを行いながら、反射部の太らせ処理を行うことができる。

以上説明したように実施形態によれば、入力画像の高輝度の画像部分の画素の輝度を上げるとともに、その高輝度の画像部分を太らせる。これにより、入力画像に含まれる高輝度の画像部分、即ち、反射部を強調することができる。

尚、図３のＳ３０５における高輝度の画素の抽出方法の別の一例としては、選択した光沢領域の画素の輝度の最大値の９０％以上（割合以上）の輝度を持つ画素を抽出しても良い。また、その画像に写っている物体や光源によっては反射部の色が白色ではないことがある。そのため、各々の画素について以下の判定を行うことで、各々の画素が高輝度の画素か否かを判定してもよい。

即ち、各々の画素のＲＧＢ値について、信号値が最も大きい（明るい）要素の信号値がＴＨ１以上で、かつ次の２番目の信号値が大きい要素の信号値がＴＨ２以上、更に、その次に信号値が大きい要素（最小値）の信号値がＴＨ３以上といった条件で高輝度の画素を抽出しても良い。ここで、ＴＨ１〜ＴＨ３の一例としてＴＨ１=２４０，ＴＨ２＝２００，ＴＨ３＝１５０等が考えられる。

尚、本実施形態では、図３のＳ３０９で、選択した反射部の輝度を上げる処理を行ったが、この処理を行わなくても良い。これにより反射部の色を、より保存することができる。

また反射部の輝度値が高く、Ｓ３０９で反射部の輝度を十分に変化させることができなかった場合は、Ｓ３１０で反射部の太らせを行うことにより、反射部の光沢感を高めるように処理しても良い。

尚、本実施形態では反射部を太らせることで画像内の反射部を強調させたが、反射部を細らせることによって（非反射部を反射部に対して太らせる処理を行うことで）、光沢感を減少させる処理を行ってもよい。

尚、実施形態に係る描画部１２３が、複数の描画解像度（１インチに何画素を描画するか）で描画可能な場合は、Ｓ３０８の反射部の描画面積に応じた太らせ画素数を、描画解像度ごとに用意しても良い。また、処理の強弱や用紙サイズに応じて反射部の描画面積に応じた太らせ画素数を用意しても良い。

尚、光沢制御部１２２において光沢領域を抽出したが、この処理を行わずに高輝度の画素を抽出することで反射部を抽出しても良い。この場合、例えば図２（Ａ）の画像の場合、白線部が反射部と誤判定されてしまう。また、画像圧縮等のノイズにより微小な高輝度の画素の固まりが発生することもある。そのため、一定以上の大きさ以下、或いは、一定以上の大きさ以上の高輝度の画素の固まりを反射部から除外することで、誤判定を軽減できる。さらに、反射部から除外された高輝度の画素の固まりの近くの画素についても、反射部から除外することで、誤判定をさらに軽減できる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、本発明の実施形態はプリンタに限られず、ディスプレイやプロジェクタ等の出力デバイス、カメラやスキャナ等の入力デバイス、または、コンピュータにおけるデータ変換時に光沢制御処理を行っても良い。

１００…画像処理装置、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１２１…ＰＤＬデータ取得部、１２２…光沢制御部、１２３…描画部、１２４…出力色処理部、１２５…中間調処理部、１０７…プリンタエンジン、１１０…外部コンピュータ

Claims

画像データの複数の領域のそれぞれに光沢があるか否かを判定する判定手段と、
前記判定手段によって光沢があると判定された光沢領域に含まれる所定の輝度よりも輝度の高い高輝度の画素を含む高輝度領域を抽出する抽出手段と、
前記抽出手段によって抽出された高輝度領域を拡張する拡張手段と、を有し、
前記拡張手段は、前記高輝度領域の面積が大きいほど、前記高輝度領域を拡張する量を大きくすることを特徴とする画像処理装置。
前記抽出手段によって抽出されなかった高輝度領域を拡張しないことを特徴とする請求項１に記載の画像処理装置。
前記拡張手段は、前記高輝度領域の面積に応じた拡張量に従って前記高輝度領域を拡張することを特徴とする請求項１又は２に記載の画像処理装置。
前記判定手段は、前記複数の領域のそれぞれのヒストグラムの歪度が閾値以上であるか否かに基づいて、前記画像データの複数の領域のそれぞれに光沢があるか否かを判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記抽出手段は、前記判定手段によって光沢があると判定された光沢領域に含まれる画素のＲＧＢの値のそれぞれの最大値、２番目の値、及び最小値が、それぞれ異なる所定の閾値以上であることに基づいて、前記高輝度領域を抽出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記抽出手段は、前記判定手段によって光沢があると判定された光沢領域に含まれる画素の輝度の最大値の所定の割合以上の輝度を有する画素を含む領域を前記高輝度領域として抽出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記拡張手段は、前記高輝度領域を拡張する処理を、複数回行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
前記拡張手段は、前記高輝度領域を拡張する処理の最後で拡張した領域の画素値を、拡張する前の画素値と、前記高輝度領域の画素値との平均値にすることを特徴とする請求項７に記載の画像処理装置。
前記拡張手段は更に、前記高輝度領域の解像度に応じて前記高輝度領域を拡張する量を変更することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記高輝度領域は、画像データに含まれる反射部であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
画像処理装置を制御する制御方法であって、
画像データの複数の領域のそれぞれに光沢があるか否かを判定する判定工程と、
前記判定工程で光沢があると判定された光沢領域に含まれる所定の輝度よりも輝度の高い高輝度の画素を含む高輝度領域を抽出する抽出工程と、
前記抽出工程で抽出された高輝度領域を拡張する拡張工程と、を有し、
前記拡張工程では、前記高輝度領域の面積が大きいほど、前記高輝度領域を拡張する量を大きくすることを特徴とする画像処理装置の制御方法。
コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。