JP5418791B2

JP5418791B2 - 画像加工装置、画像加工方法及びプログラム

Info

Publication number: JP5418791B2
Application number: JP2011045039A
Authority: JP
Inventors: 裕高湯野
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2011-03-02
Filing date: 2011-03-02
Publication date: 2014-02-19
Anticipated expiration: 2031-03-02
Also published as: JP2012181738A; US20120223957A1; CN102654919B; CN102654919A

Description

本発明は、写実的画像を非写実的画像に加工する画像加工装置、画像加工方法及びプログラムに関する。

たとえば、下記の特許文献１には、デジタルカメラ等の撮像装置で撮像された写実的画像を、油絵や水彩画あるいは鉛筆画などの絵画風の非写実的画像に加工する技術（以下、従来技術という）が開示されており、この技術を用いることにより、誰でも簡単に油絵などの作品を作り出すことができる。

特開２００６−３１６８８号公報

しかしながら、従来技術は、単に写実的画像を絵画風に加工しているに過ぎないものであり、より一層、印象深い絵画を作り出す点で未だ工夫すべき余地がある。

たとえば、フィンセント・ゴッホ作の『夜のカフェ』（１８８８年９月：イェール大学美術館）は、娼婦やならず者の溜まり場である場末のカフェの情景を描いた作品で、人間のおぞましい情念を昔ながらのランプの光の色彩で表現しているが、この作品でゴッホは、ランプの光の周囲に幾重もの光の輪（以下、光輪という）を描くことによって、ランプの光の印象を強く引き出している。
このようなテクニックを応用すれば、より一層、印象深い絵画を作り出すことができる。

そこで、本発明は、写実的画像に光の部分が含まれている場合に、その光の印象を強調できるようにし、より印象深い絵画を生成できるようにする。

請求項１記載の発明は、原画像を、画像加工が施された絵画風画像に変換する画像加工手段と、前記原画像に所定値以上の明度で且つ所定値以上の大きさを持つ部分が含まれているか否かを判定する判定手段と、前記判定手段の判定結果が肯定の場合に、前記絵画風画像の当該部分を光強調表示させる処理手段と、表示部と、該表示部の光源であるバックライトと、を備え、前記絵画風画像に対する光強調表示は、前記バックライト輝度を局所的に高めることによって行われることを特徴とする画像加工装置を提供するものである。
また、請求項３記載の発明は、表示部と、該表示部の光源であるバックライトと、を備えた画像加工装置のコンピュータが、原画像を、画像加工が施された絵画風画像に変換する画像加工工程と、前記原画像に所定値以上の明度で且つ所定値以上の大きさを持つ部分が含まれているか否かを判定する判定工程と、前記判定工程の判定結果が肯定の場合に、前記絵画風画像の当該部分を前記バックライト輝度を局所的に高めることによって光強調表示する処理工程とを実行することを特徴とする画像加工方法を提供するものである。
また、請求項４記載の発明は、表示部と、該表示部の光源であるバックライトと、を備えた画像加工装置のコンピュータに、原画像を、画像加工が施された絵画風画像に変換する画像加工手段、前記原画像に所定値以上の明度で且つ所定値以上の大きさを持つ部分が含まれているか否かを判定する判定手段、前記判定手段の判定結果が肯定の場合に、前記絵画風画像の当該部分を前記バックライト輝度を局所的に高めることによって光強調表示する処理手段として機能を実現させるためのプログラムを提供するものである。

本発明によれば、写実的画像に光の部分が含まれている場合に、その光の印象を強調することができ、より印象深い絵画を生成することができる。

実施形態に係る画像加工装置の構成図である。画像加工部１０の動作フローを示す図である。加工対象の画像を示す図である。光輪付加を行わない場合の画像加工例を示す図である。光の部分の抽出概念図である。光の部分の大きさを判定する概念図である。光強調表示の概念図である。光輪付加を行った場合の画像加工例を示す図である。絵画変換用のパラメータを手動設定できるようにした例を示す図である。バックライト９の構成図である。

以下、本発明の実施形態を、図面を参照しながら説明する。
図１は、実施形態に係る画像加工装置の構成図である。この図において、画像加工装置１は、たとえば、パーソナルコンピュータまたはデジタルフォトフレームあるいはデジタルカメラを含むその他の画像表示システムとして構成されたものであって、その主要な構成要素として、画像記憶部２と、画像入出力部３と、中央制御部４と、ユーザインターフェース部５と、外部記憶部６と、表示制御部７と、表示部８と、バックライト９と、画像加工部１０とを備えている。

画像記憶部２は、ハードディスクやシリコンディスクあるいはフラッシュメモリ等の不揮発性書き換え可能な大容量記憶デバイスであり、原画像（写実的画像）や、画像加工部１０によって所要の画像加工が施された絵画風画像（非写実的画像）などを記憶保存する。なお、ここでは“画像”記憶部２としているが、これに限定されない。画像以外のデータを記憶保存するものであってもかまわない。

外部記憶部６は、脱着可能な汎用メモリデバイスであり、この汎用メモリデバイスは、たとえば、デジタルカメラの一般的な記憶デバイスであるＳＤカード型のメモリデバイスとしてもよい。

画像入出力部３は、中央制御部４の制御を受け、画像記憶部２に記憶保存されている画像を読み出して画像加工部１０に出力したり、表示制御部７を介して表示部８に出力したりする。あるいは、外部記憶部６から画像を取り込んで画像記憶部２に記憶保存したりする。または、図示を略した外部インターフェースを介してパーソナルコンピュータ等の外部機器から画像を取り込んで画像記憶部２に記憶保存したり、画像記憶部２に記憶保存されている画像を外部機器に出力したりする。

ユーザインターフェース部５は、この画像加工装置１の操作に必要な操作手段（キーデバイスやタッチデバイス等）を備える。また、必要であればその操作手段に相当する機能を有するリモコンからの光又は無線による操作信号を受信する受信部を含んでいてもよい。ユーザインターフェース部５は、操作手段またはリモコンに対して任意に行われるユーザ操作に対応した操作信号を発生して中央制御部４に出力する。

表示制御部７は、中央制御部４から適宜に出力される表示情報を表示信号に変換して表示部８に出力する。表示部８は、たとえば、液晶ディスプレイパネルなどの高精細な二次元表示デバイスであり、バックライト９は、表示部８の背面に設けられた面光源である。

中央制御部４は、プログラム制御方式の制御要素であって、不図示のフラッシュメモリ等の記憶要素とコンピュータとを含み、記憶要素にあらかじめ格納されている制御プログラムをコンピュータで実行することにより、この画像加工装置１に必要な様々な機能を実現する。

一の機能はスライドショーである。中央制御部４は、外部記憶部６に記憶保存されている画像を読み出し、表示制御部７を介して表示部８に出力し、表示部８に表示するという動作を実行することができる。このとき、メモリデバイスに複数の画像が記憶保存されていた場合には、一の画像を読み出して表示部８に表示した後、所定の時間が経過すると、次の画像を読み出して表示部８に表示するというスライドショーの動作を繰り返し実行する。スライドショーは、外部記憶部６にＳＤカードが装着されたときに自動的に実行してもよいし、あるいは、ユーザ操作に応答して任意に実行してもよい。

二の機能は画像の転送である。中央制御部４は、外部記憶部６に記憶保存されている画像を読み出し、その画像を画像記憶部２に転送して記憶保存させるという動作を実行することができる。また、この画像の転送は、画像記憶部２から外部記憶部６の方向でも行うことができ、さらに、画像記憶部２からパーソナルコンピュータ等の外部機器の間でも行うことができる。この画像の転送も、外部記憶部６にＳＤカードが装着されたときに自動的に実行してもよいし、あるいは、ユーザ操作に応答して任意に実行してもよい。

三の機能は画像の加工である。中央制御部４は、ユーザ操作に応答して、外部記憶部６に記憶保存されている画像、または、画像記憶部２に記憶保存されている画像の一つを選択し、その画像を原画像にして絵画風の画像に変換するという画像の加工を行うことができる。この画像の加工は、ソフトウェア的に行ってもよいが、本実施形態では、画像加工部１０でハードウェア的に行うものとする。

画像加工部１０は、画像加工のためのハードウェア要素であり、ＨＳＶ解析部１１と、Ｖ値フィルタ部１２と、第１判断部１３と、範囲計算部１４と、第２判断部１５と、光輪付加部１６と、絵画変換部１７と、画像バッファ１８とを備える。

ＨＳＶ解析部１１は、画像の画素値（一般的にはＲＧＢ系の画素値）をＨＳＶ系の画素値に変換する。ＨＳＶ系は画素値を色相（Ｈｕｅ）と彩度（Ｓａｔｕｒａｔｉｏｎ）と明度（Ｖａｌｕｅ）で表したものであり、ＲＧＢ（赤、緑、青）系に比べて人間の感覚に近い色表示系である。ＨＳＢ系ということもある。以下、変換後の画像をＨＳＶ画像という。

Ｖ値フィルタ部１２は、ＨＳＶ画像に対してＶ値フィルタをかける部分である。Ｖ値は明度（Ｖａｌｕｅ）のことであり、画素の明るさのことをいう。Ｖ値が大きいほど明るい。Ｖ値の最大は白レベル、最小は黒レベルである。「Ｖ値フィルタをかける」とは、ＨＳＶ画像から所定の明るさ（Ｖ値閾値）以上の画素を取り出すことをいう。

第１判断部１３は、ＨＳＶ画像にＶ値閾値を超える明るさを持つ画素が見つかったか否かを判断し、見つからなかった場合は、ＨＳＶ画像を絵画変換部１７に送り、見つかった場合は、ＨＳＶ画像を第２判断部１５に送る。

範囲計算部１４は、Ｖ値フィルタ部１２のフィルタ結果に基づき、Ｖ値閾値を超える明るさを持つ部分の大きさを計算する。この計算は、ＨＳＶ画像に含まれる光の大きさを計算することに相当する。大きさをサイズ、または範囲と言い換えてもよい。第２判断部１５は、計算された光の大きさが所定の基準値（以下、範囲閾値）以下であれば、ＨＳＶ画像を絵画変換部１７に送り、範囲閾値以上であれば、ＨＳＶ画像を光輪付加部１６に送る。

光輪付加部１６は、ＨＳＶ画像に含まれる範囲閾値以上の大きさの光に所定の強調表示（ここでは光輪）を付加し、付加後のＨＳＶ画像を絵画変換部１７に送る。

絵画変換部１７は、第１判断部１３から送られたＨＳＶ画像、第２判断部１５から送られたＨＳＶ画像、または、光輪付加部１６から送られたＨＳＶ画像のいずれかに対して所要の画像加工（たとえば、ユーザ操作によって指定された油絵風や水彩画風あるいは鉛筆画風など）を行い、加工後の画像を画像バッファ１８を介して画像記憶部２に出力するとともに、表示制御部７を介して表示部８に出力する。

図２は、画像加工部１０の動作フローを示す図である。なお、画像の加工をソフトウェア的に行う場合は、このフローチャートと同等の機能を有する処理プログラムを中央制御部４で実行すればよい。

このフローチャートでは、まず、ユーザ操作による絵画変換処理要求（ステップＳ１）に応答して、変換対象の画像を読み込む（ステップＳ２）。読み込む画像は画像記憶部２に保存されている画像であってもよく、あるいは、外部記憶部６に保存されている画像であってもよい。

次いで、画像の画素情報から人間の感覚に近いＨＳＶ系の画素値を計算し（ステップＳ３）、所定の明るさ（Ｖ値閾値）以上の明るさ（Ｖ値）の画素が存在するか否かを判定する（ステップＳ４）。

Ｖ値閾値以上のＶ値が存在しなければ、そのまま絵画変換処理（ステップＳ７）を実行するが、Ｖ値閾値以上のＶ値が存在している場合は、そのＶ値の範囲が所定の大きさ（範囲閾値）以上か否かを判定し（ステップＳ５）、範囲閾値以上でなければ、そのまま絵画変換処理（ステップＳ７）を実行する一方、範囲閾値以上であれば、光を円や楕円で囲むという光輪付加処理（ステップＳ６）を実行してから絵画変換処理（ステップＳ７）を実行する。

そして、いずれの場合も、この絵画変換処理（ステップＳ７）で所要の画像加工（たとえば、ユーザ操作によって指定された油絵風や水彩画風あるいは鉛筆画風など）を施し、加工後の画像を画像バッファ１８を介して画像記憶部２に出力するとともに、表示制御部７を介して表示部８に出力（ステップＳ８）して、フローを終了する。

以上の画像加工を具体例を挙げて説明する。
図３は、加工対象の画像を示す図である。この図では、室内を撮影した画像１９を例にしている。画像１９には、いくつかの明かり（フロアスタンド２０やデスクスタンド２１及び鏡に反射した光２２）が写し込まれている。なお、（ａ）は画像１９の原画である。この原画は実際にはカラーであるが、特許図面の制約上、モノクロに変換し、さらにデザリング処理している。（ｂ）は説明のための画像１９の線画である。

図４は、光輪付加を行わない場合の画像加工例を示す図である。たとえば、この加工例では、原画（画像１９）に対して油絵風の加工を行った画像２３を示しており、画像２３は、油絵の具の色合いや質感及び絵筆のタッチなどが再現されている。この画像２３は、絵画風の非写実的画像であり、「絵画作品」としての一応の面白みを得られるが、光の印象を際立たせるという点で不足している。

そこで、本実施形態では、原画（画像１９）から光の部分を抽出し、その光の部分の大きさが所定の大きさを超える場合に、その光の部分を強調表示（たとえば、光輪を付加するなど）してから、所要の画像加工（たとえば、油絵風の加工）を行うようにした。

図５は、光の部分の抽出概念図である。この図において、原画である画像１９に対してＶ値フィルタを適用すると、所定のＶ値閾値を超えるＶ値（明るさ）を持つ部分が取り出される。図中の白い部分２４、２５、２６がＶ値閾値を超える明るさを持つ部分である。

図６は、光の部分の大きさを判定する概念図である。この図において、図５の白い部分２４、２５、２６のうち、二つの部分２４、２５の周囲に枠線が描かれている。これは、これら二つの部分２４、２５の大きさが範囲閾値以上の大きさを持つことを示している。

図７は、光強調表示の概念図である。この図において、範囲閾値を超えた大きさの明かりの周囲（図６の白い部分２４、２５参照）に光強調表示を行っている。光強調表示の一例は光輪２７、２８の付加である。光輪とは光の輪のことである。輪は円であっても楕円であってもよい。輪の大きさは、対象となる明かりの大きさに応じて比例的に変化することが望ましい。輪の数も一つに限らず、複数であってもよい。複数の場合は外に行くほど明度を下げてもよい。光輪の色は明かりの同色であってもよいし、類似した色であってもよい。また、光輪を若干透明にして背景が透けて見えるようにしてもよい。あるいは、輪は連続していなくてもよい。つまり、途切れた輪であってもよい。この場合、輪の途切れは１カ所であっても複数箇所であってもよい。

図８は、光輪付加を行った場合の画像加工例を示す図である。この加工例でも、先の図４と同様に、油絵風の加工を行った画像２９を示しているが、加工対象の画像が原画１９そのものではなく、原画１９に対して光輪２７、２８の付加を行った後の画像である点で先の図４と相違する。したがって、この図８の加工画像は、油絵の具の色合いや質感及び絵筆のタッチなどが再現されていることに加え、さらに、光輪２７、２８によって光の印象深さを強調しているから、より、美観に優れた絵画作品とすることができる。

以上説明したとおり、本実施形態によれば、画像内に光る部分が存在した場合に、その光の部分に光輪を付加してから、画像加工を行うようにしたので、光を強調表示し、より一層、印象深い絵画を生成することができるという利点が得られる。

なお、前記実施形態の絵画変換用のパラメータ（Ｖ値閾値や範囲閾値）をユーザの好みに応じて任意に変更できるようにしてもよい。

図９は、絵画変換用のパラメータを手動設定できるようにした例を示す図である。この図において、インターフェース画面３０には、二つのスライドコントロール３１、３２が設けられている。上に位置する第１のスライドコントロール３１はＶ値閾値設定用であり、下に位置する第２のスライドコントロール３２は範囲閾値設定用である。

第１のスライドコントロール３１のつまみをドラッグして左に移動させるとＶ値閾値を低くすることができ、右に移動させるとＶ値閾値を高くすることができる。したがって、Ｖ値閾値を低くすれば、暗めの光を取り出すことができるようになり、その逆にＶ値閾値を高くすれば、より明るい光だけを取り出すことができるようになる。

また、第２のスライドコントロール３２のつまみをドラッグして左に移動させると範囲閾値を狭くすることができ、右に移動させると範囲閾値を広くすることができる。したがって、範囲閾値を狭くすれば、小さな光に対しても光輪を付加することができるようになり、その逆に範囲閾値を広くすれば、より大きい光にのみ光輪を付加することができるようになる。

作品の仕上がり具合を見ながら、試行錯誤的にＶ値閾値や範囲閾値を設定することにより、ユーザの好みに適合した光強調効果を得ることができる。

また、以上の実施形態では、画像の加工で光の強調を行っているが、これに限定されない。たとえば、バックライト９の局所的な輝度制御を併用してもよい。画像の光部分の背景輝度（バックライト輝度）を上げることにより、見た目どおりに光の強調表示を行うことができる。

図１０は、局所的な輝度制御を行うことができるバックライト９の構成図である。この図において、バックライト９は、多数の点光源（ＬＥＤ等）を行列状にマトリクス配列した発光パネル９ａと、その発光パネル９の表面を覆う光拡散板９ｂと、点光源の輝度を個別に制御する行駆動部９ｃ及び列駆動部９ｄとを備える。

このような構成を有するバックライト９は、通常は表示部８に対する面光源として働くが、たとえば、図８のような非写実的画像を表示部８に表示する際には、その光の部分の背景輝度（バックライト９の輝度）を局所的に高めることにより、光の強調表示を行うことができる。

以上、本発明のいくつかの実施形態を説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本件出願の特許請求の範囲に記載された発明を付記する。

（付記１）
請求項１記載の発明は、写実的画像を非写実的画像に加工する画像加工手段と、前記写実的画像に所定値以上の明るさで且つ所定値以上の大きさを持つ部分が含まれているか否かを判定する判定手段と、前記判定手段の判定結果が肯定の場合に当該部分を強調表示するように画像処理する処理手段とを備えたことを特徴とする画像加工装置である。

（付記２）
請求項２記載の発明は、前記強調表示は、円または楕円の付加によって行われることを特徴とする請求項１に記載の画像加工装置である。

（付記３）
請求項３記載の発明は、前記円または楕円の大きさが、前記判定手段によって肯定が判定された場合の対象部分の大きさに比例して変化することを特徴とする請求項２に記載の画像加工装置である。

（付記４）
請求項４記載の発明は、前記円または楕円の本数が、前記判定手段によって肯定が判定された場合の対象部分の明るさに比例して増えることを特徴とする請求項２又は請求項３に記載の画像加工装置である。

（付記５）
請求項５記載の発明は、前記強調表示は、前記非写実的画像を表示する表示部のバックライト輝度を局所的に高めることによって行われることを特徴とする請求項１乃至請求項４いずれかに記載の画像加工装置である。

（付記６）
請求項６記載の発明は、写実的画像を非写実的画像に加工する画像加工工程と、前記写実的画像に所定値以上の明るさで且つ所定値以上の大きさを持つ部分が含まれているか否かを判定する判定工程と、前記判定工程の判定結果が肯定の場合に当該部分を強調表示するように画像処理する処理工程とを含むことを特徴とする画像加工方法である。

（付記７）
請求項７記載の発明は、コンピュータに、写実的画像を非写実的画像に加工する画像加工手段、前記写実的画像に所定値以上の明るさで且つ所定値以上の大きさを持つ部分が含まれているか否かを判定する判定手段、前記判定手段の判定結果が肯定の場合に当該部分を強調表示するように画像処理する処理手段としての機能を実現させるためのプログラムである。

１画像加工装置
４中央制御部（コンピュータ）
８表示部
９バックライト
１３第１判断部（判定手段）
１５第２判断部（判定手段）
１６光輪付加部（処理手段）
１７絵画変換部（画像加工手段）

Claims

原画像を、画像加工が施された絵画風画像に変換する画像加工手段と、
前記原画像に所定値以上の明度で且つ所定値以上の大きさを持つ部分が含まれているか否かを判定する判定手段と、
前記判定手段の判定結果が肯定の場合に、前記絵画風画像の当該部分を光強調表示させる処理手段と、
表示部と、該表示部の光源であるバックライトと、
を備え、
前記絵画風画像に対する光強調表示は、前記バックライト輝度を局所的に高めることによって行われることを特徴とする画像加工装置。
前記原画像を絵画風画像に変換する画像加工手段は、前記原画像のＨＳＶ画像を、油絵風、水彩画風、または鉛筆画風のいずれかに加工して絵画風画像に変換することを特徴とする請求項１記載の画像加工装置。
表示部と、該表示部の光源であるバックライトと、を備えた画像加工装置のコンピュータが、
原画像を、画像加工が施された絵画風画像に変換する画像加工工程と、
前記原画像に所定値以上の明度で且つ所定値以上の大きさを持つ部分が含まれているか否かを判定する判定工程と、
前記判定工程の判定結果が肯定の場合に、前記絵画風画像の当該部分を前記バックライト輝度を局所的に高めることによって光強調表示する処理工程と
を実行することを特徴とする画像加工方法。
表示部と、該表示部の光源であるバックライトと、を備えた画像加工装置のコンピュータに、
原画像を、画像加工が施された絵画風画像に変換する画像加工手段、
前記原画像に所定値以上の明度で且つ所定値以上の大きさを持つ部分が含まれているか否かを判定する判定手段、
前記判定手段の判定結果が肯定の場合に、前記絵画風画像の当該部分を前記バックライト輝度を局所的に高めることによって光強調表示する処理手段
として機能を実現させるためのプログラム。