JP5707947B2 - 画像処理装置 - Google Patents

Description

本発明は、ユーザが画像に対して所定の処理を適用して画像を加工する画像処理装置に関する。

画像に対して様々な効果をかけて画像を加工するいわゆる画像処理ソフトは、有料のものから無料のものまで多種多様なものが提供されている。ユーザが画像に対してある効果をかけたい場合、画像処理ソフトにおいて目的の効果を指定し、その強度などを表す各種パラメータを設定するのが一般的である。画像処理ソフトによっては、処理対象の画像の特徴に合わせてパラメータを自動的に設定する技術が考えられ既に知られている。

しかし、今までの画像処理ソフトを利用するためには画像処理に関するある程度の知識を必要とするという問題があった。より具体的には、ユーザが画像処理ソフトを利用して画像を加工する際は、画質をどのように変えたいかという明確な目的がある場合が多い。例えば、「建物の立体感を出したい」、「布の質感を高めたい」、「花の色鮮やかさを強調したい」等である。

しかしながら、一般的な画像処理ソフトが提供する機能は、画像の物理的な特徴を直接的に操作するものであり、名称もそれに沿って付けられている。例えば、鮮鋭化処理、コントラスト補正、明度補正、ガンマ補正等である。

このため、不慣れなユーザの視点からは、どの処理を実行すれば目的とする画質に近づけるのかが分かりづらいという問題があった。特に、複数の処理を組合せる必要があるようなケースでは組合せパターンが多いうえ、効果が高い組合せやそうでない組合せの判断が難しい。

また、特許文献１には、印刷指示における設定作業を容易にする目的で、印刷文書の用途を示す印刷目的を選択することにより、選択された目的と対応付けて予め登録された推奨印刷条件に基づいて印刷設定画面を表示する技術が開示されている。しかし、設定画面を表示するだけではユーザが印刷結果をイメージすることは困難であり、操作が直感的でないという問題は解消できていない。

つまり、ユーザの目的と画像処理ソフトが提供する機能が必ずしも直接的には対応つかず、直感的な操作がしづらいという問題があった。

そこで、本発明は、ユーザが画像に対して所定の処理を適用して画像を加工する画像処理装置において、ユーザが画像処理の専門知識を必要とせず、直感的に意図する画質に近づけることができることを目的とする。

本発明は、入力画像を解析して特徴量を抽出する画像特徴抽出手段と、予め用意された参照画像、参照画像から画像特徴抽出手段を用いて抽出された特徴量、参照画像を加工した結果である結果画像、加工に使用した画像処理、並びに加工に使用した画像処理のパラメータとを対応付けて記憶する参照画像記憶手段と、入力画像から抽出された特徴量を用いて参照画像記憶手段を検索し、入力画像に類似する参照画像を取得する参照画像検索手段と、参照画像検索手段により取得された参照画像と対応する結果画像とをセットで表示する画像表示手段と、画像表示手段に表示されたセットから任意のセットを選択する参照画像選択手段と、参照画像選択手段によって選択されたセットと対応する画像処理のパラメータとを用いて入力画像を加工する画像処理手段と、感性語と画像処理、並びに画像処理が感性語に与える影響度とを対応付けて記憶する感性語記憶手段とを備え、参照画像記憶手段が参照画像と感性語、並びに参照画像と感性語との一致度とを対応付けて記憶することを特徴とする。

本発明によれば、画像処理ソフトにより画像を加工する際は、適用する処理に関する知識を必要とせず、直感的に実行することができるという効果を奏する。

また、事例として蓄積された画像処理前後の画像の中から、処理対象画像と類似するものを検索して参照することによって、画像処理の適用によって処理対象画像がどのように変化するかをイメージすることができるという効果を奏する。

更に、蓄積された事例の画像処理とパラメータを用いて処理対象画像を加工することができるため、ユーザが画像処理の種類やパラメータを意識する必要がないという効果を奏する。

本発明の実施形態に係る画像処理装置の機能ブロック図（その１）である。 本発明の実施形態に係る画像処理装置の処理フロー図（その１）である。 本発明の実施形態に係る画像処理装置の装置構成図である。 本発明の実施形態に係る画像処理画面の例１である。 本発明の実施形態に係る画像処理画面の例２である。 本発明の実施形態に係る画像処理装置の機能ブロック図（その３）である。 本発明の実施形態に係る画像処理装置の処理フロー図（その３）である。 本発明の実施形態に係る画像処理装置の機能ブロック図（その４）である。

本発明の実施形態について説明を行う。本発明は、画像処理に際して、以下の特徴を有する。即ち、データベースに登録された参照画像の中から処理対象画像に類似するものを選び、その参照画像とその参照画像の加工後の画像（結果画像）とをセット（参照画像セット）でユーザに提示して、ユーザが自分の加工意図に最も沿っていると考えるセットを選択すると、選択されたセットが加工された際に利用された画像処理やパラメータを用いて処理対象画像を加工することが特徴になっている。

上記の本発明の特徴について、以下の図面を用いて詳細に解説する。図１は、本発明の実施形態に係る画像処理装置の機能ブロック図（その１）である。

本発明を実装した画像処理装置１００は、ユーザによって入力された処理対象画像から予め設定された画像特徴量を抽出する画像特徴抽出部１０１と、予め用意された参照画像と、前記参照画像から前記画像特徴抽出部１０１により抽出された画像特徴量、前記参照画像を加工した結果である結果画像、並びに前記加工に使用した画像処理の種類、前記加工に使用したパラメータとを対応付けて記憶する参照画像記憶部１０６と、前記画像特徴抽出部１０１で抽出された画像特徴量を用いて前記参照画像記憶部１０６を検索する参照画像検索部１０２と、前記参照画像検索部１０２によって類似すると判断された参照画像と結果画像とを対応付けて参照画像セットとして表示する画像表示部１０３と、前記画像表示部１０３に表示された参照画像セットから任意のセットをユーザに選択させる参照画像選択部１０４と、前記参照画像選択部１０４により選択されたセットに対応する画像処理の種類とパラメータとを取得し、処理対象画像に対して前記画像処理を前記パラメータで実行する画像処理部１０５から構成される。

なお、参照画像記憶部１０６に記憶されている参照画像に対応する画像特徴量は、画像特徴抽出部１０１で予め抽出されたものである。また、参照画像記憶部１０６に記憶されている参照画像と結果画像、画像処理の種類、並びにそのパラメータは、予めオペレータにより設定されたものである。

図２は、本発明の実施形態に係る画像処理装置の処理フロー図（その１）である。

始めに、ユーザは、処理対象画像を本発明による画像処理装置（以下、本装置と略す）１００に入力する（ステップＳ２０１）。次に、本装置１００は、処理対象画像を解析し、予め設定された画像特徴に関する画像特徴量を画像特徴抽出部１０１を用いて抽出する（ステップＳ２０２）。

次に、本装置１００は、抽出された画像特徴量を用いて、参照画像検索部１０２により参照画像記憶部１０６に記憶された参照画像群を検索し、一致度の高い参照画像を見つけるとともに、それらに対応付けて記憶されている結果画像、画像処理の種類、並びにパラメータを取得する（ステップＳ２０３）。

次に、本装置１００は、取得された参照画像と結果画像とを対応付けて画像表示部１０３に表示する（ステップＳ２０４）。次に、ユーザは、本装置１００の参照画像選択部１０４を用いて、処理対象画像の加工イメージに最も近い参照画像と結果画像とのセットを選択する（ステップＳ２０５）。

次に、本装置１００は、画像処理部１０５により選択されたセットに対応する画像処理の種類とパラメータを用いて処理対象画像を加工する（ステップＳ２０６）。最後に、本装置１００は、処理結果の画像を出力する（ステップＳ２０７）。

図３は、本発明の実施形態に係る画像処理装置の装置構成図である。本装置１００は、処理対象画像を取得するカメラ３０１、画像特徴抽出部１０１と、参照画像検索部１０２と、画像表示部１０３と、参照画像選択部１０４と、並びに画像処理部１０５を構成するコンピュータ３０２、および、参照画像記憶部１０６を構成する参照画像データベース３０４から構成される。

なお、画像特徴抽出部１０１、参照画像検索部１０２、並びに画像処理部１０５は、コンピュータ３０２のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）が構成し、画像表示部１０３はディスプレイ、参照画像選択部１０４はキーボードとマウスにより構成される。

図４は、本発明の実施形態に係る画像処理画面の例１である。画像処理画面は、処理対象画像を表示するプレビュー表示領域４０１と、参照画像セットを表示しユーザに選択させるための参照画像セット表示領域４０２とから構成される。

ユーザがカメラで撮影した画像や既に蓄積された画像を処理対象画像として入力すると、処理対象画像はプレビュー表示領域に表示されるとともに、先述した手続きにより参照画像セットが取得される。取得された参照画像セットは、参照画像セット表示領域に表示され、ユーザは任意のセットを選択することができる。

本実施例では、三つの参照画像セット４０３〜４０５が表示されている。参照画像セットは、左側に参照画像が、右側に結果画像が表示され、間に矢印を表示することにより加工前後が識別できるようになっている。なお、参照画像セットの並び順は、処理対象画像と参照画像との類似度順に表示することが望ましい。また、表示する参照画像セットの数は、任意に指定できることが望ましく、また参照画像と結果画像との位置関係も左右だけでなく上下など他の配置も指定できることが望ましい。

ユーザは、表示されている参照画像セットの中から処理対象画像の加工後のイメージに最も近いものを選択する。参照画像セットが選択されると、その参照画像セットに対応する画像処理の種類とパラメータを用いて処理対象画像に画像処理を実行する。画像処理の結果は、プレビュー表示領域に表示される。ユーザは表示された画像が満足のいくものであれば、画像を保存したり、印刷したりして出力することができる。

この様にして、ユーザは過去に類似する画像がどのように加工されたかの事例をベースに、処理対象画像に対して適用する画像処理の種類やパラメータを決定することができるため、画像処理に関する知識を必要とせず、直感的な操作で画像を好みに加工することができる。

本実施例の機能ブロック図や処理フロー図、装置構成図は、実施例１と同じであるため、省略する。本実施例と実施例１との差異は、処理対象画像を加工する際に、参照画像セットに基づく画像処理に加えて任意の画像処理を実行できる点である。

図５は、本発明の実施形態に係る画像処理画面の例２である。図５は図４と比較して、パラメータ指定領域５０６が存在する点が異なる。パラメータ指定領域には、ユーザにより選択された参照画像セットの加工に用いられた画像処理が表示されており、例えば、スライドバーを用いてその画像処理に利用するパラメータを指定することができる。

ここでは、パラメータの指定にスライドバーを用いているが、値を直接指定するなど他の手段を用いても良い。またパラメータの初期値は参照画像セットの加工に用いられた値であることが望ましい。更に、パラメータ指定領域で指定できる画像処理の種類は、参照画像セットの加工に用いられたものの他に、例えば、他の参照画像セットの加工に用いられたものも利用できたり、ユーザが任意に追加できたりすることが望ましい。パラメータ指定領域で何らかの画像処理のパラメータが変更された際には、変更後のパラメータを用いて処理対象画像に画像処理を実行し、得られた画像でプレビュー表示領域を更新する。

この様にして、ユーザは過去に類似する画像がどのように加工されたかの事例をベースに、処理対象画像に対して適用する画像処理の種類やパラメータを決定できるだけでなく、更に好みに合わせて画像を調整することができる。

図６は、本発明の実施形態に係る画像処理装置の機能ブロック図（その３）である。本実施例の機能ブロック図（その３）と実施例１の機能ブロック図（その１）との差異は、画像処理部６０５が処理結果画像を出力する際に、処理対象画像、処理結果画像、利用した画像処理の種類、並びにパラメータを参照画像記憶部６０６に新しいエントリとして登録する点と、参照画像セットの利用頻度を管理する利用頻度記憶部６０７が追加されている点である。

本装置は、画像の加工に関する事例が多いほど、ユーザの意図に近い事例が見つかりやすくなり、より使い勝手がよくなる。このため、参照画像記憶部６０６に新しいエントリを登録することによって、画像の加工に関する事例を蓄積し、次回以降に本装置を利用する際、よりユーザの意図に近い参照画像セットが見つかる可能性が高まる。

また、参照画像の利用頻度を管理することによって、参照画像セット表示部に表示する参照画像セットの順番を決定する際に利用頻度順に並べたり、処理対象画像を用いて類似する参照画像を検索する際に参照画像の利用頻度も考慮して一致度を評価したりすることができる。これは利用頻度の高い参照画像セットはより高品質な事例であるという仮定に基づいており、よりユーザの意図に近い参照画像セットを提示できることが期待できる。

図７は、本発明の実施形態に係る画像処理装置の処理フロー図（その３）である。

始めに、ユーザは、処理対象の画像を本発明による画像処理装置（以下、本装置と略す）６００に入力する（ステップＳ７０１）。次に、本装置６００は、処理対象画像を解析し、予め設定された画像特徴に関する画像特徴量を画像特徴抽出部６０１を用いて抽出する（ステップＳ７０２）。

次に、本装置６００は、抽出された画像特徴量を用いて参照画像検索部６０２により参照画像記憶部６０６に記憶された参照画像群を検索し、一致度の高い参照画像を見つけるとともに、それらに対応付けて記憶されている結果画像、画像処理の種類、並びにパラメータを取得する（ステップＳ７０３）。

次に、本装置６００は、取得された参照画像と結果画像とを対応付けて画像表示部６０３に表示する（ステップＳ７０４）。次に、ユーザは、本装置６００の参照画像選択部６０４を用いて、処理対象画像の加工イメージに最も近い参照画像と結果画像とのセットを選択する（ステップＳ７０５）。

次に、本装置６００は、画像処理部６０５により選択されたセットに対応する画像処理の種類とパラメータを用いて処理対象画像を加工する（ステップＳ７０６）。次に、本装置６００は、処理結果の画像を出力する（ステップＳ７０７）。

次に、本装置６００は、ユーザにより画像が確定されると処理対象画像と処理結果画像、画像処理の種類、パラメータを対応付けて参照画像記憶部６０６に記録する（ステップＳ７０８）。最後に、本装置６００は、利用頻度記憶部６０７に記憶された処理結果画像の作成に利用された参照画像セットの利用頻度を更新する（ステップＳ７０９）。

図８は、本発明の実施形態に係る画像処理装置の機能ブロック図（その４）である。本実施例の機能ブロック図（その４）と実施例１の機能ブロック図（その１）との差異は、参照画像記憶部８０６において参照画像と対応つけられているものが画像処理の種類ではなく感性語である点、並びに感性語と対応する画像処理の種類とパラメータとを対応付けて記憶する感性語記憶部８０７を備える点である。

実施例２では、ユーザにより参照画像セットが選択された際に、更に画像を調整するために画像処理のパラメータを指定するためのスライドバーを表示していた。しかし、先述したように画像処理の名称は画像の物理的な特徴を表していることが多いため、画像処理の知識を持たないユーザには直感的に分かりづらい。そこで、画像処理の名称を画像の特徴を表す形容詞である感性語で代替することにより、直感的に分かりやすくなることが期待できる。

本発明では、予めオペレータにより参照画像と、その画像を表現する感性語、並びに画像と感性語との一致度とを対応付けて参照画像記憶部８０６に登録しておく。併せて各感性語と、その一致度に影響を与える画像処理の種類と各処理の影響度合いを表す重みとを対応付けて感性語記憶部８０７に登録しておく。

ユーザに対してパラメータ指定領域を表示する際には、参照画像に対応つけられた感性語の中から特に一致度の高いものを１つ以上選択し、その感性語を表示する。併せて各感性語のパラメータを変更するためのスライドバーの初期値として一致度を利用する。ユーザによってある感性語のスライドバーが変更されると、その感性語に影響を与える画像処理の種類と重みに基づいて画像処理を実行し、処理結果を用いてプレビュー表示領域を更新する。

この様にして、ユーザに画像処理を意識させることなく、より抽象的な感性語を用いることによって、直感的に分かりやすい操作が実現できる。

以上、いくつかの実施例を説明したが、特許請求の範囲に定義された本発明は趣旨、及び、その範囲から逸脱することなく、これらの実施例や具体例に様々な修正、及び、変更が可能である。

１００ 画像処理装置
１０１ 画像特徴抽出部
１０２ 参照画像検索部
１０３ 画像表示部
１０４ 参照画像選択部
１０５ 画像処理部
１０６ 参照画像記憶部
３０１ カメラ
３０２ コンピュータ
３０４ 参照画像データベース
４０１ プレビュー表示領域
４０２ 参照画像セット表示領域
４０３ 参照画像セット
５０６ パラメータ指定領域
６０７ 利用頻度記憶部
８０７ 感性語記憶部

特開２０００−２３５４６６号公報

Claims (8)

1. 入力画像を解析して特徴量を抽出する画像特徴抽出手段と、
   予め用意された参照画像、前記参照画像から前記画像特徴抽出手段を用いて抽出された特徴量、前記参照画像を加工した結果である結果画像、前記加工に使用した画像処理、並びに前記加工に使用した前記画像処理のパラメータとを対応付けて記憶する参照画像記憶手段と、
   前記入力画像から抽出された特徴量を用いて前記参照画像記憶手段を検索し、前記入力画像に類似する参照画像を取得する参照画像検索手段と、
   前記参照画像検索手段により取得された参照画像と対応する結果画像とをセットで表示する画像表示手段と、
   前記画像表示手段に表示された前記セットから任意のセットを選択する参照画像選択手段と、
   前記参照画像選択手段によって選択された前記セットと対応する画像処理のパラメータとを用いて前記入力画像を加工する画像処理手段と、
   感性語と画像処理、並びに前記画像処理が前記感性語に与える影響度とを対応付けて記憶する感性語記憶手段とを備え、
   前記参照画像記憶手段が前記参照画像と前記感性語、並びに前記参照画像と前記感性語との一致度とを対応付けて記憶することを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記画像表示手段が、前記参照画像選択手段によって選択された参照画像と対応する画像処理とパラメータとを表示し、前記パラメータの変更を受け付けるパラメータ指定手段を更に備え、
   前記パラメータ指定手段によって前記パラメータが変更された際に、
   前記画像処理手段が変更後の前記パラメータを用いて前記入力画像を加工した出力画像を生成し、前記画像表示手段が前記出力画像を表示する
   ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記入力画像、前記出力画像、前記出力画像の生成に使用した画像処理、並びに前記画像処理に用いたパラメータとを対応付けて前記参照画像記憶手段に登録する事例登録手段を更に備えることを特徴とする画像処理装置。
4. 請求項１乃至３のいずれか１項に記載の画像処理装置において、
   前記参照画像とその利用頻度とを対応付けて記憶する利用頻度記憶手段
   を更に備えることを特徴とする画像処理装置。
5. 請求項４記載の画像処理装置において、
   前記参照画像検索手段が前記参照画像記憶手段を検索する際に、前記利用頻度記憶手段に記憶された利用頻度を検索結果に反映する
   ことを特徴とする画像処理装置。
6. 請求項４または５に記載の画像処理装置において、
   前記画像表示手段が前記セットを表示する際に、前記利用頻度記憶手段に記憶された利用頻度を用いて前記セットの並び順を決定する
   ことを特徴とする画像処理装置。
7. 請求項１または２記載の画像処理装置において、
   パラメータ指定手段が前記画像処理と前記パラメータではなく、前記感性語と前記一致度を表示し、前記一致度が変更された際に、前記感性語記憶手段に記憶された前記感性語に対応する画像処理と重みとを用いてパラメータを変更する
   ことを特徴とする画像処理装置。
8. 請求項１乃至７のいずれか１項に記載の画像処理装置を動作させるプログラムを格納したことを特徴とするコンピュータ読取可能な媒体。