JP5008605B2 - 画像処理装置および方法ならびにプログラム - Google Patents

Description

本発明は、画像表示手段上に表示されている対象領域に、カーソルの操作に基づいて複数の飾付部品を配置する画像処理装置および方法ならびにプログラムに関するものである。

近年、デジタル写真画像を楽しむ上で、写真画像に対して花やハートマーク等、各種の図形の飾り付けをすることが行われており、画像表示手段上に、飾り付ける対象の写真画像を表示させ、ユーザによるカーソルのクリック操作などで直接指定された写真画像上の位置に所望の飾付部品を配置処理することが知られている。

特許文献１では、図13に示すように、写真画像91中の、人物の顔領域92を除いた背景領域のランダムな位置に飾付部品を自動配置する方法が提案されている。

特許文献２では、写真画像中の人物の顔領域のサイズに合わせて拡縮した飾付部品（メガネ、付け髭など）を、その顔領域の画像に合うように位置決めして自動配置する方法が提案されている。
特開２０００−２２９２９号公報 特開２００４−１７８１６３号公報

しかし、ユーザにより直接指定された位置に飾付部品を配置する上記方法では、飾付部品を配置する度にその配置位置を指定する操作を要するため、配置する飾付部品の数が多いほど手間が掛かるという問題がある。また、ユーザが飾付部品を配置する位置決めに不慣れな場合には、不自然な配置になってしまう場合も多い。

また、飾付部品をランダムな位置に自動配置する特許文献１の方法では、飾付部品の配置を自動化することによりユーザの手間を軽減することは可能であるが、飾付部品の配置にユーザの意図を反映することができない。

また、顔領域の位置とサイズに応じて、飾付部品のしかるべき配置位置が一意的に決定される特許文献２では、その飾付部品を用いることにより得られる飾り付けの効果のバリエーションが少ないという問題がある。

本発明は、上記事情に鑑み、簡易なカーソル操作により、複数の飾付部品をユーザの意図を反映して配置することができる画像処理方法および装置ならびにプログラムを提供することを目的とするものである。

本発明の画像処理装置は、画像表示手段上に表示されている対象領域に、カーソルの操作に基づいて複数の飾付部品を配置する画像処理装置であって、画像表示手段上の、カーソルを放す操作が行われた基準位置における、その放す操作が行われるまで連続して行われていたカーソルの押下時間に基づいて広がり幅を決定する広がり幅決定手段と、基準位置から、広がり幅決定手段により決定された広がり幅で放射状に広がった位置に、複数の飾付部品を配置する飾付部品配置手段を備えたことを特徴とするものである。

上記装置において、広がり幅決定手段は、その押下時間が長いほど広がり幅が広くなるように決定するものであってもよい。

また、飾付部品配置手段は、基準位置からその決定された広がり幅で広がった、所定の形状を有する配置線に沿って複数の飾付部品を配置するものであってもよい。

ここで、所定の形状は、円形、楕円形、多角形、星型、ハート型のいずれかであってもよい。

また、上記装置は、飾付部品配置手段により配置される飾付部品の数、大きさ、および色の少なくとも１つを設定する設定手段をさらに備えたものであってもよい。

この設定手段は、画像表示手段上に表示されている、配置する飾付部品の選択に用いられる選択ボタン上での、カーソルの押下時間に基づいて設定を行うものであってもよい。

また、上記装置は、選択ボタン上でカーソルを押下する操作と、基準位置でカーソルを放す操作とが、一連の動作で行われるものであってもよい。

また、上記装置は、対象領域が、写真画像が存在する領域であり、写真画像中の主要被写体を表す領域を検出する検出手段をさらに備え、飾付部品配置手段が、検出手段により検出された領域と他の領域に、互いに異なる配置態様で装飾部品を配置するものであってもよい。

本発明の画像処理方法は、画像表示手段上に表示されている対象領域に、カーソルの操作に基づいて複数の飾付部品を配置する画像処理方法であって、画像表示手段上の、カーソルを放す操作が行われた基準位置における、その放す操作が行われるまで連続して行われていたカーソルの押下時間に基づいて広がり幅を決定し、基準位置から、その決定された広がり幅で放射状に広がった位置に、複数の飾付部品を配置することを特徴とするものである。

さらに、本発明による画像処理プログラムは上記の方法をコンピュータに実行させるものである。

なお、上記画像処理方法および装置ならびにプログラムにおいて、基準位置は、表示手段上の位置であればよく、対象領域上の位置に限られるものではないが、その基準位置におけるカーソルの操作時間に基づいて決定された広がり幅でその基準位置から放射状に広がった位置は、対象領域に飾付部品を配置する上で、その位置の少なくとも一部が対象領域上に存在することが必要となる。

なお、ここで対象領域というのは、飾付部品を配置したい領域を広く意味するものであり、写真画像のほか各種の画像、図形、文字列等のコンテンツが存在する領域に限らず、何らコンテンツが存在しない領域をも含むものである。

また、「カーソル」とは、画面上での操作位置を示すものであり、必ずしも画面上に表れる絵記号に限られるものではない。したがって、「カーソルを操作する」とは、表示画面上のカーソルを操作するマウスや、赤外線方式や電波方式によるリモートコントロール・ポインティングデバイス等の、表示画面上での入力位置や座標を指定する入力機器を用いて表示画面上のカーソルを操作する画面上の絵記号を動かすものに限られるものではなく、画面には何も現れないで指で操作をするタッチパネルをも含むものを意味する。

ここで、カーソルを、押下する操作、押下した状態で維持する操作、押下した状態で移動する動作（ドラッグ操作）、および放す操作とは、たとえばカーソルを操作する入力機器がマウスである場合、それぞれマウスボタンを押す操作、マウスボタンを押したまま維持する操作およびマウスボタンを離す操作をいう。また、タッチパネルであれば、パネルに指をタッチする操作、タッチした状態で維持する操作、タッチした指をパネル面上で移動する操作、およびパネルから指を離す操作を意味する。

また、カーソルを押下する操作とカーソルを放す操作とを一連の動作で行うとは、それらの操作の間ではカーソルを押下した状態を維持することを意味する。

本発明の画像処理方法および装置ならびにプログラムによれば、画像表示手段上に表示されている対象領域にカーソルの操作に基づいて複数の飾付部品を配置する際に、画像表示手段上の、カーソルを放す操作が行われた基準位置における、その放す操作が行われるまで連続して行われていたカーソルの押下時間に基づいて広がり幅を決定し、基準位置から、その決定された広がり幅で放射状に広がった位置に、複数の飾付部品を配置するようにしているので、簡易なカーソル操作により、複数の飾付部品をユーザの意図を反映して配置することができる。

また、配置される飾付部品の数、大きさ、および色の少なくとも１つを、画像表示手段上に表示されている、配置する飾付部品の選択に用いられる選択ボタン上でカーソルを押下した状態で維持する操作の持続時間に基づいて設定する場合には、ユーザは飾付部品の数などの設定を直感的なカーソルの操作によりに行うことができる。

また、選択ボタン上でカーソルを押下する操作と、基準位置でカーソルを放す操作とが、一連の動作で行われるものである場合には、より少ない操作で飾付部品を配置することができる。

また、対象領域を写真画像が存在する領域とし、写真画像中の主要被写体を表す領域を検出し、検出された領域と他の領域に、互いに異なる配置態様で装飾部品を配置する場合には、たとえば人物画像中の主要被写体となる顔領域上には多数の飾付部品が重なって配置されることがないようにするとともに、顔以外の領域には多数の飾付部品が重なって配置されてもよいようにすることができ、顔画像を際立たせることができる。

以下、図面を参照して、本発明の一実施の形態について説明する。

図１は、画像処理ワークステーションの概要を示すブロック図である。図に示すように、この画像処理ワークステーションは、入力された画像を表示させ、ユーザからの指示に応じて画像処理を施し、画像処理済の画像を表示させるコンピュータであり、デジタル画像を入力する画像入力部10と、ユーザからの指示を入力するためのユーザ入力部20と、ユーザ入力部20における入力に基づいて、デジタル画像に画像処理を行う画像処理部30と、ディスプレイ等の画像表示部40と、画像表示部40上に、入力された画像や画像処理済の画像などを表示させる表示制御部50と備えている。

ユーザ入力部30は、画像表示部40の表示画面上での入力位置や座標を指定する、マウスやタッチパネル、赤外線方式や電波方式によるリモートコントロール・ポインティングデバイス等であり、ユーザは、このユーザ入力部30を用いて表示画面上のカーソルを操作して、コンピュータに後述する画像処理を実行させることができる。

図２は、画像処理部30の、飾付部品を配置する機能に関連する部分を示すブロック図である。この画像処理部30は、たとえば図３に示すような表示画面60上に表示されている対象領域74（写真画像が存在する領域）に、カーソルの操作に基づいて飾付部品を配置するものであり、飾付部品選択部31、強度設定部32、広がり幅決定部34、補助線表示制御部35、飾付部品配置部36、検出部37などを備えている。

なお、図３の表示画面60には、飾付部品の選択ボタンの一覧と、対象領域74を表示する画像処理領域61と、画像処理部30による画像処理の選択に用いられる選択メニューの一覧を表示するメニュー表示領域63とが含まれている。

上記画像処理部の構成は、補助記憶装置に読み込まれた画像処理プログラムを画像処理ワークステーション上で実行することにより実現される。このとき、この画像処理プログラムは、CD-ROM等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

飾付部品選択部31は、たとえば図３に示すような、画像処理領域61上に表示されている飾付部品の選択ボタン71、72、73のいずれかの上でカーソルを押下する操作により、その選択ボタンに対応する飾付部品を選択するものである。

強度設定部32は、配置処理部34により配置される飾付部品の数、大きさ、色などをあらかじめデフォルトで設定した値を用いて、あるいはユーザの入力に応じて設定するものであって、たとえば選択ボタン上で、カーソルを押下した回数や、カーソルを押下した状態で維持する操作の持続時間が長さや、感圧式タッチパネルなどによりカーソルを押下する押し圧の強さなどに応じて飾付部品の数などを設定する。

図4に示すように、選択ボタン上での、カーソルCsの押下時間が長いほど、表示画面上にハート型の飾付部品が増えていくアニメーションを表示させるとともに、設定される飾付部品の数も大きくなるようにしてもよい。

なお、それぞれランダムな色を有する多様なサイズの飾付部品を配置する場合には、飾付部品に用いられる、色の数、サイズの数などを設定し、配置される飾付部品の多様性を調整することもできる。

また、複数の設定項目のそれぞれの設定値を予め複数の段階で定義しておき、ユーザの入力に応じて選ばれた段階に対応する設定値のセットを用いるようにしてもよい。たとえば、段階１では、配置される飾付部品の数を５個とし、その中で２個は赤色、３個は白色とし、かつ、２個は大の大きさ、２個は中大きさ、１個は小の大きさとする設定が、段階２では、配置される飾付部品の数を７個とし、その中で２個は赤色、３個は白色、２個は青色とし、かつ、３個は大の大きさ、２個は中の大きさ、２個は小の大きさとする設定がなされるよう、予め定義する。

広がり幅決定部34は、表示画面60上の、カーソルCsを放す操作が行われた基準位置Ｐにおける、その放す操作が行われるまで連続して行われていたカーソルCsの押下時間に基づいて、後述する飾付部品配置部36において飾付部品の配置するための用いられる配置線Ｅの広がり幅ｄを決定する。

具体的には、たとえば、基準位置Ｐにおける、カーソルCsの押下が開始してからカーソルCsが放されるまでの経過時間が長いほど、基準位置Ｐからの配置線Ｅの広がり幅ｄが広くなるように決定する。配置線の形状が円形である場合には、その半径を広がり幅ｄとし、楕円形である場合には、その長軸方向の半径を広がり幅ｄとすることができる。

ここで、配置線は、その形状として、円形、楕円形、多角形、星型、ハート型、Ｓ字型等、種々の形状を採用することができる。また、配置線は閉じた形状に限られるものではない。

なお、広がり幅決定部34は、カーソルCsを放す操作が行われた基準位置Ｐにおける、その放す操作が行われるまで連続して行われていたカーソルCsの押下時間が長いほど、広がり幅ｄが大きくなるように決定することに限らず、予め広がり幅の基準値を設定しておき、そのカーソルCsの押下時間が長いほど、広がり幅ｄがその基準値から小さくなるように決定してもよい。

補助線表示制御部35は、図５に示すように、基準位置ＰでカーソルCsの押下が開始してからカーソルCsが放されるまでの間、その各時点でカーソルCsを放す操作が行われた場合、その放す操作により決定される配置線Ｅ、およびその配置線Ｅの基準位置Ｐからの広がり幅ｄを表す線分Ｄのうち少なくとも１つを表示画面60上に表示するものである。上述したように、配置線Ｅは、基準位置Ｐにおける、その放す操作が行われるまで連続して行われていたカーソルCsの押下時間が長いほど、基準位置Ｐからの広がり幅ｄが広くなるように規定されているので、補助線表示制御部35により表示される補助線（配置線Ｅおよび／または線分Ｄ）は、その基準位置ＰにおけるカーソルCsの押下時間が長くなっていくことに応じて広がっていく。これにより、ユーザは、カーソルCsをどの程度長く押下すれば、飾付部品がどの程度の範囲に配置されるのかを予測できるので、カーソルCsの操作を行う際に、基準位置ＰでカーソルCsの押下状態を維持しながら補助線表示制御部35により表示される補助線を参照し、補助線が所望の配置線Ｅ（またはその広がり幅ｄ）となった時点でカーソルCsを放す操作を行い、飾付部品を対象画像上の所望の範囲に配置することができる。

飾付部品配置部36は、画像表示部40上の、広がり幅決定部34において決定された、基準位置Ｐからの広がり幅ｄを有する配置線Ｅに沿って飾付部品を配置するものであって、たとえば、図６および図７に示すように、基準位置Ｐを中心とし、広がり幅ｄの半径を有する円形の配置線Ｅ上に基準点を等間隔で設定し、設定された基準点毎に、その基準点を重心位置に有するランダムな大きさの正三角形を設定し、設定された各三角形の各頂点に飾付部品を配置する。これにより、図８に示すような配置画像が得られる。

なお、飾付部品配置部36は、検出部37において従来のオブジェクト検出手法により検出された主要被写体領域と他の領域に、互いに異なる配置態様で飾付部品を配置する機能をさらに有する。たとえば、図８の人物画像において顔領域が主要被写体として検出された場合、図９に示すように、顔領域に重なって配置されている飾付部品を削除したり、図10に示すように飾付部品を配置するために設定した三角形を回転・縮小させたりし、顔領域上に飾付部品が重なって配置されないようにすることが可能である。

また、検出された主要被写体領域を他の領域と異なるレイヤーとして扱うことにより、たとえば図11に示すように、飾付部品が主要被写体（ここでは人物領域の全体）の後方で、かつ他の領域の前方に配置されるようにすることもできる。

上記飾付部品の配置において、基準点の数、多角形の種類（三角形、四角形、それらの組み合わせ等）は、強度設定部32において設定された飾付部品の数などに基づいて決定されるようにしてもよく、基準点の配置間隔は、写真画像の大きさに応じて決定されるようにしてもよい。

また、各基準点に対応して設定される多角形の大きさは、ランダムであってもよいが、配置線に沿って次第に大きくなるように、または小さくなるように予め設定しておいてもよい。

また、各多角形は、それぞれ対応する基準点をその多角形の大まかな中心に有するものであってもよいし、中心から外れた位置に有するものであってもよく、その基準点を中心位置とする所定の基準軸に対して任意の角度で回転しているものであってもよい。

図12および図13は、楕円形の配置線Ｅに沿って飾付部品を配置する場合の一例を示す図である。

上記の構成により、本発明による画像処理ワークステーションにより飾付部品を配置する際には、たとえば、ユーザは、表示画面上に表示されている配置させたい飾付部品の選択ボタン上でカーソルを押下する操作を開始させ、押下したまま所望する飾付部品の数、大きさ、色が設定されるまでカーソルを選択ボタン上に位置させ、所望する設定になったら、引き続き押下したまま飾付部品を配置したい配置線の基準となりえる位置にカーソルを移動させ、その押下状態を維持しながら補助線表示制御部35により表示される補助線を参照し、補助線が所望の配置線Ｅ（またはその広がり幅ｄ）となった時点でカーソルを放す操作を行うことにより、カーソルを押下して放す一連の直感的なカーソル操作により、所望の数の飾付部品を対象画像上の所望の範囲に配置することができる。

なお、上記操作例においては、飾付部品の選択等のために選択ボタン上でカーソルを押下する操作と、飾付部品の配置を指示するカーソルを放す操作とが、一連の動作で行われる場合について説明したが、飾付部品の選択等のために選択ボタン上でカーソルを押下する操作が行われた後に、再度カーソルを押下して放す操作により飾付部品が配置されるようにしてもよい。

また、飾付部品は、花やハートマーク等の図形に限らず、例えば、通常の画像の縮小画像、画像から抽出されたオブジェクトの画像等であってもよい。

本発明の実施の形態となる画像処理ワークステーションの概略構成図 図１の画像処理部の飾付部品を配置する機能を表すブロック図 画像表示部に表示される表示画面の一例を示す図 飾付部品を選択する処理および配置部品の数を設定する処理を説明するための図 補助線表示制御部により表示される補助線の一例を示す図 配置線に沿って飾付部品を配置する処理を説明するための図 配置線に沿って飾付部品を配置する処理を説明するための図 配置線に沿って飾付部品を配置した配置例を示す図 顔領域上に重ならないように飾付部品を配置した配置例を示す図 顔領域上に重ならないように飾付部品を配置した配置例を示す図 顔領域上に重ならないように飾付部品を配置した配置例を示す図 楕円形の配置線に沿って飾付部品を配置する処理を説明するための図 楕円形の配置線に沿って飾付部品を配置した配置例を示す図 従来の飾付部品配置方法により飾付部品を配置した配置例を示す図

符号の説明

１０ 画像入力部
２０ ユーザ入力部
３０ 画像処理部
４０ 画像表示部
５０ 表示制御部
３１ 飾付部品選択部
３２ 強度設定部
３４ 広がり幅決定部
３５ 補助線表示制御部
３６ 飾付部品配置部
３７ 検出部

Claims (10)

1. ユーザによる入力操作を受け付けて、操作位置を特定するとともに、さらに該特定された操作位置における押下状態および放した状態を認識する入力手段を備え、画像表示手段上に表示されている対象領域に、前記入力手段により受け付けた前記ユーザによる入力操作に基づいて複数の飾付部品を配置する画像処理装置であって、
   前記画像表示手段上の、前記入力手段により特定されていた状態が押下状態から放した状態に変化したときに該入力手段により特定されていた操作位置である基準位置における、前記放した状態に変化するまで連続して維持されていた押下状態の持続時間に基づいて広がり幅を決定する広がり幅決定手段と、
   前記基準位置から、前記広がり幅決定手段により決定された広がり幅で放射状に広がった位置に、前記複数の飾付部品を配置する飾付部品配置手段と、
   前記画像表示手段上に表示されている前記配置する飾付部品の選択に用いられる選択ボタン上で前記入力手段により認識された押下状態の持続時間、押下圧力、および押下回数のいずれかに基づいて前記飾付部品配置手段により配置される飾付部品の数、大きさ、および色の少なくとも１つを設定する設定手段と
   を備えたことを特徴とする画像処理装置。
2. 前記広がり幅決定手段が、前記押下状態の持続時間が長いほど前記広がり幅が広くなるように決定するものであることを特徴とする請求項１記載の画像処理装置。
3. 前記飾付部品配置手段が、前記基準位置から前記広がり幅決定手段により決定された広がり幅で広がった、所定の形状を有する配置線に沿って前記複数の飾付部品を配置するものであることを特徴とする請求項２記載の画像処理装置。
4. 前記所定の形状が、円形、楕円形、多角形、星型、ハート型のいずれかであることを特徴とする請求項３記載の画像処理装置。
5. 前記選択ボタン上で前記入力手段により押下状態を認識してから、前記基準位置で前記入力手段により放した状態への変化を認識するまでの前記ユーザによる入力操作が、一連の動作で行われるものであることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
6. 前記対象領域が、写真画像が存在する領域であり、
   前記写真画像中の主要被写体を表す領域を検出する検出手段をさらに備え、
   前記飾付部品配置手段が、前記検出手段により検出された領域と他の領域に、互いに異なる配置態様で前記装飾部品を配置するものであることを特徴とする請求項1から５のいずれか１項記載の画像処理装置。
7. ユーザによる入力操作を受け付けて、操作位置を特定するとともに、さらに該特定された操作位置における押下状態および放した状態を認識する入力手段と、設定手段と、幅決定手段と、飾付部品配置手段とを備えた画像処理装置によって実行される、画像表示手段上に表示されている対象領域に、前記入力手段により受け付けた前記ユーザによる入力操作に基づいて複数の飾付部品を配置する画像処理方法であって、
   前記設定手段が、前記画像表示手段上に表示されている前記配置する飾付部品の選択に用いられる選択ボタン上で前記入力手段により認識された押下状態の持続時間、押下圧力、および押下回数のいずれかに基づいて前記配置する飾付部品の数、大きさ、および色の少なくとも１つを設定し、
   前記幅決定手段が、前記画像表示手段上の、前記入力手段により特定されていた状態が押下状態から放した状態に変化したときに該入力手段により特定されていた操作位置である基準位置における、前記放した状態に変化するまで連続して維持されていた押下状態の持続時間に基づいて広がり幅を決定し、
   前記飾付部品配置手段が、前記基準位置から、前記決定された広がり幅で放射状に広がった位置に、前記複数の飾付部品を配置することを特徴とする画像処理方法。
8. 前記選択ボタン上で前記入力手段により押下状態を認識してから、前記基準位置で前記入力手段により放した状態への変化を認識するまでの前記ユーザによる入力操作が、一連の動作で行われるものであることを特徴とする請求項７記載の画像処理方法。
9. ユーザによる入力操作を受け付けて、操作位置を特定するとともに、さらに該特定された操作位置における押下状態および放した状態を認識する入力手段により受け付けた前記ユーザによる入力操作に基づいて、画像表示手段上に表示されている対象領域に複数の飾付部品を配置するための画像処理プログラムであって、
   コンピュータに、
   前記画像表示手段上に表示されている前記配置する飾付部品の選択に用いられる選択ボタン上で前記入力手段により認識された押下状態の持続時間、押下圧力、および押下回数のいずれかに基づいて前記配置する飾付部品の数、大きさ、および色の少なくとも１つを設定し、
   前記画像表示手段上の、前記入力手段により特定されていた状態が押下状態から放した状態に変化したときに該入力手段により特定されていた操作位置である基準位置における、前記放した状態に変化するまで連続して維持されていた押下状態の持続時間に基づいて広がり幅を決定し、
   前記基準位置から、前記決定された広がり幅で放射状に広がった位置に、前記複数の飾付部品を配置することを実行させるための画像処理プログラム。
10. 前記選択ボタン上で前記入力手段により押下状態を認識してから、前記基準位置で前記入力手段により放した状態への変化を認識するまでの前記ユーザによる入力操作が、一連の動作で行われるものであることを特徴とする請求項９記載の画像処理プログラム。

Images