JP3679467B2 - Image processing method and apparatus - Google Patents
Image processing method and apparatus Download PDFInfo
- Publication number
- JP3679467B2 JP3679467B2 JP23121895A JP23121895A JP3679467B2 JP 3679467 B2 JP3679467 B2 JP 3679467B2 JP 23121895 A JP23121895 A JP 23121895A JP 23121895 A JP23121895 A JP 23121895A JP 3679467 B2 JP3679467 B2 JP 3679467B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- point
- boundary
- designated
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 18
- 238000000034 method Methods 0.000 claims description 35
- 238000009499 grossing Methods 0.000 claims description 22
- 238000012217 deletion Methods 0.000 claims 4
- 230000037430 deletion Effects 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、画像処理方法とその装置、特に、画像からの領域切り出しを行う画像処理方法とその装置に関する。
【0002】
【従来の技術】
従来、画像の特定領域を切り出し、その他の領域を除去する方法として、例えば特開昭60−169977で記述されている方法があった。
この方法では、まず、ユーザが切り出したい領域の境界線付近に代表点を指示する。そして、その代表点を結んだ線分の垂線上にあり、かつ、ある一定距離内に位置する点の中で各画素値の微分値(エッジ)が最大となる点を選ぶ。さらに、これらの点を連結することで切り出しを行う境界線を決定する。
【0003】
この方法ではさらに、あらかじめ画像の平滑化を行ったり、得られた点に対して最小2乗法による当てはめを行って境界線を決定するなどして、画像のノイズによって生じる凹凸をなくしていた。
また、人物の頭髪のように輪郭をぼかしたい場合には、輪郭の周囲の各画素に対して周囲の画素値を重み付けして足し込んでいた。
【0004】
【発明が解決しようとする課題】
しかし、このような従来の方法では、次のような問題点があった。すなわち、ユーザが指定した点の近傍において、画素値の微分値が最大となる画素が必ずしもユーザが切り出したいと境界点にならないことがあることである。
例えば、画像から人物の領域を切り出す際に、洋服のしわのように何本もの線が同一方向に存在する領域に対しては、画素値の微分値が最大となる点が分散してしまい、結果的には凹凸を持つ線で切り出しが行われてしまう。
【0005】
また、孤立点などのノイズに強く影響された境界切り出しとなってしまっていた。さらに、輪郭の特定箇所のぼかし量を他の箇所と変えることが不可能であり、すべての輪郭を一様にぼかすことができるだけであった。本発明は、上記従来例に鑑みてなされたもので、ユーザの意図する適正な画像切り出しが可能な画像処理方法とその装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像処理方法は以下の構成を備える。即ち、画像に対してユーザにより指定された指定線を構成する複数の指定点それぞれに対して、当該各指定点を通り当該指定線に概直交する線上にあり且つ所定の閾値以上の濃度勾配を有する点の中から、境界点を選択する選択手段と、
前記選択手段により選択された複数の境界点を用いて境界線を作成する境界線作成手段と、
前記境界線作成手段で作成された境界線周辺に所定の平滑化フィルタを作用させて平滑化する平滑化手段と
を有する画像処理装置であって、
前記選択手段では、前記指定点が当該指定線の開始点である場合、当該指定点を通り当該指定線に概直交する線上にあり且つ前記所定の閾値以上の濃度勾配を有する点の中から、当該指定点に近い点を当該指定点に対する境界点として選択し、一方、前記指定点が当該指定線の開始点でない場合、当該指定点を通り当該指定線に概直交する線上にあり且つ前記所定の閾値以上の濃度勾配を有する点の中から、直前に選択された境界点に近い点を当該指定点に対する境界点として選択し、
前記境界線作成手段では、更に、線補間処理を実行する線補間手段を含み、前記選択手段で前記境界点が選択されなかった部分が存在する場合に、当該部分に対して前記線補間手段で線補間処理を実行することによって前記境界線を作成し、
前記平滑化手段では、前記線補間手段で線補間された部分の周囲をより強く平滑化する。
【0007】
また、上記画像処理装置において、前記選択手段で前記境界点が選択されなかった部分とは、当該指定線に概直交する線上に前記所定の閾値以上の濃度勾配を有する点がなかった部分であることを特徴とする。
【0008】
また、別の発明は、画像に対してユーザにより指定された指定線を構成する複数の指定点それぞれに対して、当該各指定点を通り当該指定線に概直交する線上にあり且つ所定の閾値以上の濃度勾配を有する点の中から、境界点を選択する選択工程と、
前記選択工程により選択された複数の境界点を用いて境界線を作成する境界線作成工程と、
前記境界線作成工程で作成された境界線周辺に所定の平滑化フィルタを作用させて平滑化する平滑化工程と
を有する画像処理方法であって、
前記選択工程では、前記指定点が当該指定線の開始点である場合、当該指定点を通り当該指定線に概直交する線上にあり且つ前記所定の閾値以上の濃度勾配を有する点の中から、当該指定点に近い点を当該指定点に対する境界点として選択し、一方、前記指定点が当該指定線の開始点でない場合、当該指定点を通り当該指定線に概直交する線上にあり且つ前記所定の閾値以上の濃度勾配を有する点の中から、直前に選択された境界点に近い点を当該指定点に対する境界点として選択し、
前記境界線作成工程では、更に、線補間処理を実行する線補間工程を含み、前記選択工程で前記境界点が選択されなかった部分が存在する場合に、前記線補間工程で当該部分に対して線補間処理を実行することによって前記境界線を作成し、
前記平滑化工程では、前記線補間工程で線補間された部分の周囲をより強く平滑化する。
【0009】
また、上記画像処理方法において、前記ユーザにより指定された帯状領域を入力する入力工程を更に備え、
前記指定線は前記帯状領域の中心線であり、
前記選択工程で選択される境界点は、前記帯状領域内の点であることを特徴とする。
【0010】
また、上記画像処理方法において、前記選択工程で前記境界点が選択されなかった部分とは、当該指定線に概直交する線上に前記所定の閾値以上の濃度勾配を有する点がなかった部分であることを特徴とする。
【0011】
また、上記画像処理方法において、前記線補間工程では、前記境界点が選択されなかった部分に対して両側方向で近傍の境界点を選択し、前記近傍の境界点に基づいて線補間処理を実行することにより求められた線を当該部分に内挿することを特徴とする。
【0012】
【発明の実施の形態】
まず、本発明に係る実施の形態におけるポイントを要約した後に、その詳細な説明を行うこととする。
本実施の形態の画像領域切り出し処理では、まず、画像上に線を指定する。そして、切り出しを行う境界点を決定するために指定された線上の各点に対して、一定範囲内の距離にあり、かつ、所定値以上の特徴量を持ち、かつ、境界点として決定された点からの距離が最も近い点を選択する。そして、それらの点の中から所定個数以上連結していない点を削除し、境界点の補間を行うことで所望の画像領域の切り出しを可能とする。
【0013】
また、境界点の補間を行う際には、はじめに画像上に指定された線を利用して補間を行う。
さらに、切り出しを行う境界点に沿って画像の切り出しを行い、補間した境界点に対しては、補間を行ってない境界点よりもぼかす度合を強くすることで、切り出された画像の周囲をぼかす。
【0014】
さらに、切り出した領域の境界点を変更し、補間した境界点を変更した場合、変更後の境界点に対しては、補間を行ってないものとしてぼかす。
また、境界点の近傍の画素に関して、その周囲の画素値の平均を取ることでほかし、また、ぼかす度合を強くするために、より多くの画素に関してぼかし、あるいはより多くの画素との平均をとる。
【0015】
以上、本発明に係る特徴となる処理のポイントを要約した。次に、これらの処理の詳細な説明を行う。
第1図は、本実施の形態の処理の構成例を示す図である。
101は、原画像及び原画像から切り出された画像を格納する画像格納部である。
【0016】
102は、画像の表示を行う表示部である。
103は、画像中の切り出し領域を大まかに指定するポインティングデバイス及び各種コマンドを入力するためのキーボードを備える入力部である。
104は、画像の切り出し領域を決定し、実際の切り出しを行う画像切り出し部である。
【0017】
105は、切り出した領域の周囲をぼかすためのぼかし処理部である。
106は、切り出した領域をユーザが修正するための修正部である。
次に、本実施の形態の画像領域切り出し処理に関して、図2のフローチャートを用いて説明する。尚、表示部102には、既に、切り出し対象の画像を表示しているものとする。
【0018】
まず、ステップS201において、ユーザーは原画像中の切り抜きを行う領域を、入力部103を用いて大まかに太い線でなぞる。この線をユーザ指定線と呼ぶ。
画像切り出し部104では、入力部103を介して、ユーザ指定線の軌跡を入力して、対応する線を表示部102に表示する。表示するユーザ指定線は、図3に示すように、波線(301)等を用い、原画がなるべく消えないようにする。
【0019】
ステップS202では、画像切り出し部104は、ユーザ指定線の領域内に存在する画素に対して、画素値の微分値(以下では、エッジと呼ぶ)を決定するために、ユーザ指定線の中心線上の各点に対して、境界線上の対応する点(以下では境界点と呼ぶ)を求める。
具体的には、以下の処理を行う。図4は、図3の301の部分を拡大したものであり、この図を用いて説明する。
【0020】
同図において、402はユーザ指定線の中心線であり、この線の開始点を403とする。まず、点403に対して、線402の進行方向と直交する線404方向でのユーザ指定線内の各点を調べ、エッジ勾配がある閾値以上である点でかつ、点403に最も距離が近い点を選択する。
図4では、この点を405で示しており、この点が境界線の開始点となる。
【0021】
そして次に、ユーザ指定線の中心線上の他の点、例えば点406に対して、対応する境界点を以下のように決定する。すなわち、線402の進行方向と直交する線407方向を調べ、ユーザ線の領域内に存在する点のうち、エッジがある閾値以上であり、かつ直前に選択された境界点(この場合、点408)に最も近い点を選択する。図4では、点409が選択された点を示している。
【0022】
このように、ユーザ指定線内の領域である閾値以上の勾配を持つエッジを持ち、さらに、直前の境界点に最も近い点を選択させるのは、次のような理由からである。
まず、所定の閾値以下の勾配の小さなエッジしか持たない箇所は特徴のないところであり、人間にとってもどこを切り出してよいか判断がつかない。そのような箇所で、無理に境界点を選ぶことは誤った境界を導く原因となる。
【0023】
さらに、ある閾値以上の勾配の大きなエッジを持つ点は、その値の大小に関わりなく境界点の候補となりうる。また、直前の境界点に最も近い点を選択するのは、境界線をより滑らかにするためである。
例えば、図5において、ユーザ指定線の中心線上に位置する点601に対する境界点を求める際に、点602におけるエッジ点の勾配が603よりほんのわずか上回っていたとしても、両者の値が閾値以上ならば、直前の境界点により近い点603の方が選択されることになる。
【0024】
次に、ステップS204において、画像切り出し部は、以上によって求められた境界点のうち、所定個数以上、例えば3個以上連結している点のみを残し、他の境界点を削除する。この処理を以下に具体的に説明する。
例えば、ステップS203によって境界点が、図6のように抽出されたとする。図6は、4点の連結した境界点501と、1個の境界点502と、3個の連結した境界点(503)が抽出された様子を示している。孤立している1個の境界点502がある箇所は、例えば、頭髪のようにエッジがある部分であり、境界点501と境界点503に一本の線があり、境界点502に別の線がある可能性が高い。このような状態においては、どちらの線を境界線として選択しても切り出し後の領域の形状には大差がなくユーザにとって自然に見えるが、逆に2つの線を交互に選択するような、つまり境界点501、502、503をつないだ境界線で切り出すと領域の凹凸が発生し、ユーザにとって不自然に見えてしまう。それを防ぐためには孤立している境界点502を削除すればよく、これによりユーザが所望する領域の形状に近く、また凹凸のない滑らかな領域を切り出せるようになる。
【0025】
次に、ステップ205では、画像切り出し部104は、ステップS204までで求められた境界点に基づき境界線を作成する。この操作は、境界点がもし隣接していた場合にはそれらを直線で結ぶことによって行うが、もし、ステップS203で閾値以上の勾配のエッジを持つ点が存在しなかった箇所や、ステップS204において所定個数以上の点が連結していないために境界点が削除された箇所には、境界点が隣接しない状態になる。その場合には、以下の方法で境界点の存在しない箇所を補間する。
【0026】
第1の方法は、ベジェ曲線あるいは直線等で前後の境界点を用いて補間を行う方法である。第2は、ユーザ指定線の曲線形状を利用する方法であり、これを図8を用いて説明する。
図8において、801及び802は境界点であり、803及び804はユーザ指定線の両端を指す。ここでまず、境界点801を通りユーザ指定線と直交する線805と、境界点802を通りユーザ指定線と直交する線806によって、指定されるユーザ指定線の区間が得られる。そして、そのユーザ指定線の区間内の線分を境界点801と802の区間間に当てはめ、線807のように連結することで補間が完成する。
【0027】
以上の方法で境界線を作成した後、その境界線を原画像上に重ねて表示する。ユーザーはその表示された境界線を見て結果が期待通りのものであれば、ステップS201からS205までを実行することでさらに境界線を延長し、期待するものでない場合は、再び同じ領域に対して同ステップを実行してやり直しを行うことができる。
【0028】
そして、以上のステップで作成される境界線が所望の領域を形成するまで同様の処理を繰り返す。
ステップ206では、以上の処理によって、切り出した領域が決定されたかどうか、入力部103から所定の決定コマンドを入力する。そして、決定コマンドを入力するとステップS207に進み、入力されなければステップS201に戻り同様の処理を繰り返す。
【0029】
ステップ207では、画像切り出し部104では決定した境界線を用いて領域の切り出しを行い、切り出された領域を画像格納部101に格納して、その境界線を表示部102に表示する。
図3の画像に対して領域の切り出しを行い表示した例を図7に示す。
以上、原画像から所望の領域を切り出すための処理動作に関して説明したが、図2のステップS207において領域を切り出した後、それを表示する前に、ぼかし部105によって切り出す画像領域の周囲をぼかし込むことができる。これによって、人間の見た目に対して自然な印象かつソフトフォーカスに似た視覚的効果を与えることができる。次に、この方法を説明する。
【0030】
画素(i,j)の画素値をx(i,j)とするとき、描く境界点の近傍の画素(i’,j’)について
【0031】
【数1】
【0032】
なるxhを計算する。ここで、mは定数であり、画素(i,j)の画素の個数を決定する。このmが大きくなるほどぼかし量も大きくなる。ここでは、mを境界点によって可変にすることで、ぼかしの程度を変える。
具体的には、ステップS205において、境界点から境界線を作成する際に、上述のように隣接していない境界点に対しては補間を行うが、このような補間を行った境界点の近傍の画素に対してはぼかしの程度を大きくする。つまり、mの値を大きくして多くの画素との平均をとる。あるいは、補間を行った箇所のみをぼかし、他の部分はぼかさない。補間を行った箇所は、エッジの勾配の値が小さい場所か、あるいは勾配の小さいエッジが多く存在する場所であり、そのような箇所をぼかすことで、補間によって作り出された擬似的な境界線を曖昧にして、より違和感のない境界線を作り出すことができる。
【0033】
また、ぼかし量だけでなくぼかし幅も可変にすることもできる。ぼかし幅とは、各境界点に対してとる近傍の画素(i’,j’)の数である。この数を、補間によって作られた境界点に対しては多くすることで、ぼかし幅を多くする。例として、図7の画像をぼかした様子を図9に示す。
さらに、ユーザーは以上の結果によって切り出された領域を修正することができる。
【0034】
この処理は、修正部106によって実行される。図10を参照して、この処理を説明する。
図10は、画像領域の一部を修正して拡大している様子を表している。図10において、1001は、入力部103のポインティングバイスによって操作されるツールを表している。このツールで、上述の処理で決定された切り出し輪郭線を押したり、引いたりすることで、輪郭線を変形させる。
【0035】
ツール1001は、ポインテイングデバイス204の動きに合わせて、移動するように、修正部106によって移動制御される。
例えば、図10の波線1002は、上述の処理で決定された切り出し輪郭線であるとする。
この状態で、ユーザが、切り出し輪郭線1002の位置をずらしたい場合、ツール1001を、切り出し輪郭線1002の移動させたい位置に移動させ、外側に向かって押すことで、その位置を中心に切り出し輪郭線1002は、外側に移動変形する。
【0036】
修正部106ではまた、画像格納部101から原画像を読み出して、移動変形した部分に対応する原画像を拡大表示することができる。
さらに、ぼかし部105では、修正された領域に関しても前述と同様なぼかし処理を行う。この場合も、もし修正した箇所がステップS205において補間によって作られた境界線であれば、補間されていない箇所と同等のぼかし量及びぼかし幅のぼかしを行う。このような境界線は前述のように強くぼかされているはずであるが、ユーザの積極的な修正により作成された新たな境界線は、ユーザが欲する切り出し領域を正確に反映しており、ぼかし量及びぼかし幅を強くする必要はない。
【0037】
ツール1001を用いて切り出された領域の一部を消去することも可能である。これは、例えば入力部103のキーボードの所定のキーを押下して、消去モードに切り替え、切り出された領域の所定部分をツール1001で囲うように指定することでおこなう。この場合、その部分が消去されることになる。この場合にも前と同様に、もし補間によって作成された境界線であれば補間されていない箇所と同等のぼかしを行う。
【0038】
次に、図11を参照して、本実施の形態の画像処理をインプリメントできるハードウエア構成を説明する。
CPU203は、本実施の形態の画像処理装置全体を、メモリ202に格納されている上述した図2のフローチャートに対応するプログラム(図1のぼかし部105、修正部106、画像切り出し部104に対応するプログラムを含む)等の各種画像処理プログラムを読み出し、解釈し、実行する。
【0039】
キーボード203とポインテイングデバイス204は、図1の入力部103に対応する。
メモリ202は、上述した各画像処理プログラムを内蔵したROMの領域と、各種の作業領域として使われるRAMの領域(図1の画像格納部101に対応する領域を含む)を備える。
【0040】
次に、図12は、メモリ202のROM領域にアサインされた上述したフローチャートの各処理に対応する各プログラムのレイアウトの一例を示す。尚、このプログラムは、フロッピーディスクなどの可搬可能な媒体に格納され、実行時に、メモリ202にロードされて、CPU200によって実行されてもよいことは言うまでもない。
【0041】
2000は、線入力プログラムであり、ステップS201での処理に対応する。
2001は、エッジ抽出プログラムであり、ステップS202での処理に対応する。
2002は、エッジ決定プログラムであり、ステップS203、S204に対応する。
【0042】
2003は、上述の線補間処理に対応するプログラムである。
2004は、上述の切り出し輪郭周囲での平滑処理を行うプログラムである。2005は、平滑処理された切り出し領域を抽出して、表示するプログラムである。
尚、本発明は、ホストコンピュータ、インタフェース、プリンタ等の複数の機器から構成されるシステムに適用しても、複写機等の1つの機器からなる装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体から、該プログラムを該システム或は装置に読み出すことによって、そのシステム或は装置が、本発明の効果を享受することが可能となる。
【0043】
以上説明してきたように、本実施の形態によれば、画像を切り出すための境界点を決定するために、ユーザがなぞった先から一定の距離にあり、かつ一定量以上の特徴量(エッジ勾配)を持つかどうかをチェックしているので、画像中で特徴量が一定量以下しかなく、どこを境界としてよいか分からないような箇所で境界点を選択することはなく、そのためユーザののぞまない境界点を選択する可能性が減る。
【0044】
従って、境界点を決定するための他の方法、例えば、最大の特徴量を持つ点を選択する方法と比較して、より正確で、かつ凹凸の少ない滑らかな領域が切り出されることになる。
また、一旦、境界点として決定された点からの距離が最も近い点を選択しているので、境界点が隣接して選択されることになり、凹凸の少ない滑らかな領域が切り出されることになる。
【0045】
また、境界点の中から一定個数以上連結していない点を削除しているので、孤立した連結点を連結することによって発生する切り出し領域の凹凸がなくなる。第2の実施形態によれば、境界点が隣接してない場合には、境界点の補間をユーザがなぞった線を基に行っているので、境界点が離れている箇所においても、直線あるいはベジェ曲線などによる補間に比較してよりユーザが望む形状で領域を切り出すことが可能である。
【0046】
さらに、上述の補間を行った境界点に対しては、それを行ってない境界点よりもぼかす度合を強くすることで、切り出された画像の周囲をぼかしているので、補間による擬似的な境界線を曖昧にすることができ、さらにユーザが望む形状で領域を切り出すことが可能である。
また、境界線の変更が可能であり、上述の補間を行った境界点を変更した場合、変更後の境界点に対しては、補業を行ってないものとしてぼかすので、境界点に対してユーザが積極的に変更して境界点の曖昧さが排除された時点で、境界線のぼかしをおこなうことで、よりユーザが望む形状で領域を切り出すことが可能である。
【0047】
【発明の効果】
以上説明したように本発明によれば、ユーザの意図する適正な画像切り出しが可能となる。
【図面の簡単な説明】
【図1】本発明に係る一実施の形態の画像処理の構成概念を示す図である。
【図2】画像領域の切り出し処理手順を示すフローチャートである。
【図3】ユーザが指定した領域を示す図である。
【図4】境界点の選択方法を説明するための図である。
【図5】直前の境界点に近い点が選択される様子を表す図である。
【図6】孤立した境界点の様子を表す図である。
【図7】切り出された画像の例を表す図である。
【図8】境界点が補間される様子を説明するための図である。
【図9】境界線がぼかされている様子を表す図である。
【図10】領域を修正する様子を表す図である。
【図11】本実施の形態の画像処理装置のハードウエア構成の図である。
【図12】本実施の形態の画像処理装置のメモリのレイアウト構成の図である。
【符号の説明】
101 画像格納部
102 表示部
103 入力部
104 画像切り出し部
105 ぼかし部
106 修正部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method and apparatus, and more particularly to an image processing method and apparatus for segmenting an area from an image.
[0002]
[Prior art]
Conventionally, as a method of cutting out a specific area of an image and removing other areas, there is a method described in, for example, Japanese Patent Laid-Open No. 60-169977.
In this method, first, the user designates a representative point near the boundary line of the region to be cut out. Then, a point that is on the vertical line of the line connecting the representative points and is located within a certain distance is selected to have the maximum differential value (edge) of each pixel value. Further, a boundary line to be cut out is determined by connecting these points.
[0003]
In this method, the unevenness caused by the noise of the image is eliminated by smoothing the image in advance or by applying a least square method to the obtained points to determine the boundary line.
In addition, when it is desired to blur the outline like a person's hair, the surrounding pixel values are weighted and added to each pixel around the outline.
[0004]
[Problems to be solved by the invention]
However, such a conventional method has the following problems. That is, in the vicinity of a point designated by the user, the pixel having the maximum differential value of the pixel value may not necessarily become a boundary point if the user wants to cut out.
For example, when cutting out a person's area from an image, the point where the differential value of the pixel value is maximum is dispersed for an area where many lines exist in the same direction, such as wrinkles of clothes, As a result, the cut-out is performed with a line having unevenness.
[0005]
In addition, it had been waiting to become a strong influence boundary cut in noise such as isolated point. Further, it is impossible to change the blurring amount at a specific portion of the contour from other portions, and it is only possible to blur all the contours uniformly. The present invention has been made in view of the above conventional example, and an object thereof is to provide an image processing method and apparatus capable of appropriately cutting out an image intended by a user.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, an image processing method of the present invention comprises the following arrangement. That is, for each of a plurality of specified points constituting the specified line designated by the user against the image, it is in line to approximate perpendicular to the respective specified points as the designated line and a predetermined or more gradient threshold A selection means for selecting a boundary point from the points having
Boundary line creating means for creating a boundary line using a plurality of boundary points selected by the selecting means;
Smoothing means for smoothing by applying a predetermined smoothing filter around the boundary line created by the boundary line creating means;
An image processing apparatus comprising:
In the selection means, when the designated point is the start point of the designated line, the point on the line passing through the designated point and substantially orthogonal to the designated line and having a density gradient equal to or greater than the predetermined threshold value, A point close to the designated point is selected as a boundary point for the designated point. On the other hand, if the designated point is not the starting point of the designated line, the designated point is on a line that is substantially orthogonal to the designated line through the designated point and the predetermined point. A point close to the boundary point selected immediately before is selected as a boundary point for the designated point from points having a density gradient equal to or greater than the threshold value of
The boundary line creating means further includes a line interpolation means for executing a line interpolation process, and when there is a part where the boundary point is not selected by the selection means, the line interpolation means is used for the part. The boundary line is created by executing a line interpolation process,
In the smoothing means, the periphery of the portion subjected to the line interpolation by the line interpolation means is more strongly smoothed .
[0007]
In the image processing apparatus, the portion where the boundary point is not selected by the selection means is a portion where there is no point having a density gradient equal to or greater than the predetermined threshold on a line substantially orthogonal to the designated line. It is characterized by that.
[0008]
Another aspect of the present invention, for each plurality of designated points constituting a specified line designated by the user against the image, is in line to approximate perpendicular to the respective specified points as the designated line and given A selection step of selecting a boundary point from points having a density gradient equal to or greater than a threshold;
A boundary line creating step of creating a boundary line using a plurality of boundary points selected in the selection step;
A smoothing step of performing smoothing by applying a predetermined smoothing filter around the boundary created in the boundary creating step;
An image processing method comprising:
In the selection step, when the designated point is a starting point of the designated line, the point is located on a line passing through the designated point and substantially orthogonal to the designated line and having a density gradient equal to or higher than the predetermined threshold value. A point close to the designated point is selected as a boundary point for the designated point. On the other hand, if the designated point is not the starting point of the designated line, the designated point is on a line that is substantially orthogonal to the designated line through the designated point and the predetermined point. A point close to the boundary point selected immediately before is selected as a boundary point for the designated point from points having a density gradient equal to or greater than the threshold value of
The boundary line creation step further includes a line interpolation step for executing a line interpolation process, and when there is a portion where the boundary point is not selected in the selection step, the line interpolation step is performed on the portion. The boundary line is created by executing a line interpolation process,
In the smoothing step, the periphery of the portion interpolated in the line interpolation step is more strongly smoothed .
[0009]
The image processing method further includes an input step of inputting a band-shaped region designated by the user,
The designated line is a center line of the band-like region;
The boundary point selected in the selection step is a point in the belt-like region .
[0010]
In the image processing method , the portion where the boundary point is not selected in the selection step is a portion where there is no point having a density gradient equal to or greater than the predetermined threshold on a line substantially orthogonal to the designated line. It is characterized by that .
[0011]
Further, in the image processing method , in the line interpolation step, a neighboring boundary point is selected in both directions with respect to a portion where the boundary point is not selected, and line interpolation processing is executed based on the neighboring boundary point. The line obtained by doing is interpolated in the said part , It is characterized by the above-mentioned.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
First, after summarizing points in the embodiment according to the present invention, a detailed description thereof will be given.
In the image region cutout process according to the present embodiment, first, a line is designated on the image. Then, for each point on the line designated for determining the boundary point to be cut out, the distance is within a certain range, has a feature value greater than or equal to a predetermined value, and is determined as a boundary point Select the point closest to the point. Then, a predetermined number of points that are not connected are deleted from those points, and a desired image region can be cut out by interpolating boundary points.
[0013]
When interpolating boundary points, first, interpolation is performed using a line designated on the image.
In addition, the image is cut out along the boundary points to be cut out, and the interpolated boundary points are blurred by making the degree of blurring stronger than the boundary points that are not interpolated. .
[0014]
Furthermore, when the boundary point of the cut-out region is changed and the boundary point after interpolation is changed, the boundary point after the change is blurred as not being interpolated.
In addition, the pixel values in the vicinity of the boundary point are changed by taking an average of the surrounding pixel values, and in order to increase the degree of blurring, more pixels are blurred or averaged with more pixels. Take.
[0015]
The processing points that characterize the present invention have been summarized above. Next, these processes will be described in detail.
FIG. 1 is a diagram illustrating a configuration example of processing according to the present embodiment.
An
[0016]
[0017]
A
Next, the image region cutout process according to the present embodiment will be described with reference to the flowchart of FIG. It is assumed that the image to be cut out has already been displayed on the
[0018]
First, in step S <b> 201, the user traces a region to be cut out in the original image using a rough line using the
In the
[0019]
In step S <b> 202, the
Specifically, the following processing is performed. FIG. 4 is an enlarged view of the
[0020]
In the figure,
In FIG. 4, this point is indicated by 405, and this point becomes the starting point of the boundary line.
[0021]
Next, for the other points on the center line of the user-specified line, for example, the point 406, the corresponding boundary points are determined as follows. That is, the direction of the
[0022]
As described above, the reason why the edge having the gradient equal to or larger than the threshold value, which is the area in the user-specified line, and further the point closest to the immediately preceding boundary point is selected is as follows.
First, a portion having only a small edge having a gradient equal to or smaller than a predetermined threshold is not characteristic, and it is impossible for a human to determine where to cut out. In such a place, forcibly selecting a boundary point will lead to an incorrect boundary.
[0023]
Furthermore, a point having a large edge with a gradient equal to or greater than a certain threshold value can be a candidate for a boundary point regardless of the magnitude of the value. The reason for selecting the point closest to the immediately preceding boundary point is to make the boundary line smoother.
For example, in FIG. 5, when the boundary point for the
[0024]
Next, in step S204, the image cutout unit leaves only a predetermined number or more, for example, three or more connected points among the boundary points obtained as described above, and deletes other boundary points. This process will be specifically described below.
For example, it is assumed that the boundary point is extracted as shown in FIG. FIG. 6 shows a state where four connected boundary points 501, one
[0025]
Next, in
[0026]
The first method is a method of performing interpolation using front and rear boundary points on a Bezier curve or a straight line. The second is a method using the curve shape of the user-specified line, which will be described with reference to FIG.
In FIG. 8, 801 and 802 are boundary points, and 803 and 804 indicate both ends of the user-specified line. Here, first, a specified user specified line section is obtained by a line 805 passing through the boundary point 801 and orthogonal to the user specified line, and a line 806 passing through the
[0027]
After the boundary line is created by the above method, the boundary line is displayed over the original image. If the user sees the displayed boundary line and the result is as expected, the boundary line is further extended by executing steps S201 to S205. The same steps can be executed and redone.
[0028]
Then, the same processing is repeated until the boundary line created in the above steps forms a desired region.
In step 206, a predetermined determination command is input from the
[0029]
In step 207, the
An example in which a region is cut out and displayed on the image of FIG. 3 is shown in FIG.
The processing operation for extracting a desired area from the original image has been described above. After the area is cut out in step S207 in FIG. 2, the area around the image area to be cut out is blurred by the
[0030]
When the pixel value of the pixel (i, j) is x (i, j), the pixel (i ′, j ′) near the boundary point to be drawn
[Expression 1]
[0032]
Xh is calculated. Here, m is a constant and determines the number of pixels of the pixel (i, j). The blurring amount increases as m increases. Here, the degree of blur is changed by making m variable depending on the boundary point.
Specifically, when creating a boundary line from a boundary point in step S205, interpolation is performed for boundary points that are not adjacent as described above, but in the vicinity of the boundary point subjected to such interpolation. The degree of blurring is increased for the pixels of. That is, the value of m is increased and an average with many pixels is taken. Alternatively, only the interpolated portion is blurred and the other portions are not blurred. The place where interpolation was performed is a place where the edge gradient value is small or where there are many edges with a small gradient. By blurring such a place, the pseudo boundary line created by the interpolation is removed. It is possible to create a border that is ambiguous and more comfortable.
[0033]
Moreover, not only the blur amount but also the blur width can be made variable. The blur width is the number of neighboring pixels (i ′, j ′) taken for each boundary point. By increasing this number for the boundary points created by interpolation, the blur width is increased. As an example, FIG. 9 shows a state where the image of FIG. 7 is blurred.
Furthermore, the user can correct the area cut out based on the above result.
[0034]
This process is executed by the
FIG. 10 shows a state where a part of the image area is corrected and enlarged. In FIG. 10, reference numeral 1001 denotes a tool operated by a pointing device of the
[0035]
The movement of the tool 1001 is controlled by the
For example, it is assumed that a wavy line 1002 in FIG. 10 is a cutout outline determined by the above-described processing.
In this state, when the user wants to shift the position of the cutout contour line 1002, the tool 1001 is moved to the position where the cutout contour line 1002 is to be moved and pushed outward, so that the cutout contour is centered on that position. The line 1002 moves and deforms outward.
[0036]
The
Further, the
[0037]
It is also possible to erase a part of the area cut out using the tool 1001. This is performed by, for example, pressing a predetermined key on the keyboard of the
[0038]
Next, a hardware configuration capable of implementing the image processing according to the present embodiment will be described with reference to FIG.
The
[0039]
A
The
[0040]
Next, FIG. 12 shows an example of the layout of each program corresponding to each process of the above-described flowchart assigned to the ROM area of the
[0041]
[0042]
2003 is a program corresponding to the above-described line interpolation processing.
2004 is a program for performing the smoothing process around the cutout outline.
The present invention may be applied to a system composed of a plurality of devices such as a host computer, an interface, and a printer, or to an apparatus composed of a single device such as a copying machine. Needless to say, the present invention can also be applied to a case where the present invention is achieved by supplying a program to a system or apparatus. In this case, the system or apparatus receives the effects of the present invention by reading the program from the storage medium storing the program represented by the software for achieving the present invention into the system or apparatus. It becomes possible.
[0043]
As described above, according to the present embodiment, in order to determine a boundary point for extracting an image, a feature amount (edge gradient) that is at a certain distance from the point traced by the user and that is a certain amount or more is used. ), It is not possible to select a boundary point at a point where the feature amount is less than a certain amount in the image and it is not possible to know where to set the boundary. The possibility of selecting boundary points is reduced.
[0044]
Therefore, a smooth region with higher accuracy and less unevenness is cut out as compared with other methods for determining boundary points, for example, a method of selecting a point having the maximum feature amount.
In addition, since the point having the shortest distance from the point determined as the boundary point is selected, the boundary point is selected adjacently, and a smooth region with less unevenness is cut out. .
[0045]
In addition, since the points that are not connected by a certain number or more are deleted from the boundary points, the unevenness of the cutout region that occurs when the isolated connection points are connected is eliminated. According to the second embodiment, when the boundary points are not adjacent, the interpolation of the boundary points is performed on the basis of the line traced by the user. It is possible to cut out a region in a shape desired by the user as compared with interpolation using a Bezier curve or the like.
[0046]
Furthermore, since the boundary point that has been subjected to the above-mentioned interpolation is blurred by making the degree of blurring stronger than the boundary point that has not been performed, the pseudo boundary by interpolation is blurred. The line can be made ambiguous and the area can be cut out in the shape desired by the user.
In addition, it is possible to change the boundary line, and if the boundary point that has been interpolated as described above is changed, the boundary point after the change will be blurred as not having been supplemented. When the ambiguity of the boundary point is eliminated by positive change by the user, it is possible to cut out the region in a shape desired by the user by blurring the boundary line.
[0047]
【The invention's effect】
As described above, according to the present invention, it is possible to cut out an appropriate image intended by the user.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration concept of image processing according to an embodiment of the present invention.
FIG. 2 is a flowchart showing an image region cutout processing procedure;
FIG. 3 is a diagram illustrating an area designated by a user.
FIG. 4 is a diagram for explaining a method for selecting a boundary point;
FIG. 5 is a diagram illustrating a state in which a point close to the immediately preceding boundary point is selected.
FIG. 6 is a diagram illustrating a state of an isolated boundary point.
FIG. 7 is a diagram illustrating an example of a clipped image.
FIG. 8 is a diagram for explaining a state in which boundary points are interpolated.
FIG. 9 is a diagram illustrating a state where a boundary line is blurred.
FIG. 10 is a diagram illustrating how a region is corrected.
FIG. 11 is a diagram of a hardware configuration of the image processing apparatus according to the present embodiment.
FIG. 12 is a diagram of a memory layout configuration of the image processing apparatus according to the present embodiment;
[Explanation of symbols]
101
Claims (12)
前記選択手段により選択された複数の境界点を用いて境界線を作成する境界線作成手段と、
前記境界線作成手段で作成された境界線周辺に所定の平滑化フィルタを作用させて平滑化する平滑化手段と
を有する画像処理装置であって、
前記選択手段では、前記指定点が当該指定線の開始点である場合、当該指定点を通り当該指定線に概直交する線上にあり且つ前記所定の閾値以上の濃度勾配を有する点の中から、当該指定点に近い点を当該指定点に対する境界点として選択し、一方、前記指定点が当該指定線の開始点でない場合、当該指定点を通り当該指定線に概直交する線上にあり且つ前記所定の閾値以上の濃度勾配を有する点の中から、直前に選択された境界点に近い点を当該指定点に対する境界点として選択し、
前記境界線作成手段では、更に、線補間処理を実行する線補間手段を含み、前記選択手段で前記境界点が選択されなかった部分が存在する場合に、当該部分に対して前記線補間手段で線補間処理を実行することによって前記境界線を作成し、
前記平滑化手段では、前記線補間手段で線補間された部分の周囲をより強く平滑化することを特徴とする画像処理装置。 For each plurality of designated points constituting a specified line designated by the user against the image, it is in line to approximate perpendicular to the respective specified points as the designated line and having the above density gradient predetermined threshold A selection means for selecting a boundary point from the points;
Boundary line creating means for creating a boundary line using a plurality of boundary points selected by the selecting means;
Smoothing means for smoothing by applying a predetermined smoothing filter around the boundary line created by the boundary line creating means;
An image processing apparatus comprising:
In the selection means, when the designated point is the start point of the designated line, the point on the line passing through the designated point and substantially orthogonal to the designated line and having a density gradient equal to or greater than the predetermined threshold value, A point close to the designated point is selected as a boundary point for the designated point. On the other hand, if the designated point is not the starting point of the designated line, the designated point is on a line that is substantially orthogonal to the designated line through the designated point and the predetermined point. A point close to the boundary point selected immediately before is selected as a boundary point for the designated point from points having a density gradient equal to or greater than the threshold value of
The boundary line creating means further includes a line interpolation means for executing a line interpolation process, and when there is a part where the boundary point is not selected by the selection means, the line interpolation means is used for the part. The boundary line is created by executing a line interpolation process,
An image processing apparatus characterized in that the smoothing means smoothes the periphery of the portion subjected to the line interpolation by the line interpolation means more strongly .
前記選択手段において前記境界点が選択されなかった部分とは、前記削除手段で削除された部分であることを特徴とする請求項1に記載の画像処理装置。 The selecting means is adjacent to another boundary point at a boundary point selected from the points that pass through the specified points and are substantially orthogonal to the specified line and have a density gradient equal to or greater than a predetermined threshold value. A non-adjacent boundary point, and a deletion unit that deletes the non-adjacent boundary point,
The image processing apparatus according to claim 1, wherein the part where the boundary point is not selected by the selection unit is a part deleted by the deletion unit .
前記選択工程により選択された複数の境界点を用いて境界線を作成する境界線作成工程と、
前記境界線作成工程で作成された境界線周辺に所定の平滑化フィルタを作用させて平滑化する平滑化工程と
を有する画像処理方法であって、
前記選択工程では、前記指定点が当該指定線の開始点である場合、当該指定点を通り当該指定線に概直交する線上にあり且つ前記所定の閾値以上の濃度勾配を有する点の中から、当該指定点に近い点を当該指定点に対する境界点として選択し、一方、前記指定点が当該指定線の開始点でない場合、当該指定点を通り当該指定線に概直交する線上にあり且つ前記所定の閾値以上の濃度勾配を有する点の中から、直前に選択された境界点に近い点を当該指定点に対する境界点として選択し、
前記境界線作成工程では、更に、線補間処理を実行する線補間工程を含み、前記選択工程で前記境界点が選択されなかった部分が存在する場合に、前記線補間工程で当該部分に対して線補間処理を実行することによって前記境界線を作成し、
前記平滑化工程では、前記線補間工程で線補間された部分の周囲をより強く平滑化することを特徴とする画像処理方法。 For each plurality of designated points constituting a specified line designated by the user against the image, it is in line to approximate perpendicular to the respective specified points as the designated line and having the above density gradient predetermined threshold A selection process for selecting a boundary point from the points;
A boundary line creating step of creating a boundary line using a plurality of boundary points selected in the selection step;
A smoothing step of performing smoothing by applying a predetermined smoothing filter around the boundary created in the boundary creating step;
An image processing method comprising:
In the selection step, when the designated point is a starting point of the designated line, the point is located on a line passing through the designated point and substantially orthogonal to the designated line and having a density gradient equal to or higher than the predetermined threshold value. A point close to the designated point is selected as a boundary point for the designated point. On the other hand, if the designated point is not the starting point of the designated line, the designated point is on a line that is substantially orthogonal to the designated line through the designated point and the predetermined point. A point close to the boundary point selected immediately before is selected as a boundary point for the designated point from points having a density gradient equal to or greater than the threshold value of
The boundary line creation step further includes a line interpolation step for executing a line interpolation process, and when there is a portion where the boundary point is not selected in the selection step, the line interpolation step is performed on the portion. The boundary line is created by executing a line interpolation process,
In the smoothing step, the periphery of the portion subjected to the line interpolation in the line interpolation step is more strongly smoothed .
前記指定線は前記帯状領域の中心線であり、
前記選択工程で選択される境界点は、前記帯状領域内の点であることを特徴とする請求項4に記載の画像処理方法。 An input step of inputting a band-shaped area designated by the user;
The designated line is a center line of the band-like region;
The image processing method according to claim 4, wherein the boundary point selected in the selection step is a point in the band-like region .
前記選択工程で前記境界点が選択されなかった部分とは、前記削除工程で削除された部分であることを特徴とする請求項4に記載の画像処理方法。 In the selection step, a boundary point selected from the points that pass through the specified points and are substantially orthogonal to the specified line and have a density gradient equal to or higher than a predetermined threshold value is adjacent to other boundary points. If there is a boundary point that has not been included, including a deletion step of deleting the boundary point that is not adjacent,
The image processing method according to claim 4, wherein the portion where the boundary point is not selected in the selection step is a portion deleted in the deletion step .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23121895A JP3679467B2 (en) | 1995-09-08 | 1995-09-08 | Image processing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23121895A JP3679467B2 (en) | 1995-09-08 | 1995-09-08 | Image processing method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0981712A JPH0981712A (en) | 1997-03-28 |
JP3679467B2 true JP3679467B2 (en) | 2005-08-03 |
Family
ID=16920181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23121895A Expired - Fee Related JP3679467B2 (en) | 1995-09-08 | 1995-09-08 | Image processing method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3679467B2 (en) |
-
1995
- 1995-09-08 JP JP23121895A patent/JP3679467B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0981712A (en) | 1997-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2431942B1 (en) | Defining a border for an image | |
JP3189870B2 (en) | Image processing device | |
EP1968008B1 (en) | Method for content-aware image retargeting | |
EP0593028B1 (en) | Color image processing method and apparatus for same | |
US8452105B2 (en) | Selecting a section of interest within an image | |
US8280171B2 (en) | Tools for selecting a section of interest within an image | |
US20130215143A1 (en) | Defining a border for an image | |
US20040164996A1 (en) | Image region filling by exemplar-based inpainting | |
KR20040029258A (en) | Image editing method, image editing apparatus, program for implementing image editing method and recording medium recording program | |
US8548251B2 (en) | Defining a border for an image | |
JP2006024184A (en) | Image processing system, image processing method, program and recording medium | |
JPH07302336A (en) | Method and apparatus for making feature of image ambiguous | |
US7116844B2 (en) | Method for generating vector data for a hand-drawn curve | |
JP3237898B2 (en) | Image figure editing apparatus and processing method of image figure editing apparatus | |
US6522328B1 (en) | Application of a graphical pattern to a path | |
JP4188487B2 (en) | Eye makeup simulation system | |
KR100396357B1 (en) | Method for automatically determining trackers along contour and storage medium storing program for implementing the same | |
JP3679467B2 (en) | Image processing method and apparatus | |
CN106716500B (en) | Information processing device and depth definition method | |
JP4123548B2 (en) | Embroidery data processing apparatus and recording medium | |
JPH1153562A (en) | Device and method for generating time sequential data and editing curve, and storage medium with recorded program | |
JP2002196878A (en) | Recording medium, picture processor and its method | |
JP3887961B2 (en) | Image association method, computer-readable storage medium for causing computer to execute image association method, and information processing apparatus | |
JPH0991443A (en) | Image contour extract device | |
JPH11272869A (en) | Method and device for editing raster data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050422 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050513 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100520 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100520 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110520 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120520 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |