JP3679467B2

JP3679467B2 - Image processing method and apparatus

Info

Publication number: JP3679467B2
Application number: JP23121895A
Authority: JP
Inventors: 健司羽鳥
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-09-08
Filing date: 1995-09-08
Publication date: 2005-08-03
Anticipated expiration: 2015-09-08
Also published as: JPH0981712A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法とその装置、特に、画像からの領域切り出しを行う画像処理方法とその装置に関する。
【０００２】
【従来の技術】
従来、画像の特定領域を切り出し、その他の領域を除去する方法として、例えば特開昭６０−１６９９７７で記述されている方法があった。
この方法では、まず、ユーザが切り出したい領域の境界線付近に代表点を指示する。そして、その代表点を結んだ線分の垂線上にあり、かつ、ある一定距離内に位置する点の中で各画素値の微分値（エッジ）が最大となる点を選ぶ。さらに、これらの点を連結することで切り出しを行う境界線を決定する。
【０００３】
この方法ではさらに、あらかじめ画像の平滑化を行ったり、得られた点に対して最小２乗法による当てはめを行って境界線を決定するなどして、画像のノイズによって生じる凹凸をなくしていた。
また、人物の頭髪のように輪郭をぼかしたい場合には、輪郭の周囲の各画素に対して周囲の画素値を重み付けして足し込んでいた。
【０００４】
【発明が解決しようとする課題】
しかし、このような従来の方法では、次のような問題点があった。すなわち、ユーザが指定した点の近傍において、画素値の微分値が最大となる画素が必ずしもユーザが切り出したいと境界点にならないことがあることである。
例えば、画像から人物の領域を切り出す際に、洋服のしわのように何本もの線が同一方向に存在する領域に対しては、画素値の微分値が最大となる点が分散してしまい、結果的には凹凸を持つ線で切り出しが行われてしまう。
【０００５】
また、孤立点などのノイズに強く影響された境界切り出しとなってしまっていた。さらに、輪郭の特定箇所のぼかし量を他の箇所と変えることが不可能であり、すべての輪郭を一様にぼかすことができるだけであった。本発明は、上記従来例に鑑みてなされたもので、ユーザの意図する適正な画像切り出しが可能な画像処理方法とその装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像処理方法は以下の構成を備える。即ち、画像に対してユーザにより指定された指定線を構成する複数の指定点それぞれに対して、当該各指定点を通り当該指定線に概直交する線上にあり且つ所定の閾値以上の濃度勾配を有する点の中から、境界点を選択する選択手段と、
前記選択手段により選択された複数の境界点を用いて境界線を作成する境界線作成手段と、
前記境界線作成手段で作成された境界線周辺に所定の平滑化フィルタを作用させて平滑化する平滑化手段と
を有する画像処理装置であって、
前記選択手段では、前記指定点が当該指定線の開始点である場合、当該指定点を通り当該指定線に概直交する線上にあり且つ前記所定の閾値以上の濃度勾配を有する点の中から、当該指定点に近い点を当該指定点に対する境界点として選択し、一方、前記指定点が当該指定線の開始点でない場合、当該指定点を通り当該指定線に概直交する線上にあり且つ前記所定の閾値以上の濃度勾配を有する点の中から、直前に選択された境界点に近い点を当該指定点に対する境界点として選択し、
前記境界線作成手段では、更に、線補間処理を実行する線補間手段を含み、前記選択手段で前記境界点が選択されなかった部分が存在する場合に、当該部分に対して前記線補間手段で線補間処理を実行することによって前記境界線を作成し、
前記平滑化手段では、前記線補間手段で線補間された部分の周囲をより強く平滑化する。
【０００７】
また、上記画像処理装置において、前記選択手段で前記境界点が選択されなかった部分とは、当該指定線に概直交する線上に前記所定の閾値以上の濃度勾配を有する点がなかった部分であることを特徴とする。
【０００８】
また、別の発明は、画像に対してユーザにより指定された指定線を構成する複数の指定点それぞれに対して、当該各指定点を通り当該指定線に概直交する線上にあり且つ所定の閾値以上の濃度勾配を有する点の中から、境界点を選択する選択工程と、
前記選択工程により選択された複数の境界点を用いて境界線を作成する境界線作成工程と、
前記境界線作成工程で作成された境界線周辺に所定の平滑化フィルタを作用させて平滑化する平滑化工程と
を有する画像処理方法であって、
前記選択工程では、前記指定点が当該指定線の開始点である場合、当該指定点を通り当該指定線に概直交する線上にあり且つ前記所定の閾値以上の濃度勾配を有する点の中から、当該指定点に近い点を当該指定点に対する境界点として選択し、一方、前記指定点が当該指定線の開始点でない場合、当該指定点を通り当該指定線に概直交する線上にあり且つ前記所定の閾値以上の濃度勾配を有する点の中から、直前に選択された境界点に近い点を当該指定点に対する境界点として選択し、
前記境界線作成工程では、更に、線補間処理を実行する線補間工程を含み、前記選択工程で前記境界点が選択されなかった部分が存在する場合に、前記線補間工程で当該部分に対して線補間処理を実行することによって前記境界線を作成し、
前記平滑化工程では、前記線補間工程で線補間された部分の周囲をより強く平滑化する。
【０００９】
また、上記画像処理方法において、前記ユーザにより指定された帯状領域を入力する入力工程を更に備え、
前記指定線は前記帯状領域の中心線であり、
前記選択工程で選択される境界点は、前記帯状領域内の点であることを特徴とする。
【００１０】
また、上記画像処理方法において、前記選択工程で前記境界点が選択されなかった部分とは、当該指定線に概直交する線上に前記所定の閾値以上の濃度勾配を有する点がなかった部分であることを特徴とする。
【００１１】
また、上記画像処理方法において、前記線補間工程では、前記境界点が選択されなかった部分に対して両側方向で近傍の境界点を選択し、前記近傍の境界点に基づいて線補間処理を実行することにより求められた線を当該部分に内挿することを特徴とする。
【００１２】
【発明の実施の形態】
まず、本発明に係る実施の形態におけるポイントを要約した後に、その詳細な説明を行うこととする。
本実施の形態の画像領域切り出し処理では、まず、画像上に線を指定する。そして、切り出しを行う境界点を決定するために指定された線上の各点に対して、一定範囲内の距離にあり、かつ、所定値以上の特徴量を持ち、かつ、境界点として決定された点からの距離が最も近い点を選択する。そして、それらの点の中から所定個数以上連結していない点を削除し、境界点の補間を行うことで所望の画像領域の切り出しを可能とする。
【００１３】
また、境界点の補間を行う際には、はじめに画像上に指定された線を利用して補間を行う。
さらに、切り出しを行う境界点に沿って画像の切り出しを行い、補間した境界点に対しては、補間を行ってない境界点よりもぼかす度合を強くすることで、切り出された画像の周囲をぼかす。
【００１４】
さらに、切り出した領域の境界点を変更し、補間した境界点を変更した場合、変更後の境界点に対しては、補間を行ってないものとしてぼかす。
また、境界点の近傍の画素に関して、その周囲の画素値の平均を取ることでほかし、また、ぼかす度合を強くするために、より多くの画素に関してぼかし、あるいはより多くの画素との平均をとる。
【００１５】
以上、本発明に係る特徴となる処理のポイントを要約した。次に、これらの処理の詳細な説明を行う。
第１図は、本実施の形態の処理の構成例を示す図である。
１０１は、原画像及び原画像から切り出された画像を格納する画像格納部である。
【００１６】
１０２は、画像の表示を行う表示部である。
１０３は、画像中の切り出し領域を大まかに指定するポインティングデバイス及び各種コマンドを入力するためのキーボードを備える入力部である。
１０４は、画像の切り出し領域を決定し、実際の切り出しを行う画像切り出し部である。
【００１７】
１０５は、切り出した領域の周囲をぼかすためのぼかし処理部である。
１０６は、切り出した領域をユーザが修正するための修正部である。
次に、本実施の形態の画像領域切り出し処理に関して、図２のフローチャートを用いて説明する。尚、表示部１０２には、既に、切り出し対象の画像を表示しているものとする。
【００１８】
まず、ステップＳ２０１において、ユーザーは原画像中の切り抜きを行う領域を、入力部１０３を用いて大まかに太い線でなぞる。この線をユーザ指定線と呼ぶ。
画像切り出し部１０４では、入力部１０３を介して、ユーザ指定線の軌跡を入力して、対応する線を表示部１０２に表示する。表示するユーザ指定線は、図３に示すように、波線（３０１）等を用い、原画がなるべく消えないようにする。
【００１９】
ステップＳ２０２では、画像切り出し部１０４は、ユーザ指定線の領域内に存在する画素に対して、画素値の微分値（以下では、エッジと呼ぶ）を決定するために、ユーザ指定線の中心線上の各点に対して、境界線上の対応する点（以下では境界点と呼ぶ）を求める。
具体的には、以下の処理を行う。図４は、図３の３０１の部分を拡大したものであり、この図を用いて説明する。
【００２０】
同図において、４０２はユーザ指定線の中心線であり、この線の開始点を４０３とする。まず、点４０３に対して、線４０２の進行方向と直交する線４０４方向でのユーザ指定線内の各点を調べ、エッジ勾配がある閾値以上である点でかつ、点４０３に最も距離が近い点を選択する。
図４では、この点を４０５で示しており、この点が境界線の開始点となる。
【００２１】
そして次に、ユーザ指定線の中心線上の他の点、例えば点４０６に対して、対応する境界点を以下のように決定する。すなわち、線４０２の進行方向と直交する線４０７方向を調べ、ユーザ線の領域内に存在する点のうち、エッジがある閾値以上であり、かつ直前に選択された境界点（この場合、点４０８）に最も近い点を選択する。図４では、点４０９が選択された点を示している。
【００２２】
このように、ユーザ指定線内の領域である閾値以上の勾配を持つエッジを持ち、さらに、直前の境界点に最も近い点を選択させるのは、次のような理由からである。
まず、所定の閾値以下の勾配の小さなエッジしか持たない箇所は特徴のないところであり、人間にとってもどこを切り出してよいか判断がつかない。そのような箇所で、無理に境界点を選ぶことは誤った境界を導く原因となる。
【００２３】
さらに、ある閾値以上の勾配の大きなエッジを持つ点は、その値の大小に関わりなく境界点の候補となりうる。また、直前の境界点に最も近い点を選択するのは、境界線をより滑らかにするためである。
例えば、図５において、ユーザ指定線の中心線上に位置する点６０１に対する境界点を求める際に、点６０２におけるエッジ点の勾配が６０３よりほんのわずか上回っていたとしても、両者の値が閾値以上ならば、直前の境界点により近い点６０３の方が選択されることになる。
【００２４】
次に、ステップＳ２０４において、画像切り出し部は、以上によって求められた境界点のうち、所定個数以上、例えば３個以上連結している点のみを残し、他の境界点を削除する。この処理を以下に具体的に説明する。
例えば、ステップＳ２０３によって境界点が、図６のように抽出されたとする。図６は、４点の連結した境界点５０１と、１個の境界点５０２と、３個の連結した境界点（５０３）が抽出された様子を示している。孤立している１個の境界点５０２がある箇所は、例えば、頭髪のようにエッジがある部分であり、境界点５０１と境界点５０３に一本の線があり、境界点５０２に別の線がある可能性が高い。このような状態においては、どちらの線を境界線として選択しても切り出し後の領域の形状には大差がなくユーザにとって自然に見えるが、逆に２つの線を交互に選択するような、つまり境界点５０１、５０２、５０３をつないだ境界線で切り出すと領域の凹凸が発生し、ユーザにとって不自然に見えてしまう。それを防ぐためには孤立している境界点５０２を削除すればよく、これによりユーザが所望する領域の形状に近く、また凹凸のない滑らかな領域を切り出せるようになる。
【００２５】
次に、ステップ２０５では、画像切り出し部１０４は、ステップＳ２０４までで求められた境界点に基づき境界線を作成する。この操作は、境界点がもし隣接していた場合にはそれらを直線で結ぶことによって行うが、もし、ステップＳ２０３で閾値以上の勾配のエッジを持つ点が存在しなかった箇所や、ステップＳ２０４において所定個数以上の点が連結していないために境界点が削除された箇所には、境界点が隣接しない状態になる。その場合には、以下の方法で境界点の存在しない箇所を補間する。
【００２６】
第１の方法は、ベジェ曲線あるいは直線等で前後の境界点を用いて補間を行う方法である。第２は、ユーザ指定線の曲線形状を利用する方法であり、これを図８を用いて説明する。
図８において、８０１及び８０２は境界点であり、８０３及び８０４はユーザ指定線の両端を指す。ここでまず、境界点８０１を通りユーザ指定線と直交する線８０５と、境界点８０２を通りユーザ指定線と直交する線８０６によって、指定されるユーザ指定線の区間が得られる。そして、そのユーザ指定線の区間内の線分を境界点８０１と８０２の区間間に当てはめ、線８０７のように連結することで補間が完成する。
【００２７】
以上の方法で境界線を作成した後、その境界線を原画像上に重ねて表示する。ユーザーはその表示された境界線を見て結果が期待通りのものであれば、ステップＳ２０１からＳ２０５までを実行することでさらに境界線を延長し、期待するものでない場合は、再び同じ領域に対して同ステップを実行してやり直しを行うことができる。
【００２８】
そして、以上のステップで作成される境界線が所望の領域を形成するまで同様の処理を繰り返す。
ステップ２０６では、以上の処理によって、切り出した領域が決定されたかどうか、入力部１０３から所定の決定コマンドを入力する。そして、決定コマンドを入力するとステップＳ２０７に進み、入力されなければステップＳ２０１に戻り同様の処理を繰り返す。
【００２９】
ステップ２０７では、画像切り出し部１０４では決定した境界線を用いて領域の切り出しを行い、切り出された領域を画像格納部１０１に格納して、その境界線を表示部１０２に表示する。
図３の画像に対して領域の切り出しを行い表示した例を図７に示す。
以上、原画像から所望の領域を切り出すための処理動作に関して説明したが、図２のステップＳ２０７において領域を切り出した後、それを表示する前に、ぼかし部１０５によって切り出す画像領域の周囲をぼかし込むことができる。これによって、人間の見た目に対して自然な印象かつソフトフォーカスに似た視覚的効果を与えることができる。次に、この方法を説明する。
【００３０】
画素（ｉ，ｊ）の画素値をｘ（ｉ，ｊ）とするとき、描く境界点の近傍の画素（ｉ’，ｊ’）について
【００３１】
【数１】

【００３２】
なるｘｈを計算する。ここで、ｍは定数であり、画素（ｉ，ｊ）の画素の個数を決定する。このｍが大きくなるほどぼかし量も大きくなる。ここでは、ｍを境界点によって可変にすることで、ぼかしの程度を変える。
具体的には、ステップＳ２０５において、境界点から境界線を作成する際に、上述のように隣接していない境界点に対しては補間を行うが、このような補間を行った境界点の近傍の画素に対してはぼかしの程度を大きくする。つまり、ｍの値を大きくして多くの画素との平均をとる。あるいは、補間を行った箇所のみをぼかし、他の部分はぼかさない。補間を行った箇所は、エッジの勾配の値が小さい場所か、あるいは勾配の小さいエッジが多く存在する場所であり、そのような箇所をぼかすことで、補間によって作り出された擬似的な境界線を曖昧にして、より違和感のない境界線を作り出すことができる。
【００３３】
また、ぼかし量だけでなくぼかし幅も可変にすることもできる。ぼかし幅とは、各境界点に対してとる近傍の画素（ｉ’，ｊ’）の数である。この数を、補間によって作られた境界点に対しては多くすることで、ぼかし幅を多くする。例として、図７の画像をぼかした様子を図９に示す。
さらに、ユーザーは以上の結果によって切り出された領域を修正することができる。
【００３４】
この処理は、修正部１０６によって実行される。図１０を参照して、この処理を説明する。
図１０は、画像領域の一部を修正して拡大している様子を表している。図１０において、１００１は、入力部１０３のポインティングバイスによって操作されるツールを表している。このツールで、上述の処理で決定された切り出し輪郭線を押したり、引いたりすることで、輪郭線を変形させる。
【００３５】
ツール１００１は、ポインテイングデバイス２０４の動きに合わせて、移動するように、修正部１０６によって移動制御される。
例えば、図１０の波線１００２は、上述の処理で決定された切り出し輪郭線であるとする。
この状態で、ユーザが、切り出し輪郭線１００２の位置をずらしたい場合、ツール１００１を、切り出し輪郭線１００２の移動させたい位置に移動させ、外側に向かって押すことで、その位置を中心に切り出し輪郭線１００２は、外側に移動変形する。
【００３６】
修正部１０６ではまた、画像格納部１０１から原画像を読み出して、移動変形した部分に対応する原画像を拡大表示することができる。
さらに、ぼかし部１０５では、修正された領域に関しても前述と同様なぼかし処理を行う。この場合も、もし修正した箇所がステップＳ２０５において補間によって作られた境界線であれば、補間されていない箇所と同等のぼかし量及びぼかし幅のぼかしを行う。このような境界線は前述のように強くぼかされているはずであるが、ユーザの積極的な修正により作成された新たな境界線は、ユーザが欲する切り出し領域を正確に反映しており、ぼかし量及びぼかし幅を強くする必要はない。
【００３７】
ツール１００１を用いて切り出された領域の一部を消去することも可能である。これは、例えば入力部１０３のキーボードの所定のキーを押下して、消去モードに切り替え、切り出された領域の所定部分をツール１００１で囲うように指定することでおこなう。この場合、その部分が消去されることになる。この場合にも前と同様に、もし補間によって作成された境界線であれば補間されていない箇所と同等のぼかしを行う。
【００３８】
次に、図１１を参照して、本実施の形態の画像処理をインプリメントできるハードウエア構成を説明する。
ＣＰＵ２０３は、本実施の形態の画像処理装置全体を、メモリ２０２に格納されている上述した図２のフローチャートに対応するプログラム（図１のぼかし部１０５、修正部１０６、画像切り出し部１０４に対応するプログラムを含む）等の各種画像処理プログラムを読み出し、解釈し、実行する。
【００３９】
キーボード２０３とポインテイングデバイス２０４は、図１の入力部１０３に対応する。
メモリ２０２は、上述した各画像処理プログラムを内蔵したＲＯＭの領域と、各種の作業領域として使われるＲＡＭの領域（図１の画像格納部１０１に対応する領域を含む）を備える。
【００４０】
次に、図１２は、メモリ２０２のＲＯＭ領域にアサインされた上述したフローチャートの各処理に対応する各プログラムのレイアウトの一例を示す。尚、このプログラムは、フロッピーディスクなどの可搬可能な媒体に格納され、実行時に、メモリ２０２にロードされて、ＣＰＵ２００によって実行されてもよいことは言うまでもない。
【００４１】
２０００は、線入力プログラムであり、ステップＳ２０１での処理に対応する。
２００１は、エッジ抽出プログラムであり、ステップＳ２０２での処理に対応する。
２００２は、エッジ決定プログラムであり、ステップＳ２０３、Ｓ２０４に対応する。
【００４２】
２００３は、上述の線補間処理に対応するプログラムである。
２００４は、上述の切り出し輪郭周囲での平滑処理を行うプログラムである。２００５は、平滑処理された切り出し領域を抽出して、表示するプログラムである。
尚、本発明は、ホストコンピュータ、インタフェース、プリンタ等の複数の機器から構成されるシステムに適用しても、複写機等の１つの機器からなる装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体から、該プログラムを該システム或は装置に読み出すことによって、そのシステム或は装置が、本発明の効果を享受することが可能となる。
【００４３】
以上説明してきたように、本実施の形態によれば、画像を切り出すための境界点を決定するために、ユーザがなぞった先から一定の距離にあり、かつ一定量以上の特徴量（エッジ勾配）を持つかどうかをチェックしているので、画像中で特徴量が一定量以下しかなく、どこを境界としてよいか分からないような箇所で境界点を選択することはなく、そのためユーザののぞまない境界点を選択する可能性が減る。
【００４４】
従って、境界点を決定するための他の方法、例えば、最大の特徴量を持つ点を選択する方法と比較して、より正確で、かつ凹凸の少ない滑らかな領域が切り出されることになる。
また、一旦、境界点として決定された点からの距離が最も近い点を選択しているので、境界点が隣接して選択されることになり、凹凸の少ない滑らかな領域が切り出されることになる。
【００４５】
また、境界点の中から一定個数以上連結していない点を削除しているので、孤立した連結点を連結することによって発生する切り出し領域の凹凸がなくなる。第２の実施形態によれば、境界点が隣接してない場合には、境界点の補間をユーザがなぞった線を基に行っているので、境界点が離れている箇所においても、直線あるいはベジェ曲線などによる補間に比較してよりユーザが望む形状で領域を切り出すことが可能である。
【００４６】
さらに、上述の補間を行った境界点に対しては、それを行ってない境界点よりもぼかす度合を強くすることで、切り出された画像の周囲をぼかしているので、補間による擬似的な境界線を曖昧にすることができ、さらにユーザが望む形状で領域を切り出すことが可能である。
また、境界線の変更が可能であり、上述の補間を行った境界点を変更した場合、変更後の境界点に対しては、補業を行ってないものとしてぼかすので、境界点に対してユーザが積極的に変更して境界点の曖昧さが排除された時点で、境界線のぼかしをおこなうことで、よりユーザが望む形状で領域を切り出すことが可能である。
【００４７】
【発明の効果】
以上説明したように本発明によれば、ユーザの意図する適正な画像切り出しが可能となる。
【図面の簡単な説明】
【図１】本発明に係る一実施の形態の画像処理の構成概念を示す図である。
【図２】画像領域の切り出し処理手順を示すフローチャートである。
【図３】ユーザが指定した領域を示す図である。
【図４】境界点の選択方法を説明するための図である。
【図５】直前の境界点に近い点が選択される様子を表す図である。
【図６】孤立した境界点の様子を表す図である。
【図７】切り出された画像の例を表す図である。
【図８】境界点が補間される様子を説明するための図である。
【図９】境界線がぼかされている様子を表す図である。
【図１０】領域を修正する様子を表す図である。
【図１１】本実施の形態の画像処理装置のハードウエア構成の図である。
【図１２】本実施の形態の画像処理装置のメモリのレイアウト構成の図である。
【符号の説明】
１０１画像格納部
１０２表示部
１０３入力部
１０４画像切り出し部
１０５ぼかし部
１０６修正部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method and apparatus, and more particularly to an image processing method and apparatus for segmenting an area from an image.
[0002]
[Prior art]
Conventionally, as a method of cutting out a specific area of an image and removing other areas, there is a method described in, for example, Japanese Patent Laid-Open No. 60-169977.
In this method, first, the user designates a representative point near the boundary line of the region to be cut out. Then, a point that is on the vertical line of the line connecting the representative points and is located within a certain distance is selected to have the maximum differential value (edge) of each pixel value. Further, a boundary line to be cut out is determined by connecting these points.
[0003]
In this method, the unevenness caused by the noise of the image is eliminated by smoothing the image in advance or by applying a least square method to the obtained points to determine the boundary line.
In addition, when it is desired to blur the outline like a person's hair, the surrounding pixel values are weighted and added to each pixel around the outline.
[0004]
[Problems to be solved by the invention]
However, such a conventional method has the following problems. That is, in the vicinity of a point designated by the user, the pixel having the maximum differential value of the pixel value may not necessarily become a boundary point if the user wants to cut out.
For example, when cutting out a person's area from an image, the point where the differential value of the pixel value is maximum is dispersed for an area where many lines exist in the same direction, such as wrinkles of clothes, As a result, the cut-out is performed with a line having unevenness.
[0005]
In addition, it had been waiting to become a strong influence boundary cut in noise such as isolated point. Further, it is impossible to change the blurring amount at a specific portion of the contour from other portions, and it is only possible to blur all the contours uniformly. The present invention has been made in view of the above conventional example, and an object thereof is to provide an image processing method and apparatus capable of appropriately cutting out an image intended by a user.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, an image processing method of the present invention comprises the following arrangement. That is, for each of a plurality of specified points constituting the specified line designated by the user against the image, it is in line to approximate perpendicular to the respective specified points as the designated line and a predetermined or more gradient threshold A selection means for selecting a boundary point from the points having
Boundary line creating means for creating a boundary line using a plurality of boundary points selected by the selecting means;
Smoothing means for smoothing by applying a predetermined smoothing filter around the boundary line created by the boundary line creating means;
An image processing apparatus comprising:
In the selection means, when the designated point is the start point of the designated line, the point on the line passing through the designated point and substantially orthogonal to the designated line and having a density gradient equal to or greater than the predetermined threshold value, A point close to the designated point is selected as a boundary point for the designated point. On the other hand, if the designated point is not the starting point of the designated line, the designated point is on a line that is substantially orthogonal to the designated line through the designated point and the predetermined point. A point close to the boundary point selected immediately before is selected as a boundary point for the designated point from points having a density gradient equal to or greater than the threshold value of
The boundary line creating means further includes a line interpolation means for executing a line interpolation process, and when there is a part where the boundary point is not selected by the selection means, the line interpolation means is used for the part. The boundary line is created by executing a line interpolation process,
In the smoothing means, the periphery of the portion subjected to the line interpolation by the line interpolation means is more strongly smoothed .
[0007]
In the image processing apparatus, the portion where the boundary point is not selected by the selection means is a portion where there is no point having a density gradient equal to or greater than the predetermined threshold on a line substantially orthogonal to the designated line. It is characterized by that.
[0008]
Another aspect of the present invention, for each plurality of designated points constituting a specified line designated by the user against the image, is in line to approximate perpendicular to the respective specified points as the designated line and given A selection step of selecting a boundary point from points having a density gradient equal to or greater than a threshold;
A boundary line creating step of creating a boundary line using a plurality of boundary points selected in the selection step;
A smoothing step of performing smoothing by applying a predetermined smoothing filter around the boundary created in the boundary creating step;
An image processing method comprising:
In the selection step, when the designated point is a starting point of the designated line, the point is located on a line passing through the designated point and substantially orthogonal to the designated line and having a density gradient equal to or higher than the predetermined threshold value. A point close to the designated point is selected as a boundary point for the designated point. On the other hand, if the designated point is not the starting point of the designated line, the designated point is on a line that is substantially orthogonal to the designated line through the designated point and the predetermined point. A point close to the boundary point selected immediately before is selected as a boundary point for the designated point from points having a density gradient equal to or greater than the threshold value of
The boundary line creation step further includes a line interpolation step for executing a line interpolation process, and when there is a portion where the boundary point is not selected in the selection step, the line interpolation step is performed on the portion. The boundary line is created by executing a line interpolation process,
In the smoothing step, the periphery of the portion interpolated in the line interpolation step is more strongly smoothed .
[0009]
The image processing method further includes an input step of inputting a band-shaped region designated by the user,
The designated line is a center line of the band-like region;
The boundary point selected in the selection step is a point in the belt-like region .
[0010]
In the image processing method , the portion where the boundary point is not selected in the selection step is a portion where there is no point having a density gradient equal to or greater than the predetermined threshold on a line substantially orthogonal to the designated line. It is characterized by that .
[0011]
Further, in the image processing method , in the line interpolation step, a neighboring boundary point is selected in both directions with respect to a portion where the boundary point is not selected, and line interpolation processing is executed based on the neighboring boundary point. The line obtained by doing is interpolated in the said part , It is characterized by the above-mentioned.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
First, after summarizing points in the embodiment according to the present invention, a detailed description thereof will be given.
In the image region cutout process according to the present embodiment, first, a line is designated on the image. Then, for each point on the line designated for determining the boundary point to be cut out, the distance is within a certain range, has a feature value greater than or equal to a predetermined value, and is determined as a boundary point Select the point closest to the point. Then, a predetermined number of points that are not connected are deleted from those points, and a desired image region can be cut out by interpolating boundary points.
[0013]
When interpolating boundary points, first, interpolation is performed using a line designated on the image.
In addition, the image is cut out along the boundary points to be cut out, and the interpolated boundary points are blurred by making the degree of blurring stronger than the boundary points that are not interpolated. .
[0014]
Furthermore, when the boundary point of the cut-out region is changed and the boundary point after interpolation is changed, the boundary point after the change is blurred as not being interpolated.
In addition, the pixel values in the vicinity of the boundary point are changed by taking an average of the surrounding pixel values, and in order to increase the degree of blurring, more pixels are blurred or averaged with more pixels. Take.
[0015]
The processing points that characterize the present invention have been summarized above. Next, these processes will be described in detail.
FIG. 1 is a diagram illustrating a configuration example of processing according to the present embodiment.
An image storage unit 101 stores an original image and an image cut out from the original image.
[0016]
Reference numeral 102 denotes a display unit that displays an image.
Reference numeral 103 denotes an input unit that includes a pointing device for roughly specifying a cutout area in an image and a keyboard for inputting various commands.
Reference numeral 104 denotes an image clipping unit that determines an image clipping region and performs actual clipping.
[0017]
Reference numeral 105 denotes a blur processing unit for blurring the periphery of the clipped area.
A correction unit 106 is used by the user to correct the clipped area.
Next, the image region cutout process according to the present embodiment will be described with reference to the flowchart of FIG. It is assumed that the image to be cut out has already been displayed on the display unit 102.
[0018]
First, in step S <b> 201, the user traces a region to be cut out in the original image using a rough line using the input unit 103. This line is called a user-specified line.
In the image cutout unit 104, the locus of the user-specified line is input via the input unit 103 and the corresponding line is displayed on the display unit 102. As shown in FIG. 3, the user-specified line to be displayed uses a wavy line (301) or the like so that the original image is not lost as much as possible.
[0019]
In step S <b> 202, the image cutout unit 104 determines the differential value of the pixel value (hereinafter referred to as an edge) for the pixels existing in the user-specified line area, on the center line of the user-specified line. For each point, a corresponding point on the boundary line (hereinafter referred to as a boundary point) is obtained.
Specifically, the following processing is performed. FIG. 4 is an enlarged view of the portion 301 in FIG. 3 and will be described with reference to this figure.
[0020]
In the figure, reference numeral 402 denotes a center line of a user-specified line, and the starting point of this line is 403. First, with respect to the point 403, each point in the user-specified line in the direction of the line 404 orthogonal to the traveling direction of the line 402 is examined, and the edge gradient is a point that is equal to or greater than a certain threshold value and is closest to the point 403. Select a point.
In FIG. 4, this point is indicated by 405, and this point becomes the starting point of the boundary line.
[0021]
Next, for the other points on the center line of the user-specified line, for example, the point 406, the corresponding boundary points are determined as follows. That is, the direction of the line 407 orthogonal to the traveling direction of the line 402 is examined, and among the points existing in the user line area, the edge is equal to or greater than a certain threshold value and the boundary point selected immediately before (point 408 in this case) Select the point closest to. In FIG. 4, a point 409 is selected.
[0022]
As described above, the reason why the edge having the gradient equal to or larger than the threshold value, which is the area in the user-specified line, and further the point closest to the immediately preceding boundary point is selected is as follows.
First, a portion having only a small edge having a gradient equal to or smaller than a predetermined threshold is not characteristic, and it is impossible for a human to determine where to cut out. In such a place, forcibly selecting a boundary point will lead to an incorrect boundary.
[0023]
Furthermore, a point having a large edge with a gradient equal to or greater than a certain threshold value can be a candidate for a boundary point regardless of the magnitude of the value. The reason for selecting the point closest to the immediately preceding boundary point is to make the boundary line smoother.
For example, in FIG. 5, when the boundary point for the point 601 located on the center line of the user-specified line is obtained, even if the gradient of the edge point at the point 602 is slightly higher than 603, if both values are equal to or greater than the threshold value, For example, the point 603 closer to the immediately preceding boundary point is selected.
[0024]
Next, in step S204, the image cutout unit leaves only a predetermined number or more, for example, three or more connected points among the boundary points obtained as described above, and deletes other boundary points. This process will be specifically described below.
For example, it is assumed that the boundary point is extracted as shown in FIG. FIG. 6 shows a state where four connected boundary points 501, one boundary point 502, and three connected boundary points (503) are extracted. The part where there is one isolated boundary point 502 is, for example, a part having an edge like hair, and there is one line at the boundary point 501 and the boundary point 503, and another line at the boundary point 502. There is a high possibility. In such a state, whichever line is selected as the boundary line, the shape of the region after the cutout is not very different and looks natural to the user, but conversely, the two lines are alternately selected, that is, If the boundary points 501, 502, and 503 are cut out by connecting the boundary lines, the unevenness of the region is generated, and the user looks unnatural. In order to prevent this, the isolated boundary point 502 may be deleted, so that a smooth region that is close to the shape of the region desired by the user and that has no unevenness can be cut out.
[0025]
Next, in step 205, the image clipping unit 104 creates a boundary line based on the boundary points obtained up to step S204. This operation is performed by connecting the boundary points if they are adjacent to each other with a straight line. However, if there is no point having an edge with a gradient equal to or greater than the threshold value in step S203, The boundary point is not adjacent to the portion where the boundary point is deleted because a predetermined number or more of points are not connected. In that case, a point where no boundary point exists is interpolated by the following method.
[0026]
The first method is a method of performing interpolation using front and rear boundary points on a Bezier curve or a straight line. The second is a method using the curve shape of the user-specified line, which will be described with reference to FIG.
In FIG. 8, 801 and 802 are boundary points, and 803 and 804 indicate both ends of the user-specified line. Here, first, a specified user specified line section is obtained by a line 805 passing through the boundary point 801 and orthogonal to the user specified line, and a line 806 passing through the boundary point 802 and orthogonal to the user specified line. Then, the line segment in the section of the user-specified line is fitted between the sections of the boundary points 801 and 802 and connected as shown by the line 807 to complete the interpolation.
[0027]
After the boundary line is created by the above method, the boundary line is displayed over the original image. If the user sees the displayed boundary line and the result is as expected, the boundary line is further extended by executing steps S201 to S205. The same steps can be executed and redone.
[0028]
Then, the same processing is repeated until the boundary line created in the above steps forms a desired region.
In step 206, a predetermined determination command is input from the input unit 103 as to whether or not the clipped area has been determined by the above processing. If a determination command is input, the process proceeds to step S207. If not input, the process returns to step S201 to repeat the same processing.
[0029]
In step 207, the image cutout unit 104 cuts out an area using the determined boundary line, stores the cut out area in the image storage unit 101, and displays the boundary line on the display unit 102.
An example in which a region is cut out and displayed on the image of FIG. 3 is shown in FIG.
The processing operation for extracting a desired area from the original image has been described above. After the area is cut out in step S207 in FIG. 2, the area around the image area to be cut out is blurred by the blurring unit 105 before the area is displayed. be able to. Thus, a natural impression and a visual effect similar to soft focus can be given to the human appearance. Next, this method will be described.
[0030]
When the pixel value of the pixel (i, j) is x (i, j), the pixel (i ′, j ′) near the boundary point to be drawn
[Expression 1]

[0032]
Xh is calculated. Here, m is a constant and determines the number of pixels of the pixel (i, j). The blurring amount increases as m increases. Here, the degree of blur is changed by making m variable depending on the boundary point.
Specifically, when creating a boundary line from a boundary point in step S205, interpolation is performed for boundary points that are not adjacent as described above, but in the vicinity of the boundary point subjected to such interpolation. The degree of blurring is increased for the pixels of. That is, the value of m is increased and an average with many pixels is taken. Alternatively, only the interpolated portion is blurred and the other portions are not blurred. The place where interpolation was performed is a place where the edge gradient value is small or where there are many edges with a small gradient. By blurring such a place, the pseudo boundary line created by the interpolation is removed. It is possible to create a border that is ambiguous and more comfortable.
[0033]
Moreover, not only the blur amount but also the blur width can be made variable. The blur width is the number of neighboring pixels (i ′, j ′) taken for each boundary point. By increasing this number for the boundary points created by interpolation, the blur width is increased. As an example, FIG. 9 shows a state where the image of FIG. 7 is blurred.
Furthermore, the user can correct the area cut out based on the above result.
[0034]
This process is executed by the correction unit 106. This process will be described with reference to FIG.
FIG. 10 shows a state where a part of the image area is corrected and enlarged. In FIG. 10, reference numeral 1001 denotes a tool operated by a pointing device of the input unit 103. With this tool, the contour line is deformed by pressing or drawing the cutout contour line determined in the above-described processing.
[0035]
The movement of the tool 1001 is controlled by the correction unit 106 so as to move in accordance with the movement of the pointing device 204.
For example, it is assumed that a wavy line 1002 in FIG. 10 is a cutout outline determined by the above-described processing.
In this state, when the user wants to shift the position of the cutout contour line 1002, the tool 1001 is moved to the position where the cutout contour line 1002 is to be moved and pushed outward, so that the cutout contour is centered on that position. The line 1002 moves and deforms outward.
[0036]
The correction unit 106 can also read the original image from the image storage unit 101 and display the enlarged original image corresponding to the moved and deformed portion.
Further, the blurring unit 105 performs blurring processing similar to that described above for the corrected region. Also in this case, if the corrected part is a boundary line created by interpolation in step S205, the same blur amount and blur width as those of the non-interpolated part are performed. Such a boundary line should be strongly blurred as described above, but the new boundary line created by the user's positive correction accurately reflects the cut-out area desired by the user, There is no need to increase the blur amount and blur width.
[0037]
It is also possible to erase a part of the area cut out using the tool 1001. This is performed by, for example, pressing a predetermined key on the keyboard of the input unit 103 to switch to the erasing mode, and specifying that the predetermined part of the clipped area is surrounded by the tool 1001. In this case, that portion is erased. Also in this case, as before, if the boundary line is created by interpolation, the same blurring as that of the non-interpolated portion is performed.
[0038]
Next, a hardware configuration capable of implementing the image processing according to the present embodiment will be described with reference to FIG.
The CPU 203 corresponds to the program corresponding to the flowchart of FIG. 2 described above stored in the memory 202 (corresponding to the blurring unit 105, the correction unit 106, and the image cutout unit 104 in FIG. 1). Various image processing programs (including programs) are read, interpreted, and executed.
[0039]
A keyboard 203 and a pointing device 204 correspond to the input unit 103 in FIG.
The memory 202 includes a ROM area in which the above-described image processing programs are incorporated, and a RAM area (including an area corresponding to the image storage unit 101 in FIG. 1) used as various work areas.
[0040]
Next, FIG. 12 shows an example of the layout of each program corresponding to each process of the above-described flowchart assigned to the ROM area of the memory 202. Needless to say, this program may be stored in a portable medium such as a floppy disk, loaded into the memory 202 at the time of execution, and executed by the CPU 200.
[0041]
Reference numeral 2000 denotes a line input program, which corresponds to the processing in step S201.
Reference numeral 2001 denotes an edge extraction program, which corresponds to the processing in step S202.
Reference numeral 2002 denotes an edge determination program, which corresponds to steps S203 and S204.
[0042]
2003 is a program corresponding to the above-described line interpolation processing.
2004 is a program for performing the smoothing process around the cutout outline. Reference numeral 2005 denotes a program that extracts and displays a cut-out region that has been smoothed.
The present invention may be applied to a system composed of a plurality of devices such as a host computer, an interface, and a printer, or to an apparatus composed of a single device such as a copying machine. Needless to say, the present invention can also be applied to a case where the present invention is achieved by supplying a program to a system or apparatus. In this case, the system or apparatus receives the effects of the present invention by reading the program from the storage medium storing the program represented by the software for achieving the present invention into the system or apparatus. It becomes possible.
[0043]
As described above, according to the present embodiment, in order to determine a boundary point for extracting an image, a feature amount (edge gradient) that is at a certain distance from the point traced by the user and that is a certain amount or more is used. ), It is not possible to select a boundary point at a point where the feature amount is less than a certain amount in the image and it is not possible to know where to set the boundary. The possibility of selecting boundary points is reduced.
[0044]
Therefore, a smooth region with higher accuracy and less unevenness is cut out as compared with other methods for determining boundary points, for example, a method of selecting a point having the maximum feature amount.
In addition, since the point having the shortest distance from the point determined as the boundary point is selected, the boundary point is selected adjacently, and a smooth region with less unevenness is cut out. .
[0045]
In addition, since the points that are not connected by a certain number or more are deleted from the boundary points, the unevenness of the cutout region that occurs when the isolated connection points are connected is eliminated. According to the second embodiment, when the boundary points are not adjacent, the interpolation of the boundary points is performed on the basis of the line traced by the user. It is possible to cut out a region in a shape desired by the user as compared with interpolation using a Bezier curve or the like.
[0046]
Furthermore, since the boundary point that has been subjected to the above-mentioned interpolation is blurred by making the degree of blurring stronger than the boundary point that has not been performed, the pseudo boundary by interpolation is blurred. The line can be made ambiguous and the area can be cut out in the shape desired by the user.
In addition, it is possible to change the boundary line, and if the boundary point that has been interpolated as described above is changed, the boundary point after the change will be blurred as not having been supplemented. When the ambiguity of the boundary point is eliminated by positive change by the user, it is possible to cut out the region in a shape desired by the user by blurring the boundary line.
[0047]
【The invention's effect】
As described above, according to the present invention, it is possible to cut out an appropriate image intended by the user.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration concept of image processing according to an embodiment of the present invention.
FIG. 2 is a flowchart showing an image region cutout processing procedure;
FIG. 3 is a diagram illustrating an area designated by a user.
FIG. 4 is a diagram for explaining a method for selecting a boundary point;
FIG. 5 is a diagram illustrating a state in which a point close to the immediately preceding boundary point is selected.
FIG. 6 is a diagram illustrating a state of an isolated boundary point.
FIG. 7 is a diagram illustrating an example of a clipped image.
FIG. 8 is a diagram for explaining a state in which boundary points are interpolated.
FIG. 9 is a diagram illustrating a state where a boundary line is blurred.
FIG. 10 is a diagram illustrating how a region is corrected.
FIG. 11 is a diagram of a hardware configuration of the image processing apparatus according to the present embodiment.
FIG. 12 is a diagram of a memory layout configuration of the image processing apparatus according to the present embodiment;
[Explanation of symbols]
101 Image storage unit 102 Display unit 103 Input unit 104 Image cutout unit 105 Blur unit 106 Correction unit

Claims

For each plurality of designated points constituting a specified line designated by the user against the image, it is in line to approximate perpendicular to the respective specified points as the designated line and having the above density gradient predetermined threshold A selection means for selecting a boundary point from the points;
Boundary line creating means for creating a boundary line using a plurality of boundary points selected by the selecting means;
Smoothing means for smoothing by applying a predetermined smoothing filter around the boundary line created by the boundary line creating means;
An image processing apparatus comprising:
In the selection means, when the designated point is the start point of the designated line, the point on the line passing through the designated point and substantially orthogonal to the designated line and having a density gradient equal to or greater than the predetermined threshold value, A point close to the designated point is selected as a boundary point for the designated point. On the other hand, if the designated point is not the starting point of the designated line, the designated point is on a line that is substantially orthogonal to the designated line through the designated point and the predetermined point. A point close to the boundary point selected immediately before is selected as a boundary point for the designated point from points having a density gradient equal to or greater than the threshold value of
The boundary line creating means further includes a line interpolation means for executing a line interpolation process, and when there is a part where the boundary point is not selected by the selection means, the line interpolation means is used for the part. The boundary line is created by executing a line interpolation process,
An image processing apparatus characterized in that the smoothing means smoothes the periphery of the portion subjected to the line interpolation by the line interpolation means more strongly .

2. The portion where the boundary point is not selected by the selection means is a portion where there is no point having a density gradient equal to or greater than the predetermined threshold on a line substantially orthogonal to the designated line. An image processing apparatus according to 1.

The selecting means is adjacent to another boundary point at a boundary point selected from the points that pass through the specified points and are substantially orthogonal to the specified line and have a density gradient equal to or greater than a predetermined threshold value. A non-adjacent boundary point, and a deletion unit that deletes the non-adjacent boundary point,
The image processing apparatus according to claim 1, wherein the part where the boundary point is not selected by the selection unit is a part deleted by the deletion unit .

For each plurality of designated points constituting a specified line designated by the user against the image, it is in line to approximate perpendicular to the respective specified points as the designated line and having the above density gradient predetermined threshold A selection process for selecting a boundary point from the points;
A boundary line creating step of creating a boundary line using a plurality of boundary points selected in the selection step;
A smoothing step of performing smoothing by applying a predetermined smoothing filter around the boundary created in the boundary creating step;
An image processing method comprising:
In the selection step, when the designated point is a starting point of the designated line, the point is located on a line passing through the designated point and substantially orthogonal to the designated line and having a density gradient equal to or higher than the predetermined threshold value. A point close to the designated point is selected as a boundary point for the designated point. On the other hand, if the designated point is not the starting point of the designated line, the designated point is on a line that is substantially orthogonal to the designated line through the designated point and the predetermined point. A point close to the boundary point selected immediately before is selected as a boundary point for the designated point from points having a density gradient equal to or greater than the threshold value of
The boundary line creation step further includes a line interpolation step for executing a line interpolation process, and when there is a portion where the boundary point is not selected in the selection step, the line interpolation step is performed on the portion. The boundary line is created by executing a line interpolation process,
In the smoothing step, the periphery of the portion subjected to the line interpolation in the line interpolation step is more strongly smoothed .

An input step of inputting a band-shaped area designated by the user;
The designated line is a center line of the band-like region;
The image processing method according to claim 4, wherein the boundary point selected in the selection step is a point in the band-like region .

5. The portion where the boundary point is not selected in the selection step is a portion where there is no point having a density gradient equal to or greater than the predetermined threshold on a line substantially orthogonal to the designated line. the image processing method according to.

In the line interpolation step, a line obtained by selecting a neighboring boundary point in both directions with respect to a portion where the boundary point has not been selected and executing a line interpolation process based on the neighboring boundary point is obtained. The image processing method according to claim 4, wherein the image is interpolated into the portion .

The image processing method according to claim 4 , further comprising a display step of displaying the image smoothed in the smoothing step.

In the selection step, a boundary point selected from the points that pass through the specified points and are substantially orthogonal to the specified line and have a density gradient equal to or higher than a predetermined threshold value is adjacent to other boundary points. If there is a boundary point that has not been included, including a deletion step of deleting the boundary point that is not adjacent,
The image processing method according to claim 4, wherein the portion where the boundary point is not selected in the selection step is a portion deleted in the deletion step .

The image processing method according to claim 4 , further comprising a deformation step of deforming the boundary line created in the boundary line creation step based on a user instruction .

When the boundary line portion deformed in the deformation step includes the portion subjected to line interpolation in the line interpolation step, in the smoothing step, the boundary line portion deformed based on the user's instruction in the deformation step The image processing method according to claim 10, wherein smoothing is performed so as not to be more intense .

The image processing method according to claim 4, wherein the smoothing filter can change a degree of blur according to a boundary point .