JP2856229B2

JP2856229B2 - 画像切り出し箇所検出方法

Info

Publication number: JP2856229B2
Application number: JP3237899A
Authority: JP
Inventors: 満生澤; 孝文宮武; 博唯上田; 重雄炭野; 聡吉沢
Original assignee: NYUU MEDEIA KAIHATSU KYOKAI
Current assignee: NYUU MEDEIA KAIHATSU KYOKAI
Priority date: 1991-09-18
Filing date: 1991-09-18
Publication date: 1999-02-10
Anticipated expiration: 2014-02-10
Also published as: EP0532823B1; US5471535A; DE69231809D1; EP0532823A2; EP0532823A3; JPH0581429A; DE69231809T2

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、階調性を有する画像か
ら特定の画像のみを切り出すための画像切り出し箇所検
出方法に関し、特にテレビジョンカメラで撮影したカラ
ー自然画像に対する特定画像切り出し箇所の検出方法に
関する。

【０００２】

【従来の技術】従来、映画作成や宣伝（コマ−シャル・
ポスタ−）等における映像作成過程では、あるシ−ンの
特定の物体画像を、これとは異なる他の背景シ−ン等に
組み込むことにより、全く異なった映像に合成する映像
合成技術が用いられている。このための商業的な映像合
成技術としては、（イ）撮影時におけるスクリ−ンプロ
セスを用いた合成、つまり撮影時に背景となる映像をス
クリ−ン上に投射し、その前に特定の物体を置いて背景
と一緒に再度撮影する方法、および（ロ）編集時におけ
る単一背景（通常、ブル−バック）を用いたクロマキ−
合成、つまり特定の物体と背景の像の色の成分の違いに
より特定の物体を抽出し、これを他の映像（背景）に組
み込む方法の２つがある。いすれの方法においても、撮
影時に特別な装置を用いなければならず、既に撮影済み
の映像に対しては、これと異なる他の背景シ−ン等に組
み込むことは困難である。すなわち、既に撮影済みの映
像に対して映像合成を行うためには、これを編集の段階
で行わなければならない。ところで、近年、家庭用ビデ
オカメラが普及しており、運動会や旅行等で撮影した多
数の映像の中から冗長な映像を除去したり、さらに踏み
込んで人物と特別の背景とを合成する等の編集を行う必
要が生じることがある。このような場合でも、動作画像
に対して、これを手作業で行う際には、画像１枚毎にこ
のような作業を行わなければならず、膨大な労力が必要
となる。そこで、編集機能の１つとして、撮影済みの映
像の中から特定対象物だけを自動的に抽出する作業が必
要とされる。従来、（ａ）特定の物体画像を切り出す作
業を計算機が行うものとしては、例えば、『ＳＮＡＫＥ
Ｓ』“Ａctive Ｃontour Ｍodels"(Ｐroc.ＩＣＣＶ−
87.pp.259〜268,1987）が提案されている。この方法
は、その物体の輪郭を物体の性質に基づきモデル化する
ことにより、輪郭を関数として定義し、その物体の一部
の輪郭が不明瞭の場合でも、予め定義した関数の性質に
近いものを求めることによって、初期入力の近傍にある
輪郭を推測する。一方、（ｂ）動画像のフレ−ム間差分
をとることにより、動物体を切り出す手法が、例えば、
『動き情報を利用した新入監視装置の開発』（電子通信
学会春季全国大会要旨集pp.7-178,1991）に開示されて
いる。これは、連続するフレ−ムに渡って画像の画素毎
に線形演算を行うことにより、フレ−ム間の差分を求め
た後、その変化点を動物体の軌跡として特定の物体画像
の切り出しに利用している。また、（ｃ）画像の色情報
を用いて特定の物体画像を切り出す装置については、例
えば、特公平２−４０２７号公報に開示されている。こ
の装置では、画素毎にカラ−線形演算を行って、このヒ
ストグラムを求めた後、その結果を２値化することによ
り、特定の物体画像を切り出している。

【０００３】

【発明が解決しようとする課題】しかしながら、上記
（ａ）および（ｃ）の方法では、任意の特定物を自動的
に抽出する場合、条件や環境の多様性、例えば１つの物
体を構成する輪郭の形状の複雑さが異なっていたり、照
明の当て方により輪郭内での反射等により特定物に局所
的な光強度分布の偏りが生じたり、あるいは自然画像の
特定物は複数の色相から構成されることも多いために、
単純なモデルによる関数近似や、画素毎の線形演算を行
うだけでは、自然画像に適用した場合に、その切り出し
精度が不十分であるため、未だ実用化されていない。ま
た（ｂ）のフレーム間の差分を求める方法では、特定物
体が凹部を含んでいた場合、凹部に内包される背景や他
の物体も検出されてしまうため、特定物体のみを精度良
く検出することができない。本発明の目的は、これら従
来の課題を解決し、画像内の特定物体を精密に抽出し、
かつ切り出し箇所を検出することが可能な画像切り出し
箇所検出方法を提供することにある。

【０００４】

【課題を解決するための手段】上記目的を達成するた
め、本発明の画像切り出し箇所検出方法は、ユーザによ
り入力された特定物体画像の境界線近辺の複数個の候補
点を画面表示する第１のステップと、上記複数個の候補
点を結ぶ滑らかな曲線を求めて表示する第２のステップ
と、各候補点毎に上記曲線に対する法線方向に延びる直
線上の光強度値を求める第３のステップと、各候補点毎
に求めた光強度値に変化率から該候補点の位置を補正す
る第４のステップと、上記第３のステップと第４のステ
ップを用いて、複数の色成分からなる同一画像に対して
それぞれ個別に処理を行い、各成分毎に補正した候補点
の位置を求め、該第４ステップの処理の後に複数の補正
された候補点の位置から１つの補正した候補点の位置を
算出し、最終的位置を決定する第５のステップと、補正
された該候補点を通る滑らかな曲線を求めて表示する第
６のステップとを有することを特徴としている。

【０００５】

【作用】本発明においては、特定の物体画像と背景との
境界線近傍に、複数個の候補点を入力することにより、
条件や環境に応じて最も輪郭として確からしい位置を選
択する手順を与える。すなわち、先ず（イ）物体内の複
数のエッジ形状を検出する箇所を指定し、次に（ロ）ユ
−ザがエッジを検出する箇所の１つないし全ての候補点
を含む複数の箇所を指定し、これらの箇所でのエッジ位
置を求めるパラメ−タを変化させ、またはそれらのエッ
ジ位置を固定し、（ハ）検出すべきエッジの方向を推測
するための候補点を通る滑らかな曲線を求め、（ニ）そ
れらの曲線の候補点の法線方向で画像の光強度値とその
変化率からエッジの位置を求める。マルチスペクトル画
像の場合には、例えば、赤色成分、緑色成分、青色成分
毎にエッジ位置を求める。（ホ）光強度の変化率の度合
より、各色成分毎のエッジの位置ずれを補正し、それら
の候補点を補正したエッジの位置に置き、エッジが検出
できなかった箇所、補正できなかった箇所、また予め位
置を固定した箇所については、最初の候補点のままにし
ておき、（ヘ）一連の処理終了後、ユ−ザが１つないし
複数の候補点を指定して、これらの箇所でのエッジ位置
を求めるパラメ−タを変化させ、または位置を固定し、
これらの候補点に対してエッジを検出して候補点を補正
したエッジの位置に置くことにより、その曲線を切り出
すべき特定物体の輪郭線に順次変形させていく手順を実
行する。このようにして、順次切り出すべき特定物体の
エッジ部分を決定することにより、各候補点で各々最も
適当な色情報を用いて、自動的に輪郭を求めることがで
きる。輪郭を求めることが難かしい箇所では、その場所
を指定して処理のパラメ−タを変更することにより、自
然画像に特有の条件や環境の多様性に対応した輪郭の候
補点を求めることが可能である。このようにして、最終
的に物体の輪郭線全周が求められるが、形状が複雑で自
動切り出し処理によっては輪郭の切り出し精度が悪くな
りそうな部分については、人手による対話的処理により
求める。形状の簡単な輪郭の切り出しに関しては、完全
に処理を自動化することができるので、操作者の負担を
軽減することができ、かつ精度よく輪郭線に囲まれた特
定物体を抽出することができる。

【０００６】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図１は、本発明が適用される画像編集システ
ムの全体構成図である。図１において、１０は本発明の
画像切り出し処理を実行する画像処理装置、１１は処理
中ないし処理結果の画像を表示するための画像表示装
置、１２は画像を格納する大容量のメモリ装置、１３は
画像表示装置１１に表示された画像に対して座標の指定
を行うためのポインティングデバイス、１４はメモリ装
置１２の中に含まれており、２次元ディジタル画像を格
納する画像メモリ、１５はテレビジョンカメラ等により
撮影された多くの画像が記録されている画像記録装置、
１６は同じくメモリ装置１２に含まれており、画像処理
装置１０により処理された結果を格納するための切り出
しメモリである。先ず、画像記録装置１５から順次画像
処理装置１０により読み出された画像デ−タは、ディジ
タルデ−タとして画像メモリ１４に格納される。ユ−ザ
は、ポインティングデバイス１３を用いて位置を入力す
ることにより、画像処理装置１０に対して候補点の座標
の指定や特定の候補点に対して異なる処理を行うことを
指示する。ポインティングデバイス１３を用い、表示画
像に対して直接位置を指示することにより、画像切り出
し箇所検出処理の位置決めを直感的な操作で行うことが
できる。

【０００７】先ず、ユ−ザは、最初の画像を画像メモリ
１４から読み出し、画像表示装置１１の位置を見なが
ら、ポインティングデバイス１３を用いて切り出したい
画像の大まかな輪郭を入力する。以下、画像処理装置１
０が自動処理を開始し、与えられた大まかな輪郭情報に
基づいて画像切り出し箇所検出処理を行う。画像処理装
置１０は、画像メモリ１４から読み出された２次元ディ
ジタル画像に対して、対象物の切り出しが終了すると、
その結果を切り出しメモリ１６に格納する。この対象物
切り出し手順は、求めた切り出し箇所の集合である画像
切り出し箇所を直線ないし滑らかな曲線で補間すること
により、切り出したい画像の外形線上の各座標を求め
る。次に、これらの座標を元に、外形線の内部または外
部の画像を切り出す。この切り出し処理の詳細は、例え
ば、『多角形のスキャンコンバ−ジョン（２）』（ＰＩ
ＸＥＬ．Ｎo.16.pp.136）に記載されている方法を利用
することにより、簡単に実現することができる。なお、
本実施例は画像切り出し箇所検出および画像切り出し処
理を行うためのものであって、上記方法による処理に限
定されない。本実施例により、表示された画像に対して
ユ−ザが切り出し箇所を指定することができるととも
に、画像の条件や環境の多様性に対しても対応すること
ができる。

【０００８】図１５は、本発明が適用される画像切り出
し装置の他の例を示す全体ブロック図である。図１５に
おいて、図１と異なる点は、メモリ装置１８の内部構成
が画像メモリ１４と切り出しメモリ１６の２種類から、
画像メモリ１４、切り出しメモリ１６および輪郭メモリ
１７の３種類に増加されたことである。図１では、大ま
かな輪郭は画像処理装置１０内のバッファメモリに一時
格納されていたが、図１５では、これをメモリ装置１８
内に一時格納する。輪郭メモリ１７は、大まかな輪郭の
座標値を保持するものである。すなわち、輪郭メモリ１
７は、図１におけるポインティングデバイス１３を用い
て与えられていた大まかな輪郭を入力するための代替領
域であって、これらの座標値は画像メモリ１４から読み
出された画像に対して、画像処理装置１０を用いて作成
される。そして、大まかな輪郭の抽出には、例えば従来
の方法である画素間の線形演算を用いることができる。
このような構成を用いると、前処理で求められた大まか
な輪郭を画像処理装置１０に自動的に与えることができ
るので、動画像のような大量の画像に対しても、ユ−ザ
の負担する操作を減少させるとともに、高精度で画像を
切り出すことが可能となる。

【０００９】図２は、本発明の一実施例を示す画像切り
出し箇所検出方法の動作フロ−チャ−トであり、図３
（ａ）〜（ｄ）はカラ−画像を理解し易くするために単
色濃淡画像を用いて画像切り出し箇所検出動作を説明す
る図である。図３では、画像切り出し箇所検出時におけ
る候補点での法線方向の光強度分布およびエッジ検出
と、補正した候補点での検出結果に伴づくスプライン曲
線の変化を示している。画像切り出し箇所検出の最終的
な目標は、図３（ｄ）に示すような特定の対象画像４０
の輪郭１０２を高精度で求めて、これに基づき対象画像
４０を切り出すことである。そのために、図２に示すよ
うに、先ず全体画像を画像表示装置１１に表示した後、
ポインティングデバイス１３を用いて対象画像４０の候
補点を指定して、これらを画像処理装置１０に座標位置
を入力する（第１ステップの２１）。例えば、図３
（ａ）に示すように、対象画像４０の一部輪郭と１１箇
所の初期候補点１１０〜１２０を指定して、これらの座
標を入力する。次に、図（ａ）に示すように、各候補点
１１０〜１２０を通過するスプライン曲線１００を求め
る（第２ステップの２６）。ここで、曲線１００は、最
初に複数箇所が指定された位置を通過するように描画さ
れた曲線であって、以下で説明するように、この曲線は
順次補正されながら形状を変化させていく。画像の状態
等で検出処理が困難であるとユ−ザが判断した部分につ
いては、必要に応じてポインティングデバイス１３を用
いて初期候補点を固定したり（第２ステップの２２，２
３）、切り出し箇所検出のパラメ−タを変化させる（第
２ステップの２４，２５）。パラメ−タを変化させる具
体的動作としては、エッジ検出の閾値を変更する候補点
を指定することである。これらの追加指定には、お絵描
きソフト等により使用されているポップアップメニュ−
方式のメニュ−（例えば、図１０（ａ）の画面左上に示
す表示）等を用いれば便利である。

【００１０】順次補正しながら形状を変更していく場合
に、先ず動かしてよい候補点であるか否かを判断する
（第２ステップの３１）。動かしてよい候補点がない場
合には、図３（ｄ）に示すような目標とする曲線１０２
であるから、処理を終了する。動かしてよい候補点があ
る場合には、図３（ａ）〜（ｃ）の補正を行う。図３
（ｂ）におけるグラフ１４０は、図３（ａ）中の輪郭線
１００上の候補点１１３を通過する法線ベクトル１３０
を横軸とし、この法線ベクトル１３０が通過する画像の
光強度を縦軸として、その関係を示したものである。こ
の時、初期の候補点１１３の位置における光強度値とそ
の近傍での差分を求める（第３ステップの２７）。すな
わち、図３（ａ）において、初期候補点を通過するスプ
ライン曲線１００の候補点１１３における対象画像４０
の外部から内部方向への法線ベクトル１３０上に沿って
画像の光強度値を求める。この時の光強度値と法線ベク
トル１３０上の座標の関係を示したものが、図３（ｂ）
である。図３（ｂ）においては、法線ベクトル１３０上
の一定区間の座標における光強度の変化率によりエッジ
を検出し、これを画像切り出し候補点としている。すな
わち、エッジの判定条件は、次の３つの式を満足するも
のである。｜Ｉａ−Ｉｂ｜＜Ｔａｖｅ・・・・・・・・・・・・・・・・（１）｜Ｉｃ−Ｉｄ｜＜Ｔａｖｅ・・・・・・・・・・・・・・・・（２）｜Ｉｂ−Ｉｃ｜＞Ｔｅｄｇｅ・・・・・・・・・・・・・・・・（３）ここで、Ｔａｖｅは画像の光強度値の平滑性を示す閾
値、Ｔｅｄｇｅは光強度の変化率の大きさを示す閾値、
ａ，ｂ，ｃ，ｄは法線ベクトル１３０上の連続した画
素、Ｉｘ（ｘ：ａ，ｂ，ｃ，ｄ）はその画素における光
強度値である。また、｜ａ｜はａの絶対値を示してい
る。

【００１１】図３（ｂ）においては、直線１４１で示す
部分が上記（１）〜（３）の各条件に相当しており、直
線１４１に対応する点を境界として左側の方が右側より
も光強度が極端に大きくなっている。すなわち、左側の
高レベルと右側の低レベルの位置の間に、光強度の平滑
性を示す閾値より大きく、かつ光強度の変化率の大きさ
の閾値よりも大きい値が存在し、そこの位置が対象物の
境界、つまり点１２１の位置となる。画像切り出し箇所
の検出作業としては、図２に示すように、法線ベクトル
１３０上を対象画像４０の外部から内部に向って処理を
進めていき、最初に検出したエッジを画像切り出し箇所
の候補点１２１とする（第４ステップの３２）。次に、
図３（ｃ）に示すように、この候補点１２１を新たな候
補点とし、この位置を通過する新たなスプライン曲線１
０１を定義する（第５ステップの３３）。なお、第６ス
テップについては、カラ−画像の処理であり、図４に示
すように、各スペクトル成分毎にこの処理を行う（第６
ステップの２８）。単色濃淡画像の場合には、第６ステ
ップは省略される。図２の処理２９から第２ステップの
２２に戻るル−プ、すなわち図３（ｄ）のスプライン曲
線１０２で示すように、順次、候補点１１０から１２０
までについて上述の処理を繰り返して、スプライン曲線
を更新することにより、画像切り出し箇所の候補点を計
算する。なお、ここで、候補点１１０〜１１２、１１
６、１１７、１２０は、最初に入力した初期候補点と新
たな候補点とが一致する場合であって、これらは対象画
像４０の状態以外に、予めポインティングデバイス１３
により初期候補点の固定を指定することも可能である。
同じように、予めポインティングデバイス１３により初
期候補点のいくつかを指定することにより、前式（１）
〜（３）の右辺の閾値ＴａｖｅとＴｅｄｇｅの大きさを
異なる値として指定し、対象画像４０の部分的な光強度
の変化率を取り易いようにしてもよい。

【００１２】図４および図５は、図２の第６ステップを
実現するための説明図であって、カラ−画像の輪郭切り
出しのために候補点の位置を決定するエッジ検出と探索
方向の関係を示す。図４および図５では、図３（ｂ）に
相当する各色成分毎の光強度値と輪郭近傍点を通るスプ
ライン関数の法線ベクトル上の座標の関係が示されてい
る。図４（ａ）は赤色光成分、緑色光成分、青色光成分
毎の単色濃淡画像に基づく輪郭切り出しのための候補点
Ｅｒ，Ｅｇ，Ｅｂが、ある一定距離ΔＬの範囲内に全て
存在する場合を示している。この場合には、輪郭切り出
しのための補正した候補点の位置Ｐｉ′（図４の２１
１）は、候補点３つの平均座標とする。図４（ｂ）は、
赤色光成分、青色光成分の候補点Ｅｒ，Ｅｂの２つがあ
る一定距離ΔＬの範囲内に存在し、緑色光成分のＥｇの
みが範囲外に存在することを示す。この場合には、輪郭
切り出しのための補正した候補点の位置は、一定距離Δ
Ｌの範囲内の２つの候補点Ｅｒ，Ｅｂの平均座標２１３
とする。図５は、各色成分光の候補点Ｅｒ，Ｅｇ，Ｅｂ
がいずれも一定距離ΔＬの範囲内に互いに存在しないこ
とを示す。この場合には、補正した候補点の位置Ｐｉ′
（図５の２１５）は、初期候補点Ｐｉ（図５の２１４）
の値になる。

【００１３】図６および図７は、カラ−画像において、
各色成分の一部ないし全てのエッジが求まらないときの
輪郭切り出しのための補正した候補点の位置を決定する
方法を示す図である。また、図８（ａ）〜（ｂ）および
図９は、図２における第５ステップの３３で、カラ−画
像における輪郭切り出しのための補正した候補点の位置
検出／座標算出方法を示すフロ−チャ−トである。第８
図（ａ）において、図４（ａ）の場合には、３色でそれ
ぞれ輪郭切り出しの候補点を検出しており（２８ａ）、
かつ３点とも一定範囲内にあるので（２８ｂ）、３点の
平均座標としている（２８ｃ）。また、図４（ｂ）の場
合には、３色で候補点を検出しているが（２８ａ）、そ
れらの３点全てが近くにはなく、（２８ｂ）、赤色光成
分と青色光成分の２色のみが近いので（２８ｅ）、これ
ら２点の平均座標としている（２８ｆ）。また、図５の
場合には、３色で候補点を検出しているが（２８ａ）、
３点はいずれも近くにはないので（２８ｂ）（２８
ｅ）、補正位置検出不可であって（２８ｙ）、このとき
には最初の指定座標としている（２８ｈ）。図６，図７
においては、単色濃淡画像の一部ないし全てで候補点を
選択できなかった場合の補正した候補点の求め方を示し
ている。図６（ａ）（ｂ）では、２成分について候補点
が求められた場合を示している。すなわち、図６（ａ）
では、求めた候補点がある一定距離ΔＬの範囲内にある
場合を示しており、この時には、輪郭切り出しのための
補正した候補点の位置Ｐｉ′（図６（ａ）の２３２）
は、候補点Ｅｒ，Ｅｇの２つの平均座標とする。図６
（ａ）に相当する図８（ａ）の処理では、３色では検出
せず、２色で検出しており（２８ｄ）、これらの２点が
近くにあるので（２８ｅ）、これら２点の平均座標とし
ている（２８ｆ）。次に、図６（ｂ）では、２つの候補
点がある一定距離ΔＬ内に存在しない場合を示してお
り、このときには、補正した候補点の位置Ｐｉ′（図６
（ｂ）の２３４）は、初期候補点Ｐｉ（２３３）の座標
とする。図８（ａ）の処理では、２色で検出しているが
（２８ｄ）、その２点が近くないので（２８ｅ）、補正
位置検出不可となり（２８ｙ）、最初の指定座標として
いる（２８ｈ）。

【００１４】次に、図７（ａ）では、１成分のみについ
て候補点が求められた場合である。このときには、輪郭
切り出しのための補正した候補点の位置Ｐｉ′（図７
（ａ）の２３６）は、求められた候補点Ｅｒの座標をと
る。すなわち、図８（ａ）の処理では、１色で検出して
いるので（２８ｇ）、その検出点の座標としている（２
８ｉ）。また、図７（ｂ）に示すように、全ての成分に
おいて、候補点が得られなかったときには、補正した候
補点の位置Ｐｉ′（図７（ｂ）の２３８）は、初期候補
点Ｐｉ（２３７）の値となる。すなわち、図８（ａ）で
は、３色で検出せず（２８ａ）、２色で検出せず（２８
ｄ）、１色で検出もできず（２８ｇ）、補正位置検出不
可であるため（２８ｙ）、最初の指定座標としている
（２８ｈ）。ここでは、色成分を一例として挙げている
が、色成分の内容が互いに独立であれば、その組み合わ
せは異なっていてもよい。いずれの場合にも、検出が不
可能であるときには、最初の指定座標の初期候補点Ｐｉ
の値になる（図８（ａ）の２８ｈ）。また、座標間の距
離は、図４，図５におけるΔＬにより判断される。図８
（ｂ）および図９は、各色成分が候補点を得たか、得ら
れなかったという情報に追加して、候補点を得た時の確
からしさを前式（３）の左辺に示す値（コントラストの
大きさ）で評価している。この評価に従って、図８
（ｂ）では、コントラストの最も大きい色成分の座標を
用いている（２８ｏ）。また、図９では、閾値を越えた
コントラストを用いて（２８ｕ）、その各色成分から得
られた座標に重み付けを行い（２８ｗ）、補正した候補
点の位置Ｐｉ′を算出している。これらの方法を用いる
ことにより、各色成分に光強度の変化率による輪郭補正
位置決定の信頼性を高めるとともに、補正した候補点の
位置が求められなかったものについては（図８（ｂ）の
２８ｚおよび図９の３５）、これを誤りと判定すること
により、比較的真の輪郭に近くに位置する予め入力した
初期候補点Ｐｉの値をとることができる（図８（ｂ）の
２８ｐおよび図９の２８ｘ）。

【００１５】図１０〜図１４は、図１、図１５における
画像表示装置の操作方法を示す図である。図１０〜図１
４において、３２１は対象画像であって、ここでは自動
車、３２０はポインティングデバイス１３を画像表示装
置１１に表示したカ−ソル、３２２はポップアップメニ
ュ−方式の操作メニュ−、３２３は表示画面である。先
ず、表示画面３２３の中に対象画像３２１を表示し、図
１０（ａ）に示す操作メニュ−３２２の中の選択項目３
２２ａをカ−ソル３２０を用いて選択する（ｓtart)。
操作メニュ−３２２は、ポインティングデバイス１３か
らメニュ−表示要求信号を画像処理装置１０に出力する
ことにより画面に表示される。また、メニュ−の選択
は、ポインティングデバイス１３から入力要求信号を画
像処理装置１０に出力することにより、画像処理装置１
０がカ−ソル３２０の座標位置を取り込み、この座標位
置に応じて選択項目に対応した処理を実行する。このと
き、誤操作を行わないようにするため、不要な操作メニ
ュ−に対して選択項目からの入力要求信号を受け付けな
いようにすると同時に、選択項目の色を変化させる等に
よりポインティングデバイスによる入力を受け付けない
ことをユ−ザに表示する。図１０では、３２２ｂ、３２
２ｄ、３２２ｅに色変え（ハッチング）を行って、入力
受け付け拒否を示している。処理の進行に伴って、この
ハッチングの部分が移動する。選択後は、この操作メニ
ュ−３２２は画像処理装置１０により表示画面３２３か
ら消去される。

【００１６】次に、図１０（ｂ）〜図１１（ｂ）に示す
ように、対象画像３２１の輪郭近傍にカ−ソル３２０を
用いて候補点を入力する。入力操作は、ポインティング
デバイス１３から入力要求信号を画像処理装置１０に出
力することにより、画像処理装置１０がカ−ソル３２０
の座標位置を取り込むことによって実行する。図１１
（ｂ）の時点では、入力した順序に候補点を通るスプラ
イン曲線３３０が表示されるので、ユ−ザの大まかな輪
郭線に対する理解を助けることができる。なお、この場
合、入力候補点３３１，３３２，３３３，３３４で示す
ように、対象画像３２１の輪郭で曲率や曲率変化の大き
い部分に関しては、細かく候補点を入力する。複数の候
補点を入力した後、図１１（ｃ）に示すように、操作メ
ニュ−３２２の中の選択項目３２２ｂをカ−ソル３２０
を用いて選択する（ｅｎｄ）。選択後に、画像処理装置
１０は、表示画面３２３に複数の候補点を入力した順序
に通る閉スプライン曲線３４９を、対象画像３２１とと
もに表示する。ある候補点の位置が輪郭から遠い場合、
ユ−ザは必要に応じて、図１２（ａ）に示すように、そ
の候補点をカ−ソル３２０を用いて選択して、任意の位
置３４０まで移動させる。候補点の選択は、ポインティ
ングデバイス１３から入力要求信号を画像処理装置１０
に出力することにより、画像処理装置１０はその位置に
候補点があるときにはそれを選択する。移動は、選択対
象がある場合に、ポインティングデバイス１３から入力
要求信号が出力され続けている期間中、画像処理装置１
０がカ−ソル３２０に表示される座標位置を取り込ん
で、その座標位置に応じて候補点を表示する。

【００１７】次に、図１２（ｂ）に示す操作は、補正位
置検出の候補点のパラメ−タを変更する場合のものであ
る。すなわち、輪郭の形状が複雑な場合には、候補点の
パラメ−タを変える指定を行うために、ユ−ザはその範
囲の対角線の２点をカ−ソル３２０を用いて指定する。
ここでは、前輪のタイヤの形状が複雑であるため、タイ
ヤの内側を指示した後に、タイヤの外側を指示すること
により、この２点で対角線を示す。最初に指定した箇所
３４１を灰色のカ−ソル３２４で、次に指定した箇所３
４２をカ−ソル３２０で表示している。これは、ポイン
ティングデバイス１３から範囲要求信号とともに画像処
理装置１０に出力し、最初に要求を受けたカ−ソル３２
０の座標位置を矩形対角線の始点とし、範囲要求信号が
出力され続けている期間中、その時点でのカ−ソル３２
０の座標位置を矩形対角線の終点にして、表示画面３２
３に矩形を表示する。ポインティングデバイス１３は、
範囲要求信号出力直後に入力信号を出力することによ
り、画像処理装置１０に矩形領域の座標を入力する。な
お、この矩形を表示する際に、その範囲の外形線３４３
を別の色で表示すれば、ユ−ザの範囲指定に対する大ま
かな理解を助ける。ここでは、色の違いを、点線で表示
している。

【００１８】このようにして、図１２（ｂ）のように候
補点を自動車の輪郭線に表示していく。例えば、窓の下
端部分を固定するように、予め位置を固定したい箇所に
ついては、図１２（ｃ）に示すように、カ−ソル３２５
を用いて候補点を１つだけ選択し、固定したい位置３４
４までカ−ソル３２５を移動する。この移動直後にポイ
ンティングデバイス１３から位置固定要求信号を画像処
理装置１０に出力することにより、候補点が固定され
る。画像処理装置１０は、カ−ソル３２０の座標位置に
ある候補点３４４に輪郭切り出し処理における移動を行
わない属性を付加するとともに、表示画面３２３に示す
候補点３４４の色を変化して表示して、ユ−ザの固定位
置指定に対する理解を助ける。次に、画像の切り出し箇
所を求めるためには、図１３（ａ）に示すように、操作
メニュ−３２２を表示し、その中の選択項目３２２ｄを
カ−ソル３２０により選択する。選択した後に、画像処
理装置１０は、前述の図１２（ａ）〜（ｃ）のような候
補点の位置の固定や検出パラメ−タの変更が行われた場
合には、このときに得られた情報をも用いて画像切り出
し箇所を検出する。そして、その結果を図１３（ｂ）に
示すように、複数の候補点を入力した順序に通る閉スプ
ライン曲線３４５として対象画像３２１と合わせて表示
する。この場合、補正位置が検出されなかった箇所は、
ユ−ザの画像切り出し箇所に対する理解を助けるため
に、色を変えて表示される。図１３（ｂ）では、検出さ
れた箇所の色を変える代りに、白抜きで表示されてい
る。処理結果の後に、検出されなかった候補点（３４
６，３４７，３４８）に対しては、例えば、図１３
（ｃ）に示すように、図１２（ｂ）と同じ操作をするこ
とにより、画像の切り出し箇所を求める方法の閾値を変
化する候補点を設定することができる。その後、必要に
応じて、図１４（ａ）に示すように、図１３（ａ）と同
じ操作を行うことにより、この状態から再び画像切り出
し箇所の検出処理を実行する。その結果、図１４（ｂ）
に示すように、画像切り出し箇所とこの間を閉スプライ
ン曲線３５０で結んだ表示を行う。

【００１９】なお、図１２（ｂ）および図１３（ｃ）で
パラメ−タの増減を行う場合には、矩形とともに、明確
に目視できるように、スライドバ−とディジタル表示器
を表示することができる。すなわち、画像処理装置１０
は、図１４（ｃ）に示すスライドバ−３６０を表示す
る。これは、矩形３４３で変更しようとする閾値のパラ
メ−タの増減量をスライド量で示すものである。ポイン
ティングデバイス１３を反映するカ−ソル３２０の表示
画面３２３上の座標がスライドバ−３６０の座標と一致
し、ポインティングデバイス１３から移動要求信号を画
像処理装置１０に出力し続けている間、画像処理装置１
０は、ポインティングデバイス１３の座標を表示画面３
２３上に反映するカ−ソル３２０の座標と同じ位置にス
ライドバ−３６０のバ−３６２を表示する。また、この
とき、画像処理装置１０は、ポインティングデバイス１
３の移動座標量に合わせてパラメ−タを増減し、そのパ
ラメ−タの状態をパネル３６１に表示する。なお、この
場合、ポインティングデバイス１３から出力される範囲
要求信号と移動信号は同じ信号でもよい。この場合に
は、画像処理装置１０において、現在の入力状態から信
号の判別を行う。

【００２０】

【発明の効果】以上説明したように、本発明によれば、
画像の色成分を用いることにより、特定物体のエッジ部
分のみを確実に求めることができる。また、エッジが求
め難い複雑な形状や光強度変化が少ない部分に対して
は、自動的な画像切り出し箇所検出処理中に、簡単な操
作でユ−ザが直接画面に介入できるので、精度よく画像
の切り出し箇所を検出することができる。

【００２１】

【図面の簡単な説明】

【図１】本発明が適用される画像編集システムの全体ブ
ロック図である。

【図２】本発明の一実施例を示す画像切り出し箇所検出
方法の動作フロ−チャ−トである。

【図３】本発明における法線方向での光強度分布とエッ
ジ検出方法の説明図である。

【図４】本発明における色成分毎の光強度と変化率から
エッジの位置を求める図の一部である。

【図５】本発明における色成分毎の光強度と変化率から
エッジの位置を求める図の他の一部である。

【図６】本発明において、各色成分、閾値の条件を満た
す光強度値とその変化率からエッジ位置を求める図の一
部である。

【図７】本発明において、各色成分、閾値の条件を満た
す光強度値とその変化率からエッジ位置を求める図の他
の一部である。

【図８】本発明において、複数の色成分から求めたエッ
ジの位置を用いる際の動作フロ−チャ−トである。

【図９】図８と同じく、複数の色成分から求めたエッジ
位置を用いる際の他の動作フロ−チャ−トである。

【図１０】本発明における画像切り出し箇所を求める装
置の操作方法を説明するための図である。

【図１１】図１０と同じく、画像切り出し箇所を求める
装置の他の操作方法を示す図である。

【図１２】図１０と同じく、画像切り出し箇所を求める
装置のさらに他の操作方法を示す図である。

【図１３】図１０と同じく、画像切り出し箇所を求める
装置のさらに他の操作方法を示す図である。

【図１４】図１０と同じく、画像切り出し箇所を求める
装置のさらに他の操作方法を示す図である。

【図１５】本発明が適用される画像切り出し装置の他の
例を示す全体ブロック図である。

【符号の説明】

１１画像表示装置１２メモリ装置１３ポインティングデバイス１４画像メモリ１５画像記録装置１６切り出しメモリ１７輪郭メモリ１８メモリ装置３２０，３２４，３２５カ−ソル３２２表示メニュ− ３２３表示画面３４６，３４７，３４８未検出点Ｐｉ初期候補点Ｐｉ′ 補正した候補点の位置Ｅｂ青色光成分エッジＥｇ緑色光成分エッジＥｒ赤色光成分エッジ

───────────────────────────────────────────────────── フロントページの続き (72)発明者炭野重雄東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者吉沢聡東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (56)参考文献特開平３−68085（ＪＰ，Ａ) 特開昭60−225280（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 1/00

Claims

(57)【特許請求の範囲】

【請求項１】画像から特定の物体画像のみを切り出す
画像切り出し箇所検出方法において、ユーザにより入力された上記特定物体画像の境界線近辺
の複数個の候補点を画面表示する第１のステップと、上記複数個の候補点を結ぶ滑らかな曲線を求めて表示す
る第２のステップと、各候補点毎に上記曲線に対する法線方向に延びる直線上
の光強度値を求める第３のステップと、各候補点毎に求めた光強度値の変化率から該候補点の位
置を補正する第４のステップと、上記第３のステップと第４のステップを用いて、複数の
色成分からなる同一画像に対してそれぞれ個別に処理を
行い、各成分毎に補正した候補点の位置を求め、該第４
ステップの処理の後に複数の補正された候補点の位置か
ら１つの補正した候補点の位置を算出し、最終的位置を
決定する第５のステップと、補正された該候補点を通る滑らかな曲線を求めて表示す
る第６のステップとを有することを特徴とする画像切り
出し箇所検出方法。
【請求項２】請求項１に記載の画像切り出し箇所検出
方法において、上記第４のステップで光強度値の変化率の測定の結果、
条件式に適合した箇所が検出できなかった１つないし複
数箇の候補点については、第６のステップ処理の終了後
に、第４のステップでの変化率の検出パラメータを任意
に変更してから、第３のステップから第６のステップま
での処理を少なくとも１回繰り返し行うことを特徴とす
る画像切り出し箇所検出方法。
【請求項３】請求項１に記載の画像切り出し箇所検出
方法において、上記第６のステップ処理の終了後に、再び第２のステッ
プに戻って処理を繰り返す場合に、候補点の１つないし
複数箇を固定して、固定された候補点については、第３
のステップと第４のステップを停止させ、他の候補点に
ついては、選択した箇所の隣接点から第３のステップ、
第４のステップ、および第５のステップの各処理を少な
くとも１回繰り返し行うことを特徴とする画像切り出し
箇所検出方法。
【請求項４】請求項１に記載の画像切り出し箇所検出
方法において、上記第４のステップの処理で光強度値の変化率の測定の
結果、条件式に適合した箇所が検出できなかった場合、
第１のステップで入力された候補点を補正した候補点の
位置に決定し、該候補点については他と異なる色で画面
表示する等、位置を補正する条件に該当しなかったこと
を示す属性を付加することを特徴とする画像切り出し箇
所検出方法。
【請求項５】請求項１に記載の画像切り出し箇所検出
方法において、上記第４のステップの処理で光強度値の変化率の測定の
結果、条件式に適合した箇所が検出された場合、該第４
ステップの処理で決定した候補点を補正した候補点の位
置に決定し、該候補点については他と異なる色で画面表
示する等、位置を補正する条件に該当することを示す属
性を付加することを特徴とする画像切り出し箇所検出方
法。