JPH11355548A

JPH11355548A - 画像処理装置

Info

Publication number: JPH11355548A
Application number: JP10154867A
Authority: JP
Inventors: Yoshimasa Nitta; 義政新田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1998-06-03
Filing date: 1998-06-03
Publication date: 1999-12-24

Abstract

(57)【要約】【課題】オブジェクトの除去などの画像編集により生
じた画像の空白領域を、簡単かつ高精度に自動的に補完
することができる画像処理装置を提供する。【解決手段】オブジェクトの除去などの画像編集によ
り生じた画像の空白領域を含む領域Ｃを領域指定枠４１
ａで指定する。また、空白領域を補完するために利用す
る補完データ領域として、領域Ｃをはさむ一対の領域
Ｌ，Ｒを指定する。さらに、点ｐ１，ｐ２，ｑ１，ｑ２
を指定して、画像の消失点Ｓを求める。補完すべき空白
領域の点ｃを補完するために、消失点Ｓから発散する線
ＬｉｎｅＳ上の点で、点ｃとＸ方向の相対座標が同一で
ある点を、領域Ｌ，Ｒより一点ずつ求めて対応点（点
ｌ，ｒ）とする。そして、点ｃを補完する画像データと
して、点ｌ，ｒの画像データの平均値を求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、フォトレタッチを
行う画像処理装置に関し、特に、原画像から不要なオブ
ジェクトを除去するとともに、除去された領域を埋め合
わせることにより、原画像からオブジェクトを取り除い
た画像を自動的に作成する画像処理装置に関するもので
ある。

【０００２】

【従来の技術】フォトレタッチによって、風景写真から
不必要な人物や物を除去したり、人物の顔の写真から傷
やしわを除去したりする処理を、簡単かつ高精度に自動
的に行いたいという要望がある。

【０００３】そこで、従来、画像を面の集まりとして捉
えて、面の上下関係を判定することにより、画像中のオ
ブジェクトを除去するとともに、その領域のデータを補
完していた。すなわち、従来の方法では、画像はいくつ
かの面が重なり合って構成されており、それらの面には
上下関係があるものとして画像を捉える。そして、ある
面が除去されてできた空白領域を、その周囲の面の上下
関係を判定し、除去された面の下にあると考えられるい
くつかの面により、その領域を補完する。

【０００４】なお、面の上下関係は各種の方法によって
判定していた。例えば、いくつかの面が接合している接
合点における各面の角度のうち、最大のものを最上位の
面として判定する。あるいは、ある面に包含されている
面は、包含している面より上位の面であると判定する。

【０００５】さらに、上記従来の方法に関連して、特開
平３−１６０５６８号公報に、あらかじめ、複数の面を
グループ化しそれらの上下関係をその画像の情報として
保持する画像編集方式が開示されている。この方式によ
れば、上記の方法では面の上下関係を判定できなかった
離隔している面を有する画像についても、面の上下関係
を精度良く判定することができる。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来の方法では、オブジェクトの除去により生じた空白領
域を補完するために、面の上下関係を判定する必要があ
る。そして、面の上下関係を明確に判定するためには、
あらかじめ、複数の面をグループ化しそれらの上下関係
をその画像の情報として記憶保持しておく必要がある。
したがって、グループ化した面の上下関係の情報を記憶
保持していなければ、面の上下関係を完全に判定するこ
とは不可能であり、オブジェクトが除去された領域のデ
ータを精度良く補完することができない。

【０００７】本発明は、上記の問題点を解決するために
なされたもので、その目的は、オブジェクトの除去など
の画像編集により生じた画像の空白領域を、簡単かつ高
精度に自動的に補完することができる画像処理装置を提
供することにある。

【０００８】

【課題を解決するための手段】請求項１の画像処理装置
は、上記の課題を解決するために、画像編集により生じ
た画像の空白領域をはさむ領域である二つの補完データ
領域の画像データと、該空白領域を補完した画像データ
とを格納する記憶部と、該空白領域の一点ごとに、二つ
の該補完データ領域よりそれぞれ一点ずつ対応点を指定
するとともに、これら指定された二つの対応点の画像デ
ータに基づいて画像データを作成することにより、該空
白領域を補完する制御部とを備えていることを特徴とし
ている。

【０００９】上記の構成により、画像の空白領域をはさ
む二つの補完データ領域を指定して、その画像データを
記憶部に記憶するとともに、制御部が空白領域の一点ご
とに、二つの補完データ領域よりそれぞれ一点ずつ対応
点を指定する。そして、制御部はこれら指定された二つ
の対応点の画像データに基づいて、空白領域の一点ごと
に画像データを作成して、空白領域を補完して記憶部に
記憶する。

【００１０】これにより、画像編集によって空白領域が
生じても、その空白領域をはさむ二つの補完データ領域
の画像データにより、補完することができる。すなわ
ち、従来の画像中のオブジェクトを除去し、その部分の
データを自動で補完する方式のシステムと異なり、画像
を面の集まりとしてとらえず、そして、面の上下関係を
判定することなく、除去したい画像を含む領域のデータ
を削除し、その周囲の画像からその部分のデータを補完
することができる。

【００１１】したがって、画像からオブジェクトを除去
する画像処理においても、画像から不要なオブジェクト
を抜き出して、背景を自動的に精度良く作成することが
可能となるため、画像編集作業の効率化を図ることがで
きる。

【００１２】請求項２の画像処理装置は、上記の課題を
解決するために、請求項１の構成に加えて、上記制御部
は、上記空白領域の点の上記対応点として、上記の各補
完データ領域の点のうち、該空白領域の点と相対座標が
同一である点を指定する対応点演算部を備えていること
を特徴としている。

【００１３】上記の構成により、請求項１の構成による
作用に加えて、除去したいオブジェクトを含む領域の画
像データを補完する際、対応点演算部は、各補完データ
領域の点のうち、空白領域の点と相対座標が同一である
点を指定する。

【００１４】これにより、補完する領域の左右あるいは
上下の各領域での相対座標が同じ点のデータを利用する
ことにより、画像をなめらかに補完することができる。
また、対応点の指定が容易である。

【００１５】請求項３の画像処理装置は、上記の課題を
解決するために、請求項１の構成に加えて、上記制御部
は、上記画像の消失点を求める消失点演算部を備えてい
るとともに、上記空白領域の点の上記対応点として、上
記の各補完データ領域の点のうち、該消失点から発散す
る同一直線上の点であり、かつ、二つの該補完データ領
域が共有する座標軸についての相対座標が同じ点を指定
する対応点演算部とを備えていることを特徴としてい
る。

【００１６】上記の構成により、請求項１の構成による
作用に加えて、消失点演算部が画像の消失点を求めると
ともに、対応点演算部が空白領域をはさむ補助データ領
域内の点で消失点より発散する同一直線上にあり、かつ
二つの補完データ領域が共有する座標軸についての相対
座標が同じ点を、対応点として指定する。

【００１７】これにより、遠近法の透視法による画像、
例えば実際の写真などの画像データから不要なオブジェ
クトを除去し、その部分の画像を容易に補完することが
できる。

【００１８】請求項４の画像処理装置は、上記の課題を
解決するために、請求項２または３の構成に加えて、上
記対応点演算部は、上記空白領域の点のうち補完済みの
点を上記補完データ領域の点とみなし、これら補完デー
タ領域にはさまれる未補完の該空白領域を補完するよう
に、該空白領域の点の上記対応点を指定する中間領域対
応点演算部を備えていることを特徴としている。

【００１９】上記の構成により、請求項２または３の構
成による作用に加えて、対応点演算部の中間領域対応点
演算部は、空白領域の点のうち補完済みの点を補完デー
タ領域の点とみなし、これら補完データ領域にはさまれ
る未補完の該空白領域を補完するように、空白領域の点
の対応点を指定する。

【００２０】これにより、補完済みの点を利用しなが
ら、未補完の空白領域の点を補完する処理を繰り返し行
うことができる。よって、空白領域をはさむ補完データ
領域の幅が狭くても補完処理を行うことができる。

【００２１】したがって、補完したい空白領域のすぐ近
くに画像を補完するのに不適当な画像データが存在する
場合でも、データを詳細に補完することが可能となり、
画像編集作業の効率化を図ることができる。

【００２２】請求項５の画像処理装置は、上記の課題を
解決するために、請求項１から４の何れかの構成に加え
て、上記制御部は、上記空白領域の点の画像データとし
て、上記対応点の画像データの平均値を演算する画像デ
ータ演算部を備えていることを特徴としている。

【００２３】上記の構成により、請求項１から４の何れ
かの構成による作用に加えて、空白領域を補完する際、
画像データ演算部は、空白領域の点の画像データとし
て、対応点の画像データの平均値を演算する。

【００２４】これにより、空白領域の補完を精度良く行
うことができるとともに、補完する画像データの演算が
容易であり、画像編集作業の効率化を図ることができ
る。

【００２５】請求項６の画像処理装置は、上記の課題を
解決するために、画像編集により生じた画像の空白領域
の一点ごとに、該空白領域をはさむ領域である二つの補
完データ領域よりそれぞれ一点ずつ対応点を指定する処
理、該空白領域の一点ごとに、これら指定された二つの
対応点の画像データに基づいて画像データを作成するこ
とにより、該空白領域を補完する処理、をコンピュータ
に実行させるためのプログラムを記録したコンピュータ
読み取り可能な記録媒体であることを特徴としている。

【００２６】請求項７の画像処理装置は、上記の課題を
解決するために、画像編集により生じた画像の空白領域
をはさむ列である二本の補完データ列の画像データと、
該空白領域を補完した画像データとを格納する記憶部
と、該空白領域の一点ごとに、二本の該補完データ列よ
りそれぞれ一点ずつ対応点を指定するとともに、これら
指定された二つの対応点の画像データに基づいて画像デ
ータを作成することにより、該空白領域を補完する制御
部とを備えていることを特徴としている。

【００２７】上記の構成により、画像の空白領域をはさ
む二本の補完データ列域を指定して、その画像データを
記憶部に記憶するとともに、制御部が空白領域の一点ご
とに、二つの補完データ列よりそれぞれ一点ずつ対応点
を指定する。そして、制御部はこれら指定された二つの
対応点の画像データに基づいて、空白領域の一点ごとに
画像データを作成して、空白領域を補完して記憶部に記
憶する。

【００２８】これにより、画像編集によって空白領域が
生じても、その空白領域をはさむ二本の列の画像データ
により、補完することができる。すなわち、従来の画像
中のオブジェクトを除去し、その部分のデータを自動で
補完する方式のシステムと異なり、画像を面の集まりと
してとらえず、そして、面の上下関係を判定することな
く、除去したい画像を含む領域のデータを削除し、その
周囲の画像からその部分のデータを補完することができ
る。

【００２９】したがって、画像からオブジェクトを除去
する画像処理においても、画像から不要なオブジェクト
を抜き出して、背景を自動的に精度良く作成することが
可能となる。また、補完のために空白領域をはさむ一対
の補完データ列しか必要でないため、補完したい空白領
域のすぐ近くに画像を補完するのに不適当な画像データ
が存在する場合でも、データを詳細に補完することが可
能となり、画像編集作業の効率化を図ることができる。

【００３０】請求項８の画像処理装置は、上記の課題を
解決するために、請求項７の構成に加えて、上記制御部
は、上記空白領域の点のうち、二本の上記補完データ列
の点同士を結びかつ該補間データ列間では互いに交わら
ない直線よりなる直線群の同一直線上にあるすべての点
に対して、該同一直線の両端点である該補完データ列の
点を上記対応点として指定する対応点演算部と、該空白
領域の該同一直線上の点の画像データとして、該対応点
を両端とするグラデーションを作成する画像データ演算
部とを備えていることを特徴としている。

【００３１】上記の構成により、請求項７の構成による
作用に加えて、対応点演算部は、空白領域の点のうち、
二本の補完データ列の点同士を結びかつ補間データ列間
では互いに交わらない直線よりなる直線群の同一直線上
にあるすべての点に対して、同一直線の両端点である補
完データ列の点を対応点として指定する。そして、画像
データ演算部は、空白領域の該同一直線上の点の画像デ
ータとして、該対応点を両端とするグラデーションを作
成する。

【００３２】これにより、空白領域を、空白領域をはさ
む一対の補完データ列の点を両端とするグラデーション
によって補完することができる。

【００３３】したがって、色相の勾配がなめらかな画像
データを作成して、空白領域を補完することができる。

【００３４】請求項９の画像処理装置は、上記の課題を
解決するために、請求項８の構成に加えて、上記制御部
は、グラデーションのある遷移割合の点である固定値点
の位置を上記対応点間で変位させ、該固定値点の連なり
である固定値列によって上記空白領域を分割するととも
に、該固定値列を上記補間データ列とみなし、これら補
完データ列にはさまれる未補完の該空白領域を補完する
ように、該空白領域の点の上記対応点を指定する中間領
域対応点演算部を備えていることを特徴としている。

【００３５】上記の構成により、請求項８の構成による
作用に加えて、中間領域対応点演算部は、グラデーショ
ンのある遷移割合の点である固定値点の位置を上記対応
点間で変位させ、該固定値点の連なりである固定値列に
よって上記空白領域を分割するとともに、該固定値列を
上記補間データ列とみなし、これら補完データ列にはさ
まれる未補完の該空白領域を補完するように、該空白領
域の点の上記対応点を指定する。

【００３６】すなわち、空白領域を含む領域を、グラデ
ーションの固定値をとる固定値列により二分割し、この
固定値の列の点、および一対の補完データ列の点を始点
および終点とする二つのグラデーションを作成して補完
する。

【００３７】これにより、空白領域を含む領域のデータ
の補完を、その領域をはさむ一対の補完データ列の点を
両端とするグラデーションにより行うことができる。し
かも、グラデーションの固定値をとる列を指定すること
により、色相が一様な傾きで推移していないグラデーシ
ョンを容易に作成し、違和感がなく精度の高い画像デー
タの補完を行うことができる。

【００３８】請求項１０の画像処理装置は、上記の課題
を解決するために、画像編集により生じた画像の空白領
域の一点ごとに、該空白領域をはさむ列である二本の該
補完データ列よりそれぞれ一点ずつ対応点を指定する処
理、該空白領域の一点ごとに、これら指定された二つの
対応点の画像データに基づいて画像データを作成するこ
とにより、該空白領域を補完する処理、をコンピュータ
に実行させるためのプログラムを記録したコンピュータ
読み取り可能な記録媒体であることを特徴としている。

【００３９】

【発明の実施の形態】〔実施の形態１〕本発明の一実施
の形態について図１から図４と、図２１および図２２に
基づいて説明すれば、以下のとおりである。

【００４０】本実施の形態にかかる画像処理装置は、原
画像から不要なオブジェクトを除去するとともに、オブ
ジェクトの除去により生じた空白領域を埋め合わせるこ
とにより、原画像からオブジェクトを取り除いた画像を
自動的に作成する。

【００４１】図２１に、本実施の形態にかかる画像処理
装置１のハードウェア構成の概略を示す。

【００４２】上記画像処理装置１は、入力部１０、記憶
部２０、制御部３０、表示部４０を備えて構成されてい
る。

【００４３】上記入力部１０は、画像編集コマンドおよ
びオブジェクトの自動除去処理の各種設定を入力するキ
ーボードやマウスなどを備えた入力装置である。画像処
理装置１の操作は、使用者が入力部１０によって、表示
部４０に表示されるユーザインタフェースに対して入力
することにより行われる。

【００４４】上記記憶部２０は、入力部１０を介して入
力された内容や、その内容に基づき制御部３０により各
種演算が実施された結果を保持する記憶装置である。

【００４５】上記制御部３０は、画像からオブジェクト
を自動的に除去するために必要な演算を実施する演算処
理装置である。

【００４６】上記表示部４０は、画像編集の対象物およ
びオブジェクトの自動除去処理の各種設定を行うための
ユーザインタフェースなどを表示する表示装置である。
なお、表示部４０の画面表示の例については後述する。

【００４７】さらに、上記記憶部２０は、第一バッファ
２１、第二バッファ２２、第三バッファ２３、第四バッ
ファ２４、消失点データ部２５、対応点テーブル２６、
設定データ部２７を備えて構成されている。

【００４８】上記の第一バッファ２１、第二バッファ２
２、第三バッファ２３、第四バッファ２４は、画像の各
領域の点の画像データを保持するワークメモリエリアで
ある。

【００４９】上記第一バッファ２１および第二バッファ
２２は、空白領域をはさむ領域であ二つの補完データ領
域の画像データを保持するワークメモリエリアである。
例えば、空白領域の補完に利用する補完データ領域とし
て、空白領域の左右の領域が指定された場合には、第一
バッファ２１に左領域の各点の画像データを、第二バッ
ファ２２に右領域の各点の画像データをそれぞれ保持す
る。また、補完データ領域として、空白領域の上下の領
域が指定された場合には、第一バッファ２１に上領域の
各点の画像データを、第二バッファ２２に下領域の各点
の画像データをそれぞれ保持する。

【００５０】上記第三バッファ２３は、除去するオブジ
ェクトを含む領域の各点の画像データを保持するワーク
メモリエリアである。

【００５１】上記第四バッファ２４は、オブジェクトを
除去して生じた空白領域を補完して作成した新しい画像
データを保持するワークメモリエリアである。すなわ
ち、上記第三バッファ２３にはオブジェクトの除去前の
画像が、上記第四バッファ２４にはオブジェクトの除去
後の画像が保持される。

【００５２】さらに、上記消失点データ部２５は、空白
領域の補完処理の過程において求められる画像の消失点
の座標を保持するワークメモリエリアである。

【００５３】上記対応点テーブル２６は、除去するオブ
ジェクトを含む領域の点と、この点に対応する二つの補
完データ領域の点の組合せを保持するワークメモリエリ
アである。

【００５４】上記設定データ部２７は、入力された各設
定データを保持するために、左右フラグ２７ａ、上下フ
ラグ２７ｂ、列位置データ部２７ｃ、消失点フラグ２７
ｄ、領域幅データ部２７ｅ、固定値位置データ部２７
ｆ、相対位置フラグ２７ｇ、左右第１点データ部２７
ｈ、左右第２点データ部２７ｉ、左右第３点データ部２
７ｊ、左右第４点データ部２７ｋ、上下第１点データ部
２７ｌ、上下第２点データ部２７ｍ、上下第３点データ
部２７ｎ、上下第４点データ部２７ｏの各メモリエリア
を備えて構成されている。

【００５５】上記左右フラグ２７ａは、補完データ領域
として空白領域を含む領域の左右の領域を選択した時に
オンになるフラグである。これに対して、上記上下フラ
グ２７ｂは、補完データ領域として空白領域を含む領域
の上下の領域を選択した時にオンになるフラグである。
したがって、左右フラグ２７ａと上下フラグ２７ｂとは
逆の状態に設定されることになる。

【００５６】上記列位置データ部２７ｃは、入力された
左右あるいは上下の補完データ領域中で、空白領域の補
完に利用する補完データ列の位置を保持する。

【００５７】上記消失点フラグ２７ｄは、遠近法の透視
法による画像からオブジェクトを除去する際に、画像の
消失点を利用して空白領域を補完すること指定した時に
オンになるフラグである。

【００５８】上記領域幅データ部２７ｅは、入力された
左右あるいは上下の補完データ領域の幅を保持する。

【００５９】上記固定値位置データ部２７ｆは、入力さ
れたグラデーションの固定値をおく一列（固定値列）の
位置を保持する。

【００６０】上記相対位置フラグ２７ｇは、空白領域の
補完に利用する点を補完データ領域の相対座標が同じ点
とするときオンとなるフラグである。なお、相対位置フ
ラグ２７ｇはデフォルトでオンの状態となっている。

【００６１】上記の左右第１点データ部２７ｈ、左右第
２点データ部２７ｉ、左右第３点データ部２７ｊ、左右
第４点データ部２７ｋは、補完データ領域として空白領
域を含む領域の左右の領域を利用する場合で、画像の消
失点を利用して空白領域を補完する際、消失点を通る二
直線を決めるために入力される四点の座標を一点ずつ保
持する。これに対して、上記の上下第１点データ部２７
ｌ、上下第２点データ部２７ｍ、上下第３点データ部２
７ｎ、上下第４点データ部２７ｏは、補完データ領域と
して空白領域を含む領域の上下の領域を利用する場合
で、画像の消失点を利用して空白領域を補完する際、消
失点を通る二直線を決めるために入力される四点の座標
を一点ずつ保持する。

【００６２】また、上記制御部３０は、対応点演算部３
１、画像データ演算部３２、消失点演算部３３を少なく
とも備えて構成されている。

【００６３】上記対応点演算部３１は、除去したいオブ
ジェクトを含む領域の一点ごとに、二つの補完データ領
域あるいは補完データ列よりそれぞれ一点ずつ対応点を
指定する。さらに、上記対応点演算部３１は中間領域対
応点演算部３１ａを含んでいる。

【００６４】上記中間領域対応点演算部３１ａは、空白
領域の点のうち補完済みの点を補完データ領域の点とみ
なして、補完データ領域および補完データ列にはさまれ
る未補完の該空白領域を補完するように、空白領域の点
の対応点を指定する。

【００６５】上記画像データ演算部３２は、対応点の画
像データに基づいて、除去したいオブジェクトを含む領
域を除去して生じた空白領域を補完する画像データを計
算する。

【００６６】上記消失点演算部３３は、除去したいオブ
ジェクトを含む領域を書き換えるために、透視法を用い
て対応点を求める場合、消失点を通る二直線に基づい
て、画像の消失点の計算を行う。

【００６７】また、本発明の各実施の形態において説明
する画像からオブジェクトを除去し、生じた空白領域を
補完する自動処理は、コンピュータに実行させるための
プログラムとして、フロッピィーディスク、ハードディ
スク、磁気テープ、ＣＤ−ＲＯＭ／光ディスク／光磁気
ディスク／ＭＤなどのメディア、およびＲＯＭ／ＲＡＭ
メモリなどのコンピュータ読み取り可能な記録媒体に記
録されている。

【００６８】そして、上記記憶部２０を含む上記記録媒
体から、上記制御部３０に必要に応じて読み出された処
理が実行される。

【００６９】図１から図４を用いて、上記画像処理装置
１における、除去したいオブジェクトを含む領域の画像
データを、左右あるいは上下の補完データ領域の画像デ
ータにより補完する処理について説明する。

【００７０】まず、図１を用いて、各領域の位置関係に
ついて説明する。なお、領域指定枠４１ａ（図２２）に
ついては、後述する。

【００７１】領域Ｃは、画像のうち除去したいオブジェ
クトを含む領域である。領域Ｌは除去したいオブジェク
トを含む領域Ｃの左の領域であり、領域Ｒは除去したい
オブジェクトを含む領域Ｃの右の領域である。また、領
域Ｕは除去したいオブジェクトを含む領域Ｃの上の領域
であり、領域Ｂは除去したいオブジェクトを含む領域Ｃ
の下の領域である。

【００７２】そして、領域Ｌの点ｌ（Ｘｌ，Ｙｌ）と、
領域Ｒの点ｒ（Ｘｒ，Ｙｒ）とが、領域Ｃの点ｃ（Ｘ
ｃ，Ｙｃ）に対応している対応点である。また、領域Ｕ
の点ｕ（Ｘｕ，Ｙｕ）と、領域Ｂの点ｂ（Ｘｂ，Ｙｂ）
とが、領域Ｃの点ｃ（Ｘｃ，Ｙｃ）に対応している対応
点である。

【００７３】ここで、対応点である点ｌ、点ｒ、点ｕ、
点ｂは、点ｃと各領域ごとの相対座標が同一の点となっ
ている。なお、設定データ部２７の相対位置フラグ２７
ｇはデフォルトでオンの状態となっているため、デフォ
ルトの状態では領域Ｃの各点の対応点は上記のように指
定される。

【００７４】よって、空白領域の補充に空白領域を含む
領域の左右の領域の画像データを利用する場合は、領域
Ｌおよび領域Ｒが補完データ領域として指定される。そ
して、領域Ｃの点ｃは、点ｃと相対座標が同一である領
域Ｌの点ｌおよび領域Ｒの点ｒとを対応点として、点ｌ
および点ｒの画像データに基づいて作成された画像デー
タによって補完される。

【００７５】これに対して、空白領域の補充に空白領域
を含む領域の上下の領域の画像データを利用する場合
は、領域Ｕおよび領域Ｂが補完データ領域として指定さ
れる。そして、領域Ｃの点ｃは、点ｃと相対座標が同一
である領域Ｕの点ｕおよび領域Ｂの点ｂとを対応点とし
て、点ｕおよび点ｂの画像データに基づいて作成された
画像データによって補完される。

【００７６】補完する領域のピクセルのＲＧＢ値は、以
下のようにして算出することができる。

【００７７】点（Ｘ，Ｙ）の位置のＲＧＢ値を表す値を
ＲＧＢ（Ｘ，Ｙ）とする。このとき、領域Ｃの点ｃ（Ｘ
ｃ，Ｙｃ）のＲＧＢ値は次式による演算によって求める
ことができる。なお、演算子◎は、演算子の左右の値を
利用した平均値などの演算を意味する。左右の領域のデータを利用する場合 RGB(Xc,Yc)=RGB(Xl,Yl)◎RGB(Xr,Yr) （１）上下の領域のデータを利用する場合 RGB(Xc,Yc)=RGB(Xu,Yu)◎RGB(Xb,Yb) （２）

【００７８】ここで、左右または上下の領域の平均値に
よりデータを補完する場合、すなわち、上記の演算子◎
が、平均値を意味する場合、式（１），（２）は、それ
ぞれ次式のようになる。左右の領域のデータを利用する場合 RGB(Xc,Yc)=(RGB(Xl,Yl)+RGB(Xr,Yr))/2 （1'）上下の領域のデータを利用する場合 RGB(Xc,Yc)=(RGB(Xu,Yu)+RGB(Xb,Yb))/2 （2'）

【００７９】また、図２２に示すように、この処理を行
う際には、編集に利用する領域を指定するインタフェー
スが表示部４０に表示される。具体的には、画像表示部
４１と方向選択部４２とが少なくとも表示される。な
お、領域幅設定部４３については、実施の形態２におい
て説明する。

【００８０】上記画像表示部４１は、領域を指定した
り、作成された画像をプレビューすることができる。画
像表示部４１には、画像とともに領域指定枠４１ａが表
示されており、中央の枠により除去するオブジェクトを
含む領域を指定する。そして、中央の枠に隣接した左右
の枠および上下の枠は、オブジェクトを除去した領域を
埋め合わせるため画像データを作成するため利用する補
完データ領域である。

【００８１】上記方向選択部４２は、左右方向あるいは
上下方向から、オブジェクトを除去した領域を埋め合わ
せるための画像データの作成方向を選択する。方向選択
部４２は、左右チェックボックス４２ａと上下チェック
ボックス４２ｂとの二つのチェックボックスで構成され
ている。画像データの作成方向は、左右の領域のデータ
を使用する場合は左右チェックボックス４２ａをチェッ
クし、上下の領域のデータを使用する場合は上下チェッ
クボックス４２ｂをチェックすることによって行う。

【００８２】つぎに、図２のフローチャートを用いて、
上記の処理について詳細に説明する。

【００８３】まず、ステップＳ１１で、除去したいオブ
ジェクトを含む領域Ｃを選択する。すなわち、入力部１
０のキーボードやマウスなどにより、画像表示部４１に
表示された画像において除去したいオブジェクトを、領
域指定枠４１ａによって選択する。このとき、中央の枠
内が、領域Ｃとして選択される。そして、領域Ｃの各点
のデータがワークメモリエリアである第三バッファ２３
に保持される。

【００８４】つぎに、ステップＳ１２で、領域Ｃのデー
タの補完に使用する領域を、左右あるいは上下の領域よ
り選択する。すなわち、領域Ｃのデータを除去した場
合、その部分を補完するために使用するデータのある領
域として、領域Ｃの左右の領域（領域Ｌと領域Ｒ）もし
くは上下の領域（領域Ｕと領域Ｂ）のどちらか一方を選
択する。この選択は、画像処理装置１の使用者が、方向
選択部４２の左右チェックボックス４２ａあるいは上下
チェックボックス４２ｂのいずれかを、入力部１０によ
ってチェックすることにより行う。

【００８５】ここで、左右の領域（領域Ｌ，Ｒ）を選択
した場合、記憶部２０の設定データ部２７の左右フラグ
２７ａがオンになる。これにより、データ補完として左
右の領域を利用することを制御部３０に示し、領域Ｌの
各点のデータを第一バッファ２１に、領域Ｒの各点のデ
ータを第二バッファ２２にそれぞれ保持する。そして、
ステップＳ１３ｈに移行する。

【００８６】ステップＳ１３ｈでは、領域Ｃの各ピクセ
ルのＲＧＢ値を求める。すなわち、式（１）により、領
域Ｌと領域Ｒの中で、それぞれ対応する点（点ｌ（Ｘ
ｌ，Ｙｌ），点ｒ（Ｘｒ，Ｙｒ））について、演算を行
い、領域Ｌと領域Ｒのそれらの点に対応する領域Ｃの点
ｃ（Ｘｃ，Ｙｃ）のＲＧＢ値を求める。ここで、設定デ
ータ部２７の相対位置フラグ２７ｇがデフォルトである
オンの状態になっているときは、対応する点は、それぞ
れの領域の中の相対座標が同じ点である。この状態を受
けて、制御部３０の対応するピクセルを指定する対応点
演算部３１では、第一バッファ２１，第二バッファ２
２，第三バッファ２３のそれぞれの内容から、領域Ｌ，
Ｒ，Ｃのそれぞれの点に対応する点の組合せを作成し、
対応点テーブル２６にその結果を保存する。

【００８７】ここで、図１では、領域Ｌの点ｌ（Ｘｌ，
Ｙｌ）と領域Ｒの点ｒ（Ｘｒ、Ｙｒ）がそれぞれ、領域
Ｃの点ｃ（Ｘｃ，Ｙｃ）に対応しており、点ｌと点ｒの
ＲＧＢ値から、式（１）によって、点ｃのＲＧＢ値を求
める。なお、左右の領域の平均値によりデータを補完す
る場合、式（１′）によって、点ｃのＲＧＢ値を求め
る。領域Ｌ，ＲおよびＣの全ての点について、対応点テ
ーブル２６の内容を参照し、これらの演算を行い、その
結果から新しい領域Ｃのデータを第四バッファ２４に保
存し、ステップＳ１４に進む。

【００８８】一方、ステップＳ１２において、上下の領
域（領域Ｕ，Ｂ）を選択した場合、記憶部２０の設定デ
ータ部２７の上下フラグ２７ｂがオンになる。これによ
り、データ補完として上下の領域を利用することを制御
部３０に示し、領域Ｕの各点のデータを第一バッファ２
１に、領域Ｂの各点のデータを第二バッファ２２にそれ
ぞれ保持する。そして、ステップＳ１３ｖに移行する。

【００８９】ステップＳ１３ｖでは、領域Ｃの各ピクセ
ルのＲＧＢ値を求める。すなわち、式（２）により、領
域Ｕと領域Ｂの中で、それぞれ対応する点（点ｕ（Ｘ
ｕ，Ｙｕ），点ｂ（Ｘｂ，Ｙｂ））について、演算を行
い、領域Ｕと領域Ｂのそれらの点に対応する領域Ｃの点
ｃ（Ｘｃ，Ｙｃ）のＲＧＢ値を求める。ここで、設定デ
ータ部２７の相対位置フラグ２７ｇがデフォルトである
オンの状態になっているときは、対応する点は、それぞ
れの領域の中の相対座標が同じ点である。この状態を受
けて、制御部３０の対応するピクセルを指定する対応点
演算部３１では、第一バッファ２１，第二バッファ２
２，第三バッファ２３のそれぞれの内容から、領域Ｕ，
Ｂ，Ｃのそれぞれの点に対応する点の組合せを作成し、
対応点テーブル２６にその結果を保存する。

【００９０】ここで、図１では、領域Ｕの点ｕ（Ｘｕ，
Ｙｕ）と領域Ｂの点ｂ（Ｘｂ，Ｙｂ）がそれぞれ、領域
Ｃの点ｃ（Ｘｃ，Ｙｃ）に対応しており、点ｕと点ｂの
ＲＧＢ値から、式（２）によって、点ｃのＲＧＢ値を求
める。なお、左右の領域の平均値によりデータを補完す
る場合、式（２′）によって、点ｃのＲＧＢ値を求め
る。領域Ｕ，ＢおよびＣの全ての点について、対応点テ
ーブル２６の内容を参照し、これらの演算を行い、その
結果から新しい領域Ｃのデータを第四バッファ２４に保
存し、ステップＳ１４に進む。

【００９１】ステップＳ１４では、計算されて第四バッ
ファ２４に保存されている領域Ｃの各ピクセルのＲＧＢ
値により、領域Ｃのデータを書き換える。そして、表示
部４０に表示する。

【００９２】図３は、色相が左右方向に一様な傾きで推
移しているグラデーションの模様を背景とし、２つの
葉、および、その上下にアルファベットの文字列がある
画像である。そして、図４は、図３の画像から、上記の
方法により、２つの葉のある領域Ｃを削除し、その葉が
あった領域Ｃをその左右の領域（領域Ｌ，Ｒ）の対応す
る点の平均値により補完した結果である。領域Ｃから２
つの葉が高精度に除去されている。

【００９３】このように、本実施の形態にかかる画像処
理装置１では、入力部１０と表示部４０とによって、画
像中のある除去したいオブジェクトを含む領域を指定す
るとともに、各種のデータを設定する。そして、記憶部
２０と制御部３０とによって、指定された領域のデータ
を、その左右あるいは上下の指定された適当な範囲の画
像に基づいて、式（１）あるいは式（２）の演算式に従
って算出したデータに書き換えて補完する。

【００９４】これにより、従来の画像中のオブジェクト
を除去し、その部分のデータを自動で補完する方式のシ
ステムと異なり、画像を面の集まりとしてとらえず、そ
して、面の上下関係を判定することなく、除去したい画
像を含む領域のデータを削除し、その周囲の画像からそ
の部分のデータを補完することができる。すなわち、画
像編集処理中に、画像中の除去したいオブジェクトを含
む領域を指定することにより、画像から不要なオブジェ
クトを抜き出した背景を自動的に作成することが可能と
なるため、画像編集作業の効率化を図ることができる。

【００９５】また、本実施の形態にかかる画像処理装置
１では、除去したいオブジェクトを含む領域のデータを
変換する際、入力部１０および表示部４０によって設定
されたデータに基づき、記憶部２０および制御部３０に
よって、その領域の左右あるいは上下の領域中の相対座
標が同じ点のデータを利用する。

【００９６】これにより、補完する領域の左右あるいは
上下の各領域での相対座標が同じ点のデータを利用する
ことにより、画像をなめらかに補完することができる。

【００９７】また、本実施の形態にかかる画像処理装置
１では、除去したいオブジェクトを含む領域のデータを
変換する際、入力部１０および表示部４０によって設定
されたデータに基づき、記憶部２０および制御部３０に
よって、その領域の左右または上下の領域のデータの対
応する位置の各点のＲＧＢ値の平均値をとり、その領域
のデータを書き換えて補完する。

【００９８】これにより、除去したいオブジェクトを含
む領域の左右あるいは上下の領域の対応する位置の点の
ＲＧＢ値の平均値により、データを変換することが可能
となるため、画像編集作業の効率化を図ることができ
る。

【００９９】〔実施の形態２〕本発明の他の実施の形態
について図５から図８と、図２１および図２２に基づい
て説明すれば、以下のとおりである。なお、説明の便宜
上、実施の形態１において示した構成と同一の部材に
は、同一の符号を付記し、その説明を省略する。

【０１００】本実施の形態にかかる画像処理装置は、除
去したいオブジェクトを含む領域の画像データを、左右
の領域あるいは上下の領域の画像データと、それら画像
データにより補完された点の画像データとに基づいて補
完する。

【０１０１】まず、図５を用いて、各領域の位置関係に
ついて説明する。

【０１０２】領域Ｃは、画像のうち除去したいオブジェ
クトを含む領域である。領域Ｌは除去したいオブジェク
トを含む領域Ｃの左の領域であり、領域Ｒは除去したい
オブジェクトを含む領域Ｃの右の領域である。また、領
域Ｕは除去したいオブジェクトを含む領域Ｃの上の領域
であり、領域Ｂは除去したいオブジェクトを含む領域Ｃ
の下の領域である。

【０１０３】また、領域Ｃは、領域Ｌ側から順に、領域
Ｃ２，領域Ｃ１，領域Ｃ３に分割されている。そして、
領域Ｃ１の幅は、領域Ｌおよび領域Ｒの幅Ｗ１と同一で
ある。なお、領域Ｃ１は、領域Ｃの中央に設定されてい
るため、領域Ｃ２と領域Ｃ３の幅は等しい。

【０１０４】そして、領域Ｌの点ｌ（Ｘｌ，Ｙｌ）と、
領域Ｒの点ｒ（Ｘｒ，Ｙｒ）とが、領域Ｃ１の点ｃ１
（Ｘｃ１，Ｙｃ１）に対応している対応点である。さら
に、領域Ｃ１を補完済みとして、補完データ領域とみな
した場合、領域Ｌの点ｌ（Ｘｌ，Ｙｌ）と、領域Ｃ１の
点ｃ１（Ｘｃ１，Ｙｃ１）とが、領域Ｃ２の点ｃ２（Ｘ
ｃ２，Ｙｃ２）に対応している対応点である。同様に、
領域Ｒの点ｒ（Ｘｒ，Ｙｒ）と、領域Ｃ１の点ｃ１（Ｘ
ｃ１，Ｙｃ１）とが、領域Ｃ３の点ｃ３（Ｘｃ３，Ｙｃ
３）に対応している対応点である。

【０１０５】ここで、対応点である点ｌ、点ｒは、点ｃ
１と各領域ごとの相対座標が同一の点となっている。さ
らに、対応点である点ｌ、点ｃ１は、点ｃ２と各領域ご
との相対座標が同一の点となっている。同様に、対応点
である点ｒ、点ｃ１は、点ｃ３と各領域ごとの相対座標
が同一の点となっている。なお、設定データ部２７の相
対位置フラグ２７ｇはデフォルトでオンの状態となって
いるため、デフォルトの状態では領域Ｃ１，Ｃ２，Ｃ３
の各点の対応点は上記のように指定される。

【０１０６】よって、空白領域の補充に空白領域を含む
領域の左右の領域の画像データを利用する場合は、領域
Ｌおよび領域Ｒが補完データ領域として指定される。そ
して、まず、領域Ｃのうち領域Ｃ１の点ｃ１が、点ｃ１
と相対座標が同一である領域Ｌの点ｌおよび領域Ｒの点
ｒとを対応点として、点ｌおよび点ｒの画像データに基
づいて作成された画像データによって補完される。つい
で、領域Ｌと補完済みの領域Ｃ１に挟まれる領域Ｃ２の
点ｃ２が、点ｃ２と相対座標が同一である領域Ｌの点ｌ
および領域Ｃ１の点ｃ１とを対応点として、点ｌおよび
点ｃ１の画像データに基づいて作成された画像データに
よって補完される。同様に、領域Ｒと補完済みの領域Ｃ
１に挟まれる領域Ｃ３の点ｃ３が、点ｃ３と相対座標が
同一である領域Ｒの点ｒおよび領域Ｃ１の点ｃ１とを対
応点として、点ｒおよび点ｃ１の画像データに基づいて
作成された画像データによって補完される。

【０１０７】これに対して、空白領域の補充に空白領域
を含む領域の上下の領域の画像データを利用する場合
は、領域Ｕおよび領域Ｂが補完データ領域として指定さ
れる。そして、それ以降の処理は、領域Ｃが横方向に分
割されことが異なるだけで、上述の縦方向に分割した場
合と同様である。

【０１０８】なお、領域Ｃをはさむ二つの補完データ領
域の相対座標が同じである対応点を指定し、これらの点
の画像データの平均値などを求めて、対応点の中央に位
置する点の画像データを補完する場合は、領域Ｃ１は領
域Ｃの中央に位置することになる。しかし、最初に補完
する領域Ｃ１の位置は領域Ｃの中央でなくてもよく、条
件を適宜設定して補完処理を行うことができる。すなわ
ち、領域Ｌ，Ｒのような補完データ領域と領域Ｃ１のよ
うな補完済みの領域とによってはさまれる中間領域を、
補完済みの領域の画像データを利用しながら補完処理を
繰り返せばよい。

【０１０９】補完する領域ＣのピクセルのＲＧＢ値は、
以下のようにして算出することができる。

【０１１０】点（Ｘ，Ｙ）の位置のＲＧＢ値を表す値を
ＲＧＢ（Ｘ，Ｙ）とする。このとき、領域Ｃを構成する
領域Ｃ１，Ｃ２，Ｃ３の点ｃ１（Ｘｃ１，Ｙｃ１），点
ｃ２（Ｘｃ２，Ｙｃ２），点ｃ３（Ｘｃ３，Ｙｃ３）の
ＲＧＢ値は、それぞれ以下の式による演算によって求め
ることができる。なお、演算子◎は、演算子の左右の値
を利用した平均値などの演算を意味する。左右の領域のデータを利用する場合 RGB(Xc1,Yc1)=RGB(Xl,Yl)◎RGB(Xr,Yr) (３） RGB(Xc2,Yc2)=RGB(Xl,Yl)◎RGB(Xc1,Yc1) （４） RGB(Xc3,Yc3)=RGB(Xc1,Yc1)◎RGB(Xr,Yr) （５）上下の領域のデータを利用する場合 RGB(Xc1,Yc1)=RGB(Xu,Yu)◎RGB(Xb,Yb) （６） RGB(Xc2,Yc2)=RGB(Xu,Yu)◎RGB(Xc1,Yc1) （７） RGB(Xc3,Yc3)=RGB(Xc1,Yc1)◎RGB(Xb,Yb) （８）

【０１１１】ここで、左右あるいは上下の領域の平均値
によりデータを補完する場合、すなわち、上記の演算子
◎が、平均値を意味する場合、式（３）〜（８）は、そ
れぞれ次式のようになる。左右の領域のデータを利用する場合 RGB(Xc1,Yc1)=(RGB(Xl,Yl)+RGB(Xr,Yr))/2 （3'） RGB(Xc2,Yc2)=(RGB(Xl,Yl)+RGB(Xc1,Yc1))/2 （4'） RGB(Xc3,Yc3)=(RGB(Xc1,Yc1)+RGB(Xr,Yr))/2 （5'）上下の領域のデータを利用する場合 RGB(Xc1,Yc1)=(RGB(Xu,Yu)+RGB(Xb,Yb))/2 （6'） RGB(Xc2,Yc2)=(RGB(Xu,Yu)+RGB(Xc1,Yc1))/2 （7'） RGB(Xc3,Yc3)=(RGB(Xc1,Yc1)+RGB(Xb,Yb))/2 （8'）

【０１１２】また、図２２に示すように、この処理を行
う際には、編集に利用する領域と、その幅とを指定する
インタフェースが表示部４０に表示される。具体的に
は、画像表示部４１、方向選択部４２、領域幅設定部４
３が少なくとも表示される。

【０１１３】上記領域幅設定部４３は、データを補完す
るためのデータ領域の幅を設定する。上記領域幅設定部
４３は、領域幅テキストボックス４４と領域幅スライダ
４５とを備えている。領域幅の設定は、領域幅テキスト
ボックス４４にピクセル数などの数値を直接テキスト入
力してもよいし、領域幅スライダ４５でスライダ４５ａ
をスライドさせて指定してもよい。

【０１１４】つぎに、図６のフローチャートを用いて、
上記の処理について詳細に説明する。

【０１１５】まず、ステップＳ２１で、除去したいオブ
ジェクトを含む領域Ｃを選択する。すなわち、入力部１
０のキーボードやマウスなどにより、画像表示部４１に
表示された画像において除去したいオブジェクトを、領
域指定枠４１ａによって選択する。このとき、中央の枠
内が、領域Ｃとして選択される。そして、領域Ｃの各点
のデータがワークメモリエリアである第三バッファ２３
に保持される。

【０１１６】つぎに、ステップＳ２２で、領域Ｃのデー
タの補完に使用する領域を、左右あるいは上下の領域よ
り選択する。すなわち、領域Ｃのデータを除去した場
合、その部分を補完するために使用するデータのある領
域として、領域Ｃの左右の領域（領域Ｌと領域Ｒ）もし
くは上下の領域（領域Ｕと領域Ｂ）のどちらか一方を選
択する。この選択は、画像処理装置１の使用者が、方向
選択部４２の左右チェックボックス４２ａあるいは上下
チェックボックス４２ｂのいずれかを、入力部１０によ
ってチェックすることにより行う。

【０１１７】ここで、左右の領域（領域Ｌ，Ｒ）を選択
した場合、記憶部２０の設定データ部２７の左右フラグ
２７ａがオンになる。これにより、データ補完として左
右の領域を利用することを制御部３０に示し、領域Ｌの
各点のデータを第一バッファ２１に、領域Ｒの各点のデ
ータを第二バッファ２２にそれぞれ保持する。そして、
ステップＳ２３ｈに移行する。

【０１１８】ステップＳ２３ｈでは、利用するデータ領
域の幅を設定する。すなわち、領域幅設定部４３の領域
幅テキストボックス４４あるいは領域幅スライダ４５に
よって、入力部１０を用い入力する。ここで入力された
領域の幅の値Ｗ１が、領域幅データ部２７ｅに設定され
る。

【０１１９】ステップＳ２４ｈでは、領域Ｃ１の各ピク
セルのＲＧＢ値を求める。すなわち、式（３）により、
領域幅Ｗ１の領域Ｌと領域Ｒの中で、それぞれ対応する
点（点ｌ（Ｘｌ，Ｙｌ），点ｒ（Ｘｒ，Ｙｒ）につい
て、演算を行い、領域Ｌと領域Ｒのそれらの点に対応す
る領域Ｃ１の点ｃ１（Ｘｃ１，Ｙｃ１）のＲＧＢ値を求
める。ここで、設定データ部２７の相対位置フラグ２７
ｇがデフォルトであるオンの状態になっているときは、
対応する点は、それぞれの領域の中の相対座標が同じ点
である。この状態を受けて、制御部３０の対応するピク
セルを指定する対応点演算部３１では、第一バッファ２
１，第二バッファ２２，第三バッファ２３のそれぞれの
内容から、領域Ｌ，Ｒ，Ｃのそれぞれの点に対応する点
の組合せを作成し、対応点テーブル２６にその結果を保
存する。

【０１２０】ここで、図５では、領域Ｌの点ｌ（Ｘｌ，
Ｙｌ）と領域Ｒの点ｒ（Ｘｒ、Ｙｒ）がそれぞれ、領域
Ｃ１の点ｃ１（Ｘｃ１，Ｙｃ１）に対応しており、点ｌ
と点ｒのＲＧＢ値から、式（３）によって、点ｃのＲＧ
Ｂ値を求める。なお、左右の領域の平均値によりデータ
を補完する場合、式（３′）によって、点ｃ１のＲＧＢ
値を求める。領域Ｌ，ＲおよびＣ１のすべての点につい
て、対応点テーブル２６の内容を参照し、これらの演算
を行い、その結果から新しい領域Ｃのデータを第四バッ
ファ２４に保存し、ステップＳ２５ｈに進む。

【０１２１】ステップＳ２５ｈでは、新しく求められた
ピクセルのＲＧＢ値も利用して、中間領域のピクセルの
ＲＧＢ値を求める。すなわち、領域Ｃ１を含む新しく求
められた領域と領域Ｌとのそれぞれ対応する点のＲＧＢ
値に基づいて、その中間領域である領域Ｃ２の対応する
点のＲＧＢ値を、式（４）より求める。同様に、領域Ｃ
１を含む新しく求められた領域と領域Ｒとのそれぞれ対
応する点のＲＧＢ値に基づいて、その中間領域である領
域Ｃ３の対応する点のＲＧＢ値を、式（５）より求め
る。なお、領域Ｃ２，Ｃ３の対応点は、中間領域対応点
演算部３１ａによって指定される。

【０１２２】ここで、図５では、領域Ｌの点ｌ（Ｘｌ，
Ｙｌ）と領域Ｃ１の点ｃ１（Ｘｃ１，Ｙｃ１）がそれぞ
れ、領域Ｃ２の点ｃ２（Ｘｃ２，Ｙｃ２）に対応してお
り、点ｌと点ｃ１のＲＧＢ値から、式（４）によって、
点ｃ２のＲＧＢ値を求める。同様に、領域Ｒの点Ｒ（Ｘ
ｒ，Ｙｒ）と領域Ｃ１の点ｃ１（Ｘｃ１，Ｙｃ１）がそ
れぞれ、領域Ｃ３の点ｃ３（Ｘｃ３，Ｙｃ３）に対応し
ており、点ｃ１と点ｒのＲＧＢ値から、式（５）によっ
て、点ｃ３のＲＧＢ値を求める。なお、左右の領域の平
均値によりデータを補完する場合、式（４′）および式
（５′）によって、点ｃ２および点ｃ３のＲＧＢ値をそ
れぞれ求める。そして、領域Ｃ２およびＣ３のすべての
点について、この処理が終了したら、ステップＳ２６ｈ
に移行する。

【０１２３】ステップＳ２６ｈで、領域Ｃの各ピクセル
の新しいＲＧＢ値がすべて計算されたかを判断する。す
なわち、領域Ｃで新しいＲＧＢ値がまだ計算されていな
い点が残っていないか調べ、もし、すべて終了していた
ら（ＹＥＳ）、ステップＳ２７へ移行する。一方、終了
していなければ（ＮＯ）、ステップＳ２５ｈに戻り、前
記の処理を繰り返す。なお、図５の例では、領域Ｃは領
域Ｃ１，Ｃ２，Ｃ３のみからなり、これらの領域の値は
すべて計算されたので、ステップＳ２７へ移行する。

【０１２４】一方、ステップＳ２２において、上下の領
域（領域Ｕ，Ｂ）を選択した場合、記憶部２０の設定デ
ータ部２７の左右フラグ２７ａがオンになる。これによ
り、データ補完として上下の領域を利用することを制御
部３０に示し、領域Ｕの各点のデータを第一バッファ２
１に、領域Ｂの各点のデータを第二バッファ２２にそれ
ぞれ保持する。そして、ステップＳ２３ｖに移行する。

【０１２５】ステップＳ２３ｖでは、ステップＳ２３ｈ
と同様にして、利用するデータ領域の幅を設定する。

【０１２６】ステップＳ２４ｖでは、ステップＳ２４ｈ
と同様にして、領域Ｃ１の各ピクセルのＲＧＢ値を求め
る。すなわち、式（６）により、領域幅Ｗ１の領域Ｕと
領域Ｂの中で、それぞれ対応する点（点ｕ（Ｘｕ，Ｙ
ｕ），点ｂ（Ｘｂ，Ｙｂ））について、演算を行い、領
域Ｕと領域Ｂのそれらの点に対応する領域Ｃ１の点ｃ１
（Ｘｃ１，Ｙｃ１）のＲＧＢ値を求める。さらに、上下
の領域の平均値によりデータを補完する場合、式
（６′）によって、点ｃ１のＲＧＢ値を求める。そし
て、領域Ｕ，ＢおよびＣ１のすべての点について、対応
点テーブル２６の内容を参照し、これらの演算を行い、
その結果から新しい領域Ｃのデータを第四バッファ２４
に保存し、ステップＳ２５ｖに進む。

【０１２７】ステップＳ２５ｖでは、ステップＳ２５ｈ
と同様にして、新しく求められたピクセルのＲＧＢ値も
利用して、中間領域のピクセルのＲＧＢ値を求める。す
なわち、領域Ｃ１を含む新しく求められた領域と領域Ｕ
とのそれぞれ対応する点のＲＧＢ値に基づいて、その中
間領域である領域Ｃ２の対応する点のＲＧＢ値を、式
（７）より求める。同様に、領域Ｃ１を含む新しく求め
られた領域と領域Ｂとのそれぞれ対応する点のＲＧＢ値
に基づいて、その中間領域である領域Ｃ３の対応する点
のＲＧＢ値を、式（８）より求める。なお、領域Ｃ２，
Ｃ３の対応点は、中間領域対応点演算部３１ａによって
指定される。また、上下の領域の平均値によりデータを
補完する場合、式（７′）および式（８′）によって、
点ｃ２および点ｃ３のＲＧＢ値をそれぞれ求める。そし
て、領域Ｃ２およびＣ３のすべての点について、この処
理が終了したら、ステップＳ２６ｖに移行する。

【０１２８】ステップＳ２６ｖで、領域Ｃの各ピクセル
の新しいＲＧＢ値がすべて計算されたかを判断する。す
なわち、領域Ｃで新しいＲＧＢ値がまだ計算されていな
い点が残っていないか調べ、もし、すべて終了していた
ら（ＹＥＳ）、ステップＳ２７へ移行する。一方、終了
していなければ（ＮＯ）、ステップＳ２５ｖに戻り、前
記の処理を繰り返す。

【０１２９】ステップＳ２７では、計算されて第四バッ
ファ２４に保存されている領域Ｃの各ピクセルのＲＧＢ
値により、領域Ｃのデータを書き換える。そして、表示
部４０に表示する。

【０１３０】図７は、色相が左右方向に一様な傾きで推
移しているグラデーションの模様を背景とし、１つの
葉、および、その上下左右にアルファベットの文字列が
ある画像である。そして、図８は、図７の画像から、上
記の方法により、１つの葉のある領域Ｃを削除し、その
葉があった領域Ｃをその左右の領域（領域Ｌ，Ｒ）の対
応する点の平均値により補完した結果である。図７の画
像では、上下左右にアルファベットがあり、左右に十分
な領域をとることができない。しかし、本実施の形態の
ように、領域Ｃを分割して補完することにより、図８の
ように領域Ｃから１つの葉を高精度に除去することがで
きる。

【０１３１】このように、本実施の形態にかかる画像処
理装置１では、入力部１０と表示部４０とによって、画
像中のある除去したいオブジェクトを含む領域を指定す
るとともに、その領域を補完するために使用する領域の
幅などの各種のデータを設定する。そして、記憶部２０
と制御部３０とによって、指定された領域のデータを、
その左右あるいは上下の指定された適当な範囲の画像に
基づいて、式（３）〜（５）あるいは式（６）〜（８）
の演算式に従って算出したデータに書き換えて補完す
る。

【０１３２】すなわち、削除したいオブジェクトを含む
領域の左右あるいは上下の指定された適当な幅の領域の
データから、それらの中間領域のデータを作成する。そ
して、その作成されたデータおよび左右あるいは上下の
領域のデータから、さらにその中間領域のデータを作成
する。このような微細な範囲におけるデータ補完を、補
完する領域内のすべての点のデータが作成されるまで繰
り返し行う。

【０１３３】これにより、除去したいオブジェクトを含
む領域のデータを削除し、その周囲の画像およびその周
囲の画像からすでにデータが補完された一部の領域の画
像により、データを補完することができる。よって、除
去したいオブジェクトのすぐ近くに画像を補完するのに
不適当な画像データが存在する場合でも、データを詳細
に補完することが可能となる。したがって、画像編集作
業の効率化を図ることができる。

【０１３４】また、本実施の形態にかかる画像処理装置
１では、入力部１０と表示部４０とによって、除去した
いオブジェクトを含む領域の補完に利用する左右あるい
は上下の領域の幅を指定する。

【０１３５】これにより、除去したいオブジェクトを含
む領域を変換する際、使用する左右または上下の領域の
データの幅を、その都度、画像の特性にあわせ、使用者
により指定することが可能となる。特に、領域幅テキス
トボックス４４や領域幅スライダ４５などのインタフェ
ースを用いることにより、領域幅の指定が容易となり、
画像編集作業の効率化を図ることができる。

【０１３６】〔実施の形態３〕本発明のさらに他の実施
の形態について図９および図１０と、図２１および図２
３に基づいて説明すれば、以下のとおりである。なお、
説明の便宜上、実施の形態１および２において示した構
成と同一の部材には、同一の符号を付記し、その説明を
省略する。

【０１３７】本実施の形態にかかる画像処理装置は、除
去したいオブジェクトを含む領域のデータを左右の領域
あるいは上下の領域の中の指定された一列の点を始点お
よび終点とするグラデーションにより補完する。

【０１３８】まず、図９を用いて、各領域の位置関係に
ついて説明する。

【０１３９】領域Ｃは、画像のうち除去したいオブジェ
クトを含む領域である。領域Ｌは除去したいオブジェク
トを含む領域Ｃの左の領域であり、領域Ｒは除去したい
オブジェクトを含む領域Ｃの右の領域である。また、領
域Ｕは除去したいオブジェクトを含む領域Ｃの上の領域
であり、領域Ｂは除去したいオブジェクトを含む領域Ｃ
の下の領域である。

【０１４０】また、領域Ｌには、空白領域を挟む二本の
補完データ列の一方である補完データ列Ｌｉｎｅ１がＸ
＝Ｘｌの位置に指定されている。同様に、領域Ｒには、
もう一方の補完データ列Ｌｉｎｅ２がＸ＝Ｘｒの位置に
指定されている。なお、領域Ｃは、Ｘ方向に幅Ｗ、Ｙ方
向に高さＨの長方形の領域である。

【０１４１】そして、領域Ｌの補完データ列Ｌｉｎｅ１
上の点ｌ（Ｘｌ，Ｙｌ）と、領域Ｒの補完データ列Ｌｉ
ｎｅ２上の点ｒ（Ｘｒ，Ｙｒ）とが、領域Ｃの点ｃ（Ｘ
ｃ，Ｙｃ）に対応している対応点である。

【０１４２】よって、空白領域の補充に空白領域を含む
領域の左右の領域の画像データを利用する場合、領域Ｃ
の点であって、点ｌ（Ｘｌ，Ｙｌ）と点ｒ（Ｘｒ，Ｙ
ｒ）を結ぶ直線上にある点は、点ｌと点ｒを両端とする
グラデーションによって補完される。

【０１４３】これに対して、空白領域の補充に空白領域
を含む領域の上下の領域の画像データを利用する場合
は、領域Ｃをはさむように領域Ｕおよび領域Ｂにそれぞ
れ補完データ列をそれぞれ一列ずつ指定する。そして、
これらの補完データ列の点を両端とするグラデーション
を作成して、領域Ｃを補完することになる。

【０１４４】補完する領域ＣのピクセルのＲＧＢ値は、
以下のようにして算出することができる。

【０１４５】点（Ｘ，Ｙ）の位置のＲＧＢ値を表す値を
ＲＧＢ（Ｘ，Ｙ）とする。また、座標は領域Ｃの左下の
点を（０，０）とする相対座標とする。このとき、図９
において、領域Ｃの相対座標が（Ｘ，Ｙ）の点のＲＧＢ
値は、以下の式による演算によって求めることができ
る。左右の領域のデータを利用する場合 RGB(X,Y)=(RGB(Xr,Yr)-RGB(Xl,Yl))/W*X+RGB(Xl,Yl) （９）ただし、Ｗは領域Ｃの幅を示す。上下の領域のデータを利用する場合 RGB(X,Y)=(RGB(Xu,Yu)-RGB(Xb,Yb))/H*Y+RGB(Xb,Yb) （10）ただし、Ｈは領域Ｃの高さを示す。

【０１４６】また、図２３に示すように、この処理を行
う際には、編集に利用する領域と、グラデーションの始
点および終点となる列とを指定するインタフェースが表
示部４０に表示される。具体的には、画像表示部４１、
方向選択部４２、基準データ列設定部４６が少なくとも
表示される。

【０１４７】上記基準データ列設定部４６は、データを
補完するための補完データ列を設定する。そのため、上
記基準データ列設定部４６には、補完に利用する領域ご
とに、一列のデータによる補完を行うことを設定するチ
ェックボックス（４７ａ〜５０ａ）と、グラデーション
の始点および終点となる列を指定するデータ列スライダ
（４７ｂ〜５０ｂ）が設けられている。

【０１４８】すなわち、領域Ｃを左右の領域の一列のデ
ータを利用して補完する場合、左右チェックボックス４
２ａとともに、左データ列チェックボックス４７ａおよ
び右データ列チェックボックス４８ａをチェックし、ス
ライダ４７ｂおよびスライダ４８ｂをスライドさせるこ
とにより、領域Ｌと領域Ｒにおけるグラデーションの基
準となるデータ列の位置をそれぞれ指定する。同様に、
領域Ｃを上下の領域の一列のデータを利用して補完する
場合、上下チェックボックス４２ｂとともに、上データ
列チェックボックス４９ａおよび下データ列チェックボ
ックス５０ａをチェックし、スライダ４９ｂおよびスラ
イダ５０ｂをスライドさせることにより、領域Ｕと領域
Ｂにおけるグラデーションの基準となるデータ列の位置
をそれぞれ指定する。なお、設定の結果は、即時、画像
表示部４１に表示されるため、使用者は画像表示部４１
を見ながら設定を修正することができる。

【０１４９】つぎに、図１０のフローチャートを用い
て、上記の処理について詳細に説明する。

【０１５０】まず、ステップＳ３１で、除去したいオブ
ジェクトを含む領域Ｃを選択する。すなわち、入力部１
０のキーボードやマウスなどにより、画像表示部４１に
表示された画像において除去したいオブジェクトを、領
域指定枠４１ａによって選択する。このとき、中央の枠
内が、領域Ｃとして選択される。そして、領域Ｃの各点
のデータがワークメモリエリアである第三バッファ２３
に保持される。

【０１５１】つぎに、ステップＳ３２で、領域Ｃのデー
タの補完に使用する領域を、左右あるいは上下の領域よ
り選択する。すなわち、領域Ｃのデータを除去した場
合、その部分を補完するために使用するデータのある領
域として、領域Ｃの左右の領域（領域Ｌと領域Ｒ）ある
いは上下の領域（領域Ｕと領域Ｂ）のどちらか一方を選
択する。この選択は、画像処理装置１の使用者が、方向
選択部４２の左右チェックボックス４２ａあるいは上下
チェックボックス４２ｂのいずれかを、入力部１０によ
ってチェックすることにより行う。

【０１５２】ここで、左右の領域（領域Ｌ，Ｒ）を選択
した場合、記憶部２０の設定データ部２７の左右フラグ
２７ａがオンになる。これにより、データ補完として左
右の領域を利用することを制御部３０に示し、領域Ｌの
各点のデータを第一バッファ２１に、領域Ｒの各点のデ
ータを第二バッファ２２にそれぞれ保持する。そして、
ステップＳ３３ｈに移行する。

【０１５３】ステップＳ３３ｈでは、左右の各領域にお
いて、データ補完に利用する補完データ列を指定する。
すなわち、左データ列スライダ４７によって、領域Ｌに
おいて補完に利用する列の位置Ｘｌを入力する。同様
に、右データ列スライダ４８によって、領域Ｒにおいて
補完に利用する列の位置Ｘｒを入力する。ここで入力さ
れた値ＸｌおよびＸｒは、列位置データ部２７ｃに設定
される。

【０１５４】ステップＳ３４ｈでは、領域Ｃの各ピクセ
ルのＲＧＢ値を求める。すなわち、式（９）により、領
域Ｌと領域Ｒの中の指定された補完データ列上の点ｌ
（Ｘｌ，Ｙｌ）および点ｒ（Ｘｒ，Ｙｒ）を始点および
終点とするグラデーションを作成して、領域Ｃの点ｃ
（Ｘ，Ｙ）のＲＧＢ値を求める。そして、得られたＲＧ
Ｂ値を領域Ｃの新しいデータとして第四バッファ２４に
保存し、ステップＳ３５に移行する。

【０１５５】一方、上下の領域（領域Ｕ，Ｂ）を選択し
た場合、記憶部２０の設定データ部２７の上下フラグ２
７ｂがオンになる。これにより、データ補完として上下
の領域を利用することを制御部３０に示し、領域Ｕの各
点のデータを第一バッファ２１に、領域Ｂの各点のデー
タを第二バッファ２２にそれぞれ保持する。そして、ス
テップＳ３３ｖに移行する。

【０１５６】ステップＳ３３ｖでは、上下の各領域にお
いて、データ補完に利用する補完データ列を指定する。
すなわち、上データ列スライダ４９によって、領域Ｕに
おいて補完に利用する列の位置Ｘｕを入力する。同様
に、下データ列スライダ５０によって、領域Ｂにおいて
補完に利用する列の位置Ｘｂを入力する。ここで入力さ
れた値ＸｕおよびＸｂは、列位置データ部２７ｃに設定
される。

【０１５７】ステップＳ３４ｖでは、領域Ｃの各ピクセ
ルのＲＧＢ値を求める。すなわち、式（10）により、領
域Ｕと領域Ｂの中の指定された補完データ列上の点ｕ
（Ｘｕ，Ｙｕ）および点ｂ（Ｘｂ，Ｙｂ）を始点および
終点とするグラデーションを作成して、領域Ｃの点ｃ
（Ｘ，Ｙ）のＲＧＢ値を求める。そして、得られたＲＧ
Ｂ値を領域Ｃの新しいデータとして第四バッファ２４に
保存し、ステップＳ３５に移行する。

【０１５８】ステップＳ３５では、計算されて第四バッ
ファ２４に保存されている領域Ｃの各ピクセルのＲＧＢ
値により、領域Ｃのデータを書き換える。そして、表示
部４０に表示する。

【０１５９】このように、本実施の形態にかかる画像処
理装置１では、入力部１０と表示部４０とによって、画
像中のある除去したいオブジェクトを含む領域を指定す
るとともに、その領域を補完するために作成するグラデ
ーションの両端となる補完データ列の位置などの各種の
データを設定する。そして、記憶部２０と制御部３０と
によって、指定された領域のデータを、その左右あるい
は上下の領域の指定された一列の画像データに基づい
て、式（９）あるいは式（10）の演算式に従って算出し
たデータに書き換えて補完する。

【０１６０】すなわち、除去したいオブジェクトを含む
領域を、左右または上下の範囲の中の指定された補完デ
ータ列の各点のＲＧＢ値を始点と終点とするグラデーシ
ョンによってデータ補完する。

【０１６１】これにより、除去したいオブジェクトを含
む領域のデータの変換を、その領域の周囲の領域の一対
の補完データ列の点を両端とするグラデーションにより
行うことができる。よって、適当な両端の列を指定する
ことにより、なめらかな勾配で色が推移しているデータ
によりデータ補完を行うことができる。

【０１６２】また、本実施の形態にかかる画像処理装置
１では、入力部１０と表示部４０とによって、除去した
いオブジェクトを含む領域の補完に利用する一対の補完
データ列を左右あるいは上下の領域の中より指定する。

【０１６３】これにより、除去したいオブジェクトを含
む領域を変換する際、グラデーションの両端として利用
する一対の補完データ列を、その都度、画像の特性にあ
わせ、使用者により指定することが可能となる。特に、
チェックボックスやスライダなどからなる基準データ列
設定部４６のようなインタフェースを用いることによ
り、利用する一対の補完データ列の位置の指定が容易と
なり、画像編集作業の効率化を図ることができる。

【０１６４】〔実施の形態４〕本発明のさらに他の実施
の形態について図１１から図１４と、図２１および図２
３に基づいて説明すれば、以下のとおりである。なお、
説明の便宜上、実施の形態１から３において示した構成
と同一の部材には、同一の符号を付記し、その説明を省
略する。

【０１６５】本実施の形態にかかる画像処理装置は、除
去したいオブジェクトを含む領域の画像データを左右の
領域あるいは上下の領域の中の指定された一対の補完デ
ータ列の点を対応点として、それらを始点および終点と
するグラデーションにより補完する際、グラデーション
の遷移過程での、ある遷移割合の固定値点の位置を対応
点間で変位させ、固定値点の連なりである固定値列をあ
る一列上にくるように補完する。なお、以下では、グラ
デーションの遷移過程でのある遷移割合の位置を、グラ
デーションの固定値と記す。そして、グラデーションの
固定値を、始点および終点の平均値とする場合を例にし
て説明する。

【０１６６】まず、図１１を用いて、各領域の位置関係
について説明する。

【０１６７】領域Ｃは、画像のうち除去したいオブジェ
クトを含む領域である。領域Ｌは除去したいオブジェク
トを含む領域Ｃの左の領域であり、領域Ｒは除去したい
オブジェクトを含む領域Ｃの右の領域である。また、領
域Ｕは除去したいオブジェクトを含む領域Ｃの上の領域
であり、領域Ｂは除去したいオブジェクトを含む領域Ｃ
の下の領域である。

【０１６８】また、領域Ｌには、空白領域をはさむ二本
の補完データ列の一方である補完データ列Ｌｉｎｅ１が
Ｘ＝Ｘｌの位置に指定されている。同様に、領域Ｒに
は、もう一方の補完データ列Ｌｉｎｅ２がＸ＝Ｘｒの位
置に指定されている。さらに、領域Ｃは、Ｘ＝Ｗｃ１の
位置の固定値列Ｌｉｎｅ３によって、領域Ｃ１と領域Ｃ
２（Ｗｃ１≦Ｘ≦Ｗｃ１＋Ｗｃ２）に二分割されてい
る。なお、領域Ｃは、Ｘ方向に幅Ｗ、Ｙ方向に高さＨの
長方形の領域である。

【０１６９】そして、領域Ｌの補完データ列Ｌｉｎｅ１
上の点ｌ（Ｘｌ，Ｙｌ）と、領域Ｒの補完データ列Ｌｉ
ｎｅ２上の点ｒ（Ｘｒ，Ｙｒ）とが、領域Ｃの点ｃ（Ｘ
ｃ，Ｙｃ）に対応している対応点である。

【０１７０】よって、空白領域の補充に空白領域を含む
領域の左右の領域の画像データを利用する場合、領域Ｃ
の点であって、点ｌ（Ｘｌ，Ｙｌ）と点ｒ（Ｘｒ，Ｙ
ｒ）を結ぶ直線上にある点は、点ｌと点ｒの画像データ
を利用してたグラデーションによって補完される。

【０１７１】ここで、固定値列Ｌｉｎｅ３上には、グラ
デーションの遷移過程での、ある遷移割合の固定値点が
位置する。よって、領域Ｃ１の点であって、点ｃ（Ｘ
ｃ，Ｙｃ）と点ｌ（Ｘｌ，Ｙｌ）を結ぶ直線上にある点
は、点ｌと点ｃの画像データを利用してたグラデーショ
ンによって補完される。また、領域Ｃ２の点であって、
点ｃ（Ｘｃ，Ｙｃ）と点ｒ（Ｘｒ，Ｙｒ）を結ぶ直線上
にある点は、点ｒと点ｃの画像データを利用してたグラ
デーションによって補完される。したがって、領域Ｃ１
と領域Ｃ２のグラデーションの色相の傾きが異なる。す
なわち、領域Ｃの領域Ｌよりにある固定値列Ｌｉｎｅ３
に、補完データ列Ｌｉｎｅ１と補完データ列Ｌｉｎｅ２
との平均値を配置する場合には、領域Ｃ１の色相の傾き
が領域Ｃ２より急なものとなる。

【０１７２】これに対して、空白領域の補充に空白領域
を含む領域の上下の領域の画像データを利用する場合
は、領域Ｃをはさむように領域Ｕおよび領域Ｂにそれぞ
れ補完データ列をそれぞれ一列ずつ指定する。そして、
固定値列を設定して領域Ｃを分割し、補完データ列の点
と固定値列の点を両端とするグラデーションによって補
完する。

【０１７３】除去するオブジェクトを含む領域Ｃを、そ
の左右の領域から選択された一対の補完データ列のデー
タよりグラデーションを作成して補完する際、補完され
る領域Ｃにおいて、グラデーションの平均値（固定値）
をとる固定値列を指定する場合、領域Ｃの各点のＲＧＢ
値は、次の演算式により算出することができる。なお、
領域Ｃの相対座標が（Ｘ，Ｙ）のＲＧＢ値を表す値をＲ
ＧＢ（Ｘ，Ｙ）とする。また、座標は領域Ｃの左下の点
を（０，０）とする相対座標とする。左右の領域のデータを利用する場合（ａ）領域Ｃ１（０≦Ｘ≦Ｗｃ１） RGB(X,Y)=((RGB(Xr,Yr)+RGB(Xl,Yl))/2-RGB(Xl,Yl))/Wc1*X +RGB(Xl,Yl) （11）（ｂ）領域Ｃ２（Ｗｃ１≦Ｘ≦Ｗｃ１＋Ｗｃ２） RGB(X,Y)=(RGB(Xr,Yr)-(RGB(Xr,Yr)+RGB(Xl,Yl))/2)/Wc2*X +RGB(Xr,Yr)-(RGB(Xr,Yr)-RGB(Xl,Yl))/2/Wc2*(Wc1+Wc2) （12）ただし、Ｗｃ１は領域Ｃ１の幅を、Ｗｃ２は領域Ｃ２の
幅を示す。上下の領域のデータを利用する場合（ａ）領域Ｃ１（０≦Ｙ≦Ｈｃ１） RGB(X,Y)=((RGB(Xu,Yu)+RGB(Xb,Yb))/2-RGB(Xb,Yb))/Hc1*Y +RGB(Xb,Yb) （13) （ｂ）領域Ｃ２（Ｈｃ１≦Ｙ≦Ｈｃ１＋Ｈｃ２） RGB(X,Y)=(RGB(Xu,Yu)-(RGB(Xu,Yu)+RGB(Xb,Yb))/2)/Hc2*Y +RGB(Xu,Yu)-(RGB(Xu,Yu)-RGB(Xb,Yb))/2/Hc2*(Hc1+Hc2) （14）

【０１７４】なお、補完する領域Ｃを上下に、その平均
値を置く一列を境に分割する場合も、同様の演算式によ
り演算することができる。

【０１７５】また、図２３に示すように、この処理を行
う際には、編集に利用する領域と、グラデーションの始
点および終点となる列とを指定するインタフェースが表
示部４０に表示される。具体的には、画像表示部４１、
方向選択部４２、基準データ列設定部４６、固定位置指
定部５１が少なくとも表示される。

【０１７６】上記固定位置指定部５１は、スライダ５１
ａをスライドさせることにより、グラデーションの固定
値列の位置（固定値位置）を指定する。なお、設定の結
果は、即時、画像表示部４１に表示されるため、使用者
は画像表示部４１を見ながら設定を修正することができ
る。

【０１７７】つぎに、図１２のフローチャートを用い
て、上記の処理について詳細に説明する。

【０１７８】まず、ステップＳ４１で、除去したいオブ
ジェクトを含む領域Ｃを選択する。すなわち、入力部１
０のキーボードやマウスなどにより、画像表示部４１に
表示された画像において除去したいオブジェクトを、領
域指定枠４１ａによって選択する。このとき、中央の枠
内が、領域Ｃとして選択される。そして、領域Ｃの各点
のデータがワークメモリエリアである第三バッファ２３
に保持される。

【０１７９】つぎに、ステップＳ４２で、領域Ｃのデー
タの補完に使用する領域を、左右あるいは上下の領域よ
り選択する。すなわち、領域Ｃのデータを除去した場
合、その部分を補完するために使用するデータのある領
域として、領域Ｃの左右の領域（領域Ｌと領域Ｒ）ある
いは上下の領域（領域Ｕと領域Ｂ）のどちらか一方を選
択する。この選択は、画像処理装置１の使用者が、方向
選択部４２の左右チェックボックス４２ａあるいは上下
チェックボックス４２ｂのいずれかを、入力部１０によ
ってチェックすることにより行う。

【０１８０】ここで、左右の領域（領域Ｌ，Ｒ）を選択
した場合、記憶部２０の設定データ部２７の左右フラグ
２７ａがオンになる。これにより、データ補完として左
右の領域を利用することを制御部３０に示し、領域Ｌの
各点のデータを第一バッファ２１に、領域Ｒの各点のデ
ータを第二バッファ２２にそれぞれ保持する。そして、
ステップＳ４３ｈに移行する。

【０１８１】ステップＳ４３ｈで、左右の各領域におい
て、データ補完に利用する一列を指定する。すなわち、
左データ列スライダ４７によって、領域Ｌにおいて補完
に利用する列（Ｌｉｎｅ１）の位置Ｘｌを入力する。同
様に、右データ列スライダ４８によって、領域Ｒにおい
て補完に利用する列（Ｌｉｎｅ２）の位置Ｘｒを入力す
る。ここで入力された値ＸｌおよびＸｒは、列位置デー
タ部２７ｃに格納される。

【０１８２】つぎに、ステップＳ４４ｈで、補完する領
域Ｃにおいて、グラデーションの固定値をおく一列を指
定する。すなわち、固定位置指定部５１によって、入力
部１０を用いて、グラデーションの固定値を表示する位
置を入力する。ここで入力された値Ｗｃ１は、記憶部２
０の固定値位置データ部２７ｆに格納される。そして、
固定値位置データ部２７ｆに格納された値により、グラ
デーションの固定値となる列（Ｌｉｎｅ３）を指定し、
その列により、領域Ｃをその左側の領域Ｃ１とその右側
の領域Ｃ２とに分ける（図１１）。

【０１８３】ステップＳ４５ｈでは、領域Ｃの各ピクセ
ルのＲＧＢ値を求める。すなわち、領域Ｃ１，Ｃ２の各
点のＲＧＢ値を、それぞれ式（11）と式（12）とにより
求める。具体的には、領域Ｃ１の各点のＲＧＢ値は、式
（11）により、列Ｌｉｎｅ１上の点ｌ（Ｘｌ，Ｙｌ）お
よび列Ｌｉｎｅ３上の点ｃ（Ｘｃ，Ｙｃ）を始点および
終点とするグラデーションを作成することによって求め
る。また、領域Ｃ２の各点のＲＧＢ値は、式（12）によ
り、列Ｌｉｎｅ２上の点ｒ（Ｘｒ，Ｙｒ）および列Ｌｉ
ｎｅ３上の点ｃ（Ｘｃ，Ｙｃ）を始点および終点とする
グラデーションを作成することによって求める。なお、
列Ｌｉｎｅ３上の点ｃ（Ｘｃ，Ｙｃ）のＲＧＢ値は、列
Ｌｉｎｅ１上の点ｌ（Ｘｌ，Ｙｌ）および列Ｌｉｎｅ２
上の点ｒ（Ｘｒ，Ｙｒ）のＲＧＢ値に基づいて求められ
るグラデーションの固定値である。また、領域Ｃ１，Ｃ
２の対応点は、中間領域対応点演算部３１ａによって指
定される。そして、得られたＲＧＢ値を領域Ｃの新しい
データとして第四バッファ２４に保存し、ステップＳ４
６に移行する。

【０１８４】一方、ステップＳ４２において、上下の領
域（領域Ｕ，Ｂ）を選択した場合、記憶部２０の設定デ
ータ部２７の上下フラグ２７ｂがオンになる。これによ
り、データ補完として上下の領域を利用することを制御
部３０に示し、領域Ｕの各点のデータを第一バッファ２
１に、領域Ｂの各点のデータを第二バッファ２２にそれ
ぞれ保持する。そして、ステップＳ４３ｖに移行する。

【０１８５】ステップＳ４３ｖで、上下の各領域におい
て、データ補完に利用する一列を指定する。すなわち、
上データ列スライダ４９によって、領域Ｕにおいて補完
に利用する列（Ｌｉｎｅ１）の位置Ｘｕを入力する。同
様に、下データ列スライダ５０によって、領域Ｂにおい
て補完に利用する列（Ｌｉｎｅ２）の位置Ｘｂを入力す
る。ここで入力された値ＸｕおよびＸｂは、列位置デー
タ部２７ｃに格納される。

【０１８６】つぎに、ステップＳ４４ｖで、補完する領
域Ｃにおいて、グラデーションの固定値をおく一列を指
定する。すなわち、固定位置指定部５１によって、入力
部１０を用いて、グラデーションの固定値を表示する位
置を入力する。ここで入力された値Ｗｃ１は、記憶部２
０の固定値位置データ部２７ｆに格納される。そして、
固定値位置データ部２７ｆに格納された値により、グラ
デーションの固定値となる列（Ｌｉｎｅ３）を指定し、
その列により、領域Ｃをその上側の領域Ｃ１とその下側
の領域Ｃ２とに分ける（図１１）。

【０１８７】ステップＳ４５ｖでは、領域Ｃの各ピクセ
ルのＲＧＢ値を求める。すなわち、領域Ｃ１，Ｃ２の各
点のＲＧＢ値を、それぞれ式（13）と式（14）とにより
求める。具体的には、領域Ｃ１の各点のＲＧＢ値は、式
（13）により、列Ｌｉｎｅ１上の点ｕ（Ｘｕ，Ｙｕ）お
よび列Ｌｉｎｅ３上の点ｃ（Ｘｃ，Ｙｃ）を始点および
終点とするグラデーションを作成することによって求め
る。また、領域Ｃ２の各点のＲＧＢ値は、式（14）によ
り、列Ｌｉｎｅ２上の点ｒ（Ｘｂ，Ｙｂ）および列Ｌｉ
ｎｅ３上の点ｃ（Ｘｃ，Ｙｃ）を始点および終点とする
グラデーションを作成することによって求める。なお、
列Ｌｉｎｅ３上の点ｃ（Ｘｃ，Ｙｃ）のＲＧＢ値は、列
Ｌｉｎｅ１上の点ｕ（Ｘｕ，Ｙｕ）および列Ｌｉｎｅ２
上の点ｂ（Ｘｂ，Ｙｂ）のＲＧＢ値に基づいて求められ
るグラデーションの固定値である。また、領域Ｃ１，Ｃ
２の対応点は、中間領域対応点演算部３１ａによって指
定される。そして、得られたＲＧＢ値を領域Ｃの新しい
データとして第四バッファ２４に保存し、ステップＳ４
６に移行する。

【０１８８】ステップＳ４６では、計算されて第四バッ
ファ２４に保存されている領域Ｃの各ピクセルのＲＧＢ
値により、領域Ｃのデータを書き換える。そして、表示
部４０に表示する。

【０１８９】図１３は、ある部分で色相の傾きが変化す
るグラデーションの模様を背景とし、１つの葉、およ
び、その上下にアルファベットの文字列がある画像であ
る。そして、図１４は、図１３の画像から、上記の方法
により、１つの葉のある領域Ｃを削除し、データ補完し
た画像である。すなわち、図１３において、領域Ｃをそ
の左右の領域（領域Ｌ，Ｒ）の対応する一対の列（Ｌｉ
ｎｅ１，Ｌｉｎｅ２）の画像データの平均値をとる位置
を固定値位置Ｌｉｎｅ３として、領域Ｃの列Ｌｉｎｅ３
の左側の領域Ｃ１を、領域Ｌの列Ｌｉｎｅ１と列Ｌｉｎ
ｅ３を両端とするグラデーションを作成して補完し、領
域Ｃの列Ｌｉｎｅ３の右側の領域Ｃ２を、領域Ｒの列Ｌ
ｉｎｅ２と列Ｌｉｎｅ３を両端とするグラデーションを
作成して補完した結果である。

【０１９０】本実施の形態のように、グラデーションの
固定値をとる固定値列の位置を指定してグラデーション
を作成し、データ補完をすることにより、領域Ｃを分割
して補完することにより、背景の色相が一様な傾きで推
移していない画像であっても、図１４のように領域Ｃか
ら１つの葉のような不要なオブジェクトを高精度に除去
することができる。

【０１９１】このように、本実施の形態にかかる画像処
理装置１では、入力部１０と表示部４０とによって、画
像中のある除去したいオブジェクトを含む領域を指定す
るとともに、その領域を補完するために作成するグラデ
ーションの両端となる一対の補完データ列の位置、およ
び補完する領域でこれらの列の平均値などのグラデーシ
ョンの固定値をとる固定値列の位置などの各種のデータ
を設定する。そして、記憶部２０と制御部３０とによっ
て、指定された領域のデータを、その左右あるいは上下
の領域の指定された一対の補完データ列と、固定値列の
画像データに基づいて、式（11）および（12）あるいは
式（13）および（14）の演算式に従って算出したデータ
に書き換えて補完する。

【０１９２】すなわち、除去したいオブジェクトを含む
領域を、グラデーションの固定値をとる固定値列により
２分割し、この固定値列の各点のＲＧＢ値と、左右また
は上下の範囲の中の指定された一対の画像データ列の各
点のＲＧＢ値とを始点と終点とする二つのグラデーショ
ンによってデータ補完する。

【０１９３】これにより、除去したいオブジェクトを含
む領域のデータの変換を、その領域の周囲の領域の一対
の固定値列の点を両端とするグラデーションにより行う
ことができる。しかも、グラデーションの固定値をとる
固定値列を指定することにより、色相が一様な傾きで推
移していないグラデーションを容易に作成し、違和感が
なく精度の高いデータの補完を行うことができる。

【０１９４】さらに、画像中のある除去したいオブジェ
クトを含む領域中に複数本の固定値列を指定することも
できる。すなわち、除去したいオブジェクトを含む領域
を３領域以上に分割し、各領域をそれぞれ色相の傾きの
グラデーションによって補完することができる。これに
より、さらに違和感がなく精度の高いデータ補完を行う
ことができる。

【０１９５】また、本実施の形態にかかる画像処理装置
１では、入力部１０と表示部４０とによって、除去した
いオブジェクトを含む領域の補完に利用する一対の列を
左右あるいは上下の領域の中より指定する。加えて、補
完する領域で、これらの列の平均値などのグラデーショ
ンの固定値をとる列の位置を指定する。

【０１９６】これにより、除去したいオブジェクトを含
む領域を変換する際、グラデーションの両端として利用
する一対の列、および補完する領域でグラデーションの
固定値をとる列を、その都度、画像の特性にあわせ、使
用者により指定することが可能となる。

【０１９７】特に、チェックボックスやスライダなどか
らなる基準データ列設定部４６および固定位置指定部５
１のようなユーザインタフェースを用いることにより、
列の位置の指定が容易となり、画像編集作業の効率化を
図ることができる。

【０１９８】〔実施の形態５〕本発明のさらに他の実施
の形態について図１５から図２０と、図２１および図２
４に基づいて説明すれば、以下のとおりである。なお、
説明の便宜上、実施の形態１から４において示した構成
と同一の部材には、同一の符号を付記し、その説明を省
略する。

【０１９９】本実施の形態にかかる画像処理装置は、除
去したいオブジェクトを含む領域の画像データを、その
領域の左右の領域あるいは上下の領域の画像データによ
り補完する際、遠近法で用いる透視法の消失点を利用し
てそれぞれの領域の対応する点を指定することにより補
完する。

【０２００】まず、図１５を用いて、各領域の位置関係
について説明する。

【０２０１】領域Ｃは、画像のうち除去したいオブジェ
クトを含む領域である。領域Ｌは除去したいオブジェク
トを含む領域Ｃの左の領域であり、領域Ｒは除去したい
オブジェクトを含む領域Ｃの右の領域である。また、領
域Ｕは除去したいオブジェクトを含む領域Ｃの上の領域
であり、領域Ｂは除去したいオブジェクトを含む領域Ｃ
の下の領域である。

【０２０２】また、画像の消失点を求めるための二本の
補助線Ｌｐ，Ｌｑが領域Ｌ，Ｃ，Ｒを通過している。補
助線Ｌｐは、領域Ｌの点ｐ１（Ｘｐ１，Ｙｐ１）と領域
Ｒの点ｐ２（Ｘｐ２，Ｙｐ２）とを通過する直線として
決定されている。同様に、補助線Ｌｑは、領域Ｌの点ｑ
１（Ｘｑ１，Ｙｑ１）と領域Ｒの点ｑ２（Ｘｑ２，Ｙｑ
２）とを通過する直線として決定されている。そして、
補助線Ｌｐ，Ｌｑは、領域Ｒのさらに右側で交点を形成
しており、この交点が画像の消失点Ｓ（Ｘｓ，Ｙｓ）で
ある。

【０２０３】さらに、消失点より発散する直線Ｌｉｎｅ
Ｓが領域Ｌ，Ｃ，Ｒを通過している。そして、直線Ｌｉ
ｎｅＳ上には、領域Ｌに点ｌ（Ｘｌ，Ｙｌ）、領域Ｃに
点ｃ（Ｘｃ，Ｙｃ）、領域Ｒに点ｒ（Ｘｒ，Ｙｒ）が載
っている。ここで、点ｌと点ｒが点ｃの対応点である。

【０２０４】よって、空白領域の補充に空白領域を含む
領域の左右の領域の画像データを利用する場合、左右の
領域の点であって、直線ＬｉｎｅＳ上にある対応点の画
像データに基づいて補完する。

【０２０５】また、空白領域の補充に空白領域を含む領
域の上下の領域の画像データを利用する場合も、同様に
画像の消失点を求めて、処理することができる。

【０２０６】なお、空白領域の補充に用いる領域とし
て、左右の領域と上下の領域のどちらを利用するのか
は、画像の消失点の位置によって決めることができる。

【０２０７】除去するオブジェクトを含む領域Ｃを、そ
の左右または上下の領域のデータに基づいて、遠近法で
用いる透視法の消失点を利用してそれぞれの領域の対応
する点を指定する場合、領域Ｃの各点のＲＧＢ値は、次
の演算式により算出することができる。なお、領域Ｃの
相対座標が（Ｘ，Ｙ）のＲＧＢ値を表す値をＲＧＢ
（Ｘ，Ｙ）とする。また、なお、座標は領域Ｃの左下の
点を（０，０）とする相対座標とする。

【０２０８】消失点Ｓ（Ｘｓ，Ｙｓ）は、点ｐ１（Ｘｐ
１，Ｙｐ１）と点ｐ２（Ｘｐ２，Ｙｐ２）を通る直線
と、点ｑ１（Ｘｑ１，Ｙｑ１）と点ｑ２（Ｘｑ２，Ｙｑ
２）を通る直線の交点であることから、次の式により求
めることができる。 Xs=((Xp2*Yp1-Xp1*Yp2)*(Xq1-Xq2)-(Xq2*Yq1-Xq1*Yq2)*(Xp1-Xp2)) /((Yp1-Yp2)*(Xq1-Xq2)-(Yq1-Yq2)*(Xp1-Xp2)) （15） Ys=((Xp1*Yp2-Xp2*Yp1)*(Yq1-Yq2)-(Xq1*Yq2-Xq2*Yq1)*(Yp1-Yp2)) /((Xp1-Xp2)*(Yq1-Yq2)-(Xq1-Xq2)*(Yp1-Yp2)) （16）上記の演算式により求められた消失点Ｓ（Ｘｓ，Ｙｓ）
と、領域Ｌの点ｌ（Ｘｌ，Ｙｌ）を通る直線の式はつぎ
のようになる。 Y=(Ys-Yl)/(Xs-Xl)*(X-Xs)+Ys （17）

【０２０９】また、図２４に示すように、消失点を利用
してデータ補完を行う際には、編集に利用する領域と、
消失点を求めるための直線ととを指定するインタフェー
スが表示部４０に表示される。具体的には、画像表示部
４１、方向選択部４２、消失点設定部５２が少なくとも
表示される。

【０２１０】上記消失点設定部５２は、消失点チェック
ボックス５２と、第１点指定ボタン５２ｂ、第２点指定
ボタン５２ｃ、第３点指定ボタン５２ｄ、第４点指定ボ
タン５２ｅを備えて構成されている。

【０２１１】上記消失点チェックボックス５２ａは、空
白領域の補完を画像の消失点を利用して行う場合にチェ
ックするボタンである。

【０２１２】上記の第１点指定ボタン５２ｂ、第２点指
定ボタン５２ｃ、第３点指定ボタン５２ｄ、第４点指定
ボタン５２ｅは、画像の消失点を求めるための二本の補
助線Ｌｐ，Ｌｑを決めるためのボタンである。第１点指
定ボタン５２ｂおよび第２点指定ボタン５２ｃを押すこ
とによって、一方の補助線Ｌｐ上の点の座標を一点ずつ
画像表示部４１上で指定することができる。同様に、第
３点指定ボタン５２ｄおよび第４点指定ボタン５２ｅを
押すことによって、一方の補助線Ｌｑ上の点の座標を一
点ずつ画像表示部４１上で指定することができる。

【０２１３】なお、設定の結果は、即時、画像表示部４
１に表示されるため、使用者は画像表示部４１を見なが
ら設定を修正することができる。

【０２１４】つぎに、図１６のフローチャートを用い
て、上記の消失点を用い各領域の対応する点を求める処
理について詳細に説明する。

【０２１５】まず、ステップＳ５１で、左右あるいは上
下の領域の対応する各２点を指定する。すなわち、除去
したいオブジェクトを含む領域Ｃの左右あるいは上下の
領域を通過する２直線を、各領域につき１点ずつ指定す
ることにより選択する。

【０２１６】具体的には、第一に、除去したいオブジェ
クトを含む領域Ｃを選択する。すなわち、入力部１０の
キーボードやマウスなどにより、画像表示部４１に表示
された画像において除去したいオブジェクトを、領域指
定枠４１ａによって選択する。このとき、中央の枠内
が、領域Ｃとして選択される。そして、領域Ｃの各点の
データがワークメモリエリアである第三バッファ２３に
保持される。

【０２１７】第二に、領域Ｃのデータの補完に使用する
領域を、左右あるいは上下の領域より選択する。すなわ
ち、領域Ｃのデータを除去した場合、その部分を補完す
るために使用するデータのある領域として、領域Ｃの左
右の領域（領域Ｌと領域Ｒ）あるいは上下の領域（領域
Ｕと領域Ｂ）のどちらか一方を選択する。この選択は、
方向選択部４２の左右チェックボックス４２ａあるいは
上下チェックボックス４２ｂのいずれかを、入力部１０
によってチェックすることにより行う。

【０２１８】ここで、左右の領域（領域Ｌ，Ｒ）を選択
した場合、記憶部２０の設定データ部２７の左右フラグ
２７ａがオンになる。これにより、データ補完として左
右の領域を利用することを制御部３０に示し、領域Ｌの
各点のデータを第一バッファ２１に、領域Ｒの各点のデ
ータを第二バッファ２２にそれぞれ保持する。一方、上
下の領域（領域Ｕ，Ｂ）を選択した場合、記憶部２０の
設定データ部２７の上下フラグ２７ｂがオンになる。こ
れにより、データ補完として上下の領域を利用すること
を制御部３０に示し、領域Ｕの各点のデータを第一バッ
ファ２１に、領域Ｂの各点のデータを第二バッファ２２
にそれぞれ保持する。

【０２１９】第三に、データ補完として、領域Ｃの左右
あるいは上下の領域の消失点より対応する点を決めるこ
とを指定する。すなわち、入力部１０によって、消失点
チェックボックス５２ａをチェックする。これにより、
記憶部２０の設定データ部２７の消失点フラグ２７ｄが
オンになり、データ補完として消失点を利用することが
制御部３０に伝わる。

【０２２０】第四に、消失点を計算するために利用する
左右の領域あるいは上下の領域のそれぞれ対応する２点
を指定する。そして、選択された領域の対応する２組の
点は、記憶部２０の設定データ部２７に、その座標が格
納される。

【０２２１】ここで、上記の各点の指定は、画像処理装
置１の使用者が、消失点設定部５２の各点に対応するボ
タン（５２ｂ〜５２ｅ）を押すことにより行う。これら
のボタンを押すと、画像表示部４１に表示されたそれぞ
れの領域で、消失点を計算するための点を指定できる。

【０２２２】例えば、方向選択部４２で左右の領域が選
択されている場合には、第１点指定ボタン５２ｂ、第２
点指定ボタン５２ｃ、第３点指定ボタン５２ｄ、第４点
指定ボタン５２ｅを押すことにより、それぞれ領域Ｌ中
で第１点（ｐ１）、領域Ｌ中で第２点（ｑ１）、領域Ｒ
中で第３点（ｐ２）、領域Ｒ中で第４点（ｑ２）が指定
できる。そして、選択された４点の座標が、それぞれ左
右第１点データ部２７ｈ，左右第２点データ部２７ｉ，
左右第３点データ部２７ｊ，左右第４点データ部２７ｋ
に格納される。同様に、方向選択部４２で上下の領域が
選択されている場合には、第１点指定ボタン５２ｂ、第
２点指定ボタン５２ｃ、第３点指定ボタン５２ｄ、第４
点指定ボタン５２ｅを押すことにより、それぞれ領域Ｕ
中で第１点、領域Ｕ中で第２点、領域Ｂ中で第３点、領
域Ｂ中で第４点が指定できる。そして、選択された４点
の座標が、それぞれ上下第１点データ部２７ｌ，上下第
２点データ部２７ｍ，上下第３点データ部２７ｎ，上下
第４点データ部２７ｏに格納される。

【０２２３】つぎに、ステップＳ５２において、消失点
を求める。すなわち、記憶部２０の左右領域についての
各データ部２７ｈ〜２７ｋあるいは上下領域についての
各データ部２７ｌ〜２７ｏに格納されたそれぞれの点の
座標を用いて、制御部３０の消失点演算部３３により、
式（15）および式（16）に従って、消失点Ｓ（Ｘｓ，Ｙ
ｓ）の座標を算出する。そして、その計算結果を、記憶
部２０の消失点データ部２５に格納する。

【０２２４】ステップＳ５３で、消失点を求めるために
使用した領域を判定する。すなわち、記憶部２０の左右
フラグ２７ａと上下フラグ２７ｂのどちらのフラグがオ
ンになっているかを調べる。このとき、左右フラグ２７
ａがオン状態ならばステップＳ５４ｈへ、上下フラグ２
７ｂがオン状態ならばステップＳ５４ｖへそれぞれ移行
する。

【０２２５】ステップＳ５４ｈでは、左の領域と右の領
域のそれぞれ対応する点を求める。すなわち、制御部３
０の対応点演算部３１により、消失点を通る直線上にあ
り、Ｘ座標の相対座標が補完する点と同じである左の領
域および右の領域で対応する点を求める。

【０２２６】例えば、図１５のように、消失点Ｓ（Ｘ
ｓ，Ｙｓ）が領域Ｒのさらに右側にある場合、領域Ｌの
各点と消失点Ｓを結んでできる直線ＬｉｎｅＳ上にあ
り、領域Ｌの点ｌ（Ｘｌ，Ｙｌ）とＸ座標の相対座標が
同じ領域Ｒの点ｒのＹ座標を求める。なお、点ｒのＹ座
標Ｙｒは、式（17）に点ｌ（Ｘｌ，Ｙｌ）の座標を代入
することにより求めることができる。

【０２２７】ステップＳ５５ｈで、すべての点について
対応する点を求めたかを判定する。図１５の例では、領
域Ｌの各点について、ステップＳ５４ｈの処理がすべて
完了しているかどうか判断する。ここで、終了していれ
ば（ＹＥＳ）、ステップＳ５７へ移行する。一方、終了
していなければ（ＮＯ）、ステップＳ５６ｈに移行す
る。

【０２２８】ステップＳ５６ｈでは、すべての点につい
て対応する点を求めるまで、ステップＳ５４ｈの処理を
繰り返す。

【０２２９】一方、ステップＳ５３において、上下フラ
グ２７ｂがオンになっている場合も、左右の場合と同様
に処理する。

【０２３０】ステップＳ５４ｖでは、上の領域と下の領
域のそれぞれ対応する点を求める。すなわち、制御部３
０の対応点演算部３１により、消失点を通る直線上にあ
り、Ｙ座標の相対座標が補完する点と同一である上の領
域および下の領域で対応する点を求める。

【０２３１】ステップＳ５５ｈで、すべての点について
対応する点を求めたかを判定する。ここで、終了してい
れば（ＹＥＳ）、ステップＳ５７へ移行する。一方、終
了していなければ（ＮＯ）、ステップＳ５６ｖに移行す
る。

【０２３２】ステップＳ５６ｖでは、すべての点につい
て対応する点を求めるまで、ステップＳ５４ｖの処理を
繰り返す。

【０２３３】ステップＳ５７では、ステップＳ５４ｈあ
るいはステップＳ５４ｖにおいて計算された対応する点
の組合せを、記憶部２０の対応点テーブル２６に格納す
る。

【０２３４】以降の処理は、上述した実施の形態１の方
法に従い、対応点テーブル２６に格納した対応する両端
の点を用いて、左右あるいは上下の領域の対応する点の
ＲＧＢ値の平均値を求めるなどして、領域Ｃのデータを
補完する。

【０２３５】図１７は、除去したいオブジェクトＴが存
在する画像の例である。この画像は遠近法により表現さ
れている。

【０２３６】図１８は、図１７の画像の消失点の求め方
を示している。左右の領域Ｌ，Ｒのそれぞれ対応する２
組の利用点、すなわち点ｐ１と点ｐ２および点ｑ１と点
ｑ２が指定されている。これらの利用点に基づき、上記
した方法により、消失点Ｓが求められる。

【０２３７】図１９は、左右の領域Ｌ，Ｒの対応する点
の求め方を示している。消失点Ｓを通る直線ＬｉｎｅＳ
の上にあり、左右方向の相対座標が等しい点が対応点
（点ｌと点ｒ）となる。このようにして、領域内のすべ
ての点について、対応関係が求められる。

【０２３８】図２０は、図１９で求められた対応点のＲ
ＧＢ値の平均値をとり、その値により除去したいオブジ
エクトがあった領域を書き換えた例である。消失点Ｓを
通る直線ＬｉｎｅＳの上にあり、点ｌおよび点ｒと左右
方向の相対座標が等しい領域Ｃの点ｃは、点ｌおよび点
ｒのＲＧＢ値の平均値によって補完される。

【０２３９】以上のように、遠近法の透視法を用いて対
応点を求めることにより、遠近法を用いて表現されてい
る画像から、オブジェクトを除去して、その領域を周り
の領域のデータより補完することができる。よって、除
去したいオブジェクトを含む領域の左右もしくは上下の
領域の対応する点を、それぞれの領域の相対座標が同じ
点とする方法では、オブジェクトが除去できない画像か
らも、不要なオブジェクトを除去することができる。

【０２４０】このように、本実施の形態にかかる画像処
理装置１では、入力部１０と表示部４０とによって、画
像中のある除去したいオブジェクトを含む領域を指定す
るともに、画像の消失点を求めるために、その領域の左
右または上下各領域の対応する各２点の利用点を指定す
る。そして、記憶部２０と制御部３０とによって、利用
点に基づいて、式（11）および（12）の演算式に従って
算出した消失点より発散する同じ直線上にあり、各領域
の縦あるいは横の相対座標が同じ点を、左右または上下
各領域の対応する点とする。

【０２４１】すなわち、まず、除去したいオブジェクト
を含む領域の左右または上下の各領域の対応する各２点
を指定することにより、その点から、遠近法で用いられ
る透視法の消失点を求める。そして、この消失点より発
散する同じ直線上にある各領域の縦あるいは横の相対座
標が同じ点を、左右または上下の各領域の対応する点と
して、自動的に指定する。

【０２４２】これにより、遠近法で用いられる消失点よ
り発散する同じ直線上にあり、各領域の縦または横の相
対座標が同じピクセルを、除去したいオブジェクトを含
む領域の左右または上下の領域の対応するピクセルとし
て利用することが可能となる。よって、除去したいオブ
ジェクトを含む領域のデータを変換する際に、遠近法の
透視法による画像、例えば実際の写真などの画像データ
から不要なオブジェクトを除去し、その部分の画像を容
易に補完することができる。

【０２４３】さらに、本実施の形態にかかる画像処理装
置１では、画像の消失点を求める四点を入力するユーザ
インタフェースとして、チェックボックスやボタンから
なる消失点設定部５２を表示部４０に表示する。

【０２４４】これにより、画像の消失点を求める際に利
用する周囲の領域の２点を、使用者が容易に指定するこ
とが可能となり、画像編集作業の効率化を図ることがで
きる。

【０２４５】上述したように、本発明の実施の形態にか
かる画像処理装置１では、表示部４０の画像表示部４１
に、除去したいオブジェクトを含む領域を補完した結果
を、表示する。

【０２４６】これにより、補完が確定する前に確認する
ことができる。特に、画像表示部４１のようなユーザイ
ンタフェースを用いることにより、原画像からオブジェ
クトを除去した新画像を修正確定前にプレビューし、デ
ータ補完のやり直しを検討することができるため、画像
編集作業を柔軟かつ効率的に行うことができる。

【０２４７】なお、本実施の形態は本発明の範囲を限定
するものではなく、本発明の範囲内で種々の変更が可能
である。

【０２４８】各実施の形態では、その説明の便宜上、領
域Ｃ，Ｌ，Ｒ，Ｕ，Ｂを矩形で示したが、これに限定さ
れない。また、空白領域の補充に利用する領域を、空白
領域を含む領域に対して、左右あるいは上下に隣接して
設定したが、空白領域をはさむ領域であればよく、隣接
していなくてもよい。さらに、画面表示などのユーザイ
ンタフェースは、上記の説明に示したものに限定される
ものではなく、適宜変更することができる。

【０２４９】

【発明の効果】請求項１の発明の画像処理装置は、以上
のように、画像編集により生じた画像の空白領域をはさ
む領域である二つの補完データ領域の画像データと、該
空白領域を補完した画像データとを格納する記憶部と、
該空白領域の一点ごとに、二つの該補完データ領域より
それぞれ一点ずつ対応点を指定するとともに、これら指
定された二つの対応点の画像データに基づいて画像デー
タを作成することにより、該空白領域を補完する制御部
とを備えている構成である。

【０２５０】それゆえ、画像編集によって空白領域が生
じても、その空白領域をはさむ二つの補完データ領域の
画像データにより、補完することができる。すなわち、
従来の画像中のオブジェクトを除去し、その部分のデー
タを自動で補完する方式のシステムと異なり、画像を面
の集まりとしてとらえず、そして、面の上下関係を判定
することなく、除去したい画像を含む領域のデータを削
除し、その周囲の画像からその部分のデータを補完する
ことができる。

【０２５１】したがって、画像からオブジェクトを除去
する画像処理においても、画像から不要なオブジェクト
を抜き出して、背景を自動的に精度良く作成することが
可能となるため、画像編集作業の効率化を図ることがで
きるという効果を奏する。

【０２５２】請求項２の発明の画像処理装置は、以上の
ように、請求項１の構成に加えて、上記制御部は、上記
空白領域の点の上記対応点として、上記の各補完データ
領域の点のうち、該空白領域の点と相対座標が同一であ
る点を指定する対応点演算部を備えている構成である。

【０２５３】それゆえ、請求項１の構成による効果に加
えて、補完する領域の左右あるいは上下の各領域での相
対座標が同じ点のデータを利用することにより、画像を
なめらかに補完することができるという効果を奏する。
また、対応点の指定が容易であるという効果を奏する。

【０２５４】請求項３の発明の画像処理装置は、以上の
ように、請求項１の構成に加えて、上記制御部は、上記
画像の消失点を求める消失点演算部を備えているととも
に、上記空白領域の点の上記対応点として、上記の各補
完データ領域の点のうち、該消失点から発散する同一直
線上の点であり、かつ、二つの該補完データ領域が共有
する座標軸についての相対座標が同じ点を指定する対応
点演算部とを備えている構成である。

【０２５５】それゆえ、請求項１の構成による効果に加
えて、遠近法の透視法による画像、例えば実際の写真な
どの画像データから不要なオブジェクトを除去し、その
部分の画像を容易に補完することができるという効果を
奏する。

【０２５６】請求項４の発明の画像処理装置は、以上の
ように、請求項２または３の構成に加えて、上記対応点
演算部は、上記空白領域の点のうち補完済みの点を上記
補完データ領域の点とみなし、これら補完データ領域に
はさまれる未補完の該空白領域を補完するように、該空
白領域の点の上記対応点を指定する中間領域対応点演算
部を備えている構成である。

【０２５７】それゆえ、請求項２または３の構成による
効果に加えて、補完済みの点を利用しながら、未補完の
空白領域の点を補完する処理を繰り返し行うことができ
る。よって、空白領域をはさむ補完データ領域の幅が狭
くても補完処理を行うことができる。

【０２５８】したがって、補完したい空白領域のすぐ近
くに画像を補完するのに不適当な画像データが存在する
場合でも、データを詳細に補完することが可能となり、
画像編集作業の効率化を図ることができるという効果を
奏する。

【０２５９】請求項５の発明の画像処理装置は、以上の
ように、請求項１から４の何れかの構成に加えて、上記
制御部は、上記空白領域の点の画像データとして、上記
対応点の画像データの平均値を演算する画像データ演算
部を備えている構成である。

【０２６０】それゆえ、請求項１から４の何れかの構成
による効果に加えて、空白領域の補完を精度良く行うこ
とができるとともに、補完する画像データの演算が容易
であり、画像編集作業の効率化を図ることができるとい
う効果を奏する。

【０２６１】請求項６の発明の画像処理装置は、以上の
ように、画像編集により生じた画像の空白領域の一点ご
とに、該空白領域をはさむ領域である二つの補完データ
領域よりそれぞれ一点ずつ対応点を指定する処理、該空
白領域の一点ごとに、これら指定された二つの対応点の
画像データに基づいて画像データを作成することによ
り、該空白領域を補完する処理、をコンピュータに実行
させるためのプログラムを記録したコンピュータ読み取
り可能な記録媒体である構成である。

【０２６２】請求項７の発明の画像処理装置は、以上の
ように、画像編集により生じた画像の空白領域をはさむ
列である二本の補完データ列の画像データと、該空白領
域を補完した画像データとを格納する記憶部と、該空白
領域の一点ごとに、二本の該補完データ列よりそれぞれ
一点ずつ対応点を指定するとともに、これら指定された
二つの対応点の画像データに基づいて画像データを作成
することにより、該空白領域を補完する制御部とを備え
ている構成である。

【０２６３】それゆえ、画像編集によって空白領域が生
じても、その空白領域をはさむ二本の列の画像データに
より、補完することができる。すなわち、従来の画像中
のオブジェクトを除去し、その部分のデータを自動で補
完する方式のシステムと異なり、画像を面の集まりとし
てとらえず、そして、面の上下関係を判定することな
く、除去したい画像を含む領域のデータを削除し、その
周囲の画像からその部分のデータを補完することができ
る。

【０２６４】したがって、画像からオブジェクトを除去
する画像処理においても、画像から不要なオブジェクト
を抜き出して、背景を自動的に精度良く作成することが
可能となるという効果を奏する。また、補完のために空
白領域をはさむ一対の補完データ列しか必要でないた
め、補完したい空白領域のすぐ近くに画像を補完するの
に不適当な画像データが存在する場合でも、データを詳
細に補完することが可能となり、画像編集作業の効率化
を図ることができるという効果を奏する。

【０２６５】請求項８の発明の画像処理装置は、以上の
ように、請求項７の構成に加えて、上記制御部は、上記
空白領域の点のうち、二本の上記補完データ列の点同士
を結びかつ該補間データ列間では互いに交わらない直線
よりなる直線群の同一直線上にあるすべての点に対し
て、該同一直線の両端点である該補完データ列の点を上
記対応点として指定する対応点演算部と、該空白領域の
該同一直線上の点の画像データとして、該対応点を両端
とするグラデーションを作成する画像データ演算部とを
備えている構成である。

【０２６６】それゆえ、請求項７の構成による効果に加
えて、空白領域を、空白領域をはさむ一対の補完データ
列の点を両端とするグラデーションによって補完するこ
とができる。

【０２６７】したがって、色相の勾配がなめらかな画像
データを作成して、空白領域を補完することができると
いう効果を奏する。

【０２６８】請求項９の発明の画像処理装置は、以上の
ように、請求項８の構成に加えて、上記制御部は、グラ
デーションのある遷移割合の点である固定値点の位置を
上記対応点間で変位させ、該固定値点の連なりである固
定値列によって上記空白領域を分割するとともに、該固
定値列を上記補間データ列とみなし、これら補完データ
列にはさまれる未補完の該空白領域を補完するように、
該空白領域の点の上記対応点を指定する中間領域対応点
演算部を備えている構成である。

【０２６９】それゆえ、請求項８の構成による効果に加
えて、空白領域を含む領域を、グラデーションの固定値
をとる固定値列により二分割し、この固定値の列の点、
および一対の補完データ列の点を始点および終点とする
二つのグラデーションを作成して補完する。

【０２７０】したがって、空白領域を含む領域のデータ
の補完を、その領域をはさむ一対の補完データ列の点を
両端とするグラデーションにより行うことができるとい
う効果を奏する。しかも、グラデーションの固定値をと
る列を指定することにより、色相が一様な傾きで推移し
ていないグラデーションを容易に作成し、違和感がなく
精度の高い画像データの補完を行うことができるという
効果を奏する。

【０２７１】請求項１０の画像処理装置は、上記の課題
を解決するために、画像編集により生じた画像の空白領
域の一点ごとに、該空白領域をはさむ列である二本の該
補完データ列よりそれぞれ一点ずつ対応点を指定する処
理、該空白領域の一点ごとに、これら指定された二つの
対応点の画像データに基づいて画像データを作成するこ
とにより、該空白領域を補完する処理、をコンピュータ
に実行させるためのプログラムを記録したコンピュータ
読み取り可能な記録媒体であることを特徴としている。

【図面の簡単な説明】

【図１】図２に示す、本発明の一実施の形態にかかる画
像処理装置によって行われる画像データの補完処理の説
明図である。

【図２】本発明の一実施の形態にかかる画像処理装置に
よって行われる画像データの補完処理の手順を示すフロ
ーチャートである。

【図３】図２に示した画像データの補完処理を説明する
ための画像例であり、除去したいオブジェクトのある原
画像である。

【図４】図２に示した画像データの補完処理を説明する
ための画像例であり、図３に示した除去したいオブジェ
クトのある原画像からオブジェクトを除去した画像であ
る。

【図５】図６に示す、本発明の他の実施の形態にかかる
画像処理装置によって行われる画像データの補完処理の
説明図である。

【図６】本発明の他の実施の形態にかかる画像処理装置
によって行われる画像データの補完処理の手順を示すフ
ローチャートである。

【図７】図６に示した画像データの補完処理を説明する
ための画像例であり、除去したいオブジェクトのある原
画像である。

【図８】図６に示した画像データの補完処理を説明する
ための画像例であり、図７に示した除去したいオブジェ
クトのある原画像からオブジェクトを除去した画像であ
る。

【図９】図１０に示す、本発明のさらに他の実施の形態
にかかる画像処理装置によって行われる画像データの補
完処理の説明図である。

【図１０】本発明のさらに他の実施の形態にかかる画像
処理装置によって行われる画像データの補完処理の手順
を示すフローチャートである。

【図１１】図１２に示す、本発明のさらに他の実施の形
態にかかる画像処理装置によって行われる画像データの
補完処理の説明図である。

【図１２】本発明のさらに他の実施の形態にかかる画像
処理装置によって行われる画像データの補完処理の手順
を示すフローチャートである。

【図１３】図１２に示した画像データの補完処理を説明
するための画像例であり、除去したいオブジェクトのあ
る原画像である。

【図１４】図１２に示した画像データの補完処理を説明
するための画像例であり、図１３に示した除去したいオ
ブジェクトのある原画像からオブジェクトを除去した画
像である。

【図１５】図１６に示す、本発明のさらに他の実施の形
態にかかる画像処理装置によって行われる画像データの
補完処理の説明図である。

【図１６】本発明のさらに他の実施の形態にかかる画像
処理装置によって行われる画像データの補完処理の手順
を示すフローチャートである。

【図１７】図１６に示した画像データの補完処理を説明
するための画像例であり、除去したいオブジェクトのあ
る原画像である。

【図１８】図１６に示した画像データの補完処理を説明
するための画像例であり、図１７に示した除去したいオ
ブジェクトのある原画像の消失点の求め方を示す説明図
である。

【図１９】図１６に示した画像データの補完処理を説明
するための画像例であり、図１７に示した除去したいオ
ブジェクトのある原画像の対応点の求め方を示す説明図
である。

【図２０】図１６に示した画像データの補完処理を説明
するための画像例であり、図１７に示した除去したいオ
ブジェクトのある原画像からオブジェクトを除去した画
像である。

【図２１】本発明の実施の形態にかかる画像処理装置
で、画像データの補完処理にかかるハードウェア構成の
概略を示すブロック図である。

【図２２】図２および図６に示した画像データの補完処
理の際に表示されるユーザインタフェースの概略を示す
説明図である。

【図２３】図１０および図１２に示した画像データの補
完処理の際に表示されるユーザインタフェースの概略を
示す説明図である。

【図２４】図１６に示した画像データの補完処理の際に
表示されるユーザインタフェースの概略を示す説明図で
ある。

【符号の説明】

１画像処理装置２０記憶部３０制御部３１対応点演算部３１ａ中間領域対応点演算部３２画像データ演算部３３消失点演算部Ｌ，Ｒ，Ｕ，Ｂ補完データ領域ｌ，ｒ，ｕ，ｂ対応点Ｓ消失点Ｌｉｎｅ１，Ｌｉｎｅ２補完データ列Ｌｉｎｅ３固定値列

Claims

【特許請求の範囲】

【請求項１】画像編集により生じた画像の空白領域をは
さむ領域である二つの補完データ領域の画像データと、
該空白領域を補完した画像データとを格納する記憶部
と、該空白領域の一点ごとに、二つの該補完データ領域
よりそれぞれ一点ずつ対応点を指定するとともに、これ
ら指定された二つの対応点の画像データに基づいて画像
データを作成することにより、該空白領域を補完する制
御部とを備えていることを特徴とする画像処理装置。
【請求項２】上記制御部は、上記空白領域の点の上記対
応点として、上記の各補完データ領域の点のうち、該空
白領域の点と相対座標が同一である点を指定する対応点
演算部を備えていることを特徴とする請求項１記載の画
像処理装置。
【請求項３】上記制御部は、上記画像の消失点を求める消失点演算部を備えていると
ともに、上記空白領域の点の上記対応点として、上記の各補完デ
ータ領域の点のうち、該消失点から発散する同一直線上
の点であり、かつ、二つの該補完データ領域が共有する
座標軸についての相対座標が同じ点を指定する対応点演
算部とを備えていることを特徴とする請求項１記載の画
像処理装置。
【請求項４】上記対応点演算部は、上記空白領域の点の
うち補完済みの点を上記補完データ領域の点とみなし、
これら補完データ領域にはさまれる未補完の該空白領域
を補完するように、該空白領域の点の上記対応点を指定
する中間領域対応点演算部を備えていることを特徴とす
る請求項２または３記載の画像処理装置。
【請求項５】上記制御部は、上記空白領域の点の画像デ
ータとして、上記対応点の画像データの平均値を演算す
る画像データ演算部を備えていることを特徴とする請求
項１から４の何れかに記載の画像処理装置。
【請求項６】画像編集により生じた画像の空白領域の一
点ごとに、該空白領域をはさむ領域である二つの補完デ
ータ領域よりそれぞれ一点ずつ対応点を指定する処理、該空白領域の一点ごとに、これら指定された二つの対応
点の画像データに基づいて画像データを作成することに
より、該空白領域を補完する処理、をコンピュータに実
行させるためのプログラムを記録したコンピュータ読み
取り可能な記録媒体。
【請求項７】画像編集により生じた画像の空白領域をは
さむ列である二本の補完データ列の画像データと、該空
白領域を補完した画像データとを格納する記憶部と、該空白領域の一点ごとに、二本の該補完データ列よりそ
れぞれ一点ずつ対応点を指定するとともに、これら指定
された二つの対応点の画像データに基づいて画像データ
を作成することにより、該空白領域を補完する制御部と
を備えていることを特徴とする画像処理装置。
【請求項８】上記制御部は、上記空白領域の点のうち、二本の上記補完データ列の点
同士を結びかつ該補間データ列間では互いに交わらない
直線よりなる直線群の同一直線上にあるすべての点に対
して、該同一直線の両端点である該補完データ列の点を
上記対応点として指定する対応点演算部と、該空白領域の該同一直線上の点の画像データとして、該
対応点を両端とするグラデーションを作成する画像デー
タ演算部とを備えていることを特徴とする請求項７記載
の画像処理装置。
【請求項９】上記制御部は、グラデーションのある遷移
割合の点である固定値点の位置を上記対応点間で変位さ
せ、該固定値点の連なりである固定値列によって上記空
白領域を分割するとともに、該固定値列を上記補間デー
タ列とみなし、これら補完データ列にはさまれる未補完
の該空白領域を補完するように、該空白領域の点の上記
対応点を指定する中間領域対応点演算部を備えているこ
とを特徴とする請求項８記載の画像処理装置。
【請求項１０】画像編集により生じた画像の空白領域の
一点ごとに、該空白領域をはさむ列である二本の該補完
データ列よりそれぞれ一点ずつ対応点を指定する処理、該空白領域の一点ごとに、これら指定された二つの対応
点の画像データに基づいて画像データを作成することに
より、該空白領域を補完する処理、をコンピュータに実
行させるためのプログラムを記録したコンピュータ読み
取り可能な記録媒体。