JP5010359B2 - 画像データ編集装置 - Google Patents

Description

本発明は、画像データ編集システム及び方法に関する。

ディジタル画像を新たに生成する際には、しばしば、取得済画像のディジタルデータを修正するという手段が採られる。例えば、何枚かの原稿をスキャン等して得たディジタル画像データ即ち入力画像データに修正を施し、それによって生成した新たなディジタル画像データ即ち出力画像データを記憶、表示、印刷その他の処理に供する。入力画像データに対する修正の例としては、そのデータによって表される画像即ち原画像乃至入力画像の一部を別画像に差し替える処理がある。例えば、スキャン処理によって取得した入力画像データ即ちスキャナ入力画像データを処理し、その入力画像の一部を別画像例えばディジタル写真や図、表その他のＣＧ（computer-generated graphics）オブジェクトに差し替える処理である。この修正によって得られる出力画像データのファイルを参照することによって、出力画像即ち更新の済んだ新たな画像を表示若しくは印刷し、また当該出力画像データを記憶等することができる。この編集処理は、原稿のスキャン等により取得した原画像からその画像データの更新乃至改訂によって他用途転用可能な出力画像を生成するものであることから、リパーパス（再利用可能化）とも呼ばれている。

米国特許第６８５９２０４号明細書 米国特許第６８３２００７号明細書 米国特許第６７８２１２９号明細書 米国特許第６５９４４０１号明細書 米国特許第６５４９６５８号明細書 米国特許第６４００８４４号明細書 米国特許第６３８９１６３号明細書 米国特許第６３７３９８１号明細書 米国特許第６２９８１５１号明細書 米国特許出願公開第２００５／０１１１７３１号明細書 米国特許出願公開第２００４／００９６１２２号明細書

しかしながら、既に知られている通り、従来の画像処理システムでもスキャナ入力画像データの編集が技術的には可能だがまだまだ行き届かない面がある。即ち、未熟なユーザがＧＵＩ（グラフィカルユーザインタフェース）上での単純なポイントアンドクリック操作によりオブジェクト単位で画像を修正できるシステムは、これまで存在していなかった。例えば、画像の一部を差し替えることができる画像処理ソフトウェアが広く利用されているけれども、そうしたソフトウェアを用い画像の一部を差し替えるには、ユーザは、まず入力画像内の一部画素群をライン乃至枠で囲む等してカーソル指定し、それらの画素群を入力画像から削除した後に、それによって生じた空白部分内に新たな画素群即ち差替画素群を動かしてきてペーストする、という操作をマニュアルで行わねばならない。熟練度がさほど高くないユーザはこのマニュアル操作にかなり手こずるものであるし、またそうした操作では間違いも発生しやすいものである。更に、スキャナ入力画像をディジタルデータ処理により断片化（セグメント化）及び分類する際には、従来システムではＧＵＩを利用することができなかった。ＧＵＩは直観的なインタフェースであるので、仮にＧＵＩを利用できれば、ユーザは、スキャナ入力画像を断片化して得られるオブジェクトを差替オブジェクトデータベースに登録されている差替オブジェクトで差し替える操作や、スキャナ入力画像を構成しているオブジェクトを差替オブジェクトデータベースに新たな差替オブジェクトとして登録するデータベース更新操作を、直観的に行えるはずである。総じて、従来システムは人力及び時間を浪費するのみならず、トレーニング及び教育を十分に受けていないユーザに対し高い生産性を要求する大抵の業務等では、役に立つかどうかすら定かでない。

ここに、本発明の一実施形態に係る画像データ編集方法は、入力画像を複数個の入力画素によって表現する入力画像データを導出するステップと、入力画像データに対する断片化処理によりオブジェクト表現入力画像、即ちそれぞれ入力画像の同一構成部分に属し且つ同種コンテンツに係る複数個の入力画素の空間的集まりであるオブジェクト複数個からなる画像を、生成するステップと、留置エリア画像を生成しオブジェクト表現入力画像と同時に表示させるステップと、オブジェクト表現入力画像を見たユーザがそのオブジェクト表現入力画像から留置エリア画像へとどのオブジェクトの移動を求めているかを示す編集入力情報を、そのユーザから受け取るステップと、その移動所望オブジェクトがオブジェクト表現入力画像から削除され仮オブジェクトとして留置エリア画像に挿入されるよう、且つ留置エリア画像への挿入位置がオブジェクト表現入力画像における原位置に空間的に対応する位置になるよう、編集入力情報に従いオブジェクト表現入力画像及び留置エリア画像を更新するステップと、オブジェクト表現入力画像における削除済オブジェクトの原位置に差替オブジェクトデータベース中のどの差替オブジェクトを挿入すべきかを示す差替入力情報を、ユーザから受け取るステップと、オブジェクト表現入力画像を更新しその挿入所要差替オブジェクトを削除済オブジェクトの原位置に組み込むことによりオブジェクト表現出力画像を生成するステップと、を有する。

また、本発明の一実施形態に係る画像データ編集装置は、入力画像を複数個の入力画素によって表現する入力画像データを導出する手段と、ユーザ向けに画像を出力するための表示装置と、表示装置の画面上にＧＵＩの一部として表示されているオブジェクトを選択するための入力装置と、画像処理ユニットと、を備え、画像処理ユニットが、（ｉ）入力画像データに対する断片化処理によりオブジェクト表現入力画像、即ちそれぞれ入力画像の同一構成部分に属し且つ同種コンテンツに係る複数個の入力画素の空間的集まりであるオブジェクト複数個からなる画像を、生成する手段と、（ｉｉ）留置エリア画像を生成しオブジェクト表現入力画像と同時に表示装置の画面上に表示させる手段と、（ｉｉｉ）オブジェクト表現入力画像を見たユーザがそのオブジェクト表現入力画像から留置エリア画像へとどのオブジェクトの移動を求めているかを示す編集入力情報を、そのユーザが操作する入力装置から受け取る手段と、（ｉｖ）その移動所望オブジェクトがオブジェクト表現入力画像から削除され仮オブジェクトとして留置エリア画像に挿入されるよう、且つ留置エリア画像への挿入位置がオブジェクト表現入力画像における原位置に空間的に対応する位置になるよう、編集入力情報に従い表示装置の画面上でオブジェクト表現入力画像及び留置エリア画像を更新する手段と、（ｖ）オブジェクト表現入力画像における削除済オブジェクトの原位置に差替オブジェクトデータベース中のどの差替オブジェクトを挿入すべきかを示す差替入力情報を、ユーザが操作する入力装置から受け取る手段と、（ｖｉ）表示装置の画面上でオブジェクト表現入力画像を更新しその挿入所要差替オブジェクトを削除済オブジェクトの原位置に組み込むことによりオブジェクト表現出力画像を生成する手段と、を有する。

図１に本発明を実施できる画像処理システム１０を示す。このシステム１０は例えばスキャン／コピーシステム等の画像処理装置であり、家庭向け又は事務所向けのコンピュータシステム等に組み込むことができる。このシステム１０は例えばディジタルコピアとしてもスキャン、印刷、ファクシミリ、コピー等の機能を有する多機能ディジタル画像処理システムとしても構成できる他、プリプレスシステムの一部分をこのシステム１０によって構築することもできる。より詳細には、このシステム１０は例えばスキャナ１２、ＩＰＵ（画像処理ユニット）１４、ユーザが操作する１個以上の入力装置１６及び１個以上の出力装置によって構成することができる。スキャナ１２は、１枚以上の印刷版原稿を受け入れその画像を表す入力画像データ即ちスキャナ入力画像データを生成する。ＩＰＵ１４は本発明の一実施形態に係る手順に従いディジタル画像処理等を実行する部材であり、その入力画像データを受け取り処理することによって、入力画像に編集、拡張等の改変を施した画像である出力画像を表す出力画像データを生成する。そのための処理は、搭載しているアルゴリズムに従い、またユーザが指定した機能を利用し且つユーザが与えた入力に従い実行する。入力装置１６としては、例えばマウス、タッチパッドその他のポインティングデバイスや、キーボード、スタイラス等の装置が、好適に動作するようＩＰＵ１４に接続されている。ユーザは、それらを用い例えばＧＵＩ上でＩＰＵ１４に対する指令やデータを入力することによって、ＩＰＵ１４による画像処理等、システム１０の全機能を管制することができる。出力装置としては、可視表示装置１８、プリンタ２０等の装置や、ディスクドライブ等の大容量記憶装置２２が、好適に動作するようＩＰＵ１４に接続されている。更に、表示装置１８にタッチスクリーン型のユーザ用入力装置２４を設け、好適に動作するようそれをＩＰＵ１４に接続する構成を採ることもできる。そうした構成においては、ユーザは、指やスタイラスを用いＩＰＵ１４に入力を与え、表示装置１８の画面上に表示されているオブジェクトを随意に選択乃至操作することができる。そして、記憶装置２２に蓄えられている情報もＩＰＵ１４に入力できる。

大抵の場合は、まず何ページかの印刷版原稿のうち任意のページをスキャナ１２によって処理することにより、その原稿の画像を表すスキャナ入力画像データをページ単位で生成する。入力画像データは複数個の画素（入力画素）の集まりであり、入力画像は概念的にはそれらの画素の行列配置として捉えることができる。スキャナ１２は生成した入力画像データをＩＰＵ１４に供給し、ＩＰＵ１４はその入力画像データをそのまま或いは何らかの処理を施した上で出力画像データとして出力する。入力画像データから出力画像データを生成する処理は、搭載している画像処理アルゴリズムに従い或いは具備している画像処理回路を用い、また入力装置１６、２４等を介しユーザが与える入力に応じて実行する。ＩＰＵ１４による出力画像データの出力先は、表示装置１８、プリンタ２０、記憶装置２２等の出力装置のうち１個又は複数個である。出力先が例えば表示装置１８ならユーザ向けに出力画像が表示され、プリンタ２０なら出力画像たる修正版原稿が印刷され、記憶装置２２ならその出力画像データがセーブ（保存）される。なお、こうした画像処理システム１０は、例えばディジタル画像処理用プログラムを搭載したパーソナルコンピュータシステムによって実現できる他、例えばＸＥＲＯＸ（登録商標）ＤｏｃｕＴｅｃｈ（登録商標）やＤｏｃｕＣｏｌｏｒ（登録商標）等の専用ディジタル画像処理システムでも実現できる。更に、スキャナ１２はＩＰＵ１４に入力画像データを供給できるものであれば他種装置に置き換えてもよい。その種の装置としては記憶装置、カメラ等がある。

本発明の一特徴として後に詳述する通り、この画像処理システム１０の記憶装置２２上には差替オブジェクトデータベースＤＢが構築されている。このデータベースＤＢには１個以上の差替オブジェクトＲＯを登録できる。登録される個々のオブジェクトＲＯの実体は、ビットマップ等のラスタ画像ファイルや、ラスタ画像ファイルに簡単に変換できるベクトルグラフィクス等のファイルである。例えばスキャナ入力画像、コンピュータ生成画像、テキスト／注釈画像、ＣＧ画像、写真画像等を表すラスタ画像データのファイルが、オブジェクトＲＯとして登録される。データベースＤＢへのオブジェクトＲＯの登録は、例えば記憶装置２２若しくはその上の特定の記憶領域やその他の場所をプログラムに従いＩＰＵ１４で周期的にスキャン、探索し、発見したファイルをオブジェクトＲＯとして登録する処理や、また特定種類のファイルに基づき新たなオブジェクトを生成してオブジェクトＲＯとして登録する処理により、行うことができる。また、ご理解頂けるように、図１に示したシステム１０を構成するコンポーネント全てを同一の場所に設ける必要もなく、また同時に稼働させる必要もない。更に、これらのコンポーネントを機能的に均等な他物に置換できることもご理解頂けるであろう。例えばスキャナ１２と同等な機能は、事前に別の場所でスキャンを行って得た画像データのファイルを種々の方法で且つスキャン後の任意の時点でシステム１０に送信することによっても、実現できる。また、スキャン機能を備えるスキャナ１２に代え他の手段例えばディジタルカメラ等の入力手段を用いても、スキャンに類する機能を実現できる。

図２に本発明の一実施形態に係る画像データ編集システム及び方法を模式的に示す。本システムは図１に示した画像処理システム１０に組み込むことができる。図中、ステップＳ１においては、印刷版原稿のうち何ページかをスキャンすることによって、複数個の画素からなる入力画像データを生成し、生成した入力画像データをＩＰＵ１４に入力する。ＩＰＵ１４は、これによって、印刷原稿をページ単位でスキャンした入力画像データをページ毎に取得する。ステップＳ２においては、ＩＰＵ１４が原稿の１ページ目に係る入力画像データに基づき入力画像を断片化して複数個のオブジェクトＯ１，Ｏ２，…Ｏｎを導出する。断片化とは、空間的に互いに隣接している一群の画素を同一のグループにまとめるグルーピングのこと、即ち入力画像中の共通の特徴部分に係り従って互いに類似した特性を有する一群の画素を同一のグループにまとめることである。このグルーピングによって生成される個々の画素グループは、それぞれ入力画像内の特定の部分画像、即ち入力画像の個々の断片を表現している。そうした部分画像乃至断片、即ち画像構成要素のことを、本願ではオブジェクトと呼んでいる。グルーピングによって導出されるオブジェクトＯ１，Ｏ２，…Ｏｎは、その性質に応じ、テキストオブジェクト、グラフィックオブジェクト、写真オブジェクト、ラインアートオブジェクト等に分類でき、更にデータとノイズの関係、画像と偽像の関係等に基づきより詳細に分類できる。更に、グラフィック、テキスト等の分野で常識であるように、画素グループ内の隣接画素同士を更にグルーピングし、サブオブジェクトを導出することもできる。加えて、グルーピングは人間が知覚できるラインを基準に行うのが望ましいが、他のやり方でもグルーピングは可能である。ＩＰＵ１４にこうした自動的断片化処理を行わせるための断片化及び保存アルゴリズムとしては本件技術分野では様々なものが既に知られており、本発明を実施する際にはそれらを任意に使用することができる。例えば、使用できるアルゴリズムの一つにＭＲＣ（mixed raster content）法がある。ＭＲＣ法においては、混成文書即ちテキスト、グラフィクス、写真、ラインアート等のコンテンツが混在しているページを含む原稿のディジタル画像を、コンテンツのタイプに基づき個別のオブジェクトに断片化し、単一のデータファイル内に保存する。それらのオブジェクト即ち画像構成要素を複数個のデータファイルに保存する場合は、ファイル間を明示的に関連付けるようにすればよい。

ステップＳ３においては、ＩＰＵ１４が、スキャナ入力画像の各ページ毎に二種類の画像を生成し、ユーザが看取できるよう表示装置１８の画面上に表示させる。生成及び表示されるのは、（ｉ）ステップＳ２で導出したオブジェクトＯ１，Ｏ２，…Ｏｎを含んでおりそれらによって記述されているオブジェクト表現入力画像ＯＩと、（ｉｉ）通常は背景のみの空白画像に初期設定されており後述の通り編集操作の際に使用される留置エリア画像ＨＩとである。これらの画像ＯＩ，ＨＩの間には密接な関係を設ける。まず、画像ＨＩ，ＯＩは例えば互いに同一寸法及び同一形状にする。また、後に詳述する通り、オブジェクトＯ１，Ｏ２，…Ｏｎのうち１個以上を画像ＯＩ，ＨＩのうち一方から他方へと移動させることができ、また移動先でも移動元と全く同じ空間位置に表示されユーザが容易に視認参照できるように、画像ＨＩと画像ＯＩを一意に関連付けるようにする。また、好適な実施形態においては、これら二種類の画像ＯＩ，ＨＩを、ユーザが同時に看取及び比較できるよう表示装置１８の画面上で隣り合わせに表示させる。

ステップＳ４においては、ＩＰＵ１４が差替オブジェクトウィンドウＲＷを生成し表示装置１８に出力する（但しこのステップは省略可能である）。表示装置１８はＩＰＵ１４によって駆動され、ユーザが看取できるようにそのウィンドウＲＷを表示する。ウィンドウＲＷ内には、差替オブジェクトデータベースＤＢに登録されている個々の差替オブジェクトＲＯを、フル解像度画像、低減解像度乃至サイズ縮小画像即ちサムネイル、ファイル名リスト等の形態で表示させる。ユーザは、入力装置１６、２４等を用いウィンドウＲＷ内の表示をスクロールさせることによって、どのオブジェクトＲＯでも任意に選択することができる。選択したオブジェクトＲＯの用途については後述する。また、好適な実施形態においては、ＩＰＵ１４が、本ステップにてこのウィンドウＲＷをオブジェクト表現入力画像ＯＩ及び留置エリア画像ＨＩと同時に表示装置１８の画面上に表示させる。より好ましくは、ウィンドウＲＷを閉じるオプションや最小化するオプションをユーザに提示し、ユーザが自分の意志でウィンドウＲＷを閉じ又は最小化できるようにする。

ステップＳ５においては、ユーザが編集操作を実行してＩＰＵ１４に指令する。この指令（編集入力情報）に従い、ＩＰＵ１４は、オブジェクト表現入力画像ＯＩを構成するオブジェクトＯ１，Ｏ２，…Ｏｎのうち１個以上を、後に詳述する通り、差替オブジェクトデータベースＤＢから取得できる差替オブジェクトＲＯに差し替えることによって、画像ＯＩを編集した画像であるオブジェクト表現出力画像ＯＯを生成する。具体的には、原稿中のあるページについてのスキャナ入力画像が表示装置１８の画面上に画像ＯＩとして表示されており、また好ましくはそれと隣り合わせに留置エリア画像ＨＩが表示されているので、ユーザは、それらの画像ＯＩ，ＨＩを見ながらマウス、スタイラス、タッチスクリーン等の入力装置１６、２４等を操作することができる。即ち、画像ＯＩから画像ＨＩへ又はその逆に画像ＨＩから画像ＯＩへと、オブジェクトＯ１，Ｏ２，…Ｏｎのうち１個以上を移動させる操作を、行うことができる。好ましくは、マウス、スタイラス、タッチスクリーン等の入力装置１６、２４等を用いクリックすることで、オブジェクトＯ１，Ｏ２，…Ｏｎのうち移動させたいものをユーザが選択、指定することができ、その移動所望オブジェクトが画像ＯＩ，ＨＩのうち一方即ち移動元画像から他方即ち移動先画像へと自動的に移動し、しかも移動先画像におけるそのオブジェクトの位置が移動元画像における位置即ち原位置と同じ位置になるようにしておく。オブジェクトＯ１，Ｏ２，…Ｏｎの移動に際しては、移動元画像のうち移動対象オブジェクト内画素群を表すデータと、移動先画像のうちその移動対象オブジェクトの移動先位置にある画素群を表すデータとが、入れ替わる。ここで重要なことは、画像内のどのオブジェクトＯ１，Ｏ２，…Ｏｎを移動させる際にも、ユーザが行わねばならないのが、そのオブジェクトをシングルクリックすること又はそれに類する選択指定操作だけであることである。即ち、ユーザは、削除及び移動対象画素領域を指定するため画素群の回りにラインを引く等のマニュアル操作を行う必要がない。これは、前述の通り、断片化ステップＳ２において既に、オブジェクトＯ１，Ｏ２，…Ｏｎが自動導出されているためである。また、本件技術分野における習熟者（いわゆる当業者）にとっては自明なことに、画像内のオブジェクトＯ１，Ｏ２，…Ｏｎは、背景（空白部分等）によって互いに隔てられていることが多い。そうしたオブジェクト間隙空間を断片化ステップＳ２にて認識できる場合は、各オブジェクトの近傍に存する画素群を指定した場合もそのオブジェクトＯ１，Ｏ２，…Ｏｎが選択されるよう、オブジェクト選択用の仕組みを拡張するとよい。即ち、スクリーン上でオブジェクト内画素を指定した場合もオブジェクト周辺画素を指定した場合もそのオブジェクトＯ１，Ｏ２，…Ｏｎが選択されるよう、オブジェクトの選択指定を受ける仕組みを拡張するとよい。そうすれば、タッチスクリーンのような粗なスクリーン上でも、オブジェクトＯ１，Ｏ２，…Ｏｎのうち希望のものを容易に選択できるようになる。また、ユーザが入力装置１６、２４等のクリック操作等しオブジェクトＯ１，Ｏ２，…Ｏｎを選択指定するとそのオブジェクトが自動移動する、というこの仕組みに代えて、ユーザが入力装置１６、２４等を操作してオブジェクトＯ１，Ｏ２，…Ｏｎを選択指定しそのオブジェクトをドラッグしたとき画像ＯＩ，ＨＩのうち一方から他方へとそのオブジェクトを移動させる、という仕組みを用いてもよい。その場合、好ましくは、移動先画像の何れの部分にドラッグされても、そのオブジェクトＯ１，Ｏ２，…Ｏｎの移動先画像内位置が移動元画像内位置と同じ位置になるよう、ＩＰＵ１４により自動配置させる。また、ユーザが画像ＯＩ，ＨＩ内で選択指定したオブジェクトＯ１，Ｏ２，…Ｏｎを同じ画像内にドロップした場合にそのオブジェクトがＩＰＵ１４によって同じ画像内の元々の位置に自動的に戻されるようにするとよい。即ち、通常操作モードでは個々の画像ＯＩ，ＨＩの内部でオブジェクトＯ１，Ｏ２，…Ｏｎを移動させ得ないようにするとよい。但し、ご理解頂けるように、専用のコマンド乃至キー操作に応じて稼働する標準的な画像編集メソッドを、オプションとして、本発明の好適な実施形態に係るシステムに連携させるようにしてもよい。更に、本実施形態においては、画像ＯＩ，ＨＩや好ましくは更に差替オブジェクトウィンドウＲＷの同時表示によって、ＧＵＩを提供している。表示装置１８の画面上に可視表示されるこのＧＵＩには、更に選択可能なＮＥＸＴ／ＤＯＮＥボタンＢが含まれている。表示されている特定の画像ＯＩを編集する必要乃至意向がない場合や、その画像ＯＩについて全ての編集操作が終了したときには、入力装置１６、２４等によってこのボタンＢを操作することによって、処理を次のステップに進めることができる。

図３に編集ステップＳ５の詳細を示す。図中、ステップＳ５ａにおいては、ユーザが見ることができるよう、オブジェクト表現入力画像ＯＩ、留置エリア画像ＨＩ及び差替オブジェクトウィンドウＲＷを表示装置１８の画面上に（好ましくは同時に）表示させる。ステップＳ５ｂにおいては、ユーザがオブジェクトＯ１，Ｏ２，…Ｏｎのうち画像ＯＩから画像ＨＩへ移動させるもの全て（以前のオブジェクト移動をアンドゥする際には逆に画像ＨＩから画像ＯＩへ移動させるオブジェクト全て）を選択指定する。これは好ましくはＧＵＩを用いて行い、ＩＰＵ１４はその編集入力情報を受け取る。ステップＳ５ｃにおいては、ＩＰＵ１４が、ユーザからの編集入力情報に従い画像ＯＩ及びＨＩを更新し、ユーザがリアルタイムで見ることができるよう、更新した画像ＯＩ，ＨＩを表示装置１８の画面上に出力する。具体的には、オブジェクトＯ１，Ｏ２，…Ｏｎのうちユーザが選択したオブジェクトを画像ＯＩから削除し、画像ＨＩ内の対応する位置に挿入する（或いはその逆に画像ＨＩから削除し画像ＯＩ内の対応する位置に挿入する）。ステップＳ５ｄにおいては、ＩＰＵ１４が、オブジェクトＯ１，Ｏ２，…Ｏｎのうち選択され留置エリア画像ＨＩに移動されたオブジェクトと、既に画像ＨＩ内に組み込まれているオブジェクト全てと、を含む新たな高次オブジェクトを生成する。本願ではこの高次オブジェクトのことを仮オブジェクトと呼ぶ。また、これは必須ではないが、仮オブジェクトを復元解体しまたそれを構成していたオブジェクトへの選択指定を取り消すアンドゥステップＳ５ｅを実行するようにしてもよい。そうした場合、オブジェクトを画像ＨＩから画像ＯＩにおける原位置に戻すには、そのオブジェクト又はそのオブジェクトを含む仮オブジェクトの全体を、入力装置１６、２４等のうち１個を用い選択し移動させる操作を行えばよい。ユーザによるこの操作は、例えば元の位置に戻したいオブジェクト又はそれを含む仮オブジェクトをユーザ用入力装置１６、２４等を用いてクリックする操作として、或いはＧＵＩの一部としてアンドゥボタンが設けられている場合はその操作として、行われる。ＩＰＵ１４は、この操作に応じ自動的に、選択が取り消されたオブジェクト又は丸ごとの仮オブジェクトを画像ＨＩから削除し画像ＯＩに挿入、復元する。また、このアンドゥステップＳ５ｅは順序制限付きの形態で実現してもよい。即ち、それまでに画像ＯＩから画像ＨＩへのオブジェクト移動が複数回実行されておりそれらのオブジェクトにより仮オブジェクトが形成されている状態で、ユーザが入力装置１６、２４等を操作してその仮オブジェクトをクリックし或いはアンドゥボタンを操作すると、その仮オブジェクトを構成するオブジェクトＯ１，Ｏ２，…Ｏｎのうち画像ＯＩから画像ＨＩへの移動が最近行われたものから順に、画像ＯＩに復帰していく形態でもよい。更に、画像ＯＩ内のオブジェクトや画像ＨＩ内のオブジェクト又は仮オブジェクトを、その代わりに差替オブジェクトＲＯを挿入することなしにその画像ＯＩ，ＨＩから削除することができる。例えば、削除したいオブジェクト又は仮オブジェクトを表示装置１８のデスクトップ画面上にあるゴミ箱アイコンへとドラッグする等、相応の手段を用いればよい。

ステップＳ５ｆとして示すように、ユーザは、ステップＳ５ｂにおけるオブジェクト選択指定操作を自分の望み通りに何回でも繰り返すことができる。必要ない場合は繰り返さないでもよい。オブジェクト選択指定操作が繰り返される毎に、移動してくるオブジェクトＯ１，Ｏ２，…Ｏｎによって、留置エリア画像ＨＩ内に形成される仮オブジェクトが変化していく。

ステップＳ５ｇにおいては、ユーザがＩＰＵ１４に入力（差替入力情報）を与え、今や留置エリア画像ＨＩ内で仮オブジェクトを形成しているオブジェクトに代わるオブジェクトとしてオブジェクト表現入力画像ＯＩに挿入すべき差替オブジェクトＲＯを、差替オブジェクトデータベースＤＢから選択指定する。データベースＤＢからこうした挿入所要差替オブジェクトＲＯを選択指定する操作は、例えば入力装置１６、２４等のうち１個により、ＧＵＩ上の差替オブジェクトウィンドウＲＷ内に表示されているオブジェクトＲＯを選択指定する操作として、行えばよい。

ステップＳ５ｈにおいては、ＩＰＵ１４が、ステップＳ５ｇで選択指定された差替オブジェクトＲＯがオブジェクト表現入力画像ＯＩに挿入されるようにデータを処理する。画像ＯＩへの挿入位置はオブジェクトＯ１，Ｏ２，…Ｏｎのうち画像ＯＩから削除されたオブジェクトの原位置とする。これによって生成される新たなオブジェクト分割画像のことを、本願ではオブジェクト表現出力画像ＯＯと呼んでいる。また、ステップＳ５ｈにおける挿入処理に際しては、ＩＰＵ１４が、選択指定されたオブジェクトＲＯによって差し替えられるオブジェクトからなる仮オブジェクトの属性（サイズ、位置、色等）をオブジェクトＲＯに付与する（そのためのユーザ操作は不要である）。差替とは、ユーザが行った前述の編集入力情報に従いオブジェクトＯ１，Ｏ２，…Ｏｎのうち１個以上が削除され、その結果画像ＯＩに生じた空白部分にオブジェクトＲＯを嵌め込むことであるので、仮オブジェクトのサイズ属性や位置属性をそのオブジェクトＲＯに付与することによって、そのオブジェクトＲＯをその空白部分内にぴったりと嵌め込むことが可能になる。更に、例えばカラーか白黒か等の属性も付与することによって、選択指定されたオブジェクトＲＯを色等についても齟齬がないように画像ＯＩの空白部分に嵌めることができる。そこで、オブジェクトＯ１，Ｏ２，…Ｏｎのうち画像ＯＩから削除された１個以上のオブジェクトから形成される仮オブジェクトの属性を、空白部分を埋めるオブジェクトＲＯにも引き継がせるようにしている。また、いわゆる当業者はお気づきであろうが、画像ＯＩ内の互いに離れた位置にある場所等、画像ＯＩ内でも互いにあまり関係のない領域から選択指定され画像ＨＩに移動されたオブジェクトＯ１，Ｏ２，…Ｏｎによって仮オブジェクトが形成されている場合、ステップＳ５ｈにて挿入処理を行う際に、画像ＯＩ内の元々それらのオブジェクトがあった部分即ち空白になっている部分に、選択指定されたオブジェクトＲＯがぴったりと嵌らない可能性がある。そうした場合でも、ＩＰＵ１４は、選択されたオブジェクトＲＯに対して拡大、縮小、縦横比変更、敷き詰め、中央配置、枠付け等の変形を施すことによって、そのオブジェクトＲＯが目的箇所に嵌るようにする。こうして画像ＯＩ内に１個以上のオブジェクトＲＯを挿入することで、先にも述べた通り、その画像ＯＩの編集済バージョン即ちオブジェクト表現出力画像ＯＯが形成される。

更に、図２に示すように、ＧＵＩ上に表示されているＮＥＸＴ／ＤＯＮＥボタンＢをユーザが入力装置１６、２４等を用いて操作すると、入力画像データのうち現ページについてはステップＳ５における編集処理が完了する。これに応じて実行されるステップＳ６においては、ＩＰＵ１４が、オブジェクト表現入力画像ＯＩを編集して得たオブジェクト表現出力画像ＯＯを表すデータを、今後随意に処理、表示、印刷等することができるよう、記憶装置２２にセーブする。

ステップＳ７においては、ＩＰＵ１４が、処理対象となるページが入力画像データ中に他にあるかどうかを判別する。ないと判別した場合、そのスキャナ入力画像データについては、図示の編集手順が終了する。その入力画像データには編集対象となりうるページがまだ後何ページかある、とステップＳ７にて判別した場合は、ステップＳ８にてその入力画像データのうちの未処理ページに係るデータをフェッチし、次いでステップＳ２に戻って、その新たなページのデータを断片化し次のオブジェクト表現入力画像ＯＩを生成する。

次に、本発明の一実施形態に係る上述の編集手順の実施例について、図４〜図９を参照して説明する。まず、ある印刷済原稿のうち図４に示すページＰを編集する場合を考える。このページＰには、テキストコンポーネントＴＣ、写真画像コンポーネントＰＣ及びＣＧコンポーネントＧＣ並びにその下地になる背景コンポーネントＢＣが印刷されている。

このページＰをスキャナ１２によってスキャンしその結果に基づきＩＰＵ１４が表示装置１８を駆動すると、その表示装置１８の画面上には図５に示すようなＧＵＩが表示される。このＧＵＩ上には、オブジェクト表現入力画像ＯＩ、留置エリア画像ＨＩ、差替オブジェクトウィンドウＲＷ及びＮＥＸＴ／ＤＯＮＥボタンＢが表示されている。画像ＯＩは、ページＰのスキャン結果をステップＳ２にてＩＰＵ１４が断片化したものであるので、この場合は図示の４個のオブジェクト即ち（ｉ）背景オブジェクトＯ１、（ｉｉ）テキストオブジェクトＯ２、（ｉｉｉ）写真画像オブジェクトＯ３及び（ｉｖ）ＣＧオブジェクトＯ４を含むものになる。なお、ステップＳ２における断片化処理の内容次第で、導出されるオブジェクトの個数が多少増減することがある。例えば、ＣＧオブジェクトＯ４の代わりにより細かなオブジェクトＯ４ａ，Ｏ４ｂが導出されることがある。但し、このことによって本発明が何か影響を受けるわけではない。即ち、導出されたオブジェクトの一部を編集したいなら編集に際しそのオブジェクトを丸ごと差し替えればよいし、編集したい部分が複数個のオブジェクトとして導出されているのなら編集に際し前述の通りそれらのオブジェクト全てによって画像ＨＩ内に仮オブジェクトを構築すればよい。また、断片化に際し分類間違いが発生してもそれは問題になり得ない。即ち、本来であればＣＧオブジェクトに分類されるべきオブジェクトＯ３がステップＳ２での断片化処理に際し誤ってＣＧオブジェクトに分類されたとしても、本発明に係る編集手順には影響しない。

同じく図５に示すように、留置エリア画像ＨＩは当初は空白になっている。また、好ましいことにこのＧＵＩには差替オブジェクトウィンドウＲＷも表示されており、更にそのウィンドウＲＷ内には、そのサイズ縮小版画像（サムネイル）等の別版表記ＲＯ’によって、差替オブジェクトデータベースＤＢに登録されている各差替オブジェクトＲＯがリスト表示されている。また、ウィンドウＲＷ内には矢印ＲＤ，ＲＵ等も表示させることができる。ユーザは、入力装置１６、２４等を操作しこれらを選択することによって、ウィンドウＲＷ内のコンテンツ表示を随意にスクロールさせることができ、ひいてはデータベースＤＢに登録されている全てのオブジェクトＲＯの別版表記ＲＯ’例えばサムネイルを見ることができる。

図５に示した画面上で編集入力情報を与えると、ステップＳ５に係る編集処理が実行され、例えば図６に示す画面になる。この画面は、ユーザがオブジェクト表現入力画像ＯＩ内のオブジェクトＯ４を留置エリア画像ＨＩに移動したとき（またステップＳ２にてオブジェクトＯ４ａ，Ｏ４ｂが導出されている場合はその双方を移動したとき）表示される画面である。この画面においては、破線で示す位置にあったオブジェクトＯ４が画像ＯＩから削除され、画像ＨＩ内で仮オブジェクトＴＯになっている。

図６に示した画面上で更に差替入力情報を与えると、ステップＳ５に係る差替処理が実行され、例えば図７に示す画面に更新される。この画面は、ユーザが差替オブジェクトウィンドウＲＷ内のある別版表記ＲＯ’例えばサムネイルを選択指定したとき、即ちその別版表記ＲＯ’に対応する差替オブジェクトＲＯをオブジェクト表現入力画像ＯＩに挿入してオブジェクト表現出力画像ＯＯを生成する操作を行ったときに、表示される画面である。こうして新規に生成される画像ＯＯは、元々からあるオブジェクトＯ１，Ｏ２，Ｏ３に加え、今やオブジェクトＯ５となった差替オブジェクトＲＯを含んでいる。なお、挿入する際、ＩＰＵ１４によって縮小、拡大等されているので、元々あったオブジェクトＯ４の削除によって生じた空白部分は、このオブジェクトＯ５によって隙間なく満たされる。また、オブジェクトＲＯを嵌め込み先にフィットさせるために必要なサイズ、色、位置その他の属性は、留置エリア画像ＨＩ内の仮オブジェクトＴＯから直接導出することができるので、ユーザは取り立てて入力を行う必要がない。

図７に示した画面上でオプション的なステップＳ５ｉを実行すると図８に示す画面が表示される。ステップＳ５ｉは、留置エリア画像ＨＩ内の仮オブジェクトＴＯによって差替オブジェクトデータベースＤＢを更新するステップである。例えば、入力装置１６、２４等のうち１個以上を用いユーザが仮オブジェクトＴＯを選択指定するとＩＰＵ１４がそれをデータベースＤＢに登録するようにし、或いは差替オブジェクトＲＯの挿入によるオブジェクト表現出力画像ＯＯ生成時に仮オブジェクトＴＯをデータベースＤＢに自動登録するようにし、或いは仮オブジェクトＴＯの選択及び差替オブジェクトウィンドウＲＷへのドラッグに応じてその仮オブジェクトＴＯをデータベースＤＢに登録するようにし、或いはキーボードのシフトキーを押しながら画像ＨＩ内の仮オブジェクトＴＯをクリックする等の特殊な選択操作によって指令するとＩＰＵ１４がその仮オブジェクトＴＯをデータベースＤＢに登録するようにする。どの形態で実施した場合でも、データベースＤＢに仮オブジェクトＴＯが追加登録されたという事実を反映させるためウィンドウＲＷ内の表示が更新され、新たに差替オブジェクトＲＯとして登録された仮オブジェクトＴＯを表す別版表記ＲＯ’例えばサムネイルがウィンドウＲＷ内に追加される。なお、別版表記ＲＯ’の選択によってオブジェクトＲＯを画像ＯＩに追加し画像ＯＯを生成しても、そのオブジェクトＲＯがデータベースＤＢから削除されるわけではない。

その後ユーザがＮＥＸＴ／ＤＯＮＥボタンＢを選択すると、図９に示す体裁のオブジェクト表現出力画像ＯＯを表すデータが保存される。ご覧の通り、この画像ＯＯはオブジェクト表現入力画像ＯＩを更新し、元々のオブジェクトＯ４を新たなオブジェクトＯ５例えば新たなロゴに置き換えたものになっている。ＩＰＵ１４はこの画像ＯＯを表すデータを、ユーザによる入力、搭載されているプログラムその他による指令に基づき、保存、印刷、表示その他の処理に供する。
＜補遺＞
１つの例では、画像データ編集方法は、
入力画像を複数個の入力画素によって表現する入力画像データを導出するステップと、
入力画像データに対する断片化処理によりオブジェクト表現入力画像、即ちそれぞれ入力画像の同一構成部分に属し且つ同種コンテンツに係る複数個の入力画素の空間的集まりであるオブジェクト複数個からなる画像を、生成するステップと、
留置エリア画像を生成しオブジェクト表現入力画像と同時に表示させるステップと、
オブジェクト表現入力画像を見たユーザがそのオブジェクト表現入力画像から留置エリア画像へとどのオブジェクトの移動を求めているかを示す編集入力情報を、そのユーザから受け取るステップと、
その移動所望オブジェクトがオブジェクト表現入力画像から削除され仮オブジェクトとして留置エリア画像に挿入されるよう、且つ留置エリア画像への挿入位置がオブジェクト表現入力画像における原位置に空間的に対応する位置になるよう、編集入力情報に従いオブジェクト表現入力画像及び留置エリア画像を更新するステップと、
オブジェクト表現入力画像における削除済オブジェクトの原位置に差替オブジェクトデータベース中のどの差替オブジェクトを挿入すべきかを示す差替入力情報を、ユーザから受け取るステップと、
オブジェクト表現入力画像を更新しその挿入所要差替オブジェクトを削除済オブジェクトの原位置に組み込むことによりオブジェクト表現出力画像を生成するステップと、
差替オブジェクトウィンドウを生成して表示させ、差替オブジェクトデータベースに登録されている１個以上の差替オブジェクトを表す別版表記を、その中に表示させるステップと、
を有し、
ユーザから受け取る差替入力情報が、差替オブジェクトウィンドウ内に表示されているどの差替オブジェクトの別版表記をユーザが選択したかを示す情報であり、
差替オブジェクトデータベースに登録されている差替オブジェクトが、ラスタ画像データ又はそれに変換しうるデータからなることを特徴とする。

本発明の一実施形態に係る画像データ編集システム及び方法を実施できるディジタル画像処理システムを示す図である。 本実施形態に係る画像データ編集システム及び方法の模式図である。 本実施形態における画像データ編集手順を示すフローチャートである。 本実施形態によるある処理対象原稿の印刷結果を示す模式図である。 その原稿のオブジェクト表現入力画像を表示しているＧＵＩ表示画面を示す図である。 図３に示した手順に従いユーザが編集操作したとき図５の画像に生じる変化の例を示す図である。 ユーザの更なる操作によって図６の画像に施される改変の例を示す図である。 ユーザの更なる操作によって図７の画像に施される改変の例を示す図である。 図４に示した印刷結果が得られる原稿のオブジェクト表現入力画像に上記一連の操作、編集を施して得られるオブジェクト表現出力画像を、本実施形態に従い印刷した結果を示す図である。

符号の説明

ＤＢ 差替オブジェクトデータベース、ＨＩ 留置エリア画像、Ｏ１，Ｏ２，…Ｏｎ，Ｏ４ａ，Ｏ４ｂ オブジェクト、ＯＩ オブジェクト表現入力画像、ＯＯ オブジェクト表現出力画像、ＲＯ 差替オブジェクト、ＲＯ’ ＲＯの別版表記（サムネイル）、ＲＷ 差替オブジェクトウィンドウ、Ｓ１ ページ単位原稿スキャンステップ、Ｓ２ ページ単位画像断片化ステップ、Ｓ３ オブジェクト表現入力画像留置エリア画像表示ステップ、Ｓ４ 差替オブジェクトウィンドウ表示ステップ、Ｓ５ オブジェクト表現入力画像編集ステップ、Ｓ５ａ オブジェクト表現入力画像留置エリア画像差替オブジェクトウィンドウ同時表示ステップ、Ｓ５ｂ 移動所望オブジェクト指定ステップ、Ｓ５ｃ 更新ステップ、Ｓ５ｄ 仮オブジェクト生成ステップ、Ｓ５ｇ 差替オブジェクト選択ステップ、Ｓ５ｈ 差替オブジェクト挿入ステップ、Ｓ５ｉ 差替オブジェクトデータベース更新ステップ、Ｓ６ オブジェクト表現出力画像データセーブステップ、ＴＯ 仮オブジェクト。

Claims (4)

1. 入力画像を複数個の入力画素によって表現する入力画像データを導出する手段と、
   入力画像データに対する断片化処理によりオブジェクト表現入力画像、即ちそれぞれ入力画像の同一構成部分に属し且つ同種コンテンツに係る複数個の入力画素の空間的集まりであるオブジェクト複数個からなる画像を、生成する手段と、
   留置エリア画像を生成しオブジェクト表現入力画像と同時に表示させる手段と、
   オブジェクト表現入力画像を見たユーザがそのオブジェクト表現入力画像から留置エリア画像へとどのオブジェクトの移動を求めているかを示す編集入力情報を、そのユーザから受け取る手段と、
   その移動所望オブジェクトがオブジェクト表現入力画像から削除され仮オブジェクトとして留置エリア画像に挿入されるよう、且つ留置エリア画像への挿入位置がオブジェクト表現入力画像における原位置に空間的に対応する位置になるよう、編集入力情報に従いオブジェクト表現入力画像及び留置エリア画像を更新する手段と、
   オブジェクト表現入力画像における削除済オブジェクトの原位置に差替オブジェクトデータベース中のどの差替オブジェクトを挿入すべきかを示す差替入力情報を、ユーザから受け取る手段と、
   オブジェクト表現入力画像を更新しその挿入所要差替オブジェクトを削除済オブジェクトの原位置に組み込むことによりオブジェクト表現出力画像を生成する手段と、
   を有する画像データ編集装置。
2. 請求項１記載の画像データ編集装置であって、
   差替オブジェクトウィンドウを生成して表示させ、差替オブジェクトデータベースに登録されている１個以上の差替オブジェクトを表す別版表記を、その中に表示させる手段を有し、
   ユーザから受け取る差替入力情報が、差替オブジェクトウィンドウ内に表示されているどの差替オブジェクトの別版表記をユーザが選択したかを示す情報である画像データ編集装置。
3. 請求項２記載の画像データ編集装置であって、オブジェクト表現入力画像、留置エリア画像及び差替オブジェクトウィンドウを同時表示させる画像データ編集装置。
4. 請求項２記載の画像データ編集装置であって、
   記憶領域をスキャンすることによりその記憶領域に格納されている画像ファイルを認識する手段と、
   認識した画像ファイル毎にラスタ画像データ版の差替オブジェクトを生成する手段と、
   生成したラスタ画像データ版の差替オブジェクトを差替オブジェクトデータベースに登録する手段と、
   を有する画像データ編集装置。

Images