JP6617873B2 - コピーペースト方法、プログラム - Google Patents

Description

本発明は、イメージデータのコピーペースト方法及びそのプログラムに関する。

複数の資料から必要な部分を抜き出しこれらを組み合わせて新たな資料を作る場合に、各資料の作成に使用されたアプリケーションプログラムと新たな資料の作成に使用するアプリケーションプログラムが相違すると、各資料から抜き出した部分(オブジェクト)を、そのままの形式で貼り付けることができない。その場合、抜き出す部分をイメージデータとしてコピーし、新たな資料にペーストする、といったことが行われる。

下記特許文献１には、手書きによって入力された複数のストロークを含む手書き文書をコピーペーストする場合に、手書きの文字列をテキストデータに変換する等の整形処理を施したデータ、もしくは、整形処理を行っていないデータのいずれかを、ペースト時に貼り付ける技術が開示されている。

特開２０１５−１３８４９４号公報

コピー対象をイメージデータとしてペーストすると、その一部を変更して利用するといったことが難しくなる。たとえば、画像やグラフに含まれる注釈等の文字部分を変更したり、図形の配列や文字列の改行位置を変更したり、色、サイズ、フォントを変更したりするといったことができず、素材としての活用が制限されてしまう。

上記特許文献１に開示の技術は、手書きのストロークをテキストデータ等に変換する技術であってイメージデータを対象としたものでないので、上記の問題には対応できない。

本発明は、上記の問題を解決しようとするものであり、イメージデータを素材として利用しやすい形式で貼り付けることのできるコピーペースト方法およびプログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］表示画面上の選択されたオブジェクトに対するコピー操作に従ってそのオブジェクトを取り込む取り込みステップと、
前記取り込みステップで取り込んだオブジェクトがイメージデータを含む場合にそのイメージデータの中で別形式のオブジェクトに変換し得る箇所を抽出する抽出ステップと、
前記抽出ステップで抽出した箇所を、その箇所のイメージデータの内容に応じた別形式のオブジェクトに変換する変換ステップと、
前記変換ステップで別形式のオブジェクトに変換された箇所を抽出元のイメージデータから削除する削除ステップと、
ユーザから受けた貼り付け操作で指示された貼り付け場所に、前記変換ステップで変換して得た別型式のオブジェクトはその別形式で貼り付け、前記削除ステップで削除後のイメージデータはイメージデータの形式で貼り付ける貼り付けステップと、
を有することを特徴とするコピーペースト方法。

上記発明では、表示画面上の選択されたオブジェクトに対するコピー操作に従って取り込んだイメージデータのうちの文字部分や図形部分を、ユーザから受けた貼り付け操作で指示された貼り付け場所にテキストや図など別形式のオブジェクトに変換してペーストすることができる。

［２］前記貼り付けステップでは、前記別形式に変換されたすべてのオブジェクトおよび前記削除後のイメージデータを、互いの位置関係が前記抽出元のイメージデータの中での位置関係と同じになるように配置して貼り付ける
ことを特徴とする［１］に記載のコピーペースト方法。

上記発明では、別形式に変換されて貼り付けた場合に、各オブジェクトの相対位置が元のイメージデータと同じ位置関係が保持される。

［３］前記貼り付けステップでは、前記別形式に変換された個々のオブジェクトおよび前記削除後のイメージデータを個別に選択する操作を受け付け、その選択されたものを貼り付ける
ことを特徴とする［１］に記載のコピーペースト方法。

上記発明では、変換された個々のオブジェクトや削除後のイメージデータを個別に選択して貼り付けることができる。

［４］前記抽出元のイメージデータに含まれるすべての要素を前記変換ステップで別形式のオブジェクトに変換した場合は、前記削除後のイメージデータが存在してもこれを前記貼り付けステップでの貼り付け対象から除外する
ことを特徴とする［１］乃至［３］のいずれか１つに記載のコピーペースト方法。

上記発明では、削除後のイメージデータは空白であって意味のある要素を含まないので、これを貼り付け対象から除外する。

［５］別形式のオブジェクトに変換された箇所を前記イメージデータから削除する方法は、前記変換された箇所を、特定の色または前記変換された箇所の周辺と同じ色で塗り潰す
ことを特徴とする［１］乃至［４］のいずれか１つに記載のコピーペースト方法。

［６］前記別形式は、テキスト、図形、表、グラフの中の少なくとも１つを含む
ことを特徴とする［１］乃至［５］のいずれか１つに記載のコピーペースト方法。

［７］情報処理装置によって実行されるプログラムであって、
［１］乃至［６］のいずれか１つに記載のコピーペースト方法の各ステップを有する
ことを特徴とするプログラム。

本発明に係るコピーペースト方法およびプログラムによれば、イメージデータを素材として利用しやすい形式で貼り付けることができる。

本発明の実施の形態に係るコピーペースト方法およびプログラムが実行される情報処理装置の概略構成を示すブロック図である。 本発明の実施の形態に係るコピーペースト方法およびプログラムの機能構成を示す図である。 本発明のコピーペースト方法におけるデータの変遷の一例を示す図である。 抽出部が行う処理を示す流れ図である。 オブジェクト情報テーブルの一例を示す図である。 変換部が行う処理を示す流れ図である。 変換済みデータ登録テーブルの一例を示す図である。 除去部が行う処理を示す流れ図である。 ユーザがコピー指示を行ったときの表示画面の一例を示す図である。 ユーザがペースト指示を行ったときの表示画面の一例を示す図である。 第２の実施の形態でユーザがペースト指示を行ったときの表示画面の一例を示す図である。

以下、図面に基づき本発明の実施の形態を説明する。

＜第１の実施形態＞
図１は、本発明の実施の形態に係るコピーペースト方法およびプログラムが実行される情報処理装置１０の概略構成を示している。情報処理装置１０は、ＣＰＵ(Central Processing Unit)１１に、ＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、ハードディスク装置１４、ディスプレイ１５、入力装置１６、通信部１７などを接続して構成される。

ＣＰＵ１１は、ＯＳプログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムを実行する。ＲＯＭ１２やハードディスク装置１４には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種の処理を実行することで各種の機能が実現される。本発明のコピーペースト方法に係るプログラムは、ハードディスク装置１４に格納されており、ＣＰＵ１１によって実行される。

ＲＡＭ１３は、ＣＰＵ１１がプログラムを実行する際に各種のデータを一時的に記憶するワークメモリとして使用される。ディスプレイ１５は、液晶モニタなどであり、入力装置１６はキーボードやマウスなどである。

通信部１７は、ネットワークを通じて外部装置と通信する機能を果たす。

本発明に係るコピーペースト方法では、イメージデータのコピー＆ペースト時に、イメージデータ内に含まれるオブジェクト（文字列や図表を表している箇所）を抽出し、抽出したオブジェクトを、オブジェクトの種類（該当箇所のイメージが示すものの種類）に応じて別形式のデータ（テキストデータ・グラフデータ・表データ、Shapeデータ等）に変換し、ペースト時は、変換後のオブジェクト形式で貼付けを実施する。

また、オブジェクト抽出時に、抽出されなかった（特定の種類と判断されなかった）オブジェクトが存在する場合は、変換後のオブジェクトと共に、取り込み時のイメージデータも併せてペーストを行う。この際、元のイメージデータの上に、別形式に変換して得たオブジェクトを重ねてペーストすると、その部分が２重となり、ペースト後の編集に手間がかかる。そこで、本発明では、別形式に変換して得たオブジェクトに対応する部分は、元のイメージデータから削除する。

このような処理を行うことにより、イメージデータを素材として利用しやすい形式で貼り付けることができる。

図２は、本発明に係るコピーペースト方法およびプログラムの機能構成を示した図である。取り込み部２１は、コピー操作に従ってコピーデータ（ここではイメージデータとする）を取り込む。

抽出部２２は、取り込んだイメージデータの中で別形式のオブジェクトに変換し得る箇所を抽出する。

変換部２３は、抽出したそれぞれの箇所を、その箇所のイメージデータの内容に応じた別形式のオブジェクトに変換する。たとえば、文字列の箇所はテキストオブジェクトに変換し、図形の箇所は図形オブジェクトに変換する。

除去部２４は、別形式のオブジェクトに変換された箇所を元のイメージデータから削除する。

貼り付け部２５は、別形式に変換されたオブジェクトおよび除去部２４で削除後のイメージデータを、ユーザからの貼り付け操作に従って貼り付ける。

図３は、本発明によるコピーペーストにおけるデータの変遷の一例を示している。同図（ａ）は、取り込み部２１で取り込んだイメージデータであり、文字、図形、写真がいずれもイメージデータとして含まれている。同図（ｂ）は抽出部２２で文字、図形、写真の有る箇所をそれぞれ検出して抽出した状態を示している。抽出した箇所はそれぞれイメージオブジェクトである。

イメージオブジェクトの抽出方法は既知の方法でよい。たとえば、レイアウト解析、文字認識、図形判別などの技術を用いる。同図（ｂ）の例では、「ＡＢＣＤ」の文字列が第１オブジェクト、円の図形が第２オブジェクト、星をアレンジしたような形状の写真部分が第３オブジェクトとして抽出されている。

同図（ｃ）は、抽出した各イメージオブジェクトを、変換部２３で、そのイメージオブジェクトの内容に適した別形式に変換して得たオブジェクトと、別形式に変換した部分を除去部２４により元のイメージデータから削除して得た削除後のイメージデータを示している。

同図（ｄ）は、同図（ｃ）の各オブジェクトを貼り付けた状態を示している。この例では、別形式に変換して得た各オブジェクトおよび削除後のイメージデータは、互いの位置関係が取り込んだコピー元のイメージデータの中での位置関係と同じになるように配置されて貼り付けられている。

図４は、抽出部２２が行う処理の流れを示している。コピー指示を受けると（ステップＳ１０１）、コピーデータを取り込み、そのコピーデータにイメージデータが含まれるか否かを調べる（ステップＳ１０２）。イメージデータが含まれていなければ（ステップＳ１０２；Ｎｏ）、本処理は終了する。

イメージデータが含まれている場合は（ステップＳ１０２；Ｙｅｓ）、すべてのオブジェクトの抽出が完了するまで、以下の処理を繰り返す。まず、オブジェクトの抽出処理を行い（ステップＳ１０３）、オブジェクト抽出結果をオブジェクト情報テーブル３０に登録する（ステップＳ１０４）。すべてのオブジェクトの抽出が完了したら本処理は終了する。

具体的には、コピー元のイメージデータに含まれる文字、グラフ、図形等を表している箇所をそれぞれイメージオブジェクトとして検出し、その情報をオブジェクト情報テーブル３０に登録する。

なお、図４では、コピー指示を受けた時に抽出処理を実行しているが、ペースト指示を受けたときに実行する構成でもよい。

図５は、抽出したオブジェクトを登録して作成されたオブジェクト情報テーブル３０の一例を示している。オブジェクト情報テーブル３０には、オブジェクト毎に、そのオブジェクトを一意に識別するために付与したＩＤ（（Identification）番号）、オブジェクトの種類（タイプ）、元のイメージデータの中でそのオブジェクトが存在する領域（描画領域）を示す情報、などが登録される。

図６は、変換部２３が行う処理を示す流れ図である。抽出したオブジェクト情報とコピー元のイメージデータを基に、各イメージオブジェクトをそのイメージオブジェクトの内容に対応した別形式のオブジェクトデータに変換する。

具体的には、文字のイメージデータをテキストデータに、グラフのイメージデータをグラフデータに、表のイメージデータを表データに、図形のイメージデータをShapeデータに変換したものを変換オブジェクトとして生成し、そのデータを保存する。別形式のオブジェクトに変換されなかった要素（イメージオブジェクト）については、元のイメージデータのまま、もしくは、元のイメージデータから該当要素部を切り出したイメージデータとして（抽出したイメージオブジェクトをイメージのまま）保持する。

図６の流れ図では、まず、オブジェクト情報テーブル３０が作成されているか否かを調べ（ステップＳ２０１）、作成されていなければ（ステップＳ２０１；Ｎｏ）、本処理を終了する。

オブジェクト情報テーブル３０が作成されている場合は（ステップＳ２０１；Ｙｅｓ）、登録されているすべてのオブジェクトについて以下の処理を行う。まず、オブジェクトのタイプ（種類）を調べる（ステップＳ２０２）。テキストならば（ステップＳ２０２；文字）、そのオブジェクトのイメージデータをテキストデータに変換する（ステップＳ２０３）。

オブジェクトのタイプが図ならば（ステップＳ２０２；図）、そのオブジェクトのイメージデータを図形データに変換する（ステップＳ２０４）。オブジェクトのタイプが表ならば（ステップＳ２０２；表）、そのオブジェクトのイメージデータを表データに変換する（ステップＳ２０５）。オブジェクトのタイプがグラフならば（ステップＳ２０２；グラフ）、そのオブジェクトのイメージデータをグラフデータに変換する（ステップＳ２０６）。その後、変換によって得た変換オブジェクトのデータを図７に示す変換済みデータ登録テーブル４０に保存する（ステップＳ２０７）。

オブジェクト情報テーブル３０に登録されているすべてのオブジェクトについて上記の処理を終えたら本処理を終了する。なお、オブジェクト情報テーブル３０に登録されているタイプがイメージのオブジェクトは別形式に変換されないので、この時点では変換済みデータ登録テーブル４０には登録されていない。

図７は、変換済みデータ登録テーブル４０の例を示す。変換済みデータ登録テーブル４０には、登録されるオブジェクト毎に、そのオブジェクトのＩＤ(番号)、オブジェクトのタイプ（種類）、元のイメージデータの中での描画位置、変換オブジェクトのデータや削除後のイメージデータの実体が保存されている保存先のアドレス、などが登録される。

保存される変換オブジェクトのデータは、オブジェクトのタイプがテキストの場合は、テキストデータの他に、文字色、文字サイズ等の属性情報を持つ。オブジェクトのタイプが図形の場合は、図形の種類（三角形、四角形等）やサイズ、形状（ベクターデータ）、色等の属性情報を持つ。

オブジェクトのタイプが表の場合は、表の行列数、各セルの値、罫線情報（色、線形、線幅等）の情報を持つ。オブジェクトのタイプがグラフの場合は、グラフの種類、タイトル、値、グラフレイアウト情報（グラフの色、軸の値等）などの情報を持つ。

なお、オブジェクト間の位置関係を維持せずに、ペーストを行う場合（後述する第２の実施の形態：図１０参照）は、変換オブジェクトのデータとして描画位置の情報を保持しなくてもよい。

図８は、除去部２４が行う処理を示す流れ図である。別形式に変換されたオブジェクトを対象に、コピー元のイメージデータから該当オブジェクトに対応する領域を削除する処理を行い、削除後のイメージデータを、１つのオブジェクトとして変換済みデータ登録テーブル４０に登録する。

図８の処理では、まず、オブジェクト情報テーブル３０が生成されているか否かを調べ（ステップＳ３０１）、生成されていなければ（ステップＳ３０１；Ｎｏ）、本処理を終了する。

オブジェクト情報テーブル３０が存在する場合は（ステップＳ３０１；Ｙｅｓ）、タイプがイメージのオブジェクトがオブジェクト情報テーブル３０に登録されているか否かを調べる（ステップＳ３０２）。

タイプがイメージのオブジェクトが登録されている場合は（ステップＳ３０２；Ｙｅｓ）、オブジェクト情報テーブル３０に登録されている各オブジェクトについて以下の処理を行う。

注目するオブジェクトのタイプがイメージか否かを調べ（ステップＳ３０４）、イメージでなければ（ステップＳ３０４；Ｎｏ）、そのオブジェクトの描画領域に対応する部分をコピー元のイメージデータから削除し（ステップＳ３０５）。イメージならば削除しない。

削除方法としては、特定の色（白、黒、事前に抽出した背景色等）で対象の領域を塗りつぶしても良いし、削除対象のオブジェクトの描画領域の周辺色から動的に色を変更して塗りつぶしても良い。さらに、削除した領域を透明にしてもよい。

オブジェクト情報テーブル３０に登録されているすべてのオブジェクトについて上記の処理が終了したら、別形式のオブジェクトの描画領域に対応する部分がすべて削除されたイメージデータ（削除後イメージデータ）を、変換済みデータ登録テーブル４０に登録して（ステップＳ３０６）、本処理を終了する。

削除後のイメージデータは、コピー元のイメージデータから別形式に変換された部分を削除したものであるが、たとえば、何も存在しない空白領域はカットしてトリミングするようにしてもよい。複数のイメージオブジェクトが別形式に変換されずに残っている場合は、それぞれのイメージオブジェクトを個別にトリミングして、削除後イメージデータを複数に分けてもよい。

オブジェクト情報テーブル３０にタイプがイメージのオブジェクトが登録されていなければ（ステップＳ３０２；Ｎｏ）、抽出されたすべての要素（イメージオブジェクト）が別形式のオブジェクトに変換されているので、コピー元のイメージデータから別形式のオブジェクトの描画領域をすべて削除して得られる削除後のイメージデータは空白のみで何の要素もない。そこで、コピー元のイメージデータ全体を、ペースト対象から削除する（ステップＳ３０３）。具体的には、削除後イメージデータを変換済みデータ登録テーブル４０に登録処理を行わないことで、削除後イメージデータが貼り付け対象から除外される。

貼り付け部２５は、変換済みデータ登録テーブル４０に登録されているオブジェクトをペースト操作に応じて貼り付ける。

図９は、ユーザがコピー指示を行ったときの表示画面の状態を示している。ユーザは、コピーしたいオブジェクトを選択し、コピー指示を行う。これにより、指示されたオブジェクトがコピー対象として取り込まれる。

図１０は、ユーザがペースト指示を行ったときの表示画面の状態を示している。ユーザが、ペーストしたい場所でペースト指示を行うと、コピー元のイメージデータのうち別形式に変換できた部分は別形式のオブジェクトとして貼り付けられ、別形式に変換されなかった部分はイメージデータの形式で貼り付けられる。図１０の例では、各オブジェクトの相対位置はコピー元のイメージデータ内と同じ配置にされて、すべてのオブジェクトが貼り付けられている。

この例では、別形式に変換されたオブジェクトについては枠が表示されると共に、オブジェクトを拡大、縮小、回転等させる操作を行うためのハンドルが表示されている。

なお、オブジェクト情報テーブル３０や変換済みデータ登録テーブル４０など、コピーペーストに関連するデータを保持する場所は、クリップボードであってもよいし、別の一時保存領域であってもよい。

＜第２の実施の形態＞
第１の実施の形態では、コピー元のイメージデータと同じ相対位置を保持してすべてのオブジェクトを一度に貼り付けた。第２の実施の形態では、オブジェクト毎に個別に貼り付けることができる。取り込み部２１、抽出部２２、変換部２３、除去部２４が行う処理は第１の実施の形態と同様である。コピー対象の取り込みについては第１の実施の形態で示した図９と同様である。

図１１に示すように、第２の実施の形態では、貼り付け可能なオブジェクトの一覧６０が画面に表示される。具体的には、一覧６０には、変換済みデータ登録テーブル４０に登録されているオブジェクトが列挙される。ユーザは、ペースト時に、一覧６０の中から貼り付け対象のオブジェクトを選択し、貼り付けたい場所にドラッグ等の操作を行うことにより、必要なオブジェクトだけを取り出して、ペーストすることができる。

テキストオブジェクトや図形オブジェクトを個別に選択してペーストすれば、貼り付け先でそのオブジェクトの一部を変更する編集作業を容易に行うことができる。また、全体を貼り付けてから不要な部分を削除する操作を割愛することができる。

このように本発明によれば、コピー元のイメージデータをテキストや図形など別形式のオブジェクトに変換してペーストすることができるので、複数の資料から素材を取り出し、これらを組み合わせて新たな資料を作成するような場合に、元の資料のデータ形式や、レイアウト等を気にすることなく、簡単に、素材を最大限に活用（アレンジ）することができる。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

実施の形態では、別形式に変換されたオブジェクトは変換後の形式で貼り付けるようにしたが、貼り付けの際にユーザが、変換後の形式で貼り付けるか元のイメージデータの形式で貼り付けるかを選択できるようにしてもよい。この際、第２の実施の形態では、個々のオブジェクトの貼り付けに際して個別に貼り付け形式を選択できるとよい。

また、実施の形態では、別形式に変換可能なイメージオブジェクトはすべて別形式に変換するようにしたが、変換に適するか否かを自動判断し、あるいはユーザの判断（選択）を受け付け、適すると判断したイメージデータについてのみ別形式に変換するようにしてもよい。たとえば、写真を別形式に変換することがプログラム上で可能であったとしても、写真の部分は別形式に変換しないように自動判断する。

また、特定の種類のオブジェクトだけを別形式に変換する設定を受け付け可能としてもよい。たとえば、図形は変換するが、グラフは変換しない、といった設定である。この場合、変換対象以外は抽出部２２による抽出処理を行わなくてもよい。

本発明に係るコピーペースト方法およびプログラムはネットワーク上のサーバなどで実行されてもよく、クライアント端末で受け付けたコピーペーストの操作に関する処理をサーバで行うような場合にも適用される。

コピーデータにイメージデータと別形式のオブジェクトが存在する場合、元のコピーデータに存在する別形式のオブジェクトについてはそのまま貼り付ければよい。第２の実施の形態においては、イメージデータから別形式に変換したオブジェクトと同様に一覧６０に登録して個別に貼り付け可能にしてもよい。

１０…情報処理装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…ハードディスク装置
１５…ディスプレイ
１６…入力装置
１７…通信部
２１…取り込み部
２２…抽出部
２３…変換部
２４…除去部
２５…貼り付け部
３０…オブジェクト情報テーブル
４０…変換済みデータ登録テーブル
６０…一覧

Claims (7)

1. 表示画面上の選択されたオブジェクトに対するコピー操作に従ってそのオブジェクトを取り込む取り込みステップと、
   前記取り込みステップで取り込んだオブジェクトがイメージデータを含む場合にそのイメージデータの中で別形式のオブジェクトに変換し得る箇所を抽出する抽出ステップと、
   前記抽出ステップで抽出した箇所を、その箇所のイメージデータの内容に応じた別形式のオブジェクトに変換する変換ステップと、
   前記変換ステップで別形式のオブジェクトに変換された箇所を抽出元のイメージデータから削除する削除ステップと、
   ユーザから受けた貼り付け操作で指示された貼り付け場所に、前記変換ステップで変換して得た別型式のオブジェクトはその別形式で貼り付け、前記削除ステップで削除後のイメージデータはイメージデータの形式で貼り付ける貼り付けステップと、
   を有することを特徴とするコピーペースト方法。
2. 前記貼り付けステップでは、前記別形式に変換されたすべてのオブジェクトおよび前記削除後のイメージデータを、互いの位置関係が前記抽出元のイメージデータの中での位置関係と同じになるように配置して貼り付ける
   ことを特徴とする請求項１に記載のコピーペースト方法。
3. 前記貼り付けステップでは、前記別形式に変換された個々のオブジェクトおよび前記削除後のイメージデータを個別に選択する操作を受け付け、その選択されたものを貼り付ける
   ことを特徴とする請求項１に記載のコピーペースト方法。
4. 前記抽出元のイメージデータに含まれるすべての要素を前記変換ステップで別形式のオブジェクトに変換した場合は、前記削除後のイメージデータが存在してもこれを前記貼り付けステップでの貼り付け対象から除外する
   ことを特徴とする請求項１乃至３のいずれか１つに記載のコピーペースト方法。
5. 別形式のオブジェクトに変換された箇所を前記イメージデータから削除する方法は、前記変換された箇所を、特定の色または前記変換された箇所の周辺と同じ色で塗り潰す
   ことを特徴とする請求項１乃至４のいずれか１つに記載のコピーペースト方法。
6. 前記別形式は、テキスト、図形、表、グラフの中の少なくとも１つを含む
   ことを特徴とする請求項１乃至５のいずれか１つに記載のコピーペースト方法。
7. 情報処理装置によって実行されるプログラムであって、
   請求項１乃至６のいずれか１つに記載のコピーペースト方法の各ステップを有する
   ことを特徴とするプログラム。