JP6165026B2 - 画像処理装置、画像編集方法及び画像処理プログラム - Google Patents

画像処理装置、画像編集方法及び画像処理プログラム Download PDF

Info

Publication number
JP6165026B2
JP6165026B2 JP2013226852A JP2013226852A JP6165026B2 JP 6165026 B2 JP6165026 B2 JP 6165026B2 JP 2013226852 A JP2013226852 A JP 2013226852A JP 2013226852 A JP2013226852 A JP 2013226852A JP 6165026 B2 JP6165026 B2 JP 6165026B2
Authority
JP
Japan
Prior art keywords
editing
information
image
display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013226852A
Other languages
English (en)
Other versions
JP2015088986A (ja
Inventor
大介 市川
大介 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2013226852A priority Critical patent/JP6165026B2/ja
Publication of JP2015088986A publication Critical patent/JP2015088986A/ja
Application granted granted Critical
Publication of JP6165026B2 publication Critical patent/JP6165026B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、複合機やスキャナーなどの画像処理装置に関し、特に、画像処理装置が取得した画像の編集技術に関する。
スキャンした原稿画像をタッチパネル式表示部に表示し、その表示画像に対するタッチパネルを用いた編集作業を受け付け、その編集後の原稿画像を印刷出力できる画像処理装置が知られている(例えば下記特許文献1参照)。
この技術によれば、例えば、原稿画像を印刷しようとして画像処理装置の前に移動したユーザーが原稿の中に変更すべき箇所を発見した場合に、手書き修正等を行うべく自席に戻る必要がなくなる。
特開2006−126401号公報
ところで、同じテンプレートで作成されるテキスト原稿にあっては、該原稿が作成される都度、印刷出力の際にテンプレートの一部を変更する必要が生じ得る。例えば、日付入力欄を有するテンプレートを利用して作成されるテキスト原稿にあっては、作成の都度、日付を書き換える必要がある。しかし、日付の書き換えがたびたび失念されるというケースが考えられる。このようなケースにおいては、特許文献1の技術の採用によって自席に戻ることなくその場で変更箇所の修正をすることができるが、修正の必要性が生じる度に画像処理装置で修正作業を行うのは煩わしい。
本発明は、このような問題に鑑みてなされたものであり、その目的は、画像編集の利便性を向上することのできる画像処理装置、画像編集方法及び画像処理プログラムを提供することである。
本発明の一の局面に係る画像処理装置は、画像取得手段と、編集情報取得手段と、第1編集処理手段とを備える。前記画像取得手段は、画像情報を取得する。前記編集情報取得手段は、キーワード情報を含む編集情報を記憶媒体から取得する。前記第1編集処理手段は、前記編集情報取得手段により前記記憶媒体から編集情報が取得され、且つ、前記画像情報取得手段により画像情報が取得されると、その取得画像情報のうち、取得されたキーワード情報に対応するキーワード対応情報の編集処理を行う。
本発明の他の局面に係る画像編集方法は、第1ステップと、第2ステップと、第3ステップとを有する。前記第1ステップは、画像情報を取得する。前記第2ステップは、キーワード情報を含む編集情報を記憶媒体から取得する。前記第3ステップは、前記第2ステップで前記記憶媒体から編集情報が取得され、且つ、前記第1ステップで画像情報が取得されると、その取得画像情報のうち、取得されたキーワード情報に対応するキーワード対応情報の編集処理を行う。
本発明の他の局面に係る画像処理プログラムは、コンピューターに、第1ステップ、第2ステップ、第3ステップを含む処理を実行させる。前記第1ステップは、画像情報を取得する。前記第2ステップは、キーワード情報を含む編集情報を記憶媒体から取得する。前記第3ステップは、前記第2ステップで前記記憶媒体から編集情報が取得され、且つ、前記第1ステップで画像情報が取得されると、その取得画像情報のうち、取得されたキーワード情報に対応するキーワード対応情報の編集処理を行う。
本発明によれば、画像編集の利便性を向上することができる。
本発明の実施形態に係る画像処理装置の内部構成を示す模式図である。 画像処理装置の電気的な構成の一例を示すブロック図である。 制御部により行われる画像の編集処理のフローチャートである。 制御部により行われる画像の編集処理のフローチャートである。 編集設定画面の一例を示す図である。 キーワード選択画面の一例を示す図である。 編集画面の一例を示す図である。 編集画面の一例を示す図である。
以下、図面を参照しながら、本発明の実施形態について説明する。なお、以下に説明される実施形態は本発明を具体化した一例にすぎず、本発明の技術的範囲を限定するものではない。
まず、図1及び図2を参照して本発明の実施形態に係る画像処理装置1の概略構成について説明する。画像処理装置1は、画像読取機能やファクシミリー機能、画像形成機能などを備えた複合機である。図1に示されるように、画像処理装置1は、画像読取部2、原稿カバー3、自動原稿送り装置(Auto Document Feeder;以下、ADFという)4、画像形成部5、操作表示部6(図2参照)、給紙カセット7、通信インターフェース(I/F)部8(図2参照)、及びこれらを制御する制御部9(図2参照)を備えている。なお、本発明に係る画像処理装置の一例として複合機である画像処理装置1を例示して説明するが、本発明はこれに限られず、例えばプリンター、ファクシミリー装置、複写機あるいはスキャナー装置も本発明に係る画像処理装置に該当する。
画像読取部2は、画像取得手段の一例であり、原稿から画像データを読み取る画像読取処理を実行する。図1に示されるように、画像読取部2は、コンタクトガラス10、読取ユニット11、ミラー12,13、光学レンズ14及びCCD(Charge Coupled Device)15などを備えている。
読取ユニット11は、LED光源16及びミラー17を備えており、ステッピングモーター等の駆動モーターを用いた移動機構(不図示)により副走査方向18(図1における左右方向)へ移動可能に構成されている。そして、前記駆動モーターにより読取ユニット11が副走査方向18へ移動されると、LED光源16から画像読取部2の上面に設けられたコンタクトガラス10へ向けて照射される光が副走査方向18へ走査される。
ミラー17は、LED光源16から光が照射されたときに、原稿又は原稿カバー3の裏面で反射した反射光をミラー12へ向けて反射させる。ミラー17で反射した光は、ミラー12,13により光学レンズ14に導かれる。光学レンズ14は、入射した光を集光してCCD15に入射させる。
CCD15は、受光した光をその光量(輝度の強度)に応じた電気信号(電圧)に変換して制御部9へ出力する光電変換素子である。制御部9では、CCD15からの電気信号を画像処理することにより原稿の画像データを生成する。なお、本実施形態では、撮像素子としてCCD15を用いた例について説明するが、CCD15による読取機構に代えて、CCD15よりも焦点距離の短い密着型のイメージセンサー(CIS: Contact Image Sensor)を用いた読取機構を適用することも可能である。
画像読取部2には、原稿カバー3が回動自在に設けられている。原稿カバー3が回動操作されることにより、画像読取部2の上面のコンタクトガラス10が開閉される。原稿カバー3の回動支持部には、リミットスイッチなどのカバー開検出センサー(不図示)が設けられている。ユーザーが原稿の画像を読み取らせようとして原稿カバー3が開けられると、そのカバー開検出センサーが作動して、その検出信号(カバー開検出信号)が制御部9に出力される。
ここで、画像読取部2による原稿画像の読み取りは、以下の手順で行われる。まず、原稿がコンタクトガラス10上に載置され、その後、原稿カバー3が閉姿勢にされる。その後、操作表示部6から画像読取指示が入力されると、読取ユニット11を副走査方向18の右向きへ移動させつつLED光源16から連続して順次1ライン分の光を照射させる。そして、原稿又は原稿カバー3の裏面からの反射光がミラー17,13,14及び光学レンズ14を介してCCD15に導かれ、CCD15にて受光した光量に応じた光量データが順次制御部9に出力される。制御部9では、光が照射された領域全体における光量データが得られると、その光量データを処理することにより、前記光量データから原稿の画像データを生成する。
なお、原稿カバー3にADF4が設けられている。ADF4は、原稿セット部19にセットされた一以上の原稿を複数の搬送ローラーにより順次搬送して、コンタクトガラス10上に定められた自動原稿読取位置を副走査方向18の右向きへ通過するように原稿を移動させる。ADF4による原稿の移動時は、前記自動原稿読取位置の下方に読取ユニット11が配置され、この位置で読取ユニット11により移動中の原稿の画像が読み取られる。原稿セット部19には、接点信号を出力可能な機械的な原稿検出センサー(不図示)が設けられている。原稿セット部19に原稿がセットされると、前記原稿検出センサーが作動して、その検出信号(原稿検出信号)が制御部9に出力される。
図1に示されるように、画像形成部5は、画像読取部2で読み取られた画像データ、又は外部のパーソナルコンピューター等の情報処理装置から通信I/F部8を通じて入力された印刷ジョブに基づいて画像形成処理(印刷処理)を実行する電子写真方式の画像形成手段である。具体的には、画像形成部5は、感光体ドラム20、帯電部21、現像部22、トナーコンテナ23、転写ローラー24、除電部25、定着ローラー26、加圧ローラー27などを備えている。なお、本実施形態では、電子写真方式の画像形成部5を例にして説明するが、画像形成部5は電子写真方式のものに限られず、インクジェット記録方式のものであっても、或いはそれ以外の記録方式又は印刷方式のものであってもかまわない。
ここで、画像形成部5では、給紙カセット7から供給される印刷用紙に対する画像形成処理が以下の手順で行われる。まず、通信I/F部8を通じて印刷指示を含む印刷ジョブが入力されると、帯電部21により感光体ドラム20が所定の電位に一様に帯電される。次に、レーザスキャナユニット(Laser Scanner Unit;LSU 不図示)により感光体ドラム20の表面に印刷ジョブに含まれる画像データに基づく光が照射される。これにより、感光体ドラム20の表面に静電潜像が形成される。そして、感光体ドラム20上の静電潜像は現像部22によりトナー像として現像(可視像化)される。なお、現像部22には、トナーコンテナ23からトナー(現像剤)が補給される。続いて、感光体ドラム20に形成されたトナー像は転写ローラー24により印刷用紙に転写される。その後、印刷用紙に転写されたトナー像は、その印刷用紙が定着ローラー26及び加圧ローラー27の間を通過して排出される際に定着ローラー26で加熱されて溶融定着する。なお、感光体ドラム20の電位は除電部25で除電される。
図2において、通信I/F部8は、画像処理装置1にインターネット又はLANのような通信ネットワークを介して接続された外部装置との間でデータ通信を実行するインターフェースである。記憶部28は、ハードディスクドライブ(Hard Disc Drive;HDD)等の不揮発性メモリで構成される。
制御部9は、CPU(Central Processing Unit)と、ROM(Read Only Memory)及びRAM(Random Access Memory)を有するメモリとを備えて構成される。前記CPUは、各種の演算処理を実行するプロセッサーである。前記ROMは、前記CPUに各種の処理を実行させるための制御プログラムなどの情報が予め記憶される不揮発性の記憶部である。前記RAMは揮発性の記憶部であり、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される記憶部である。制御部9は、前記CPUが前記ROMに記憶されているプログラムを実行することにより、各部の動作を制御する。
操作表示部6は、表示部29と操作部30とを有する。表示部29は、例えばカラー液晶ディスプレイなどで構成される。表示部29は、操作表示部6を操作するユーザーに対して各種の情報を表示する。本実施形態では、ユーザーの指示に基づいて、画像読取部2により読み取られた原稿の画像(以下、読取画像という)がプレビュー画像として表示部29に表示される。表示部29は、表示手段の一例である。前記読取画像は取得画像の一例である。
操作部30は、表示部29に隣接配置された各種の押しボタンキーや表示部29の表示画面上に配置されるタッチパネルである。操作部30がユーザーによって操作されることにより、ユーザーによる各種の指示が画像処理装置1に入力される。操作部30のタッチパネルは、ドラッグ操作(なぞる操作)やタッチ操作などの各種操作を検出することが可能である。
画像処理装置1においては、画像読取部2、画像形成部5、操作表示部6、通信I/F部8、記憶部28及び制御部9が相互にデータの入出力を行うことができるように、各構成要素がデータバス200を介して接続されている。
ところで、画像処理装置1では、例えばテキスト原稿をコピーする場合に、その一連のコピー動作のうちの読取動作で得られた画像情報(読取画像情報)に対して操作表示部6を用いた編集が可能である。前記編集とは、例えばユーザーにより指定された文字又は文字列(以下、単に文字という)を太字体に変えたり所望の文字に対して下線を付加したりすることである。
すなわち、ユーザーは、画像処理装置1において、操作表示部6に対するドラッグ操作やタッチ操作により、読取画像情報の中から所望の文字を示した編集対象を選択することができる。また、ユーザーは、その編集対象によって示される文字を太字体に変えたりその文字に対して下線を付加したりするといった編集内容を選択することができる。
これに加えて、画像処理装置1では、前記編集において選択された編集対象と編集内容情報とを含む編集情報が所定の記憶媒体に格納される。そして、ユーザーは、その後の別の編集において、以前の編集で用いられた前記編集情報を利用することができる。すなわち、ユーザーは、前記編集情報の格納後に得られた読取画像に対して、その編集情報に基づく編集を行うことができる。
本実施形態では、前記編集情報を記憶する前記記憶媒体として記憶部28が用いられている。すなわち、本実施形態では、記憶部28は、操作表示部6に対するドラッグ操作やタッチ操作により選択された編集対象と編集内容とを含む編集情報を記憶する。記憶部28には、後述する編集情報の記憶指示が入力されるたびに編集情報が蓄積される。そして、記憶部28に記憶されている編集情報に基づく編集処理の必要性が生じた場合には、その編集情報が記憶部28から読み出される。
制御部9は、前記編集に関連する機能を実現するための表示制御部31と、編集情報取得部32と、第1編集処理部33と、特定処理部34と、設定処理部35と、第2編集処理部36と、格納処理部37とを有する。これらの各部は、前記CPUによりプログラムが実行されることにより、予め定められた各種の処理を行う。以下、これらの各部について説明する。なお、説明の都合上、編集情報取得部32及び第1編集処理部33については、特定処理部34、設定処理部35、第2編集処理部36及び格納処理部37の後に説明を行う。
表示制御部31は、後述する各種画面G1〜G4(図5〜図8参照)を作成して表示部29に表示させる。表示制御部31は、原稿の画像が画像読取部2により読み取られた場合、ユーザーによる指示に従い、その読取画像情報に基づくプレビュー画像情報を作成する。この作成指示は、後述する編集設定画面G1(図5参照)におけるONボタンB1の操作により入力される。前記プレビュー画像情報は、前記読取画像情報の解像度を調整した画像である。表示制御部31は、前記プレビュー画像情報が示す後述のプレビュー画像を所定の表示領域(プレビュー表示領域W1(図6参照))に嵌め込んだ画面(後述するキーワード選択画面G2(図6参照))を表示部29に表示させる。また、表示制御部31は、編集情報が記憶部28から読み出されると、この編集情報に基づきキーワードリスト情報を作成する。そして、表示制御部31は、このキーワードリスト情報が示す後述のキーワードリストを画面(キーワード選択画面G2(図6参照))の所定の表示領域(リスト表示領域)に嵌め込み、この画面G2を表示部29に表示させる。各画面G1〜G4については後述する。表示制御部31は、表示制御手段の一例である。
特定処理部34は、表示制御部31の制御によって表示部29に表示されたプレビュー画像の中から、入力された指示に基づいて編集対象を特定する。本実施形態では、キーワード選択画面G2のプレビュー表示領域W1における所望の表示領域に対しドラッグ操作が行われると、特定処理部34は、そのドラッグ操作が行われた表示領域の座標情報(画面上の位置情報)に基づいて前記読取画像情報における編集対象を特定する。さらに、特定処理部34は、所定の文字認識処理によりその編集対象によって示される文字を特定する。この特定された文字を示す文字情報は、後述の格納処理部37により記憶部29にキーワード情報として格納される。特定処理部34は、特定処理手段に相当する。
設定処理部35は、特定処理部34により特定された編集対象に対する編集内容を設定する。本実施形態では、設定処理部35は、後述する編集画面G3(図7参照)において編集内容が選択されると、その編集内容を特定処理部34により特定された編集対象に対する編集内容として設定する。この編集内容の選択方法については後述する。設定処理部35は、設定処理手段に相当する。
第2編集処理部36は、設定処理部35により設定された編集内容に基づき、特定処理部34により特定された編集対象の編集処理を行う。すなわち、読取画像情報における編集対象が特定処理部34により特定され、且つ、編集内容が設定処理部35により設定されると、第2編集処理部36は、特定処理部34により特定された編集対象に対し、設定処理部35により設定された編集内容を反映する。第2編集処理部36は、第2編集処理手段に相当する。
格納処理部37は、前記編集対象によって示される文字が特定処理部34により特定され、且つ、その編集対象に対する編集内容が設定処理部35により設定されると、その文字をキーワードとし、このキーワードを示す前記キーワード情報と前記編集内容を示す編集内容情報と編集情報として記憶部28に格納する格納手段として機能する。
編集情報取得部32は、操作部30を用いて選択された編集情報が記憶部28に格納された後に、操作部30から出力される操作信号に基づき、この記憶部28内の編集情報に基づく編集処理の必要性が生じた場合に、その編集情報を記憶部28から取得する編集情報取得手段として機能する。
第1編集処理部33は、操作部30から出力される操作信号に基づき、編集情報取得部32により記憶部28から前記編集情報が読み出された場合に、この編集情報に基づく編集処理を行う。具体的には、編集処理部33は、ユーザーの指示に基づいて特定の編集情報が編集情報取得部32により取得されると、その編集情報に含まれる前記キーワード情報が示す後述のキーワードが前記読取画像に含まれているか否かを判定する。そして、編集処理部33は、このようなキーワードが含まれていると判定すると、前記読取画像のうち前記キーワードが表示されている領域の画像情報(キーワード対応情報)に対し、前記編集情報に含まれる編集内容情報に基づく編集処理を行う。第1編集処理部33は、第1編集処理手段に相当する。
制御部9は、第1編集処理部33及び第2編集処理部36による編集処理後の画像情報を出力する。本実施形態では、制御部9は、前記画像情報に基づく画像形成を画像形成部5に行わせるため、その画像情報を画像形成部5に出力する。
次に、図3乃至図8を参照しつつ、制御部9の各部31〜36による具体的な編集処理について説明する。制御部9は、原稿セット部19に原稿がセットされた状態でコピー指示が行われた場合に、この編集処理を実行する。なお、図3、図4のフローチャートにおいてステップS1、S2、・・・は処理手順(ステップ)番号を表している。
表示部29に初期画面(不図示)が表示されている状態で、操作部30のコピースタートボタン(不図示)が操作されると(ステップS1でYES)、例えば図5に示すように、編集設定画面G1が表示部29に表示される(ステップS2)。
図5に示す編集設定画面G1には、画像読取部2による読取画像に基づくプレビュー画像の表示の要否を入力するための表示指示入力部37を有する。表示指示入力部37は、プレビュー画像の表示指示を入力するためのONボタンB1と、プレビュー画像の非表示指示を入力するためのOFFボタンB2とを有する。ONボタンB1が操作されると、このボタンB1が強調表示されるとともに、プレビュー画像を表示させる表示設定がされる。また、OFFボタンB2が操作されると、このボタンB2が強調表示されるとともに、プレビュー画像を非表示とする非表示設定がされる。プレビュー画像の表示・非表示の各設定値は、前記CPUのレジスタ(不図示)に記憶される。
また、図5に示す編集設定画面G1は、編集情報ID(Identification)を入力するためのID表示部38を有する。前記編集情報IDは、1又は複数の編集情報からなる後述の編集情報(図7、図8参照)が新規に作成される際に、その編集情報を識別して特定するための識別情報として編集情報IDが制御部9により生成(発行)される。その編集情報IDは、対応する編集情報のユーザーに通知される。この通知により、ユーザーは、以後の新たな編集を行う際に、この編集情報IDを用いて過去の編集情報を呼び出してこの編集情報を利用することができる。操作部30を用いて前記編集情報IDが入力されると、その編集情報IDがID表示部38に表示されるとともに前記CPUのレジスタに記憶される。
編集設定画面G1は、原稿のコピーを指示するためのコピーボタンB3を有する。このコピーボタンB3が操作されると、制御部9は、画像読取部2に原稿画像の読取動作を行わせる。
編集設定画面G1において、ONボタンB1が操作された場合(ステップS3でYES)、このボタンB1が強調表示されるとともに、プレビュー画像を表示させるプレビュー画像表示設定がされ(ステップS4)、ステップS7に進む。ONボタンB1が操作されず(ステップS3でNO)、OFFボタンB2が操作された場合(ステップS5でYES)、このボタンB2が強調表示されるとともに、プレビュー画像を表示させないプレビュー画像非表示設定がされ(ステップS6)、ステップS7に進む。なお、OFFボタンB2が操作されない場合(ステップS5でNO)、ステップS6の処理がスキップされてステップS7に進む。
ステップS7では、制御部9は、ID表示部38に前記編集情報IDが入力されたか否かを判定する。制御部9は、操作部30を用いて前記編集情報IDが入力された場合(ステップS7でYES)、その編集情報IDをID表示部38に表示させるとともに記憶し(ステップS8)、ステップS9に進む。なお、前記編集情報IDが入力されない場合は(ステップS7でNO)、ステップS8の処理がスキップされてステップS9に進む。
ステップS9では、制御部9は、コピーボタンB3が操作されたか否かを判定する。制御部9は、コピーボタンB3が操作されたと判定すると(ステップS9でYES)、制御部9が画像読取部2に原稿画像の読取動作を行わせる(ステップS10)。これにより、読取画像情報が得られる。制御部9は、コピーボタンB3が操作されていないと判定すると(ステップS9でNO)、ステップS3の処理に戻る。ONボタンB1もOFFボタンB2も操作されることなくコピーボタンB3が操作された場合、本実施形態では、前記プレビュー表示設定がされたものとして処理を進める。ただし、これに限らず、プレビュー非表示設定がされたものとして処理を進めてもよいし、ONボタンB1又はOFFボタンB2に対する操作を行うようにユーザーに指示し、ユーザーによりいずれかのボタンが操作されるまで、コピーボタンB3に対する操作を受け付けないようにしてもよい。
次に、制御部9は、現在、ONボタンB1の操作に基づく前記プレビュー画像表示設定がなされているか、OFFボタンB2の操作に基づく前記プレビュー画像非表示設定がなされているかを判定する(ステップS11)。
前記プレビュー画像表示設定がなされている場合、プレビュー画像を用いた編集対象の選択やその編集対象に対する編集内容の選択を行うことが可能となる。前記プレビュー画像非表示設定がなされている場合、編集対象の文字を選択するためのプレビュー画像が表示部29に表示されない。そのため、ユーザーは、プレビュー画像を用いた編集対象の選択やその編集対象に対する編集内容の選択を行うことはできない。すなわち、本実施形態では、表示指示入力部37における設定値(プレビュー画像の表示又は非表示)に応じて、編集対象及び編集内容の選択の可否が決まる。
制御部9は、前記プレビュー画像表示設定がなされていると判定すると(ステップS11でYES)、前記編集情報IDが前記CPUの前記レジスタに格納されているか否かを判定する(ステップS12)。
操作部30を用いて前記編集情報IDが入力され前記CPUの前記レジスタに格納された場合、この編集情報IDに基づいて記憶部28から前記編集情報を読み出すことが可能となる。操作部30を用いて前記編集情報IDが入力されず前記CPUの前記レジスタに格納されていない場合、記憶部28から前記編集情報を読み出すことができない。すなわち、本実施形態では、前記編集情報IDの入力の有無に応じて、記憶部28に格納されている前記編集情報に基づく編集処理の要否が決まる。
制御部9は、前記編集情報IDが前記CPUの前記レジスタに格納されていないと判定すると(ステップS12でNO)、ステップS13の処理を実行する。ステップS13では、表示制御部31が、ステップS10の読取動作で得られた読取画像情報に基づいてプレビュー画像情報を作成し、表示制御部31が、このプレビュー画像情報を用いて、例えば図6に示すようなキーワード選択画面G2を表示部29に表示させる。
図6に示すキーワード選択画面G2は、プレビュー表示領域W1を有する。このプレビュー表示領域W1には、表示制御部31により作成された前記プレビュー画像情報に基づくプレビュー画像が表示される。本実施形態においては、ユーザーは、読取画像における編集対象やその編集対象に対する編集内容の選択をこのプレビュー画像を用いて行うことが可能である。また、キーワード選択画面G2は、リスト表示領域W2及び編集開始ボタンB4を有する。
プレビュー表示領域W1に表示されているプレビュー画像のうち編集対象の表示部分に対して例えばドラッグ操作がなされることにより編集対象が選択されると(ステップS14でYES)、この編集対象によって示される文字がキーワードとして抽出される。この抽出されたキーワードがリスト表示領域W2にリスト表示される(ステップS15)。なお、編集対象が選択されない場合(ステップS14でNO)、ステップS15の処理はスキップされる。
制御部9は、編集開始ボタンB4が操作されたか否かを判定する(ステップS16)。制御部9は、編集開始ボタンB4が操作されたと判定すると(ステップS16でYES)、表示制御部31は、例えば図7に示す編集画面G3を表示部29に表示させる(ステップS17)。編集画面G3は、リスト表示領域W2に表示されている各キーワードについて編集を行うための画面である。なお、編集開始ボタンB4が操作されない場合は(ステップS16でNO)、編集開始ボタンB4が操作されるまで、ステップS14〜S16の処理が繰り返し行われる。
図7に示す編集画面G3は、編集情報表示領域W3を有する。編集情報表示領域W3には編集情報100が表示される。本実施形態においては、編集情報100は、左側にキーワードの表示欄、右側に編集内容の表示欄を有するテーブル形式で表示される。ステップS12で制御部9により前記CPUの前記レジスタに編集情報IDが格納されていないと判定された場合、編集情報100を新規に作成するモードとなる。この場合、図7に示すように、編集画面G3の表示当初は、キーワード選択画面G2で選択されたキーワードのみが編集情報表示領域W3に表示される。
また、編集画面G3には、選択されたキーワードについての編集内容の各表示領域にプルダウンボタンPBが設けられている。このプルダウンボタンPBに対して例えばタッチ操作が行われると、選択可能な編集内容がプルダウンメニュー表示方式で表示される。
選択可能な編集内容として、例えばキーワードの消去、キーワードの太字体への変換、キーワードへの下線付加、本日の日付への日付変換などがある。このような編集内容の選択が行われると、図8に示すように、編集情報100の編集内容表示欄に、その選択した編集内容が表示される。図8に示す編集情報100においては、方法というキーワードに対し、このキーワードを消去する編集処理が選択されている。また、詳細というキーワードに対し、このキーワードを太字変換する編集処理が選択されている。また、ドキュメントというキーワードに対し、下線を付加する編集処理が選択されている。また、日付表示を本日の日付に変換する編集処理が選択されている。
また、図7に示すように、編集画面G3は、この編集情報表示領域W3の他、プレビュー表示領域W4、登録ボタンB5及び編集完了ボタンB6を有する。プレビュー表示領域W4には、現在表示されている編集情報100に基づく編集処理を読取画像情報に対して施した編集画像のプレビュー画像が表示される。編集情報表示領域W3において編集内容が選択されたり変更されたりするたびに、選択された編集内容がリアルタイムで反映されたプレビュー画像が表示される。
第2編集処理部36は、前述したように、プルダウンボタンPBを用いて編集内容が選択されると(ステップS18でYES)、その編集内容をプレビュー表示領域W1に表示されているプレビュー画像に反映させる(ステップS19)。すなわち、第2編集処理部36は、前記読取画像に含まれるテキストのうち編集内容が選択されたキーワードに対し、その編集内容に基づいて編集した画像を作成する。そして、表示制御部31はこの画像のプレビュー画像を作成し、表示制御部31はこのプレビュー画像をプレビュー表示領域W4に表示させる。
例えば図8における編集情報100のように編集内容が選択された場合、図6に示すキーワード選択画面G2で表示されるプレビュー画像に対し、方法というキーワードが消去され、詳細というキーワードが太字変換されたプレビュー画像が生成され編集画面G4に表示される。また、このプレビュー画像においては、ドキュメントというキーワードに対して下線が付加され、日付表示が本日の日付に変換されている。これにより、ユーザーは、編集処理後の画像を印刷前に確認することができる。なお、編集内容が選択されない場合は(ステップS18でNO)、ステップS19の処理をスキップしてステップS20の処理が行われる。
ステップS18又はS19の処理後、制御部9は、登録ボタンB5が操作されたか否かを判定する(ステップS20)。登録ボタンB5が操作されたと制御部9が判定すると(ステップS20でYES)、格納処理部37は、その時点で編集画面G4に表示されている編集情報100を記憶部28に格納する(ステップS21)。ここでは、前記編集情報IDが入力されない状態で編集対象及び編集内容が選択されている。そのため、この場合、新規作成された編集情報100に対して前記編集情報IDが新たに生成(発行)され、登録ボタンB5が操作されると、格納処理部37は、前記編集情報IDと編集情報100とを対応付けて記憶部28に格納する。なお、登録ボタンB5が操作されない場合は(ステップS20でNO)、ステップS21の処理をスキップしてステップS22の処理が行われる。
ステップS22では、制御部9は、編集完了ボタンB6が操作されたか否かを判定する。編集完了ボタンB6が操作されたと制御部9が判定すると(ステップS22でYES)、制御部9は、その時点で作成されている編集情報100を反映した編集画像の印刷出力を画像形成部5に行わせる(ステップS23)。なお、制御部9は、編集完了ボタンB6が操作されてないと判定した場合(ステップS22でNO)、ステップS14に戻る。
ステップS12において、制御部9が前記CPUの前記レジスタに前記編集情報IDが格納されていると判定した場合(ステップS12でYES)、表示制御部31は、ステップS10で取得した前記読取画像情報に基づきプレビュー画像情報を作成する(ステップS24)。また、編集情報取得部32は、その編集情報IDに対応する編集情報100を記憶部28から読み出す(ステップS25)。そして、第1編集処理部33は、取得されたキーワード情報が示すキーワードが、前記読取画像情報が示す読取画像に含まれているか否かを判定する(ステップS26)。第1編集処理部33は、含まれていると判定した場合(ステップS26でYES)、その読取画像情報のうち取得されたキーワード情報に対応するキーワード対応情報に対し、前記取得された編集内容情報に基づいて編集処理を行い(ステップS27)、ステップS28に進む。第1編集処理部33は、含まれていないと判定した場合(ステップS26でNO)、ステップS27の処理をスキップしてステップS28に進む。そして、ステップS28では、表示制御部31は、この編集情報に基づくキーワードリストとステップS24で作成したプレビュー画像又はステップS27の編集処理後の画像とを含むキーワード選択画面G2を作成して表示部29に表示させる。
これ以降、制御部9は、ステップS14〜S23の処理を行う。このように、編集設定画面G1においてONボタンB1が操作され、且つ、前記編集情報IDが入力された場合に、ステップS14〜S23の処理が行われることで、次の処理が可能となる。
ステップS14,S15により、ユーザーは、記憶部28に既に格納されている編集情報のキーワードに加えて新たに追加する編集情報のキーワードを選択することができる。また、ステップS16〜S19により、ユーザーは、その新たに追加したキーワードに対して編集内容を設定することができる。そして、ユーザーは、記憶部28に既に格納されている編集情報に加えて新たに編集情報を追加し、記憶部28に格納されている編集情報を更新することができる。また、ユーザーは、記憶部28に既に格納されている編集情報に基づいて編集した画像情報に対し、さらに新たに追加した編集情報に基づいて画像情報を編集することができる。
なお、編集設定画面G1においてONボタンB1が操作され、且つ、前記編集情報IDが入力された場合に表示される編集画面G3は、前記編集情報IDが入力されなかった場合に表示される編集画面G3に対し、編集情報100の上方に前記編集情報IDが表示されること、及び、編集情報100の表示当初から編集内容が表示されていること以外は略同様である。
ステップS11において、制御部9は、プレビュー画像非表示設定がなされていると判定した場合(ステップS11でNO)、前記編集情報IDが前記CPUの前記レジスタに格納されているか否かを判定する(ステップS29)。前記編集情報IDが前記CPUの前記レジスタに格納されていると制御部9が判定すると(ステップS29でYES)、編集情報取得部32は、その編集情報IDに対応する編集情報100を記憶部28から読み出す(ステップS30)。そして、第1編集処理部33は、取得されたキーワード情報が示すキーワードが、前記読取画像情報が示す読取画像に含まれているか否かを判定する(ステップS31)。第1編集処理部33は、含まれていると判定した場合(ステップS31でYES)、その読取画像情報のうち取得されたキーワード情報に対応するキーワード対応情報に対し、前記取得された編集内容情報に基づく編集処理を行う(ステップS32)。第1編集処理部33は、含まれていないと判定した場合(ステップS31でNO)、ステップS32の処理をスキップする。そして、制御部9は、その編集処理後の画像を画像形成部5に出力して印刷出力を行わせる(ステップS23)。
すなわち、編集設定画面G1でOFFボタンB2が操作され、且つ、前記編集情報IDが入力された場合は、既に記憶部28に格納されている編集情報に基づいて読取画像を編集して印刷出力を行うことができるのみのモードとなる。よって、編集情報を新たに追加し、その追加した編集情報に基づいて記憶部28に格納されている編集情報を更新したり、或いは、追加した編集情報に基づいて画像を編集したりすることはできない。
ステップS29において、制御部9は、前記編集情報IDが前記CPUの前記レジスタに格納されていないと判定した場合(ステップS29でNO)、ステップS10の読取動作で得られた前記読取画像情報に基づく印刷出力を画像形成部5に行わせる(ステップS23)。すなわち、編集設定画面G1においてOFFボタンB2が操作され、且つ、前記編集情報IDが入力されなかった場合は、読取画像に対する画像編集や編集情報の作成や追加はできず、単に読取画像に基づく印刷出力を行うモードとなる。
以上のように、本実施形態では、前記キーワード情報を含む前記編集情報が記憶部28から読み出され、この編集情報に基づいて、画像読取部2で読み取られた前記読取画像情報のうち、取得されたキーワード情報に対応するキーワード対応情報の編集処理が行われる。これにより、画像読取部2で原稿の画像を読み取るたびに、前記キーワードに対する編集作業を行う必要がなくなる。この結果、画像編集の利便性を向上することができる。
また、本実施形態では、ユーザーは、既に格納されている編集情報に加えて新たに編集情報を追加することができる。また、ユーザーは、その編集情報に基づいて画像を編集したり、その追加した編集情報に基づいて、記憶部28に格納されている編集情報を更新したりすることができる。これにより、画像編集の利便性をさらに向上することができる。
以上、本発明の好ましい実施形態について説明したが、本発明は前述した内容のものに限られず、種々の変形例が適用可能である。
前記実施形態は、過去の編集時に選択された編集情報を新たな編集時にも利用できる。ただし、新たな編集時に利用できる編集情報はこれに限られない。例えば、編集時とは関係なく作成された編集情報を記憶部28に予め記憶しておき、その編集情報を新たな編集時にも利用できるようにしてもよい。
また、前記実施形態では、画像読取部2の読取動作で得られた画像を編集対象とした。しかし、編集対象はこの画像に限られるものではなく、画像処理装置1が通信ネットワークを介して他の外部装置と通信可能となっている場合には、その外部装置から通信ネットワークを介して取得した画像を編集対象としてもよい。
また、前記実施形態では、画像読取部2で読み取られ表示部29で表示した画像(プレビュー画像)のテキストに対してドラッグ操作によりキーワードを選択できるようにした。しかし、キーワードの選択方法はこれに限らず、例えば、文字入力によってキーワードを指定できるようにしてもよい。
また、前記実施形態では、前記編集情報に前記キーワード情報と編集内容情報とを含めたが、少なくともキーワード情報が含まれていればよく、編集内容情報は必須のものではない。
また、前記実施形態では、編集情報100を画像処理装置1の記憶部28に格納する。しかし、前記編集情報を格納する記憶媒体は、画像処理装置1の記憶部28に限らず、例えば、画像処理装置1が通信可能なサーバーなどの他の機器でもよい。
また、前記実施形態では、編集処理後の画像の出力形態として、印刷用紙への印刷を一例として説明したが、他の外部装置への画像データの送信でもよい。
2 画像読取部(画像取得手段)
9 制御部
29 表示部(表示手段)
31 表示制御部(表示制御手段)
32 編集情報取得部(編集情報取得手段)
33 第1編集処理部(第1編集処理手段)
34 特定処理部(特定処理手段)
35 設定処理部(設定処理手段)
36 第2編集処理部(第2編集処理手段)
37 格納処理部(格納手段)

Claims (5)

  1. 画像情報を取得する画像情報取得手段と、
    キーワード情報及び前記キーワード情報に対応する編集内容情報を含む編集情報を格納する記憶媒体からユーザー操作によって入力される識別情報に対応する前記編集情報を取得する編集情報取得手段と、
    前記識別情報が入力されて前記編集情報取得手段により前記記憶媒体から前記編集情報が取得され、且つ、前記画像情報取得手段により画像情報が取得されると、その取得画像情報のうち、取得された前記キーワード情報に対応するキーワード対応情報に対し、前記編集情報取得手段により取得された前記編集情報に含まれる前記編集内容情報に基づいて編集処理を行う第1編集処理手段と、
    表示手段と、
    ユーザー操作に応じてプレビュー画像の表示の有無を設定する制御部と、
    前記制御部によって前記プレビュー画像の非表示が設定されている場合であって前記第1編集処理手段によって編集処理が行われた場合は前記第1編集処理手段による編集処理後の画像を前記表示手段に表示させず、前記制御部によって前記プレビュー画像の表示が設定されている場合であって前記第1編集処理手段によって編集処理が行われた場合は前記第1編集処理手段による編集処理後の画像を前記表示手段に表示させ、前記制御部によって前記プレビュー画像の表示が設定されている場合であって前記識別情報が入力されていない場合は前記画像情報取得手段により取得された画像情報を前記表示手段に表示させる表示制御手段と、
    前記表示制御手段の制御により前記表示手段に表示された画像の中から、編集対象に対応する文字をユーザー操作に応じて特定する特定処理手段と、
    前記特定処理手段によって特定された前記編集対象に対する編集内容をユーザー操作に応じて設定する設定処理手段と、
    前記編集対象に対し、前記設定処理手段により設定された編集内容に基づいて編集処理を行う第2編集処理手段と、
    を備え
    前記制御部は、前記プレビュー画像の非表示が設定されている場合であって前記第1編集処理手段によって編集処理が行われた場合は前記第1編集処理手段による編集処理後の画像情報を印刷し、前記プレビュー画像の表示が設定されている場合は前記表示制御手段により前記表示手段に画像が表示された後に受け付けられるユーザー操作に応じて前記第1編集処理手段及び前記第2編集処理手段のいずれか一方又は両方による編集処理後の画像情報を印刷し、
    前記表示制御手段は、前記第2編集処理手段によって編集処理が行われた場合に、前記第2編集処理手段による編集処理後の画像を前記表示手段に表示させる画像処理装置。
  2. 前記特定処理手段により特定された前記文字を示す情報を前記キーワード情報とし、前記設定処理手段により設定された編集内容を示す編集内容情報とともに前記編集情報として前記記憶媒体に格納する格納手段を備える請求項1に記載の画像処理装置。
  3. 前記第1編集処理手段は、取得されたキーワード情報が示すキーワードが、前記取得画像情報が示す取得画像に含まれているか否かを判定し、含まれていると判定した場合に、前記キーワード対応情報に対し、前記取得されたキーワード情報に対応する編集内容情報に基づいて編集処理を行う請求項1又は2に記載の画像処理装置。
  4. 画像情報を取得する第1ステップと、
    キーワード情報及び前記キーワード情報に対応する編集内容情報を含む編集情報を格納する記憶媒体からユーザー操作によって入力される識別情報に対応する前記編集情報を取得する第2ステップと、
    前記識別情報が入力されて前記第2ステップで前記記憶媒体から前記編集情報が取得され、且つ、前記第1ステップで画像情報が取得されると、その取得画像情報のうち、取得された前記キーワード情報に対応するキーワード対応情報に対し、前記第2ステップで取得された前記編集情報に含まれる前記編集内容情報に基づいて編集処理を行う第3ステップと、
    ユーザー操作に応じてプレビュー画像の表示の有無を設定する第4ステップと、
    前記第4ステップで前記プレビュー画像の非表示が設定されている場合であって前記第3ステップで編集処理が行われた場合は前記第3ステップにおける編集処理後の画像を表示手段に表示させず、前記第4ステップで前記プレビュー画像の表示が設定されている場合であって前記第3ステップで編集処理が行われた場合は前記第3ステップにおける編集処理後の画像を前記表示手段に表示させ、前記第4ステップで前記プレビュー画像の表示が設定されている場合であって前記識別情報が入力されていない場合は前記第1ステップで取得された画像情報を前記表示手段に表示させる第5ステップと、
    前記第5ステップにおける制御により前記表示手段に表示された画像の中から、編集対象に対応する文字をユーザー操作に応じて特定する第6ステップと、
    前記第6ステップで特定された前記編集対象に対する編集内容をユーザー操作に応じて設定する第7ステップと、
    前記編集対象に対し、前記第7ステップで設定された編集内容に基づいて編集処理を行う第8ステップと、
    前記第4ステップで前記プレビュー画像の非表示が設定されている場合であって前記第3ステップで編集処理が行われた場合は前記第3ステップにおける編集処理後の画像情報を印刷し、前記第4ステップで前記プレビュー画像の表示が設定されている場合は前記第5ステップで前記表示手段に画像が表示された後に受け付けられるユーザー操作に応じて前記第3ステップ及び前記第8ステップのいずれか一方又は両方における編集処理後の画像情報を印刷する第9ステップと、
    を備え
    前記第5ステップでは、前記第8ステップで編集処理が行われた場合に、前記第8ステップにおける編集処理後の画像が前記表示手段に表示される画像編集方法。
  5. コンピューターに、
    画像情報を取得する第1ステップと、
    キーワード情報及び前記キーワード情報に対応する編集内容情報を含む編集情報を格納する記憶媒体からユーザー操作によって入力される識別情報に対応する前記編集情報を取得する第2ステップと、
    前記識別情報が入力されて前記第2ステップで前記記憶媒体から前記編集情報が取得され、且つ、前記第1ステップで画像情報が取得されると、その取得画像情報のうち、取得された前記キーワード情報に対応するキーワード対応情報に対し、前記第2ステップで取得された前記編集情報に含まれる前記編集内容情報に基づいて編集処理を行う第3ステップと、
    ユーザー操作に応じてプレビュー画像の表示の有無を設定する第4ステップと、
    前記第4ステップで前記プレビュー画像の非表示が設定されている場合であって前記第3ステップで編集処理が行われた場合は前記第3ステップにおける編集処理後の画像を表示手段に表示させず、前記第4ステップで前記プレビュー画像の表示が設定されている場合であって前記第3ステップで編集処理が行われた場合は前記第3ステップにおける編集処理後の画像を前記表示手段に表示させ、前記第4ステップで前記プレビュー画像の表示が設定されている場合であって前記識別情報が入力されていない場合は前記第1ステップで取得された画像情報を前記表示手段に表示させる第5ステップと、
    前記第5ステップにおける制御により前記表示手段に表示された画像の中から、編集対象に対応する文字をユーザー操作に応じて特定する第6ステップと、
    前記第6ステップで特定された前記編集対象に対する編集内容をユーザー操作に応じて設定する第7ステップと、
    前記編集対象に対し、前記第7ステップで設定された編集内容に基づいて編集処理を行う第8ステップと、
    前記第4ステップで前記プレビュー画像の非表示が設定されている場合であって前記第3ステップで編集処理が行われた場合は前記第3ステップにおける編集処理後の画像情報を印刷し、前記第4ステップで前記プレビュー画像の表示が設定されている場合は前記第5ステップで前記表示手段に画像が表示された後に受け付けられるユーザー操作に応じて前記第3ステップ及び前記第8ステップのいずれか一方又は両方における編集処理後の画像情報を印刷する第9ステップと、
    を含み、
    前記第5ステップでは、前記第8ステップで編集処理が行われた場合に、前記第8ステップにおける編集処理後の画像が前記表示手段に表示される処理を実行させるための画像処理プログラム。

JP2013226852A 2013-10-31 2013-10-31 画像処理装置、画像編集方法及び画像処理プログラム Expired - Fee Related JP6165026B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013226852A JP6165026B2 (ja) 2013-10-31 2013-10-31 画像処理装置、画像編集方法及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013226852A JP6165026B2 (ja) 2013-10-31 2013-10-31 画像処理装置、画像編集方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2015088986A JP2015088986A (ja) 2015-05-07
JP6165026B2 true JP6165026B2 (ja) 2017-07-19

Family

ID=53051336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013226852A Expired - Fee Related JP6165026B2 (ja) 2013-10-31 2013-10-31 画像処理装置、画像編集方法及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP6165026B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0951422A (ja) * 1995-08-09 1997-02-18 Minolta Co Ltd 画像編集装置
JP4150039B2 (ja) * 2005-11-30 2008-09-17 京セラミタ株式会社 画像処理装置、画像形成装置、画像処理プログラム、及び画像処理方法

Also Published As

Publication number Publication date
JP2015088986A (ja) 2015-05-07

Similar Documents

Publication Publication Date Title
JP4510543B2 (ja) 画像処理装置、印刷装置及び画像処理方法
US10491765B2 (en) Operation console receiving user operation and electronic device and image forming apparatus provided with the operation console
JP2011164923A (ja) 画像表示装置、画像形成装置、画像表示方法、コンピュータプログラム及び記録媒体
JP2007223236A (ja) 画像形成装置
JP2007034444A (ja) 画像形成装置、後処理警告方法および後処理設定方法
JP4018568B2 (ja) 画像形成装置、用紙設定制御方法
JP5052965B2 (ja) 画像形成装置およびその制御方法
US7882125B2 (en) Document managing system, method and apparatus, printing apparatus and information processing apparatus for the system, program for implementing the method, and storing medium storing the program
JP6269455B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20090285505A1 (en) Image processing method, image processing apparatus, and image forming apparatus
JP4347159B2 (ja) 画像形成装置、印刷モード設定方法、及びプリンタドライバ
JP5269863B2 (ja) 画像読取制御装置、画像形成装置および画像読取方法
JP5663536B2 (ja) データ送信装置およびそれを備えた画像形成装置
JP6165026B2 (ja) 画像処理装置、画像編集方法及び画像処理プログラム
JP4673037B2 (ja) 画像表示装置、画像表示装置の制御方法、及びプログラム
JP2008172666A (ja) 画像形成装置および画像形成プログラム
JP2010154113A (ja) 複写機
JP5959392B2 (ja) 画像形成装置
JP6287783B2 (ja) 画像形成装置
JP6095558B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5885766B2 (ja) 画像処理装置
JP7494060B2 (ja) 画像形成装置、画像形成装置の制御プログラムおよび制御方法
JP7463708B2 (ja) 画像読取機器、その制御方法、およびプログラム
JP2006126401A (ja) 画像形成装置
JP6844522B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170620

R150 Certificate of patent or registration of utility model

Ref document number: 6165026

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees