JP7446808B2 - 画像処理装置、画像処理方法、及び画像処理システム - Google Patents

画像処理装置、画像処理方法、及び画像処理システム Download PDF

Info

Publication number
JP7446808B2
JP7446808B2 JP2019231404A JP2019231404A JP7446808B2 JP 7446808 B2 JP7446808 B2 JP 7446808B2 JP 2019231404 A JP2019231404 A JP 2019231404A JP 2019231404 A JP2019231404 A JP 2019231404A JP 7446808 B2 JP7446808 B2 JP 7446808B2
Authority
JP
Japan
Prior art keywords
image processing
user
image
confirmation
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019231404A
Other languages
English (en)
Other versions
JP2021100197A (ja
JP2021100197A5 (ja
Inventor
拓洋 奥田
克幸 ▲高▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019231404A priority Critical patent/JP7446808B2/ja
Publication of JP2021100197A publication Critical patent/JP2021100197A/ja
Publication of JP2021100197A5 publication Critical patent/JP2021100197A5/ja
Application granted granted Critical
Publication of JP7446808B2 publication Critical patent/JP7446808B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、画像処理装置、画像処理方法、及び画像処理システムに関し、詳しくは、読取り画像のOCR処理結果に対する確認、修正の処理に関する。
近年、スキャンして得られる画像データに対して、OCR(Optical Character Recognition)処理を行うことで、画像データ内容の文字列をデジタルデータとして抽出する技術が発展している。このような処理は、MFP(Multi-Function Peripheral)等の画像処理装置において実施される。また、OCR処理では、画像データ内の文字列、背景などの要素ごとの領域ブロックに分割して画像データの構造を認識することも行われている。このようなOCR技術の適用の一例として、OCRによる結果を自動で業務システムへの転記することが行われている。そして、転記において、OCR処理による結果が必ずしも正確ではないため、ユーザがOCR処理による結果を確認し、修正することでシステムに登録している。
この確認及び修正では、例えば、MFPの操作パネル上に表示されるOCR処理結果が間違っていた場合、操作パネルにおけるソフトキーボードなどを用いて、OCR処理結果に対する修正を行うことができる。これに対し、特許文献1には、OCR処理結果の確認及び修正を、MFPではなくPC等の外部端末で行うことが記載されており、これにより、確認及び修正処理の視認性や操作性を向上させることを可能としている。
特開2019-29971号公報
しかしながら、OCR処理結果の確認及び修正をいずれの装置で行うかは、確認及び修正の内容によって確認及び修正を行う適切な装置が異なると考えることもできる。例えば、OCR処理結果の確認及び修正に必要な操作量が少ない場合、MFPの操作パネルで行った方がユーザにとって利便性が高い場合がある。一方、確認及び修正のための操作量が多い場合は、PCの方がユーザにとって操作性の点で望ましい場合がある。
本発明は、OCR処理結果を確認及び修正する場合の操作負荷に応じてOCR処理結果を表示し、ユーザが操作をする装置を選択することを可能とする画像処理装置、画像処理方法、及び画像処理システムを提供することを目的とする。
上記目的を達成するために本発明の一形態は、画像処理装置であって、帳票の画像を読み取る読取り手段と、前記帳票の属性に基づいて、前記帳票の画像のOCR処理結果についての確認及び修正にかかるユーザの操作負荷を求める操作負荷算出手段と、前記操作負荷算出手段で求めた前記ユーザの操作負荷が所定の閾値より大きい場合、当該確認及び修正を、前記画像処理装置で行うか前記画像処理装置と異なる別の装置で行うかを前記ユーザに選択させるための表示を行う表示制御手段と、前記表示制御手段による前記表示を介して、前記画像処理装置で行うか前記画像処理装置と異なる前記別の装置で行うかの選択を、前記ユーザから受ける選択手段と、を備え、前記選択手段が、前記表示制御手段による前記表示を介して、前記確認及び修正を前記画像処理装置で行う選択を前記ユーザから受けた場合、前記表示制御手段は、さらに、前記帳票の画像のOCR処理結果についての前記確認及び修正を行うための確認画面の表示を行うことを特徴とする。
以上の形態によれば、OCR処理結果を確認及び修正する場合の操作負荷条件に応じてOCR処理結果を表示し、ユーザが操作をする装置を選択することが可能となる。
実施形態に係る画像処理システムの構成を示すブロック図である。 実施形態に係るMFPのハードウェア構成を示すブロック図である。 実施形態に係るMFPの操作部を示す図である。 (a)および(b)は、それぞれ実施形態に係る画像処理サーバおよびPCのハードウェア構成を示すブロック図である。 (a)および(b)は、それぞれ実施形態に係る、スキャナで読み込まれる帳票およびそのデータの一例を示す図である。 第1実施形態に係る、OCR処理結果の確認及び修正に関する処理を示すフローチャートである。 第1実施形態に係る、ユーザの操作負荷を算出する処理を示すフローチャートである。 第1実施形態に係るユーザ設定を行う画面の一例を示す図である。 第1実施形態に係る帳票選択画面を模式的に示す図である。 (a)および(b)は、パネル表示画面301に表示された確認デバイス選択画面及びそれに関する表示をそれぞれ示す図である。 実施形態に係る画像読込画面を示す図である。 (a)および(b)は、それぞれ実施形態に係る、アプリケーションデータによってタッチパネル上に表示されるOCR処理結果の確認画面を示す図である。 実施形態に係る、画像処理サーバからPCが受信したメールの一例を示す図である。 実施形態に係る、UI表示画面の一例を示す図である。 (a)および(b)は、第2実施形態に係る、MFPタッチパネル上に表示されるOCR処理結果の確認画面を示す図である。 第2実施形態に係る、OCR結果の確認及び修正に関する処理を示すフローチャートである。 第3実施形態に係る処理の詳細を示すフローチャートである。 第3実施形態に係る、OCR結果の確認及び修正に関する処理を示すフローチャートである。 第3実施形態に係るデフォルト設定画面を示す図である。
以下、図面を参照して本発明の実施形態を詳細に説明する。なお、実施形態は本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するため必須の手段であるとは限らない。
(第1実施形態)
<画像処理システムの構成>
図1は、本発明の実施形態に係る画像処理システムの構成を示すブロック図である。本実施形態の画像処理システムは、MFP101、MFP画像処理サーバ102、PC103が、ネットワーク104を介して接続されることにより構成されている。
<ハードウェア構成>
図2は、MFP101のハードウェア構成を示すブロック図である。MFP101は、コントローラ201、プリンタ202、スキャナ203、および操作部204を有して画像処理装置を構成する。
コントローラ201は、CPU211、RAM212、HDD213、ネットワークI/F214、プリンタI/F215、スキャナI/F216、操作部I/F217、および拡張I/F218を有する。CPU211は、RAM212、HDD213、ネットワークI/F214、プリンタI/F215、スキャナI/F216、操作部I/F217、および拡張I/F218それぞれと間でデータを授受することができる。また、CPU211は、HDD213から読み出した命令をRAM212に展開し、RAM212に展開した命令を実行する。
HDD213には、CPU211で実行可能な命令、MFP101で使用する設定値、およびユーザが入力して要求した処理に関するデータ等を記憶することができる。RAM212は、CPU211がHDD213から読み出した命令を一時的に格納するための領域である。また、RAM212は、命令の実行に必要な各種のデータを記憶しておくこともできる。例えば画像処理では、入力したデータをRAM212に展開することで処理を行うことができる。ネットワークI/F214は、画像処理システム内の装置とネットワーク通信を行うためのインターフェイスである。ネットワークI/F214は、データ受信を行ったことをCPU211に伝達し、また、RAM212上のデータをネットワーク104に送信することができる。プリンタI/F215は、CPU211から送信された印刷データをプリンタ202に送信し、また、プリンタ202から受信したプリンタの状態をCPU211に伝達することができる。スキャナI/F216は、CPU211から送信された画像読み取り指示をスキャナ203に送信し、スキャナ203から受信した画像データをCPU211に伝達し、また、スキャナ203から受信した状態をCPU211に伝達することができる。操作部I/F217は、操作部204から入力されたユーザからの指示をCPU211に伝達し、また、ユーザが操作するための画面情報を操作部204に伝達することができる。拡張I/F218は、MFP101に外部機器を接続することを可能とするインターフェイスである。拡張I/F218は、例えば、USB(Universal Serial Bus)形式のインターフェイスを具備する。MFP101は、USBメモリ等の外部記憶装置が拡張I/F218に接続されることにより、当該外部記憶装置に記憶されているデータの読み取りおよび当該外部記憶装置に対するデータの書き込みを行うことが可能である。
プリンタ202は、プリンタI/F215から受信した画像データを用紙に印刷し、また、プリンタ202の状態をプリンタI/F215に伝達する。スキャナ203は、スキャナI/F216から受信した画像読み取り指示に従って、自身に置かれた用紙に表示されている情報を読み取ってデジタル化してスキャナI/F216に伝達する。また、スキャナ203は、自身の状態をスキャナI/F216に伝達する。操作部204は、MFP101に対して各種の指示を行うための操作をユーザに行わせるためのインターフェイスである。例えば、操作部204は、タッチパネルを有する液晶画面を具備し、それによってユーザに操作画面を提供すると共に、ユーザからの操作を受け付ける。
図3は、実施形態に係るMFP101の操作部204を示す図である。操作部204は、タッチパネル画面301と、設定キー302と、開始キー303と、キャンセルキー304と、を備える。ユーザは、タッチパネル画面301および設定キー302を用いて、各ジョブの設定を行い、開始キー303の押下によりジョブを開始する。なお一度開始したジョブはキャンセルキー304を押下することでジョブ中に中止することが可能である。ここで、ジョブの例としては、コピージョブや、ネットワークI/F214を介してスキャンした画像データを画像処理サーバ102に送信するジョブなどを挙げることができる。後述される本発明の実施形態に係るOCR結果の確認及び修正処理は、操作部204を介しても行うことができる。
図4(a)および(b)は、それぞれ画像処理サーバ102およびPC103のハードウェア構成を示すブロック図である。図4(a)に示すように、画像処理サーバ102は、CPU401、RAM402、HDD403、ネットワークI/F404を有して画像処理装置を構成する。CPU401は、装置全体の制御を司り、RAM402、HDD403、及びネットワークI/F404それぞれとの間でデータの授受を制御する。また、CPU401は、HDD403から読みだした制御プログラム(命令)をRAM402に展開し、RAM402に記憶されている命令を実行する。以上構成を有する画像処理サーバ102は、ネットワークI/F404を介してMFP101から受信した画像データに対するOCR処理を実施する。HDD403には、スキャナ203で画像を読み込む際のユーザ設定と、スキャンする帳票ごとの帳票属性とを保存することができる。
図4(b)に示すPC103は、CPU411、RAM412、HDD413、ネットワークI/F414を有して構成される。CPU411は、装置全体の制御を司り、RAM412、HDD413、及びネットワークI/F414それぞれとの間でデータの授受を制御する。また、CPU411は、HDD413から読みだした制御プログラム(命令)をRAM412に展開し、RAM412に記憶されている命令を実行する。以上の構成を有するPC103は、ネットワークI/F414を介して画像処理サーバ102から画像処理サーバのWEB UIのURLが記載されたメールを受信することができる。
<帳票の属性>
図5(a)および(b)は、本発明の実施形態に係る帳票の属性を説明する図であり、「入会申込書」の帳票を示している。本発明の実施形態では、図9にて後述するように、その他に、「口座振替依頼書」、「日報・活動記録」、「アンケート」の帳票が設定されている。
図5(a)は、スキャナ203で読み込まれる帳票の一例を示している。帳票501は、印刷された帳票に手書きで情報を書き込んだものである。このように情報が書き込まれた帳票501の内容がスキャナによって読み取られOCR処理の対象となる。また、図5(b)は、キーリストを示している。キーリスト502は、帳票501から抽出する情報のキーのリストである。本実施形態では、キーリスト502は、キー名をカンマで区切ったCSV形式としているが、他の形式(XMLやJSON等)でも良い。CPU211は、キーリスト502をHDD213へ保存する。
下記の表1は、CPU211がHDD213に保存されたキーリスト502から、キーに対応して抽出した帳票属性の一例を示しており、図5(a)に示した「入会申込書」の帳票属性を表している。
ここで、キーは、帳票の各欄に対応する、「入会申込日」、「フリガナ」、「氏名」、「生年月日」、「郵便番号」、「住所」、「電話番号」、「メールアドレス」、「会員カードの有無」のそれぞれである。また、帳票属性は、「キーの数」、「字種」、「バリュー型」、「突合」、「文字数」のそれぞれであり、本実施形態では5つの帳票属性がある。以下、これら5つの帳票属性について順に説明する。
先ず1つ目の「キーの数」は、帳票501から抽出されるキーの数である。すなわち、帳票501の例では、キーリスト502で表されるように、キーは、入会申込日、フリガナ、氏名、生年月日、郵便番号、住所、電話番号、メールアドレス、会員カードの有無であり、キーの数は9になる。
2つ目の「字種」は、抽出したキーがどのような文字で構成されているかを表すものである。例えば、帳票に記載するフリガナがカタカナで構成される場合は、「字種」はカタカナとなる。この場合、OCR処理はカタカナに対応して実施する。氏名は、漢字、振り仮名、カタカナ、アルファベットなどで構成されるため、「字種」は全字種となり、OCR処理は全字種に対応して実施する。郵便番号と電話番号は数字で構成されているため、「字種」は数字となり、OCR処理は数字で実施する。会員カードの有無は、文字ではなくチェックや丸で記入されるため字種は不定であり、“-”となる。
3つ目の「バリュー型」は、キーが示す値(バリュー)に対応した型を表している。本実施形態では、バリュー型として、テキスト型、日付型、数値型、選択型が存在する。キーが「入会申込日」、「生年月日」のバリューには日付型が対応する。すなわち、日付型は、「2015年10月25日」を表現する際に、「2015-10-25」、「2015/10/25」、「平成27年10月25日」など、正規化された表現でのみ入力可能な型である。なお、日付型は日付を正規化している表現方法であれば上記例以外でもかまわない。キーが「フリガナ」、「氏名」、「住所」、「メールアドレス」のバリューにはテキスト型が対応する。キーが「郵便番号」、「電話番号」のバリューには数値型が対応する。数値型は、数値のみを入力することが可能な型である。キーが「会員カードの有無」のバリューには選択型が対応する。選択型とは、正解が限られているバリューに対してのみ入力可能な型である。
4つ目の「突合」は、正解データが存在する場合、その正解データの文字列とOCR処理結果の文字列を突き合わせて調べることで2つの文字列が一致するかを確認することを意味している。キーの「住所」は地名まで正解データが存在することから、OCR処理で得られた文字列を正解データの文字列と比較することで、OCR処理で得られた文字列に多少の間違いが含まれていた場合でも、OCR処理で得られた文字列を修正することができる。このため、「突合」を行うこと、つまりによって、「突合」がありとなる。
5つ目の「文字数」は、キーそれぞれの内容を表現するときの文字数を意味する。キーである「入会申込日」や「生年月日」を、「2000年12月31日」と表現する場合は、キーの文字数は11文字となる。また、「郵便番号」、「電話番号」は、表1に示す例では、キー文字数はそれぞれ7文字、11文字である。キーが「フリガナ」、「氏名」、「住所」、「メールアドレス」の場合は、文字数が決まらないため“-”となる。また、「会員カードの有無」は、「有」または「無」とすると、キー文字数は1文字となる。
<ユーザ操作の負荷判定>
本発明の実施形態は、OCR処理結果に対する確認及び修正の処理に関するユーザの操作負荷に応じて、確認及び修正を実行する装置としてMFP101またはPC103を選択する。以下は、このユーザの操作負荷の判定について説明する。
本実施形態では、ユーザの操作負荷判定は、スキャナ203による画像読込前と、画像読込途中の2度行う。それぞれの操作負荷の判定では、先ず上述した帳票属性に対応した負荷パラメータを算出する。そして、その算出結果に基づいて操作負荷の判定を行う。
以下の表2は、負荷パラメータの値一例を示す表である。
Figure 0007446808000002
例えば、表1に示すキー「入会申込日」の場合、属性「字種」は、表1に示すように全字種であるから、負荷パラメータは、表2から4となる。また、属性「バリュー型」は、表1に示すように日付型であるから、負荷パラメータは、表2から2となる。同様にして、属性「突合」はなしの負荷パラメータである3、属性「文字数」は11-15の負荷パラメータである3となる。これらの値を合計することにより、「入会申込日」の負荷パラメータは、表1の最右列に示すように12となる。このように表1の最右列には、キーリスト502それぞれのキーに対応して、表2を参照して算出した負荷パラメータが示される。そして、以上のようにして算出した負荷パラメータを帳票501の総てのキーについて合計値を帳票501の操作負荷値とする。
なお、負荷パラメータの値は一例であり、表2で示した値に限られない。例えば、キーごとのOCR処理結果に対する正解率が存在する場合、正解率が高いほど負荷パラメータをより小さくしてもよい。また、読込画像の文字の大きさが小さいほど、タッチパネル画面301でのユーザの視認性が低下することから、負荷パラメータの値をより大きくするといったことが考えられる。具体的には、表1に示すキーである「住所」と「メールアドレス」の負荷パラメータの合計は同一であるが、「住所」のOCR処理結果の正解率が「メールアドレス」のOCR処理結果の正解率よりも高い場合、「住所」の負荷パラメータの値を小さくする。また、表1に示すキー「入会申込日」と「生年月日」の負荷パラメータの値は同一であるが、「入会申込日」の読込画像の文字が「生年月日」の読込画像の文字のよりも大きさが小さい場合、「入会申込日」の負荷パラメータの値を大きくすることができる。
<OCR結果の確認及び修正に関する処理>
図6は、本発明の第1実施形態に係る、OCR処理結果の確認及び修正に関する処理を示すフローチャートであり、図1に示した画像処理システム全体の処理を示している。図6において、S601、S602、S606~S609、S612~S614、S619、およびS620の各工程で示す処理は、MFP101において実行される処理である。これらの処理に関係するプログラムはHDD213に格納されており、RAM212に読み出されて、CPU211によって実行される。また、S603~S605、S610~S611、S615~S618、およびS621~S623の各工程で示す処理は、画像処理サーバ102において実行される処理である。これらの処理に関係するプログラムはHDD403に格納されており、RAM402によって読み出されて、CPU401によって実行される。あるいはまた、フローチャートにおけるステップの一部または全部の機能をASICや電子回路等のハードウェアで実現してもよい。フローチャートの説明における記号「S」は、当該フローチャートにおける「ステップ」を意味する。その他のフローチャートについても同様である。
図6において、先ず、MFP101のCPU211は、操作部204(図2)のタッチパネル画面301(図3)に表示された帳票選択画面において読み取り、OCR処理行う帳票の選択を行う(S601)。
図9は、本実施形態に係る帳票選択画面901を模式的に示す図である。ここでは、帳票として、入会申込書、口座振替依頼書、日報・活動記録、アンケートのいずれかが設定されており、同図に示すように、入会申込書ボタン902、口座振替依頼書ボタン903、日報・活動記録ボタン904、アンケートボタン905が表示される。ユーザは、読み取る帳票に応じていずれか一つの帳票のボタンを押下し、CPU211は、その入力を受け付ける(S601)。次に、CPU211は、どの帳票を押下したかを示す帳票ボタン選択情報を、ネットワークI/F214を介して画像処理サーバ102に送信する(S602)。
画像処理サーバ102において、CPU401は、MFP101から帳票ボタン選択情報をネットワークI/F404が受信したことを検知し(S603)、検知した帳票に対応するユーザ設定と、帳票ごとに設定した帳票属性を取得する(S604)。
図8は、本実施形態に係るユーザ設定を行う画面の一例を示す図であり、操作部204のタッチパネル画面301に表示される。ユーザ設定画面801は、名称表示部802、メールアドレス表示部803から構成されており、これら名称、メールアドレスはソフトキーボードなどを用いて入力することができる。ユーザは、OKボタン805を押下することにより、ユーザ設定画面801を介して設定した内容を登録する。すなわち、ユーザは、帳票の読取りおよびOCRを行う際、ユーザ設定画面801を介してユーザ設定を行い、読取りおよびOCRを行う帳票にユーザを対応付ける。一方、キャンセルボタン804を押下することによりメールの宛先登録を取り消すことができる。
再び図6を参照すると、画像処理サーバ102のCPU401は、S604の属性取得で取得した帳票属性に基づき帳票1枚毎のユーザの操作負荷を算出する(S605)。
図7は、第1実施形態に係る、ユーザの操作負荷を算出する処理を示すフローチャートである。図7において、CPU401は、帳票属性に基づき、操作負荷の値を算出するために、表1、表2を参照して上述したように、帳票1枚に存在するキーごとの負荷パラメータを算出する(S701)。次に、CPU401は、S701で算出した負荷パラメータの合計である操作負荷値が所定の閾値を超えたか否かを判定する(S702)。所定の閾値を超えない(閾値未満)場合(S702がNOの場合)、どの装置を用いてOCR処理結果の確認及び修正を行うかを示す情報である確認デバイス選択情報は『不定』として処理する。一方、操作負荷値が所定の閾値を超える(閾値より大きい)場合(S702がYESの場合)、CPU401は、ネットワークI/F404を介してMFP101に確認デバイス選択画面を送信する。そして、MFP101のタッチパネル301における表示制御を行う(S703)。
これに応じ、図6のS606で、CPU211は、画像処理サーバ102から確認デバイス選択画面をネットワークI/F404が受信すると、MFP101における操作部204の画面301に受信した確認デバイス選択画面を表示する。
図10(a)は、S703で画像処理サーバ102からMFP101にネットワークI/F404を介して送信され、操作部204の画面301に表示された確認デバイス選択画面1001の一例を示す図である。確認デバイス選択画面1001は、「読取結果の確認・修正には時間が掛かります。」という、算出した操作負荷に応じたメッセージが含まれる。ユーザは、このメッセージなどを参考にして、MFP101のタッチパネル画面301を介して、OCR処理結果を確認及び修正する装置を選択する。ユーザは、MFP101でOCR処理結果を確認及び修正することを選択する場合は、『パネルで確認』ボタン1002を押下し、PC103でOCR処理結果を確認及び修正することを選択する場合は、『PCで確認』ボタン1003を押下する。
以上のユーザによるボタンを介した選択操作に応じて、図7のS704で、画像処理サーバ102のCPU401は、上述したユーザの選択に応じたボタン押下に応じて、どの装置(デバイス)を選択されたかを判断する。『パネルで確認』ボタン1002が押下された場合、確認デバイス選択情報を『MFP』と判断する。一方、『PCで確認』ボタン1003が押下された場合、CPU401は、確認デバイス選択情報を『PC』と判断する。そして、CPU401は、以上のようにデバイスの選択を判断すると、その確認デバイス選択情報をMFP101へ通知する。この通知は、図6のS608で後述する判断で用いられる。
また、CPU401は、確認デバイス選択情報が『PC』であると判断したときは、ユーザ設定で事前に設定している、PC103のメールアドレスへWEB UIのアドレスを通知する(S705)。この通知とともに、CPU401は、MFP101に対して、メッセージポップアップを操作部204のタッチパネル画面301に表示するよう通知する。
図10(b)は、このメッセージポップアップを示す図である。メッセージポップアップ1004は、メールを送信する旨、およびそのメールに記載されたWEB UIのアドレスからOCR処理結果の確認及び修正を行える旨を表示している。また、この表示において、キャンセルボタン1005を押下することにより、メールを送信することを取り消すことができる。キャンセルボタン1005が押下されると、タッチパネル画面301には再度確認デバイス選択画面1001が表示される。また、OKボタン1006が押下されると、メッセージポップアップ1004が閉じられ、タッチパネル画面301の表示は図11に示す画像読込画面1101に遷移する。すなわち、スキャン中である旨が表示される。
再び図6を参照すると、MFP101のCPU211は、上述したとおり、S606では、画像処理サーバ102から確認デバイス選択画面の通知を受けて図10(a)に示す確認デバイス選択画面1001を操作部のタッチパネル画面301に表示する。そして、ユーザの操作を受ける。これとともに、ユーザが『PC』を選択操作した場合には、図10(b)に示すポップアップイメージ1004を表示する。
次に、CPU211は、スキャナ203に載置された原稿の読み取りを開始する(S607)。次に、CPU211は、画像処理サーバ102から通知された確認デバイス選択情報に基づきユーザがどの装置(デバイス)を選択したかを判定する(S608)。
S608で、選択したデバイスが『不定』(未だ選択していない状態)または『MFP』であると判定すると(S608がNOの場合)、次の処理を行う。すなわち、CPU211は、スキャナ203で読み込む原稿1枚ごとに、画像処理サーバ102にネットワークI/F214を介して操作負荷算出依頼を送信する(S609)。ここで、操作負荷算出依頼とは、S607で読み込んでいく原稿1枚の画像データに対して、画像処理サーバ102に操作負担算出を依頼することである。
これに対し、画像処理サーバ102のCPU401は、MFP101からの操作負荷算出依頼を検知すると(S610)、読取り原稿に係る帳票1枚毎のユーザの操作負荷に基づいて、画像読込途中におけるユーザの操作負荷を算出する(S611)。S611の処理はS605と同様な処理を行うためその説明は省略する。
この画像処理サーバ102におけるS605と同様な処理によって、MFP101のCPU211はS612で、S606、S608と同様の処理を行う。すなわち、MFP101には、確認デバイス選択画面の通知、確認デバイス選択情報の通知、必要に応じてメッセージポップアップの通知が送信されて来る。そして、これらの情報に従って選択画面の表示等を行い、また、受信した確認デバイス選択情報に基づき、選択されたデバイスがどの装置であるかを判定する。
S608の判定で、選択したデバイス報が『PC』であると判定し、または、S612の上記判定で、選択したデバイスが『PC』であると判定すると、CPU211は、スキャナ203に載置された原稿がすべて読み込んだかを判定する(S613)。そして、すべての原稿を読み込んだと判定した場合(S613がYESの場合)は、CPU211は、ネットワークI/F214を介して画像処理サーバ102に画像データを送信する(S614)。
S612の上記判定で、選択したデバイスが『不定』または『MFP』であると判定した場合、または、すべての原稿を読み込んでいない場合(S613がNOの場合)は、S607に戻る。そして、スキャナ203に載置された原稿を読み込み続け、タッチパネル画面301に、図11で示す画像読込画面1101を表示する。
MFP101が全ての原稿を読み終えたタイミングで、画像処理サーバ102のCPU401は、ネットワークI/F404を介してMFP101から送信された画像データを受信する(S615)。CPU401は、受信したすべての画像データに対してOCR処理を行うことで、OCR処理結果データを生成する(S616)。次に、CPU401は、スキャナで読み込んだ画像データ501と、キーリスト502と、S616で生成したOCR処理結果データを関連付けたアプリケーションデータを生成する(S617)。その後、その生成したアプリケーションデータをネットワークI/F404を介して、確認及び修正を行うべく選択されたデバイスにOCR処理結果確認画面を表示すべくその旨の情報を送信する。MFP101が選択されている場合、上記アプリケーションデータをMFP101へ送信する(S618)。一方、PC103が選択された場合、ユーザ設定で事前に設定しているメールアドレスへWEB UIのアドレスを通知する(図6において不図示)。PC103では、この通知に応じて、OCR処理結果確認画面としてUI表示画面を表示する。この処理の詳細は、第2実施形態で後述される。
上述のアプリケーションデータはHTML(HyperTextMarkupLanguage)等のWebページ記述言語により記述されたページ記述データと、JavaScript(登録商標)等のスクリプト言語で記述されたスクリプトデータとを含む。ページ記述データにはさらに、S618で受信した画像データと、S616で生成したOCR処理結果データとが静的データとして含まれる。またスクリプトデータには、ページ記述データに含まれる静的データとMFP101の操作部204から入力されたユーザからの指示とに応じた画面表示の制御手順が含まれている。これらアプリケーションデータを用いたMFPにおける画面表示の制御手順は後述する。
MFP101のCPU211は、ネットワークI/F214を介して画像処理サーバ102からアプリケーションデータを受信する(S619)。続いてCPU211は、受信したアプリケーションデータに含まれる静的データに基づき、タッチパネル上に画面を表示する。ここで表示される画面は、選択されたデバイスで、ユーザが、OCR処理結果を確認するためのものであることから、本明細書では、この画面をOCR処理結果確認画面または確認画面と呼称する。
図12(a)は、S619で受信したアプリケーションデータによりタッチパネル301上に表示されるOCR処理結果確認画面1201を示す図である。確認画面1201は画像表示部1202と、ページ数表示部1203と、キーリスト502のキーを表示するキー表示部1204と、OCR処理結果である抽出項目を表示するOCR処理結果表示部1205と、ページ遷移指示部1206とを有して構成される。画像表示部1202は、S614で送信した読取り画像データをページ単位で表示する。ページ数表示部1203は、S614で送信した画像データのうち、画像表示部1202が現在表示している画像ページが何ページ目であるかを表示する。ページ遷移指示部1206は、S614で送信した画像データのページ間の表示遷移をユーザが指示するためのボタンを示している。本例では2ページの画像データのうちの1ページ目を表示していことから、次ページへ遷移するためのボタンのみが表示されている。
図12(b)は、OCR処理結果確認画面1201の最終ページである2ページ目を示す図である。2ページ目では、外部を含むシステムへ画像データとOCR処理結果の送信を指示するシステム登録ボタン1207を表示するなど、ページ毎に動的に表示内容を切替えられる構成となっている。OCR処理結果表示部をタッチすると、ソフトキーボードが表示される。ユーザは、ソフトキーボードを操作することで、OCR処理結果を修正することができる。
図6を再び参照すると、CPU211は、S619で受信したアプリケーションデータに対して、ユーザがシステム登録ボタン1207を押下した情報を示すMFP操作情報をネットワークI/F214を介して画像処理サーバ102に送信する(S620)。
これに対し、画像処理サーバ102のCPU401は、ネットワークI/F404を介してMFP101からMFP操作情報を受信する(S621)。そして、S621のMFP操作情報に基づき、システム登録ボタン1207を押下されたかを判定する(S622)。システム登録ボタンを押下されたと判定した場合(S622でYESの場合)、画像データと、OCR処理結果をシステムへ登録する(S623)。システム登録ボタンを押下されていないと判定した場合(S622でNOの場合)、S621に戻り、受信したMFP操作情報はS623でシステム登録ボタンが押下されたかを再度判定する。
以上のように、本発明の第1実施形態によれば、OCR処理結果の確認及び修正の操作負荷に応じてOCR処理結果を表示するデバイスを選択することが可能となり、ユーザの利便性が向上する。また、第1実施形態によれば、操作負荷の算出およびそれに応じたデバイス選択を、帳票に係る画像を読み込む前と画像を読み込んでいる途中において行う。これにより、いったんMFPを選択して、画像の読み込みを始めた後、再度ユーザにOCR処理結果の確認及び修正を行うデバイスを確認することができ、さらにユーザの利便性が向上する。
(第2実施形態)
第2実施形態は、MFPでのOCR処理結果の確認及び修正途中において、ユーザがPCでの確認及び修正を望んだ場合、その時点でのOCR処理結果の修正が反映された状態からPCで確認及び修正することを可能とする形態に関する。なお、以下の説明では、本実施形態が第1実施形態と重複する構成や処理手順には同一の付番で示し、それらの説明は省略し、第1実施形態とは異なる構成や処理手順についてのみ説明する。
図15(a)および(b)は、第2実施形態に係る、MFPタッチパネル上に表示されるOCR処理結果確認画面を示す図である。また、図16は、第2実施形態に係る、OCR処理結果の確認及び修正に関する処理を示すフローチャートである。
図15に示すように、OCR処理結果確認画面1501は、画像表示部1202と、ページ数表示部1203と、キーリスト502のキーを表示するキー表示部1204とを有して構成される。さらに、OCR処理結果を表示するOCR処理結果表示部1205と、ページ遷移指示部1206と、PC確認ボタン1502とを有して構成される。
PC確認ボタン1502は、PC103でOCR処理結果の確認及び修正を行いたい場合にこれ押下する。そして、図16に示すように、S620において、上記押下に応じて、ユーザがOCR処理結果の修正を反映させた情報を含んだOCR処理修正情報も併せて送信される。この送信に応じて、画像処理サーバ102のCPU401は、ネットワークI/F404を介してMFP101からMFP操作情報と、OCR処理修正情報を受信する(S621)。
そして、CPU401は、S621のMFP操作情報に基づき、PC確認ボタン1502を押下されたかを判定する(S1601)。PC確認ボタン1502が押下されていないと判定した場合(S1601でNOの場合)、S621のMFP操作情報がシステム登録ボタン1207を押下されたかを判定する(S1602)。システム登録ボタンを押下されたと判定した場合は(S1602でYESの場合)、画像データと、OCR処理結果をシステムへ登録する(S1610)。システム登録ボタンを押下されていないと判定した場合(S1602でNOの場合)、S621に戻り、受信したMFP操作情報はS1602でシステム登録ボタンが押下されたかを再度判定する。
PC確認ボタン1502が押下されたと判定した場合(S1601でYESの場合)、CPU401は、ユーザ設定で事前に設定しているメールアドレスへWEB UIのアドレスを通知する(S1603)。
これに応じ、PC103のCPU103は、ネットワークI/F414を介して画像処理サーバ102からメールを受信する(S1604)。図13は、S1604で受信したメールの一例を示す図である。ユーザがメールに記載のWEB UIのアドレスをクリックすると、画像処理サーバ102のCPU401は、PC103にネットワークI/F404を介して、S621で受信したOCR処理修正情報を関連付けたUI表示画面を送信する(S1605)。
図14は、この示すUI表示画面の一例を示す図である。UI表示画面1401は、図12に示したOCR処理結果確認画面1201と同様の画面構成を有する。
CPU103は、ネットワークI/F414を介して、画像処理サーバ102からUI表示画面を受信することにより(S1606)、ブラウザ上でOCR処理結果の確認及び修正を行うUIをユーザに提供することができる。次に、CPU103は、S1606で受信したUI表示画面に対して、ユーザがシステム登録ボタンを押下したか否かを示すPC操作情報をネットワークI/F414を介して画像処理サーバ102に送信する(S1607)。
画像処理サーバ102のCPU401は、ネットワークI/F404を介してPC103からPC操作情報を受信する(S1608)。そして、CPU401は、このPC操作情報に基づき、システム登録ボタンを押下されたかを判定する(S1609)。システム登録ボタンを押下されたと判定した場合(S1609でYESの場合)、画像データと、OCR処理結果をシステムへ登録する(S1610)。システム登録ボタンが押下されていないと判定した場合(S622でNOの場合)、S1608に戻り、受信したPC操作情報はS1609でシステム登録ボタンが押下されたかを再度判定する。
本発明の第2実施形態によれば、MFP101でのOCR処理結果に対する修正を反映させたUI表示画面1401をPC103で表示することができるようになり、ユーザの利便性が向上する。
(第3実施形態)
本発明の第3実施形態は、ユーザ設定によってOCR処理結果の表示をMFPとPCのどちらかに設定することができる形態に関する。なお、以下の説明では、第1実施形態と同様の構成や処理手順には同一の付番で示し、それらの説明は省略し、第1実施形態とは異なる構成や処理手順についての説明のみを行う。また、第2実施形態で説明した図16と同じ処理についてもその説明を省略する。
図18は、第3実施形態に係る、OCR処理結果の確認及び修正に関する処理を示すフローチャートである。S607で画像読取りを開始すると、S1801でOCR処理結果の確認及び修正の処理を行うデバイスをデフォルトに設定しているかを判定する。
図19は、デフォルト設定画面を示す図である。図19において、MFP101のタッチパネルに表示されるデフォルト設定画面1901は、OCR処理結果の確認及び修正をどのデバイスに表示するか設定する画面である。ユーザが「MFPで確認」または「PCで確認」のいずれかを対応するボックスをチェックすることにより、デバイスのデフォルト設定が行われる。
再び図18を参照すると、S1801で、S604で取得したユーザがデフォルト設定を行っているか否かを判定する。S1801でNOの場合、S609に進む。一方、S1801でYESの場合、S1802に進む。
図17は、S1802の処理の詳細を示すフローチャートである。
図17において、S1701で、MFP101のCPU211は、デフォルト設定がMFPかPCのどちらであるかを判定する。デフォルト設定がMFPの場合、算出した負荷パラメータの合計である操作負荷値が所定の閾値を超えたかを判定する(S1702)。
S1702で、操作負荷値が所定の閾値を超えた場合(S1702がYESの場合)、CPU211は、画像処理サーバ102にPC103へ、確認及び修正するデバイスの変更を促す旨のレコメンド画像を送信するように依頼する(S1703)。一方、S1702で、操作負荷値が所定の閾値を超えなかった場合(S1702がNOの場合)、処理を終了する。
S1701で、デフォルト設定のデバイスがPCであると判定した場合、算出した負荷パラメータの合計である操作負荷値が所定の閾値を超えていないかを判定する(S1704)。操作負荷値が所定の閾値を超えていない場合(S1702がYESの場合)、CPU211は、画像処理サーバ102にMFP101へレコメンド画像を送信するように依頼する(S1705)。操作負荷値が所定の閾値を超えた場合(S1702がNOの場合)、処理を終了する。
画像処理サーバ102は、上述したレコメンド画像の送信依頼に対し、その該当ステップで、レコメンドするデバイスへ、レコメンド画像を送信する(図18において不図示)。これにより、ユーザは操作負荷に応じたデバイスでOCR処理結果の確認及び修正を行うことが可能となる。
本発明の第3実施形態によれば、ユーザ設定でOCR処理結果の表示を行うデバイスがデフォルトとなっていても、処理する帳票の操作負荷に応じて、MFPまたはPCのどちらかに設定しなおすことができ、さらにユーザの利便性が向上する。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 MFP
102 画像処理サーバ
103 PC
211 MFPのCPU
203 スキャナ
204 操作部
301 タッチパネル画面
401 画像処理サーバのCPU
411 PCのCPU

Claims (10)

  1. 画像処理装置であって、
    帳票の画像を読み取る読取り手段と、
    前記帳票の属性に基づいて、前記帳票の画像のOCR処理結果についての確認及び修正にかかるユーザの操作負荷を求める操作負荷算出手段と、
    前記操作負荷算出手段で求めた前記ユーザの操作負荷が所定の閾値より大きい場合、当該確認及び修正を、前記画像処理装置で行うか前記画像処理装置と異なる別の装置で行うかを前記ユーザに選択させるための表示を行う表示制御手段と、
    前記表示制御手段による前記表示を介して、前記画像処理装置で行うか前記画像処理装置と異なる前記別の装置で行うかの選択を、前記ユーザから受ける選択手段と、
    を備え、
    前記選択手段が、前記表示制御手段による前記表示を介して、前記確認及び修正を前記画像処理装置で行う選択を前記ユーザから受けた場合、前記表示制御手段は、さらに、前記帳票の画像のOCR処理結果についての前記確認及び修正を行うための確認画面の表示を行うことを特徴とする画像処理装置。
  2. 前記操作負荷算出手段は、読み取った複数枚の帳票それぞれの属性に基づいて、前記ユーザの操作負荷を求めることを特徴とする請求項1に記載の画像処理装置。
  3. 前記操作負荷算出手段は、前記帳票の画像の読み取り前においては、前記ユーザにより選択された帳票の属性に基づいて前記ユーザの操作負荷を求め、さらに、前記帳票の画像の読み取り開始後においては、当該読み取った複数枚の帳票の画像それぞれの属性に基づいて前記ユーザの操作負荷を求めることを特徴とする請求項1に記載の画像処理装置。
  4. 前記操作負荷算出手段は、画像処理サーバに前記ユーザの操作負荷の算出依頼を行うことにより、前記画像処理サーバにおいて前記ユーザの操作負荷を算出させるものであり、
    前記画像処理サーバは、当該算出した前記ユーザの操作負荷が大きい場合に、前記画像処理装置の前記表示制御手段による前記表示を行わせるための情報を、前記画像処理装置に送信し、
    前記画像処理装置の前記表示制御手段は、前記画像処理サーバから前記情報を受信したことに応じて、前記表示を行う、ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記選択手段が、前記表示制御手段による前記表示を介して、前記確認及び修正を前記画像処理装置と異なる前記別の装置で行う選択を、前記ユーザから受けた場合は、前記確認及び修正を前記別の装置で行うためのWEBUIのアドレスが通知される、ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記通知は所定のメールアドレス宛てに行われることを特徴とする請求項5に記載の画像処理装置。
  7. 前記選択手段が、前記表示制御手段による前記表示を介して、前記確認及び修正を前記画像処理装置と異なる前記別の装置で行う選択を、前記ユーザから受けた場合は、前記画像処理サーバが、前記確認及び修正を前記別の装置で行うためのWEBUIのアドレスを通知する、ことを特徴とする請求項4に記載の画像処理装置。
  8. 前記確認画面には、前記確認及び修正を、前記画像処理装置と異なる前記別の装置で行うように変更するための指示部が含まれ、
    前記指示部が前記ユーザにより操作された場合は、前記確認及び修正を行うためのWEBUIのアドレスが通知される、ことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  9. 帳票の画像を読み取る読取り手段を備える画像処理装置により実行される画像処理方法であって、
    前記帳票の属性に基づいて、前記帳票の画像のOCR処理結果についての確認及び修正にかかるユーザの操作負荷を求める操作負荷算出工程と、前記操作負荷算出工程にて求められ前記操作負荷が所定の閾値より大きい場合、当該確認及び修正を、前記画像処理装置で行うか前記画像処理装置と異なる別の装置で行うかを前記ユーザに選択させるための表示を行う表示制御工程と、前記表示制御工程にて行われた前記表示を介して、前記画像処理装置で行うか前記画像処理装置と異なる別の装置で行うかの選択を、前記ユーザから受ける選択工程と、を備え、前記選択工程にて、前記表示制御工程にて行われた前記表示を介して前記確認及び修正を前記画像処理装置で行う選択を前記ユーザから受けた場合、前記表示制御工程にて、さらに、前記帳票の画像のOCR処理結果についての前記確認及び修正を行うための確認画面の表示を行うことを特徴とする画像処理方法。
  10. コンピュータを、請求項1乃至8のいずれか1項に記載の画像処理装置の表示制御手段として機能させるためのプログラム。
JP2019231404A 2019-12-23 2019-12-23 画像処理装置、画像処理方法、及び画像処理システム Active JP7446808B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019231404A JP7446808B2 (ja) 2019-12-23 2019-12-23 画像処理装置、画像処理方法、及び画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019231404A JP7446808B2 (ja) 2019-12-23 2019-12-23 画像処理装置、画像処理方法、及び画像処理システム

Publications (3)

Publication Number Publication Date
JP2021100197A JP2021100197A (ja) 2021-07-01
JP2021100197A5 JP2021100197A5 (ja) 2022-12-26
JP7446808B2 true JP7446808B2 (ja) 2024-03-11

Family

ID=76541500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019231404A Active JP7446808B2 (ja) 2019-12-23 2019-12-23 画像処理装置、画像処理方法、及び画像処理システム

Country Status (1)

Country Link
JP (1) JP7446808B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7459635B2 (ja) 2020-04-17 2024-04-02 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005157458A (ja) 2003-11-20 2005-06-16 Glory Ltd 自動契約システムおよび自動契約受付機および自動契約方法
JP2011248418A (ja) 2010-05-24 2011-12-08 Hitachi Omron Terminal Solutions Corp 文字認識結果を利用した帳票修正方法
JP2018133605A (ja) 2017-02-13 2018-08-23 京セラドキュメントソリューションズ株式会社 画像形成装置
JP2019029971A (ja) 2017-08-03 2019-02-21 キヤノン株式会社 画像処理装置、その制御方法、プログラム、及び画像処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005157458A (ja) 2003-11-20 2005-06-16 Glory Ltd 自動契約システムおよび自動契約受付機および自動契約方法
JP2011248418A (ja) 2010-05-24 2011-12-08 Hitachi Omron Terminal Solutions Corp 文字認識結果を利用した帳票修正方法
JP2018133605A (ja) 2017-02-13 2018-08-23 京セラドキュメントソリューションズ株式会社 画像形成装置
JP2019029971A (ja) 2017-08-03 2019-02-21 キヤノン株式会社 画像処理装置、その制御方法、プログラム、及び画像処理システム

Also Published As

Publication number Publication date
JP2021100197A (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
US10984232B2 (en) Apparatus for setting file name and the like for scan image, control method thereof, and storage medium
US9628636B2 (en) Print control device and computer-readable storage medium storing a program
US8654383B2 (en) Information processing system, apparatus, method and non-transitory computer-readable recording medium for generating a display screen based on local error display information and remote style sheet information
US10528679B2 (en) System and method for real time translation
US11355106B2 (en) Information processing apparatus, method of processing information and storage medium comprising dot per inch resolution for scan or copy
US10270926B2 (en) Information processing apparatus, information processing system, and information processing method
US20160366234A1 (en) Data process system, data process apparatus, and data process method
US20110122448A1 (en) System and method for automatic translation of documents scanned by multifunctional printer machines
US9304786B2 (en) Information processing apparatus, method of controlling the same, and program
JP2006139186A (ja) 画像形成装置及び画像形成システム
US20220272226A1 (en) Method for controlling display of screen for setting metadata, non-transitory storage medium, and apparatus
JP7446808B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
JP5933387B2 (ja) スキャニング装置、スキャニング方法及びコンピュータプログラム
US11611677B2 (en) Information processing apparatus that identifies related document images based on metadata and associates them based on user input, information processing system, information processing method, and storage medium
US20200177740A1 (en) Data processing system, control method for data processing system, and storage medium
JP5899706B2 (ja) 印刷システム、印刷装置、携帯端末装置、印刷方法及び印刷プログラム
US10511733B2 (en) Setting method and setting apparatus of image forming apparatus
US10915800B2 (en) Image forming apparatus that acquires fixed data and plurality of pieces of variable data according to user's instruction, and executes variable printing
US10809951B2 (en) Image processing device having an add-on program and communicatable with a mobile terminal, method of controlling image processing device, non-transitory computer readable recording medium therefor, and image processing system
JP2019212207A (ja) 会計処理装置、プログラム、及び会計処理方法
US20240078399A1 (en) Image processing apparatus that prints information indicated by link destination information, method of controlling same, and storage medium
US11843743B2 (en) Information processing apparatus, method for controlling the same, and storage medium
JP2018023022A (ja) 画像処理システム及び画像処理方法
US20050179945A1 (en) System and method for variable text overlay
JP2004207906A (ja) 画像処理装置及びそのジョブ処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240228

R151 Written notification of patent or utility model registration

Ref document number: 7446808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151