JP2024036018A - 情報端末、文字認識方法及び文字認識プログラム - Google Patents

情報端末、文字認識方法及び文字認識プログラム Download PDF

Info

Publication number
JP2024036018A
JP2024036018A JP2022140708A JP2022140708A JP2024036018A JP 2024036018 A JP2024036018 A JP 2024036018A JP 2022140708 A JP2022140708 A JP 2022140708A JP 2022140708 A JP2022140708 A JP 2022140708A JP 2024036018 A JP2024036018 A JP 2024036018A
Authority
JP
Japan
Prior art keywords
character
character recognition
information terminal
recognized
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022140708A
Other languages
English (en)
Inventor
悟史 山上
Satoshi Yamagami
聡 柳本
Satoshi Yanagida
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Priority to JP2022140708A priority Critical patent/JP2024036018A/ja
Publication of JP2024036018A publication Critical patent/JP2024036018A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

【課題】撮影により現場機器の機器データを取得する際の取得精度を向上させる。【解決手段】制御部を有する情報端末であって、前記制御部は、撮影された画像データに対して文字認識処理を行い、認識対象の文字列の命名規則に基づいて定められた判定基準を参照することで、前記文字認識処理により得られた文字列が、認識対象の文字列の命名規則に則って記載されたか否かを判定する。【選択図】図1

Description

本開示は、情報端末、文字認識方法及び文字認識プログラムに関する。
空調機器等の各種現場機器に付された機器銘板を、情報端末等を用いて撮影し、文字認識処理を行うことで、現場機器の機器データを取得する技術が知られている。当該技術によれば、例えば、保守作業者は、機器銘板を撮影するだけで、現場調査を行った現場機器の機器データを管理することができる。
特開2020-091748号公報
一方で、現場で撮影する場合、撮影状況によっては、文字認識処理が適切に行われず、誤認識が発生することで、機器データの一部または全部について正しい機器データを取得することができないといった事態が生じ得る。
本開示は、撮影により現場機器の機器データを取得する際の取得精度を向上させる。
本開示の第1の態様は、制御部を有する情報端末であって、
前記制御部は、
撮影された画像データから得られた文字列を、命名規則に従って判定する。
本開示の第1の態様によれば、撮影により現場機器の機器データを取得する際の取得精度を向上させることができる。
また、本開示の第2の態様は、制御部を有する情報端末であって、
前記制御部は、
撮影された画像データに対して文字認識処理を行い、
認識対象の文字列の命名規則に基づいて定められた判定基準を参照することで、前記文字認識処理により得られた文字列が、認識対象の文字列の命名規則に則って記載されたか否かを判定する。
また、本開示の第3の態様は、第2の態様に記載の情報端末であって、
前記制御部は、
認識対象の文字列の命名規則に基づいて定められた文字修正ルールを保持し、
前記文字認識処理により得られた文字列が、前記文字修正ルールにより修正された場合に、修正された前記文字列が、認識対象の文字列の命名規則に則って記載されたか否かを判定する。
また、本開示の第4の態様は、第2または第3の態様に記載の情報端末であって、
前記制御部は、
複数の認識対象の文字列それぞれの命名規則に基づいて定められた文字修正ルールを保持し、
前記文字認識処理により得られた文字列が、前記文字認識処理により得られた文字列に対応する文字修正ルールにより修正された場合に、修正された前記文字列が、認識対象の文字列の命名規則に則って記載されたか否かを判定する。
また、本開示の第5の態様は、第2乃至第4のいずれかの態様に記載の情報端末であって、
前記認識対象の文字列の命名規則に則って記載された文字列を、文字認識結果として記憶部に記憶する。
また、本開示の第6の態様は、第3の態様に記載の情報端末であって、
前記制御部は、
修正された前記文字列であって、前記認識対象の文字列の命名規則に則って記載された文字列を、文字認識結果として記憶部に記憶する。
また、本開示の第7の態様は、第2乃至第6のいずれかの態様に記載の情報端末であって、
前記制御部は、
所定周期で撮影された画像データを表示する際、認識対象の文字列の命名規則に則って記載された文字列の位置を示す情報を重畳して表示する。
また、本開示の第8の態様は、第2乃至第7のいずれかの態様に記載の情報端末であって、
前記制御部は、
所定周期で撮影された画像データを表示する際、認識対象の文字列の命名規則に則って記載された文字列を重畳して表示する。
また、本開示の第9の態様は、第1乃至第8のいずれかの態様に記載の情報端末であって、
前記制御部は、
アルファベット、数字、記号を認識対象の文字種として文字認識処理を行う。
また、本開示の第10の態様は、第1乃至第9のいずれかの態様に記載の情報端末であって、
前記命名規則は、認識対象の文字列を構成する文字種、文字数、並び順を定めた情報である。
また、本開示の第11の態様は、第1乃至第10のいずれかの態様に記載の情報端末であって、
認識対象の文字列は機種名および製造番号であり、
前記制御部は、
機器の銘板が撮影された画像データに対して文字認識処理を行う。
また、本開示の第12の態様は、文字認識方法であって、
情報端末の制御部が、
撮影された画像データから得られた文字列を、命名規則に従って判定する工程を実行する。
本開示の第12の態様によれば、撮影により現場機器の機器データを取得する際の取得精度を向上させることができる。
また、本開示の第13の態様は、文字認識方法であって、
情報端末の制御部が、
撮影された画像データに対して文字認識処理を行う工程と、
認識対象の文字列の命名規則に基づいて定められた判定基準を参照することで、前記文字認識処理により得られた文字列が、認識対象の文字列の命名規則に則って記載されたか否かを判定する工程とを実行する。
また、本開示の第14の態様は、文字認識プログラムであって、
情報端末の制御部に、
撮影された画像データから得られた文字列を、命名規則に従って判定する工程を実行させる。
本開示の第14の態様によれば、撮影により現場機器の機器データを取得する際の取得精度を向上させることができる。
また、本開示の第15の態様は、文字認識プログラムであって、
情報端末の制御部に、
撮影された画像データに対して文字認識処理を行う工程と、
認識対象の文字列の命名規則に基づいて定められた判定基準を参照することで、前記文字認識処理により得られた文字列が、認識対象の文字列の命名規則に則って記載されたか否かを判定する工程とを実行させる。
情報端末の利用例を示す図である。 各フレーム画像に対して文字認識処理を行うことで得られた文字認識結果の一例を示す図である。 情報端末のハードウェア構成の一例を示す図である。 情報端末の機能構成の一例を示す第1の図である。 情報端末全体の動作例を示す図である。 認識部から抽出部までの処理の具体例を示す図である。 判定部の処理の具体例を示す図である。 第1記憶制御部の処理の流れを示すフローチャートである。 第2記憶制御部の処理の流れを示すフローチャートである。 表示部により表示されるフレーム画像及びバウンディングボックスの表示例を示す第1の図である。 表示部により表示されるフレーム画像及びバウンディングボックスの表示例を示す第2の図である。 情報端末による文字認識処理の流れを示すフローチャートである。 情報端末の機能構成の一例を示す第2の図である。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
<情報端末の利用例>
はじめに、第1の実施形態に係る情報端末の利用例について説明する。図1は、情報端末の利用例を示す図である。図1の左側に示すように、情報端末120は、例えば、現場機器110の側面等に付された機器銘板111から、機器データを読み取るシーン等において利用される。
情報端末120によれば、例えば、保守作業者130が現場調査を行い、調査結果を不図示のサーバ装置等に登録する際、調査対象である現場機器110を特定するための機器データを、保守作業者130が手入力する手間を省くことができる。また、保守作業者130が機器データを誤入力するのを防止することができる。
なお、本実施形態では、現場機器110が空調機器の室外機であり、情報端末120が携帯端末であるとして説明する。ただし、現場機器110は空調機器の室外機に限定されるものではなく、空調機器の室外機以外のユニットであってもよいし、空調機器以外の現場機器であってもよい。また、情報端末120は携帯端末に限定されず、光学的文字認識機能を有する端末であれば、携帯端末以外の情報端末であってもよい。
図1の右側は、保守作業者130が機器銘板111を撮影したことで、情報端末120の表示画面に、撮影画像121が表示された様子を示している。図1の右側に示すように、撮影画像121には、機器銘板111に対応する画像領域122が含まれる。
現場機器110が空調機器の室外機の場合、画像領域122に表示される機器銘板111には、例えば、
・室外機であることを示す記載、
・冷房と暖房とを兼用する室外機であることを示す記載、
・機種についての記載(ラベル、機種コードデータ)、
・製造番号についての記載(ラベル、製造番号データ)、
・製品質量についての記載(ラベル、質量データ)、
・電源仕様についての記載(ラベル、相数データ、電圧データ、周波数データ)、
・圧縮機電動機の出力についての記載(ラベル、消費電力量データ)、
・管理番号についての記載(ラベル、管理コードデータ)、
・冷媒の量及び種類についての記載(ラベル、冷媒量データ、冷媒種コード)、
・設計圧力についての記載(ラベル、圧力データ)、
・製造年月についての記載(ラベル、製造年月データ)、
等が含まれる(図1では、「*」として省略して示している)。また、実際の機器銘板111の記載には、アルファベットや数字、記号、漢字(現場機器110が設置された国の言語)など、多くの文字種が含まれる。
なお、本実施形態では、情報端末120を用いて現場機器110を撮影する際、保守作業者130が撮影を開始してから、シャッタ操作を行うまでの間、動画像データとして撮影する。また、本実施形態では、動画像データに含まれる各フレーム画像に対して文字認識処理を行う。
<文字認識処理の一例>
次に、保守作業者130が現場機器110を動画像データとして撮影し、情報端末120が各フレーム画像に対して文字認識処理を行った場合の文字認識結果について説明する。図2は、各フレーム画像に対して文字認識処理を行うことで得られた文字認識結果の一例を示す図である。
図2において、縦軸201は時間軸を表しており、図2の例は、動画像データに含まれる各フレーム画像のうち、時刻=T、T、Tにおいて撮影されたフレーム画像を示している(符号211~213)。
また、図2の例は、動画像データに含まれる各フレーム画像に対して、文字認識処理を行うことで、現場機器110の機種名、製造番号、製造年月についての文字認識結果を、機器データとして取得した様子を示している(符号221~223)。
具体的には、図2の例は、時刻=Tにおいて撮影されたフレーム画像1の場合、機種名、製造番号については文字認識処理を行うことで文字認識結果が得られたことを示している。一方、製造年月については文字認識処理を行うことで文字認識結果が得られなかったことを示している。
また、図2の例は、時刻=Tにおいて撮影されたフレーム画像2の場合、機種名、製造番号、製造年月のいずれについても文字認識処理を行うことで文字認識結果が得られ、機器データが取得できたことを示している。
更に、図2の例は、時刻=Tにおいて撮影されたフレーム画像3の場合、製造番号については文字認識処理を行うことで文字認識結果が得られたことを示している。一方、機種名、製造年月については文字認識処理を行うことで、文字認識結果が得られなかったことを示している。
このように、現場機器110を動画像データとして撮影した場合、保守作業者130が気付かないような撮影中のわずかな撮影状況の違いによって、文字認識結果が得られる場合と、得られない場合とがある。
換言すると、シャッタ操作が行われたタイミングで、複数の対象項目(複数の認識対象の項目)全てについて文字認識結果が得られる可能性は高くはない。そこで、本実施形態に係る情報端末120では、シャッタ操作が行われるまでの間に撮影されたフレーム画像それぞれに対して文字認識処理を行う。そして、本実施形態に係る情報端末120では、いずれかのフレーム画像において全ての対象項目について文字認識結果が得られた場合に、機器データとして取得する。
これにより、シャッタ操作が行われたタイミングで取得されたフレーム画像に対してのみ文字認識処理を行う場合と比較して、機器データを取得できる可能性を高めることができる。この結果、本実施形態に係る情報端末120によれば、撮影により現場機器の機器データを取得する際の取得精度を向上させることができる。
<情報端末のハードウェア構成>
次に、情報端末120のハードウェア構成について説明する。図3は、情報端末のハードウェア構成の一例を示す図である。図2に示すように、情報端末120は、プロセッサ301、メモリ302、補助記憶装置303、ユーザインタフェース装置304、撮像装置305、通信装置306を有する。なお、情報端末120の各ハードウェアは、バス307を介して相互に接続されている。
プロセッサ301は、CPU(Central Processing Unit)等の各種演算デバイスを有する。プロセッサ301は、各種プログラム(例えば、後述する文字認識プログラム等)をメモリ302上に読み出して実行する。
メモリ302は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ301とメモリ302とは、いわゆるコンピュータを形成し、プロセッサ301が、メモリ302上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
補助記憶装置303は、各種プログラムや、各種プログラムがプロセッサ301によって実行される際に用いられる各種データ(例えば、後述するフレーム画像、ライブラリ、修正テーブル、機器データルール、文字認識結果等)を格納する。
ユーザインタフェース装置304は、例えば、保守作業者130が各種操作を行うための操作機能と、情報端末120により実行される各種処理の処理結果を表示する表示機能とを有する。
撮像装置305は、機器銘板111を撮影し、撮影画像121を生成する。通信装置306は、ネットワークを介して外部装置(例えば、不図示のサーバ装置)と通信を行うための通信デバイスである。
なお、補助記憶装置303にインストールされる各種プログラムは、例えば、通信装置306を介してネットワークからダウンロードされることで、インストールされる。
<情報端末の機能構成>
次に、情報端末120の機能構成について説明する。図4は、情報端末の機能構成の一例を示す第1の図である。上述したように、情報端末120には、文字認識プログラムがインストールされており、当該プログラムが実行されることで、情報端末120は、
・操作受付部401、
・取得部402、
・認識部403、
・修正部404、
・抽出部405、
・判定部406、
・バウンディングボックス生成部407、
・第1記憶制御部408、
・第2記憶制御部409、
・表示部410、
・手動修正部411、
として機能する。
操作受付部401は、情報端末120に対する保守作業者130の各種操作のうち、撮影開始の操作と、シャッタ操作とを受け付ける。また、操作受付部401は、撮影開始の操作を受け付けた場合、取得部402に、撮影開始の指示を通知する。
一方、操作受付部401は、シャッタ操作を受け付けた場合、取得部402に、撮影終了の指示を通知するとともに、第2記憶制御部409に、シャッタ操作があったことを通知する。
取得部402は、操作受付部401より撮影開始の指示が通知されると、撮像装置305を動作させ、動画像として所定のフレーム周期(所定周期の一例)で撮影された撮影画像データの取得を開始する。取得部402は、取得した撮影画像データに含まれる各フレーム画像を表示部410に通知するとともに、各フレーム画像を間引いて、認識部403に通知する。更に、取得部402は、認識部403に通知した各フレーム画像を、フレーム画像記憶部421に記憶する。なお、取得部402によるこれらの処理は、操作受付部401から撮影終了の指示が通知されるまで、繰り返し実行される。
認識部403は、取得部402より通知された各フレーム画像に対して、ライブラリ記憶部422を参照しながら文字認識処理を行い、認識した文字を修正部404に通知する。なお、ライブラリ記憶部422には、アルファベット、数字、記号を文字認識するためのライブラリが格納されているものとする。
修正部404は、認識部403より通知された文字のうち、文字認識処理において誤認識された文字を、修正テーブルが記憶された修正テーブル記憶部423を参照しながら特定し、特定した文字を、正しい文字に修正する。また、修正部404は、修正後の文字を抽出部405に通知する。なお、修正テーブル記憶部423には、命名規則に基づいて定められた文字修正ルールを規定する修正テーブルが記憶されている。具体的には、修正テーブル記憶部423には、機器銘板を撮影した撮影画像データに含まれるフレーム画像に対して文字認識処理を行った場合の、誤認識しやすい文字と、当該文字を正しく認識した場合の文字とが予め対応付けられた修正テーブルが記憶されている。
抽出部405は、修正部404より通知された修正後の文字から、文字列を抽出し、抽出した文字列を、それぞれの位置及びサイズとともに判定部406に通知する。なお、抽出部405は、修正後の文字について、1行分を1つの文字列として抽出するものとし、所定文字数分の空欄が含まれる場合、改行することで、1行を判定するものとする。ただし、本実施形態において抽出部405は、数字の後に空欄がある場合には改行しない。
判定部406は、抽出部405より通知された文字列が、それぞれ、対象項目(本実施形態では、機種名、製造番号、製造年月が認識対象の項目)の命名規則に則って記載されたか否かを判定する。なお、機器データルール保持部424には、対象項目の文字列を構成する文字種、文字数、並び順を定めた命名規則が保持されており、判定部406は、機器データルール保持部424を参照することで、対象項目の命名規則に則って記載されたか否かを判定する。
また、判定部406は、判定の結果、対象項目の命名規則に則って記載されたと判定した場合には、
・抽出部405より通知された文字列のうち、命名規則に則って記載されたと判定した文字列(文字認識結果)と、
・該文字列の位置及びサイズと、
を、バウンディングボックス生成部407に通知する。
また、判定部406は、判定の結果、全ての対象項目が、対応する命名規則に則って記載されたと判定した場合には、対応する命名規則に則って記載された各文字列(各文字認識結果)を、各対象項目と関連付けて第1記憶制御部408に通知する。更に、判定部406は、抽出部405より通知された位置及びサイズを、各対象項目と関連付けて第1記憶制御部408に通知する。
このように、判定部406では、動画像データの撮影中に、各フレーム画像から得られた文字列を、命名規則に従って修正及び判定する。これにより、撮影により現場機器の機器データを取得する際の取得精度を向上させることができる。
バウンディングボックス生成部407は、判定部406より通知された、文字列の位置及びサイズに基づいて、バウンディングボックス(文字列の位置及びサイズを示す情報)を生成する。また、バウンディングボックス生成部407は、生成したバウンディングボックスを、判定部406より通知された文字列(文字認識結果)とともに、表示部410に通知する。
第1記憶制御部408は、判定部406より、全ての対象項目についての文字認識結果が通知されると、機器データとして、位置及びサイズとともに、対象項目と関連付けて第1記憶部425に記憶する。また、第1記憶制御部408は、判定部406より、全ての対象項目についての文字認識結果が通知されると、対応するフレーム画像を、フレーム画像記憶部421より読み出し、第1記憶部425に記憶する。
なお、第1記憶制御部408は、第1記憶部425に、既に、対象項目についての文字認識結果が、対応する位置及びサイズ、フレーム画像とともに記憶されている場合には、上書きして記憶する。これにより、第1記憶部425には、撮影中に繰り返し通知される全ての対象項目についての文字認識結果のうち、最新の文字認識結果が、対応する位置及びサイズ、フレーム画像とともに記憶されることになる。
第2記憶制御部409は、操作受付部401よりシャッタ操作があったことが通知されると、第1記憶部425から、最新の文字認識結果と、対応する位置及びサイズ、フレーム画像とを読み出し、第2記憶部426に記憶する。これにより、第2記憶制御部409は、確定した文字認識結果等を第2記憶部426に記憶することができる。換言すると、本実施形態において、シャッタ操作は、文字認識結果等を確定させるための操作ということができる。
また、第2記憶制御部409は、確定した文字認識結果、位置及びサイズを、バウンディングボックス生成部407に通知する。また、第2記憶制御部409は、確定したフレーム画像を、表示部410に通知する。
更に、第2記憶制御部409は、確定した文字認識結果、位置及びサイズ、フレーム画像を通知したことに応じて、手動修正部411より、文字認識結果が手動で修正されることで得られた修正後の文字列が通知された場合、これを受け取る。そして、第2記憶制御部409は、受け取った修正後の文字列を、第2記憶部426に上書きして記憶する。
表示部410は、取得部402より、所定のフレーム周期で通知される各フレーム画像を、ユーザインタフェース装置304に表示する。なお、表示部410では、所定のフレーム周期で通知される各フレーム画像を表示する際、バウンディングボックス生成部407から通知されるバウンディングボックス及び文字認識結果を重畳する。表示部410が各フレーム画像に重畳するバウンディングボックス及び文字認識結果は、所定のフレーム周期よりも長い周期で更新される。上述したように、取得部402は、各フレーム画像を間引いて、認識部403に通知しているため、バウンディングボックスが生成される周期は、所定のフレーム周期より長くなるからである。
また、表示部410は、シャッタ操作が行われたことで、第2記憶制御部409から通知されたフレーム画像に、バウンディングボックス生成部407から通知されたバウンディングボックス及び文字認識結果を重畳する。更に、表示部410は、バウンディングボックス及び文字認識結果を重畳したフレーム画像を、ユーザインタフェース装置304に表示する。
つまり、表示部410は、
・撮影中、リアルタイムにフレーム画像を表示し、所定のフレーム周期より長い周期で、対象項目に重畳されたバウンディングボックス及び文字認識結果を更新し、
・シャッタ操作が行われた際には、確定したフレーム画像と、確定した位置及びサイズに基づき生成されたバウンディングボックスと、確定した文字認識結果とを表示する。
手動修正部411は、シャッタ操作が行われたことで、表示部410により、確定した文字認識結果及び確定したフレーム画像が表示されたことに応じて、手動で修正指示が入力された場合に、これを受け付ける。また、手動修正部411は、手動で修正された修正後の文字列を、第2記憶制御部409に通知する。
<情報端末全体の動作例>
次に、情報端末120全体の動作例について説明する。図5は、情報端末全体の動作例を示す図である。
図5において、"フレーム画像1"~"フレーム画像5"は、取得部402により取得されたフレーム画像を示している。具体的には、撮影開始の指示が入力されることで"フレーム画像1"が取得され、"フレーム画像5"が撮影された直後に、シャッタ操作が行われた様子を示している。
また、図5の例は、このうち、"フレーム画像1"、"フレーム画像3"、"フレーム画像5"が、フレーム画像記憶部421に記憶された様子を示している。
なお、図5の例によれば、情報端末120のユーザインタフェース装置304に表示されるフレーム画像は、第1の時間間隔aで更新される。また、情報端末120のユーザインタフェース装置304にフレーム画像に重畳して表示されるバウンディングボックス及び文字認識結果は、少なくとも第2の時間間隔bで更新される(a<b)。
また、図5において、"認識結果1(NG)"は、"フレーム画像1"に対して、認識部403~判定部406の各部が処理を実行し、"フレーム画像1"に含まれる文字列のいずれかが、対象項目の命名規則に則って記載されていないと判定された様子を示している。この場合、第1記憶部425には、"認識結果1(NG)"及び"フレーム画像1"は記憶されない。
一方、図5において、"認識結果3(OK)"は、"フレーム画像3"に対して、認識部403~判定部406の各部が処理を実行し、"フレーム画像3"に含まれる文字列が、対象項目の命名規則に則って記載されていると判定された様子を示している。この場合、第1記憶部425には、"認識結果3(OK)"(文字認識結果)及び"フレーム画像3"が記憶される(なお、図5の例では、位置及びサイズについては省略している)。
また、図5において、"認識結果5(OK)"は、"フレーム画像5"に対して、認識部403~判定部406の各部が処理を実行し、"フレーム画像5"に含まれる文字列が、対象項目の命名規則に則って記載されていると判定された様子を示している。この場合、第1記憶部425には、"認識結果5(OK)" (文字認識結果)及び"フレーム画像5"が上書きして記憶される。
また、図5の例は、シャッタ操作が行われた時点で、第1記憶部425に記憶されている"認識結果5(OK)" (文字認識結果)及び"フレーム画像5"が、第2記憶部426に記憶された様子を示している。
<情報端末の各機能部の処理の詳細>
次に、情報端末の各機能部(ここでは、認識部403、修正部404、抽出部405、判定部406、第1記憶制御部408、第2記憶制御部409)の処理の詳細について説明する。
(1)認識部403から抽出部405までの処理の詳細
はじめに、認識部403から抽出部405までの処理の詳細について説明する。図6は、認識部から抽出部までの処理の具体例を示す図である。
上述したように、ライブラリ記憶部422には、アルファベット、数字、記号を文字認識するためのライブラリが格納されている。このため、認識部403は、フレーム画像に対して文字認識処理を行った際、フレーム画像内にアルファベット、数字、記号が含まれていた場合には、フレーム画像内のアルファベット、数字、記号を文字認識する。また、認識部403は、フレーム画像内にアルファベット、数字、記号以外の文字が含まれていた場合には、アルファベット、数字、記号のいずれかとして文字認識する。具体的には、認識部403は、フレーム画像内にアルファベット、数字、記号以外の文字が含まれていた場合には、当該文字と似ているアルファベット、数字、記号として文字認識する。
図6において、符号610は、認識部403は、フレーム画像に対して文字認識処理を行うことで得られた文字を示している。
続いて、修正部404は、符号610に示す文字の中から、誤認識された文字を判定する。具体的には、修正部404は、符号610に示す文字において、対象項目として使用されることのないアルファベット、数字、記号が含まれていた場合、それらのアルファベット、数字、記号は誤認識されたと判定して修正する。
上述したように、修正部404は、修正テーブル記憶部423に記憶された修正テーブル(命名規則に基づいて定められた文字修正ルールの一例。例えば、修正テーブル600)を参照しながら、誤認識されたと判定したアルファベット、数字、記号を修正する。なお、上述したように、修正テーブル600には、誤認識しやすい文字(修正前の文字)と、当該文字を正しく認識した場合の文字(修正後文字)とが予め対応付けられている。図6において、符号620は、符号610に示す文字のうち、誤認識された文字が修正された修正後の文字を示している(なお、符号620は、紙面の都合上、更に、1行分を1つの文字列として抽出するために改行した状態を示している)。
続いて、抽出部405は、符号620に示す文字について、1行分を1つの文字列として順次抽出し、判定部406に通知する。図6において、符号630は、符号620に示す文字の中から文字列として、"ARR63UP"が抽出された様子を示している。
また、抽出部405は、抽出した文字列の改行前のフレーム画像内での位置及びサイズを順次算出し、抽出された文字列(符号630)とともに、判定部406に通知する。図6において、符号631は、抽出された文字列(符号630)の改行前のフレーム画像内での位置及びサイズが算出された様子を示している。
(2)判定部406の処理の詳細
次に、判定部406の処理の詳細について説明する。図7は、判定部の処理の具体例を示す図である。
上述したように、機器データルール保持部424には、対象項目の命名規則700が保持されている。判定部406は、機器データルール保持部424に保持された命名規則700を参照することで、抽出部405から順次通知された文字列(符号630参照)が、対象項目の命名規則に則って記載されたか否かを判定する。
図7の例は、符号630に示す文字列が通知され、判定部406が、命名規則700内の"機種コードデータ"の命名規則に基づいて定められた判定基準を参照した様子を示している。判定部406では、符号630に示す文字列である"ARR63UP"が判定基準に合致しているため、"機種コードデータ"の命名規則に則って記載されたと判定する。
このため、判定部406は、"機種名"の文字列(文字認識結果)と、その位置及びサイズとを(符号710、711参照)、バウンディングボックス生成部407(図7において不図示)に通知する。
なお、図7の例では、判定部406に順次通知された文字列の中に、
・命名規則700内の"機種コードデータ"の命名規則に基づいて定められた判定基準に合致する文字列
はあったが、
・命名規則700内の"製造番号データ"の命名規則に基づいて定められた判定基準に合致する文字列、及び、
・命名規則700内の"製造年月データ"の命名規則に基づいて定められた判定基準に合致する文字列、
はなかったとする。このため、判定部406は、第1記憶制御部408に対して認識結果(NG)を通知する。
一方、図7の例では示していないが、判定部406に順次通知された文字列の中に、
・命名規則700内の"機種コードデータ"の命名規則に基づいて定められた判定基準に合致する文字列、
・命名規則700内の"製造番号データ"の命名規則に基づいて定められた判定基準に合致する文字列、及び、
・命名規則700内の"製造年月データ"の命名規則に基づいて定められた判定基準に合致する文字列、
がいずれもあったとする。この場合、判定部406は、
・全ての対象項目についての文字認識結果(認識結果(OK))、
・"機種名"の文字列(文字認識結果)、"製造番号"の文字列(文字認識結果)、"製造年月"の文字列(文字認識結果)それぞれの位置及びサイズ、
を第1記憶制御部408に通知する。
(3)第1記憶制御部408の処理の詳細
次に、第1記憶制御部408の処理の詳細について説明する。図8は、第1記憶制御部の処理の流れを示すフローチャートである。
図8に示すように、ステップS801において、第1記憶制御部408は、判定部406から文字認識結果(認識結果(OK))、位置及びサイズ、または認識結果(NG)を取得する。
ステップS802において、第1記憶制御部408は、フレーム画像記憶部421を参照し、取得した文字認識結果に対応するフレーム画像を取得する。
ステップS803において、第1記憶制御部408は、文字認識結果(認識結果(OK))、位置及びサイズを取得した場合には、取得した文字認識結果を対象項目と関連付けて、機器データとして、第1記憶部425に記憶する。また、第1記憶制御部408は、取得した位置及びサイズを、対象項目と関連付けて第1記憶部425に記憶する。更に、第1記憶制御部408は、取得したフレーム画像を、取得した文字認識結果と関連付けて第1記憶部425に記憶する。
なお、既に、第1記憶部425に、文字認識結果、位置及びサイズ、フレーム画像が記憶されている場合、第1記憶制御部408は、上書きして記憶する。
(4)第2記憶制御部409の処理の詳細
次に、第2記憶制御部409の処理の詳細について説明する。図9は、第2記憶制御部の処理の流れを示すフローチャートである。
図9に示すように、ステップS901において、第2記憶制御部409は、第1記憶部425に機器データとして記憶されている最新の文字認識結果を特定する。
ステップS902において、第2記憶制御部409は、特定した文字認識結果と、対応する位置及びサイズと、対応するフレーム画像とを第1記憶部425から読み出し、第2記憶部426に記憶することで、文字認識結果等を確定する。
ステップS903において、第2記憶制御部409は、第2記憶部426に記憶された、確定したフレーム画像を、表示部410に通知する。
ステップS904において、第2記憶制御部409は、第2記憶部426に記憶された、確定した文字認識結果、位置及びサイズを、バウンディングボックス生成部407に通知する。
<表示部の表示例>
次に、表示部410に表示されるフレーム画像及びバウンディングボックスの表示例について説明する。図10A、図10Bは、表示部により表示されるフレーム画像及びバウンディングボックスの表示例を示す第1及び第2の図である。
図10Aの例は、保守作業者130が撮影開始の操作を行ったことで、時刻=Tで符号1011に示すフレーム画像1が表示された様子を示している。また、図10Aの例は、フレーム画像1に対する文字認識処理では、"機種名"、"製造番号"については文字認識結果が取得されたが、"製造年月"については文字認識結果が取得されなかったことを示している(符号1021参照)。このため、フレーム画像1には、"機種名"、"製造番号"の文字列にバウンディングボックスが表示されるとともに、文字認識結果が表示されることになる。
また、図10Aの例は、時刻=Tで符号1012に示すフレーム画像2が表示された様子を示している。フレーム画像2に対しては文字認識処理が行われないため、フレーム画像1に対して文字認識処理が行われることで取得された文字認識結果がそのまま表示される。つまり、フレーム画像2には、"機種名"、"製造番号"の文字列にバウンディングボックスが表示されるとともに、文字認識結果が表示されることになる。
また、図10Aの例は、時刻=Tで符号1013に示すフレーム画像3が表示された様子を示している。フレーム画像3に対する文字認識処理では、"機種名"、"製造番号"、"製造年月"について文字認識結果が取得されたことを示している(符号1023参照)。このため、フレーム画像3には、"機種名"、"製造番号"、"製造年月"の文字列にバウンディングボックスが表示されるとともに、文字認識結果が表示されることになる。
続いて、図10Bの例は、時刻=Tで符号1014に示すフレーム画像4が表示された様子を示している。フレーム画像4に対しては文字認識処理が行われないため、フレーム画像3に対して文字認識処理が行われることで取得された文字認識結果がそのまま表示される。つまり、フレーム画像4には、"機種名"、"製造番号"、"製造年月"の文字列にバウンディングボックスが表示されるとともに、文字認識結果が表示されることになる。
また、図10Bの例は、時刻=Tで符号1015に示すフレーム画像5が表示された様子を示している。フレーム画像5に対する文字認識処理では、"機種名"、"製造番号"、"製造年月"について文字認識結果が取得されたことを示している(符号1025参照)。このため、フレーム画像5には、"機種名"、"製造番号"、"製造年月"の文字列にバウンディングボックスが表示されるとともに、文字認識結果が表示されることになる。
また、図10Bの例は、時刻=Tの直後に、保守作業者130がシャッタ操作を行った様子を示している。この時点では、第1記憶部425に、最新の文字認識結果として、フレーム画像5に対して文字認識処理が行われることで取得された文字認識結果が記憶されており、対応するフレーム画像としてフレーム画像5が記憶されている。そして、当該最新の文字認識結果及び当該フレーム画像5が第2記憶部426に記憶されることになる。このため、シャッタ操作が行われた後には、時刻=Tで表示されたフレーム画像、バウンディングボックス、文字認識結果と同じフレーム画像、バウンディングボックス、文字認識結果が表示されることになる(符号1016)。
<文字認識処理>
次に、情報端末120全体の文字認識処理の流れについて説明する。図11は、情報端末による文字認識処理の流れを示すフローチャートである。
ステップS1101において、情報端末120は、保守作業者130による撮影開始の操作を受け付ける。
ステップS1102において、情報端末120は、動画像データの撮影を開始し、フレーム画像を取得するとともに、取得したフレーム画像を表示する。
ステップS1103において、情報端末120は、取得したフレーム画像を間引いてフレーム画像記憶部421に記憶する。
ステップS1104において、情報端末120は、取得したフレーム画像を間引いて文字認識処理を行う。
ステップS1105において、情報端末120は、文字認識処理を行うことで認識した文字を修正する。
ステップS1106において、情報端末120は、修正後の文字の中から文字列を抽出する。
ステップS1107において、情報端末120は、抽出した文字列が、対象項目の命名規則に則って記載されたか否かを判定する。
ステップS1108において、情報端末120は、命名規則に則って記載されていないと判定した場合には(ステップS1108においてNOの場合には)、ステップS1110に進む。
一方、ステップS1108において、情報端末120は、命名規則に則って記載されていると判定した場合には(ステップS1108においてYESの場合には)、ステップS1109に進む。
ステップS1109において、情報端末120は、命名規則に則って記載されていると判定した文字列(文字認識結果)を、バウンディングボックスとともに表示する。
ステップS1110において、情報端末120は、第1記憶制御処理を行う。なお、第1記憶制御処理の詳細は、図8を用いて既に説明済みであるため、ここでは、説明を省略する。
ステップS1111において、情報端末120は、シャッタ操作があったか否かを判定する。ステップS1111において、シャッタ操作がなかったと判定した場合には(ステップS1111においてNOの場合には)、ステップS1102に戻る。
一方、ステップS1111において、シャッタ操作があったと判定した場合には(ステップS1111においてYESの場合には)、ステップS1112に進む。
ステップS1112において、情報端末120は、第2記憶制御処理を行う。なお、第2記憶制御処理の詳細は、図9を用いて既に説明済みであるため、ここでは、説明を省略する。
ステップS1113において、情報端末120は、確定した文字認識結果を、確定したフレーム画像に、バウンディングボックスとともに重畳して表示する。
<まとめ>
以上の説明から明らかなように、第1の実施形態に係る情報端末120は、
・撮影された動画像データに含まれる各フレーム画像に対して文字認識処理を行う。
・対象項目の文字列の命名規則に基づいて定められた判定基準を参照することで、文字認識処理により得られた文字列が、対象項目の文字列の命名規則に則って記載されたか否かを判定する。
このように、第1の実施形態に係る情報端末120は、動画像データの撮影中に、各フレーム画像から得られた文字列を、命名規則に従って判定する。これにより、第1の実施形態によれば、撮影により現場機器の機器データを取得する際の取得精度を向上させることができる。
[第2の実施形態]
上記第1の実施形態では、動画像データの撮影中に機器データが正しく取得できたか否かに関わらず、保守作業者は、シャッタ操作を行うことができたが、機器データが正しく取得できるまで、シャッタ操作を行うことができないように構成してもよい。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
<情報端末の機能構成>
図12は、情報端末の機能構成の一例を示す第2の図である。図4を用いて説明した第1の実施形態に係る情報端末120の機能構成との相違点は、操作受付部1201の機能が、操作受付部401の機能とは異なる点である。
第2の実施形態に係る情報端末120において、操作受付部1201は、保守作業者130による撮影開始の操作を受け付けて、取得部402に撮影開始の指示を通知するとともに、第1記憶部425の監視を開始する。
具体的には、操作受付部1201は、第1記憶部425に、対象項目(機種名、製造番号、製造年月)についての文字認識結果が記憶されたか否かを監視する。そして、操作受付部1201は、文字認識結果が記憶されていないと判定した場合には、保守作業者130によるシャッタ操作を受け付けない。一方、操作受付部1201は、文字認識結果が記憶されたと判定した場合には、保守作業者130によるシャッタ操作を受け付け、第2記憶制御部409にシャッタ操作があったことを通知する。
<まとめ>
以上の説明から明らかなように、第2の実施形態に係る情報端末120は、撮影開始の操作が行われた後、機器データが正しく取得できるまで、シャッタ操作を行うことができないように構成する。
これにより、第2の実施形態によれば、上記第1の実施形態と同様の効果を奏するとともに、保守作業者は、撮影のやり直しをなくすことができる。
[その他の実施形態]
上記第1及び第2の実施形態では、文字認識結果を確定させるための操作として、シャッタ操作を割り当てる場合について説明したが、文字認識結果を確定させるための操作には、シャッタ操作以外の操作を割り当ててもよい。
また、上記第1及び第2の実施形態では、シャッタ操作を行うことで、動画像データの撮影を終了し、文字認識結果を確定させることとした。しかしながら、動画像データの撮影終了及び文字認識結果の確定は、第1記憶部425に、対象項目についての文字認識結果が記憶されたことを条件に自動的に実行されるように構成してもよい。
また、上記第1及び第2の実施形態では、全ての対象項目について文字認識結果が得られた場合に、第1記憶部425に記憶するものとして説明した。しかしながら、第1記憶部425に記憶する方法はこれに限定されない。例えば、上記第1及び第2の実施形態のように、対象項目が複数含まれ、かつ、対象項目のいずれかについて文字認識結果が取得された場合、当該取得された文字認識結果を、対応する対象項目の文字認識結果として上書きするように構成してもよい。つまり、対象項目単位で個別に文字認識結果を記憶するように構成してもよい。
また、上記第1及び第2の実施形態では、機器銘板から機器データを読み取る場合について説明したが、機器データを読み取る対象は、機器銘板に限定されない。あるいは、機器銘板から読み取る対象は、機器データに限定されない。更に、撮像装置が撮影する対象は機器銘板に限定されず、特定の文字列が含まれていれば、機器銘板以外であってもよい。
また、上記第1及び第2の実施形態では、現場機器が空調機器の室外機である場合の機器データルールについて例示したが、現場機器が異なる場合には、異なる現場機器に応じた機器データルールが用いられるものとする。同様に、上記第1及び第2の実施形態では、現場機器が空調機器の室外機である場合のラベルについて例示したが、現場機器が異なる場合には、異なる現場機器に応じたラベルが用いられるものとする。
また、上記第1及び第2の実施形態では、説明の便宜上、表示されるフレーム画像に、当該フレーム画像から取得された文字認識結果を重畳表示するものとして説明した。しかしながら、文字認識結果を取得して重畳するまでには、一定の時間を要するため、文字認識結果が取得されたフレーム画像と、取得された文字認識結果が重畳されるフレーム画像とは、一致していなくてもよい。
以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
110 :現場機器
111 :機器銘板
120 :情報端末
121 :撮影画像
305 :撮像装置
401 :操作受付部
402 :取得部
403 :認識部
404 :修正部
405 :抽出部
406 :判定部
407 :バウンディングボックス生成部
408 :第1記憶制御部
409 :第2記憶制御部
410 :表示部
411 :手動修正部
1201 :操作受付部

Claims (15)

  1. 制御部を有する情報端末であって、
    前記制御部は、
    撮影された画像データから得られた文字列を、命名規則に従って判定する、
    情報端末。
  2. 制御部を有する情報端末であって、
    前記制御部は、
    撮影された画像データに対して文字認識処理を行い、
    認識対象の文字列の命名規則に基づいて定められた判定基準を参照することで、前記文字認識処理により得られた文字列が、認識対象の文字列の命名規則に則って記載されたか否かを判定する、
    情報端末。
  3. 前記制御部は、
    認識対象の文字列の命名規則に基づいて定められた文字修正ルールを保持し、
    前記文字認識処理により得られた文字列が、前記文字修正ルールにより修正された場合に、修正された前記文字列が、認識対象の文字列の命名規則に則って記載されたか否かを判定する、
    請求項2に記載の情報端末。
  4. 前記制御部は、
    複数の認識対象の文字列それぞれの命名規則に基づいて定められた文字修正ルールを保持し、
    前記文字認識処理により得られた文字列が、前記文字認識処理により得られた文字列に対応する文字修正ルールにより修正された場合に、修正された前記文字列が、認識対象の文字列の命名規則に則って記載されたか否かを判定する、
    請求項3に記載の情報端末。
  5. 前記認識対象の文字列の命名規則に則って記載された文字列を、文字認識結果として記憶部に記憶する、
    請求項2に記載の情報端末。
  6. 前記制御部は、
    修正された前記文字列であって、前記認識対象の文字列の命名規則に則って記載された文字列を、文字認識結果として記憶部に記憶する、
    請求項3に記載の情報端末。
  7. 前記制御部は、
    所定周期で撮影された画像データを表示する際、認識対象の文字列の命名規則に則って記載された文字列の位置を示す情報を重畳して表示する、
    請求項2に記載の情報端末。
  8. 前記制御部は、
    所定周期で撮影された画像データを表示する際、認識対象の文字列の命名規則に則って記載された文字列を重畳して表示する、
    請求項2に記載の情報端末。
  9. 前記制御部は、
    アルファベット、数字、記号を認識対象の文字種として文字認識処理を行う、
    請求項1または2に記載の情報端末。
  10. 前記命名規則は、認識対象の文字列を構成する文字種、文字数、並び順を定めた情報である、
    請求項1または2に記載の情報端末。
  11. 認識対象の文字列は機種名および製造番号であり、
    前記制御部は、
    機器の銘板が撮影された画像データに対して文字認識処理を行う、
    請求項1または2に記載の情報端末。
  12. 情報端末の制御部が、
    撮影された画像データから得られた文字列を、命名規則に従って判定する工程、
    を実行する文字認識方法。
  13. 情報端末の制御部が、
    撮影された画像データに対して文字認識処理を行う工程と、
    認識対象の文字列の命名規則に基づいて定められた判定基準を参照することで、前記文字認識処理により得られた文字列が、認識対象の文字列の命名規則に則って記載されたか否かを判定する工程と
    を実行する文字認識方法。
  14. 情報端末の制御部に、
    撮影された画像データから得られた文字列を、命名規則に従って判定する工程、
    を実行させるための文字認識プログラム。
  15. 情報端末の制御部に、
    撮影された画像データに対して文字認識処理を行う工程と、
    認識対象の文字列の命名規則に基づいて定められた判定基準を参照することで、前記文字認識処理により得られた文字列が、認識対象の文字列の命名規則に則って記載されたか否かを判定する工程と
    を実行させる文字認識プログラム。
JP2022140708A 2022-09-05 2022-09-05 情報端末、文字認識方法及び文字認識プログラム Pending JP2024036018A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022140708A JP2024036018A (ja) 2022-09-05 2022-09-05 情報端末、文字認識方法及び文字認識プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022140708A JP2024036018A (ja) 2022-09-05 2022-09-05 情報端末、文字認識方法及び文字認識プログラム

Publications (1)

Publication Number Publication Date
JP2024036018A true JP2024036018A (ja) 2024-03-15

Family

ID=90198326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022140708A Pending JP2024036018A (ja) 2022-09-05 2022-09-05 情報端末、文字認識方法及び文字認識プログラム

Country Status (1)

Country Link
JP (1) JP2024036018A (ja)

Similar Documents

Publication Publication Date Title
US20080212901A1 (en) System and Method for Correcting Low Confidence Characters From an OCR Engine With an HTML Web Form
JP4890116B2 (ja) パーツカタログ作成方法およびパーツカタログ作成装置
CN106651992B (zh) 优化Android资源图片的方法及系统
EP3306565A1 (en) Entity visualization method
CN110647603B (zh) 图像标注信息的处理方法、装置和系统
CN111225299A (zh) 一种onu故障识别、修复方法和装置
WO2024053411A1 (ja) 情報端末、文字認識方法及び文字認識プログラム
JP2024036018A (ja) 情報端末、文字認識方法及び文字認識プログラム
JP2009123150A (ja) 対象物検出装置及び方法、対象物検出システム、プログラム
CN111191006A (zh) 图例间连接关系的确定方法、装置和电子系统
US11816802B2 (en) Method for configuring and displaying, in augmented or mixed or extended reality, the information relating to equipment installed in a real site, and associated computer program product and electronic device
WO2022019324A1 (ja) 故障識別及び対応方法、システム
KR101597017B1 (ko) 광학 인식 코드를 이용한 다국어 지원 서비스
JP2020191086A (ja) 計量メータ・設置機器情報管理システム、計量メータ・設置機器情報管理方法及び計量メータ・設置機器情報管理プログラム
CN112312041A (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质
US11671565B2 (en) Image processing system, image processing device, image processing method, and non-transitory computer readable medium storing program
US20240089591A1 (en) Non-transitory computer-readable storage medium storing display content notification program, display content notification device, display content notification method
EP3809217A1 (en) Information processing device, information processing method, and program
CN114189804B (zh) 基站维护方法、装置、服务器、系统及存储介质
JP2020057298A (ja) 判定装置、判定方法及び判定プログラム
CN112258656B (zh) 显示产品维修信息的方法、装置、服务器及介质
CN112634460B (zh) 基于Haar-like特征的户外全景图生成方法及装置
JP2013156909A (ja) 形状モデル生成装置及び作業前後対応画像判定システム
CN112312199B (zh) 一种图像处理方法、装置及设备
JP2008027094A (ja) 設備仕様入力装置