JP6123881B2 - 照合システム、端末装置、サーバ装置、照合方法及びプログラム - Google Patents

照合システム、端末装置、サーバ装置、照合方法及びプログラム Download PDF

Info

Publication number
JP6123881B2
JP6123881B2 JP2015505229A JP2015505229A JP6123881B2 JP 6123881 B2 JP6123881 B2 JP 6123881B2 JP 2015505229 A JP2015505229 A JP 2015505229A JP 2015505229 A JP2015505229 A JP 2015505229A JP 6123881 B2 JP6123881 B2 JP 6123881B2
Authority
JP
Japan
Prior art keywords
image
information
displayed
input
collation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015505229A
Other languages
English (en)
Other versions
JPWO2014141534A1 (ja
Inventor
陽三 平木
陽三 平木
正 安達
正 安達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014141534A1 publication Critical patent/JPWO2014141534A1/ja
Application granted granted Critical
Publication of JP6123881B2 publication Critical patent/JP6123881B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、照合システム、端末装置、サーバ装置、照合方法及びプログラムに関する。
鉄鋼製品の製造においては、鋼材の半製品として、その形状によりスラブ(厚板・薄板上に加工されたもの)、ピレット(円柱または角柱形状のもの)、ブルーム(羊羹状のもの)、ビームブランク(H字型に近い形のもの)などのものがある。これらスラブ等の鋼材は、各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管される。管理者は、どの番地の何段目にどの識別情報(例:ロットナンバー)の鋼材が保管されているかを示す保管情報を用いて、複数の鋼材の保管状態を管理する。保管場所に新たな鋼材が追加されたり、保管している鋼材が出荷されたり、保管する番地を他の番地に移動したりというイベントが発生すると、保管情報は更新される。このような保管情報を用いれば、ある識別情報の鋼材を出荷する際、その鋼材の保管場所を容易に特定することができる。
しかし、人為的ミス等の何らかの不具合により、保管情報に誤りが含まれることを完全には排除できない。そこで、出荷時には、保管情報を用いて特定した場所に実際に保管されている鋼材の表面等に付された(例:印字された)識別情報と、出荷対象の鋼材の識別情報とが一致しているかを確認する作業(照合作業)が行われる。また、所定のタイミング(例:棚卸タイミング)で、所定の位置に保管されている鋼材の表面等に付された(例:印字された)識別情報と、保管情報とを利用して照合作業を行い、保管情報に誤りがないか確認する。
特許文献1には、融資希望の顧客が融資審査装置に送信する証明書類の画像データを取得するための証明書類撮影用カメラであって、前記証明書類における各記載項目を区分するための枠線のうち、少なくとも一部の枠線の合致する撮影フレームを、ファインダーに表示させる撮影フレーム表示手段を有することを特徴とする証明書類撮影用カメラが開示されている。
特開2012−74804号公報
従来、上述のような出荷時及び所定のタイミングでの照合作業は、人手で行われていた。すなわち、作業者が保管情報と、所定の位置に保管されている鋼材の表面等に付された(例:印字された)識別情報とを視認で照合していた。このような作業は非常に手間であり、多くの時間を要する。また、人為的ミスが発生する可能性がある。
本願発明は、各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管された鋼材の照合作業を効率的に行うための技術を提供することを課題とする。
本発明によれば、
各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管される複数の鋼材の照合を行う照合システムであって、
保管されている複数の前記鋼材各々の識別情報と、前記鋼材各々が保管されている前記エリアの前記番地と、複数段に積み重ねられた鋼材群の中の位置を示す段情報とを対応付けた対応情報を記憶する記憶手段と、
照合対象の前記鋼材の前記番地及び前記段情報の入力を受付ける入力受付手段と、
前記対応情報を参照し、前記入力受付手段が入力を受付けた前記番地及び前記段情報に対応付けられている前記識別情報を取得する対応情報検索手段と、
ファインダーを有し、前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段と、
前記ファインダーに表示されている前記画像を撮像する撮像手段と、
前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行い、複数の前記鋼材各々の表面に記されている識別マークを抽出するとともに、抽出した前記識別マークを用いて前記識別情報を認識する画像認識手段と、
前記対応情報検索手段が取得した前記識別情報と、前記画像認識手段が認識した前記識別情報とが一致するか否か判別する照合手段と、
を有する照合システムが提供される。
また、本発明によれば、前記照合システムが有する前記入力受付手段と、前記出力手段と、前記撮像手段とを備える端末装置が提供される。
また、本発明によれば、
ファインダーを有し、前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段と、
前記ファインダーに表示されている前記画像を撮像する撮像手段と、
前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像のみを外部装置に送信する送信手段と、
を有し、
前記外部装置が、前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行うことによって認識された、照合対象の鋼材を識別する識別情報と、記憶手段に記憶された前記照合対象の識別情報とが一致するか否か判別することで得られた判別結果を前記外部装置から得た場合、前記出力手段は前記判別結果を出力する端末装置が提供される。
また、本発明によれば、
ファインダーを有し、前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段と、
前記ファインダーに表示されている前記画像を撮像する撮像手段と、
前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像を識別する情報とともに、前記画像を外部装置に送信する送信手段と、を有し、
前記外部装置が、前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行うことによって認識された、照合対象の鋼材を識別する識別情報と、記憶手段に記憶された前記照合対象の識別情報とが一致するか否か判別することで得られた判別結果を前記外部装置から得た場合、前記出力手段は前記判別結果を出力する端末装置が提供される。
また、本発明によれば、前記照合システムが有する前記記憶手段と、前記対応情報検索手段と、前記照合手段とを備えるサーバ装置が提供される。
また、本発明によれば、
ファインダーに表示されている画像を撮像する撮像手段を備えた端末装置用のプログラムであって、
コンピュータを、
前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段、
前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像のみを外部装置に送信する送信手段、
として機能させ
前記外部装置が、前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行うことによって認識された、照合対象の鋼材を識別する識別情報と、記憶手段に記憶された前記照合対象の識別情報とが一致するか否か判別することで得られた判別結果を前記外部装置から得た場合、前記出力手段に前記判別結果を出力させるプログラムが提供される。
また、本発明によれば、
ファインダーに表示されている画像を撮像する撮像手段を備えた端末装置用のプログラムであって、
コンピュータを、
前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段、
前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像を識別する情報とともに、前記画像を外部装置に送信する送信手段、
として機能させ
前記外部装置が、前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行うことによって認識された、照合対象の鋼材を識別する識別情報と、記憶手段に記憶された前記照合対象の識別情報とが一致するか否か判別することで得られた判別結果を前記外部装置から得た場合、前記出力手段に前記判別結果を出力させるプログラムが提供される。
また、本発明によれば、
各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管される複数の鋼材の照合を行う照合システム用のプログラムであって、
コンピュータを、
保管されている複数の前記鋼材各々の識別情報と、前記鋼材各々が保管されている前記エリアの前記番地と、複数段に積み重ねられた鋼材群の中の位置を示す段情報とを対応付けた対応情報を記憶する記憶手段、
照合対象の前記鋼材の前記番地及び前記段情報の入力を受付ける入力受付手段、
前記対応情報を参照し、前記入力受付手段が入力を受付けた前記番地及び前記段情報に対応付けられている前記識別情報を取得する対応情報検索手段、
ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段、
前記ファインダーに表示されている前記画像を撮像する撮像手段、
前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行い、複数の前記鋼材各々の表面に記されている識別マークを抽出するとともに、抽出した前記識別マークを用いて前記識別情報を認識する画像認識手段、
前記対応情報検索手段が取得した前記識別情報と、前記画像認識手段が認識した前記識別情報とが一致するか否か判別する照合手段、
として機能させるためのプログラムが提供される。
また、本発明によれば、
各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管される複数の鋼材の照合を行う照合方法であって、
コンピュータが、
保管されている複数の前記鋼材各々の識別情報と、前記鋼材各々が保管されている前記エリアの前記番地と、複数段に積み重ねられた鋼材群の中の位置を示す段情報とを対応付けた対応情報を記憶しておき、
照合対象の前記鋼材の前記番地及び前記段情報の入力を受付ける入力受付ステップと、
前記対応情報を参照し、前記入力受付ステップで入力を受付けた前記番地及び前記段情報に対応付けられている前記識別情報を取得する対応情報検索ステップと、
ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力ステップと、
前記ファインダーに表示されている前記画像を撮像する撮像ステップと、
前記撮像ステップで撮像した前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行い、複数の前記鋼材各々の表面に記されている識別マークを抽出するとともに、抽出した前記識別マークを用いて前記識別情報を認識する画像認識ステップと、
前記対応情報検索ステップで取得した前記識別情報と、前記画像認識ステップで認識した前記識別情報とが一致するか否か判別する照合ステップと、
を実行する照合方法が提供される。
本発明によれば、各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管された鋼材の照合作業を効率的に行うことが可能となる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本実施形態の照合システムの機能ブロック図の一例を示す図である。 鋼材を保管するエリアの例を説明するための図である。 複数段に積み重ねて保管された鋼材の例を示す図である。 本実施形態の対応情報の一例を示す図である。 本実施形態の出力部が表示するユーザインターフェースの一例を示す図である。 本実施形態の出力部が表示するユーザインターフェースの一例を示す図である。 本実施形態の出力部が表示するユーザインターフェースの一例を示す図である。 本実施形態の照合方法の処理の流れの一例を示すフローチャートである。 本実施形態の出力部が表示するユーザインターフェースの一例を示す図である。 本実施形態の出力部が表示するユーザインターフェースの一例を示す図である。 本実施形態の出力部が表示するユーザインターフェースの一例を示す図である。 本実施形態の出力部が表示するユーザインターフェースの一例を示す図である。 本実施形態の出力部が表示するユーザインターフェースの一例を示す図である。 本実施形態の出力部が表示するユーザインターフェースの一例を示す図である。 本実施形態の出力部が表示するユーザインターフェースの一例を示す図である。 本実施形態の出力部が表示するユーザインターフェースの一例を示す図である。 本実施形態の出力部が表示するユーザインターフェースの一例を示す図である。 本実施形態の出力部が表示するユーザインターフェースの一例を示す図である。 本実施形態の照合システムの機能ブロック図の一例を示す図である。 本実施形態の照合システムの機能ブロック図の一例を示す図である。 本実施形態の照合方法の処理の流れの一例を示すシーケンス図である。
以下、本発明の実施の形態について図面を用いて説明する。
なお、本実施形態のシステム及び装置は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされたプログラム(あらかじめ装置を出荷する段階からメモリ内に格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムも含む)、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インタフェイスを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
また、本実施形態の説明において利用する機能ブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は1つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。
<第1の実施形態>
本発明者らは、各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管された鋼材の照合作業をコンピュータで実現する技術を検討した。まず、どの番地の何段目にどの識別情報(ロットナンバー等)の鋼材が保管されているかを示す保管情報を電子データで管理する。そして、照合作業には、画像認識技術を利用する。具体的には、まず、照合対象の鋼材の表面等に付された(例:印字された)識別マークを撮像装置で撮像する。そして、画像認識技術を利用して撮像した画像中から識別マークを抽出するとともに、当該識別マークを利用して識別情報を認識する。また、照合対象の鋼材の位置(番地及び何段目かを示す情報)をキーとして上記保管情報を検索し、当該キーに対応付けられている識別情報を取得する。そして、画像認識技術を利用して認識した識別情報と、保管情報から取得した識別情報とが一致するか否かを照合する。このような技術によれば、人為的ミスを排除することができる。しかし、当該技術の場合、鋼材の照合作業に特有の以下のような課題が発生し得る。
鋼材の撮像は、鋼材の保管場所で行う必要がある。すなわち、撮像のために鋼材を移動させることはできない。鋼材の保管場所は様々であり、屋外に保管される場合もあれば、屋内に保管される場合もある。例えば、鋼材は、低照度の環境下等、撮像用としては好ましくない環境下で保管される場合もある。かかる場合、撮像された画像をそのまま用いて画像認識処理を行うと、十分な認識精度を得られなくなる恐れがある。当該課題を解決する手段として、カメラ側の設定を各環境に適するように変更し、鋼材を撮像する手段が考えられる。しかし、多忙な現場の作業者は、このような面倒なカメラの設定の変更作業を回避することを望む。また、カメラの設定変更に時間を要し、照合作業全体の作業効率は悪くなる。
このため、認証精度を向上させるためには、様々な画像認識技術(補正処理等)を利用して画像認識処理の精度を高める必要がある。かかる場合、画像認識処理に要する処理時間が大きくなり、照合作業全体の作業効率は悪くなる。コンピュータ処理の待ち時間が数秒違うだけでも、現場の作業者に与える心的影響は大きい。
そこで、本発明者らは、現場の作業者に面倒な操作を要することなく、十分な作業効率が実現される認証処理技術を発明した。以下、詳細に説明する。
図1に、本実施形態の照合システム1の機能ブロック図の一例を示す。図示するように、本実施形態の照合システム1は、記憶部11と、入力受付部12と、対応情報検索部13と、撮像部14と、画像認識部15と、照合部16と、出力部17とを有する。本実施形態の照合システム1は、1つの装置(例:携帯端末装置)により実現されてもよいし、有線及び/又は無線で互いに通信可能に構成された2つ以上の装置により実現されてもよい。すなわち、1つの装置が図1に示すすべての部を備えてもよい。または、2つ以上の装置各々が図1に示す部の少なくとも一部を備え、それらを組み合わせることで図1に示すすべての部を備える照合システム1が実現されてもよい。2つ以上の装置で照合システム1を実現する実施形態は、以下の実施形態で説明する。
本実施形態の照合システム1は、各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管される複数の鋼材の照合を行うためのシステムである。
図2に、各々番地が割り振られた複数のエリアの一例を示す。AA1乃至AF4が番地である。なお、複数のエリアは必ずしも図示するように規則正しく配列されている必要はなく、無造作な位置関係であってもよい。また、複数のエリア各々は互いに離れて位置してもよい。例えば、あるエリアは屋内にあり、他のエリアは屋外にあるという風に、環境が互いに異なっていてもよい。また、図示するエリアの形状は一例であり、四角に限定されない。
図3に、複数段に積み重ねて保管されている複数の鋼材の一例を示す。図示する例では、板状のスラブが5段に積み重ねられている。本実施形態において鋼材の形状は特段制限されない。鋼材の形状は図示するような板状であってもよいし、角材状、棒状等、その他の形状であってもよい。しかし、同じ種類の鋼材(形状、大きさ、成分等が同じ)を互いに積み重ねるのが好ましい。互いに積み重ねる鋼材の数は設計的事項である。
なお、図3に示す例では、複数の鋼材が互いに接した状態で積層されているが、各鋼材の間に中間部材を挟んで積層してもよい。例えば、各鋼材が所定の載置部材(例:載置台)の上に載置されており、この載置部材ごと複数の鋼材が積層されていてもよい。
図3に示すように、各鋼材の表面には各々の識別情報を示す識別マークが記される。例えば、機械で各鋼材の表面に識別マークが印字されていてもよい。または、識別マークを記したラベル(例:コンピュータで生成した識別マークを印刷したラベル)が各鋼材の表面に貼付されていてもよい。識別マークは、従来の画像認識技術で認識可能なあらゆる形態を採用することができる。例えば、識別マークは、図示するように英数字等で構成された識別情報そのものであってもよいし、バーコードや二次元コードなどであってもよい。図示する例では一列に英数字からなる識別情報が記載されているが、二列及び三列に分けて記載してもよい。鋼材の表面形状に応じてこのような記載形態を変更することができる。しかし、同じ種類の鋼材(形状、大きさ、成分等が同じ)には同じ記載形態を採用するのが好ましい。
図1に示す記憶部11は、保管されている複数の鋼材各々の識別情報と、鋼材各々が保管されているエリアの番地と、複数段に積み重ねられた鋼材群の中の位置を示す段情報とを対応付けた対応情報を記憶する。段情報は、例えば、下から数えて何段目かを示す情報であってもよいし、または、上から数えて何段目かを示す情報であってもよい。以下では、段情報は、下から数えて何段目かを示す情報であるものとする。図4に対応情報の一例を示す。図示する対応情報によれば、AA1番地の下から数えて1段目には識別情報「20130101AB001」の鋼材が保管されていることが分かる。対応情報は、保管する鋼材が新たに追加されたり、保管している鋼材が出荷されたり、保管する番地を他の番地に移動したりというイベントが発生すると内容が更新される。例えば、人間の入力作業に基づいて対応情報の内容が更新されてもよい。
図1に戻り、入力受付部12は、照合対象の鋼材の番地及び段情報の入力を受付ける。例えば、作業者は、ある番地のある段数に保管されている鋼材を出荷する際、この鋼材を照合対象とする。そして、作業者は、その番地と、その段数を示す段情報とを入力する。その他、作業者は、例えば棚卸等のタイミングで記憶部11が記憶する対応情報に誤りが存在しないか確認するために、複数の鋼材を順に照合対象としてもよい。
図5に、入力受付部12が照合対象の鋼材の番地及び段情報の入力を受付けるためのユーザインターフェースの一例を示す。図示する例では、プルダウンメニューにより、番地及び段情報が選択可能になっている。なお、図示するユーザインターフェースの例はあくまで一例であり、これに限定されない(当該前提は、以下に示すすべてのユーザインターフェースにおいて同様)。例えば、その他のGUI(graphical user interface)部品を用いたユーザインターフェースとしてもよい。入力受付部12が入力を受付ける手段は特段制限されず、タッチパネルディスプレイ、入力ボタン、マイク、キーボード、マウス等のあらゆる入力装置を用いて実現することができる。
図1に戻り、対応情報検索部13は、記憶部11に記憶されている対応情報(図4参照)を参照し、入力受付部12が入力を受付けた番地及び段情報に対応付けられている鋼材の識別情報を取得する。
出力部17は、ファインダーを有する。ファインダーは例えばディスプレイで構成することができる。ファインダーは、例えばタッチパネルディスプレイであってもよい。ファインダーには、以下で説明する撮像部14により撮像される画像(撮像前の画像)及び/又は撮像部14により撮像された画像(撮像済みの画像)が表示される。例えば、ファインダーに画像が表示されている状態で撮像指示入力がなされると、ファインダーに表示されている画像が撮像され、撮像データが記憶される。また、記憶されている撮像データを用いて、ファインダーに撮像済みの画像が表示される。
出力部17は、ファインダーに表示されている画像の中の画像認識処理の対象となる一部領域を示す特定フレームを画像に重ねてファインダーに表示する。画像認識処理は、以下で説明する画像認識部15により実行される画像認識処理が該当する。なお、出力部17は、(1)撮像前の画像に特定フレームを重ねて表示する処理、及び、(2)撮像済みの画像に特定フレームを重ねて表示する処理の少なくとも一方を実行可能に構成される。以下では、出力部17は、(1)撮像前の画像に特定フレームを重ねて表示する処理を実行するものとして説明する。
出力部17が特定フレームを画像に重ねてディスプレイ(ファインダー)に表示している一例を図6に示す。図示するディスプレイ100には、撮像前の画像として、複数段に積み重ねて保管されている鋼材(図3参照)の一部が表示されている。より具体的には、複数段に積み重ねて保管されている鋼材の識別マーク部分が表示されている。そして、ディスプレイ100には、当該画像に重ねて特定フレームFが表示されている。図示する状態で入力受付部12が撮像指示入力(例:撮影ボタンのタッチ)を受け付けると、ディスプレイ100に表示されている画像が撮像される。しかし、画像認識処理の対象はディスプレイ100に表示されている全ての画像でなく、特定フレームF内の画像のみとなる。
特定フレームFの形状は四角に限定されず、その他の形状であってもよい。また、特定フレームFの大きさ、形状及びディスプレイ100内の表示位置の少なくとも1つは作業者の入力に応じて変更できてもよい。変更する方法は、例えば、複数点を認識可能なタッチパネル型ディスプレイの場合において大きさを変更するときにはピンチイン・ピンチアウトなどの手法によるものがあり、表示位置を変更するときには特定フレーム内の任意の位置をタッチしてドラッグするなどの方法によるものがある。または一点しか認識できないタッチパネル型ディスプレイの場合において大きさを変更するときには特定フレームを構成する一辺または二辺の交点をタッチしドラッグするなどの方法(タッチアンドスライド)によるものがあり、表示位置を変更するときには特定フレーム内の任意の位置をタッチしてドラッグするなどの方法(タッチアンドスライド)によるものがある。またはタッチパネル型でないディスプレイの場合は所定のボタンによるものがある。なお、識別マークを機械で鋼材に印字したり、また、コンピュータで生成した識別マークを印刷したラベルを鋼材に貼付する場合は、識別マークの形態(1列書き、2列書き、識別マークの形状、識別マークの表示領域の形状等。)がバラツクことなく所定の状態に統一される。このため、予め、その識別マークの形態に適した形状の特定フレームFを出力部17に保持させておいてもよい。
図1に戻り、撮像部14は、ディスプレイ100に表示されている画像を撮像する。作業者は、照合対象の鋼材の識別マークが特定フレームF内に収まっている状態で、撮像指示入力を行う。照合対象以外の鋼材の識別マークは特定フレームF内に含まれない状態で撮像指示入力を行うのが好ましい。撮像部14は、撮像した画像の画像データに、撮像時点の特定フレームの位置(例:画像データ内の位置、ディスプレイ100内の位置)を示す情報(特定フレーム位置情報)を対応付ける。
画像認識部15は、撮像部14が撮像した画像の中の特定フレーム内の一部画像のみを用いて画像認識処理を行う。画像認識部15は、撮像部14が撮像した画像の画像データを取得すると、その画像データに対応付けられている特定フレーム位置情報を利用して特定フレームF内の一部画像を特定する。そして、特定した画像の画像データのみを用いて、画像認識処理を行う。
画像認識処理は、処理対象の画像内から鋼材の表面に記されている識別マークを抽出する処理と、抽出した識別マークを用いて識別情報を認識する処理を含む。画像認識処理の詳細は特段制限されず、従来のあらゆる技術を適用することができる。画像認識部15は識別マークの特徴を示す特徴情報(特徴量)を予め保持しておき、当該特徴情報を利用して識別マークの抽出、及び、認証処理を行うことができる。画像認識部15は、ノイズ除去、平滑化、鮮鋭化、2次元フィルタリング処理、2値化、細線化、正規化(拡大・縮小、平行移動、回転移動、濃度変化等)等のあらゆる処理を実行することができる。なお、必ずしもここで例示した処理の全てを実行する必要はない。
照合部16は、対応情報検索部13が取得した識別情報と、画像認識部15が認識した識別情報とが一致するか否か判別する。
出力部17は、照合部16による判別結果をディスプレイ100に表示することができる。図7に、出力部17がディスプレイ100に判別結果を表示した一例を示す。図示する例の場合、ディスプレイ100に照合対象の鋼材の番地及び段情報が表示されるとともに、照合部16による判別結果(認証結果)、及び、画像認識部15による画像認識処理の認識結果が表示されている。
次に、図8のフローチャートを用いて、本実施形態の照合方法の処理の流れの一例を説明する。
まず、入力受付部12が照合対象の鋼材の番地及び段情報の入力を受付ける(S1)。例えば、入力受付部12は、出力部17によりディスプレイ100に表示されている図5に示すようなユーザインターフェースを介して番地及び段情報の入力を受付ける。ここでは、入力受付部12は「AA1」番地、下から「2」段目の入力を受付けたとする。
すると、対応情報検索部13は、入力受付部12が受付けた番地及び段情報をキーとして、記憶部11が記憶する対応情報を検索し、キーに対応付けられている鋼材の識別情報を取得する(S2)。ここでは、対応情報は、「AA1」、「2」の組み合わせをキーとして図4に示す対応情報を検索し、「20130101AB002」の識別情報を取得したとする。
入力受付部12が番地及び段情報の入力を受付けると、照合システム1は撮像モードになる。撮像モードへの移行・実行とS2の処理の順番は図8に示す順に限定されず、これらが並行して実行されてもよい。照合システム1が撮像モードに移行されると、ディスプレイ100の表示が切り替わる。出力部17は、ディスプレイ100に撮像対象の画像を表示するとともに、当該画像に重ねて特定フレームFを表示する(図6参照)。作業者は、照合システム1の位置、向き等を調整することで、ディスプレイ100に照合対象の鋼材の表面に付された識別マークを表示させるとともに、当該識別マークを特定フレームF内に収める。そして、作業者は、当該状態を維持させたまま撮像指示入力(例:撮影ボタンのタッチ)を行う。すると、撮像部14は、ディスプレイ100に表示されていた画像を撮像する。そして、撮像部14は、撮像した画像の画像データに、撮像時点の特定フレームFの位置(例:画像データ内の位置、ディスプレイ100内の位置)を示す情報(特定フレーム位置情報)を対応付ける(S3)。ここでは、撮像部14は、図6に示す状態で画像を撮像したものとする。
すると、画像認識部15は、撮像部14が撮像した画像の中の特定フレームF内の一部画像のみを用いて画像認識処理を行う。画像認識部15は、当該画像認識処理により、複数の鋼材各々の表面に記されている識別マークを抽出するとともに(S4)、抽出した識別マークを用いて識別情報を認識する(S5)。ここでは、画像認識部15は、「20130101AB002」の識別情報を認識したとする。
その後、照合部16は、S2で対応情報検索部13が取得した識別情報と、S5で画像認識部15が認識した識別情報とが一致するか否か判別(照合)する(S6)。そして、出力部17がS6での照合部16の照合結果を出力する(S7)。例えば、出力部17は、ディスプレイ100に図7に示すような照合結果を出力する。
なお、S5での画像認識部15の認識が「20130101AB00?」であった場合は、最後の部分の識別マークを認識できなかった場合を示す表示方法の一例である。そして、この場合はS5で認識した識別情報が正しく認識できておらず、その結果S2で取得した識別情報と一致しないので、照合部16の照合結果が不一致(NG)となる。かかる場合、出力部17は、ディスプレイ100に例えば図9に示すような照合結果を出力する。当該表示によれば、作業者は、画像認識処理の認識精度が不十分であったため、照合結果がNGになっていることを認識できる。
このような場合、作業者は照合対象の鋼材(所定の番地の所定の段に保管されている鋼材)に付されている認識マークを視認し、視認した識別情報を入力(入力受付部12)できるように構成してもよい。かかる場合、照合部16は、入力受付部12が入力を受付けた識別情報と、S2で対応情報検索部13が取得した識別情報とが一致するか否か判別(照合)する。
例えば、図9に示すユーザインターフェースにおいて「入力画面へ」をタッチすると、図10に示すような入力画面に遷移してもよい。当該画面は、画像認識部15による認識結果「20130101AB00」が初期値として表示され、認識できなかった最後の数字部分が空欄となっている。入力受付部12は、例えばこのようなユーザインターフェースから、識別情報の入力を受付けてもよい。
ここまでは、出力部17が、(1)撮像前の画像に特定フレームFを重ねて表示する処理を実行することを前提に説明した。出力部17が、(2)撮像済みの画像に特定フレームFを重ねて表示する処理を実行する場合は、以下のような処理とすることができる。まず、S1の前、S2の前、又はS2の後に、照合システム1は、撮像済みの画像の中の1つを選択するユーザ入力を受付ける。ユーザは、予め、照合対象の鋼材の表面に付された識別マークを撮像し、撮像データを保存しておく。そして、ここでは、照合対象の鋼材の表面に付された識別マークが表示されている画像を選択する。照合システム1は、S2の後に撮像モードに移行する代わりに、選択された撮像済みの画像に特定フレームFを重ねてディスプレイ100に表示する処理を実行する。その後、ユーザは、特定フレームFの大きさ、形状及びディスプレイ100内の表示位置の少なくとも1つを必要に応じて変更し、識別マークを特定フレームF内に収める。そして、作業者は、当該状態を維持させたまま撮像入力(例:撮像ボタンのタッチ)を行う。すると、撮像部14は、ディスプレイ100に表示されている画像の画像データに、撮像入力を受付けた時点の特定フレームFの位置(例:画像データ内の位置、ディスプレイ100内の位置)を示す情報(特定フレーム位置情報)を対応付けたデータを作成し(撮像処理)、保存する(S3)。S4以降の処理は、上記例と同様である。当該処理の流れは、以下の全ての実施形態において適用可能である。
以上説明した本実施形態の照合システムによれば、各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管された鋼材の照合作業を、コンピュータによる処理で実現することができる。このため、人為的ミスの発生を回避することができる。
ところで、上記鋼材の照合作業においては、好ましくない撮像環境下で鋼材の撮像が行われる場合があり得るので、様々な画像認識技術(補正処理等)を利用して画像認識処理の精度を高める必要がある。しかし、このような画像認識技術(補正処理等)を採用した場合、それに起因して画像認識処理に要する処理時間が大きくなり、照合作業全体の作業効率が悪くなる恐れがある。
本実施形態の照合システム1は、このような問題を解決可能に構成している。すなわち、本実施形態の照合システム1は、撮像した画像すべてを用いて画像認識処理を行うのでなく、撮像した画像の中の特定フレームFで特定される画像のみを用いて画像認識処理を行う。このため、処理対象のデータ量を小さくすることができる。結果、処理時間を短くすることができる。
このように、本実施形態の照合システム1によれば、各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管された鋼材の照合作業を効率的に、十分な精度で行うことが可能となる。
<第2の実施形態>
本実施形態の照合システム1は、同一の番地に保管されている複数の鋼材を一度に照合対象とすることができる点で、第1の実施形態の照合システム1と異なる。以下、本実施形態について説明する。なお、第1の実施形態の照合システム1と同様の構成については、適宜省略を説明する。
本実施形態の照合システム1の機能ブロック図の一例は、第1の実施形態と同様に図1で示される。
入力受付部12は、例えば、図11に示すようなユーザインターフェースを利用して、照合対象の鋼材の番地の入力を受付けることができる。入力受付部12が番地の入力を受付けると、対応情報検索部13は、記憶部11に記憶されている対応情報を検索し、入力受付部12が入力を受付けた番地に対応付けられている段情報(鋼材の識別情報が対応付けられているもの)を取得する。その後、出力部17は、対応情報検索部13が取得した段情報を一覧表示する。
図12に、出力部17がディスプレイ100に段情報を一覧表示した一例を示す。ここでは、5つの段情報(丸1乃至丸5)が表示されている。ここで一覧表示される段情報の数は、対応情報上、その番地に保管されていると管理されている鋼材の数に該当する。すなわち、図12に示す例の場合、対応情報上、AA1番地に5つの鋼材が5段に積層して保管されていると管理されていることになる。作業者は、この一覧表示された数と、実際にその番地に保管されている鋼材の数とを比較することで、対応情報に存在する誤りを見つけることができる。積層されている鋼材の数が十分に小さい場合(例:1桁台)、作業者による確認ミスが生じる不都合は生じ難い。
入力受付部12は、一覧表示されている段情報の中の1つ又は複数を選択する入力を受付けることで、1つ又は複数の照合対象の鋼材の段情報の入力を受付ける。図12に示す例の場合、各段情報に対応付けて表示されたチェックボックスにチェックを入れることで、1つ又は複数の段情報が選択可能になっている。出力部17は、入力受付部12が入力を受付けた段情報の数と同数(1つ又は複数)の特定フレームFをディスプレイ100に表示する。
以下、入力受付部12が複数の段情報の入力を受付け、出力部17が複数の特定フレームFをディスプレイ100に表示する場合の各部の構成について説明する。なお、入力受付部12が1つの段情報の入力を受付け、出力部17が1つの特定フレームFをディスプレイ100に表示する場合の各部の構成は第1の実施形態と同様とすることができる。
図13に、出力部17が複数の特定フレームFをディスプレイ100に表示した一例を示す。図示するディスプレイ100には、複数段に積み重ねて保管されている鋼材(図3参照)の一部が表示されている。そして、ディスプレイ100には、当該画像に重ねて2つの特定フレームF1及びF2が表示されている。ディスプレイ100に表示されている複数の特定フレームF1及びF2各々は、入力受付部12が入力を受付けた段情報各々と対応付けられている。出力部17は、対応付けられている段情報が識別できるように、複数の特定フレームF1及びF2を表示してもよい。
図13に示す例の場合、特定フレームF1及びF2各々の左上隅に表示された丸数字が、各々に対応付けられている段情報を示している。すなわち、特定フレームF1は、下から3段目の段情報に対応付けられており、特定フレームF2は、下から4段目の段情報に対応付けられていることが識別できる。作業者は、このような情報を利用して、複数の特定フレームF1及びF2各々の中に何段目の鋼材の識別マークを収めるべきか把握することができる。
なお、その他の表示形態により、各特定フレームに対応付けられている段情報を識別表示してもよい。図14にその他の例を示す。図示する例の場合、特定フレームF1及びF2に加えて、これらの特定フレームF1及びF2の上下に補助フレームG1乃至G3が表示されている。当該例の場合、特定フレームF1及びF2、及び、補助フレームG1乃至G3を含む複数のフレーム群内の位置により、段情報が識別可能になっている。例えば、図14に示す特定フレームF1は、フレーム群の中において下から3段目に位置する。これより、特定フレームF1に対応付けられている段情報は、下から3段目であることが分かる。なお、補助フレームG1乃至G3は、特定フレームF1及びF2と同じデザインで、形状及び大きさのみが異なってもよいし、もしくは、図14に示すようにデザイン自体も異なっていてもよい。なお、補助フレームG1乃至G3は、特定フレームF1及びF2に比べて小さくすることができる。このようにすれば、補助フレームG1乃至G3によりディスプレイ100に表示された撮像対象の画像の視認性が損なわれる不都合を軽減することができる。
ディスプレイ100に表示されている複数の特定フレームF1及びF2は、個別に、ユーザ入力に応じて、ディスプレイ100内の表示位置、形状及び大きさの中の少なくとも1つを変更することができてもよい。その他、1つの特定フレームFの表示位置、形状及び大きさの中の少なくとも1つを変更すると、他の特定フレームFも同様に表示位置、形状及び大きさが変更されてもよい。変更する方法は、例えば、複数点を認識可能なタッチパネル型ディスプレイの場合において大きさを変更するときにはピンチイン・ピンチアウトなどの手法によるものがあり、表示位置を変更するときには特定フレーム内の任意の位置をタッチしてドラッグするなどの方法によるものがある。または一点しか認識できないタッチパネル型ディスプレイの場合において大きさを変更するときには特定フレームを構成する一辺または二辺の交点をタッチしドラッグするなどの方法(タッチアンドスライド)によるものがあり、表示位置を変更するときには特定フレーム内の任意の位置をタッチしてドラッグするなどの方法(タッチアンドスライド)によるものがある。またはタッチパネル型でないディスプレイの場合は所定のボタンによるものがある。
撮像部14は、画像を撮像すると、撮像した画像の画像データに、撮像時点の特定フレームFの位置(例:画像データ内の位置、ディスプレイ100内の位置)を示す情報(特定フレーム位置情報)を対応付ける。なお、撮像時点で複数の特定フレームFが表示されていた場合には、その画像データに複数の特定フレームF各々の位置を示す特定フレーム位置情報を対応付ける。当該複数の特定フレーム位置情報各々には、特定フレームFに対応付けられている段情報が対応付けられる。
画像認識部15は、撮像部14が撮像した画像の画像データに複数の特定フレーム位置情報が対応付けられている場合、各特定フレーム位置情報で特定される一部画像各々のみを用いて画像認識処理を行う。そして、画像認識部15は、複数の認識結果(識別情報)を得る。画像認識処理の内容は第1の実施形態と同様である。画像認識部15により認識された複数の識別情報各々には、各特定フレーム位置情報に対応付けられていた段情報が対応付けられる。
対応情報検索部13は、記憶部11が記憶する対応情報を検索し、入力受付部12が入力を受付けた番地と、複数の段情報のいずれかと、に対応付けられている複数の識別情報を取得する。
照合部16は、対応情報検索部13が取得した複数の識別情報と、画像認識部15が認識した複数の識別情報とが一致するか否か判別する。具体的には、対応付けられている段情報が一致する識別情報同士を比較し、一致するか否か判別する。そして、照合部16は、段情報ごとに判別結果を得る。
ここで、図15に、出力部17が照合部16の判別結果をディスプレイ100に表示した一例を示す。当該例では、AA1番地に保管されている5つの鋼材すべてが照合対象となっており、各々の認識結果及び照合結果が示されている。下から2段目の鋼材は画像認識部15による認識の精度が不十分であり、その結果、認証結果がNGになっている。当該ユーザインターフェースにおいて「NG」のボタンをタッチすると、図10に示す画面に遷移してもよい。図10に示すユーザインターフェースを用いた処理は第1の実施形態と同様である。
以上説明した本実施形態の照合システム1によれば、第1の実施形態と同様の作用効果を実現することができる。また、複数の鋼材を一度に照合対象とすることができるので、照合処理の作業効率が向上する。また、複数の鋼材各々の識別マークは、複数の特定フレームF各々で区別して特定されるので、画像中から識別マークを抽出する処理の精度を向上させることができる。
<第3の実施形態>
本実施形態の照合システム1は、同一の番地に保管されている複数の鋼材を一度に照合対象とすることができる点で、第1の実施形態の照合システム1と異なる。以下、本実施形態について説明する。なお、第1の実施形態の照合システム1と同様の構成については、適宜省略を説明する。
本実施形態の照合システム1の機能ブロック図の一例は、第1の実施形態と同様に図1で示される。
入力受付部12は、例えば、図11に示すようなユーザインターフェースを利用して、照合対象の鋼材の番地の入力を受付けることができる。すると、対応情報検索部13は、記憶部11に記憶されている対応情報を検索し、入力受付部12が入力を受付けた番地に保管されている鋼材(第1の鋼材)の数を特定する。例えば、対応情報検索部13は、記憶部11に記憶されている対応情報を検索し、入力受付部12が入力を受付けた番地に対応付けられている鋼材の識別情報の数を認識することで、その番地に保管されている第1の鋼材の数を特定してもよい。すると、出力部17は、第1の鋼材の数と同数の1つ又は複数の特定フレームFをファインダー(ディスプレイ)に表示する。
以下、第1の鋼材の数が複数である場合の各部の構成について説明する。第1の鋼材の数が1つの場合の各部の構成は第1の実施形態と同様とすることができる。
図16に、出力部17がディスプレイ100に第1の鋼材の数と同数の複数の特定フレームFを表示した例を示す。ディスプレイ100には、積層された5つの鋼材が表示されている。また、鋼材の画像に重ねて、5つの特定フレームF1乃至F5が表示されている。5つの特定フレームF1乃至F5は、各々、段情報が対応付けられている。そして、出力部17は、対応付けられている段情報を識別できるように、複数の特定フレームF1乃至F5を表示している。図示する例の場合、5つの特定フレームF1乃至F5の並び順に従い、下から順に1段目乃至5段目が対応付けられている。すなわち、作業者は、複数の特定フレームF1乃至F5の並び順に基づいて、特定フレームF1乃至F5各々に対応付けられている段情報を識別することができる。作業者は、このような情報を利用して、複数の特定フレームF1乃至F5各々の中に何段目の鋼材の識別マークを収めるべきか把握することができる。なお、第2の実施形態と同様の構成により、各特定フレームに対応付けられている段情報を識別表示することもできる。
図16に示す例の場合、各特定フレームFに対応付けてバツマークMが表示されている。当該バツマークMをタッチすると、そのバツマークMが対応付けられている特定フレームは消滅してもよいし、又は、第2の実施形態で説明した補助フレームに変化してもよい。すなわち、入力受付部12は、複数の特定フレームF1乃至F5の中の1つ又は複数を選択する入力を受付けることで、照合対象の鋼材の段情報の入力を受付けてもよい。図16に示す例の場合、バツマークMをタッチされていない特定フレームFに対応する段情報、換言すれば、入力受付部12が撮像指示入力を受付けた時にディスプレイ100に残っている特定フレームFに対応する段情報が、照合対象の鋼材の段情報として入力される。
ディスプレイ100に表示されている複数の特定フレームF1乃至F5は、個別に、ユーザ入力に応じて、ディスプレイ100内の表示位置、形状及び大きさの中の少なくとも1つを変更することができてもよい。その他、1つの特定フレームFの表示位置、形状及び大きさの中の少なくとも1つを変更すると、他の特定フレームFも同様に表示位置、形状及び大きさが変更されてもよい。変更する方法は、例えば、複数点を認識可能なタッチパネル型ディスプレイの場合において大きさを変更するときにはピンチイン・ピンチアウトなどの手法によるものがあり、表示位置を変更するときには特定フレーム内の任意の位置をタッチしてドラッグするなどの方法によるものがある。または一点しか認識できないタッチパネル型ディスプレイの場合において大きさを変更するときには特定フレームを構成する一辺または二辺の交点をタッチしドラッグするなどの方法によるものがあり、表示位置を変更するときには特定フレーム内の任意の位置をタッチしてドラッグするなどの方法によるものがある。またはタッチパネル型でないディスプレイの場合は所定のボタンによるものがある。
撮像部14は、画像を撮像すると、撮像した画像の画像データに、撮像時点の特定フレームFの位置(例:画像データ内の位置、ディスプレイ100内の位置)を示す情報(特定フレーム位置情報)を対応付ける。なお、撮像時点で複数の特定フレームFが表示されていた場合には、その画像データに複数の特定フレームF各々の位置を示す特定フレーム位置情報を対応付ける。当該複数の特定フレーム位置情報各々には、特定フレームFに対応付けられている段情報が対応付けられる。
画像認識部15は、撮像部14が撮像した画像の画像データに複数の特定フレーム位置情報が対応付けられている場合、各特定フレーム位置情報で特定される一部画像各々のみを用いて画像認識処理を行う。そして、画像認識部15は、複数の認識結果(識別情報)を得る。画像認識処理の内容は第1の実施形態と同様である。画像認識部15により認識された複数の識別情報各々には、各特定フレーム位置情報に対応付けられていた段情報が対応付けられる。
対応情報検索部13は、記憶部11が記憶する対応情報を検索し、入力受付部12が入力を受付けた番地と、複数の段情報のいずれかと、に対応付けられている複数の識別情報を取得する。
照合部16は、対応情報検索部13が取得した複数の識別情報と、画像認識部15が認識した複数の識別情報とが一致するか否か判別する。具体的には、対応付けられている段情報が一致する識別情報同士を比較し、一致するか否か判別する。そして、照合部16は、段情報ごとに判別結果を得る。
ここで、図15に、出力部17が照合部16の判別結果をディスプレイ100に表示した一例を示す。当該例では、AA1番地に保管されている5つの鋼材すべてが照合対象となっており、各々の認識結果及び照合結果が示されている。下から2段目の鋼材は画像認識部15による認識の精度が不十分であり、その結果、照合結果がNGになっている。当該ユーザインターフェースにおいて「NG」のボタンをタッチすると、図10に示す画面に遷移してもよい。図10に示すユーザインターフェースを用いた処理は第1の実施形態と同様である。
以上説明した本実施形態の照合システム1によれば、第1及び第2の実施形態と同様の作用効果を実現することができる。また、複数の鋼材を一度に照合対象とすることができるので、照合処理の作業効率が向上する。また、複数の鋼材各々の識別マークは、複数の特定フレームF各々で区別して特定されるので、画像中から識別マークを抽出する処理の精度を向上させることができる。
<第4の実施形態>
本実施形態の照合システム1は、複数の鋼材を一度に照合対象とすることができる第2の実施形態及び第3の実施形態の構成を基本とする。すなわち、本実施形態の照合システ1は、複数の特定フレームFをディスプレイ100に表示することができる。
ところで、複数段に積み重ねて保管された複数の鋼材の識別マークの位置が、図3に示すようにほぼ一列(例:積層方向に一列。図3の上下方向。)に揃っていると、図13、図14及び図16に示すような一列に揃った複数の特定フレームF各々の中に、複数の識別マーク各々を収めることができる。しかし、図17に示すように、識別マークは一列に揃わず、その位置がばらつくことがある。このような場合、図17の左側の図に示すように、一列に揃った複数の特定フレームF各々の中に、複数の識別マーク各々を収めることができない。
そこで、本実施形態の入力受付部12は、複数の特定フレームFを各々個別に移動させることができる(図17の右側の図)。例えば、図17に示すユーザインターフェースにおいて、特定フレームFをタッチアンドスライドさせることで、特定フレームFの表示位置が移動してもよい。結果、図17の右側の図に示すように、識別マークが一列に揃っていない場合であっても、複数の特定フレームF各々の中に、複数の識別マーク各々を収めることができる。
本実施形態の照合システム1のその他の構成は、第1乃至第3の実施形態と同様である。
以上説明した本実施形態の照合システム1によれば、第1乃至第3の実施形態と同様の作用効果を実現することができる。また、複数段に積み重ねて保管された複数の鋼材の識別マークの位置が一列に揃わず、ばらついている場合であっても、複数の特定フレームF各々の中に、複数の識別マーク各々を収めることができる。
<第5の実施形態>
本実施形態の照合システム1は、複数の鋼材を一度に照合対象とすることができる第2の実施形態及び第3の実施形態の構成を基本とする。すなわち、本実施形態の照合システ1は、複数の特定フレームFをディスプレイ100に表示することができる。
本実施形態の照合システム1は、複数段に積み重ねて保管された複数の鋼材の識別マークの位置が一列(例:積層方向に一列)に揃わず、ばらついている場合の不都合を、第4の実施形態と異なる構成で解決可能に構成している。
入力受付部12は、ディスプレイ100に表示されている複数の特定フレームFの中の一部を指定する指定入力と、一部の特定フレームFが指定されている状態で撮像する撮像指示入力とを受付ける。撮像部14は、入力受付部12が受付けた撮像指示入力に従い撮像する。そして、画像認識部15は、撮像部14が撮像した画像の中の当該画像撮像時に指定されていた特定フレームF内の一部画像のみを用いて画像認識処理を行う。なお、出力部17は、指定された状態で撮像されたことがある特定フレームFと、指定された状態で撮像されたことがない特定フレームFとを識別可能に表示してもよい。以下具体例を用いて、より詳細に説明する。
図18に出力部17による表示例を示す。図示する例の場合、ディスプレイ100には複数の鋼材の一部が表示されている。複数の鋼材各々に表示された識別マークの位置は一列(例:積層方向に一列)に揃わず、ばらついている。ディスプレイ100には、3つの特定フレームF1乃至F3が表示されている。そして、各特定フレームF1乃至F3の左上隅に、3つの記号が記されている。これら3つの記号は、左から順に、「対応付けられている段情報を示す情報」、「指定された状態で撮像されたことがあるか否かを示す情報」、「指定されているか否かを示す情報」となっている。「対応付けられている段情報を示す情報」は、第2の実施形態で説明したとおりである。
「指定された状態で撮像されたことがあるか否かを示す情報」は「済」又は「未」の文字である。「済」は指定された状態で撮像されたことがあることを示し、「未」は指定された状態で撮像されたことがないことを示す。「指定されているか否かを示す情報」はチェックボックスとなっており、作業者による入力が可能になっている。チェックが入っている特定フレームFは指定されている特定フレームFであり、チェックが入っていない特定フレームFは指定されていない特定フレームFである。なお、指定された状態で撮像されたことがある特定フレームFはチェックできないようになっている。
作業者は、例えば図18に示すように複数の特定フレームFの中の一部のみ(図の場合、F1)がそのフレーム内に識別マークを収めている場合、その一部のみを指定する。すなわち、チェックボックスにチェックを入れる。もしくは1つまたは複数の特定フレームFを指定し、その指定した特定フレームF内に所定の鋼材の識別マークを収める。そして、当該状態を維持したまま撮像指示入力(撮影ボタンのタッチ)を行う。入力受付部12が撮像指示入力を受付けると、撮像部14は画像を撮像し、撮像した画像の画像データに、撮像時点で指定されていた特定フレームF1の位置を示す情報(特定フレーム位置情報)を対応付ける。また、入力受付部12は撮像時点で指定されていた特定フレームF1に対応付けられている段情報を、照合対象の鋼材の段情報として受付ける。そして、入力受付部12が受付けた段情報は、上記画像の画像データに対応付けられる。
図18に示す状態で撮像部14が画像を撮像した後も、出力部17は図18に示す画面表示を継続してもよい。ただし、特定フレームF1は指定された状態で撮像されたので、左上隅にある「未」の文字が「済」に代わる。また、特定フレームF3と同様に、チェックボックスが選択できない状態となる。作業者はそのような表示を視認することで、未だ撮像を行っていないのは下から2段目の鋼材の識別マークであることを認識することができる。
作業者は、1つ又は複数の鋼材の識別マークを撮像すると、照合処理を開始する指示入力(照合ボタンのタッチ)を行うことができる。入力受付部12がこのような照合処理を開始する指示入力を受付けると、それまでに撮像された画像の画像データ、特定フレーム位置情報及び段情報を用いて、画像認識部15、照合部16、対応情報検索部13及び記憶部11による照合処理、及び、出力部17による照合結果の出力が行われる。画像認識部15、照合部16、対応情報検索部13及び記憶部11による照合処理、及び、出力部17による照合結果の出力の内容は第1乃至第4の実施形態と同様である。
以上説明した本実施形態の照合システム1によれば、第1乃至第4の実施形態と同様の作用効果を実現することができる。また、複数段に積み重ねて保管された複数の鋼材の識別マークの位置が一列に揃わず、ばらついている場合であっても、複数の特定フレームF各々の中に、個別に複数の識別マーク各々を収め、撮像することができる。なお、作業者は、各特定フレームFに対応付けられている「指定された状態で撮像されたことがあるか否かを示す情報」を参照することで、複数段に積み重ねて保管された複数の鋼材の中の、いまだ照合対象としていない鋼材を認識することができる。
<第6の実施形態>
本実施形態の照合システム1は、互いに有線及び/又は無線で通信可能に構成された端末装置と、サーバ装置とを有する点で、第1乃至第5の実施形態と異なる。
図19に、本実施形態の照合システム1の機能ブロック図の一例を示す。端末装置2は、入力受付部12と、撮像部14と、出力部17と、端末側送受信部18とを有する。サーバ装置3は、記憶部11と、対応情報検索部13と、画像認識部15と、照合部16と、サーバ側送受信部19とを有する。端末装置2とサーバ装置3は、端末側送受信部18及びサーバ側送受信部19を介して通信可能なっている。
図20に、本実施形態の照合システム1の機能ブロック図の他の一例を示す。端末装置2は、入力受付部12と、撮像部14と、画像認識部15と、出力部17と、端末側送受信部18とを有する。サーバ装置3は、記憶部11と、対応情報検索部13と、照合部16と、サーバ側送受信部19とを有する。端末装置2とサーバ装置3は、端末側送受信部18及びサーバ側送受信部19を介して通信可能なっている。
図19及び図20に示す端末側送受信部18及びサーバ側送受信部19を除くその他の部の構成は、第1乃至第5の実施形態と同様である。
端末側送受信部18及びサーバ側送受信部19は、有線及び/又は無線で通信可能に構成されており、データの送受信が可能になっている。
端末側送受信部18は、撮像部14が撮像した画像の中の特定フレームF内の一部画像の画像データのみをサーバ装置3(外部装置)に送信してもよい。または、端末側送受信部18は、撮像部14が撮像した画像の中の特定フレームF内の一部画像を識別する情報(例:特定フレームFの位置を示す特定フレーム位置情報)とともに、画像のデータをサーバ装置3(外部装置)に送信してもよい。
以下、図21のシーケンス図を用いて、本実施形態の照合方法の処理の流れの一例を説明する。なお、端末側送受信部18は、撮像部14が撮像した画像の中の特定フレームF内の一部画像を識別する情報(例:特定フレームFの位置を示す特定フレーム位置情報)とともに、画像のデータをサーバ装置3(外部装置)に送信するものとする。
まず、端末装置2の入力受付部12が、例えば図11に示すようなユーザインターフェースを介して、照合対象の鋼材の番地の入力を受付ける(S10)。すると、端末装置2の端末側送受信部18が番地の情報をサーバ装置3に送信する(S11)。サーバ装置3は、サーバ側送受信部19を介して番地の情報を受信する。その後、サーバ装置3の対応情報検索部13はその番地をキーとして記憶部11が記憶している対応情報(図4参照)を検索し、キーに対応付けられている段情報(鋼材の識別情報が対応付けられているもの)を取得する(S12)。すると、サーバ装置3のサーバ側送受信部19は、取得した段情報を端末装置2に返信する(S13)。端末装置2は、端末側送受信部18を介して段情報を取得する。なお、ここで送受信される段情報には、S11で受信した番地が対応付けられていてもよい。
すると、端末装置2の出力部17は、例えば図12に示すように、取得した段情報をディスプレイ100に一覧表示する。そして、入力受付部12は、当該ユーザインターフェースから、1つ又は複数の段情報を指定する入力を受付ける(S14)。1つ又は複数の段情報を指定する入力を受付けると、端末装置2は撮像モードに切り替わる。すなわち、出力部17は、例えば図13に示すように、ディスプレイ100に撮像対象となる画像を表示する。また、出力部17は、ディスプレイ100に、S14で指定された段情報と同数の特定フレームF1及びF2を表示する。なお、特定フレームF1及びF2各々の左上隅に表示された丸数字が、各々に対応付けられている段情報を示している。作業者は、このような情報を利用して、複数の特定フレームF1及びF2各々の中に何段目の鋼材の識別マークを収めるべきか把握することができる。
作業者は、照合システム1の位置、向き等を調整することで、表示されている1つ又は複数の特定フレームF各々に所定の識別マークを収める。そして、作業者は、当該状態を維持させたまま撮像指示入力(例:撮影ボタンのタッチ)を行う。すると、撮像部14は、ディスプレイ100に表示されていた画像を撮像する(S15)。そして、撮像部14は、撮像した画像の画像データに、撮像時点で表示されている1つ又は複数の特定フレームF各々の位置を示す情報(特定フレーム位置情報)を対応付ける。なお、特定フレーム位置情報が複数対応付けられる場合、各々に、各特定フレームFに対応付けられていた段情報が対応付けられる。
すると、端末装置2の端末側送受信部18は、撮像画像の画像データを、対応付けられている特定フレーム位置情報及び段情報とともに、サーバ装置3に送信する(S16)。サーバ装置3は、サーバ側送受信部19を介して、撮像画像の画像データ、特定フレーム位置情報及び段情報を受信する。なお、ここで送受信される画像データ、特定フレーム位置情報及び段情報には、S13で受信した段情報に対応付けられていた番地が対応付けられていてもよい。
その後、サーバ装置3の画像認識部15は、撮像部14が撮像した画像の中の特定フレーム内の一部画像のみを用いて画像認識処理を行う。画像認識部15は、1つ又は複数の鋼材各々の表面に記されている識別マークを抽出するとともに、抽出した識別マークを用いて識別情報を認識する(S17)。また、対応情報検索部13は、S16で取得した番地及び段情報をキーとして記憶部11の対応情報を検索し、1つ又は複数の識別情報を取得する。そして、照合部16は、対応情報検索部13が取得した識別情報と、画像認識部15が認識した識別情報とを利用して、これらが一致するか否か判別する(S18:照合処理)。なお、対応情報検索部13が取得した識別情報、及び、画像認識部15が認識した識別情報が各々複数存在する場合、段情報が一致する識別情報同士を照合処理する。
すると、サーバ装置3のサーバ側送受信部19は、S18の判別結果を端末装置2に返信する(S19)。端末装置2は、端末側送受信部18を介して判別結果を取得する。なお、ここで送受信される判別結果には、番地及び段情報が対応付けられていてもよい。その後、端末装置2の出力部17は、例えば、図15に示すようなユーザインターフェースを作成して、ディスプレイ100に表示する(S20)。
以上説明した本実施形態の照合システム1によれば、第1乃至第5の実施形態と同様の作用効果を実現することができる。
<付記>
以下、参考形態の例を付記する。
1. 各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管される複数の鋼材の照合を行う照合システムであって、
保管されている複数の前記鋼材各々の識別情報と、前記鋼材各々が保管されている前記エリアの前記番地と、複数段に積み重ねられた鋼材群の中の位置を示す段情報とを対応付けた対応情報を記憶する記憶手段と、
照合対象の前記鋼材の前記番地及び前記段情報の入力を受付ける入力受付手段と、
前記対応情報を参照し、前記入力受付手段が入力を受付けた前記番地及び前記段情報に対応付けられている前記識別情報を取得する対応情報検索手段と、
ファインダーを有し、前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段と、
前記ファインダーに表示されている画像を撮像する撮像手段と、
前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行い、複数の前記鋼材各々の表面に記されている識別マークを抽出するとともに、抽出した前記識別マークを用いて前記識別情報を認識する画像認識手段と、
前記対応情報検索手段が取得した前記識別情報と、前記画像認識手段が認識した前記識別情報とが一致するか否か判別する照合手段と、
を有する照合システム。
2. 1に記載の照合システムにおいて、
前記出力手段は、前記照合手段の判別結果を出力する照合システム。
3. 1又は2に記載の照合システムにおいて、
前記出力手段は、前記画像認識手段による認識結果を出力する照合システム。
4. 1から3のいずれかに記載の照合システムにおいて、
前記照合システムは同一の前記番地に保管されている複数の前記鋼材を一度に照合対象とすることができ、
前記入力受付手段は、照合対象の複数の前記鋼材が保管されている前記番地及び複数の前記段情報の入力を受付けることができ、
前記出力手段は、前記入力受付手段が入力を受付けた前記段情報の数と同数の複数の前記特定フレームを前記ファインダーに表示する照合システム。
5. 4に記載の照合システムにおいて、
複数の前記特定フレーム各々は、前記入力受付手段が入力を受付けた前記段情報各々と対応付けられており、
前記出力手段は、対応付けられている前記段情報が識別できるように、複数の前記特定フレームを表示する照合システム。
6. 4又は5に記載の照合システムにおいて、
前記対応情報検索手段は、前記入力受付手段が入力を受付けた前記番地に対応付けられている前記段情報を取得し、
前記出力手段は、前記対応情報検索手段が取得した前記段情報を一覧表示し、
前記入力受付手段は、前記一覧表示されている前記段情報の中の1つ又は複数を選択する入力を受付けることで、照合対象の前記鋼材の前記段情報の入力を受付ける照合システム。
7. 1から3のいずれかに記載の照合システムにおいて、
前記照合システムは同一の前記番地に保管されている複数の前記鋼材を一度に照合対象とすることができ、
前記対応情報検索手段は、前記入力受付手段が入力を受付けた前記番地に保管されている前記鋼材である第1の前記鋼材の数を、前記対応情報において当該番地に対応付けられている前記鋼材の前記識別情報の数を認識することで特定し、
前記出力手段は、前記第1の鋼材の数と同数の複数の前記特定フレームを前記ファインダーに表示する照合システム。
8. 7に記載の照合システムにおいて、
複数の前記特定フレーム各々には、前記第1の鋼材各々に対応付けられている前記段情報が対応付けられており、
前記出力手段は、対応付けられている前記段情報が識別できるように、複数の前記特定フレームを表示する照合システム。
9. 8に記載の照合システムにおいて、
前記入力受付手段は、前記ファインダーに表示されている複数の前記特定フレームの中の1つ又は複数を選択する入力を受付けることで、照合対象の前記鋼材の前記段情報の入力を受付ける照合システム。
10. 4から9のいずれかに記載の照合システムにおいて、
前記ファインダーに表示されている複数の前記特定フレームは、個別に、前記ファインダー内の表示位置、形状及び大きさの中の少なくとも1つを変更することができる照合システム。
11. 4から10のいずれかに記載の照合システムにおいて、
前記入力受付手段は、前記ファインダーに表示されている複数の前記特定フレームの中の一部を指定する指定入力と、一部の前記特定フレームが指定されている状態で撮像する撮像指示入力とを受付け、
前記撮像手段は、前記入力受付手段が受付けた前記撮像指示入力に従い撮像し、
前記画像認識手段は、前記撮像手段が撮像した前記画像の中の当該画像撮像時に指定されていた前記特定フレーム内の一部画像のみを用いて画像認識処理を行う照合システム。
12. 11に記載の照合システムにおいて、
前記出力手段は、指定された状態で撮像されたことがある前記特定フレームと、指定された状態で撮像されたことがない前記特定フレームとを識別可能に表示する照合システム。
13. 1から12のいずれかに記載の照合システムにおいて、
前記照合システムは、互いに通信可能に構成された端末装置と、サーバ装置とを有し、
前記端末装置は、前記入力受付手段と、前記出力手段と、前記撮像手段とを有し、
前記サーバ装置は、前記記憶手段と、前記対応情報検索手段と、前記照合手段とを有し、
前記端末装置及び前記サーバ装置のいずれかが、前記画像認識手段を備える照合システム。
14. 1から12のいずれかに記載の照合システムが有する前記入力受付手段と、前記出力手段と、前記撮像手段とを備える端末装置。
15. ファインダーを有し、前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段と、
前記ファインダーに表示されている前記画像を撮像する撮像手段と、
前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像のみを外部装置に送信する送信手段と、を有する端末装置。
16. ファインダーを有し、前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段と、
前記ファインダーに表示されている前記画像を撮像する撮像手段と、
前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像を識別する情報とともに、前記画像を外部装置に送信する送信手段と、を有する端末装置。
17. 1から12のいずれかに記載の照合システムが有する前記記憶手段と、前記対応情報検索手段と、前記照合手段とを備えるサーバ装置。
18. 17に記載のサーバ装置において、1から12のいずれかに記載の照合システムが有する前記画像認識手段をさらに備えるサーバ装置。
19. ファインダーに表示されている画像を撮像する撮像手段を備えた端末装置用のプログラムであって、
コンピュータを、
前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段、
前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像のみを外部装置に送信する送信手段、
として機能させるためのプログラム。
20. ファインダーに表示されている画像を撮像する撮像手段を備えた端末装置用のプログラムであって、
コンピュータを、
前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段、
前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像を識別する情報とともに、前記画像を外部装置に送信する送信手段、
として機能させるためのプログラム。
21. 各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管される複数の鋼材の照合を行う照合システム用のプログラムであって、
コンピュータを、
保管されている複数の前記鋼材各々の識別情報と、前記鋼材各々が保管されている前記エリアの前記番地と、複数段に積み重ねられた鋼材群の中の位置を示す段情報とを対応付けた対応情報を記憶する記憶手段、
照合対象の前記鋼材の前記番地及び前記段情報の入力を受付ける入力受付手段、
前記対応情報を参照し、前記入力受付手段が入力を受付けた前記番地及び前記段情報に対応付けられている前記識別情報を取得する対応情報検索手段、
ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段、
前記ファインダーに表示されている前記画像を撮像する撮像手段、
前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行い、複数の前記鋼材各々の表面に記されている識別マークを抽出するとともに、抽出した前記識別マークを用いて前記識別情報を認識する画像認識手段、
前記対応情報検索手段が取得した前記識別情報と、前記画像認識手段が認識した前記識別情報とが一致するか否か判別する照合手段、
として機能させるためのプログラム。
21−2. 21に記載のプログラムにおいて、
前記出力手段に、前記照合手段の判別結果を出力させるプログラム。
21−3. 21又は21−2に記載のプログラムにおいて、
前記出力手段に、前記画像認識手段による認識結果を出力させるプログラム。
21−4. 21から21−3のいずれかに記載のプログラムにおいて、
同一の前記番地に保管されている複数の前記鋼材を一度に照合対象とするために、
前記入力受付手段に、照合対象の複数の前記鋼材が保管されている前記番地及び複数の前記段情報の入力を受付けさせ、
前記出力手段に、前記入力受付手段が入力を受付けた前記段情報の数と同数の複数の前記特定フレームを前記ファインダーに表示させるプログラム。
21−5. 21−4に記載のプログラムにおいて、
複数の前記特定フレーム各々を、前記入力受付手段が入力を受付けた前記段情報各々と対応付け、
前記出力手段に、対応付けられている前記段情報が識別できるように、複数の前記特定フレームを表示させるプログラム。
21−6. 21−4又は21−5に記載のプログラムにおいて、
前記対応情報検索手段に、前記入力受付手段が入力を受付けた前記番地に対応付けられている前記段情報を取得させ、
前記出力手段に、前記対応情報検索手段が取得した前記段情報を一覧表示させ、
前記入力受付手段に、前記一覧表示されている前記段情報の中の1つ又は複数を選択する入力を受付けさせることで、照合対象の前記鋼材の前記段情報の入力を受付けさせるプログラム。
21−7. 21から21−3のいずれかに記載のプログラムにおいて、
同一の前記番地に保管されている複数の前記鋼材を一度に照合対象とするために、
前記対応情報検索手段に、前記入力受付手段が入力を受付けた前記番地に保管されている前記鋼材である第1の前記鋼材の数を、前記対応情報において当該番地に対応付けられている前記鋼材の前記識別情報の数を認識することで特定させ、
前記出力手段に、前記第1の鋼材の数と同数の複数の前記特定フレームを前記ファインダーに表示させるプログラム。
21−8. 21−7に記載のプログラムにおいて、
複数の前記特定フレーム各々を、前記第1の鋼材各々に対応付けられている前記段情報と対応付け、
前記出力手段に、対応付けられている前記段情報が識別できるように、複数の前記特定フレームを表示させるプログラム。
21−9. 21−8に記載のプログラムにおいて、
前記入力受付手段に、前記ファインダーに表示されている複数の前記特定フレームの中の1つ又は複数を選択する入力を受付けることで、照合対象の前記鋼材の前記段情報の入力を受付けさせるプログラム。
21−10. 21−4から21−9のいずれかに記載のプログラムにおいて、
前記コンピュータを、
前記ファインダーに表示されている複数の前記特定フレームを、個別に、前記ファインダー内の表示位置、形状及び大きさの中の少なくとも1つを変更する手段として機能させるプログラム。
21−11. 21−4から21−10のいずれかに記載のプログラムにおいて、
前記入力受付手段に、前記ファインダーに表示されている複数の前記特定フレームの中の一部を指定する指定入力と、一部の前記特定フレームが指定されている状態で撮像する撮像指示入力とを受付けさせ、
前記撮像手段に、前記入力受付手段が受付けた前記撮像指示入力に従い撮像させ、
前記画像認識手段に、前記撮像手段が撮像した前記画像の中の当該画像撮像時に指定されていた前記特定フレーム内の一部画像のみを用いて画像認識処理を行わせるプログラム。
21−12. 21−11に記載のプログラムにおいて、
前記出力手段に、指定された状態で撮像されたことがある前記特定フレームと、指定された状態で撮像されたことがない前記特定フレームとを識別可能に表示させるプログラム。
22. 各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管される複数の鋼材の照合を行う照合方法であって、
コンピュータが、
保管されている複数の前記鋼材各々の識別情報と、前記鋼材各々が保管されている前記エリアの前記番地と、複数段に積み重ねられた鋼材群の中の位置を示す段情報とを対応付けた対応情報を記憶しておき、
照合対象の前記鋼材の前記番地及び前記段情報の入力を受付ける入力受付ステップと、
前記対応情報を参照し、前記入力受付ステップで入力を受付けた前記番地及び前記段情報に対応付けられている前記識別情報を取得する対応情報検索ステップと、
ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力ステップと、
前記ファインダーに表示されている前記画像を撮像する撮像ステップと、
前記撮像ステップで撮像した前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行い、複数の前記鋼材各々の表面に記されている識別マークを抽出するとともに、抽出した前記識別マークを用いて前記識別情報を認識する画像認識ステップと、
前記対応情報検索ステップで取得した前記識別情報と、前記画像認識ステップで認識した前記識別情報とが一致するか否か判別する照合ステップと、
を実行する照合方法。
22−2. 22に記載の照合方法において、
前記出力ステップでは、前記照合ステップでの判別結果を出力する照合方法。
22−3. 22又は22−2に記載の照合方法において、
前記出力ステップでは、前記画像認識ステップでの認識結果を出力する照合方法。
22−4. 22から22−3のいずれかに記載の照合方法において、
前記照合方法は同一の前記番地に保管されている複数の前記鋼材を一度に照合対象とすることができ、
前記入力受付ステップでは、照合対象の複数の前記鋼材が保管されている前記番地及び複数の前記段情報の入力を受付けることができ、
前記出力ステップでは、前記入力受付ステップで入力を受付けた前記段情報の数と同数の複数の前記特定フレームを前記ファインダーに表示する照合方法。
22−5. 22−4に記載の照合方法において、
複数の前記特定フレーム各々は、前記入力受付ステップで入力を受付けた前記段情報各々と対応付けられており、
前記出力ステップでは、対応付けられている前記段情報が識別できるように、複数の前記特定フレームを表示する照合方法。
22−6. 22−4又は22−5に記載の照合方法において、
前記対応情報検索ステップでは、前記入力受付ステップで入力を受付けた前記番地に対応付けられている前記段情報を取得し、
前記出力ステップでは、前記対応情報検索ステップで取得した前記段情報を一覧表示し、
前記入力受付ステップでは、前記一覧表示されている前記段情報の中の1つ又は複数を選択する入力を受付けることで、照合対象の前記鋼材の前記段情報の入力を受付ける照合方法。
22−7. 22から22−3のいずれかに記載の照合方法において、
前記照合方法は同一の前記番地に保管されている複数の前記鋼材を一度に照合対象とすることができ、
前記対応情報検索ステップでは、前記入力受付ステップで入力を受付けた前記番地に保管されている前記鋼材である第1の前記鋼材の数を、前記対応情報において当該番地に対応付けられている前記鋼材の前記識別情報の数を認識することで特定し、
前記出力ステップでは、前記第1の鋼材の数と同数の複数の前記特定フレームを前記ファインダーに表示する照合方法。
22−8. 22−7に記載の照合方法において、
複数の前記特定フレーム各々には、前記第1の鋼材各々に対応付けられている前記段情報が対応付けられており、
前記出力ステップでは、対応付けられている前記段情報が識別できるように、複数の前記特定フレームを表示する照合方法。
22−9. 22−8に記載の照合方法において、
前記入力受付ステップでは、前記ファインダーに表示されている複数の前記特定フレームの中の1つ又は複数を選択する入力を受付けることで、照合対象の前記鋼材の前記段情報の入力を受付ける照合方法。
22−10. 22−4から22−9のいずれかに記載の照合方法において、
前記ファインダーに表示されている複数の前記特定フレームは、個別に、前記ファインダー内の表示位置、形状及び大きさの中の少なくとも1つを変更することができる照合方法。
22−11. 22−4から22−10のいずれかに記載の照合方法において、
前記入力受付ステップでは、前記ファインダーに表示されている複数の前記特定フレームの中の一部を指定する指定入力と、一部の前記特定フレームが指定されている状態で撮像する撮像指示入力とを受付け、
前記撮像ステップでは、前記入力受付ステップで受付けた前記撮像指示入力に従い撮像し、
前記画像認識ステップでは、前記撮像ステップで撮像した前記画像の中の当該画像撮像時に指定されていた前記特定フレーム内の一部画像のみを用いて画像認識処理を行う照合方法。
22−12. 22−11に記載の照合方法において、
前記出力ステップでは、指定された状態で撮像されたことがある前記特定フレームと、指定された状態で撮像されたことがない前記特定フレームとを識別可能に表示する照合方法。
この出願は、2013年3月13日に出願された日本出願特願2013−050843号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (22)

  1. 各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管される複数の鋼材の照合を行う照合システムであって、
    保管されている複数の前記鋼材各々の識別情報と、前記鋼材各々が保管されている前記エリアの前記番地と、複数段に積み重ねられた鋼材群の中の位置を示す段情報とを対応付けた対応情報を記憶する記憶手段と、
    照合対象の前記鋼材の前記番地及び前記段情報の入力を受付ける入力受付手段と、
    前記対応情報を参照し、前記入力受付手段が入力を受付けた前記番地及び前記段情報に対応付けられている前記識別情報を取得する対応情報検索手段と、
    ファインダーを有し、前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段と、
    前記ファインダーに表示されている画像を撮像する撮像手段と、
    前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行い、複数の前記鋼材各々の表面に記されている識別マークを抽出するとともに、抽出した前記識別マークを用いて前記識別情報を認識する画像認識手段と、
    前記対応情報検索手段が取得した前記識別情報と、前記画像認識手段が認識した前記識別情報とが一致するか否か判別する照合手段と、
    を有する照合システム。
  2. 請求項1に記載の照合システムにおいて、
    前記出力手段は、前記照合手段の判別結果を出力する照合システム。
  3. 請求項1又は2に記載の照合システムにおいて、
    前記出力手段は、前記画像認識手段による認識結果を出力する照合システム。
  4. 請求項1から3のいずれか1項に記載の照合システムにおいて、
    前記照合システムは同一の前記番地に保管されている複数の前記鋼材を一度に照合対象とすることができ、
    前記入力受付手段は、照合対象の複数の前記鋼材が保管されている前記番地及び複数の前記段情報の入力を受付けることができ、
    前記出力手段は、前記入力受付手段が入力を受付けた前記段情報の数と同数の複数の前記特定フレームを前記ファインダーに表示する照合システム。
  5. 請求項4に記載の照合システムにおいて、
    複数の前記特定フレーム各々は、前記入力受付手段が入力を受付けた前記段情報各々と対応付けられており、
    前記出力手段は、対応付けられている前記段情報が識別できるように、複数の前記特定フレームを表示する照合システム。
  6. 請求項4又は5に記載の照合システムにおいて、
    前記対応情報検索手段は、前記入力受付手段が入力を受付けた前記番地に対応付けられている前記段情報を取得し、
    前記出力手段は、前記対応情報検索手段が取得した前記段情報を一覧表示し、
    前記入力受付手段は、前記一覧表示されている前記段情報の中の1つ又は複数を選択する入力を受付けることで、照合対象の前記鋼材の前記段情報の入力を受付ける照合システム。
  7. 請求項1から3のいずれか1項に記載の照合システムにおいて、
    前記照合システムは同一の前記番地に保管されている複数の前記鋼材を一度に照合対象とすることができ、
    前記対応情報検索手段は、前記入力受付手段が入力を受付けた前記番地に保管されている前記鋼材である第1の前記鋼材の数を、前記対応情報において当該番地に対応付けられている前記鋼材の前記識別情報の数を認識することで特定し、
    前記出力手段は、前記第1の鋼材の数と同数の複数の前記特定フレームを前記ファインダーに表示する照合システム。
  8. 請求項7に記載の照合システムにおいて、
    複数の前記特定フレーム各々には、前記第1の鋼材各々に対応付けられている前記段情報が対応付けられており、
    前記出力手段は、対応付けられている前記段情報が識別できるように、複数の前記特定フレームを表示する照合システム。
  9. 請求項8に記載の照合システムにおいて、
    前記入力受付手段は、前記ファインダーに表示されている複数の前記特定フレームの中の1つ又は複数を選択する入力を受付けることで、照合対象の前記鋼材の前記段情報の入力を受付ける照合システム。
  10. 請求項4から9のいずれか1項に記載の照合システムにおいて、
    前記ファインダーに表示されている複数の前記特定フレームは、個別に、前記ファインダー内の表示位置、形状及び大きさの中の少なくとも1つを変更することができる照合システム。
  11. 請求項4から10のいずれか1項に記載の照合システムにおいて、
    前記入力受付手段は、前記ファインダーに表示されている複数の前記特定フレームの中の一部を指定する指定入力と、一部の前記特定フレームが指定されている状態で撮像する撮像指示入力とを受付け、
    前記撮像手段は、前記入力受付手段が受付けた前記撮像指示入力に従い撮像し、
    前記画像認識手段は、前記撮像手段が撮像した前記画像の中の当該画像撮像時に指定されていた前記特定フレーム内の一部画像のみを用いて画像認識処理を行う照合システム。
  12. 請求項11に記載の照合システムにおいて、
    前記出力手段は、指定された状態で撮像されたことがある前記特定フレームと、指定された状態で撮像されたことがない前記特定フレームとを識別可能に表示する照合システム。
  13. 請求項1から12のいずれか1項に記載の照合システムにおいて、
    前記照合システムは、互いに通信可能に構成された端末装置と、サーバ装置とを有し、
    前記端末装置は、前記入力受付手段と、前記出力手段と、前記撮像手段とを有し、
    前記サーバ装置は、前記記憶手段と、前記対応情報検索手段と、前記照合手段とを有し、
    前記端末装置及び前記サーバ装置のいずれかが、前記画像認識手段を備える照合システム。
  14. 請求項1から12のいずれか1項に記載の前記照合システムが有する前記入力受付手段と、前記撮像手段と、前記出力手段とを備える端末装置。
  15. ファインダーを有し、前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段と、
    前記ファインダーに表示されている前記画像を撮像する撮像手段と、
    前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像のみを外部装置に送信する送信手段と、
    を有し、
    前記外部装置が、前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行うことによって認識された、照合対象の鋼材を識別する識別情報と、記憶手段に記憶された前記照合対象の識別情報とが一致するか否か判別することで得られた判別結果を前記外部装置から得た場合、前記出力手段は前記判別結果を出力する端末装置。
  16. ファインダーを有し、前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段と、
    前記ファインダーに表示されている前記画像を撮像する撮像手段と、
    前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像を識別する情報とともに、前記画像を外部装置に送信する送信手段と、を有し、
    前記外部装置が、前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行うことによって認識された、照合対象の鋼材を識別する識別情報と、記憶手段に記憶された前記照合対象の識別情報とが一致するか否か判別することで得られた判別結果を前記外部装置から得た場合、前記出力手段は前記判別結果を出力する端末装置。
  17. 請求項1から12のいずれか1項に記載の前記照合システムが有する前記記憶手段と、前記対応情報検索手段と、前記照合手段とを備えるサーバ装置。
  18. 請求項17に記載のサーバ装置において、請求項1から12のいずれか1項に記載の前記照合システムが有する前記画像認識手段をさらに備えるサーバ装置。
  19. ファインダーに表示されている画像を撮像する撮像手段を備えた端末装置用のプログラムであって、
    コンピュータを、
    前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段、
    前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像のみを外部装置に送信する送信手段、
    として機能させ
    前記外部装置が、前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行うことによって認識された、照合対象の鋼材を識別する識別情報と、記憶手段に記憶された前記照合対象の識別情報とが一致するか否か判別することで得られた判別結果を前記外部装置から得た場合、前記出力手段に前記判別結果を出力させるプログラム。
  20. ファインダーに表示されている画像を撮像する撮像手段を備えた端末装置用のプログラムであって、
    コンピュータを、
    前記ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段、
    前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像を識別する情報とともに、前記画像を外部装置に送信する送信手段、
    として機能させ
    前記外部装置が、前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行うことによって認識された、照合対象の鋼材を識別する識別情報と、記憶手段に記憶された前記照合対象の識別情報とが一致するか否か判別することで得られた判別結果を前記外部装置から得た場合、前記出力手段に前記判別結果を出力させるプログラム。
  21. 各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管される複数の鋼材の照合を行う照合システム用のプログラムであって、
    コンピュータを、
    保管されている複数の前記鋼材各々の識別情報と、前記鋼材各々が保管されている前記エリアの前記番地と、複数段に積み重ねられた鋼材群の中の位置を示す段情報とを対応付けた対応情報を記憶する記憶手段、
    照合対象の前記鋼材の前記番地及び前記段情報の入力を受付ける入力受付手段、
    前記対応情報を参照し、前記入力受付手段が入力を受付けた前記番地及び前記段情報に対応付けられている前記識別情報を取得する対応情報検索手段、
    ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力手段、
    前記ファインダーに表示されている前記画像を撮像する撮像手段、
    前記撮像手段が撮像した前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行い、複数の前記鋼材各々の表面に記されている識別マークを抽出するとともに、抽出した前記識別マークを用いて前記識別情報を認識する画像認識手段、
    前記対応情報検索手段が取得した前記識別情報と、前記画像認識手段が認識した前記識別情報とが一致するか否か判別する照合手段、
    として機能させるためのプログラム。
  22. 各々番地が割り振られた複数のエリア各々に複数段に積み重ねて保管される複数の鋼材の照合を行う照合方法であって、
    コンピュータが、
    保管されている複数の前記鋼材各々の識別情報と、前記鋼材各々が保管されている前記エリアの前記番地と、複数段に積み重ねられた鋼材群の中の位置を示す段情報とを対応付けた対応情報を記憶しておき、
    照合対象の前記鋼材の前記番地及び前記段情報の入力を受付ける入力受付ステップと、
    前記対応情報を参照し、前記入力受付ステップで入力を受付けた前記番地及び前記段情報に対応付けられている前記識別情報を取得する対応情報検索ステップと、
    ファインダーに撮像前及び/又は撮像済みの画像を表示するとともに、表示されている前記画像の中の画像認識処理の対象となる一部領域を示す特定フレームを前記画像に重ねて前記ファインダーに表示する出力ステップと、
    前記ファインダーに表示されている前記画像を撮像する撮像ステップと、
    前記撮像ステップで撮像した前記画像の中の前記特定フレーム内の一部画像のみを用いて画像認識処理を行い、複数の前記鋼材各々の表面に記されている識別マークを抽出するとともに、抽出した前記識別マークを用いて前記識別情報を認識する画像認識ステップと、
    前記対応情報検索ステップで取得した前記識別情報と、前記画像認識ステップで認識した前記識別情報とが一致するか否か判別する照合ステップと、
    を実行する照合方法。
JP2015505229A 2013-03-13 2013-11-13 照合システム、端末装置、サーバ装置、照合方法及びプログラム Active JP6123881B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013050843 2013-03-13
JP2013050843 2013-03-13
PCT/JP2013/080637 WO2014141534A1 (ja) 2013-03-13 2013-11-13 照合システム、端末装置、サーバ装置、照合方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2014141534A1 JPWO2014141534A1 (ja) 2017-02-16
JP6123881B2 true JP6123881B2 (ja) 2017-05-10

Family

ID=51536221

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015505229A Active JP6123881B2 (ja) 2013-03-13 2013-11-13 照合システム、端末装置、サーバ装置、照合方法及びプログラム

Country Status (3)

Country Link
JP (1) JP6123881B2 (ja)
CN (1) CN105008251B (ja)
WO (1) WO2014141534A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6262809B2 (ja) * 2016-06-28 2018-01-17 新日鉄住金ソリューションズ株式会社 システム、情報処理装置、情報処理方法、及び、プログラム
JP2018056253A (ja) * 2016-09-28 2018-04-05 パナソニックIpマネジメント株式会社 部品管理支援システムおよび部品管理支援方法
JP6878968B2 (ja) * 2017-03-13 2021-06-02 日本電気株式会社 物品管理システム、物品管理方法および物品管理プログラム
CN110573980B (zh) * 2019-07-25 2020-11-06 灵动科技(北京)有限公司 具有rfid读取器和内置打印机的自动驾驶系统
CN110597165B (zh) * 2019-08-30 2021-04-27 三明学院 一种堆钢监测系统及堆钢监测方法
JP7464460B2 (ja) 2020-06-22 2024-04-09 日本電気通信システム株式会社 情報処理装置、分布状況検知システム、分布状況検知方法およびコンピュータプログラム
WO2022114173A1 (ja) * 2020-11-30 2022-06-02 日本製鉄株式会社 トラッキング装置、トラッキング方法、トラッキングデータのデータ構造、およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5960413A (en) * 1996-03-05 1999-09-28 Amon; James A. Portable system for inventory identification and classification
DE602004032488D1 (de) * 2003-02-18 2011-06-16 Canon Kk Photographiervorrichtung mit MItteln zur Aufnahme von Funkinformationen und Steuerungsmethode dafür
EP1452997B1 (en) * 2003-02-25 2010-09-15 Canon Kabushiki Kaisha Apparatus and method for managing articles
US7290701B2 (en) * 2004-08-13 2007-11-06 Accu-Assembly Incorporated Gathering data relating to electrical components picked from stacked trays
KR100754656B1 (ko) * 2005-06-20 2007-09-03 삼성전자주식회사 이미지와 관련한 정보를 사용자에게 제공하는 방법 및시스템과 이를 위한 이동통신단말기
JP4700567B2 (ja) * 2006-06-09 2011-06-15 新日本製鐵株式会社 鋼材の管理方法と管理システム
JP5069936B2 (ja) * 2007-04-18 2012-11-07 日立Geニュークリア・エナジー株式会社 資材保管位置管理システムおよびその方法
JP2011090662A (ja) * 2009-09-25 2011-05-06 Dainippon Printing Co Ltd 帳票受付システム、携帯電話、サーバ、プログラム、及び複写式帳票
CN101853387A (zh) * 2010-04-02 2010-10-06 北京物资学院 立体仓库货物盘点方法及系统
JP2011221860A (ja) * 2010-04-12 2011-11-04 Sanyo Special Steel Co Ltd 鋼材識別システム及びその方法
JP2012074804A (ja) * 2010-09-28 2012-04-12 Promise Co Ltd 証明書類撮影用カメラ、融資審査装置及び融資審査方法
JP2012144371A (ja) * 2010-12-24 2012-08-02 Jfe Steel Corp 物品管理方法
JP5247854B2 (ja) * 2011-07-06 2013-07-24 株式会社インスピーディア 集荷システムおよび集荷方法

Also Published As

Publication number Publication date
JPWO2014141534A1 (ja) 2017-02-16
CN105008251A (zh) 2015-10-28
CN105008251B (zh) 2017-10-31
WO2014141534A1 (ja) 2014-09-18

Similar Documents

Publication Publication Date Title
JP6123881B2 (ja) 照合システム、端末装置、サーバ装置、照合方法及びプログラム
JP5879725B2 (ja) 板金工程作業支援システム
US9501163B2 (en) Apparatus and method for activating a trigger mechanism
JP6527410B2 (ja) 文字認識装置、文字認識方法、及びプログラム
JP6712045B2 (ja) 情報処理システムと、その処理方法及びプログラム
JP6531368B2 (ja) 情報処理システム、情報処理装置、処理方法及びプログラム
WO2018016214A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2017088345A (ja) 検品処理装置、検品システム、検品処理方法及びプログラム
US20180174324A1 (en) Image processing apparatus for clipping and sorting images from read image according to cards and control method therefor
US20160269586A1 (en) System, control method, and recording medium
JP2018156308A (ja) 情報処理装置、情報処理システム及びプログラム
JP2021119475A (ja) 絞込処理システム
JP6112240B2 (ja) 情報読取装置及びプログラム
JP5534207B2 (ja) 情報読取装置及びプログラム
WO2019181441A1 (ja) 情報処理装置、制御方法、及びプログラム
JP5130081B2 (ja) 制御装置及びイメージデータの表示方法
JP2017097859A (ja) 情報処理装置と、その処理方法及びプログラム
JP6708935B2 (ja) 情報処理装置、その処理方法及びプログラム
KR102273198B1 (ko) 시각적으로 코딩된 패턴 인식 방법 및 장치
JP4150651B2 (ja) 支援情報提供方法、支援情報提供プログラム及び情報提供管理システム
CN114611475A (zh) 信息处理装置、信息处理方法和计算机可读介质
WO2021033310A1 (ja) 処理装置、処理方法及びプログラム
US11462014B2 (en) Information processing apparatus and non-transitory computer readable medium
JP2017091252A (ja) 情報入力装置及び情報入力プログラム
WO2019181442A1 (ja) 情報処理装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170320

R150 Certificate of patent or registration of utility model

Ref document number: 6123881

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150