JP2023543639A - 酒製品位置決め方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体 - Google Patents

酒製品位置決め方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体 Download PDF

Info

Publication number
JP2023543639A
JP2023543639A JP2023543250A JP2023543250A JP2023543639A JP 2023543639 A JP2023543639 A JP 2023543639A JP 2023543250 A JP2023543250 A JP 2023543250A JP 2023543250 A JP2023543250 A JP 2023543250A JP 2023543639 A JP2023543639 A JP 2023543639A
Authority
JP
Japan
Prior art keywords
liquor
liquor product
target
predetermined
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023543250A
Other languages
English (en)
Other versions
JP7502570B2 (ja
Inventor
家禧 馮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2023543639A publication Critical patent/JP2023543639A/ja
Application granted granted Critical
Publication of JP7502570B2 publication Critical patent/JP7502570B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/12Hotels or restaurants
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/19007Matching; Proximity measures
    • G06V30/19013Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Analytical Chemistry (AREA)
  • Primary Health Care (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、酒製品情報管理の技術分野に係る。本発明は、酒製品位置決め方法、酒製品情報管理方法及びその装置、コンピュータデバイス及びコンピュータ可読記憶媒体を提供する。本発明は、酒蔵中の所定のカメラに基づいて、所定のカメラで採集した目標酒製品に対応する酒製品画像を取得することと、OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、酒製品画像を認識して酒製品画像に対応する酒ラベルを得ることと、カメラに対応する所定採集位置を取得し、所定採集位置を目標酒製品に対応する現在位置とすることと、目標酒製品に対応する位置を酒ラベル及び現在位置で記述して目標酒製品の位置決めを行うことにより、目標酒製品の位置決めを行い、酒製品画像に含まれる酒ラベルを正確に迅速に認識すると共に酒蔵中の所定のカメラのレイアウトに関連して酒製品の位置を取得することで、酒製品の正確な位置決めを実現することができ、酒蔵中の酒製品の自動化管理の効率及び品質を向上させる。【選択図】図2

Description

本発明は、酒製品情報管理の技術分野に関し、特に酒製品位置決め方法、酒製品情報管理方法及びその装置、コンピュータデバイス及びコンピュータ可読記憶媒体に関する。
酒類は、古くから今に至って社交の中で重要な役割を果たしてきた。例えば、ワインは、現在の社交の中でますます重要な役割を果たしている。酒類の貯蔵は、一般的に酒蔵に貯蔵される。酒類の貯蔵は、酒蔵に対して特定の環境条件を必要とし、また、酒蔵中の酒製品を管理する必要がある。例えば、ワインの貯蔵について、特に温度と湿度に対する要求が極めて厳しい。また、伝統的なワインセラーについて、その機能の限界から、ワインセラー中に貯蔵されたワイン製品の管理が主に人工的に行われている。酒蔵中の酒製品に対する自動化管理を行うには、酒蔵中の酒製品の所在位置に基づいて酒製品を管理し、即ち酒蔵中の酒製品の位置決めを行う必要がある。しかし、従来の技術では、酒蔵中の酒製品に対する正確な自動的位置決めができないため、酒製品に対する自動化管理の効率が低い。
本発明は、酒製品位置決め方法、酒製品情報管理方法及びその装置、コンピュータデバイス及びコンピュータ可読記憶媒体を提供し、従来技術の中で酒蔵中の酒製品に対する位置決めの正確性が低いという問題を解決することができ、それによって従来技術の中で酒蔵での酒製品に対する自動化管理効率が低いという問題を解決することができる。
第1の態様では、本発明は、酒製品位置決め方法を提供する。前記方法は、酒蔵中の所定のカメラに基づいて、前記所定のカメラで採集した目標酒製品に対応する酒製品画像を取得するステップと、OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得るステップと、前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とするステップと、前記目標酒製品に対応する位置を前記酒ラベル及び前記現在位置で記述して前記目標酒製品の位置決めを行うステップとを含む。
第2の態様では、本発明は、サーバ側に適用される酒製品情報管理方法を提供する。前記方法は、酒製品画像を含む酒製品情報を取得するステップと、酒製品位置決め方法で前記酒製品画像に対応する酒製品の位置決めを行うことによって、前記酒製品に対応する目標位置を得るステップと、前記目標位置に基づいて、前記酒製品情報を管理するステップとを含む。
第3の態様では、本発明は、端末に適用される酒製品情報管理方法を提供する。前記方法は、ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するステップであって、それによって、前記所定のサーバが、酒製品位置決め方法で前記酒製品の位置決めを行って得られた前記酒製品の所在位置である酒製品対応の酒製品位置に基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を、前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにするステップと、前記所定のサーバから送信された前記目標酒製品情報を受信するステップと、前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するステップとを含む。
第4の態様では、本発明は、更に酒製品位置決め装置を提供し、酒蔵中の所定のカメラに基づいて、前記所定のカメラで採集した目標酒製品に対応する酒製品画像を取得するための第1の取得ユニットと、OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得るための認識ユニットと、前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とするための第2の取得ユニットと、前記目標酒製品に対応する位置を前記酒ラベル及び前記現在位置で記述して前記目標酒製品の位置決めを行うための第1の位置決めユニットとを含む。
第5の態様では、本発明は、更に、サーバ側に適用される酒製品情報管理装置を提供し、酒製品画像を含む酒製品情報を取得するための第3の取得ユニットと、酒製品位置決め方法で前記酒製品画像に対応する酒製品の位置決めを行うことによって、前記酒製品に対応する目標位置を得るための第2の位置決めユニットと、前記目標位置に基づいて、前記酒製品情報を管理するための管理ユニットとを含む。
第6の態様では、本発明は、更に、端末に適用される酒製品情報管理装置を提供し、ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するための送信ユニットであって、それによって、前記所定のサーバが、酒製品位置決め方法で前記酒製品の位置決めを行って得られた前記酒製品の所在位置である酒製品対応の酒製品位置に基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を、前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにする送信ユニットと、前記所定のサーバから送信された前記目標酒製品情報を受信するための受信ユニットと、前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するための表示ユニットとを含む。
第7の態様では、本発明は、更に、コンピュータデバイスを提供し、コンピュータプログラムが格納されているメモリと、前記コンピュータプログラムを実行すると、前記酒製品位置決め方法のステップを実行し、又はサーバ側に適用される前記酒製品情報管理方法のステップを実行し、又は端末に適用される前記酒製品情報管理方法のステップを実行プロセッサとを含む。
第8の態様では、本発明は、更に、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にはコンピュータプログラムが格納されている。前記コンピュータプログラムは、プロセッサによって実行されると、前記酒製品位置決め方法のステップ、又はサーバ側に適用される前記酒製品情報管理方法のステップ、又は端末に適用される前記酒製品情報管理方法のステップを前記プロセッサに実現させる。
本発明は、酒製品位置決め方法、酒製品情報管理方法及びその装置、コンピュータデバイス及びコンピュータ可読記憶媒体を提供する。本発明は、酒蔵中の所定のカメラに基づいて、前記所定のカメラで採集した目標酒製品に対応する酒製品画像を取得することと、OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得ることと、前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とすることと、前記目標酒製品に対応する位置を前記酒ラベル及び前記現在位置で記述して前記目標酒製品の位置決めを行うことにより、前記目標酒製品の位置決めを行う。OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、複雑な酒蔵環境で酒製品画像に含まれる酒ラベルを正確に迅速に認識することができ、認識された酒ラベルと共に酒蔵中の所定のカメラのレイアウトに関連して酒製品の正確な位置決めを実現することができ、酒蔵中の酒製品に対して正確な自動化管理を行うことで、酒ラベルの認識ミスにより酒蔵中の酒製品の自動化管理に生じる混乱やミスを避け、酒蔵中の酒製品の自動化管理の効率及び品質を向上させる。例えば、ワインを貯蔵するワインセラーの中で、ワイン製品に対する正確な位置決めにより、ワインに対してリアルタイムで自動的及び高品質の管理を行うことができ、それによってワインに対する自動化管理の効率を高める。
本発明の実施例の技術的態様をより明確に説明するために、以下に、実施例の説明において使用する必要がある図面を簡単に紹介する。明らかに、以下の説明における図面は、本発明の一部の実施例であり、当業者にとっては、創造的な労働を払わずに、これらの図面に基づいて他の図面を得ることができる。
本発明の実施例による酒製品位置決め方法の適用環境図である。 本発明の実施例による酒製品位置決め方法のフローの概略図である。 本発明の実施例による酒製品位置決め方法における第1のサブフローの概略図である。 本発明の実施例による酒製品位置決め方法における第2のサブフローの概略図である。 本発明の実施例によるサーバ側に適用される酒製品情報管理方法のフローの概略図である。 本発明の実施例による端末に適用される酒製品情報管理方法のフローの概略図である。 本発明の実施例による酒製品位置決め装置のブロック概略図である。 本発明の実施例によるサーバ側に適用される酒製品情報管理装置のブロック概略図である。 本発明の実施例による端末に適用される酒製品情報管理装置のブロック概略図である。 本発明の実施例によるコンピュータデバイスのブロック概略図である。
以下、本発明の実施例の図面に関連して、本発明の実施例の技術的態様を明確に、完全に説明する。明らかに、説明された実施例は、本発明の一部の実施例であり、すべての実施例ではない。本発明における実施例に基づいて、当業者が創造的な労働を行うことなく取得した他のすべての実施例は、本発明の保護範囲に属する。
なお、本明細書及び添付の特許請求の範囲で使用される場合、用語「含む」及び「からなる」は、説明された特徴、全体、ステップ、動作、要素及び/又はコンポーネントの存在を示すが、1つ又は複数の他の特徴、全体、ステップ、動作、要素、コンポーネント、及び/又はそれらの集合の存在又は追加を排除するものではない。
図1を参照する。図1は、本発明の実施例による酒製品位置決め方法の適用環境図である。図1に示すように、この適用環境は、以下を含む。
(1)酒蔵
酒蔵の異なる位置には、複数のカメラが設置されている。図1に示すように、この例の酒蔵には、酒蔵の中の酒製品を撮影するためのカメラ1、カメラ2、カメラ3及びカメラ4が設置されている。引き続き図を参照する。図1に示すように、この例では、位置1、位置2及び位置3を含む。カメラ1とカメラ2は、位置1を撮影するために用いられ、カメラ3は、位置2を撮影するために用いられ、カメラ4は、位置3を撮影するために用いられる。ワイン1製品は、位置1、位置2又は位置3などの酒キャビネットに収納された酒製品であってもよい。また、ワイン1製品は、酒蔵の出入り口に出入りする酒製品であってもよい。例えば、図1に示すように、ワイン1は、酒蔵に入ってから、位置1及び位置2を経て位置3に到達し、位置3に収納される。ワイン1に対応する酒ラベルが認識されることに基づいて、ワイン1が所在する位置3に関連して、ワイン1に対応する酒製品情報を自動化管理する。
(2)サーバ
カメラが撮影してアップロードしたワイン1製品に対応する酒製品画像を受信し、酒製品画像に対して酒ラベル認識を行い、酒ラベルの認識に対応する酒ラベル認識結果に基づいて、更にカメラ1、カメラ2、カメラ3及びカメラ4のそれぞれに対応する所定採集位置、特に最後にワインが止まるカメラ4に対応する位置3に関連して、ワイン1に対応する酒製品に対して酒製品情報の管理を行うために使用される。
(3)端末
ワイン1に対応する酒製品情報に対するユーザの照会、編集、削除などの操作を受信し、ユーザの操作に応答して、サーバからユーザの操作に対応するワイン1に対応する酒製品情報を取得するために使用される。端末にインストールされた酒製品情報管理のAPPを通じて、酒製品情報に対する操作を行うことができる。
以上の各主体の動作過程は、以下の通りである。
1)酒蔵中のカメラは、酒蔵中の酒製品に対応する酒製品画像を撮影し、そして酒製品画像をサーバにアップロードする。例えば、図1のカメラ1とカメラ2は、ワイン1の位置1に対応するワイン製品画像1を撮影し、カメラ3は、ワイン1の位置2に対応するワイン製品画像2を撮影し、カメラ4は、ワイン1の位置3に対応するワイン製品画像3を撮影し、そしてワイン製品画像1、ワイン製品画像2及びワイン製品画像3をサーバにアップロードする。
2)サーバは、酒製品画像を含む酒製品情報を受信し、例えば、ワイン製品画像1、ワイン製品画像2又はワイン製品画像3を受信する。酒製品画像を受信した後に、OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得る。更に、前記カメラに対応する所定採集位置を取得し、カメラと位置との間の所定の対応関係から、前記カメラで撮影した酒製品に対応する所定採集位置を取得する。例えば、カメラ1及びカメラ2による撮影は、位置1に対応し、カメラ3による撮影は、位置2に対応する。また、カメラで撮影した位置画像を認識して、撮影した酒製品に対応する所定採集位置を認識してもよい。例えば、カメラ2で撮影した位置1を含む画像を受信すると、当該画像を認識して、該画像に対応する位置が位置1であることを認識する。位置1に対応する位置番号を認識して、前記所定採集位置を、前記目標酒製品に対応する現在位置とする。前記目標酒製品に対応する位置を前記酒ラベル及び前記現在位置で記述して前記目標酒製品の位置決めを行い、前記酒製品画像に対応する酒製品の酒製品情報に対して、記録、削除、編集などの酒製品情報の管理を行う。
3)ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信する。それによって、前記所定のサーバは、前記酒製品情報取得要求に対応する目標酒製品情報を、前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信する。前記目標酒製品情報は、酒製品対応の酒製品位置に基づいて関連付けられた酒製品情報を含む。前記酒製品位置は、前記酒製品位置決め方法で前記酒製品の位置決めを行って得られた前記酒製品の所在位置である。前記所定のサーバから送信された前記目標酒製品情報を受信する。前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示する。
図2を参照する。図2は、本発明の実施例による酒製品位置決め方法のフローの概略図である。図2に示すように、本方法は、以下のステップS21~S24を含む。
S21において、酒蔵中の所定のカメラに基づいて、前記所定のカメラで採集した目標酒製品に対応する酒製品画像を取得する。
具体的には、酒蔵で酒製品の自動化管理を行う際に、酒製品の位置決めを行って酒製品の位置を得て、酒製品の位置に基づいて、酒製品に対応する酒製品情報を自動化管理する。酒製品の撮影に対する実際の要望に応じて、酒蔵中の異なる位置にカメラを設置し、カメラで酒蔵中の酒製品を撮影する。例えば、酒キャビネットに対する酒の収納又は取り出しを撮影してもよいし、酒蔵中の酒製品の収納と取り出しを撮影してもよい。カメラは、撮影した酒製品に対応する酒製品画像を、酒製品位置決め処理を行うコンピュータデバイスにアップロードする。それにより、コンピュータデバイスは、前記所定のカメラで採集した目標酒製品に対応する酒製品画像を取得する。ここで、カメラで撮影した酒製品画像は、ピクチャであってもよいし、ビデオであってもよい。カメラで撮影したのがビデオである場合、前記酒製品に対応する酒製品画像を得るには、ビデオからビデオフレームを抽出する必要がある。
S22において、OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得る。
具体的には、酒蔵中の酒製品に対して自動的に位置決めする必要がある場合、酒製品の酒ラベル、即ち当該酒製品がどんな酒であるかを認識する必要があり、そして、当該酒製品の酒蔵における位置に基づいて、酒製品に対して自動的な位置決めを行う。目標酒製品に対応する酒製品画像を取得した後に、前記酒製品画像の画像認識を行うことにより、前記酒製品画像に含まれる酒ラベルを認識して、前記酒製品画像に対応する酒ラベルを得る。本発明の実施例において、前記酒製品画像に対して酒ラベルの認識を行う際に、OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得る。OCR文字認識により、画像に含まれる規範的な文字を迅速に正確に認識することができ、深層学習認識により画像を正確に認識することができるため、OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、酒製品画像に含まれる酒ラベルを正確に迅速に認識することができ、酒製品画像に含まれる酒ラベルの認識の正確性及び認識効率を向上させる。
S23において、前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とする。
具体的には、酒蔵中の酒製品に対して自動的な位置決めを行う際に、酒製品の酒ラベル、即ち当該酒製品がどんな酒であるかを認識する必要があり、そして、当該酒製品の酒蔵における位置に基づいて酒製品に対する自動的な位置決めを行って得られた当該酒製品の所在位置、即ち酒製品位置に関連して、当該酒製品に対して自動化管理を行う。酒製品の酒蔵における位置、即ち前記カメラに対応する所定採集位置は、以下の2種類の方式で実現することができる。
1)酒蔵中のカメラに対応する固定の所定採取位置によって取得される。即ち、カメラごとに固定の所定採集位置を予め設定し、カメラと固定の所定採集位置との対応関係から、カメラにより、当該カメラに対応する所定採集位置を取得する。当該カメラにより、当該カメラに対応する所定採集位置を決定することができ、前記カメラに対応する所定採集位置を得る。例えば、酒蔵中の位置AにカメラAを設置し、カメラAにより酒蔵中の位置Bの画像を撮影する場合、カメラAで撮影した酒製品画像を受信すると、当該酒製品画像に対応する酒製品の酒蔵における位置Bが分かる。従って、前記カメラで採集した目標酒製品に対応する酒製品画像を取得した後に、当該酒製品画像をアップロードするカメラに対応する所定採集位置に基づいて、当該酒製品画像に対応する酒製品の、当該酒製品画像撮影時の酒蔵における所在位置を得ることができ、前記所定採集位置を、前記目標酒製品に対応する現在位置とする。
2)前記カメラに対応する所定採集位置を、画像検出の方式で取得する。即ち、各酒製品の収納位置にカメラを設置し、当該カメラにより、当該収納位置を撮影する。例えば、当該収納位置に対応する位置識別子を撮影する。前記位置識別子は、例えば位置番号である。当該収納位置で酒製品が検出されると、当該収納位置に対応する画像をカメラで撮影し、収納位置に対応する画像に対して画像検出を行って当該収納位置を認識する。例えば、酒蔵中の位置AにカメラAを設置し、カメラAにより、酒製品が収納される酒蔵中の位置Bの画像を撮影する。酒製品に対して位置決めを行う過程で、カメラにより位置Bを含む画像を撮影した場合、カメラAで撮影した位置Bを含む画像を受信すると、位置Bを含む画像に対して画像認識を行って位置Bを認識し、即ち当該酒製品画像に対応する酒製品の酒蔵における位置が位置Bであることが分かり、前記カメラに対応する所定採集位置を取得する。
S24において、前記目標酒製品に対応する位置を前記酒ラベル及び前記現在位置で記述して前記目標酒製品の位置決めを行う。
具体的には、前記酒製品画像に含まれる酒ラベル及び前記酒製品画像に対応する酒製品の酒蔵における現在位置を取得すると、前記目標酒製品に対応する位置を前記酒ラベル及び前記現在位置で記述して前記目標酒製品の位置決めを行う。例えば、ある目標酒製品に対応する酒製品画像に含まれる酒ラベルがMであり、当該酒製品画像に対応する目標酒製品の酒蔵における位置がLである場合、当該目標酒製品に対する酒蔵での位置決めは、「酒製品M、酒蔵中の位置Lにあり」である。OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、複雑な酒蔵環境で酒製品画像に含まれる酒ラベルを正確に迅速に認識することができ、認識された酒ラベルと共に酒製品の酒蔵における位置に関連して酒製品の正確な位置決めを実現することができ、酒蔵中の酒製品に対して正確な自動化管理を行うことで、酒ラベルの認識ミスにより酒蔵中の酒製品の自動化管理に生じる混乱やミスを避け、酒蔵中の酒製品の自動化管理の効率及び品質を向上させる。
本発明は、酒蔵中の所定のカメラに基づいて、前記所定のカメラで採集した目標酒製品に対応する酒製品画像を取得することと、OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得ることと、前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とすることと、前記目標酒製品に対応する位置を前記酒ラベル及び前記現在位置で記述して前記目標酒製品の位置決めを行うことにより、目標酒製品の位置決めを行う。OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、複雑な酒蔵環境で酒製品画像に含まれる酒ラベルを正確に迅速に認識することができ、認識された酒ラベルと共に酒蔵中の所定のカメラのレイアウトに関連して酒製品の正確な位置決めを実現することができ、酒蔵中の酒製品に対して正確な自動化管理を行うことで、酒ラベルの認識ミスにより酒蔵中の酒製品の自動化管理に生じる混乱やミスを避け、酒蔵中の酒製品の自動化管理の効率及び品質を向上させる。例えば、ワインを貯蔵するワインセラーの中で、ワイン製品に対する正確な位置決めにより、ワインに対してリアルタイムで自動的及び高品質の管理を行うことができ、それによってワインに対する自動化管理の効率を高める。
図3を参照する。図3は、本発明の実施例による酒製品位置決め方法における第1のサブフローの概略図である。図3に示すように、この実施例において、前記のOCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得るステップは、以下のステップS31~S33を含む。
S31において、所定のOCR認識方式で前記酒製品画像のOCR認識を行うことによって、前記酒製品画像に含まれる文字を得る。
ここで、光学文字認識OCR(Optical Character Recognition)は、光学的な方法で文書中の文字を白黒格子の画像ファイルに変換し、認識ソフトウェアを通じて画像中の文字をテキストフォーマットに変換する。
具体的には、酒ラベルの認識を行う際には、酒蔵中に設置されたカメラで酒蔵中の酒製品画像を採集して、酒製品画像を、酒ラベル認識を行うコンピュータデバイスにアップロードする。それにより、前記コンピュータデバイスは、認識対象の酒製品画像を取得し、そして、所定のOCR認識方式で前記酒製品画像のOCR認識を行うことによって、前記酒製品画像に含まれる文字を得て、前記酒製品画像に含まれる文字を抽出し、前記文字を目標文字とする。OCR技術は、規範的な文字などの文字型コンテンツを認識するのが得意なため、酒製品画像に含まれる文字を正確に認識することができる。例えば、ワインセラーにおいてワインに対して酒ラベルの自動化認識をしてワイン製品情報を管理する場合、ワインセラーにおいて、ワインセラーに配置された複数のカメラを介してワイン製品の酒製品画像を撮影する。前記酒製品画像は、カメラを介して撮影された1枚の画像(即ちピクチャ形式の画面)であり、バックグラウンドのワイン製品情報サーバにアップロードされてもよいし、カメラによって収集されたビデオであってもよく、バックグラウンドのワイン製品情報サーバにアップロードされてもよい。その後、前記ビデオからビデオフレームを抽出して得られた画像に基づいて、バックグラウンドのワイン製品情報サーバは、所定のOCR認識方式で前記酒製品画像のOCR認識を行うことによって、前記酒製品画像に含まれる文字を得て、前記文字を酒ラベルに対応する目標文字とする。
更に、前記の酒製品画像を取得するステップの前に、前記酒製品画像に対応する初期酒製品画像を取得するステップと、前記初期酒製品画像を分割し、前記初期酒製品画像に所定の酒ラベルを含む部分画像に対応する酒製品画像を得るステップとを更に含む。
具体的には、異なる物体間、又は同じ物体の異なる部分間、例えば、酒製品と周囲の環境との間、異なる酒製品の間、又は同じ酒製品の異なる部分の間で、異なる輝度、テクスチャ、又は色などの画像特徴を示す確率が高い。これに鑑みて、管理が必要な酒製品は所定の酒製品範囲内にあり、また、認識が必要な酒ラベルも所定の酒ラベル範囲内にあるため、酒ラベルを自動認識するステップの前に、前記酒製品画像に対応する初期酒製品画像を取得した後であって酒ラベルの自動認識を行う前に、取得された初期酒製品画像を分割して、初期酒製品画像に含まれる酒製品以外の環境画像、酒ラベル以外の酒瓶などの酒製品の他の部分画像をスマートに分割し、分割後の所定の酒ラベルを含む部分画像を目標酒ラベル画像の略位置とし、前記目標酒ラベル画像を、酒ラベルの認識を行う酒製品画像とする。認識すべき画像を酒ラベルを含む部分画像に絞ることで、特に酒蔵など多くの環境要素を含む複雑な環境下で、酒瓶に対応する酒製品画像を正確に認識することができ、対応する正確な画像特徴を得ることができる。それによって後続の酒製品位置決めの正確性を高めることができ、また初期酒製品画像全体を認識するよりもデータ処理量を低減することができ、これにより、酒製品位置決めの効率が向上する。
S32において、所定の深層学習認識方式で前記酒製品画像の深層学習認識を行うことによって、前記酒製品画像に含まれる画像特徴を得る。
ここで、深層学習(Deep Learning)は、人間の脳が分析学習を行うニューラルネットワークを構築してシミュレーションし、人間の脳のメカニズムを模倣してデータを解釈する。深層学習のモデルは、Feed forward neural networks(FF or FFNN)and perceptrons(P)、Boltzmann machines(BM)などを含み、テストサンプルを通じて、多くの深層学習モデルから、酒ラベルの認識効果が比較的良い深層学習モデルを選別する。
具体的には、酒製品画像を取得した後、所定の深層学習認識方式で前記酒製品画像の深層学習認識を行う。深層学習は、特徴学習(又は表現学習と呼ぶ)であるため、特徴工学であり、深層学習によって、前記酒製品画像に含まれる画像特徴を得ることができる。深層学習は、訓練サンプル画像及び前記訓練サンプル画像に対応するタグの学習が得意であるため、事前訓練後の深層学習に基づく深層学習モデルは、画像特徴の認識が得意であり、それによって、前記酒製品画像に含まれる画像特徴を正確に認識し、前記画像特徴を前記酒製品画像に対応する目標画像特徴とすることを実現することができる。例えば、ワインに対して、ワインラベルの自動化認識を行ってワイン製品情報を管理する場合、ワイン製品に対応するワイン製品画像を取得した後、所定の深層学習認識方式で前記ワイン製品画像の深層学習認識を行うことによって、前記ワイン製品画像に含まれる画像特徴を認識し、前記画像特徴を前記ワイン製品画像に対応する目標画像特徴とする。
ここで、前記所定の深層学習認識方式に対応する所定の深層学習モデルを訓練するプロセスは、以下のステップを含む。
1)所定の酒製品に対応する酒ラベル画像にタグを付け、酒ラベル画像の事前訓練サンプルを得る。前記酒ラベル画像の事前訓練サンプルは、前記訓練酒ラベル画像及び前記訓練酒ラベル画像に対応する訓練酒ラベルタグを含む。具体的には、管理が必要な酒製品に対応する酒類ラベルに対して酒ラベル画像を撮影し、特に当該酒製品上の酒類ラベル画像を様々な角度から撮影し、撮影した酒類ラベル画像にタグを付ける。いわゆるタグを付けることは、即ち、撮影した酒類ラベル画像とその酒ラベルに対応する酒ラベル名とを対応的に関連付け、その酒ラベル画像がその酒類ラベル名に対応することを記述する。この酒ラベル名は、その酒ラベル画像に対応する酒ラベルタグである。
2)前記所定の深層学習モデルに対して、前記酒ラベル画像の事前訓練サンプルを用いて訓練を行う。具体的には、酒ラベル画像の事前訓練サンプルを所定の深層学習モデルに入力し、所定の深層学習モデルは、前記訓練酒ラベル画像及び前記訓練酒ラベル画像に対応する訓練酒ラベルタグに基づいて自動学習し、訓練酒ラベル画像に対応する訓練画像特徴と訓練酒ラベルタグとの関連関係を学習して深層学習モデルの訓練を完成する。
3)酒ラベル画像テストサンプルを用いて、前記所定の深層学習モデルをテストする。前記酒ラベル画像テストサンプルは、前記テスト酒ラベル画像及び前記テスト酒ラベル画像に対応するテスト酒ラベルタグを含む。具体的には、訓練後の所定の深層学習モデルを酒ラベル画像テストサンプルを用いてテストする。所定の深層学習モデルは、前記テスト酒ラベル画像を認識して、テスト目標酒ラベルを得る。前記テスト目標酒ラベルを前記テスト酒ラベル画像に対応するテスト酒ラベルタグと比較して、前記テスト目標酒ラベルと前記テスト酒ラベル画像に対応するテスト酒ラベルタグが一致するかどうかを判断する。前記テスト目標酒ラベルが前記テスト酒ラベル画像に対応するテスト酒ラベルタグと一致する場合、深層学習モデルが所定の酒製品位置決めに対して比較的に正確な認識効果を有することを示す。前記テスト目標酒ラベルが前記テスト酒ラベル画像に対応するテスト酒ラベルタグと一致しない場合、深層学習モデルが所定の酒製品位置決めに対して比較的に正確な認識効果を持たないことを示す。それによって、所定の深層学習モデルが所期の目標に達したかどうかを判断する。所期の目標に達した場合、前記所定の深層学習モデルを生産環境に投入する。所期の目標に達していない場合、より多くの訓練サンプル、訓練サンプルの調整、及び所定の深層学習モデルの調整により、所定の深層学習モデルが最終的に所期の目標に合致するまで訓練を再開する。
S33において、前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとする。
具体的には、酒ラベルを認識する際に、酒ラベルの範囲については予め決定することができ、例えば、酒蔵にどの種類の酒製品が存在するかについては予め決定することができるので、管理が必要な酒製品に対応する酒ラベルに基づいて所定の酒ラベルデータベースを構成し、酒製品画像から酒製品画像に含まれる文字と画像特徴を抽出した後、前記文字と前記画像特徴に基づいて、前記文字と前記画像特徴を結合し、前記文字及び前記画像特徴に整合する酒ラベルを目標酒ラベルとして所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとし、それによって、前記酒製品画像に対応する酒ラベルを認識し、認識された酒ラベルに基づいて酒製品情報を自動化管理する。例えば、ワインセラーによる酒製品情報の管理時に、ワイン製品画像を取得した後、前記ワイン製品画像中の文字と画像特徴を認識し、前記文字と前記画像特徴に基づいて、前記ワイン製品画像に対応するワインラベルを認識し、認識したワインラベルに基づいてワイン製品情報を管理する。
本発明の実施例において、酒ラベルは、一般的に文字と画像からなり、しかも異なる酒ラベルには大きな差が存在し、特にワインラベルについて、異なるメーカーが生産するワインの酒ラベルのフォントの種類、文字の大きさ及び言語などは、すべて大きなフォントの差が存在し、特に複雑な酒蔵環境条件の下で、しかも多言語などの多くの酒ラベルの差が存在する。酒製品に対して統一的な自動化管理を実現する際、従来技術では光学文字認識のみに基づいて酒ラベルを自動認識する場合、フォントの違いのほか、多言語文字の互換性が悪いという問題もあり、酒ラベル文字の認識精度が低いことによる認識効果の不安定化が発生する。従来の深層学習技術は、比較的正確な深層学習認識モデルを訓練するには、訓練サンプルデータ量に対する要求が高すぎる。深層学習技術に基づく画像認識は、計算量が大きく、訓練サンプルが十分に大きくない場合には、酒ラベルの認識効率も低い。一般的には、酒製品情報管理の応用環境に対して、十分に大きい酒ラベル訓練データサンプルを蓄積するのは難しい。そのため、コンピュータデバイスによる多種類の酒ラベルの正確な認識は、非常に困難である。本発明の実施例の出願人は、複雑な環境下で多種類の酒ラベルに大きな差が存在し、統一的に正確な認識を行う必要があることに直面し、酒ラベルが文字と画像からなる特徴に基づいて、OCR文字認識と深層学習画像認識を結合して酒ラベルに対して機械視覚に基づく自動認識を実現する。OCR光学認識と深層学習認識の優位性を十分に融合したため、規範文字の認識が速く且つ正確であるというOCR文字認識の利点を十分に利用して、前記酒製品画像に含まれる規範フォントの文字を迅速に認識することがのみならず、深層学習による画像認識が正確であるという利点を十分に利用することもできる。機械視覚に基づく深層学習認識は、深層学習による画像認識の利点を採用してOCR文字認識の欠点を克服して、同時に多言語文字に対する良好な互換性を実現する。従って、OCR文字認識の利点を十分に利用して深層学習の検索範囲を縮小し、深層学習による画像認識の訓練データ量の要求が高すぎ、計算量が大きいという欠点を克服する。同時に、深層学習に基づく画像認識は、小さい検索範囲内から検索するだけで、深層学習モデルのネットワーク構造を最適化し、システムの計算資源に対する需要を低減することができる。従って、光学文字認識と深層学習認識を結合することにより、2種類の認識方式のそれぞれの認識結果を総合し、多種類の酒ラベルに対して、おおざっぱから精密、正確な知能認識過程を実現し、特にワインラベルに対して多言語の大きな差異が存在し、酒ラベル訓練サンプルデータ量が十分に大きくできないという状態に対して、酒ラベルに対する認識速度と精度を高めることができ、深層学習による訓練の酒製品位置決めを満たし、リアルタイムで効率的に酒製品ラベルに対して正確な認識を行うことができ、酒製品ラベル認識の正確性と効率を高める。
一実施例において、前記の前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップは、前記文字に基づいて、前記文字に整合する所定の酒ラベルを所定の酒ラベルデータベースから選別し、前記所定の酒ラベルを集合に構成して目標酒ラベル集合を得るステップと、前記画像特徴に基づいて、前記画像特徴との整合度が最も高い酒ラベルを前記目標酒ラベル集合から目標酒ラベルとして選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップとを含む。
具体的には、画像からOCR認識によって前記画像に含まれる文字を抽出した後、前記文字に基づいて、前記文字に整合する所定の酒ラベルを所定の酒ラベルデータベースから選別し、そして前記所定の酒ラベルを集合に構成して、目標酒ラベル集合を得る。それによって、OCRの規範文字認識が速くて正確である利点を十分に利用して、深層学習による酒ラベル検索範囲を目標酒ラベル集合に縮小する。
更に、一般的には、酒ラベルは、文字と画像からなるか、又は認識された文字が正確ではない。例えば、認識された文字は、他の文字と類似し又は同一であり、又は他の文字組み合わせに含まれる。そのため、認識された文字だけで酒製品画像に対応する酒ラベルを正確に特定することはできない。前記目標酒ラベル集合を得た後、前記画像特徴に基づいて、前記画像特徴との整合度が最も高い酒ラベルを前記目標酒ラベル集合から目標酒ラベルとして選別し、即ち、前記画像特徴と最も整合する酒ラベルを前記目標酒ラベル集合から目標酒ラベルとして選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとすることによって、前記酒製品画像に対応する酒ラベルを認識する。事前訓練された深層学習モデルは、画像認識が比較的に正確であるという特徴から、深層学習モデルの酒ラベル検査範囲がすでに目標酒ラベル集合に縮小された場合、所定の酒ラベルデータベースから直接検索して目標酒ラベルを得るよりも、深層学習モデルの計算量を大幅に削減することができ、酒蔵などの複雑な環境の中でOCRモデルによる文字認識の際の認識正確度が低いという欠点を克服する。これにより、目標酒ラベル集合から正確な目標酒ラベルを選別し、正確な前記酒製品画像に対応する酒ラベルを得ることができ、前記酒製品画像に対応する酒ラベルを認識する正確性と効率を高める。
図4を参照する。図4は、本発明の実施例による酒製品位置決め方法における第2のサブフローの概略図である。図4に示すように、この実施例において、前記所定のカメラは、複数のカメラを含み、各カメラは、異なる位置の酒製品に対応する酒製品画像を撮影し、又は、異なる角度から同一位置の酒製品に対応する酒製品画像を撮影する。酒製品の酒蔵における移動挙動の多様性により、酒製品の移動過程で、酒製品上の撮影すべき角度をちょうどカメラに正対させて、カメラにより正確で明晰な酒製品画像を撮影できるとは限らない。同一位置で異なる角度からカメラを設置して当該一の酒製品を撮影することにより、カメラの撮影角度の問題により酒製品の撮影が正確でなく、又は明晰でないことを避けることができ、当該位置の酒製品に対してできるだけ明晰、正確な酒製品画像を撮影し、更に酒製品画像を正しく認識して、酒製品に対応する酒ラベル及び酒製品位置などの酒製品情報を得る。酒製品が当該位置を通過し又は当該酒製品が当該位置に格納されると、当該酒製品に対応する酒製品画像を撮影することができる。酒蔵で複数のカメラで酒製品を撮影するため、前記酒製品画像は、複数枚の画像を含む。前記の前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とするステップは、全ての前記酒製品画像の各々に対応する所定採集位置を取得して全ての前記所定採集位置を得るステップS41と、全ての前記所定採集位置を、各々に対応する前記酒製品画像の撮影前後順にソートして採集位置ソートキューを得るステップS42と、前記採集位置ソートキューから末尾に位置する末尾所定採集位置を選別し、前記末尾所定採集位置を前記目標酒製品に対応する現在位置とするステップS43を含む。
具体的には、前記酒製品画像は、複数枚の画像を含み、複数枚の前記画像は、所定の酒蔵に予め設置された複数のカメラによって取得される。複数の前記カメラは、前記酒蔵の異なる所定位置に設置される。酒製品が酒蔵で移動する際に、目標酒製品を異なる位置から撮影し、又は、同一位置の異なる角度から同一の目標酒製品を撮影する。酒製品情報自動管理システムでは、一般的に酒蔵に複数のカメラを設置する。例えばワインセラー自動管理システムでは、ワインセラーにおけるワイン製品の酒製品情報の自動管理を実現するために、一般にワインセラーに複数のカメラを設置し、複数の前記カメラを前記ワインセラーの異なる所定位置に設置し、異なる位置又は同じ位置の異なる角度から目標ワイン製品を撮影する。ワインセラーに予め設置された複数のカメラで酒製品のピクチャ又はビデオを取得することで、酒製品の複数枚の画像を取得する。前記酒製品画像は、前記酒製品画像の撮影時間及び前記酒製品画像をアップロードするカメラに対応する所定のカメラ識別子を含む。前記所定のカメラは、対応する所定採集位置の酒製品画像を撮影するために、所定の固定位置に予め設置される。
酒製品の複数枚の画像を取得した後に、撮影した酒製品画像を認識し、目標酒製品の酒ラベルを認識し、更に、前記酒製品画像に対応する所定採集位置を取得し(即ち酒製品の現在の所在位置を得ることができる)、認識した酒ラベル、得られた前記酒製品画像に対応する所定採集位置及び前記酒製品画像の撮影前後順(即ち撮影時間の前後順)に基づいて、全ての前記所定採集位置を、各々に対応する前記酒製品画像の撮影前後順にソートして所定採集位置ソートキューを得ることにより、前記酒製品に対応する移動軌跡を得る。前記酒製品の位置がこれ以上変わらなくなるまで、上記過程を繰り返す。末尾の位置を酒製品の最終位置と決定することにより、前記採集位置ソートキューから末尾に位置する末尾所定採集位置を選別し、前記末尾所定採集位置を前記目標酒製品に対応する現在位置とすることで、酒製品の位置決めを実現する。前記酒製品の位置決めに基づいて、更に酒製品情報を処理して、目標酒製品の自動化管理を実現する。
例えば、ワインセラーでワイン製品の位置決め過程において、すべての前記酒製品画像をソートした例であるテーブル1を参照すると、ABCDEの5つのカメラを有し、カメラAが位置1にあり、カメラBが位置2にあり、カメラCが位置3にあり、カメラDが位置4にあり、カメラEが位置5にあるとし、異なる位置を繋ぐと、モノの移動に対応し即ち移動軌跡である1本のパスを形成する。酒製品が12345の位置を順に通過すると、酒製品の移動軌跡を得る。酒製品が位置5に止まり、それ以上移動しなければ、酒製品の移動の終点が位置5であると決定できる。例えば、12345が1本のパスで、134が1本のパスで、145が1本のパスであるが、具体的なパスは、酒蔵のレイアウトに応じて設定できる。更に、酒蔵中の移動パスが一義的であれば、既知の一部パスに基づいて、補うことにより完全なパスとすることができる。例えば、位置1から位置4まで1234という一義的なパスしかない場合、認識済みの移動軌跡から、酒製品に対応する移動軌跡が134又は14であると認識したとしても、134又は14に基づいて、ワインの完全な移動軌跡が1234のはずであると決定することができる。引き続きテーブル1を参照し、テーブル1は、以下のとおりである。
テーブル1:
ここで、PATA1は、カメラAによる時刻TA1の酒製品画像を表し、PATA2は、カメラAによる時刻TA2の酒製品画像を表し、順に類推する。カメラAは、同一酒ラベルを含む3枚の酒製品画像を撮影し、カメラBは、遮られるなどの状況により、酒ラベルを含む画像を撮影していなかった。カメラCは、同一酒ラベルを含む2枚の酒製品画像を撮影し、カメラCは、同一酒ラベルを含む1枚の酒製品画像を撮影し、カメラEは、同一酒ラベルを含む5枚の酒製品画像を撮影した。上記酒製品画像は、同一の酒製品のものである。ここで、カメラAは、位置1に対応し、カメラBは、位置2に対応し、カメラCは、位置3に対応し、カメラDは、位置4に対応し、カメラEは、位置5に対応する。当該酒製品の移動軌跡は、1345であることが分かる。又は、パスが一義的であれば、カメラBが酒製品を含む画像を撮影しなかったものの、位置1から位置345まで必ずカメラBを通過するため、当該酒製品の移動軌跡が12345であることが分かる。最後に酒ラベルが認識された位置がカメラEに対応する位置5であり、かつ所定の時間を超えても他のカメラがいずれも当該酒ラベルを認識しなかったため、当該酒ラベルに対応する酒製品の最後の位置は、カメラEに対応する位置5であることが分かる。それにより、前記ワインの酒ラベルが通過するカメラを認識することにより、ワイン製品の最終位置が決定されるまで、ワイン製品の移動経路を追跡することを実現し、当該最終位置が酒キャビネットの一義的な位置に対応するのであれば、前記ワインの位置に対応する酒キャビネットの位置をより明確に判断することができ、更にワインに対する位置決めを実現する。
なお、上述した各実施例に記載された酒ラベル認識方法は、必要に応じて、異なる実施例に含まれる技術的特徴を組み合わせ直して、組み合わせられた実施態様を取得することができるが、いずれも本発明で要求される保護範囲内である。
図5を参照する。図5は、本発明の実施例によるサーバ側に適用される酒製品情報管理方法のフローの概略図である。図5に示すように、本方法は、以下のステップS51~S53を含む。
S51において、酒製品画像を含む酒製品情報を取得する。
S52において、以上の各実施例に記載の酒製品位置決め方法で前記酒製品画像に対応する酒製品の位置決めを行うことによって、前記酒製品に対応する目標位置を得る。
S53において、前記目標位置に基づいて、前記酒製品情報を管理する。
具体的には、サーバが酒製品に対応する酒製品情報を自動化管理する際に、酒製品画像を取得して、上記の各実施例に記載の酒製品位置決め方法で前記酒製品画像に対応する酒製品の位置決めを行うことで、前記酒製品に対応する酒製品位置を得るだけでなく、前記酒製品に対応する酒製品年度、酒製品産地、生産日、及び酒蔵への出入り時間など、酒製品の他の面の酒製品情報を取得し、そして、前記酒製品画像に対応する酒ラベル及び酒製品に対応する酒製品位置を認識した後、前記酒ラベル及び前記酒製品位置に基づいて、前記酒製品情報に対して添加、修正、編集などの記録操作を行い、後に当該酒製品について酒蔵のどんな位置でどんな酒製品が格納されているかを照会することができ、前記酒製品に対する自動化管理を実現する。酒製品に対する位置決めの正確性と効率を高めたため、酒製品に対する位置決めの正確さ及び迅速な認識に基づいて、酒蔵中の酒製品を自動化管理する時、酒製品を自動化管理する効率と正確性を高めることもできる。例えば、ワインを貯蔵するワインセラーにおいて、ワインに対する位置決めの正確性と迅速さにより、ワインをリアルタイムで自動的に高品質に管理することができ、ワインの自動管理効率を高めることができる。
図6を参照する。図6は、本発明の実施例による端末に適用される酒製品情報管理方法のフローの概略図である。図6に示すように、本方法は、以下のステップS61~S63を含む。
S61において、ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信する。それによって、前記所定のサーバは、前記酒製品情報取得要求に対応する目標酒製品情報を、前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信する。ここで、前記目標酒製品情報は、酒製品対応の酒製品位置に基づいて関連付けられた酒製品情報を含む。前記酒製品位置は、以上の各実施例に記載の前記酒製品位置決め方法で前記酒製品の位置決めを行って得られた前記酒製品の所在位置である。
S62において、前記所定のサーバから送信された前記目標酒製品情報を受信する。
S63において、前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示する。
具体的には、ユーザが端末を介して酒製品情報に対して照会、修正、追加又は削除等の編集操作を行う場合、端末は、ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信する。それによって、前記所定のサーバは、前記酒製品情報取得要求に対応する目標酒製品情報を、前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信する。ここで、前記目標酒製品情報は、酒製品対応の酒製品位置に基づいて関連付けられた酒製品情報を含む。前記酒製品位置は、以上の各実施例に記載の前記酒製品位置決め方法で前記酒製品の位置決めを行って得られた前記酒製品の所在位置である。端末は、前記所定のサーバから送信された前記目標酒製品情報を受信し、前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示する。酒製品に対する位置決め及び認識の正確性と効率が向上するため、酒製品に対する位置決めの正確性及び迅速な認識に基づいて、酒蔵の中の酒製品に対して自動化管理を実現する場合、ユーザが酒製品に対する自動化管理の効率、正確性と利便性の向上を実現しやすくなる。例えば、ワインを貯蔵するワインセラーの中で、ワインに対する位置決めの正確性と迅速さのため、ワインに対してリアルタイムで自動的に高品質の管理を行うことができ、従来技術の中で酒蔵の中の酒製品を人工的に探すなどの酒製品管理方式に比べて、ワインの自動化管理効率、利便性と管理品質を高める。
図7を参照する。図7は、本発明の実施例による酒ラベル位置決め装置のブロック概略図である。上記の前記酒ラベル位置決め方法に対応して、本発明の実施例は、更に酒ラベル位置決め装置を提供する。図7に示すように、この酒ラベル位置決め装置は、上記の前記酒ラベル位置決め方法を実行するためのユニットを含み、この酒ラベル位置決め装置は、サーバなどのコンピュータデバイスに配置される。具体的には、図7を参照し、この酒ラベル位置決め装置70は、第1の取得ユニット71と、認識ユニット72と、第2の取得ユニット73及び第1の位置決めユニット74を含む。
ここで、第1の取得ユニット71は、酒蔵中の所定のカメラに基づいて、前記所定のカメラで採集した目標酒製品に対応する酒製品画像を取得するために使用される。認識ユニット72は、OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得るために使用される。第2の取得ユニット73は、前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とするために使用される。第1の位置決めユニット74は、前記目標酒製品に対応する位置を前記酒ラベル及び前記現在位置で記述して前記目標酒製品の位置決めを行うために使用される。
一実施例において、前記認識ユニット72は、所定のOCR認識方式で前記酒製品画像のOCR認識を行うことによって、前記酒製品画像に含まれる文字を得るために使用される第1の認識サブユニットと、所定の深層学習認識方式で前記酒製品画像の深層学習認識を行うことによって、前記酒製品画像に含まれる画像特徴を得るために使用される第2の認識サブユニットと、前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするために使用される第1の選別サブユニットとを含む。
一実施例において、前記第2の取得ユニット73は、全ての前記酒製品画像の各々に対応する所定採集位置を取得して全ての前記所定採集位置を得るために使用される第1の取得サブユニットと、全ての前記所定採集位置を、各々に対応する前記酒製品画像の撮影前後順にソートして採集位置ソートキューを得るために使用されるソートサブユニットと、前記採集位置ソートキューから末尾に位置する末尾所定採集位置を選別し、前記末尾所定採集位置を前記目標酒製品に対応する現在位置とするために使用される第2の選別サブユニットとを含む。
図8を参照する。図8は、本発明の実施例によるサーバ側に適用される酒製品情報管理装置のブロック概略図である。上記サーバ側に適用された前記酒製品情報管理方法に対応して、本発明の実施例は、更に、サーバ側に適用された酒製品情報管理装置を提供する。図8に示すように、このサーバ側に適用される酒製品情報管理装置80は、上記の前記サーバ側に適用される酒製品情報管理方法を実行するためのユニットを含み、この酒製品情報管理装置80は、サーバなどのコンピュータデバイスに配置される。具体的には、図8を参照して、この酒製品情報管理装置80は、第3の取得ユニット81と、第2の位置決めユニット82と、管理ユニット83とを含む。
ここで、第3の取得ユニット81は、酒製品画像を含む酒製品情報を取得するために使用される。第2の位置決めユニット82は、以上の各実施例に記載の酒製品位置決め方法で前記酒製品画像に対応する酒製品の位置決めを行うことによって、前記酒製品に対応する目標位置を得るために使用される。管理ユニット83は、前記目標位置に基づいて、前記酒製品情報を管理するために使用される。
図9を参照する。図9は、本発明の実施例による端末に適用される酒製品情報管理装置のブロック概略図である。上記の端末に適用される前記酒製品情報管理方法に対応して、本発明の実施例は、更に、端末に適用される酒製品情報管理装置を提供する。図9に示すように、この端末に適用される酒製品情報管理装置90は、上記の前記端末に適用される酒製品情報管理方法を実行するためのユニットを含み、この酒製品情報管理装置90は、スマートフォンなどの端末機器に配置される。具体的には、図9を参照して、この酒製品情報管理装置90は、送信ユニット91と、受信ユニット92と、表示ユニット93を含む。
ここで、送信ユニット91は、ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するために使用される。それによって、前記所定のサーバは、前記酒製品情報取得要求に対応する目標酒製品情報を、前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信する。ここで、前記目標酒製品情報は、酒製品対応の酒製品位置に基づいて関連付けられた酒製品情報を含む。前記酒製品位置は、以上の各実施例に記載の酒製品位置決め方法で前記酒製品の位置決めを行って得られた前記酒製品の所在位置である。受信ユニット92は、前記所定のサーバから送信された前記目標酒製品情報を受信するために使用される。表示ユニット93は、前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するために使用される。
本発明の実施例は、酒蔵、端末及びサーバを含む酒製品情報管理システムを更に提供する。ここで、前記酒蔵には、酒製品を置くための酒キャビネットが設置されている。酒蔵中の所定位置にカメラが設置されている。前記カメラを通じて前記酒製品に対応する酒製品画像を撮影し、前記酒製品画像を前記サーバにアップロードする。前記サーバは、以上の各実施例で説明したサーバ側に適用される前記酒製品情報管理方法のステップを実行するために使用される。前記端末は、以上の各実施例で説明した端末に適用される前記酒製品情報管理方法のステップを実行するために使用される。
なお、上記酒製品位置決め装置及び各ユニットの具体的な実現過程、上記サーバ側に適用される酒製品情報管理装置及び各ユニットの具体的な実現過程、上記端末に適用される酒製品情報管理装置及び各ユニットの具体的な実現過程は、当業者が上記各実施例でそれぞれの対応する方法の実施例での対応する説明を参照して明らかであり、説明の便利さと簡潔さのために、ここでは詳しく説明しない。
同時に、前記酒製品位置決め装置、前記サーバ側に適用される酒製品情報管理装置、又は前記端末に適用される酒製品情報管理装置における各ユニットの区分及び接続形態は、例示的な説明のみに使用される。他の実施例では、酒製品位置決め装置、前記サーバ側に適用される酒製品情報管理装置又は前記端末に適用される酒製品情報管理装置は、必要に応じて異なるユニットに区分されていてもよい。酒製品位置決め装置、前記サーバ側に適用される酒製品情報管理装置又は前記端末に適用される酒製品情報管理装置の各ユニットは、前記酒製品位置決め装置、前記サーバ側に適用される酒製品情報管理装置又は前記端末に適用される酒製品情報管理装置の全部又は一部の機能を完成するために、異なる接続順序及び方式を用いてもよい。
前記酒製品位置決め装置、前記サーバ側に適用される酒製品情報管理装置、又は前記端末に適用される酒製品情報管理装置は、それぞれ図10に示すようなコンピュータデバイス上で実行可能なコンピュータプログラムの形態として実現することができる。
図10を参照する。図10は、本発明の実施例によるコンピュータデバイスのブロック概略図である。このコンピュータデバイス500は、デスクトップコンピュータやサーバなどのコンピュータデバイスであってもよいし、他の機器におけるコンポーネントや部品であってもよい。
図10を参照すると、このコンピュータデバイス500は、システムバス501を介して接続されたプロセッサ502、メモリ及びネットワークインターフェース505を含む。ここで、メモリは、不揮発性記憶媒体503及び内部記憶装置504を含んでもよく、揮発性コンピュータ可読記憶媒体であってもよい。
この不揮発性記憶媒体503は、オペレーティングシステム5031及びコンピュータプログラム5032を記憶することができる。このコンピュータプログラム5032が実行されると、上記酒製品位置決め方法、上記のサーバ側に適用される前記酒製品情報管理方法、又は上記の端末に適用される酒製品情報管理方法をプロセッサ502に実行させることができる。このプロセッサ502は、コンピュータデバイス500全体の動作をサポートするための計算及び制御能力を提供するために使用される。この内部記憶装置504は、不揮発性記憶媒体503中のコンピュータプログラム5032の実行に環境を提供する。このコンピュータプログラム5032がプロセッサ502によって実行されると、上記酒ラベル認識方法、上記のサーバ側に適用される前記酒製品情報管理方法、又は上記の端末に適用される酒製品情報管理方法をプロセッサ502に実行させることができる。このネットワークインターフェース505は、他の機器とネットワーク通信するために使用される。図10に示す構成は、本発明の態様に関連する一部の構成のブロック図にすぎず、本発明の態様が適用されるコンピュータデバイス500の限定を構成するものではない。具体的なコンピュータデバイス500は、図示よりも多く又は少ない部品を含んだり、又はいくつかの部品を組み合わせたり、異なる部品配置を有したりすることができる。これは、当業者にとって明らかである。例えば、いくつかの実施例において、コンピュータデバイスは、メモリ及びプロセッサのみを含む。そのような実施例において、メモリ及びプロセッサの構造及び機能は、図10に示す実施例に一致し、ここでは説明しない。
一実施例において、前記プロセッサ502は、メモリに格納されたコンピュータプログラム5032を実行するために使用される。それによって、上記酒製品位置決め方法を実現する際に、前記プロセッサ502は、酒蔵中の所定のカメラに基づいて、前記所定のカメラで採集した目標酒製品に対応する酒製品画像を取得するステップと、OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得るステップと、前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とするステップと、前記目標酒製品に対応する位置を前記酒ラベル及び前記現在位置で記述して前記目標酒製品の位置決めを行うステップとを実行する。
一実施例において、前記プロセッサ502は、前記のOCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得るステップを実現する際に、具体的に、所定のOCR認識方式で前記酒製品画像のOCR認識を行うことによって、前記酒製品画像に含まれる文字を得るステップと、所定の深層学習認識方式で前記酒製品画像の深層学習認識を行うことによって、前記酒製品画像に含まれる画像特徴を得るステップと、前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップとを実現する。
一実施例において、前記所定のカメラは、複数のカメラを含み、前記酒製品画像は、複数枚の画像を含み、前記プロセッサ502は、前記の前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とするステップを実現する際に、具体的に、全ての前記酒製品画像の各々に対応する所定採集位置を取得して全ての前記所定採集位置を得るステップと、全ての前記所定採集位置を、各々に対応する前記酒製品画像の撮影前後順にソートして採集位置ソートキューを得るステップと、前記採集位置ソートキューから末尾に位置する末尾所定採集位置を選別し、前記末尾所定採集位置を前記目標酒製品に対応する現在位置とするステップとを実現する。
一実施例において、前記プロセッサ502は、メモリに格納されたコンピュータプログラム5032を実行するために使用される。それによって、上記のサーバ側に適用される前記酒製品情報管理方法を実現する際に、前記プロセッサ502は、酒製品画像を含む酒製品情報を取得するステップと、以上の各実施例に記載の酒製品位置決め方法で前記酒製品画像に対応する酒製品の位置決めを行うことによって、前記酒製品に対応する目標位置を得るステップと、前記目標位置に基づいて、前記酒製品情報を管理するステップとを実行する。
一実施例において、前記プロセッサ502は、メモリに格納されたコンピュータプログラム5032を実行するために使用される。それによって、上記の端末に適用される前記酒製品情報管理方法を実現する際に、前記プロセッサ502は、ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するステップであって、それによって、前記所定のサーバが、以上の各実施例に記載の酒製品位置決め方法で前記酒製品の位置決めを行って得られた前記酒製品の所在位置である酒製品対応の酒製品位置に基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を、前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにするステップと、前記所定のサーバから送信された前記目標酒製品情報を受信するステップと、前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するステップとを実行する。
なお、本発明の実施例において、プロセッサ502は、中央処理ユニットCPU(Central Processing Unit)であってもよく、他の汎用プロセッサ、デジタル信号プロセッサDSP(Digital Signal Processor)、専用集積回路ASIC(Application Specific Integrated Circuit)、フィールドプログラマブルゲートアレイFPGA(Field-Programmable Gate Array)又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントなどであってもよい。ここで、汎用プロセッサは、マイクロプロセッサであってもよく、又は任意の従来のプロセッサなどであってもよい。
上記実施例の方法のすべて又は一部の流れの実現は、コンピュータ可読記憶媒体に格納されたコンピュータプログラムによって完成することができる。これは、当業者にとって明らかである。このコンピュータプログラムは、このコンピュータシステムのうちの少なくとも1つのプロセッサによって実行され、上記方法の実施例のステップを実現する。
従って、本発明は、更にコンピュータ可読記憶媒体を提供する。このコンピュータ可読記憶媒体は、不揮発性のコンピュータ可読記憶媒体であってもよいし、揮発性のコンピュータ可読記憶媒体であってもよい。このコンピュータ可読記憶媒体にはコンピュータプログラムが格納されている。このコンピュータプログラムがプロセッサによって実行されると、以上の各実施例で説明した前記酒製品位置決め方法のステップをプロセッサに実行させ、又は、以上の各実施例で説明した上記のサーバ側に適用される前記酒製品情報管理方法をプロセッサに実行させ、又は、以上の各実施例で説明した上記の端末に適用される酒製品情報管理方法をプロセッサに実行させる。
前記コンピュータ可読記憶媒体は、デバイスのハードディスク又はメモリなど、前記デバイスの内部記憶ユニットであってもよい。前記コンピュータ可読記憶媒体は、前記デバイスに搭載されたソケットハードディスク、スマートメモリカードSMC(Smart Media(登録商標) Card)、セキュアデジタルSD(Secure Digital)カード、フラッシュメモリカード(Flash Card)など、前記デバイスの外部記憶デバイスであってもよい。更に、前記コンピュータ可読記憶媒体は、前記デバイスの内部記憶ユニットと外部記憶機器の両方を含むこともできる。
上述したデバイス、装置、ユニットの具体的な動作手順は、当業者にとって、上述した方法の実施例における対応手順を参照して明らかである。説明の容易さと簡潔さのために、ここではこれ以上説明しない。
前記記憶媒体は、実体的で非瞬時的な記憶媒体であり、例えば、Uディスク、リムーバブルハードディスク、読み取り専用メモリROM(Read-Only Memory、)、磁気ディスク、又は光ディスクなど、コンピュータプログラムを記憶可能な各種の実体記憶媒体であってもよい。
本明細書に開示された実施例に関連して説明された各例のユニット及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組み合わせで実現することができ、ハードウェアとソフトウェアの互換性を明確に説明するために、上記の説明では、各例の構成及びステップが機能的に一般的に説明されている。これは、当業者にとって明らかである。これらの機能がハードウェアそれともソフトウェアで実行されるかは、技術的態様の特定のアプリケーション及び設計制約に決められる。当業者は、それぞれの特定のアプリケーションに対して、異なる方法を使用し、説明された機能を実現してもよいが、このような実現は、本発明の範囲を超えているとは考えられない。
本発明によるいくつかの実施例において、開示された装置及び方法は、他の方法で実現されてもよいことを理解すべきである。例えば、上述した装置の実施例は、単なる例示的なものである。例えば、各ユニットの分割は、単なる論理機能分割であり、実際に実現する際には別の分割方式があってもよい。例えば、複数のユニット又はコンポーネントを組み合わせてもよいし、別のシステムに統合してもよいし、いくつかの特徴を無視してもよいし、実行しなくてもよい。
本発明の実施例の方法のステップは、実際の必要に応じて順序の調整、合併及び削減を行うことができる。本発明の実施例の装置におけるユニットは、実際の必要に応じて合併、分割及び削減することができる。また、本発明の各実施例における各機能ユニットは、1つの処理ユニットに集積されていてもよいし、各ユニットが単独で物理的に存在していてもよいし、2つ以上のユニットが1つのユニットに集積されていてもよい。
この集積されたユニットは、ソフトウェア機能ユニットとして実現され、独立した製品として販売又は使用される場合、1つの記憶媒体に記憶することができる。このような理解に基づいて、本発明の技術的態様は、本質的に、あるいは既存の技術に貢献した部分、あるいはその技術的態様の全部又は一部がソフトウェア製品の形で具現化することができる。1つの記憶媒体に記憶されたこのコンピュータソフトウェア製品は、1台の電子機器(パーソナルコンピュータ、端末又はネットワーク装置などであってもよい)が本発明の各実施例に記載された方法のすべて又は一部のステップを実行するようにするためのいくつかの命令を含む。
上述したのは、本発明の具体的な実施形態にすぎないが、本発明の保護範囲は、これに限定されるものではない。当技術分野に詳しいいかなる技術者も、本発明に開示された技術範囲内で、さまざまな等価な修正又は置換を容易に思いつくことができ、これらの修正又は置換は、本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は、請求項の保護範囲に準じなければならない。
(付記)
(付記1)
酒製品位置決め方法であって、
酒蔵中の所定のカメラに基づいて、前記所定のカメラで採集した目標酒製品に対応する酒製品画像を取得するステップと、
OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得るステップと、
前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とするステップと、
前記目標酒製品に対応する位置を前記酒ラベル及び前記現在位置で記述して前記目標酒製品の位置決めを行うステップと、
を含むことを特徴とする酒製品位置決め方法。
(付記2)
前記OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得るステップは、
所定のOCR認識方式で前記酒製品画像のOCR認識を行うことによって、前記酒製品画像に含まれる文字を得るステップと、
所定の深層学習認識方式で前記酒製品画像の深層学習認識を行うことによって、前記酒製品画像に含まれる画像特徴を得るステップと、
前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップと、
を含むことを特徴とする付記1に記載の酒製品位置決め方法。
(付記3)
前記所定のカメラは、複数のカメラを含み、前記酒製品画像は、複数枚の画像を含み、
前記の前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とするステップは、
全ての前記酒製品画像の各々に対応する所定採集位置を取得して全ての前記所定採集位置を得るステップと、
全ての前記所定採集位置を、各々に対応する前記酒製品画像の撮影前後順にソートして採集位置ソートキューを得るステップと、
前記採集位置ソートキューから末尾に位置する末尾所定採集位置を選別し、前記末尾所定採集位置を前記目標酒製品に対応する現在位置とするステップと、
を含むことを特徴とする付記1又は2に記載の酒製品位置決め方法。
(付記4)
サーバ側に適用される酒製品情報管理方法であって、
酒製品画像を含む酒製品情報を取得するステップと、
付記1~3のいずれか一つに記載の酒製品位置決め方法で前記酒製品画像に対応する酒製品の位置決めを行うことによって、前記酒製品に対応する目標位置を得るステップと、
前記目標位置に基づいて、前記酒製品情報を管理するステップと、
を含むことを特徴とする酒製品情報管理方法。
(付記5)
端末に適用される酒製品情報管理方法であって、
ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するステップであって、それによって、前記所定のサーバが、付記1~3のいずれか一つに記載の酒製品位置決め方法で前記酒製品の位置決めを行って得られた前記酒製品の所在位置である酒製品対応の酒製品位置に基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を、前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにするステップと、
前記所定のサーバから送信された前記目標酒製品情報を受信するステップと、
前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するステップと、
を含むことを特徴とする酒製品情報管理方法。
(付記6)
酒製品位置決め装置であって、
酒蔵中の所定のカメラに基づいて、前記所定のカメラで採集した目標酒製品に対応する酒製品画像を取得するための第1の取得ユニットと、
OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得るための認識ユニットと、
前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とするための第2の取得ユニットと、
前記目標酒製品に対応する位置を前記酒ラベル及び前記現在位置で記述して前記目標酒製品の位置決めを行うための第1の位置決めユニットと、
を含むことを特徴とする酒製品位置決め装置。
(付記7)
サーバ側に適用される酒製品情報管理装置であって、
酒製品画像を含む酒製品情報を取得するための第3の取得ユニットと、
付記1~3のいずれか一つに記載の酒製品位置決め方法で前記酒製品画像に対応する酒製品の位置決めを行うことによって、前記酒製品に対応する目標位置を得るための第2の位置決めユニットと、
前記目標位置に基づいて、前記酒製品情報を管理するための管理ユニットと、
を含むことを特徴とする酒製品情報管理装置。
(付記8)
端末に適用される酒製品情報管理装置であって、
ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するための送信ユニットであって、それによって、前記所定のサーバが、付記1~3のいずれか一つに記載の酒製品位置決め方法で前記酒製品の位置決めを行って得られた前記酒製品の所在位置である酒製品対応の酒製品位置に基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を、前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにする送信ユニットと、
前記所定のサーバから送信された前記目標酒製品情報を受信するための受信ユニットと、
前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するための表示ユニットと、
を含むことを特徴とする酒製品情報管理装置。
(付記9)
コンピュータデバイスであって、
コンピュータプログラムを格納するためのメモリと、
前記メモリに接続されたプロセッサであって、前記コンピュータプログラムを実行して、付記1~3のいずれか一つに記載の方法のステップを実行し、又は付記4に記載の方法のステップを実行し、又は付記5に記載の方法のステップを実行するためのプロセッサと、
を含むことを特徴とするコンピュータデバイス。
(付記10)
コンピュータ可読記憶媒体であって、
前記記憶媒体にはコンピュータプログラムが格納されており、
前記コンピュータプログラムがプロセッサによって実行されると、付記1~3のいずれか一つに記載の方法のステップが実現され、又は付記4に記載の方法のステップが実現され、又は付記5に記載の方法のステップが実現されることを特徴とするコンピュータ可読記憶媒体。

Claims (10)

  1. 酒製品位置決め方法であって、
    酒蔵中の所定のカメラに基づいて、前記所定のカメラで採集した目標酒製品に対応する酒製品画像を取得するステップと、
    OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得るステップと、
    前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とするステップと、
    前記目標酒製品に対応する位置を前記酒ラベル及び前記現在位置で記述して前記目標酒製品の位置決めを行うステップと、
    を含むことを特徴とする酒製品位置決め方法。
  2. 前記OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得るステップは、
    所定のOCR認識方式で前記酒製品画像のOCR認識を行うことによって、前記酒製品画像に含まれる文字を得るステップと、
    所定の深層学習認識方式で前記酒製品画像の深層学習認識を行うことによって、前記酒製品画像に含まれる画像特徴を得るステップと、
    前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップと、
    を含むことを特徴とする請求項1に記載の酒製品位置決め方法。
  3. 前記所定のカメラは、複数のカメラを含み、前記酒製品画像は、複数枚の画像を含み、
    前記の前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とするステップは、
    全ての前記酒製品画像の各々に対応する所定採集位置を取得して全ての前記所定採集位置を得るステップと、
    全ての前記所定採集位置を、各々に対応する前記酒製品画像の撮影前後順にソートして採集位置ソートキューを得るステップと、
    前記採集位置ソートキューから末尾に位置する末尾所定採集位置を選別し、前記末尾所定採集位置を前記目標酒製品に対応する現在位置とするステップと、
    を含むことを特徴とする請求項1又は2に記載の酒製品位置決め方法。
  4. サーバ側に適用される酒製品情報管理方法であって、
    酒製品画像を含む酒製品情報を取得するステップと、
    請求項1~3のいずれか一項に記載の酒製品位置決め方法で前記酒製品画像に対応する酒製品の位置決めを行うことによって、前記酒製品に対応する目標位置を得るステップと、
    前記目標位置に基づいて、前記酒製品情報を管理するステップと、
    を含むことを特徴とする酒製品情報管理方法。
  5. 端末に適用される酒製品情報管理方法であって、
    ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するステップであって、それによって、前記所定のサーバが、請求項1~3のいずれか一項に記載の酒製品位置決め方法で前記酒製品の位置決めを行って得られた前記酒製品の所在位置である酒製品対応の酒製品位置に基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を、前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにするステップと、
    前記所定のサーバから送信された前記目標酒製品情報を受信するステップと、
    前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するステップと、
    を含むことを特徴とする酒製品情報管理方法。
  6. 酒製品位置決め装置であって、
    酒蔵中の所定のカメラに基づいて、前記所定のカメラで採集した目標酒製品に対応する酒製品画像を取得するための第1の取得ユニットと、
    OCR文字認識と深層学習認識を組み合わせた所定の酒ラベル認識方法に基づいて、前記酒製品画像を認識して前記酒製品画像に対応する酒ラベルを得るための認識ユニットと、
    前記カメラに対応する所定採集位置を取得し、前記所定採集位置を、前記目標酒製品に対応する現在位置とするための第2の取得ユニットと、
    前記目標酒製品に対応する位置を前記酒ラベル及び前記現在位置で記述して前記目標酒製品の位置決めを行うための第1の位置決めユニットと、
    を含むことを特徴とする酒製品位置決め装置。
  7. サーバ側に適用される酒製品情報管理装置であって、
    酒製品画像を含む酒製品情報を取得するための第3の取得ユニットと、
    請求項1~3のいずれか一項に記載の酒製品位置決め方法で前記酒製品画像に対応する酒製品の位置決めを行うことによって、前記酒製品に対応する目標位置を得るための第2の位置決めユニットと、
    前記目標位置に基づいて、前記酒製品情報を管理するための管理ユニットと、
    を含むことを特徴とする酒製品情報管理装置。
  8. 端末に適用される酒製品情報管理装置であって、
    ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するための送信ユニットであって、それによって、前記所定のサーバが、請求項1~3のいずれか一項に記載の酒製品位置決め方法で前記酒製品の位置決めを行って得られた前記酒製品の所在位置である酒製品対応の酒製品位置に基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を、前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにする送信ユニットと、
    前記所定のサーバから送信された前記目標酒製品情報を受信するための受信ユニットと、
    前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するための表示ユニットと、
    を含むことを特徴とする酒製品情報管理装置。
  9. コンピュータデバイスであって、
    コンピュータプログラムを格納するためのメモリと、
    前記メモリに接続されたプロセッサであって、前記コンピュータプログラムを実行して、請求項1~3のいずれか一項に記載の方法のステップを実行し、又は請求項4に記載の方法のステップを実行し、又は請求項5に記載の方法のステップを実行するためのプロセッサと、
    を含むことを特徴とするコンピュータデバイス。
  10. コンピュータ可読記憶媒体であって、
    前記記憶媒体にはコンピュータプログラムが格納されており、
    前記コンピュータプログラムがプロセッサによって実行されると、請求項1~3のいずれか一項に記載の方法のステップが実現され、又は請求項4に記載の方法のステップが実現され、又は請求項5に記載の方法のステップが実現されることを特徴とするコンピュータ可読記憶媒体。
JP2023543250A 2020-09-28 2020-10-26 酒製品位置決め方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体 Active JP7502570B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011040743.3 2020-09-28
CN202011040743.3A CN112161984B (zh) 2020-09-28 2020-09-28 酒品定位方法、酒品信息管理方法、装置、设备及存储介质
PCT/CN2020/123637 WO2022062027A1 (zh) 2020-09-28 2020-10-26 酒品定位方法、酒品信息管理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP2023543639A true JP2023543639A (ja) 2023-10-17
JP7502570B2 JP7502570B2 (ja) 2024-06-18

Family

ID=73861412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023543250A Active JP7502570B2 (ja) 2020-09-28 2020-10-26 酒製品位置決め方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体

Country Status (5)

Country Link
US (1) US20230237825A1 (ja)
JP (1) JP7502570B2 (ja)
CN (1) CN112161984B (ja)
GB (1) GB2613753A (ja)
WO (1) WO2022062027A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610542A (zh) * 2021-07-27 2021-11-05 青岛博芬智能科技股份有限公司 用于酒品信息获取的方法及装置、云端服务器和存储介质
CN114120123A (zh) * 2021-11-29 2022-03-01 青岛海信智慧生活科技股份有限公司 酒品信息管理方法、智能酒柜及系统
CN115018433B (zh) * 2022-08-10 2022-11-29 四川港投新通道物流产业投资集团有限公司 一种酒品供应链监控方法、装置、设备及介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2474177A (en) * 2008-06-24 2011-04-06 Yvonne Sylvia Griffits Computer controlled object locating system
CN105588543B (zh) * 2014-10-22 2019-10-18 中兴通讯股份有限公司 一种基于摄像头实现定位的方法、装置及定位系统
CN105589925A (zh) * 2015-11-25 2016-05-18 小米科技有限责任公司 信息推荐方法、装置及系统
US10318827B2 (en) * 2016-12-19 2019-06-11 Waymo Llc Object detection neural networks
JP6770464B2 (ja) 2017-03-08 2020-10-14 株式会社日立製作所 製造管理方法、及び製造管理システム
SG11202013090PA (en) 2018-07-04 2021-01-28 Mitsubishi Heavy Industries Machinery Systems Ltd Vehicle number identification device, vehicle number identification method, and program
CN109376731A (zh) * 2018-08-24 2019-02-22 北京三快在线科技有限公司 一种文字识别方法和装置
CN110427936B (zh) * 2019-07-04 2022-09-30 深圳市新潮酒窖文化传播有限公司 一种酒窖的藏酒管理方法及系统
CN110807431A (zh) * 2019-11-06 2020-02-18 上海眼控科技股份有限公司 对象定位方法、装置、电子设备及存储介质
CN111027450A (zh) * 2019-12-04 2020-04-17 深圳市新国都金服技术有限公司 银行卡信息识别方法、装置、计算机设备及存储介质
CN111401444B (zh) * 2020-03-16 2023-11-03 深圳海关食品检验检疫技术中心 红酒原产地的预测方法、装置、计算机设备及存储介质
CN111401461A (zh) * 2020-03-24 2020-07-10 郭俊 酒品信息管理方法、装置、计算机设备以及存储介质

Also Published As

Publication number Publication date
GB2613753A (en) 2023-06-14
WO2022062027A1 (zh) 2022-03-31
CN112161984A (zh) 2021-01-01
GB2613753A8 (en) 2023-06-28
CN112161984B (zh) 2022-03-08
US20230237825A1 (en) 2023-07-27
JP7502570B2 (ja) 2024-06-18
GB202304282D0 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
JP7502570B2 (ja) 酒製品位置決め方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体
CN109284729B (zh) 基于视频获取人脸识别模型训练数据的方法、装置和介质
CN107169148B (zh) 图像搜索方法、装置、设备以及存储介质
KR101810578B1 (ko) 셔터 클릭을 통한 자동 미디어 공유
CN102365645B (zh) 通过关联面部来组织数字图像
CN109034069B (zh) 用于生成信息的方法和装置
US20230119593A1 (en) Method and apparatus for training facial feature extraction model, method and apparatus for extracting facial features, device, and storage medium
WO2021042505A1 (zh) 基于文字识别技术的笔记生成方法、装置和计算机设备
CN112115950B (zh) 酒标识别方法、酒品信息管理方法、装置、设备及存储介质
CN112084812B (zh) 图像处理方法、装置、计算机设备及存储介质
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN105121620A (zh) 图像处理设备、图像处理方法、程序和存储介质
CN112417947B (zh) 关键点检测模型的优化及面部关键点的检测方法及装置
KR102440198B1 (ko) 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium)
WO2021189640A1 (zh) 酒品信息管理方法、装置、计算机设备以及存储介质
CN111539424A (zh) 一种基于ocr的图像处理方法、系统、设备及介质
CN110503087A (zh) 一种拍照框题的搜索方法、装置、终端及存储介质
CN112101479B (zh) 一种发型识别方法及装置
CN111464743A (zh) 一种摄影构图匹配方法及系统
CN111461248A (zh) 一种摄影构图线匹配方法、装置、设备及存储介质
CN109040774A (zh) 一种节目信息提取方法、终端设备及服务器
CN112052729B (zh) 一种基于人脸识别的智能动态高清视频检测方法及系统
US20240040232A1 (en) Information processing apparatus, method thereof, and program thereof, and information processing system
CN112445928B (zh) 一种图像检索方法及装置
CN117315704A (zh) 字段识别方法、装置、计算机设备及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240606

R150 Certificate of patent or registration of utility model

Ref document number: 7502570

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150