TWI734054B - 資訊處理裝置、顯示位置調整方法及儲存媒體 - Google Patents

資訊處理裝置、顯示位置調整方法及儲存媒體 Download PDF

Info

Publication number
TWI734054B
TWI734054B TW107142849A TW107142849A TWI734054B TW I734054 B TWI734054 B TW I734054B TW 107142849 A TW107142849 A TW 107142849A TW 107142849 A TW107142849 A TW 107142849A TW I734054 B TWI734054 B TW I734054B
Authority
TW
Taiwan
Prior art keywords
display
image
coordinate
conversion rule
display element
Prior art date
Application number
TW107142849A
Other languages
English (en)
Other versions
TW201928878A (zh
Inventor
岩元浩太
白石壯馬
橫井秀雄
高田二德
Original Assignee
日商日本電氣股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商日本電氣股份有限公司 filed Critical 日商日本電氣股份有限公司
Publication of TW201928878A publication Critical patent/TW201928878A/zh
Application granted granted Critical
Publication of TWI734054B publication Critical patent/TWI734054B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/201—Price look-up processing, e.g. updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

依本發明的資訊處理裝置，具備：顯示控制部(13)，在設置於載置物體的面之顯示器使包含既定顯示要素之第一影像顯示；及轉換規則產生部(15)，取得將顯示器包含在拍攝範圍之拍攝裝置所產生的第二影像，並使用第二影像中之顯示要素的偵測結果，產生將「拍攝裝置的影像中之座標」轉換為「顯示器中之座標」的轉換規則。

Description

資訊處理裝置、顯示位置調整方法及儲存媒體
本發明係關於調整「顯示器上所顯示的要素之位置」的技術。
存在一種技術，其解析使用拍攝裝置產生的物體影像，而辨識此物體的種類或名稱等。例如，下述專利文獻1中揭露一種技術，其中，處理裝置使用藉由朝向商品載置台的拍攝裝置所產生的影像，並辨識存在載置台上的商品，投影裝置投影出辨識後的商品形狀及/或關於在載置台的載置面上進行之結算處理的影像。 [先前技術文獻] [專利文獻]
[專利文獻1]國際公開第2017/126253號
[發明所欲解決之問題]
亦考量一種構成，其將上述專利文獻1中所謂「結算處理的影像」之影像辨識處理的結果，顯示於設置在載置台上的顯示器。然而，為使拍攝裝置所產生的影像之辨識結果，顯示於顯示器上的正確位置，需要使拍攝裝置的座標系統與顯示器的座標系統整合。
本發明係有鑑於上述課題。本發明的目的之一提供一種技術，其能使藉由解析物體影像獲得之該物體的辨識結果，顯示於設置在載置有該物體的面之顯示器上的正確位置。 [解決問題之技術手段]
依本發明，提供一種資訊處理裝置，其具備：顯示控制手段，使包含既定顯示要素之第一影像，顯示於設置在載置物體的面之顯示器；以及，轉換規則產生手段，取得將該顯示器包含在拍攝範圍之拍攝裝置所產生的第二影像，並使用該第二影像中之該顯示要素的偵測結果，產生將「該拍攝裝置的影像中之座標」轉換為「該顯示器中之座標」之座標轉換規則。
依本發明，提供一種顯示位置調整方法，包含以下步驟：由電腦，使包含既定顯示要素之第一影像，顯示於設置在載置物體的面之顯示器；以及，取得將該顯示器包含在拍攝範圍之拍攝裝置所產生的第二影像，並使用該第二影像中之該顯示要素的偵測結果，產生將「該拍攝裝置的影像中之座標」轉換為「該顯示器中之座標」的座標轉換規則。
依本發明，提供一種程式，於電腦使上述顯示位置調整方法執行。 [發明之效果]
依本發明，可使藉由解析物體影像而得之該物體的辨識結果，顯示於設置在載置有該物體的面之顯示器上的正確位置。
＜第一實施態樣＞ 首先，說明本實施態樣之處理系統的概要。本實施態樣之處理系統，藉由影像解析偵測載置在載置台的物體，並在顯示器顯示影像解析的結果。此外，載置載置台之物體的面，成為顯示資訊的顯示器。亦即，在顯示器的顯示面載置物體，並在該顯示器顯示影像解析的結果。
接著，使用圖1，就本實施態樣之處理系統的硬體構成之一例加以說明。此外，圖示之構成僅不過為一例，並不限定於此。
處理系統10具有顯示器2及運算裝置5。處理系統10亦可進而具有相機4。
顯示器2構成載置物體之載置台1的一部分。顯示器2之顯示面成為載置物體的面。圖中，與相機4互相面對的面為顯示面。作業者在顯示器2的顯示面載置物體。在顯示面顯示各種資訊。
相機4拍攝顯示器2之顯示面。例如，亦可如圖示般在支柱3安裝相機4。相機4亦可拍攝動態影像，亦可於既定時點拍攝靜態影像。
運算裝置5取得由相機4產生之影像資料，並解析該影像資料。又，運算裝置5偵測載置於顯示器2的顯示面之物體。又，運算裝置5控制顯示器2，並使既定資訊顯示於顯示器2。運算裝置5使表示載置有物體之位置的資訊，顯示於顯示器2。
此外，顯示器2與運算裝置5係以任意手段可通信地連繋。又，相機4與運算裝置5係以任意手段可通信地連繋。
接著，就本實施態樣之運算裝置5的硬體構成之一例加以說明。運算裝置5所具備的功能，可藉由以下方式實現：任何電腦之CPU(Central Processing Unit)、記憶體、載入記憶體的程式、儲存此程式之硬碟等儲存單元(除了從將裝置出貨的段階事先儲存之程式外，亦可儲存從CD(Compact Disc)等儲存媒體或網際網路上的伺服器等下載之程式)，以網路連接用界面為中心而與硬體及軟體之任意組合。又，此實現方法，在裝置上有各種變形例，係所屬技術領域中具通常知識者能理解。
圖2係例示運算裝置5的硬體構成之方塊圖。如圖2所示，運算裝置5具有處理器1A、記憶體2A、輸入輸出界面3A、周邊電路4A及匯流排5A。在周邊電路4A包含各種模組。此外，亦可不具有周邊電路4A。
匯流排5A，係由處理器1A、記憶體2A、周邊電路4A及輸入輸出界面3A相互發送接收資料之用的資料傳送路。處理器1A例如為CPU(Central Processing Unit，中央處理器)或GPU(Graphics Processing Unit，圖形處理器)等運算處理裝置。記憶體2A例如為RAM(Random Access Memory，隨機存取記憶體)或ROM(Read Only Memory，唯讀記憶體)等記憶體。輸入輸出界面3A，包含從輸入裝置(例如：鍵盤、滑鼠、麥克風等)、外部裝置、外部伺服器、外部感測器等取得資訊之用的界面、或是向輸出裝置(例如：顯示器、揚聲器、列印機、郵件處理器等)、外部裝置、外部伺服器等輸出資訊之用的界面等。處理器1A可向各模組輸出指令，並根據這些運算結果進行運算。
圖3表示處理系統10的功能區塊圖之一例。如圖所示，處理系統10具有顯示器11、偵測部12及顯示控制部13。在此，說明與圖2的硬體構成例之對應關係。圖3之顯示器11係對應於圖1之顯示器2。圖3之偵測部12及顯示控制部13，係由圖1之運算裝置5所具備。以下，說明圖3各功能部的功能。
顯示器11將資訊顯示。在顯示資訊之顯示面載置物體。
偵測部12，基於拍攝「顯示器11之顯示面」的相機(圖1之相機4)所產生的影像資料，偵測載置於「顯示器11之顯示面」的物體。
接著，偵測部12對於「偵測到的物體之影像內的位置」進行偵測。例如，亦可將影像內的任意點作為原點，並於將任意方向作為x軸及y軸之二維影像座標系中，表示影像內的位置。
又，偵測部12基於預先保存之「將影像內的位置轉換為顯示器11的顯示面上之位置的轉換規則」，並將偵測到的物體之影像內的位置，轉換為顯示器11的顯示面上之位置(載置位置)。例如，亦可將顯示器11之顯示面上的任意點作為原點，而在將任意方向作為x軸及y軸之二維顯示面座標系，表示顯示器11之顯示面上的位置。又，偵測部12亦可基於將「二維影像座標系的座標」轉換為「二維顯示面座標系的座標」之轉換規則(例如：投影轉換矩陣)，而將偵測到的物體之影像內的位置，轉換為顯示器11之顯示面上的位置(載置位置)。「顯示器11的位置及朝向」與「拍攝顯示器11的顯示面的相機之位置及朝向」係固定。上述轉換規則，係根據該狀態下，將影像內的位置轉換為「顯示器11之顯示面上的位置」之規則。
顯示控制部13使表示偵測到的物體之載置位置的資訊顯示於顯示器11。例如，顯示控制部13，亦可與載置位置相對應使既定的資訊顯示於顯示器11。圖4中，係表示一例。
圖示之例中，在顯示器11的顯示面載置有一個物體T。又，表示該物體T的載置位置之記號M，係顯示於顯示器11的顯示面。圖示之記號M，係包圍載置位置的框部，其內部塗滿既定顏色。此外，如圖23所示，記號M亦可為內部未塗色之框部。
又，如圖5所示，顯示控制部13亦可使既定的資訊(記號M)顯示於物體T的載置位置周邊之固定位置。例如，亦可使既定的資訊顯示於與載置位置位在預定的位置關係之位置(載置位置的周邊)。作為一例，亦可使既定的資訊(記號M)顯示於「從載置位置(或載置位置的代表點)跨越顯示器11的顯示面上向預定的方向以預定的量移後的位置」。
此外，記號M不限於圖4或圖5所示者，亦得以其他圖形、文字、數字、記號等構成。
又，雖然圖示之例子中，係於顯示器11的顯示面上僅載置一個物體，但亦可使複數物體同時載置於顯示器11之顯示面。此時，顯示控制部13亦可使與每個物體相對應而顯示之記號M的態樣(例如：顏色、形狀、大小、資訊、顯示位置等)不同。藉此，易於區別。
接著，使用圖6之流程圖，說明本實施態樣之處理系統10的處理流程之一例。
S10中，偵測部12解析藉由拍攝顯示器11的顯示面之相機產生的影像資料。利用該解析，偵測部12偵測載置於顯示器11的顯示面之物體。又，偵測部12對於偵測到的物體之影像內的位置進行偵測。又，偵測部12基於預先保存之轉換規則，將偵測到的物體的影像內之位置，轉換為顯示器11之顯示面上的位置(物體之載置位置)。
S11中，顯示控制部13基於S10之解析結果，決定顯示於顯示器11的資訊。顯示控制部13例如如圖4或圖5所示，使表示「物體T的載置位置」之記號M顯示於顯示器11。
此外，拍攝顯示器11的相機亦可連續拍攝動態影像。又，偵測部12亦可持續解析該動態影像。又，當偵測部12偵測到物體，亦可伴隨之由顯示控制部13使既定的資訊顯示於顯示器11。
又，偵測部12亦可追蹤偵測到的物體之移動，並監視該物體之載置位置的變化。又，顯示控制部13亦可因應物體載置位置的變化，而使表示該物體之載置位置的資訊之顯示位置變化。
又，當偵測到的物體移動而從相機視角超出畫面時，亦可伴隨偵測到超出畫面，而立即結束顯示「表示此物體之載置位置的資訊」，亦可從偵測到超出畫面經過既定時間後，再結束顯示「表示此物體之載置位置的資訊」。後者的情況，如圖12所示，使物體從顯示器11上移動後，亦於固定時間持續顯示「表示此物體之載置位置的資訊」。
若依以上說明之本實施態樣的處理系統10，作業者可基於顯示於顯示器的資訊，掌握影像解析的結果。
又，本實施態樣之處理系統10中，載置物體的面係成為顯示器11的顯示面。因此，在進行將物體載置於既定位置的作業時，以及，在確認影像解析的結果時之任一時期，作業者所面向的方向均為顯示器11的顯示面方向。此時，作業者無需於每次作業進行改變朝向方向等麻煩的作業便可解決。其結果，可有效率地進行作業。
＜第二實施態樣＞ 本實施態樣之處理系統10，在「辨識物體的類別，並將因應此辨識結果的資訊顯示於顯示器11」這點上，係與第一實施態樣不同。
處理系統10之硬體構成的一例，係與第一實施態樣相同。處理系統10的功能區塊圖之一例，係第一實施態樣相同，以圖3表示。如圖所示，處理系統10具有顯示器11、偵測部12及顯示控制部13。顯示器11的構成係與第一實施態樣相同。
偵測部12基於影像資料，辨識載置於顯示器11的顯示面之物體的類別。例如，預先登錄複數物體各自的外觀影像之特徵量。又，當偵測部12解析影像資料而偵測物體，便使用該特徵量，辨識偵測到的物體之類別。偵測部12之其它功能構成，係與第一實施態樣相同。
顯示控制部13，使「與辨識出類別的物體之載置位置相對應顯示的資訊」，與「與未辨識出類別的物體之載置位置相對應顯示的資訊」不同。顯示控制部13的其它構成，係與第一實施態樣相同。
例如，顯示控制部13亦可使「與載置位置相對應顯示的記號M(參照圖4、圖5)之態樣(例如：顏色、形狀、大小、資訊、顯示位置等)」，在辨識出類別的情況下與未辨識出類別的情況下不同。圖7表示一例。該例中，與辨識出類別的物體相對應而顯示記號M1，並與未辨識出類別的物體相對應而顯示記號M2。此時，作業者可藉由識別記號M，而掌握「是否偵測到各物體」及「是否辨識各物體的類別」。
此外，顯示控制部13亦可使因應辨識出的物體之類別的資訊，與各物體的載置位置相對應而顯示。例如，亦可預先對於各個物體的類別，登錄有與載置位置相對應而顯示的記號M(參照圖4、圖5)之態樣(例如：顏色、形狀、大小、資訊、顯示位置等)。又，顯示控制部13亦可基於該登錄內容或辨識出的各物體類別，而決定與各物體的載置位置相對應而顯示的資訊。此時，作業者可藉由識別記號M，而掌握「辨識出的物體的類別」。又，作業者可藉由比較「此物體真正的類別」與「辨識出的物體類別」，而確認影像解析是否正確地進行。
本實施態樣的處理系統10之處理流程的一例，係與第一實施態樣相同。
依以上說明之本實施態樣的處理系統10，可實現與第一實施態樣相同的作用效果。又，依本實施態樣的處理系統10，可辨識物體的類別，並使因應辨識結果的有用資訊顯示於顯示器11。
＜第三實施態樣＞ 本實施態樣的處理系統10，在「偵測到物體的形狀，並將因應此偵測結果的資訊顯示於顯示器11」這點上，係與第一及第二實施態樣不同。
處理系統10的硬體構成之一例，係與第一及第二實施態樣相同。處理系統10的功能區塊圖之一例，係與第一及第二實施態樣相同，顯示於圖3。如圖所示，處理系統10具有顯示器11、偵測部12及顯示控制部13。顯示器11之構成，係與第一及第二實施態樣相同。
偵測部12基於影像資料，辨識載置於顯示器11的顯示面之物體的既定面之形狀。偵測部12亦可進而偵測既定面的大小。偵測部12之其它功能構成，係與第一及第二實施態樣相同。既定面亦可為朝向相機一側的面，亦可為與顯示器11抵接的面，亦可為其它面。
偵測部12亦可藉由影像解析取出既定面的輪廓，並基於此輪廓辨識既定面的形狀或大小。此外，亦可預先對於每個物體的類別，登錄有既定面的形狀或大小。又，偵測部12在辨識出載置於顯示器11的顯示面之物體的類別以後，亦可參照登錄的資訊，對於與辨識出的物體的類別相對應而登錄的既定面之形狀或大小進行辨識。
顯示控制部13使與既定面的形狀相似之形狀的記號顯示於顯示器11。顯示控制部13之其它構成，係與第一及第二實施態樣相同。
例如，如圖8所示，顯示控制部13亦可使與既定面的形狀相似之形狀的框部(記號M)顯示於顯示器11。圖示之例子的情形，既定的面係「朝向相機一側的面」，或是「與顯示器11抵接的面」。
此外，如圖8所示，顯示控制部13亦可使與既定面形狀相似且較既定面大的框部(記號M)顯示於顯示器11。
又，雖未圖示，然而亦可將圖5所示之顯示於載置位置周邊之固定位置的記號M之形狀，設成與既定面的形狀相似之形狀。
作業者可藉由比較「此物體之既定面的真正形狀」與「顯示於顯示器11之記號M的形狀」，而確認影像解析是否正確地進行。又，藉由如圖8所示將記號M的大小設成較物體之既定面的大小為大，則可避免因記號M被物體遮蔽而造成難以識別之弊病。
依本實施態樣之處理系統10的處理流程之一例，係與第一及第二實施態樣相同。
依以上說明過之本實施態樣的處理系統10，可實現與第一及第二實施態樣相同的作用效果。又，依本實施態樣之處理系統10，可辨識物體的形狀或大小，並將因應辨識結果之有用的資訊顯示於顯示器11。
＜第四實施態樣＞ 本實施態樣之處理系統10，在「偵測物體的顏色，並將因應此偵測結果的資訊顯示於顯示器11」這點上，係與第一至第三實施態樣不同。
處理系統10的硬體構成之一例，係與第一至第三實施態樣相同。處理系統10的功能區塊圖之一例，係與第一至第三實施態樣相同，顯示於圖3。如圖所示，處理系統10具有顯示器11、偵測部12及顯示控制部13。顯示器11的構成，係與第一至第三實施態樣相同。
偵測部12基於影像資料，偵測載置於顯示面上的物體的顏色。例如，偵測部12亦可將在影像內的物體所存在的範圍內占有面積最大的顏色，偵測為此物體的顏色。偵測部12的其它功能構成，係與第一至第三實施態樣相同。
偵測部12亦可藉由影像解析取出物體的輪廓，並鑑別出其中占有面積最大的顏色。此外，亦可預先對於每個物體類別，登錄有該物體的顏色。又，偵測部12在辨識出載置於顯示器11的顯示面之物體的類別後，亦可參照登錄的資訊， 而對於與辨識出的物體類別相對應登錄的顏色進行辨識。
顯示控制部13係以基於偵測到的物體顏色而決定的顏色，而使既定的資訊(例如：記號M)顯示。顯示控制部13之其它構成，係與第一至第三實施態樣相同。
例如，顯示控制部13亦得以與偵測到的顏色相同之顏色，而使既定資訊顯示。此時，作業者可藉由比較「該物體真正的顏色」與「顯示於顯示器11之既定資訊的顏色」，而確認影像解析是否正地進行。
此外，顯示控制部13亦得以與偵測出之色不同的顏色(例如：相反色)，使既定資訊顯示。此時，由於物體與既定資訊係以顏色明顯區別，故作業者易於看見既定資訊。
本實施態樣之處理系統10的處理流程之一例，係與第一至第三實施態樣相同。
依以上說明之本實施態樣的處理系統10，可實現與第一至第三實施態樣相同之作用效果。又，依本實施態樣之處理系統10，若偵測物體的顏色，並使因應偵測結果之有用的資訊，顯示於顯示器11。
＜第五實施態樣＞ 本實施態樣之處理系統10，在「複數物體靠近載置時」與「複數物體未靠近載置時」係以不同態樣於顯示器11顯示既定的資訊這點上，係與第一至第四實施態樣不同。複數物體靠近載置時，若對應於各物體而將既定資訊顯示於顯示器11，有時會難以觀看。藉由在這種情形使顯示手法不同，則即便複數物體為靠近載置時，亦易於觀看既定的資訊。
處理系統10的硬體構成之一例，係與第一至第四實施態樣相同。處理系統10的功能區塊圖之一例，係與第一至第四實施態樣相同，顯示於圖3。如圖所示，處理系統10，具有顯示器11、偵測部12及顯示控制部13。顯示器11之構成，係與第一至第四實施態樣相同。
偵測部12在偵測到複數載置位置時，判斷彼此的距離是否在基準値以下。偵測部12之其它構成，係與第一至第四實施態樣相同。
顯示控制部13，使「與彼此的距離在基準値以下之複數載置位置相對應顯示的既定資訊」，與「與其他載置位置相對應顯示的既定資訊」不同。顯示控制部13之其它構成，係與第一至第四實施態樣相同。
例如，顯示控制部13亦可使與「彼此的距離在基準値以下之各個複數載置位置」相對應顯示之既定資訊的顏色彼此不同。藉由區分顏色，易於區別複數既定資訊。
此外，顯示控制部13，亦可與彼此的距離在基準値以下之複數載置位置相對應而使一個既定資訊顯示，同時使表示「與該既定資訊相對應之載置位置的數量」的資訊顯示。圖9表示一例。圖9中顯示有與兩個物體T1及T2相對應而包圍它們的一個框部(記號M)。又，與該記號M相對應，顯示有表示對應該記號M之載置位置的數量「2」之資訊N。
此外，顯示控制部13亦可使包圍「彼此的距離在基準値以下之所有複數載置位置」之多重框部(既定的資訊)顯示。又，亦可使疊加框部的數量，與在多重框部包圍之載置位置的數量一致。亦即，亦可將包圍兩個載置位置之框部設為雙重的框部，包圍M個載置位置之框部設為M重的框部。
本實施態樣之處理系統10的處理流程之一例，係與第一至第四實施態樣相同。
依以上說明過的本實施態樣之處理系統10，可實現與第一至第四實施態樣相同的作用效果。又，依本實施態樣之處理系統10，得將「複數物體係靠近載置時」與「複數物體並非靠近載置時」設成不同之態樣，而將既定資訊顯示於顯示器11。當複數物體靠近載置時，若對應於各物體而將既定資訊顯示於顯示器11，有時會難以觀看。藉由在這種情形使顯示手法不同，則即便複數物體為靠近載置時，亦易於觀看既定的資訊。
＜第六實施態樣＞ 本實施態樣之處理系統10，在「無法辨識物體類別時會鑑別無法辨識的原因，並將因應於鑑別出之原因的資訊顯示於顯示器11」這點上，係與第一至第五實施態樣不同。
處理系統10的硬體構成之一例，係與第一至第五實施態樣相同。處理系統10的功能區塊圖之一例，係與第一至第五實施態樣相同，顯示於圖3。如圖所示，處理系統10具有顯示器11、偵測部12及顯示控制部13。顯示器11之構成，係與第一至第五實施態樣相同。
偵測部12在無法辨識載置於顯示器11的顯示面上之物體的類別時，鑑別無法辨識之原因。作為錯誤之原因，例示「物體的一部分超出畫面」、「物體的主面未朝向相機一側」、「複數物體重疊」等。偵測部12可藉由影像解析，鑑別該等原因。偵測部12之其它構成，係與第一至第五實施態樣相同。
顯示控制部13使對應於鑑別出之原因的資訊，顯示於顯示器11。顯示控制部13之其它構成，係與第一至第五實施態樣相同。
例如，如圖24所示，當錯誤的原因為「物體的一部分超出畫面」時，顯示控制部13亦可使「請移動物體位置以使其整體可於相機拍攝」之資訊，顯示於顯示器11。或是，亦可替代該資訊或於該資訊追加，使表示「使物體移動之方向」的資訊(圖示之箭頭)顯示於顯示器11。此外，雖未圖示，當錯誤的原因為「物體的一部分超出畫面」時，亦可於顯示器11顯示「請移動物體位置以使其整體可於相機拍攝」之資訊。又，當錯誤的原因為「物體的主面未朝向相機一側」時，亦可於顯示器11顯示「請將物體的商品名朝向相機」之資訊。又，當錯誤的原因為「複數物體重疊」時，亦可於顯示器11顯示「請勿將物體重疊」之資訊。
本實施態樣之處理系統10的處理流程之一例，係與第一至第五實施態樣相同。
依以上說明過之本實施態樣的處理系統10，可實現與第一至第五實施態樣相同的作用效果。又，依本實施態樣之處理系統10，當無法辨識物體的類別時，可鑑別其原因，並於顯示器11顯示因應於鑑別出的原因之指引。
＜第七實施態樣＞ 本實施態樣之處理系統10，在「限定於作為將商品登錄的POS(point of sales，銷售時點情報)系統利用」這點上，係與第一至第六實施態樣不同。POS系統亦可假定為由店員進行操作，亦可假定為由客人進行操作。
處理系統10的硬體構成之一例，係顯示於圖10。在具有登錄裝置6這點上，係一第一至第六實施態樣不同。
本實施態樣中，顯示器2係載置結帳對象的商品(物體)。若運算裝置5藉由影像解析辨識出載置於顯示器2的商品種類，便將辨識結果向登錄裝置6發送。登錄裝置6將運算裝置5所辨識出的商品種類，登錄為結帳對象。登錄裝置6亦可在與顯示器2不同的顯示器上顯示登錄後的商品種類。又，登錄裝置6亦可從伺服器取得商品資訊(包含單價等)，並計算結帳金額。
處理系統10的功能區塊圖之一例，係顯示於圖11。如圖所示，處理系統10具有顯示器11、偵測部12、顯示控制部13及登錄部14。顯示器11及偵測部12之構成，係與第一至第六實施態樣相同。
登錄部14將偵測部12所辨識出的商品種類，登錄為結帳對象。
顯示控制部13亦可將辨識出的商品名稱、該商品的金額、及與該商品關連之商品的廣告中至少一者，與各商品相對應而顯示於顯示器11。顯示控制部13之其它構成，係與第一至第六實施態樣相同。關連之商品，亦可為與各商品同種類的商品，亦可為經常與各商品一起購入的商品。
作業者可基於顯示出的商品名稱，確認各商品是否正確地辨識。
此外，顯示控制部13在開始識別商品前，亦可對於各個「商品識別中、結算完畢」之狀態，改變顯示於顯示器11的資訊。狀態的偵測，亦可藉由利用偵測部12進行之影像解析加以進行，亦可基於對於登錄裝置6之輸入內容進行。
此外，第一至第六實施態樣中說明過的處理系統10之適用例子，並不限於第七實施態樣中說明過者。例如，處理系統10亦可利用於商品或製品之品質檢驗等。
＜第八實施態樣＞ 為了使藉由解析載置台上的物體之影像而獲得的辨識結果顯示於顯示器11上的正確位置，需整合「相機4所產生之影像的座標系」與「顯示器11之顯示面的座標系」。本實施態樣中，說明有關用以解決此課題之構成。
本實施態樣之處理系統10，在具有產生第一實施態樣中說明過的將「影像內的位置」轉換為「顯示器11之顯示面上的位置」之座標轉換規則的功能這點上，係與第一至第七實施態樣不同。
圖13係表示依第八實施態樣之處理系統10的功能構成之一例的方塊圖。如圖13所示，本實施態樣之處理系統10，具有顯示控制部13及轉換規則產生部15。處理系統10之顯示控制部13及轉換規則產生部15，例如，係由圖1之運算裝置5(資訊處理裝置)所具備。此外，雖未圖示，處理系統10亦可更具備上述各實施態樣之構成。
本實施態樣中，顯示控制部13在設置於載置物體的面之顯示器，顯示包含既定顯示要素之影像(以下，亦以「第一影像」表示)。又，轉換規則產生部15，利用顯示器上所顯示之既定顯示要素，產生能將「相機4等拍攝裝置所產生之影像的座標」轉換為「顯示器11之顯示面的座標」之規則(座標轉換規則)。首先，轉換規則產生部15，取得用相機4拍攝「顯示上述第一影像之顯示器11」的影像(亦以「第二影像」表示)。在此，相機4係例如如圖1所示般配置於顯示器11的上方，並將顯示器11包含於拍攝範圍。又，轉換規則產生部15使用第二影像中之顯示要素的偵測結果，產生將「相機4所產生之影像的座標」轉換為「顯示器11的座標」之座標轉換規則。
就本實施態樣之處理系統10的作用及效果加以說明。本實施態樣中，首先，於顯示器上顯示包含既定顯示要素之第一影像。又，藉由相機4，產生將「顯示器上所顯示的第一影像」包含為被攝體之第二影像。又，藉由解析第二影像，而偵測第一影像之顯示要素。又，使用第二影像中之顯示要素的偵測結果，產生在第一影像與第二影像之間的座標轉換規則。利用這樣產生的座標轉換規則， 可將顯示器上所載置的物體之影像的解析結果(該物體之辨識結果或辨識位置等)，與該物體的位置相配合而顯示於顯示器上。
以下，更詳細說明本實施態樣。
圖14為例示本實施態樣之運算裝置5的硬體構成之方塊圖。圖14中，更具備有儲存裝置6A。本實施態樣之儲存裝置6A，儲存有用以實現「上述顯示控制部13及轉換規則產生部15的功能」之程式模組。處理器1A，藉由將該等程式模組於記憶體2A上讀取而執行，以實現上述顯示控制部13及轉換規則產生部15的功能。此外，關於處理器1A、記憶體2A、輸入輸出界面3A、周邊電路4A及匯流排5A，係與第一實施態樣中說明過的相同。
圖15係例示藉由依第八實施態樣之處理系統10執行之顯示位置調整處理的流程之流程圖。
首先，顯示控制部13判斷是否偵測到顯示位置調整處理之執行指示(S202)。作為一例，顯示位置調整處理之執行指示，係因應於使用者的操作(例如，於未圖示之圖式中顯示之既定按鍵之按壓等)而產生，並向顯示控制部13發送。作為另一例，顯示位置調整處理之執行指示，亦可依照預先設定之排程而自動產生。作為又另一例，顯示位置調整處理之執行指示，亦可在顯示器11上的動作(例如，載置於顯示器11上的物體之移動、顯示器11上的顯示內容之切換等)於一定時間以上未進行時，自動產生。
當顯示控制部13未偵測到顯示位置調整處理之執行指示時(S202：NO)，不執行以下說明的處理。另一方面，當顯示控制部13偵測到顯示位置調整處理之執行指示時(S202：YES)，讀取第一影像(S204)。第一影像例如預先儲存於儲存裝置6A等。又，顯示控制部13將從儲存裝置6A等讀取到的第一影像，顯示於經由輸入輸出界面3A連接之顯示器11(S206)。以下，說明幾個藉由顯示控制部13顯示之第一影像的具體例子。
(第一影像之具體例) 藉由顯示控制部13顯示之第一影像，係用來產生「將『相機4所產生之影像上的座標』轉換為『顯示器11之顯示面上的座標』之座標轉換規則」之影像。圖16至圖21係表示設置在載置台1的顯示器11所顯示之第一影像的一例之圖式。
圖16及圖17所例示之第一影像，係將與「重複之特定圖案」不同的形狀包含作為「既定之顯示要素」。具體而言，第一影像係所謂人或物這種包含有表示固有特徵之顯示要素。藉由使具有與「重複之特定圖案」不同之形狀的第一影像顯示，相較於使後述具有「重複之特定圖案」的第一影像顯示之情形，可提高第二影像中之顯示要素的各特徵點之偵測精度。此外，圖16之例子中，顯示控制部13使第一影像顯示於顯示器11之顯示區域整體。又，圖17之例中，顯示控制部13使第一影像顯示於顯示器11之顯示區域的一部分。此外，圖17中以斜線部表示的區域，係表示未顯示第一影像的區域。顯示控制部13，例如，亦可在顯示器11上顯示大小與「應用座標轉換規則的區域」對應之第一影像。此時，圖16之例中，顯示器11的顯示區域整體成為座標轉換規則之應用區域。又，圖17之例中，顯示器11之一部分的區域成為座標轉換規則之應用區域。
圖18及圖19所例示之第一影像，具有「重複之特定圖案」的一例亦即「格子狀之圖案」，作為既定之顯示要素。此外，圖18及圖19僅為一例，第一影像亦可具有格子狀以外之重複圖案。圖18之例中，顯示控制部13使具有格子狀圖案之第一影像，顯示於顯示器11之顯示區域整體。又，圖19之例中，顯示控制部13使具有格子狀圖案之第一影像，顯示於顯示器11之顯示區域的一部分。此外，圖19中以斜線部表示的區域，表示未顯示第一影像的區域。顯示控制部13，例如，亦可在顯示器11上顯示大小與「應用座標轉換規則的區域」對應之第一影像。此時，圖18之例中，顯示器11之顯示區域整體成為座標轉換規則之應用區域。又，圖19之例中，顯示器11之一部份的區域成為座標轉換規則之應用區域。
圖20及圖21所例示之第一影像，係將複數之印記a、b、c及d包含為既定之顯示要素。圖20及圖21之例中，複數之印記a、b、c及d，係在顯示器11上分別表示應用座標轉換規則的區域之複數頂點的位置。換言之，圖20及圖21所例示之第一影像，係在應用座標轉換規則的區域之至少一部份，具有顯示要素(複數之印記a、b、c及d)。藉由圖20及圖21所例示之第一影像，可在影像的外觀容易地掌握座標轉換規則的應用範圍。此外，圖20及圖21僅為一例，第一影像亦可具有與這些圖式中所示的印記不同之印記。圖20之例中，顯示控制部13係使具有複數之印記a、b、c及d之第一影像，顯示於顯示器11之顯示區域整體。又，圖21之例中，顯示控制部13使具有複數之印記a、b、c及d之第一影像，顯示於顯示器11之顯示區域的一部分。此外，圖21中以斜線部所示之區域，係表示未顯示第一影像之區域。顯示控制部13，例如，亦可在顯示器11上顯示大小與「應用座標轉換規則的區域」對應之第一影像。此時，圖20之例中，顯示器11之顯示區域整體成為座標轉換規則之應用區域。又，圖21之例中，顯示器11之一部份的區域成為座標轉換規則之應用區域。
回到圖15，若藉由顯示控制部13在顯示器11上顯示第一影像，則相機4產生將該第一影像作為被攝體包含之第二影像(例如：圖22)。圖22係概略表示在顯示器11上由相機4拍攝顯示出之第一影像的樣子之圖式。如圖22所示，相機4藉由拍攝顯示於顯示器11上之第一影像A，而產生將第一影像A作為被攝體包含之第二影像B。
又，轉換規則產生部15取得由相機4產生之第二影像(S208)。又，轉換規則產生部15藉由解析第二影像，而偵測該第二影像中之第一影像的顯示要素之位置(S210)。例如，在圖22所示的第一影像A中，例如包含有複數所謂「人物的眼睛」之顯示要素中的特徵點P。作為一例，首先，轉換規則產生部15將所謂SURF(Speeded Up Robust Features，加速穩健特徵)或SIFT(Scale-Invariant Feature Transform，尺度不變特徵轉換)之局部特徵量在兩個影像之間對照，藉此，可偵測第二影像B中之特徵點P。藉此，而鑑別出在第二影像中之第一影像之顯示要素的位置。
又，轉換規則產生部15使用在第二影像中之顯示要素之偵測位置，產生將「由相機4產生的影像座標」轉換為「顯示器11的座標」之座標轉換規則(S212)。作為一例，轉換規則產生部15取得第一影像中之複數特徵點分別的位置，並與「藉由S210之處理偵測出的第二影像中之複數特徵點分別的位置」比較。此外，表示「第一影像中之複數特徵點分別的位置」的資訊，例如係在與第一影像賦予關連的狀態下，儲存於儲存裝置6A等。又，在第一影像與第二影像之間比較之特徵點的組合，係由上述對照結果加以決定。又，轉換規則產生部基於「第一影像中之複數特徵點分別的位置」與「第二影像中之複數特徵點分別的位置」之對應關係，來推定將「第一影像上的座標」轉換為「第二影像上的座標」之平面投影轉換矩陣(homography matrix)H。例如，對於第一影像中之某特徵點，將第一影像中之座標設為(x，y)，並將第二影像中之座標設為(X，Y)。此時，轉換規則產生部15推定將座標(x，y)轉換為座標(X，Y)之平面投影轉換矩陣H。此外，當轉換規則產生部15以複數特徵點的對照結果為基礎推定平面投影轉換矩陣H時，例如可使用RANSAC(Random Sample Consensus，隨機抽樣一致)演算法等。又，轉換規則產生部15計算推定出之平面投影轉換矩陣H的反矩陣H-1 。又，轉換規則產生部15將計算出的反矩陣H-1 ，作為將第二影像上的座標轉換為第一影像上的座標之座標轉換規則，儲存於記憶體2A或儲存裝置6A。此外，轉換規則產生部15可基於第一影像中之座標(x，y)及第二影像中之座標(X，Y)，直接求取將第二影像的座標(X，Y)轉換為第一影像的座標(x，y)之平面投影轉換矩陣。
又，在將圖18及圖19所示般的影像顯示於顯示器11時，轉換規則產生部15例如可依以下方式產生座標轉換規則。首先，轉換規則產生部15取得拍攝於第二影像之第一影像的基準點(例如，各格子點)之位置座標。此外，轉換規則產生部15可使用模板匹配等影像辨識演算法，取得第二影像中之第一影像的各格子點之位置座標。又，轉換規則產生部15取得第一影像中之各格子點的位置座標。此外，第一影像中之各格子點的位置座標，例如，係預先儲存於儲存裝置6A等。又，轉換規則產生部15，基於第一影像中之各格子點的位置座標、第二影像中之第一影像的各格子點之位置座標，而計算將第二影像的座標轉換為第一影像的座標之平面投影轉換矩陣(座標轉換規則)。
又，當在顯示器11中顯示圖20及圖21所示般之第一影像時，轉換規則產生部15，例如可依以下方式產生座標轉換規則。首先，轉換規則產生部15辨識拍攝於第二影像之第一影像的基準點(四角隅之印記a~d)之座標位置。此外，轉換規則產生部15例如可使用模板匹配等影像辨識演算法，來辨識四角隅之印記a~ d。又，轉換規則產生部15取得第一影像中的四角隅之印記a~d的座標位置。此外，第一影像中的四角隅之印記a~d之座標位置，例如係預先儲存於儲存裝置6A等。又，轉換規則產生部15基於「第一影像中的四角隅之印記a~d的座標位置」與「第二影像中之第一影像的四角隅之印記a~d的座標位置」之對應關係，計算將「第二影像的座標」轉換為「第一影像的座標」之平面投影轉換矩陣(座標轉換規則)。
以上，依本實施態樣，可產生將「第二影像的座標」轉換為「第一影像的座標」之座標轉換規則。又，藉由利用該座標轉換規則，可使載置於顯示器上的物體之影像的解析結果(該物體的辨識結果或辨識位置等)，配合該物體的位置而顯示於顯示器上。
以上，參照圖式就本發明之實施態樣加以敘述，但上述內容僅為本發明之例示，亦可採用上述以外的各種構成。
又，雖然上述說明使用的複數流程圖中，係以編號記載複數之步驟(處理)，然而，各實施態樣中執行之步驟的執行順序，不並限於此記載之編號。各實施態樣中，可在內容上無妨礙的範圍內，變更圖示之步驟的編號。又，上述各實施態樣，可在不違背其內容的範圍內加以組合。
上述實施態樣之一部份或是全部，係如以下附記所記載，但並限定於以下內容。 附記1. 一種資訊處理裝置，包含：顯示控制手段，在設置於載置物體的面之顯示器，顯示包含既定顯示要素之第一影像；以及，轉換規則產生手段，取得由「將該顯示器包含在拍攝範圍之拍攝裝置」所產生之第二影像，並使用該第二影像中之該顯示要素的偵測結果，產生將「該拍攝裝置的影像中之座標」轉換為「該顯示器中之座標」之座標轉換規則。 附記2. 如附記1記載之資訊處理裝置，其中，該轉換規則產生手段，分別取得「該第一影像中之該顯示要素的位置」及「該第二影像中之該顯示要素的位置」，並基於「該第一影像中之該顯示要素的位置」與「該第二影像中之該顯示要素的位置」之對應關係，產生該座標轉換規則。 附記3. 如附記2記載之資訊處理裝置，其中，該顯示要素，包含與重複之特定圖案不同的形狀。 附記4. 如附記2記載之資訊處理裝置，其中，該顯示要素為格子狀的圖案。 附記5. 如附記2記載之資訊處理裝置，其中，該顯示要素係分別表示「應用該座標轉換規則之該顯示器上的區域之複數頂點的位置」之複數之印記。 附記6. 如附記1至5中任一項記載之資訊處理裝置，其中，該顯示控制手段在應用該座標轉換規則之該顯示器上的區域之至少一部份，顯示具有該顯示要素之該第一影像。 附記7. 如附記6記載之資訊處理裝置，其中，應用該座標轉換規則之該顯示器上的區域，係該顯示器之一部分。 附記8. 一種顯示位置調整方法，包含以下步驟：由電腦，在設置於載置物體的面之顯示器顯示包含既定顯示要素之第一影像，取得由「將該顯示器包含於拍攝範圍之拍攝裝置」所產生的第二影像，使用該第二影像中之該顯示要素的偵測結果，產生將「該拍攝裝置的影像中之座標」轉換為「該顯示器中之座標」的座標轉換規則。 附記9. 如附記8記載之顯示位置調整方法，更包含以下步驟：由該電腦，分別取得「該第一影像中之該顯示要素的位置」及「該第二影像中之該顯示要素的位置」，並基於「該第一影像中之該顯示要素的位置」與「該第二影像中之該顯示要素的位置」之對應關係，產生該座標轉換規則。 附記10. 如附記9記載之顯示位置調整方法，其中，該顯示要素包含與重複之特定圖案不同之形狀。 附記11. 如附記9記載之顯示位置調整方法，其中，該顯示要素為格子狀之圖案。 附記12. 如附記9記載之顯示位置調整方法，其中，該顯示要素係分別表示「應用該座標轉換規則之該顯示器上的區域之複數頂點的位置」之複數之印記。 附記13. 如附記8至12中任一項記載之顯示位置調整方法，更包含以下步驟：由該電腦，在應用該座標轉換規則之該顯示器上的區域之至少一部分，顯示具有該顯示要素之該第一影像。 附記14. 如附記13記載之顯示位置調整方法，其中，應用該座標轉換規則之該顯示器上的區域，係該顯示器之一部分。 附記15. 一種程式，於電腦執行如附記8至14中任一項記載之顯示位置調整方法。
本發明申請案，係以2017年12月1日於日本提出申請之日本申請案特願2017- 231436號為基礎主張優先權，該揭露內容均涉及於此。
1‧‧‧載置台 2‧‧‧顯示器 3‧‧‧支柱 4‧‧‧相機 5‧‧‧運算裝置 6‧‧‧登錄裝置 1A‧‧‧處理器 2A‧‧‧記憶體 3A‧‧‧輸入輸出界面 4A‧‧‧周邊電路 5A‧‧‧匯流排 6A‧‧‧儲存裝置 10‧‧‧處理系統 11‧‧‧顯示器 12‧‧‧偵測部 13‧‧‧顯示控制部 14‧‧‧登錄部 15‧‧‧轉換規則產生部 a、b、c、d‧‧‧印記 A‧‧‧第一影像 B‧‧‧第二影像 P‧‧‧特徵點 M、M1、M2‧‧‧記號 T、T1、T2‧‧‧物體
上述目的及其它目的、特徵及優點，可藉由下述適當之實施態樣及附隨於其之以下圖式進而明暸。
【圖1】表示本實施態樣的處理系統之硬體構成的一例之圖式。 【圖2】表示本實施態樣的運算裝置之硬體構成的一例之圖式。 【圖3】表示本實施態樣的處理系統之功能區塊圖的一例之圖式。 【圖4】表示藉由本實施態樣的處理系統實現之顯示的一例之圖式。 【圖5】表示藉由本實施態樣的處理系統實現之顯示的一例之圖式。 【圖6】表示本實施態樣的處理系統之處理的流程之一例的流程圖。 【圖7】表示藉由本實施態樣的處理系統實現之顯示的一例之圖式。 【圖8】表示藉由本實施態樣的處理系統實現之顯示的一例之圖式。 【圖9】表示藉由本實施態樣的處理系統實現之顯示的一例之圖式。 【圖10】表示本實施態樣的處理系統之硬體構成的一例之圖式。 【圖11】表示本實施態樣的處理系統之功能區塊圖的一例之圖式。 【圖12】表示藉由本實施態樣的處理系統實現之顯示的一例之圖式。 【圖13】表示依第八實施態樣之處理系統的功能構成之一例的方塊圖。 【圖14】例示本實施態樣之運算裝置的硬體構成之方塊圖。 【圖15】例示藉由依第八實施態樣之處理系統執行的顯示位置調整處理之流程的流程圖。 【圖16】表示在設置於載置台的顯示器顯示之第一影像的一例之圖式。 【圖17】表示在設置於載置台的顯示器顯示之第一影像的一例之圖式。 【圖18】表示在設置於載置台的顯示器顯示之第一影像的一例之圖式。 【圖19】表示在設置於載置台的顯示器顯示之第一影像的一例之圖式。 【圖20】表示在設置於載置台的顯示器顯示之第一影像的一例之圖式。 【圖21】表示在設置於載置台的顯示器顯示之第一影像的一例之圖式。 【圖22】表示由相機拍攝顯示於顯示器上之第一影像的圖案的概略圖式。 【圖23】表示藉由本實施態樣的處理系統實現之顯示的一例之圖式。 【圖24】表示藉由本實施態樣的處理系統實現之顯示的一例之圖式。
10‧‧‧處理系統
11‧‧‧顯示器
13‧‧‧顯示控制部
15‧‧‧轉換規則產生部

Claims (15)

  1. 一種資訊處理裝置，包含：顯示控制手段，在設置於載置物體的面之顯示器，顯示包含既定顯示要素之第一影像；轉換規則產生手段，取得由將該顯示器包含於拍攝範圍之拍攝裝置所產生的第二影像，並使用該第二影像中之該顯示要素的偵測結果，產生將由該拍攝裝置拍攝到的影像中之座標轉換為該顯示器中之座標的座標轉換規則；物體位置座標取得手段，從藉由以該拍攝裝置拍攝該顯示器上載置之物體所得到的物體影像，取得該物體影像的座標系中之該物體的位置座標亦即第一位置座標；座標轉換手段，基於該座標轉換規則，將該第一位置座標轉換為該顯示器的座標系中之位置座標亦即第二位置座標；及資訊顯示手段，基於該第二位置座標，決定有關該物體之資訊在該顯示器上的顯示位置，並在該顯示位置顯示有關該物體的資訊。
  2. 如請求項1記載之資訊處理裝置，其中，該轉換規則產生手段，分別取得該第一影像中之該顯示要素的位置及該第二影像中之該顯示要素的位置，並基於該第一影像中之該顯示要素的位置，與該第二影像中之該顯示要素的位置之對應關係，產生該座標轉換規則。
  3. 如請求項2記載之資訊處理裝置，其中， 該顯示要素，包含與重複之特定圖案不同的形狀。
  4. 如請求項2記載之資訊處理裝置，其中，該顯示要素係格子狀的圖案。
  5. 如請求項2記載之資訊處理裝置，其中，該顯示要素係為複數之印記，該等複數之印記分別表示應用該座標轉換規則之該顯示器上的區域之複數頂點的位置。
  6. 如請求項1記載之資訊處理裝置，其中，該顯示控制手段，在應用該座標轉換規則之該顯示器上的區域之至少一部分，顯示具有該顯示要素之該第一影像。
  7. 如請求項6記載之資訊處理裝置，其中，應用該座標轉換規則之該顯示器上的區域，係該顯示器的一部分。
  8. 一種顯示位置調整方法，其特徵為包含以下步驟：由電腦，在設置於載置物體的面之顯示器，顯示包含既定顯示要素之第一影像；取得由將該顯示器包含在拍攝範圍的拍攝裝置所產生出的第二影像；及使用該第二影像中之該顯示要素的偵測結果，產生將由該拍攝裝置拍攝到的影像中之座標轉換為該顯示器中之座標的座標轉換規則；從藉由以該拍攝裝置拍攝該顯示器上載置之物體所得到的物體影像，取得該物體影像的座標系中之該物體的位置座標亦即第一位置座標； 基於該座標轉換規則，將該第一位置座標轉換為該顯示器的座標系中之位置座標亦即第二位置座標；基於該第二位置座標，決定有關該物體之資訊在該顯示器上的顯示位置，並在該顯示位置顯示有關該物體的資訊。
  9. 如請求項8記載之顯示位置調整方法，更包含以下步驟：由該電腦，分別取得該第一影像中之該顯示要素的位置及該第二影像中之該顯示要素的位置；及基於該第一影像中之該顯示要素的位置，與該第二影像中之該顯示要素的位置之對應關係，產生該座標轉換規則。
  10. 如請求項9記載之顯示位置調整方法，其中，該顯示要素，包含與重複之特定圖案不同的形狀。
  11. 如請求項9記載之顯示位置調整方法，其中，該顯示要素係格子狀的圖案。
  12. 如請求項9記載之顯示位置調整方法，其中，該顯示要素係為複數之印記，該等複數之印記分別表示應用該座標轉換規則之該顯示器上的區域之複數頂點的位置。
  13. 如請求項8記載之顯示位置調整方法，更包含以下步驟： 由該電腦，在應用該座標轉換規則之該顯示器上的區域之至少一部分，顯示具有該顯示要素之該第一影像。
  14. 如請求項13記載之顯示位置調整方法，其中，應用該座標轉換規則之該顯示器上的區域，係該顯示器的一部分。
  15. 一種儲存媒體，儲存有用以使電腦發揮作為以下手段的功能之程式：顯示控制手段，在設置於載置物體的面之顯示器，顯示包含既定顯示要素之第一影像；轉換規則產生手段，取得由將該顯示器包含於拍攝範圍之拍攝裝置所產生出的第二影像，並使用該第二影像中之該顯示要素的偵測結果，產生將由該拍攝裝置拍攝到的影像中之座標轉換為該顯示器中之座標的座標轉換規則；物體位置座標取得手段，從藉由以該拍攝裝置拍攝該顯示器上載置之物體所得到的物體影像，取得該物體影像的座標系中之該物體的位置座標亦即第一位置座標；座標轉換手段，基於該座標轉換規則，將該第一位置座標轉換為該顯示器的座標系中之位置座標亦即第二位置座標；及資訊顯示手段，基於該第二位置座標，決定有關該物體之資訊在該顯示器上的顯示位置，並在該顯示位置顯示有關該物體的資訊。
TW107142849A 2017-12-01 2018-11-30 資訊處理裝置、顯示位置調整方法及儲存媒體 TWI734054B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017231436 2017-12-01
JP2017-231436 2017-12-01

Publications (2)

Publication Number Publication Date
TW201928878A TW201928878A (zh) 2019-07-16
TWI734054B true TWI734054B (zh) 2021-07-21

Family

ID=66665545

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107142849A TWI734054B (zh) 2017-12-01 2018-11-30 資訊處理裝置、顯示位置調整方法及儲存媒體

Country Status (4)

Country Link
US (1) US11610334B2 (zh)
JP (2) JP6930601B2 (zh)
TW (1) TWI734054B (zh)
WO (1) WO2019107484A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11673567B2 (en) 2020-04-14 2023-06-13 Plusai, Inc. Integrated fiducial marker for simultaneously calibrating sensors of different types
US11635313B2 (en) * 2020-04-14 2023-04-25 Plusai, Inc. System and method for simultaneously multiple sensor calibration and transformation matrix computation
US11366233B2 (en) 2020-04-14 2022-06-21 Plusai, Inc. System and method for GPS based automatic initiation of sensor calibration
CN114092882B (zh) * 2021-11-22 2024-08-27 广东电网有限责任公司广州供电局 一种基于任意位置多摄像头的作业人员定位方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140058A (ja) * 2000-07-25 2002-05-17 Casio Comput Co Ltd 画像表示装置、画像表示方法、および、プログラム
JP2003037855A (ja) * 2001-07-26 2003-02-07 Clarion Co Ltd 画像校正用データの計測装置及び計測方法
TW200935354A (en) * 2008-02-01 2009-08-16 Quanta Comp Inc System and method for determining coordinates

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3470247B2 (ja) * 1995-08-17 2003-11-25 富士通株式会社 画像生成装置及び画像生成方法
US7039253B2 (en) * 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
JP4816016B2 (ja) * 2005-11-11 2011-11-16 カシオ計算機株式会社 撮像装置及び画像表示方法
JP2008210348A (ja) 2007-02-28 2008-09-11 Univ Of Tokyo 画像表示装置
JP4906586B2 (ja) * 2007-05-16 2012-03-28 三菱電機株式会社 歪み補正装置及びプログラム
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
JP5300981B2 (ja) 2009-08-28 2013-09-25 三菱電機株式会社 輝度調整装置
EP3151212B1 (en) * 2010-01-04 2020-05-06 Samsung Electronics Co., Ltd. Electronic device including touch screen and operation control method thereof
US20120249430A1 (en) * 2011-03-31 2012-10-04 Oster David Phillip Multi-Touch Screen Recognition of Interactive Objects, and Application Thereof
JP5849560B2 (ja) * 2011-09-20 2016-01-27 セイコーエプソン株式会社 表示装置、プロジェクター、及び、表示方法
US8531474B2 (en) 2011-11-11 2013-09-10 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for jointly calibrating multiple displays in a display ensemble
US9239850B2 (en) * 2011-11-18 2016-01-19 Nec Corporation Feature descriptor encoding apparatus, feature descriptor encoding method, and program
JP5539297B2 (ja) * 2011-12-09 2014-07-02 シャープ株式会社 表示システム、較正方法、コンピュータプログラム、及び記録媒体
JP2013222740A (ja) 2012-04-13 2013-10-28 Panasonic Corp 外観検査装置および外観検査方法
JP6417690B2 (ja) 2014-01-21 2018-11-07 セイコーエプソン株式会社 プロジェクター、表示装置、及び、プロジェクターの制御方法
JP6390277B2 (ja) 2014-09-02 2018-09-19 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP6586758B2 (ja) * 2015-03-31 2019-10-09 ソニー株式会社 情報処理システム、情報処理方法及びプログラム
US10198722B2 (en) * 2015-07-15 2019-02-05 Toshiba Tec Kabushiki Kaisha Commodity-sales-data processing apparatus, commodity-sales-data processing method, and computer-readable storage medium
JP2017033454A (ja) * 2015-08-05 2017-02-09 キヤノン株式会社 情報入力装置、情報入力装置の制御方法及びプログラム
WO2017126253A1 (ja) 2016-01-21 2017-07-27 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6802519B2 (ja) 2016-09-26 2020-12-16 セイコーエプソン株式会社 流動性材料吐出装置
JP6896401B2 (ja) * 2016-11-25 2021-06-30 東芝テック株式会社 物品認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140058A (ja) * 2000-07-25 2002-05-17 Casio Comput Co Ltd 画像表示装置、画像表示方法、および、プログラム
JP2003037855A (ja) * 2001-07-26 2003-02-07 Clarion Co Ltd 画像校正用データの計測装置及び計測方法
TW200935354A (en) * 2008-02-01 2009-08-16 Quanta Comp Inc System and method for determining coordinates

Also Published As

Publication number Publication date
US20210174540A1 (en) 2021-06-10
US11610334B2 (en) 2023-03-21
JP2021185505A (ja) 2021-12-09
WO2019107484A1 (ja) 2019-06-06
JP7143925B2 (ja) 2022-09-29
JPWO2019107484A1 (ja) 2020-11-19
TW201928878A (zh) 2019-07-16
JP6930601B2 (ja) 2021-09-01

Similar Documents

Publication Publication Date Title
TWI734054B (zh) 資訊處理裝置、顯示位置調整方法及儲存媒體
JP7211455B2 (ja) 処理システム、処理方法及びプログラム
TW393629B (en) Hand gesture recognition system and method
JPH10214346A6 (ja) ハンドジェスチャ認識システムおよび方法
JP6483168B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN110728649A (zh) 用于生成位置信息的方法和装置
JP2016119090A (ja) 取得された画像内のクラッタを決定するためのシステム及び方法
JP7381330B2 (ja) 情報処理システム、情報処理装置及び情報処理方法
JP2007241477A (ja) 画像処理装置
JP6393409B2 (ja) 画像認識システム、カメラ状態推定装置及びプログラム
JP7322945B2 (ja) 処理装置、処理方法及びプログラム
JP7070654B2 (ja) 登録装置、登録方法及びプログラム
EP4174788A1 (en) Learning program, learning method, and information processing apparatus
WO2019181035A1 (ja) 登録システム、登録方法及びプログラム
JP2023064427A (ja) 推論プログラム、学習プログラム、推論方法および学習方法
JP7215474B2 (ja) 登録システム、登録方法及びプログラム
JP7006767B2 (ja) 画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム
JP6984725B2 (ja) 登録装置、登録方法及びプログラム
JP7435716B2 (ja) 登録装置、登録方法及びプログラム
JP7205603B2 (ja) 登録装置、登録方法及びプログラム
JP2021099629A (ja) 情報処理システム、情報処理装置及び情報処理方法
CN117529746A (zh) 物体识别系统、物体识别程序以及物体识别方法