TW201926194A - 處理系統、處理方法及程式 - Google Patents

Abstract

本發明提供一種處理系統(10)，具備：顯示器(2)，於顯示資訊之顯示面載置物體；以及運算裝置(5)，依據由拍攝顯示器(2)之顯示面的相機(4)所產生之影像資料，檢測載置於顯示面上的物體之在顯示面上的載置位置，使表示載置位置之資訊顯示於顯示器(2)。

Description

處理系統、處理方法及程式

本發明係關於一種處理系統、處理方法及程式。

於專利文獻1揭露一種裝置，藉由影像解析辨識載置於載置台的商品，登錄辨識出的商品，將指明辨識出的商品之圖像投影於商品上或載置台上。
[習知技術文獻]
[專利文獻]

專利文獻1：國際公開第2017/126253號

[本發明所欲解決的問題]

記載於專利文獻1之技術的情況，操作者，依據所投影的圖像，而可掌握影像解析之結果，例如是否辨識出載置於載置台的物體等。然則，記載於專利文獻1之技術的情況，例如雖從載置台之上方投影圖像，但在障礙物(例如操作者)位於投影位置與投影裝置之間的情況，變得無法將圖像投影於期望的位置。在未將既定影像投影於期望的位置之情況，操作者無法掌握影像解析之結果，變得無法順暢地進行操作。

本發明之課題在於，在藉由影像解析檢測物體的技術中，使操作者可掌握影像解析之結果。
[解決問題之技術機構]

依本發明，提供一種處理系統，具備：
顯示器，於顯示資訊之顯示面載置物體；
檢測機構，依據由拍攝該顯示面的相機所產生之影像資料，檢測載置於該顯示面上的物體之在該顯示面上的載置位置；以及
顯示控制機構，使表示該載置位置之資訊顯示於該顯示器。

此外，依本發明，提供一種處理方法，使電腦實行下述步驟：
檢測步驟，依據由拍攝「於顯示資訊之顯示面載置物體的顯示器之該顯示面」的相機所產生之影像資料，檢測載置於該顯示面上的物體之在該顯示面上的載置位置；以及
顯示控制步驟，使表示該載置位置之資訊顯示於該顯示器。

此外，依本發明，則提供一種程式，使電腦作為下述機構而作用：
檢測機構，依據由拍攝「於顯示資訊之顯示面載置物體的顯示器之該顯示面」的相機所產生之影像資料，檢測載置於該顯示面上的物體之在該顯示面上的載置位置；以及
顯示控制機構，使表示該載置位置之資訊顯示於該顯示器。
[本發明之效果]

依本發明，則在藉由影像解析檢測物體的技術中，使操作者可掌握影像解析之結果。

＜第1實施形態＞
首先，說明本實施形態之處理系統的概要。本實施形態之處理系統，藉由影像解析檢測載置於載置台的物體，將影像解析之結果顯示於顯示器。另，載置台的載置物體之面，成為顯示資訊之顯示器。亦即，於顯示器之顯示面載置物體，於該顯示器顯示影像解析之結果。

接著，利用圖1，對本實施形態之處理系統的硬體構成之一例予以說明。另，圖示之構成僅為一例，並未限定於此一構成。

處理系統10，具備顯示器2及運算裝置5。處理系統10，可進一步具備相機4。

顯示器2，構成載置物體的載置台1之一部分。顯示器2之顯示面，成為載置物體之面。圖中，與相機4相面對之面為顯示面。操作者，將物體載置於顯示器2之顯示面。於顯示面，顯示各種資訊。

相機4，拍攝顯示器2之顯示面。例如，可如同圖示地將相機4安裝於支柱3。相機4，可拍攝動態影像，亦可在既定時間點拍攝靜態圖像。

運算裝置5，取得由相機4產生之影像資料，解析該影像資料。而後運算裝置5，檢測載置於顯示器2之顯示面的物體。此外，運算裝置5，控制顯示器2，使既定資訊顯示於顯示器2。運算裝置5，使表示載置物體的位置之資訊，顯示於顯示器2。

另，顯示器2與運算裝置5，以可通訊的方式藉由任意機構連結。此外，相機4與運算裝置5，以可通訊的方式藉由任意機構連結。

接著，對於本實施形態之運算裝置5的硬體構成之一例予以說明。運算裝置5所具備的功能，係以任意電腦之CPU(Central Processing Unit，中央處理器)、記憶體、裝載於記憶體之程式、收納該程式之硬碟等記憶單元(除了在裝置出貨之階段預先收納的程式以外，亦可收納從CD(Compact Disc，光碟)等記錄媒體或網際網路上之伺服器等下載的程式)、網路連接用介面為中心，藉由硬體與軟體之任意組合而實現。而所屬技術領域中具有通常知識者，應理解此一實現方法在裝置具有各式各樣的變形例。

圖2為，例示運算裝置5的硬體構成之方塊圖。如圖2所示，運算裝置5，具備處理器1A、記憶體2A、輸出入介面3A、周邊電路4A、匯流排5A。於周邊電路4A，包含各式各樣的模組。另，亦可不具有周邊電路4A。

匯流排5A，係處理器1A、記憶體2A、周邊電路4A、及輸出入介面3A彼此收發資料所用之資料傳遞路徑。處理器1A，例如為CPU(Central Processing Unit，中央處理器)、GPU(Graphics Processing Unit，圖形處理器)等運算處理裝置。記憶體2A，例如為RAM(Random Access Memory，隨機存取記憶體)或ROM(Read Only Memory，唯讀記憶體)等記憶體。輸出入介面3A，包含用於從輸入裝置(例：鍵盤、滑鼠、麥克風等)、外部裝置、外部伺服器、外部感測器等取得資訊的介面，以及用於往輸出裝置(例：顯示器、揚聲器、印表機、郵件處理器等)、外部裝置、外部伺服器等輸出資訊的介面等。處理器1A，可往各模組送出指令，依據其等之運算結果進行運算。

於圖3，顯示處理系統10的功能方塊圖之一例。如同圖示，處理系統10，具備顯示器11、檢測部12、及顯示控制部13。此處，說明其與圖2的硬體構成例之對應關係。圖3之顯示器11，對應於圖1之顯示器2。圖3之檢測部12及顯示控制部13，為圖1之運算裝置5所具備。以下，說明圖3之各功能部的功能。

顯示器11，顯示資訊。於顯示器11的顯示資訊之顯示面載置物體。

檢測部12，依據由拍攝顯示器11之顯示面的相機(圖1的相機4)所產生之影像資料，檢測載置於顯示器11之顯示面的物體。

接著，檢測部12，檢測所檢測到的物體之影像內的位置。檢測部12，例如，可在以影像內的任意點為原點，以任意方向為x軸及y軸之二維影像座標系，表示檢測到的物體之影像內的位置。

而後，檢測部12，依據預先保存之「將影像內的位置轉換為顯示器11之顯示面上的位置之轉換規則」，將檢測到的物體之影像內的位置，轉換為顯示器11之顯示面上的位置(載置位置)。例如，檢測部12，在以顯示器11之顯示面上的任意點為原點，以任意方向為x軸及y軸之二維顯示面座標系，表示顯示器11之顯示面上的位置。而後，檢測部12，可依據將二維影像座標系的座標轉換為二維顯示面座標系的座標之轉換規則(例：投影轉換矩陣)，將檢測到的物體之影像內的位置，轉換為顯示器11之顯示面上的位置(載置位置)。固定顯示器11之位置及朝向、及拍攝顯示器11之顯示面的相機之位置及朝向。上述轉換規則為，在該狀態下，將影像內的位置轉換為顯示器11之顯示面上的位置之規則。

顯示控制部13，使表示檢測到之物體的載置位置之資訊，顯示於顯示器11。例如，顯示控制部13，可與載置位置對應而將既定資訊顯示於顯示器11。於圖4顯示一例。

圖示的例子中，於顯示器11之顯示面載置1件物體T。此外，將表示該物體T的載置位置之標誌M，顯示在顯示器11之顯示面。圖示之標誌M，為包圍載置位置之框，以既定顏色塗滿其內部。另，如圖23所示，標誌M亦可為內部未塗滿之框。

此外，顯示控制部13，亦可如圖5所示，使既定資訊(標誌M)，顯示在物體T的載置位置周邊之既定位置。例如，顯示控制部13，可使既定資訊，顯示在位於與載置位置之預先決定的位置關係的位置(載置位置周邊)。作為一例，顯示控制部13，可使既定資訊(標誌M)，顯示在從載置位置(或載置位置的代表點)於顯示器11之顯示面上往預先決定的方向移動預先決定的量之位置。

另，標誌M，並未限定為圖4與圖5所示之形態，亦可由其他圖形、文字、數字、記號等構成。

此外，圖示的例子中，雖僅將1件物體載置於顯示器11之顯示面，但亦可將複數件物體同時載置於顯示器11之顯示面。此一情況，顯示控制部13，可與每件物體對應而使顯示之標誌M的態樣(例：顏色、形狀、大小、資訊、顯示位置等)不同。如此一來，則變得容易區分。

接著，利用圖6之流程圖，說明本實施形態之處理系統10的處理流程之一例。

在S10中，檢測部12，解析由拍攝顯示器11之顯示面的相機所產生之影像資料。藉由該解析，檢測部12，檢測載置於顯示器11之顯示面的物體。此外，檢測部12，檢測所檢測到的物體之影像內的位置。而後，檢測部12，依據預先保存之轉換規則，將檢測到的物體之影像內的位置，轉換為顯示器11之顯示面上的位置(物體的載置位置)。

在S11中，顯示控制部13，依據S10的解析結果，決定使顯示器11顯示的資訊。顯示控制部13，例如，如圖4或圖5所示，使表示物體T的載置位置之標誌M，顯示於顯示器11。

另，拍攝顯示器11之相機，亦可連續地拍攝動態影像。而後，檢測部12，可持續該動態影像的解析。而若檢測部12檢測到物體，則因應此一檢測，顯示控制部13可使既定資訊顯示於顯示器11。

此外，檢測部12，亦可追蹤檢測到的物體之移動，監視該物體的載置位置之變化。而後，顯示控制部13，可對應於物體的載置位置之變化，而改變表示該物體的載置位置之資訊的顯示位置。

此外，在檢測到的物體移動而從相機視角看不到之情況，顯示控制部13，可因應看不到的檢測而直接結束表示該物體的載置位置之資訊的顯示，亦可在從看不到的檢測經過既定時間後結束表示該物體的載置位置之資訊的顯示。後者之情況，如圖12所示，在物體從顯示器11上移動後之一定時間，仍持續顯示表示該物體的載置位置之資訊。

依上述說明的本實施形態之處理系統10，則操作者，可依據顯示在顯示器的資訊，而掌握影像解析之結果。

此外，本實施形態之處理系統10中，載置物體之面，成為顯示器11之顯示面。因此，在進行將物體載置於既定位置的操作時、及確認影像解析的結果時之任一時間，操作者面對的方向皆為顯示器11之顯示面的方向。此一情況，操作者，以每次操作時不進行改變面對的方向等之繁雜操作的方式解決。結果，可有效率地進行操作。

＜第2實施形態＞
本實施形態之處理系統10，在下述點與第1實施形態不同：辨識物體之類別，將對應於該辨識結果的資訊顯示於顯示器11。

處理系統10的硬體構成之一例，與第1實施形態相同。處理系統10的功能方塊圖之一例，與第1實施形態同樣地，以圖3顯示。如同圖示，處理系統10，具備顯示器11、檢測部12、及顯示控制部13。顯示器11之構成，與第1實施形態相同。

檢測部12，依據影像資料，辨識載置於顯示器11之顯示面的物體之類別。例如，將複數件物體各自之外觀影像的特徵量預先登錄於處理系統10。而後，檢測部12，若解析影像資料而檢測物體，則利用該特徵量，辨識檢測到的物體之類別。檢測部12之其他功能構成，與第1實施形態相同。

顯示控制部13，使與辨識出類別的物體之載置位置對應而顯示的資訊、和與未辨識出類別的物體之載置位置對應而顯示的資訊不同。顯示控制部13之其他構成，與第1實施形態相同。

例如，顯示控制部13，可使與載置位置對應而顯示之標誌M(參考圖4、圖5)的態樣(例：顏色、形狀、大小、資訊、顯示位置等)，在辨識出類別之情況，與未辨識出類別之情況不同。於圖7顯示一例。在該例子中，顯示控制部13，與辨識出類別的物體對應而顯示標誌M1，與未辨識出類別的物體對應而顯示標誌M2。此一情況，操作者，藉由目視確認標誌M，而可掌握「是否檢測出各物體」、及「各物體是否辨識出類別」。

其他，顯示控制部13，可將對應於辨識出的物體之類別的資訊，與各物體的載置位置對應而顯示。例如，可依物體之每一類別，將與載置位置對應而顯示之標誌M(參考圖4、圖5)的態樣(例：顏色、形狀、大小、資訊、顯示位置等)，預先登錄於處理系統10。而後，顯示控制部13，可依據該登錄內容、辨識出的各物體之類別，決定與各物體的載置位置對應而顯示之資訊。此一情況，操作者，藉由目視確認標誌M，而可掌握「辨識出的物體之類別」。而後，操作者，藉由比較該物體之真實類別、及辨識出的物體之類別，而可確認影像解析是否正確施行。

本實施形態之處理系統10的處理流程之一例，與第1實施形態相同。

依上述說明的本實施形態之處理系統10，則可實現與第1實施形態相同之作用效果。此外，依本實施形態之處理系統10，則可辨識物體之類別，將對應於辨識結果之有用的資訊顯示於顯示器11。

＜第3實施形態＞
本實施形態之處理系統10，在下述點與第1及第2實施形態不同：檢測物體之形狀，將對應於該檢測結果的資訊顯示於顯示器11。

處理系統10的硬體構成之一例，與第1及第2實施形態相同。處理系統10的功能方塊圖之一例，與第1及第2實施形態同樣地，以圖3顯示。如同圖示，處理系統10，具備顯示器11、檢測部12、及顯示控制部13。顯示器11之構成，與第1及第2實施形態相同。

檢測部12，依據影像資料，辨識載置於顯示器11之顯示面的物體之既定面的形狀。檢測部12，亦可進一步檢測既定面的大小。檢測部12之其他功能構成，與第1及第2實施形態相同。既定面，可為面向相機之面，可為與顯示器11抵接之面，亦可為其他面。

檢測部12，亦可藉由影像解析將既定面之輪廓抽出，依據其而辨識既定面的形狀與大小。其他，亦可依物體之每一類別，將既定面的形狀與大小預先登錄於處理系統10。而後，檢測部12，亦可在辨識載置於顯示器11之顯示面的物體之類別後，參考登錄的資訊，辨識與辨識出的物體之類別對應而登錄之既定面的形狀與大小。

顯示控制部13，使與既定面的形狀為相似形狀之標誌，顯示於顯示器11。顯示控制部13之其他構成，與第1及第2實施形態相同。

例如，顯示控制部13，可如圖8所示，使與既定面的形狀為相似形狀之框(標誌M)，顯示於顯示器11。圖示的例子之情況，既定面，係面相相機之面，或與顯示器11抵接之面。

另，顯示控制部13，可如圖8所示，使與既定面為相似形狀，且較既定面更大之框(標誌M)，顯示於顯示器11。

此外，雖未圖示，但顯示控制部13，亦可使圖5所示的顯示在載置位置周邊之既定位置的標誌M之形狀，與既定面的形狀為相似形狀。

操作者，藉由比較該物體的既定面之真實形狀、與顯示於顯示器11的標誌M之形狀，而可確認影像解析是否正確施行。此外，如圖8所示，藉由使標誌M之大小較物體的既定面之大小更大，可避免標誌M被物體隱藏而變得不易目視確認的不便。

本實施形態之處理系統10的處理流程之一例，與第1及第2實施形態相同。

依上述說明的本實施形態之處理系統10，則可實現與第1及第2實施形態相同之作用效果。此外，依本實施形態之處理系統10，則可辨識物體之形狀與大小，將對應於辨識結果之有用的資訊顯示於顯示器11。

＜第4實施形態＞
本實施形態之處理系統10，在下述點與第1至第3實施形態不同：檢測物體之顏色，將對應於該檢測結果的資訊顯示於顯示器11。

處理系統10的硬體構成之一例，與第1至第3實施形態相同。處理系統10的功能方塊圖之一例，與第1至第3實施形態同樣地，以圖3顯示。如同圖示，處理系統10，具備顯示器11、檢測部12、及顯示控制部13。顯示器11之構成，與第1至第3實施形態相同。

檢測部12，依據影像資料，檢測載置於顯示面上的物體之顏色。例如，檢測部12，可將影像內的物體存在之範圍內的占有面積最大之顏色，檢測為該物體之顏色。檢測部12之其他功能構成，與第1至第3實施形態相同。

檢測部12，可藉由影像解析將物體之輪廓抽出，指明其中占有面積最大之顏色。其他，亦可依物體之每一類別，將該物體之顏色預先登錄於處理系統10。而後，檢測部12，可在辨識出載置於顯示器11之顯示面的物體之類別後，參考登錄的資訊，辨識與辨識出的物體之類別對應而登錄的顏色。

顯示控制部13，以依據檢測到的物體之顏色所決定之顏色，顯示既定資訊(例：標誌M)。顯示控制部13之其他構成，與第1至第3實施形態相同。

例如，顯示控制部13，可藉由與檢測到之顏色相同之顏色，顯示既定資訊。此一情況，操作者，藉由比較該物體之真實顏色、與顯示在顯示器11的既定資訊之顏色，而可確認影像解析是否正確施行。

其他，顯示控制部13，亦可藉由與檢測到之顏色不同之顏色(例：相反色)，顯示既定資訊。此一情況，藉由顏色明顯地區別物體與既定資訊，故操作者容易觀看既定資訊。

本實施形態之處理系統10的處理流程之一例，與第1至第3實施形態相同。

依上述說明的本實施形態之處理系統10，則可實現與第1至第3實施形態相同之作用效果。此外，依本實施形態之處理系統10，則可檢測物體之顏色，將對應於檢測結果之有用的資訊顯示於顯示器11。

＜第5實施形態＞
本實施形態之處理系統10，在下述點與第1至第4實施形態不同：在複數件物體接近載置之情況、與複數件物體未接近載置之情況，以不同的態樣，將既定資訊顯示於顯示器11。複數件物體接近載置之情況，若分別對應而將既定資訊顯示於顯示器11，則有變得不易觀看之情況。藉由在該情況使顯示手法不同，即便為複數件物體接近載置之情況，仍容易觀看既定資訊。

處理系統10的硬體構成之一例，與第1至第4實施形態相同。處理系統10的功能方塊圖之一例，與第1至第4實施形態同樣地，以圖3顯示。如同圖示，處理系統10，具備顯示器11、檢測部12、及顯示控制部13。顯示器11之構成，與第1至第4實施形態相同。

檢測部12，在檢測到複數個載置位置之情況，判斷彼此的距離是否為基準值以下。檢測部12之其他構成，與第1至第4實施形態相同。

顯示控制部13，使與彼此的距離為基準值以下之複數個載置位置對應而顯示的既定資訊、和與其他載置位置對應而顯示的既定資訊不同。顯示控制部13之其他構成，與第1至第4實施形態相同。

例如，顯示控制部13，可使與彼此的距離為基準值以下之複數個載置位置分別對應而顯示的既定資訊之顏色，彼此不同。藉由區分顏色，而變得容易區分複數既定資訊。

其他，顯示控制部13，亦可與彼此的距離為基準值以下之複數個載置位置對應而顯示1個既定資訊，且顯示表示與該既定資訊對應之載置位置的數量之資訊。於圖9顯示一例。圖9中，與2件物體T1及T2對應，顯示包圍其等的1個框(標誌M)。而後，與該標誌M對應，顯示表示與該標誌M對應之載置位置的數量「2」之資訊。

其他，顯示控制部13，亦可顯示將彼此的距離為基準值以下之複數個載置位置全部包圍的多層框(既定資訊)。而顯示控制部13，亦可使重疊之框的數量，與以多層框包圍之載置位置的數量一致。亦即，可使包圍2個載置位置的框為2層的框，使包圍M個載置位置的框為M層的框。

本實施形態之處理系統10的處理流程之一例，與第1至第4實施形態相同。

依上述說明的本實施形態之處理系統10，則可實現與第1至第4實施形態相同之作用效果。此外，依本實施形態之處理系統10，在複數件物體接近載置之情況、與複數件物體未接近載置之情況，能夠以不同的態樣，將既定資訊顯示於顯示器11。在複數件物體接近載置之情況，若分別對應而將既定資訊顯示於顯示器11則有變得不易觀看之情況。在該情況藉由使顯示手法不同，即便為複數件物體接近載置之情況，仍容易觀看既定資訊。

＜第6實施形態＞
本實施形態之處理系統10，在下述點與第1至第5實施形態不同：在無法辨識物體之類別的情況，指明無法辨識之原因，將對應於所指明之原因的資訊顯示於顯示器11。

處理系統10的硬體構成之一例，與第1至第5實施形態相同。處理系統10的功能方塊圖之一例，與第1至第5實施形態同樣地，以圖3顯示。如同圖示，處理系統10，具備顯示器11、檢測部12、及顯示控制部13。顯示器11之構成，與第1至第5實施形態相同。

檢測部12，在無法辨識載置於顯示器11之顯示面上的物體之類別的情況，指明無法辨識之原因。作為錯誤的原因，例示有「物體之一部分看不見」、「物體的主要面並未朝向相機」、「複數件物體重疊」等。檢測部12，可藉由影像解析指明其等之原因。檢測部12之其他構成，與第1至第5實施形態相同。

顯示控制部13，使對應於所指明之原因的資訊，顯示於顯示器11。顯示控制部13之其他構成，與第1至第5實施形態相同。

例如，如圖24所示，在錯誤的原因為「物體之一部分看不見」之情況，顯示控制部13，可使「請移動物體的位置以使相機拍攝全體」之資訊顯示於顯示器11。抑或，顯示控制部13，亦可取代該資訊，或在該資訊進一步加上使表示使物體移動的方向之資訊(圖示的箭頭)顯示於顯示器11。其他，雖未圖示，但在錯誤的原因為「物體的主要面並未朝向相機」之情況，顯示控制部13，可使「請將物體的商品名朝向相機」之資訊顯示於顯示器11。此外，在錯誤的原因為「複數件物體重疊」之情況，顯示控制部13，可使「請勿使物體重疊」之資訊顯示於顯示器11。

本實施形態之處理系統10的處理流程之一例，與第1至第5實施形態相同。

依上述說明的本實施形態之處理系統10，則可實現與第1至第5實施形態相同之作用效果。此外，依本實施形態之處理系統10，則在無法辨識物體之類別的情況，可指明其原因，使對應於所指明之原因的指引顯示在顯示器11。

＜第7實施形態＞
本實施形態之處理系統10，在下述點與第1至第6實施形態不同：限定在作為登錄商品之POS(point of sales，銷售時點資訊)暫存器的利用。POS暫存器可假定為店員操作，亦可假定為顧客操作。

處理系統10的硬體構成之一例，以圖10顯示。在具備登錄裝置6的點，與第1至第6實施形態不同。

本實施形態中，於顯示器2載置結帳對象的商品(物體)。運算裝置5，一藉由影像解析辨識載置於顯示器2的商品之種類，則將辨識結果往登錄裝置6發送。登錄裝置6，將藉由運算裝置5辨識出之商品種類，登錄作為結帳對象。登錄裝置6，亦可將登錄之商品種類，顯示在與顯示器2不同的顯示器。此外，登錄裝置6，亦可從伺服器取得商品資訊(包含單價等)，算出結帳金額。

處理系統10的功能方塊圖之一例，以圖11顯示。如同圖示，處理系統10，具備顯示器11、檢測部12、顯示控制部13、及登錄部14。顯示器11及檢測部12之構成，與第1至第6實施形態相同。

登錄部14，將藉由檢測部12辨識出之商品種類登錄作為結帳對象。

顯示控制部13，可將辨識出的商品之名稱、該商品之金額、及與該商品相關的商品之廣告中的至少1項與各商品對應，顯示於顯示器11。顯示控制部13之其他構成，與第1至第6實施形態相同。相關的商品，可為與各商品同種類的商品，亦可為常與各商品一同購入的商品。

操作者，依據顯示的商品之名稱，可確認各商品是否正確辨識。

其他，顯示控制部13，亦可在商品識別開始前、商品識別中、付款完成的每一狀態，改變顯示於顯示器11的資訊。狀態之檢測，可藉由檢測部12所進行之影像解析施行，亦可依據對於登錄裝置6的輸入內容而施行。

另，第1至第6實施形態所說明之處理系統10的應用例，並未限定為第7實施形態所說明之內容。例如，處理系統10，亦可利用在商品或製品的檢驗等。

＜第8實施形態＞
為了將藉由解析載置台上的物體之影像而獲得的辨識結果，顯示在顯示器11上之正確的位置，而必須將由相機4產生之影像的座標系，與顯示器11之顯示面的座標系匹配。本實施形態中，對於用於解決此一課題的構成予以說明。

本實施形態之處理系統10，在下述點與第1至第7實施形態不同：具有產生第1實施形態所說明之「將影像內的位置轉換為顯示器11之顯示面上的位置之座標轉換規則」的功能。

圖13為，顯示第8實施形態之處理系統10的功能構成之一例的方塊圖。如圖13所示，本實施形態之處理系統10，具備顯示控制部13及轉換規則產生部15。處理系統10之顯示控制部13及轉換規則產生部15，例如為圖1之運算裝置5(資訊處理裝置)所具備。另，雖未圖示，但處理系統10，亦可進一步具備上述各實施形態之構成。

本實施形態中，顯示控制部13，在設置於載置物體之面的顯示器，顯示包含既定顯示要素之影像(以下亦記作「第1影像」)。此外，轉換規則產生部15，利用顯示在顯示器上的既定顯示要素，產生可將由相機4等拍攝裝置產生之影像的座標轉換為顯示器11之顯示面的座標之規則(座標轉換規則)。首先，轉換規則產生部15，取得利用相機4拍攝到之顯示上述第1影像的顯示器11之影像(以下亦記作「第2影像」)。此處，相機4，例如如圖1所示地配置於顯示器11之上方，顯示器11包含在拍攝範圍。而後，轉換規則產生部15，利用第2影像的顯示要素之檢測結果，產生將由相機4產生之影像的座標，轉換為顯示器11的座標之座標轉換規則。

茲就本實施形態之處理系統10的作用及效果予以說明。本實施形態中，首先，使包含既定顯示要素之第1影像顯示於顯示器上。而後，藉由相機4，產生將顯示於顯示器上之第1影像包含作為被拍攝體的第2影像。而後，藉由解析第2影像，而檢測第1影像的顯示要素。而後，利用第2影像的顯示要素之檢測結果，產生第1影像與第2影像之間的座標轉換規則。藉由利用如此地產生的座標轉換規則，而可將載置於顯示器上的物體之影像的解析結果(該物體的辨識結果或辨識位置等)，對準該物體之位置，顯示於顯示器上。

以下，更為詳細地說明本實施形態。

圖14為，例示本實施形態之運算裝置5的硬體構成之方塊圖。圖14中，進一步具備儲存設備6A。本實施形態之儲存設備6A，儲存有用於實現上述顯示控制部13及轉換規則產生部15的功能之程式模組。處理器1A，藉由在記憶體2A上讀取而實行此等程式模組，而實現上述顯示控制部13及轉換規則產生部15的功能。另，關於處理器1A、記憶體2A、輸出入介面3A、周邊電路4A、及匯流排5A，如同第1實施形態所說明的內容。

圖15為，例示藉由第8實施形態之處理系統10實行的顯示位置調整處理流程之流程圖。

首先，顯示控制部13，判定是否檢測到顯示位置調整處理之實行指示(S202)。作為一例，對應於使用者的操作(例如，按壓顯示在未圖示的畫面之既定按鈕等)，而產生顯示位置調整處理之實行指示，往顯示控制部13發送。作為另一例，顯示位置調整處理的實行指示，亦可遵循預先設定之時間表而自動地產生。作為另一例，顯示位置調整處理的實行指示，亦可在顯示器11上的動作(例如，載置於顯示器11上的物體之移動、顯示器11上的顯示內容之切換等)尚未施行一定時間以上之情況，自動地產生。

在顯示控制部13並未檢測到顯示位置調整處理的實行指示之情況(S202：NO)，不實行下述說明之處理。另一方面，顯示控制部13，在檢測到顯示位置調整處理的實行指示之情況(S202：YES)，讀取第1影像(S204)。第1影像，例如，預先儲存在儲存設備6A等。而後，顯示控制部13，使從儲存設備6A等讀取之第1影像，顯示在經由輸出入介面3A而連接的顯示器11(S206)。以下，說明數個由顯示控制部13顯示之第1影像的具體例。

(第1影像的具體例)
藉由顯示控制部13顯示之第1影像，係為了產生將由相機4產生之影像上的座標轉換為顯示器11之顯示面上的座標之座標轉換規則所利用的影像。圖16至圖21為，顯示設置於載置台1之顯示器11所顯示的第1影像之一例的圖。

圖16及圖17所例示之第1影像，將與重複的特定圖樣不同之形狀，包含作為既定顯示要素。具體而言，第1影像，包含人或物等表示固有特徵之顯示要素。藉由顯示具有與重複的特定圖樣為不同形狀之第1影像，相較於顯示後述具有重複的特定圖樣之第1影像的情況，可提高第2影像中的顯示要素之各特徵點的檢測精度。另，圖16的例子中，顯示控制部13，使第1影像顯示在顯示器11之顯示區域全體。此外，圖17的例子中，顯示控制部13，使第1影像顯示在顯示器11之顯示區域的一部分。另，圖17中以斜線部表示的區域，表示並未顯示第1影像的區域。顯示控制部13，例如可構成為，顯示與在顯示器11上應用座標轉換規則的區域對應之大小的第1影像。此一情況，圖16的例子中，顯示器11之顯示區域全體，成為座標轉換規則之應用區域。此外，圖17的例子中，顯示器11之一部分成為領域座標轉換規則之應用區域。

圖18及圖19所例示之第1影像，將係重複的特定圖樣之一例的格子狀之圖樣，包含作為既定顯示要素。另，圖18及圖19僅為一例，第1影像亦可具有重複的格子狀以外之圖樣。圖18的例子中，顯示控制部13，使具有格子狀之圖樣的第1影像，顯示在顯示器11之顯示區域全體。此外，圖19的例子中，顯示控制部13，使具有格子狀之圖樣的第1影像，顯示在顯示器11之顯示區域的一部分。另，圖19中以斜線部表示的區域，表示並未顯示第1影像的區域。顯示控制部13，例如可構成為，顯示與在顯示器11上應用座標轉換規則的區域對應之大小的第1影像。此一情況，圖18的例子中，顯示器11之顯示區域全體，成為座標轉換規則之應用區域。此外，圖19的例子中，顯示器11之一部分成為領域座標轉換規則之應用區域。

圖20及圖21所例示之第1影像，將複數個標記a、b、c、及d，包含作為既定顯示要素。圖20及圖21的例子中，複數個標記a、b、c、及d，分別顯示在顯示器11上應用座標轉換規則之區域的複數個頂點之位置。換而言之，圖20及圖21所例示之第1影像，在應用座標轉換規則之區域的至少一部分，具備顯示要素(複數個標記a、b、c、及d)。依圖20及圖21例示的第1影像，則可簡單地以影像之外觀掌握座標轉換規則的應用範圍。另，圖20及圖21僅為一例，第1影像亦可具有與此等附圖所示的標記不同的標記。圖20的例子中，顯示控制部13，使具有複數個標記a、b、c、及d的第1影像，顯示在顯示器11之顯示區域全體。此外，圖21的例子中，顯示控制部13，使具有複數個標記a、b、c、及d的第1影像，顯示在顯示器11之顯示區域的一部分。另，圖21中以斜線部表示的區域，表示並未顯示第1影像的區域。顯示控制部13，例如可構成為，顯示與在顯示器11上應用座標轉換規則的區域對應之大小的第1影像。此一情況，圖20的例子中，顯示器11之顯示區域全體，成為座標轉換規則之應用區域。此外，圖21的例子中，顯示器11之一部分成為領域座標轉換規則之應用區域。

回到圖15，若藉由顯示控制部13將第1影像顯示於顯示器11上，則相機4產生將該第1影像包含作為被拍攝體的第2影像(例：圖22)。圖22為，概略顯示相機4拍攝顯示在顯示器11上之第1影像的樣子之圖。如圖22所示，相機4，藉由拍攝顯示在顯示器11上之第1影像A，而產生將第1影像A包含作為被拍攝體的第2影像B。

而後，轉換規則產生部15，取得由相機4產生之第2影像(S208)。而後，轉換規則產生部15，藉由解析第2影像，而檢測該第2影像中之第1影像的顯示要素之位置(S210)。例如，圖22所示之第1影像A，例如包含人的眼睛等顯示要素中之複數個特徵點P。作為一例，轉換規則產生部15，首先，藉由在2個影像間對照SURF(Speeded Up Robust Features，加速穩健特徵)或SIFT(Scale-Invariant Feature Transform，尺度不變特徵轉換)等局部特徵量，而可檢測第2影像B之特徵點P。藉此，指明在第2影像中之第1影像的顯示要素之位置。

而後，轉換規則產生部15，利用在第2影像中的顯示要素之檢測位置，產生將由相機4產生之影像的座標轉換為顯示器11的座標之座標轉換規則(S212)。作為一例，轉換規則產生部15，取得第1影像中的複數個特徵點各自之位置，將其與在S210的處理檢測到之第2影像中的複數個特徵點各自之位置比較。另，表示第1影像中的複數個特徵點各自之位置的資訊，例如，以與第1影像相關之狀態儲存在儲存設備6A等。此外，在第1影像與第2影像之間比較的特徵點之組合，係藉由上述對照結果決定。而後，轉換規則產生部，依據第1影像中的複數個特徵點各自之位置與第2影像中的複數個特徵點各自之位置的對應關係，推定將第1影像上的座標轉換為第2影像上的座標之單應性矩陣(homography matrix)H。例如，關於第1影像中之某特徵點，使第1影像中的座標為(x、y)，第2影像中的座標為(X、Y)。此一情況，轉換規則產生部15，推定將座標(x、y)轉換為座標(X、Y)之單應性矩陣H。另，轉換規則產生部15，在依據複數個特徵點之對照結果推定單應性矩陣H時，例如可利用RANSAC(Random Sample Consensus，隨機抽樣一致)運算法則等。而後，轉換規則產生部15，算出推定出之單應性矩陣H的反矩陣H^-1 。而後，轉換規則產生部15，作為將第2影像上的座標轉換為第1影像上的座標之座標轉換規則，將算出之反矩陣H^-1 儲存在記憶體2A或儲存設備6A。另，轉換規則產生部15，亦可依據第1影像中的座標(x、y)及第2影像中的座標(X、Y)，直接求算將第2影像的座標(X、Y)轉換為第1影像的座標(x、y)之單應性矩陣。

此外，將如圖18及圖19所示之影像顯示在顯示器11的情況，轉換規則產生部15，例如可如同下述地，產生座標轉換規則。首先，轉換規則產生部15，取得映在第2影像之，第1影像的基準點(例如，各格子點)之位置座標。另，轉換規則產生部15，可利用樣本匹配(template matching)等影像辨識運算法則，取得第2影像中之第1影像的各格子點之位置座標。而後，轉換規則產生部15，取得第1影像中的各格子點之位置座標。另，第1影像中的各格子點之位置座標，例如，預先儲存於儲存設備6A等。而後，轉換規則產生部15，依據第1影像中的各格子點之位置座標、及第2影像中之第1影像的各格子點之位置座標，算出將第2影像的座標轉換為第1影像的座標之單應性矩陣(座標轉換規則)。

此外，將如圖20及圖21所示之第1影像顯示在顯示器11的情況，轉換規則產生部15，例如可如同下述地，產生座標轉換規則。首先，轉換規則產生部15，辨識映在第2影像之，第1影像的基準點(四角隅的標記a～d)之座標位置。另，轉換規則產生部15，例如，可利用樣本匹配等影像辨識運算法則，辨識四角隅的標記a～d。而後，轉換規則產生部15，取得第1影像中的四角隅之標記a～d的座標位置。另，第1影像中的四角隅之標記a～d的座標位置，例如，預先儲存於儲存設備6A等。而後，轉換規則產生部15，依據第1影像中的四角隅之標記a～d的座標位置，與第2影像中之第1影像的四角隅之標記a～d的座標位置之對應關係，算出將第2影像的座標轉換為第1影像的座標之單應性矩陣(座標轉換規則)。

以上，依本實施形態，則可產生將第2影像的座標轉換為第1影像的座標之座標轉換規則。而後，藉由利用該座標轉換規則，而可將載置於顯示器上的物體之影像的解析結果(該物體的辨識結果或辨識位置等)，對準該物體之位置，顯示於顯示器上。

以上，雖參考附圖，對本發明之實施形態予以描述，但其等僅為本發明之例示，亦可採用上述以外之各種構成。

此外，上述說明所使用之複數流程圖中，雖依序記載複數個步驟(處理)，但在各實施形態實行的步驟之實行順序，並未限制於其記載順序。各實施形態中，可在不妨礙內容的範圍內變更圖示的步驟之順序。此外，可將上述各實施形態，在內容不違背的範圍內予以組合。

以下，附註參考形態之例子。
1、一種處理系統，具備：
顯示器，於顯示資訊之顯示面載置物體；
檢測機構，依據由拍攝該顯示面的相機所產生之影像資料，檢測載置於該顯示面上的物體之在該顯示面上的載置位置；以及
顯示控制機構，使表示該載置位置之資訊顯示於該顯示器。
2、如第1點記載之處理系統，其中，
該檢測機構，依據該影像資料，辨識載置於該顯示面上的物體之類別。
3、如第2點記載之處理系統，其中，
該物體為商品；
結帳對象的商品載置於該顯示面；
該處理系統進一步包含登錄機構，將藉由該檢測機構辨識出之商品種類登錄作為結帳對象。
4、如第1至3點中任一點記載之處理系統，其中，
該顯示控制機構，與該載置位置對應而將既定資訊顯示於該顯示器。
5、如第4點記載之處理系統，其中，
該顯示控制機構，使包圍該載置位置之框，顯示於該顯示器。
6、如第5點記載之處理系統，其中，
該檢測機構，依據該影像資料，檢測載置於該顯示面上的物體之既定面的形狀；
該顯示控制機構，使與該既定面的形狀為相似形狀之該框，顯示於該顯示器。
7、如第6點記載之處理系統，其中，
該檢測機構，依據該影像資料，檢測該既定面的大小；
該顯示控制機構，使與該既定面為相似形狀，且較該既定面更大之該框，顯示於該顯示器。
8、如第4點記載之處理系統，其中，
該顯示控制機構，在位於與該載置位置之預先決定的位置關係的位置，顯示該既定資訊。
9、如第4至8點中任一點記載之處理系統，其中，
該檢測機構，依據該影像資料，檢測載置於該顯示面上的物體之顏色；
該顯示控制機構，以依據檢測到的物體之顏色所決定之顏色，顯示該既定資訊。
10、如第4至9點中任一點記載之處理系統，其中，
該顯示控制機構，使與彼此的距離為基準值以下之複數個該載置位置對應而顯示的該既定資訊、和與其他該載置位置對應而顯示的該既定資訊不同。
11、如第10點記載之處理系統，其中，
該顯示控制機構，與彼此的距離為基準值以下之複數個該載置位置對應而顯示1個該既定資訊，且顯示表示與該既定資訊對應之該載置位置的數量之資訊。
12、如第10點記載之處理系統，其中，
該顯示控制機構，使與彼此的距離為基準值以下之複數個該載置位置分別對應而顯示的該既定資訊之顏色，彼此不同。
13、如附屬於第2或3點之第4至12點中任一點記載之處理系統，其中，
該顯示控制機構，使與辨識出類別的物體之該載置位置對應而顯示的資訊、和與未辨識出類別的物體之該載置位置對應而顯示的資訊不同。
14、如附屬於第2或3點之第4點記載之處理系統，其中，
該顯示控制機構，顯示對應於辨識出的物體之類別的資訊。
15、如第14點記載之處理系統，其中，
該物體為商品；
該顯示控制機構，顯示商品之名稱、金額及廣告中的至少1個。
16、如第2點記載之處理系統，其中，
該檢測機構，在無法辨識載置於該顯示面上的物體之類別的情況，指明無法辨識之原因；
該顯示控制機構，使對應於所指明之原因的資訊，顯示於該顯示器。
17、一種處理方法，使電腦實行下述步驟：
檢測步驟，依據由拍攝「於顯示資訊之顯示面載置物體的顯示器之該顯示面」的相機所產生之影像資料，檢測載置於該顯示面上的物體之在該顯示面上的載置位置；以及
顯示控制步驟，使表示該載置位置之資訊顯示於該顯示器。
18、一種程式，使電腦作為下述機構而作用：
檢測機構，依據由拍攝「於顯示資訊之顯示面載置物體的顯示器之該顯示面」的相機所產生之影像資料，檢測載置於該顯示面上的物體之在該顯示面上的載置位置；以及
顯示控制機構，使表示該載置位置之資訊顯示於該顯示器。

本申請案，主張以2017年12月1日提出申請之日本專利申請第2017-231435號為基礎的優先權，將其揭露內容全部援用至此。

1‧‧‧載置台

1A‧‧‧處理器

2‧‧‧顯示器

2A‧‧‧記憶體

3‧‧‧支柱

3A‧‧‧輸出入介面

4‧‧‧相機

4A‧‧‧周邊電路

5‧‧‧運算裝置

5A‧‧‧匯流排

6‧‧‧登錄裝置

6A‧‧‧儲存設備

10‧‧‧處理系統

11‧‧‧顯示器

12‧‧‧檢測部

13‧‧‧顯示控制部

14‧‧‧登錄部

15‧‧‧轉換規則產生部

a、b、c、d‧‧‧標記

A‧‧‧第1影像

B‧‧‧第2影像

M、M1、M2‧‧‧標誌

T、T1、T2‧‧‧物體

P‧‧‧特徵點

上述目的，以及其他目的、特徵及優點，可藉由以下所述之較佳實施形態、及附屬於此等實施形態之以下附圖而進一步明瞭。

圖1係顯示本實施形態之處理系統的硬體構成之一例的圖。

圖2係顯示本實施形態之運算裝置的硬體構成之一例的圖。

圖3係顯示本實施形態之處理系統的功能方塊圖之一例的圖。

圖4係顯示藉由本實施形態之處理系統實現的顯示之一例的圖。

圖5係顯示藉由本實施形態之處理系統實現的顯示之一例的圖。

圖6係顯示本實施形態之處理系統的處理流程之一例的流程圖。

圖7係顯示藉由本實施形態之處理系統實現的顯示之一例的圖。

圖8係顯示藉由本實施形態之處理系統實現的顯示之一例的圖。

圖9係顯示藉由本實施形態之處理系統實現的顯示之一例的圖。

圖10係顯示本實施形態之處理系統的硬體構成之一例的圖。

圖11係顯示本實施形態之處理系統的功能方塊圖之一例的圖。

圖12係顯示藉由本實施形態之處理系統實現的顯示之一例的圖。

圖13係顯示第8實施形態之處理系統的功能構成之一例的方塊圖。

圖14係例示本實施形態之運算裝置的硬體構成之方塊圖。

圖15係例示藉由第8實施形態之處理系統實行的顯示位置調整處理流程之流程圖。

圖16係顯示設置於載置台之顯示器所顯示的第1影像之一例的圖。

圖17係顯示設置於載置台之顯示器所顯示的第1影像之一例的圖。

圖18係顯示設置於載置台之顯示器所顯示的第1影像之一例的圖。

圖19係顯示設置於載置台之顯示器所顯示的第1影像之一例的圖。

圖20係顯示設置於載置台之顯示器所顯示的第1影像之一例的圖。

圖21係顯示設置於載置台之顯示器所顯示的第1影像之一例的圖。

圖22係概略顯示相機拍攝顯示器上所顯示的第1影像之樣子的圖。

圖23係顯示藉由本實施形態之處理系統實現的顯示之一例的圖。

圖24係顯示藉由本實施形態之處理系統實現的顯示之一例的圖。

Claims (18)

1. 一種處理系統，包含： 顯示器，於顯示資訊之顯示面載置物體； 檢測機構，依據由拍攝該顯示面的相機所產生之影像資料，檢測載置於該顯示面上的物體之在該顯示面上的載置位置；以及 顯示控制機構，使表示該載置位置之資訊顯示於該顯示器。
2. 如申請專利範圍第1項之處理系統，其中， 該檢測機構，依據該影像資料，辨識載置於該顯示面上的物體之類別。
3. 如申請專利範圍第2項之處理系統，其中， 該物體為商品； 結帳對象的商品載置於該顯示面； 該處理系統進一步包含登錄機構，將藉由該檢測機構辨識出之商品種類登錄作為結帳對象。
4. 如申請專利範圍第1項之處理系統，其中， 該顯示控制機構，與該載置位置對應而將既定資訊顯示於該顯示器。
5. 如申請專利範圍第4項之處理系統，其中， 該顯示控制機構，使包圍該載置位置的框，顯示於該顯示器。
6. 如申請專利範圍第5項之處理系統，其中， 該檢測機構，依據該影像資料，檢測載置於該顯示面上的物體之既定面的形狀； 該顯示控制機構，使與該既定面的形狀為相似形狀之該框，顯示於該顯示器。
7. 如申請專利範圍第6項之處理系統，其中， 該檢測機構，依據該影像資料，檢測該既定面的大小； 該顯示控制機構，使與該既定面為相似形狀，且較該既定面更大之該框，顯示於該顯示器。
8. 如申請專利範圍第4項之處理系統，其中， 該顯示控制機構，在位於與該載置位置之預先決定的位置關係的位置，顯示該既定資訊。
9. 如申請專利範圍第4項之處理系統，其中， 該檢測機構，依據該影像資料，檢測載置於該顯示面上的物體之顏色； 該顯示控制機構，以依據檢測到的物體之顏色所決定之顏色，顯示該既定資訊。
10. 如申請專利範圍第4項之處理系統，其中， 該顯示控制機構，使與彼此的距離為基準值以下之複數個該載置位置對應而顯示的該既定資訊、和與其他該載置位置對應而顯示的該既定資訊不同。
11. 如申請專利範圍第10項之處理系統，其中， 該顯示控制機構，與彼此的距離為基準值以下之複數個該載置位置對應而顯示1個該既定資訊，且顯示表示與該既定資訊對應之該載置位置的數量之資訊。
12. 如申請專利範圍第10項之處理系統，其中， 該顯示控制機構，使與彼此的距離為基準值以下之複數個該載置位置分別對應而顯示的該既定資訊之顏色，彼此不同。
13. 如申請專利範圍第4項之處理系統，其中， 該檢測機構，依據該影像資料，辨識載置於該顯示面上的物體之類別； 該顯示控制機構，使與辨識出類別的物體之該載置位置對應而顯示的資訊、和與未辨識出類別的物體之該載置位置對應而顯示的資訊不同。
14. 如申請專利範圍第4項之處理系統，其中， 該檢測機構，依據該影像資料，辨識載置於該顯示面上的物體之類別； 該顯示控制機構，顯示對應於辨識出的物體之類別的資訊。
15. 如申請專利範圍第14項之處理系統，其中， 該物體為商品； 該顯示控制機構，顯示商品之名稱、金額及廣告中的至少1個。
16. 如申請專利範圍第2項之處理系統，其中， 該檢測機構，在無法辨識載置於該顯示面上的物體之類別的情況，指明無法辨識之原因； 該顯示控制機構，使對應於所指明之原因的資訊，顯示於該顯示器。
17. 一種處理方法，使電腦實行下述步驟： 檢測步驟，依據由拍攝「於顯示資訊之顯示面載置物體的顯示器之該顯示面」的相機所產生之影像資料，檢測載置於該顯示面上的物體之在該顯示面上的載置位置；以及 顯示控制步驟，使表示該載置位置之資訊顯示於該顯示器。
18. 一種儲存裝置，儲存有使電腦作為下述機構而作用之程式： 檢測機構，依據由拍攝「於顯示資訊之顯示面載置物體的顯示器之該顯示面」的相機所產生之影像資料，檢測載置於該顯示面上的物體之在該顯示面上的載置位置；以及 顯示控制機構，使表示該載置位置之資訊顯示於該顯示器。