JP7143925B2 - 情報処理装置、表示位置調整方法、およびプログラム - Google Patents

Description

本発明は、ディスプレイ上に表示される要素の位置を調整する技術に関する。

撮像装置を用いて生成された物体の画像を解析することによって、その物体の種類や名称などを認識する技術がある。例えば、下記特許文献１には、処理装置が、商品の載置台に向けられた撮像装置により生成された画像を用いて載置台上に存在する商品を認識し、投影装置が、認識された商品状及び／又は載置台の載置面上に会計処理に関する像を投影する技術が開示されている。

国際公開第２０１７／１２６２５３号

上記特許文献１における「会計処理に関する像」といった、画像認識処理の結果を、載置台上に設けられたディスプレイに表示する構成も考えられる。しかしながら、撮像装置により生成された画像の認識結果をディスプレイ上の正しい位置に表示させるためには、撮像装置の座標系とディスプレイの座標系とを整合させる必要がある。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、物体の画像を解析することで得られる当該物体の認識結果を、当該物体が載置されている面に設けられたディスプレイ上の正しい位置に表示させることを可能とする技術を提供することである。

本発明によれば、
物体を載置する面に設けられたディスプレイに所定の表示要素を含む第１画像を表示させる表示制御手段と、
前記ディスプレイを撮像範囲に含む撮像装置が生成した第２画像を取得し、前記第２画像における前記表示要素の検出結果を用いて、前記撮像装置の画像における座標を前記ディスプレイにおける座標に変換する座標変換ルールを生成する変換ルール生成手段と、
を備える情報処理装置が提供される。

本発明によれば、
コンピュータが、
物体を載置する面に設けられたディスプレイに所定の表示要素を含む第１画像を表示させ、
前記ディスプレイを撮像範囲に含む撮像装置が生成した第２画像を取得し、
前記第２画像における前記表示要素の検出結果を用いて、前記撮像装置の画像における座標を前記ディスプレイにおける座標に変換する座標変換ルールを生成する、
ことを含む表示位置調整方法が提供される。

本発明によれば、
コンピュータに、上述の表示位置調整方法を実行させるプログラムが提供される。

本発明によれば、物体の画像を解析することで得られる当該物体の認識結果を、当該物体が載置されている面に設けられたディスプレイ上の正しい位置に表示させることが可能となる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本実施形態の処理システムのハードウエア構成の一例を示す図である。 本実施形態の演算装置のハードウエア構成の一例を示す図である。 本実施形態の処理システムの機能ブロック図の一例を示す図である。 本実施形態の処理システムにより実現される表示の一例を示す図である。 本実施形態の処理システムにより実現される表示の一例を示す図である。 本実施形態の処理システムの処理の流れの一例を示すフローチャートである。 本実施形態の処理システムにより実現される表示の一例を示す図である。 本実施形態の処理システムにより実現される表示の一例を示す図である。 本実施形態の処理システムにより実現される表示の一例を示す図である。 本実施形態の処理システムのハードウエア構成の一例を示す図である。 本実施形態の処理システムの機能ブロック図の一例を示す図である。 本実施形態の処理システムにより実現される表示の一例を示す図である。 第８の実施形態に係る処理システムの機能構成の一例を示すブロック図である。 本実施形態の演算装置のハードウエア構成を例示するブロック図である。 第８の実施形態に係る処理システムにより実行される表示位置調整処理の流れを例示するフローチャートである。 載置台に設けられたディスプレイに表示される第１画像の一例を示す図である。 載置台に設けられたディスプレイに表示される第１画像の一例を示す図である。 載置台に設けられたディスプレイに表示される第１画像の一例を示す図である。 載置台に設けられたディスプレイに表示される第１画像の一例を示す図である。 載置台に設けられたディスプレイに表示される第１画像の一例を示す図である。 載置台に設けられたディスプレイに表示される第１画像の一例を示す図である。 ディスプレイ上に表示された第１画像をカメラが撮影する様子を概略的に示す図である。 本実施形態の処理システムにより実現される表示の一例を示す図である。 本実施形態の処理システムにより実現される表示の一例を示す図である。

＜第１の実施形態＞
まず、本実施形態の処理システムの概要を説明する。本実施形態の処理システムは、載置台に載置された物体を画像解析で検出し、画像解析の結果をディスプレイに表示する。なお、載置台の物体を載置する面が情報を表示するディスプレイとなっている。すなわち、ディスプレイの表示面に物体が載置され、当該ディスプレイに画像解析の結果が表示される。

次に、図１を用いて、本実施形態の処理システムのハードウエア構成の一例について説明する。なお、図示する構成はあくまで一例であり、これに限定されない。

処理システム１０は、ディスプレイ２と、演算装置５とを有する。処理システム１０は、さらにカメラ４を有してもよい。

ディスプレイ２は、物体を載置する載置台１の一部を構成する。ディスプレイ２の表示面が物体を載置する面となる。図中、カメラ４に対峙している面が表示面である。作業者は、ディスプレイ２の表示面に物体を載置する。表示面には、各種情報が表示される。

カメラ４はディスプレイ２の表示面を撮影する。例えば、図示するように支柱３にカメラ４を取り付けてもよい。カメラ４は動画像を撮影してもよいし、所定のタイミングで静止画像を撮影してもよい。

演算装置５は、カメラ４により生成された画像データを取得し、当該画像データを解析する。そして、演算装置５はディスプレイ２の表示面に載置された物体を検出する。また、演算装置５は、ディスプレイ２を制御し、所定の情報をディスプレイ２に表示させる。演算装置５は、物体が載置された位置を示す情報をディスプレイ２に表示させる。

なお、ディスプレイ２と演算装置５とは、任意の手段で通信可能に繋がっている。また、カメラ４と演算装置５とは、任意の手段で通信可能に繋がっている。

次に、本実施形態の演算装置５のハードウエア構成の一例について説明する。演算装置５が備える機能は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図２は、演算装置５のハードウエア構成を例示するブロック図である。図２に示すように、演算装置５は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａを有さなくてもよい。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク等）、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

図３に、処理システム１０の機能ブロック図の一例を示す。図示するように、処理システム１０は、ディスプレイ１１と、検出部１２と、表示制御部１３とを有する。ここで、図２のハードウエア構成例との対応関係を説明する。図３のディスプレイ１１は、図１のディスプレイ２に対応する。図３の検出部１２及び表示制御部１３は、図１の演算装置５に備えられる。以下、図３の各機能部の機能を説明する。

ディスプレイ１１は、情報を表示する。情報を表示する表示面に物体が載置される。

検出部１２は、ディスプレイ１１の表示面を撮影するカメラ（図１のカメラ４）により生成された画像データに基づき、ディスプレイ１１の表示面に載置された物体を検出する。

次いで、検出部１２は、検出した物体の画像内の位置を検出する。例えば、画像内の任意の点を原点とし、任意の方向をｘ軸及びｙ軸とした２次元画像座標系で、画像内の位置を示してもよい。

そして、検出部１２は、予め保持している「画像内の位置をディスプレイ１１の表示面上の位置に変換する変換ルール」に基づき、検出した物体の画像内の位置を、ディスプレイ１１の表示面上の位置（載置位置）に変換する。例えば、ディスプレイ１１の表示面上の任意の点を原点とし、任意の方向をｘ軸及びｙ軸とした２次元表示面座標系で、ディスプレイ１１の表示面上の位置を示してもよい。そして、検出部１２は、２次元画像座標系の座標を２次元表示面座標系の座標に変換する変換ルール（例：射影変換行列）に基づき、検出した物体の画像内の位置を、ディスプレイ１１の表示面上の位置（載置位置）に変換してもよい。ディスプレイ１１の位置及び向きと、ディスプレイ１１の表示面を撮影するカメラの位置及び向きとは固定されている。上記変換ルールは、当該状態のもとで、画像内の位置をディスプレイ１１の表示面上の位置に変換するルールである。

表示制御部１３は、検出した物体の載置位置を示す情報をディスプレイ１１に表示させる。例えば、表示制御部１３は、載置位置に対応付けて所定の情報をディスプレイ１１に表示させてもよい。図４に、一例を示す。

図示する例では、ディスプレイ１１の表示面に１つの物体Ｔが載置されている。そして、当該物体Ｔの載置位置を示すマークＭがディスプレイ１１の表示面に表示されている。図示するマークＭは、載置位置を囲む枠であり、その内部が所定の色で塗りつぶされている。なお、図２３に示すように、マークＭは内部を塗りつぶさない枠であってもよい。

また、表示制御部１３は、図５に示すように、物体Ｔの載置位置の周辺の所定位置に所定の情報（マークＭ）を表示させてもよい。例えば、載置位置と予め定められた位置関係にある位置（載置位置の周辺）に所定の情報を表示させてもよい。一例として、載置位置（又は載置位置の代表点）からディスプレイ１１の表示面上を予め定められた方向に予め定められた量だけ移動した位置に所定の情報（マークＭ）を表示させてもよい。

なお、マークＭは、図４や図５に示すものに限定されず、他の図形、文字、数字、記号等で構成することができる。

また、図示する例では、１つの物体のみがディスプレイ１１の表示面に載置されているが、複数の物体が同時にディスプレイ１１の表示面に載置されてもよい。この場合、表示制御部１３は、物体毎に対応付けて表示するマークＭの態様（例：色、形状、大きさ、情報、表示位置等）を異ならせてもよい。このようにすると、見分けがつきやすくなる。

次に、図６のフローチャートを用いて、本実施形態の処理システム１０の処理の流れの一例を説明する。

Ｓ１０では、検出部１２は、ディスプレイ１１の表示面を撮影するカメラにより生成された画像データを解析する。当該解析により、検出部１２は、ディスプレイ１１の表示面に載置された物体を検出する。また、検出部１２は、検出した物体の画像内の位置を検出する。そして、検出部１２は、予め保持している変換ルールに基づき、検出した物体の画像内の位置を、ディスプレイ１１の表示面上の位置（物体の載置位置）に変換する。

Ｓ１１では、表示制御部１３は、Ｓ１０の解析結果に基づき、ディスプレイ１１に表示させる情報を決定する。表示制御部１３は、例えば、図４や図５に示すように、物体Ｔの載置位置を示すマークＭをディスプレイ１１に表示させる。

なお、ディスプレイ１１を撮影するカメラは動画像を連続的に撮影してもよい。そして、検出部１２は、当該動画像の解析を継続してもよい。そして、検出部１２が物体を検出すると、それに応じて、表示制御部１３は所定の情報をディスプレイ１１に表示させてもよい。

また、検出部１２は検出した物体の移動を追尾し、当該物体の載置位置の変化を監視してもよい。そして、表示制御部１３は、物体の載置位置の変化に応じて、当該物体の載置位置を示す情報の表示位置を変化させてもよい。

また、検出した物体が移動してカメラ画角から見切れた場合、見切れの検出に応じて直ちにその物体の載置位置を示す情報の表示を終了させてもよいし、見切れの検出から所定時間経過後にその物体の載置位置を示す情報の表示を終了させてもよい。後者の場合、図１２に示すように、物体をディスプレイ１１上から移動させた後も一定時間、その物体の載置位置を示す情報の表示が継続される。

以上説明した本実施形態の処理システム１０によれば、作業者は、ディスプレイに表示された情報に基づき、画像解析の結果を把握することができる。

また、本実施形態の処理システム１０では、物体を載置する面がディスプレイ１１の表示面となっている。このため、物体を所定の位置に載置する作業を行う時、及び、画像解析の結果を確認する時のいずれの時も、作業者が向く方向はディスプレイ１１の表示面の方向となる。かかる場合、作業者は、作業毎に向く方向を変える等の面倒な作業を行わなくて済む。結果、作業を効率的に進めることができる。

＜第２の実施形態＞
本実施形態の処理システム１０は、物体の種別を認識し、その認識結果に応じた情報をディスプレイ１１に表示する点で、第１の実施形態と異なる。

処理システム１０のハードウエア構成の一例は、第１の実施形態と同様である。処理システム１０の機能ブロック図の一例は、第１の実施形態同様、図３で示される。図示するように、処理システム１０は、ディスプレイ１１と、検出部１２と、表示制御部１３とを有する。ディスプレイ１１の構成は、第１の実施形態と同様である。

検出部１２は、画像データに基づき、ディスプレイ１１の表示面に載置された物体の種別を認識する。例えば、予め、複数の物体各々の外観画像の特徴量が登録される。そして、検出部１２は、画像データを解析して物体を検出すると、当該特徴量を用いて、検出した物体の種別を認識する。検出部１２のその他の機能構成は、第１の実施形態と同様である。

表示制御部１３は、種別を認識された物体の載置位置に対応付けて表示させる情報と、種別を認識されていない物体の載置位置に対応付けて表示させる情報とを異ならせる。表示制御部１３のその他の構成は、第１の実施形態と同様である。

例えば、表示制御部１３は、載置位置に対応付けて表示させるマークＭ（図４、図５参照）の態様（例：色、形状、大きさ、情報、表示位置等）を、種別を認識した場合と、種別を認識していない場合とで異ならせてもよい。図７に一例を示す。当該例では、種別を認識した物体に対応付けてマークＭ１を表示し、種別を認識していない物体に対応付けてマークＭ２を表示している。かかる場合、作業者は、マークＭを視認することで、「各物体が検出されているか否か」、及び、「各物体が種別を認識されているか否か」を把握できる。

その他、表示制御部１３は、認識された物体の種別に応じた情報を各物体の載置位置に対応付けて表示させてもよい。例えば、予め、物体の種別ごとに、載置位置に対応付けて表示させるマークＭ（図４、図５参照）の態様（例：色、形状、大きさ、情報、表示位置等）が登録されていてもよい。そして、表示制御部１３は、各物体の載置位置に対応付けて表示させる情報を、当該登録内容と、認識された各物体の種別とに基づき決定してもよい。かかる場合、作業者は、マークＭを視認することで、「認識された物体の種別」を把握できる。そして、作業者は、その物体の真の種別と、認識された物体の種別とを比較することで、画像解析が正しく行われているか否かを確認できる。

本実施形態の処理システム１０の処理の流れの一例は、第１の実施形態と同様である。

以上説明した本実施形態の処理システム１０によれば、第１の実施形態と同様な作用効果を実現できる。また、本実施形態の処理システム１０によれば、物体の種別を認識し、認識結果に応じた有益な情報をディスプレイ１１に表示させることができる。

＜第３の実施形態＞
本実施形態の処理システム１０は、物体の形状を検出し、その検出結果に応じた情報をディスプレイ１１に表示する点で、第１及び第２の実施形態と異なる。

処理システム１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。処理システム１０の機能ブロック図の一例は、第１及び第２の実施形態同様、図３で示される。図示するように、処理システム１０は、ディスプレイ１１と、検出部１２と、表示制御部１３とを有する。ディスプレイ１１の構成は、第１及び第２の実施形態と同様である。

検出部１２は、画像データに基づき、ディスプレイ１１の表示面に載置された物体の所定の面の形状を認識する。検出部１２は、所定の面の大きさをさらに検出してもよい。検出部１２のその他の機能構成は、第１及び第２の実施形態と同様である。所定の面は、カメラの方を向いている面であってもよいし、ディスプレイ１１と当接している面であってもよいし、その他の面であってもよい。

検出部１２は、画像解析で所定の面の輪郭を抽出し、それに基づき所定の面の形状や大きさを認識してもよい。その他、予め物体の種別ごとに所定の面の形状や大きさが登録されていてもよい。そして、検出部１２は、ディスプレイ１１の表示面に載置された物体の種別を認識した後、登録されている情報を参照して、認識した物体の種別に対応付けて登録されている所定の面の形状や大きさを認識してもよい。

表示制御部１３は、所定の面の形状と相似の形状のマークをディスプレイ１１に表示させる。表示制御部１３のその他の構成は、第１及び第２の実施形態と同様である。

例えば、表示制御部１３は、図８に示すように、所定の面の形状と相似の形状の枠（マークＭ）をディスプレイ１１に表示させてもよい。図示する例の場合、所定の面は、カメラの方を向いている面、又は、ディスプレイ１１と当接している面である。

なお、表示制御部１３は、図８に示すように、所定の面と相似の形状で、かつ、所定の面より大きい枠（マークＭ）をディスプレイ１１に表示させてもよい。

また、図示しないが、図５に示す載置位置の周辺の所定位置に表示されるマークＭの形状を、所定の面の形状と相似の形状にしてもよい。

作業者は、その物体の所定の面の真の形状と、ディスプレイ１１に表示されたマークＭの形状とを比較することで、画像解析が正しく行われているか否かを確認できる。また、図８に示すようにマークＭの大きさを物体の所定の面の大きさよりも大きくすることで、マークＭが物体で隠れてしまい、視認し難くなる不都合を回避できる。

本実施形態の処理システム１０の処理の流れの一例は、第１及び第２の実施形態と同様である。

以上説明した本実施形態の処理システム１０によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、本実施形態の処理システム１０によれば、物体の形状や大きさを認識し、認識結果に応じた有益な情報をディスプレイ１１に表示させることができる。

＜第４の実施形態＞
本実施形態の処理システム１０は、物体の色を検出し、その検出結果に応じた情報をディスプレイ１１に表示する点で、第１乃至第３の実施形態と異なる。

処理システム１０のハードウエア構成の一例は、第１乃至第３の実施形態と同様である。処理システム１０の機能ブロック図の一例は、第１乃至第３の実施形態同様、図３で示される。図示するように、処理システム１０は、ディスプレイ１１と、検出部１２と、表示制御部１３とを有する。ディスプレイ１１の構成は、第１乃至第３の実施形態と同様である。

検出部１２は、画像データに基づき、表示面上に載置された物体の色を検出する。例えば、検出部１２は、画像内の物体が存在するエリア内で占有面積が最も大きい色を、その物体の色として検出してもよい。検出部１２のその他の機能構成は、第１乃至第３の実施形態と同様である。

検出部１２は、画像解析で物体の輪郭を抽出し、その中で最も占有面積が大きい色を特定してもよい。その他、予め物体の種別ごとにその物体の色が登録されていてもよい。そして、検出部１２は、ディスプレイ１１の表示面に載置された物体の種別を認識した後、登録されている情報を参照して、認識した物体の種別に対応付けて登録されている色を認識してもよい。

表示制御部１３は、検出された物体の色に基づき決定した色で、所定の情報（例：マークＭ）を表示させる。表示制御部１３のその他の構成は、第１乃至第３の実施形態と同様である。

例えば、表示制御部１３は、検出された色と同じ色で所定の情報を表示させてもよい。かかる場合、作業者は、その物体の真の色と、ディスプレイ１１に表示された所定の情報の色とを比較することで、画像解析が正しく行われているか否かを確認できる。

その他、表示制御部１３は、検出された色と異なる色（例：反対色）で所定の情報を表示させてもよい。かかる場合、物体と所定の情報とが色で明らかに区別されるので、作業者は所定の情報を見やすくなる。

本実施形態の処理システム１０の処理の流れの一例は、第１乃至第３の実施形態と同様である。

以上説明した本実施形態の処理システム１０によれば、第１乃至第３の実施形態と同様な作用効果を実現できる。また、本実施形態の処理システム１０によれば、物体の色を検出し、検出結果に応じた有益な情報をディスプレイ１１に表示させることができる。

＜第５の実施形態＞
本実施形態の処理システム１０は、複数の物体が近接して載置されている場合、複数の物体が近接して載置されていない場合と異なる態様で所定の情報をディスプレイ１１に表示する点で、第１乃至第４の実施形態と異なる。複数の物体が近接して載置されている場合、各々に対応して所定の情報をディスプレイ１１に表示すると見難くなる場合がある。当該場合に表示手法を異ならせることで、複数の物体が近接して載置されている場合であっても所定の情報を見やすくなる。

処理システム１０のハードウエア構成の一例は、第１乃至第４の実施形態と同様である。処理システム１０の機能ブロック図の一例は、第１乃至第４の実施形態同様、図３で示される。図示するように、処理システム１０は、ディスプレイ１１と、検出部１２と、表示制御部１３とを有する。ディスプレイ１１の構成は、第１乃至第４の実施形態と同様である。

検出部１２は、複数の載置位置を検出した場合、互いの距離が基準値以下か否かを判断する。検出部１２のその他の構成は、第１乃至第４の実施形態と同様である。

表示制御部１３は、互いの距離が基準値以下である複数の載置位置に対応付けて表示させる所定の情報を、他の載置位置に対応付けて表示させる所定の情報と異ならせる。表示制御部１３のその他の構成は、第１乃至第４の実施形態と同様である。

例えば、表示制御部１３は、互いの距離が基準値以下である複数の載置位置各々に対応付けて表示させる所定の情報の色を互いに異ならせてもよい。色を分けることで、複数の所定の情報が見分けやすくなる。

その他、表示制御部１３は、互いの距離が基準値以下である複数の載置位置に対応付けて１つの所定の情報を表示させるとともに、当該所定の情報に対応付けられた載置位置の数を示す情報を表示させてもよい。図９に一例を示す。図９では、２つの物体Ｔ１及びＴ２に対応付けて、これらを囲む１つの枠（マークＭ）が表示されている。そして、当該マークＭに対応付けて、当該マークＭに対応する載置位置の数「２」を示す情報Ｎが表示されている。

その他、表示制御部１３は、互いの距離が基準値以下である複数の載置位置のすべてを囲む多重の枠（所定の情報）を表示させてもよい。そして、重ねる枠の数を、多重の枠で囲む載置位置の数に一致させてもよい。すなわち、２個の載置位置を囲む枠は２重の枠とし、Ｍ個の載置位置を囲む枠はＭ重の枠としてもよい。

本実施形態の処理システム１０の処理の流れの一例は、第１乃至第４の実施形態と同様である。

以上説明した本実施形態の処理システム１０によれば、第１乃至第４の実施形態と同様な作用効果を実現できる。また、本実施形態の処理システム１０によれば、複数の物体が近接して載置されている場合、複数の物体が近接して載置されていない場合と異なる態様で所定の情報をディスプレイ１１に表示することができる。複数の物体が近接して載置されている場合、各々に対応して所定の情報をディスプレイ１１に表示すると見難くなる場合がある。当該場合に表示手法を異ならせることで、複数の物体が近接して載置されている場合であっても所定の情報を見やすくなる。

＜第６の実施形態＞
本実施形態の処理システム１０は、物体の種別を認識できない場合に認識できない原因を特定し、特定した原因に応じた情報をディスプレイ１１に表示する点で、第１乃至第５の実施形態と異なる。

処理システム１０のハードウエア構成の一例は、第１乃至第５の実施形態と同様である。処理システム１０の機能ブロック図の一例は、第１乃至第５の実施形態同様、図３で示される。図示するように、処理システム１０は、ディスプレイ１１と、検出部１２と、表示制御部１３とを有する。ディスプレイ１１の構成は、第１乃至第５の実施形態と同様である。

検出部１２は、ディスプレイ１１の表示面上に載置された物体の種別を認識できない場合、認識できない原因を特定する。エラーの原因としては、「物体の一部が見切れている」、「物体の主たる面がカメラの方を向いていない」、「複数の物体が重なっている」等が例示される。検出部１２は、画像解析でこれらの原因を特定することができる。検出部１２のその他の構成は、第１乃至第５の実施形態と同様である。

表示制御部１３は、特定された原因に応じた情報をディスプレイ１１に表示させる。表示制御部１３のその他の構成は、第１乃至第５の実施形態と同様である。

例えば、図２４に示すようにエラーの原因が「物体の一部が見切れている」である場合、表示制御部１３は、「全体がカメラに写るように物体の位置を移動させて下さい」という情報をディスプレイ１１に表示させてもよい。または、当該情報に代えて又は加えて、物体を移動させる方向を示す情報（図示する矢印）をディスプレイ１１に表示させてもよい。その他、図示しないが、エラーの原因が「物体の一部が見切れている」である場合、「全体がカメラに写るように物体の位置を移動させて下さい」という情報をディスプレイ１１に表示させてもよい。また、エラーの原因が「物体の主たる面がカメラの方を向いていない」である場合、「物体の商品名をカメラに向けてください」という情報をディスプレイ１１に表示させてもよい。また、エラーの原因が「複数の物体が重なっている」である場合、「物体が重ならないようにしてください」という情報をディスプレイ１１に表示させてもよい。

本実施形態の処理システム１０の処理の流れの一例は、第１乃至第５の実施形態と同様である。

以上説明した本実施形態の処理システム１０によれば、第１乃至第５の実施形態と同様な作用効果を実現できる。また、本実施形態の処理システム１０によれば、物体の種別を認識できない場合、その原因を特定し、特定した原因に応じた案内をディスプレイ１１に表示させることができる。

＜第７の実施形態＞
本実施形態の処理システム１０は、商品を登録するＰＯＳ（point of sales）レジスターとしての利用に限定される点で、第１乃至第６の実施形態と異なる。ＰＯＳレジスターは店員が操作することを想定したものであってもよいし、客が操作することを想定したものであってもよい。

処理システム１０のハードウエア構成の一例は、図１０で示される。登録装置６を有する点で第１乃至第６の実施形態と異なる。

本実施形態では、ディスプレイ２に会計対象の商品（物体）が載置される。演算装置５は、画像解析でディスプレイ２に載置された商品の種類を認識すると、認識結果を登録装置６に送信する。登録装置６は、演算装置５により認識された商品種を、会計対象として登録する。登録装置６は、登録した商品種をディスプレイ２と異なるディスプレイに表示してもよい。また、登録装置６は、サーバから商品情報（単価等を含む）を取得し、会計金額を算出してもよい。

処理システム１０の機能ブロック図の一例は、図１１で示される。図示するように、処理システム１０は、ディスプレイ１１と、検出部１２と、表示制御部１３と、登録部１４とを有する。ディスプレイ１１及び検出部１２の構成は、第１乃至第６の実施形態と同様である。

登録部１４は、検出部１２により認識された商品種を会計対象として登録する。

表示制御部１３は、認識された商品の名称、当該商品の金額、及び、当該商品に関連する商品の広告の中の少なくとも１つを、各商品に対応付けてディスプレイ１１に表示させてもよい。表示制御部１３のその他の構成は、第１乃至第６の実施形態と同様である。関連する商品は、各商品と同種の商品であってもよいし、各商品とよく一緒に購入される商品であってもよい。

作業者は、表示された商品の名称に基づき、各商品が正しく認識されているか確認できる。

その他、表示制御部１３は、商品識別を開始する前、商品識別中、決済済みの状態毎にディスプレイ１１に表示させる情報を変えてもよい。状態の検出は、検出部１２による画像解析で行われてもよいし、登録装置６に対する入力内容に基づき行われてもよい。

なお、第１乃至第６の実施形態で説明した処理システム１０の適用例は、第７の実施形態で説明したものに限定されない。例えば、処理システム１０は、商品や製品の検品等で利用されてもよい。

＜第８の実施形態＞
載置台上の物体の画像を解析することによって得られる認識結果をディスプレイ１１上の正しい位置に表示させるためには、カメラ４により生成される画像の座標系と、ディスプレイ１１の表示面の座標系とを整合させる必要がある。本実施形態では、この課題を解決するための構成について説明する。

本実施形態の処理システム１０は、第１の実施形態で説明した「画像内の位置をディスプレイ１１の表示面上の位置に変換する座標変換ルール」を生成する機能を有する点で、第１乃至第７の実施形態と異なる。

図１３は、第８の実施形態に係る処理システム１０の機能構成の一例を示すブロック図である。図１３に示されるように、本実施形態の処理システム１０は、表示制御部１３と、変換ルール生成部１５とを有する。処理システム１０の表示制御部１３及び変換ルール生成部１５は、例えば、図１の演算装置５（情報処理装置）に備えられる。なお、図示していないが、処理システム１０は、上述各実施形態の構成を更に有していてもよい。

本実施形態において、表示制御部１３は、物体を載置する面に設けられたディスプレイに所定の表示要素を含む画像（以下、「第１画像」とも表記）を表示させる。また、変換ルール生成部１５は、ディスプレイ上に表示された所定の表示要素を利用して、カメラ４などの撮像装置により生成される画像の座標をディスプレイ１１の表示面の座標に変換可能なルール（座標変換ルール）を生成する。まず、変換ルール生成部１５は、上述の第１画像を表示しているディスプレイ１１をカメラ４を用いて撮像した画像（以下「第２画像」とも表記）を取得する。ここで、カメラ４は、例えば図１に示されるようにディスプレイ１１の上方に配置されており、ディスプレイ１１を撮像範囲に含んでいる。そして、変換ルール生成部１５は、第２画像における表示要素の検出結果を用いて、カメラ４により生成される画像の座標を、ディスプレイ１１の座標に変換する座標変換ルールを生成する。

本実施形態の処理システム１０の作用および効果について説明する。本実施形態では、まず、所定の表示要素を含む第１画像がディスプレイ上に表示される。そして、カメラ４により、ディスプレイ上に表示された第１画像を被写体として含む第２画像が生成される。そして、第２画像を解析することにより、第１画像の表示要素が検出される。そして、第２画像における表示要素の検出結果を用いて、第１画像と第２画像との間の座標変換ルールが生成される。このように生成された座標変換ルールを利用することによって、ディスプレイの上に載置された物体の画像の解析結果（当該物体の認識結果や認識位置など）を、当該物体の位置に合わせてディスプレイ上に表示させることが可能となる。

以下、本実施形態をより詳細に説明する。

図１４は、本実施形態の演算装置５のハードウエア構成を例示するブロック図である。図１４では、ストレージデバイス６Ａが更に備えられている。本実施形態のストレージデバイス６Ａは、上述の表示制御部１３および変換ルール生成部１５の機能を実現するためのプログラムモジュールを記憶している。プロセッサ１Ａが、これらのプログラムモジュールをメモリ２Ａ上に読み出して実行することによって、上述の表示制御部１３および変換ルール生成部１５の機能が実現される。なお、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、および、バス５Ａについては、第１の実施形態で説明したとおりである。

図１５は、第８の実施形態に係る処理システム１０により実行される表示位置調整処理の流れを例示するフローチャートである。

まず、表示制御部１３は、表示位置調整処理の実行指示を検出したか否かを判定する（Ｓ２０２）。一例として、表示位置調整処理の実行指示は、ユーザの操作（例えば、図示しない画面に表示される所定ボタンの押下など）に応じて生成され、表示制御部１３に送信される。他の一例として、表示位置調整処理の実行指示は、予め設定されたスケジュールに従って自動的に生成されてもよい。他の一例として、表示位置調整処理の実行指示は、ディスプレイ１１上での動作（例えば、ディスプレイ１１上に載置される物体の移動、ディスプレイ１１上の表示コンテンツの切り替えなど）が一定時間以上行われていない場合に、自動的に生成されてもよい。

表示制御部１３が表示位置調整処理の実行指示を検出しなかった場合（Ｓ２０２：ＮＯ）、以降で説明する処理は実行されない。一方、表示制御部１３は、表示位置調整処理の実行指示が検出された場合（Ｓ２０２：ＹＥＳ）、第１画像を読み出す（Ｓ２０４）。第１画像は、例えば、ストレージデバイス６Ａなどに予め記憶されている。そして、表示制御部１３は、ストレージデバイス６Ａなどから読み出した第１画像を、入出力インターフェイス３Ａを介して接続されたディスプレイ１１に表示させる（Ｓ２０６）。以下、表示制御部１３により表示される第１画像の具体的な例をいくつか説明する。

（第１画像の具体例）
表示制御部１３によって表示される第１画像は、カメラ４により生成された画像上の座標をディスプレイ１１の表示面上の座標に変換する座標変換ルールを生成するために利用される画像である。図１６乃至図２１は、載置台１に設けられたディスプレイ１１に表示される第１画像の一例を示す図である。

図１６および図１７に例示される第１画像は、特定の模様の繰り返しとは異なる形状を所定の表示要素として含んでいる。具体的には、第１画像は、人や物といった、固有の特徴を示す表示要素を含んでいる。特定の模様の繰り返しとは異なる形状を有する第１画像を表示させることにより、後述の特定の模様の繰り返しを有する第１画像を表示させる場合よりも、第２画像中の表示要素の各特徴点の検出精度を高めることができる。なお、図１６の例では、表示制御部１３は、第１画像をディスプレイ１１の表示領域全体に表示させている。また、図１７の例では、表示制御部１３は、第１画像をディスプレイ１１の表示領域の一部分に表示させている。なお、図１７中斜線部で示される領域は、第１画像が表示されていない領域を示している。表示制御部１３は、例えば、ディスプレイ１１上で座標変換ルールが適用される領域に対応する大きさの第１画像を表示させるように構成されていてもよい。この場合、図１６の例では、ディスプレイ１１の表示領域全体が座標変換ルールの適用領域となる。また、図１７の例では、ディスプレイ１１の一部の領域座標変換ルールの適用領域となる。

図１８および図１９に例示される第１画像は、特定の模様の繰り返しの一例である格子状の模様を所定の表示要素として有している。なお、図１８および図１９は一例であり、第１画像は格子状以外の模様の繰り返しを有していてもよい。図１８の例では、表示制御部１３が、格子状の模様を有する第１画像をディスプレイ１１の表示領域全体に表示させている。また、図１９の例では、表示制御部１３が、格子状の模様を有する第１画像をディスプレイ１１の表示領域の一部分に表示させている。なお、図１９中斜線部で示される領域は、第１画像が表示されていない領域を示している。表示制御部１３は、例えば、ディスプレイ１１上で座標変換ルールが適用される領域に対応する大きさの第１画像を表示させるように構成されていてもよい。この場合、図１８の例では、ディスプレイ１１の表示領域全体が座標変換ルールの適用領域となる。また、図１９の例では、ディスプレイ１１の一部の領域座標変換ルールの適用領域となる。

図２０および図２１に例示される第１画像は、複数の印ａ、ｂ、ｃ、および、ｄを所定の表示要素として含んでいる。図２０および図２１の例において、複数の印ａ、ｂ、ｃ、および、ｄは、ディスプレイ１１上で座標変換ルールが適用される領域の複数の頂点の位置をそれぞれ示している。言い換えると、図２０および図２１に例示される第１画像は、座標変換ルールが適用される領域の少なくとも一部に、表示要素（複数の印ａ、ｂ、ｃ、および、ｄ）を有している。図２０および図２１に例示される第１画像によれば、座標変換ルールの適用範囲を画像の外観で容易に把握することができる。なお、図２０および図２１は一例であり、第１画像はこれらの図に示される印とは異なる印を有していてもよい。図２０の例では、表示制御部１３が、複数の印ａ、ｂ、ｃ、および、ｄを有する第１画像をディスプレイ１１の表示領域全体に表示させている。また、図２１の例では、表示制御部１３が、複数の印ａ、ｂ、ｃ、および、ｄを有する第１画像をディスプレイ１１の表示領域の一部分に表示させている。なお、図２１中斜線部で示される領域は、第１画像が表示されていない領域を示している。表示制御部１３は、例えば、ディスプレイ１１上で座標変換ルールが適用される領域に対応する大きさの第１画像を表示させるように構成されていてもよい。この場合、図２０の例では、ディスプレイ１１の表示領域全体が座標変換ルールの適用領域となる。また、図２１の例では、ディスプレイ１１の一部の領域座標変換ルールの適用領域となる。

図１５に戻り、表示制御部１３により第１画像がディスプレイ１１上に表示されると、カメラ４が当該第１画像を被写体として含む第２画像を生成する（例：図２２）。図２２は、ディスプレイ１１上に表示された第１画像をカメラ４が撮影する様子を概略的に示す図である。図２２に示されるように、カメラ４は、ディスプレイ１１上に表示された第１画像Ａを撮影することによって、第１画像Ａを被写体として含む第２画像Ｂを生成する。

そして、変換ルール生成部１５は、カメラ４により生成された第２画像を取得する（Ｓ２０８）。そして、変換ルール生成部１５は、第２画像を解析することによって、当該第２画像における第１画像の表示要素の位置を検出する（Ｓ２１０）。例えば、図２２に示される第１画像Ａには、例えば人物の目といった、表示要素中の特徴点Ｐが複数含まれている。一例として、変換ルール生成部１５は、まず、ＳＵＲＦ（Speeded Up Robust Features）やＳＩＦＴ（Scale-Invariant Feature Transform）といった局所特徴量を２つの画像間で照合することによって、第２画像Ｂにおける特徴点Ｐを検出することができる。これにより、第２画像の中での第１画像の表示要素の位置が特定される。

そして、変換ルール生成部１５は、第２画像の中での表示要素の検出位置を用いて、カメラ４によって生成される画像の座標をディスプレイ１１の座標に変換する座標変換ルールを生成する（Ｓ２１２）。一例として、変換ルール生成部１５は、第１画像における複数の特徴点それぞれの位置を取得し、Ｓ２１０の処理で検出された第２画像における複数の特徴点それぞれの位置とを比較する。なお、第１画像における複数の特徴点それぞれの位置を示す情報は、例えば、第１画像に関連付けた状態でストレージデバイス６Ａなどに記憶されている。また、第１画像と第２画像との間で比較する特徴点の組み合わせは、上述の照合結果により決定される。そして、変換ルール生成部は、第１画像における複数の特徴点それぞれの位置と第２画像における複数の特徴点それぞれの位置との対応関係に基づいて、第１画像上の座標を第２画像上の座標に変換するホモグラフィ行列Ｈを推定する。例えば、第１画像中のある特徴点に関して、第１画像における座標が（ｘ，ｙ）であり、第２画像における座標が（Ｘ，Ｙ）であったとする。この場合、変換ルール生成部１５は、座標（ｘ，ｙ）を座標（Ｘ，Ｙ）に変換するホモグラフィ行列Ｈを推定する。なお、変換ルール生成部１５は、複数の特徴点の照合結果を基にホモグラフィ行列Ｈを推定する際、例えばＲＡＮＳＡＣ（Random Sample Consensus）アルゴリズムなどを用いることができる。そして、変換ルール生成部１５は、推定したホモグラフィ行列Ｈの逆行列Ｈ^－１を算出する。そして、変換ルール生成部１５は、算出した逆行列Ｈ^－１を、第２画像上の座標を第１画像上の座標に変換する座標変換ルールとしてメモリ２Ａやストレージデバイス６Ａに記憶する。なお、変換ルール生成部１５は、第１画像における座標（ｘ，ｙ）および第２画像における座標（Ｘ，Ｙ）に基づいて、第２画像の座標（Ｘ，Ｙ）を第１画像の座標（ｘ，ｙ）に変換するホモグラフィ行列を直接求めることもできる。

また、図１８および図１９に示すような画像がディスプレイ１１に表示されている場合、変換ルール生成部１５は、例えば次のようにして、座標変換ルールを生成することができる。まず、変換ルール生成部１５は、第２画像に写っている、第１画像の基準点（例えば、各格子点）の位置座標を取得する。なお、変換ルール生成部１５は、テンプレートマッチングなどの画像認識アルゴリズムを用いて、第２画像における第１画像の各格子点の位置座標を取得することができる。そして、変換ルール生成部１５は、第１画像における各格子点の位置座標を取得する。なお、第１画像における各格子点の位置座標は、例えば、ストレージデバイス６Ａなどに予め記憶されている。そして、変換ルール生成部１５は、第１画像における各格子点の位置座標と、第２画像における第１画像の各格子点の位置座標とに基づいて、第２画像の座標を第１画像の座標に変換するホモグラフィ行列（座標変換ルール）を算出する。

また、図２０および図２１に示すような第１画像がディスプレイ１１に表示されている場合、変換ルール生成部１５は、例えば次のようにして、座標変換ルールを生成することができる。まず、変換ルール生成部１５は、第２画像に写っている、第１画像の基準点（四隅の印ａ～ｄ）の座標位置を認識する。なお、変換ルール生成部１５は、例えば、テンプレートマッチングなどの画像認識アルゴリズムを用いて、四隅の印ａ～ｄを認識することができる。そして、変換ルール生成部１５は、第１画像における四隅の印ａ～ｄの座標位置を取得する。なお、第１画像における四隅の印ａ～ｄの座標位置は、例えば、ストレージデバイス６Ａなどに予め記憶されている。そして、変換ルール生成部１５は、第１画像における四隅の印ａ～ｄの座標位置と、第２画像における第１画像の四隅の印ａ～ｄの座標位置との対応関係に基づいて、第２画像の座標を第１画像の座標に変換するホモグラフィ行列（座標変換ルール）を算出する。

以上、本実施形態によれば、第２画像の座標を第１画像の座標に変換する座標変換ルールを生成することができる。そして、当該座標変換ルールを利用することによって、ディスプレイの上に載置された物体の画像の解析結果（当該物体の認識結果や認識位置など）を、当該物体の位置に合わせてディスプレイ上に表示させることが可能となる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
物体を載置する面に設けられたディスプレイに所定の表示要素を含む第１画像を表示させる表示制御手段と、
前記ディスプレイを撮像範囲に含む撮像装置が生成した第２画像を取得し、前記第２画像における前記表示要素の検出結果を用いて、前記撮像装置の画像における座標を前記ディスプレイにおける座標に変換する座標変換ルールを生成する変換ルール生成手段と、
を備える情報処理装置。
２．
前記変換ルール生成手段は、
前記第１画像における前記表示要素の位置と、前記第２画像における前記表示要素の位置と、をそれぞれ取得し、
前記第１画像における前記表示要素の位置と、前記第２画像における前記表示要素の位置との対応関係に基づいて、前記座標変換ルールを生成する、
１．に記載の情報処理装置。
３．
前記表示要素は、特定の模様の繰り返しとは異なる形状を含む、
２．に記載の情報処理装置。
４．
前記表示要素は、格子状の模様である、
２．に記載の情報処理装置。
５．
前記表示要素は、前記座標変換ルールが適用される前記ディスプレイ上の領域の複数の頂点の位置をそれぞれ示す複数の印である、
２．に記載の情報処理装置。
６．
前記表示制御手段は、前記座標変換ルールが適用される前記ディスプレイ上の領域の少なくとも一部に、前記表示要素を有する前記第１画像を表示させる、
１．から５．のいずれか１つに記載の情報処理装置。
７．
前記座標変換ルールが適用される前記ディスプレイ上の領域は、前記ディスプレイの一部分である、
６．に記載の情報処理装置。
８．
コンピュータが、
物体を載置する面に設けられたディスプレイに所定の表示要素を含む第１画像を表示させ、
前記ディスプレイを撮像範囲に含む撮像装置が生成した第２画像を取得し、
前記第２画像における前記表示要素の検出結果を用いて、前記撮像装置の画像における座標を前記ディスプレイにおける座標に変換する座標変換ルールを生成する、
ことを含む表示位置調整方法。
９．
前記コンピュータが、
前記第１画像における前記表示要素の位置と、前記第２画像における前記表示要素の位置と、をそれぞれ取得し、
前記第１画像における前記表示要素の位置と、前記第２画像における前記表示要素の位置との対応関係に基づいて、前記座標変換ルールを生成する、
ことを更に含む８．に記載の表示位置調整方法。
１０．
前記表示要素は、特定の模様の繰り返しとは異なる形状を含む、
９．に記載の表示位置調整方法。
１１．
前記表示要素は、格子状の模様である、
９．に記載の表示位置調整方法。
１２．
前記表示要素は、前記座標変換ルールが適用される前記ディスプレイ上の領域の複数の頂点の位置をそれぞれ示す複数の印である、
９．に記載の表示位置調整方法。
１３．
前記コンピュータが、
前記座標変換ルールが適用される前記ディスプレイ上の領域の少なくとも一部に、前記表示要素を有する前記第１画像を表示させる、
ことを更に含む８．から１２．のいずれか１つに記載の表示位置調整方法。
１４．
前記座標変換ルールが適用される前記ディスプレイ上の領域は、前記ディスプレイの一部分である、
１３．に記載の表示位置調整方法。
１５．
コンピュータに、８．から１４．のいずれか１つに記載の表示位置調整方法を実行させるプログラム。

この出願は、２０１７年１２月１日に出願された日本出願特願２０１７－２３１４３６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (9)

1. 物体を載置する面に設けられたディスプレイ上での動作が所定時間以上行われていない場合に、前記ディスプレイに所定の表示要素を含む第１画像を表示させる表示制御手段と、
   前記ディスプレイを撮像範囲に含む撮像装置が前記ディスプレイ上に表示された前記第１画像を撮影することで生成した第２画像を取得し、前記第２画像における前記表示要素の検出結果を用いて、前記撮像装置により撮像された画像における座標を前記ディスプレイにおける座標に変換する座標変換ルールを生成する変換ルール生成手段と、
   を備える情報処理装置。
2. 前記変換ルール生成手段は、
   前記第１画像における前記表示要素の位置と、前記第２画像における前記表示要素の位置と、をそれぞれ取得し、
   前記第１画像における前記表示要素の位置と、前記第２画像における前記表示要素の位置との対応関係に基づいて、前記座標変換ルールを生成する、
   請求項１に記載の情報処理装置。
3. 前記表示要素は、特定の模様の繰り返しとは異なる形状を含む、
   請求項２に記載の情報処理装置。
4. 前記表示要素は、格子状の模様である、
   請求項２に記載の情報処理装置。
5. 前記表示要素は、前記座標変換ルールが適用される前記ディスプレイ上の領域の複数の頂点の位置をそれぞれ示す複数の印である、
   請求項２に記載の情報処理装置。
6. 前記表示制御手段は、前記座標変換ルールが適用される前記ディスプレイ上の領域の少なくとも一部に、前記表示要素を有する前記第１画像を表示させる、
   請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記座標変換ルールが適用される前記ディスプレイ上の領域は、前記ディスプレイの一部分である、
   請求項６に記載の情報処理装置。
8. コンピュータが、
   物体を載置する面に設けられたディスプレイ上での動作が所定時間以上行われていない場合に、前記ディスプレイに所定の表示要素を含む第１画像を表示させ、
   前記ディスプレイを撮像範囲に含む撮像装置が前記ディスプレイ上に表示された前記第１画像を撮影することで生成した第２画像を取得し、
   前記第２画像における前記表示要素の検出結果を用いて、前記撮像装置により撮像された画像における座標を前記ディスプレイにおける座標に変換する座標変換ルールを生成する、
   ことを含む表示位置調整方法。
9. コンピュータを、
   物体を載置する面に設けられたディスプレイ上での動作が所定時間以上行われていない場合に、前記ディスプレイに所定の表示要素を含む第１画像を表示させる表示制御手段、
   前記ディスプレイを撮像範囲に含む撮像装置が前記ディスプレイ上に表示された前記第１画像を撮影することで生成した第２画像を取得し、前記第２画像における前記表示要素の検出結果を用いて、前記撮像装置により撮像された画像における座標を前記ディスプレイにおける座標に変換する座標変換ルールを生成する変換ルール生成手段、
   として機能させるためのプログラム。

Images