JP6696149B2 - 画像生成方法、画像生成プログラム、情報処理装置および表示制御方法 - Google Patents

画像生成方法、画像生成プログラム、情報処理装置および表示制御方法 Download PDF

Info

Publication number
JP6696149B2
JP6696149B2 JP2015213313A JP2015213313A JP6696149B2 JP 6696149 B2 JP6696149 B2 JP 6696149B2 JP 2015213313 A JP2015213313 A JP 2015213313A JP 2015213313 A JP2015213313 A JP 2015213313A JP 6696149 B2 JP6696149 B2 JP 6696149B2
Authority
JP
Japan
Prior art keywords
label
container
image data
dimensional
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015213313A
Other languages
English (en)
Other versions
JP2017084182A (ja
Inventor
崇俊 多田
崇俊 多田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015213313A priority Critical patent/JP6696149B2/ja
Priority to US15/335,075 priority patent/US10592724B2/en
Publication of JP2017084182A publication Critical patent/JP2017084182A/ja
Application granted granted Critical
Publication of JP6696149B2 publication Critical patent/JP6696149B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Description

本発明は、画像生成方法、画像生成プログラム、情報処理装置および表示制御方法に関する。
従来から、撮影された撮影画像に写る物品を判別する技術として画像認識が知られている。この画像認識では、判別対象とする物品が写る基準画像を予め用意しておき、例えば、基準画像と撮影画像とのパターンマッチングなどの画像認識処理により、特定の物品を判別する。
特開２００８−１４５５９４号公報
ところで、例えば、お酒の容器には、ラベルが貼られている。かかる容器は、ラベルを貼る部分が湾曲している。ラベルの画像は、ラベルをデザイン元からや、ラベルをスキャナなどで読み取ることにより、取得できる。そこで、ラベルの画像を基準画像として用いて、ラベルの画像認識により物品の判別を行うことが考えられる。しかし、容器に貼られる際にラベルが湾曲するため、ラベルの画像を基準画像として用いても、識別率が低い。
このため、ラベルを貼った容器を実際に撮影して基準画像を得ることも考えられるが、物理的に多くの容器を集めて撮影を行うため作業負荷が高く、撮影角度や照明の当たり方など様々な要因があり、基準画像にばらつきが生じる場合がある。このように基準画像のばらつきがある場合、識別率にばらつきが生じてしまう。
一つの側面では、基準画像の生成ばらつきを抑制できる画像生成方法、画像生成プログラム、情報処理装置および表示制御方法を提供することを目的とする。
第１の案では、画像生成方法は、コンピュータが、容器の種類と、ラベルの画像データの入力を受け付ける処理を実行する。画像生成方法は、コンピュータが、入力された容器の種類に応じた形状を特定する処理を実行する。画像生成方法は、コンピュータが、入力された容器の種類に応じた形状を特定する処理を実行する。画像生成方法は、コンピュータが、特定した形状に応じてラベルの画像データを変形させた状態におけるラベルの二次元画像データを生成する処理を実行する。画像生成方法は、コンピュータが、生成した二次元画像データを記憶する処理を実行する。
本発明の一の実施態様によれば、基準画像の生成ばらつきを抑制できるという効果を奏する。
図１は、実施例１に係るシステムの概略的な構成の一例を示す図である。 図２は、実施例１に係るサーバ装置の概略的な構成を示す図である。 図３は、容器に貼られるラベルの一例を示す図である。 図４は、ラベルを容器に貼られた状態の一例を示す図である。 図５は、容器情報のデータ構成の一例を示す図である。 図６は、撮影条件情報のデータ構成の一例を示す図である。 図７は、登録物品情報のデータ構成の一例を示す図である。 図８は、認識対象物情報のデータ構成の一例を示す図である。 図９は、登録画面の一例を示す図である。 図１０は、容器の３次元モデルにラベル画像をテキスチャとして貼り付ける流れの一例を模式的に示した図である。 図１１は、容器の３次元モデルに対する撮影位置の位置関係の一例を示した図である。 図１２は、容器のラベル画像をテキスチャとして貼り付けた一例を示した図である。 図１３は、端末装置に表示される画面の一例を示す図である。 図１４は、画像生成処理の手順の一例を示すフローチャートである。 図１５は、表示制御処理の手順の一例を示すフローチャートである。 図１６は、実施例２に係るサーバ装置の概略的な構成を示す図である。 図１７は、端末装置に表示される画面の一例を示す図である。 図１８は、湾曲補正の一例を示す図である。 図１９は、画像生成プログラムを実行するコンピュータを示す図である。 図２０は、表示制御プログラムを実行するコンピュータを示す図である。
以下に、本発明にかかる画像生成方法、画像生成プログラム、情報処理装置および表示制御方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［システム構成］
最初に、実施例１に係るシステム１０の一例を説明する。図１は、実施例１に係るシステムの概略的な構成の一例を示す図である。システム１０は、撮影された撮影画像に写る物品を判別するシステムである。本実施例では、物品として、例えば、一升瓶などのお酒の容器を撮影し、ラベルから銘柄を判別する場合を例に説明する。
図１に示すように、システム１０は、サーバ装置１１と、端末装置１２とを有する。サーバ装置１１と端末装置１２は、ネットワークＮに通信可能に接続されている。かかるネットワークＮの一態様としては、有線又は無線を問わず、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。なお、図１の例では、端末装置１２を１台設けた場合を例示したが、これに限定されず、端末装置１２を任意の数とすることができる。
サーバ装置１１は、撮影画像に基づいて物品を判別する判別サービスを提供する装置である。サーバ装置１１は、例えば、サーバコンピュータなどのコンピュータである。サーバ装置１１は、１台のコンピュータとして実装してもよく、また、複数台のコンピュータにより実装してもよい。なお、本実施例では、サーバ装置１１を１台のコンピュータとした場合を例として説明する。
端末装置１２は、サーバ装置１１が提供する判別サービスを利用するユーザが所持する装置である。例えば、端末装置１２は、スマートフォンやタブレット端末などの携帯端末装置である。なお、端末装置１２は、ノートパソコンやパーソナルコンピュータなどのコンピュータであってもよい。端末装置１２は、ユーザの操作に応じて、判別の対象とする物品を撮影し、サーバ装置１１の判別サービスに対して撮影画像の画像データを送信して物品の判別を要求する。そして、端末装置１２は、判別サービスからの応答に応じて、物品の判別結果を表示する。
［サーバ装置１１の構成］
次に、実施例１に係るサーバ装置１１の構成について説明する。図２は、実施例１に係るサーバ装置の概略的な構成を示す図である。サーバ装置１１は、通信Ｉ／Ｆ（インタフェース）部２０と、入力部２１と、表示部２２と、記憶部２３と、制御部２４とを有する。
通信Ｉ／Ｆ部２０は、他の装置との間で通信制御を行うインタフェースである。通信Ｉ／Ｆ部２０は、ネットワークＮを介して他の装置と各種情報を送受信する。通信Ｉ／Ｆ部２０としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。
入力部２１は、各種の情報を入力する入力デバイスである。入力部２１としては、マウスやキーボードなどの操作の入力を受け付ける入力デバイスが挙げられる。入力部２１は、各種の情報の入力を受け付ける。例えば、入力部２１は、管理者から物品の判別に用いる基準画像の生成に関する操作入力を受け付ける。入力部２１は、受け付けた操作内容を示す操作情報を制御部２４に入力する。
表示部２２は、各種情報を表示する表示デバイスである。表示部２２としては、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などの表示デバイスが挙げられる。表示部２２は、各種情報を表示する。例えば、表示部２２は、操作画面など各種の画面を表示する。
記憶部２３は、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスクなどの記憶装置である。なお、記憶部２３は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）などのデータを書き換え可能な半導体メモリであってもよい。
記憶部２３は、制御部２４で実行されるＯＳ（Operating System）や各種プログラムを記憶する。例えば、記憶部２３は、後述する画像生成処理や表示制御処理を実行するプログラムを記憶する。さらに、記憶部２３は、制御部２４で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部２３は、ラベル画像データ３０と、容器情報３１と、基準画像データ３２と、撮影条件情報３３と、登録物品情報３４と、認識対象物情報３５とを記憶する。
ラベル画像データ３０は、判別対象の物品に貼られるラベルの画像データである。本実施例では、お酒の容器に貼られる各種の銘柄のラベルの画像データである。各種の銘柄のラベルのラベル画像データ３０は、各銘柄のラベルをデザイン元からや、各銘柄のラベルをスキャナなどで読み取ることにより、取得する。
図３は、容器に貼られるラベルの一例を示す図である。ラベル８０は、矩形状とされ、銘柄ごとに文字や図形などが配置される。図３の例では、文字を「ＸＸＸＸ」と簡略化して示している。また、図形の一部を破線の横線に簡略化して示している。例えば、図３に示すラベル８０をスキャナなどで読み取ることにより、ラベル画像データ３０を取得する。
ラベル８０は、容器に貼られると湾曲する。図４は、ラベルを容器に貼られた状態の一例を示す図である。図４に示すように、ラベル８０は、容器８１に貼られると湾曲し、文字や図形が変形し、文字や図形の一部または全部が見えない位置となる場合がある。このため、ラベル画像データ３０のラベル画像を基準画像として用いても、識別率が低い。
各ラベル画像データ３０には、それぞれを識別する識別情報として、ラベル画像番号が付与される。各ラベル画像データ３０は、例えば、縦横の画素数が８００×６００など、後述する容器の３次元モデルのラベルの領域のサイズに対応させた、所定範囲のサイズに整えられて格納される。
容器情報３１は、判別対象の物品に用いられる容器に関する情報を記憶したデータである。例えば、容器情報３１には、お酒の各種の銘柄に使用される容器のサイズやラベルが貼られる領域の情報が記憶される。図５は、容器情報のデータ構成の一例を示す図である。図５に示すように、容器情報３１は、「容器コード」、「容器名称」、「形状」、「ラベル領域」などの項目を有する。なお、図５に示した容器情報３１の各項目は、一例であり、その他の項目を有してもよい。
容器コードの項目は、容器を識別する識別情報を記憶する領域である。容器には、異なるサイズの容器ごとに、それぞれを識別する識別情報として、容器コードが付与される。容器コードの項目には、容器に付与された容器コードが記憶される。容器名称の項目は、容器の名称を記憶する領域である。形状の項目は、容器の形状を示す情報を記憶する領域である。例えば、形状の項目には、容器の高さと、高さに対応した各部分での直径などの外形のサイズが記憶される。例えば、一升ビンの場合、形状の項目には、高さ：３９．８ｃｍ、底部直径：１０．４ｃｍ、上部直径：３．１ｃｍなど一升ビンの外形の形状に関する情報が記憶されている。なお、形状の項目には、ラベルが貼られる部分を含む一部分についての外形の形状に関する情報を記憶させてもよい。ラベル領域の項目は、ラベルが貼られる領域に関する情報を記憶する領域である。例えば、ラベル領域の項目は、ラベルが貼られる領域を示す基準点の位置情報が記憶される。例えば、ラベルの左上の端を基準としてラベルを容器に貼る場合、ラベル領域の項目には、ラベルの左上の端を貼り付ける容器表面上の位置の座標を基準点として記憶させる。なお、ラベル領域の項目には、ラベルを貼り付ける領域の四隅の容器表面上の位置の座標をそれぞれ記憶させてもよい。
図２に戻り、基準画像データ３２は、後述する生成部５２により生成された基準画像を記憶したデータである。基準画像データ３２には、それぞれを識別する識別情報として、基準画像番号が付与される。
撮影条件情報３３は、後述する生成部５２により基準画像を生成した際の撮影条件を記憶したデータである。例えば、撮影条件情報３３には、撮影条件として、容器に対する撮影位置および容器に対する照明の条件に関する情報が記憶される。
図６は、撮影条件情報のデータ構成の一例を示す図である。図６に示すように、撮影条件情報３３は、「基準画像番号」、「撮影位置」、「照明条件」などの項目を有する。なお、図６に示した撮影条件情報３３の各項目は、一例であり、その他の項目を有してもよい。
基準画像番号の項目は、基準画像データ３２の識別情報を記憶する領域である。基準画像番号の項目には、基準画像データ３２に付与された基準画像番号を記憶させる。撮影位置の項目は、基準画像番号の項目に基準画像番号が記憶された基準画像データ３２を生成した際の撮影位置を記憶する領域である。照明条件の項目は、基準画像番号の項目に基準画像番号が記憶された基準画像データ３２を生成した際の照明条件を記憶する領域である。
図２に戻り、登録物品情報３４は、基準画像が登録された物品に関する情報を記憶したデータである。例えば、登録物品情報３４には、基準画像が登録された物品の銘柄や、使用されるラベル画像データ３０のラベル画像番号、容器コードなどが対応付けて記憶される。
図７は、登録物品情報のデータ構成の一例を示す図である。図７に示すように、登録物品情報３４は、「物品」、「ラベル画像番号」、「容器コード」、「基準画像番号」、「コンテンツ」などの項目を有する。なお、図７に示した登録物品情報３４の各項目は、一例であり、その他の項目を有してもよい。
物品の項目は、判別用の基準画像が登録された物品に関する情報を記憶する領域である。本実施例では、物品の項目には、基準画像が登録されたお酒の銘柄の名称が記憶される。ラベル画像番号の項目は、物品の項目に登録された物品のラベル画像データ３０のラベル画像番号を記憶する領域である。容器コードの項目は、物品の項目に登録された物品に使用される容器の容器コードを記憶する領域である。基準画像番号の項目は、物品の項目に登録された物品に対して生成された基準画像の基準画像番号を記憶する領域である。コンテンツの項目は、物品の項目に登録された物品に関連するコンテンツに関する情報を記憶する領域である。例えば、物品に関連するメッセージをコンテンツとして提供する場合、コンテンツの項目には、提供するメッセージが記憶される。また、コンテンツとして画像を提供する場合、コンテンツの項目には、提供する画像の格納先が記憶される。また、コンテンツとして関連情報のリンク先を提供する場合、コンテンツの項目には、関連情報のリンク先のＵＲＬ（Uniform Resource Locator）が記憶される。
認識対象物情報３５は、撮影画像から判別された物品に関する各種の情報を記憶したデータである。例えば、認識対象物情報３５には、撮影画像に対応付けて判別された物品の情報が記憶される。
図８は、認識対象物情報のデータ構成の一例を示す図である。図８に示すように、認識対象物情報３５は、「対象物番号」、「物品」などの項目を有する。なお、図８に示した認識対象物情報３５の各項目は、一例であり、その他の項目を有してもよい。
対象物番号の項目は、撮影画像から物品として判別された対象物を識別する識別情報を記憶する領域である。撮影画像から判別された対象物には、識別情報として、それぞれを識別する対象物番号が付与される。対象物番号の項目には、撮影画像から判別された物品に付与された対象物番号が記憶される。物品の項目は、対象物が判別された物品を記憶する領域である。本実施例では、物品の項目には、対象物が判別されたお酒の銘柄の名称が記憶される。
図２に戻り、制御部２４は、サーバ装置１１を制御するデバイスである。制御部２４としては、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路を採用できる。制御部２４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部２４は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部２４は、画像生成部４０と、情報提供部４１とを有する。
画像生成部４０は、物品の判別に用いる基準画像の生成する処理部である。本実施例では、画像生成部４０は、受付部５０と、特定部５１と、生成部５２とを有する。
受付部５０は、各種の受け付けを行う。例えば、受付部５０は、操作画面を表示部２２に表示させ、入力部２１から操作画面に対する各種の操作を受け付ける。例えば、受付部５０は、判別を行う物品に関する情報を登録する登録画像を表示部２２に表示させ、入力部２１から登録画像に対する物品に関する各種の情報の入力を受け付ける。
図９は、登録画面の一例を示す図である。図９に示すように、登録画面１００は、登録する物品の名称を入力する名称領域１０１と、登録する物品の容器の種類を容器コードにより指定する容器指定領域１０２とを有する。また、登録画面１００は、ラベル画像データ３０を指定するラベル指定領域１０３と、コンテンツを入力するコンテンツ入力領域１０４とを有する。登録画面１００には、ＯＫボタン１０５が設けられている。受付部５０は、登録画面１００から登録する物品の名称と、登録する物品の容器の種類と、ラベル画像データ３０と、提供するコンテンツの入力を受け付ける。
例えば、判別サービスを運用する管理者は、登録するお酒の銘柄の名称を名称領域１０１に入力し、登録するお酒の容器の種類を容器コードにより容器指定領域１０２で指定する。また、管理者は、登録するお酒のラベル画像データ３０をラベル指定領域１０３で指定し、お酒の特徴や蔵元の情報など物品に関連するメッセージをコンテンツ入力領域１０４に入力する。そして、管理者は、ＯＫボタン１０５を指定する。
特定部５１は、各種の特定を行う。例えば、特定部５１は、入力された容器の種類に応じた形状を特定する。例えば、特定部５１は、容器情報３１から、指定された容器コードに対応した形状を読み出して、容器の種類に応じた形状を特定する。
生成部５２は、各種の生成を行う。例えば、生成部５２は、特定部５１により特定した形状に応じて、ラベル指定領域１０３で指定されたラベル画像データ３０が示すラベル画像を変形させた状態におけるラベルの二次元画像データを生成する。例えば、生成部５２は、３次元空間モデルソフトウェアを用いて、仮想的な３次元空間内で、特定した形状の容器の３次元モデルを形成する。また、生成部５２は、容器情報３１から、指定された容器コードに対応したラベル領域を読み出して、容器のラベル貼り付け領域の基準点を特定する。そして、生成部５２は、形成した容器の３次元モデルの基準点の位置をラベルの左上の端を基準として、ラベルの画像をテキスチャとして仮想的に貼り付けたモデルを形成する。なお、生成部５２は、容器全体の３次元モデルを形成しなくてもよく、ラベルが貼りつけられる部分についての３次元モデルに簡略化して形成してもよい。
図１０は、容器の３次元モデルにラベル画像をテキスチャとして貼り付ける流れの一例を模式的に示した図である。図１０の例では、容器の３次元モデルをラベルが貼りつけられる部分に対応した円柱ポリゴン１１０として簡略化されている。例えば、生成部５２は、図１０に示すように、円柱ポリゴン１１０の周面のラベル貼り付け領域にラベル画像１１１をテクスチャとして貼り付けた３次元モデルを形成する。これにより、ラベル画像１１１は、実際の容器に貼りつけた状態と同様に変形する。
生成部５２は、仮想的な３次元空間内で、形成した３次元モデルを用いてラベルの画像データを変形させた状態におけるラベルの二次元画像データを生成する。例えば、生成部５２は、形成した３次元モデルに対する撮影位置および形成した３次元モデルに対する照明の条件を変えて複数の二次元画像データを生成する。
図１１は、容器の３次元モデルに対する撮影位置の位置関係の一例を示した図である。図１１の例では、円柱ポリゴン１１０の中心線をｚ軸とし、仮想的に貼り付けられたラベル画像１１１に対して上方向をｚ軸のプラス方向とし、ラベル画像１１１に対して下方向をｚ軸のマイナス方向としている。また、図１１の例では、ｚ軸に対して垂直かつラベル画像１１１の中心ｃを通る線をｘ軸とし、ｚ軸から中心ｃの方向をｘ軸のプラス方向とし、中心ｃからｚ軸方向をｘ軸のマイナス方向としている。また、図１１の例では、ｚ軸およびｘ軸に垂直な軸をｙ軸としている。また、図１１の例では、ｚ軸と中心ｃを通るｘ軸が重なる点を原点ｐとしている。
例えば、生成部５２は、ｘ軸方向に所定の距離Ｌの位置で、ｘｚ平面内でのｘ軸に対する角度θをプラス、マイナスに所定範囲内（例えば、−４０°≦θ≦６０°）で角度θを所定角度（例えば、１０°）ずつｚ軸方向に位置を変える。生成部５２は、ｚ軸方向に各位置で、ｘｙ平面内でのｘ軸に対する角度γをプラス、マイナスに所定範囲内（例えば、−６０°≦γ≦６０°）で角度γを所定角度（例えば、１０°）ずつｙ軸方向に位置を変えて、中心ｃをカメラの光軸方向とした二次元画像データを生成する。生成部５２は、照明の条件として、３次元空間内の光源の位置や光源の数、光源から出力される光の輝度を変えて、それぞれの二次元画像データを生成する。例えば、生成部５２は、ｘ軸方向に所定の距離Ｍ（Ｍ＞Ｌ）の位置で、角度θ＝０、４５°、６０°、８０の位置にそれぞれ光源を配置した場合、それぞれの二次元画像データを生成する。なお、撮影位置および照明の条件を定める各種のパラメータは、予め設定されていてもよく、画面等から設定可能としてもよい。
ここで、一般的に、売り場に置いて、お酒などの商品は、顧客の視線の高さよりも下方となるように陳列される傾向があり、正面や斜め上方から参照されることが多い。そこで、生成部５２は、角度θがプラスの所定範囲内（例えば、０≦θ≦６０°）で角度θを所定角度ずつｚ軸方向に位置を変えるようにしてもよい。
また、ラベルは、上方から参照される角度θが大きいほどラベルの歪が大きくなる。そこで、生成部５２は、ラベルに対して上方向の撮影位置ほど撮影位置の変化を小さくして複数の二次元画像データを生成してもよい。例えば、生成部５２は、角度θ＝０°、３０°、４５°、５５°、６０°と上方向ほど角度θの変化を小さくする。また、生成部５２は、角度θ＝０°の場合は、角度γを３０°単位、角度θ＝４５°の場合は、角度γを２５°単位、角度θ＝５５°の場合は、角度γを２０°単位、角度θ＝６０°の場合は、角度γを１０°単位でγを変化させて、各撮影位置での二次元画像データを生成してもよい。これにより、ラベルの歪が大きい角度ほど細かい単位で基準画像を生成できる。
ラベルの変形の度合いは、容器の直径により異なり、細い容器では変形が大きくなり、太い容器では変形が小さくなる。図１２は、容器のラベル画像をテキスチャとして貼り付けた一例を示した図である。生成部５２が、図１２に示す状態の二次元画像データを生成した場合、細い容器ではラベル画像１１１の変形が大きいため、ラベル画像１１１の左右端部が切れた二次元画像データが生成される。一方、太い容器ではラベル画像１１１の変形が小さいため、ラベル画像１１１の左右端部も写った二次元画像データが生成される。
生成部５２は、生成した二次元画像データにそれぞれ基準画像番号を付与して基準画像データ３２として記憶部２３に格納する。また、生成部５２は、各基準画像データ３２の撮影位置および照明の条件を撮影条件情報３３に登録する。また、生成部５２は、登録画面１００に入力された登録する物品の名称、ラベル画像データ３０のラベル画像番号、登録する物品の容器の容器コード、メッセージ、および、生成した各基準画像データ３２の基準画像番号を登録物品情報３４に登録する。
情報提供部４１は、撮影画像に対して画像認識を行って物品を判別し、判別結果に応じて情報の提供を行う処理部である。本実施例では、情報提供部４１は、取得部６０と、評価部６１と、出力部６２とを有する。
取得部６０は、各種の取得を行う。例えば、取得部６０は、端末装置１２から送信された撮影画像の画像データを取得する。
評価部６１は、各種の評価を行う。例えば、評価部６１は、取得部６０により取得された撮影画像の画像データと各基準画像データ３２とのパターンマッチングを行って、それぞれ類似度合を示す評価値を算出する。そして、評価部６１は、算出した評価値に基づいて、物品を判別する。例えば、評価部６１は、最も高い評価値が、物品と判別する所定の閾値以上である場合、最も高い評価値が算出された基準画像データ３２の物品を撮影画像に写る物品と判別する。
ところで、ラベルに対して、角度θ＝０、角度γ＝０の正面から撮影された基準画像は、ラベルの文字や図形の歪が相対的に小さい。このため、正面から撮影された基準画像から算出された評価値は、類似しているかの評価の信頼性が高い。そこで、評価部６１は、ラベルに対して正面の撮影位置で生成された二次元画像データのスコアほど重み付けを大きくして評価値を算出して類似度を評価してもよい。例えば、角度θ＝０°、３０°、４５°、５５°、６０°で撮影された基準画像がある場合、評価部６１は、角度θ＝０°で撮影された基準画像での評価値に重み２．０を乗算し、角度θ＝３０°で撮影された基準画像での評価値に重み１．２を乗算し、角度θ＝５５°で撮影された基準画像での評価値に重み０．７５を乗算し、角度θ＝６０°で撮影された基準画像での評価値に重み０．６を乗算してもよい。
評価部６１は、撮影画像に写る物品が判別された場合、撮影画像から判別された対象物に対象物番号が付与し、認識対象物情報３５に、対象物番号と対象物が判別された物品を登録する。
出力部６２は、各種の出力を行う。例えば、出力部６２は、評価部６１により、撮影画像から物品が判別された場合、当該判別された物品に対応して各種の情報を撮影画像の送信元の端末装置１２に送信する。例えば、出力部６２は、判別された物品に対応して登録物品情報３４の物品の項目に記憶されたお酒の銘柄の名称と、コンテンツの項目に記憶されたメッセージを撮影画像の送信元の端末装置１２に送信する。
端末装置１２は、サーバ装置１１から送信された各種の情報に基づき、表示を行う。例えば、端末装置１２は、サーバ装置１１からお酒の銘柄の名称と、メッセージが送信された場合、お酒の銘柄の名称とメッセージを撮影画像に対応付けて表示する。
図１３は、端末装置に表示される画面の一例を示す図である。図１３の例では、お酒の撮影画像に対応付けて銘柄の名称とメッセージが表示される。これにより、端末装置１２のユーザは、表示された内容から銘柄の名称やお酒の特徴や蔵元の情報などを把握できる。
［処理の流れ］
次に、本実施例に係るサーバ装置１１が基準画像を生成する画像生成処理の流れを説明する。図１４は、画像生成処理の手順の一例を示すフローチャートである。この画像生成処理は、所定のタイミング、例えば、登録画面１００で登録画像に対する物品に関する各種の情報の入力を受け、ＯＫボタン１０５が指定されたタイミングで実行される。
図１４に示すように、特定部５１は、容器情報３１から、指定された容器コードに対応した形状を読み出して、容器の種類に応じた形状を特定する（Ｓ１０）。
生成部５２は、３次元空間モデルソフトウェアを用いて、仮想的な３次元空間内で、特定した形状の容器の３次元モデルを形成する（Ｓ１１）。生成部５２は、容器情報３１から、指定された容器コードに対応したラベル領域を読み出して、容器のラベル貼り付け領域の基準点を特定する（Ｓ１２）。生成部５２は、形成した容器の３次元モデルの基準点の位置をラベルの左上の端を基準として、ラベルの画像をテキスチャとして仮想的に貼り付けたモデルを形成する（Ｓ１３）。生成部５２は、形成した３次元モデルに対する撮影位置および形成した３次元モデルに対する照明の条件を変えて複数の二次元画像データを生成する（Ｓ１４）。
生成部５２は、生成した二次元画像データにそれぞれ基準画像番号を付与して基準画像データ３２として記憶部２３に格納する（Ｓ１５）。生成部５２は、各基準画像データ３２の撮影位置および照明の条件を撮影条件情報３３に登録する（Ｓ１６）。生成部５２は、登録画面１００に入力された登録する物品の名称、ラベル画像データ３０のラベル画像番号、登録する物品の容器の容器コード、メッセージ、および、生成した各基準画像データ３２の基準画像番号を登録物品情報３４に登録し（Ｓ１７）、処理を終了する。
次に、本実施例に係るサーバ装置１１が撮影画像の物品を判別し、判別結果に応じた情報を送信して端末装置１２の表示を制御する表示制御処理の流れを説明する。図１５は、表示制御処理の手順の一例を示すフローチャートである。この表示制御処理は、所定のタイミング、例えば、端末装置１２から送信された撮影画像の画像データを取得したタイミングで実行される。
図１５に示すように、評価部６１は、取得された撮影画像の画像データと各基準画像データ３２とのパターンマッチングを行って、それぞれ類似度合を示す評価値を算出する（Ｓ２０）。評価部６１は、算出した評価値に基づいて、物品を判別する（Ｓ２１）。例えば、評価部６１は、最も高い評価値が、物品と判別する所定の閾値以上である場合、最も高い評価値が算出された基準画像データ３２の物品を撮影画像に写る物品と判別する。
出力部６２は、評価部６１により、撮影画像から物品が判別されたか否かを判定する（Ｓ２２）。撮影画像から物品が判別された場合（Ｓ２２肯定）、出力部６２は、判別された物品に対応して各種の情報を撮影画像の送信元の端末装置１２に送信し（Ｓ２３）、処理を終了する。撮影画像から物品が判別されない場合（Ｓ２２否定）、出力部６２は、撮影画像から物品が判別されなかった旨を撮影画像の送信元の端末装置１２に送信し（Ｓ２４）、処理を終了する。
［効果］
本実施例に係るサーバ装置１１は、容器の種類と、ラベルの画像データの入力を受け付ける。サーバ装置１１は、入力された容器の種類に応じた形状を特定する。サーバ装置１１は、特定した形状に応じてラベルの画像データを変形させた状態におけるラベルの二次元画像データを生成する。サーバ装置１１は、生成した二次元画像データを記憶する。これにより、サーバ装置１１は、基準画像の生成ばらつきを抑制できる。
また、本実施例に係るサーバ装置１１は、仮想的な３次元空間の特定した形状の容器にラベルを仮想的に貼り付け、当該容器に対する撮影位置および容器に対する照明の条件を変えて複数の二次元画像データを生成する。これにより、サーバ装置１１は、ラベルを実際の容器に貼りつけた状態と同様の状態で、基準画像の生成できる。また、サーバ装置１１は、仮想的な３次元空間で容器に対する撮影位置および容器に対する照明の条件を変えて複数の二次元画像データを生成するため、実際に撮影を行うため作業負荷を低減できる。また、サーバ装置１１は、各ラベルに対して仮想的な３次元空間内で同じ撮影位置および照明の条件で基準画像の生成できるため、撮影角度や照明の当たり方などの要因により、基準画像にばらつきが生じることを抑制できる。
また、本実施例に係るサーバ装置１１は、容器に仮想的に貼り付けられたラベルに対して上方向の撮影位置ほど撮影位置の変化を小さくして複数の二次元画像データを生成する。これにより、サーバ装置１１は、ラベルの文字や図形の歪が大きい角度ほど細かい単位で基準画像を生成できるため、認識の精度を向上させることができる。
また、本実施例に係るサーバ装置１１は、撮像画像を取得する。サーバ装置１１は、取得した撮像画像と、二次元画像データとの類似度を評価する。サーバ装置１１は、評価結果に応じた出力を行う。これにより、サーバ装置１１は、撮像画像に、二次元画像データに写る物品が含まれる場合、精度よく認識できる。
また、本実施例に係るサーバ装置１１は、仮想的な３次元空間の特定した形状の容器にラベルを仮想的に貼り付け、当該容器に対する撮影位置および容器に対する照明の条件を変えて複数の二次元画像データを生成する。サーバ装置１１は、取得した撮像画像と、複数の二次元画像データとの類似度合いのスコアをそれぞれ求め、容器に仮想的に貼り付けられたラベルに対して正面の撮影位置で生成された二次元画像データのスコアほど重み付けを大きくして類似度を評価する。これにより、サーバ装置１１は、評価の信頼性が高い二次元画像データに対してスコアを高めることができる。
次に、実施例２について説明する。実施例２に係るシステム１０の構成は、図１に示した実施例１と同様であるため、説明を省略する。
図１６は、実施例２に係るサーバ装置の概略的な構成を示す図である。実施例２に係るサーバ装置１１の構成は、図２に示した実施例１と略同様であるため、同一の部分については同一の符号を付し、主に異なる部分について説明する。
本実施例では、情報提供部４１は、指定受付部６３をさらに有する。
指定受付部６３は、各種の指定を受け付ける。例えば、指定受付部６３は、検索対象とするラベルの指定を受け付ける。例えば、指定受付部６３は、受付部５０は、登録物品情報３４の物品の項目に記憶されたお酒の銘柄を表示した指定画面を表示部２２に表示させ、入力部２１から指定画面に対する銘柄の指定により、検索対象とするラベルの指定を受け付ける。
評価部６１は、撮影画像の画像データと、指定されたラベルの各基準画像データ３２とのパターンマッチングを行って、それぞれ類似度合を示す評価値を算出する。評価部６１は、撮像画像に複数の容器が含まれる場合、各容器のラベルと指定されたラベルの二次元画像データとの類似度を評価する。例えば、評価部６１は、各容器との評価値のうち、評価値が最も高い容器の評価値が、物品と判別する所定の閾値以上である場合、評価値が最も高い容器を、検索対象とするラベルが貼られた物品と判別する。
出力部６２は、評価部６１による評価結果に基づき、指定されたラベルの撮像画像内での位置を出力する。本実施例では、出力部６２は、検索対象とするラベルが貼られた物品の撮像画像内で位置を示す情報を端末装置１２に送信する。
端末装置１２は、サーバ装置１１から送信された各種の情報に基づき、指定されたラベルの撮像画像内での位置の表示を行う。例えば、端末装置１２は、検索対象とするラベルが貼られた物品を囲って撮像画像内で位置を表示する。
図１７は、端末装置に表示される画面の一例を示す図である。図１７の例では、撮影画像に複数のお酒の容器が写っており、検索対象とするラベルが貼られた容器が破線によって囲って撮像画像内で位置が表示されている。これにより、端末装置１２のユーザは、複数の銘柄のお酒が棚にある場合でも、検索対象とする銘柄を指定して棚を撮影することにより、検索対象とする銘柄の配置された位置を簡単に知ることができる。
［効果］
本実施例に係るサーバ装置１１は、検索対象とするラベルの指定を受け付ける。サーバ装置１１は、撮像画像に複数の容器が含まれる場合、各容器のラベルと、指定されたラベルの二次元画像データとの類似度を評価する。サーバ装置１１は、評価結果に基づき、指定されたラベルの撮像画像内での位置を出力する。これにより、ユーザは、検索対象とするラベルの配置された位置を簡単に知ることができる。
さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
例えば、上記の実施例では、仮想的な３次元空間内の容器の３次元モデルにラベルの画像をテキスチャとして仮想的に貼り付けて基準画像データ３２を生成する場合を例に説明したが、開示の装置はこれに限定されない。例えば、生成部５２は、ラベル画像データ３０が示すラベル画像に対して湾曲補正をかけてラベルの二次元画像データを生成してもよい。図１８は、湾曲補正の一例を示す図である。例えば、特定部５１により特定した形状に応じた湾曲量で、ラベル画像データ３０が示すラベル画像に対して、撮影位置に応じて湾曲させる位置を変えて複数のパターンのラベルの二次元画像データを生成してもよい。
また、上記の実施例では、基準画像の生成と、撮影画像に対する画像認識を同じ装置で行う場合を例に説明したが、開示の装置はこれに限定されない。例えば、基準画像の生成と、撮影画像に対する画像認識は、別な装置で行ってもよい。すなわち、画像生成部４０と情報提供部４１は、別な装置で実行されてもよい。
また、上記の実施例では、お酒のラベルから銘柄を判別する場合を例に説明したが、開示の装置はこれに限定されない。判別する物品は、何れであってもよい。例えば、他の円筒状の物体にラベルを貼付されている製品(ペットボトル、缶ジュースなど)においても適用してもよい。
また、上記の実施例では、撮影画像と各基準画像とのパターンマッチングを行って、それぞれ評価値を算出し、最も高い評価値を用いて物品が含まれるかを判別する場合を例に説明したが、開示の装置はこれに限定されない。複数の評価値を用いて物品が含まれるかを判別してもよい。例えば、類似度の高い順に上位所定位までの評価値を加算した値を用いて物品が含まれるかを判別してもよい。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、画像生成部４０の受付部５０、特定部５１および生成部５２、情報提供部４１の取得部６０、評価部６１、出力部６２および指定受付部６３の各処理部が適宜統合又は分割されてもよい。また、各処理部にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［画像生成プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図１９は、画像生成プログラムを実行するコンピュータを示す図である。
図１９に示すように、コンピュータ３００は、ＣＰＵ３１０、ＨＤＤ（Hard Disk Drive）３２０、ＲＡＭ（Random Access Memory）３４０を有する。これら３１０〜３４０の各部は、バス４００を介して接続される。
ＨＤＤ３２０には上記実施例の各処理部と同様の機能を発揮する画像生成プログラム３２０ａが予め記憶される。例えば、上記実施例の画像生成部４０の受付部５０、特定部５１および生成部５２と同様の機能を発揮する画像生成プログラム３２０ａを記憶させる。なお、画像生成プログラム３２０ａについては、適宜分離しても良い。
また、ＨＤＤ３２０は、各種データを記憶する。例えば、ＨＤＤ３２０は、ＯＳや各種データを記憶する。
そして、ＣＰＵ３１０が、画像生成プログラム３２０ａをＨＤＤ３２０から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、画像生成プログラム３２０ａは、実施例の画像生成部４０の受付部５０、特定部５１および生成部５２と同様の動作を実行する。
［表示制御プログラム］
次に、表示制御プログラムについて説明する。図２０は、表示制御プログラムを実行するコンピュータを示す図である。なお、図１９と同一の部分については同一の符号を付して、説明を省略する。
図２０に示すように、上記実施例の画像生成部４０の受付部５０、特定部５１および生成部５２、情報提供部４１の取得部６０、評価部６１、出力部６２および指定受付部６３と同様の機能を発揮する表示制御プログラム３２０ｂを記憶させる。なお、表示制御プログラム３２０ｂについては、適宜分離しても良い。
また、ＨＤＤ３２０は、各種データを記憶する。例えば、ＨＤＤ３２０は、ＯＳや各種データを記憶する。
そして、ＣＰＵ３１０が、表示制御プログラム３２０ｂをＨＤＤ３２０から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、表示制御プログラム３２０ｂは、実施例の画像生成部４０の受付部５０、特定部５１および生成部５２、情報提供部４１の取得部６０、評価部６１、出力部６２および指定受付部６３と同様の動作を実行する。
なお、上記した画像生成プログラム３２０ａおよび表示制御プログラム３２０ｂについては、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（又はサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
１０ システム
１１ サーバ装置
１２ 端末装置
２１ 入力部
２２ 表示部
２３ 記憶部
２４ 制御部
３０ ラベル画像データ
３１ 容器情報
３２ 基準画像データ
３３ 撮影条件情報
３４ 登録物品情報
３５ 認識対象物情報
４０ 画像生成部
４１ 情報提供部
５０ 受付部
５１ 特定部
５２ 生成部
６０ 取得部
６１ 評価部
６２ 出力部
６３ 指定受付部

Claims (7)

  1. 容器の種類と、ラベルの画像データの入力を受け付け、
    入力された前記容器の種類に応じた形状を特定し、
    仮想的な３次元空間内で、特定した形状の容器の３次元モデルに前記ラベルの画像をテキスチャとして仮想的に貼り付けた３次元モデルを形成し、前記容器の３次元モデルに仮想的に貼り付けられた前記ラベルに対して上方向の撮影位置ほど撮影位置の変化を小さくして形成した３次元モデルに対する撮影位置および形成した３次元モデルに対する照明の条件を変えて前記ラベルの二次元画像データを生成し、
    生成した前記二次元画像データを記憶する、
    処理をコンピュータが実行することを特徴とする画像生成方法。
  2. 前記生成する処理は、仮想的な３次元空間の特定した形状の容器にラベルを仮想的に貼り付け、当該容器に対する撮影位置および前記容器に対する照明の条件を変えて複数の二次元画像データを生成する
    ことを特徴とする請求項１に記載の画像生成方法。
  3. 容器の種類と、ラベルの画像データの入力を受け付け、
    入力された前記容器の種類に応じた形状を特定し、
    仮想的な３次元空間内で、特定した形状の容器の３次元モデルに前記ラベルの画像をテキスチャとして仮想的に貼り付けた３次元モデルを形成し、前記容器の３次元モデルに仮想的に貼り付けられた前記ラベルに対して上方向の撮影位置ほど撮影位置の変化を小さくして形成した３次元モデルに対する撮影位置および形成した３次元モデルに対する照明の条件を変えて前記ラベルの二次元画像データを生成し、
    生成した前記二次元画像データを記憶する、
    処理をコンピュータに実行させることを特徴とする画像生成プログラム。
  4. 容器の種類と、ラベルの画像データの入力を受け付ける受付部と、
    前記受付部に入力された前記容器の種類に応じた形状を特定する特定部と、
    仮想的な３次元空間内で、前記特定部により特定した形状の容器の３次元モデルに前記ラベルの画像をテキスチャとして仮想的に貼り付けた３次元モデルを形成し、前記容器の３次元モデルに仮想的に貼り付けられた前記ラベルに対して上方向の撮影位置ほど撮影位置の変化を小さくして形成した３次元モデルに対する撮影位置および形成した３次元モデルに対する照明の条件を変えて前記ラベルの二次元画像データを生成する生成部と、
    前記生成部により生成された前記二次元画像データを記憶する記憶部と、
    を有することを特徴とする情報処理装置。
  5. 容器の種類と、ラベルの画像データの入力を受け付け、
    入力された前記容器の種類に応じた形状を特定し、
    仮想的な３次元空間内で、特定した形状の容器の３次元モデルに前記ラベルの画像をテキスチャとして仮想的に貼り付けた３次元モデルを形成し、前記容器の３次元モデルに仮想的に貼り付けられた前記ラベルに対して上方向の撮影位置ほど撮影位置の変化を小さくして形成した３次元モデルに対する撮影位置および形成した３次元モデルに対する照明の条件を変えて前記ラベルの二次元画像データを生成し、
    生成した前記二次元画像データを記憶し、
    撮像画像を取得し、
    取得した前記撮像画像と、前記二次元画像データとの類似度を評価し、
    評価結果に応じた出力を行う、
    処理をコンピュータが実行することを特徴とする表示制御方法。
  6. 前記生成する処理は、仮想的な３次元空間の特定した形状の容器にラベルを仮想的に貼り付け、当該容器に対する撮影位置および前記容器に対する照明の条件を変えて複数の二次元画像データを生成し、
    前記評価する処理は、取得した前記撮像画像と、前記複数の二次元画像データとの類似度合いのスコアをそれぞれ求め、前記容器に仮想的に貼り付けられたラベルに対して正面の撮影位置で生成された二次元画像データのスコアほど重み付けを大きくして類似度を評価する
    ことを特徴とする請求項５に記載の表示制御方法。
  7. 検索対象とするラベルの指定を受け付ける処理をコンピュータがさらに実行し、
    前記評価する処理は、前記撮像画像に複数の容器が含まれる場合、各容器のラベルと、指定されたラベルの二次元画像データとの類似度を評価し、
    前記出力する処理は、評価結果に基づき、指定されたラベルの前記撮像画像内での位置を出力する
    ことを特徴とする請求項５または請求項６に記載の表示制御方法。
JP2015213313A 2015-10-29 2015-10-29 画像生成方法、画像生成プログラム、情報処理装置および表示制御方法 Expired - Fee Related JP6696149B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015213313A JP6696149B2 (ja) 2015-10-29 2015-10-29 画像生成方法、画像生成プログラム、情報処理装置および表示制御方法
US15/335,075 US10592724B2 (en) 2015-10-29 2016-10-26 Information output method and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015213313A JP6696149B2 (ja) 2015-10-29 2015-10-29 画像生成方法、画像生成プログラム、情報処理装置および表示制御方法

Publications (2)

Publication Number Publication Date
JP2017084182A JP2017084182A (ja) 2017-05-18
JP6696149B2 true JP6696149B2 (ja) 2020-05-20

Family

ID=58638474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015213313A Expired - Fee Related JP6696149B2 (ja) 2015-10-29 2015-10-29 画像生成方法、画像生成プログラム、情報処理装置および表示制御方法

Country Status (2)

Country Link
US (1) US10592724B2 (ja)
JP (1) JP6696149B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018017091A1 (en) * 2016-07-21 2018-01-25 Hewlett-Packard Development Company, L.P. Imaging a package to identify contents associated with the package
JP2022131777A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 情報処理装置、それを含むシステム、情報処理方法およびプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006881B1 (en) * 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5748199A (en) * 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
US7098435B2 (en) * 1996-10-25 2006-08-29 Frederick E. Mueller Method and apparatus for scanning three-dimensional objects
US6858826B2 (en) * 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7982868B2 (en) * 2004-07-30 2011-07-19 Eagle Vision Systems B.V. Apparatus and method for checking of containers
JP4696248B2 (ja) * 2004-09-28 2011-06-08 国立大学法人 熊本大学 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP4143077B2 (ja) 2005-06-01 2008-09-03 エヌ・ティ・ティ・コミュニケーションズ株式会社 画像生成蓄積装置、画像生成蓄積方法、および画像生成蓄積プログラム
JP2008145594A (ja) 2006-12-07 2008-06-26 Sony Ericsson Mobilecommunications Japan Inc 画像表示処理方法および画像表示装置
US7900384B2 (en) * 2008-05-02 2011-03-08 Disney Enterprises, Inc. Magical image cups and containers with 3D displays
US8831279B2 (en) * 2011-03-04 2014-09-09 Digimarc Corporation Smartphone-based methods and systems
US9183580B2 (en) * 2010-11-04 2015-11-10 Digimarc Corporation Methods and systems for resource management on portable devices
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
JP2011175386A (ja) 2010-02-23 2011-09-08 Pasuko:Kk ボトリング製品検索装置
US9030422B2 (en) * 2011-02-15 2015-05-12 Lg Electronics Inc. Method of transmitting and receiving data and display device using the same
US8848970B2 (en) * 2011-04-26 2014-09-30 Digimarc Corporation Salient point-based arrangements
US9129277B2 (en) * 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
JP5773944B2 (ja) * 2012-05-22 2015-09-02 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US9336597B2 (en) * 2012-11-08 2016-05-10 Navigate Surgical Technologies, Inc. System and method for determining the three-dimensional location and orienation of identification markers
US9152860B2 (en) * 2013-05-10 2015-10-06 Tantrum Street LLC Methods and apparatus for capturing, processing, training, and detecting patterns using pattern recognition classifiers
US9952042B2 (en) * 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
WO2015006784A2 (en) * 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN105745586B (zh) 2014-01-17 2018-04-03 株式会社日立制作所 作业辅助用数据生成程序
KR20170066336A (ko) * 2014-08-13 2017-06-14 씨 쓰리 리미티드 로그 스캔 시스템
US20160350715A1 (en) * 2015-05-29 2016-12-01 Eugenio Minvielle Nutrition Based Food System and Method

Also Published As

Publication number Publication date
JP2017084182A (ja) 2017-05-18
US10592724B2 (en) 2020-03-17
US20170124422A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
US10445870B2 (en) Linear grouping of recognized items in an image
US9911213B2 (en) Panoramic image stitching using objects
US10262356B2 (en) Methods and arrangements including data migration among computing platforms, e.g. through use of steganographic screen encoding
EP3537340A1 (en) User interface for object detection and labeling
US9400968B2 (en) Three-dimensional indexing protocol
JP5963325B2 (ja) マーカに基づいて特定される情報を提示する装置、方法およびプログラム
US10592855B2 (en) Method, system, and computer program product for planogram generation
EP2838054A2 (en) Recognition procedure for identifying multiple items in images
US9875548B2 (en) Candidate list generation
WO2019143839A1 (en) Augmented reality, computer vision, and digital ticketing systems
KR20180131621A (ko) 상표 이미지의 콘텐츠 기반 서치 및 검색
US20230153897A1 (en) Integrating a product model into a user supplied image
CN110110257B (zh) 数据处理方法及其系统、计算机系统及计算机可读介质
JP6696149B2 (ja) 画像生成方法、画像生成プログラム、情報処理装置および表示制御方法
JP2014164483A (ja) データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム
US20210174129A1 (en) Information processing apparatus, control method, and program
JP6857373B1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20140215320A1 (en) Marker placement support apparatus, marker placement support method, and non-transitory computer readable medium
WO2019181651A1 (ja) 情報処理装置、制御方法、及びプログラム
US10891021B2 (en) Dynamic variation for selection option information presentation
WO2021095152A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7380863B2 (ja) 画像記憶装置、画像記憶方法、及びプログラム
JP2018156544A (ja) 情報処理装置及びプログラム
JP5636966B2 (ja) 誤差検出装置及び誤差検出プログラム
CN117742855A (zh) 一种物品展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190920

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200303

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200406

R150 Certificate of patent or registration of utility model

Ref document number: 6696149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees