JP7377385B1 - 飲料缶を含む画像の処理装置、処理方法及び処理プログラム - Google Patents

Abstract

【課題】好適な（改良された）飲料缶を含む画像の処理装置、処理方法及び処理プログラムを得る。
【解決手段】本開示の一態様に係る飲料缶を含む画像の処理装置は、第１直線取得部と第２直線取得部と角度取得部を有する。第１直線取得部は、飲料缶を含む画像から、上面の中心点と、飲み口の中心点、又は、飲み口のうち上面の中心点から最も離れた先端点とを結んだ第１直線を取得する。第２直線取得部は、飲料缶を含む画像から、上面の中心点と、側面のロゴ部の基準点から上面を含む平面に向かって垂直に延びる直線が上面を含む平面と交わる点とを結んだ第２直線を取得する。角度取得部は、第１直線と第２直線がなす角度を取得する。
【選択図】図６

Description

本開示は、飲料缶を含む画像の処理装置、処理方法及び処理プログラムに関する。

特許文献１には、個体識別情報読取手段と、位置推定手段と、飲酒運転抑制制御手段とを備える飲酒運転防止装置が記載されている。個体識別情報読取手段は、車室内に存在するアルコール飲料の容器から個体識別情報を読み取り可能である。位置推定手段は、個体識別情報読取手段の出力に基づいて車室内におけるアルコール飲料の位置を推定する。飲酒運転抑制制御手段は、位置推定手段により推定されたアルコール飲料の位置に基づいて飲酒運転を抑制するための所定の制御を行う。また、特許文献１には、アルコール飲料の個体識別情報を読み取る装置の具体例としてＲＦＩＤ読取機が例示されている。さらに、特許文献１には、アルコール飲料の個体識別情報を読み取る装置が無線通信によるものに限定されず、例えばバーコード等を撮像し、画像認識によってアルコール飲料の個体識別情報を読み取るものとしてもよいことが記載されている。

特許文献２には、利用者情報受付手段と、店舗情報受付手段と、マッチング手段と、仕入情報通知手段とを備える通知制御システムが記載されている。利用者情報受付手段は、利用者からの飲料に関する利用者情報の投稿を受付ける。店舗情報受付手段は、実店舗または仮想店舗における飲料の仕入れに関する店舗情報を受付ける。マッチング手段は、飲料の属性に関して利用者情報と店舗情報のマッチングを行う。仕入情報通知手段は、マッチング手段にてマッチングされた利用者情報および店舗情報に基づいて、仕入れ情報を利用者に通知する。また、特許文献１には、マッチング手段が、利用者情報の画像データの画像認識を行い、飲料の属性を特定すること、その際、公知の画像認識技術（ＯＣＲ技術や形状判定技術等）を用いて利用者情報の画像データの画像認識を行い、飲料の属性を特定してもよいことが記載されている。

特開２００９－２５８８５５号公報 特開２０１７－０９１３４３号公報

しかしながら、特許文献１、２を含む従来技術は、好適な（改良された）飲料缶を含む画像の処理という観点において、改良の余地がある。

そこで本開示は、好適な（改良された）飲料缶を含む画像の処理装置、処理方法及び処理プログラムを得ることを目的の１つとする。

本開示の一態様に係る飲料缶を含む画像の処理装置は、平面視略円形の上面と、平面視略円形の下面と、平面視略環状で前記上面と前記下面を繋ぐ筒状の側面と、前記上面の中心点と外周縁の間に設けられた飲み口と、前記側面に設けられたロゴ部と、を有する飲料缶を含む画像の処理装置であって、ユーザ端末の撮像部により撮像されて前記ユーザ端末の画像送信部により送信された、前記飲料缶を含む画像を取得する画像取得部と、前記画像から、前記上面の中心点と、前記飲み口の中心点、又は、前記飲み口のうち前記上面の中心点から最も離れた先端点とを結んだ第１直線を取得する第１直線取得部と、前記画像から、前記上面の中心点と、前記側面の前記ロゴ部の基準点から前記上面を含む平面に向かって垂直に延びる直線が前記上面を含む平面と交わる点とを結んだ第２直線を取得する第２直線取得部と、前記第１直線と前記第２直線がなす角度を取得する角度取得部と、を有することを特徴とする。

本開示の一態様によれば、好適な（改良された）飲料缶を含む画像の処理装置、処理方法及び処理プログラムを得ることができる。

飲料缶を含む画像の処理装置を含むシステムの構成の一例を示す図である。 ユーザ端末の構成の一例を示す図である。 飲料缶を含む画像の一例を示す図である。 飲料缶を含む画像に基づく飲料缶画像解析アプリケーションサービスの概念の一例を示す図である。 画像処理装置の構成の一例を示す図である。 角度算出部の構成の一例を示す図である。 第１直線と第２直線の設定および第１直線と第２直線の角度の一例を示す図である。 飲料缶を含む画像に基づく飲料缶画像解析アプリケーションサービスの概念の一例を示す図である。 飲料缶を含む画像の処理方法の流れの一例を示す図である。 ユーザ端末及び飲料缶を含む画像の処理装置の機能構成の一例を示す図である。 ユーザ端末及び飲料缶を含む画像の処理装置のハードウェア構成の一例を示す図である。

以下、本開示の実施形態について添付図面を参照して詳細に説明する。

図１は、飲料缶を含む画像の処理装置２０を含むシステム１の構成の一例を示す図である。「飲料缶を含む画像の処理装置」は、「飲料缶を含む画像の処理システム」と読み替えられてもよい（両者を同義としてもよい）。また、飲料缶を含む画像の処理方法及び処理プログラムは、システム１（ユーザ端末１０、飲料缶を含む画像の処理装置２０）に含まれるコンピュータ（ＣＰＵ：Central Processing Unit）に各種の処理ステップを実行させることによって実現される。

図１に示すように、システム１は、ユーザ端末１０と、飲料缶を含む画像の処理装置（以下では「画像処理装置」と呼ぶ）２０と、ユーザ端末１０と画像処理装置２０を接続するネットワーク３０とを有している。図１では、ユーザ端末１０と画像処理装置２０を単一構成として簡略化して描いているが、これは作図の便宜上の理由によるものである。実際には、ハードウェア構成としても、ソフトウェア構成としても、ユーザ端末１０と画像処理装置２０は、図１に描いたよりも複雑な構成を有している。例えば、画像処理装置２０は、複数のサーバやデータベース等を含んで構成されていてもよい。

システム１は、ユーザ端末１０と画像処理装置２０を含んだ構成として捉えてもよいし、ユーザ端末１０を含まず画像処理装置２０だけを含んだ構成として捉えてもよい。つまり、システム１において、ユーザ端末１０は必須の構成要件ではない（後述する飲料缶を含む画像が画像処理装置２０に入力されればよい）。

ユーザ端末１０は、例えば、携帯電話、スマートフォン、タブレット型端末などの携帯端末（移動通信端末）である。つまり、本明細書におけるユーザ端末１０は、画像処理装置２０との間で各種の通信を行うことができる通信デバイスである。ユーザ端末１０は、例えば、有線及び／又は無線（例えば、Long Term Evolution（ＬＴＥ）、5^th Generation New Radio（５Ｇ ＮＲ）、Ｗｉ－Ｆｉ（登録商標）など）を介して、ネットワーク（インターネットなど）と通信してもよい。ユーザ端末１０は、ユーザの操作により、ブラウザ及びその他の各種のアプリケーション（とりわけ後述する飲料缶画像解析アプリケーションサービス）を実行する。

画像処理装置２０は、ユーザ端末１０との間で各種の通信を行うことができる通信デバイスであればよく、デバイス、回路などで読み替えられてもよい。とりわけ、画像処理装置２０は、ユーザ端末１０により取得（撮影）された飲料缶を含む画像を解析して、その解析結果に基づく種々のアプリケーションサービス（飲料缶画像解析アプリケーションサービス）を提供するべく、ユーザ端末１０との間で各種の通信を行う。

図２は、ユーザ端末１０の構成の一例を示す図である。ユーザ端末１０は、撮像部（画像取得部）１１と、画像送信部１２と、飲料缶画像解析アプリケーション部１３とを有している。なお、ユーザ端末１０は、図２に描いた構成要素の他にも、一般的なユーザ端末が搭載している構成要素、例えば、ディスプレイ、スピーカー、マイクロフォン等を有している。

撮像部１１は、ユーザ端末１０に搭載されたカメラシステムであり、飲料缶を含む画像を撮像（取得）する。画像送信部１２は、撮像部１１が撮像した飲料缶を含む画像を画像処理装置２０に送信する。飲料缶画像解析アプリケーション部１３は、画像送信部１２から画像処理装置２０に送信した飲料缶を含む画像に基づく飲料缶画像解析アプリケーションサービスを利用するための各種の処理を実行する。

例えば、撮像部１１のカメラが起動されると、撮像素子（ＣＣＤ：Charge Coupled Device）の受像画像の飲料缶が所定銘柄であるか否かを判定して写真が撮影されてもよい。画像を別途撮影するよりも快適なユーザの体験（ＵＸ：User Experience）を実現するために、飲料缶の判定処理を分割してもよい。判定処理においては、例えば、撮像素子の受像画像に飲料缶の所定銘柄のロゴや飲料缶の上面が含まれているかどうか、飲料缶の外郭形状・意匠を解析して利用してもよい。その際、撮像素子で受像した飲料缶が所定銘柄である確率（信頼性スコア）を算出して、当該確率が所定値以上（例えば５０％以上）である場合に撮影を実行してもよい。ここで、撮影の実行有無を決定する上記の所定値には自由度があり、種々の設計変更が可能である。もちろん、撮像素子で受像した飲料缶が所定銘柄であるか否かを１／０フラグで検出してもよい。

図３は、飲料缶を含む画像の一例を示す図である。飲料缶は、例えば、アルコール飲料、ミネラルウォーター、炭酸水、清涼飲料水、コーンポタージュなどの任意の飲料を収容する容器である。飲料缶は、平面視略円形の上面、平面視略円形の下面、平面視略環状で上面と下面を繋ぐ筒状の側面とを有している。飲料缶の上面には、中心点を挟んだ一方と他方に、飲み口と、飲み口を開放するためのプルタブが設けられている（図３では飲料缶の上面の中心点より左側に飲み口が設けられて中心点より右側にプルタブが設けられている）。飲み口とプルタブは、それぞれ、飲料缶の上面の中心点と外周縁の間に設けられている。飲料缶の側面には、当該飲料缶のメーカーと商品名（銘柄）がロゴ（表示部）として設けられている（描かれている）。図３では、飲料缶のメーカーとしてＸＹＺが描かれており、飲料缶の商品名としてＡＢＣＤＥが描かれている。図３では、作図の便宜上の理由により、飲料缶の側面のロゴ部（メーカーと商品名）を通常のフォントで描いているが、実際には、飲料缶の側面のロゴ部（メーカーと商品名）は、飲料缶の側面の丸みに応じて歪んで撮影される。

図３に描いた飲料缶の形状はあくまで一例であり、その他の種々の形状の飲料缶を対象とすることができる。図３の飲料缶は、平面視したとき、上面と下面と側面が同径の円形・環状となっている。これに対して、上面と下面が径の異なる円形であってもよいし、側面の径が高さ方向の位置に応じて変動する形状であってもよい。例えば、飲料缶は、ビア樽（ビールを詰める、胴の中央がふくらんだ洋樽）のように、高さ方向の中心部が、上面や下面より膨らんだ形状であってもよい。また、上面と下面と側面は、平面視したとき、厳密な円形（真円）や環状である必要はなく、真円や環状から少しずれた形状であってもよい。そのような意味で、「平面視略円形」及び「平面視略環状」という文言を使用している。

図４Ａ～図４Ｃは、飲料缶を含む画像に基づく飲料缶画像解析アプリケーションサービスの概念の一例を示す図である。飲料缶画像解析アプリケーションサービスは、飲料缶をカメラで捉えるという体験に基づいてブランドのファンを作りながら特典（お得な体験）を提供するものである。飲料缶画像解析アプリケーションサービスの提供を受けるためには、ユーザ端末１０を介して、利用規約及びプライバシーポリシーをユーザが確認・同意した上で、参加の意思表示を示すことが必要である。また、飲料缶画像解析アプリケーションサービスには、キャンペーン名、応募期間、対象商品（飲料缶の種類やサイズ等）、景品、当選数、必要ポイント等が設定される。

図４Ａでは、ユーザ端末１０の撮像部１１によって、ユーザが飲んでいる（あるいは飲み終わった）飲料缶を撮影（スキャン）して、その撮影画像を画像処理装置２０に送信する。ここで図４Ａの飲料缶画像の撮影・送信は、時間的・回数的な制限（例えば一日に一回）が設定されてもよい。

図４Ｂでは、図４Ａの飲料缶画像の撮影・送信が所定回数に到達することで、オリジナルグッズ（景品）に自動応募される。図４Ｂの例では、図４Ａの飲料缶画像の撮影・送信を１ポイントに換算して、５ポイント貯まる毎に、オリジナルグッズ（景品）に自動応募される。ここで、５ポイント毎の自動応募は、時間的・回数的な制限（例えばキャンペーン期間中に最大１０回）が設定されてもよい。

図４Ｃでは、５ポイント毎の自動応募に当選すると、ユーザに対してオリジナルグッズが当たる（提供される）。図４Ｃでは、オリジナルグッズとして、飲料缶のメーカー（ＸＹＺ）と商品名（ＡＢＣＤＥ）が描かれた携帯端末のケース（オリジナルスマホケース）を例示している。

上述した飲料缶画像解析アプリケーションサービスは、飲料缶の販売促進を図るためのものであるため、その性質上、画像処理装置２０に送信される飲料缶画像に係る飲料缶が同一のものではないことを想定している（前提としている）。すなわち、オリジナルグッズの自動応募に必要な所定ポイント（例えば５ポイント）の各々（１ポイント）は、同一の飲料缶を複数撮影したものやインターネット上から拾ってきたものであってはならず、ユーザが中身を飲んだ飲料缶の本数に応じて飲む度に撮影したものであることを想定している（前提としている）。さらに言えば、ユーザが中身を飲む飲料缶は、例えば、ユーザ自身、ユーザの家族や同居人、ユーザと一緒に飲料缶の中身を飲む友人や同僚などが購入したものであることを想定している（前提としている）。

本開示の飲料缶を含む画像の処理装置、処理方法及び処理プログラムは、上記の想定・前提を盤石なものとする観点から、画像に含まれる飲料缶を処理する（解析する）ことにより、画像に含まれる飲料缶が同一のものであるか否か、さらには当該飲料缶の「購買証明」に繋げることができる構成要件を具備している。例えば、スムーズで信頼性の高い購買証明ができれば、インストア購買商材でもロイヤリティプログラム（サービスを何度も利用したり、商品を頻繁に購入してくれたりする「優良顧客」に対し、企業が特典を与えるマーケティング上の施策）が組みやすくなり、デジタル販促をブランドのファンを増やすためのマーケティング用の顧客関係処理（ＣＲＰ：Customer Relationship Process）に昇華することが可能になる。

ここで、スムーズで信頼性の高い購買証明の難しさの要因として、以下が挙げられる。
（１）購買証明は、クレーム対応や不正を考えると間違えられない。
（２）はがきは、流通の手間が大きく広がらず、都度捨てることになるのでたまらない。
（３）直列的な証明（シリアル）は、工場の生産ラインでの対応、且つ、バーコードの発行やシールの印刷で膨大な数になってしまう。
（４）レシートは、煩雑で手間が掛かるとともに、正解判定のコストが掛かり、不正の抜け道がある。過去には、販促キャンペーンで組織的なレシート購買証明詐欺（日付改竄、折り込んで違う決済にする、背景色の加工、複数枚を重ねる）が発生した例も存在する。
（５）間違いが起こり難い「○○Ｐａｙ」などの電子決済は、決済の制約や小売が限られ、プラットフォーマー（基盤を提供する事業者）主導である故の柔軟性の欠如が問題となる。

このように、飲料缶のメーカー主導（内製）で、画像に含まれる飲料缶を処理する（解析する）ことにより、画像に含まれる飲料缶が同一のものであるか否か、さらには当該飲料缶の購買証明に繋げることができる仕組みが待たれている。そして本発明者は、かかる着眼に基づいて、このような仕組みを持つ飲料缶を含む画像の処理装置、処理方法及び処理プログラムを実現するに至った。この仕組みは、キャンペーンの購買証明を性悪説から性善説に発想転換し、明らかなる不正や詐欺さえ検知できれば多少ポイントを過剰に付与することを厭わない柔軟性を内包しており、あえて厳密に購買判定しなくてもよいという、いわゆる「疑似購買証明」の可能性に基づくものである。

図５は、画像処理装置２０の構成の一例を示す図である。画像処理装置２０は、画像入力部（画像取得部）２１と、第１の判定部２２と、第２の判定部２３と、第３の判定部２４と、角度算出部２５と、角度出力部２６と、比較部２７と、通知部２８と、特典付与部２９とを有している。

画像入力部（画像取得部）２１は、ユーザ端末１０の撮像部１１で撮像されて画像送信部１２から送信されてきた飲料缶を含む画像が入力する（を取得する）。画像入力部（画像取得部）２１は、同一のユーザ端末１０からの複数の画像が入力する（を取得する）。

第１の判定部２２は、画像入力部２１に入力した画像を解析して、当該画像に含まれる飲料缶が所定銘柄であるか否かを判定する。この判定は、ユーザ端末１０の撮像部１１で飲料缶を撮影するか否かを判定するときの処理と同じであってもよい。第１の判定部２２は、画像入力部２１に入力した画像に含まれる飲料缶が所定銘柄である確率（信頼性スコア）を算出してもよい。

第２の判定部２３は、画像入力部２１に入力した画像を解析して、当該画像に含まれる飲料缶が所定容量であるか否かを判定する。第２の判定部２３は、画像入力部２１に入力した画像に含まれる飲料缶が５００ｍｌ缶か、３５０ｍｌ缶か、それ以外の容量であるかを判定してもよい。第２の判定部２３は、画像入力部２１に入力した画像に含まれる飲料缶が５００ｍｌ缶か、３５０ｍｌ缶か、それ以外の容量である確率（信頼性スコア）を算出してもよい。

第３の判定部２４は、画像入力部２１に入力した画像を解析して、当該画像がオリジナル性を欠いた既存画像であるか否を判定する。第３の判定部２４は、画像入力部２１に入力した画像がインターネット上から拾ってきた画像（つまりユーザ端末１０によりユーザが自分で撮影したものでない可能性が高い画像）を検出する。第３の判定部２４は、テンプレートマッチングを利用して、バックエンド（サーバーサイドやデータベースのシステム等のユーザの目に見えない部分）に画像が送られるインターネット画像との照合を行って両者の類似度を測定する。第３の判定部２４は、画像入力部２１に入力した画像がオリジナル性を欠いた既存画像である確率（信頼性スコア）を算出してもよい。

角度算出部２５は、画像入力部２１に入力した画像を解析して、飲料缶の外郭特徴部に基づいて設定した第１直線と第２直線を求めるとともに、第１直線と第２直線がなす角度を算出する。本開示では、飲料缶の上面の中心点と、飲料缶の上面の飲み口の中心点及び先端点と、飲料缶の側面のロゴ部の基準点とを用いている。

図６は、角度算出部２５の構成の一例を示す図である。角度算出部は、第１直線取得部２５Ｘと、第２直線取得部２５Ｙと、角度取得部２５Ｚとを有している。

第１直線取得部２５Ｘは、画像入力部２１に入力した画像から、飲料缶の上面の中心点と、飲料缶の飲み口の中心点、又は、飲料缶の飲み口のうち上面の中心点から最も離れた先端点とを結んだ第１直線を取得する。第１直線取得部２５Ｘは、第１の取得処理として、飲料缶の上面の中心点と、飲料缶の飲み口のうち上面の中心点から最も離れた先端点とを結んだ第１直線の取得処理を実行し、第１の取得処理が失敗したとき、第２の取得処理として、飲料缶の上面の中心点と、飲料缶の飲み口の中心点とを結んだ第１直線の取得処理を実行する。例えば、飲料缶の飲み口が楕円形状または略楕円形状である場合、長軸と短軸の交点である楕円または略楕円の中心が「飲料缶の飲み口の中心点」に相当する。

第２直線取得部２５Ｙは、画像入力部２１に入力した画像から、飲料缶の上面の中心点と、飲料缶の側面のロゴ部の基準点から上面を含む平面に向かって垂直に延びる直線が上面を含む平面と交わる点とを結んだ第２直線を取得する。「飲料缶の側面のロゴ部の基準点」は、ロゴ部が指し示す飲料缶のメーカーや商品名の特定の一部として定義される。例えば、飲料缶の側面のロゴ部として、飲料缶のメーカーとしてＸＹＺが描かれており、飲料缶の商品名としてＡＢＣＤＥが描かれている場合、ＸＹＺの特定の一部（例えば文字Ｙの中心部）、あるいは、ＡＢＣＤＥの特定の一部（例えば文字Ｃの中心部）が、「飲料缶の側面のロゴ部の基準点」に設定される。詳しくは後述するが、「飲料缶の側面のロゴ部の基準点」は、セグメンテーションとキーポイント抽出（特にキーポイント抽出）を用いて、飲料缶の側面のロゴ部の一点（例えば文字列ＸＹＺのうちの文字Ｙの中心部や、文字列ＡＢＣＤＥのうちの文字Ｃの中心部）をターゲットとして抽出・決定する。

上述した通り、飲料缶の上面は平面視したときに円形（略円形）である。このため、飲料缶の画像を撮影する際、飲料缶の真上から撮影すれば、飲料缶の上面が円形（略円形）に写るが、少しでも斜めから撮影すれば、飲料缶の上面は非円形に写ることになり、後者の場合が殆どである可能性が高い。そこで、第１直線取得部２５Ｘは、画像に写り込んだ飲料缶の上面を非円形から真円形に補正した上で、第１直線を取得し、第２直線取得部２５Ｙは、画像に写り込んだ飲料缶の上面を非円形から真円形に補正した上で、第２直線を取得する。

角度取得部２５Ｚは、第１直線取得部２５Ｘが取得した第１直線と、第２直線取得部２５Ｙが取得した第２直線とがなす角度を取得する。

図７は、第１直線と第２直線の設定および第１直線と第２直線の角度の一例を示す図である。図７において、飲料缶の側面のロゴ部の基準点、ここでは商品名ＡＢＣＤＥの真ん中のＣの中心、及び／又は、メーカーＸＹＺの真ん中のＹの中心を点（１）で描いている。また、飲料缶の側面のロゴ部の基準点（１）から飲料缶の上面を含む平面に向かって垂直に延びる直線が飲料缶の上面を含む平面と交わる点を（２）で描いている。また、飲料缶の上面の中心点を（３）で描いている。また、飲料缶の飲み口のうち上面の中心点から最も離れた先端点を（４）で描いている。また、飲料缶の飲み口の中心点を（５）で描いている。

そして、飲料缶の上面の中心点（３）と、飲料缶の飲み口の中心点（５）、又は、飲料缶の飲み口のうち上面の中心点から最も離れた先端点（４）とを結んだ第１直線を取得する。より具体的に、第１の取得処理として、飲料缶の上面の中心点（３）と、飲料缶の飲み口のうち上面の中心点から最も離れた先端点（４）とを結んだ第１直線の取得処理を実行し、第１の取得処理が失敗したとき、第２の取得処理として、飲料缶の上面の中心点（３）と、飲料缶の飲み口の中心点（５）とを結んだ第１直線の取得処理を実行する。一方、飲料缶の上面の中心点（３）と、飲料缶の側面のロゴ部の基準点（１）から上面を含む平面に向かって垂直に延びる直線が上面を含む平面と交わる点（２）とを結んだ第２直線を取得する。このようにして取得した第１直線と第２直線とがなす角度θを取得する。なお、第１直線と第２直線を取得する際に、飲料缶の上面が非円形（楕円）に写っている場合、算出した角度に補正をかけてもよい。また、上述したように、画像に写り込んだ飲料缶の上面を非円形から真円形に補正した上で、第１直線と第２直線を取得してもよい。

角度算出部２５（第１直線取得部２５Ｘ、第２直線取得部２５Ｙ、角度取得部２５Ｚ）による角度算出は、セグメンテーションと、キーポイント抽出と、幾何学的な処理による角度算出との３つの処理によって実行される。すなわち、バックエンド（サーバーサイドやデータベースのシステム等のユーザの目に見えない部分）に飲料缶を含む画像が送られると、セグメンテーションと、キーポイント抽出と、幾何学的な処理による角度算出との３つの処理が行われる結果、第１直線と第２直線が求められ、第１直線と第２直線がなす角度が取得される。このように、第１直線取得部２５Ｘと第２直線取得部２５Ｙは、セグメンテーションとキーポイント抽出に基づいて、第１直線と第２直線を取得する。

セグメンテーションは、画像に対してピクセル毎に何か写っているかを推定するモデルであり、一般的な物体検知で使われるモデルアーキテクチャを使って、独自に教師データを作成して追加の学習を行ってもよい。セグメンテーションでは、対象画像のうち、飲料缶の上面の領域がどこかをピクセル単位で判定する。

キーポイント抽出は、画像に対して物体の特徴となる点の座標を検出するモデルであり、画像中の飲料缶に対して新規にキーポイントを設定して、モデルに基づく学習が可能である。キーポイント抽出では、対象画像のうち、第１直線と第２直線を規定（特定）するための点（１）～（５）の座標を検出する。

幾何学的な処理による角度算出では、セグメンテーションとキーポイント抽出によって検出されたデータに基づいて、第１直線（点（３）と点（４）を結んだ直線、または、点（３）と点（５）を結んだ直線）と、第２直線（点（２）と点（３）を結んだ直線）とがなす角度θを算出する（図７を参照）。

一例として、セグメンテーションでは、飲料缶が写り込んだ画像を入力として、飲料缶の上部の領域がどこかをピクセル単位で判定する。キーポイント抽出では、飲料缶が写り込んだ画像を入力として、飲料缶の上面の中心点、ロゴの基準点、飲み口の先端点や中心点を特定する。幾何学的な処理による角度算出では、セグメンテーションとキーポイント抽出の結果を入力として、第１直線と第２直線を求め、第１直線と第２直線がなす角度を取得する。

角度算出部２５（第１直線取得部２５Ｘ、第２直線取得部２５Ｙ、角度取得部２５Ｚ）は、画像入力部２１に同一のユーザ端末１０からの複数の画像が入力した場合、当該複数の画像について、第１直線（点（３）と点（４）を結んだ直線、または、点（３）と点（５）を結んだ直線）と、第２直線（点（２）と点（３）を結んだ直線）とがなす角度θを算出する。

角度出力部２６は、角度算出部２５（第１直線取得部２５Ｘ、第２直線取得部２５Ｙ、角度取得部２５Ｚ）が算出した、第１直線（点（３）と点（４）を結んだ直線、または、点（３）と点（５）を結んだ直線）と、第２直線（点（２）と点（３）を結んだ直線）とがなす角度θを出力する。角度出力部２６は、画像入力部２１に同一のユーザ端末１０からの複数の画像が入力し、角度算出部２５が当該複数の画像について第１直線と第２直線がなす角度θを算出した場合、当該複数の画像について第１直線と第２直線がなす角度θを出力する。

比較部２７は、同一のユーザ端末１０からの複数の画像について、第１直線と第２直線がなす角度θが所定範囲にあるかどうかを比較する。

飲料缶の製造時に、飲料缶の上面の飲み口と、飲料缶の側面のロゴ部（メーカーや商品名）との位置関係を一律に同じように作り込むことは行われておらず、両者の位置関係は、いわば、個々の飲料缶のオリジナル度合いと捉えることができる。すなわち、厳密に見れば、個々の飲料缶について、第１直線と第２直線がなす角度θは異なるケースが殆どであり、当該角度θに基づいて、複数の画像に同一の飲料缶が含まれる可能性を判定することができる。例えば、複数の画像に含まれる飲料缶について、第１直線と第２直線がなす角度θが大きく異なっていれば、複数の画像に含まれる飲料缶が異なる可能性が高くなり、第１直線と第２直線がなす角度θが同一又は殆ど同一であれば、複数の画像に含まれる飲料缶が同一である可能性が高くなる。

比較部２７は、例えば、複数の画像の任意の１枚の基準画像において第１直線と第２直線がなす角度θを基準角度θ_{ｓｔａｎｄａｒｄ}に設定し、複数の画像のその他の参照画像において第１直線と第２直線がなす角度θを参照角度θ_{ｒｅｆｅｒｅｎｃｅ}に設定する。そして、基準角度θ_{ｓｔａｎｄａｒｄ}と参照角度θ_{ｒｅｆｅｒｅｎｃｅ}が所定範囲内にあるかどうかを比較する。例えば、０．９５×参照角度θ_{ｒｅｆｅｒｅｎｃｅ}≦基準角度θ_{ｓｔａｎｄａｒｄ}≦１．０５×参照角度θ_{ｒｅｆｅｒｅｎｃｅ}を満足する場合に、基準画像と参照画像に含まれる飲料缶が同一のものであると判定し、当該条件式を満足しない場合に、基準画像と参照画像に含まれる飲料缶が異なるものであると判定することができる。比較部２７は、複数の画像（基準画像と参照画像）に含まれる飲料缶が同一のものであるか否かを示す確率（信頼性スコア）を算出してもよい。

通知部２８は、同一のユーザ端末１０からの複数の画像について、第１直線と第２直線がなす角度θが所定範囲にあるとき、すなわち、当該複数の画像に含まれる飲料缶が同一のものである可能性が高いときに、ユーザ端末１０にその旨を通知する。ユーザ端末１０への通知方法は、例えば、ディスプレイへの表示、及び／又は、スピーカーからの音声を採用することができる。その際、通知部２８は、当該複数の画像については、後述する特典付与部２９による特典付与の対象外とすることを通知してもよい。

なお、通知部２８は、画像入力部２１に入力された飲料缶を含む画像に占める飲料缶の領域が所定範囲以下である場合、第１直線と第２直線がなす角度θを算出（取得）できないとして、エラー通知を発してもよい。

特典付与部２９は、同一のユーザ端末１０からの複数の画像について、第１直線と第２直線がなす角度θが所定範囲にないとき、当該複数の画像に含まれる飲料缶が異なるものであると判定して、ユーザ端末１０に複数の画像の枚数に応じた特典を付与する。例えば、飲料缶が写り込んだ画像１枚を１ポイントに換算して、画像５枚に対応する５ポイントに到達したときに自動応募を行い、抽選に当選した場合にオリジナルグッズが当たるようにしてもよい（図４Ｂ、図４Ｃを参照）。

図８は、飲料缶を含む画像に基づく飲料缶画像解析アプリケーションサービスの概念の一例を示す図である。図８に示すように、ユーザ端末１０のアプリケーションから画像処理装置２０のＡＩ（Artificial Intelligence）に飲料缶を含む画像が送信される。画像処理装置２０のＡＩは、アップロードされた画像に対して飲料缶の情報を付与する。より具体的に、飲料缶の飲み口の角度（例えば第１直線と第２直線がなす角度θ）、インターネット上の画像との類似度、同じユーザが直近にアップロードした飲料缶の飲み口の角度（例えば第１直線と第２直線がなす角度θ）、商品情報（例えば飲料缶が３５０ｍｌと５００ｍｌのいずれであるか）等の情報が得られる。画像処理装置２０のＡＩが判定した結果は数値でキャンペーンシステムに渡され、ポイント付与、特典付与のレギュレーションは、キャンペーンシステムの側で行うことができるように構成されている。

図９は、飲料缶を含む画像の処理方法の流れの一例を示す図である。

ステップＳＴ１では、ユーザ端末１０の撮像部１１としてのカメラを起動する。ステップＳＴ２では、ユーザ端末１０の撮像部１１により飲料缶を含む画像を撮影（取得）する。カメラ起動状態で飲料缶のロゴや特定部位（例えば商品名を示す文字や絵柄等）を認識したら（対象飲料缶である確率が所定値を超えたら）、自動的にシャッターを切ることにより、飲料缶を含む画像を撮影する。

ステップＳＴ３では、画像処理装置２０の第２の判定部２３が、飲料缶が所定容量であることを判定する。この判定は、例えば、飲料缶の全体形状で５００ｍｌと３５０ｍｌの区別を行ってもよいし、飲料缶に付されたプロダクトＩＤ（ＪＡＮコード）を用いてもよい。ステップＳＴ４では、画像処理装置２０の第３の判定部２４が、飲料缶を含む画像がオリジナル性を欠いた既存画像（インターネット上から拾ってきた画像）でないことを確認する。

ステップＳＴ５では、画像処理装置２０の角度算出部２５（第１直線取得部２５Ｘ、第２直線取得部２５Ｙ、角度取得部２５Ｚ）が、撮影画像に含まれる飲料缶について、第１直線と第２直線がなす角度を算出する。ステップＳＴ６では、画像処理装置２０の比較部２７が、データベースと照合して、同じＩＤのユーザ（同一のユーザ）が直近に登録した画像に含まれる飲料缶の第１直線と第２直線がなす角度と、ステップＳＴ５で算出した第１直線と第２直線がなす角度とを比較してその一致度を判定する。ステップＳＴ７では、ステップＳＴ６で角度の比較・判定を行った複数の画像に含まれる飲料缶が、同一の飲料缶であるか、異なる飲料缶であるかの最終判定を行う。

このように、本開示に係る飲料缶を含む画像の処理装置では、第１直線取得部が、飲料缶を含む画像から、上面の中心点と、飲み口の中心点、又は、飲み口のうち上面の中心点から最も離れた先端点とを結んだ第１直線を取得する。また、第２直線取得部が、飲料缶を含む画像から、上面の中心点と、側面のロゴ部の基準点から上面を含む平面に向かって垂直に延びる直線が上面を含む平面と交わる点とを結んだ第２直線を取得する。また、角度取得部が、第１直線と第２直線がなす角度を取得する。これにより、好適な（改良された）飲料缶を含む画像の処理が可能になる。例えば、画像に含まれる飲料缶の解析を行って、画像に含まれる飲料缶が同一のものであるか否か、さらには当該飲料缶の購買証明に繋げることができる。また、柔軟で利便性に富んでおり、一定の精度を実現することができる。

また、本開示に係る飲料缶を含む画像の処理装置では、画像に含まれるのが特定の飲料缶か否か、同一の飲料缶であるか否かを確率として保有することで、正誤判定の柔軟性を確保している。また、判定周辺のメタデータを詳細にフィードバックすることで、キャンペーンの設計側での柔軟な変更が可能になる。また、解析処理をアプリサーバサイド（画像処理装置２０）で行い、飲料缶の認識をアプリサイド（ユーザ端末１０）で行うので、リアルタイム感などのユーザの体験（ＵＸ：User Experience）を実現することができる。また、例えば、ＨＴＭＬ言語で稼働するｊａｖａｓｃｒｉｐｔ（登録商標）で実現させることができるので、実装が容易である。

図１０は、一実施形態に係るユーザ端末１０及び画像処理装置２０の機能構成の一例を示す図である。図１０に示すように、ユーザ端末１０及び画像処理装置２０は、制御部１１０と、記憶部１２０と、通信部１３０と、入力部１４０と、出力部１５０と、を有する。なお、図１０では、ユーザ端末１０及び画像処理装置２０の機能ブロックの一例を示しており、図１０に描いていない他の機能ブロックを有していてもよい。また、一部の機能ブロックを含まない構成としてもよい。

制御部１１０は、ユーザ端末１０及び画像処理装置２０の制御を実施する。制御部１１０は、本発明に係る技術分野での共通認識に基づいて説明されるコントローラ、制御回路又は制御装置により構成することができる。

記憶部１２０は、ユーザ端末１０及び画像処理装置２０で利用する情報を記憶する。記憶部１２０は、例えば、本発明に係る技術分野での共通認識に基づいて説明されるメモリ、ストレージ、記憶装置などにより構成することができる。

通信部１３０は、ユーザ端末１０及び画像処理装置２０の通信（例えば両者の相互通信）を行う。通信部１３０は、本発明に係る技術分野での共通認識に基づいて説明されるトランスミッター／レシーバー、送受信回路又は送受信装置により構成することができる。なお、通信部１３０は、送信部及び受信部から構成されてもよい。

入力部１４０は、ユーザ端末１０及び画像処理装置２０における入力を受け付ける。また、入力部１４０は、所定の機器、記憶媒体などと接続され、データの入力を受け付けてもよい。入力部１４０は、入力結果を例えば制御部１１０に出力してもよい。入力部１４０は、本発明に係る技術分野での共通認識に基づいて説明されるキーボード、マウス、ボタンなどの入力装置、入出力端子、入出力回路などにより構成することができる。また、入力部１４０は、表示部と一体となった構成（例えば、タッチパネル）としてもよい。

出力部１５０は、ユーザ端末１０及び画像処理装置２０における出力を行う。例えば、出力部１５０は、画像を表示する表示部、音声を出力する音声出力部などを含んで構成されてもよい。表示部は、例えば、本発明に係る技術分野での共通認識に基づいて説明されるディスプレイ、モニタなどの表示装置により構成することができる。また、音声出力部は、本発明に係る技術分野での共通認識に基づいて説明されるスピーカーなどの出力装置により構成することができる。

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的に結合した１つの装置により実現されてもよいし、物理的に分離した２つ以上の装置を有線又は無線によって接続し、これら複数の装置により実現されてもよい。

例えば、本開示の一実施形態におけるユーザ端末１０及び画像処理装置２０は、本開示の飲料缶を含む画像の処理方法及び処理プログラムの処理を行うコンピュータとして機能してもよい。図１１は、一実施形態に係るユーザ端末１０及び画像処理装置２０のハードウェア構成の一例を示す図である。上述のユーザ端末１０及び画像処理装置２０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、本開示において、装置、回路、デバイス、ユニット、サーバなどは、互いに読み替えることができる。ユーザ端末１０及び画像処理装置２０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

例えば、プロセッサ１００１は１つだけ図示されているが、複数のプロセッサがあってもよい。また、処理は、１のプロセッサによって実行されてもよいし、処理が同時に、逐次に、又はその他の手法を用いて、２以上のプロセッサによって実行されてもよい。なお、プロセッサ１００１は、１以上のチップによって実装されてもよい。

ユーザ端末１０及び画像処理装置２０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みなどを制御することによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。なお、上述の制御部１１０などの各部は、プロセッサ１００１によって実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、制御部１１０は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）（登録商標）、ＲＡＭ（Random Access Memory）、その他の適切な記憶媒体の少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、一実施形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、フレキシブルディスク、フロッピー（登録商標）ディスク、光磁気ディスク（例えば、コンパクトディスク（ＣＤ－ＲＯＭ（Compact Disc ROM）など）、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、リムーバブルディスク、ハードディスクドライブ、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック、キードライブ）、磁気ストライプ、データベース、サーバ、その他の適切な記憶媒体の少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。なお、上述の記憶部１２０は、メモリ１００２及び／又はストレージ１００３によって実現されてもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、ＳＩＭカードを含んでもよい。なお、上述の通信部１３０は、通信装置１００４によって実現されてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウスなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカーなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。なお、上述の入力部１４０及び出力部１５０は、それぞれ入力装置１００５及び出力装置１００６によって実現されてもよい。

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００８によって接続される。バス１００７は、単一のバスによって構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、ユーザ端末１０及び画像処理装置２０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

（変形例）
なお、本開示において説明した用語及び／又は本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。また、本開示においてパラメータなどに使用する名称は、いかなる点においても限定的なものではない。

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

情報、信号などは、複数のネットワークノードを介して入出力されてもよい。入出力された情報、信号などは、特定の場所（例えば、メモリ）に保存されてもよいし、テーブルを用いて管理してもよい。入出力される情報、信号などは、上書き、更新又は追記をされ得る。出力された情報、信号などは、削除されてもよい。入力された情報、信号などは、他の装置へ送信されてもよい。

また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的な通知に限られず、暗示的に（例えば、当該所定の情報の通知を行わないことによって又は別の情報の通知によって）行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体及び信号波形の少なくとも１つを介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用され得る。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素の参照は、２つの要素のみが採用され得ること又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

本開示において、「含む（include）」、「含んでいる（including）」及びこれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示において、例えば、英語でのa, an及びtheのように、翻訳によって冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

以上、本開示に係る発明について詳細に説明したが、当業者にとっては、本開示に係る発明が本開示中に説明した実施形態に限定されないということは明らかである。本開示に係る発明は、特許請求の範囲の記載に基づいて定まる発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とし、本開示に係る発明に対して何ら制限的な意味をもたらさない。

１ システム
１０ ユーザ端末
１１ 撮像部（画像取得部）
１２ 画像送信部
１３ 飲料缶画像解析アプリケーション部
２０ 飲料缶を含む画像の処理装置（画像処理装置）
２１ 画像入力部（画像取得部）
２２ 第１の判定部（判定部）
２３ 第２の判定部（判定部）
２４ 第３の判定部（判定部）
２５ 角度算出部
２５Ｘ 第１直線取得部
２５Ｙ 第２直線取得部
２５Ｚ 角度取得部
２６ 角度出力部
２７ 比較部
２８ 通知部
２９ 特典付与部
３０ ネットワーク

Claims (6)

1. 平面視略円形の上面と、
   平面視略円形の下面と、
   平面視略環状で前記上面と前記下面を繋ぐ筒状の側面と、
   前記上面の中心点と外周縁の間に設けられた飲み口と、
   前記側面に設けられたロゴ部と、
   を有する飲料缶を含む画像の処理装置であって、
   ユーザ端末の撮像部により撮像されて前記ユーザ端末の画像送信部により送信された、前記飲料缶を含む画像を取得する画像取得部と、
   前記画像から、前記上面の中心点と、前記飲み口の中心点、又は、前記飲み口のうち前記上面の中心点から最も離れた先端点とを結んだ第１直線を取得する第１直線取得部と、
   前記画像から、前記上面の中心点と、前記側面の前記ロゴ部の基準点から前記上面を含む平面に向かって垂直に延びる直線が前記上面を含む平面と交わる点とを結んだ第２直線を取得する第２直線取得部と、
   前記第１直線と前記第２直線がなす角度を取得する角度取得部と、
   を有することを特徴とする飲料缶を含む画像の処理装置。
2. 前記第１直線取得部と前記第２直線取得部は、前記画像に写り込んだ前記飲料缶の前記上面を非円形から真円形に補正した上で、前記第１直線と前記第２直線を取得する、
   ことを特徴とする請求項１に記載の飲料缶を含む画像の処理装置。
3. 前記第１直線取得部は、第１の取得処理として、前記上面の中心点と、前記飲み口のうち前記上面の中心点から最も離れた先端点とを結んだ前記第１直線の取得処理を実行し、前記第１の取得処理が失敗したとき、第２の取得処理として、前記上面の中心点と、前記飲み口の中心点とを結んだ前記第１直線の取得処理を実行する、
   ことを特徴とする請求項１又は請求項２に記載の飲料缶を含む画像の処理装置。
4. 前記第１直線取得部と前記第２直線取得部は、セグメンテーションとキーポイント抽出に基づいて、前記第１直線と前記第２直線を取得する、
   ことを特徴とする請求項１又は請求項２に記載の飲料缶を含む画像の処理装置。
5. 平面視略円形の上面と、
   平面視略円形の下面と、
   平面視略環状で前記上面と前記下面を繋ぐ筒状の側面と、
   前記上面の中心点と外周縁の間に設けられた飲み口と、
   前記側面に設けられたロゴ部と、
   を有する飲料缶を含む画像の処理方法であって、
   画像取得部により、ユーザ端末の撮像部により撮像されて前記ユーザ端末の画像送信部により送信された、前記飲料缶を含む画像を取得するステップと、
   第１直線取得部により、前記画像から、前記上面の中心点と、前記飲み口の中心点、又は、前記飲み口のうち前記上面の中心点から最も離れた先端点とを結んだ第１直線を取得するステップと、
   第２直線取得部により、前記画像から、前記上面の中心点と、前記側面の前記ロゴ部の基準点から前記上面を含む平面に向かって垂直に延びる直線が前記上面を含む平面と交わる点とを結んだ第２直線を取得するステップと、
   角度取得部により、前記第１直線と前記第２直線がなす角度を取得するステップと、
   をコンピュータが実行することを特徴とする飲料缶を含む画像の処理方法。
6. 平面視略円形の上面と、
   平面視略円形の下面と、
   平面視略環状で前記上面と前記下面を繋ぐ筒状の側面と、
   前記上面の中心点と外周縁の間に設けられた飲み口と、
   前記側面に設けられたロゴ部と、
   を有する飲料缶を含む画像の処理プログラムであって、
   画像取得部により、ユーザ端末の撮像部により撮像されて前記ユーザ端末の画像送信部により送信された、前記飲料缶を含む画像を取得するステップと、
   第１直線取得部により、前記画像から、前記上面の中心点と、前記飲み口の中心点、又は、前記飲み口のうち前記上面の中心点から最も離れた先端点とを結んだ第１直線を取得するステップと、
   第２直線取得部により、前記画像から、前記上面の中心点と、前記側面の前記ロゴ部の基準点から前記上面を含む平面に向かって垂直に延びる直線が前記上面を含む平面と交わる点とを結んだ第２直線を取得するステップと、
   角度取得部により、前記第１直線と前記第２直線がなす角度を取得するステップと、
   をコンピュータに実行させることを特徴とする飲料缶を含む画像の処理プログラム。
   

Images