JP5776255B2 - 端末装置、物体識別方法、プログラム及び物体識別システム - Google Patents
端末装置、物体識別方法、プログラム及び物体識別システム Download PDFInfo
- Publication number
- JP5776255B2 JP5776255B2 JP2011067965A JP2011067965A JP5776255B2 JP 5776255 B2 JP5776255 B2 JP 5776255B2 JP 2011067965 A JP2011067965 A JP 2011067965A JP 2011067965 A JP2011067965 A JP 2011067965A JP 5776255 B2 JP5776255 B2 JP 5776255B2
- Authority
- JP
- Japan
- Prior art keywords
- dictionary
- input image
- feature
- terminal device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Description
1.システムの概要
2.一実施形態に係る端末装置の構成例
2−1.ハードウェア構成
2−2.論理的な構成
3.一実施形態に係る辞書サーバの構成例
3−1.ハードウェア構成
3−2.論理的な構成
3−3.変形例
4.一実施形態に係る処理の流れ
4−1.端末側の処理
4−2.サーバ側の処理
5.まとめ
図1は、本明細書で開示する技術が適用され得る物体識別システムの概要を示す説明図である。図1を参照すると、一実施形態に係る物体識別システム1が示されている。物体識別システム1は、端末装置100及び辞書サーバ200を含む。
[2−1.ハードウェア構成]
図3は、本実施形態に係る端末装置100のハードウェア構成の一例を示すブロック図である。図3を参照すると、端末装置100は、撮像部102、センサ部104、入力部106、記憶部108、表示部112、通信部114、バス118及び制御部120を備える。
撮像部102は、画像を撮像するカメラモジュールである。撮像部102は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて実空間を撮像することにより、物体識別のための入力画像を生成する。
センサ部104は、端末装置100の位置及び姿勢の認識を支援するセンサ群である。例えば、センサ部104は、GPS(Global Positioning System)信号を受信して端末装置100の緯度、経度及び高度を測定するGPSセンサを含んでもよい。また、センサ部104は、無線アクセスポイントから受信される無線信号の強度に基づいて端末装置100の位置を測定する測位センサを含んでもよい。また、センサ部104は、端末装置100の傾き角を測定するジャイロセンサ、3軸加速度を測定する加速度センサ、又は方位を測定する地磁気センサを含んでもよい。なお、端末装置100が画像認識に基づく位置推定機能及び姿勢推定機能を有する場合には、センサ部104は端末装置100の構成から省略されてもよい。
入力部106は、ユーザが端末装置100を操作し又は端末装置100へ情報を入力するために使用される入力デバイスである。入力部106は、例えば、キーボード、キーパッド、マウス、ボタン、スイッチ又はタッチパネルなどを含み得る。入力部106は、入力画像に映るユーザのジェスチャを認識するジェスチャ認識モジュールを含んでもよい。また、入力部106は、HMD(Head Mounted Display)を装着したユーザの視線方向をユーザ入力として検出する視線検出モジュールを含んでもよい。
記憶部108は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、端末装置100による処理のためのプログラム及びデータを記憶する。例えば、記憶部108は、撮像部102により生成される入力画像及びセンサ部104により測定されるセンサデータを一時的に記憶する。また、記憶部108は、通信部114を介して辞書サーバ200から受信されるデータを記憶する。辞書サーバ200から受信されるデータの例について、後に詳細に説明する。
表示部112は、LCD(Liquid Crystal Display)、OLED(Organic light-Emitting Diode)又はCRT(Cathode Ray Tube)などにより構成される表示モジュールである。表示部112は、例えば、撮像部102により撮像される入力画像、又は物体識別の結果を利用するアプリケーションの画像(例えば、図2に例示したARアプリケーションの画像)を画面上に表示する。表示部112は、端末装置100の一部であってもよく、又は端末装置100の外部に設けられてもよい。また、表示部112は、ユーザにより装着されるHMDであってもよい。
通信部114は、端末装置100による辞書サーバ200との間の通信を仲介する通信インタフェースである。通信部114は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、辞書サーバ200との間の通信接続を確立する。それにより、端末装置100が辞書サーバ200に画像を送信し及び辞書サーバ200から特徴量辞書を受信することが可能となる。
バス118は、撮像部102、センサ部104、入力部106、記憶部108、表示部112、通信部114及び制御部120を相互に接続する。
制御部120は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などのプロセッサに相当する。制御部120は、記憶部108又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する端末装置100の様々な機能を動作させる。
図4は、図3に示した端末装置100の記憶部108及び制御部120により実現される論理的機能の構成の一例を示すブロック図である。図4を参照すると、端末装置100は、画像取得部130、送信部140、受信部150、辞書キャッシュ160、識別部170、付加情報キャッシュ180及び表示制御部190を含む。
送信部140は、所定のトリガイベントが検出されると、画像取得部130から入力される入力画像を通信部114を介して辞書サーバ200へ送信する。辞書サーバ200は、上述したように、既知の物体についての画像特徴量の集合である特徴量辞書を保持しているサーバである。
a)周期的なタイミングの到来:nフレームごとに1度又はt秒ごとに1度などの周期で、入力画像が送信される。周期は、典型的には、入力画像の送信の頻度が識別部170による物体の識別の頻度よりも少なくなるように予め設定される。
b)ユーザ指示:入力部106を介するユーザからの明示的な指示に応じて入力画像が送信される。
c)追跡中の物体のフレームアウト:物体識別の結果として識別されていた物体が画像からフレームアウトすると、入力画像が送信される。
d)新たな物体のフレームイン:物体識別の結果として新たな物体が画像内に存在することが検出されると、入力画像が送信される。新たな物体とは、画像内に存在していなかった既知の物体、及び未知の物体を含み得る。既知の物体は、例えば顔認識などの簡易な認識技術を用いて検出されてもよい。また、例えば、現在のフレームと前のフレームとの差分(動き補償が適用された上での差分であってもよい)から動物体が認識され、認識された動物体がどのような物体であるかを識別できない場合には、未知の新たな物体がフレームインしたと判定され得る。このような差分画像に基づく動物体の検出は、例えば、物体識別によって画像内で何らの物体も識別されない場合にのみ行われてもよい。
e)端末装置の移動:端末装置100の位置若しくは向きの変化又は速度の上昇などが検出されると、入力画像が送信される。
周期的な入力画像の送信は、画像の内容に依存することなく継続して物体識別を行うことが望ましい場合に採用され得る。ユーザ指示に応じた入力画像の送信は、例えば、画面に表示されている物体を識別し又は追跡することをユーザが望む場合などに採用され得る。他のトリガイベントは、新たな物体が画像に映る可能性が高いことを想定したイベントであり、これらトリガイベントに応じて入力画像が送信され、特徴量辞書が辞書サーバ200から提供されることで、新たな物体を適切に識別することを可能とする。
受信部150は、送信部140から辞書サーバ200へ入力画像が送信された後、辞書サーバ200において当該入力画像についての物体の識別結果に応じて取得される特徴量辞書を、辞書サーバ200から受信する。受信部150により受信される特徴量辞書は、辞書サーバ200が有している特徴量辞書よりもデータ量の少ない辞書である。端末装置100に提供される特徴量辞書が辞書サーバ200においてどのように取得されるかについて、後にさらに説明する。
辞書キャッシュ160は、図3に示した記憶部108を用いて、受信部150により受信される特徴量辞書を記憶する。辞書キャッシュ160により記憶される特徴量辞書は、識別部170による物体識別の際に参照される。
識別部170は、画像取得部130から入力される入力画像の特徴量を抽出し、抽出した特徴量を辞書キャッシュ160により記憶されている特徴量辞書と照合することにより、入力画像に映る物体を識別する。識別部170が用いる特徴量抽出アルゴリズムは、例えば、上記非特許文献2に記載されたRandom Ferns法、又は“SURF: Speeded Up Robust Features”(H.Bay, A.Ess, T.Tuytelaars and L.V.Gool, Computer Vision and Image Understanding(CVIU), Vol.110, No.3, pp.346--359, 2008)に記載されたSURF法などであってよい。これらアルゴリズムは、比較的処理コストが少なく高速に動作し得る、軽量なアルゴリズムである。識別部170による物体識別の結果として、典型的には、入力画像に映る物体の物体ID、並びに当該物体の入力画像内での位置及び姿勢が導かれる。そして、識別部170は、物体識別の結果を表示制御部190へ出力する。
付加情報キャッシュ180は、図3に示した記憶部108を用いて、受信部150により受信される付加情報データベースを記憶する。次に説明する表示制御部190は、付加情報キャッシュ180により記憶される付加情報データベースから、入力画像に重畳すべき付加情報を選択する。
表示制御部190は、識別部170により識別される物体と関連する付加情報を付加情報キャッシュ180により記憶されている付加情報データベースから取得し、取得した付加情報を入力画像に重畳することにより、出力画像を生成する。そして、表示制御部190は、生成した出力画像を表示部112へ出力する。
[3−1.ハードウェア構成]
図5は、本実施形態に係る辞書サーバ200のハードウェア構成の一例を示すブロック図である。図5を参照すると、辞書サーバ200は、記憶部208、通信部214、バス218及び制御部220を備える。
記憶部208は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、辞書サーバ200による処理のためのプログラム及びデータを記憶する。記憶部208は、端末装置100の記憶部108と比較して、より豊富な記憶容量を有し得る。記憶部208は、後に説明する特徴量辞書及び付加情報データベースを予め記憶している。
通信部214は、辞書サーバ200による端末装置100との間の通信を仲介する通信インタフェースである。通信部214は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、端末装置100との間の通信接続を確立する。それにより、辞書サーバ200が端末装置100から画像を受信し、並びに端末装置100へ特徴量辞書及び付加情報データベースを送信することが可能となる。
バス218は、記憶部208、通信部214及び制御部220を相互に接続する。
制御部220は、CPU又はDSPなどのプロセッサに相当する。制御部220は、端末装置100の制御部120と比較して、より高い演算性能を有し得る。制御部220は、記憶部208又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する辞書サーバ200の様々な機能を動作させる。
図6は、図5に示した辞書サーバ200の記憶部208及び制御部220により実現される論理的機能の構成の一例を示すブロック図である。図6を参照すると、辞書サーバ200は、受信部230、第1のアルゴリズム(Arg1)についての特徴量辞書240、第2のアルゴリズム(Arg2)についての特徴量辞書242、識別部250、辞書取得部260、付加情報データベース(DB)270、付加情報取得部280及び送信部290を含む。
受信部230は、端末装置100から送信される入力画像を待ち受ける。そして、受信部230は、通信部214を介して入力画像を受信すると、受信した入力画像を識別部250へ出力する。また、受信部230は、上述した補助情報が入力画像と共に受信されると、当該補助情報を識別部250及び辞書取得部260へ出力する。
特徴量辞書(Arg1)240及び特徴量辞書(Arg2)242は、記憶部208により予め記憶されている特徴量の集合である。特徴量辞書(Arg1)240の各特徴量は、既知の物体画像から第1のアルゴリズムに従って抽出される。特徴量辞書(Arg2)242の各特徴量は、同様の既知の物体画像から第2のアルゴリズムに従って抽出される。典型的には、第1のアルゴリズムは、第2のアルゴリズムと比較してより精度の高い物体識別を可能とする特徴量抽出アルゴリズムである。一方、第2のアルゴリズムは、第1のアルゴリズムと比較してより高速に実行可能な特徴量抽出アルゴリズムである。第1のアルゴリズムは、例えば、上記特許文献1に記載された特徴量抽出アルゴリズムであってよい。その代わりに、第1のアルゴリズムは、“Shape Matching and Object Recognition Using Shape Contexts”(S.Belongie, J.Malik, and J.Puzicha, IEEE Trans. Pattern Analysis and Machine Intelligence, vol.2, no.4, pp.509--522, April 2002)に記載されたアルゴリズム、又は“Distinctive image features from scale-invariant keypoints”(D.G.Lowe, Internal Journal of Computer Vision, 60, 2, pp.91--110, January 2004)に記載されたアルゴリズムなどであってもよい。第2のアルゴリズムは、上述した端末装置100の識別部170による物体の識別の際にも用いられる特徴量抽出アルゴリズム(例えば、Random Ferns法又はSURF法など)である。以下の説明では、第1のアルゴリズムを高精度アルゴリズム、第2のアルゴリズムを軽量アルゴリズムという。
識別部250は、受信部230により受信される入力画像の特徴量を高精度アルゴリズムに従って抽出し、抽出した特徴量を特徴量辞書(Arg1)240と照合することにより、入力画像に映る1つ以上の物体を識別する。そして、識別部250は、識別した物体の物体IDと照合スコアとを、辞書取得部260及び付加情報取得部280へ出力する。
辞書取得部260は、識別部250による識別結果に応じて、端末装置100へ提供すべき特徴量辞書を取得する。辞書取得部260により取得される特徴量辞書は、上述した特徴量辞書(Arg1)240及び特徴量辞書(Arg2)242よりもデータ量の少ない、特徴量辞書(Arg2)242のサブセットである。以下、辞書取得部260による辞書のサブセットの取得の4つの例について、図8〜図11を用いて説明する。
図8は、辞書取得部260により取得される辞書のサブセットの第1の例について説明するための説明図である。図8を参照すると、識別部250による識別結果として得られる照合スコアのランク(順位)が、特徴量辞書(Arg1)240の物体IDごとに示されている。図8の例では、物体B1の照合スコアが最も高く、ランクは第1位である。物体B2の照合スコアは次に高く、ランクは第2位である。物体B6の照合スコアのランクは、第k位である。辞書取得部260は、例えば、このような照合スコアの上位k個の物体についての特徴量を特徴量辞書(Arg2)242から取得する。そして、辞書取得部260は、取得した特徴量を含む特徴量辞書のサブセット242aを、端末装置100へ提供すべき特徴量辞書として送信部290へ出力する。
図9は、辞書取得部260により取得される辞書のサブセットの第2の例について説明するための説明図である。第2の例では、特徴量辞書(Arg1)240は、各物体について、「物体ID」、「名称」及び「特徴量」に加えて、予め定義される「共起物体」というデータを有する。「共起物体」は、各物体と共起する可能性が高い物体のリストを表す。本明細書において、第1の物体の近傍に第2の物体が存在することを、第1の物体と第2の物体とが「共起する」という。図9の例では、物体B4の共起物体は、物体B5及び物体B9である。これは、入力画像に物体B4(信号機D)が映っていると識別された場合に、後に続く入力画像に物体B5(自動車E)又は物体B9(標識I)が映る可能性が高いことを意味する。辞書取得部260は、このようなデータを用いて、入力画像に既に映っている物体についての特徴量のみならず、後に続く入力画像に映ると予測される物体についての特徴量を取得し得る。図9の例では、辞書取得部260は、照合スコアが上位であった物体B4についての特徴量に加えて、後に続く入力画像に映ると予測される物体B5及び物体B9についての特徴量を特徴量辞書(Arg2)242から取得している。そして、辞書取得部260は、取得した特徴量を含む特徴量辞書のサブセット242bを送信部290へ出力する。
図10は、辞書取得部260により取得される辞書のサブセットの第3の例について説明するための説明図である。第3の例においても、辞書取得部260は、入力画像に既に映っている物体についての特徴量のみならず、後に続く入力画像に映ると予測される物体についての特徴量を取得する。但し、第3の例では、後に続く入力画像に映ると予測される物体とは、入力画像に既に映っている物体の近傍に位置することが位置データから判定される物体である。図10を参照すると、特徴量辞書(Arg1)240は、各物体についての位置データ(緯度及び経度、又はその他の座標データ)を有する。例えば、物体B1の位置はX1、物体B2の位置はX2、物体B3の位置はX3である。このうち、位置X1と位置X2との間の距離は閾値Dよりも小さいものとする。辞書取得部260は、物体B1の照合スコアが上位であった場合に、このような位置データに基づいて、物体B1についての特徴量に加えて、物体B1の近傍に位置する物体B2についての特徴量を特徴量辞書(Arg2)242から取得する。そして、辞書取得部260は、取得した特徴量を含む特徴量辞書のサブセット242cを送信部290へ出力する。
図11は、辞書取得部260により取得される辞書のサブセットの第4の例について説明するための説明図である。図11を参照すると、特徴量辞書(Arg1)240は、各物体について、「物体ID」、「名称」及び「特徴量」に加えて、「照明条件」というデータを有する。「照明条件」は、例えば、既知の物体画像が撮像された際の照明条件を表す区分であってよい。照明条件は、例えば、撮像された時間帯もしくは撮像された季節などのような時間に関する条件、又は天候に関する条件によって互いに区別される。特徴量辞書(Arg1)240は、このような照明条件が互いに異なる状況において同じ物体をそれぞれ撮像した画像から抽出される、複数の種類の特徴量を含み得る。図11の例では、物体B2について、照明条件L1(例えば、“朝”又は“晴れ”)に対応する特徴量、照明条件L2(例えば、“昼”又は“曇り”)に対応する特徴量、及び照明条件L3(例えば、“夕方”又は“雨”)に対応する特徴量が特徴量辞書(Arg1)240に含まれている。物体B3についても同様に、照明条件L1、L2及びL3に対応する特徴量が特徴量辞書(Arg1)240に含まれている。このように、撮像された際の照明条件が互いに異なる同じ物体についての複数の特徴量を特徴量辞書(Arg1)240が含んでいることで、識別部250による物体の識別が、照明条件の違いに起因する物体の見え方の違いの影響を受けにくくなる。図11の例では、例えば物体B2が映っている入力画像が受信された場合に、入力画像の特徴量と照明条件L1及びL2に対応する特徴量との照合スコアは低いものの、照明条件L3に対応する特徴量との照合スコアが高いために、物体B2についての特徴量が適切に特徴量辞書のサブセット242dに含まれている。
付加情報DB270は、実空間に存在する物体と関連付けられる付加情報の集合である。ARの分野では、付加情報は、アノテーションとも呼ばれる。図12は、付加情報DBにより記憶されるデータの一例について説明するための説明図である。図12を参照すると、付加情報DB270において、「種別」及び「内容」という2つのデータ項目を含む付加情報が、各物体の物体IDと関連付けられている。「種別」は、個々の付加情報の種類を表す。「内容」は、個々の付加情報の実体としてのテキストデータ、図形データ又は画像データなどであってよい。図12の例では、物体B1に広告情報及びレーティング情報が関連付けられている。また、物体B2、B4及びB5にそれぞれ広告情報、注意喚起情報及び車種情報が関連付けられている。
付加情報取得部280は、識別部250による識別結果に応じて端末装置100へ提供すべき付加情報を付加情報DB270から取得し、データ量のより少ない付加情報データベースのサブセットを生成する。そして、付加情報取得部280は、生成した付加情報データベースのサブセットを送信部290へ出力する。付加情報取得部280は、典型的には、辞書取得部260により取得される特徴量辞書のサブセットと物体IDが共通する付加情報の集合を、付加情報DB270から取得する。即ち、付加情報取得部280もまた、照合スコアの上位k個の物体に対応する付加情報の集合を付加情報DB270から取得してもよい。また、付加情報取得部280は、後に続く入力画像に映ると予測される物体に対応する付加情報を、付加情報DB270からさらに取得してもよい。
送信部290は、通信部214を介して、辞書取得部260により取得される特徴量辞書のサブセットを端末装置100へ送信する。その際、送信部290は、識別された物体が過去に識別された物体とは異なる新たな物体を含むか否かを判定し、新たな物体が識別された場合にのみ、当該新たな物体についての特徴量辞書のサブセットを端末装置100へ送信してもよい。それにより、入力画像に同じ物体が継続して映っている場合に、冗長的な特徴量辞書の送信が省略され、トラフィックの負荷が軽減される。また、送信部290は、付加情報取得部280により生成される付加情報データベースのサブセットを端末装置100へ送信する。付加情報データベースのサブセットもまた、新たな物体が識別された場合にのみ送信されてよい。
次に、辞書サーバ200の2つの変形例を説明する。
図13は、第1の変形例に係る辞書サーバ200の論理的機能の構成の一例を示すブロック図である。図13を参照すると、辞書サーバ200は、受信部232、高精度アルゴリズム(Arg1)についての特徴量辞書240、軽量アルゴリズム(Arg2)についての特徴量辞書242、識別部252、辞書取得部262、付加情報DB270、付加情報取得部280及び送信部290を含む。
ここまでに説明した例では、軽量アルゴリズムのための特徴量辞書のサブセットが辞書サーバ200から端末装置100へ提供される。しかしながら、本項で説明する第2の変形例のように、辞書サーバ200は、高精度アルゴリズムのための特徴量辞書のサブセットを端末装置100へ提供してもよい。
[4−1.端末側の処理]
図18は、本実施形態に係る端末装置100による処理の流れの一例を示すフローチャートである。
図19は、本実施形態に係る辞書サーバ200による処理の流れの一例を示すフローチャートである。
ここまで、図1〜図19を用いて、本明細書で開示する技術の一実施形態及び2つの変形例について詳細に説明した。上述した実施形態によれば、端末装置100における入力画像からの物体の識別のために利用される特徴量辞書が、より豊富な特徴量を含む特徴量辞書を予め記憶している辞書サーバ200から端末装置100へ提供される。端末装置100へ提供される特徴量辞書は、辞書サーバ200において入力画像からの物体の識別結果に応じて取得される辞書である。従って、処理リソースの少ない端末装置100が予め膨大な特徴量辞書を有していなくとも、端末装置100は、自らが置かれている状況にふさわしい特徴量辞書を用いてより高い精度で物体を識別することができる。
100 端末装置
108 記憶部
130 画像取得部
140 送信部
150 受信部
170 識別部
190 表示制御部
200 辞書サーバ(情報処理装置)
230 受信部
250 識別部
260,262,264 辞書取得部
280 付加情報取得部
290 送信部
Claims (15)
- 端末装置であって、
撮像された入力画像を取得する画像取得部と、
前記入力画像に映る物体を識別するために前記入力画像の特徴量と照合される第1の特徴量辞書を有するサーバへ、前記入力画像又は前記入力画像の特徴量を送信する送信部と、
物体の識別結果に応じて前記サーバにより取得される、前記第1の特徴量辞書よりもデータ量の少ない第2の特徴量辞書を、前記サーバから受信する受信部と、
前記入力画像の特徴量を前記受信部により受信される前記第2の特徴量辞書と照合することにより、前記入力画像に映る物体を識別する識別部と、
を備え、
前記送信部は、センサ部の測定に基づき検出される前記端末装置の移動、識別されている物体のフレームアウト及び新たな物体のフレームインのうち少なくとも1つを含む所定のイベントが検出された場合に、前記サーバへ前記入力画像又は前記入力画像の特徴量を送信する、端末装置。 - 前記端末装置は、前記識別部により識別される物体と関連する付加情報を前記入力画像に重畳する表示制御部、をさらに備える、請求項1に記載の端末装置。
- 前記サーバは、物体と関連付けられる付加情報の集合である第1の付加情報データベースを有し、
前記受信部は、物体の識別結果に応じて前記サーバにより取得される、前記第1の付加情報データベースよりもデータ量の少ない第2の付加情報データベースを、前記サーバからさらに受信し、
前記表示制御部は、前記識別部により識別された物体と前記第2の付加情報データベースにおいて関連付けられている付加情報を、前記入力画像に重畳する、
請求項2に記載の端末装置。 - 前記送信部は、前記識別部による物体の識別の頻度よりも少ない頻度で周期的に前記サーバへ前記入力画像又は前記入力画像の特徴量を送信する、請求項1に記載の端末装置。
- 前記送信部は、前記サーバによる前記第2の特徴量辞書の取得を補助する補助情報を前記入力画像と共に前記サーバへ送信する、請求項1に記載の端末装置。
- 前記補助情報は、前記入力画像が撮像された位置、日付及び時刻、並びに前記端末装置のケイパビリティのうち少なくとも1つを含む、請求項5に記載の端末装置。
- 前記第2の特徴量辞書は、前記第1の特徴量辞書に基づく照合スコアのより高い1つ以上の物体についての特徴量を含む、請求項1に記載の端末装置。
- 前記第2の特徴量辞書は、後に続く入力画像に映ると予測される物体についての特徴量をさらに含む、請求項7に記載の端末装置。
- 後に続く入力画像に映ると予測される前記物体は、前記第1の特徴量辞書に基づいて識別された物体の近傍の物体を含む、請求項8に記載の端末装置。
- 後に続く入力画像に映ると予測される前記物体は、前記第1の特徴量辞書に基づいて識別された物体と共起する可能性の高い物体を含む、請求項8に記載の端末装置。
- 前記第1の特徴量辞書は、より精度の高い第1のアルゴリズムに従って画像から抽出される特徴量を含み、
前記第2の特徴量辞書は、より高速に実行可能な第2のアルゴリズムに従って画像から抽出される特徴量を含む、
請求項1に記載の端末装置。 - 前記第2の特徴量辞書は、前記第1の特徴量辞書と同じアルゴリズムに従って画像から抽出される特徴量を含む、請求項1に記載の端末装置。
- 端末装置における物体識別方法であって、
撮像された入力画像を取得するステップと、
前記入力画像に映る物体を識別するために前記入力画像の特徴量と照合される第1の特徴量辞書を有するサーバへ、センサ部の測定に基づき検出される前記端末装置の移動、識別されている物体のフレームアウト及び新たな物体のフレームインのうち少なくとも1つを含む所定のイベントが検出された場合に、前記入力画像又は前記入力画像の特徴量を送信するステップと、
物体の識別結果に応じて前記サーバにより取得される、前記第1の特徴量辞書よりもデータ量の少ない第2の特徴量辞書を、前記サーバから受信するステップと、
前記入力画像の特徴量を前記第2の特徴量辞書と照合することにより、前記入力画像に映る物体を識別するステップと、
を含む、
物体識別方法。 - 端末装置を制御するコンピュータを、
撮像された入力画像を取得する画像取得部と、
前記入力画像に映る物体を識別するために前記入力画像の特徴量と照合される第1の特徴量辞書を有するサーバへ、センサ部の測定に基づき検出される前記端末装置の移動、識別されている物体のフレームアウト及び新たな物体のフレームインのうち少なくとも1つを含む所定のイベントが検出された場合に、前記入力画像又は前記入力画像の特徴量を送信する送信部と、
物体の識別結果に応じて前記サーバにより取得される、前記第1の特徴量辞書よりもデータ量の少ない第2の特徴量辞書を、前記サーバから受信する受信部と、
前記入力画像の特徴量を前記受信部により受信される前記第2の特徴量辞書と照合することにより、前記入力画像に映る物体を識別する識別部と、
として機能させるためのプログラム。 - 既知の物体画像の特徴量の集合である第1の特徴量辞書を記憶する記憶部、
端末装置により撮像される入力画像又は前記入力画像の特徴量を受信する受信部、
前記入力画像の特徴量を前記第1の特徴量辞書と照合することにより、前記入力画像に映る物体を識別する識別部、
前記識別部による識別結果に応じて、前記第1の特徴量辞書よりもデータ量の少ない第2の特徴量辞書を取得する辞書取得部、及び、
前記辞書取得部により取得される前記第2の特徴量辞書を前記端末装置へ送信する送信部、
を備えるサーバと、
前記入力画像を取得する画像取得部、
前記サーバへ前記入力画像又は前記入力画像の特徴量を送信する送信部、
前記第2の特徴量辞書を前記サーバから受信する受信部、及び
前記入力画像の特徴量を前記第2の特徴量辞書と照合することにより、前記入力画像に映る物体を識別する識別部、
を備え、
前記送信部は、センサ部の測定に基づき検出される前記端末装置の移動、識別されている物体のフレームアウト及び新たな物体のフレームインのうち少なくとも1つを含む所定のイベントが検出された場合に、前記サーバへ前記入力画像又は前記入力画像の特徴量を送信する、前記端末装置と、
を含む物体識別システム。
Priority Applications (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011067965A JP5776255B2 (ja) | 2011-03-25 | 2011-03-25 | 端末装置、物体識別方法、プログラム及び物体識別システム |
EP20170711.4A EP3712810A1 (en) | 2011-03-25 | 2012-03-13 | Device, information processing apparatus and method |
EP12159181.2A EP2503488B1 (en) | 2011-03-25 | 2012-03-13 | Device, information processing apparatus and method |
CN201210071370.5A CN102737227B (zh) | 2011-03-25 | 2012-03-16 | 终端装置、信息处理装置、对象识别方法以及系统 |
US13/424,114 US9256796B2 (en) | 2011-03-25 | 2012-03-19 | Terminal device, information processing device, object identifying method, program, and object identifying system |
US14/951,801 US9971957B2 (en) | 2011-03-25 | 2015-11-25 | Terminal device, information processing device, object identifying method, program, and object identifying system |
US15/926,367 US10311333B2 (en) | 2011-03-25 | 2018-03-20 | Terminal device, information processing device, object identifying method, program, and object identifying system |
US16/396,967 US11037023B2 (en) | 2011-03-25 | 2019-04-29 | Terminal device, information processing device, object identifying method, program, and object identifying system |
US17/315,966 US11657609B2 (en) | 2011-03-25 | 2021-05-10 | Terminal device, information processing device, object identifying method, program, and object identifying system |
US18/133,234 US20230245449A1 (en) | 2011-03-25 | 2023-04-11 | Terminal device, information processing device, object identifying method, program, and object identifying system |
US18/377,143 US11961297B2 (en) | 2011-03-25 | 2023-10-05 | Terminal device, information processing device, object identifying method, program, and object identifying system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011067965A JP5776255B2 (ja) | 2011-03-25 | 2011-03-25 | 端末装置、物体識別方法、プログラム及び物体識別システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015135961A Division JP5971387B2 (ja) | 2015-07-07 | 2015-07-07 | 端末装置、物体識別方法、及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012203669A JP2012203669A (ja) | 2012-10-22 |
JP5776255B2 true JP5776255B2 (ja) | 2015-09-09 |
Family
ID=45855524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011067965A Active JP5776255B2 (ja) | 2011-03-25 | 2011-03-25 | 端末装置、物体識別方法、プログラム及び物体識別システム |
Country Status (4)
Country | Link |
---|---|
US (7) | US9256796B2 (ja) |
EP (2) | EP3712810A1 (ja) |
JP (1) | JP5776255B2 (ja) |
CN (1) | CN102737227B (ja) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6019815B2 (ja) * | 2012-06-28 | 2016-11-02 | 富士通株式会社 | データ処理システム、アプリケーション提示方法、及びプログラム |
US20140055339A1 (en) * | 2012-08-22 | 2014-02-27 | David Stanasolovich | Adaptive visual output based on motion compensation of a mobile device |
US9690334B2 (en) | 2012-08-22 | 2017-06-27 | Intel Corporation | Adaptive visual output based on change in distance of a mobile device to a user |
JP2014081770A (ja) * | 2012-10-16 | 2014-05-08 | Sony Corp | 端末装置、端末制御方法、情報処理装置、情報処理方法、およびプログラム |
EP2908919A1 (en) * | 2012-10-22 | 2015-08-26 | Longsand Limited | Collaborative augmented reality |
US9043349B1 (en) | 2012-11-29 | 2015-05-26 | A9.Com, Inc. | Image-based character recognition |
US9996150B2 (en) | 2012-12-19 | 2018-06-12 | Qualcomm Incorporated | Enabling augmented reality using eye gaze tracking |
JP6143462B2 (ja) * | 2013-01-08 | 2017-06-07 | キヤノン株式会社 | 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム |
US9342930B1 (en) * | 2013-01-25 | 2016-05-17 | A9.Com, Inc. | Information aggregation for recognized locations |
US9256795B1 (en) | 2013-03-15 | 2016-02-09 | A9.Com, Inc. | Text entity recognition |
WO2014156441A1 (ja) * | 2013-03-26 | 2014-10-02 | コニカミノルタ株式会社 | カメラモジュールの製造方法、カメラモジュール及び携帯端末 |
JP6155893B2 (ja) * | 2013-06-20 | 2017-07-05 | カシオ計算機株式会社 | 画像処理装置、及びプログラム |
JP6398347B2 (ja) * | 2013-08-15 | 2018-10-03 | 株式会社リコー | 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム |
JP5808371B2 (ja) * | 2013-08-28 | 2015-11-10 | ヤフー株式会社 | 画像認識装置、画像認識方法及び画像認識プログラム |
US9424598B1 (en) | 2013-12-02 | 2016-08-23 | A9.Com, Inc. | Visual search in a controlled shopping environment |
JP6331571B2 (ja) * | 2014-03-28 | 2018-05-30 | 日本電気株式会社 | 情報通知装置及び情報通知方法、情報通知システム、並びにコンピュータ・プログラム |
US9536161B1 (en) | 2014-06-17 | 2017-01-03 | Amazon Technologies, Inc. | Visual and audio recognition for scene change events |
US9552070B2 (en) * | 2014-09-23 | 2017-01-24 | Microsoft Technology Licensing, Llc | Tracking hand/body pose |
US10115185B2 (en) * | 2014-12-05 | 2018-10-30 | At&T Intellectual Property I, L.P. | Dynamic image recognition model updates |
US10049273B2 (en) * | 2015-02-24 | 2018-08-14 | Kabushiki Kaisha Toshiba | Image recognition apparatus, image recognition system, and image recognition method |
JP6695117B2 (ja) * | 2015-09-29 | 2020-05-20 | 株式会社ダスキン | 情報提供装置、情報取得装置、情報提供方法、情報取得方法、及びプログラム |
WO2017122258A1 (ja) | 2016-01-12 | 2017-07-20 | 株式会社日立国際電気 | 混雑状況監視システム |
JP2017182413A (ja) * | 2016-03-30 | 2017-10-05 | セイコーエプソン株式会社 | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム |
US20170289533A1 (en) * | 2016-03-30 | 2017-10-05 | Seiko Epson Corporation | Head mounted display, control method thereof, and computer program |
JP6528723B2 (ja) * | 2016-05-25 | 2019-06-12 | トヨタ自動車株式会社 | 物体認識装置、物体認識方法及びプログラム |
JP6942464B2 (ja) * | 2016-12-09 | 2021-09-29 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6369604B2 (ja) * | 2017-06-07 | 2018-08-08 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6815290B2 (ja) * | 2017-07-13 | 2021-01-20 | ヤンマーパワーテクノロジー株式会社 | 物体識別システム |
CN107918955A (zh) * | 2017-11-15 | 2018-04-17 | 百度在线网络技术(北京)有限公司 | 增强现实方法和装置 |
CN117115399A (zh) * | 2018-01-22 | 2023-11-24 | 苹果公司 | 用于与所识别的对象相关联地呈现合成现实内容的方法和设备 |
JP6434666B1 (ja) * | 2018-02-26 | 2018-12-05 | 京セラ株式会社 | 電子機器、制御方法およびプログラム |
JP6988592B2 (ja) * | 2018-03-13 | 2022-01-05 | オムロン株式会社 | 画像検査装置、画像検査方法及び画像検査プログラム |
CN108596107A (zh) * | 2018-04-26 | 2018-09-28 | 京东方科技集团股份有限公司 | 基于ar设备的唇语识别方法及其装置、ar设备 |
CN110148178B (zh) * | 2018-06-19 | 2022-02-22 | 腾讯科技(深圳)有限公司 | 相机定位方法、装置、终端及存储介质 |
CN110826581B (zh) * | 2018-08-10 | 2023-11-07 | 京东科技控股股份有限公司 | 一种动物数量识别方法、装置、介质及电子设备 |
JP7056500B2 (ja) * | 2018-10-04 | 2022-04-19 | トヨタ自動車株式会社 | 画像生成装置、画像生成方法、およびプログラム |
US11080529B2 (en) * | 2019-10-25 | 2021-08-03 | 7-Eleven, Inc. | Determining candidate object identities during image tracking |
US11394848B2 (en) * | 2018-12-24 | 2022-07-19 | Thinkware Corporation | Electronic device and operation method thereof, and server and operation method thereof in system for providing location-based service based on object detected from video |
JP7169431B2 (ja) * | 2019-03-25 | 2022-11-10 | 富士フイルム株式会社 | 画像処理装置、画像処理方法及びプログラム、撮影装置 |
US11315326B2 (en) * | 2019-10-15 | 2022-04-26 | At&T Intellectual Property I, L.P. | Extended reality anchor caching based on viewport prediction |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6208353B1 (en) * | 1997-09-05 | 2001-03-27 | ECOLE POLYTECHNIQUE FEDéRALE DE LAUSANNE | Automated cartographic annotation of digital images |
JP4183890B2 (ja) * | 2000-07-11 | 2008-11-19 | 株式会社芝通 | 保安システム |
US7680324B2 (en) * | 2000-11-06 | 2010-03-16 | Evryx Technologies, Inc. | Use of image-derived information as search criteria for internet and other search engines |
GB0112990D0 (en) * | 2001-05-26 | 2001-07-18 | Central Research Lab Ltd | Automatic classification and/or counting system |
JP2003111128A (ja) * | 2001-09-28 | 2003-04-11 | J-Phone East Co Ltd | 現在位置特定方法、現在位置情報提供方法、移動経路案内方法、位置情報管理システム及び情報通信端末 |
US20030195926A1 (en) * | 2002-04-15 | 2003-10-16 | Ken Miyazaki | Image forming system |
JP2003331288A (ja) * | 2002-05-16 | 2003-11-21 | Ntt Docomo Inc | 画像判別装置、及び画像判別方法 |
JP4492036B2 (ja) | 2003-04-28 | 2010-06-30 | ソニー株式会社 | 画像認識装置及び方法、並びにロボット装置 |
US6895957B2 (en) | 2003-07-24 | 2005-05-24 | Peter Yeung | Range hood cleaning assembly |
US7872669B2 (en) * | 2004-01-22 | 2011-01-18 | Massachusetts Institute Of Technology | Photo-based mobile deixis system and related techniques |
JP3927558B2 (ja) * | 2004-05-20 | 2007-06-13 | 株式会社日立国際電気 | 無線通信システム |
CN100412885C (zh) * | 2005-05-23 | 2008-08-20 | 株式会社东芝 | 图像识别装置及其方法 |
JP2007233873A (ja) * | 2006-03-02 | 2007-09-13 | Toshiba Corp | パターン認識装置及びその方法 |
US8489987B2 (en) * | 2006-07-31 | 2013-07-16 | Ricoh Co., Ltd. | Monitoring and analyzing creation and usage of visual content using image and hotspot interaction |
JP2008117333A (ja) * | 2006-11-08 | 2008-05-22 | Sony Corp | 情報処理装置、情報処理方法、個人識別装置、個人識別装置における辞書データ生成・更新方法および辞書データ生成・更新プログラム |
US20080147730A1 (en) * | 2006-12-18 | 2008-06-19 | Motorola, Inc. | Method and system for providing location-specific image information |
JP5061746B2 (ja) * | 2007-06-19 | 2012-10-31 | 船井電機株式会社 | 情報送信システム、および情報送信装置 |
JP4881278B2 (ja) * | 2007-10-31 | 2012-02-22 | 株式会社東芝 | 物体認識装置及びその方法 |
JP5436559B2 (ja) * | 2008-09-02 | 2014-03-05 | エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ(エーペーエフエル) | ポータブル・デバイス上での画像アノテーション |
US8270733B2 (en) * | 2009-08-31 | 2012-09-18 | Behavioral Recognition Systems, Inc. | Identifying anomalous object types during classification |
JP2011067965A (ja) | 2009-09-24 | 2011-04-07 | Seiko Epson Corp | 液体噴射ヘッド及び液体噴射装置 |
US8819116B1 (en) * | 2010-03-08 | 2014-08-26 | Amazon Technologies, Inc. | Providing services using a device capabilities service |
KR101337555B1 (ko) * | 2010-09-09 | 2013-12-16 | 주식회사 팬택 | 객체 연관성을 이용한 증강 현실 제공 장치 및 방법 |
-
2011
- 2011-03-25 JP JP2011067965A patent/JP5776255B2/ja active Active
-
2012
- 2012-03-13 EP EP20170711.4A patent/EP3712810A1/en active Pending
- 2012-03-13 EP EP12159181.2A patent/EP2503488B1/en active Active
- 2012-03-16 CN CN201210071370.5A patent/CN102737227B/zh not_active Expired - Fee Related
- 2012-03-19 US US13/424,114 patent/US9256796B2/en active Active
-
2015
- 2015-11-25 US US14/951,801 patent/US9971957B2/en active Active
-
2018
- 2018-03-20 US US15/926,367 patent/US10311333B2/en active Active
-
2019
- 2019-04-29 US US16/396,967 patent/US11037023B2/en active Active
-
2021
- 2021-05-10 US US17/315,966 patent/US11657609B2/en active Active
-
2023
- 2023-04-11 US US18/133,234 patent/US20230245449A1/en active Pending
- 2023-10-05 US US18/377,143 patent/US11961297B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3712810A1 (en) | 2020-09-23 |
US20230245449A1 (en) | 2023-08-03 |
US11037023B2 (en) | 2021-06-15 |
CN102737227A (zh) | 2012-10-17 |
JP2012203669A (ja) | 2012-10-22 |
EP2503488A1 (en) | 2012-09-26 |
US9256796B2 (en) | 2016-02-09 |
CN102737227B (zh) | 2017-08-11 |
US20180211136A1 (en) | 2018-07-26 |
EP2503488B1 (en) | 2020-04-29 |
US20240046641A1 (en) | 2024-02-08 |
US20190251390A1 (en) | 2019-08-15 |
US20160078318A1 (en) | 2016-03-17 |
US20120242842A1 (en) | 2012-09-27 |
US10311333B2 (en) | 2019-06-04 |
US9971957B2 (en) | 2018-05-15 |
US11961297B2 (en) | 2024-04-16 |
US11657609B2 (en) | 2023-05-23 |
US20210264200A1 (en) | 2021-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11657609B2 (en) | Terminal device, information processing device, object identifying method, program, and object identifying system | |
US11762887B2 (en) | Information processing device, map update method, program, and information processing system | |
US10636326B2 (en) | Image processing apparatus, image processing method, and computer-readable storage medium for displaying three-dimensional virtual objects to modify display shapes of objects of interest in the real world | |
US20120243739A1 (en) | Information processing device, object recognition method, program, and terminal device | |
JP5668587B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5843288B2 (ja) | 情報提示システム | |
JP5971387B2 (ja) | 端末装置、物体識別方法、及び情報処理装置 | |
JP6172353B2 (ja) | 端末装置、物体識別方法、情報処理装置、及びプログラム | |
CN114415839A (zh) | 一种信息显示方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150622 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5776255 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |