JP6144715B2 - ユーザの視線に基づいて広告を提供する方法およびシステム - Google Patents

ユーザの視線に基づいて広告を提供する方法およびシステム Download PDF

Info

Publication number
JP6144715B2
JP6144715B2 JP2015093029A JP2015093029A JP6144715B2 JP 6144715 B2 JP6144715 B2 JP 6144715B2 JP 2015093029 A JP2015093029 A JP 2015093029A JP 2015093029 A JP2015093029 A JP 2015093029A JP 6144715 B2 JP6144715 B2 JP 6144715B2
Authority
JP
Japan
Prior art keywords
user
interest
advertisement
content
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015093029A
Other languages
English (en)
Other versions
JP2015158946A (ja
Inventor
銀 子 ▲下▼
銀 子 ▲下▼
碩 九 柳
碩 九 柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Publication of JP2015158946A publication Critical patent/JP2015158946A/ja
Application granted granted Critical
Publication of JP6144715B2 publication Critical patent/JP6144715B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0267Wireless devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明の実施形態は、ユーザの視線に基づいて広告を提供する方法およびシステムに関する。
視線位置追跡とは、コンピュータのモニタなどのようなスクリーン装置によってユーザがどの位置を凝視しているのかを把握することであって、研究または利用が盛んである。例えば、韓国公開特許第10−2008−0051664号公報には、赤外線が当てられたユーザの目の映像を利用してユーザの視線位置を追跡する技術が開示されている。
このような視線位置追跡技術は、手が不自由なユーザに入力装置を提供したり、ユーザを仮想現実環境に深く没頭させるなど、多様な分野に応用することができる。
本明細書では、ユーザの視線に基づいてより効果的に広告を提供することができる方法およびシステムを提供する。
モバイル環境でユーザの視線を認識することでユーザの関心領域を認識し、凝視時間などの関心時間に応じて広告の位置や形態サイズを変更したり追加広告を提供したりするなど、ユーザの関心に応じてコンテンツを変更して提供することができる広告提供方法を提供する。
モバイル機器にインストール(install)され、ユーザの関心に応じてコンテンツを変更して提供するようにモバイル機器を制御するモバイルアプリケーションをモバイル機器に提供するための広告提供システムを提供する。
モバイル機器を通じて広告を提供する方法であって、モバイル機器のディスプレイを通じて表示されるコンテンツに対し、ユーザの関心領域を認識し、関心領域に対するユーザの関心時間を認識し、関心領域と、関心時間と、コンテンツと、に基づいてコンテンツを変更する広告提供方法を提供する。
本発明の一実施形態によれば、モバイル機器のカメラを通じて入力される情報を分析することでユーザの視線を認識し、認識された視線に対応する領域を関心領域として認識することを特徴としてもよい。
本発明の一実施形態によれば、モバイル機器のカメラを通じて入力される情報を分析することでユーザの視線を認識し、認識された視線に対応する領域に視線が留まる時間を関心時間として認識することを特徴としてもよい。
本発明の一実施形態によれば、関心時間が予め設定された時間以上である場合、コンテンツと、関心領域の位置と、のうち、少なくとも1つに応じて、コンテンツのフォーマットと、形態と、サイズと、位置と、のうちの少なくとも1つを変更すること、または、コンテンツと関連する追加コンテンツを提供することを特徴としてもよい。
本発明の一実施形態によれば、広告提供方法は、コンテンツが変更した後に関心領域が変化した場合、コンテンツを変更することを特徴としてもよい。
本発明の一実施形態によれば、コンテンツを変更する場合、変更したコンテンツを本来のコンテンツに戻すか、変化した関心領域に対応するアクション(action)を提供するか、またはコンテンツの表示を終了することを特徴としてもよい。
本発明の一実施形態によれば、広告提供方法は、モバイル機器のカメラとの連動のためのユーザインタフェースを含むディスプレイ広告をモバイル機器のディスプレイを通じて表示してもよい。この場合、コンテンツは、ユーザインタフェースを通じて発生するユーザイベント(user events)に基づいてモバイル機器のディスプレイに表示されてもよい。
本発明の一実施形態によれば、ディスプレイ広告の表示による広告費がディスプレイ広告の広告主に課金されてもよく、コンテンツの変更による広告費が広告主にさらに課金されてもよい。
広告を提供する広告提供システムであって、モバイル機器にモバイルアプリケーションを提供するモバイルアプリケーション提供部を含み、モバイルアプリケーションは、モバイル機器のディスプレイを通じてコンテンツを表示し、表示したコンテンツに対してユーザの関心領域を認識し、関心領域に対するユーザの関心時間を認識し、関心領域と、関心時間と、コンテンツと、に基づいてコンテンツを変更するようにモバイル機器を制御することを特徴とする広告提供システムを提供する。
コンピュータシステムが広告を提供するように制御する命令(instruction)を含むコンピュータで読み取り可能な記録媒体であって、命令は、ディスプレイを通じて表示されるコンテンツに対し、ユーザの関心領域を認識し、関心領域に対するユーザの関心時間を認識し、関心領域と、関心時間と、コンテンツと、に基づいてコンテンツを変更する広告提供方法によってコンピュータシステムを制御する、コンピュータで読み取り可能な記録媒体が提供される。
モバイル環境でユーザの視線を認識することでユーザの関心領域を認識し、凝視時間などの関心時間に応じて広告の位置や形態サイズを変更したり追加広告を提供したりするなど、ユーザの関心に応じてコンテンツを変化させて提供することができる。
モバイル機器に設置され、ユーザの関心に応じてコンテンツを変化させて提供するようにモバイル機器を制御するモバイルアプリケーションをモバイル機器に提供することができる。
本発明の一実施形態において、モバイル機器のディスプレイ画面を示した一例である。 本発明の一実施形態において、モバイル機器のディスプレイ画面を示した他の例である。 本発明の一実施形態において、追加コンテンツを提供する方法を示した図である。 本発明の一実施形態において、広告を終了する方法を示した図である。 本発明の一実施形態において、コンテンツに対して発生する関心領域の位置に応じてコンテンツが相違して変更する様子を示した図である。 本発明の一実施形態において、ユーザの視線に応じて広告を移動させる様子を示した図である。 本発明の一実施形態において、課金方法を説明するための図である。 本発明の一実施形態において、広告提供方法を示したフローチャートである。 本発明の一実施形態において、コンテンツ表示方法を説明するためのフローチャートである。 本発明の一実施形態において、関心領域の変更によるコンテンツの変更を説明するためのフローチャートである。 本発明の一実施形態において、モバイルアプリケーションを配布する広告提供システムを説明するためのブロック図である。
以下、本発明の実施形態に関し、添付の図面を参照しながら詳細に説明する。
図1は、本発明の一実施形態において、モバイル機器のディスプレイ画面を示した一例である。ディスプレイ画面110には、ユーザインタフェース120を含むディスプレイ広告130が表示された様子を示している。ここで、ユーザインタフェース120は、ユーザの視線を利用した広告提供をユーザが同意するための、すなわち、ユーザの視線を利用した広告を提供するためのインタフェースであってもよい。例えば、ユーザがユーザインタフェース120をタップ(tap)する場合、ユーザにはユーザの視線を利用した広告サービスが提供されてもよい。仮に、ユーザがユーザインタフェース120の領域ではないディスプレイ広告130領域をタップした場合には、広告主のモバイルサイトに移動するなど、予め設定されたアクションが実行されてもよい。
図1において、ユーザインタフェース120は、円形で表現されているが、必要に応じて異なる形状でユーザに提供されてもよい。例えば、ユーザインタフェース120は、カメラ型のイメージとしてディスプレイ広告130にオーバーラップ(overlap;重ね表示)してもよい。また、コンテンツは、ディスプレイ広告と関連した広告コンテンツを含んでもよいが、必要に応じて異なるコンテンツを含んでもよい。
図2は、本発明の一実施形態において、モバイル機器のディスプレイ画面を示した例である。ディスプレイ画面210には、図1でユーザがユーザインタフェース120をタップすることによってユーザに提供されるコンテンツ220と、認識されたユーザの凝視領域である関心領域230を示している。ここで、ユーザの凝視領域は、ユーザの視線位置追跡技術を利用して認識されてもよい。例えば、本実施形態では、モバイル機器に内蔵されたカメラを利用してユーザの目の映像を認識することによってユーザの凝視領域を認識してもよい。
このとき、ユーザは、ディスプレイ画面210の多様な領域を凝視するようになるため、関心領域230は、ユーザが一定時間以上凝視した領域として認識されてもよい。例えば、一定時間を予め3秒に設定した場合、ユーザが3秒以上凝視した領域が関心領域230として認識されてもよい。ここで、関心領域230と凝視領域とは必ずしも一致するものではない。例えば、コンテンツが表示される領域を予め複数の領域に分類しておき、凝視領域が含まれる領域を関心領域230として設定してもよい。
また、ユーザの凝視時間である関心時間、関心領域230、そしてコンテンツ220に基づいてコンテンツ220が変更されてもよい。例えば、ユーザの関心領域230を中心としてコンテンツ220が拡大したり、またはユーザの関心領域230がディスプレイ画面210の中心になるようにコンテンツ220が移動したりしてもよい。他の例として、コンテンツ220の形態やフォーマットが変更されてもよく、コンテンツ220と関連した追加コンテンツを提供することでコンテンツ220が追加コンテンツに代わって表示されてもよい。
図3は、本発明の一実施形態において、追加コンテンツを提供する方法を示した図である。図3は、ディスプレイ画面310〜330を示している。このとき、ディスプレイ画面310〜330は、イベントの発生に応じて第1ディスプレイ画面310から第3ディスプレイ画面330に順に変更した様子を示している。
まず、第1ディスプレイ画面310は1次広告であって、ユーザインタフェースにディスプレイ広告がオーバーラップした例を示している。第2ディスプレイ画面320は、1次広告と共に表示されたユーザインタフェースを通じて発生したユーザイベントに応じて2次広告を表示した様子を示しており、ユーザの視線に応じて関心領域が認識される様子を示している。第3ディスプレイ画面330は、第2ディスプレイ画面320で関心領域として予め設定された時間以上をユーザが凝視した場合に、3次広告が提供される様子を示している。
3次広告は、2次広告として提供されたコンテンツが変化したコンテンツであってもよい。すなわち、関心領域に対するユーザの関心時間が予め設定された時間以上である場合、2次広告と関心領域の位置に応じて2次広告のフォーマット、形態、サイズ、および位置のうちの少なくとも1つが変更されてもよいし、または2次広告と関連した追加コンテンツとして3次広告が提供されてもよい。
図4は、本発明の一実施形態において、広告の表示を終了する方法を示した図である。図4は、図3で説明したディスプレイ画面310〜330において、第3ディスプレイ画面330でユーザの関心領域410が広告領域から逸れている場合に、3次広告表示を終了して再び第1ディスプレイ画面310が提供される様子を示している。すなわち、ユーザは、別途のタッチアクションがなくても、視線を逸らすだけで追加提供される広告を終了することができる。
図5は、本発明の一実施形態において、コンテンツに対して発生する関心領域の位置に応じてコンテンツが変化する様子を示した図である。図5は、表示したコンテンツ510に対するユーザーの関心領域が異なる(520又は530)場合に、コンテンツ510がそれぞれ異なるコンテンツ(540又は550)に変更される様子を示している。第1の様子540は、第1関心領域520の認識に応じてコンテンツ510の特定部分が拡大表示された画面の一部を、第2の様子550は、第2関心領域530の認識に応じてコンテンツ510と関連した追加コンテンツが提供された画面の一部をそれぞれ示している。
このように、1つのコンテンツに対して、関心領域の位置に応じて異なるアクションを発生させてもよい。例えば、ユーザが広告内の特定俳優を凝視し続けていると認識される場合、該当する俳優が単独でクローズアップ(close−up)された異なるフォーマットや形態の追加広告をユーザに提供してもよい。または、既存の広告で特定俳優が含まれた領域を拡大してユーザに提供してもよい。
図6は、本発明の一実施形態において、ユーザの視線に応じて広告を移動させる様子を示した図である。第1ディスプレイ画面610は、関心領域が第1位置630から第2位置640に変化する様子を、第2ディスプレイ画面620は、このような関心領域の位置変更により、コンテンツが移動する様子をそれぞれ示している。
図7は、本発明の一実施形態において、課金方法を説明するための図である。上述したように、広告サーバ710は、モバイル機器720に1つの広告素材に対して1次広告〜3次広告を提供してもよい。ここで、1次広告〜3次広告はすべて1つのサーバを通じて提供されてもよく、それぞれ互いに異なるサーバを通じて提供されてもよい。
このとき、広告の課金は、1次広告の表示、乃至3次広告の表示によってそれぞれ発生してもよい。上述したように、1次広告はディスプレイ広告であってもよいが、この場合、ディスプレイ広告は、CPM(Cost Per Mill)のように、広告の表示回数に基づいて広告費が発生する課金方式を利用して課金されてもよい。また、3次広告は、2次広告に対するユーザの関心に応じて表示の可否が決定されるが、このような3次広告は、CPC(Cost Per Click)のように、ユーザのアクションに応じて広告費が発生する課金方式を利用して課金されてもよい。すなわち、該当する広告商品は、広告の表示に応じて広告費が発生する課金方式と、ユーザのアクションに応じて広告費が発生する課金方式とが結合した商品であってもよい。
図8は、本発明の一実施形態において、広告提供方法を示したフローチャートである。本実施形態に係る広告提供方法は、モバイル機器を通じて実行されてもよい。
ステップ810で、モバイル機器は、モバイル機器のディスプレイを通じて表示されるコンテンツに対し、ユーザの関心領域を認識する。例えば、モバイル機器は、ステップ810でモバイル機器のカメラを通じて入力される情報を分析することでユーザの視線を認識し、認識された視線に対応する領域を関心領域として認識してもよい。しかし、カメラを通じてユーザの視線を認識する方法の他にも、周知の視線位置追跡技術が適用されてユーザの関心領域を認識するのに利用されてもよい。
ステップ820で、モバイル機器は、関心領域に対するユーザの関心時間を認識する。関心時間は、ユーザが関心領域に関心を示す時間を意味してもよい。例えば、モバイル機器は、ステップ820でモバイル機器のカメラを通じて入力される情報を分析することでユーザの視線を認識し、認識された視線に対応する領域に視線が留まる時間を関心時間として認識してもよい。
すなわち、表示されたコンテンツと関連し、ユーザがどの領域をどれだけの時間凝視するのかに応じて関心領域と関心時間が認識されてもよい。
ステップ830で、モバイル機器は、関心領域、関心時間、およびコンテンツに基づいてコンテンツを変更する。例えば、モバイル機器は、関心時間が予め設定された時間以上である場合、コンテンツおよび関心領域の位置のうちの少なくとも1つに応じてコンテンツのフォーマット、形態、サイズ、および位置のうちの少なくとも1つを変化させてもよいし、または、コンテンツと関連した追加コンテンツを提供してもよい。このとき、コンテンツをどのように変更するのかは、コンテンツに応じて予め設定されるか、またはコンテンツに対する関心領域の位置に応じて予め設定されてもよい。コンテンツのフォーマットや形態、サイズ、位置を変更したり追加コンテンツを提供したりする方法については、上述したとおりである。
このように、モバイル環境でユーザの視線を認識してユーザの関心領域を認識し、凝視時間などの関心時間に応じて広告の位置や形態サイズを変更したり追加広告を提供したりするなど、ユーザの関心に応じてコンテンツを変化させて提供することにより、ユーザに追加の広告や情報を便利に提供することができる。また、広告媒体は追加の広告収益を上げることができ、広告主は関心を持つユーザにより確実に広告を表示することによって広告効果を向上させることができる。
図9は、本発明の一実施形態において、コンテンツ表示方法を説明するためのフローチャートである。本実施形態では、コンテンツがどのような方式でモバイル機器のディスプレイを通じて表示されるのかを説明している。図8の広告提供方法は、図9に示されたステップ910をさらに含んでもよい。このとき、ステップ910は、ステップ810以前に実行されてもよい。
ステップ910で、モバイル機器は、モバイル機器のディスプレイを通じて、モバイル機器のカメラと連動するユーザインタフェースを含むディスプレイ広告を表示する。このとき、コンテンツは、ユーザインタフェースを通じて発生するユーザイベントに基づいてモバイル機器のディスプレイに表示されてもよい。たとえば、ユーザがユーザインタフェースをタッチする場合、発生するユーザイベントに応じてコンテンツが表示されてもよい。
このとき、ディスプレイ広告の表示による広告費がディスプレイ広告の広告主に課金されてもよく、コンテンツの変更が発生する場合、コンテンツの変更による広告費が広告主にさらに課金されてもよい。
すなわち、本実施形態では、表示の可否に応じて広告費発生の可否が決まる課金方式と、ユーザアクションの可否に応じて広告費発生の可否が決まる課金方式とが結合して利用されてもよく、広告主は広告の表示を一定量確保すると同時に広告主の広告に関心を持つユーザにのみ追加課金することにより、広告効果を向上させることができる。
図10は、本発明の一実施形態において、関心領域の変更によるコンテンツの変更を説明するためのフローチャートである。本実施形態では、図8を参照しながら説明した、変更されたコンテンツがどのように変更されるのかについて説明する。このために、図8の広告提供方法は、図10に示されたステップ1010をさらに含んでもよい。このとき、ステップ1010は、ステップ830以後に実行されてもよい。
ステップ1010で、モバイル機器は、コンテンツが変更した後に関心領域が変化する場合、コンテンツを変更する。この場合、コンテンツは、変化した関心領域の位置に応じて変更してもよい。例えば、モバイル機器は、ステップ1010で変更したコンテンツを本来のコンテンツに戻すか、変更した関心領域に対応するアクションを提供するか、またはコンテンツの表示を終了してもよい。
すなわち、視線の変更だけで便利にコンテンツを制御することができる機能を提供することにより、ユーザの利便性を向上させると同時にユーザの関心を誘導することができる。
図11は、本発明の一実施形態において、モバイルアプリケーションを配布する広告提供システムを説明するためのブロック図である。図8〜10に示された広告提供方法のいずれかにおいて、モバイル機器1110に設置されたモバイルアプリケーション1120がモバイル機器1110を制御することによってモバイル機器1110で実行されてもよい。本実施形態に係る広告提供システム1130は、モバイル機器1110にモバイルアプリケーション1120を提供するモバイルアプリケーション提供部1140を含んでもよい。
モバイルアプリケーション1120は、モバイル機器1110のディスプレイを通じてコンテンツを表示し、表示されたコンテンツに対してユーザの関心領域を認識し、関心領域に対するユーザの関心時間を認識し、関心領域と、関心時間と、コンテンツと、に基づいてコンテンツを変更するようにモバイル機器1110を制御してもよい。
モバイルアプリケーション1120の制御に応じてモバイル機器1110がどのように動作するのかについては、図8〜10を参照しながら詳しく説明したため、重複する説明は省略する。また、図8〜10で省略された内容は、図1〜7を参照してもよい。
このように、本発明の実施形態によれば、モバイル環境でユーザの視線を認識することでユーザの関心領域を認識し、凝視時間などの関心時間に応じて広告の位置や形態サイズを変更したり追加広告を提供したりするなど、ユーザの関心に応じてコンテンツを変更して提供することができ、モバイル機器に設置され、ユーザの関心に応じてコンテンツを変更して提供するようにモバイル機器を制御するモバイルアプリケーションをモバイル機器に提供することができる。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および/またはハードウェア構成要素およびソフトウェア構成要素の組み合わせによって実現されてもよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令(instruction)を実行して応答することができる異なる装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてもよい。処理装置は、運営体制(OS)および運営体制上で実行される1つ以上のソフトウェアアプリケーションを実行してもよい。また、処理装置は、ソフトウェアの実行に応答し、データをアクセス、保存、操作、処理、および生成してもよい。理解の便宜のために、処理装置は1つが使用されると説明される場合もあるが、該当する技術分野において通常の知識を有する者は、処理装置が複数の処理要素(processing element)および/または複数類型の処理要素を含んでもよい。例えば、処理装置は、複数のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでもよい。また、並列プロセッサ(parallel processor)のような、他の処理構成(processing configuration)も可能である。
ソフトウェアは、コンピュータプログラム(computer program)、コード(code)、命令(instruction)、またはこれらのうちの1つ以上の組み合わせを含んでもよく、所望とおりに動作するように処理装置を構成したり、独立的または結合的に(collectively)処理装置を命令したりしてもよい。ソフトウェアおよび/またはデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供したりするために、ある類型の機械、構成要素(component)、物理的装置、仮想装置(virtual equipment)、コンピュータ記録媒体または装置、または送信される信号波(signal wave)に永久的または一時的に具体化(embody)されてもよい。ソフトウェアは、ネットワークによって連結したコンピュータシステム上に分散し、分散した方法によって格納されたり実行されたりしてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータで読み取り可能な記録媒体に格納されてもよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行が可能なプログラム命令形態で実現されてコンピュータで読み取り可能な媒体に記録されてもよい。コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含んでもよい。媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク(登録商標)、および磁気テープのような磁気媒体(magnetic media)、CD−ROM、DVDのような光記録媒体(optical media)、フロプティカルディスク(floptical disk)のような磁気−光媒体(magneto−optical media)、およびROM、RAM、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。上述したハードウェア装置は、実施形態の動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同じである。
以上のように、実施形態を限定された実施形態と図面に基づいて説明したが、該当する技術分野において通常の知識を有する者であれば、上述した記載から多様な修正および変形が可能であることが理解できるであろう。例えば、説明された技術が説明された方法とは異なる順序で実行されたり、説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態で結合または組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
710:広告サーバ
720:モバイル機器

Claims (10)

  1. モバイル機器を通じて広告を提供する方法であって、
    前記モバイル機器は、
    前記モバイル機器のディスプレイを通じてユーザの視線を利用した広告提供を前記ユーザが同意するためのユーザインタフェースを含む広告を表示し、
    前記ユーザインタフェースを通じて発生するユーザイベントに基づいて前記モバイル機器のディスプレイを通じてコンテンツを表示し、
    前記コンテンツに対し、ユーザの視線により関心領域を前記カメラを用いて認識し、
    前記関心領域に対する前記ユーザの関心時間を認識し、
    前記関心領域と、前記関心時間と、前記コンテンツと、に基づいて前記モバイル機器のディスプレイを通じて追加コンテンツを表示し、
    前記ユーザの視線が逸れたとき前記追加コンテンツの提供を終了させて、前記広告を再び表示する、広告提供方法。
  2. 前記ユーザの視線により関心領域を認識することは、
    前記モバイル機器のカメラを通じて入力される情報を分析することで前記ユーザの視線を認識し、前記認識された視線に対応する領域を前記関心領域として認識することを特徴とする、請求項1に記載の広告提供方法。
  3. 前記ユーザの関心時間を認識することは、
    前記モバイル機器のカメラを通じて入力される情報を分析することで前記ユーザの視線を認識し、前記認識された視線に対応する領域に前記視線が留まる時間を前記関心時間として認識することを特徴とする、請求項1に記載の広告提供方法。
  4. 前記広告は、前記ユーザインタフェースを含む領域と、前記広告主のモバイルサイトに移動するためのリンクを含む領域を含むことを特徴とする、請求項1に記載の広告提供方法。
  5. 広告を提供する広告提供システムであって、
    モバイル機器にモバイルアプリケーションを提供するモバイルアプリケーション提供部を含み、
    前記モバイルアプリケーションは、
    前記モバイル機器のディスプレイを通じてユーザの視線を利用した広告提供を前記ユーザが同意するためのユーザインタフェースを含む広告を表示するように前記モバイル機器を制御し、
    前記ユーザインタフェースを通じて発生するユーザイベントに基づいて前記モバイル機器のディスプレイを通じてコンテンツを表示し、前記表示したコンテンツに対してユーザの視線により関心領域を前記カメラを用いて認識し、前記関心領域に対する前記ユーザの関心時間を認識し、前記関心領域と、前記関心時間と、前記コンテンツと、に基づいて前記モバイル機器のディスプレイを通じて追加コンテンツを表示し、前記ユーザの視線が逸れたとき前記追加コンテンツの提供を終了させて、前記広告を再び表示する、広告提供システム。
  6. 前記モバイルアプリケーションは、
    前記モバイル機器のカメラを通じて入力される情報を分析することで前記ユーザの視線を認識し、前記認識された視線に対応する領域を前記関心領域として認識するように前記モバイル機器を制御することを特徴とする、請求項に記載の広告提供システム。
  7. 前記モバイルアプリケーションは、
    前記モバイル機器のカメラを通じて入力される情報を分析することで前記ユーザの視線を認識し、前記認識された視線に対応する領域に前記視線が留まる時間を前記関心時間として認識するように前記モバイル機器を制御することを特徴とする、請求項に記載の広告提供システム。
  8. 前記モバイルアプリケーションは、
    前記関心時間が予め設定された時間以上である場合、前記コンテンツおよび前記関心領域の位置のうちの少なくとも1つに応じて前記コンテンツのフォーマットと、形態と、サイズと、位置と、のうちの少なくとも1つを変更するか、または、前記コンテンツと関連した追加コンテンツを提供するように前記モバイル機器を制御することを特徴とする、請求項に記載の広告提供システム。
  9. 前記広告は、前記ユーザインタフェースを含む領域と、前記広告主のモバイルサイトに移動するためのリンクを含む領域を含むことを特徴とする、請求項に記載の広告提供システム。
  10. モバイル機器が、
    前記モバイル機器のディスプレイを通じてユーザの視線を利用した広告提供を前記ユーザが同意するためのユーザインタフェースを含む広告を表示し、
    前記ユーザインタフェースを通じて発生するユーザイベントに基づいて前記モバイル機器のディスプレイを通じてコンテンツを表示し、
    前記コンテンツに対し、ユーザの視線により関心領域を前記カメラを用いて認識し、
    前記関心領域に対する前記ユーザの関心時間を認識し、
    前記関心領域、前記関心時間、および前記コンテンツに基づいて前記モバイル機器のディスプレイを通じて追加コンテンツを表示し、
    前記ユーザの視線が逸れたとき前記追加コンテンツの提供を終了させて前記広告を再び表示する、広告提供方法を実行するためのプログラム。
JP2015093029A 2012-09-24 2015-04-30 ユーザの視線に基づいて広告を提供する方法およびシステム Active JP6144715B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120105871A KR101479471B1 (ko) 2012-09-24 2012-09-24 사용자의 시선에 기초하여 광고를 제공하는 방법 및 시스템
KR10-2012-0105871 2012-09-24

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013164840A Division JP5744983B2 (ja) 2012-09-24 2013-08-08 ユーザの視線に基づいて広告を提供する方法およびシステム

Publications (2)

Publication Number Publication Date
JP2015158946A JP2015158946A (ja) 2015-09-03
JP6144715B2 true JP6144715B2 (ja) 2017-06-07

Family

ID=50339801

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013164840A Active JP5744983B2 (ja) 2012-09-24 2013-08-08 ユーザの視線に基づいて広告を提供する方法およびシステム
JP2015093029A Active JP6144715B2 (ja) 2012-09-24 2015-04-30 ユーザの視線に基づいて広告を提供する方法およびシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013164840A Active JP5744983B2 (ja) 2012-09-24 2013-08-08 ユーザの視線に基づいて広告を提供する方法およびシステム

Country Status (3)

Country Link
US (1) US10235693B2 (ja)
JP (2) JP5744983B2 (ja)
KR (1) KR101479471B1 (ja)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2939197A4 (en) * 2012-12-26 2016-08-24 Track Ltd 2 ADVERTISING UNIT AND METHOD THEREFOR
US9881058B1 (en) 2013-03-14 2018-01-30 Google Inc. Methods, systems, and media for displaying information related to displayed content upon detection of user attention
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US11019258B2 (en) 2013-08-21 2021-05-25 Verizon Patent And Licensing Inc. Aggregating images and audio data to generate content
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
US20150332332A1 (en) * 2014-05-15 2015-11-19 Ahmed Saif Al Darmaki Self-destructing ad messages in messaging apps
KR102279681B1 (ko) * 2014-05-26 2021-07-20 에스케이플래닛 주식회사 동공인식을 이용한 광고 제공 장치 및 방법
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US20160012475A1 (en) * 2014-07-10 2016-01-14 Google Inc. Methods, systems, and media for presenting advertisements related to displayed content upon detection of user attention
US10185976B2 (en) * 2014-07-23 2019-01-22 Target Brands Inc. Shopping systems, user interfaces and methods
US11108971B2 (en) 2014-07-25 2021-08-31 Verzon Patent and Licensing Ine. Camera array removing lens distortion
US10368011B2 (en) 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
US10701426B1 (en) * 2014-07-28 2020-06-30 Verizon Patent And Licensing Inc. Virtual reality system including social graph
US10186301B1 (en) 2014-07-28 2019-01-22 Jaunt Inc. Camera array including camera modules
US9363569B1 (en) 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US9774887B1 (en) 2016-09-19 2017-09-26 Jaunt Inc. Behavioral directional encoding of three-dimensional video
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
KR101748680B1 (ko) 2014-08-08 2017-06-20 네이버 주식회사 단말 장치 및 이에 의한 웹 페이지 디스플레이 방법,및 웹 서버 및 이에 의한 웹 페이지 제공 방법
KR20160021607A (ko) * 2014-08-18 2016-02-26 삼성전자주식회사 배경 화면을 디스플레이하는 방법 및 장치
US11257115B2 (en) * 2014-09-02 2022-02-22 Gil Emanuel Fuchs Providing additional digital content or advertising based on analysis of specific interest in the digital content being viewed
US9253513B1 (en) * 2014-09-08 2016-02-02 Microsoft Technology Licensing, Llc Independent multi-panel display with cross-panel interactivity
KR101587533B1 (ko) * 2014-10-17 2016-01-21 인중현 피사체의 시선에 따라 영상을 이동시키는 영상처리시스템
KR101708890B1 (ko) * 2015-03-11 2017-03-08 (주)어바웃타임 단말내 정보 분석에 기반한 사용자의 암묵적 관심 아이템 탐지 방법,장치 및 그에 대한 컴퓨터 프로그램
CN106294489B (zh) * 2015-06-08 2022-09-30 北京三星通信技术研究有限公司 内容推荐方法、装置及系统
US9916861B2 (en) 2015-06-17 2018-03-13 International Business Machines Corporation Editing media on a mobile device before transmission
KR101593883B1 (ko) * 2015-07-07 2016-02-18 박성호 광고가 표시되는 컨텐츠 제공 서버, 그 방법 및 컨텐츠 내 광고 표시 방법이 프로그램으로 기록된 전자 장치에서 판독 가능한 기록매체
US10775882B2 (en) * 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
WO2017163371A1 (ja) * 2016-03-24 2017-09-28 楽天株式会社 情報処理システム、情報処理方法、及び情報処理プログラム
US20170345399A1 (en) * 2016-05-31 2017-11-30 Mediatek Inc. Method for performing display control of an electronic device in response to a user activity, and associated apparatus
KR20170141453A (ko) 2016-06-15 2017-12-26 에스케이플래닛 주식회사 스크롤 패턴을 이용한 관심 정보 분석 방법 및 이를 이용한 장치
US11032535B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview of a three-dimensional video
US11032536B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
US10681341B2 (en) 2016-09-19 2020-06-09 Verizon Patent And Licensing Inc. Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
KR101879764B1 (ko) * 2016-09-30 2018-07-19 네이버 주식회사 단말 장치 및 이에 의한 웹 페이지 디스플레이 방법, 및 웹 서버 및 이에 의한 웹 페이지 제공 방법
US11111698B2 (en) 2016-12-05 2021-09-07 Endura Products, Llc Multipoint lock
US10876324B2 (en) 2017-01-19 2020-12-29 Endura Products, Llc Multipoint lock
US10880086B2 (en) 2017-05-02 2020-12-29 PracticalVR Inc. Systems and methods for authenticating a user on an augmented, mixed and/or virtual reality platform to deploy experiences
CN107562186B (zh) * 2017-07-14 2020-09-04 华侨大学 基于注意力辨识进行情感运算的3d校园导览方法
JP6845111B2 (ja) * 2017-08-23 2021-03-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像表示方法
WO2019044572A1 (ja) * 2017-09-04 2019-03-07 ソニー株式会社 情報処理装置および方法、並びにプログラム
WO2019054598A1 (ko) 2017-09-13 2019-03-21 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
KR102092931B1 (ko) 2017-09-13 2020-03-24 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
KR102096883B1 (ko) * 2017-11-27 2020-04-03 주식회사 쓰리아이 광고 제공방법 및 이를 수행하는 시스템
KR20190067433A (ko) 2017-12-07 2019-06-17 주식회사 비주얼캠프 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
KR102094944B1 (ko) 2018-02-28 2020-03-30 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 단말
KR102094953B1 (ko) 2018-03-28 2020-03-30 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 단말
KR20190118965A (ko) 2018-04-11 2019-10-21 주식회사 비주얼캠프 시선 추적 시스템 및 방법
JP6724109B2 (ja) * 2018-10-31 2020-07-15 株式会社ドワンゴ 情報表示端末、情報送信方法、コンピュータプログラム
KR102610737B1 (ko) * 2018-11-05 2023-12-07 현대자동차주식회사 차량 전시 매장의 서비스 제공 로봇 및 이의 동작 방법
US10694167B1 (en) 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules
US11746565B2 (en) 2019-05-01 2023-09-05 Endura Products, Llc Multipoint lock assembly for a swinging door panel
KR102249666B1 (ko) * 2019-06-13 2021-05-10 주식회사 비주얼캠프 시선 추적 기술을 이용한 쇼핑몰 서비스 시스템 및 이를 수행하기 위한 컴퓨팅 장치
US11875695B2 (en) * 2019-09-13 2024-01-16 Guangdong Midea Kitchen Appliances Manufacturing., Co., Ltd. System and method for providing intelligent assistance for food preparation
KR102299103B1 (ko) * 2019-10-23 2021-09-07 주식회사 비주얼캠프 시선 분석 장치 및 이를 이용한 시선 분석 시스템 및 방법
JP2021086310A (ja) * 2019-11-26 2021-06-03 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
WO2021214760A1 (en) * 2020-04-23 2021-10-28 Yehoshua Yizhaq Compensating communication systems and methods for using thereof
KR20220124992A (ko) 2021-03-04 2022-09-14 주식회사 비주얼캠프 시선 집중도 산출 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102548625B1 (ko) 2021-06-22 2023-06-28 주식회사 비주얼캠프 시선 추적 기반의 쇼핑 콘텐츠 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102665453B1 (ko) 2022-01-17 2024-05-10 엔에이치엔 주식회사 시선인식 기반 맞춤형 콘텐츠를 제공하는 장치 및 방법
CN116137003B (zh) * 2023-04-04 2023-06-30 深圳柯赛标识智能科技有限公司 基于大数据的智能广告终端及广告发布方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4482263B2 (ja) 2002-02-28 2010-06-16 株式会社日立製作所 広告配信装置および広告の配信方法
JP2004102475A (ja) 2002-09-06 2004-04-02 D-Rights Inc 広告情報重畳装置
JP2004240492A (ja) 2003-02-03 2004-08-26 Hitachi Ltd 動画広告提供装置
JP4825617B2 (ja) * 2006-08-08 2011-11-30 生活協同組合コープさっぽろ 商品情報提供システム、商品情報提供方法、及びサーバシステム
US20080147488A1 (en) * 2006-10-20 2008-06-19 Tunick James A System and method for monitoring viewer attention with respect to a display and determining associated charges
JP2008129775A (ja) 2006-11-20 2008-06-05 Ntt Docomo Inc 表示制御装置、表示装置、表示制御方法
KR100850357B1 (ko) 2006-12-06 2008-08-04 한국전자통신연구원 시선 위치 추적 방법 및 그 장치
JP2008203971A (ja) * 2007-02-16 2008-09-04 Nec Corp 情報表示システム、視線検知プログラム及び情報表示プログラム
JP2009180840A (ja) 2008-01-29 2009-08-13 Nec Corp 情報配信システム、情報配信方法、および情報配信プログラム
JP2010061218A (ja) 2008-09-01 2010-03-18 Fujifilm Corp ウェブ広告効果測定装置、ウェブ広告効果測定方法及びプログラム
US10679251B2 (en) 2009-06-18 2020-06-09 Microsoft Technology Licensing, Llc Controlling ad delivery to mobile clients
US8154615B2 (en) 2009-06-30 2012-04-10 Eastman Kodak Company Method and apparatus for image display control according to viewer factors and responses
KR101242531B1 (ko) * 2009-09-30 2013-03-12 에스케이플래닛 주식회사 시선 인식을 이용한 화면 처리 방법 및 휴대단말
US9659737B2 (en) * 2010-07-29 2017-05-23 The Board Of Trustees Of The University Of Illinois Phosphor coating for irregular surfaces and method for creating phosphor coatings
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display

Also Published As

Publication number Publication date
KR20140040318A (ko) 2014-04-03
US10235693B2 (en) 2019-03-19
JP5744983B2 (ja) 2015-07-08
JP2015158946A (ja) 2015-09-03
KR101479471B1 (ko) 2015-01-13
JP2014067401A (ja) 2014-04-17
US20140089097A1 (en) 2014-03-27

Similar Documents

Publication Publication Date Title
JP6144715B2 (ja) ユーザの視線に基づいて広告を提供する方法およびシステム
US10831363B2 (en) Content manipulation using swipe gesture recognition technology
US10771704B2 (en) Method of displaying wide-angle image, image display system, and information processing apparatus
JP6433111B2 (ja) モバイルディスプレイ広告を提供する広告提供システム及び方法
JP6185443B2 (ja) 動画間の切換方法およびそのシステム
US10481760B2 (en) Interactive dynamic push notifications
US20120278712A1 (en) Multi-input gestures in hierarchical regions
CN108885521A (zh) 跨环境共享
US20170193551A1 (en) Search Architecture for Rendering Deep Links from Action Criteria
CN103582863A (zh) 多应用环境
EP2941751A1 (en) Systems and methods for advertising on virtual keyboards
US10845892B2 (en) System for monitoring a video
Ryu et al. GG Interaction: a gaze–grasp pose interaction for 3D virtual object selection
Moore et al. VOTE: A ray-casting study of vote-oriented technique enhancements
US20210082004A1 (en) Methods and systems for reducing inadvertent interactions with advertisements displayed on a computing device
KR101899578B1 (ko) 모바일 디스플레이 광고를 제공하는 광고 제공 시스템 및 방법
WO2020227291A1 (en) Methods and apparatus for interfering with automated bots using a graphical pointer and page display elements
US20200073517A1 (en) Behavior based switching mechanism for electronic content items
US20220300598A1 (en) Methods and apparatus for interfering with automated bots using a graphical pointer and page display elements
Feuerstack et al. Model-based design of multimodal interaction for augmented reality web applications
US20190043078A1 (en) Model-based resource-aware resource reduction request amount suggestion for content items
CN116755563B (zh) 用于头戴显示设备的交互控制方法和装置
WO2023004506A1 (en) A system and method for modulating a graphical user interface (gui)

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160426

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160725

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170511

R150 Certificate of patent or registration of utility model

Ref document number: 6144715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250