JP5315512B2 - 機械可読ドットパターン - Google Patents

機械可読ドットパターン Download PDF

Info

Publication number
JP5315512B2
JP5315512B2 JP2010274313A JP2010274313A JP5315512B2 JP 5315512 B2 JP5315512 B2 JP 5315512B2 JP 2010274313 A JP2010274313 A JP 2010274313A JP 2010274313 A JP2010274313 A JP 2010274313A JP 5315512 B2 JP5315512 B2 JP 5315512B2
Authority
JP
Japan
Prior art keywords
dot
pixel color
dot pattern
machine
dots
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010274313A
Other languages
English (en)
Other versions
JP2012123649A (ja
Inventor
健治 吉田
Original Assignee
健治 吉田
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 健治 吉田 filed Critical 健治 吉田
Priority to JP2010274313A priority Critical patent/JP5315512B2/ja
Priority to KR1020137017893A priority patent/KR101988919B1/ko
Priority to PCT/JP2011/078482 priority patent/WO2012077766A2/ja
Priority to CN201180058752.8A priority patent/CN103250426B/zh
Priority to EP11846449.4A priority patent/EP2650826A4/en
Priority to US13/992,952 priority patent/US9626934B2/en
Publication of JP2012123649A publication Critical patent/JP2012123649A/ja
Application granted granted Critical
Publication of JP5315512B2 publication Critical patent/JP5315512B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、表示装置に二次元コードの一種であるドットパターンを機械的に読み取り可能な状態で表示させるための表示フォーマットに関する。
映像（動画像）または画像（静止画像）への情報付加は、画像に二次元コードを描画することにより簡易に実現される。
特許文献１では、テレビショッピング番組やテレビコマーシャル等において、テレビモニタに二次元バーコードが表示されている。携帯端末が二次元バーコードを読み取ると、携帯端末は、商品・サービス注文用URLを取得し、通信販売システムの販売元サーバーにアクセスする。その後のサーバーと携帯端末とのやりとりにより、注文内容が確定する。
特許文献２および３には、画像と重畳印刷可能な二次元コードであるドットパターンが開示されている。
特許文献４には、映像中の１フレームに電子透かしを埋め込む方法が開示されている。
特許文献５には、映像中の１フレームにインデックスとして埋め込まれた画素情報が非可逆性圧縮により受ける影響について開示されている。
特開２００５−１５９５６９号公報 特許第３７０６３８５号公報 特許第３７７１２５２号公報 特開２００７−３６８３３号公報 特許第４４７８９９２号公報
しかし、特許文献１で使用されている二次元コードは、同文献の図からも明らかのようにテレビ画面上の一定の面積を占めるため、テレビ番組の美観を損なうという問題点がある。
また、特許文献２および３には印刷したドットパターンを読み取るための技術が開示されているが、表示装置の画面上に表示したドットパターンを読み取って情報入出力を行うためには特有の技術的課題が生じる。
本発明はこのような点に鑑みてなされたものであり、表示装置に表示される画像の美観を損なわない、機械可読ドットパターンの特徴的な表示フォーマットを提供することを技術的課題とする。
＜１＞本発明の機械可読ドットパターンは、少なくとも所定のフレーム中の全領域または１以上の所定領域に、複数のドットを所定規則に基づいて配置した、表示装置を用いて表示させる機械可読ドットパターンであって、該複数のドットは、複数の情報ドットまたは、複数の情報ドットおよび基準ドットからなり、前記ドットのそれぞれが、当該ドットのそれぞれの周辺画素領域との間で識別可能なコントラスト制御領域を備えており、一方のドットと他方のドットがそれぞれ備える該コントラスト制御領域の間に少なくとも１ピクセルの周辺画素領域が表示される間隔を有して配置されている。


＜２＞本発明の機械可読ドットパターンは、少なくとも所定のフレーム中の全領域または１以上の所定領域に、複数のドットを所定規則に基づいて配置した、表示装置を用いて表示させる機械可読ドットパターンであって、該複数のドットは、複数の情報ドットまたは、複数の情報ドットおよび基準ドットからなり、前記ドットのそれぞれが、当該ドットのそれぞれの周辺画素領域の画素色から当該ドットの画素色まで徐々に画素色が変化するアンチエリアシング領域を備えている。
＜３＞好ましくは、前記ドットのそれぞれが、当該ドットのそれぞれの周辺画素領域の画素色から前記コントラスト制御領域の画素色まで徐々に画素色が変化するアンチエリアシング領域を備えている。
＜４＞好ましくは、前記コントラスト制御領域の画素色は、前記ドットの画素色の補色である。
＜５＞好ましくは、（１）前記コントラスト制御領域の画素色は無彩色であり、前記ドットの画素色は有彩色である、（２）前記コントラスト制御領域の画素色は有彩色であり、前記ドットの画素色は無彩色である、のいずれかである。
＜６＞好ましくは、（１）前記コントラスト制御領域の画素色は白色であり、前記ドットの画素色は黒色である、（２）前記コントラスト制御領域の画素色は黒色であり、前記ドットの画素色は白色である、のいずれかである。
＜７＞好ましくは、前記ドットの画素色は周辺画素領域の画素色に対して識別可能な画素色である。
＜８＞好ましくは、前記コントラスト制御領域の画素色は周辺画素領域の画素色に対して識別可能な画素色であり、前記ドットの画素色は前記コントラスト制御領域の画素色に対して識別可能な画素色である。
＜９＞好ましくは、前記機械可読ドットパターンは、所定の規則に基づいて配置された基準ドットを基に、１つのドットコードおよび／またはXY座標を定義する領域と該ドットパターンの向きおよび前記情報ドットの配置を定めて該ドットコードが定義される。
＜１０＞好ましくは、前記ドットコードおよび／またはXY座標が定義される機械可読ドットパターンは、前記所定の領域に上下左右に連結または連接して複数設けられる。
＜１１＞前記機械可読ドットパターンは、前記ドットおよび／またはコントラスト制御領域の画素色によって、ドットコードおよび／またはXY座標が定義される。
＜１２＞前記複数の情報ドットまたは、前記複数の情報ドットおよび基準ドットは、所定のフレーム中の予め決められた所定位置に配置されることにより、前記機械可読ドットパターンの表示の有無を判定可能とする。
＜１３＞好ましくは、前記機械可読ドットパターンが表示される場合には、該機械可読ドットパターンを表示するフレームと同一のフレームに、前記表示装置に表示される画像を特定するためのインデックスを表示する。
本発明によれば、機械可読ドットパターンを表示装置において適正に表示可能とする。
本発明によれば、圧縮された映像および画像が放映・再生されても、コントラスト制御領域および／またはアンチエリアシング領域を設けることにより、確実にドットを認識できる。
また、ドットパターンを用いることにより、ドット一つ一つが小さいため、視聴者が視認できない、且つ機械可読の二次元コードを表示装置の画面上の映像または画像に埋め込むことができる。
これにより、デジカメやビデオカメラ、携帯電話のカメラ、webカメラなどの可視光を記録するカメラを用いて表示装置の画面を撮影するか、データとしてキャプチャーすれば、ドットパターンに定義された情報を容易に取得することができる。
さらに、所定の画面の全部または、所定の１以上の領域に、ドットコードおよび／またはXY座標が定義されるドットパターンが上下左右に連結または連接して複数設けることにより、表示装置の画面の一部だけを撮影またはキャプチャーすることにより、当該情報を取得することができる。
第１の実施形態におけるドットマトリクス１０２を示す図である。 第２の実施形態におけるドットマトリクス１０２を示す図である。 第３の実施形態におけるドットマトリクス１０２を示す図である。 第４の実施形態におけるドットマトリクス１０２を示す図である。 ドットマトリクス１０２の他の形状を示す図である。 ドットパターン１０１の実施例を示す図である。 情報ドット６０２による情報の定義の仕方の例を示す図である。 ドットパターン１０１が定義可能な情報を示す図である。 表示装置２０１にドットパターン１０１を表示した例を示す図である。 視聴者が本発明を用いたサービスを利用する過程を説明する図である。 インデックス７０１を埋め込む実施例を示す図である。 第２の実施形態におけるドットマトリクス１０２により構成されるドットパターン１０１を示す図である。 第３の実施形態におけるドットマトリクス１０２により構成されるドットパターン１０１を示す図である。 第４の実施形態におけるドットマトリクス１０２により構成されるドットパターン１０１を示す図である。
以下、本発明の実施形態について、図面を参照しながら説明する。
本発明について要約すると、映像または画像が放映・再生される際に周辺画像とドットの識別が困難となるため、ドットの周辺に周辺画像と識別可能なコントラスト制御領域および／またはアンチエリアシング領域を設けることによりドットパターンを機械可読とする。さらに、当該ドットパターンは、所定の規則に基づいて配置された基準ドットを基に、１つのドットコードおよび／またはXY座標を定義する領域と該ドットパターンの向きおよび前記情報ドットの配置を定めて該ドットコードを定義することにより、配置される位置にドットが存在するか、否かでドットコードを読み取れるものである。
＜ドットの表示フォーマット＞
表示装置２０１に表示されるドットパターン１０１を構成するドット１０３について説明する。
なお、表示装置の技術分野において「１ドット」は１画素（１ピクセル）と同義のものと扱われる場合があるが、本発明におけるドット１０３はドットパターン１０１を構成する要素としてのドットを意味するものであって、表示装置の画素としての「ドット」とは概念が異なる。
本発明においては、ドットパターン１０１の構成要素としてのドット本体を「ドット１０３」と呼ぶ。また、本発明の表示フォーマットを用いて表示装置２０１に実際に表示するドットを「ドットマトリクス１０２」と呼ぶ。
画像３０１においてドットマトリクス１０２が占める領域以外の領域を本発明では周辺画素領域１０６と呼ぶ。
＜第１の実施形態＞
第１の実施形態におけるドットマトリクス１０２の表示フォーマットを説明する。
図１は、第１の実施形態において表示装置２０１に表示されるドットパターン１０１を構成するドットマトリクス１０２を示す図である。
ドットマトリクス１０２はドット１０３のみから構成される。
＜ドット＞
ドット１０３について詳細に説明する。なお、この説明は後述する他の実施形態にも共通する。
ドット１０３の色は、周辺画素領域１０６との対比により決定する。すなわち、周辺画素領域１０６の画素色に対して識別可能な画素色を使用する。最も好ましくは、周辺画素領域１０６において使われていない色を使用する。
本発明の表示フォーマットにおいてはドット１０３のＲＧＢ値によりドットマトリクス１０２の配置が認識される。
ドット１０３の大きさは、ドットパターン１０１を含む画像または映像の圧縮規格が、非可逆性圧縮である場合も含めて、表示装置の不良による１ピクセルを排除し、且つ周辺画素領域１０６からの影響を考慮して概ね２〜４ピクセル×２〜４ピクセル程度、基準ドット間隔が１０〜４０ピクセル程度であることにより、どのような大きさの表示装置においても、通常使用されるカメラで適正にドットパターン１０１の撮影および認識が可能となる。なお、ドットが大きい場合、または基準ドット間隔に対してドットの大きさが比較的大きい場合は、表示装置で映像が表示されている３０フレーム／秒では１０〜３０フレームに付き１〜２フレーム程度、６０フレーム／秒では２０〜６０フレームに付き１〜４フレーム程度だけドットパターンを表示することにより、視聴者にはドットパターンを視認できなくすることができる。さらに、視認できにくくしたい場合は、ドットやコントラスト領域の画素色が周辺画素色に対して認識できることを前提に、視認しにくい画素色を使用すればよい。
＜第２の実施形態＞
第２の実施形態におけるドットマトリクス１０２の表示フォーマットを説明する。
図２は、第２の実施形態において表示装置２０１に表示されるドットパターン１０１を構成するドットマトリクス１０２を示す図である。
ドットマトリクス１０２はドット１０３、コントラスト制御領域１０４、から構成される。
図２に示すように、ドット１０３はドットマトリクス１０２の最も内側に配置され、コントラスト制御領域１０４はドット１０３に隙間なく外接するように配置される。
＜コントラスト制御領域＞
コントラスト制御領域１０４について詳細に説明する。この説明は後述する他の実施形態にも共通する。
コントラスト制御領域１０４の色は、ドット１０３の色と補色の関係になる色で表示する。コントラスト制御領域１０４を設けることにより、どこがドット１０３であるかを、画像解析時に正確に認識することが可能となる。
具体的には、前記ドット１０３の画素色を有彩色とした場合、コントラスト制御領域１０４の画素色を無彩色とする。前記ドット１０３の画素色を無彩色とした場合、コントラスト制御領域１０４の画素色を有彩色とする。
また、前記ドット１０３の画素色を黒色とした場合、コントラスト制御領域１０４の画素色を白色とする。前記ドット１０３の画素色を白色とした場合、コントラスト制御領域１０４の画素色を黒色とする。
コントラスト制御領域１０４の画素色は周辺画素領域１０６の画素色に対して識別可能な画素色とし、ドット１０３の画素色はコントラスト制御領域１０４の画素色に対して識別可能な画素色とする。
また、ドットパターン１０１を含む画像または映像の圧縮規格が、非可逆性圧縮のものである場合、コントラスト制御領域１０４の大きさは、周辺画素領域１０６からの影響を考慮して２〜４ピクセル×２〜４ピクセル前後とすることが好ましい。
＜第３の実施形態＞
第３の実施形態におけるドットマトリクス１０２の表示フォーマットを説明する。
図３は、第３の実施形態において表示装置２０１に表示されるドットパターン１０１を構成するドットマトリクス１０２を示す図である。
ドットマトリクス１０２はドット１０３、アンチエリアシング領域１０５、から構成される。
図３に示すように、ドット１０３はドットマトリクス１０２の最も内側に配置され、アンチエリアシング領域１０５はドット１０３に隙間なく外接するように配置される。
＜アンチエリアシング領域＞
アンチエリアシング領域１０５について詳細に説明する。この説明は後述する他の実施形態にも共通する。
アンチエリアシングとは、一般には、コンピュータの画面に画像を表示する際に、斜め線や曲線などに発生する階段状のギザギザ(ジャギ)を目立たなくするために、境界線の周囲に中間色の点を配置する手法のことである。
本発明においてアンチエリアシング領域とは、周辺画素領域１０６の画素色からドット１０３の画素色まで徐々に画素色が変化する領域を意味する。アンチエリアシング領域１０５を設けることにより、周辺画素領域１０６からドット１０３への色の変化がなだらかになり、ドットマトリクス１０２が視聴者から目立たず、画像３０１の美観を損ねることがない。
また、ドットパターン１０１を含む画像または映像の圧縮規格が、非可逆性圧縮のものである場合、アンチエリアシング領域１０５の大きさは、周辺画素領域１０６からの影響を考慮して２〜４ピクセル×２〜４ピクセル前後とすることが好ましい。
このような表示フォーマットとすることにより、美観を損ねて視聴者に不快感を与えることなく、ドットパターン１０１を表示装置２０１に表示することが可能となる。
＜第４の実施形態＞
第４の実施形態におけるドットマトリクス１０２の表示フォーマットを説明する。
図４は、第４の実施形態において表示装置２０１に表示されるドットパターン１０１を構成するドットマトリクス１０２を示す図である。
ドットマトリクス１０２は、ドット１０３、コントラスト制御領域１０４、アンチエリアシング領域１０５から構成される。
図４に示すように、ドット１０３はドットマトリクス１０２の最も内側に配置され、コントラスト制御領域１０４はドット１０３に隙間なく外接するように配置される。そして、アンチエリアシング領域１０５は、コントラスト制御領域１０４に隙間なく外接するように配置される。
第４の実施形態では、アンチエリアシング領域１０５は周辺画素領域１０６の画素色からコントラスト制御領域１０４の画素色まで徐々に画素色が変化する領域を意味する。アンチエリアシング領域１０５を設けることにより、周辺画素領域１０６からコントラスト制御領域１０４への色の変化がなだらかになり、ドットマトリクス１０２が視聴者から目立たず、画像３０１の美観を損ねることがない。
＜ドットの配置形状＞
なお、図１ないし図４の例ではドットマトリクス１０２の各構成を縦横の格子状に配置したが、図５に示すようにドットマトリクス１０２の各構成は斜め格子状に配置するものとしてもよい。
＜ドットパターン＞
以下に、本発明においてドットパターン１０１がどのように情報を定義するかを説明する。
ドットパターン１０１はドットマトリクス１０２の配置法則により情報を定義する。
ドットマトリクス１０２の配置法則および情報の定義の仕方については、特許文献２および３に代表される周知の方法が利用できる。
なお、特許文献２および３は表示装置において表示されるドットパターンではなく、主に媒体に印刷されるドットパターンについて説明しているが、ドットの配置法則および情報の定義の仕方については、表示装置に表示されるドットパターン１０１と媒体に印刷されるドットパターンとでは基本的に変わるところが無い。
ドットパターン１０１の代表例として特許文献２に記載のドットパターンを図６に示す。図６の格子ドット６０１（基準ドット６０１）、情報ドット６０２、キードット６０３が本発明の表示フォーマットであるドットマトリクス１０２により表現される。
また図６に示すように、ドットパターン１０１は通常、上下左右に連結または連接して複数設けられる。
公知の技術であるため詳細な説明は省略するが、情報ドット６０２は４つの格子ドット６０１に囲まれた領域内に配置され、同領域中心の仮想点６０４を基準とする距離と方向（ベクトル）により情報を定義する（図７参照）。
または、情報ドット６０２はその配置の有無により情報を定義する。もしくは、情報ドット６０２はベクトルと配置の有無との組み合わせにより情報を定義する。
キードット６０３は等間隔に配置された格子ドット６０１の一部が本来の位置より所定方向に遷移した位置（図６によれば上方向）に配置されることによりキードット６０３であるものと認識され、ドットパターン１０１の方向と大きさ（境界）を定義する。
なお、キードットに代えて情報ドットの一部をディレクションドットとすることによりドットパターンの方向と大きさを定義する方法、あるいは基準ドットの配置形状によりドットパターンの方向と大きさを定義する方法等の、ドットパターンの方向と大きさを定義する各種の方法が特許文献３により公知であり、本発明のドットパターン１０１においても同様に採用し得る。
なお、特許文献２に記載の「格子ドット」と特許文献３に記載の「基準ドット」とは文言は異なるが機能は同じである。
図６に示すようにドットパターン１０１はＱＲコード（登録商標）等の二次元コードとは異なり、ドットマトリクス１０２が離隔しているため視聴者からは視認されにくい。
図８に示すようにドットパターン１０１はＸＹ座標情報とその他のコード情報（ドットコード）を、情報の１単位となる１つのブロックに含ませることができる。
また、本発明においては、ドットパターン１０１は、ドット１０３の画素色、コントラスト制御領域１０４の画素色、もしくはこれら画素色の組み合わせによって、ドットコードおよび／またはＸＹ座標を定義することも可能である。
好ましくは、基準ドット６０１（または情報ドット６０２）は画像３０１の予め定められた位置に配置するとよい。予め定められた位置に基準ドット６０１が表示されているか否かにより、画像３０１中にドットパターン１０１が存在するか否かが容易に判定される。
＜その他のドットパターン＞
ドットパターン１０１は、情報ドット６０２のみからなるものとしてもよい。この場合、情報ドット６０２は予め決められた所定位置への配置の有無、または所定位置からの距離と方向とにより情報を定義する。
＜表示フォーマット特有の課題＞
表示装置２０１においてドットパターン１０１を表示する際の特有の課題を解決するため、発明者が新規に実験した結果を以下に説明する。
＜ドットマトリクスの大きさ＞
ドットマトリクス１０２の大きさは、ドットマトリクス１０２は小さいほど視聴者には視認されにくく、画像３０１の美観を損ねないため、ハーフ＆フルハイビジョン解像度程度以上の表示装置を前提に、表示装置の不良による１ピクセルを排除し、且つ周辺画素領域１０６からの影響を考慮して、第１の実施形態においては概ね２〜４ピクセル×２〜４ピクセル程度であることにより、一般に流通するいずれの表示装置においても適正にドットパターン１０１を表示する。
第２の実施形態においては概ね４〜８ピクセル×４〜８ピクセル程度であることにより、一般に流通するいずれの表示装置においても適正にドットパターン１０１を表示する。
第３の実施形態においては概ね４〜８ピクセル×４〜８ピクセル程度であることにより、一般に流通するいずれの表示装置においても適正にドットパターン１０１を表示する。
第４の実施形態においては概ね６〜１２ピクセル×６〜１２ピクセル程度であることにより、一般に流通するいずれの表示装置においても適正にドットパターン１０１を表示する。
なお、ＱＲコード（登録商標）のように、１つまたは数個のドットパターンだけを埋め込む場合は、ドットマトリクス１０２を大きくする場合もあることは言うまでもない。その場合、視認できることが前提の場合は表示装置で任意の時間ドットパターンを継続表示する。一方、表示装置で映像が表示されている３０フレーム／秒では１０〜３０フレームに付き１〜２フレーム程度、６０フレーム／秒では２０〜６０フレームに付き１〜４フレーム前後だけドットパターンを表示することにより、視聴者にはドットパターンを視認できなくすることができる。さらに、視認できにくくしたい場合は、ドットやコントラスト領域の画素色が周辺画素色に対して認識できることを前提に、視認しにくい画素色を使用すればよい。
＜ドットマトリクスの配置間隔＞
ドットマトリクス１０２の配置間隔は、ハーフ＆フルハイビジョン解像度程度以上の表示装置を前提に、概ね１０ピクセル〜４０ピクセル程度であることにより、一般に流通するいずれの表示装置においても適正にドットパターン１０１を表示する。なお、ＱＲコード（登録商標）のように、１つまたは数個のドットパターンを埋め込む場合は、ドットマトリクス１０２の配置間隔を大きくする場合もあることは言うまでもない。
＜仮想点と情報ドットの距離＞
仮想点６０４と情報ドット６０２との距離は、概ね基準ドット６０１の間隔の１０〜３０％であることにより、一般に流通するいずれの表示装置においても適正にドットパターン１０１を表示し、情報ドット６０２を認識可能となる。
＜キードットの遷移距離＞
格子ドット６０１が配置される位置からキードット６０３が遷移する距離は、概ね基準ドットの間隔の１０〜３０％であることにより、一般に流通するいずれの表示装置においても適正にドットパターン１０１を表示し、キードット６０３を認識可能となる。
＜本発明を用いたサービス＞
図９は、本発明に係るドットパターン１０１（機械可読ドットパターン）が表示されている表示装置２０１について説明する図である。
図９に示すように、表示装置２０１には、画像３０１が表示される。画像３０１は、視聴者に本来視認させようとする視覚情報の他に、ドットパターン１０１を含む。図５によればドットマトリクス１０２は画像３０１全体に分布するが、画像３０１の一部領域にのみドットマトリクス１０２を分布する構成としてもよい。
ドットマトリクス１０２がコントラスト制御領域、アンチエリアシング領域、またはその両方を備える場合のドットパターン１０１の表示例は、図１２〜１４にそれぞれ示すとおりである。
画像３０１がテレビ番組の映像５０１の１フレームである場合、ドットパターン１０１には、その番組のタイトル、番組の内容の紹介、番組の出演者やスタッフ、番組の公式ＷＥＢサイトのＵＲＬ、番組の関連商品を販売するＷＥＢサイトのＵＲＬ、等の情報が定義されている。
視聴者が本発明を用いたサービスを利用する過程を、図１０を用いて例示する。
（１）カメラ４０２は画像３０１を撮影する。
（２）端末４０１内の図示しない記憶手段４０３はカメラ４０２が撮影した画像データ３０２を記憶する。
（３）端末４０１内の図示しないＣＰＵ４０４は記憶手段４０３に格納されたドットパターン解析アプリケーションを起動する。
（４）ＣＰＵ４０４はドットパターン解析アプリケーションにより画像データ３０２を解析する。
（５）ＣＰＵ４０４は画像データ３０２中のドットパターン１０１を認識し、ドットパターン１０１に定義された情報を復号する。
（６）ＣＰＵ４０４は復号された情報を端末４０１の図示しない出力手段４０５に出力し、視聴者は情報を閲覧する。
なお、ドットパターン１０１が情報を直接定義するのか、ドットパターン１０１が定義する数値と情報とを対応付けるのかは、ドットパターン１０１が定義可能な情報の量に応じてサービス提供者が任意に設計し得る。
また、上記過程において端末４０１が画像データ３０２を図示しないサーバー４０６に送信し、サーバー４０６上において画像データ３０２中のドットパターン１０１の解析、情報の復号を行い、複合した情報を端末４０１が再度受信するような構成とすることは例示するまでもなくサービス提供者が任意に設計し得る。
＜画像の圧縮伸長＞
表示装置２０１が表示する映像５０１（画像３０１）が非可逆性圧縮の動画圧縮規格によるものである場合、映像５０１を圧縮伸長することにより、ドット１０３のＲＧＢ値は周辺画素領域１０６の影響を受けて変化する。
したがって、ドットパターン１０１の設計に際しては、圧縮伸長によるＲＧＢ値の変化を見越した上での設計が求められる。
本発明においてはドット１０３の周囲にコントラスト制御領域１０４とアンチエリアシング領域１０５が設けられるため、圧縮伸長による周辺画素領域１０６からドット１０３への影響は低減される。
また、当然ながらドット１０３の大きさ自体を大きくすることによっても圧縮伸長による周辺画素領域１０６からドット１０３への影響は低減される。
＜ドットパターンを表示するフレーム＞
ドットパターン１０１を視聴者に視認されにくくするために、映像５０１の全フレームにドットパターン１０１を表示させず、一部のフレームにおいてのみドットパターン１０１を表示させることが好ましい。
＜インデックス＞
好ましくは、図１１に示すように、ドットパターン１０１とは別に、映像５０１（画像３０１）端部にカメラ４０２により撮影可能な周知のインデックス７０１（透かし情報）を埋め込む。
インデックス７０１は撮影した映像５０１の１フレームにドットパターン１０１が埋め込まれているという、情報を示す。これにより、そのフレームだけをキャプチャーし、ドットコードの解析を行う。
＜本発明の利用例＞
以上、説明した本発明は機械可読ドットパターンの表示装置を用いた表示フォーマットについてのものであるが、本発明は、機械可読ドットパターンの表示装置および表示方法、機械可読ドットパターンを含む画像の生成装置および生成方法、または画像生成プログラム、としての利用が可能である。また、その他の装置および方法、プログラムに用いてもよい。
本発明は、テレビ放送に代表とする、表示装置を映像ないし画像の配信において情報を付加するための表示フォーマットとしての産業上の利用可能性を有する。
１０１ ドットパターン
１０２ ドットマトリクス
１０３ ドット
１０４ コントラスト制御領域
１０５ アンチエリアシング領域
１０６ 周辺画素領域
２０１ テレビ
３０１ 画像
３０２ 画像データ
４０１ 端末
４０２ カメラ
４０３ 記憶手段
４０４ ＣＰＵ
４０５ 出力手段
４０６ サーバー
５０１ 映像
６０１ 格子ドット（基準ドット）
６０２ 情報ドット
６０３ キードット
６０４ 仮想点
７０１ インデックス

Claims (13)

  1. 少なくとも所定のフレーム中の全領域または１以上の所定領域に、複数のドットを所定規則に基づいて配置した、表示装置を用いて表示させる機械可読ドットパターンであって、
    該複数のドットは、複数の情報ドットまたは、複数の情報ドットおよび基準ドットからなり、
    前記ドットのそれぞれが、当該ドットのそれぞれの周辺画素領域との間で識別可能なコントラスト制御領域を備えており、一方のドットと他方のドットがそれぞれ備える該コントラスト制御領域の間に少なくとも１ピクセルの周辺画素領域が表示される間隔を有して配置された機械可読ドットパターン。
  2. 少なくとも所定のフレーム中の全領域または１以上の所定領域に、複数のドットを所定規則に基づいて配置した、表示装置を用いて表示させる機械可読ドットパターンであって、
    該複数のドットは、複数の情報ドットまたは、複数の情報ドットおよび基準ドットからなり、
    前記ドットのそれぞれが、当該ドットのそれぞれの周辺画素領域の画素色から当該ドットの画素色まで徐々に画素色が変化するアンチエリアシング領域を備えている、機械可読ドットパターン。
  3. 前記ドットのそれぞれが、当該ドットのそれぞれの周辺画素領域の画素色から前記コントラスト制御領域の画素色まで徐々に画素色が変化するアンチエリアシング領域を備えている、請求項１記載の機械可読ドットパターン。
  4. 前記コントラスト制御領域の画素色は、前記ドットの画素色の補色である、請求項１記載の機械可読ドットパターン。
  5. （１）前記コントラスト制御領域の画素色は無彩色であり、前記ドットの画素色は有彩色である、
    （２）前記コントラスト制御領域の画素色は有彩色であり、前記ドットの画素色は無彩色である、
    のいずれかである請求項１記載の機械可読ドットパターン。
  6. （１）前記コントラスト制御領域の画素色は白色であり、前記ドットの画素色は黒色である、
    （２）前記コントラスト制御領域の画素色は黒色であり、前記ドットの画素色は白色である、
    のいずれかである請求項１記載の機械可読ドットパターン。
  7. 前記ドットの画素色は周辺画素領域の画素色に対して識別可能な画素色である、請求項２記載の機械可読ドットパターン。
  8. 前記コントラスト制御領域の画素色は周辺画素領域の画素色に対して識別可能な画素色であり、前記ドットの画素色は前記コントラスト制御領域の画素色に対して識別可能な画素色である、請求項１記載の機械可読ドットパターン。
  9. 前記機械可読ドットパターンは、所定の規則に基づいて配置された基準ドットを基に、１つのドットコードおよび／またはXY座標を定義する領域と該ドットパターンの向きおよび前記情報ドットの配置を定めて該ドットコードが定義される、請求項１〜７のいずれか１項に記載の機械可読ドットパターン。
  10. 前記ドットコードおよび／またはXY座標が定義される機械可読ドットパターンは、前記所定の領域に上下左右に連結または連接して複数設けられる、請求項９記載の機械可読ドットパターン。
  11. 前記機械可読ドットパターンは、前記ドットおよび／またはコントラスト制御領域の画素色によって、ドットコードおよび／またはXY座標が定義される、請求項１記載の機械可読ドットパターン。
  12. 前記複数の情報ドットまたは、前記複数の情報ドットおよび基準ドットは、所定のフレーム中の予め決められた所定位置に配置されることにより、前記機械可読ドットパターンの表示の有無を判定可能とする、請求項１〜１０のいずれか１項に記載の機械可読ドットパターン。
  13. 前記機械可読ドットパターンが表示される場合には、
    該機械可読ドットパターンを表示するフレームと同一のフレームに、前記表示装置に表示される画像を特定するためのインデックスを表示することを特徴とする、請求項１〜１０のいずれか１項に記載の機械可読ドットパターン。
JP2010274313A 2010-12-09 2010-12-09 機械可読ドットパターン Active JP5315512B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010274313A JP5315512B2 (ja) 2010-12-09 2010-12-09 機械可読ドットパターン
KR1020137017893A KR101988919B1 (ko) 2010-12-09 2011-12-08 기계 가독 도트 패턴의 표시 장치를 이용한 표시 포맷
PCT/JP2011/078482 WO2012077766A2 (ja) 2010-12-09 2011-12-08 機械可読ドットパターンの表示装置を用いた表示フォーマット
CN201180058752.8A CN103250426B (zh) 2010-12-09 2011-12-08 机器可读式点阵图形的使用显示装置的显示格式
EP11846449.4A EP2650826A4 (en) 2010-12-09 2011-12-08 Display format using display device for machine-readable dot patterns
US13/992,952 US9626934B2 (en) 2010-12-09 2011-12-08 Display format using display device for machine-readable dot patterns

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010274313A JP5315512B2 (ja) 2010-12-09 2010-12-09 機械可読ドットパターン

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013080060A Division JP5561649B2 (ja) 2013-04-08 2013-04-08 機械可読ドットパターン

Publications (2)

Publication Number Publication Date
JP2012123649A JP2012123649A (ja) 2012-06-28
JP5315512B2 true JP5315512B2 (ja) 2013-10-16

Family

ID=46207560

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010274313A Active JP5315512B2 (ja) 2010-12-09 2010-12-09 機械可読ドットパターン

Country Status (6)

Country Link
US (1) US9626934B2 (ja)
EP (1) EP2650826A4 (ja)
JP (1) JP5315512B2 (ja)
KR (1) KR101988919B1 (ja)
CN (1) CN103250426B (ja)
WO (1) WO2012077766A2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685593B (zh) * 2012-04-25 2016-12-14 高亿实业有限公司 电视设备连网的控制方法以及电视设备连网的控制装置
CN104021409B (zh) 2013-02-28 2017-03-01 国际商业机器公司 自动转换标志的方法和设备以及自动读取标志的方法
EP3014822A4 (en) * 2013-06-28 2017-01-04 Schneider Electric USA, Inc. Systems and methods of blending machine-readable and human-readable elements on a display
CN103400102B (zh) * 2013-08-16 2016-12-28 徐宁 一种以图像为载体的信息传播系统、终端设备、服务器及其方法
KR101817153B1 (ko) * 2015-01-28 2018-01-11 한국전자통신연구원 기하학적 왜곡에 강인한 점 기반 정보를 사용하는 정보 삽입 방법, 정보 추출 방법 및 정보 추출 장치
US10490111B2 (en) * 2017-12-07 2019-11-26 Rockwell Collins, Inc. Passive and nonintrusive monitoring and reporting of frozen liquid crystal display (LCD)
WO2021196055A1 (zh) * 2020-04-01 2021-10-07 深圳市鹰硕技术有限公司 一种显示点阵图形的方法、装置、电子设备及系统
US20220132216A1 (en) * 2020-10-24 2022-04-28 Edekee Inc. System and method of parallel data capture and tagging in videos

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816708A (ja) 1994-07-04 1996-01-19 Olympus Optical Co Ltd 情報再生装置及び情報表示装置
GB9806767D0 (en) * 1998-03-31 1998-05-27 Philips Electronics Nv Pixel colour valve encoding and decoding
US6621973B1 (en) * 2000-03-16 2003-09-16 3M Innovative Properties Company Light guide with protective outer sleeve
US6732927B2 (en) * 2001-06-26 2004-05-11 Anoto Ab Method and device for data decoding
AU2003221408B2 (en) 2003-03-17 2010-05-27 Kenji Yoshida Information input/output method using dot pattern
JP2005038181A (ja) 2003-07-15 2005-02-10 Michiaki Nagai 多次元ドットコードを用いた情報授受システム
JP2005159569A (ja) 2003-11-21 2005-06-16 Ntt Advanced Technology Corp ２次元コードによる情報提供方法
JP2006020144A (ja) 2004-07-02 2006-01-19 Ricoh Co Ltd 文書処理システム
JP4293111B2 (ja) 2004-10-27 2009-07-08 株式会社デンソー カメラ駆動装置、カメラ駆動プログラム、幾何学形状コード解読装置、および幾何学形状コード解読プログラム
JP2006259510A (ja) * 2005-03-18 2006-09-28 Brother Ind Ltd カラオケ装置及びプログラム
JP5288691B2 (ja) 2005-06-13 2013-09-11 豊 木内 ２次元コード読取プログラム
JP3771252B1 (ja) 2005-07-01 2006-04-26 健治 吉田 ドットパターン
JP2007036833A (ja) 2005-07-28 2007-02-08 Sharp Corp 電子透かし埋め込み方法及び埋め込み装置、電子透かし検出方法及び検出装置
KR100746641B1 (ko) * 2005-11-11 2007-08-06 주식회사 칼라짚미디어 동영상 이미지 코드와 동영상 이미지 코드 생성/디코딩장치 및 그 방법
JP2007219347A (ja) * 2006-02-20 2007-08-30 Seiko Epson Corp 液晶装置、及び電子機器
JP2009175845A (ja) * 2008-01-22 2009-08-06 Fuji Xerox Co Ltd 画像処理装置、ペン・デバイスおよびプログラム
JP4907598B2 (ja) 2008-05-16 2012-03-28 京セラミタ株式会社 画像形成装置
JP4818394B2 (ja) * 2009-05-13 2011-11-16 シャープ株式会社 画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
JP4478992B1 (ja) 2009-09-18 2010-06-09 健治 吉田 映像変換装置、映像出力装置、映像変換システム、映像、記録媒体、映像変換方法

Also Published As

Publication number Publication date
WO2012077766A2 (ja) 2012-06-14
EP2650826A4 (en) 2018-02-14
KR20130143101A (ko) 2013-12-30
US9626934B2 (en) 2017-04-18
CN103250426B (zh) 2017-02-08
US20130249933A1 (en) 2013-09-26
EP2650826A2 (en) 2013-10-16
KR101988919B1 (ko) 2019-09-30
WO2012077766A3 (ja) 2012-08-23
CN103250426A (zh) 2013-08-14
JP2012123649A (ja) 2012-06-28

Similar Documents

Publication Publication Date Title
JP5315512B2 (ja) 機械可読ドットパターン
US10559053B2 (en) Screen watermarking methods and arrangements
US20160117791A1 (en) Position information adding apparatus, position information adding method, and computer program for adding position information and position detection apparatus
JP5576667B2 (ja) 情報送出表示システム
US20180131976A1 (en) Serializable visually unobtrusive scannable video codes
WO2011071081A1 (ja) 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、及び記録媒体
Gao et al. The invisible QR code
CN104881699B (zh) 基于时域心理视觉调制的二维码内嵌系统及显示方法
US10522115B2 (en) Display apparatus for displaying color identification code and control method thereof
CN113891167B (zh) 投屏方法和电子设备
US10290110B2 (en) Video overlay modification for enhanced readability
US9292947B2 (en) Image processing apparatus and an image processing method for generating mosaic image(s)
JP5028092B2 (ja) 小型ディスプレイ上で大きな静止画像を視覚化する方法
KR20180000729A (ko) 디스플레이 장치 및 이의 제어 방법
JP5561649B2 (ja) 機械可読ドットパターン
JP6166767B2 (ja) 機械可読ドットパターン
JP2014179104A (ja) 機械可読ドットパターン
JP5798225B1 (ja) コード画像を用いた情報伝達システムおよび情報伝達方法
Abe et al. Screen-camera communication via matrix barcode utilizing imperceptible color vibration
CN108712570B (zh) 增强智能移动设备检测隐藏图像的实况性与真实性的方法
JP2019158968A (ja) 表示制御装置、撮像装置、表示システム、表示制御方法及びプログラム
CN116887005B (zh) 投屏方法、电子设备和计算机可读存储介质
JP6296319B1 (ja) 情報処理装置、表示方法、読取方法、およびコンピュータ読み取り可能な非一時的記憶媒体
JP2015070423A (ja) 映像配信システム、映像生成装置及び映像再生装置並びにプログラム
JP2001331246A (ja) 画像関連データ表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120913

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20120913

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20121004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130408

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130612

R150 Certificate of patent or registration of utility model

Ref document number: 5315512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250