JP6023518B2 - 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム - Google Patents

情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム Download PDF

Info

Publication number
JP6023518B2
JP6023518B2 JP2012195765A JP2012195765A JP6023518B2 JP 6023518 B2 JP6023518 B2 JP 6023518B2 JP 2012195765 A JP2012195765 A JP 2012195765A JP 2012195765 A JP2012195765 A JP 2012195765A JP 6023518 B2 JP6023518 B2 JP 6023518B2
Authority
JP
Japan
Prior art keywords
content
signature data
acr
response
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012195765A
Other languages
English (en)
Other versions
JP2014053711A (ja
Inventor
山岸 靖明
靖明 山岸
土屋 博一
博一 土屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saturn Licensing LLC
Original Assignee
Saturn Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012195765A priority Critical patent/JP6023518B2/ja
Application filed by Saturn Licensing LLC filed Critical Saturn Licensing LLC
Priority to EP13835708.2A priority patent/EP2894868B1/en
Priority to CN201380044789.4A priority patent/CN104604244B/zh
Priority to RU2015106888A priority patent/RU2628773C2/ru
Priority to PCT/JP2013/072642 priority patent/WO2014038413A1/ja
Priority to BR112015004388A priority patent/BR112015004388A2/pt
Priority to US14/424,666 priority patent/US10073901B2/en
Publication of JP2014053711A publication Critical patent/JP2014053711A/ja
Application granted granted Critical
Publication of JP6023518B2 publication Critical patent/JP6023518B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8166Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173End-user applications, e.g. Web browser, game
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark

Description

本開示は、情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システムに関し、特に、端末側にて視聴しているコンテンツを識別する場合に用いて好適な情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システムに関する。
例えば、TV(テレビジョン)番組が視聴されているときに、そのTV番組(以下、単に番組と称する)に関連する情報(出演者、あらすじ、次回の予告など)や、番組には直接関係しないが視聴者にとって有益な情報(ニュース、天気予報、交通情報など)などを画面上に表示することを考える。
これを実現するためには、専用のアプリケーションプログラム(以下、アプリケーションと略記する)を取得、起動させるためのコマンドを番組の進行に連動してTV受像機などに対して送信すればよい。実際、既に日本や欧州などにおいては、TV放送信号におけるデータ放送用の帯域を利用して当該コマンドやアプリケーションを送信することにより、これが実現されている(例えば、特許文献1参照)。
一方、米国では、TV放送信号にデータ放送用の帯域が設けられておらず、それに代わる方法が確立していないので、番組の進行に連動してアプリケーションを実行させることが実現されていない。
なお、米国では、TV受像機にてTV放送波を直接受信して番組を視聴する世帯数よりも、CATVやIPTVなどを介して番組を視聴する世帯数のほうが多く、CATVやIPTVではTV放送信号から番組の映像および音声の信号だけを抽出して配信することがある。したがって、仮に米国におけるTV放送信号にデータ放送用の帯域が設けられたとしても、アプリケーションに関するデータを含めたデータ放送信号がCATVやIPTVの通信網を介して受信装置まで伝送される保証はない。
さらに昨今、リアルタイムで放送中の番組のみならず、録画した番組、DVD,BDなどのパッケージメディアから再生した映像、インターネット上からダウンロードした動画などの任意のコンテンツを視聴している場合においても、その進行に連動してアプリケーションを実行させたいという要求がある。
視聴している任意のコンテンツの進行に対応してアプリケーションを実行させるためには、まず視聴しているコンテンツを識別する必要がある。その一手法としては、コンテンツ自動認識技術(以下、ACR(Automatic Content Recognition)と称する)の適用が想定されている。
ACRでは、視聴される番組などのコンテンツにシグニチャデータを挿入して視聴者側に供給するとともに、コンテンツとシグニチャデータとを対応付けてデータベース化する。そして、視聴者側では、視聴しているコンテンツからシグニチャデータを抽出し、それをデータベースに照らし合わせることによって視聴中のコンテンツを識別する。
コンテンツに挿入されて視聴者側に供給され、視聴時に抽出されるシグニチャデータの種類としては、例えば、電子指紋(以下、FP(finger print)と称する)、電子透かし(以下、WM(water mark)と称する)などが用いられる。
なお、ACRサービスを提供する業者は放送局などに限らず、様々な事業者の参入が考えられ、結果として複数のACRサービスの出現が予想される。複数のACRサービスが出現することにより、データベースに登録されるコンテンツの数が増加するので、コンテンツの識別精度の向上が期待できる。ただし、複数のACRサービスそれぞれで採用されるシグニチャデータの種類は必ずしも統一されていない。
一方、視聴側においては、複数のACRサービスそれぞれで採用されているシグニチャデータの種類に応じた抽出方法により、視聴しているコンテンツから複数のシグニチャデータを抽出し、複数のACRサービスを利用するようにすれば、コンテンツの識別精度を上げることができる。
特開2006−50237号公報
ところで昨今、一般家庭内においてAV(audio visual)装置を相互に接続したホームネットワークを構築し、ホームネットワークに接続されているAV装置間でコンテンツを共有できるシステムが存在する。該ホームネットワークによれば、例えばリビングに設置されているTV受像機で受信、視聴しているコンテンツや録画したコンテンツを、可搬式のタブレット型コンピュータや寝室のTV受像機に転送して視聴したりするように、コンテンツを共有することができる。
上述したように、ホームネットワークにてコンテンツを共有し、さらにACRサービスを利用することを考えると、各AV装置が共通のコンテンツを視聴しているにも拘わらず、それぞれが独自にACRサーバにアクセスすることになり、ACRサーバの負荷が増加する。さらに、各AV装置が複数のACRサービスを利用する場合には、シグニチャデータを抽出する処理の負荷の増加、識別結果を得るまでの時間遅延の発生などにより、コンテンツの進行に対応させるべきアプリケーションを、所定のタイミングで実行できないことが発生し得る。
本開示はこのような状況に鑑みてなされたものであり、コンテンツを共有する場合において効率的にACRサービスを利用できるようにするものである。
本開示の第1の側面である情報処理装置は、ネットワークを介して他の情報処理装置とコンテンツを共有する情報処理装置において、コンテンツを取得する取得部と、取得された前記コンテンツから第1のシグニチャデータを抽出し、前記第1のシグニチャデータを含むクエリをコンテンツ識別サーバに送信し、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスを取得する識別依頼部と、前記レスポンスをレスポンス変換データに変換し、前記レスポンス変換データを包含させた状態で前記他の情報処理装置が抽出可能な第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入するシグニチャデータ挿入部と、前記第2のシグニチャデータが挿入された前記コンテンツを前記他の情報処理装置に供給する供給部とを備える。
前記レスポンスは、前記コンテンツの進行に連動して実行させるアプリケーションを表す情報が包含された関連メタデータをさらに含み、前記シグニチャデータ挿入部は、前記レスポンスに含まれる前記関連メタデータを少なくとも含む前記レスポンス変換データを生成し、前記レスポンス変換データを包含させた状態で前記第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入することができる。
本開示の第1の側面である情報処理装置は、前記他の情報処理装置が抽出可能なシグニチャデータの種類を管理する管理部をさらに備えることができる。
本開示の第1の側面である情報処理装置は、前記レスポンスに含まれる前記関連メタデータに基づき、前記コンテンツの進行に連動して実行させる前記アプリケーションを取得して実行する実行部をさらに備えることができる。
前記第1のシグニチャデータはFPとし、前記第2のシグニチャデータはWMとすることができる。
前記第1および第2のシグニチャデータはWMとすることができる。
本開示の第1の側面である情報処理方法は、ネットワークを介して他の情報処理装置とコンテンツを共有する情報処理装置の情報処理方法において、前記情報処理装置による、コンテンツを取得する取得ステップと、取得された前記コンテンツから第1のシグニチャデータを抽出し、前記第1のシグニチャデータを含むクエリをコンテンツ識別サーバに送信し、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスを取得する識別依頼ステップと、前記レスポンスをレスポンス変換データに変換し、前記レスポンス変換データを包含させた状態で前記他の情報処理装置が抽出可能な第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入するシグニチャデータ挿入ステップと、前記第2のシグニチャデータが挿入された前記コンテンツを前記他の情報処理装置に供給する供給ステップとを含む。
本開示の第1の側面であるプログラムは、ネットワークを介して他の情報処理装置とコンテンツを共有するコンピュータを、コンテンツを取得する取得部と、取得された前記コンテンツから第1のシグニチャデータを抽出し、前記第1のシグニチャデータを含むクエリをコンテンツ識別サーバに送信し、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスを取得する識別依頼部と、前記レスポンスをレスポンス変換データに変換し、前記レスポンス変換データを包含させた状態で前記他の情報処理装置が抽出可能な第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入するシグニチャデータ挿入部と、前記第2のシグニチャデータが挿入された前記コンテンツを前記他の情報処理装置に供給する供給部として機能させる。
本開示の第1の側面においては、コンテンツが取得され、取得された前記コンテンツから第1のシグニチャデータが抽出され、前記第1のシグニチャデータを含むクエリがコンテンツ識別サーバに送信され、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスが取得される。さらに、前記レスポンスがレスポンス変換データに変換され、前記レスポンス変換データを包含させた状態で前記他の情報処理装置が抽出可能な第2のシグニチャデータが生成される。そして、取得された前記コンテンツに前記第2のシグニチャデータが挿入され、前記第2のシグニチャデータが挿入された前記コンテンツが前記他の情報処理装置に供給される。
本開示の第2の側面である情報処理装置は、コンテンツを取得する取得部と、取得された前記コンテンツから第1のシグニチャデータを抽出し、前記第1のシグニチャデータを含むクエリをコンテンツ識別サーバに送信し、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスを取得する識別依頼部と、前記レスポンスをレスポンス変換データに変換し、前記レスポンス変換データを包含させた状態で情報処理装置が抽出可能な第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入するシグニチャデータ挿入部と、前記第2のシグニチャデータが挿入された前記コンテンツを前記情報処理装置に供給する供給部とを備えるコンテンツ供給装置から供給されるコンテンツを再生する情報処理装置において、前記コンテンツ供給装置から供給されるコンテンツを取得する取得部と、取得された前記コンテンツから前記第2のシグニチャデータを抽出する抽出部と、抽出された前記第2のシグニチャデータに包含されている前記レスポンス変換データに基づき、所定の処理を実行する実行部とを備える。
前記レスポンス変換データは、前記コンテンツの進行に連動して実行させるアプリケーションを表す情報を含む関連メタデータを含み、前記実行部は、前記関連メタデータに基づいて前記アプリケーションを取得して実行することができる。
前記第2のシグニチャデータはWMとすることができる。
本開示の第2の側面である情報処理方法は、コンテンツを取得する取得部と、取得された前記コンテンツから第1のシグニチャデータを抽出し、前記第1のシグニチャデータを含むクエリをコンテンツ識別サーバに送信し、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスを取得する識別依頼部と、前記レスポンスをレスポンス変換データに変換し、前記レスポンス変換データを包含させた状態で情報処理装置が抽出可能な第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入するシグニチャデータ挿入部と、前記第2のシグニチャデータが挿入された前記コンテンツを前記情報処理装置に供給する供給部とを備えるコンテンツ供給装置から供給されるコンテンツを再生する情報処理装置の情報処理方法において、前記情報処理装置による、前記コンテンツ供給装置から供給されるコンテンツを取得する取得ステップと、取得された前記コンテンツから前記第2のシグニチャデータを抽出する抽出ステップと、抽出された前記第2のシグニチャデータに包含されている前記レスポンス変換データに基づき、所定の処理を実行する実行ステップとを含む。
本開示の第2の側面であるプログラムは、コンテンツを取得する取得部と、取得された前記コンテンツから第1のシグニチャデータを抽出し、前記第1のシグニチャデータを含むクエリをコンテンツ識別サーバに送信し、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスを取得する識別依頼部と、前記レスポンスをレスポンス変換データに変換し、前記レスポンス変換データを包含させた状態で情報処理装置が抽出可能な第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入するシグニチャデータ挿入部と、前記第2のシグニチャデータが挿入された前記コンテンツを前記情報処理装置に供給する供給部とを備えるコンテンツ供給装置から供給されるコンテンツを再生するコンピュータを、前記コンテンツ供給装置から供給されるコンテンツを取得する取得部と、取得された前記コンテンツから前記第2のシグニチャデータを抽出する抽出部と、抽出された前記第2のシグニチャデータに包含されている前記レスポンス変換データに基づき、所定の処理を実行する実行部として機能させる。
本開示の第2の側面においては、コンテンツ供給装置から供給されるコンテンツが取得され、取得された前記コンテンツから第2のシグニチャデータが抽出され、抽出された前記第2のシグニチャデータに包含されているレスポンス変換データに基づき、所定の処理が実行される。
本開示の第3の側面であるコンテンツ共有システムは、第1の情報処理装置および第2の情報処理装置を含むコンテンツ共有システムにおいて、前記第1の情報処理装置が、コンテンツを取得する第1の取得部と、取得された前記コンテンツから第1のシグニチャデータを抽出し、前記第1のシグニチャデータを含むクエリをコンテンツ識別サーバに送信し、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスを取得する識別依頼部と、前記レスポンスをレスポンス変換データに変換し、前記レスポンス変換データを包含させた状態で前記第2の情報処理装置が抽出可能な第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入するシグニチャデータ挿入部と、前記第2のシグニチャデータが挿入された前記コンテンツを前記第2の情報処理装置に供給する供給部とを備える。また、前記第2の情報処理装置が、前記第1の情報処理装置から供給されるコンテンツを取得する第2の取得部と、取得された前記コンテンツから前記第2のシグニチャデータを抽出する抽出部と、抽出された前記第2のシグニチャデータに包含されているレスポンス変換データに基づき、所定の処理を実行する実行部とを備える。
本開示の第3の側面においては、前記第1の情報処理装置により、コンテンツが取得され、取得された前記コンテンツから第1のシグニチャデータが抽出され、前記第1のシグニチャデータを含むクエリがコンテンツ識別サーバに送信され、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスが取得される。さらに、前記レスポンスがレスポンス変換データに変換され、前記レスポンス変換データを包含させた状態で第2の情報処理装置が抽出可能な第2のシグニチャデータが生成される。そして、取得された前記コンテンツに前記第2のシグニチャデータが挿入され、前記第2のシグニチャデータが挿入された前記コンテンツが前記第2の情報処理装置に供給される。一方、第2の情報処理装置により、第1の情報処理装置から供給されるコンテンツが取得され、取得された前記コンテンツから第2のシグニチャデータが抽出され、抽出された前記第2のシグニチャデータに包含されているレスポンス変換データに基づき、所定の処理が実行される。
本開示の第1の側面によれば、レスポンス変換データを包含させたシグニチャデータが挿入されているコンテンツを他の情報処理装置に供給することができる。
本開示の第2の側面によれば、レスポンス変換データが包含されたシグニチャデータをコンテンツから抽出することができる。
本開示の第3の側面によれば、第2の情報処理装置によるコンテンツ識別サーバの利用を抑制することができる。
本開示を適用したACRシステムの構成例を示すブロック図である。 ACRクエリのデータ項目を示す図である。 ACRレスポンスのデータ項目を示す図である。 ACRレスポンス変換データのデータ項目を示す図である。 ACR変換部の処理の概要を説明する図である。 ACRシステムの第1の動作例を説明するフローチャートである。 ACRシステムの第2の動作例を説明するフローチャートである。 ACRシステムの第3の動作例を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、本開示を実施するための最良の形態(以下、実施の形態と称する)について、図面を参照しながら詳細に説明する。
[ACRシステムの構成例]
図1は、本開示の実施の形態であるACRシステムの構成例を示している。
このACRシステム10は、ユーザがTV受像機などの画面をモニタとして視聴しているコンテンツを、ACRサービスを利用して識別し、識別したコンテンツの進行に連動してアプリケーションを実行するものである。
ここで、コンテンツとは、TV放送によりリアルタイムで放送されている番組に限られない。例えば、ビデオレコーダにより録画・再生された番組、マルチメディアプレーヤによりパッケージメディアから再生された映画等の映像、インターネットを介してダウンロードした動画、楽曲などのあらゆるビデオデータ、およびオーディオデータを含むものとする。また、番組間や番組途中などに挿入されるコマーシャルメッセージもコンテンツに含まれる。
ACRシステム10は、放送側の放送装置20と、放送網11および双方向通信網12を介して放送装置20と接続される受信側のACR親端末装置30と、ACR親端末装置30とともにホームネットワーク40を構成するACR子端末装置50から構成される。なお、ACR子端末装置50もACR親端末装置30と同様、放送網11および双方向通信網12を介して放送装置20と接続することができる。
放送網11は、コンテンツを視聴者側に供給可能なTV放送網、CATV網、IPTV網などを指す。双方向通信網12は、各種の電子データを通信可能なインターネットなどのIP通信網を指す。
[放送装置20の説明]
放送装置20は、コンテンツサーバ21、ACRサーバ22−1乃至22−N、アプリケーションサーバ23、およびメタデータサーバ24から構成される。これらのサーバは、放送局など一箇所に集中して配置してもよいし、分散して配置してもよい。また、これらのサーバを適宜組み合わせて構成するようにしてもよい。
コンテンツサーバ21は、放送網11を介し、コンテンツを視聴者側(ACR親端末装置30など)に供給する。なお、コンテンツサーバ21から供給されるコンテンツには、予めシグニチャデータ(所定の方式により生成されたFP,WMなど)が挿入されているものとする。
ACRサーバ22−1乃至22−Nは、コンテンツとそれに挿入されているシグニチャデータとが対応付けて登録されているデータベースを有している。なお、ACRサーバ22−1乃至22−Nの各データベースに登録されているシグニチャデータは、その種類は必ずしも統一されていない。シグニチャデータとしては、例えばFP,WMなどが想定される。
FPは、コンテンツの解像度、アスペクト比、ビットレート、符号化フォーマットなどが変換されたとしても、変換前と変換後とで同一のものを抽出することができる。したがって、シグニチャデータとしてフィンガプリントを用いれば、コンテンツの識別精度を上げることができる。
WMは、FPに比較してコンテンツからの抽出時間が多く要するが、より多くのデジタルデータを包含させることができる。
該データベースには、さらに、コンテンツの進行に対応して実行すべきアプリケーションの識別情報や該アプリケーションが処理するメタデータの取得先情報なども登録されている。
ACRサーバ22−i(i=1,・・・,N)は、ACR親端末装置30のACRクライアント32−1乃至32−Mのうちの対応するACRクライアント32−iから送信される、視聴されているコンテンツから抽出したシグニチャデータを含むACRクエリに応じて該コンテンツを識別する。さらに、そのコンテンツの進行に連動して実行させるアプリケーションの情報などを含むACRレスポンスを生成して、ACRクライアント32−iに返信する。ACRクエリおよびACRレスポンスについては後述する。
アプリケーションサーバ23は、受信側にてコンテンツの進行に連動して実行されるアプリケーションを保持しており、ACR親端末装置30のアプリケーション実行部33からの要求に応じ、双方向通信網12を介してアプリケーションを供給する。
メタデータサーバ24は、受信側にて実行されたアプリケーションが処理するメタデータを保持しており、ACR親端末装置30のアプリケーション実行部33からの要求に応じ、双方向通信網12を介してメタデータを供給する。
[ACR親端末装置30の説明]
ACR親端末装置30は、ホームネットワーク40を構成するTV受像機やビデオレコーダなどのAV装置に内蔵された状態で視聴者宅などに配置される。
ACR親端末装置30は、コンテンツ取得部31、複数のACRクライアント32−1乃至32−M、アプリケーション実行部33、ACR変換部34、ローカルコンテンツ保持部35、およびローカルACR構成管理部36を有する。
コンテンツ取得部31は、ACR親端末装置30が内蔵されたTV受像機などの画面に表示される全てのコンテンツ、あるいはACR親端末装置30が内蔵されたビデオレコーダに録画されるデコードされた状態の全てのコンテンツを取得、分岐してACRクライアント32−1乃至32−M、およびACR変換部34に供給する。すなわち、コンテンツ取得部31は、放送装置20のコンテンツサーバ21から放送網11を介して供給されたコンテンツのみならず、TV受像機やビデオレコーダなどの各種入力端子(HDMI端子など)を介して入力されるコンテンツも取得、分岐する。
ACRクライアント32−i(i=1,2,・・・,M(M≦N))は、放送装置20のACRサーバ22−1乃至22−NのうちのACRサーバ22−iに対応するものである。すなわち、複数MのACRクライアント32−1乃至32−Mを有するACR親端末装置30は、複数のNだけ存在するACRサーバ22−1乃至22−NのうちのM個を利用できることになる。以下、ACRクライアント32−1乃至32−Mを個々に区別する必要がない場合、単にACRクライアント32と称する。ACRサーバ22−1乃至22−Nについても同様とする。
ACRクライアント32は、対応するACRサーバ22にて採用されているACR方式(シグニチャデータの種類、その抽出方式などを表す)に従い、コンテンツ取得部31より入力されるコンテンツからシグニチャデータを所定のサンプリング周期で抽出する。また、ACRクライアント32は、抽出したシグニチャデータを含む、コンテンツの識別を依頼するためのACRクエリを生成し、双方向通信網12を介して対応するACRサーバ22に送信する。
また、ACRクライアント32は、送信したACRクエリに応じてACRサーバ22から返信されるACRレスポンスを受信、解析し、解析結果をアプリケーション実行部33に通知する。また、ACRクライアント32は、受信したACRレスポンスをACR変換部34に供給する。
アプリケーション実行部33は、ACRレスポンスの解析結果に基づき、視聴中のコンテンツに対応するアプリケーションを、双方向通信網12を介してアプリケーションサーバ23から取得して実行する。また、アプリケーション実行部33は、実行中のアプリケーションにて処理するメタデータをACRクライアント32またはメタデータサーバ24から取得する。
ACR変換部34は、ACRクライアント32から入力されたACRレスポンスを要約してACRレスポンス変換データを生成する。また、ACR変換部34は、生成したACRレスポンス変換データを包含させた状態で、ACR子端末装置50のACRクライアント52が抽出可能なシグニチャデータを生成する。
ACR子端末装置50のACRクライアント52が抽出可能なシグニチャデータは、ACRレスポンス変換データを包含させることができるWMを想定する。ただし、ACRレスポンス変換データ(デジタルデータ)を包含可能であれば、ACRクライアント52が抽出可能なシグニチャデータの種類は任意であってWMに限定されない。
さらに、ACR変換部34は、コンテンツ取得部31により分岐、供給されるコンテンツに、ACR変換部34からのACRレスポンス変換データが包含されたシグニチャデータ(WM)を挿入してローカルコンテンツ保持部35に出力する。
なお、ACR子端末装置50が複数のACRクライアント52を搭載していたり、ホームネットワーク40にACR子端末装置50を内蔵する複数のAV装置が接続されていたりして、それらのACRクライアント52がそれぞれ異なるACR方式に対応しているような場合もあり得る。この場合、各ACR方式に対応したシグニチャデータにACRレスポンス変換データを包含させるようにし、コンテンツに複数のシグニチャデータを挿入するようにしてもよい。
ローカルコンテンツ保持部35は、ACR変換部34からのACRレスポンス変換データが包含されたシグニチャデータ(WM)を保持し、ACR子端末装置50からの要求に応じ、それを供給する。なお、ACRレスポンス変換データが包含されたシグニチャデータ(WM)が挿入したコンテンツを、ホームネットワーク40に属するローカルコンテンツサーバ41などに蓄積するようにしてもよい。
ローカルACR構成管理部36には、ホームネットワーク40に接続されたACR子端末装置50が利用可能なACRサーバ22を表す情報、換言すれば、ACR子端末装置50のACRクライアント52が抽出可能なACR方式を表す情報が登録されている。この情報は、例えばACR親端末装置30に対してACR子端末装置50が初めて接続された時に、ACR子端末装置50からACR親端末装置30に通知され、ローカルACR構成管理部36に登録される。この情報の通信には、例えばサービスディスカバリプロトコルを利用することができる。
[ACR子端末装置50の説明]
ACR子端末装置50は、ホームネットワーク40に接続可能なタブレット型コンピュータ、スマートフォン、TV受像機などのAV装置に内蔵される。
ACR子端末装置50は、コンテンツ取得部51、ACRクライアント52、およびアプリケーション実行部53を有する。
コンテンツ取得部51は、ACR子端末装置50が内蔵されたAV装置にて再生、表示される全てのコンテンツを取得、分岐してACRクライアント52に供給する。ACR子端末装置50が内蔵されたAV装置にて再生、表示されるコンテンツとは、放送装置20のコンテンツサーバ21から放送網11を介して供給されたり、ACR親端末装置30から共有されたり、ローカルコンテンツサーバ41から取得したりするものを含む。ただし、以降においては、ACR親端末装置30から共有されるコンテンツについて言及する。
ACRクライアント52は、放送装置20のACRサーバ22−1乃至22−Nのうちの1台に対応する、換言すれば、ACRサーバ22−1乃至22−Nにて採用されているACR方式の1方式に対応するものである。ACRクライアント52は、ACR子端末装置50がACR親端末装置30に初めて接続された時、自己が対応可能なACR方式を表す情報を、ACR親端末装置30に通知する。該情報はローカルACR構成管理部36に登録される。
ACRクライアント52は、対応するACRサーバ22にて採用されているACR方式(いまの場合、シグニチャデータの種類はWMとする)に従い、コンテンツ取得部31より入力される、ACR親端末装置30から共有されるコンテンツからシグニチャデータを所定のサンプリング周期で抽出する。また、ACRクライアント32は、抽出したシグニチャデータに包含されているACRレスポンス変換データを解析し、解析結果をアプリケーション実行部53に通知する。
また、ACRクライアント52は、コンテンツ取得部31より入力されるコンテンツがACR親端末装置30から共有されるものではない場合、ACR親端末装置30のACRクライアント32と同様の処理を実行できる。すなわち、コンテンツからシグニチャデータを抽出してそれを含むACRクエリをACRサーバ22に送信してコンテンツの識別を依頼し、ACRレスポンスを得ることができる。
なお、ACR親端末装置30のように、対応するACRサーバ22が異なる複数のACRクライアント52をACR子端末装置50に搭載するようにしてもよい。
アプリケーション実行部53は、ACRレスポンス変換データの解析結果に基づき、視聴中のコンテンツに対応するアプリケーションを、双方向通信網12を介してアプリケーションサーバ23から取得して実行する。また、アプリケーション実行部53は、実行中のアプリケーションにて処理するメタデータをACRクライアント32またはメタデータサーバ24から取得する。
[通信される情報のデータ項目について]
次に、放送装置20、ACR親端末装置30、およびACR子端末装置50の間で通信される各種情報のデータ項目について説明する。
図2は、ACR親端末装置30のACRクライアント32−i(またはACR子端末装置50のACRクライアント52)から放送装置20のACRサーバ22−iに対して、コンテンツの識別を依頼する時に送信されるACRクエリのデータ項目を示している。
ACRクエリ60には、ACRクエリ識別子61、抽出方式識別子62、サービス識別子63、シグニチャデータ64、ローカルタイムスタンプ65、発信元アドレス66、および署名67が含まれる。
ACRクエリ識別子61は、当該ACRクエリ60を一意に特定する情報である。抽出方式識別子62は、シグニチャデータ64を抽出する際に用いられた抽出方式を特定する情報である。サービス識別子63は、当該ACRクエリ60を送信してACRレスポンスを得るACRサーバ22を特定するための情報である。
シグニチャデータ64は、ACRクライアント32−i(またはACRクライアント52)にてコンテンツから抽出されたものである。ローカルタイムスタンプ65は、コンテンツからシグニチャデータ64が抽出されたタイミングを示すものであり、ACR親端末装置30(またはACR子端末装置50)のローカルシステムクロックが示す時刻により表される。
発信元アドレス66は、該ACRクエリ60を発信するACRクライアント32−i(またはACRクライアント52)の双方向通信網12におけるアドレスであり、該ACRクエリ60に応じてACRサーバ22−iにて生成されるACRレスポンスの返信先として利用される。署名67は、該ACRクエリ60の改ざんを抑止するためのものである。なお、ACRクエリ60の全体を暗号化して送信するようにしてもよい。
図3は、ACRサーバ22−iからACRクライアント32−i(またはACRクライアント52)に返信されるACRレスポンスのデータ項目を示している。
なお、同図Aは、ACRクエリ60に含まれるシグニチャデータ64の抽出元のコンテンツが識別できた場合、すなわち、ACR親端末装置30が搭載されているAV装置にて視聴中のコンテンツを識別できた場合のACRレスポンス70のデータ項目である。同図Bはコンテンツが識別できなかった場合のACRレスポンス70のデータ項目である。
コンテンツを識別できた場合のACRレスポンス70(同図A)には、ACRクエリ識別子71、抽出方式識別子72、サービス識別子73、コンテンツ識別子74、再生時刻75、ローカルタイムスタンプ76、関連メタデータ77、発信元アドレス78、および署名79が含まれる。
一方、コンテンツを識別できなかった場合のACRレスポンス70(同図B)には、ACRクエリ識別子71、サービス識別子73、発信元アドレス78、署名79、および識別失敗フラグ81が含まれる。
ACRクエリ識別子71、抽出方式識別子72、サービス識別子73、ローカルタイムスタンプ76は、該ACRレスポンス70が生成されるトリガとなったACRクエリ60を特定するためのものであり、対応するACRクエリ60のACRクエリ識別子61、抽出方式識別子62、サービス識別子63、およびローカルタイムスタンプ65が引用される。
コンテンツ識別子74、および再生時刻75は、識別結果を表すものである。すなわち、コンテンツ識別子74は、ACRクエリ60のシグニチャデータ64の抽出元のコンテンツを識別する情報である。再生時刻75は、該コンテンツからシグニチャデータ64が抽出されたタイミングをコンテンツの先頭からの経過時間により表す情報である。
関連メタデータ77は、識別されたコンテンツの進行に対応付けて実行されるアプリケーションを表すとともにその取得先(アプリケーションサーバ23)を表すアプリケーション識別子と、該アプリケーションにより処理されるメタデータからなる。メタデータの代わりに、該メタデータを識別するとともにその取得先を表すメタデータ識別子を格納してもよい。なお、コンテンツが視聴されているAV装置に応じて実行するアプリケーションを変化させるようにしてもよい。その場合、関連メタデータ77には、複数のアプリケーション識別子を格納するようにする。
発信元アドレス78は、該ACRレスポンス70を送信するACRサーバ22の双方向通信網12上のアドレスである。署名79は、該ACRレスポンス70の改ざんを抑止するためのものである。なお、ACRレスポンス70の全体を暗号化して送信することにより、その改ざんを防止するようにしてもよい。
識別失敗フラグ81は、ACRサーバ22にて、ACRクエリ60に含まれるシグニチャデータ84の抽出元のコンテンツを識別することができなかったことを表すフラグである。
図4は、ACR親端末装置30のACR変換部34が、ACRサーバ22から返信されたACRレスポンス70を要約して生成するACRレスポンス変換データのデータ項目を示している。
ACRレスポンス変換データ90には、コンテンツ識別子91、再生時刻92、および関連メタデータ93が含まれており、これらは、ACRレスポンス70のコンテンツ識別子74、再生時刻75、および関連メタデータ77が引用されたものである。
[ACRシステム10による動作]
次に、ACRシステム10の動作について説明する。
図5は、ACR変換部34の処理の概要を示している。コンテンツには、シグニチャデータとして例えばFPが挿入されており、該FPがACRクライアント32により抽出されてACRクエリ60が生成され、それに応じてACRレスポンス70が返信される。ACR変換部34では、ACRレスポンス変換データが包含されたシグニチャデータとしてWMをコンテンツ取得部31から順次入力されるコンテンツの所定単位毎に挿入し、後段のローカルコンテンツ保持部35またはローカルコンテンツサーバ41に出力する。
ローカルコンテンツ保持部35またはローカルコンテンツサーバ41からコンテンツを取得するACR子端末装置50では、ACRクライアント52が対応するACR方式でシグニチャデータを抽出することにより、そこに包含されたACRレスポンス変換データ90を取得することができる。
図6は、ACR親端末装置30を内蔵するAV装置(例えば、TV受像機)が受信、再生するコンテンツを、ACR子端末装置50を内蔵するAV装置(例えば、タブレット型PC)とリアルタイムで共用する場合の動作(以下、第1の動作例と称する)を説明するフローチャートである。
ステップS1において、ACR子端末装置50のACRクライアント52は、自己が対応可能なACR方式を表す情報をACR親端末装置30に通知する。該通知を受けてACR親端末装置30のローカルACR構成管理部36は、ステップS11において、ACR子端末装置50のACRクライアント52が対応可能なACR方式を登録する。なお、該情報の登録は、一度行えばよいので、既に実行済みである場合には、ステップS1およびS11の処理を省略することができる。
ステップS21において、放送装置20のコンテンツサーバ21が放送網11を介してコンテンツを放送し、ACR親端末装置30を内蔵するAV装置がそれを受信してユーザが視聴を始めると、ステップS12において、コンテンツ取得部31は、そのコンテンツを取得、分岐してACRクライアント32−1乃至32−M、およびACR変換部34に供給する。
ステップS13において、ACRクライアント32は、対応するACRサーバ22にて採用されているACR方式に従い、コンテンツ取得部31より入力されたコンテンツからシグニチャデータ64を抽出する。ステップS14において、ACRクライアント32は、抽出したシグニチャデータ64を含むACRクエリ60を生成し、双方向通信網12を介して対応するACRサーバ22に送信する。
このACRクエリ60を受信したACRサーバ22は、ステップS22において、ACRクエリ60に含まれるシグニチャデータ64に基づいて、ACR親端末装置30を内蔵するAV装置にて視聴されているコンテンツを識別する。そして、ステップS23において、その識別結果を含むACRレスポンス70を生成して、対応するACRクライアント32に返信する。なお、ここではコンテンツを識別することができて、図3Aに示されたACRレスポンス70が返信されたものとする。
このACRレスポンス70を受信したACRクライアント32は、ステップS15において、ACRレスポンス70を解析し、解析結果をアプリケーション実行部33に通知する。また、ACRクライアント32は、受信したACRレスポンス70をACR変換部34に供給する。
ステップS16において、アプリケーション実行部33は、ACRレスポンス70の解析結果に基づき、視聴中のコンテンツに対応するアプリケーションを、双方向通信網12を介してアプリケーションサーバ23に要求する。そして、アプリケーションサーバ23がステップS24として供給するコンテンツを取得、実行する。
ステップS17において、ACR変換部34は、ACRクライアント32から入力されたACRレスポンス70を要約してACRレスポンス変換データ90を生成する。そして、ステップS18において、生成したACRレスポンス変換データを包含させた状態の、ACR子端末装置50のACRクライアント52が抽出可能なシグニチャデータとしてのWMを生成する。さらに、コンテンツ取得部31から供給されているコンテンツに該WMを挿入してローカルコンテンツ保持部35に出力、保持させる。
一方、ステップS2として、ACR子端末装置50を内蔵するAV装置がリアルタイムで共用するコンテンツを要求すると、この要求に応じ、ステップS19において、ACR親端末装置30のローカルコンテンツ保持部35は、要求された、WMが挿入されているコンテンツを、ACR子端末装置50が内蔵されたAV装置に配信する。配信されたコンテンツは、ACR子端末装置50を内蔵するAV装置によって再生され、これに伴い、コンテンツ取得部51がコンテンツを分岐してACRクライアント52に供給する。
ステップS3において、ACR子端末装置50のACRクライアント52は、コンテンツ取得部51により分岐されたコンテンツからシグニチャデータ(いまの場合、WM)を抽出する。ステップS4において、ACRクライアント52は、抽出したWMに包含されているACRレスポンス変換データ90を解析し、解析結果をアプリケーション実行部53に通知する。
ステップS5において、アプリケーション実行部53は、ACRレスポンス変換データ90の解析結果に基づき、視聴中のコンテンツに対応するアプリケーションを、双方向通信網12を介してアプリケーションサーバ23に要求する。そして、アプリケーションサーバ23がステップS25として供給するコンテンツを取得、実行する。以上で第1の動作例の説明を終了する。
以上説明したACRシステム10の第1の動作例によれば、ACR親端末装置30を内蔵するAV装置により視聴していたコンテンツを、リアルタイムでACR子端末装置50を内蔵するAV装置に転送して共有することができる。また、ACR子端末装置50は、共有したコンテンツの識別結果や対応して実行すべきアプリケーションなどの情報を、ACRサーバ22を利用することなく、該コンテンツからシグニチャデータ(WM)を抽出するだけで取得することができる。換言すれば、ACR親端末装置30のACRクライアント32と、ACR子端末装置50のACRクライアント52とが、共通のコンテンツについてACRサーバ22に識別を依頼することがないので、効率的にACRサービスを利用することができる。
次に、図7は、ACR親端末装置30を内蔵するAV装置(例えば、TV受像機)が受信、再生したコンテンツを、それ以降のタイミングにおいてACR子端末装置50を内蔵するAV装置(例えば、タブレット型PC)が共用する場合の動作(以下、第2の動作例と称する)を説明するフローチャートである。
ステップS31において、ACR子端末装置50のACRクライアント52は、自己が対応可能なACR方式を表す情報をACR親端末装置30に通知する。該通知を受けてACR親端末装置30のローカルACR構成管理部36は、ステップS41において、ACR子端末装置50のACRクライアント52が対応可能なACR方式を登録する。なお、該情報の登録は、一度行えばよいので、既に実行済みである場合には、ステップS31およびS41の処理を省略することができる。
ステップS51において、放送装置20のコンテンツサーバ21が放送網11を介してコンテンツを放送し、ACR親端末装置30を内蔵するAV装置がそれを受信してユーザが視聴を始めると、ステップS42において、コンテンツ取得部31は、そのコンテンツを取得、分岐してACRクライアント32−1乃至32−M、およびACR変換部34に供給する。
ステップS43において、ACRクライアント32は、対応するACRサーバ22にて採用されているACR方式に従い、コンテンツ取得部31より入力されたコンテンツからシグニチャデータ64を抽出する。ステップS44において、ACRクライアント32は、抽出したシグニチャデータ64を含むACRクエリ60を生成し、双方向通信網12を介して対応するACRサーバ22に送信する。
このACRクエリ60を受信したACRサーバ22は、ステップS52において、ACRクエリ60に含まれるシグニチャデータ64に基づいて、ACR親端末装置30を内蔵するAV装置にて視聴されているコンテンツを識別する。そして、ステップS53において、その識別結果を含むACRレスポンス70を生成して、対応するACRクライアント32に返信する。なお、ここではコンテンツを識別することができて、図3Aに示されたACRレスポンス70が返信されたものとする。
このACRレスポンス70を受信したACRクライアント32は、ステップS45において、ACRレスポンス70を解析し、解析結果をアプリケーション実行部33に通知する。また、ACRクライアント32は、受信したACRレスポンス70をACR変換部34に供給する。
ステップS46において、アプリケーション実行部33は、ACRレスポンス70の解析結果に基づき、視聴中のコンテンツに対応するアプリケーションを、双方向通信網12を介してアプリケーションサーバ23に要求する。そして、アプリケーションサーバ23がステップS54として供給するコンテンツを取得、実行する。
ステップS47において、ACR変換部34は、ACRクライアント32から入力されたACRレスポンス70を要約してACRレスポンス変換データ90を生成する。そして、ステップS48において、生成したACRレスポンス変換データを包含させた状態の、ACR子端末装置50のACRクライアント52が抽出可能なシグニチャデータとしてのWMを生成する。さらに、コンテンツ取得部31から供給されているコンテンツに該WMを挿入してローカルコンテンツ保持部35に出力、蓄積させる。なお、このコンテンツはローカルコンテンツサーバ41に蓄積させるようにしてもよい。
一方、ステップS32として、ACR子端末装置50を内蔵するAV装置がACR親端末装置30に蓄積されているコンテンツの共用を要求すると、この要求に応じ、ステップS49において、ACR親端末装置30のローカルコンテンツ保持部35は、要求された、WMが挿入されているコンテンツを、ACR子端末装置50が内蔵されたAV装置に配信する。配信されたコンテンツは、ACR子端末装置50を内蔵するAV装置によって再生され、これに伴い、コンテンツ取得部51がコンテンツを分岐してACRクライアント52に供給する。
ステップS33において、ACR子端末装置50のACRクライアント52は、コンテンツ取得部51により分岐されたコンテンツからシグニチャデータ(いまの場合、WM)を抽出する。ステップS34において、ACRクライアント52は、抽出したWMに包含されているACRレスポンス変換データ90を解析し、解析結果をアプリケーション実行部53に通知する。
ステップS35において、アプリケーション実行部53は、ACRレスポンス変換データ90の解析結果に基づき、視聴中のコンテンツに対応するアプリケーションを、双方向通信網12を介してアプリケーションサーバ23に要求する。そして、アプリケーションサーバ23がステップS55として供給するコンテンツを取得、実行する。以上で第2の動作例の説明を終了する。
以上説明したACRシステム10の第2の動作例によれば、ACR親端末装置30を内蔵するAV装置により視聴していたコンテンツを、その以降のタイミングにおいてACR子端末装置50を内蔵するAV装置に転送して共有することができる。また、ACR子端末装置50は、共有したコンテンツの識別結果や対応して実行すべきアプリケーションなどの情報を、ACRサーバ22を利用することなく、該コンテンツからシグニチャデータ(WM)を抽出するだけで取得することができる。換言すれば、ACR親端末装置30のACRクライアント32と、ACR子端末装置50のACRクライアント52とが、共通のコンテンツについてACRサーバ22に識別を依頼することがないので、効率的にACRサービスを利用することができる
次に、図8は、ACR親端末装置30を内蔵するAV装置(例えば、ビデオレコーダ)が受信、録画したコンテンツを、それ以降のタイミングにおいてACR子端末装置50を内蔵するAV装置(例えば、タブレット型PC)が共用する場合の動作(以下、第3の動作例と称する)を説明するフローチャートである。
ステップS61において、ACR子端末装置50のACRクライアント52は、自己が対応可能なACR方式を表す情報をACR親端末装置30に通知する。該通知を受けてACR親端末装置30のローカルACR構成管理部36は、ステップS71において、ACR子端末装置50のACRクライアント52が対応可能なACR方式を登録する。なお、該情報の登録は、一度行えばよいので、既に実行済みである場合には、ステップS61およびS71の処理を省略することができる。
ステップS81において、放送装置20のコンテンツサーバ21が放送網11を介してコンテンツを放送し、ACR親端末装置30を内蔵するAV装置がそれを受信して録画を始めると、ステップS72において、コンテンツ取得部31は、そのコンテンツを取得、分岐してACRクライアント32−1乃至32−M、およびACR変換部34に供給する。
ステップS73において、ACRクライアント32は、対応するACRサーバ22にて採用されているACR方式に従い、コンテンツ取得部31より入力されたコンテンツからシグニチャデータ64を抽出する。ステップS74において、ACRクライアント32は、抽出したシグニチャデータ64を含むACRクエリ60を生成し、双方向通信網12を介して対応するACRサーバ22に送信する。
このACRクエリ60を受信したACRサーバ22は、ステップS82において、ACRクエリ60に含まれるシグニチャデータ64に基づいて、ACR親端末装置30を内蔵するAV装置にて録画されているコンテンツを識別する。そして、ステップS83において、その識別結果を含むACRレスポンス70を生成して、対応するACRクライアント32に返信する。なお、ここではコンテンツを識別することができて、図3Aに示されたACRレスポンス70が返信されたものとする。
このACRレスポンス70を受信したACRクライアント32は、ステップS75において、ACRレスポンス70を解析し、解析結果をアプリケーション実行部33に通知する。また、ACRクライアント32は、受信したACRレスポンス70をACR変換部34に供給する。
ステップS76において、ACR変換部34は、ACRクライアント32から入力されたACRレスポンス70を要約してACRレスポンス変換データ90を生成する。そして、ステップS77において、生成したACRレスポンス変換データを包含させた状態の、ACR子端末装置50のACRクライアント52が抽出可能なシグニチャデータとしてのWMを生成する。さらに、コンテンツ取得部31から供給されているコンテンツに該WMを挿入してローカルコンテンツ保持部35に出力、蓄積させる。なお、このコンテンツはローカルコンテンツサーバ41に蓄積させるようにしてもよい。また、本実施の形態では、ACR親端末装置30を内蔵するAV装置(例えば、ビデオレコーダ)が録画する分とは別途、WMを挿入したコンテンツを蓄積するようにしたが、録画するコンテンツにWMを挿入するようにしてもよい。
一方、ステップS62として、ACR子端末装置50を内蔵するAV装置がACR親端末装置30に蓄積されているコンテンツの共用を要求すると、この要求に応じ、ステップS78において、ACR親端末装置30のローカルコンテンツ保持部35は、要求された、WMが挿入されているコンテンツを、ACR子端末装置50が内蔵されたAV装置に配信する。配信されたコンテンツは、ACR子端末装置50を内蔵するAV装置によって再生され、これに伴い、コンテンツ取得部51がコンテンツを分岐してACRクライアント52に供給する。
ステップS63において、ACR子端末装置50のACRクライアント52は、コンテンツ取得部51により分岐されたコンテンツからシグニチャデータ(いまの場合、WM)を抽出する。ステップS64において、ACRクライアント52は、抽出したWMに包含されているACRレスポンス変換データ90を解析し、解析結果をアプリケーション実行部53に通知する。
ステップS65において、アプリケーション実行部53は、ACRレスポンス変換データ90の解析結果に基づき、視聴中のコンテンツに対応するアプリケーションを、双方向通信網12を介してアプリケーションサーバ23に要求する。そして、アプリケーションサーバ23がステップS84として供給するコンテンツを取得、実行する。以上で第3の動作例の説明を終了する。
以上説明したACRシステム10の第3の動作例によれば、ACR親端末装置30を内蔵するAV装置により録画されたコンテンツを、その以降のタイミングにおいてACR子端末装置50を内蔵するAV装置に転送して共有することができる。また、ACR子端末装置50は、共有したコンテンツの識別結果や対応して実行すべきアプリケーションなどの情報を、ACRサーバ22を利用することなく、該コンテンツからシグニチャデータ(WM)を抽出するだけで取得することができる。換言すれば、ACR親端末装置30のACRクライアント32と、ACR子端末装置50のACRクライアント52とが、共通のコンテンツについてACRサーバ22に識別を依頼することがないので、効率的にACRサービスを利用することができる
ところで、上述した一連の処理を実行する放送装置20、ACR親端末装置30、およびACR子端末装置50は、それぞれをハードウェアにより構成する他、コンピュータがソフトウェアを実行することにより実現することもできる。このコンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図9は、上述したコンピュータのハードウェアの構成例を示すブロック図である。
このコンピュータ100において、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、およびドライブ110が接続されている。
入力部106は、キーボード、マウス、マイクロフォンなどよりなる。出力部107は、ディスプレイ、スピーカなどよりなる。記憶部108は、ハードディスクや不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア111を駆動する。
以上のように構成されるコンピュータ100では、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105およびバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ100(CPU101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア111に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ100では、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
なお、コンピュータ100が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
10 ACRシステム, 11 放送網, 12 双方向通信網, 20 送信装置, 21 コンテンツサーバ, 22 ACRサーバ, 23 アプリケーションサーバ, 24 メタデータサーバ, 30 ACR親端末装置, 31 コンテンツ取得部, 32 ACRクライアント, 33 アプリケーション実行部, 34 ACR変換部, 35 ローカルコンテンツ保持部, ローカルACR構成管理部, 40 ホームネットワーク, 41 ローカルコンテンツサーバ, 50 ACR子端末装置, 51 コンテンツ取得部, 52 ACRクライアント, 53 アプリケーション実行部, 60 ACRクエリ, 70 ACRレスポンス, 90 ACRレスポンス変換データ, 100 コンピュータ, 101 CPU

Claims (14)

  1. ネットワークを介して他の情報処理装置とコンテンツを共有する情報処理装置において、
    コンテンツを取得する取得部と、
    取得された前記コンテンツから第1のシグニチャデータを抽出し、前記第1のシグニチャデータを含むクエリをコンテンツ識別サーバに送信し、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスを取得する識別依頼部と、
    前記レスポンスをレスポンス変換データに変換し、前記レスポンス変換データを包含させた状態で前記他の情報処理装置が抽出可能な第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入するシグニチャデータ挿入部と、
    前記第2のシグニチャデータが挿入された前記コンテンツを前記他の情報処理装置に供給する供給部と
    を備える情報処理装置。
  2. 前記レスポンスは、前記コンテンツの進行に連動して実行させるアプリケーションを表す情報が包含された関連メタデータをさらに含み、
    前記シグニチャデータ挿入部は、前記レスポンスに含まれる前記関連メタデータを少なくとも含む前記レスポンス変換データを生成し、前記レスポンス変換データを包含させた状態で前記第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入する
    請求項1に記載の情報処理装置。
  3. 前記他の情報処理装置が抽出可能なシグニチャデータの種類を管理する管理部を
    さらに備える請求項2に記載の情報処理装置。
  4. 前記レスポンスに含まれる前記関連メタデータに基づき、前記コンテンツの進行に連動して実行させる前記アプリケーションを取得して実行する実行部を
    さらに備える請求項2に記載の情報処理装置。
  5. 前記第1のシグニチャデータはFPであり、
    前記第2のシグニチャデータはWMである
    請求項2に記載の情報処理装置。
  6. 前記第1および第2のシグニチャデータはWMである
    請求項2に記載の情報処理装置。
  7. ネットワークを介して他の情報処理装置とコンテンツを共有する情報処理装置の情報処理方法において、
    前記情報処理装置による、
    コンテンツを取得する取得ステップと、
    取得された前記コンテンツから第1のシグニチャデータを抽出し、前記第1のシグニチャデータを含むクエリをコンテンツ識別サーバに送信し、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスを取得する識別依頼ステップと、
    前記レスポンスをレスポンス変換データに変換し、前記レスポンス変換データを包含させた状態で前記他の情報処理装置が抽出可能な第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入するシグニチャデータ挿入ステップと、
    前記第2のシグニチャデータが挿入された前記コンテンツを前記他の情報処理装置に供給する供給ステップと
    を含む情報処理方法。
  8. ネットワークを介して他の情報処理装置とコンテンツを共有するコンピュータを、
    コンテンツを取得する取得部と、
    取得された前記コンテンツから第1のシグニチャデータを抽出し、前記第1のシグニチャデータを含むクエリをコンテンツ識別サーバに送信し、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスを取得する識別依頼部と、
    前記レスポンスをレスポンス変換データに変換し、前記レスポンス変換データを包含させた状態で前記他の情報処理装置が抽出可能な第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入するシグニチャデータ挿入部と、
    前記第2のシグニチャデータが挿入された前記コンテンツを前記他の情報処理装置に供給する供給部と
    して機能させるプログラム。
  9. コンテンツを取得する取得部と、
    取得された前記コンテンツから第1のシグニチャデータを抽出し、前記第1のシグニチャデータを含むクエリをコンテンツ識別サーバに送信し、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスを取得する識別依頼部と、
    前記レスポンスをレスポンス変換データに変換し、前記レスポンス変換データを包含させた状態で情報処理装置が抽出可能な第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入するシグニチャデータ挿入部と、
    前記第2のシグニチャデータが挿入された前記コンテンツを前記情報処理装置に供給する供給部とを備えるコンテンツ供給装置から供給されるコンテンツを再生する情報処理装置において、
    前記コンテンツ供給装置から供給されるコンテンツを取得する取得部と、
    取得された前記コンテンツから前記第2のシグニチャデータを抽出する抽出部と、
    抽出された前記第2のシグニチャデータに包含されている前記レスポンス変換データに基づき、所定の処理を実行する実行部と
    を備える情報処理装置。
  10. 前記レスポンス変換データは、前記コンテンツの進行に連動して実行させるアプリケーションを表す情報を含む関連メタデータを含み、
    前記実行部は、前記関連メタデータに基づいて前記アプリケーションを取得して実行する
    請求項9に記載の情報処理装置。
  11. 前記第2のシグニチャデータはWMである
    請求項10に記載の情報処理装置。
  12. コンテンツを取得する取得部と、
    取得された前記コンテンツから第1のシグニチャデータを抽出し、前記第1のシグニチャデータを含むクエリをコンテンツ識別サーバに送信し、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスを取得する識別依頼部と、
    前記レスポンスをレスポンス変換データに変換し、前記レスポンス変換データを包含させた状態で情報処理装置が抽出可能な第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入するシグニチャデータ挿入部と、
    前記第2のシグニチャデータが挿入された前記コンテンツを前記情報処理装置に供給する供給部とを備えるコンテンツ供給装置から供給されるコンテンツを再生する情報処理装置の情報処理方法において、
    前記情報処理装置による、
    前記コンテンツ供給装置から供給されるコンテンツを取得する取得ステップと、
    取得された前記コンテンツから前記第2のシグニチャデータを抽出する抽出ステップと、
    抽出された前記第2のシグニチャデータに包含されている前記レスポンス変換データに基づき、所定の処理を実行する実行ステップと
    を含む情報処理方法。
  13. コンテンツを取得する取得部と、
    取得された前記コンテンツから第1のシグニチャデータを抽出し、前記第1のシグニチャデータを含むクエリをコンテンツ識別サーバに送信し、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスを取得する識別依頼部と、
    前記レスポンスをレスポンス変換データに変換し、前記レスポンス変換データを包含させた状態で情報処理装置が抽出可能な第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入するシグニチャデータ挿入部と、
    前記第2のシグニチャデータが挿入された前記コンテンツを前記情報処理装置に供給する供給部とを備えるコンテンツ供給装置から供給されるコンテンツを再生するコンピュータを、
    前記コンテンツ供給装置から供給されるコンテンツを取得する取得部と、
    取得された前記コンテンツから前記第2のシグニチャデータを抽出する抽出部と、
    抽出された前記第2のシグニチャデータに包含されている前記レスポンス変換データに基づき、所定の処理を実行する実行部と
    して機能させるプログラム。
  14. 第1の情報処理装置および第2の情報処理装置を含むコンテンツ共有システムにおいて、
    前記第1の情報処理装置は、
    コンテンツを取得する第1の取得部と、
    取得された前記コンテンツから第1のシグニチャデータを抽出し、前記第1のシグニチャデータを含むクエリをコンテンツ識別サーバに送信し、前記クエリに応じて前記コンテンツ識別サーバから返信される、前記コンテンツの識別結果を含むレスポンスを取得する識別依頼部と、
    前記レスポンスをレスポンス変換データに変換し、前記レスポンス変換データを包含させた状態で前記第2の情報処理装置が抽出可能な第2のシグニチャデータを生成し、取得された前記コンテンツに前記第2のシグニチャデータを挿入するシグニチャデータ挿入部と、
    前記第2のシグニチャデータが挿入された前記コンテンツを前記第2の情報処理装置に供給する供給部と
    を備え、
    前記第2の情報処理装置は、
    前記第1の情報処理装置から供給されるコンテンツを取得する第2の取得部と、
    取得された前記コンテンツから前記第2のシグニチャデータを抽出する抽出部と、
    抽出された前記第2のシグニチャデータに包含されているレスポンス変換データに基づき、所定の処理を実行する実行部と
    を備える
    コンテンツ共有システム。
JP2012195765A 2012-09-06 2012-09-06 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム Expired - Fee Related JP6023518B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2012195765A JP6023518B2 (ja) 2012-09-06 2012-09-06 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム
CN201380044789.4A CN104604244B (zh) 2012-09-06 2013-08-26 信息处理设备、信息处理方法、程序和内容共享系统
RU2015106888A RU2628773C2 (ru) 2012-09-06 2013-08-26 Устройство обработки информации, способ обработки информации, программа и система совместного использования контента
PCT/JP2013/072642 WO2014038413A1 (ja) 2012-09-06 2013-08-26 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム
EP13835708.2A EP2894868B1 (en) 2012-09-06 2013-08-26 Information processing device, information processing method, program, and content sharing system
BR112015004388A BR112015004388A2 (pt) 2012-09-06 2013-08-26 aparelho e método de processamento de informação, programa, e, sistema de compartilhamento de conteúdo.
US14/424,666 US10073901B2 (en) 2012-09-06 2013-08-26 Information processing apparatus, information processing method, program, and content sharing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012195765A JP6023518B2 (ja) 2012-09-06 2012-09-06 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム

Publications (2)

Publication Number Publication Date
JP2014053711A JP2014053711A (ja) 2014-03-20
JP6023518B2 true JP6023518B2 (ja) 2016-11-09

Family

ID=50237025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012195765A Expired - Fee Related JP6023518B2 (ja) 2012-09-06 2012-09-06 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム

Country Status (7)

Country Link
US (1) US10073901B2 (ja)
EP (1) EP2894868B1 (ja)
JP (1) JP6023518B2 (ja)
CN (1) CN104604244B (ja)
BR (1) BR112015004388A2 (ja)
RU (1) RU2628773C2 (ja)
WO (1) WO2014038413A1 (ja)

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ507867A (en) 1998-05-08 2003-01-31 Qualcomm Inc Apparatus and method for distribution of high quality image and audio programs to remote locations
US20020162118A1 (en) * 2001-01-30 2002-10-31 Levy Kenneth L. Efficient interactive TV
JP4305004B2 (ja) 2003-02-28 2009-07-29 ソニー株式会社 情報処理装置、およびコンテンツ情報処理方法、並びにコンピュータ・プログラム
JP2006005897A (ja) * 2004-05-19 2006-01-05 Dowango:Kk 端末装置、コンテンツ配信システム、情報出力方法、情報出力プログラム
JP4655534B2 (ja) 2004-08-04 2011-03-23 ソニー株式会社 端末装置およびデータ処理方法、プログラム並びに記録媒体
DE102005056550A1 (de) * 2004-11-25 2006-06-01 Wittkötter, Erland, Dr. Vorrichtung und Verfahren zur clientseitigen Abfrage und Empfang von Informationen
DE102005056551A1 (de) 2004-11-25 2006-06-01 Wittkötter, Erland, Dr. Video Daten Verzeichnis
US20070124796A1 (en) * 2004-11-25 2007-05-31 Erland Wittkotter Appliance and method for client-sided requesting and receiving of information
JP2006270634A (ja) * 2005-03-24 2006-10-05 Victor Co Of Japan Ltd デジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システム
US20060294383A1 (en) * 2005-06-28 2006-12-28 Paula Austel Secure data communications in web services
CN100485680C (zh) * 2006-03-03 2009-05-06 摩达网股份有限公司 于内容网络中搜寻多媒体内容的系统与其搜寻方法
JP2008263502A (ja) * 2007-04-13 2008-10-30 Victor Co Of Japan Ltd 記録再生装置及び記録再生システム
US8229227B2 (en) * 2007-06-18 2012-07-24 Zeitera, Llc Methods and apparatus for providing a scalable identification of digital video sequences
US8195689B2 (en) * 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
JP4735700B2 (ja) * 2008-10-08 2011-07-27 ソニー株式会社 受信装置、受信方法、サーバ装置
JP4788790B2 (ja) * 2009-02-27 2011-10-05 ソニー株式会社 コンテンツ再生装置、コンテンツ再生方法、プログラム、及びコンテンツ再生システム
JP5143776B2 (ja) * 2009-03-31 2013-02-13 株式会社ビデオリサーチ 視聴チャンネル判定方法及びシステム
US20120113218A1 (en) 2010-10-01 2012-05-10 Manabu Sasamoto Receiving apparatus and receiving method
US9398328B2 (en) 2010-11-24 2016-07-19 Lg Electronics Inc. Video display device and method for controlling same
US20120167133A1 (en) * 2010-12-23 2012-06-28 Carroll John W Dynamic content insertion using content signatures
JP5668512B2 (ja) * 2011-02-15 2015-02-12 ソニー株式会社 情報処理装置、及び、情報処理方法
US9380356B2 (en) * 2011-04-12 2016-06-28 The Nielsen Company (Us), Llc Methods and apparatus to generate a tag for media content
KR101799443B1 (ko) * 2011-05-02 2017-11-20 삼성전자주식회사 영상 컨텐츠 시청 확인 방법 및 이를 적용한 방송수신장치, 그리고 서버

Also Published As

Publication number Publication date
RU2628773C2 (ru) 2017-08-22
EP2894868B1 (en) 2019-08-14
WO2014038413A1 (ja) 2014-03-13
EP2894868A1 (en) 2015-07-15
BR112015004388A2 (pt) 2017-07-04
CN104604244B (zh) 2019-01-18
JP2014053711A (ja) 2014-03-20
EP2894868A4 (en) 2016-03-30
US20150254317A1 (en) 2015-09-10
US10073901B2 (en) 2018-09-11
CN104604244A (zh) 2015-05-06
RU2015106888A (ru) 2016-09-20

Similar Documents

Publication Publication Date Title
JP6219269B2 (ja) 端末装置、情報処理方法、プログラム、および連動アプリケーション供給システム
JP6219275B2 (ja) 端末装置、情報処理方法、プログラム、および連動アプリケーション供給システム
KR102233783B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP6383658B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR102110623B1 (ko) 송신 장치, 정보 처리 방법, 프로그램, 수신 장치 및 애플리케이션 연동 시스템
KR102019286B1 (ko) 단말 장치, 서버 장치, 정보 처리 방법, 프로그램 및 연동 어플리케이션 공급 시스템
JP5896222B2 (ja) 端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム
WO2014010469A1 (ja) 受信装置、情報処理方法、プログラム、送信装置、およびアプリケーション連動システム
JP6023518B2 (ja) 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160628

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161007

R150 Certificate of patent or registration of utility model

Ref document number: 6023518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees