JP6270309B2 - 表示制御装置、記録制御装置および表示制御方法 - Google Patents

表示制御装置、記録制御装置および表示制御方法 Download PDF

Info

Publication number
JP6270309B2
JP6270309B2 JP2012201548A JP2012201548A JP6270309B2 JP 6270309 B2 JP6270309 B2 JP 6270309B2 JP 2012201548 A JP2012201548 A JP 2012201548A JP 2012201548 A JP2012201548 A JP 2012201548A JP 6270309 B2 JP6270309 B2 JP 6270309B2
Authority
JP
Japan
Prior art keywords
content
display control
related content
video content
predetermined video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012201548A
Other languages
English (en)
Other versions
JP2014057246A (ja
Inventor
長坂 英夫
英夫 長坂
吉村 俊司
俊司 吉村
村林 昇
昇 村林
智則 三澤
智則 三澤
信義 三代川
信義 三代川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saturn Licensing LLC
Original Assignee
Saturn Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saturn Licensing LLC filed Critical Saturn Licensing LLC
Priority to JP2012201548A priority Critical patent/JP6270309B2/ja
Priority to US14/018,893 priority patent/US9451228B2/en
Priority to CN201310403586.1A priority patent/CN103686374A/zh
Publication of JP2014057246A publication Critical patent/JP2014057246A/ja
Priority to US15/232,347 priority patent/US10129515B2/en
Application granted granted Critical
Publication of JP6270309B2 publication Critical patent/JP6270309B2/ja
Priority to US16/159,171 priority patent/US20190182466A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Description

本開示は、表示制御装置、記録制御装置および表示制御方法に関する。
近年、所定の映像コンテンツに関連する関連コンテンツをユーザに提供する技術が存在する。かかる技術により、例えば、所定の映像コンテンツに関連する関連コンテンツに対する興味をユーザに持たせることができれば、ユーザの興味の幅を広げ、新たなビジネスを作り出すことも可能となる。関連コンテンツをユーザに提供する技術としては、例えば、以下の特許文献1により開示された技術が挙げられる。
特開2010−273083号公報
しかしながら、所定の映像コンテンツに関連する関連コンテンツをユーザに提供する技術では、当該所定の映像コンテンツが録画される前に当該関連コンテンツがユーザに提供されるのが一般的である。そのため、所定の映像コンテンツに対するユーザの評価などを考慮した関連コンテンツをユーザに提供することができない。したがって、当該所定の映像コンテンツが録画された後に関連コンテンツが表示されるようにするための技術が提供されることが望ましい。
本開示によれば、所定の映像コンテンツに関連する関連コンテンツを取得する関連コンテンツ取得部と、前記所定の映像コンテンツが録画された後に前記関連コンテンツが表示されるように制御する表示制御部と、を備える、表示制御装置が提供される。
また、本開示によれば、所定の映像コンテンツが録画されるように制御する記録制御部と、前記所定の映像コンテンツが表示されるように制御する表示制御部と、を備え、前記記録制御部により前記所定の映像コンテンツが録画された後に前記所定の映像コンテンツに関連する関連コンテンツが表示されるように制御される、記録制御装置が提供される。
また、本開示によれば、所定の映像コンテンツに関連する関連コンテンツを取得することと、前記所定の映像コンテンツが録画された後に前記関連コンテンツが表示されるように制御することと、を含む、表示制御方法が提供される。
以上説明したように本開示によれば、所定の映像コンテンツが録画された後に当該所定の映像コンテンツに関連する関連コンテンツが表示されるようにするための技術を提供することが可能である。
本開示の実施形態に係る表示制御システムの構成例を示す図である。 本開示の実施形態に係るタブレットの構成例を示す図である。 本開示の実施形態に係る本体の構成例を示す図である。 関連コンテンツの取得例をリスト状に示した図である。 関連コンテンツの取得例をテーブル状に示した図である。 関連コンテンツ取得に使用されるキーワードの作成例(最近用いられたキーワードを用いる場合)を示す図である。 関連コンテンツ取得に使用されるキーワードの作成例(過去に使用されたキーワードを用いる場合)を示す図である。 関連コンテンツ取得に至るまでのデータの流れの一例を示す図である。 関連コンテンツ取得に至るまでの動作の流れの一例を示す図である。 関連コンテンツの表示の一例(バナー広告を用いる場合)を示す図である。 関連コンテンツの表示の一例(プリロール広告を用いる場合)を示す図である。 番組コンテンツに含まれるCMをスキップさせる例を示す図である。 番組コンテンツに含まれるCMを移動させる例を示す図である。 関連コンテンツの表示の一例(再生対象の番組コンテンツと関連する関連コンテンツを用いる場合)を示す図である。 番組コンテンツおよび関連コンテンツの表示タイミングの一例を示す図である。 CMをスキップさせた場合に表示されるCM一覧の例を示す図である。 関連コンテンツの表示の一例(再生対象の番組コンテンツに関連する関連コンテンツを用いる場合)を示す図である。 本開示の実施形態に係る表示制御システムの動作(メイン動作)の流れの例を示すフローチャートである。 本開示の実施形態に係る表示制御システムの動作(再生対象の番組コンテンツに連動する関連コンテンツを用いる場合)の流れの例を示すフローチャートである。 本開示の実施形態に係る表示制御システムの動作(再生対象の番組コンテンツに連動する関連コンテンツを用いる場合)の流れの例を示すフローチャートである。 本開示の実施形態に係る表示制御システムの動作(再生対象の番組コンテンツに連動する関連コンテンツを用いる場合)の流れの例を示すフローチャートである。 本開示の実施形態に係る表示制御システムの動作(キーワードに応じた関連コンテンツを用いる場合)の流れの例を示すフローチャートである。 本開示の実施形態に係る表示制御システムの動作(キーワードに応じた関連コンテンツを用いる場合)の流れの例を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.表示制御システムの構成例
2.タブレットの機能構成例
3.本体の機能構成例
4.関連コンテンツ取得の説明
5.関連コンテンツの表示制御の説明
6.表示制御システムの動作例
7.むすび
<<1.表示制御システムの構成例>>
まず、本開示の実施形態に係る表示制御システム1の構成例について説明する。図1は、本開示の実施形態に係る表示制御システム1の構成例を示す図である。図1に示したように、表示制御システム1は、表示制御装置の一例としてのタブレット10と記録制御装置の一例としての本体20とを備える。その他、表示制御システム1は、表示装置30、サーバ系40、アクセスポイント50などを備える。
以下では、表示制御装置の一例としてタブレット10を用いて説明するが、タブレット10は表示制御装置の一例に過ぎないため、タブレット10の代わりに表示制御装置が用いられてもよい。また、記録制御装置の一例として本体20を用いて説明するが、本体20は記録制御装置の一例に過ぎないため、本体20の代わりに記録制御装置が用いられてもよい。
タブレット10は、ユーザ操作に応じた無線信号を本体20に対して送信することにより本体20を遠隔操作することが可能である。例えば、タブレット10は、番組コンテンツの録画、録画された番組コンテンツの再生、番組コンテンツの検索などを遠隔操作により行うことが可能である。番組コンテンツの録画は、番組コンテンツの予約録画であってもよい。番組コンテンツは、例えば、少なくとも所定の映像コンテンツを含んでおり(少なくとも画像を含むコンテンツであり)、音声をさらに含むコンテンツであってもよいし、他の形式のデータを含んでもよい。
また、図1に示したように、タブレット10は、例えば、アクセスポイント50を介してネットワーク60に接続することが可能である。タブレット10によるネットワーク60への接続は、無線によりなされてもよいし有線によりなされてもよい。タブレット10は、スマートフォンであってもよいし、携帯電話であってもよいし、PC(Personal Computer)であってもよいし、他の端末であってもよい。
本体20は、タブレット10から受信した無線信号に基づいて各種の動作を行うことが可能である。例えば、本体20は、タブレット10による遠隔操作により番組コンテンツの録画、録画された番組コンテンツの再生、番組コンテンツの検索などを行うことが可能である。本体20は、例えば、放送局から番組コンテンツを受信することができる。
また、図1に示したように、本体20は、例えば、ネットワーク60に接続することが可能である。本体20によるネットワーク60への接続は、無線によりなされてもよいし有線によりなされてもよい。本体20の種類は、表示装置30による番組コンテンツの表示を制御することが可能であれば特に限定されないが、例えば、HDD(Hard Disk Drive)レコーダであってもよいし、BD(Blu−Ray Disc)レコーダであってもよい。
表示装置30は、本体20による表示制御に従って、番組コンテンツを表示することが可能である。表示装置30は、例えば、テレビジョン装置に相当するが、番組コンテンツを表示することが可能な装置であれば、表示装置30の種類は特に限定されない。図1に示した例では、表示装置30と本体20とは有線により接続されているが、表示装置30と本体20とは無線により接続されていてもよい。
サーバ系40は、図1に示したように、例えば、関連コンテンツサーバ41および後メタサーバ42を含んで構成されている。ここで、本明細書においては、番組コンテンツが放送される前に当該番組コンテンツに付加されたメタデータ(例えば、EPG(Electronic Program Guide)データなど)を、特に「前メタ」と称することにする。一方、番組コンテンツが放送された後に当該番組コンテンツに付加されたメタデータ(例えば、放送中もしくは放送後に所定のオペレーターによって番組のコーナーや番組内で紹介された店舗などの情報を番組の進行時間に合わせて生成したメタデータや、当該番組コンテンツに対して書き込まれた視聴者によるコメントのメタデータなど)を、特に「後メタ」と称することにする。
関連コンテンツサーバ41は、番組コンテンツに関連する関連コンテンツを配信するサーバである。ここで、関連コンテンツは、番組コンテンツと同様に、例えば、少なくとも画像を含むコンテンツであり、音声をさらに含むコンテンツであってもよいし、他の形式のデータを含んでもよい。
後メタサーバ42は、後メタを配信するサーバである。図1に示した例では、関連コンテンツサーバ41と後メタサーバ42とが別体に構成されているが、関連コンテンツサーバ41と後メタサーバ42とは一体化されていてもよい。また、図1に示した例では、関連コンテンツサーバ41および後メタサーバ42は、タブレット10とネットワーク60を介して接続されているが、関連コンテンツサーバ41および後メタサーバ42の少なくともいずれか一方は、タブレット10の内部に備えられていてもよいし、専用線により接続されていてもよい。
以上、本開示の実施形態に係る表示制御システム1の構成例について説明した。
<<2.タブレットの機能構成例>>
続いて、本開示の実施形態に係るタブレット10の機能構成例について説明する。図2は、本開示の実施形態に係るタブレット10の機能構成例を示す図である。図2に示すように、タブレット10を構成する各機能ブロックは、データバスDB、コントロールバスCBに接続されている。
また、図2に示すように、タブレット10は、ネットワークI/F(InterFace)部110、外部メモリI/F120、外部メモリ121、記録制御部131、情報処理部132、関連コンテンツ取得部133、再生処理部134および表示制御部135を備える。また、タブレット10は、タッチパネル入力処理部136、画像音声特徴抽出部137、タッチパネルディスプレイ138、通信I/F部140、メモリ部150およびシステムコントローラ160を備える。
ネットワークI/F部110は、アクセスポイント50を介してネットワーク60に接続する機能を有している。外部メモリ121は、タブレット10から取り外し可能な記録媒体であり、外部メモリI/F120は、外部メモリ121に対するデータの読み書きを行う機能を有している。記録制御部131は、外部メモリ121およびメモリ部150に対するデータの読み書きを制御する機能を有している。
情報処理部132は、各種の情報処理を行う機能を有している。例えば、情報処理部132は、番組コンテンツからCM(Commercial Message)区間を検出する機能を有していてもよい。例えば、情報処理部132は、番組コンテンツに付されたメタデータに基づいてCM区間を検出してもよいし、画像音声特徴抽出部137により抽出された特徴量に基づいてCM区間を判定してもよい。以下では、CMを広告コンテンツと称する場合もある。
関連コンテンツ取得部133は、番組コンテンツに関連する関連コンテンツを取得する機能を有している。ここで、関連コンテンツ取得部133がどの番組コンテンツに関連する関連コンテンツを取得するかに関しては、様々な場合が想定される。そのため、関連コンテンツ取得部133がどの番組コンテンツに関連する関連コンテンツを取得するかに関しては、後に詳細に説明することとする。再生処理部134は、関連コンテンツを再生する機能を有している。
表示制御部135は、番組コンテンツが録画された後に関連コンテンツが表示されるように制御する機能を有している。上記したように、番組コンテンツに関連する関連コンテンツをユーザに提供する技術では、当該番組コンテンツが録画される前に当該関連コンテンツがユーザに提供されるのが一般的である。そのため、番組コンテンツに対するユーザの評価などを考慮した関連コンテンツをユーザに提供することができない。本実施形態によれば、当該番組コンテンツが録画された後に関連コンテンツが表示されるようにするための技術が提供される。
タッチパネル入力処理部136は、タッチパネルディスプレイ138に入力された指定座標に基づいてユーザ操作を認識し、認識したユーザ操作をシステムコントローラ160に出力する機能を有する。画像音声特徴抽出部137は、画像音声データから所定の画像音声特徴量を抽出する。例えば、画像特徴量として、色特徴、輝度特徴、テクスチャ特徴などの大域的特徴量のほかハリスコーナー検出によるオブジェクトのコーナー特徴、SIFT(Scale-invariant feature transform)などの局所的特徴量が考えられる。音声特徴量として、所定区間長の平均音声レベル、所定周波数帯域のパワースペクトルなどが考えられる。これら所定の画像特徴量、音声特徴量に基づいて所定の認識処理(例えば、顔認識処理、音声認識処理など)を行う。画像音声特徴抽出部137により抽出された特徴量は、例えば、番組コンテンツの出演者の判定に用いられてもよい。その他、画像音声特徴抽出部137により抽出された特徴量は、番組コンテンツのキーフレーム判定に用いられてもよい。
タッチパネルディスプレイ138は、表示制御部135による表示制御に従って、表示を行う機能を有している。また、タッチパネルディスプレイ138は、ユーザにより入力された指定座標を取得して、当該指定座標をタッチパネル入力処理部136に出力する機能を有している。
なお、図2には、表示装置および入力装置の例として、タッチパネルディスプレイ138が示されているが、タッチパネルディスプレイ138の代わりに、別体に構成された表示装置と入力装置との組み合わせが用いられてもよい。かかる場合、図2に示した例では、タッチパネルディスプレイ138がタブレット10と一体化されているが、表示装置はタブレット10と別体に構成されていてもよいし、入力装置はタブレット10と別体に構成されていてもよい。
通信I/F部140は、本体20と通信を行う機能を有している。メモリ部150は、タブレット10に内蔵された記録媒体であり、例えば、記録制御部131、情報処理部132、関連コンテンツ取得部133、再生処理部134、表示制御部135、タッチパネル入力処理部136、画像音声特徴抽出部137、システムコントローラ160などを動作させるためのプログラムを記憶することが可能である。また、メモリ部150は、プログラムによって使用される各種のデータを記憶することも可能である。
システムコントローラ160は、タブレット10の内部に存在する機能ブロック全体を制御する機能を有している。なお、記録制御部131、情報処理部132、関連コンテンツ取得部133、再生処理部134、表示制御部135、タッチパネル入力処理部136、画像音声特徴抽出部137、システムコントローラ160などは、例えば、CPU(Central Processing Unit)などのプロセッサに相当し得る。これらの機能ブロックは、例えば、メモリ部150により記憶されるプログラムが実行されることにより、その機能を発揮することができる。
以上、本開示の実施形態に係るタブレット10の機能構成例について説明した。
<<3.本体の機能構成例>>
続いて、本開示の実施形態に係る本体20の機能構成例について説明する。図3は、本開示の実施形態に係る本体20の機能構成例を示す図である。図3に示すように、本体20を構成する各機能ブロックは、データバスDB、コントロールバスCBに接続されている。
また、図3に示すように、本体20は、ネットワークI/F部210、アンテナ221を有するチューナ部220、記録媒体230、記録制御部241、情報処理部242、再生処理部243および表示制御部244を備える。また、本体20は、画像音声特徴抽出部245、通信I/F部250、メモリ部260、ディスクドライブ部270、ディスク状記録媒体271およびシステムコントローラ280を備える。
ネットワークI/F部210は、ネットワーク60に接続する機能を有している。チューナ部220は、アンテナ221により受信された放送波から所望の番組コンテンツを抽出する機能を有する。記録媒体230は、データベースに相当する。記録制御部241は、記録媒体230、メモリ部260およびディスク状記録媒体271に対するデータの読み書きを制御する機能を有している。
情報処理部242は、各種の情報処理を行う機能を有している。例えば、情報処理部242は、番組コンテンツからCM区間を検出する機能を有していてもよい。例えば、情報処理部242は、番組コンテンツに付されたメタデータに基づいてCM区間を検出してもよいし、画像音声特徴抽出部245により抽出された特徴量に基づいてCM区間を判定してもよい。再生処理部243は、番組コンテンツを再生する機能を有している。表示制御部244は、番組コンテンツが表示装置30により表示されるように表示装置30を制御する機能を有している。
画像音声特徴抽出部245は、番組コンテンツにおける画像データ、音声データから所定の画像特徴量、音声特徴量の抽出を行う。例えば、画像特徴量として、色特徴、輝度特徴、テクスチャ特徴などの大域的特徴量のほかハリスコーナー検出によるオブジェクトのコーナー特徴、SIFT(Scale-invariant feature transform)などの局所的特徴量が考えられる。音声特徴量として、所定区間長の平均音声レベル、所定周波数帯域のパワースペクトルなどが考えられる。これら所定の画像特徴量、音声特徴量に基づいて所定の認識処理(例えば、顔認識処理、音声認識処理など)を行う。画像音声特徴抽出部245により抽出された特徴量は、例えば、番組コンテンツの出演者の判定に用いられてもよい。その他、画像音声特徴抽出部245により抽出された特徴量は、番組コンテンツのキーフレーム判定に用いられてもよい。また、これら特徴量を用いて同一コンテンツや類似コンテンツの検出処理を行う。
通信I/F部250は、タブレット10と通信を行う機能を有している。メモリ部260は、本体20に内蔵された記録媒体であり、例えば、記録制御部241、情報処理部242、再生処理部243、表示制御部244、画像音声特徴抽出部245、システムコントローラ280などを動作させるためのプログラムを記憶することが可能である。また、メモリ部260は、プログラムによって使用される各種のデータを記憶することも可能である。
ディスクドライブ部270は、ディスク状記録媒体271に録画された番組コンテンツを駆動する機能を有する。ディスク状記録媒体271は、番組コンテンツを記録する機能を有している。例えば、録画予約された番組コンテンツは、設定された録画開始時刻にディスク状記録媒体271への録画が開始され、設定された録画終了時刻にディスク状記録媒体271への録画が終了される。ただし、録画開始は録画開始操作がなされたときに開始され、録画終了は録画終了操作がなされたときに終了されてもよい。
システムコントローラ280は、本体20の内部に存在する機能ブロック全体を制御する機能を有している。なお、記録制御部241、情報処理部242、再生処理部243、表示制御部244、画像音声特徴抽出部245、システムコントローラ280などは、例えば、CPUなどのプロセッサに相当し得る。これらの機能ブロックは、例えば、メモリ部260により記憶されるプログラムが実行されることにより、その機能を発揮することができる。
以上、本開示の実施形態に係る本体20の機能構成例について説明した。
<<4.関連コンテンツ取得の説明>>
続いて、本開示の実施形態に係るタブレット10による関連コンテンツ取得の詳細について説明する。上記したように、タブレット10の関連コンテンツ取得部133は、番組コンテンツに関連する関連コンテンツを取得するが、関連コンテンツ取得部133がどの番組コンテンツに関連する関連コンテンツを取得するかに関しては、様々な場合が想定される。例えば、関連コンテンツ取得部133は、番組コンテンツに関連する関連コンテンツとして再生対象の番組コンテンツに関連する関連コンテンツを取得してもよい。再生対象の番組コンテンツに対しては、ユーザが強い興味を持っている可能性が高く、当該番組コンテンツに関連する関連コンテンツにも興味を持つ可能性が高いからである。
関連コンテンツ取得部133は、番組コンテンツに関連する関連コンテンツとして最近に録画された番組コンテンツに関連する関連コンテンツを取得してもよい。再生対象の番組コンテンツと同様に、最近に録画された番組コンテンツに対しては、ユーザが強い興味を持っている可能性が高く、当該番組コンテンツに関連する関連コンテンツにも興味を持つ可能性が高いからである。しかしながら、関連コンテンツ取得部133がどの番組コンテンツに関連する関連コンテンツを取得するかに関しては、これらの取得手法に限定されない。
このような番組コンテンツに関連する関連コンテンツをどのように選択するかといった点も特に限定されない。例えば、関連コンテンツ取得部133は、録画対象を選択するための録画選択情報に応じて番組コンテンツが録画対象として選択された場合、録画選択情報に応じた関連コンテンツを取得してもよい。かかる関連コンテンツに対しては、ユーザが強い興味を持つ可能性が高いからである。なお、以下では、録画選択情報の例として、録画対象を選択するために用いられたキーワード(以下、「録画検索キーワード」)を用いることにする。
また、例えば、関連コンテンツ取得部133は、再生対象を選択するための再生選択情報に応じて番組コンテンツが再生対象として選択された場合、再生選択情報に応じた関連コンテンツを取得してもよい。かかる関連コンテンツに対しては、ユーザが強い興味を持つ可能性が高いからである。なお、以下では、再生選択情報の例として、再生対象を選択するために用いられたキーワード(以下、「再生検索キーワード」)を用いることにする。
また、例えば、関連コンテンツ取得部133は、事前登録情報に応じて番組コンテンツが録画対象として選択された場合、事前登録情報に応じた関連コンテンツを取得してもよい。かかる関連コンテンツに対しては、ユーザが強い興味を持つ可能性が高いからである。また、例えば、関連コンテンツ取得部133は、番組コンテンツのメタデータに応じた関連コンテンツを取得してもよい。かかる関連コンテンツに対しては、ユーザが強い興味を持つ可能性が高いからである。なお、メタデータは、上記したように、いわゆる「前メタ」であってもよいし、「後メタ」であってもよい。
また、例えば、関連コンテンツ取得部133は、番組コンテンツに対して所定の認識処理(例えば、顔認識処理、音声認識処理など)が施された結果として得られた出演者に関連する関連コンテンツを取得してもよい。あるいは、関連コンテンツ取得部133は、番組コンテンツに対する視聴者のコメントから抽出された抽出情報(例えば、出演者の名称、番組において紹介された商品の名称、番組に登場する場所の名称など)に関連する関連コンテンツを取得してもよい。
図4は、関連コンテンツの取得例をリスト状に示した図である。また、図5は、関連コンテンツの取得例をテーブル状に示した図である。なお、図4および図5に示した例は、関連コンテンツ取得の一例を示したに過ぎないため、関連コンテンツの取得手法は、図4および図5に示した例に限定されないことは言うまでもない。
まず、図4に示したように、本体20がユーザにより直接指定された番組コンテンツを再生する場合(図4に示した(1)の例)としては、事前登録情報に基づいて録画対象として選択された番組コンテンツを再生する場合(図4に示した(1−1)の例)や、ユーザが番組コンテンツを直接指定して録画した場合(図4に示した(1−2)の例)などが挙げられる。
例えば、タブレット10の関連コンテンツ取得部133は、前者の場合(図4に示した(1−1)の例)には、事前登録情報に応じた関連コンテンツを取得すればよい。また、例えば、タブレット10の関連コンテンツ取得部133は、後者の場合(図4に示した(1−2)の例)には、番組コンテンツのメタデータに応じた関連コンテンツを取得すればよい。メタデータは、上記したように、いわゆる「前メタ」であってもよいし、「後メタ」であってもよい。
また、図4に示したように、本体20がキーワードに基づいて選択された番組コンテンツを再生する場合(図4に示した(2)の例)としては、番組コンテンツが録画検索キーワードのみに関連する場合(図4に示した(2−1)の例、図5に示した「1」の例)や、録画検索キーワードと再生検索キーワードとが同じ場合(図4に示した(2−2)の例、図5に示した「2」の例)などが挙げられる。
さらに、本体20がキーワードに基づいて選択された番組コンテンツを再生する場合(図4に示した(2)の例)としては、録画検索キーワードと再生検索キーワードとが異なる場合(図4に示した(2−3)の例、図5に示した「3」の例)や、番組コンテンツが再生検索キーワードのみに関連する場合(図4に示した(2−4)の例、図5に示した「4」の例)などが挙げられる。
例えば、タブレット10の関連コンテンツ取得部133は、1番目の場合(図4に示した(2−1)の例、図5に示した「1」の例)には、録画検索キーワードに応じた関連コンテンツを取得すればよい。また、例えば、タブレット10の関連コンテンツ取得部133は、2番目の場合(図4に示した(2−2)の例、図5に示した「2」の例)には、録画検索キーワードと再生検索キーワードとのいずれかのキーワードに応じた関連コンテンツを取得すればよい。
また、例えば、タブレット10の関連コンテンツ取得部133は、3番目の場合(図4に示した(2−3)の例、図5に示した「3」の例)には、録画検索キーワードと再生検索キーワードとのうち共通キーワードに応じた関連コンテンツを取得すればよい。また、例えば、タブレット10の関連コンテンツ取得部133は、4番目の場合(図4に示した(2−4)の例、図5に示した「4」の例)には、再生検索キーワードに応じた関連コンテンツを取得すればよい。
以上に示したような手法によって関連コンテンツの検索に用いるキーワードを選択することが想定されるが、関連コンテンツの検索に用いるキーワードの作成の手法についても様々な手法が想定され、特に限定されない。続いては、関連コンテンツの検索に用いるキーワードの作成例について説明する。
図6は、関連コンテンツ取得に使用されるキーワードの作成例(最近用いられたキーワードを用いる場合)を示す図である。図6に示したように、過去にキーワード「南川景子」に応じて選択された番組コンテンツa1が録画され、この番組コンテンツa1が現在再生対象として選択されている場合を想定する。かかる場合においては、例えば、キーワードに応じた関連コンテンツが存在しない場合や、キーワードに応じた関連コンテンツの数が所望の数に達していない場合(同じ関連コンテンツが繰り返されてしまう場合)などが想定される。
このような場合には、関連コンテンツ取得部133は、最近用いられたキーワード(例えば、最近用いられた録画検索キーワード)に応じた関連コンテンツを追加的に取得してもよい。例えば、最近用いられたキーワードが複数存在する場合には、その中から最も多く用いられているキーワードに応じた関連コンテンツが取得されてもよい。図6に示した例では、最近用いられたキーワードのうち、最も多く用いられている「AKC」に応じた関連コンテンツが追加的に取得されている。
なお、図6に示した例では、録画検索キーワードと最近用いられたキーワードとを同一の優先度に設定して関連コンテンツを取得しているが、一方のキーワードを他方のキーワードよりも優先して用いてもよい。例えば、番組コンテンツa1が録画された時期が所定時期よりも過去の場合には、最近用いられたキーワードを録画検索キーワードよりも優先して用いてもよい(例えば、録画検索キーワードを用いずに最近用いられたキーワードのみを用いてもよい)。
図7は、関連コンテンツ取得に使用されるキーワードの作成例(過去に使用されたキーワードを用いる場合)を示す図である。図7に示したように、過去にキーワード「スナップ」に応じて選択された番組コンテンツb1が録画され、この番組コンテンツb1が現在再生対象として選択されている場合を想定する。かかる場合においては、例えば、キーワードに応じた関連コンテンツが存在しない場合や、キーワードに応じた関連コンテンツの数が所望の数に達していない場合(同じ関連コンテンツが繰り返されてしまう場合)などが想定される。
このような場合には、関連コンテンツ取得部133は、番組コンテンツb1の録画時期に最も近い時期に録画された番組コンテンツの検索に用いられたキーワードに応じた関連コンテンツを追加的に取得してもよい。例えば、番組コンテンツb1の録画時期に最も近い時期に録画された番組コンテンツの検索に用いられたキーワードが複数存在する場合には、その中から最も多く用いられているキーワードに応じた関連コンテンツが取得されてもよい。図7に示した例では、番組コンテンツb1の録画時期に最も近い時期に録画された番組コンテンツの検索に用いられたキーワードのうち、最も多く用いられている「ももいろ」に応じた関連コンテンツが追加的に取得されている。
なお、図7に示した例では、録画検索キーワードと番組コンテンツb1の録画時期に最も近い時期に録画された番組コンテンツの検索に用いられたキーワードとを同一の優先度に設定して関連コンテンツを取得しているが、一方のキーワードを他方のキーワードよりも優先して用いてもよい。例えば、番組コンテンツb1が録画された時期が所定時期よりも過去の場合には、番組コンテンツb1の録画時期に最も近い時期に録画された番組コンテンツの検索に用いられたキーワードを録画検索キーワードよりも優先して用いてもよい(例えば、録画検索キーワードを用いずに番組コンテンツb1の録画時期に最も近い時期に録画された番組コンテンツの検索に用いられたキーワードのみを用いてもよい)。
続いて、関連コンテンツ取得に至るまでのデータの流れの一例および関連コンテンツ取得に至るまでの動作の流れの一例について説明する。図8は、関連コンテンツ取得に至るまでのデータの流れの一例を示す図である。また、図9は、関連コンテンツ取得に至るまでの動作の流れの一例を示す図である。
なお、図8に示した例は、関連コンテンツ取得に至るまでのデータの流れの一例に過ぎないため、関連コンテンツ取得に至るまでのデータの流れは、図8に示した例に限定されないことは言うまでもない。同様に、図9に示した例は、関連コンテンツ取得に至るまでの動作の流れの一例に過ぎないため、関連コンテンツ取得に至るまでの動作の流れは、図9に示した例に限定されないことは言うまでもない。
図8に示すように、番組コンテンツは、複数のシーンから構成されている。複数のシーンのそれぞれは、本編(図8に示した例では、タイトルが「オープニング」「行列のできるケーキ店」「今日の一冊」で示されているシーンなど)である場合もあれば、本編の前後に挿入されるCM(図8に示した例では、タイトルが「CM」で示されているシーンなど)である場合もある。
複数のシーンの中には、関連コンテンツが関連付けられているシーンも存在する。図8に示した例では、シーンIDが「0004」であるシーンに対して関連コンテンツが関連付けられている。なお、図8に示すように、シーンと直接関連付けられている関連コンテンツについての情報(以下、「関連コンテンツ情報」とも言う。)が存在し、この関連コンテンツ情報に含まれる関連コンテンツを識別するための情報(図8に示した例では、URL(Uniform Resource Locator))に基づいて、関連コンテンツを取得することが可能であってもよい。
なお、ここでは、図8に示すように、後メタサーバ42は、複数のシーンのそれぞれに関する情報であるシーン情報と関連コンテンツ情報とを記憶しており、関連コンテンツサーバ41は、関連コンテンツを記憶している場合を想定している。しかし、シーン情報、関連コンテンツ情報および関連コンテンツそれぞれを記憶するサーバは、特に限定されない。
図9に示すように、本体20は、番組コンテンツを録画再生すると(S1)、タブレット10は、その番組コンテンツのシーン情報を取得するためのシーン情報要求を後メタサーバ42に送信する(S2)。後メタサーバ42は、シーン情報要求に対する応答として、その番組コンテンツのシーン情報をタブレット10に返信する(S3)。なお、番組コンテンツを特定するための情報は特に限定されないが、例えば、番組コンテンツの開始日時、番組コンテンツの終了日時および番組コンテンツを放送する放送局の組み合わせであってもよい。
また、タブレット10は、関連コンテンツが存在するシーンを示す関連コンテンツ存在シーン情報を取得するための関連コンテンツ存在シーン情報要求を後メタサーバ42に送信する(S4)。後メタサーバ42は、関連コンテンツ存在シーン情報要求に対する応答として、その番組コンテンツの関連コンテンツ存在シーン情報をタブレット10に返信する(S5)。
続いて、タブレット10は、関連コンテンツ存在シーン情報から所望のシーンIDを抽出し、抽出したシーンIDを含む関連コンテンツ情報要求を後メタサーバ42に送信する(S6)。後メタサーバ42は、関連コンテンツ情報要求に対する応答として、そのシーンに関連付けられている関連コンテンツ情報をタブレット10に返信する(S7)。
続いて、タブレット10は、関連コンテンツ情報に含まれるURLを抽出し、抽出したURLを含む関連コンテンツ要求を関連コンテンツサーバ41に送信する(S8)。関連コンテンツサーバ41は、関連コンテンツ要求に対する応答として、そのURLに存在する関連コンテンツをタブレット10に返信する(S9)。
続いて、タブレット10は、関連コンテンツサーバ41から関連コンテンツを受信すると、その関連コンテンツを再生する(S10)。本体20により再生される番組コンテンツとタブレット10により再生される関連コンテンツとの間においては、タイムコード同期がなされる。
以上、関連コンテンツ取得に至るまでのデータの流れの一例および関連コンテンツ取得に至るまでの動作の流れの一例について説明した。かかる動作によれば、関連コンテンツが存在するシーンを特定することにより、そのシーンの関連コンテンツ情報を取得することができるため、番組コンテンツ全体についての関連コンテンツ情報を取得する場合よりも通信量を低減することが可能となる。
さらに、関連コンテンツの有無がシーン情報と切り離されるため、サーバ系40においてはシーン情報の管理が簡便になり、タブレット10側においてもシーン自体が更新されない限り一度取得したシーン情報を再利用できるようになる。また、関連コンテンツ情報を管理する後メタサーバ42と関連コンテンツ自体を管理する関連コンテンツサーバ41とを別サーバとすることにより、サーバ系40に対する処理負荷を分散させることができる。
以上、本開示の実施形態に係るタブレット10による関連コンテンツ取得の詳細について説明した。
<<5.関連コンテンツの表示制御の説明>>
続いて、本開示の実施形態に係るタブレット10による関連コンテンツの表示制御の詳細について説明する。上記したように、タブレット10の表示制御部135は、関連コンテンツを番組コンテンツが録画された後に関連コンテンツが表示されるように制御するが、関連コンテンツの表示制御に関しては、様々な手法が想定される。
図10は、関連コンテンツの表示の一例(バナー広告を用いる場合)を示す図である。表示制御部135は、タッチパネルディスプレイ138に表示される画面に関連コンテンツK1が表示されるように制御してもよい。例えば、図10に示すように、表示制御部135は、再生対象の番組コンテンツを選択するための選択画面1381の所定位置に関連コンテンツK1が表示されるように制御してもよい。
なお、図10に示した例では、関連コンテンツK1は、選択されるとリンク先のページに遷移するようなバナー広告を想定しているが、関連コンテンツK1の種類は、バナー広告以外のコンテンツであってもよい。また、関連コンテンツK1が表示される画面は、再生対象の番組コンテンツを選択するための選択画面1381以外の画面であってもよい。
図11は、関連コンテンツの表示の一例(プリロール広告を用いる場合)を示す図である。表示制御部135は、表示装置30に表示される画面に関連コンテンツK4が表示されるように制御してもよい。例えば、図11に示すように、表示制御部135は、再生対象の番組コンテンツC1の前に関連コンテンツを挿入することにより関連コンテンツK4に続いて再生対象の番組コンテンツC1が表示されるように制御してもよい。
図11に示した例では、表示制御部135は、再生対象の番組コンテンツC1の前に関連コンテンツを挿入しているが、関連コンテンツが挿入される位置は、再生対象の番組コンテンツC1の後であってもよいし、再生対象の番組コンテンツC1の中であってもよい。すなわち、関連コンテンツが挿入される位置は、特に限定されない。
より詳細には、表示制御部135が関連コンテンツK4を本体20に出力すると、本体20は、関連コンテンツK4が表示装置30により表示されるように表示装置30を制御する。なお、図11に示した例では、本編H1、CM、本編H2、CM、本編H3の順にシーンが変化していく番組コンテンツC1を想定しているが、番組コンテンツC1の構成は、このような構成に限定されないことは言うまでもない。また、関連コンテンツK4は、どのようなコンテンツであってもよい。
以上においては、番組コンテンツとは別のコンテンツである関連コンテンツが表示される場合を例として示してきたが、番組コンテンツ自体が加工された上で表示されてもよい。図12は、番組コンテンツに含まれるCMをスキップさせる例を示す図である。例えば、表示制御部135は、番組コンテンツC1に含まれる一部のCMをスキップさせるようにしてもよいし、全部のCMをスキップさせるようにしてもよい。例えば、表示制御部135は、番組コンテンツC1に含まれるCMが所定の条件を満たす場合には、そのCMが表示されるように制御し、所定の条件を満たさない場合には、そのCMの表示をスキップさせてもよい。
図12では、本編H2と本編H3との間に存在するCMをスキップさせる例を示している。例えば、本編の盛り上がり部分にCMが挿入されてしまうと本編の視聴の妨げになる可能性が高いため、その位置のCMはスキップさせるようにしてもよい。盛り上がり部分は、例えば、番組コンテンツに対する前記した画像特徴量または音声特徴量に基づく所定の認識処理(例えば、音声認識)が施された結果として得られた認識結果に基づいて判定されてもよいし、前記した後メタなどのメタ情報など番組コンテンツに対して書き込まれた視聴者によるコメントに基づいて判定されてもよい。例えば、画像音声特徴量を用いた場合では、人の顔画像が検出でき音声レベルが所定のしきい値以上の場合、または人の歓声などの所定周波数帯域の音声スペクトルパワーが所定値以上の場合には盛り上がりと判定できる。
このようにして、番組コンテンツC1に含まれるCMをスキップさせることにより、番組コンテンツC1の再生時間を短縮させることができるとともに、スキップさせないCMによる広告の効果を高めることができる。また、例えば、本編を構成するコーナーとコーナーとの間であれば、本編の視聴の妨げになる可能性は低いため、その位置のCMは残すようにしてもよい。
図13は、番組コンテンツに含まれるCMを移動させる例を示す図である。例えば、表示制御部135は、番組コンテンツC1に含まれる一部のCMを移動させてもよいし、全部のCMを移動させてもよい。例えば、表示制御部135は、番組コンテンツC1が所定の条件を満たす場合には、番組コンテンツC1に含まれるCMを移動させないように制御し、所定の条件を満たさない場合には、そのCMを移動させるように制御してもよい。
図13では、本編H1と本編H2との間に存在するCMと、本編H2と本編H3との間に存在するCMとを、番組コンテンツC1の前に移動させる例を示している。例えば、番組コンテンツC1の種類が所定のジャンル(例えば、ドラマ、映画など)である場合には、CMが本編の視聴の妨げになる可能性が高いため、番組コンテンツC1に含まれるCMを移動させるように制御してもよい。一方、例えば、番組コンテンツC1の種類が所定のジャンルでない場合には、CMが本編の視聴の妨げになる可能性が低いため、番組コンテンツC1に含まれるCMを移動させないように制御してもよい。
なお、CMを移動させた結果、同一のCMが連続してしまう可能性も想定される。同一のCMが連続してしまう場合には、その番組コンテンツを視聴する視聴者のCMに対する興味を減退させてしまう可能もある。したがって、表示制御部135は、同一のCMが連続してしまう場合には、それらのCMの一部または全部を他のCMに差し替えてもよい。CMの差し替えは、類似するCMが連続するようになされてもよい。類似するCMとしては、例えば、出演者が同一のCM、宣伝される商品または商品の種類が同一の異なるCMなどが挙げられる。同一または類似するCMは、前記、所定の画像特徴量または音声特徴量を用いて所定のフレーム毎のマッチング処理に基づいて所定のサーバに蓄積されているコンテンツの中から検出することが考えられる。このCM検出において、フレーム毎の距離計算値(フレーム間距離Fd)を検出対象CMコンテンツの時間長(フレーム長)分だけ加算した距離(コンテンツ間距離Cd)を計算し所定のしきい値(Dth)と比較することでマッチング処理を行うことが考えられる。ここで、Dthの値を変えることで同一CMまたは類似CMの検出を行うことができる。すなわち、同一CM検出の場合は、Dthを小さな値Dthsとし、類似CM検出の場合は、DthをDthsに比べて大きな値Dthm(Dths<Dthm)とすることで処理を行う。
CMの出演者は、例えば、番組コンテンツに対する所定の認識処理(例えば、顔認識処理、音声認識など)が施された結果として得られた認識結果に基づいて判定されてもよい。あるいは、CMの出演者は、番組コンテンツに対して書き込まれた視聴者によるコメントに基づいて判定されてもよいし、CMに付されているメタデータに出演者を特定するための情報が含まれている場合には当該情報に基づいて判定されてもよい。
再生対象の番組コンテンツを選択するための選択画面1381の所定位置に表示される関連コンテンツK1と再生対象の番組コンテンツに挿入される関連コンテンツK4とは、関連していなくてもよいし、関連していてもよい。
例えば、関連コンテンツK1に対する選択操作が行われた場合には、関連コンテンツK1に視聴者が興味を持った可能性が高いため、表示制御部135は、関連コンテンツK1と同一または類似する関連コンテンツK4が表示されるように制御してもよい。一方、例えば、関連コンテンツK1に対する選択操作が行われなかった場合には、関連コンテンツK1に視聴者が興味を持たなかった可能性が高いため、表示制御部135は、関連コンテンツK1と類似度が低い関連コンテンツK4が表示されるように制御してもよい。
表示制御部135により表示制御される関連コンテンツは、再生対象の番組コンテンツと関連していなくてもよいし、再生対象の番組コンテンツと関連していてもよい。図14は、関連コンテンツの表示の一例(再生対象の番組コンテンツと関連する関連コンテンツを用いる場合)を示す図である。図14に示した再生対象の番組コンテンツに対する操作画面1382は、例えば、再生対象の番組コンテンツを選択するための選択画面1381において再生対象の番組コンテンツが視聴者により選択された場合における遷移先の画面である。例えば、再生対象の番組コンテンツに対する操作画面1382において視聴者により再生操作がなされると、再生対象の番組コンテンツが再生される。
図14に示すように、表示制御部135は、再生対象の番組コンテンツに対する操作画面1382の所定位置に関連コンテンツ(例えば、関連コンテンツK2および関連コンテンツK3)が表示されるように制御してもよい。関連コンテンツK2および関連コンテンツK3それぞれは、再生対象の番組コンテンツと関連している。すなわち、既に述べたように、関連コンテンツとして再生対象の番組コンテンツに関連する関連コンテンツが関連コンテンツ取得部133により取得された場合を想定している。
関連コンテンツの表示タイミングとしては、様々なタイミングが想定される。例えば、関連コンテンツ取得部133は、再生対象の番組コンテンツに番組セグメントが含まれる場合、当該番組セグメントに関連する関連セグメントを取得し、表示制御部135は、番組セグメントの表示タイミングに応じたタイミングにより関連セグメントが表示されるように制御してもよい。
図15は、番組コンテンツC1および関連コンテンツK2の表示タイミングの一例を示す図である。図15に示した例では、番組セグメントは、番組コンテンツを構成するコーナーおよびCMに相当する。番組コンテンツC1を構成する番組セグメント(図15に示した例では、コーナー1、コーナー2、CM1、CM2、コーナー3およびコーナー4)には、関連セグメント(図15に示した例では、コーナー連動広告、コーナー連動広告、CM連動広告、CM連動広告、コーナー連動広告およびコーナー連動広告)が関連している。
図15に示した例では、番組セグメントと関連セグメントとが同時に表示されているが、番組セグメントと関連セグメントとは、同時に表示されなくてもよい。例えば、関連セグメントは、番組セグメントの表示タイミングよりも所定時間後に表示されてもよい。また、図15に示した例では、番組セグメントの表示時間と関連セグメントの表示時間とは同一の長さであるが、各々の表示時間は異なっていてもよい。
ところで、番組コンテンツに含まれるCMは、早送り再生によりスキップされてしまう場合がある。かかる場合、早送り再生によりスキップされたCMを視聴者が把握できるようにすれば、そのCMに興味を持たせる機会を作ることができる。したがって、早送り再生によりスキップされたCMがCM一覧として表示されてもよい。CM一覧は、例えば、番組コンテンツのメタデータとして、タブレット10が本体20から取得され得る。
図16は、CMをスキップさせた場合に表示されるCM一覧の例を示す図である。図16に示すように、表示制御部135は、番組コンテンツに含まれるCMが早送り再生された場合には、このCMを示す情報がCM一覧L1として表示されるように制御してもよい。図16に示された例では、CM一覧L1には、CMを識別するための情報としての「CM」、「スポンサー」、「出演者」および「内容」が含まれているが、CM一覧L1に含まれる情報は特に限定されない。
また、CM一覧L1に含まれる情報の順序は、特に限定されない。例えば、視聴者が既に視聴したCMについての情報は、CM一覧L1のうち、視聴者が見やすい位置(例えば、CM一覧L1の上側など)に表示されてもよい。また、視聴者が既に視聴したCMについての情報に対応する位置には、視聴済みである旨の印が表示されてもよい。
なお、CMの種類に関わらずCMをスキップさせてもよいし、スキップさせてもよいCMとスキップさせないCMとを設けてもよい。例えば、表示制御部135は、上記したキーワード(例えば、録画検索キーワード、再生検索キーワード、事前登録情報など)に関連したCMに対して早送り操作がなされた場合には、そのCMはスキップさせないようにしてもよいし、そのCMをスキップさせるとともにそのCMがキーワードに関連する旨の表示がされるように制御してもよい。
また、例えば、表示制御部135は、再生対象の番組コンテンツの出演者に関連するCMに対して早送り操作がなされた場合には、そのCMはスキップさせないようにしてもよいし、そのCMをスキップさせるとともにそのCMが出演者に関連する旨の表示がされるように制御してもよい。
また、シリーズCMの一部を構成するCMが番組コンテンツに含まれている場合も想定される。かかる場合には、表示制御部135は、CMに対して早送り操作がなされなかった場合には、そのCMに興味が持たれたと判断してそのCMにより構成されるシリーズCMの続きが表示されるように制御してもよい。さらに、表示制御部135は、シリーズCMの続きの表示前に、シリーズCMの続きの表示を行うか否かの確認画面が表示されるように制御してもよい。
また、所定の時期よりも過去に生成されたCMは、他のCMに差し替えられてもよい。当該他のCMは、タブレット10によりネットワーク60を介して所定のサーバから取得されてもよい。また、タブレット10を使用する視聴者を特定するための情報が取得された場合には、視聴者を特定するための情報に基づいて、当該視聴者に応じたCMが取得されてもよい。視聴者の特定は、番組コンテンツの再生履歴に基づく嗜好情報に基づいてなされてもよいし、撮像画像に対する顔認識の結果、録音データに対する音声認識の結果、視聴者から採取された指紋情報などに基づいてなされてもよい。
このように、表示装置30に番組コンテンツが表示されている最中に、関連コンテンツがタブレット10に表示されると、視聴者が関連コンテンツの視聴に集中してしまい、番組コンテンツの視聴が疎かになってしまう可能性もある。そこで、番組コンテンツの視聴を妨げないための処理が実行されてもよい。
具体的には、例えば、表示制御部135は、関連コンテンツが表示されるように制御した後、番組コンテンツの再生中にタブレット10が所定範囲外のサイトにアクセスした場合には、番組コンテンツの再生が停止されるように制御してもよい。ここでの所定範囲外のサイトは、関連コンテンツサーバ41、後メタサーバ42および本体20のいずれでもない装置が提供するサイトであってもよい。また、例えば、表示制御部135は、タブレット10によるアクセス先が所定範囲内のサイトに戻った場合には、番組コンテンツの再生が再開されるように制御してもよい。
また、例えば、番組コンテンツに含まれるCMのうち、再生されたCMに対しては、既に再生された旨を示す情報が付与され、既に再生された旨を示す情報が付されたCMは、視聴者による操作に基づいて再生され、表示制御部135により表示制御されて、後から視聴者が視聴できるようにしてもよい。
図17は、関連コンテンツの表示の一例(再生対象の番組コンテンツに関連する関連コンテンツを用いる場合)を示す図である。図17に示した再生対象の番組コンテンツに対する操作画面1382は、例えば、再生対象の番組コンテンツを選択するための選択画面1381において再生対象の番組コンテンツが視聴者により選択された場合における遷移先の画面である。例えば、再生対象の番組コンテンツに対する操作画面1382において視聴者により再生操作がなされると、再生対象の番組コンテンツが再生される。
図17に示すように、表示制御部135は、再生対象の番組コンテンツに対する操作画面1382の所定位置に関連コンテンツ一覧L2が表示されるように制御してもよい。関連コンテンツ一覧L2に存在する各々の関連コンテンツは、再生対象の番組コンテンツと関連している。すなわち、既に述べたように、再生対象の番組コンテンツに関連する各々の関連コンテンツが関連コンテンツ取得部133により取得された場合を想定している。関連コンテンツ一覧L2に存在する各々の関連コンテンツは、一例として「出演者」、「商品の種類」、「商品名」、「価格」により構成されているが、かかる例に限定されない。
このように、番組コンテンツに関連する関連コンテンツが複数存在する場合が想定される。かかる場合、表示制御部135は、当該複数の関連コンテンツそれぞれの優先順位を特定し、当該複数の関連コンテンツそれぞれが対応する優先順位に応じた位置に当該複数の関連コンテンツそれぞれが表示されるように制御してもよい。例えば、表示制御部135は、番組コンテンツの選択に利用された所定の情報(例えば、番組コンテンツの選択に利用されたキーワードなど)に基づいて、当該複数の関連コンテンツそれぞれの優先順位を特定してもよい。
例えば、表示制御部135は、番組コンテンツの選択に利用されたキーワード(例えば、録画検索キーワード、再生検索キーワード、事前登録情報など)の優先順位を番組コンテンツの選択に利用されていないキーワードよりも高く特定してもよい。また、表示制御部135は、優先順位が高い関連コンテンツほど、視聴者が見やすい位置(例えば、関連コンテンツ一覧L2の上側など)に表示されるように制御してもよい。
以上、本開示の実施形態に係るタブレット10による関連コンテンツの表示制御の詳細について説明した。
<<6.表示制御システムの動作例>>
続いて、本開示の実施形態に係る表示制御システム1の動作について説明する。図18は、本開示の実施形態に係る表示制御システム1の動作(メイン動作)の流れの例を示すフローチャートである。なお、図18に示した表示制御システム1の動作(メイン動作)の流れは、一例に過ぎないため、表示制御システム1の動作(メイン動作)の流れは、図18に示した例に限定されない。
図18に示したように、まず、タブレット10は、動作モードが再生モードであるか否かを判定し(R1)、動作モードが再生モードではない場合には(R1で「No」)、所定動作モードのフローへ動作を移行させる。所定動作モードのフローはここには示されていないが、特に限定されない。
一方、タブレット10は、動作モードが再生モードである場合には(R1で「Yes」)、番組コンテンツC0を選択し(R2)、デフォルトの表示モードを設定する(R3)。タブレット10は、表示モードを検出し(R4)、本体20は、番組コンテンツC0の再生処理を行う(R5)。続いて、タブレット10は、表示モードが同期表示モードであるか否かを判定する(R6)。
同期表示モードは、上記した例では、番組コンテンツの表示タイミングに応じたタイミングで関連コンテンツが表示されるモードに相当する。タブレット10は、表示モードが同期表示モードである場合には(R6で「Yes」)、R7に動作を移行させる。一方、タブレット10は、表示モードが同期表示モードではない場合には(R6で「No」)、R11に動作を移行させる。
R7に動作が移行された場合には、タブレット10は、番組コンテンツC0からコーナーを検出し(R7)、前回検出時のコーナーから今回検出時のコーナーが変化したか否かを判定する(R8)。コーナーの検出は、番組コンテンツC0のメタデータ(例えば、前メタ、後メタなど)に基づいてなされてもよいし、番組コンテンツC0に対して所定の認識処理(例えば、顔認識処理、音声認識処理)が施された結果に基づいてなされてもよい。
タブレット10は、コーナーが変化していない場合には(R8で「No」)、R15に動作を移行させる。一方、タブレット10は、コーナーが変化した場合には(R8で「Yes」)、番組コンテンツC0を構成する本編に対するCMの挿入タイミングであるか否かを判定する(R9)。
タブレット10は、番組コンテンツC0を構成する本編に対するCMの挿入タイミングではない場合には(R9で「No」)、R15に動作を移行させる。一方、番組コンテンツC0を構成する本編に対するCMの挿入タイミングである場合には(R9で「Yes」)、本体20は、番組コンテンツC0を構成する本編にCMを挿入することによりCMを表示し、タブレット10は、番組コンテンツC0に関連する関連コンテンツに含まれるバナー広告を表示する(R10)。
R11に動作が移行された場合には、タブレット10は、番組コンテンツC0を構成する本編に対するCMの挿入タイミングであるか否かを判定する(R11)。タブレット10は、番組コンテンツC0を構成する本編に対するCMの挿入タイミングではない場合には(R11で「No」)、R13に動作を移行させる。一方、番組コンテンツC0を構成する本編に対するCMの挿入タイミングである場合には(R11で「Yes」)、本体20は、番組コンテンツC0を構成する本編にCMを挿入することによりCMを表示し(R12)、R13に動作を移行させる。
R13に動作が移行された場合には、タブレット10は、関連コンテンツを構成する本編に対する広告の挿入タイミングであるか否かを判定する(R13)。タブレット10は、関連コンテンツを構成する本編に対する広告の挿入タイミングではない場合には(R13で「No」)、R15に動作を移行させる。一方、関連コンテンツを構成する本編に対する広告の挿入タイミングである場合には(R13で「Yes」)、タブレット10は、関連コンテンツを構成する本編にバナー広告を挿入することによりバナー広告を表示し(R14)、R15に動作を移行させる。
続いて、タブレット10は、動作終了か否かを判定し(R15)、動作終了の場合には(R15で「Yes」)、動作を終了させる。一方、タブレット10は、動作終了ではない場合には(R15で「No」)、表示モードを変更するか否かを判定し(R16)、表示モードを変更しない場合には(R16で「No」)、R4に動作を移行させるが、表示モードを変更する場合には(R16で「Yes」)、表示モードを変更し(R17)、R4に動作を移行させる。
図19は、本開示の実施形態に係る表示制御システム1の動作(再生対象の番組コンテンツに連動する関連コンテンツを用いる場合)の流れの例を示すフローチャートである。なお、図19に示した表示制御システム1の動作(再生対象の番組コンテンツに連動する関連コンテンツを用いる場合)の流れは、一例に過ぎないため、表示制御システム1の動作(再生対象の番組コンテンツに連動する関連コンテンツを用いる場合)の流れは、図19に示した例に限定されない。
図19に示したように、まず、タブレット10は、動作モードが特殊再生モードであるか否かを判定し(Q1)、動作モードが特殊再生モードではない場合には(Q1で「No」)、通常表示処理を行い(Q5)、Q4に動作を移行させる。特殊再生モードは、上記した例では、早送り再生に相当する。また、通常表示処理は、関連コンテンツを表示する処理に相当する。
一方、タブレット10は、動作モードが特殊再生モードである場合には(Q1で「Yes」)、再生中の番組コンテンツ内の全CM情報を取得し(Q2)、取得した全CM情報に基づいて一覧表示処理を行う(Q3)。全CM情報は、上記した例では、CM一覧L1に相当する。続いて、タブレット10は、動作終了か否かを判定し(Q4)、動作終了の場合には(Q4で「Yes」)、動作を終了させる。一方、タブレット10は、動作終了ではない場合には(Q4で「No」)、Q1に動作を移行させる。
本体20における動作もタブレット10における動作と並行して行われる。まず、本体20は、動作モードが特殊再生モードであるか否かを判定し(P1)、動作モードが特殊再生モードではない場合には(P1で「No」)、通常表示処理を行い(P4)、P5に動作を移行させる。特殊再生モードは、上記した例では、早送り再生に相当する。また、通常表示処理は、番組コンテンツを表示する処理に相当する。
一方、本体20は、動作モードが特殊再生モードである場合には(P1で「Yes」)、番組コンテンツの現在の再生位置がCM区間であるか否かを判定する(P2)。本体20は、番組コンテンツの現在の再生位置がCM区間ではない場合には(P2で「No」)、P5に動作を移行させる。一方、本体20は、番組コンテンツの現在の再生位置がCM区間である場合には(P2で「Yes」)、CMがキーワードと関連するか否かを判定する(P3)。
本体20は、CMがキーワードと関連しない場合には(P3で「No」)、P5に動作を移行させる。一方、本体20は、CMがキーワードと関連する場合には(P3で「YesNo」)、通常表示処理を行い(P4)、P5に動作を移行させる。通常表示処理は、上記した例では、番組コンテンツの表示処理に相当する。本体20は、動作終了か否かを判定し(P5)、動作終了の場合には(P5で「Yes」)、動作を終了させる。一方、本体20は、動作終了ではない場合には(P5で「No」)、P1に動作を移行させる。
図20は、本開示の実施形態に係る表示制御システム1の動作(再生対象の番組コンテンツに連動する関連コンテンツを用いる場合)の流れの例を示すフローチャートである。なお、図20に示した表示制御システム1の動作(再生対象の番組コンテンツに連動する関連コンテンツを用いる場合)の流れは、一例に過ぎないため、表示制御システム1の動作(再生対象の番組コンテンツに連動する関連コンテンツを用いる場合)の流れは、図20に示した例に限定されない。
図20に示したように、まず、タブレット10は、動作モードが特殊再生モードであるか否かを判定し(Q1)、動作モードが特殊再生モードではない場合には(Q1で「No」)、通常表示処理を行い(Q5)、Q6に動作を移行させる。特殊再生モードは、上記した例では、早送り再生に相当する。また、通常表示処理は、関連コンテンツを表示する処理に相当する。
一方、タブレット10は、動作モードが特殊再生モードである場合には(Q1で「Yes」)、再生中の番組コンテンツ内の全CM情報を取得し(Q2)、取得した全CM情報に基づいて一覧表示処理を行う(Q3)。全CM情報は、上記した例では、CM一覧L1に相当する。
続いて、タブレット10は、番組コンテンツの現在の再生位置がCM区間であるか否かを判定する(P2)。タブレット10は、番組コンテンツの現在の再生位置がCM区間ではない場合には(P2で「No」)、Q4に動作を移行させる。一方、本体20は、番組コンテンツの現在の再生位置がCM区間である場合には(P2で「Yes」)、CMがキーワードと関連するか否かを判定する(P3)。
タブレット10は、CMがキーワードと関連しない場合には(P3で「No」)、Q4に動作を移行させる。一方、タブレット10は、CMがキーワードと関連する場合には(P3で「Yes」)、Q6に動作を移行させる。Q6に動作が移行された場合には、タブレット10は、本体20に対して表示要求を送信し(Q6)、Q4に動作を移行させる。続いて、タブレット10は、動作終了か否かを判定し(Q4)、動作終了の場合には(Q4で「Yes」)、動作を終了させる。一方、タブレット10は、動作終了ではない場合には(Q4で「No」)、Q1に動作を移行させる。
本体20における動作もタブレット10における動作と並行して行われる。まず、本体20は、タブレット10から表示要求を受信したか否かを判定する(P6)。本体20は、タブレット10から表示要求を受信しなかった場合には(P6で「No」)、P5に動作を移行させる。
一方、本体20は、タブレット10から表示要求を受信した場合には(P6で「Yes」)、通常表示処理を行い(P4)、P5に動作を移行させる。通常表示処理は、上記した例では、番組コンテンツの表示処理に相当する。本体20は、動作終了か否かを判定し(P5)、動作終了の場合には(P5で「Yes」)、動作を終了させる。一方、本体20は、動作終了ではない場合には(P5で「No」)、P1に動作を移行させる。
図21は、本開示の実施形態に係る表示制御システム1の動作(再生対象の番組コンテンツに連動する関連コンテンツを用いる場合)の流れの例を示すフローチャートである。なお、図21に示した表示制御システム1の動作(再生対象の番組コンテンツに連動する関連コンテンツを用いる場合)の流れは、一例に過ぎないため、表示制御システム1の動作(再生対象の番組コンテンツに連動する関連コンテンツを用いる場合)の流れは、図21に示した例に限定されない。
図21に示したように、まず、タブレット10または本体20は、動作モードが特殊再生モードであるか否かを判定し(U1)、動作モードが特殊再生モードではない場合には(U1で「No」)、本体側ディスプレイ通常再生処理を行い(U8)、タブレット側通常表示処理を行い(U9)、U7に動作を移行させる。特殊再生モードは、上記した例では、早送り再生に相当する。また、本体側ディスプレイ通常表示処理は、本体20が表示装置30に番組コンテンツを表示させる処理に相当し、タブレット側通常表示処理は、タブレット10が関連コンテンツを表示する処理に相当する。
一方、タブレット10または本体20は、動作モードが特殊再生モードである場合には(U1で「Yes」)、番組コンテンツの現在の再生位置がCM区間であるか否かを判定する(U2)。タブレット10または本体20は、番組コンテンツの現在の再生位置がCM区間ではない場合には(U2で「No」)、U5に動作を移行させる。一方、タブレット10または本体20は、番組コンテンツの現在の再生位置がCM区間である場合には(U2で「Yes」)、CMがキーワードと関連するか否かを判定する(U3)。
タブレット10または本体20は、CMがキーワードと関連しない場合には(U3で「No」)、U5に動作を移行させる。一方、タブレット10または本体20は、CMがキーワードと関連する場合には(U3で「Yes」)、Uに動作を移行させる。U5に動作が移行された場合には、タブレット10は、再生中の番組コンテンツ内の全CM情報を取得し(U5)、取得した全CM情報に基づいてタブレット側CM一覧表示処理を行う(U6)。全CM情報は、上記した例では、CM一覧L1に相当する。
U7に動作が移行された場合には、タブレット10および本体20は、動作終了か否かを判定し(U7)、動作終了の場合には(U7で「Yes」)、動作を終了させる。一方、タブレット10および本体20は、動作終了ではない場合には(U7で「No」)、U1に動作を移行させる。
図22は、本開示の実施形態に係る表示制御システム1の動作(キーワードに応じた関連コンテンツを用いる場合)の流れの例を示すフローチャートである。なお、図22に示した表示制御システム1の動作(キーワードに応じた関連コンテンツを用いる場合)の流れは、一例に過ぎないため、表示制御システム1の動作(キーワードに応じた関連コンテンツを用いる場合)の流れは、図22に示した例に限定されない。
図22に示したように、まず、タブレット10は、動作モードが再生モードであるか否かを判定し(T1)、動作モードが再生モードではない場合には(T1で「No」)、所定動作モードのフローへ動作を移行させる。所定動作モードのフローはここには示されていないが、特に限定されない。
一方、タブレット10は、動作モードが再生モードである場合には(T1で「Yes」)、番組コンテンツC0を選択し(T2)、広告処理モードを検出する(T3)。広告処理モードは、上記した例では、録画検索キーワード、再生検索キーワード、事前登録情報などのキーワードのうち、どのキーワードを検出するかを示すモードに相当する。続いて、タブレット10は、広告処理モードに応じたキーワードを検出し(T4)、キーワードに応じた関連コンテンツK0を検索する(T5)。
本体20は、関連コンテンツK0が見つかった場合には(T6で「Yes」)、番組コンテンツC0を再生するとともに再生した番組コンテンツC0が表示されるように制御し、タブレット10は、関連コンテンツK0を再生するとともに再生した関連コンテンツK0が表示されるように制御する(T7)。タブレット10は、動作終了か否かを判定し(T8)、動作終了の場合には(T8で「Yes」)、動作を終了させる。一方、タブレット10は、動作終了ではない場合には(T8で「No」)、T7に動作を移行させる。
一方、タブレット10は、関連コンテンツK0が見つからなかった場合には(T6で「No」)、通常広告コンテンツT0を選択する(T9)。通常広告コンテンツT0は、キーワードに関わらず取得可能なコンテンツであり、あらかじめ用意されている。続いて、本体20は、番組コンテンツC0を再生するとともに再生した番組コンテンツC0が表示されるように制御し、タブレット10は、通常広告コンテンツT0を再生するとともに再生した通常広告コンテンツT0が表示されるように制御する(T10)。タブレット10は、動作終了か否かを判定し(T11)、動作終了の場合には(T11で「Yes」)、動作を終了させる。一方、タブレット10は、動作終了ではない場合には(T11で「No」)、T10に動作を移行させる。
図23は、本開示の実施形態に係る表示制御システム1の動作(キーワードに応じた関連コンテンツを用いる場合)の流れの例を示すフローチャートである。なお、図23に示した表示制御システム1の動作(キーワードに応じた関連コンテンツを用いる場合)の流れは、一例に過ぎないため、表示制御システム1の動作(キーワードに応じた関連コンテンツを用いる場合)の流れは、図23に示した例に限定されない。
図23に示したように、まず、タブレット10は、動作モードが再生モードであるか否かを判定し(T1)、動作モードが再生モードではない場合には(T1で「No」)、所定動作モードのフローへ動作を移行させる。所定動作モードのフローはここには示されていないが、特に限定されない。
一方、タブレット10は、動作モードが再生モードである場合には(T1で「Yes」)、番組コンテンツC0を選択し(T2)、広告処理モードを検出する(T3)。広告処理モードは、上記した例では、録画検索キーワード、再生検索キーワード、事前登録情報などのキーワードのうち、どのキーワードを検出するかを示すモードに相当する。続いて、タブレット10は、広告処理モードに応じたキーワードを検出する(T4)。
タブレット10は、新規キーワード入力があったか否かを判定する(T41)。新規キーワードは、例えば、現在から所定時間前までの期間に入力されたキーワードである。タブレット10は、新規キーワードの入力がなかった場合には(T41で「No」)、T5に動作を移行させる。一方、タブレット10は、新規キーワードの入力があった場合には(T41で「Yes」)、当該キーワードの重要度を高めるため、当該キーワードに対する重み付けの処理であるキーワード重み付け処理を行い(T42)、T5に動作を移行させる。
キーワード重み付け処理は、例えば、データベースにおける過去の番組コンテンツの検索履歴から特定される新規キーワードに対してなされてもよい。タブレット10が新規キーワードに対してどの程度の重み付けを行うかに関しては、特に限定されない。続いて、タブレット10は、キーワードに応じた関連コンテンツK0を検索する(T5)。
本体20は、関連コンテンツK0が見つかった場合には(T6で「Yes」)、番組コンテンツC0を再生するとともに再生した番組コンテンツC0が表示されるように制御し、タブレット10は、関連コンテンツK0を再生するとともに再生した関連コンテンツK0が表示されるように制御する(T7)。タブレット10は、動作終了か否かを判定し(T8)、動作終了の場合には(T8で「Yes」)、動作を終了させる。一方、タブレット10は、動作終了ではない場合には(T8で「No」)、T7に動作を移行させる。
一方、タブレット10は、関連コンテンツK0が見つからなかった場合には(T6で「No」)、通常広告コンテンツT0を選択する(T9)。通常広告コンテンツT0は、キーワードに関わらず取得可能なコンテンツであり、あらかじめ用意されている。続いて、本体20は、番組コンテンツC0を再生するとともに再生した番組コンテンツC0が表示されるように制御し、タブレット10は、通常広告コンテンツT0を再生するとともに再生した通常広告コンテンツT0が表示されるように制御する(T10)。タブレット10は、動作終了か否かを判定し(T11)、動作終了の場合には(T11で「Yes」)、動作を終了させる。一方、タブレット10は、動作終了ではない場合には(T11で「No」)、T10に動作を移行させる。
<<7.むすび>>
以上説明したように、本開示の実施形態によれば、番組コンテンツに関連する関連コンテンツを取得する関連コンテンツ取得部133と、番組コンテンツが録画された後に関連コンテンツが表示されるように制御する表示制御部135と、を備える、表示制御装置を提供することが可能である。かかる構成によれば、番組コンテンツが録画された後に関連コンテンツが表示されるようにするための技術が提供される。したがって、例えば、番組コンテンツに対するユーザの評価などを考慮した関連コンテンツをユーザに提供することができる。
本開示の技術によって、より効果的に関連コンテンツを視聴者に提示することが可能となる。その結果、関連コンテンツを介した新たなビジネスチャンスを作り出す可能性を高めることが可能となる。また、視聴者は、本開示の技術によって提供された関連コンテンツを視聴することにより、より効果的な関連情報(例えば、商品情報など)を得ることが容易になることが期待される。また、視聴者は、番組コンテンツを楽しむとともに番組コンテンツに関連する関連コンテンツを楽しむことも可能となる。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本明細書の表示制御システム1の動作例における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、表示制御システム1の動作例における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上記した装置(例えば、タブレット10、本体20、関連コンテンツサーバ41、後メタサーバ42など)が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
上記実施例では、番組コンテンツを処理対象に説明したが、番組コンテンツ以外にも他の所定の画像音声情報を含む映像コンテンツに対しても本技術を適用することが考えられる。例えば、所定のCMや広告情報を含む映画やその他のソフトコンテンツが記録された記録媒体を再生する場合に本技術の処理を適用することも考えられる。その場合には、図3におけるディスクドライブ部270で所定の映像コンテンツを再生する。
なお、前記映像コンテンツは音声情報を含まない場合も考えられる。さらに、ネットワーク上における所定のサーバに蓄積されている映像コンテンツをストリーミングする場合や、所定のローカルストレージにダウンロードした後、再生する場合に本技術の処理を適用することも考えられる。その場合には、図3におけるネットワークI/F210を介して所定のコンテンツにアクセスしたり、記録媒体230をローカルストレージとして所定のコンテンツをダウンロードして記録する。
ここで上記映像コンテンツは、所定のコンテンツにおける一部の所定シーン区間とすることも考えられる。例えば、ある番組コンテンツにおいて所定の芸能人が出演している番組シーンや番組コーナーあるいはCM区間とすることも考えられる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
所定の映像コンテンツに関連する関連コンテンツを取得する関連コンテンツ取得部と、
前記所定の映像コンテンツが録画された後に前記関連コンテンツが表示されるように制御する表示制御部と、
を備える、表示制御装置。
(2)
前記関連コンテンツ取得部は、録画対象を選択するための録画選択情報に応じて前記所定の映像コンテンツが録画対象として選択された場合、前記録画選択情報に応じた前記関連コンテンツを取得する、
前記(1)に記載の表示制御装置。
(3)
前記関連コンテンツ取得部は、再生対象を選択するための再生選択情報に応じて前記所定の映像コンテンツが再生対象として選択された場合、前記再生選択情報に応じた前記関連コンテンツを取得する、
前記(1)に記載の表示制御装置。
(4)
前記関連コンテンツ取得部は、事前登録情報に応じて前記所定の映像コンテンツが録画対象として選択された場合、前記事前登録情報に応じた前記関連コンテンツを取得する、
前記(1)に記載の表示制御装置。
(5)
前記関連コンテンツ取得部は、前記所定の映像コンテンツのメタデータに応じた前記関連コンテンツを取得する、
前記(1)に記載の表示制御装置。
(6)
前記関連コンテンツ取得部は、前記所定の映像コンテンツに関連する関連コンテンツとして再生対象の映像コンテンツに関連する関連コンテンツを取得する、
前記(1)〜(5)のいずれか一項に記載の表示制御装置。
(7)
前記関連コンテンツ取得部は、前記所定の映像コンテンツに関連する関連コンテンツとして最近に録画された所定の映像コンテンツに関連する関連コンテンツを取得する、
前記(1)〜(5)のいずれか一項に記載の表示制御装置。
(8)
前記表示制御部は、再生対象の映像コンテンツの前に前記関連コンテンツを挿入することにより前記関連コンテンツに続いて前記再生対象の映像コンテンツが表示されるように制御する、
前記(1)に記載の表示制御装置。
(9)
前記関連コンテンツ取得部は、再生対象の映像コンテンツに所定の映像セグメントが含まれる場合、前記所定の映像セグメントに関連する関連セグメントを取得し、
前記表示制御部は、前記所定の映像セグメントの表示タイミングに応じたタイミングにより前記関連セグメントが表示されるように制御する、
前記(1)に記載の表示制御装置。
(10)
前記表示制御部は、再生対象の映像コンテンツを選択するための選択画面の所定位置に前記関連コンテンツが表示されるように制御する、
前記(1)に記載の表示制御装置。
(11)
前記表示制御部は、再生対象の映像コンテンツに対する操作画面の所定位置に前記関連コンテンツが表示されるように制御する、
前記(1)に記載の表示制御装置。
(12)
前記表示制御部は、前記所定の映像コンテンツに関連する関連コンテンツが複数存在する場合、当該複数の関連コンテンツそれぞれの優先順位を特定し、当該複数の関連コンテンツそれぞれが対応する優先順位に応じた位置に当該複数の関連コンテンツそれぞれが表示されるように制御する、
前記(1)に記載の表示制御装置。
(13)
前記表示制御部は、前記所定の映像コンテンツの選択に利用された所定の情報に基づいて、前記複数の関連コンテンツそれぞれの優先順位を特定する、
前記(12)に記載の表示制御装置。
(14)
前記関連コンテンツ取得部は、前記所定の映像コンテンツに対して所定の認識処理が施された結果として得られた出演者に関連する関連コンテンツを取得する、
前記(1)に記載の表示制御装置。
(15)
前記関連コンテンツ取得部は、前記所定の映像コンテンツに対する視聴者のコメントから抽出された抽出情報に関連する関連コンテンツを取得する、
前記(1)に記載の表示制御装置。
(16)
前記表示制御部は、前記所定の映像コンテンツに含まれる広告コンテンツが早送り再生された場合には、当該広告コンテンツを示す情報が表示されるように制御する、
前記(1)に記載の表示制御装置。
(17)
前記表示制御部は、前記所定の映像コンテンツに含まれる広告コンテンツが所定の条件を満たす場合には、当該広告コンテンツが表示されるように制御し、前記所定の条件を満たさない場合には、当該広告コンテンツの表示をスキップさせる、
前記(1)に記載の表示制御装置。
(18)
前記表示制御部は、前記関連コンテンツが表示されるように制御した後、前記所定の映像コンテンツの再生中に前記表示制御装置が所定範囲外のサイトにアクセスした場合には、前記所定の映像コンテンツの再生が停止されるように制御する、
前記(1)に記載の表示制御装置。
(19)
所定の映像コンテンツが録画されるように制御する記録制御部と、
前記所定の映像コンテンツが表示されるように制御する表示制御部と、
を備え、
前記記録制御部により前記所定の映像コンテンツが録画された後に前記所定の映像コンテンツに関連する関連コンテンツが表示されるように制御される、
記録制御装置。
(20)
所定の映像コンテンツに関連する関連コンテンツを取得することと、
前記所定の映像コンテンツが録画された後に前記関連コンテンツが表示されるように制御することと、
を含む、表示制御方法。
1 表示制御システム
10 タブレット(表示制御装置)
20 本体(記録制御装置)
30 表示装置
40 サーバ系
41 関連コンテンツサーバ
42 後メタサーバ
50 アクセスポイント
60 ネットワーク
131 記録制御部
132 情報処理部
133 関連コンテンツ取得部
134 再生処理部
135 表示制御部
136 タッチパネル入力処理部
137 画像音声特徴抽出部
241 記録制御部
242 情報処理部
243 再生処理部
244 表示制御部
245 画像音声特徴抽出部

Claims (19)

  1. 所定の映像コンテンツに関連する関連コンテンツを取得する関連コンテンツ取得部と、
    前記所定の映像コンテンツが録画された後に前記関連コンテンツが表示されるように制御する表示制御部と、を備え、
    前記関連コンテンツ取得部は、録画対象を選択するための録画選択情報としてキーワード用いて前記所定の映像コンテンツが検索され、前記所定の映像コンテンツが録画対象として選択された場合、前記録画選択情報である前記キーワードを用いて検索して前記関連コンテンツを取得する、
    表示制御装置。
  2. 前記関連コンテンツ取得部は、再生対象を選択するための再生選択情報に応じて前記所定の映像コンテンツが再生対象として選択された場合、前記再生選択情報に応じた前記関連コンテンツを取得する、
    請求項1に記載の表示制御装置。
  3. 前記関連コンテンツ取得部は、事前登録情報に応じて前記所定の映像コンテンツが録画対象として選択された場合、前記事前登録情報に応じた前記関連コンテンツを取得する、
    請求項1に記載の表示制御装置。
  4. 前記関連コンテンツ取得部は、前記所定の映像コンテンツのメタデータに応じた前記関連コンテンツを取得する、
    請求項1に記載の表示制御装置。
  5. 前記関連コンテンツ取得部は、前記所定の映像コンテンツに関連する関連コンテンツとして再生対象の映像コンテンツに関連する関連コンテンツを取得する、
    請求項1に記載の表示制御装置。
  6. 前記関連コンテンツ取得部は、前記所定の映像コンテンツに関連する関連コンテンツとして最近に録画された所定の映像コンテンツに関連する関連コンテンツを取得する、
    請求項1に記載の表示制御装置。
  7. 前記表示制御部は、再生対象の映像コンテンツの前に前記関連コンテンツを挿入することにより前記関連コンテンツに続いて前記再生対象の映像コンテンツが表示されるように制御する、
    請求項1に記載の表示制御装置。
  8. 前記関連コンテンツ取得部は、再生対象の映像コンテンツに所定の映像セグメントが含まれる場合、前記所定の映像セグメントに関連する関連セグメントを取得し、
    前記表示制御部は、前記所定の映像セグメントの表示タイミングに応じたタイミングにより前記関連セグメントが表示されるように制御する、
    請求項1に記載の表示制御装置。
  9. 前記表示制御部は、再生対象の映像コンテンツを選択するための選択画面の所定位置に前記関連コンテンツが表示されるように制御する、
    請求項1に記載の表示制御装置。
  10. 前記表示制御部は、再生対象の映像コンテンツに対する操作画面の所定位置に前記関連コンテンツが表示されるように制御する、
    請求項1に記載の表示制御装置。
  11. 前記表示制御部は、前記所定の映像コンテンツに関連する関連コンテンツが複数存在する場合、当該複数の関連コンテンツそれぞれの優先順位を特定し、当該複数の関連コンテンツそれぞれが対応する優先順位に応じた位置に当該複数の関連コンテンツそれぞれが表示されるように制御する、
    請求項1に記載の表示制御装置。
  12. 前記表示制御部は、前記所定の映像コンテンツの選択に利用された所定の情報に基づいて、前記複数の関連コンテンツそれぞれの優先順位を特定する、
    請求項11に記載の表示制御装置。
  13. 前記関連コンテンツ取得部は、前記所定の映像コンテンツに対して所定の認識処理が施された結果として得られた出演者に関連する関連コンテンツを取得する、
    請求項1に記載の表示制御装置。
  14. 前記関連コンテンツ取得部は、前記所定の映像コンテンツに対する視聴者のコメントから抽出された抽出情報に関連する関連コンテンツを取得する、
    請求項1に記載の表示制御装置。
  15. 前記表示制御部は、前記所定の映像コンテンツに含まれる広告コンテンツが早送り再生された場合には、当該広告コンテンツを示す情報が表示されるように制御する、
    請求項1に記載の表示制御装置。
  16. 前記表示制御部は、前記所定の映像コンテンツに含まれる広告コンテンツが所定の条件を満たす場合には、当該広告コンテンツが表示されるように制御し、前記所定の条件を満たさない場合には、当該広告コンテンツの表示をスキップさせる、
    請求項1に記載の表示制御装置。
  17. 前記表示制御部は、前記関連コンテンツが表示されるように制御した後、前記所定の映像コンテンツの再生中に前記表示制御装置が所定範囲外のサイトにアクセスした場合には、前記所定の映像コンテンツの再生が停止されるように制御する、
    請求項1に記載の表示制御装置。
  18. 所定の映像コンテンツが録画されるように制御する記録制御部と、
    前記所定の映像コンテンツが表示されるように制御する表示制御部と、
    を備え、
    前記記録制御部により前記所定の映像コンテンツが録画された後に前記所定の映像コンテンツに関連する関連コンテンツが表示されるように制御され、
    前記関連コンテンツは、録画対象を選択するための録画選択情報としてキーワード用いて前記所定の映像コンテンツが検索され、前記所定の映像コンテンツが録画対象として選択された場合、前記録画選択情報である前記キーワードを用いた検索により取得される、
    記録制御装置。
  19. 所定の映像コンテンツに関連する関連コンテンツを取得することと、
    前記所定の映像コンテンツが録画された後に前記関連コンテンツが表示されるように制御することと、
    を含み、
    録画対象を選択するための録画選択情報としてキーワード用いて前記所定の映像コンテンツが検索され、前記所定の映像コンテンツが録画対象として選択された場合、前記録画選択情報である前記キーワードを用いて検索して前記関連コンテンツを取得すること、
    を含む、表示制御方法。
JP2012201548A 2012-09-13 2012-09-13 表示制御装置、記録制御装置および表示制御方法 Active JP6270309B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012201548A JP6270309B2 (ja) 2012-09-13 2012-09-13 表示制御装置、記録制御装置および表示制御方法
US14/018,893 US9451228B2 (en) 2012-09-13 2013-09-05 Display control device, recording control device, and display control method
CN201310403586.1A CN103686374A (zh) 2012-09-13 2013-09-06 显示控制设备、记录控制设备、以及显示控制方法
US15/232,347 US10129515B2 (en) 2012-09-13 2016-08-09 Display control device, recording control device, and display control method
US16/159,171 US20190182466A1 (en) 2012-09-13 2018-10-12 Display Control Device, Recording Control Device, And Display Control Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012201548A JP6270309B2 (ja) 2012-09-13 2012-09-13 表示制御装置、記録制御装置および表示制御方法

Publications (2)

Publication Number Publication Date
JP2014057246A JP2014057246A (ja) 2014-03-27
JP6270309B2 true JP6270309B2 (ja) 2018-01-31

Family

ID=50233368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012201548A Active JP6270309B2 (ja) 2012-09-13 2012-09-13 表示制御装置、記録制御装置および表示制御方法

Country Status (3)

Country Link
US (3) US9451228B2 (ja)
JP (1) JP6270309B2 (ja)
CN (1) CN103686374A (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6270309B2 (ja) * 2012-09-13 2018-01-31 サターン ライセンシング エルエルシーSaturn Licensing LLC 表示制御装置、記録制御装置および表示制御方法
CN104317967A (zh) * 2014-11-17 2015-01-28 北京航空航天大学 一种基于音频指纹的两层广告音频检索方法
CN105915930A (zh) * 2016-04-15 2016-08-31 北京网康科技有限公司 一种视频文件发送方法及装置
KR101773573B1 (ko) * 2016-05-03 2017-09-01 네이버 주식회사 동영상 컨텐츠 서버 및 이에 의한 동영상 컨텐츠의 제공 방법, 단말 장치 및 이에 의한 동영상 컨텐츠의 재생 방법
US10778939B2 (en) * 2017-09-22 2020-09-15 Facebook, Inc. Media effects using predicted facial feature locations
CN108494875A (zh) 2018-04-10 2018-09-04 网宿科技股份有限公司 一种反馈资源文件的方法和装置
US10779058B2 (en) * 2018-06-26 2020-09-15 Rovi Guides, Inc. System and methods for selecting and generating portions of a target media asset for advertising the target media asset while the user watches a media asset
CN109857908B (zh) * 2019-03-04 2021-04-09 北京字节跳动网络技术有限公司 用于匹配视频的方法和装置
JP6903700B2 (ja) * 2019-03-22 2021-07-14 株式会社三井住友銀行 Aiを活用した広告推奨方法、プログラム、およびコンピュータ
US20210271725A1 (en) * 2020-03-02 2021-09-02 Rovi Guides, Inc. Systems and methods for managing media feed timelines
US11936941B2 (en) 2021-10-22 2024-03-19 Rovi Guides, Inc. Dynamically generating and highlighting references to content segments in videos related to a main video that is being watched
US11871091B2 (en) * 2021-10-22 2024-01-09 Rovi Guides, Inc. Dynamically generating and highlighting references to content segments in videos related to a main video that is being watched

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290351B2 (en) * 2001-04-03 2012-10-16 Prime Research Alliance E., Inc. Alternative advertising in prerecorded media
US7146631B1 (en) * 1999-11-08 2006-12-05 Matsushita Electric Industrial Co., Ltd. Content providing system and terminal used therein
GB0005727D0 (en) * 2000-03-10 2000-05-03 Koninkl Philips Electronics Nv Television
US20020124249A1 (en) * 2001-01-02 2002-09-05 Shintani Peter Rae Targeted advertising during playback of stored content
US20030046189A1 (en) * 2001-09-05 2003-03-06 Takao Asayama System and method for a server to enable and disable client computer features
US6925197B2 (en) * 2001-12-27 2005-08-02 Koninklijke Philips Electronics N.V. Method and system for name-face/voice-role association
JP4661047B2 (ja) * 2003-05-30 2011-03-30 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
JP2006025156A (ja) * 2004-07-07 2006-01-26 Nec Corp マーケティング情報収集システム及びマーケティング情報収集方法
JP3832666B2 (ja) * 2004-08-16 2006-10-11 船井電機株式会社 ディスク再生装置
JP2007318196A (ja) * 2006-05-23 2007-12-06 Sony Corp 情報処理システム、情報提供装置、情報提供方法、再生装置、情報処理方法、およびプログラム
JP2008042333A (ja) * 2006-08-02 2008-02-21 Canon Inc 映像再生方法及び装置
JP5144165B2 (ja) * 2006-10-24 2013-02-13 キヤノン株式会社 コンテンツ格納制御装置及びその制御方法
US8000581B2 (en) * 2006-11-09 2011-08-16 Sony Computer Entertainment America Llc Advertisement scheme for use with interactive content
WO2008139571A1 (ja) * 2007-05-08 2008-11-20 Sony Computer Entertainment Inc. マルチメディア再生装置、メニュー画面表示方法、メニュー画面表示プログラム及びメニュー画面表示プログラムを記憶したコンピュータ読み取り可能な記憶媒体
US8060407B1 (en) * 2007-09-04 2011-11-15 Sprint Communications Company L.P. Method for providing personalized, targeted advertisements during playback of media
JP2010152744A (ja) * 2008-12-25 2010-07-08 Toshiba Corp 再生装置
JP2010273083A (ja) 2009-05-21 2010-12-02 Sharp Corp 映像録画装置、端末装置、録画映像提供方法、映像録画装置の制御プログラム
JP4876161B2 (ja) * 2009-12-22 2012-02-15 楽天株式会社 広告表示サーバ装置、広告表示方法、および、広告表示サーバ装置用のプログラム
JP5054215B2 (ja) * 2010-05-13 2012-10-24 キヤノン株式会社 映像再生装置およびその制御方法およびプログラム
US20130347018A1 (en) * 2012-06-21 2013-12-26 Amazon Technologies, Inc. Providing supplemental content with active media
JP6270309B2 (ja) * 2012-09-13 2018-01-31 サターン ライセンシング エルエルシーSaturn Licensing LLC 表示制御装置、記録制御装置および表示制御方法

Also Published As

Publication number Publication date
CN103686374A (zh) 2014-03-26
US20140072275A1 (en) 2014-03-13
US10129515B2 (en) 2018-11-13
JP2014057246A (ja) 2014-03-27
US20160353074A1 (en) 2016-12-01
US20190182466A1 (en) 2019-06-13
US9451228B2 (en) 2016-09-20

Similar Documents

Publication Publication Date Title
JP6270309B2 (ja) 表示制御装置、記録制御装置および表示制御方法
JP4025185B2 (ja) メディアデータ視聴装置及びメタデータ共有システム
CN101150699B (zh) 信息处理装置和信息处理方法
KR101181588B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 시스템 및 기록 매체
JP5244877B2 (ja) コンテンツ処理装置
JP2010081262A (ja) 情報処理装置、情報処理方法、情報処理システム、およびプログラム
JP2005312023A (ja) 番組選択装置、番組録画装置およびその方法
JP2006333451A (ja) 映像要約装置および映像要約方法
US9055342B2 (en) Information processing apparatus and information processing method
US9245584B2 (en) Information processing apparatus and information processing method
JP4476786B2 (ja) 検索装置
JP4668875B2 (ja) 番組録画再生装置、番組再生位置制御方法及び番組情報提供装置
KR20090089878A (ko) 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기
JP2010016652A (ja) 記録再生装置、記録再生方法、及びプログラム
JP2011109368A (ja) 表示制御システム、表示制御装置、および表示制御方法
JP4331706B2 (ja) 編集装置及び編集方法
JP2007250097A (ja) コンテンツ再生装置、コンテンツ再生再開方法およびコンテンツ再生プログラム
JP5209129B1 (ja) 情報処理装置、放送受信装置及び情報処理方法
WO2014103374A1 (ja) 情報管理装置、サーバ及び制御方法
JP4593609B2 (ja) 番組選択装置、番組選択方法、およびプログラム
JP5703321B2 (ja) 情報処理装置及び情報処理方法
JP2010288293A (ja) 番組選択装置、番組選択方法、およびプログラム
JP2009239322A (ja) 映像再生装置、映像再生方法および映像再生プログラム
JP5682167B2 (ja) 映像音声記録再生装置、および映像音声記録再生方法
JP6140416B2 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160622

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160630

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160722

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171226

R150 Certificate of patent or registration of utility model

Ref document number: 6270309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250