JP4401721B2 - 映像受信装置 - Google Patents

映像受信装置 Download PDF

Info

Publication number
JP4401721B2
JP4401721B2 JP2003324638A JP2003324638A JP4401721B2 JP 4401721 B2 JP4401721 B2 JP 4401721B2 JP 2003324638 A JP2003324638 A JP 2003324638A JP 2003324638 A JP2003324638 A JP 2003324638A JP 4401721 B2 JP4401721 B2 JP 4401721B2
Authority
JP
Japan
Prior art keywords
display
image data
information
broadcast
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003324638A
Other languages
English (en)
Other versions
JP2004140813A (ja
Inventor
芳和 柴宮
雄一 松本
智之 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003324638A priority Critical patent/JP4401721B2/ja
Priority to US10/667,414 priority patent/US20040061805A1/en
Publication of JP2004140813A publication Critical patent/JP2004140813A/ja
Application granted granted Critical
Publication of JP4401721B2 publication Critical patent/JP4401721B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4516Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements

Description

本発明は映像受信装置に関し、特には放送波及び放送波とは異なるネットワークから画像データを受信する映像受信装置に関する。
近年、映像・音声データの圧縮技術の向上、および、高速なデータ転送を可能とする通信環境、インターネット環境の普及に伴い、インターネットを介して映像や音声データなどの放送を配信し、パーソナルコンピュータ(以下PC)によりこのようなインターネット放送を視聴できるようになってきた。
インターネット放送を視聴する場合、はじめに、視聴者が、アナログモデム、LANといった接続の形態を選択すると、後は、ストリームサーバ側がそれに応じたストリームを転送し、PCに表示するといったものであった。
一方、近年、デジタル放送が開始し、このようなデジタル放送をインターネットと積極的に連動させて行こうという試みもなされており、デジタルテレビ受信機においてもインターネット放送を視聴できるようになれば、デジタルテレビ受信機の利用価値が大きく向上することになる。
本願発明にかかわる従来技術としては以下の文献を挙げることができる。
例えば、特許文献1には、テレビ放送と同時に送られてくる複数解像度の画面から、表示装置に適した解像度の画面を選択して表示する技術が開示されている。
また、特許文献2には、通信管理手段が、伝送路と送信装置の使用状況との情報を加味して送信装置が送信することができるデータの通信条件の候補のメニューを端末装置の候補条件表示手段に提示し、端末装置の使用者それぞれがそのメニューのなかから通信条件を選択して送信装置に指示し、その後、送信装置のデータ送信手段がその通信条件に基づいてデータを送信する構成が開示されている。
特開平11−13649号公報 特開平11−32020号公報
本願に係る発明は、画像データを受信する映像受信装置の好適な構成を実現することを課題とする。
本願に係る映像受信装置は以下のように構成される。
放送波から放送信号を受信する第1の受信回路と、放送波とは異なるネットワークを介してサーバからコンテンツ画像データを受信する第2の受信回路と、前記第1の受信回路で受信した放送信号から生成される放送番組画像データと前記第2の受信回路で受信したコンテンツ画像データとを共に表示装置の表示画面に表示させる映像受信装置であって、前記サーバは、同一のコンテンツについて、複数種類の画素数及び複数種類のフレームレートの組み合わせ毎にコンテンツ画像データを複数備えるとともに、当該組み合わせの画素数及びフレームレートの情報を管理するコンテンツ情報テーブルを有し、前記第1の受信回路で放送信号を受信し、当該放送信号から生成した放送番組画像データを前記表示画面に表示中に、前記第2の受信回路を介して前記サーバから取得するコンテンツを特定するための特定情報と、当該コンテンツに対応するコンテンツ画像データを表示画面上に表示する際の表示位置を示す情報と、当該コンテンツ画像データを表示する際の画素数を示す情報と、フレームレートを示す情報と、当該コンテンツ画像データと前記放送番組画像データとの表示サイズ比を示す情報とを含むイベント情報を放送信号から受信したか否かを検出する検出手段と、前記検出手段で前記イベント情報を検出した場合に、前記イベント情報に含まれる前記特定情報を用いて、当該コンテンツに対応するコンテンツ情報テーブルを前記サーバから前記第2の受信回路を用いて取得する取得手段と、前記イベント情報に含まれる前記表示位置を示す情報と前記画素数を示す情報と前記フレームレートを示す情報と前記表示サイズ比を示す情報及び前記表示画面の画素数並びに前記コンテンツ情報テーブルを用いて、前記サーバから取得する前記コンテンツ画像データの画素数及びフレームレートを決定する決定手段と、前記決定手段で決定された画素数及びフレームレートに対応するコンテンツ画像データの送信を前記サーバに要求し、前記第2の受信回路で当該コンテンツ画像データを受信する制御を実行する制御手段と、前記第2の受信回路で受信したコンテンツ画像データと前記表示画面の表示中の放送番組画像データとを、前記イベント情報に規定された前記表示位置を示す情報と前記表示サイズ比を示す情報とを用いて前記表示画面上にともに表示する制御を行う表示制御手段と、を有することを特徴とする映像受信装置。
以上説明した様に、本発明によれば、ネットワークからコンテンツ画像データを受信する際、イベント情報に含まれる前記表示位置と前記画素数と前記フレームレートと前記表示サイズ比の情報と、前記表示画面の画素数と、前記コンテンツ情報テーブルとを用いて、前記サーバから取得する前記コンテンツ画像データの画素数及びフレームレートを決定することで、不必要に大きなサイズのコンテンツ画像データを受信せずに済み、そのため、装置のリソースや通信路を有効に活用することができる。
本願発明について更に詳細に説明する。
以下では、ネットワークを介して送信されてくる画像データを受信する受信回路と、前記受信回路により受信された画像データを表示装置に出力する出力回路と、前記画像データに基づく画像を表示する表示領域の大きさに応じた送信モードで前記画像データを送信することを該送信を制御する装置に対して要求するための信号を発生する制御回路とを備える受信装置について説明する。なお、この受信装置を構成する各回路は必ずしも一つの筐体に収められている必要はない。また、前記送信モードで画像データを送信することを要求するための信号は前記画像データが伝送されてくる前記ネットワークと同じネットワークで送信を制御する装置に送信することができるが、その他の媒体を介して送信することもできる。なお、前記送信を制御する装置と、前記画像データの送信を行う装置とは同じ装置であっても別々の装置であっても良い。
なお、本願で言う回路とは、信号経路や素子によって構成され、所定の処理を行うもののことを言う。特定の処理を行うための専用の回路に限るものではなく、多種の処理が可能な回路とその回路に特定の処理をさせるためのプログラムを組み合わせて用いることもできる。前記素子としては、扱う信号が電気信号である場合には抵抗や容量やトランジスタなどの素子を用いることができる。
また、前記制御回路は送信速度の異なる複数の送信モードの中から送信モードを選択し、該選択した送信モードで前記画像データを送信することを要求するための信号を発生する構成とすることができる。また前記制御回路は、前記複数の送信モードのうち、前記受信回路が前記ネットワークを介して受信可能な最大受信速度よりも低い送信速度を有する送信モードを選択するものであると好適である。
また、前記画像データは一連の画像を表示するためのデータを有しており、前記複数の送信モードは、該一連の画像のフレームレートが互いに異なる複数の送信モードを少なくとも含んでいると好適である。
また、前記複数の送信モードは、第1のモードと第2のモードを含んでおり、該第1のモードは該第1のモードで送信されたデータに基づいて表示される画像の解像度は第2のモードで送信されたデータに基づいて表示される画像の解像度よりも高く認識されるようなモードである構成や、前記画像データは一連の画像を表示するためのデータを有しており、前記複数の送信モードは、第1のモードと第2のモードを含んでおり、該第2のモードは該第2のモードで送信されたデータに基づいて表示される一連の画像における物体の動きの視認性が第1のモードで送信されたデータに基づいて表示される一連の画像における物体の動きの視認性よりも高いモードである構成を好適に採用できる。上記第1のモードと第2のモードのいずれを選択するかは例えば、受信する画像データによって表示される画像のジャンルや、表示装置の種類に応じて行うことができる。
また、前記受信回路は、前記画像データの送信を行う装置が送信可能な複数の送信モードの情報を少なくとも含む送信モード情報を受信するものである構成を好適に採用できる。送信モード情報は前記ネットワークを介して送信されてくるものであっても、他の媒体を介して送信されてくるものであっても良い。また、送信モード情報を送信する装置は、前記画像データを送信する装置と同じ物であっても別のものであっても良い。前記送信モード情報を受信する回路と、前記ネットワークを介して前記画像データを受信する回路とは、別の回路であってもよく、また同じ回路であっても良い。前記送信モード情報が前記ネットワークとは異なる媒体から入力される場合には別々の回路を用いるのが好適である。その場合これら別々の回路を前記受信回路が含むことになる。これら別々の回路が離間して設けられている場合もそれらを含む回路を総称して受信回路とする。
また前記出力回路は、前記受信回路により受信された画像データを記憶するバッファメモリを有し、前記要求する送信モードに応じて前記バッファメモリにて蓄積すべきデータ量を変更するように構成すると好適である。
また、前記受信回路は、前記画像データに基づく画像を表示する表示領域の大きさを指定するための信号を受信するものであると好適である。画像データに基づく画像を表示する表示領域の大きさを指定するための信号を受信する回路と、前記ネットワークを介して送信されてくる画像データを受信する回路とは、別の回路であってもよく、また同じ回路であっても良い。前記画像データに基づく画像を表示する表示領域の大きさを指定するための信号が前記ネットワークとは異なる媒体から入力される場合には別々の回路を用いるのが好適である。その場合これら別々の回路を前記受信回路が含むことになる。これら別々の回路が離間して設けられている場合もそれらを含む回路を総称して受信回路とする。
またここでいう表示領域の大きさとは、絶対的な大きさ(長さや面積の単位を持つ大きさ)に限るものではない。例えば表示領域の大きさが所定の画素数で指定された時、表示装置の画素ピッチによって絶対的な表示領域の大きさは異なることになる。また表示装置において表示可能な最大の領域や他の表示領域に対する比率等の比較条件で前記画像データに基づく画像を表示する表示する領域の大きさが指定される場合には、その比較の対象となる領域の絶対的な大きさに応じて前記画像データに基づく画像を表示する領域の絶対的な大きさが決まることになる。
また、前記制御回路は、前記画像データに基づく画像を表示する前記表示領域である第1の表示領域と、該第1の表示領域とは異なる第2の表示領域とを少なくとも含む複数の表示領域でそれぞれ画像を表示するように制御するものであり、前記第1の表示領域の大きさが、前記第2の表示領域に画像を表示するための画像データの送信元による指定に基づいて決められる構成を好適に採用できる。前記複数の領域で画像を表示するように制御する回路と、表示領域の大きさに応じた送信モードで前記画像データを送信することを要求するための信号を発生する回路とは、同じ回路であっても別の回路であっても良い。別々の回路である場合にはそれらを含む回路を総称して制御回路という。
なお複数の表示領域のうちの一つの外周が前記表示装置の最大表示領域の外周と一致していても良い。なお各表示領域は矩形形状に限るものではない。
また、第2の表示領域に画像を表示するための画像データの送信元とは、第2の表示領域に画像を表示するための画像データの製作主体、または第2の表示領域に画像を表示するための画像データの送信主体、または第2の表示領域に画像を表示するための画像データの送信を指示する主体、また第2の表示領域に画像を表示するための画像データの送信を依頼する主体、等を含む。該送信元による指定は、該第2の表示領域に画像を表示するための画像データとともに送られてくる信号や該画像データに係る情報として該画像データとは別個に送られてくる信号によってなされ得る。
また前記制御回路は、前記画像データに基づく画像を表示する前記表示領域である第1の表示領域と、該第1の表示領域とは異なる第2の表示領域とを少なくとも含む複数の表示領域でそれぞれ画像を表示するように制御するものであり、前記第1の表示領域で画像を表示するための前記画像データは、前記第2の表示領域に画像を表示するための画像データの送信元によって指定される画像データである構成を好適に採用できる。
また特には、前記第2の表示領域にはテレビジョン放送の表示を行う構成を好適に採用できる。第1の表示領域にはストリーム放送の表示を行う構成を好適に採用できる。
好適には、この受信装置がテレビジョン放送の受信を行うためのチューナを備えていると良い。ただし別途設けたチューナからの信号を受信できるようにこの受信装置を構成しても良い。
また、前記受信回路は、画像を表示する表示領域の大きさを変更する時間に係る情報を受信するものであり、前記制御回路は該時間に係る情報に基づいて前記送信を制御する装置に要求する送信モードを変更する構成を好適に採用できる。
またこの受信装置は前記表示装置を内蔵してもよく、また受信装置と表示装置とを別体で設けても良い。
また、表示装置の最大表示領域内の第1の表示領域に画像を表示するための第1の画像データと、前記表示領域内の第2の表示領域に画像を表示するための第2の画像データと、前記第1の表示領域での画像表示に係る情報と、を受信する受信回路と、前記情報に基づいて前記第1の画像データの送信を前記第1の画像データの送信を制御する装置に対して要求する信号を発生する制御回路と、を有しており、前記情報は前記第2の画像データの送信元が指定する情報であることを特徴とする受信装置の発明を本願は含んでおり、この発明の実施形態については後述する。
ここで第1の表示領域と第2の表示領域の一方の外周が表示装置の最大表示領域の外周と一致していても良い。
また、前記情報は前記第1の表示領域の大きさを示す情報を少なくとも含むものである構成を好適に採用できる。前記第1の表示領域の大きさを示す情報とは表示領域の大きさ(絶対的な大きさに限るものではない)そのものである必要はなく、該情報を処理することによって表示領域の大きさを特定できる情報であれば良い。また、前記第1の画像データは一連の画像を表示するためのデータであり、前記情報は該一連の画像のフレームレートを示す情報を少なくとも含むものである構成を好適に採用できる。フレームレートを示す情報とはフレームレートそのものである必要はなく、該情報を処理することによってフレームレートを特定できる情報であれば良い。フレームレートとは単位時間に表示する画像の数のことであり、また本願で言う一連の画像とはインターレース表示のためのデータによって形成される一連の画像を含む。また前記情報は、前記第1の画像データを指定する情報を少なくとも含む構成を好適に採用できる。第1の画像データを指定する情報としては、該第1の画像データのアドレスを示す情報を好適に採用することができる。また、前記情報は、前記第1の画像データに基づく表示を開始もしくは終了する時間にかかわる情報を少なくとも含む構成を好適に採用できる。また前記情報は、前記第1の表示領域の大きさを変更する時間に係る情報を少なくとも含む構成を好適に採用できる。時間に係る情報とは、時刻を指定するための情報であったり、所定の時刻からの経過時間を指定するための情報であったりする。
なお、前記第1の画像データと第2の画像データとは異なる経路を介してこの受信装置で受信されるものである構成を好適に採用できる。
以下では以上述べた受信装置と、前記画像データの少なくとも一つを送信する送信装置を有する実施形態を説明しており、これらは画像表示システムを構成する。
また以下の実施形態は受信装置に対して番組を放送する放送方法であって、番組を受信装置が受信可能なように送信するステップと、該番組に関連する画像を該番組を表示する表示装置の該番組を表示している表示画面とは異なる表示画面として表示させるための情報を送信するステップと、を有することを特徴とする放送方法の発明の実施形態にもなっている。番組としては種々の構成のものを採用できる。この番組はコマーシャルも含む。また、前記情報は、前記番組に関連する前記画像を表示するための画像データを特定するための情報を少なくとも含むものであったり、前記番組に関連する前記画像を前記表示装置で表示する大きさを指定する情報を少なくとも含むものであったり、前記番組に関連する前記画像の表示を開始もしくは停止する時間に関する情報を少なくとも含むものであったりする。
(第1の実施形態)
以下、図面を参照して本発明の第1の実施形態について説明する。
図1は、本実施形態に係る受信システムの構成を示すブロック図である。
図1において、10001はテレビジョン放送局である。10002は放送局の指示によってテレビジョン番組を放送する送信装置を有する送信施設である。100はテレビ受信機であり、通常のデジタルテレビ放送の受信機能に加えて、インターネットを介して接続されたストリームサーバよりストリーム放送の受信機能を持つ。また、リモコンRからのコマンドを受信する。
Sはストリームサーバであり、インターネットIに接続されている。そして、インターネットIを介してテレビ受信機100に対しストリーム放送データを配信する。Iはいわゆるインターネット網であって、世界中の各種サーバ等の通信装置が接続されている。受信機100はこのインターネットIを介してストリームサーバSの他、各種の装置との間でデータの送受信を行う。
図2はテレビ受信機100の構成を示す図である。
図2において、101はアンテナであり、デジタルテレビ放送波を受信する。102はチューナで、受信されたデジタルテレビ放送の信号を増幅して、希望するチャンネルの映像、音声信号とデータ放送データ、イベントデータ等の放送関連情報データ信号を復調、分離し、映像、音声信号をデコーダ103に出力し、その他のデータはバス116を介してシステム制御部112、データ保存部114に出力する。103はデコーダで、チューナ102より出力された映像、音声信号をデコードし、画像変換部104、音声制御部107に出力する。
104は画像変換部で、デコーダ103、デコーダ104、バス110を通して出力される画像データをシステム制御部112の制御に従い、拡大/縮小、フレームレート変換等の各種変換処理を施し、表示制御部105に出力する。105は表示制御部であり、画像変換部104からの各種画像データをシステム制御部112の制御に従って切り替え、指定された位置に表示するよう表示器106に出力する他、システム制御部112の指示に基づいて各種の情報を合成して出力する。106は表示制御部105からの画像データを表示する表示器である。本形態では、表示器106として、横1300画素×縦1100画素の解像度を有する、50インチサイズのプラズマディスプレイ装置を用いる。107は音声制御部であり、システム制御部112からの指示により、デコーダ104からの音声データをスピーカ108に出力する。
113はインターネット接続部であり、図1に示すようにインターネットIに接続されている。なお、本形態においてインターネット接続部113が送受信できるデータの最大転送可能速度は2Mbpsである。
109はバッファメモリであり、インターネット接続部113により受信されたストリーム放送のデータを所定量記憶してデコーダ110に出力する。バッファメモリ109はFIFOメモリであり、そのサイズを変更可能である。110はデコーダであって、インターネット接続部113で受信され、バッファメモリ109に記憶されたストリーム放送データをデコードし、映像、音声データとして画像変換部104、音声制御部107へ出力する。
111はリモコン制御部であって、ユーザがリモコンRを操作した際に出力される赤外線コマンドを受信し、システム制御部112に出力する。
114はデータ保存部であって、チューナ102で受信されたデータより電子番組ガイド(EPG)データや後述の放送イベントテーブル等の放送情報データ、インターネット接続部113より受信したコンテンツ情報テーブル等のインターネットデータ、また、後述の表示制御テーブル等の制御情報データを記憶する。
115は時計部であって、年月日、時、分、秒まで計測し、システム制御部112による視聴予約時の表示開始、各種イベントの開始時刻の検出等に使用される。
112はシステム制御部であって、テレビ受信機100の各部を統括的に制御する。システム制御部112は、CPU、主記憶、バス制御部、プログラム格納部、パラメータ格納部などから成る。また、テレビ放送の受信においては、リモコンRからの指示に応じてチューナ102の受信チャンネルを切り替え、課金制御、EPGデータ、放送イベントテーブル等の情報データ分析の制御などを行う。又、表示制御テーブルを用いて画像変換部104、表示制御部105を制御し、表示器106への表示画像を制御する。
図6は表示制御テーブルの例を示す図である。表示制御テーブルには、表示に必要な入力源、入力解像度、フレームレート、色数等々の入力情報、解像度、XY表示位置、Z位置(他画面との優先関係)等の表示装置への出力情報、表示開始時間、表示時間といった表示時間情報が記載されている。このテーブルは、表示を要求する各タスク(プログラム)によって生成され、表示タスクによって、調整、表示される。
また、システム制御部112は、同様に音声制御部107を制御しデコーダ103、110からの音声データをスピーカ108に出力する。
図3はリモコンRの構成を示すブロック図である。
図3において、301はリモコン制御部であって、リモコンキー部302の操作に応じて出力されたリモコンキーデータを赤外線信号として送信する。302はリモコンキー部であって、図4のように各種の操作キーを有する。
図4はリモコンRの外形図である。
図4において、リモコンRは電源キー401、入力ソースの切り替えキー郡402、音量キー403、メニューキー404、戻るキー405、左右上下カーソルキー406、決定キー407、チャンネルキー408、赤外線送信部410を有する。ユーザはメニューキー404、戻るキー405、カーソルキー406、決定キー407からなるキー群409を操作して、所望の装置操作、制御を実行する。
図5はストリームサーバSの構成を示す図である。
図5において、501はインターネット接続部であり、インターネットIに接続されている。そして、コンテンツ情報テーブル部502からの制御情報やストリーム部503からのストリーム放送データを、制御部504の制御に従いインターネットIを介してテレビ受信機100に送信する。
502はコンテンツ情報テーブル部であり、ストリームサーバS内の番組の情報が記載されているコンテンツ情報テーブルを格納する。図7にコンテンツ情報テーブルの内容を示す。
図7に示すように、コンテンツ情報テーブルには、番組ごとに番組を特定する番組ID、番組タイトル、ジャンル、放送時間、出演者といった情報に加え、転送モードテーブルが格納されている。転送モードテーブルとは、ストリームサーバSが出力できるストリーム放送データの解像度、フレームレート等の組み合わせと転送スピードを示すテーブルである。インターネット接続部501はこの転送モードテーブルを含むコンテンツ情報テーブルを受信機100に対して送信する。
図8に転送モードテーブルの例を示す。図8に示す様に、転送モードテーブルは、右下がこのストリームの元々のデータレートを示しており、他の部分は元のストリームデータを圧縮符号化やフレーム間引き、解像度変換などにより情報量を低下させたデータのデータレートを示している。
図8では、元のコンテンツデータは、サイズが1280画素×1024画素でフレームレートが30Hzである。本形態では、この元々のコンテンツデータの解像度とフレームレートを落としたデータを複数用意してストリーム部503に格納している。またフレームレートと表示領域の大きさに対応する解像度は同じであるが、圧縮率を変えることで解像度感、表示される画像における物体の動きへの追従感、を異ならせた動き重視モード、解像度重視モード、およびそれらの間に位置する標準モードを設けている。
次に、本形態におけるストリーム放送の受信に伴う具体的な動作について説明する。
本形態では、動作例として、ユーザが当初図11の様にテレビ放送番組を表示器106の全画面に表示して視聴開始した後、時刻tDS1になると図12の様に放送局からの制御による放送イベント1により表示器を大小2画面の表示に切り替え、子画面にインターネットより受信したストリーム放送番組を表示し、更に、時刻tDS2になると、図13、図14の様に放送局からの放送イベント2により表示画面の大小関係が逆転する場合について説明する。この遷移の状態を示すのが図35である。尚、図11で視聴している番組の表示モードは、解像度が1280画素×1024画素、フレームレートが60Hzのインターレースであるとする。
前述の動作は、以下の手順で進行する。
1.ユーザによるテレビ放送番組の視聴開始(テレビ放送番組表示タスク起動)
2.イベントを含む放送の受信開始(図11の全画面表示)
3.放送管理タスク起動(図9、図10のイベントテーブル検出、分析、各イベントよりストリーム受信を検出、転送モードの決定、イベント開始時刻tBS1、tBS2決定)
4.イベント管理タスクの起動(イベント起動時刻tBS1、tBS2で各イベント起動)
5.放送イベント1のイベントタスク起動(転送モード2iでのストリーム放送受信、表示開始時刻tDS1で表示、図12の大小画面表示)
6.放送イベント2のイベントタスク起動(転送モード5cでのストリーム放送受信、表示開始時刻tDS2で表示、図15の大小画面逆転表示)
次に各タスクの動作について説明する。尚、1、2の受信、表示タスクは、通常のテレビ放送番組の受信、表示及びチャンネル切り替え制御処理であり、本発明の内容と直接関係ないので説明は省略する。
まず、3の放送管理タスクにおいてストリームを受信する際の転送モードの決定処理について説明する。図16はシステム制御部112による転送モードの決定処理を示すフローチャートである。
放送局10001は番組を放送する際に、該番組の表示と連携させて別画面を表示させるための情報を番組と合わせて送信している。この情報は該別画面に表示させる画像データを特定する情報として該画像データのURLと該画像データを格納しているサーバのアドレスを含んでおり、更に、該別画面の表示を開始する時刻の情報と、表示装置の最大表示領域内のどこに該別画面を表示するのかを示す情報と、該別画面と番組の表示画面との表示サイズ比を示す情報と、該別画面の表示領域の大きさを示す情報と、該別画面に表示すべき一連の画像のフレームレート情報とを含んでいる。この情報の内容を示すのが、図9、図10に示される放送イベントテーブルである。受信装置は番組を表示する際に、この放送イベントテーブルに基づいてインターネットを介したストリーム放送番組(画像データ)の受信を行い該放送イベントテーブルによる指定に応じて、番組を表示する領域とそれとは異なる別領域での表示をそれぞれ行う。
まず、受信装置100によりストリーム放送番組を受信しようとする場合、システム制御部112はインターネット接続部113を制御して、ストリーム放送を送信するストリームサーバSに対しコンテンツ情報テーブルを要求、受信する。受信したコンテンツ情報テーブルはデータ保存部114に格納する。本形態におけるコンテンツ情報テーブルの選択処理の様子を図17に示す。
そして、受信した転送モードテーブルより、受信機100が受信可能な最大転送速度以内の転送モードを抽出する。本形態では、前述の如く、2Mbpsが最大転送可能速度であるので、図17においてハッチングしたモードが抽出される(ステップS1601)。
次に、ストリーム放送の送信を制御する装置に対して要求する転送モード(送信モード)を決定するためのプロセスの開始点となる暫定的な要求転送モード(解像度、フレームレート)を決定する(ステップS1602)。該暫定的な要求転送モードは、ユーザ、あるいは放送イベントによる指定、及び要求により決定されるが、表示装置の解像度やフレームレート、送信されるストリーム放送データの解像度やフレームレートで制約を受けることがある。
例えば、転送モードテーブル内に要求を満足する転送モードがない場合は、拡大(放送イベントが1024画素×768画素の解像度を要求しているのに対し、選択可能な転送モードの最大の解像度が800画素×600画素であるような場合)、あるいは縮小(放送イベントが320画素×240画素の解像度を要求しているのに対し、選択可能な転送モードの最小の解像度が640画素×480画素であるような場合)表示を前提に、イベント(あるいはユーザ)で要求されている解像度に一番近い解像度の転送モードを選択する。
また、表示装置の解像度等の制約でイベント要求が満足できない場合に関しても同様である。例えば、図10に示される放送イベント2によって指定された条件(640画素×480画素以上)を満たす要求転送モードの内、図17における最高の条件となるのは解像度1024画素×768画素、フレームレート30[Hz]のモードでありこの条件は表示器106の最大表示可能領域の大きさ(1300画素×1100画素)の範囲内であるが、後述するように他の画面、ここではテレビジョン番組を表示する画面の表示領域領域に干渉せずに表示可能な大きさが解像度800画素×600画素であるので、それを超える解像度の画像データを受信する必要がないため、該解像度を暫定的な要求転送モードの解像度とする。暫定的な要求転送モードのフレームレートは放送局側からの指定(5P、10I以上)条件を満たす最大のフレームレートである30Hzとする。
次に、該暫定的な要求転送モードが受信機100の最大転送速度以内であるかどうかを判別し(ステップS1603)、最大転送速度以内であればこの暫定的な要求転送モードでのストリーム放送データの転送が可能であり、これを転送モードに決定する(ステップS1625)。
一方、最大転送速度を越えていた場合は、これより低い転送モードを選択しなければならない。
そこでまず、転送速度の低い転送モードを選択するに当たり、解像度感と動きのいずれを重視するかを決定する。本形態では、入出力番組のジャンルや表示デバイスの種類などに基づき、解像度感と動きの何れを重視するかを自動的に決定する。
例えば、受信しようとするストリーム放送のジャンルがスポーツなら動き重視、紀行番組なら解像度重視、あるいは、表示デバイスがCRTなら動き重視、LCDなら解像度重視とする。
ここでは、要求転送モードに対し、受信機100の転送可能スピードが2Mbpsと低く、また、解像度をあまり低くしてしまうと拡大表示による画質劣化が大きくなると判断し、解像度重視を選択するとする(ステップS1604)。
次に、解像度重視の選択手順を選択した場合について説明する。
まず、暫定的な要求転送モードの標準モードから出発する。暫定的な要求転送モードの転送速度が最大転送速度以内であれば、その転送モードに決定し終了する(ステップS1605、S1625)。最大転送速度よりも転送速度が大きかった以上であった場合、同じ解像度の解像度重視モードの転送速度を調べ(ステップS1606)、最大転送速度以内であるかどうかを判断する(ステップS1607)。最大転送速度以内であれば、その転送モードに決定し終了する。
最大転送速度よりも大きかった場合、いま調べた転送モードよりも低いフレームレートのモードが存在するかどうかを調べ(ステップS1608)、低いフレームレートのモードが存在すれば、ひとつフレームレートの低い標準モードへ移る(ステップS1609)。そして、このモードでの転送速度が、最大転送速度以内であるかどうかを判断し(ステップS1610)、装置の最大転送速度以内であれば、その転送モードに決定し終了する。
また、低いフレームレートのモードが存在しない場合は、低い解像度のモードが存在するかどうかを調べ(ステップS1613)、それも存在しない場合は、受信できる転送モードは存在しないので、転送不可処理を行う(ステップS1626)。
ステップS1610で、一つ低いフレームレートの標準モードの転送速度が最大転送速度を越えていた場合、同じ解像度における解像度重視モードの転送速度を調べ(ステップS1611)、これが最大転送速度以内であるかどうかを判断する(ステップS1612)。最大転送速度以内であれば、その転送モードに決定し終了する。
また、最大転送速度を越えていた場合、今度は、それ以下の解像度のモードが存在するかどうかを調べ(ステップS1613)、存在すれば、ひとつ下の解像度の標準モードへ移り(ステップS1614)、ステップS1605に戻る。
一方、ステップS1604において動き重視の選択手順を選択した場合、まず、暫定的な要求転送モードの標準モードから出発し、転送速度が最大転送速度以内であれば、その転送モードに決定し終了する(ステップS1615、S1625)。
最大転送速度を越えていた場合、同じ解像度の動き重視モードの転送速度を調べ(ステップS1616)、これが、最大転送速度以内であるかどうかを判断する(ステップS1617)。最大可能転送速度以内であれば、その転送モードに決定し終了する。最大転送速度を越えていた場合、それ以下の解像度のモードが存在するかどうかを調べ(ステップS1618)、低い解像度の転送モードが存在すれば、ひとつ解像度の低い標準モードへ移る(ステップS1619)。そして、このモードでの転送速度が、最大転送速度以内であるかどうかを判断し(ステップS1620)、最大転送速度以内であれば、その転送モードに決定し終了する。
また、低い解像度のモードが存在しない場合は、低いフレームレートのモードが存在するかどうかを調べ(ステップS1623)、それも存在しない場合は、受信できる転送モードは存在しないので、転送不可処理を行う。
ステップS1618で、一つ低い解像度の転送速度が最大転送速度を越えていた場合、同じ解像度における動き重視モードの転送速度を調べ(ステップS1621)、これが、最大転送速度以内であるかどうかを判断する(ステップS1622)。最大転送速度以内であれば、その転送モードに決定し終了する。
また、最大転送速度を越えていた場合、今度は、それ以下のフレームレートのモードが存在するかどうかを調べ(ステップS1623)、存在すれば、一つ下のフレームレートの標準モードへ移り(ステップS1624)、ステップS1615に戻る。
この様な処理により、最終的な転送モードを決定するか、あるいは、転送不可の処理を決定する。
図17において、暫定的な要求転送モードとして800画素×600画素、30Hzの転送モードを選択し、解像度重視で図16に示す処理を実行した場合、円で囲ったモードはそれぞれ決定途中で調査された転送モードを示している。
この場合、決定手順は、解像度800画素×600画素の標準モード(6i)から出発し、6i→6h→6f→6e→5f→5e→5cの順で調査し、最終的に解像度640画素×480画素、フレームレート10Hz、転送速度が1.57bpsの転送モード5cに決定する。
一方、図17の転送モードテーブルにおいて、暫定的な要求転送モードとして800画素×600画素、30Hzの転送モードを選択し、動き重視で図16に示す処理を実行した場合には、図18の四角で囲ったモードをそれぞれ決定途中で調査することになる。
この場合、決定手順は、解像度重視と同様に解像度800画素×00画素の標準モード6iから出発し、6i→6g→5i→5g→5f→5d→4fの順で調査し、最終的に解像度480画素×360画素、フレームレート20Hz、転送速度1.73Mbpsの転送モード4fに決定する。
ここでは、解像度重視の手順で決定した転送モード5c(転送速度1.57Mbps)を選択する。
以上の説明では、放送局側が指定するサブ表示領域での画像表示条件を受信した画像データの補間処理をすることなく満たすことができる転送モードのうち、表示装置の仕様や他の表示領域との関係による制限を考慮した最高の条件を暫定的な要求転送モードとして設定し、ネットワークと受信装置の仕様により決まる最大受信可能速度(ここでは2Mbps)以下となる転送モードになるまで転送モードを徐々に下げていく方法を説明したが、放送局側が指定する条件を満たす最低の転送モードを暫定的な要求転送モードとして設定し、その転送モードがネットワークと受信装置の仕様により決まる最大受信可能速度条件を満たす場合には直ちにその転送モードを最終的な要求転送モードとする構成にしても良い。この場合も表示装置の最大表示可能領域の大きさや他の画面との関係を判断するのが好適である。
次に、放送管理タスクにおけるシステム制御部112の動作について、図19のフローチャートを用いて説明する。放送管理タスクは、ある番組が開始されると、その番組を調査し、通常の画面表示処理以外の処理を行うタスクである。
まず、テレビ放送の受信を開始すると、放送に連動したイベントの有無を調べる(ステップS1901)。本形態では、受信しているテレビ放送データ中に、図9或いは図10のイベントテーブルを含むパケットが多重されており、システム制御部112は、チューナ102により受信されたデータよりこのイベントテーブルを含むパケットの内容を確認することで、イベントの有無を調べる。イベントがなければデータ放送があるかを調べ(ステップS1908)、存在すれば、データ放送の処理を行い(ステップS1909)、なければその他の処理を行う(ステップS1910)。なお、イベント以外の動作は本発明には関係ないので詳細は省略する。
また、ステップS1901でイベントがあることが検出できた場合、受信されたデータよりイベントテーブルを抽出してデータ保存部114に記憶する(ステップS1902)。本形態にて抽出するイベントテーブルの様子を図9、図10に示す。
そして、データ保存部114に記憶したイベントテーブルの内容を解析し、時刻tDS1にURL:www.sbs.co.jp/news090/ieie.rumというストリームを子画面として画面の右下に240画素×180画素以上のサイズで表示し、時刻tDS2に、640画素×480画素以上のサイズで、サイズ比4.0以上で表示するということを認識する(ステップS1903)。
次に、インターネット接続部113を制御して、ストリーム送信元であるストリームサーバSに対し、URL:www.sbs.co.jp/news090/ieie.rumのストリームのコンテンツ情報テーブルを要求し、入手する(ステップS1904)。ここで受信したコンテンツ情報テーブルは図7に示した通りであり、受信したコンテンツ情報テーブルをデータ保存部114に格納する。
次に、データ保存部114に格納したコンテンツ情報テーブルより転送モードテーブルを抽出し、図16にて説明した転送モード決定手順に従って転送モードを決定する(ステップS1905)。
本形態では、まず放送イベント1においては、図9に示す様に表示解像度が240画素×180画素以上、テレビ放送受信画面とのサイズ比が0.25以下であり、表示器106の解像度が1300画素×1100画素であることを考慮して、主画面に表示するテレビ放送の画像:800画素×600画素、60Hzのインターレース子画面に表示するストリーム放送の画像:320画素×240画素、30Hzとするのが適当であると判断し、要求転送モードも同様に決定する。
例えば、図17に示した転送モードテーブルに基づいて転送モードを決定した場合、モード2iが解像度320画素×240画素、フレームレート30Hzであり、転送速度が1.2Mbpsであるため、モード2iを転送モードに決定する。
一方、放送イベント2の表示においては、図10に示す様に、解像度が640画素×480画素以上、テレビ放送の表示画面とのサイズ比が4.0以上であり、表示器106の解像度が1300画素×1100画素であることを考慮すると、図13の如く、テレビ放送の表示画面:240画素×180画素、ストリーム放送の表示画面:1024画素×768画素のケースと、図14の如く、テレビ放送の表示画面:320画素×240画素、ストリーム放送の表示画面:800画素×00画素の2つのケースが考えられるが、図13は、サイズ比が18と、要求条件4.0から大きく異なっており、また受信したストリーム放送の画像データを補間により拡大する程度が大きくなってしまうためここでは図14のケースを採用する。ストリーム放送を表示する領域の大きさは800画素×600画素であるが、最大受信可能速度を考慮したとき、この解像度の条件を満たす転送モードは受信不可能であるので、受信した画像データに対して補間処理を行うこととし、先に述べたとおり、ストリームの要求転送モードとして、640画素×480画素、10Hzのモードを選択する。以上のように決定した二つの転送モードは、放送イベント1のタスク、放送イベント2のタスクのパラメータとして、データ保存部114に格納する。
次に、決定した転送モードよりバッファメモリ109のサイズを決定し、バッファリング時間tBuff1、tBuff2を推定する。そして、実際に表示切り替え時刻tDS1、tDS2にバッファメモリ109に対するデータのバッファリングが終了し、即表示が開始できるようなストリームバッファリング開始時刻(受信開始時刻)tBS1、tBS2を以下の通り決定する(ステップS1906)。
tBS1=tDS1−tBuff1−tα
tBS2=tDS2−tBuff2−tα
尚、tαは、その他の処理、余裕を見込むための時間である。
そして、時計部115からの時刻情報に基づき、時刻tBS1におけるイベント1タスクの起動、時刻tBS2におけるイベント2タスクの起動、時刻tDS2におけるイベント1タスクの終了を登録し、イベント管理タスクを起動して終了する(ステップS1907)。
次に、イベント管理タスクの動作について図20のフローチャートを用いて説明する。
イベント管理タスクは、登録された時刻におけるイベント起動・終了等の要求に従って受信、表示動作を制御するタスクである。
本形態では、イベント1タスクの起動とイベント2タスクの起動が、それぞれ、時刻tBS1、tBs2に発生し、イベント1の終了がtDS2で発生するように登録されている。図20においては、この手順に従い、各イベントの発生時刻をセットし(ステップS2001)、tBS1になったら(ステップS2002)、イベント1タスクを起動し(ステップS2003)、tBS2になったら(ステップS2004)、イベント2タスクを起動し(ステップS2005)、tDS1になったら(ステップS2006)、イベント1タスクを終了する(ステップS2007)。
そして、他の要因によりイベント2タスクの終了が登録され、その条件が整えばイベント2タスクを終了する(ステップS2008、S2009)。
次にイベント管理タスクによって起動されるイベント1タスクとイベント2タスクについて、図21、図22のフローチャートを用いて説明する。
イベント1タスクは、時刻tDS1になったら、URL:www.sbs.co.jp/news090/ieie.rumのストリームを受信し、図13の様な表示を行うタスクであり、時刻tBS1にイベント管理タスクにより起動される。
イベント1タスクでは、まず、イベント1タスク用に決定された転送モード、ここではモード2iをデータ保存部114から読み出し、バッファメモリ109の設定を行う。そして、インターネット接続部113によりストリームサーバSと受信用のセッションを開始する(ステップS2101)。
次に、バッファメモリ109に所定量のデータが記憶されたか否かを検出する(ステップS2102)。所定量のデータが記憶されていない場合、ストリームサーバSに対してデータの送信を要求し、ストリームサーバSから受信したストリームデータをバッファメモリ109に記憶し(ステップS2103)、時刻tDS1になるまで待つ。
そして、時刻がtDS1になると、表示制御テーブルを新規生成し、前述の様に放送管理タスクで決定したストリームと表示出力に関する情報を表示制御テーブルに書き込み(ステップS2105)、表示タスクに表示要求を出す(ステップS2106)。同時に現在テレビ放送画面の表示に使用されている表示制御テーブルにおける解像度1280×1024を800×600に変更する要求を表示タスクに出す(ステップS2107)。
その後、時刻がtDS1以降となると、バッファメモリ109よりストリームデータを読み出し、デコーダ110に出力する(ステップS2108)。そして、イベント管理タスクよりタスク終了要求があるかどうかを検査し(ステップS2109)、終了でない場合はステップS2102に戻り、ストリームデータの受信、バッファリング、読み出しを続ける。その後、tDS2になるとイベント管理タスクよりタスク終了要求が発生し、ストリームの受信を終了し、ストリームサーバSとのセッションを終了する(ステップS2110)。そして、表示タスクにストリーム画面の表示終了要求を出し、イベント1タスクは終了する(ステップS2111)。
尚、tBS1からtDS1までの時間は、バッファ109がデコーダ110にストリームデータを出力するのに十分な時間であり、tDS1に発生する表示要求に対し、即刻デコード表示ができる。
イベント2タスクは、イベント1タスクと同様、時刻tDs2になったら、解像度640画素×480画素、フレームレート10Hzの転送モードである転送モード5cでURL:www.sbs.co.jp/news090/ieie.rumから送られたストリームデータを、補間処理を行った上で図15の様に、解像度:800×600、フレームレート30Hzで表示するタスクであり、時刻tBS2にイベント管理タスクにより起動される。
イベント1タスクでは、まず、イベント1タスク用に決定された転送モードの情報、ここではモード5cをデータ保存部114から読み出し、バッファメモリ109のサイズを設定する。そして、インターネット接続部113によりストリームサーバSと受信用のセッションを開始する(ステップS2201)。これは、イベント1タスクとは独立して行う。
次に、バッファメモリ109に所定量のストリームデータが記憶されているか否かを検出し(ステップS2202)、記憶されていなければ、ストリームサーバSに対しタイムスタンプtDS2−tDS1以降のストリームを転送モード5cで送信するよう要求し、受信したストリームデータをバッファメモリ109に記憶する(ステップS2203)。
そして、表示切り替え時刻のtDS2になるまで待つ(ステップS2204)。
イベント1タスクと同様、バッファメモリ109には時刻tDS2までに、デコーダ110に出力するのに十分なストリームデータがバッファリングできる。
その後、時刻がtDS2になると、表示制御テーブルを新規生成し、放送管理タスクで決定したストリームと表示出力に関する情報を表示制御テーブルに書き込み(ステップS2205)、表示タスクに表示要求を出す(ステップS2206)。また、同時に現在テレビ放送画面の表示に使用されている表示制御テーブルにおける解像度800×600を320×240に変更する要求を表示タスクに出す(ステップS2207)。
そして、時刻がtDS2以降になると、バッファメモリ109より転送モード5cで受信したストリームデータを読み出し、デコーダ110へ出力する(ステップS2208)。その後、イベント管理タスクよりタスク終了要求があるかどうかを検査し(ステップS2209)、終了でない場合はステップS2202へ戻り、受信、バッファリング、読み出しを続ける。また、他の画面表示、放送終了等でイベント2タスクの終了要求があると、ストリームの受信を終了し、ストリームサーバSとのセッションを終了する(ステップS2210)。そして、表示タスクにストリーム画面の表示終了要求を出し、イベント2タスクを終了する(ステップS2211)。
次に、表示タスクについて、図23を用いて説明する。
表示タスクは、放送イベント1タスク、放送イベント2タスク、その他テレビ放送の表示タスク、OSDタスク等による表示要求により、画像変換部104、表示制御部105を制御し、表示器106の表示画像を制御するタスクである。
表示タスクは、受信機100の電源投入と共に起動し、表示制御テーブルに基づいて、また複数の表示制御テーブルを調整しながら、表示制御を行う。
電源投入後、まず背景を表示し、表示要求を待つ(ステップS2301、S2302)。表示要求があると、対応する表示制御テーブルを解析する(ステップS2303)。そして、この解析結果に基づき、拡大・縮小の処理が必要であれば画像変換部104に対してその旨を指示して拡大、縮小処理を行い(ステップS2304、S2310)、更にフレームレート変換が必要であれば表示制御部105に対してその旨を指示してフレームレートを変換する(ステップS2305、S2311)。
そして、表示制御部105によりXY方向(上下方向)の表示位置、Z方向(画像の重なり方向)の位置を制御し(ステップS2306、S2307)、表示機106に表示する映像ソースを切り替え(ステップS2308)、処理を終了する(ステップS2309)。
本形態では、電源投入後、表示タスクにより全画面表示のための表示制御テーブルを生成し、視聴者の選択したチャンネルの放送番組を表示部106の全画面に表示する。
その状態で、前述の様にイベント1タスクが発生する。
本形態において、イベント1タスクの要求により新規に生成した表示制御テーブルを図24に示す。図24の表示制御テーブルに示した様に、イベント1タスクに伴って受信するストリームのサイズ、フレームレートと、イベント1タスクによるストリームデータの表示画面のサイズ、表示器106のフレームレートとが同一のため、画像の拡大・縮小やフレームレート変換といった処理が不必要であり、イベント1タスクに伴う表示制御タスクにおいては、XY位置情報、Z位置情報をセットし、デコーダ110からのストリームデータを映像ソースに設定すれば良い。
また、テレビ放送の表示画面については、画面サイズが800×600に変更になったので、元のサイズ1280×1024から縮小する必要があり、表示制御テーブルを変更したサイズに伴い書き換える。
また、本形態において、イベント2タスクの要求により新規に生成した表示制御テーブルを図25に示す。図25の表示制御テーブルに示した様に、イベント2タスクに伴って受信するストリームのサイズ、フレームレートと、イベント2タスクによるストリームデータの表示画面サイズ、表示器106のフレームレートとがいずれも異なっているため、画面サイズを1.25倍に拡大処理し、フレームレートを3倍に変更処理するように設定する。また、XY方向、Z方向位置を設定し、デコーダ110からのストリームデータを映像ソースに設定すればよい。
また、テレビ放送の表示画面については、画面サイズが320×240に変更になったので、元のサイズ1280×1024から縮小する必要があり、表示制御テーブルを変更したサイズに伴い書き換える。
この様に、本形態においては、ストリーム放送を受信する際、表示器1における表示画面のサイズや、表示器のフレームレートに応じて、解像度やフレームレートが異なる複数の配信モードの中から最適な配信モードを選択し、この選択した配信モードにてストリームデータを受信するため、不必要に大きな画面用のストリームを受信せずに済む。そのため、装置のリソースや通信路を有効に使用することができ、更に、配信モードによって配信料金が異なる場合などにも、無駄なコストを削減することにもなる。
また、配信モードを選択する場合にも、通信速度の制限や表示すべき画面のサイズ、表示器のフレームレートなどを考慮して選択しているため、例えば、前述のイベント2タスクの様に、最大転送速度が不足しているににもかかわらず、表示要求に近い表示を行うことができる。
また、表示能力を超えるようなデータを受信しないので、駒落ちなどが発生せず、安定した表示を行うことが可能となる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
図26は第2の実施形態に係る受信システムの構成を示す図である。
図26において、テレビ受信器100’は図1のテレビ受信機100とほぼ同様の機能を持ち、更に、表示装置2600に対する画像、音声データの送信、受信機能を追加したものである。
2600は、テレビ受信機100’からの画像、音声データを無線送受信可能な装置であり、テレビ受信機2600からの画像データに基づく画像を表示し、また、テレビ受信機100’からの音声データに基づく音声を出力する。
その他、リモコンR、ストリームサーバS、インターネットIは第1の実施形態と同様である。
図27は図26のテレビ受信機100’の構成を示す図である。図27に示した様に、本形態におけるテレビ受信機100’は図2に示した受信機100とほぼ同様の構成、機能を持つが、図2の構成に対し、エンコード部117と無線送受信部118を追加した構成となっている。
エンコード部118は、画像変換部104から出力された映像データと、音声制御部107から出力された音声データを周知の圧縮、符号化処理、例えば本形態ではMPEG2方式により符号化する。無線送受信部118はエンコード部117により符号化された画像、音声データを所定の規格に適した形態に変換して表示装置2600に送信するほか、表示装置2600の制御用のデータなども送信する。本形態では、IEEE802.11a規格の方式に従い、データの送受信を行う。これら、エンコード部117、無線送受信部118は、制御部112により統括的に制御される。
図28は表示装置26の構成を示すブロック図である。
図28において、2802は無線送受信部あって、アンテナ2601を介してテレビ受信機100’とデータの送受信を行い、受信した映像、音声データをデコーダ2603に出力すると共に、各種の制御データを制御部2606に出力する。尚、無線送受信部2602も、IEEE802.11a対応の規格に基づきデータを送受信する。
2603はデコーダであって、無線送受信部2602より受信した、映像、音声データをデコードし、表示制御部2604と音声制御部2607に出力する。2604は表示制御部であって、デコーダ2603からの映像データを表示器2605に出力し、表示器2605の表示動作を制御する。2605は表示器であって、640画素×480画素、フレームレート20Hzの表示性能を有する。
2607は音声制御部であって、デコーダ2603からの音声データを処理して音量、音質、臨場感などを制御し、スピーカ2608へ出力する。
次に、本形態の動作について説明する。
本形態においても、基本的な動作は第1の実施形態と同様である。以下の説明では、受信機100’の電源投入後、ユーザの操作によって、図29の様に、表示器106の左にテレビ放送の画面、右にインターネットからのストリーム放送番組の画面を表示し、更に、右側に表示されているストリーム放送のデータを、表示装置2600に送信して図30の如く表示する場合について説明する。
動作の概要は以下の通りである。
1.表示タスクが、テレビ放送画面の表示用の表示制御テーブルを生成し、表示タスクに表示要求→図11の様にテレビ放送番組の画像を全画面に表示する。
2.ユーザ操作により親子2画面でのテレビ放送番組とストリーム放送番組の表示要求があると、子画面タスクが起動し、図31のような子画面用の表示制御テーブルを新規生成し、転送モード表示タスクに表示要求→図29の様にテレビ放送番組とストリーム放送番組を2画面で表示する。
尚、本形態においても、受信するストリームのコンテンツ情報テーブル、転送モードテーブルは第1の実施形態と同じく、図7、図8であるとする。また、図29において表示されている子画面の表示モードは、解像度が320×240、フレームレートが30Pであり、最適な転送モードとして、図8の2iが選択されている。
3.その後、ユーザが表示器106の子画面で視聴していたストリーム放送番組を表示装置2600にて表示するための操作がなされると、表示装置タスクが起動し、表示装置への送信用の最適な転送モードでのストリーム受信を開始し、切り換える。
ここで、1、2の処理については本発明とは直接関係ないため、詳細な説明は省略する。
次に、3の動作について、図32のフローチャートを用いて説明する。
ユーザがリモコンRを操作して、図29に示したストリーム放送番組を表示装置2600に表示するよう指示すると、受信機100’のシステム制御部112は表示装置2600用に表示制御テーブルを新規に生成し、現在の現転送モード2iをソースとし、表示装置2600への拡大表示を表示タスクへ要求する(ステップS3201)。そして、表示器106の子画面表示タスクに表示の終了要求を出す(ステップS3202)。更に、テレビ放送画面の表示タスクに、テレビ放送番組を表示器106の全画面に表示にするよう表示変更要求を出す(ステップS3203)。
この時点で、受信機100’の表示器106の表示画面は、図11の画面となり、表示装置2600の表示器2605には、図30のように、図29で小画面表示されていたストリーム放送番組が拡大表示される。
次に、表示装置2600における表示に最適な転送モードを第1の実施形態と同様の手順で決定する。本形態では、表示器2605がLCDであり、解像度が640×480、フレームレートが20Hzである。LCDはCRTに比べてドットピッチが荒く、拡大による画質の劣化が目立つ。また、LCDは反応速度が遅く、低フレームレートでも気にならないという二つの点を考慮し、要求転送モードを、解像度640×480、フレームレート20Hzとし、選択手順は、解像度重視の手順とする。この前提で最適な転送モードを決定すると、図8の5fから出発し、第1の実施形態と同じく、5cが最適な転送モードであると決定する(ステップS3204)。
そして、この転送モード5cで、ストリーム受信用セッションを開始する(ステップS3205)。同時に、この転送モード5cより、受信バッファサイズとバッファリング予想時間tBuff3を推定する。
そして、現モード2iで受信中のストリームにおける最新パケットのタイムスタンプtNOWを検出し、バッファリング時間tBuff3に余裕時間tαを見込んだ、tDS3=tNOW+tBuff3+tαを表示切り替え時刻に決定し、ストリームサーバSに時刻tDS3からのストリームパケットを要求し、受信を開始する(ステップS3206)。
そして、表示切り替え時刻tDS3になるまで、ストリームデータのバファリングを続け(途中でバッファメモリ109に所定量のデータが記憶されたら一時停止する)(ステップS3207、S3208、S3213)。
時刻がtDS3になると(ステップS3209)、表示装置用の表示制御テーブルを図33から図34のように変更し(ステップS3210)、現在の転送モード2iでのストリーム受信セッションの中止要求を表示器106の子画面表示タスクに発行し(ステップS3211)、新たな転送モード5cで受信中のバッファよりストリームの読み出しを開始する(ステップS3212)。
そして、時刻がtDS3以降では、新たな転送モード5cで受信されたデータをバッファメモリ109より読み出し(ステップS3214)、表示装置タスクの終了要求がなければ、受信、読み出しを続ける(ステップS3215)。一方、表示装置2600に対する表示要求を受けた表示タスクは、各表示制御テーブルに基づき、画像変換部104、表示制御部105、音声制御部107、エンコード部117、無線送受信部118を制御し、表示器106への表示処理と、表示装置2600へデータの送信を制御する。
尚、表示タスクに関しては、第1の実施形態にて説明した、図23と同様の処理を行う。
この様に、本形態によれば、ストリーム放送を受信して、外部の表示装置に送信する場合にも、この外部の表示装置の解像度、フレームレートに対応した最適な配信モードを選択して受信するので、外部の表示装置に対しても装置のリソースや通信路を有効に使用することができ、更に、配信モードによって配信料金が異なる場合などにも、無駄なコストを削減することにもなる。
本発明が適用される受信システムの構成を示す図である。 本発明が適用されるテレビ受信機の構成を示す図である。 リモコンの構成を示す図である。 リモコンの外観図である。 ストリームサーバの構成を示す図である。 表示制御テーブルの様子を示す図である。 コンテンツ情報テーブルの様子を示す図である。 転送モードテーブルの様子を示す図である。 放送イベントテーブルの様子を示す図である。 放送イベントテーブルの様子を示す図である。 テレビ受信機の表示画面を示す図である。 テレビ受信機の表示画面を示す図である。 放送イベントに伴う表示画面の切り替えの様子を示す図である。 放送イベントに伴う表示画面の切り替えの様子を示す図である。 テレビ受信機の表示画面を示す図である。 転送モードの選択手順を示すフローチャートである。 転送モードの選択動作の様子を示す図である。 転送モードの選択動作の様子を示す図である。 放送管理タスクの処理を示すフローチャートである。 イベント管理タスクの処理を示すフローチャートである。 放送イベントタスクの処理を示すフローチャートである。 放送イベントタスクの処理を示すフローチャートである。 表示タスクの処理を示すフローチャートである。 イベントタスクに伴って生成される表示制御テーブルの様子を示す図である。 イベントタスクに伴って生成される表示制御テーブルの様子を示す図である。 本発明が適用される受信システムの他の構成を示す図である。 本発明が適用されるテレビ受信機の他の構成を示す図である。 本発明が適用される表示装置の構成を示す図である。 テレビ受信機における表示画面を示す図である。 表示装置における表示画面を示す図である。 表示制御テーブルの様子を示す図である。 表示装置制御タスクの動作を示すフローチャートである。 表示制御テーブルの様子を示す図である。 表示制御テーブルの様子を示す図である。 放送イベントの進捗を示す図である。
符号の説明
101 アンテナ
102 チューナ
113 インターネット接続部
112 システム制御部
109 バッファメモリ
105 表示制御部

Claims (1)

  1. 放送波から放送信号を受信する第1の受信回路と、放送波とは異なるネットワークを介してサーバからコンテンツ画像データを受信する第2の受信回路と、前記第1の受信回路で受信した放送信号から生成される放送番組画像データと前記第2の受信回路で受信したコンテンツ画像データとを共に表示装置の表示画面に表示させる映像受信装置であって、前記サーバは、同一のコンテンツについて、複数種類の画素数及び複数種類のフレームレートの組み合わせ毎にコンテンツ画像データを複数備えるとともに、当該組み合わせの画素数及びフレームレートの情報を管理するコンテンツ情報テーブルを有し、
    前記第1の受信回路で放送信号を受信し、当該放送信号から生成した放送番組画像データを前記表示画面に表示中に、前記第2の受信回路を介して前記サーバから取得するコンテンツを特定するための特定情報と、当該コンテンツに対応するコンテンツ画像データを表示画面上に表示する際の表示位置を示す情報と、当該コンテンツ画像データを表示する際の画素数を示す情報と、フレームレートを示す情報と、当該コンテンツ画像データと前記放送番組画像データとの表示サイズ比を示す情報とを含むイベント情報を放送信号から受信したか否かを検出する検出手段と、
    前記検出手段で前記イベント情報を検出した場合に、前記イベント情報に含まれる前記特定情報を用いて、当該コンテンツに対応するコンテンツ情報テーブルを前記サーバから前記第2の受信回路を用いて取得する取得手段と、
    前記イベント情報に含まれる前記表示位置を示す情報と前記画素数を示す情報と前記フレームレートを示す情報と前記表示サイズ比を示す情報及び前記表示画面の画素数並びに前記コンテンツ情報テーブルを用いて、前記サーバから取得する前記コンテンツ画像データの画素数及びフレームレートを決定する決定手段と、
    前記決定手段で決定された画素数及びフレームレートに対応するコンテンツ画像データの送信を前記サーバに要求し、前記第2の受信回路で当該コンテンツ画像データを受信する制御を実行する制御手段と、
    前記第2の受信回路で受信したコンテンツ画像データと前記表示画面の表示中の放送番組画像データとを、前記イベント情報に規定された前記表示位置を示す情報と前記表示サイズ比を示す情報とを用いて前記表示画面上にともに表示する制御を行う表示制御手段と、
    を有することを特徴とする映像受信装置。
JP2003324638A 2002-09-26 2003-09-17 映像受信装置 Expired - Fee Related JP4401721B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003324638A JP4401721B2 (ja) 2002-09-26 2003-09-17 映像受信装置
US10/667,414 US20040061805A1 (en) 2002-09-26 2003-09-23 Receiving apparatus, image display system and broadcasting method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002281054 2002-09-26
JP2003324638A JP4401721B2 (ja) 2002-09-26 2003-09-17 映像受信装置

Publications (2)

Publication Number Publication Date
JP2004140813A JP2004140813A (ja) 2004-05-13
JP4401721B2 true JP4401721B2 (ja) 2010-01-20

Family

ID=32032907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003324638A Expired - Fee Related JP4401721B2 (ja) 2002-09-26 2003-09-17 映像受信装置

Country Status (2)

Country Link
US (1) US20040061805A1 (ja)
JP (1) JP4401721B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3970551B2 (ja) * 2001-05-09 2007-09-05 シャープ株式会社 画像送信装置
US7748020B2 (en) * 2002-10-08 2010-06-29 Canon Kabushiki Kaisha Receiving apparatus and method for processing interruptions in streaming broadcasts
JP4693363B2 (ja) * 2003-05-28 2011-06-01 キヤノン株式会社 テレビジョン装置及びその制御方法
US7624063B1 (en) * 2003-09-30 2009-11-24 Trading Technologies International, Inc. System and method for improved distribution of market information
JP2005182456A (ja) * 2003-12-19 2005-07-07 Canon Inc 情報表示装置及び情報表示方法
JP4630672B2 (ja) * 2004-01-23 2011-02-09 キヤノン株式会社 アクセス制御装置及びアクセス制御方法及びアクセス制御プログラム
FR2879387B1 (fr) * 2004-12-15 2007-04-27 Tdf Sa Procede de transmission a debit binaire variable a travers un canal de transmission.
KR20060104811A (ko) * 2005-03-31 2006-10-09 엘지전자 주식회사 영상표시기기의 화질 조정장치 및 방법
JP4408845B2 (ja) * 2005-07-27 2010-02-03 シャープ株式会社 映像合成装置及びプログラム
KR20070113002A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 방송 시스템, 채널 정보 처리 방법, 및 데이터 구조
JP2009105505A (ja) * 2007-10-19 2009-05-14 Sony Corp 映像表示システム、映像表示方法、表示制御装置
EP2117231A1 (en) * 2008-05-06 2009-11-11 Sony Corporation Service providing method and service providing apparatus for generating and transmitting a digital television signal stream and method and receiving means for receiving and processing a digital television signal stream
US20100011391A1 (en) * 2008-07-14 2010-01-14 Carpenter Jason P Decoder-specific content provision system and method
EP2180655A1 (en) * 2008-10-27 2010-04-28 Thomson Licensing SA Method of transmission af a digital content stream and corresponding method of reception
JP5837009B2 (ja) * 2012-09-26 2015-12-24 キヤノン株式会社 表示装置及びその制御方法
US8717500B1 (en) 2012-10-15 2014-05-06 At&T Intellectual Property I, L.P. Relational display of images
EP2953370A1 (en) * 2014-06-05 2015-12-09 Ziggo B.V. Minimizing input lag in a remote GUI TV application
JP6139739B2 (ja) * 2016-04-22 2017-05-31 株式会社東芝 送信方法
JP6599514B2 (ja) * 2018-05-30 2019-10-30 株式会社ユニバーサルエンターテインメント 遊技機
CN110536176B (zh) * 2019-07-31 2021-09-21 深圳银澎云计算有限公司 一种视频分辨率调整方法、电子设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058721B1 (en) * 1995-07-14 2006-06-06 Broadband Royalty Corporation Dynamic quality adjustment based on changing streaming constraints
US6240555B1 (en) * 1996-03-29 2001-05-29 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
JP3649433B2 (ja) * 1996-05-16 2005-05-18 株式会社インフォシティ 情報表示装置および情報伝送表示方法
JPH10174007A (ja) * 1996-10-11 1998-06-26 Toshiba Corp マルチ機能テレビジョン装置
JPH10304334A (ja) * 1997-04-25 1998-11-13 Canon Inc 通信方法、通信装置、送信装置、受信装置、通信システム、及び記憶媒体
US6510553B1 (en) * 1998-10-26 2003-01-21 Intel Corporation Method of streaming video from multiple sources over a network
US7028264B2 (en) * 1999-10-29 2006-04-11 Surfcast, Inc. System and method for simultaneous display of multiple information sources
US6538686B2 (en) * 2000-01-07 2003-03-25 Minolta Co., Ltd. Method for transmitting image data and communication terminal
DE10000958B4 (de) * 2000-01-12 2004-04-29 Infineon Technologies Ag Schaltungsanordnung zur Erzeugung eines quadraturamplitudenmodulierten Sendesignals
US20020016964A1 (en) * 2000-03-30 2002-02-07 Shuntaro Aratani Information processing apparatus and method, data broadcasting receiving apparatus, and printer
JP2001325206A (ja) * 2000-05-12 2001-11-22 Canon Inc 表示装置、表示システム及びコンピュータ読み取り可能な記憶媒体
JP4672856B2 (ja) * 2000-12-01 2011-04-20 キヤノン株式会社 マルチ画面表示装置及びマルチ画面表示方法
US20020144276A1 (en) * 2001-03-30 2002-10-03 Jim Radford Method for streamed data delivery over a communications network
JP4612779B2 (ja) * 2001-06-14 2011-01-12 キヤノン株式会社 通信装置及び通信装置の映像表示制御方法

Also Published As

Publication number Publication date
JP2004140813A (ja) 2004-05-13
US20040061805A1 (en) 2004-04-01

Similar Documents

Publication Publication Date Title
JP4401721B2 (ja) 映像受信装置
CN1156160C (zh) 在交互电视应用中滚动编码mpeg静止画面的编码系统和方法
CN1107377C (zh) 频道选择方法和装置
US7877776B2 (en) Personal media broadcasting system
US20140281999A1 (en) Display device, two-way communication system and display information using method
US7031317B2 (en) Transmission apparatus and transmission method
KR20130137717A (ko) 디지털 방송 시스템에서의 채널 변경
AU2007201003B2 (en) Method for playback of broadcast data in receiver
KR20110061811A (ko) 스케일러블 비디오 전송 단말 장치에 대한 비주얼 프로그램 가이드 장치 및 방법
US8949904B2 (en) Channel control method and apparatus
JP2002185906A (ja) 番組記録システム、および番組記録方法
CA2745322A1 (en) Enhanced channel surfing
KR20120133006A (ko) Iptv 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템
EP1619857A1 (en) Electronic device with communication unit for streaming moving images
JP2003274380A (ja) リアルタイムにテレビ番組を視聴する方法及びシステム
JP4938473B2 (ja) 連動型放送画面送受信システム
JP4206838B2 (ja) 受信装置および受信方法
JP2003046880A (ja) 携帯型ビューワ向け送信機能搭載型受信機および携帯型ビューワならびに携帯型ビューワシステムプログラム
US20070169160A1 (en) Image display device and reservation recording method thereof
EP1107585B1 (de) Verfahren zur Darstellung von Information an einer TV-Fernbedienung sowie eine TV-Fernbedienung zur Durchführung des Verfahrens
JP2002344941A (ja) コンテンツ品質制御システム
JP3952966B2 (ja) 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
KR100754697B1 (ko) 방송 서비스 및 통화 서비스의 동시 제공이 가능한 디지털멀티미디어 방송 단말기의 화면 표시 방법
KR101287841B1 (ko) 인터넷 방송 수신기에서의 방송 프로그램 수신방법
AU2007200255A1 (en) A method for playing a media stream received over a network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091020

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091028

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131106

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees