JP5897792B2 - 画像処理装置、画像再生装置、および画像再生システム - Google Patents

画像処理装置、画像再生装置、および画像再生システム Download PDF

Info

Publication number
JP5897792B2
JP5897792B2 JP2010275976A JP2010275976A JP5897792B2 JP 5897792 B2 JP5897792 B2 JP 5897792B2 JP 2010275976 A JP2010275976 A JP 2010275976A JP 2010275976 A JP2010275976 A JP 2010275976A JP 5897792 B2 JP5897792 B2 JP 5897792B2
Authority
JP
Japan
Prior art keywords
image
image data
unit
processing
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010275976A
Other languages
English (en)
Other versions
JP2012124842A (ja
Inventor
長良 徹
徹 長良
山浦 智也
智也 山浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010275976A priority Critical patent/JP5897792B2/ja
Priority to EP18155286.0A priority patent/EP3343935B1/en
Priority to US13/308,796 priority patent/US9641886B2/en
Priority to EP14187677.1A priority patent/EP2827600B1/en
Priority to EP19190930.8A priority patent/EP3588967A1/en
Priority to EP11191527A priority patent/EP2464136A1/en
Priority to CN201710286294.2A priority patent/CN107197340B/zh
Priority to CN201110394661.3A priority patent/CN102572520B/zh
Publication of JP2012124842A publication Critical patent/JP2012124842A/ja
Application granted granted Critical
Publication of JP5897792B2 publication Critical patent/JP5897792B2/ja
Priority to US15/451,730 priority patent/US10009646B2/en
Priority to US15/941,086 priority patent/US10869081B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution

Description

本発明は、画像処理装置、画像再生装置、および画像再生システムに関する。
近年、IEEE(Institute of Electrical and Electronics Engineers)802.11に代表される無線LAN(Local Area Network)システムは、機器の自由度が高い等の利点から、有線ネットワークに代わり普及しつつある。
このIEEE802.11で規定される無線LANシステムは、親機として動作するアクセスポイント、および子機として動作する複数のステーションからなる無線通信装置のグループで構成され、1のアクセスポイントは複数のステーションが接続される。
また、Wi−Fi Allianceで策定中のWi−Fiダイレクトでは、複数の無線通信装置が親機(Group Owner)または子機(Client)のいずれとしての役割を担うかを決定して通信グループを形成することが提案されている。ここで、親機は簡易的なアクセスポイントとして動作し、1または2以上の子機を接続する機能を有する。
このようなWi−Fiダイレクトのユースケースとして、携帯電話やPC(Personal Computer)とディスプレイ装置が通信グループを形成し、携帯電話やPCが送信した画像データをディスプレイ装置で表示することが考えられる。携帯電話やPCとディスプレイ装置は、アクセスポイントを経由しないで通信するので、無線能力を活用したレート伝送で低遅延を実現することができる。
なお、特許文献1には、2の無線通信装置が通信路の状況に応じてデータレートを動的に設定する技術が開示されている。
特開2009−272874号公報
ここで、Wi−Fiダイレクトにおいて複数のフレーム画像からなる画像データを圧縮してパケット伝送する場合、無線通信装置間の無線状況に応じて各フレーム画像のデータ容量を動的に変更することが考えられる。例えば、送信側の無線通信装置は、画像データの送信中に、各フレーム画像の解像度、フレームレート、圧縮率、および走査形式(プログレッシブ、インターレス)などの画像形式を切り替えることにより伝送レートの変化に対応することが可能である。
しかし、送信側が画像データの送信中に画像形式を切り替えると、受信側が画像データを正常に再生できなくなる場合が考えられる。例えば、送信側がフレーム画像の解像度を変更した場合、受信側は、フレーム画像をデコーダで復号した後でないと解像度の変更を認識できないので、デコーダの後段に配されるスケーラの設定切替えが間に合わない。その結果、解像度の変更直後のフレーム画像の正常な再生に失敗してしまうことが懸念される。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、伝送される画像データの形式変更に画像再生装置が前もって対応することを可能とする、新規かつ改良された画像処理装置、画像再生装置、および画像再生システムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、画像データを処理する画像処理部と、前記画像処理部により処理された画像データ、およびタイミング情報を画像再生装置に無線送信する通信部と、前記タイミング情報の示すタイミングにおいて前記画像処理部に前記画像データの処理内容を切替えさせる制御部と、を備える画像処理装置が提供される。
前記画像処理部は、前記制御部による制御に従い、前記タイミング情報の示すタイミングにおいて前記画像データを構成する各フレーム画像の解像度を切り替えてもよい。
前記制御部は、前記画像再生装置との間の無線状況に応じて前記処理内容の切替えを判断し、前記処理内容を切り替えるタイミングを判断し、前記タイミングを示す前記タイミング情報を生成してもよい。
前記制御部は、前記画像再生装置からの再送要求から前記画像再生装置との間の無線状況を検出してもよい。
前記通信部は、前記画像データをパケット形式で送信し、前記制御部が生成する前記タイミング情報は、パケットに付されるPTSまたはDTSを示してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、画像処理装置から画像データおよびタイミング情報を受信する受信部と、前記画像データを再生する再生部と、前記タイミング情報の示すタイミングにおいて前記再生部による再生処理内容を切替えさせる制御部と、を備える画像再生装置が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、画像データを処理する画像処理部、前記画像処理部により処理された画像データ、およびタイミング情報を無線送信する通信部、および、前記タイミング情報の示すタイミングにおいて前記画像処理部に前記画像データの処理内容を切替えさせる制御部、を有する画像処理装置と、前記画像処理装置から前記画像データおよび前記タイミング情報を受信する受信部、前記画像データを再生する再生部、および、前記タイミング情報の示すタイミングにおいて前記再生部による再生処理内容を切替えさせる制御部、を有する画像再生装置と、を備える画像再生システムが提供される。
以上説明したように本発明によれば、伝送される画像データの形式変更に画像再生装置が前もって対応することが可能となる。
本発明の実施形態による画像再生システムの構成を示した説明図である。 携帯電話のソフトウェア概念を示した説明図である。 スライス伝送により送信される各フレーム画像の具体例を示した説明図である。 本発明の実施形態による携帯電話のハードウェア構成を示した説明図である。 携帯電話および表示装置の構成を示した機能ブロック図である。 パケット生成部の構成を示した説明図である。 パケット構成を示した説明図である。 無線状況の変化と解像度の切替えの関係を示した説明図である。 比較例による処理フローを示した説明図である。 本実施形態による処理フローを示した説明図である。 画像再生システムの動作を示したシーケンス図である。
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.画像再生システムの概要
2.ハードウェア構成
3.携帯電話および表示装置の機能
4.画像再生システムの動作
5.まとめ
<1.画像再生システムの概要>
図1は、本発明の実施形態による画像再生システム1の構成を示した説明図である。図1に示したように、本発明の実施形態による画像再生システム1は、携帯電話20および表示装置10を備える。
携帯電話20は、表示装置10などの周囲の無線通信装置と接続して無線通信する機能を有する。例えば、携帯電話20は、Wi−Fi Allianceで策定中のWi−Fiダイレクトに従って表示装置10と通信グループを形成し、通信グループを形成した表示装置10とアクセスポイントを介さずに無線通信することができる。
また、携帯電話20は、表示装置10と通信グループを形成すると、表示装置10にコンテンツデータや制御データなどを送信することができる。本明細書においてはコンテンツデータの一例として複数のフレーム画像からなる画像データが送信される実施形態を主に説明する。この画像データは、映画、テレビジョン番組、またはビデオプログラムなどのデータであってもよいし、携帯電話20におけるユーザの作業画面であってもよいし、ゲームの表示画面であってもよい。ただし、コンテンツデータは画像データに限定されず、例えば、音楽、講演およびラジオ番組などの音声データがコンテンツデータとして携帯電話20から送信されてもよい。
ここで、図2を参照し、画像データおよび制御データが通信されるレイヤを説明する。
図2は、携帯電話20のソフトウェア概念を示した説明図である。図2に示したように、画像データなどのコンテンツデータは、MPEG―TS/RTP/UDP/IPなどを利用して送信される。一方、制御データは、TCP/IPまたはL2レイヤなど、画像データと異なる通信パスで送信される。
なお、図1においては画像処理装置の一例として携帯電話20を示したに過ぎず、画像処理装置は携帯電話20に限定されない。例えば、画像処理装置は、PC(Personal Computer)、家庭用映像処理装置(DVDレコーダ、ビデオデッキなど)、PDA(Personal Digital Assistants)、家庭用ゲーム機器、携帯用映像処理装置、携帯用ゲーム機器、および家電機器などの情報処理装置であってもよい。
表示装置10は、携帯電話20などの周囲の無線通信装置と接続して無線通信する機能を有する。例えば、表示装置10は、Wi−Fi Allianceで策定中のWi−Fiダイレクトに従って携帯電話20と通信グループを形成し、通信グループを形成した携帯電話20とアクセスポイントを介さずに無線通信することができる。なお、表示装置10および携帯電話20は、同じアクセスポイント(AP)に接続されている場合であっても、例えばIEEE802.11z(TDLS)等を使用する直接通信を行ってもよい。
また、表示装置10は、携帯電話20と通信グループを形成すると、携帯電話20から送信される画像データを受信し、受信した画像データを表示することができる。かかる構成により、ユーザは、携帯電話20で処理された画像データを、より大画面である表示装置10に煩雑な作業をすることなく表示させることが可能である。
なお、図1においては画像再生装置の一例として表示装置10を示したに過ぎず、画像再生装置は表示装置10に限定されない。例えば、画像再生装置は、PCや映像処理装置等、画像再生機能を有する任意の情報処理装置であってもよい。
また、図1においては、携帯電話20および表示装置10に無線通信機能が実装される例を説明したが、本実施形態はかかる例に限定されない。例えば、携帯電話20に、無線通信機能、画像データのエンコード機能、およびパケット化機能を有するアダプタを外付けしてもよい。同様に、表示装置10に、無線通信機能、および画像データのデコード機能などを有するアダプタを外付けしてもよい。
上述したように、本実施形態によれば、携帯電話20と表示装置10がアクセスポイントなどを介さずに直結で無線通信を行うので、無線能力を活用したレート伝送で低遅延を実現することができる。また、以下に説明するスライス伝送を利用することにより、さらなる低遅延を実現可能である。
スライス伝送は、各フレーム画像を複数のスライスに分割して伝送する方法である。このスライス伝送によれば、受信側はフレーム画像全体の受信を待たずに各スライスの再生を開始できるという利点がある。
図3は、スライス伝送により送信される各フレーム画像の具体例を示した説明図である。図3に示したように、スライス伝送により伝送される各フレーム画像は複数のスライスに分割されており、各スライスはAVCで圧縮されたIスライスまたはPスライスで構成される。また、送信側は、フレーム画像ごとにIスライスのスライス位置を変化させる。図3に示した例では、フレーム画像#1では最上段のスライスがIスライスであり、フレーム画像#2では2段目のスライスがIピクチャである。
このように、スライス伝送によれば、同一フレーム画像内にIスライスとPスライスを共存させられるので、レートを安定させると共に、使用するバッファ長を低減できることから低遅延を実現することが可能となる。
<2.ハードウェア構成>
以上、本発明の実施形態による画像再生システム1の概要を説明した。続いて、図4を参照し、本発明の実施形態による携帯電話20のハードウェア構成を説明する。
図4は、本発明の実施形態による携帯電話20のハードウェア構成を示した説明図である。携帯電話20は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、ホストバス204と、を備える。また、携帯電話20は、ブリッジ205と、外部バス206と、インタフェース207と、入力装置208と、出力装置210と、ストレージ装置(HDD)211と、ドライブ212と、通信装置215とを備える。
CPU201は、演算処理装置および制御装置として機能し、各種プログラムに従って携帯電話20内の動作全般を制御する。また、CPU201は、マイクロプロセッサであってもよい。ROM202は、CPU201が使用するプログラムや演算パラメータ等を記憶する。RAM203は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス204により相互に接続されている。
ホストバス204は、ブリッジ205を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス206に接続されている。なお、必ずしもホストバス204、ブリッジ205および外部バス206を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
入力装置208は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU201に出力する入力制御回路などから構成されている。携帯電話20のユーザは、該入力装置208を操作することにより、携帯電話20に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置210は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。さらに、出力装置210は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置210は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
ストレージ装置211は、本実施形態にかかる携帯電話20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置211は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置211は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置211は、ハードディスクを駆動し、CPU201が実行するプログラムや各種データを格納する。
ドライブ212は、記憶媒体用リーダライタであり、携帯電話20に内蔵、あるいは外付けされる。ドライブ212は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体24に記録されている情報を読み出して、RAM203に出力する。また、ドライブ212は、リムーバブル記憶媒体24に情報を書き込むこともできる。
通信装置215は、例えば、周囲の無線通信装置やネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置215は、無線LAN(Local Area Network)対応通信装置であっても、LTE(Long Term Evolution)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
なお、上記では図4を参照して携帯電話20のハードウェア構成について説明したが、表示装置10のハードウェアは携帯電話20と実質的に同一に構成することが可能であるため、説明を省略する。
<3.携帯電話および表示装置の機能>
以上、図4を参照して携帯電話20および表示装置10のハードウェア構成を説明した。続いて、図5〜図10を参照し、携帯電話20および表示装置10の機能を説明する。
図5は、携帯電話20および表示装置10の構成を示した機能ブロック図である。図5に示したように、表示装置10は、スケーラ120と、デコーダ130と、無線通信部140と、制御部150と、表示部160と、を備える。また、携帯電話20は、解像度処理部220と、パケット生成部230と、無線通信部240と、制御部250と、を備える。
携帯電話20の解像度処理部220は、供給される画像データの解像度を制御部250による制御に従って変更するための処理を行う。例えば、解像度が1920×1080である画像データが供給されているときに、制御部250により解像度が1280×720である画像データの出力を指示された場合、供給される画像の解像度を1920×1080から1280×720に変換する。このような解像度処理部220は、パケット生成部230と共に、画像データを処理する画像処理部としての機能を担う。
なお、図5においては記載を省略しているが、携帯電話20は、供給される画像データのフレームレートを変更するフレームレート変更部や、画像データの走査形式(インターレースおよびプログレッシブなど)を変更する走査形式変更部などの画像処理部を有してもよい。
パケット生成部230は、解像度処理部220から供給される画像データなどから無線送信するためのパケットを生成する。以下、図6および図7を参照し、このパケット生成部230の詳細な構成を説明する。
図6は、パケット生成部230の構成を示した説明図である。図6に示したように、パケット生成部230は、画像エンコーダ231と、音声エンコーダ232と、PESパケタイザ233と、暗号処理部234と、TSマルチプレクサ235とを含む。
画像エンコーダ231は、供給される画像データを圧縮エンコードして出力する。同様に、音声エンコーダ232は、供給される音声データを圧縮エンコードして出力する。なお、画像エンコーダ231および音声エンコーダ232は、制御部250からの指示に従って各データの圧縮率を変更することが可能である。
PESパケタイザ233は、画像エンコーダ231から出力される画像データ、および音声エンコーダ232から出力される画像データからPESパケットを生成する。より詳細に説明すると、PESパケタイザ233は、図7の(1)に示したように、PESヘッダおよびPESペイロードからなるPESパケットを生成する。PESヘッダには、DTS(デコーディングタイムスタンプ)またはPTS(プレゼンテーションタイムスタンプ)などのタイミング情報を記載するためのフィールドが含まれる。
暗号処理部234は、PESパケタイザ233から供給されるPESパケットを暗号化して出力する。暗号処理部234は、例えば、HDCP(High−bandwidth Digital Content Protection System)2.0によりPESパケット暗号化してもよい。
TSマルチプレクサ235は、図7の(2)に示したように、TSヘッダおよびTSペイロードからなるTSストリームを生成する。なお、TSペイロードは、PESパケットを例えば188バイト固定長に分割することにより得られる。このTSストリームは、図7の(3)に示したように、RTPヘッダが付加されるRTPパケットとして送信される。
無線通信部240は、パケット生成部230により生成された画像データを含むRTPパケットや、制御部250により指示された制御データなどを無線送信する。なお、制御データは、詳細については後述するが、画像データの解像度を変更するタイミングを示すタイミング情報を含む。この無線通信部240は、例えばWi−Fi Allianceで策定中のWi−Fiダイレクトに従って動作することができる。
制御部250は、携帯電話20の動作全般を制御する。例えば、制御部250は、解像度処理部220やパケット生成部230に処理内容を制御する。より詳細に説明すると、制御部250は、無線状況に応じて伝送レートが変化する場合、伝送レートの変化に対応するために、解像度処理部220に画像データの解像度の変更を指示したり、パケット生成部230の画像エンコーダ231に画像データの圧縮率の変更を指示したりする。または、制御部250は、伝送レートの変化に対応するために、フレームレートの変更を指示してもよいし、走査形式(インターレースおよびプログレッシブなど)の変更を指示してもよい。
図8は、無線状況の変化と解像度の切替えの関係を示した説明図である。図8に示したように、解像度が1920×1080である画像データの送信中、時刻t1において無線状況の評価値が閾値thを下回った場合、制御部250は、解像度処理部220に画像データの解像度を1280×720に変更するように指示する。これにより、時刻t2から解像度が1280×720である画像データが送信される。
なお、制御部250は、多様な方法により無線状況を検出することが可能である。例えば、制御部250は、表示装置10からの再送要求の頻度に応じて無線状況を検出してもよいし、表示装置10から受信される無線信号のRSSIに応じて無線状況を検出してもよいし、表示装置10からのメジャメント情報により無線状況を検出してもよい。
また、制御部250は、無線状況が変化した場合に限らず、送信対象の画像データの種別が変化した場合に解像度処理部220やパケット生成部230の処理内容を切り替えてもよい。例えば、WEBページなどの静止画に近く解像度が必要な画像データから、動画のように解像度よりフレームレートが必要な画像データに送信対象が変化した場合、制御部250は、解像度処理部220に解像度の減少を指示する。
また、制御部250は、解像度の切替えなど、画像データの処理内容の切替えを決定した場合、切替えのタイミングを示すタイミング情報を無線通信部240から表示装置10に通知させ、そのタイミングでの画像データの処理内容の切替えを指示する。なお、タイミング情報は、PESヘッダに含まれるDTSまたはPTSなどを示す時間情報であってもよい。このようにタイミング情報を事前に表示装置10に通知することの意義、効果については図9および図10を参照して後述する。
表示装置10の無線通信部140(受信部)は、携帯電話20から、画像データを含むRTPパケットや、タイミング情報を含む制御データなどを受信する。この無線通信部140は、例えばWi−Fi Allianceで策定中のWi−Fiダイレクトに従って動作することができる。
デコーダ130は、無線通信部140により受信されたRTPパケットを解読し、RTPパケットに含まれる画像データなどをデコードする。スケーラ120は、デコーダ130から供給される画像データの解像度を、表示部160の解像度に合うように調整する。このようなデコーダ130およびスケーラ120は、画像データを再生する再生部としての機能を担う。
表示部160は、デコーダ130およびスケーラ120によって再生された画像データを表示する。
制御部150は、表示装置10の動作全般を制御する。例えば、制御部150は、携帯電話20から受信されるタイミング情報に従い、デコーダ130やスケーラ120による再生処理内容を制御する。より詳細に説明すると、制御部250は、携帯電話20から解像度が切り替えられるタイミングを示すタイミング情報を受信した場合、当該タイミング情報の示すタイミングにおいて、スケーラ120の設定を変更する。かかる構成により、表示装置10は、解像度の変更直後のフレーム画像の再生を成功させることが可能となる。以下、この点について図9および図10を参照してより具体的に説明する。
図9は、比較例による処理フローを示した説明図である。比較例による送信側は、受信側に事前通知することなく、フレーム画像#5において解像度を1080(縦方向の解像度のみを記載、以下同様)から720に切り替える。この場合、受信側のスケーラは、フレーム画像#5以降のフレーム画像の解像度を720から1080に調整する必要があるが、解像度の切替えはデコーダにより画像データがデコードされるまで分からないので、スケーラの設定変更が間に合わない。その結果、比較例では画像データの再生が失敗し、シームレスな切替えを実現することが困難である。
特に、スライス伝送が用いられる場合には、スケーラの設定変更を間に合わせることが難しい。また、解像度の切替えタイミングを受信側で予測できない比較例では、継ぎ目のスライスで以前のスライスを新たしい解像度に変換しておき、未受信のスライス部分にこの変換後のスライスを表示しておくというコンシール処理を行うことも困難である。
図10は、本実施形態による処理フローを示した説明図である。本実施形態による携帯電話20は、上述したように、解像度などの処理内容の切替えタイミングを示すタイミング情報を事前に表示装置10に送信する。このため、表示装置10は、図10に示したように、受信したタイミング情報に基づいてフレーム画像#5から解像度が1080から720に切り替えられることを把握できる。
これにより、表示装置10の制御部150は、タイミング情報の示すフレーム画像#5の調整タイミングに間に合わせてスケーラ120の設定を変更することができる。その結果、フレーム画像#5を正常に再生し、シームレスな切替えを実現することが可能である。また、スライス伝送が用いられる場合には、継ぎ目のスライスで以前のスライスを新たしい解像度に変換しておき、未受信のスライス部分にこの変換後のスライスを表示しておくというコンシール処理を行うことが可能となる。
<4.画像再生システムの動作>
以上、本発明の実施形態による携帯電話20および表示装置10の機能を説明した。続いて、図11を参照し、携帯電話20および表示装置10からなる画像再生システム1の動作を説明する。
図11は、画像再生システム1の動作を示したシーケンス図である。図11に示したように、まず、携帯電話20が画像データの送信を開始すると(S310)、表示装置10は画像データの再生を開始する。ここで、携帯電話20から送信される画像データの解像度を解像度Aとする。
その後、携帯電話20の制御部250は、無線状況の変化(改善または悪化)を検出すると(S320)、画像データの解像度の変更タイミングを決定し(S330)、当該タイミングを示すタイミング情報を表示装置10に送信する(S340)。
続いて、携帯電話20の制御部250は、タイミング情報の示すタイミングにおいて解像度処理部220に解像度Aから解像度Bへの切替えを指示する(S350)。また、表示装置150は、タイミング情報の示すタイミングにおいてスケーラの設定を解像度Bに適合するように変更する(S360)。
そして、携帯電話20から解像度Bの画像データの送信が開始されるが(S370)、表示装置10は、事前にスケーラの設定を変更済みであるので、解像度の切替え前後でシームレスな再生を実現することが可能である。その後、画像データの送信が終了する(S380)。
<5.まとめ>
以上説明したように、本発明の実施形態による携帯電話20は、解像度などの処理内容の切替えタイミングを示すタイミング情報を事前に表示装置10に送信する。このため、表示装置10は、タイミング情報の示すタイミングに間に合わせてスケーラ120の設定を変更することができる。その結果、解像度の切替え直後のフレーム画像を正常に再生し、シームレスな切替えを実現することが可能である。また、スライス伝送が用いられる場合には、継ぎ目のスライスで以前のスライスを新たしい解像度に変換しておき、未受信のスライス部分にこの変換後のスライスを表示しておくというコンシール処理を行うことが可能となる。
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記では携帯電話20が解像度の切り替える場合にタイミング情報を送信する例を説明したが、本発明はかかる例に限定されない。変形例として、携帯電話20は、フレームレート、圧縮率、および走査形式(プログレッシブ、インターレス)などの画像形式を切り替える場合にもタイミング情報および切替え後の情報を表示装置10に事前通知してもよい。
また、本明細書の画像再生システム1の処理における各ステップは、必ずしもシーケンス図として記載された順序に沿って時系列に処理する必要はない。例えば、画像再生システム1の処理における各ステップは、シーケンス図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、表示装置10および携帯電話20に内蔵されるCPU201、ROM202およびRAM203などのハードウェアを、上述した表示装置10および携帯電話20の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
10 表示装置
20 携帯電話
120 スケーラ
130 デコーダ
140、240 無線通信部
150、250 制御部
220 解像度処理部
230 パケット生成部
231 画像エンコーダ
240 無線通信部

Claims (7)

  1. 画像データを処理する画像処理部と;
    前記画像処理部により処理された画像データ、および、前記画像処理部における前記画像データの処理内容の切替えと、送信先となる画像再生装置における再生処理内容の変更とのための時間情報を含むタイミング情報を画像再生装置に無線送信する通信部と;
    前記タイミング情報の示すタイミングにおいて前記画像処理部に前記画像データの処理内容を切替えさせる制御部と;
    を備える、画像処理装置。
  2. 前記画像処理部は、前記制御部による制御に従い、前記タイミング情報の示すタイミングにおいて前記画像データを構成する各フレーム画像の解像度を切り替える、請求項1に記載の画像処理装置。
  3. 前記制御部は、前記画像再生装置との間の無線状況に応じて前記処理内容の切替えを判断し、前記処理内容を切り替えるタイミングを判断し、前記タイミングを示す前記タイミング情報を生成する、請求項2に記載の画像処理装置。
  4. 前記制御部は、前記画像再生装置からの再送要求から前記画像再生装置との間の無線状況を検出する、請求項3に記載の画像処理装置。
  5. 前記通信部は、前記画像データをパケット形式で送信し、
    前記制御部が生成する前記タイミング情報は、パケットに付されるPTSまたはDTSを示す、請求項3に記載の画像処理装置。
  6. 画像処理装置から画像データ、および前記画像処理装置における前記画像データの処理内容の切替えについての時間情報を含むタイミング情報を受信する受信部と;
    前記画像データを再生する再生部と;
    前記タイミング情報の示すタイミングにおいて前記再生部による再生処理内容を切替えさせる制御部と;

    を備える、画像再生装置。
  7. 画像データを処理する画像処理部と、
    前記画像処理部により処理された画像データ、および前記画像処理部における前記画像データの処理内容の切替えと、送信先となる画像再生装置における再生処理内容の変更とのための時間情報を含むタイミング情報を無線送信する通信部、および、
    前記タイミング情報の示すタイミングにおいて前記画像処理部に前記画像データの処理内容を切替えさせる制御部、
    を有する画像処理装置;
    前記画像処理装置から前記画像データおよび前記タイミング情報を受信する受信部、
    前記画像データを再生する再生部、および、
    前記タイミング情報の示すタイミングにおいて前記再生部による再生処理内容を切替えさせる制御部、
    を有する画像再生装置と;
    を備える、画像再生システム。
JP2010275976A 2010-12-10 2010-12-10 画像処理装置、画像再生装置、および画像再生システム Active JP5897792B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2010275976A JP5897792B2 (ja) 2010-12-10 2010-12-10 画像処理装置、画像再生装置、および画像再生システム
US13/308,796 US9641886B2 (en) 2010-12-10 2011-12-01 Image processing device, image reproduction device, and image reproduction system
EP14187677.1A EP2827600B1 (en) 2010-12-10 2011-12-01 Image processing device, image reproduction device, and image reproduction system
EP19190930.8A EP3588967A1 (en) 2010-12-10 2011-12-01 Image processing device, image reproduction device, and image reproduction system
EP11191527A EP2464136A1 (en) 2010-12-10 2011-12-01 Image processing device, image reproduction device, and image reproduction system
EP18155286.0A EP3343935B1 (en) 2010-12-10 2011-12-01 Image processing device, image reproduction device, and image reproduction system
CN201710286294.2A CN107197340B (zh) 2010-12-10 2011-12-02 使用无线局域网来传送和接收数据的无线通信装置和方法
CN201110394661.3A CN102572520B (zh) 2010-12-10 2011-12-02 图像处理设备、图像再现设备以及图像再现系统
US15/451,730 US10009646B2 (en) 2010-12-10 2017-03-07 Image processing device, image reproduction device, and image reproduction system
US15/941,086 US10869081B2 (en) 2010-12-10 2018-03-30 Image processing device, image reproduction device, and image reproduction system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010275976A JP5897792B2 (ja) 2010-12-10 2010-12-10 画像処理装置、画像再生装置、および画像再生システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015014264A Division JP5999205B2 (ja) 2015-01-28 2015-01-28 通信装置

Publications (2)

Publication Number Publication Date
JP2012124842A JP2012124842A (ja) 2012-06-28
JP5897792B2 true JP5897792B2 (ja) 2016-03-30

Family

ID=45421853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010275976A Active JP5897792B2 (ja) 2010-12-10 2010-12-10 画像処理装置、画像再生装置、および画像再生システム

Country Status (4)

Country Link
US (3) US9641886B2 (ja)
EP (4) EP2827600B1 (ja)
JP (1) JP5897792B2 (ja)
CN (2) CN107197340B (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
JP5897792B2 (ja) * 2010-12-10 2016-03-30 ソニー株式会社 画像処理装置、画像再生装置、および画像再生システム
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US9582239B2 (en) 2011-01-21 2017-02-28 Qualcomm Incorporated User input back channel for wireless displays
US9413803B2 (en) * 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
KR20130143162A (ko) * 2012-06-20 2013-12-31 삼성전자주식회사 휴대단말기의 데이터 전송 장치 및 방법
JP6827773B2 (ja) * 2016-01-18 2021-02-10 キヤノン株式会社 通信装置、通信方法及びプログラム
US11095939B2 (en) 2016-09-07 2021-08-17 Lg Electronics Inc. Image display device and system thereof
US10860399B2 (en) 2018-03-15 2020-12-08 Samsung Display Co., Ltd. Permutation based stress profile compression
US10515612B2 (en) * 2018-03-26 2019-12-24 Samsung Display Co., Ltd. Transformation based stress profile compression
JP2021192470A (ja) * 2018-09-07 2021-12-16 ソニーグループ株式会社 コンテンツ配信システムおよびコンテンツ配信方法、並びにプログラム
US10803791B2 (en) 2018-10-31 2020-10-13 Samsung Display Co., Ltd. Burrows-wheeler based stress profile compression
US11308873B2 (en) 2019-05-23 2022-04-19 Samsung Display Co., Ltd. Redundancy assisted noise control for accumulated iterative compression error
US11245931B2 (en) 2019-09-11 2022-02-08 Samsung Display Co., Ltd. System and method for RGBG conversion
CN110475151A (zh) * 2019-09-11 2019-11-19 中影巴可(北京)电子有限公司 数字电影放映系统的电影播放方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3466071B2 (ja) * 1997-12-05 2003-11-10 松下電器産業株式会社 放送受信装置
US7023913B1 (en) * 2000-06-14 2006-04-04 Monroe David A Digital security multimedia sensor
JP2002171526A (ja) * 2000-11-30 2002-06-14 Canon Inc データ処理装置、データ処理システム、データ処理方法、及び記憶媒体
US20020071052A1 (en) * 2000-12-07 2002-06-13 Tomoaki Itoh Transmission rate control method
US7636132B2 (en) 2003-04-17 2009-12-22 Sharp Kabushiki Kaisha Transmitter, receiver, wireless system, control method, control program, and computer-readable recording medium containing the program
JP3621407B2 (ja) 2003-04-17 2005-02-16 シャープ株式会社 送信機、受信機、ワイヤレスシステム、制御方法、制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP4190357B2 (ja) 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP4500026B2 (ja) * 2003-09-10 2010-07-14 パイオニア株式会社 通信装置
US7680059B2 (en) * 2004-02-13 2010-03-16 Broadcom Corporation Multiple protocol wireless communications in a WLAN
JP3786120B2 (ja) * 2004-03-09 2006-06-14 セイコーエプソン株式会社 データ転送制御装置及び電子機器
JP2005348015A (ja) 2004-06-02 2005-12-15 Fujitsu Ltd リアルタイム・ストリーミングデータ受信装置
US7797723B2 (en) 2004-10-30 2010-09-14 Sharp Laboratories Of America, Inc. Packet scheduling for video transmission with sender queue control
JP2006217242A (ja) 2005-02-03 2006-08-17 Toshiba Corp 無線通信方法および無線通信装置
JP4322851B2 (ja) * 2005-08-19 2009-09-02 Necディスプレイソリューションズ株式会社 動画配信システムおよび動画配信サーバー
CA2653105A1 (en) 2006-05-24 2007-11-29 Boehringer Ingelheim International Gmbh Novel medicament combinations for the treatment of respiratory diseases
WO2008069050A1 (ja) * 2006-11-29 2008-06-12 Panasonic Corporation 映像音声信号入出力装置、映像音声再生装置、映像音声装置ネットワークおよび信号再生方法
WO2008108379A1 (ja) 2007-02-28 2008-09-12 Nec Corporation メディア配信システム、配信サーバ装置及びそれらに用いるメディア配信方法並びにそのプログラム
JP2008244572A (ja) 2007-03-26 2008-10-09 Pioneer Electronic Corp デジタル放送記録装置
US20090043692A1 (en) * 2007-08-07 2009-02-12 Nokia Corporation Downloading of Content
JP5202193B2 (ja) 2007-11-06 2013-06-05 キヤノン株式会社 画像処理装置及び方法
WO2009064113A2 (en) * 2007-11-12 2009-05-22 Lg Electronics Inc. Procedure for a power save mode in a direct link setup wireless network
JP2009272874A (ja) 2008-05-07 2009-11-19 Sony Corp 通信装置、通信方法、プログラム、および通信システム
JP4670902B2 (ja) * 2008-05-30 2011-04-13 ソニー株式会社 送信装置、送信方法および受信装置
JP5258472B2 (ja) 2008-09-17 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 放送及び通信システム並びにパラメータ決定装置
JP5169728B2 (ja) 2008-10-23 2013-03-27 富士通株式会社 広告挿入vod配信方法及びvodサーバ
US20100218232A1 (en) * 2009-02-25 2010-08-26 Cisco Technology, Inc. Signalling of auxiliary information that assists processing of video according to various formats
JP2010275976A (ja) 2009-05-29 2010-12-09 Isuzu Motors Ltd 熱電ユニット
KR101630283B1 (ko) * 2009-06-25 2016-06-14 한화테크윈 주식회사 영상 보안 시스템에서 부호화 장치
JP5897792B2 (ja) * 2010-12-10 2016-03-30 ソニー株式会社 画像処理装置、画像再生装置、および画像再生システム

Also Published As

Publication number Publication date
US9641886B2 (en) 2017-05-02
EP3343935A1 (en) 2018-07-04
US10009646B2 (en) 2018-06-26
JP2012124842A (ja) 2012-06-28
EP3588967A1 (en) 2020-01-01
US10869081B2 (en) 2020-12-15
CN107197340B (zh) 2020-07-17
CN107197340A (zh) 2017-09-22
US20120147799A1 (en) 2012-06-14
CN102572520B (zh) 2017-06-13
EP2464136A1 (en) 2012-06-13
US20180227623A1 (en) 2018-08-09
CN102572520A (zh) 2012-07-11
EP2827600B1 (en) 2018-04-11
EP3343935B1 (en) 2019-09-18
US20170180779A1 (en) 2017-06-22
EP2827600A1 (en) 2015-01-21

Similar Documents

Publication Publication Date Title
JP5897792B2 (ja) 画像処理装置、画像再生装置、および画像再生システム
EP3195606B1 (en) Direct streaming for wireless display
JP6406249B2 (ja) 情報処理装置および情報処理方法
US9986579B2 (en) Split miracast transmission over multiple frequency bands
WO2014192414A1 (ja) 情報処理装置および情報処理方法
JP2015065574A (ja) 受信装置,受信方法,プログラム
JP6332364B2 (ja) 通信装置、通信方法およびプログラム
JP5999205B2 (ja) 通信装置
KR101952632B1 (ko) 사용자 단말 장치 및 그를 이용한 컨텐츠 전송 방법
JP2004242156A (ja) 通信品質通知装置及び無線通信ネットワーク対応システム
JP6558071B2 (ja) 無線通信装置、無線通信プログラム、及び無線通信方法
JP2015192248A (ja) 端末装置及びコンテンツリクエスト送信方法
BR112017000744B1 (pt) Transmissão contínua direta para visor sem fio
JP2011142405A (ja) 可搬型録画再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141014

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150128

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150205

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160303

R150 Certificate of patent or registration of utility model

Ref document number: 5897792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250