JP5697494B2 - Video transmission device, video transmission method, video reception device, and video reception method - Google Patents
Video transmission device, video transmission method, video reception device, and video reception method Download PDFInfo
- Publication number
- JP5697494B2 JP5697494B2 JP2011050975A JP2011050975A JP5697494B2 JP 5697494 B2 JP5697494 B2 JP 5697494B2 JP 2011050975 A JP2011050975 A JP 2011050975A JP 2011050975 A JP2011050975 A JP 2011050975A JP 5697494 B2 JP5697494 B2 JP 5697494B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- reference signal
- network
- delay time
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims description 87
- 238000000034 method Methods 0.000 title claims description 47
- 238000012545 processing Methods 0.000 claims description 116
- 238000007906 compression Methods 0.000 claims description 51
- 230000006835 compression Effects 0.000 claims description 49
- 230000004044 response Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 10
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000010355 oscillation Effects 0.000 description 4
- 238000004904 shortening Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010561 standard procedure Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
映像を伝送する装置に関する。 The present invention relates to an apparatus for transmitting video.
上記技術分野に関し、例えば特許文献1には、ネットワークを介して映像を伝送する際に、表示時間を調節する機能持った伝送装置が開示されている。
Regarding the above technical field, for example,
しかし、特許文献1に記載の技術は、複数の映像送信装置から受信した映像を同時に表示するために映像受信側の処理が複雑となる課題があった。
However, the technique described in
そこで本明細書では例えば、映像受信装置の制御に応じて、映像送信装置がその出力遅延時間を制御する構成とする。 Therefore, in this specification, for example, the video transmission device controls the output delay time in accordance with the control of the video reception device.
本発明によれば、出力遅延時間を考慮した映像伝送システムを提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the video transmission system which considered output delay time can be provided.
図1は、映像伝送装置であるカメラを含む映像伝送システムの形態の一例である。図1において、1はカメラであり、2から3は別のカメラである。4はLAN(LocalAreaNetwork)、5はコントローラであり、カメラ1から3は、LAN4を介してコントローラ5と接続されている。6はディスプレイである。ネットワークにおいては、使用するプロトコルとして、例えばデータリンクプロトコルであるIEEE802.3規格で規定されている方式を用いてもよいし、さらにネットワークプロトコルのIP(Internet Protocol)を使用し、その上位のトランスポートプロトコルにはTCP(Transmission Control Protocol)およびUDP(User Datagram Protocol)を用いてもよい。映像や音声の伝送には更に上位のアプリケーションプロトコル、例えばRTP(Real−time Transport Protocol)やHTTP(Hyper Text Transfer Protocol)等が使用される。その他、IEEE802.3規格で規定されているプロトコル方式を用いてもよい。コントローラ5は、各カメラから配信される映像や音声データを受信し、ディスプレイ6、スピーカ7に映像、音声をそれぞれ出力する。LAN4の構成としては、例えば、各カメラとコントローラ5が各々1対1で直接接続される形態や、図示しないスイッチングハブ装置を介して接続され、カメラは2台以下や4台以上の接続も可能である。
FIG. 1 is an example of a video transmission system including a camera which is a video transmission apparatus. In FIG. 1, 1 is a camera and 2 to 3 are other cameras.
図2は、映像伝送装置であるカメラ1の内部ブロック構成の一例を示す図である。100はレンズ、101は撮像素子、102は映像圧縮回路、103は映像バッファ、104はシステムエンコーダ、105はパケットバッファ、106は基準信号発生回路、107はLANインタフェース回路、108は制御回路、109はメモリである。
FIG. 2 is a diagram illustrating an example of an internal block configuration of the
レンズ100を介して撮像素子101で得られた映像信号は、映像圧縮回路102に入力され、色調やコントラストの補正が行われて、映像バッファ103に格納される。次に、映像圧縮回路102は、映像バッファ103に格納された映像データを読み出して、例えば、映像圧縮符号化方式としてISO/IEC13818−2(通称MPEG2Video)MP@ML(Main Profile@Main Level)規格に準拠した圧縮符号化データを生成する。その他、映像圧縮符号化方式としては、H.264/AVC規格方式やJPEG規格方式でもよい。また、異なる映像圧縮符号化方式のカメラが混在してもよいし、一つのカメラが映像圧縮符号化方式を選択して切り換えてもよい。生成した圧縮符号化映像データは、システムエンコーダ104に入力される。基準信号発生回路106は、例えば映像信号フレームの区切りを示すフレームパルスを撮像素子101や映像圧縮回路102の処理タイミングの基準となる基準信号として、撮像素子101、映像圧縮回路102に供給する。この基準信号に従って、撮像素子による映像の撮影、撮影した映像の圧縮、および圧縮した映像の送信(後述)が行われる。この基準信号は、各カメラの間で同期した信号であり、同期の方法としては、例えば一台のカメラの同期信号を他のカメラに入力する方法などがある。
A video signal obtained by the
次に、システムエンコーダ104に入力された、圧縮符号化映像データは、以下示すように、パケット化される。
Next, the compression encoded video data input to the
図3は、ディジタル圧縮処理の例であり、ディジタル圧縮映像信号のフレーム単位で圧縮されたイントラフレームデータと、前後のフレームのデータよりの予測を用いて差分情報のみの圧縮を行ったインターフレームデータの関係である。201はイントラフレーム、202はインターフレームである。ディジタル圧縮映像信号は、所定数のフレーム、例えば15フレームを一つのシーケンスとし、その先頭はイントラフレームとし、残りのフレームはイントラフレームからの予測を用いて圧縮したインターフレームとしている。もちろん、先頭以外にもイントラフレームを配置するようにしてもよい。また、先頭のフレームのみをイントラフレームとし、後続のフレームは全てインターフレームとしてもよいし、全てのフレームをイントラフレームとしてもよい。 FIG. 3 shows an example of digital compression processing. Intra-frame data compressed in units of frames of a digital compressed video signal and inter-frame data in which only difference information is compressed using predictions from previous and subsequent frame data. It is a relationship. 201 is an intra frame and 202 is an inter frame. The digital compressed video signal has a predetermined number of frames, for example, 15 frames as one sequence, the head of which is an intra frame, and the remaining frames are inter frames compressed using prediction from the intra frame. Of course, an intra frame other than the head may be arranged. Also, only the first frame may be an intra frame, and all subsequent frames may be inter frames, or all the frames may be intra frames.
図4は、ディジタル圧縮映像信号の構成である。302はフレーム単位で付加されるピクチャヘッダ、301はシーケンス単位で付加されるシーケンスヘッダである。シーケンスヘッダ301は、同期信号及び伝送レート等の情報により構成される。ピクチャヘッダ302は、同期信号及びイントラフレームかインターフレームかの識別情報等により構成される。通常、各データの長さは情報量により変化する。このディジタル映像圧縮信号は、後述のトランスポートパケットに分割されてパケット列となる。
FIG. 4 shows the configuration of the digital compressed video signal. 302 is a picture header added in units of frames, and 301 is a sequence header added in units of sequences. The
図5はディジタル映像圧縮信号のトランスポートパケットの構成例である。40はそのトランスポートパケットであり、1パケットは固定長、例えば、188バイトで構成され、パケットヘッダ401と、パケット情報402により構成されている。図4で説明したディジタル圧縮映像信号は、パケット情報402の領域に分割され配置され、また、パケットヘッダ401はパケット情報の種類等の情報により構成される。
FIG. 5 is a configuration example of a transport packet of a digital video compression signal.
システムエンコーダ104によりパケット化されたディジタル映像圧縮信号は、パケットバッファ105に一旦格納され、パケットバッファ105から読み出されたパケット列は、LANインタフェース回路107に入力される。
The digital video compressed signal packetized by the
図2のLANインタフェース回路107では、入力されたパケット列を、例えばIEEE802.3規格に準拠したLANパケットにパケット化して出力する。
The
図6は、システムエンコーダ104によって生成されたパケット列のLANパケット化の例を示す図である。LANパケット60は、例えば1パケットが最大1518バイトの可変長で、LANパケットヘッダ601とLANパケット情報602で構成される。システムエンコーダ106によって生成されたトランスポートパケット40は、前述のネットワークプロトコルに従って、LANパケット情報602の領域にデータ誤り検出符号などと共に格納され、各カメラを識別するためのLAN4上におけるアドレス情報などが格納されるLANパケットヘッダ601が付加されてLANパケット60としてLANに出力される。
FIG. 6 is a diagram illustrating an example of LAN packetization of a packet sequence generated by the
また、LANインタフェース回路107では、LAN4に接続されている機器との制御のための情報のやり取りが行われる。これは、制御回路108からの指示などの情報をLANパケット情報602に格納し、LAN4上に送信、あるいはLAN4から受信したLANパケット60のLANパケット情報602から情報を取り出し制御回路108に伝達することで行われる。
The
図7は、コントローラ5の内部ブロック構成の一例を示す図である。5011〜5013はLANインタフェース回路、5021〜5023はシステムデコーダ、5031から5033は映像伸張回路、504は画像処理回路、505はOSD(On−Screen Display)回路、506は基準信号発生回路、507は制御回路、508はメモリである。
FIG. 7 is a diagram illustrating an example of an internal block configuration of the
図7の説明においては、システムデコーダ5021〜5023、映像伸張回路5031〜5033、画像処理回路504はハードウェアとして説明される。しかしこれらは、制御回路507が各々に対応する機能を持つプログラムをメモリ508に展開して実行することにより、各機能をソフトウェアでも実現可能である。以下では説明の簡略化のため、各機能に対応するプログラムを制御回路507が実行する場合も含め、システムデコーダ5021〜5023、映像伸張回路5031〜5033、画像処理回路504が動作主体として各処理を実行するように説明する。
In the description of FIG. 7, the
カメラ1〜3で生成されたLANパケット60は、それぞれLANインタフェース回路5011〜5013へ入力される。カメラ1から入力されたLANパケット60は、LANインタフェース回路5011において、LANパケットヘッダ601が取り除かれ、前述のネットワークプロトコルに従い、LANパケットデータ602からトランスポートパケット40が取り出される。トランスポートパケット40は、システムデコーダ5021に入力され、トランスポートパケット40から前述のパケット情報402が取り出され、結合されて、図4で示したディジタル圧縮映像信号となる。このディジタル圧縮映像信号は、映像伸張回路5031において、伸張処理が行われ、ディジタル映像信号として画像処理回路504に入力される。カメラ2、3から入力されるLANパケット60についても同様の処理が行われ、映像伸張回路5032、5033からディジタル映像信号が画像処理回路に入力される。画像処理回路504では、各カメラからの映像信号の歪補正、座標の置き換えによる視点変換、合成処理等を施し、OSD回路505に出力、あるいは、各カメラからの映像信号による物体形状の認識、距離の計測などの画像処理を行う。OSD回路505では、画像処理回路504からの映像信号に文字や図形を重畳し、ディスプレイ6に出力する。
基準信号発生回路506は、例えば映像信号フレームの区切りを示すフレームパルスを画像処理回路504やOSD回路505の処理タイミングの基準となる基準信号として、画像処理回路504、OSD回路505に供給する。この基準信号は、例えば1フレーム分の映像伸張処理が完了した時点を基準とし発生され、基準信号の調節は、制御回路507が基準信号発生回路506を制御することで行われる。
The reference
また、LANインタフェース回路5011から5013では、各カメラとの制御のための情報のやり取りを行うため、制御回路507からの指示などの情報を、LANパケット情報602に格納し、各カメラに送信、あるいは各カメラから受信したLANパケット60のLANパケット情報602から情報を取り出し制御回路507に伝達する。
Further, in the
図8は、コントローラ5の内部ブロック構成の他の一例を示す図である。501はLANインタフェース回路であり、図示しないスイッチングハブ装置を介してカメラ1から3に接続される。LANインタフェース回路501では、前述のLANパケットヘッダ601に格納されているアドレス情報から、各カメラからのLANパケットを区別し、前述のネットワークプロトコルに従い、LANパケット60のLANパケット情報602から取り出したトランスポートパケット40をシステムデコーダ5021〜5023に振り分けて出力する。システムデコーダ5021〜5023以降の処理は、図7の説明と同様である。
FIG. 8 is a diagram illustrating another example of the internal block configuration of the
また、LANインタフェース回路501では、各カメラとの制御のための情報のやり取りを行うため、制御回路507からの指示などの情報を、LANパケット情報602に格納し、各カメラに送信、あるいは各カメラから受信したLANパケット60のLANパケット情報602から情報を取り出し制御回路507に伝達する。
Further, in the
図9は、本実施例における、コントローラによる遅延時間取得処理のフローチャートである。コントローラ5は、まずLAN4に接続されているカメラを確認する(ステップS101)。これは例えばLAN4に接続されている装置全てにパケットを送信できるブロードキャストパケットにより実現できる。また、各カメラに対し個別に確認のパケットを送信してもよい。次にLAN4に接続されている各カメラに対し、それぞれのカメラの処理遅延時間を問い合わせ(ステップS102)、各カメラからの処理遅延時間の回答を受信する(ステップS103)。これにより、コントローラ5は、LAN4に接続されているカメラの処理遅延時間を取得することができる。これらの処理は、例えばコントローラ5の電源立ち上げ時に行われる。
FIG. 9 is a flowchart of the delay time acquisition process by the controller in this embodiment. The
図10は、本実施例における、カメラにおける遅延時間回答処理のフローチャートである。前述のように、コントローラ5から、遅延時間問い合わせ要求を受信した場合(ステップS301)、そのカメラで設定可能な遅延時間、例えば最短遅延時間から設定可能な最長遅延時間までの範囲をコントローラ5に対し回答として送信する(ステップS302)。これにより、LAN4に接続されているカメラは、そのカメラの処理遅延時間をコントローラに伝達することが可能になる。カメラは、コントローラ5からの要求より前に、又はコントロール5からの要求に応じ、取得する映像の圧縮方法、映像のビットレートに基づいて最短遅延時間を算出し、算出した最短遅延時間をメモリ109に格納し、必要に応じメモリ109から最短遅延時間を読み出して上記のとおりコントローラ5に対し通知する。コントローラ5からの要求に応じてカメラが最短遅延時間を算出する場合、その要求時点における、カメラでの映像の圧縮方法やビットレートに応じた最短遅延時間を算出できるという効果がある。特にコントローラ5がカメラに圧縮方法やビットレートの変更を指示可能な場合には効果的である。
FIG. 10 is a flowchart of the delay time answer process in the camera according to this embodiment. As described above, when a delay time inquiry request is received from the controller 5 (step S301), a delay time that can be set by the camera, for example, a range from the shortest delay time to the longest delay time that can be set is given to the
図11は、コントローラによる遅延時間設定処理のフローチャートである。まず設定する処理遅延時間を決定する(ステップS201)。ここでは、図9の遅延時間取得処理により得られた各カメラの最短遅延時間の中で一番長い時間を、各カメラに設定する処理遅延時間とする。ただし、各カメラの最長遅延時間の中で一番短い時間よりも短い処理遅延時間がカメラに設定されることを要件とする。 FIG. 11 is a flowchart of the delay time setting process by the controller. First, the processing delay time to be set is determined (step S201). Here, the longest time among the shortest delay times of each camera obtained by the delay time acquisition process of FIG. 9 is set as the processing delay time set for each camera. However, it is a requirement that the processing delay time shorter than the shortest time among the longest delay times of each camera is set in the camera.
この要件が満たされない場合は、コントローラ5は、満たされない最短遅延時間を送信したカメラに対し、最短遅延時間の短縮要求を送信し、また、満たされない最長遅延時間を送信したカメラに対し、最長遅延時間の延長要求を送信する。最短遅延時間の短縮要求を受け取ったカメラは、例えば、圧縮処理方法を変更することにより、最短処理時間の短縮を試みることが可能である。コントローラ5は、前記短縮要求に対して各カメラから受け取った最短遅延時間、最長遅延時間が上記要件を満たすか判断する。要件がなおも満たされない場合、コントローラ5は、エラーを出力する。要件が満たされた場合、コントローラ5は、上記短縮要求により短縮された最短遅延時間を、各カメラに設定する処理遅延時間とする。
If this requirement is not satisfied, the
次に、コントローラ5は、各カメラに対し、決定した処理遅延時間の設定を要求し(ステップS202)、各カメラからの設定結果の回答を受信する(ステップS203)。これにより、コントローラ5はLAN4に接続されているカメラに対し処理遅延時間の設定が可能となる。
Next, the
図12は、本実施例における、カメラにおける遅延時間設定処理のフローチャートである。前述のように、コントローラ5から、遅延時間の設定要求を受信した場合(ステップS401)、カメラは遅延時間を設定し(ステップS402)、その結果をコントローラに対し回答として送信する(ステップS403)。これにより、LAN4に接続されているカメラは、コントローラからの要求に応じて、処理遅延時間を設定することが可能になる。
FIG. 12 is a flowchart of the delay time setting process in the camera according to the present embodiment. As described above, when a delay time setting request is received from the controller 5 (step S401), the camera sets a delay time (step S402), and transmits the result as a reply to the controller (step S403). As a result, the camera connected to the
図13は、本実施例における各カメラの送信処理タイミングとコントローラ5の受信処理タイミングの一例を示す図である。同図中、(1−1)〜(1−4)はカメラ1の処理タイミング、(2−1)〜(2−5)はカメラ2の処理タイミング、(3−1)〜(3−8)はコントローラ5の処理タイミングを示す。
FIG. 13 is a diagram illustrating an example of the transmission processing timing of each camera and the reception processing timing of the
(1−1)は基準信号1であり、(1−2)は撮像素子101による撮像処理を行っている撮像タイミング1、(1−3)は映像圧縮回路102による映像圧縮処理を行っている映像圧縮タイミング1、(1−4)はLANインタフェース回路107による送信処理を行っている送信タイミング1である。ここでは、基準信号毎に1フレーム分の映像信号の処理を行っている。カメラ1は、基準信号1を処理の基準として、例えば基準信号1のパルスのタイミングで撮像処理を開始し、その後、映像圧縮処理、送信処理を順に行っていく。カメラ1では、基準信号1から送信タイミング1の送信処理開始までの時間d1が処理遅延時間となる。
(1-1) is the
また、(2−1)はカメラ2の基準信号2であり、(2−2)はカメラ2の撮像素子101による撮像処理を行っている撮像タイミング2、(2−3)は映像圧縮回路102による映像圧縮処理を行っている映像圧縮タイミング2、(2−4)はカメラ2に処理遅延時間の設定が行われない場合のLANインタフェース回路107による送信処理を行っている送信タイミング2である。カメラ2は、基準信号2を処理の基準として、基準信号2のタイミングで撮像処理を開始し、その後、映像圧縮処理、送信処理を順に行っていく。カメラ2では、基準信号2から送信タイミング2までの時間d2が処理遅延時間となる。また、前述のように、カメラ1の基準信号1と、カメラ2の基準信号2は同期している。
Also, (2-1) is the
ここでコントローラ5は、前述のように、カメラ1とカメラ2の処理遅延時間を取得する。取得した結果、カメラ1の処理遅延時間の方がカメラ2の処理遅延時間d2より長いので、カメラ2に対し、処理遅延時間がd1となるよう、コントローラ5はカメラ2の処理遅延時間を設定する。(2−5)は処理遅延時間が設定された後の送信タイミング2′である。処理遅延時間の調節は、ここでは例えば、図2に示した、システムエンコーダ104からパケットバッファ105に格納されたパケット列をLANインタフェース回路107に入力するために読み出すタイミングを調節することにより実現できる。これにより、カメラ1の送信タイミング1と、カメラ2の送信タイミング2′が一致することになる。
Here, the
次に(3−1)は、コントローラ5がカメラ1からのLANパケットの受信処理を行っている受信タイミング1、(3−2)は映像伸張回路5031による映像伸張処理を行っている映像伸張タイミング1、(3−3)は、映像伸張回路5031により伸張され得られた1フレーム分のカメラ1の映像出力タイミング1である。また、(3−4)は、コントローラ5がカメラ2からのLANパケットの受信処理を行っている受信タイミング2、(3−5)は映像伸張回路5032による映像伸張処理を行っている映像伸張タイミング2、(3−6)は、映像伸張回路5032により伸張され得られた1フレーム分のカメラ2の映像出力タイミング2である。さらに、(3−7)は、コントローラ5における基準信号C、(3−8)は、コントローラ5がディスプレイ6に出力する表示映像の表示タイミングCである。
Next, (3-1) is
コントローラ5は、カメラ1からの受信タイミング1を処理の基準とし、受信処理に引き続き映像伸張処理を順に行っていく。同様にカメラ2からの受信処理に引き続き映像伸張処理を行う。ここで、カメラ1の送信タイミング1と、カメラ2の送信タイミング2′が一致しているので、映像出力タイミング1と映像出力タイミング2は一致する。例えば基準信号Cは、映像出力タイミング1および2に合わせて生成され、基準信号Cのパルスのタイミングで表示処理を行うことで、例えばカメラ1の映像とカメラ2の映像を合成し、表示タイミングCで合成映像をディスプレイ6に表示することが可能になる。
The
図14は、本実施例における各カメラの送信処理タイミングの他の一例を示す図である。コントローラ5は、カメラ2に対し、処理遅延時間がd1となるよう、コントローラ5はカメラ2の処理遅延時間を設定するが、この例では、カメラ2は処理遅延時間がd1となるよう、映像圧縮処理を開始するタイミングを調節する。この処理遅延時間の調節は、例えば、図2に示した映像圧縮回路102から映像バッファに格納された映像データを映像圧縮回路102が映像圧縮処理のため読み出すタイミングを調節することにより実現できる。(2−6)は処理遅延時間が設定された後の映像圧縮タイミング2′であり、(2−7)はそれに伴った送信タイミング2′′である。これによりカメラ1の送信タイミング1と、カメラ2の送信タイミング2′′が一致することになる。従って図13と同様に、カメラ1の映像とカメラ2の映像を合成し、表示タイミングCで合成映像をディスプレイ6に表示することが可能になる。
FIG. 14 is a diagram illustrating another example of the transmission processing timing of each camera in the present embodiment. The
以上の説明では、処理時間遅延時間を起点である基準信号から終点である送信開始時間までと定義したが、これに限定するものではなく、例えば起点は撮像素子101が撮像を開始する時間としてもよく、また終点を各フレームの送信タイミングの送信終了時間としてもよいし。
In the above description, the processing time delay time is defined as the reference signal that is the starting point to the transmission start time that is the ending point. However, the present invention is not limited to this. For example, the starting point may be the time when the
また、例えばカメラごとの圧縮方式の違いやビットレートの違いによる映像伸張処理時間の差分をカメラに対する設定処理時間に加味することで各カメラの映像出力タイミングを合わせることも可能である。この場合、コントローラ5は、映像伸張処理時間をカメラごとに測定し、最も長い映像伸張処理時間からの差分を追加的な処理遅延時間として、各カメラの処理遅延時間に合計したものを各カメラに処理遅延時間として送信し、各カメラに新たな処理遅延時間の設定を指示することで、コントローラ5における各カメラの映像出力タイミング((3−3)、(3−6)等)をより正確に揃えることが可能である。
Further, for example, the video output timing of each camera can be matched by adding the difference in video expansion processing time due to the difference in compression method or bit rate for each camera to the setting processing time for the camera. In this case, the
また、各カメラの処理遅延時間の取得は、コントローラ5からの問い合わせにより実現する例を示したが、例えばカメラの電源立ち上げ時やLAN4に接続された時に、各カメラ側からコントローラ5に対して通知してもよい。
In addition, an example in which the processing delay time of each camera is acquired by an inquiry from the
また、以上の説明では、映像信号の送受信について説明したが、音声信号の伝送も同様に可能である。 In the above description, transmission / reception of a video signal has been described. However, transmission of an audio signal is also possible.
以上のように、各カメラにおける遅延時間を調節することにより、表示タイミングの合った映像を表示することが可能になる。 As described above, by adjusting the delay time in each camera, it is possible to display an image with a suitable display timing.
また、コントローラ5は各カメラからの映像の表示タイミングずれを吸収する処理をする必要がないので、処理が複雑になることなく表示タイミングの合った映像を表示することが可能になる。
Further, since the
次に、映像伝送装置であるカメラを含む映像伝送システムの形態の別の例について説明する。実施例1と同様の部分については説明を省略する。 Next, another example of the form of a video transmission system including a camera as a video transmission apparatus will be described. A description of the same parts as those in the first embodiment will be omitted.
実施例1では、図13や図14に示すように、カメラの基準信号1と基準信号2が周期および位相も含めて同期している例を説明した。しかしながら現実にはシステム同士の間で基準信号の周期(または周波数)のみ一致しているものの位相は必ずしも一致していないという場合もある。本実施例においては、そのような場合を想定して、基準信号1と基準信号2の周期は一致しているが位相は一致していないという場合について説明を行う。
In the first embodiment, as shown in FIGS. 13 and 14, the example in which the
本実施例においては、各カメラとコントローラの間で、時刻を同期させる仕組みを設けている。時刻を同期させる方法としては、例えばIEEE1588に記載された方法を用いることができる。そのような方法を用いてシステム間で定期的に時刻を同期させ、その時刻を用いてシステム内における基準信号の発振周期を例えばPLL(Phase Locked Loop)を用いて調節する。このようにすることにより、基準信号の周期をシステム間で一致させることができる。 In the present embodiment, a mechanism for synchronizing the time between each camera and the controller is provided. As a method of synchronizing the time, for example, a method described in IEEE 1588 can be used. Using such a method, the time is periodically synchronized between the systems, and the oscillation period of the reference signal in the system is adjusted by using the time, for example, using a PLL (Phase Locked Loop). In this way, the period of the reference signal can be matched between systems.
図15は本実施例における各カメラの送信処理タイミングの一例を示す図である。(1−0)、(2−0)はそれぞれカメラ1、カメラ2の基準時刻(内部時計)を示す。上記の方法により定期的(例えば、T0,T1)に同期をとることにより、これらは互いに一致させている。
FIG. 15 is a diagram illustrating an example of transmission processing timing of each camera in the present embodiment. Reference numerals (1-0) and (2-0) denote reference times (internal clocks) of the
カメラ1においては基準信号1(1−1)を内部で発振して生成する。その際、基準時刻1(1−0)を基に発振周期を調節する。同様にカメラ2においては基準信号2′(2−1)を内部で発振して生成する。その際、基準時刻2(2−0)を基に発振周期を調節する。
In the
このように、各カメラはそれぞれの基準時刻を基に基準信号の発振周期を調整するため、基準信号1と基準信号2′′の周期は一致する。しかしながら互いの位相は必ずしも一致していない。
In this way, since each camera adjusts the oscillation period of the reference signal based on the respective reference time, the periods of the
基準時刻T0から基準信号1までの時間をs1とする。カメラ1はコントローラ5に対して処理遅延時間を通知する際(図9のステップS103)、s1およびd1を通知する。同様に基準時刻T0から基準信号2までの時間をs2とし、カメラ2はコントローラ5に対してs2およびd2を通知する。d1、d2は、実施例1同様、最短遅延時間から設定可能な最長時間までの範囲としても良い。
The time from the reference time T0 to the
各カメラは、例えば、基準時刻補正時を起点として、基準信号発生回路106が基準信号を発生したときの基準時刻を参照することによりs1、s2を測定可能である。あるいは、カウンタを別途カメラに設け、カメラがカウンタを基準時刻補正時にスタートさせ、基準信号発生回路106が基準信号を発生するまでの時間をカウンタで測定することによっても、s1、s2を測定可能である。 コントローラ5は、設定する遅延時間を決定(図10のステップS201)する際、基準信号1と基準信号2の位相の違いを考慮に入れて決定する。例えば図15において、時刻T0を基準として考えたとき、この場合はs1+d1のほうがs2+d2より長いので、カメラ2に対し、合計の遅延時間がs1+d1=s2+d2′となるように、d2′=s1+d1−s2を設定する。
For example, each camera can measure s1 and s2 by referring to the reference time when the reference
(2−5)は処理遅延時間が設定された後の送信タイミング2′′′である。これにより、カメラ1の送信タイミング1と、カメラ2の送信タイミング2′′′が一致することになる。
(2-5) is the
なお、上記実施例ではカメラ1が処理遅延時間をコントローラ5に通知する際、s1およびd1を通知する例を示したが、その代わりにそれらの合計時間D1=s1+d1(カメラ2の場合はD2=s2+d2)のみを通知するようにしても良い。その場合は、コントローラ5はカメラ2に対し、合計時間D2がD1と等しくなるよう、D2′=D1を設定する。このようにしても同様の効果を得ることが可能である。
In the above embodiment, when the
各カメラは、実施例1同様、例えば起動時にコントローラ5に遅延時間を通知しても、コントローラ5からの要求に応じて遅延時間をコントローラ5に通知しても良い。後者の場合、カメラは、その時点における基準時刻−基準信号間の時間差をコントローラ5に通知できる。また、コントローラ5からの指示によりカメラの映像圧縮方法やビットレートを変更可能な場合に、映像圧縮方法やビットレートの変更に起因して変化するカメラの処理遅延時間を反映した、その時点での処理遅延時間を、カメラは、コントローラ5に通知できる。このため、コントローラ5は、その要求時点における、各カメラにおける基準時刻―基準信号間の時間差や、映像圧縮方式やビットレートを反映して、カメラに設定する処理遅延時間を算出でき、コントローラ5における各カメラ映像の出力タイミングの同期精度向上が期待できる。
As in the first embodiment, each camera may notify the
なお、各カメラにおいて時刻を同期させる処理は、図2の制御回路108内で行っても良いし、時刻の同期を行うための専用回路を制御回路108とは別に設けて行っても良い。後者の場合、当該専用回路を時刻の同期処理に専念させることにより、同期の精度をより高められることが期待できる。 Note that the processing for synchronizing the time in each camera may be performed in the control circuit 108 in FIG. 2, or a dedicated circuit for performing time synchronization may be provided separately from the control circuit 108. In the latter case, it can be expected that the accuracy of synchronization can be further improved by dedicating the dedicated circuit to time synchronization processing.
1、2、3…カメラ
4…LAN
5…コントローラ
6…ディスプレイ
100…レンズ
101…撮像素子
102…映像圧縮回路
103…映像バッファ
104…システムエンコーダ
105…パケットバッファ
106…基準信号発生回路
107…LANインタフェース回路
108…制御回路
201…イントラフレーム
202…インターフレーム
301…シーケンスヘッダ
302…ピクチャヘッダ
40…トランスポートパケット
401…パケットヘッダ
402…パケット情報
501、5011、5012、5013…LANインタフェース回路
5021、5022、5023…システムデコーダ
5031、5032、5033…映像伸張回路
504…画像処理回路
505…OSD回路
506…基準信号発生回路
507…制御回路
60…LANパケット
601…LANパケットヘッダ
602…LANパケット情報
1, 2, 3 ...
5 ... Controller 6 ... Display 100 ...
Claims (12)
撮像した映像信号をディジタル圧縮符号化する圧縮手段と、
ネットワークに接続された映像受信装置に、当該ネットワークを介して前記ディジタル圧縮符号化された映像信号を送信するネットワーク処理手段と、前記圧縮手段と前記ネットワーク処理手段を制御する制御手段と、
を備え、
前記制御手段は、前記映像受信装置に対し、前記基準時刻から前記基準信号までの基準信号遅延時間と、前記映像信号をディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間とを通知することを特徴とする映像送信装置。 Reference signal generating means for adjusting the period of the reference signal based on the reference time;
Compression means for digitally compressing and encoding the captured video signal;
Network processing means for transmitting the digital compression-encoded video signal to the video receiver connected to the network via the network, control means for controlling the compression means and the network processing means,
With
The control means notifies the video receiving apparatus of a reference signal delay time from the reference time to the reference signal and a processing time until the video signal is digitally compressed and transmitted to the network. A video transmission device characterized by the above.
撮像した映像信号をディジタル圧縮符号化する圧縮手段と、
ネットワークに接続された映像受信装置に、当該ネットワークを介して前記ディジタル圧縮符号化された映像信号を送信するネットワーク処理手段と、
前記圧縮手段と前記ネットワーク処理手段を制御する制御手段と、
を備え、
前記制御手段は、前記映像受信装置に対し、前記基準時刻から前記基準信号までの基準信号遅延時間と前記映像信号をディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間との合計時間を通知することを特徴とする映像送信装置。 Reference signal generating means for adjusting the period of the reference signal based on the reference time;
Compression means for digitally compressing and encoding the captured video signal;
Network processing means for transmitting the digital compression-encoded video signal to the video receiver connected to the network via the network;
Control means for controlling the compression means and the network processing means;
With
The control means notifies the video receiver of a total time of a reference signal delay time from the reference time to the reference signal and a processing time from digital compression encoding of the video signal to transmission to the network. A video transmitting apparatus characterized by:
前記制御手段は、前記映像受信装置の要求に応じて、前記基準時刻から前記基準信号までの基準信号遅延時間と、前記映像信号をディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間とを通知することを特徴とする映像送信装置。 The video transmission device according to claim 1,
In response to a request from the video reception device, the control means includes a reference signal delay time from the reference time to the reference signal, and a processing time until the video signal is digitally compressed and transmitted to the network. A video transmission device characterized by notifying.
前記制御手段は、前記映像受信装置の要求に応じて、前記基準時刻から前記基準信号までの基準信号遅延時間と前記映像信号をディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間との合計時間を通知することを特徴とする映像送信装置。 The video transmission device according to claim 1,
The control means, in response to a request of the video receiving device, a total of a reference signal delay time from the reference time to the reference signal and a processing time until the video signal is digitally compressed and transmitted to the network A video transmitting apparatus for notifying time.
基準時刻に基づき、基準信号の周期を調整して基準信号を発生するステップと、
前記基準信号にしたがって撮像した映像信号をディジタル圧縮符号化するステップと、
前記映像受信装置に前記ネットワークを介して前記ディジタル圧縮符号化された映像信号を送信するステップと、を有し、
前記映像送信装置は、前記基準時刻から前記基準信号までの基準信号遅延時間と、前記映像信号をディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間とを前記映像受信装置に通知することを特徴とする映像送信方法。 A video transmission method image transmission apparatus for transmitting a video signal to the connected video receiving device to the network to run,
Generating a reference signal by adjusting the period of the reference signal based on the reference time;
Digitally compressing and encoding a video signal captured in accordance with the reference signal;
Transmitting the digital compression-encoded video signal to the video reception device via the network,
The video transmission device notifies the video reception device of a reference signal delay time from the reference time to the reference signal and a processing time until the video signal is digitally compressed and transmitted to the network. A featured video transmission method.
基準時刻に基づき、基準信号の周期を調整して基準信号を発生するステップと、
前記基準信号にしたがって撮像した映像信号をディジタル圧縮符号化するステップと、
前記映像受信装置に前記ネットワークを介して前記ディジタル圧縮符号化された映像信号を送信するステップと、を有し、
前記映像送信装置は、前記基準時刻から前記基準信号までの基準信号遅延時間と前記映像信号をディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間との合計時間を前記映像受信装置に通知することを特徴とする映像送信方法。 A video transmission method image transmission apparatus for transmitting a video signal to the connected video receiving device to the network to run,
Generating a reference signal by adjusting the period of the reference signal based on the reference time;
Digitally compressing and encoding a video signal captured in accordance with the reference signal;
Transmitting the digital compression-encoded video signal to the video reception device via the network,
The video transmission apparatus notifies the video reception apparatus of a total time of a reference signal delay time from the reference time to the reference signal and a processing time until the video signal is digitally compressed and transmitted to the network. A video transmission method characterized by the above.
前記ネットワーク処理手段で受信した複数の前記映像データを復号する復号手段と、
前記復号手段により復号した複数の前記映像信号を基にした映像を表示する映像表示手段と、
前記映像送信装置を制御する制御手段と、
を備え、
前記制御手段は、前記映像送信装置内の基準時刻から基準信号までの基準信号遅延時間と、前記映像送信装置がディジタル圧縮符号化して前記ネットワークに送信するのに要する処理遅延時間情報とを前記複数の映像送信装置から取得することを特徴とする映像受信装置。 Network processing means for receiving a plurality of digital compression encoded video signal data streams transmitted from a plurality of video transmission devices connected to the network;
Decoding means for decoding the plurality of video data received by the network processing means;
Video display means for displaying video based on the plurality of video signals decoded by the decoding means;
Control means for controlling the video transmission device;
With
The control means includes a plurality of reference signal delay times from a reference time to a reference signal in the video transmission device and processing delay time information required for the video transmission device to perform digital compression encoding and transmit to the network. A video receiving apparatus obtained from the video transmitting apparatus.
前記ネットワーク処理手段で受信した複数の前記映像データを復号する復号手段と、
前記復号手段により復号した複数の前記映像信号を基にした映像を表示する映像表示手段と、
前記映像送信装置を制御する制御手段と、
を備え、
前記制御手段は、前記複数の映像送信装置に対して、前記映像送信装置内の基準時刻から基準信号までの基準信号遅延時間と、前記映像送信装置がディジタル圧縮符号化して前記ネットワークに送信するのに要する処理遅延時間情報とを通知要求することを特徴とする映像受信装置。 Network processing means for receiving a plurality of digital compression encoded video signal data streams transmitted from a plurality of video transmission devices connected to the network;
Decoding means for decoding the plurality of video data received by the network processing means;
Video display means for displaying video based on the plurality of video signals decoded by the decoding means;
Control means for controlling the video transmission device;
With
The control means sends a reference signal delay time from a reference time to a reference signal in the video transmission device to the plurality of video transmission devices, and the video transmission device performs digital compression encoding to the network. A video receiving apparatus which requests notification of processing delay time information required for the operation.
前記制御手段は、前記複数の映像送信装置に対して、所望の処理遅延時間となるよう前記映像送信装置がディジタル圧縮符号化して前記ネットワークに送信するのに要する処理遅延時間を設定要求することを特徴とする映像受信装置。 The video receiver according to claim 7 or 8,
The control means requests the plurality of video transmission devices to set a processing delay time required for the video transmission device to perform digital compression encoding and transmission to the network so as to obtain a desired processing delay time. A featured video receiver.
前記制御手段は、前記複数の映像送信装置から取得した前記基準信号遅延時間と前記処理遅延時間との合計遅延時間のうち、最も合計遅延時間の長い遅延時間となるよう、前記映像送信装置に対して、前記映像送信装置がディジタル圧縮符号化して前記ネットワークに送信するのに要する処理遅延時間を設定要求することを特徴とする映像受信装置。 The video receiver according to claim 9, wherein
The control means provides the video transmission device with the longest total delay time among the total delay times of the reference signal delay time acquired from the plurality of video transmission devices and the processing delay time. And a request for setting a processing delay time required for the video transmission apparatus to perform digital compression encoding and transmission to the network.
前記複数の映像送信装置から送信されるディジタル圧縮符号化された複数の映像信号データのストリームを受信するステップと、
受信した複数の前記映像データを復号するステップと、
復号した複数の前記映像信号を表示するステップと、を有し、
前記映像受信装置は、前記映像送信装置内の基準時刻から基準信号までの基準信号遅延時間と、前記映像送信装置がディジタル圧縮符号化して前記ネットワークに送信するのに要する処理遅延時間情報とを前記複数の映像送信装置から取得することを特徴とする映像受信方法。 A video receiving method video receiving apparatus for receiving an image signal transmitted from a plurality of video transmission apparatus connected to a network to run,
Receiving a plurality of digital compression encoded video signal data streams transmitted from the plurality of video transmission devices;
Decoding a plurality of received video data;
Displaying a plurality of decoded video signals,
The video reception device includes a reference signal delay time from a reference time to a reference signal in the video transmission device, and processing delay time information required for the video transmission device to perform digital compression encoding and transmit to the network. A video receiving method comprising: acquiring from a plurality of video transmitting devices.
前記複数の映像送信装置から送信されるディジタル圧縮符号化された複数の映像信号データのストリームを受信するステップと、
受信した複数の前記映像データを復号するステップと、
復号した複数の前記映像信号を表示するステップと、を有し、
前記映像受信装置は、前記複数の映像送信装置に対して、前記映像送信装置内の基準時刻から基準信号までの基準信号遅延時間と、前記映像送信装置がディジタル圧縮符号化して前記ネットワークに送信するのに要する処理遅延時間情報とを通知要求することを特徴とする映像受信方法。
A video receiving method video receiving apparatus for receiving an image signal transmitted from a plurality of video transmission apparatus connected to a network to run,
Receiving a plurality of digital compression encoded video signal data streams transmitted from the plurality of video transmission devices;
Decoding a plurality of received video data;
Displaying a plurality of decoded video signals,
The video reception device transmits a reference signal delay time from a reference time to a reference signal in the video transmission device to the plurality of video transmission devices, and the video transmission device performs digital compression encoding on the network. A video receiving method characterized by requesting notification of processing delay time information required for processing.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050975A JP5697494B2 (en) | 2011-03-09 | 2011-03-09 | Video transmission device, video transmission method, video reception device, and video reception method |
JP2013503342A JP5697743B2 (en) | 2011-03-09 | 2012-01-20 | Video transmission device, video transmission method, video reception device, and video reception method |
PCT/JP2012/000331 WO2012120763A1 (en) | 2011-03-09 | 2012-01-20 | Video transmission device, video transmission method, video receiving device, and video receiving method |
CN201280003633.7A CN103210656B (en) | 2011-03-09 | 2012-01-20 | Image dispensing device, image sending method, video receiver and image method of reseptance |
US13/884,808 US20130287122A1 (en) | 2011-03-09 | 2012-01-20 | Video transmission device, video transmission method, video receiving device, and video receiving method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050975A JP5697494B2 (en) | 2011-03-09 | 2011-03-09 | Video transmission device, video transmission method, video reception device, and video reception method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012191285A JP2012191285A (en) | 2012-10-04 |
JP5697494B2 true JP5697494B2 (en) | 2015-04-08 |
Family
ID=47084004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011050975A Active JP5697494B2 (en) | 2011-03-09 | 2011-03-09 | Video transmission device, video transmission method, video reception device, and video reception method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5697494B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6565382B2 (en) * | 2015-06-30 | 2019-08-28 | ブラザー工業株式会社 | Information processing method and moving image data transmission system |
JP6907104B2 (en) * | 2017-12-07 | 2021-07-21 | キヤノン株式会社 | Video distribution device, control method and program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4303535B2 (en) * | 2003-08-06 | 2009-07-29 | パナソニック株式会社 | Decode display device, imaging device, and image transmission system including the same |
JP2011217062A (en) * | 2010-03-31 | 2011-10-27 | Sony Corp | Camera system, signal delay amount adjusting method and program |
JP5923847B2 (en) * | 2010-03-31 | 2016-05-25 | ソニー株式会社 | Camera system, signal delay adjustment method and program |
JP2011223359A (en) * | 2010-04-09 | 2011-11-04 | Sony Corp | Delay controller, control method and communication system |
JP2011223360A (en) * | 2010-04-09 | 2011-11-04 | Sony Corp | Transmitter, receiver, control method, and communication system |
-
2011
- 2011-03-09 JP JP2011050975A patent/JP5697494B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012191285A (en) | 2012-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5697743B2 (en) | Video transmission device, video transmission method, video reception device, and video reception method | |
US9723193B2 (en) | Transmitting device, receiving system, communication system, transmission method, reception method, and program | |
US9516219B2 (en) | Camera system and switching device | |
EP2908513B1 (en) | Image pick-up and display system, image pick-up device, image pick-up method, and program | |
US20110249181A1 (en) | Transmitting device, receiving device, control method, and communication system | |
US8582033B2 (en) | Movie reproduction system and movie reproduction method for reducing delay time of reproduced movie | |
US9326022B2 (en) | Wireless communication system, wireless communication device, and wireless communication method | |
JP2011029969A (en) | Video monitor display device and video monitoring system | |
JP5465106B2 (en) | Display device and display system | |
JP5697494B2 (en) | Video transmission device, video transmission method, video reception device, and video reception method | |
US9571799B2 (en) | Wireless communication system and method, and data receiving apparatus, method and program | |
WO2020017499A1 (en) | Video/audio transmission system, transmission method, transmission device, and reception device | |
JP2014131142A (en) | Receiver, reception method and program, imaging apparatus, imaging method and program, transmitter, transmission method and program | |
JP2013077887A (en) | Moving image compression coding device, method and control program | |
JP2012191284A (en) | Image transmitter, image transmission method, image receiver, and image reception method | |
JP2020005063A (en) | Processing device and control method thereof, output device, synchronization control system, and program | |
JP2008131591A (en) | Lip-sync control device and lip-sync control method | |
JP2005333520A (en) | Image transmission apparatus, image transmission method, transmission system, and video monitoring system | |
US20220360845A1 (en) | Reception apparatus, reception method, and transmission and reception system | |
JP2015149761A (en) | Encoded signal transmission device | |
US20170019245A1 (en) | Reception apparatus and system | |
JP7303670B2 (en) | MMT receiver and program | |
JP2012195794A (en) | Encoded signal reception device | |
WO2012173020A1 (en) | Transmitter, transmission method, and program | |
US9578327B2 (en) | Encoding apparatus, encoding method, and non-transitory computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130828 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140311 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140317 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140318 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140807 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20140908 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141105 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20141118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5697494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |