JP6834680B2

JP6834680B2 - Display device and control method of display device

Info

Publication number: JP6834680B2
Application number: JP2017063170A
Authority: JP
Inventors: 数樹永井; 橋本　浩幸; 浩幸橋本
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2017-03-28
Filing date: 2017-03-28
Publication date: 2021-02-24
Anticipated expiration: 2037-03-28
Also published as: JP2018166283A

Description

本発明は、表示装置および表示装置の制御方法に関する。 The present invention relates to a display device and a method for controlling the display device.

無線通信で画像ストリームを伝送する技術として、Miracast（登録商標）が知られている。現在のMiracastでは、ソース（Source）とシンク（Sink）が１対１で無線通信する。ソースは、符号化された複数のフレームで構成される単一の画像ストリームをシンクに送信する。シンクは、ソースから受信した単一の画像ストリームを単一のデコーダーでデコードして複数の画像フレームを生成する。
また、特許文献１には、複数の入力データに基づいて複数の画像を表示する画像投影装置が記載されている。 Miracast (registered trademark) is known as a technology for transmitting an image stream by wireless communication. In the current Miracast, the source and the sink communicate wirelessly on a one-to-one basis. The source sends a single image stream consisting of multiple encoded frames to the sink. The sink decodes a single image stream received from the source with a single decoder to generate multiple image frames.
Further, Patent Document 1 describes an image projection device that displays a plurality of images based on a plurality of input data.

特開２０１３−１６７７６９号公報Japanese Unexamined Patent Publication No. 2013-167769

Miracastの規格拡張に伴い、シンクは複数ソースとの同時接続が可能となる。このため、シンクは、複数の画像ストリームを並列的に受信可能になる。よって、シンクにおいても、特許文献１に記載の画像投射装置のように、複数の入力データ（複数の画像ストリーム）に基づいて複数の画像を表示することが期待される。
ところで、複数の画像ストリームに基づいて複数の画像を表示する構成においては、画像ストリームごとに、画像ストリームをデコードするデコーダーを設けることが考えられる。しかしながら、この場合、画像ストリームの数と同数のデコーダーが必要になり、デコーダーの数が増大してしまう。 With the expansion of the Miracast standard, the sink will be able to connect to multiple sources at the same time. Therefore, the sink can receive a plurality of image streams in parallel. Therefore, even in the sink, it is expected that a plurality of images are displayed based on a plurality of input data (a plurality of image streams) like the image projection device described in Patent Document 1.
By the way, in a configuration in which a plurality of images are displayed based on a plurality of image streams, it is conceivable to provide a decoder for decoding the image stream for each image stream. However, in this case, the same number of decoders as the number of image streams is required, and the number of decoders increases.

本発明は上述した事情に鑑みてなされたものであり、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制可能な技術を提供することを解決課題とする。 The present invention has been made in view of the above circumstances, and it is an object of the present invention to provide a technique capable of suppressing an increase in the number of decoders in a configuration for displaying a plurality of images based on a plurality of image streams.

本発明に係る表示装置の一態様は、フレーム内圧縮にて符号化された第１フレームを有する第１画像ストリームと、フレーム内圧縮にて符号化された第２フレームを有する第２画像ストリームと、を用いて第３画像ストリームを生成する生成部と、前記第３画像ストリームをデコードして前記第３画像ストリームの有するフレーム単位で画像フレームを生成するデコーダーと、前記画像フレームに応じた画像の表示を制御する表示制御部と、を含み、前記第３画像ストリームは、前記第１画像ストリームにおいて、前記第１フレームと当該第１フレームの後の第３フレームとの間に前記第２フレームが挿入され、さらに、前記第３フレームの前に前記第１フレームのコピーが挿入された画像ストリームであり、前記デコーダーは、前記第３画像ストリームにおいて前記第２フレームよりも前の１以上のフレームのデコードを、前記第１画像ストリームにて特定される第１フレームレートよりも高い第２フレームレートで実行し、前記１以上のフレームを前記第１フレームレートでデコードした場合のデコード時間と、前記１以上のフレームを前記第２フレームレートでデコードした場合のデコード時間との差分の時間内に、前記第１フレームのコピーと前記第２フレームとをデコードすることを特徴とする。
この態様によれば、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制することが可能になる。 One aspect of the display device according to the present invention is a first image stream having a first frame encoded by in-frame compression and a second image stream having a second frame encoded by in-frame compression. , A generator that generates a third image stream using, a decoder that decodes the third image stream and generates an image frame in frame units of the third image stream, and an image corresponding to the image frame. The third image stream includes a display control unit that controls display, and the second frame is placed between the first frame and the third frame after the first frame in the first image stream. An image stream in which a copy of the first frame is inserted before the third frame, and the decoder is an image stream of one or more frames prior to the second frame in the third image stream. Decoding is performed at a second frame rate higher than the first frame rate specified in the first image stream, and the decoding time when one or more frames are decoded at the first frame rate and the above 1 It is characterized in that the copy of the first frame and the second frame are decoded within the time difference from the decoding time when the above frames are decoded at the second frame rate.
According to this aspect, it is possible to suppress an increase in the number of decoders in a configuration in which a plurality of images are displayed based on a plurality of image streams.

上述した表示装置の一態様において、前記第１画像ストリームおよび前記第２画像ストリームを受信する通信部と、前記生成部は、前記第２フレームに、前記第２フレームの送信元に応じた識別情報を付加し、前記第２フレームを元に生成された画像フレームは、前記識別情報を有し、前記表示制御部は、前記識別情報を有する画像フレームに応じた画像を、前記識別情報を有さない画像フレームに応じた画像とは異なる領域に表示させることが望ましい。
この態様によれば、画像ストリームに応じた画像を、画像ストリームごとに異なる表示位置に表示可能になる。このため、使用者は、並列的に受信した第１および第２画像ストリームに応じた画像の少なくとも概要を同時に見ることが可能になる。 In one aspect of the display device described above, the communication unit that receives the first image stream and the second image stream and the generation unit have identification information in the second frame according to the source of the second frame. The image frame generated based on the second frame has the identification information, and the display control unit has the identification information of the image corresponding to the image frame having the identification information. It is desirable to display in a different area from the image corresponding to the non-image frame.
According to this aspect, the image corresponding to the image stream can be displayed at a different display position for each image stream. Therefore, the user can simultaneously view at least an outline of the images corresponding to the first and second image streams received in parallel.

上述した表示装置の一態様において、前記第２フレームを元に生成された画像フレームは、表示タイミングを複数桁の数値の大きさで表すタイミング情報を有し、前記表示タイミングは、前記数値が大きいほど遅くなり、前記生成部は、前記複数桁のうちの特定の桁に、前記識別情報を設定することが望ましい。
この態様によれば、表示タイミングを表す複数桁の数値の一部が識別情報として兼用される。このため、専用の識別情報を新たに用いる構成に比べて、情報量を少なくできる。 In one aspect of the display device described above, the image frame generated based on the second frame has timing information representing the display timing by the magnitude of a plurality of digits, and the display timing has a large numerical value. It is desirable that the generation unit sets the identification information in a specific digit among the plurality of digits.
According to this aspect, a part of the multi-digit numerical value indicating the display timing is also used as the identification information. Therefore, the amount of information can be reduced as compared with the configuration in which the dedicated identification information is newly used.

本発明に係る表示装置の制御方法の一態様は、フレーム内圧縮にて符号化された第１フレームを有する第１画像ストリームと、フレーム内圧縮にて符号化された第２フレームを有する第２画像ストリームと、を用いて第３画像ストリームを生成する生成ステップと、前記第３画像ストリームをデコードして前記第３画像ストリームの有するフレーム単位で画像フレームを生成するデコードステップと、前記画像フレームに応じた画像の表示を制御する制御ステップと、を含み、前記第３画像ストリームは、前記第１画像ストリームにおいて、前記第１フレームと当該第１フレームの後の第３フレームとの間に前記第２フレームが挿入され、さらに、前記第３フレームの前に前記第１フレームのコピーが挿入された画像ストリームであり、前記デコードステップでは、前記第３画像ストリームにおいて前記第２フレームよりも前の１以上のフレームのデコードを、前記第１画像ストリームにて特定される第１フレームレートよりも高い第２フレームレートで実行し、前記１以上のフレームを前記第１フレームレートでデコードした場合のデコード時間と、前記１以上のフレームを前記第２フレームレートでデコードした場合のデコード時間との差分の時間内に、前記第１フレームのコピーと前記第２フレームとをデコードすることを特徴とする。
この態様によれば、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制することが可能になる。 One aspect of the display device control method according to the present invention is a second image stream having a first frame encoded by in-frame compression and a second frame having a second frame encoded by in-frame compression. In the image frame, a generation step of generating a third image stream using an image stream, a decoding step of decoding the third image stream and generating an image frame in frame units of the third image stream, and the image frame. The third image stream includes, in the first image stream, between the first frame and the third frame after the first frame, including a control step of controlling the display of the corresponding image. An image stream in which two frames are inserted and a copy of the first frame is inserted before the third frame. In the decoding step, the image stream is one before the second frame in the third image stream. Decoding time when decoding the above frames is executed at a second frame rate higher than the first frame rate specified in the first image stream, and the one or more frames are decoded at the first frame rate. It is characterized in that the copy of the first frame and the second frame are decoded within the time difference from the decoding time when the one or more frames are decoded at the second frame rate.
According to this aspect, it is possible to suppress an increase in the number of decoders in a configuration in which a plurality of images are displayed based on a plurality of image streams.

第１実施形態の表示装置に係るプロジェクター１を示した図である。It is a figure which showed the projector 1 which concerns on the display device of 1st Embodiment. プロジェクター１を模式的に示した図である。It is a figure which showed the projector 1 schematically. 画像メモリー１１０の一例を示した図である。It is a figure which showed an example of the image memory 110. 投射部１０７の一例を示した図である。It is a figure which showed an example of the projection part 107. プロジェクター１の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation of projector 1. プロジェクター１の動作を説明するための図である。It is a figure for demonstrating the operation of the projector 1. プロジェクター１の動作を説明するための図である。It is a figure for demonstrating the operation of the projector 1. プロジェクター１の動作を説明するための図である。It is a figure for demonstrating the operation of the projector 1. 合成画像ストリーム１００の生成手法を説明するための図である。It is a figure for demonstrating the generation method of the composite image stream 100. 合成画像ストリーム１００の一例を示した図である。It is a figure which showed an example of the composite image stream 100. 合成画像ストリーム１００のＤＴＳの調整を説明するための図である。It is a figure for demonstrating the adjustment of the DTS of the composite image stream 100. プロジェクター１が４台の画像出力装置の各々から画像ストリームを並列的に受信する場合の投射画像３０の一例を示した図である。It is a figure which showed an example of the projected image 30 when the projector 1 receives an image stream from each of four image output devices in parallel.

以下、図面を参照しながら本発明に係る実施の形態を説明する。なお、図面において各部の寸法および縮尺は実際のものと適宜異なる。また、以下に記載する実施の形態は、本発明の好適な具体例である。このため、本実施形態には、技術的に好ましい種々の限定が付されている。しかしながら、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings. In the drawings, the dimensions and scale of each part are appropriately different from the actual ones. Moreover, the embodiment described below is a preferable specific example of the present invention. For this reason, the present embodiment is provided with various technically preferable limitations. However, the scope of the present invention is not limited to these forms unless it is stated in the following description that the present invention is particularly limited.

＜第１実施形態＞
図１は、本発明を適用した第１実施形態の表示装置に係るプロジェクター１を示した図である。プロジェクター１は、Miracastのシンク機能を有する。プロジェクター１は、Miracastのソース機能を有する複数の画像出力装置２１〜２２と無線通信で同時接続する。なお、プロジェクター１が同時接続する画像出力装置の数は２に限らず２以上であればよい。 <First Embodiment>
FIG. 1 is a diagram showing a projector 1 according to a display device according to a first embodiment to which the present invention is applied. The projector 1 has a Miracast sink function. The projector 1 is simultaneously connected to a plurality of image output devices 21 to 22 having a Miracast source function by wireless communication. The number of image output devices to which the projector 1 is simultaneously connected is not limited to 2, and may be 2 or more.

画像出力装置２１〜２２は、例えば、スマートフォンまたはタブレット端末である。なお、画像出力装置２１〜２２は、スマートフォンまたはタブレット端末に限らず、Miracastのソース機能を有している機器であればよい。例えば、画像出力装置としては、Miracastのソースが用いられる。 The image output devices 21 to 22 are, for example, smartphones or tablet terminals. The image output devices 21 to 22 are not limited to smartphones or tablet terminals, and may be any device having a Miracast source function. For example, a Miracast source is used as the image output device.

画像出力装置２１〜２２は、それぞれ、符号化された複数のフレームで構成される画像ストリーム（動画）をＵＤＰ（User Datagram Protocol）データグラムでプロジェクター１に無線送信する。また、画像出力装置２１〜２２は、それぞれ、デコード（復号）タイミングおよび表示（再生）タイミングの基準になる時刻情報であるＰＣＲ（Program Clock Reference）をプロジェクター１に無線送信する。 Each of the image output devices 21 to 22 wirelessly transmits an image stream (moving image) composed of a plurality of encoded frames to the projector 1 in UDP (User Datagram Protocol) datagram. Further, the image output devices 21 to 22 wirelessly transmit PCR (Program Clock Reference), which is time information that serves as a reference for decoding (decoding) timing and display (reproduction) timing, to the projector 1, respectively.

以下、画像出力装置２１が送信する画像ストリームを「画像ストリーム２１ａ」とも称する。画像出力装置２２が送信する画像ストリームを「画像ストリーム２２ａ」とも称する。画像ストリーム２１ａは、第１画像ストリームの一例である。画像ストリーム２２ａは、第２画像ストリームの一例である。 Hereinafter, the image stream transmitted by the image output device 21 is also referred to as an “image stream 21a”. The image stream transmitted by the image output device 22 is also referred to as an “image stream 22a”. The image stream 21a is an example of the first image stream. The image stream 22a is an example of the second image stream.

画像ストリームは、Ｉフレーム（イントラ符号化フレーム：Intra coded Frame）とＰフレーム（予測符号化フレーム：Predicted Frame）とＢフレーム（双方向予測符号化フレーム：Bidirectional Predicted Frame）の３種類のフレームを含み得る。 The image stream includes three types of frames: an I frame (Intra coded Frame), a P frame (Predicted Frame), and a B frame (Bidirectional Predicted Frame). obtain.

Ｉフレームは、フレーム内圧縮によって符号化されたフレームである。さらに言えば、Ｉフレームは、他のフレームを参照することなく、単独で復号可能なフレームである。Ｉフレームは、画像ストリーム２１ａおよび２２ａのいずれにも含まれている。 An I-frame is a frame encoded by in-frame compression. Furthermore, the I frame is a frame that can be decoded independently without referring to other frames. The I-frame is included in both the image streams 21a and 22a.

ＰフレームおよびＢフレームは、フレーム間圧縮によって符号化されたフレームである。具体的には、Ｐフレームは、時間的に前のフレームを用いたフレーム間圧縮によって符号化されたフレームである。Ｂフレームは、時間的に前および後のフレームを用いたフレーム間圧縮によって符号化されたフレームである。 The P frame and the B frame are frames encoded by interframe compression. Specifically, the P frame is a frame encoded by inter-frame compression using a time-previous frame. B-frames are frames encoded by inter-frame compression using pre- and post-frames in time.

Ｉフレーム、ＰフレームおよびＢフレームは、それぞれ、ＰＴＳ（Presentation Time Stamp）を有する。ＰＴＳは、ＰＣＲを基準としたフレームの表示タイミングを、複数桁の数値の大きさで表す。表示タイミングは、ＰＴＳの表す数値が大きいほど遅くなる。ＰＴＳは、タイミング情報の一例である。 The I frame, P frame, and B frame each have a PTS (Presentation Time Stamp). The PTS represents the display timing of a frame based on PCR by the size of a multi-digit numerical value. The display timing becomes slower as the numerical value represented by PTS becomes larger. PTS is an example of timing information.

また、Ｉフレーム、ＰフレームおよびＢフレームは、それぞれ、ＤＴＳ（Decoding Time Stamp）を有する。ＤＴＳは、ＰＣＲを基準としたフレームのデコードタイミングを、複数桁の数値の大きさで表す。 Further, the I frame, the P frame and the B frame each have a DTS (Decoding Time Stamp). DTS represents the decoding timing of a frame based on PCR by the size of a multi-digit numerical value.

プロジェクター１は、画像ストリーム２１ａおよび２２ａを並列的に受信する。プロジェクター１は、画像ストリーム２１ａおよび２２ａを用いて、合成画像ストリームを生成する。合成画像ストリームは、第３画像ストリームの一例である。 The projector 1 receives the image streams 21a and 22a in parallel. The projector 1 uses the image streams 21a and 22a to generate a composite image stream. The composite image stream is an example of a third image stream.

プロジェクター１は、ＰＣＲとＤＴＳに基づくタイミングで、合成画像ストリームの有するフレームを１つのデコーダー１０５（図２参照）でデコードして、合成画像ストリームの有するフレーム単位で画像フレームを生成する。 The projector 1 decodes the frame of the composite image stream with one decoder 105 (see FIG. 2) at the timing based on PCR and DTS, and generates an image frame in frame units of the composite image stream.

プロジェクター１は、例えば、画像ストリーム２２ａの一部（Ｉフレーム）と画像ストリーム２１ａとを用いて合成画像ストリームを生成した場合、合成画像ストリームにおいて、画像ストリーム２２ａの一部の前に位置するフレームのデコードを、画像ストリーム２１ａにて特定される第１フレームレートよりも高い第２フレームレートで実行する。
ここで、第１フレームレートは、画像ストリーム２１ａを構成するフレームのデコードの時間間隔に依存し、この時間間隔は、画像ストリーム２１ａの各フレームのＤＴＳによって特定される。よって、第１フレームレートは、画像ストリーム２１ａに基づいて、さらに言えば、画像ストリーム２１ａの各フレームのＤＴＳに基づいて特定される。 For example, when the projector 1 generates a composite image stream using a part (I frame) of the image stream 22a and the image stream 21a, the projector 1 of the frame located in front of the part of the image stream 22a in the composite image stream. Decoding is performed at a second frame rate higher than the first frame rate specified by the image stream 21a.
Here, the first frame rate depends on the decoding time interval of the frames constituting the image stream 21a, and this time interval is specified by the DTS of each frame of the image stream 21a. Therefore, the first frame rate is specified based on the image stream 21a, and more specifically, based on the DTS of each frame of the image stream 21a.

そして、プロジェクター１は、デコードのフレームレートを第１フレームレートから第２フレームレートに上げることで空いた時間を使って、１つのデコーダー１０５で画像ストリーム２２ａの一部等をデコードする。 Then, the projector 1 decodes a part of the image stream 22a or the like with one decoder 105 by using the spare time by increasing the decoding frame rate from the first frame rate to the second frame rate.

プロジェクター１は、画像ストリーム２１ａから生成された画像フレームに応じた画像を、ＰＣＲと画像ストリーム２１ａのＰＴＳに基づくタイミングで生成し、画像ストリーム２２ａから生成された画像フレームに応じた画像を、ＰＣＲと画像ストリーム２２ａのＰＴＳに基づくタイミングで生成する。
プロジェクター１は、画像ストリーム２１ａから生成された画像フレームに応じた画像と、画像ストリーム２２ａから生成された画像フレームに応じた画像と、を含む投射画像３０を、投射面３に投射する。 The projector 1 generates an image corresponding to the image frame generated from the image stream 21a at a timing based on PCR and the PTS of the image stream 21a, and an image corresponding to the image frame generated from the image stream 22a is referred to as PCR. It is generated at the timing based on the PTS of the image stream 22a.
The projector 1 projects a projected image 30 including an image corresponding to the image frame generated from the image stream 21a and an image corresponding to the image frame generated from the image stream 22a onto the projection surface 3.

例えば、プロジェクター１は、合成画像ストリームを、画像ストリーム２２ａの一部と画像ストリーム２１ａとを用いて生成した場合、画像ストリーム２１ａから生成された画像フレームに応じた画像３１の上に、画像ストリーム２２ａの一部から生成された画像フレームに応じた画像３２が位置する投射画像３０を、投射面３に投射する。投射面３は、例えば、スクリーンまたは壁である。 For example, when the projector 1 generates a composite image stream by using a part of the image stream 22a and the image stream 21a, the image stream 22a is placed on the image 31 corresponding to the image frame generated from the image stream 21a. The projected image 30 in which the image 32 corresponding to the image frame generated from a part of the above is located is projected onto the projection surface 3. The projection surface 3 is, for example, a screen or a wall.

図２は、プロジェクター１を模式的に示した図である。プロジェクター１は、受取部１０１と、通信部１０２と、記憶部１０３と、処理部１０４と、デコーダー１０５と、表示制御部１０６と、投射部１０７とを含む。 FIG. 2 is a diagram schematically showing the projector 1. The projector 1 includes a receiving unit 101, a communication unit 102, a storage unit 103, a processing unit 104, a decoder 105, a display control unit 106, and a projection unit 107.

受取部１０１は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。受取部１０１は、使用者の入力操作を受け取る。受取部１０１は、入力操作に応じた情報を無線または有線で送信するリモートコントローラー等であってもよい。その場合、プロジェクター１は、リモートコントローラーが送信した情報を受信する受信部を備える。リモートコントローラーは、入力操作を受け取る各種の操作ボタン、操作キーまたはタッチパネルを備える。 The receiving unit 101 is, for example, various operation buttons, operation keys, or a touch panel. The receiving unit 101 receives the input operation of the user. The receiving unit 101 may be a remote controller or the like that wirelessly or wiredly transmits information according to an input operation. In that case, the projector 1 includes a receiving unit that receives the information transmitted by the remote controller. The remote controller includes various operation buttons, operation keys, or a touch panel for receiving input operations.

通信部１０２は、画像出力装置２１〜２２と無線通信する。例えば、通信部１０２は、画像ストリーム２１ａおよび２２ａ（図１参照）をＵＤＰデータグラムで受信する。 The communication unit 102 wirelessly communicates with the image output devices 21 to 22. For example, the communication unit 102 receives the image streams 21a and 22a (see FIG. 1) in UDP datagrams.

ＵＤＰデータグラムのヘッダーには、送信先ポート番号が記載されている。画像ストリーム２１ａおよび２２ａでは、送信先ポート番号が互いに異なる。このため、プロジェクター１は、画像ストリーム２１ａおよび２２ａの送信元（画像出力装置２１〜２２）を、送信先ポート番号によって識別可能である。以下では、画像ストリーム２１ａの送信先ポート番号を「ｎ１」とし、画像ストリーム２２ａの送信先ポート番号を「ｎ２」とする。 The destination port number is described in the header of the UDP datagram. In the image streams 21a and 22a, the destination port numbers are different from each other. Therefore, the projector 1 can identify the transmission sources (image output devices 21 to 22) of the image streams 21a and 22a by the transmission destination port number. In the following, the destination port number of the image stream 21a is set to "n1", and the destination port number of the image stream 22a is set to "n2".

また、ＵＤＰデータグラムのヘッダーには、フレームの種別を表す情報（ＩフレームかＰフレームかＢフレームかを表す情報）が記載されている。 Further, in the header of the UDP datagram, information indicating the type of frame (information indicating whether it is an I frame, a P frame, or a B frame) is described.

記憶部１０３は、コンピューターが読み取り可能な記録媒体である。記憶部１０３は、プロジェクター１の動作を規定するプログラムと、種々の情報とを記憶する。また、記憶部１０３は、図３に示すような画像メモリー１１０を備える。画像メモリー１１０は、バッファー１１０−１とバッファー１１０−２とを有する。 The storage unit 103 is a computer-readable recording medium. The storage unit 103 stores a program that defines the operation of the projector 1 and various information. Further, the storage unit 103 includes an image memory 110 as shown in FIG. The image memory 110 has a buffer 110-1 and a buffer 110-2.

説明を図２に戻す。処理部１０４は、ＣＰＵ（Central Processing Unit）等のコンピューターである。処理部１０４は、記憶部１０３に記憶されているプログラムを読み取り実行することによって、制御部１０８と、生成部１０９とを実現する。 The explanation is returned to FIG. The processing unit 104 is a computer such as a CPU (Central Processing Unit). The processing unit 104 realizes the control unit 108 and the generation unit 109 by reading and executing the program stored in the storage unit 103.

制御部１０８は、受取部１０１が受け取った入力操作に応じて、プロジェクター１を制御する。例えば、制御部１０８は、入力操作に応じて通信部１０２を制御して、画像出力装置２１〜２２との通信を制御する。 The control unit 108 controls the projector 1 according to the input operation received by the receiving unit 101. For example, the control unit 108 controls the communication unit 102 in response to an input operation to control communication with the image output devices 21 to 22.

生成部１０９は、画像ストリーム２１ａと画像ストリーム２２ａとを用いて合成画像ストリームを生成する。本実施形態では、生成部１０９は、制御部１０８からの指示に従って、合成画像ストリームを、画像ストリーム２２ａの一部（Ｉフレーム）と画像ストリーム２１ａとを用いて生成するか、画像ストリーム２１ａの一部（Ｉフレーム）と画像ストリーム２２ａとを用いて生成するかを切り換える。 The generation unit 109 generates a composite image stream using the image stream 21a and the image stream 22a. In the present embodiment, the generation unit 109 generates a composite image stream by using a part (I frame) of the image stream 22a and the image stream 21a according to the instruction from the control unit 108, or one of the image streams 21a. It is switched whether to generate using the part (I frame) and the image stream 22a.

以下では、説明の簡略化のため、生成部１０９が、合成画像ストリームを、画像ストリーム２２ａのＩフレームと画像ストリーム２１ａとを用いて生成する場合を説明する。この場合、画像ストリーム２１ａが「挿入先画像ストリーム」となり、画像ストリーム２２ａが「挿入元画像ストリーム」となる。 In the following, for simplification of the description, a case where the generation unit 109 generates the composite image stream by using the I frame of the image stream 22a and the image stream 21a will be described. In this case, the image stream 21a becomes the “insertion destination image stream” and the image stream 22a becomes the “insertion source image stream”.

また、生成部１０９は、合成画像ストリームの有するフレームのＤＴＳおよびＰＴＳを調整する。生成部１０９は、ＤＴＳを調整することによって、デコーダー１０５でのフレームレート（デコードにおけるフレームレート）を調整する。 In addition, the generation unit 109 adjusts the DTS and PTS of the frame of the composite image stream. The generation unit 109 adjusts the frame rate (frame rate in decoding) in the decoder 105 by adjusting the DTS.

また、生成部１０９は、合成画像ストリームに含まれる画像ストリーム２２ａのＩフレーム（第２フレーム）のＰＴＳに、第２フレームの送信先ポート番号に応じた識別情報を設定する。送信先ポート番号は、第２フレームを送信した画像出力装置にも対応する。
第２フレームのＰＴＳに対して送信先ポート番号に応じた識別情報を設定することは、第２フレームに対して、第２フレームの送信元に応じた識別情報を付加することの一例である。 Further, the generation unit 109 sets the identification information according to the destination port number of the second frame in the PTS of the I frame (second frame) of the image stream 22a included in the composite image stream. The destination port number also corresponds to the image output device that transmitted the second frame.
Setting the identification information according to the destination port number for the PTS of the second frame is an example of adding the identification information according to the source of the second frame to the second frame.

デコーダー１０５は、合成画像ストリームをデコードして、合成画像ストリームの有するフレーム単位で画像フレーム（復号後のフレーム）を生成する。具体的には、デコーダー１０５は、合成画像ストリームに含まれるフレームごとに、フレームを、フレームのＤＴＳに示されたタイミングでデコードして画像フレームを生成する。なお、画像フレームは、画像フレームの元になったフレームに付加されていたＰＴＳを有する。 The decoder 105 decodes the composite image stream and generates an image frame (frame after decoding) in frame units of the composite image stream. Specifically, the decoder 105 generates an image frame by decoding each frame included in the composite image stream at the timing indicated by the DTS of the frame. The image frame has a PTS added to the frame that is the source of the image frame.

表示制御部１０６は、画像フレームに応じた画像の表示を制御する。表示制御部１０６は、デコーダー１０５が生成した画像フレームを、ＰＴＳが示す表示タイミングで、画像メモリー１１０に上書きする。
この際、表示制御部１０６は、ＰＴＳに識別情報が設定されていない画像フレームをバッファー１１０−１に上書きし、ＰＴＳに識別情報が設定されている画像フレームをバッファー１１０−２に上書きする。
また、表示制御部１０６は、バッファー１１０−１〜１１０−２に格納された２つの画像フレームを用いて、画像３１〜３２（図１参照）を含む投射画像３０に応じた画像信号を生成する。 The display control unit 106 controls the display of the image according to the image frame. The display control unit 106 overwrites the image frame generated by the decoder 105 on the image memory 110 at the display timing indicated by the PTS.
At this time, the display control unit 106 overwrites the image frame in which the identification information is not set in the PTS with the buffer 110-1, and overwrites the image frame in which the identification information is set in the PTS with the buffer 110-2.
Further, the display control unit 106 uses the two image frames stored in the buffers 110-1 to 110-2 to generate an image signal corresponding to the projected image 30 including the images 31 to 32 (see FIG. 1). ..

投射部１０７は、画像信号に応じた投射画像３０を投射面３に投射する。
図４は、投射部１０７の一例を示した図である。投射部１０７は、光源１１、光変調装置の一例である３つの液晶ライトバルブ１２（１２Ｒ，１２Ｇ，１２Ｂ）、投射光学系の一例である投射レンズ１３、ライトバルブ駆動部１４等を含む。投射部１０７は、光源１１から射出された光を液晶ライトバルブ１２で変調して投射画像（画像光）を形成し、この投射画像を投射レンズ１３から拡大投射する。 The projection unit 107 projects the projection image 30 corresponding to the image signal onto the projection surface 3.
FIG. 4 is a diagram showing an example of the projection unit 107. The projection unit 107 includes a light source 11, three liquid crystal light bulbs 12 (12R, 12G, 12B) which are examples of an optical modulation device, a projection lens 13 which is an example of a projection optical system, a light bulb drive unit 14, and the like. The projection unit 107 modulates the light emitted from the light source 11 with the liquid crystal light valve 12 to form a projection image (image light), and magnifies and projects the projection image from the projection lens 13.

光源１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、またはレーザー光源等からなる光源部１１ａと、光源部１１ａが放射した光の方向のばらつきを低減するリフレクター１１ｂとを含む。光源１１から射出された光は、不図示のインテグレーター光学系によって輝度分布のばらつきが低減され、その後、不図示の色分離光学系によって光の３原色である赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の色光成分に分離される。Ｒ，Ｇ，Ｂの色光成分は、それぞれ液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂに入射する。 The light source 11 includes a light source unit 11a including a xenon lamp, an ultra-high pressure mercury lamp, an LED (Light Emitting Diode), a laser light source, and the like, and a reflector 11b that reduces variations in the direction of light emitted by the light source unit 11a. The light emitted from the light source 11 is reduced in brightness distribution by an integrator optical system (not shown), and then the three primary colors of light, red (R) and green (G), are reduced by a color separation optical system (not shown). It is separated into a blue (B) color light component. The color light components of R, G, and B are incident on the liquid crystal light bulbs 12R, 12G, and 12B, respectively.

液晶ライトバルブ１２は、一対の透明基板間に液晶が封入された液晶パネル等によって構成される。液晶ライトバルブ１２には、マトリクス状に配列された複数の画素１２ｐからなる矩形の画素領域１２ａが形成されており、液晶に対して画素１２ｐごとに駆動電圧を印加可能である。ライトバルブ駆動部１４が、表示制御部１０６から入力される画像信号に応じた駆動電圧を各画素１２ｐに印加すると、各画素１２ｐは、画像信号に応じた光透過率に設定される。このため、光源１１から射出された光は、画素領域１２ａを透過することで変調され、画像信号に応じた画像が色光ごとに形成される。 The liquid crystal light bulb 12 is composed of a liquid crystal panel or the like in which a liquid crystal is sealed between a pair of transparent substrates. The liquid crystal light bulb 12 is formed with a rectangular pixel region 12a composed of a plurality of pixels 12p arranged in a matrix, and a driving voltage can be applied to the liquid crystal for each pixel 12p. When the light bulb drive unit 14 applies a drive voltage corresponding to the image signal input from the display control unit 106 to each pixel 12p, each pixel 12p is set to a light transmittance corresponding to the image signal. Therefore, the light emitted from the light source 11 is modulated by passing through the pixel region 12a, and an image corresponding to the image signal is formed for each colored light.

各色の画像は、図示しない色合成光学系によって画素１２ｐごとに合成され、カラー画像（カラー画像光）である投射画像が生成される。投射画像は、投射レンズ１３によって投射面３に拡大投射される。 The images of each color are combined for each pixel 12p by a color synthesis optical system (not shown) to generate a projected image which is a color image (color image light). The projected image is magnified and projected onto the projection surface 3 by the projection lens 13.

次に、動作を説明する。
図５は、プロジェクター１の動作を説明するためのフローチャートである。
プロジェクター１と画像出力装置２１〜２２は、Miracastのデバイス発見手順であるＰ２Ｐ（Peer to Peer）デバイスディスカバリーによって互いに発見され接続される（ステップＳ１）。 Next, the operation will be described.
FIG. 5 is a flowchart for explaining the operation of the projector 1.
The projector 1 and the image output devices 21 to 22 are discovered and connected to each other by P2P (Peer to Peer) device discovery, which is a device discovery procedure of Miracast (step S1).

続いて、プロジェクター１と画像出力装置２１〜２２は、ＲＴＳＰ（Real Time Streaming Protocol）により互いの情報を交換する。この際、プロジェクター１の通信部１０２は、制御部１０８の制御により、プロジェクター１の機器情報として、プロジェクター１の対応可能な最大の解像度（例えば、１０８０ｐ）を、画像出力装置２１〜２２にレポートする（図６参照）。通信部１０２が機器情報を画像出力装置２１〜２２へレポートすることは、プロジェクター１（通信部１０２）が画像出力装置２１〜２２に解像度を指定することを意味する（ステップＳ２）。 Subsequently, the projector 1 and the image output devices 21 to 22 exchange information with each other by RTSP (Real Time Streaming Protocol). At this time, the communication unit 102 of the projector 1 reports the maximum resolution (for example, 1080p) that the projector 1 can handle as the device information of the projector 1 to the image output devices 21 to 22 under the control of the control unit 108. (See FIG. 6). When the communication unit 102 reports the device information to the image output devices 21 to 22, it means that the projector 1 (communication unit 102) specifies the resolution to the image output devices 21 to 22 (step S2).

画像出力装置２１〜２２は、機器情報に示された解像度の画像フレームについてエンコードを行う準備をする。その後、画像出力装置２１〜２２は、画像について再生可能な状態で、プロジェクター１からの指示を待ち受ける。 The image output devices 21 to 22 prepare to encode an image frame having a resolution indicated in the device information. After that, the image output devices 21 to 22 wait for an instruction from the projector 1 in a state in which the image can be reproduced.

プロジェクター１の制御部１０８は、通信部１０２を用いて、図７に示したように、画像出力装置２１〜２２に、順次、再生指示をＲＴＳＰにより出力する（ステップＳ３）。 As shown in FIG. 7, the control unit 108 of the projector 1 sequentially outputs playback instructions to the image output devices 21 to 22 by RTSP using the communication unit 102 (step S3).

画像出力装置２１〜２２の各々は、再生指示を受信すると、機器情報に示された解像度の画像フレームのエンコードを開始して画像ストリームを生成し始める。
続いて、画像出力装置２１〜２２の各々は、ＲＴＰ（Real time Transport Protocol）により画像ストリームをＵＤＰデータグラムでプロジェクター１に送信し始める（図８参照）。画像出力装置２１〜２２の各々は、ＰＣＲも、ＵＤＰデータグラムに記述して送信し始める。 Upon receiving the reproduction instruction, each of the image output devices 21 to 22 starts encoding an image frame having a resolution indicated in the device information and starts generating an image stream.
Subsequently, each of the image output devices 21 to 22 starts transmitting an image stream as a UDP datagram to the projector 1 by RTP (Real time Transport Protocol) (see FIG. 8). Each of the image output devices 21 to 22 also begins to describe and transmit the PCR in the UDP datagram.

プロジェクター１では、通信部１０２は、画像出力装置２１〜２２の各々から、ＵＤＰデータグラム（画像ストリーム２１ａ、画像ストリーム２２ａ、およびＰＣＲ）を受信し始める（ステップＳ４）。
なお、制御部１０８は、画像出力装置２１からのＵＤＰデータグラム（画像ストリーム２１ａ）を、画像出力装置２２からのＵＤＰデータグラム（画像ストリーム２２ａ）よりも優先的に受信してもよい。例えば、制御部１０８は、画像出力装置２１からのＵＤＰデータグラムを受信するために使用する時間を、画像出力装置２２からのＵＤＰデータグラムを受信するために使用する時間よりも長くしてもよい。通信部１０２は、ＵＤＰデータグラムを生成部１０９に出力する。 In the projector 1, the communication unit 102 starts receiving UDP datagrams (image stream 21a, image stream 22a, and PCR) from each of the image output devices 21 to 22 (step S4).
The control unit 108 may receive the UDP datagram (image stream 21a) from the image output device 21 with priority over the UDP datagram (image stream 22a) from the image output device 22. For example, the control unit 108 may make the time used to receive the UDP datagram from the image output device 21 longer than the time used to receive the UDP datagram from the image output device 22. .. The communication unit 102 outputs the UDP datagram to the generation unit 109.

生成部１０９は、画像出力装置２１からのＵＤＰデータグラム（画像ストリーム２１ａ）と、画像出力装置２２からのＵＤＰデータグラム（画像ストリーム２２ａ）と、を用いて合成画像ストリームを生成する（ステップＳ５）。ステップＳ５は、生成ステップの一例である。 The generation unit 109 generates a composite image stream using the UDP datagram (image stream 21a) from the image output device 21 and the UDP datagram (image stream 22a) from the image output device 22 (step S5). .. Step S5 is an example of a generation step.

図９は、合成画像ストリーム１００の生成手法を説明するための図である。
生成部１０９は、まず、ＵＤＰデータグラムのヘッダーに記載の送信先ポート番号を参照して、画像ストリーム２１ａと、画像ストリーム２２ａとを識別する。 FIG. 9 is a diagram for explaining a method for generating the composite image stream 100.
First, the generation unit 109 identifies the image stream 21a and the image stream 22a by referring to the destination port number described in the header of the UDP datagram.

続いて、生成部１０９は、画像ストリーム２２ａを解析して（例えば、ＵＤＰデータグラムのヘッダーを解析して）、画像ストリーム２２ａからＩフレームｉ３を抽出する。Ｉフレームｉ３は、第２フレームの一例である。 Subsequently, the generation unit 109 analyzes the image stream 22a (for example, analyzes the header of the UDP datagram) and extracts the I frame i3 from the image stream 22a. The I frame i3 is an example of the second frame.

生成部１０９は、画像ストリーム２２ａからＩフレームｉ３を抽出すると、画像ストリーム２１ａから２つのＩフレームｉ１およびｉ２を特定する。Ｉフレームｉ１は、Ｉフレームｉ２よりも時間的に前に位置する。Ｉフレームｉ２は、第１フレームの一例である。 When the generation unit 109 extracts the I-frame i3 from the image stream 22a, the generation unit 109 identifies two I-frames i1 and i2 from the image stream 21a. The I-frame i1 is located ahead of the I-frame i2 in time. The I frame i2 is an example of the first frame.

続いて、生成部１０９は、Ｉフレームｉ１と、Ｉフレームｉ２と、Ｉフレームｉ１とＩフレームｉ２との間に存在するフレームと、の数を合計した合計値ｍを算出する。図９に示した例では、合計値ｍは「４」となる。 Subsequently, the generation unit 109 calculates the total value m, which is the sum of the numbers of the I frame i1, the I frame i2, and the frames existing between the I frame i1 and the I frame i2. In the example shown in FIG. 9, the total value m is “4”.

続いて、生成部１０９は、Ｉフレームｉ３を「ｍ−２」回コピーする。続いて、生成部１０９は、Ｉフレームｉ３の「ｍ−２」個のコピーとＩフレームｉ３とを用いて、「ｍ−１」個のＩフレームｉ３が連続するフレーム群Ｇを生成する。 Subsequently, the generation unit 109 copies the I frame i3 "m-2" times. Subsequently, the generation unit 109 uses the "m-2" copies of the I-frame i3 and the I-frame i3 to generate a frame group G in which "m-1" I-frames i3 are continuous.

続いて、生成部１０９は、フレーム群ＧをＩフレームｉ２の直後に挿入する。換言すると、生成部１０９は、画像ストリーム２１ａにおいて、Ｉフレームｉ２と、Ｉフレームｉ２の直後のフレームｆと、の間に、フレーム群Ｇを挿入する。フレームｆは、第３フレームの一例である。 Subsequently, the generation unit 109 inserts the frame group G immediately after the I frame i2. In other words, the generation unit 109 inserts the frame group G between the I frame i2 and the frame f immediately after the I frame i2 in the image stream 21a. The frame f is an example of the third frame.

続いて、生成部１０９は、Ｉフレームｉ２のコピーを生成する。続いて、生成部１０９は、Ｉフレームｉ２のコピーを、フレーム群Ｇとフレームｆとの間に挿入する。換言すると、生成部１０９は、フレームｆの直前にＩフレームｉ２のコピーを挿入する。 Subsequently, the generation unit 109 generates a copy of the I frame i2. Subsequently, the generation unit 109 inserts a copy of the I frame i2 between the frame group G and the frame f. In other words, the generation unit 109 inserts a copy of the I frame i2 immediately before the frame f.

図１０は、合成画像ストリーム１００の一例を示した図である。
図１０および図９に示したように、合成画像ストリーム１００は、画像ストリーム２１ａに比べ、Ｉフレームｉ２のコピーと「ｍ−１」個のＩフレームｉ３との合計の分だけ、フレームが多くなる。このため、デコーダー１０５がＩフレームｉ２のコピーと「ｍ−１」個のＩフレームｉ３とをデコードするための時間（以下「追加デコード時間」とも称する）が、新たに必要となる。
そこで、生成部１０９は、追加デコード時間が捻出され、かつ、追加デコード時間内にＩフレームｉ２のコピーと「ｍ−１」個のＩフレームｉ３とがデコードされるように、デコーダー１０５のフレームレートを調整する。具体的には、生成部１０９は、合成画像ストリーム１００のＤＴＳと、デコーダー１０５の動作周波数とを調整する。 FIG. 10 is a diagram showing an example of the composite image stream 100.
As shown in FIGS. 10 and 9, the composite image stream 100 has more frames than the image stream 21a by the total of the copy of the I frame i2 and the “m-1” I frames i3. .. Therefore, a new time (hereinafter, also referred to as “additional decoding time”) for the decoder 105 to decode the copy of the I frame i2 and the “m-1” number of I frames i3 is required.
Therefore, the generation unit 109 determines the frame rate of the decoder 105 so that the additional decoding time is calculated and the copy of the I frame i2 and the "m-1" I frames i3 are decoded within the additional decoding time. To adjust. Specifically, the generation unit 109 adjusts the DTS of the composite image stream 100 and the operating frequency of the decoder 105.

図１１は、合成画像ストリーム１００のＤＴＳの調整を説明するための図である。図１１では、比較例として、画像ストリーム２１ａも示されている。画像ストリーム２１ａにおいては、説明の簡略化を図るために、時間的に隣り合うフレームでのＤＴＳの差が「１００」に設定されているとする。そして、時間的に隣り合うフレームでのＤＴＳの差が「１００」である場合のデコードのフレームレートを「Ｙ」で示している。 FIG. 11 is a diagram for explaining the adjustment of the DTS of the composite image stream 100. In FIG. 11, an image stream 21a is also shown as a comparative example. In the image stream 21a, in order to simplify the explanation, it is assumed that the difference in DTS between the frames adjacent in time is set to "100". Then, the frame rate for decoding when the difference in DTS between adjacent frames in time is "100" is indicated by "Y".

ここで、合成画像ストリーム１００は、Ｂフレームを有するので、合成画像ストリーム１００内のフレームは、合成画像ストリーム１００内の並び順とは異なる順番でデコードされることもある。よって、実際には、合成画像ストリーム１００内のフレームをデコードの順番に並べた場合に、時間的に隣り合うフレームでのＤＴＳの差が「１００」になる。
なお、時間的に隣り合うフレームでのＤＴＳの差は「１００」に限らず適宜変更可能である。 Here, since the composite image stream 100 has B frames, the frames in the composite image stream 100 may be decoded in an order different from the order in the composite image stream 100. Therefore, in reality, when the frames in the composite image stream 100 are arranged in the order of decoding, the difference in DTS between the frames adjacent in time becomes "100".
The difference in DTS between adjacent frames in terms of time is not limited to "100" and can be changed as appropriate.

生成部１０９は、合成画像ストリーム１００において、Ｉフレームｉ１からＩフレームｉ２のコピーまでのデコードのフレームレートが「２Ｙ」になるように、Ｉフレームｉ１の直後のフレームからＩフレームｉ２のコピーまでのフレーム（以下「ＤＴＳ調整対象フレーム」と称する）のＤＴＳを調整する。 The generation unit 109 from the frame immediately after the I frame i1 to the copy of the I frame i2 so that the decoding frame rate from the copy of the I frame i1 to the copy of the I frame i2 becomes "2Y" in the composite image stream 100. The DTS of a frame (hereinafter referred to as "DTS adjustment target frame") is adjusted.

具体的には、生成部１０９は、時間的に隣り合うＤＴＳ調整対象フレームでのＤＴＳの差が「１００」の半分の「５０」になるように、ＤＴＳ調整対象フレームのＤＴＳを調整する。つまり、生成部１０９は、合成画像フレーム１００では、画像フレーム２１ａに比べてフレームが４個増えたため、８個のフレームのデコードのフレームレートをＹの２倍にする。
ここで、合成画像ストリーム１００において、Ｉフレームｉ１からＩフレームｉ２までのフレームは、第２フレームよりも前の１以上のフレームの一例である。フレームレートＹは、第１フレームレートの一例である。フレームレート２Ｙは、第２フレームレートの一例である。 Specifically, the generation unit 109 adjusts the DTS of the DTS adjustment target frame so that the difference in DTS between the temporally adjacent DTS adjustment target frames is "50", which is half of "100". That is, the generation unit 109 increases the number of frames in the composite image frame 100 by four as compared with the image frame 21a, so that the frame rate for decoding the eight frames is doubled in Y.
Here, in the composite image stream 100, the frames from I frame i1 to I frame i2 are examples of one or more frames before the second frame. The frame rate Y is an example of the first frame rate. The frame rate 2Y is an example of the second frame rate.

続いて、生成部１０９は、合成画像ストリーム１００に含まれるＩフレームｉ２のＰＴＳの特定の桁（例えば、最上位の桁）に、Ｉフレームｉ２の送信先ポート番号に応じた識別情報（例えば、特定の数値）を設定する。続いて、生成部１０９は、合成画像ストリーム１００をデコーダー１０５に出力する。 Subsequently, the generation unit 109 sets the identification information (for example, for example) according to the destination port number of the I frame i2 in a specific digit (for example, the highest digit) of the PTS of the I frame i2 included in the composite image stream 100. Set a specific number). Subsequently, the generation unit 109 outputs the composite image stream 100 to the decoder 105.

また、生成部１０９は、ＰＣＲも、デコーダー１０５に出力する。
画像出力装置２１〜２２では、ＰＣＲは互いに独立している。合成画像ストリーム１００に含まれるフレームのＤＴＳおよびＰＴＳは、そのフレームの送信元である画像出力装置が送信したＰＣＲを基準に設定されている。すなわち、送信元が異なるフレームのＤＴＳおよびＰＴＳは、互いに異なるＰＣＲを基準に設定されている。
そこで、生成部１０９は、基準となるＰＣＲ（以下「基準ＰＣＲ」と称する）として、合成画像ストリーム１００において挿入先となる画像ストリーム２１ａに対応するＰＣＲ（画像出力装置２１から送信されたＰＣＲ）を決定する。
生成部１０９は、基準ＰＣＲを、デコーダー１０５に出力する。 The generation unit 109 also outputs PCR to the decoder 105.
In the image output devices 21 to 22, PCRs are independent of each other. The DTS and PTS of the frame included in the composite image stream 100 are set based on the PCR transmitted by the image output device that is the source of the frame. That is, the DTS and PTS of frames having different sources are set based on PCR different from each other.
Therefore, the generation unit 109 uses PCR (PCR transmitted from the image output device 21) corresponding to the image stream 21a as the insertion destination in the synthetic image stream 100 as the reference PCR (hereinafter referred to as “reference PCR”). decide.
The generation unit 109 outputs the reference PCR to the decoder 105.

さらに、生成部１０９は、合成画像ストリーム１００からＩフレームｉ１のＤＴＳとフレームｆのＤＴＳとを読み取って不図示の内部メモリーに記憶する。そして、生成部１０９は、合成画像ストリーム１００のＩフレームｉ１のＤＴＳが示すタイミングになると、デコーダー１０５の動作周波数を、それ以前のデコーダー１０５の動作周波数の２倍に切り換える。また、生成部１０９は、合成画像ストリーム１００のフレームｆのＤＴＳが示すタイミングになると、デコーダー１０５の動作周波数を、それ以前のデコーダー１０５の動作周波数の１／２倍に切り換える。 Further, the generation unit 109 reads the DTS of the I frame i1 and the DTS of the frame f from the composite image stream 100 and stores them in an internal memory (not shown). Then, when the timing indicated by the DTS of the I frame i1 of the composite image stream 100 is reached, the generation unit 109 switches the operating frequency of the decoder 105 to twice the operating frequency of the previous decoder 105. Further, when the timing indicated by the DTS of the frame f of the composite image stream 100 is reached, the generation unit 109 switches the operating frequency of the decoder 105 to 1/2 times the operating frequency of the previous decoder 105.

デコーダー１０５は、合成画像ストリーム１００に含まれるフレームごとに、フレームを、フレームのＤＴＳに示された、基準ＰＣＲを基準とするタイミングでデコードして画像フレームを生成する（ステップＳ６）。ステップＳ６は、デコードステップの一例である。
このため、デコーダー１０５は、合成画像ストリーム１００のＩフレームｉ１からＩフレームｉ２をフレームレートＹでデコードした場合のデコード時間と、合成画像ストリーム１００のＩフレームｉ１からＩフレームｉ２をフレームレート２Ｙでデコードした場合のデコード時間との差分の時間内に、Ｉフレームｉ２のコピーとフレーム群Ｇとをデコードする（図１１参照）。
なお、画像フレームには、画像フレームの元になったフレームの有していたＰＴＳが付されている。
デコーダー１０５は、ＰＴＳが付されている画像フレームと、基準ＰＣＲとを、表示制御部１０６に出力する。 The decoder 105 generates an image frame by decoding each frame included in the composite image stream 100 at a timing based on the reference PCR shown in the DTS of the frame (step S6). Step S6 is an example of a decoding step.
Therefore, the decoder 105 decodes the decoding time when the I-frame i1 to the I-frame i2 of the composite image stream 100 are decoded at the frame rate Y, and the I-frame i1 to the I-frame i2 of the composite image stream 100 at the frame rate 2Y. Within the time difference from the decoding time in the case of the above, the copy of the I frame i2 and the frame group G are decoded (see FIG. 11).
The image frame is provided with the PTS possessed by the frame that is the source of the image frame.
The decoder 105 outputs the image frame with PTS and the reference PCR to the display control unit 106.

表示制御部１０６は、ＰＴＳに識別情報が設定されているか否かによって、画像フレームを分別する（ステップＳ７）。
具体的には、表示制御部１０６は、画像フレームのうち、ＰＴＳに識別情報が設定されていない画像フレーム（画像ストリーム２１ａに対応する画像フレーム）については、ＰＴＳが示す表示タイミング（基準ＰＣＲを基準とした表示タイミング）で、画像メモリー１１０のバッファー１１０−１に上書きする。なお、表示制御部１０６は、Ｉフレームｉ２のコピーを元に生成された画像フレームを削除してもよい。
一方、デコーダー１０５が生成した画像フレームのうち、ＰＴＳに識別情報が設定されている画像フレーム（画像ストリーム２２ａに対応する画像フレーム）については、表示制御部１０６は、その画像フレームを見つけた場合、その画像フレームを、ＰＴＳに関わりなく、画像メモリー１１０のバッファー１１０−２に上書きする。 The display control unit 106 separates image frames according to whether or not identification information is set in the PTS (step S7).
Specifically, the display control unit 106 refers to the display timing indicated by the PTS (based on the reference PCR) for the image frame (the image frame corresponding to the image stream 21a) in which the identification information is not set in the PTS. (Display timing), the buffer 110-1 of the image memory 110 is overwritten. The display control unit 106 may delete the image frame generated based on the copy of the I frame i2.
On the other hand, among the image frames generated by the decoder 105, regarding the image frame in which the identification information is set in the PTS (the image frame corresponding to the image stream 22a), when the display control unit 106 finds the image frame, The image frame is overwritten in the buffer 110-2 of the image memory 110 regardless of the PTS.

続いて、表示制御部１０６は、バッファー１１０−１〜１１０−２に格納された２つの画像フレームを用いて、画像３１〜３２を含む投射画像３０（図１参照）に応じた画像信号を生成する。
本実施形態では、表示制御部１０６は、バッファー１１０−１に格納された画像フレームに応じた画像３１の上に、バッファー１１０−２に格納された画像フレームに応じた画像３２が位置する投射画像３０に応じた画像信号を生成する。続いて、投射部１０７は、画像信号に応じた画像を投射面３に投射する（ステップＳ８）。ステップＳ８は、制御ステップの一例である。
この投射によって、画像出力装置２１からの画像ストリーム２１ａに基づく画像３１が表示され、画像出力装置２２からのＩフレームに基づく画像３２がサムネイルとして表示される。 Subsequently, the display control unit 106 uses the two image frames stored in the buffers 110-1 to 110-2 to generate an image signal corresponding to the projected image 30 (see FIG. 1) including the images 31 to 32. To do.
In the present embodiment, the display control unit 106 is a projection image in which the image 32 corresponding to the image frame stored in the buffer 110-2 is located on the image 31 corresponding to the image frame stored in the buffer 110-1. An image signal corresponding to 30 is generated. Subsequently, the projection unit 107 projects an image corresponding to the image signal onto the projection surface 3 (step S8). Step S8 is an example of a control step.
By this projection, the image 31 based on the image stream 21a from the image output device 21 is displayed, and the image 32 based on the I frame from the image output device 22 is displayed as a thumbnail.

投射画像３０が表示されている状況で、使用者が受取部１０１を操作して、画像３２を選択すると、プロジェクター１は、「挿入先画像ストリーム」を画像ストリーム２１ａから画像ストリーム２２ａに切り換え、「挿入元画像ストリーム」を画像ストリーム２２ａから画像ストリーム２１ａに切り換えた上で、上述した動作を実行する。この際、プロジェクター１と画像出力装置２１〜２２との接続は継続される。 When the user operates the receiving unit 101 to select the image 32 in the situation where the projected image 30 is displayed, the projector 1 switches the “insertion destination image stream” from the image stream 21a to the image stream 22a, and “ After switching the "insertion source image stream" from the image stream 22a to the image stream 21a, the above-described operation is executed. At this time, the connection between the projector 1 and the image output devices 21 to 22 is continued.

本実施形態のプロジェクター１およびプロジェクター１の制御方法によれば、プロジェクター１は、画像ストリーム２１ａの一部のフレームのデコードのフレームレートをフレームレートＹからフレームレート２Ｙに上げることで空いた時間を使って、デコーダー１０５で画像ストリーム２２ａの一部のフレームをデコードする。このため、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダー１０５の数の増大を抑制することが可能になる。また、単一のデコーダー１０５を用いた構成であっても、並列的に受信した複数の画像ストリーム２１および２２の各々の表す画像の少なくとも概要を表示することが可能になる。 According to the projector 1 and the control method of the projector 1 of the present embodiment, the projector 1 uses the free time by increasing the frame rate for decoding a part of the frame of the image stream 21a from the frame rate Y to the frame rate 2Y. Then, the decoder 105 decodes a part of the frame of the image stream 22a. Therefore, it is possible to suppress an increase in the number of decoders 105 in a configuration in which a plurality of images are displayed based on a plurality of image streams. Further, even in the configuration using a single decoder 105, it is possible to display at least an outline of the images represented by each of the plurality of image streams 21 and 22 received in parallel.

また、合成画像ストリーム１００では、Ｉフレームｉ３と時間的に前後する画像ストリーム２１ａのフレームが、Ｉフレームとなっている。このため、合成画像ストリーム１００のデコードにおいて、画像ストリーム２１ａに属していたフレーム（例えば、ＰフレームまたはＢフレーム）のデコードを、画像ストリーム２１ａに属していたフレームのみを用いて行うことが可能になる。よって、画像ストリーム２１ａに属していたフレームのデコードの際に、画像ストリーム２２ａに属していたフレームを参照してしまうことを禁止できる。 Further, in the composite image stream 100, the frame of the image stream 21a that is temporally before and after the I frame i3 is the I frame. Therefore, in decoding the composite image stream 100, it is possible to decode the frame (for example, P frame or B frame) that belonged to the image stream 21a by using only the frame that belonged to the image stream 21a. .. Therefore, it is possible to prohibit the frame belonging to the image stream 22a from being referred to when decoding the frame belonging to the image stream 21a.

また、画像出力装置を特定する情報である識別情報を、Ｉフレームｉ２のＰＴＳに重畳することにより、識別情報をハンドリングするためにデコーダー１０５の改造および修正が必要ないという利点を有する。 Further, by superimposing the identification information, which is the information for identifying the image output device, on the PTS of the I frame i2, there is an advantage that the decoder 105 does not need to be modified or modified in order to handle the identification information.

また、挿入先画像ストリーム（例えば、画像ストリーム２１ａ）をデコードして生成された画像フレームでは、ＰＴＳは維持される。このため、挿入先画像ストリームが音声ストリームを伴う場合、画像と音声の同期を維持することが可能になる。
なお、挿入元画像ストリーム（例えば、画像ストリーム２２ａ）が音声ストリームを伴う場合、音声と画像とで同期ずれが生じる可能性があるが、サムネイルを表示する場合に音声の出力を禁止することで、同期ずれの発生を回避することが可能になる。 Further, the PTS is maintained in the image frame generated by decoding the insertion destination image stream (for example, the image stream 21a). Therefore, when the insertion destination image stream is accompanied by an audio stream, it is possible to maintain synchronization between the image and the audio.
When the insertion source image stream (for example, the image stream 22a) is accompanied by an audio stream, there is a possibility that the audio and the image may be out of sync. However, by prohibiting the output of the audio when displaying the thumbnail, It is possible to avoid the occurrence of synchronization deviation.

＜変形例＞
本発明は、上述した実施形態に限定されるものではなく、例えば、次に述べるような各種の変形が可能である。また、次に述べる変形の態様の中から任意に選択された一または複数の変形を適宜組み合わせることもできる。 <Modification example>
The present invention is not limited to the above-described embodiment, and for example, various modifications as described below are possible. In addition, one or a plurality of modifications arbitrarily selected from the following modifications can be appropriately combined.

＜変形例１＞
プロジェクター１と画像出力装置２１〜２２との通信は、Miracastに限らず適宜変更可能である。例えば、Miracastでは、ソース発見にＰ２Ｐデバイスディスカバリーが用いられるが、画像出力装置（ソース）発見に、ｍＤＮＳ（multicast Domain Name System）など、Ｐ２Ｐデバイスディスカバリーとは異なる方式が用いられてもよい。また、画像出力装置に対して解像度を指定した上で画像出力装置の再生を制御するプロトコルとして、Miracastの代わりに、例えばＤＬＮＡ（登録商標）（Digital Living Network Alliance）などが用いられてもよい。 <Modification example 1>
The communication between the projector 1 and the image output devices 21 to 22 is not limited to Miracast and can be changed as appropriate. For example, in Miracast, P2P device discovery is used for source discovery, but a method different from P2P device discovery such as mDNS (multicast Domain Name System) may be used for image output device (source) discovery. Further, as a protocol for controlling the reproduction of the image output device after designating the resolution for the image output device, for example, DLNA (registered trademark) (Digital Living Network Alliance) may be used instead of Miracast.

＜変形例２＞
第２フレームレートは、第１フレームレートの２倍に限らず、第１フレームレートよりも高ければよい。この場合、第２フレームレートが高いほど、フレーム群Ｇに含まれるＩフレームｉ３の数を多くすることができる。なお、第２フレームレートが高くなっても、フレーム群Ｇに含まれるＩフレームｉ３の数が維持されてもよい。
フレーム群Ｇに含まれるＩフレームｉ３の数は、例えば「１」でもよい。図１１に示した例において、フレーム群Ｇに含まれるＩフレームｉ３の数を「１」にした場合、フレーム群Ｇに含まれるＩフレームｉ３と、Ｉフレームｉ２のコピーと、のデコードのフレームレートを第１フレームレートにしてもよい。
また、デコードタイミングにおいてフレーム群Ｇよりも時間的に前のフレームのうち、第２フレームレートでデコードされるフレームは、フレーム群Ｇの直前のフレームを含まなくてもよい。 <Modification 2>
The second frame rate is not limited to twice the first frame rate, but may be higher than the first frame rate. In this case, the higher the second frame rate, the larger the number of I frames i3 included in the frame group G can be. Even if the second frame rate becomes high, the number of I frames i3 included in the frame group G may be maintained.
The number of I frames i3 included in the frame group G may be, for example, "1". In the example shown in FIG. 11, when the number of I frames i3 included in the frame group G is set to "1", the decoding frame rate of the I frame i3 included in the frame group G and the copy of the I frame i2. May be the first frame rate.
Further, among the frames temporally earlier than the frame group G in the decoding timing, the frame decoded at the second frame rate does not have to include the frame immediately before the frame group G.

＜変形例３＞
画像ストリーム２１ａの構成は、図９に示した構成に限らず適宜変更可能である。また、画像ストリーム２２ａの構成も、図９に示した構成に限らず適宜変更可能である。 <Modification example 3>
The configuration of the image stream 21a is not limited to the configuration shown in FIG. 9, and can be appropriately changed. Further, the configuration of the image stream 22a is not limited to the configuration shown in FIG. 9, and can be appropriately changed.

＜変形例４＞
生成部１０９は、ＰＴＳの最上位の桁とは異なる特定の桁（例えば、ＰＴＳの最上位の桁を含まずにＰＴＳの最下位の桁を含む桁）に識別情報を設定してもよい。 <Modification example 4>
The generation unit 109 may set the identification information in a specific digit different from the most significant digit of the PTS (for example, a digit including the least significant digit of the PTS without including the most significant digit of the PTS).

＜変形例５＞
プロジェクター１が、３台以上の画像出力装置の各々から画像ストリームを並列的に受信する場合、生成部１０９は、複数の画像ストリームのいずれか１つを、挿入先画像ストリームとして扱い、残りの画像ストリームを挿入元画像ストリームとして扱ってもよい。
この場合、生成部１０９は、フレーム群Ｇを、挿入元画像ストリームの各々から抽出したＩフレームで生成する。そして、生成部１０９は、フレーム群Ｇを構成するＩフレームのＰＴＳに、挿入元画像ストリームに対応した識別情報を設定する。
加えて、表示制御部１０６は、デコード後の画像フレームに応じた画像を、投射画像３０のうち、その画像フレームのＰＴＳに設定された識別情報に応じた領域に書き込む。
図１２は、プロジェクター１が４台の画像出力装置の各々から画像ストリームを並列的に受信する場合の投射画像３０の一例を示した図である。
領域３３には、挿入先画像ストリームに応じた画像が表示され、領域３４〜３６には、それぞれ、挿入元画像ストリームに応じた画像が１つずつサムネイルとして表示される。 <Modification 5>
When the projector 1 receives an image stream from each of three or more image output devices in parallel, the generation unit 109 treats any one of the plurality of image streams as an insertion destination image stream, and the remaining images. The stream may be treated as an insertion source image stream.
In this case, the generation unit 109 generates the frame group G with I frames extracted from each of the insertion source image streams. Then, the generation unit 109 sets the identification information corresponding to the insertion source image stream in the PTS of the I frame constituting the frame group G.
In addition, the display control unit 106 writes the image corresponding to the decoded image frame in the area of the projected image 30 corresponding to the identification information set in the PTS of the image frame.
FIG. 12 is a diagram showing an example of a projected image 30 when the projector 1 receives image streams in parallel from each of the four image output devices.
An image corresponding to the insertion destination image stream is displayed in the area 33, and one image corresponding to the insertion source image stream is displayed as a thumbnail in each of the areas 34 to 36.

＜変形例６＞
本実施形態では、ＲＴＰでの伝送がＵＤＰを用いて行われたが、通信帯域に余裕があり、またシンクとなるプロジェクター１の処理部１０４の能力が十分な場合にはＵＤＰの代わりにＴＣＰ（Transmission Control Protocol）により伝送が行われてもよい。ただし、ＵＤＰが用いられた方が、再送制御を持たないので、リアルタイム性に優れている。 <Modification 6>
In the present embodiment, the transmission by RTP is performed by using UDP, but when there is a margin in the communication band and the capacity of the processing unit 104 of the projector 1 which is the sink is sufficient, TCP (instead of UDP) is used. Transmission may be performed by Transmission Control Protocol). However, the one in which UDP is used is superior in real-time performance because it does not have retransmission control.

＜変形例７＞
処理部１０４がプログラムを実行することによって実現される要素の全部または一部は、例えばＦＰＧＡ（field programmable gate array）またはＡＳＩＣ（Application Specific IC）等の電子回路によりハードウェアで実現されてもよいし、ソフトウェアとハードウェアとの協働により実現されてもよい。 <Modification 7>
All or part of the elements realized by the processing unit 104 executing the program may be realized by hardware by an electronic circuit such as FPGA (field programmable gate array) or ASIC (Application Specific IC). , May be realized by the collaboration of software and hardware.

＜変形例８＞
投射部１０７では、光変調装置として液晶ライトバルブが用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置として、３枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、１枚の液晶パネルを用いた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤが用いられる場合には、色分離光学系や色合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な構成は、光変調装置として採用できる。 <Modification 8>
In the projection unit 107, a liquid crystal light bulb was used as the light modulation device, but the light modulation device is not limited to the liquid crystal light bulb and can be changed as appropriate. For example, the optical modulation device may be configured by using three reflective liquid crystal panels. Further, the optical modulation device may be configured such as a method using one liquid crystal panel, a method using three digital mirror devices (DMD), a method using one digital mirror device, and the like. When only one liquid crystal panel or DMD is used as the optical modulation device, a member corresponding to a color separation optical system or a color synthesis optical system is unnecessary. In addition to the liquid crystal panel and DMD, a configuration capable of modulating the light emitted by the light source can be adopted as the optical modulation device.

＜変形例９＞
表示装置として、投射面３に画像を表示するプロジェクター１が用いられたが、表示装置はプロジェクター１に限らず適宜変更可能である。例えば、表示装置は、直視型のディスプレイ（液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ等）であってもよい。この場合、投射部１０７の代わりに、直視型の表示部が用いられる。なお、表示装置としてプロジェクター１が用いられる場合、投射面３は、表示装置に含まれない。 <Modification 9>
As the display device, the projector 1 that displays an image on the projection surface 3 is used, but the display device is not limited to the projector 1 and can be changed as appropriate. For example, the display device may be a direct-view type display (liquid crystal display, organic EL (Electro Luminescence) display, plasma display, CRT (cathode ray tube) display, etc.). In this case, a direct-view type display unit is used instead of the projection unit 107. When the projector 1 is used as the display device, the projection surface 3 is not included in the display device.

＜変形例１０＞
実施形態では、タイムスタンプ情報としてＭＰＥＧ２−ＳｙｓｔｅｍのＰＣＲ、ＰＴＳ、ＤＴＳを用いた例を説明しているが、他のタイムスタンプを用いても良い。 <Modification example 10>
In the embodiment, an example in which PCR, PTS, and DTS of MPEG2-System are used as the time stamp information is described, but other time stamps may be used.

１…プロジェクター、１０１…受取部、１０２…通信部、１０３…記憶部、１０４…処理部、１０５…デコーダー、１０６…表示制御部、１０７…投射部、１０８…制御部、１０９…生成部。
1 ... Projector, 101 ... Receiving unit, 102 ... Communication unit, 103 ... Storage unit, 104 ... Processing unit, 105 ... Decoder, 106 ... Display control unit, 107 ... Projection unit, 108 ... Control unit, 109 ... Generation unit.

Claims

A third image stream is generated using a first image stream having a first frame encoded by in-frame compression and a second image stream having a second frame encoded by in-frame compression. With the generator
A decoder that decodes the third image stream and generates an image frame in units of frames of the third image stream.
A display control unit that controls the display of an image according to the image frame is included.
In the third image stream, the second frame is inserted between the first frame and the third frame after the first frame in the first image stream, and further, before the third frame. An image stream in which a copy of the first frame is inserted.
The decoder
Decoding of one or more frames prior to the second frame in the third image stream is performed at a second frame rate higher than the first frame rate specified in the first image stream.
The first frame is within the time difference between the decoding time when the one or more frames are decoded at the first frame rate and the decoding time when the one or more frames are decoded at the second frame rate. A display device comprising decoding a copy of the image and the second frame.

A communication unit that receives the first image stream and the second image stream,
The generation unit adds identification information according to the source of the second frame to the second frame.
The image frame generated based on the second frame has the identification information and has the identification information.
The first aspect of claim 1, wherein the display control unit displays an image corresponding to an image frame having the identification information in a region different from an image corresponding to the image frame having no identification information. Display device.

The image frame generated based on the second frame has timing information indicating the display timing by the size of a multi-digit numerical value.
The display timing becomes slower as the numerical value increases.
The display device according to claim 2, wherein the generation unit sets the identification information in a specific digit among the plurality of digits.

A third image stream is generated using a first image stream having a first frame encoded by in-frame compression and a second image stream having a second frame encoded by in-frame compression. Generation step and
A decoding step of decoding the third image stream and generating an image frame in units of frames of the third image stream.
A control step for controlling the display of an image according to the image frame is included.
In the third image stream, the second frame is inserted between the first frame and the third frame after the first frame in the first image stream, and further, before the third frame. An image stream in which a copy of the first frame is inserted.
In the decoding step
Decoding of one or more frames prior to the second frame in the third image stream is performed at a second frame rate higher than the first frame rate specified in the first image stream.
The first frame is within the time difference between the decoding time when the one or more frames are decoded at the first frame rate and the decoding time when the one or more frames are decoded at the second frame rate. A method for controlling a display device, which comprises decoding a copy of a display device and the second frame.