WO2011162052A1 - 表示装置及び表示システム - Google Patents

表示装置及び表示システム Download PDF

Info

Publication number
WO2011162052A1
WO2011162052A1 PCT/JP2011/061421 JP2011061421W WO2011162052A1 WO 2011162052 A1 WO2011162052 A1 WO 2011162052A1 JP 2011061421 W JP2011061421 W JP 2011061421W WO 2011162052 A1 WO2011162052 A1 WO 2011162052A1
Authority
WO
WIPO (PCT)
Prior art keywords
packet
display
frame
data
specific packet
Prior art date
Application number
PCT/JP2011/061421
Other languages
English (en)
French (fr)
Inventor
柳舘　昌春
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP11797939.3A priority Critical patent/EP2584778B1/en
Priority to CN201180030147.XA priority patent/CN102986237B/zh
Publication of WO2011162052A1 publication Critical patent/WO2011162052A1/ja
Priority to US13/716,845 priority patent/US9055225B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Definitions

  • the present invention relates to a display device that receives transmission data continuously transmitted from an imaging device at a predetermined cycle and performs display processing.
  • the present invention also relates to a display system having an imaging device and a display device.
  • transmission time information is created using a transmission clock, packetized with image data and transmitted to the network, and on the receiving side, the reception packet is disassembled to transmit time information and encoded data.
  • the stored encoded data is read based on the transmission time information and the reference time and decoded according to the reference time, and the relative received packet is received based on the transmission time information and the reference time
  • the typical delay fluctuation time is calculated, and the reference time is adjusted according to the smoothed relative delay fluctuation time for each received packet.
  • the present invention provides a display device and a display system capable of performing display processing in synchronization with the operation of an imaging device while suppressing an increase in the amount of transmission data.
  • the display device of the present invention performs imaging processing at a predetermined cycle to create imaging data for each frame or field, packetizes the imaging data to create transmission data, and performs transmission processing for transmitting the transmission data
  • a reception unit that receives the transmission data from the device, a display processing unit that performs display processing that creates a display signal for display from the transmission data, and a measurement unit that measures the reception timing of a specific packet in the transmission data;
  • a determination unit that determines the reception state of the specific packet and determines whether to use the reception timing according to the determination result, and the determination unit determines that the reception timing is to be used.
  • a processing unit that performs phase adjustment processing of the display signal using reception timing.
  • the determination unit may determine whether the specific packet is retransmitted as the reception state of the specific packet.
  • the determination unit may determine whether or not the specific packet is retransmitted by detecting a change in a specific pattern added to the specific packet.
  • the determination unit may determine whether the specific packet is retransmitted by detecting a change in the reception interval of the specific packet.
  • the specific packet is designated in advance not to perform retransmission processing, and the determination unit may determine whether the specific packet is received as the reception state of the specific packet. .
  • At least one packet in a frame or a plurality of packets for one field in transmission data immediately after the start of operation of the imaging device or the display device is specified as the specific packet, and the specific packet is subjected to the retransmission process
  • the specification of the particular packet in the transmission data may be continued until it is received without performing.
  • the specific packet is at least one packet in a plurality of packets for one frame or one field in transmission data, and may be a packet periodically designated and transmitted by the imaging device.
  • the specific packet is at least one packet in a plurality of packets for one frame or one field in transmission data, and may be a packet designated in response to a request from a display device.
  • the specific packet may be transmitted using a scheme that is more resistant to channel degradation than other packets.
  • the display system is a display system including an imaging device and a display device, wherein the imaging device performs imaging processing at a predetermined cycle to create imaging data for each frame or field; A data processing unit that packetizes the imaging data to create transmission data; and a transmission unit that transmits the transmission data, and the display device receives the transmission data from the imaging device.
  • a display processing unit that performs display processing to create a display signal for display from the transmission data; a measurement unit that extracts a specific packet from the transmission data; and measures the reception timing of the specific packet; And a determination unit that determines whether to use the reception timing measured by the measurement unit according to the determination result and If it is determined to use the received timing by the determination unit, having a processing unit for performing phase adjustment process of the display signal using the reception timing.
  • the specific packet is extracted from the transmission data, and the phase adjustment processing of the display signal is performed using the result of measuring the reception timing of the specific packet, thereby suppressing the increase of the transmission data amount.
  • Display processing can be performed in synchronization with the operation.
  • FIG. 2 is a block diagram showing a configuration of a display clock generation circuit in the first embodiment of the present invention. It is a timing chart which shows the relation of the image pick-up phase in the initial adjustment period in a 1st embodiment of the present invention, the transmission timing, and the phase of a display signal.
  • imaging is performed at a predetermined cycle to create image data
  • transmission data composed of a plurality of packets is created from the image data
  • an imaging device that transmits transmission data by radio, and transmission data is received and displayed.
  • the case where the present invention is applied to a display system including a display device (receiving device) that generates a signal is described as an example.
  • FIG. 1 shows the configuration of a display system according to the present embodiment.
  • the display system shown in FIG. 1 is configured of an imaging device 1 and a display device 11.
  • the imaging apparatus 1 includes an imaging optical system 2, an image sensor 3 (imaging element), an image processing circuit 4, a compression circuit 5, a packet generation circuit 6, an RF circuit 7, an antenna 8, an imaging control circuit 9, and an imaging clock circuit 10. Have.
  • the imaging optical system 2 forms an optical image of a subject on the image sensor 3.
  • the image sensor 3 converts the formed optical image into imaging data and outputs the imaging data to the image processing circuit 4.
  • the image sensor 3 in the present embodiment performs progressive scanning, and outputs imaging data in frame units at a predetermined cycle.
  • the phase of the imaging data output from the image sensor 3 is referred to as an imaging phase.
  • the image pickup data is subjected to image processing by the image processing circuit 4, converted into code data by the compression circuit 5, and output to the packet generation circuit 6.
  • the packet generation circuit 6 collects code data for each predetermined data amount to generate image information. Furthermore, the packet generation circuit 6 adds known additional information including ID information, which is an identification code for identifying a packet, to the image information to generate a data packet (transmission data).
  • FIG. 2 shows the structure of the data packet.
  • the data packet according to the present embodiment indicates a packet ID indicating the type and number of the packet (indicating the position in the frame of the image information in the packet), and indicates whether or not it is a retransmitted data packet. It consists of additional information consisting of a retransmission flag and image information consisting of code data.
  • retransmission processing is performed.
  • Various retransmission methods have been proposed. For example, in the method using an ACK packet, when the display device 11 receives a data packet, the display device 11 transmits, to the imaging device 1, an ACK packet indicating that the data packet has been received. After transmitting the data packet, the imaging device 1 waits for reception of an ACK packet, and performs retransmission processing when an ACK packet can not be received within a predetermined time.
  • the imaging control circuit 9 controls the RF circuit 7 to wait for reception of an ACK packet. If an ACK packet can not be received within a predetermined time, the imaging control circuit 9 performs data packet retransmission processing. When retransmitting a data packet, the imaging control circuit 9 instructs the packet creation circuit 6 to turn on the retransmission flag. The packet creation circuit 6 sets the retransmission flag to ON in response to an instruction from the imaging control circuit 9.
  • image data for one screen is divided into a predetermined number of packets and transmitted.
  • the top packet of the frame is a specific packet used for phase adjustment in the display device 11.
  • image data for one screen is divided into four packets.
  • the operations of the image sensor 3, the image processing circuit 4, the compression circuit 5, the packet generation circuit 6, and the RF circuit 7 are controlled by the imaging control circuit 9, and the operation of the imaging control circuit 9 is the imaging clock from the imaging clock circuit 10. It is done to the standard. Therefore, the operation of the imaging device 1 is performed in synchronization with the imaging clock.
  • the above-described method from the generation of imaging data by the image sensor 3 to the packetization of the imaging data is known, and therefore, further description will be omitted.
  • the packet created by the packet creation circuit 6 is wirelessly transmitted by the RF circuit 7 via the antenna 8.
  • transmission of the leading packet of each frame is started at a predetermined phase with respect to the imaging phase.
  • the display device 11 is a device that receives transmission data and creates the display signal 27, and adjusts the phase of the display signal 27 based on the reception timing of the specific packet at the beginning of the frame that has not been subjected to retransmission processing. The details will be described below.
  • the display device 11 includes an antenna 12, an RF circuit 13, a packet separation circuit 14, an expansion circuit 15, a frame memory circuit 16, a display circuit 17, an ID detection circuit 18, an imaging phase detection circuit 19, a display phase adjustment circuit 20, and a display clock generation.
  • a circuit 21, a display control circuit 22, and an ACK packet generation circuit 36 are included.
  • the RF circuit 13 receives a radio signal via the antenna 12, demodulates the received radio signal, and outputs transmission data to the packet decomposition circuit 14.
  • the packet decomposition circuit 14 decomposes the packet constituting the transmission data into image information and additional information, and outputs the image information to the expansion circuit 15 and the additional information to the ID detection circuit 18.
  • the decompression circuit 15 decompresses the code data, converts it into display data, and outputs the display data to the frame memory circuit 16.
  • Display data is stored in the frame memory circuit 16.
  • the display data stored in the frame memory circuit 16 is appropriately read by the display circuit 17.
  • the display circuit 17 converts (display processing) display data into a display signal 27 for display and outputs it.
  • the phase of the display signal 27 is determined by the value of the display phase data 25 applied to the display circuit 17.
  • the value of the display phase data 25 is adjusted by the display phase adjustment circuit 20.
  • the frequency of the display signal 27 is controlled by the display clock 26 applied to the display circuit 17.
  • the display clock 26 is supplied from the display clock generation circuit 21.
  • the ID detection circuit 18 detects the packet ID from the additional information of the packet at the head of the frame, and outputs the packet ID to the frame memory circuit 16.
  • the number in the packet ID indicates the position in the frame of the image information in the packet.
  • the frame memory circuit 16 creates address information used to store display data from the decompression circuit 15 based on the packet ID.
  • the ID detection circuit 18 generates an ID detection timing signal 23 indicating the detection timing of the packet ID, and outputs the ID detection timing signal 23 to the imaging phase detection circuit 19 and the display phase adjustment circuit 20.
  • the ID detection timing signal 23 is a signal indicating the reception timing when the packet at the head of the frame is received without retransmission.
  • the ID detection circuit 18 recognizes from the packet ID that the packet is the packet at the head of the frame, further determines the reception state of the packet, and determines whether to create the ID detection timing signal 23 according to the determination result. . Specifically, the packet reception state in the present embodiment is whether or not the packet is retransmitted. The ID detection circuit 18 generates the ID detection timing signal 23 when it is confirmed that the packet is not a retransmitted packet by detecting that the retransmission flag of the packet at the beginning of the frame is OFF.
  • the ID detection timing signal 23 indicates the reception timing of the packet at the head of the frame, and the reception timing of the packet at the head of the frame is determined by the imaging phase of the imaging device 1. Therefore, the ID detection timing signal 23 is synchronized with the imaging phase of the imaging device 1.
  • the imaging phase detection circuit 19 creates imaging phase data 24 by holding the value of the display phase data 25 at the time when the ID detection timing signal 23 is output.
  • the imaging phase data 24 is output to the display clock generation circuit 21.
  • the ACK packet creation circuit 36 is a circuit that creates an ACK packet indicating that the data packet has been successfully received. When the data packet is normally received, the ACK packet creation circuit 36 creates an ACK packet according to the instruction of the display control circuit 22 and sends it to the RF circuit 13. The ACK packet is modulated by the RF circuit 13 and transmitted to the imaging device 1 through the antenna 12.
  • FIG. 3 shows the configuration of the display frame of this embodiment.
  • the display frame of this embodiment has 2200 horizontal pixels and 1125 vertical pixels, and the effective pixels actually displayed are 1920 effective horizontal pixels and 1080 effective vertical pixels.
  • the frame frequency is 30 Hz.
  • the display frame conforms to the HDTV video standard, and further description of the configuration of the display frame is omitted.
  • FIG. 4 shows the configuration of the display phase adjustment circuit 20.
  • the display phase adjustment circuit 20 is a circuit that generates display phase data 25 for controlling the phase of the display signal 27.
  • the ID detection timing signal 23 and the display clock 26 are input to the display phase adjustment circuit 20, and the display phase data 25 is output.
  • the display phase adjustment circuit 20 is composed of a display phase counter 29 and an initial phase register 28.
  • the display phase counter 29 is composed of a horizontal counter and a vertical counter for generating the display phase data 25 corresponding to the display frame configuration shown in FIG.
  • the horizontal counter counts up with the display clock 26, is reset to 0 when it counts 2200, and repeats the operation of counting up again after the reset.
  • the horizontal counter repeats counting from 0 to 2199.
  • the vertical counter is configured to count up every 2200 counts of the horizontal counter, and is reset to 0 when it counts 1125. After reset, the operation of counting up again is repeated. Thus, the vertical counter repeats counting from 0 to 1124.
  • the values of the horizontal counter and the vertical counter in the display phase counter 29 are output as display phase data 25.
  • the display phase data 25 is output to the display circuit 17 and the imaging phase detection circuit 19.
  • the display phase data 25 applied to the display circuit 17 is used to adjust the phase of the display signal 27.
  • the time when the values of the horizontal counter and the vertical counter become 0 is regarded as the head of the effective pixel in the display frame. That is, the image display is started when the values of the horizontal counter and the vertical counter become zero.
  • the value of the initial phase register 28 is set when the ID detection timing signal 23 is output.
  • the phase of the display phase data 25 is initially adjusted to a predetermined phase based on the output timing of the ID detection timing signal 23.
  • phase of the display phase data 25 is adjusted so that the display clock generation circuit 21 controls the frequency of the display clock 26 to maintain and synchronize with a predetermined phase with respect to the imaging phase (steady adjustment) .
  • the details of the adjustment will be described later with reference to FIGS. 6 to 9.
  • FIG. 5 shows the configuration of the display clock generation circuit 21.
  • the imaging phase data 24 is input to the display clock generation circuit 21, and the display clock 26 is output.
  • the display clock generation circuit 21 is a circuit that controls the frequency of the display clock 26 so that the imaging phase data 24 has a predetermined value.
  • the display clock generation circuit 21 includes a subtraction circuit 30, a target phase register 31, a control value calculation circuit 32, an initial frequency register 33, a selector 34, and a numerical control oscillator 35.
  • the subtraction circuit 30 subtracts the imaging phase data 24 input to the display clock generation circuit 21 from the target phase value stored in the target phase register 31.
  • the subtraction result is output to the control value calculation circuit 32.
  • the control value calculation circuit 32 controls the frequency of the display clock 26 by adjusting the frequency control value given to the numerical control type oscillator 35, and as a result, the display phase adjustment circuit 20. Is adjusted, and the imaging phase data 24 output from the imaging phase detection circuit 19 is controlled so that the subtraction result of the subtraction circuit 30 becomes zero.
  • the control loop including the imaging phase detection circuit 19, the display clock generation circuit 21, and the display phase adjustment circuit 20 synchronizes the phase of the display signal 27 with the imaging phase while maintaining a predetermined phase.
  • the details of the control loop are known as PLLs (Phase Locked Loops), and thus the description thereof is omitted.
  • the selector 34 receives the value output from the control value calculation circuit 32 and the value of the initial frequency register 33 for setting the frequency of the display clock 26 at the time of initial adjustment.
  • the selector 34 selects the output of the initial frequency register 33 in the initial adjustment period, and selects the output of the control value calculation circuit 32 in the other steady adjustment period.
  • the numerically controlled oscillator 35 is a circuit whose output frequency is varied according to the input frequency control value, and since it is known as an NCO circuit, the description will be omitted.
  • the display control circuit 22 is a circuit that controls the operation of the display device 11 and supplies control signals (not shown) to each part to control the operation of each circuit in the display device 11.
  • the initial adjustment period in the present embodiment is a period from immediately after the display device 11 starts the operation until the imaging device 1 receives the transmission data and starts the display, and the steady display period is after the display start of the transmission data Period from the end of the operation to the end of the operation.
  • FIG. 6 shows the relationship between the imaging phase, the transmission timing, and the phase of the display signal in the initial adjustment period.
  • the image sensor 3 repeats the operation of outputting the imaging data of the first frame in the period from time t1 to t5, and outputting the imaging data of the second frame with a pause period.
  • the period from time t1 to t7 is one frame period
  • time t1 is the start point of the imaging phase of the first frame
  • time t7 is the end point of the imaging phase of the first frame.
  • the image sensor 3 operates at a frame rate of 30 frames per second, and the period from time t1 to t7 is 1/30 seconds (approximately 33.3 ms).
  • the packet creation in the packet creation circuit 6 is started from the time (time t2) when the imaging data is compressed and data for one packet is prepared.
  • time t2 the time (time t2) when the imaging data is compressed and data for one packet is prepared.
  • the packet of the first frame is generated in a period of time t2-t6.
  • Time t3 is timing when transmission of the first packet of the first frame is started.
  • the communication path is degraded when transmitting the first frame and the second frame, the first packet is retransmitted in the communication of the first frame, and the communication for four packets is not completed within the predetermined period in the second frame. Is taken as an example (at time t10).
  • times t4, t9, t11 and t14 are timings for detecting the packet ID of the head packet of each frame.
  • the retransmission flag in the data packet is turned ON. Therefore, even if the retransmission packet is received, the ID detection timing signal 23 is not output from the ID detection circuit 18.
  • Retransmission processing in this embodiment is performed by a method using an ACK packet.
  • the retransmission method is well known, and thus further description is omitted.
  • time t4 in FIG. 6 is the timing at which the packet ID of the retransmitted first packet is detected
  • the ID detection timing signal 23 is not output because the received packet is a retransmission packet.
  • the ID detection timing signal 23 is not output even when the head packet of the second frame is received.
  • initial adjustment of the imaging phase detection circuit 19, the display phase adjustment circuit 20, and the display clock generation circuit 21 is not performed, and the display circuit 17 holds the display signal 27 in a non-signal state.
  • the timing at which the ID of the leading packet of the third frame is detected is time t11. Since the head packet of the third frame is detected without retransmission, the ID detection timing signal 23 is output at the timing of time t11, and the display of the third frame is started at time t13 after a predetermined time has elapsed from time t11.
  • the display phase adjustment circuit 20 is adjusted to determine the display phase data 25.
  • the ID detection timing signal 23 is input to the display phase counter 29, and the value of the initial phase register 28 is set to the display phase counter 29 at the timing of time t11.
  • the value of the initial phase register 28 is a value set so that the value of the display phase counter 29 becomes 0 at time t13 because the period from time t11 to t12 is known.
  • the time t13 is set immediately after the time t12 at which the communication in the packet communication of the third frame is terminated.
  • the termination of the communication is a process for stopping the packet communication of the frame in communication in order to prevent the retransmission time of the packet from being frequently generated and the communication time being extended when the communication path is deteriorated. That is, the completion of the packet communication of the frame may extend to just before the communication termination.
  • the display start timing (time t13) is set to the shortest time at which the received frame packet can be displayed when frame communication is completed immediately before the communication termination. That is, among the timings at which the frame packet for which communication has been completed immediately before the communication termination can be displayed, the timing at which the delay time of the display image is shortest is selected as the display start timing (time t13) in the present embodiment. .
  • the image display by the display signal 27 is started from the time of time t13.
  • the initial adjustment period ends at time t13.
  • FIG. 7 shows the relationship between the imaging phase in the steady adjustment period, the timing of transmission data, and the phase of the display signal.
  • the head packet is transmitted without being retransmitted in the Nth frame, the head packet is retransmitted once in the (N + 1) th frame, and retransmission frequently occurs in the (N + 2) th frame, and this is done at a predetermined time (time t31). It shows the situation where transmission is discontinued.
  • the image sensor 3 repeatedly outputs the imaging data of the Nth frame in the period from time t21 to t24, and outputs imaging data of the (N + 1) th frame with a pause period. ing.
  • the period from time t21 to t26 is one frame period
  • time t21 is the start point of the imaging phase
  • time t26 is the end point of the imaging phase.
  • the packet creation in the packet creation circuit 6 is started from the time (time t22) when the imaging data is compressed and data for one packet is prepared.
  • times t23, t30, t31 and t33 are timings for detecting the packet ID of the leading packet of each frame.
  • Time t23 is timing when the display device 11 detects the packet ID of the first packet of the Nth frame.
  • a time t28 is a timing at which the transmission is aborted in the communication of the packet of the Nth frame.
  • Time t29 is a phase at which display of the data of the Nth frame is started in the display signal 27. As illustrated, time t29 is set immediately after time t28.
  • the display phase of the display signal 27 in the steady adjustment period is such that the delay time of the display image is the shortest among the phases capable of displaying the frame packet for which communication was completed immediately before the communication was discontinued. It has been adjusted.
  • the display phase in the steady adjustment period is determined by the setting value of the target phase register 31 shown in FIG.
  • the setting value of the target phase register 31 stores a value to be taken by the display phase data 25 at the timing of time t23 when the value of the display phase data 25 becomes 0 at the time of time t29.
  • the setting value of the target phase register 31 is subtracted from the value of the imaging phase data 24 so that the calculation result becomes zero.
  • the frequency is controlled. Thereby, the phase of the display signal 27 is adjusted such that the value of the display phase data 25 becomes zero at time t29.
  • the detection timing (time t30, t31) of the packet ID of the head packet of each frame is adjustment of the display phase. Not used
  • the display clock generation circuit 21 holds the value of the last adjustment time (time t23) for the frequency of the display clock 26 in the period that can not be adjusted (period of time t30 to t33).
  • the operation relating to the (N + 3) th frame will be described.
  • the detection timing (t33) of the packet ID of the head packet is used to adjust the display phase.
  • the operation in this case is the same as the operation in the Nth frame, so the description will be omitted.
  • FIG. 8 shows the phase adjustment operation in the display device 11.
  • the phase adjustment operation from the start of the operation in the display device 11 will be described with reference to FIG.
  • the operation mode of the initial adjustment period of the display device 11 is the initial adjustment mode
  • the operation mode of the steady adjustment period is the steady adjustment mode. First, the initial adjustment mode will be described.
  • the adjustment mode is the initial phase adjustment mode (S1).
  • the ID detection circuit 18 waits for detection of the packet ID of the specific packet (the packet at the head of the frame in the present embodiment) (S2), and when detecting the packet ID of the specific packet, checks the retransmission flag (S3). If the retransmission flag is set (turned on), it waits for the next frame. In this case, the ID detection timing signal 23 is not output from the ID detection circuit 18.
  • the ID detection timing signal 23 is output from the ID detection circuit 18, and the imaging phase detection circuit 19 calculates the imaging phase based on the ID detection timing signal 23 (S4) ).
  • the display control circuit 22 checks the adjustment mode (S5), and controls the display phase adjustment circuit 20 when the adjustment mode is the initial adjustment mode.
  • the display phase adjustment circuit 20 performs display phase initial adjustment (S6) by setting the value of the initial phase register 28 in the display phase counter 29.
  • the display control circuit 22 sets the adjustment mode to the steady adjustment mode (S7), and ends the initial adjustment mode.
  • the display clock generation circuit 21 adjusts the frequency of the display clock 26 based on the imaging phase data 24 from the imaging phase detection circuit 19 (S8).
  • the steady adjustment mode continues until the operation of the display device 11 ends or the long-term interruption of the transmission data from the imaging device 1 occurs.
  • the detection of the long-term interruption of the transmission data from the imaging device 1 is performed by the display control circuit 22 measuring the ID detection timing signal 23.
  • the description will be omitted.
  • FIG. 9 is an example of a schematic diagram showing the change in the difference between the actual display phase and the optimum display phase (hereinafter referred to as display phase error) immediately after the start of operation.
  • FIG. 9 shows phase changes when the operation is performed according to the timing chart of FIG. Times t1 to t13 in FIG. 9 correspond to times t1 to t13 in FIG. Times t14 to t21 in FIG. 9 indicate times after time t13 in FIG.
  • phase difference which is not adjusted at time t1 is shown as p1.
  • phase difference at time t11 immediately before adjustment is shown as p11 by adding a phase difference generated due to the frequency difference between the imaging clock of the period from time t1 to t11 and the display clock 26 to p1.
  • the setting of the display phase adjustment circuit 20 is performed, and the initial adjustment period ends.
  • the phase difference is indicated as p11b due to the adjustment error.
  • the frequency of the display clock 26 from the display clock generation circuit 21 is controlled so that the display phase error becomes zero, and the display phase error converges to zero as shown in FIG. 9. Become.
  • the retransmission flag is set to ON at the time of retransmission.
  • changing the packet ID at retransmission and adding an ID indicating retransmission is also equivalent to the retransmission flag. It is possible to do the processing.
  • the specific packet is extracted from the transmission data, and the phase adjustment processing of the display signal is performed using the result of measuring the reception timing of the specific packet, thereby synchronizing with the operation of the imaging device.
  • Display processing can be performed.
  • a specific packet it is not necessary to add time information that causes an increase in the amount of data, and it is possible to suppress an increase in the amount of transmission data.
  • the reception timing of the packet identification ID when measuring the reception timing of a specific packet, it is not necessary to change the conventional packet configuration, and the reception timing is measured without increasing the amount of transmission information. be able to.
  • detection of retransmission is simplified by detecting a change in the specific pattern (corresponding to the case of adding an ID indicating retransmission instead of the retransmission flag) and determining whether the specific packet is being retransmitted. be able to.
  • FIG. 10 shows the structure of a data packet.
  • the data packet according to the present embodiment includes additional information including a packet ID indicating the type and number of the packet (indicating the position in the frame of the image information in the packet), and the image information including code data. It is configured. That is, unlike the first embodiment, the retransmission flag is not arranged in the additional information.
  • the reception interval of a specific packet prepared for each frame is measured between the previous frame and the current frame, and when the reception interval is within a predetermined range, the reception timing of the specific packet of the current frame is used.
  • the content is to adjust the phase of the display signal.
  • the waiting time until the start of retransmission changes so that the reception interval is not the same as the reception interval in the case where retransmission does not occur.
  • WT1 WT2
  • the ID detection circuit 18 recognizes that the packet is the packet at the head of the frame from the packet ID in the additional information, and confirms the presence / absence of retransmission by turning on / off the retransmission flag. Was created. Unlike the first embodiment, the ID detection circuit 18 of the present embodiment is based on the point when it is confirmed that the packet is the packet at the head of the frame according to the packet ID in the additional information. It has an interval measurement counter that measures the elapsed time up to and when the elapsed time is within a predetermined range, the ID detection timing signal 23 is turned ON.
  • FIG. 11 shows the relationship between the imaging phase in the initial adjustment period, the timing of transmission data, and the phase of the display signal.
  • the initial adjustment period will be described as an example using FIG.
  • Time t1 is timing when transmission of the first packet of the first frame is started. Similar to the first embodiment, in the present embodiment, the communication channel is deteriorated at the time of transmission of the first frame and the second frame, the first packet is retransmitted in the communication of the first frame, and within a predetermined period in the communication of the second frame. For example, the case where the communication is discontinued because the communication for four packets is not completed is performed.
  • the imaging apparatus 1 of this embodiment starts retransmission from time t2 after waiting for the retransmission waiting time WT1 in the first frame, and starts retransmission from time t4 after waiting for the retransmission waiting time WT2 in the second frame.
  • the imaging device 1 may control the waiting time until the retransmission start by controlling the interval at which the display device 11 transmits the ACK packet.
  • times t2, t4, t5 and t6 are timings for detecting the packet ID of the leading packet of each frame. Since the reception interval Ta of the first packet of the first and second frames is out of the predetermined range (it is longer than the predetermined range), the ID detection timing signal 23 is not turned ON at time t4. Further, since the reception interval Tb of the first packet of the second and third frames is out of the predetermined range (too short than the predetermined range), the ID detection timing signal 23 is not turned ON at time t5. For this reason, the initial adjustment period will continue.
  • the ID detection timing signal 23 is turned ON at time t6. As a result, the initial phase adjustment of the display signal 27 is performed, and the initial adjustment period ends.
  • FIG. 12 shows the phase adjustment operation in the display device 11.
  • the phase adjustment operation from the start of the operation of the display device 11 will be described with reference to FIG.
  • the confirmation (S3) of the retransmission flag in the first embodiment the confirmation (S11) of the reception interval of the packet at the head of the frame is performed.
  • the ID detection circuit 18 stores the count value of the counter in the buffer when the ID detection timing signal 23 is output in each frame, and then resets the count value to zero.
  • the ID detection circuit 18 determines the reception interval based on the count value (S11).
  • the ID detection timing signal 23 is not output from the ID detection circuit 18.
  • the ID detection timing signal 23 is output from the ID detection circuit 18.
  • the change in the reception interval of the specific packet is detected to determine whether the specific packet is retransmitted, thereby eliminating the need for information for retransmission detection.
  • the amount of transmission data can be reduced.
  • FIG. 13 The configuration of the display system in the present embodiment is the same as that of the first embodiment, so the description will be omitted.
  • This embodiment uses a communication method in which transmission of a frame including a specific packet is stopped when transmission of a specific packet fails, and retransmission of transmission is resumed from the beginning of the next frame without performing retransmission processing of the specific packet. doing.
  • the head packet In the initial adjustment period immediately after the start of communication, the head packet is specified as a specific packet until the initial adjustment ends, and in the steady adjustment period, a method is used in which the head packet of a frame of a predetermined cycle is specified as a specific packet. doing.
  • the cycle of the specific packet is selected according to the characteristics of the clock circuit used in the imaging device 1 and the display device 11.
  • a specific packet is frequently sent to finely adjust the phase. For example, all leading packets of each frame may be set as the specific packet. In this case, there is an advantage that the accuracy of the phase adjustment is increased, but there is also a disadvantage that when the communication environment is degraded, the probability that the specific packet will be communication failure is increased. If the clock frequency difference is small and the frequency stability is high, the communication cycle of the specific packet will be set long.
  • the present embodiment is different from the first and second embodiments in that the reception timing of the specific packet can be unconditionally used for phase adjustment because the specific packet is communicated without performing retransmission processing. Also, the specific packet is created with higher redundancy than other packets, and it is devised to make it difficult for communication failure to occur even when the communication path is deteriorated.
  • the ID detection circuit 18 turns the ID detection timing signal 23 ON based on the point in time when it is confirmed that the packet is a specific packet based on the packet ID in the additional information. Except for the above, this embodiment is the same as the first embodiment.
  • the communication channel is degraded at the time of transmission of the first frame and the second frame, the first packet is retransmitted in the communication of the first frame, and the second packet is within the predetermined period.
  • the case where the communication is discontinued without the communication for 4 packets being completed is taken as an example.
  • Time t1 is timing when transmission of the head packet of the first frame is started
  • time t2 is timing when transmission of the head packet of the second frame is started. Since the communication environment has deteriorated at the time of communication of the first packet in both the first frame and the second frame and the communication of the first packet has become ill, transmission of each frame is interrupted.
  • times t3 and t5 are timings at which the packet ID of the leading packet of each frame is detected. Since it is not necessary to notify the presence or absence of retransmission, the imaging device 1 in the present embodiment transmits the data packet having the configuration without the retransmission flag shown in FIG. 10 of the second embodiment. Further, in the transmission of a frame including a specific packet, the communication of the frame is ended when the communication of the specific packet is broken.
  • the time t3 is the timing at which the transmission of the leading packet of the third frame is started, and the ID detection timing signal 23 is turned on at the time t3.
  • initial adjustment of the display signal 27 is performed, and adjustment is performed such that the leading phase of the display signal 27 comes at time t4, as in the first embodiment, and the initial adjustment period ends.
  • the steady adjustment period starts, and, for example, when the head packet of the fourth frame is designated as the specific packet, time t5 which is the detection timing of the head packet is used for phase adjustment.
  • FIG. 14 is the same as the flowchart of the first embodiment (FIG. 8) except that S3 (retransmission determination based on detection of retransmission flag) is replaced with S21.
  • S21 is determination of a specific packet, and the ID detection circuit 18 determines whether or not the received packet is a specified specific packet. For example, in the initial adjustment period, the leading packet of the frame is unconditionally determined as the specific packet, and in the steady adjustment period, the determination is made based on the rule that the leading packet becomes the specific packet every 10 frames.
  • the received packet is not a specific packet, it waits for the next frame. In this case, the ID detection timing signal 23 is not output from the ID detection circuit 18.
  • an ID detection timing signal 23 is output from the ID detection circuit 18.
  • the second embodiment is substantially the same as the first embodiment.
  • phase adjustment is performed only from the reception timing of the specific packet received immediately after the start of the operation, the procedure of the phase adjustment immediately after the start of the operation is simplified, and the circuit size can be reduced. Specifically, in the operation shown in FIG. 14, since the determination in S21 is performed using the packet ID detected in S2, the process is simplified as compared with S3 in FIG. 8 and S11 in FIG. .
  • the procedure of the phase adjustment is simplified, and the circuit size can be reduced.
  • the retransmission process of the specific packet is not performed, and transmission of a frame including the specific packet is stopped when communication of the specific packet fails, and the start of the next frame Use the communication method to resume from.
  • the present embodiment differs from the third embodiment in that the display device 11 designates a specific packet. Further, by transmitting the specific packet of the present embodiment at a lower communication speed than the other packets, it is devised that communication failure does not easily occur even when the communication path is deteriorated.
  • the display device 11 transmits the specific packet to the imaging device 1 during the reception pause period until the reception of the last packet of the previous frame is finished and the reception of the first packet of the next frame is started. Request to send.
  • the imaging device 1 transmits the head packet of the next frame as the specific packet. Since the retransmission process is not performed for the specific packet, the imaging device 1 stops transmission of the frame including the specific packet when the communication fails, and restarts from the beginning of the next frame.
  • FIG. 15 shows the configuration of the display device 37 in the present embodiment.
  • the ACK packet generation circuit 36 of the display device 11 shown in FIG. 1 is replaced with a packet generation circuit 38.
  • the packet creation circuit 38 instructs the display control circuit 39 to create a phase adjustment execution instruction packet that requests the imaging device 1 to transmit a specific packet. Do according to.
  • the flowchart shown in FIG. 16 is a process for requesting a specific packet without S21 (determination of a specific packet) as compared to the flowchart of the third embodiment (FIG. 14), S31 and S32 are S1 and S2. And the point put between S2 is different.
  • S31 is a determination regarding a request for a specific packet for performing phase adjustment, and the display control circuit 39 determines various states of the display device 11 (eg, initial adjustment is not completed, phase adjustment interval is open, frequency control It is determined whether or not it is required to insert a specific packet at the time of transmission of the next frame based on the condition that the change is large and the display phase has not converged yet, etc.).
  • states of the display device 11 eg, initial adjustment is not completed, phase adjustment interval is open, frequency control It is determined whether or not it is required to insert a specific packet at the time of transmission of the next frame based on the condition that the change is large and the display phase has not converged yet, etc.
  • the packet creation circuit 38 executes transmission processing of a phase adjustment execution instruction packet according to the instruction of the display control circuit 39 (S32).
  • the imaging device 1 After the imaging device 1 receives the phase adjustment execution instruction packet and starts communication of data for one frame including the specific packet, when communication of the specific packet included in the data is out of order, communication of the frame is discontinued. . The imaging device 1 determines that communication of the specific packet has not been performed when no ACK packet is returned within a predetermined time after transmission of the specific packet.
  • the imaging device 1 When transmission of a specific packet is requested, the imaging device 1 repeats transmission of a frame including the specific packet until transmission of the specific packet is successful. If the communication fails, the imaging device 1 transmits a specific packet even in the next frame.
  • the determination in S31 is performed based on whether or not the phase adjustment of the display device 11 is necessary at that time.
  • S2 is waiting for detection of a packet ID, as in the first embodiment.
  • the ID detection circuit 18 determines whether the received packet is a specific packet (S33).
  • the present process is a process necessary for setting a final packet other than the head packet, for example, the final packet. For example, if the specific packet is the second packet in the frame, S32 is executed during the reception pause period, so the packet ID of the frame start packet is detected in S2 before the specific packet is received. In this case, since the head packet is not a specific packet, it is necessary to perform processing so as not to execute phase adjustment processing in S33.
  • the display device 37 can obtain information for phase adjustment at a desired timing.
  • the subsequent processing is the same as that of the first embodiment, and thus the description thereof is omitted.
  • the imaging cycle is used as a frame in the above, it may be used as a field.
  • the present invention can be widely applied to a display device that receives data from an imaging device and performs display processing, and a display system including the imaging device and the display device.
  • Imaging device 2 imaging optical system 3 image sensor (imaging unit) 4 image processing circuit 5 compression circuit 6 packet generation circuit (data processing unit) 7 RF circuit (transmitter) 8 Antenna 9 Imaging Control Circuit 10 Imaging Clock Circuit 11 Display Device 12 Antenna 13 RF Circuit (Receiver) 14 Packet Decomposition Circuit 15 Expansion Circuit 16 Frame Memory Circuit 17 Display Circuit (Display Processing Unit) 18 ID Detection Circuit (Measurement Unit, Determination Unit) 19 Imaging phase detection circuit 20 Display phase adjustment circuit (processing unit) 21 Display Clock Generation Circuit 22 Display Control Circuit 23 ID Detection Timing 24 Imaging Phase Data 25 Display Phase Data 26 Display Clock 27 Display Signal 28 Initial Phase Register 29 Display Phase Counter 30 Subtraction Circuit 31 Target Phase Register 32 Control Value Arithmetic Circuit 33 Initial Frequency Register 34 Selector 35 Numerically Controlled Oscillator (NCO) 36 ACK packet generation circuit 37 display device 38 packet generation circuit 39 display control circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　所定周期で撮像処理を行ってフレーム若しくはフィールド毎の撮像データを作成し、前記撮像データをパケット化して送信データを作成し、前記送信データを送信する送信処理を行う撮像装置から前記送信データを受信する受信部と、前記送信データから表示用の表示信号を作成する表示処理を行う表示処理部と、前記送信データ中の特定パケットの受信タイミングを計測する計測部と、前記特定パケットの受信状態を判定すると共に、判定結果に応じて、前記受信タイミングを使用するか否かを判定する判定部と、前記判定部によって前記受信タイミングを使用すると判定された場合に、前記受信タイミングを用いて前記表示信号の位相調整処理を行う処理部と、を有する表示装置。

Description

表示装置及び表示システム
　本発明は、撮像装置から所定周期で連続的に送信された送信データを受信し、表示処理を行う表示装置に関する。又、本発明は、撮像装置及び表示装置を有する表示システムに関する。
　本願は、２０１０年６月２１日に、日本に出願された特願２０１０－１４０５０１号に基づき優先権を主張し、その内容をここに援用する。
　画像データをデータパケットとして無線伝送する場合、送信側と受信側のクロックが異なる為、受信側でオーバーフローやアンダーフローが発生してしまう。その対策として、特許文献１では、送信クロックを用いて発信時間情報を作成し、画像データと共にパケット化してネットワークに送信し、受信側では、受信パケットを分解して発信時間情報と符号化データを抽出して揺らぎ吸収バッファに記憶させる一方、記憶させた符号化データを発信時間情報と基準時刻を元に読み出し基準時刻に従って復号化し、更に発信時間情報と基準時刻を元に受信パケットが受けた相対的な遅延揺らぎ時間を算出し、各受信パケット各々に対する相対的な遅延ゆらぎ時間を平滑化した値に応じて基準時刻の調整を行っている。
特開２００４－１０４７０１号公報
　しかし、上記の従来技術では、パケット内にゆらぎ時間測定の為の時間情報を挿入し、挿入した時間情報を基にゆらぎ時間を算出する為、パケットの転送が不定期に行われる場合や、パケット転送が大規模なネットワークを介して行われる場合等、個々のパケットの到着時間が大きく変動する場合に有効である反面、時間情報を付加することで、時間情報分の送信データ量の増加が発生してしまう。
　本発明は、送信データ量の増加を抑えつつ、撮像装置の動作に同期して表示処理を行うことができる表示装置及び表示システムを提供する。
　本発明の表示装置は、所定周期で撮像処理を行ってフレーム若しくはフィールド毎の撮像データを作成し、前記撮像データをパケット化して送信データを作成し、前記送信データを送信する送信処理を行う撮像装置から前記送信データを受信する受信部と、前記送信データから表示用の表示信号を作成する表示処理を行う表示処理部と、前記送信データ中の特定パケットの受信タイミングを計測する計測部と、前記特定パケットの受信状態を判定すると共に、判定結果に応じて、前記受信タイミングを使用するか否かを判定する判定部と、前記判定部によって前記受信タイミングを使用すると判定された場合に、前記受信タイミングを用いて前記表示信号の位相調整処理を行う処理部と、を有する。
　好ましくは、前記判定部は、前記特定パケットの受信状態として、前記特定パケットが再送されているか否かを判定してもよい。
　好ましくは、前記判定部は、前記特定パケットに付加されている特定パターンの変化を検出することにより、前記特定パケットが再送されているか否かを判定してもよい。
　好ましくは、前記判定部は、前記特定パケットの受信間隔の変化を検出することにより、前記特定パケットが再送されているか否かを判定してもよい。
　好ましくは、前記特定パケットは、再送処理を行わないことが予め指定されており、前記判定部は、前記特定パケットの受信状態として、前記特定パケットが受信されているか否かを判定してもよい。
　好ましくは、前記撮像装置若しくは表示装置の動作開始直後の送信データ中の１フレーム若しくは１フィールド分の複数のパケット中の少なくとも１パケットが前記特定パケットとして指定されると共に、前記特定パケットが前記再送処理を行うことなく受信されるまで、送信データ中の前記特定パケットの指定が継続されてもよい。
　好ましくは、前記特定パケットは、送信データ中の１フレーム若しくは１フィールド分の複数のパケット中の少なくとも１パケットであって、前記撮像装置が周期的に指定して送信するパケットであってもよい。
　好ましくは、前記特定パケットは、送信データ中の１フレーム若しくは１フィールド分の複数のパケット中の少なくとも１パケットであって、表示装置からの要求に応じて指定されるパケットであってもよい。
　好ましくは、前記特定パケットは、他のパケットよりも伝送路の劣化に強い方式を用いて送信されてもよい。
　又、本発明の表示システムは、撮像装置と表示装置とを有する表示システムであって、前記撮像装置は、所定周期で撮像処理を行ってフレーム若しくはフィールド毎の撮像データを作成する撮像部と、前記撮像データをパケット化して送信データを作成するデータ処理部と、前記送信データを送信する送信部と、を有し、前記表示装置は、前記撮像装置から前記送信データを受信する受信部と、前記送信データから表示用の表示信号を作成する表示処理を行う表示処理部と、前記送信データから特定パケットを抽出し、前記特定パケットの受信タイミングを計測する計測部と、前記特定パケットの受信状態を判定すると共に、判定結果に応じて、前記計測部によって計測された前記受信タイミングを使用するか否かを判定する判定部と、前記判定部によって前記受信タイミングを使用すると判定された場合に、前記受信タイミングを用いて前記表示信号の位相調整処理を行う処理部と、を有する。
　本発明によれば、送信データから特定パケットを抽出し、特定パケットの受信タイミングを計測した結果を用いて表示信号の位相調整処理を行うことによって、送信データ量の増加を抑えつつ、撮像装置の動作に同期して表示処理を行うことができる。
本発明の第1の実施形態による表示システムの構成を示すブロック図である。 本発明の第1の実施形態におけるデータパケットの構成を示す構成図である。 本発明の第1の実施形態の表示フレームの構成を示す構成図である。 本発明の第1の実施形態における表示位相調整回路の構成を示すブロック図である。 本発明の第1の実施形態における表示クロック生成回路の構成を示すブロック図である。 本発明の第1の実施形態における初期調整期間での撮像位相と送信タイミング及び表示信号の位相の関係を示すタイミングチャートである。 本発明の第1の実施形態における定常調整期間での撮像位相と送信データのタイミング及び表示信号の位相の関係を示すタイミングチャートである。 本発明の第1の実施形態における位相調整動作を示すフローチャートである。 本発明の第1の実施形態における実際の表示位相と最適な表示位相との差を示す模式図である。 本発明の第2の実施形態におけるデータパケットの構成を示す構成図である。 本発明の第2の実施形態における初期調整期間での撮像位相と送信タイミング及び表示信号の位相の関係を示すタイミングチャートである。 本発明の第2の実施形態における位相調整動作を示すフローチャートである。 本発明の第3の実施形態における初期調整期間での撮像位相と送信タイミング及び表示信号の位相の関係を示すタイミングチャートである。 本発明の第3の実施形態における位相調整動作を示すフローチャートである。 本発明の第4の実施形態による表示システムの構成を示すブロック図である。 本発明の第4の実施形態における位相調整動作を示すフローチャートである。
　以下、図面を参照し、本発明の実施形態を説明する。
　（第1の実施形態）
　まず、図1～図9を用いて、本発明の第1の実施形態を説明する。本実施形態は、所定周期で撮像を行って画像データを作成し、画像データから、複数のパケットから成る送信データを作成し、送信データを無線送信する撮像装置と、送信データを受信して表示信号を作成する表示装置（受信装置）とから成る表示システムに対して本発明を適用した場合を例に説明を行っている。
　図1は、本実施形態による表示システムの構成を示している。図1に示す表示システムは、撮像装置1及び表示装置11で構成されている。撮像装置1は、撮像光学系2、画像センサ3（撮像素子）、画像処理回路4、圧縮回路5、パケット作成回路6、RF回路7、アンテナ8、撮像制御回路9、及び撮像クロック回路10を有する。
　撮像光学系2は被写体の光学像を画像センサ3上に結像する。画像センサ3は、結像された光学像を撮像データに変換して画像処理回路4に出力する。本実施形態での画像センサ3はプログレッシブスキャンを行っており、所定周期でフレーム単位の撮像データを出力している。以降の説明では、画像センサ3から出力される撮像データの位相を撮像位相と記す。
　撮像データは、画像処理回路4によって画像処理された後、圧縮回路5によって符号データに変換され、パケット作成回路6に出力される。パケット作成回路6は、所定のデータ量毎に符号データをまとめて画像情報を作成する。更に、パケット作成回路6は、パケットを識別する為の識別符号である ID情報を含んだ公知の付加情報を画像情報に加えてデータパケット（送信データ）を生成する。
　図2はデータパケットの構成を示している。図示するように、本実施形態のデータパケットは、パケットの種別とナンバー（パケット中の画像情報のフレーム内の位置を示す）を示すパケットID、及び再送されたデータパケットであるか否かを示す再送フラグから成る付加情報と、符号データから成る画像情報とにより構成されている。
　通信環境が劣化し、表示装置11がデータパケットを受信できなかった場合、再送処理が行われる。再送処理の方法は、各種提案されている。例えばACKパケットを用いる方法では、表示装置11は、データパケットを受信すると、受信したことを示すACKパケットを撮像装置1に送信する。撮像装置1はデータパケットの送信後、ACKパケットの受信待ちを行い、所定時間内にACKパケットが受信できなかった場合には再送処理を行う。
　再送処理では、撮像制御回路9がRF回路7を制御してACKパケットの受信待ちを行う。所定時間内にACKパケットを受信できない場合、撮像制御回路9はデータパケットの再送処理を行う。データパケットを再送する場合、撮像制御回路9は、パケット作成回路6に対して、再送フラグをONにする指示を行う。パケット作成回路6は、撮像制御回路9の指示に応じて、再送フラグをONに設定する。
　上記過程を経て、1画面分の画像データは、所定個数のパケットに分割されて送信される。本実施形態では、フレームの先頭パケットが、表示装置11で位相調整に使用する特定パケットであるとして説明を行う。尚、本実施形態では、1画面分の画像データが4パケットに分割されるものとして説明を行う。
　画像センサ3、画像処理回路4、圧縮回路5、パケット作成回路6、RF回路7の動作は撮像制御回路9により制御されており、撮像制御回路9の動作は撮像クロック回路10からの撮像クロックを基準に行われている。その為、撮像装置1の動作は、撮像クロックに同期して行われることになる。上述した、画像センサ3で撮像データを生成してから撮像データをパケット化するまでの手法は公知であるので、これ以上の説明は省略する。
　パケット作成回路6で作成されたパケットは、RF回路7によりアンテナ8を介して無線送信される。本実施形態では、各フレームの先頭パケットの送信が、撮像位相に対して所定の位相で開始される。
　表示装置11は、送信データを受信し、表示信号27を作成する装置であって、再送処理を行っていないフレーム先頭の特定パケットの受信タイミングに基づいて表示信号27の位相を調整する。以下に、その詳細を説明する。
　表示装置11は、アンテナ12、RF回路13、パケット分解回路14、伸長回路15、フレームメモリ回路16、表示回路17、ID検出回路18、撮像位相検出回路19、表示位相調整回路20、表示クロック生成回路21、表示制御回路22、及びACKパケット作成回路36を有する。
　RF回路13は、アンテナ12を介して無線信号を受信し、受信した無線信号を復調し、送信データをパケット分解回路14に出力する。パケット分解回路14は、送信データを構成するパケットを画像情報と付加情報に分解し、画像情報を伸長回路15に、付加情報を ID検出回路18に出力する。
　伸長回路15は、符号データを伸長し、表示データに変換してフレームメモリ回路16に出力する。表示データはフレームメモリ回路16に格納される。フレームメモリ回路16に格納された表示データは表示回路17により適宜読み出される。表示回路17は、表示データを表示用の表示信号27に変換（表示処理）して出力する。表示信号27の位相は、表示回路17に加えられる表示位相データ25の値により決定される。表示位相データ25の値は、表示位相調整回路20によって調整される。又、表示信号27の周波数は、表示回路17に加えられる表示クロック26により制御される。表示クロック26は表示クロック生成回路21から供給される。
　ID検出回路18は、フレーム先頭のパケットの付加情報からパケットIDを検出し、フレームメモリ回路16に出力する。パケットID中のナンバーは、パケット中の画像情報のフレーム内の位置を示している。フレームメモリ回路16は、パケットIDに基づいて、伸長回路15からの表示データを格納する為に使用するアドレス情報を作成する。
　更に、ID検出回路18は、パケットIDの検出タイミングを示すID検出タイミング信号23を作成し、撮像位相検出回路19及び表示位相調整回路20に出力する。ID検出タイミング信号23は、フレーム先頭のパケットを再送無しで受信した場合の受信タイミングを示す信号である。
　ID検出回路18は、パケットIDによりフレーム先頭のパケットであることを認識し、更にそのパケットの受信状態を判定し、判定結果に応じて、ID検出タイミング信号23を作成するか否かを判定する。本実施形態におけるパケットの受信状態とは、具体的には、パケットが再送されているか否かということである。ID検出回路18は、フレーム先頭のパケットの再送フラグがOFFであることを検出することにより、再送されたパケットではないことを確認した場合にID検出タイミング信号23を作成する。
　前述したように、ID検出タイミング信号23は、フレーム先頭のパケットの受信タイミングを示しており、フレーム先頭のパケットの受信タイミングは撮像装置1の撮像位相により決定されている。その為、ID検出タイミング信号23は、撮像装置1の撮像位相と同期していることになる。
　撮像位相検出回路19は、ID検出タイミング信号23が出力された時点での表示位相データ25の値を保持することで、撮像位相データ24を作成する。撮像位相データ24は、表示クロック生成回路21に出力される。
　ACKパケット作成回路36は、データパケットが正常に受信されたことを示すACKパケットを作成する回路である。データパケットが正常に受信された場合、ACKパケット作成回路36は表示制御回路22の指示によりACKパケットを作成し、RF回路13に送る。ACKパケットは、RF回路13により変調され、アンテナ12を通して撮像装置1に送信される。
　図3は、本実施形態の表示フレームの構成を示している。本実施形態の表示フレームは、水平画素数が2200、垂直画素数が1125であり、実際に表示される有効画素は有効水平画素が1920、有効垂直画素が1080である。フレーム周波数は30Hzである。表示フレームはHDTV映像規格に準拠しており、表示フレームの構成に関するこれ以上の説明は省略する。
　図4は、表示位相調整回路20の構成を示している。表示位相調整回路20は、表示信号27の位相を制御する表示位相データ25を作成する回路である。表示位相調整回路20には、ID検出タイミング信号23と表示クロック26が入力され、表示位相データ25が出力される。図示されているように、表示位相調整回路20は、表示位相カウンタ29と初期位相レジスタ28で構成されている。
　表示位相カウンタ29は、図3に示した表示フレーム構成に対応した表示位相データ25を生成する為の水平カウンタと垂直カウンタで構成されている。水平カウンタは、表示クロック26によりカウントアップし、2200カウントすると0にリセットされ、リセット後は、再度カウントアップするという動作を繰り返す。これにより、水平カウンタは0～2199のカウントを繰り返す。垂直カウンタは、水平カウンタの2200カウント毎にカウントアップするように構成されており、1125カウントすると0にリセットされ、リセット後は、再度カウントアップするという動作を繰り返す。これにより、垂直カウンタは0～1124のカウントを繰り返す。
　これらのカウンタにより、2200×1125のカウントを行うことになる。表示クロック26の周波数は74.25MHzなので、フレーム周波数は74.25MHz/(2200×1125) =30Hzとなる。
　表示位相カウンタ29中の水平カウンタ及び垂直カウンタの値が表示位相データ25として出力される。表示位相データ25は、表示回路17と撮像位相検出回路19に出力される。表示回路17に加えられた表示位相データ25は、表示信号27の位相調整に使用される。
　本実施形態では、図3に示したように、水平カウンタ及び垂直カウンタの値が0になった時点を、表示フレーム中の有効画素の先頭としている。すなわち、水平カウンタ及び垂直カウンタの値が0になった時点から画像表示が開始される。
　初期調整時の表示位相カウンタ29は、ID検出タイミング信号23が出力された時点で初期位相レジスタ28の値がセットされる。その結果、表示位相データ25の位相は、ID検出タイミング信号23の出力タイミングを基準に所定の位相に初期調整されることになる。
　その後、表示位相データ25の位相は、表示クロック生成回路21が表示クロック26の周波数を制御することにより、撮像位相に対して所定の位相を保持して同期するように調整される（定常調整）。調整の詳細については、後に図6～図9を用いて説明を行う。
　図5は、表示クロック生成回路21の構成を示している。表示クロック生成回路21には、撮像位相データ24が入力され、表示クロック26が出力される。表示クロック生成回路21は、撮像位相データ24が所定値となるように表示クロック26の周波数を制御する回路である。表示クロック生成回路21は、減算回路30、目標位相レジスタ31、制御値演算回路32、初期周波数レジスタ33、セレクタ34、及び数値制御型発振器35を有する。
　減算回路30は、表示クロック生成回路21に入力された撮像位相データ24と、目標位相レジスタ31に格納されている目標位相値との減算を行う。減算結果は制御値演算回路32に出力される。上記初期調整を終了した定常調整期間では、制御値演算回路32は、数値制御型発振器35に与える周波数制御値を調整することで表示クロック26の周波数を制御し、その結果、表示位相調整回路20から出力される表示位相データ25を調整し、更に撮像位相検出回路19から出力される撮像位相データ24を制御し、減算回路30の減算結果が零となるように制御している。
　撮像位相検出回路19、表示クロック生成回路21、表示位相調整回路20で構成される制御ループにより、表示信号27の位相は、撮像位相に対して、所定の位相を保持して同期している。上記制御ループの詳細はPLL(Phase Locked Loop)として公知であるので説明を省略する。
　セレクタ34には、制御値演算回路32から出力される値と、初期調整時点での表示クロック26の周波数を設定する為の初期周波数レジスタ33の値とが入力される。セレクタ34は、初期調整期間には初期周波数レジスタ33の出力を選択し、それ以外の定常調整期間には制御値演算回路32の出力を選択する。数値制御型発振器35は、入力された周波数制御値に応じて出力周波数が可変される回路であり、NCO回路として公知であるので、説明を省略する。
　表示制御回路22は、表示装置11の動作を制御する回路であり、各部へ制御信号（図示せず）を供給して、表示装置11内の各回路の動作を制御する。
　次に、図6～図9を用いて、初期調整期間と定常調整期間での表示位相の調整方法について説明を行う。本実施形態での初期調整期間は、表示装置11が動作を開始した直後から、撮像装置1が送信データを受信し表示を開始するまでの期間であり、定常表示期間は送信データの表示開始以降から動作終了までの期間である。
　図6は、初期調整期間での撮像位相と送信タイミング及び表示信号の位相の関係を示している。図示したように、画像センサ3は、時刻t1-t5の期間で第1フレーム目の撮像データを出力し、休止期間を置いて第2フレーム目の撮像データを出力するという動作を繰り返している。この場合、時刻t1－t7の期間が1フレーム期間であり、時刻t1が第1フレームの撮像位相の始点となり、時刻t7が第1フレームの撮像位相の終点となる。
　本実施形態において、画像センサ3は30フレーム/秒のフレームレートで動作しており、時刻t1-t7の期間は1/30秒(約33.3ms)である。パケット作成回路6でのパケット作成は、撮像データが圧縮処理され1パケット分のデータが用意できた時点(時刻t2)から開始される。本実施形態では、1フレーム分のデータから4パケットを生成する方法を例として説明を行う。
　第1フレームのパケットは、時刻t2-t6の期間で生成される。パケット作成が終了すると、でき上がったパケットから適宜送信が行われる。時刻t3は、第1フレーム目の先頭パケットの送信を開始したタイミングである。本説明は、第1フレーム及び第2フレームの送信時に通信路が劣化し、第1フレームの通信では先頭パケットが再送され、第2フレームでは所定期間内に4パケット分の通信が終了せず通信が打ち切られた(時刻t10)場合を例として行っている。
　図6において、時刻t4,t9,t11,t14が各フレームの先頭パケットのパケットIDを検出するタイミングである。パケットが再送処理される場合、データパケット中の再送フラグがONとなる。その為、再送パケットを受信しても、ID検出回路18からID検出タイミング信号23が出力されないことになる。
　本実施形態での再送処理は、ACKパケットを用いた方式で行われている。再送方式については公知であるので、これ以上の説明を省略する。
　図6中の時刻t4が、再送された先頭パケットのパケットIDが検出されるタイミングであるが、受信されたパケットが再送パケットなのでID検出タイミング信号23は出力されない。同様に、第2フレームの先頭パケット受信時にもID検出タイミング信号23は出力されない。ID検出タイミング信号23が出力されないと、撮像位相検出回路19、表示位相調整回路20、表示クロック生成回路21の初期調整が行われず、表示回路17は、表示信号27を無信号状態に保持する。
　第3フレームの先頭パケットのIDを検出したタイミングが時刻t11である。第3フレームの先頭パケットは再送無しで検出された為、ID検出タイミング信号23が時刻t11のタイミングで出力され、時刻t11から所定時間が経過した後の時刻t13に第3フレームの表示が開始されるように表示位相調整回路20が調整され、表示位相データ25が決定される。
　図4に示したように、ID検出タイミング信号23は表示位相カウンタ29に入力されており、表示位相カウンタ29には、時刻t11のタイミングで初期位相レジスタ28の値がセットされる。初期位相レジスタ28の値は、時刻t11-t12の期間が既知であることから、時刻t13の時点で表示位相カウンタ29の値が0となるように設定された値である。時刻t13は、第3フレームのパケット通信での通信を打ち切る時点である時刻t12の直後に設定されている。
　通信の打ち切りは、通信路が劣化した場合にパケットの再送処理が頻発し通信時間が無制限に伸びることを防止する為、通信中のフレームのパケット通信を中止する処理である。つまり、フレームのパケット通信の完了は、通信打ち切りの直前まで伸びる可能性がある。
　表示開始のタイミング(時刻t13)は、通信打ち切りの直前にフレーム通信が完了した場合に、受信されたフレームパケットを表示できる最短の時点に設定されている。つまり、通信打ち切りの直前に通信が完了したフレームパケットを表示可能なタイミングの中で、最も表示画像の遅延時間が短くなるタイミングが、本実施形態の表示開始のタイミング(時刻t13)として選択される。
　上記処理により、表示信号27による画像表示が時刻t13の時点から開始されることになる。初期調整期間は、時刻t13時点で終了する。
　図7は、定常調整期間での撮像位相と送信データのタイミング及び表示信号の位相の関係を示している。図7は、第Nフレームでは先頭パケットが再送されずに送信され、第N+1フレームでは先頭パケットが1度再送され、第N+2フレームでは再送が頻発して所定時点(時刻t31)で送信が打ち切りになる状況を示している。
　図示するように、画像センサ3は、時刻t21-t24の期間で第Nフレーム目の撮像データを出力し、休止期間を置いて、第N+1フレーム目の撮像データを出力するという動作を繰り返している。この場合、時刻t21-t26の期間が1フレーム期間であり、時刻t21が撮像位相の始点となり、時刻t26が撮像位相の終点となる。
　パケット作成回路6でのパケット作成は、撮像データが圧縮処理され1パケット分のデータが用意できた時点(時刻t22)から開始される。図7において、時刻t23,t30,t31,t33が各フレームの先頭パケットのパケットIDを検出するタイミングである。
　最初に、第Nフレームに関わる動作を説明する。時刻t23は、表示装置11が第Nフレーム目の先頭パケットのパケットIDを検出したタイミングである。時刻t28は、第Nフレームのパケットの通信において、送信の打ち切りが行われるタイミングである。時刻t29は、表示信号27において、第Nフレームのデータの表示を開始する位相である。図示するように、時刻t29は時刻t28の直後に設定されている。
　定常調整期間での表示信号27の表示位相は、初期調整期間と同様に、通信の打ち切り直前に通信が完了したフレームパケットを表示可能な位相の中で最も表示画像の遅延時間が短くなるように調整されている。定常調整期間での表示位相は、図5に示した目標位相レジスタ31の設定値によって決定される。
　目標位相レジスタ31の設定値は、時刻t29の時点で表示位相データ25の値が0となる場合に、時刻t23のタイミングで表示位相データ25がとるべき値が格納されている。再送されずに受信されたフレーム先頭のパケットのパケットIDが検出されると、目標位相レジスタ31の設定値が撮像位相データ24の値と減算され、演算結果が零となるように表示クロック26の周波数が制御される。これにより、時刻t29で表示位相データ25の値が零になるように表示信号27の位相が調整される。
　次に、第N+1フレーム、第N+2フレームに関わる動作を説明する。第N+1フレーム、第N+2フレームの通信では、いずれも先頭パケットが再送されている為、各フレームの先頭パケットのパケットIDの検出タイミング(時刻t30,t31)は表示位相の調整には使用されない。
表示クロック生成回路21は、調整できなかった期間(時刻t30-t33の期間)の表示クロック26の周波数は、最後の調整時(時刻t23)の値を保持する。
　最後に、第N+3フレームに関わる動作を説明する。第N+3フレームの通信では、先頭パケットが再送無しで通信される為、先頭パケットのパケットIDの検出タイミング(t33)が表示位相の調整に使用される。この場合の動作は、第Nフレームでの動作と同じであるので、説明を省略する。
　図8は、表示装置11での位相調整動作を示している。図8を用いて表示装置11での動作開始からの位相調整動作の説明を行う。表示装置11の初期調整期間の動作モードが初期調整モードであり、定常調整期間の動作モードが定常調整モードである。最初に、初期調整モードの説明を行う。
　動作開始時、調整モードは、初期位相調整モードとなっている(S1)。ID検出回路18は、特定パケット(本実施形態ではフレーム先頭のパケット)のパケットIDの検出を待ち(S2)、特定パケットのパケットIDを検出した場合、再送フラグをチェックする(S3)。再送フラグが立っていた(ONとなっていた)場合、次のフレームを待つ。この場合、ID検出回路18からID検出タイミング信号23は出力されない。
　再送フラグが立っていない(OFFとなっていた)場合、ID検出回路18からID検出タイミング信号23が出力され、撮像位相検出回路19はID検出タイミング信号23に基づいて撮像位相を算出する(S4)。撮像位相の算出後、表示制御回路22は調整モードをチェックし(S5)、調整モードが初期調整モードの場合、表示位相調整回路20の制御を行う。表示位相調整回路20は、表示位相カウンタ29に初期位相レジスタ28の値をセットすることによって表示位相初回調整(S6)を行う。
　その後、表示制御回路22は調整モードを定常調整モードに設定し(S7)、初期調整モードを終了する。
　次に、定常調整モードの説明を行う。定常調整モードの場合(S5)、表示クロック生成回路21は、撮像位相検出回路19からの撮像位相データ24に基づいて表示クロック26の周波数調整を行う(S8)。定常調整モードは、表示装置11の動作終了、若しくは、撮像装置1からの送信データの長期中断が発生するまで継続する。撮像装置1からの送信データの長期中断の検出は、表示制御回路22がID検出タイミング信号23を測定して行うが、本発明とは無関係の技術であるので、説明を省略する。
　図9は、実際の表示位相と最適な表示位相との差(以降、表示位相誤差と表記する)の変化を動作開始直後から示した模式図の例である。図9は、図6のタイミングチャートに対応して動作を行った場合の位相変化を示している。図9の時刻t1～t13は、図6の時刻t1～t13に対応している。図9の時刻t14～t21は、図6の時刻t13以降の時点を示している。
　本説明においては、動作開始直後の第1、第2フレームの先頭パケットは再送後に受信されたこととして説明を行う為、第1、第2フレームの受信時には表示位相調整は実施されない。
　図9において、時刻t1で未調整である位相差をp1として示している。又、調整直前の時刻t11での位相差を、p1に時刻t1-t11期間の撮像クロックと表示クロック26との周波数差により発生する位相差を加えたp11aとして示している。
　時刻t11の時点で、表示位相調整回路20の設定が行われ、初期調整期間が終了する。調整直後の時刻t11では、位相差を調整誤差によるp11bとして示している。その後は定常調整期間となり、表示位相誤差が零となるように、表示クロック生成回路21からの表示クロック26の周波数が制御され、図9のように表示位相誤差が零に収束していくことになる。
　本実施形態においては、再送時に再送フラグをONとする場合を例として説明を行ったが、例えば再送時にパケットIDを変更して、再送を示すIDを付加することによっても、再送フラグと同等の処理を行うことが可能である。
　上述したように、本実施形態によれば、送信データから特定パケットを抽出し、特定パケットの受信タイミングを計測した結果を用いて表示信号の位相調整処理を行うことによって、撮像装置の動作に同期して表示処理を行うことができる。又、特定パケットを使用することで、データ量の増加を招く時間情報を付加する必要がなくなり、送信データ量の増加を抑えることができる。特に、特定パケットの受信タイミングの測定時にパケット識別用の IDの受信タイミングを測定することで、従来のパケットの構成を変更する必要が無くなり、送信情報量を増加させずに受信タイミングの測定を行うことができる。
　又、特定パケットが再送されているか否かを判定し、再送されていない特定パケットの受信タイミングを使用することによって、再送による時間ずれを排除し、正確に撮像位相を検出することができる。
　又、特定パターンの変化を検出して（再送フラグの代わりに再送を示すIDを付加する場合に相当）、特定パケットが再送されているか否かを判定することによって、再送の検出を簡易に行うことができる。
　（第2の実施形態）
　次に、図10～図12を用いて、本発明の第2の実施形態の説明を行う。本実施形態における表示システムの構成は第1の実施形態と同様であるので、説明を省略する。図10はデータパケットの構成を示している。図示するように、本実施形態のデータパケットは、パケットの種別とナンバー（パケット中の画像情報のフレーム内の位置を示す）を示すパケットIDから成る付加情報と、符号データから成る画像情報とにより構成されている。すなわち、第1の実施形態と異なり、付加情報中に再送フラグは配置されていない。
　本実施形態は、各フレーム毎に1個用意された特定パケットの受信間隔を前フレームと現フレームとで測定し、受信間隔が所定範囲内の場合、現フレームの特定パケットの受信タイミングを使って表示信号の位相調整を行うという内容である。
　本実施形態では、前フレームと現フレームの両方の特定パケットに再送が発生した場合に、受信間隔が、再送が発生しない場合の受信間隔と同一にならないように、再送開始までの待ち時間を変化させる制御が行われる。例えば、第N(N=1,3,5,--)フレームでの再送開始までの待ち時間をWT1とし、N+1フレームでの再送開始までの待ち時間をWT2とすると、WT1≠WT2とすることで、再送発生時の特定パケットの受信間隔を、再送非発生時の特定パケットの受信間隔と異ならせることが可能となる。
　本実施形態で、第1の実施形態と大きく変わるのはID検出回路18の機能である。第1の実施形態のID検出回路18は、付加情報中のパケットIDによりフレーム先頭のパケットであることを認識し、再送フラグのON/OFFにより再送の有無を確認して、ID検出タイミング信号23を作成していた。本実施形態のID検出回路18は、第1の実施形態とは異なり、付加情報中のパケットIDによりフレーム先頭のパケットであることを確認した時点を基準に、前回の確認時点から今回の確認時点までの経過時間を測定する間隔測定カウンタを持ち、経過時間が所定範囲内の場合にID検出タイミング信号23をONとする。
　図11は、初期調整期間での撮像位相と送信データのタイミング及び表示信号の位相の関係を示している。図11を用いて、初期調整期間を例に説明を行う。
　時刻t1は、第1フレーム目の先頭パケットの送信を開始したタイミングである。本説明は、第1の実施形態と同様に、第1フレーム及び第2フレームの送信時に通信路が劣化し、第1フレームの通信では先頭パケットが再送され、第2フレームの通信では所定期間内に4パケット分の通信が終了せず通信が打ち切りになった場合を例として行っている。
　本実施形態の撮像装置1は、第1フレームでは再送待ち時間WT1待った後の時刻t2から再送を開始し、第2フレームでは再送待ち時間WT2待った後の時刻t4から再送を開始している。本説明では、撮像装置1が再送間隔を制御しているが、表示装置11がACKパケットを送信する間隔を制御することにより再送開始までの待ち時間の制御を行ってもよい。
　図11において、時刻t2,t4,t5,t6が各フレームの先頭パケットのパケットIDを検出するタイミングである。第1、第2フレームの先頭パケットの受信間隔Taが所定範囲外（所定範囲よりも長すぎる）である為、時刻t4で ID検出タイミング信号23はONとならない。又、第2、第3フレームの先頭パケットの受信間隔Tbが所定範囲外（所定範囲よりも短すぎる）である為、時刻t5で ID検出タイミング信号23はONとならない。この為、初期調整期間が継続することになる。
　一方、第3、第4フレームの先頭パケットは再送されず、第3、第4フレームの先頭パケットの受信間隔Tcが所定範囲内である為、時刻t6でID検出タイミング信号23がONとなる。その結果、表示信号27の初期位相調整が行われ、初期調整期間が終了する。
　図12は、表示装置11での位相調整動作を示している。図12を用いて表示装置11での動作開始からの位相調整動作の説明を行う。本実施形態では、第1の実施形態の再送フラグの確認(S3)の代わりに、フレーム先頭のパケットの受信間隔の確認(S11)が行われる。ID検出回路18は、各フレームにおいて、ID検出タイミング信号23を出力した時点で上記カウンタのカウント値をバッファに格納した後、カウント値を零にリセットする。ID検出回路18は、このカウント値に基づいて受信間隔を判定する(S11)。
　カウント値が所定範囲外である場合、次のフレームを待つ。この場合、ID検出回路18からID検出タイミング信号23は出力されない。カウント値が所定範囲内である場合、ID検出回路18からID検出タイミング信号23が出力される。上記以外は、第1の実施形態とほぼ同じである。
　上述したように、本実施形態によれば、特定パケットの受信間隔の変化を検出して、特定パケットが再送されているか否かを判定することによって、再送検出用の情報が不要となる為、送信データ量を削減することができる。
　（第3の実施形態）
　次に、図13、図14を用いて、本発明の第3の実施形態の説明を行う。本実施形態における表示システムの構成は第1の実施形態と同様であるので、説明を省略する。
　本実施形態は、特定パケットの再送処理を行わず、特定パケットの通信が不調となった時点で特定パケットを含むフレームの送信を中止し、次のフレームの先頭から送信を再開する通信方法を使用している。又、通信開始直後の初期調整期間では、初期調整が終了するまで先頭パケットを特定パケットとして指定し、定常調整期間では、予め定められた周期のフレームの先頭パケットを特定パケットとして指定する方法を使用している。
　尚、上記特定パケットの周期は、撮像装置1と表示装置11に使用されているクロック回路の特性に応じて選択される。クロック周波数差が大きく周波数の安定性が低い場合、特定パケットを頻繁に送り位相調整を細かく行うことになる。例えば各フレームの先頭パケットを全て特定パケットとしても良い。この場合、位相調整の精度が上がる利点があるが、通信環境が劣化した場合、特定パケットが通信不調となる確率が上がるという欠点も生じる。クロック周波数差が小さく周波数の安定性が高い場合、特定パケットの通信周期は長く設定されることになる。
　本実施形態では、特定パケットは再送処理を行わずに通信される為、特定パケットの受信タイミングを無条件に位相調整に使用できる点が、第1、第2の実施形態と異なっている。又、特定パケットは、他のパケットよりも冗長度を上げて作成されており、通信路が劣化した場合にも通信不調となりにくくする工夫がされている。
　本実施形態で、第1、第2の実施形態と変わるのは、上記送信を行う撮像装置1の機能とID検出回路18の機能である。ID検出回路18は、付加情報中のパケットIDに基づいて特定パケットであることを確認した時点を基準にID検出タイミング信号23をONとする。上記以外は、第1の実施形態と同じである。
　図13を用いて、初期調整期間を例に説明を行う。本説明は、第1の実施形態と同じように、第1フレーム及び第2フレームの送信時に通信路が劣化し、第1フレームの通信では先頭パケットが再送され、第2フレームでは所定期間内に4パケット分の通信が終了せず通信打ち切りになった場合を例として行っている。
　時刻t1は、第1フレーム目の先頭パケットの送信を開始したタイミングであり、時刻t2は、第2フレーム目の先頭パケットの送信を開始したタイミングである。第1フレーム、第2フレームともに先頭パケットの通信時に通信環境が劣化し、先頭パケットの通信が不調となった為、各フレームの送信を中断している。
　図13において、時刻t3,t5が各フレームの先頭パケットのパケットIDを検出したタイミングである。本実施形態での撮像装置1は、再送の有無を通知する必要がないので、第2の実施形態の図10に示した、再送フラグのない構成のデータパケットを送信する。又、特定パケットを含むフレームの送信では、特定パケットの通信が不調になった時点で、そのフレームの通信が終了する。
　時刻t3が第3フレーム目の先頭パケットの送信を開始したタイミングであり、時刻t3時点でID検出タイミング信号23がONとなる。その結果、表示信号27の初期調整が行われ、第1の実施形態の場合と同様に、時刻t4時点に表示信号27の先頭位相が来るように調整が行われ、初期調整期間が終了する。以降は、定常調整期間となり、例えば第4フレームの先頭パケットが特定パケットとして指定されている場合、先頭パケットの検出タイミングである時刻t5が位相調整に使用される。
　次に、図14を用いて位相調整動作の説明を行う。図14に示すフローチャートは、第1の実施形態のフローチャート(図8)と比較して、S3(再送フラグの検出による再送判定)がS21に置き換わっている以外は同一になっている。
　S21は、特定パケットの判定であり、ID検出回路18は、受信したパケットが予め指定された特定パケットであるか否かを判定する。例えば、初期調整期間ではフレームの先頭パケットを無条件に特定パケットとして判定し、定常調整期間では10フレーム毎に先頭パケットが特定パケットになる等のルールに基づいて判定することになる。
　受信したパケットが特定パケットでない場合、次のフレームを待つ。この場合、ID検出回路18からID検出タイミング信号23は出力されない。受信したパケットが特定パケットである場合、ID検出回路18からID検出タイミング信号23が出力される。上記以外は、第1の実施形態とほぼ同じである。
　上述したように、本実施形態によれば、再送を行わないパケットを特定パケットに用いることにより、再送の判別が不要となる為、位相調整回路の簡素化が図られる。
　又、動作開始直後に受信した特定パケットの受信タイミングだけから位相調整が行われる為、動作開始直後の位相調整の手順が簡素化され、回路規模の削減が図られる。具体的には、図14に示した動作では、S21の判定が、S2で検出したパケットIDを用いて行われる為、図8のS3及び図11のS11と比較して、処理が簡易となる。
　又、撮像装置1が周期的に送信するパケットを特定パケットとして予め決めておくことで、位相調整の手順が簡素化され、回路規模の削減が図られる。
　又、特定パケットを、他のパケットよりも伝送路の劣化に強い方式を用いて送信することで、再送を行わない特定パケットが通信失敗となる可能性を低減することができる。
　（第4の実施形態）
　次に、図15、図16を用いて、本発明の第4の実施形態の説明を行う。
　本実施形態では、第3の実施形態と同様に、特定パケットの再送処理を行わず、特定パケットの通信が不調となった時点で特定パケットを含むフレームの送信を中止し、次のフレームの先頭から再開する通信方法を使用している。本実施形態は、特定パケットの指定を表示装置11が行う点が第3の実施形態と異なっている。又、本実施形態の特定パケットを、他のパケットよりも通信速度を下げて送信することにより、通信路が劣化した場合にも通信不調となりにくくする工夫がされている。
　本実施形態の表示装置11は、前フレームの最終パケットの受信が終了し、次のフレームの先頭パケットの受信が開始される迄の受信休止期間中に、撮像装置1に対して、特定パケットの送信を要求する。撮像装置1は、特定パケットの送信要求を受けると、次のフレームの先頭パケットを特定パケットとして送信する。特定パケットについては、再送処理を行わないので、撮像装置1は、通信が不調となった時点で特定パケットを含むフレームの送信を中止し、次のフレームの先頭から再開する。
　図15は、本実施形態における表示装置37の構成を示している。図示するように、表示装置37では、図1に示した表示装置11のACKパケット作成回路36がパケット作成回路38に置き換わる構成となっている。パケット作成回路38は、ACKパケット作成回路36と同様のACKパケットを作成する機能の他に、撮像装置1に特定パケットの送信を要求する位相調整実施指示パケットの作成も、表示制御回路39の指示に応じて行う。
　次に、図16を用いて位相調整動作の説明を行う。図16に示すフローチャートは、第3の実施形態のフローチャート(図14)と比較して、S21(特定パケットの判定)を無くして、特定パケットを要求する為の処理である、S31とS32をS1とS2の間に入れた点が異なっている。
　S31は、位相調整を行う為の特定パケットの要求に関する判断であり、表示制御回路39は、表示装置11の各種状態(例：初期調整が済んでいない、位相調整間隔が空いた、周波数制御の変化が大きくまだ表示位相が収束していない、等の条件)により、次のフレームの送信時に特定パケットを入れることを要求するか否かを判定する。
　特定パケットの要求を行わない場合、次のフレームを待つ。また、特定パケットの要求を行う場合、パケット作成回路38は、表示制御回路39の指示により位相調整実施指示パケットの送信処理を実施する(S32)。
　以下、位相調整実施指示パケットの送受信に関連した撮像装置1及び表示装置37の動作を説明する。
　撮像装置1が位相調整実施指示パケットを受信して、特定パケットを含んだ1フレーム分のデータの通信を開始した後、データに含まれる特定パケットの通信が不調になるとそのフレームの通信を中止する。撮像装置1は、特定パケット送信後の所定時間内にACKパケットが返ってこなかった場合、特定パケットの通信ができなかったと判断する。
　撮像装置1は、特定パケットの送信が要求された場合、特定パケットの送信が成功するまで、特定パケットを含んだフレームの送信を繰り返す。通信が失敗した場合、撮像装置1は、次のフレームでも特定パケットを入れて送信を行う。
　上記のように、撮像装置1は、特定パケットの送信が成功するまで特定パケットを送り続ける為、S31での判断は、その時点で表示装置11の位相調整が必要かどうかを基準に行われる。S2は、第1の実施形態と同様に、パケットIDの検出待ちである。
　S2でパケットIDが検出された場合、ID検出回路18は、受信したパケットが特定パケットであるか否かを判定する(S33)。本処理は、先頭パケット以外、例えば最終パケットを特定パケットとする場合に必要な処理である。例えば、特定パケットがフレーム内の2番目のパケットである場合、受信休止期間中にS32が実行される為、特定パケットの受信前にS2でフレーム先頭パケットのパケットIDを検出してしまう。この場合、先頭パケットは特定パケットではないので、S33によって、位相調整処理を実行しないように処理することが必要となる。
　S33で特定パケットを検出した後は、以降の処理を無条件に実行する。上記処理により、表示装置37は所望のタイミングで位相調整用の情報を入手することが可能となる。以降の処理は第1の実施形態と同じであるので説明を省略する。
　上述したように、本実施形態によれば、再送を行わないパケットの転送タイミングを表示装置側から決定できるようになる為、表示位相の状況に応じて位相調整用の位相データを取得することが可能となり、高精度の位相調整が可能となる。
　以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記では撮像周期をフレームとしているが、フィールドとしてもよい。
　本発明は、撮像装置からデータを受信し、表示処理を行う表示装置、および、撮像装置及び表示装置を有する表示システムに広く適用できる。
　１　撮像装置
　２　撮像光学系
　３　画像センサ（撮像部）
　４　画像処理回路
　５　圧縮回路
　６　パケット作成回路（データ処理部）
　７　RF回路（送信部）
　８　アンテナ
　９　撮像制御回路
　１０　撮像クロック回路
　１１　表示装置
　１２　アンテナ
　１３　RF回路（受信部）
　１４　パケット分解回路
　１５　伸長回路
　１６　フレームメモリ回路
　１７　表示回路（表示処理部）
　１８　ID検出回路（計測部、判定部）
　１９　撮像位相検出回路
　２０　表示位相調整回路（処理部）
　２１　表示クロック生成回路
　２２　表示制御回路
　２３　ID検出タイミング
　２４　撮像位相データ
　２５　表示位相データ
　２６　表示クロック
　２７　表示信号
　２８　初期位相レジスタ
　２９　表示位相カウンタ
　３０　減算回路
　３１　目標位相レジスタ
　３２　制御値演算回路
　３３　初期周波数レジスタ
　３４　セレクタ
　３５　数値制御型発振器（NCO）
　３６　ACKパケット作成回路
　３７　表示装置
　３８　パケット作成回路
　３９　表示制御回路

Claims (10)

  1. 　所定周期で撮像処理を行ってフレーム若しくはフィールド毎の撮像データを作成し、前記撮像データをパケット化して送信データを作成し、前記送信データを送信する送信処理を行う撮像装置から前記送信データを受信する受信部と、
    　前記送信データから表示用の表示信号を作成する表示処理を行う表示処理部と、
    　前記送信データ中の特定パケットの受信タイミングを計測する計測部と、
    　前記特定パケットの受信状態を判定すると共に、判定結果に応じて、前記受信タイミングを使用するか否かを判定する判定部と、
    　前記判定部によって前記受信タイミングを使用すると判定された場合に、前記受信タイミングを用いて前記表示信号の位相調整処理を行う処理部と、
    　を有する表示装置。
  2. 　前記判定部は、前記特定パケットの受信状態として、前記特定パケットが再送されているか否かを判定する、請求項１に記載の表示装置。
  3. 　前記判定部は、前記特定パケットに付加されている特定パターンの変化を検出することにより、前記特定パケットが再送されているか否かを判定する、請求項２に記載の表示装置。
  4. 　前記判定部は、前記特定パケットの受信間隔の変化を検出することにより、前記特定パケットが再送されているか否かを判定する、請求項２に記載の表示装置。
  5. 　前記特定パケットは、再送処理を行わないことが予め指定されており、
    　前記判定部は、前記特定パケットの受信状態として、前記特定パケットが受信されているか否かを判定する、請求項１に記載の表示装置。
  6. 　前記撮像装置若しくは表示装置の動作開始直後の送信データ中の１フレーム若しくは１フィールド分の複数のパケット中の少なくとも１パケットが前記特定パケットとして指定されると共に、前記特定パケットが前記再送処理を行うことなく受信されるまで、送信データ中の前記特定パケットの指定が継続される、請求項５に記載の表示装置。
  7. 　前記特定パケットは、送信データ中の１フレーム若しくは１フィールド分の複数のパケット中の少なくとも１パケットであって、前記撮像装置が周期的に指定して送信するパケットである、請求項５に記載の表示装置。
  8. 　前記特定パケットは、送信データ中の１フレーム若しくは１フィールド分の複数のパケット中の少なくとも１パケットであって、表示装置からの要求に応じて指定されるパケットである、請求項５に記載の表示装置。
  9. 　前記特定パケットは、他のパケットよりも伝送路の劣化に強い方式を用いて送信される、請求項５に記載の表示装置。
  10. 　撮像装置と表示装置とを有する表示システムであって、
    　前記撮像装置は、
    　所定周期で撮像処理を行ってフレーム若しくはフィールド毎の撮像データを作成する撮像部と、
    　前記撮像データをパケット化して送信データを作成するデータ処理部と、
    　前記送信データを送信する送信部と、
    　を有し、
    　前記表示装置は、
    　前記撮像装置から前記送信データを受信する受信部と、
    　前記送信データから表示用の表示信号を作成する表示処理を行う表示処理部と、
    　前記送信データから特定パケットを抽出し、前記特定パケットの受信タイミングを計測する計測部と、
    　前記特定パケットの受信状態を判定すると共に、判定結果に応じて、前記計測部によって計測された前記受信タイミングを使用するか否かを判定する判定部と、
    　前記判定部によって前記受信タイミングを使用すると判定された場合に、前記受信タイミングを用いて前記表示信号の位相調整処理を行う処理部と、
    　を有する表示システム。
PCT/JP2011/061421 2010-06-21 2011-05-18 表示装置及び表示システム WO2011162052A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP11797939.3A EP2584778B1 (en) 2010-06-21 2011-05-18 Display device and display system
CN201180030147.XA CN102986237B (zh) 2010-06-21 2011-05-18 显示装置以及显示系统
US13/716,845 US9055225B2 (en) 2010-06-21 2012-12-17 Display device and display system for performing a phase adjustment for a packet

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-140501 2010-06-21
JP2010140501A JP5465106B2 (ja) 2010-06-21 2010-06-21 表示装置及び表示システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/716,845 Continuation US9055225B2 (en) 2010-06-21 2012-12-17 Display device and display system for performing a phase adjustment for a packet

Publications (1)

Publication Number Publication Date
WO2011162052A1 true WO2011162052A1 (ja) 2011-12-29

Family

ID=45371251

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/061421 WO2011162052A1 (ja) 2010-06-21 2011-05-18 表示装置及び表示システム

Country Status (5)

Country Link
US (1) US9055225B2 (ja)
EP (1) EP2584778B1 (ja)
JP (1) JP5465106B2 (ja)
CN (1) CN102986237B (ja)
WO (1) WO2011162052A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9270908B2 (en) * 2013-02-05 2016-02-23 Taiwan Semiconductor Manufacturing Company Limited Image sensor configured to reduce blooming during idle period
JP6180780B2 (ja) * 2013-04-22 2017-08-16 三菱電機ビルテクノサービス株式会社 映像データ送信装置及び映像データ管理システム
US10701258B2 (en) * 2017-01-31 2020-06-30 Kowa Company, Ltd. Camera manipulation device
WO2018235258A1 (ja) * 2017-06-23 2018-12-27 オリンパス株式会社 画像伝送システム、撮像端末、表示端末、調整方法、調整補助方法、調整プログラム、および調整補助プログラム
US11943496B2 (en) 2019-03-18 2024-03-26 Sony Interactive Entertainment Inc. Reception device, communication system, program, and reception method
KR20220081161A (ko) * 2020-12-08 2022-06-15 삼성전자주식회사 디스플레이 구동 회로 및 이의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004104701A (ja) 2002-09-12 2004-04-02 Matsushita Electric Ind Co Ltd 通信端末装置及びデータ通信プログラム
JP2005538596A (ja) * 2002-09-05 2005-12-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 無線ネットワークを通じたデータ伝送装置及び関連方法
JP2008085500A (ja) * 2006-09-26 2008-04-10 Sanyo Electric Co Ltd 受信機、送信機及び同期制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261241A (ja) * 1996-03-27 1997-10-03 Oki Electric Ind Co Ltd 可変速度データ受信装置及びクロック復元装置並びに可変速度データ送信装置
JP3814494B2 (ja) * 2001-04-27 2006-08-30 松下電器産業株式会社 色管理装置及び色管理システム
JP3912091B2 (ja) * 2001-12-04 2007-05-09 ソニー株式会社 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP5286050B2 (ja) * 2008-11-28 2013-09-11 株式会社日立国際電気 符号化−復号化装置および映像伝送システム
JP5508819B2 (ja) * 2009-11-13 2014-06-04 オリンパス株式会社 受信装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005538596A (ja) * 2002-09-05 2005-12-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 無線ネットワークを通じたデータ伝送装置及び関連方法
JP2004104701A (ja) 2002-09-12 2004-04-02 Matsushita Electric Ind Co Ltd 通信端末装置及びデータ通信プログラム
JP2008085500A (ja) * 2006-09-26 2008-04-10 Sanyo Electric Co Ltd 受信機、送信機及び同期制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2584778A4

Also Published As

Publication number Publication date
US9055225B2 (en) 2015-06-09
JP2012005025A (ja) 2012-01-05
EP2584778B1 (en) 2018-07-04
JP5465106B2 (ja) 2014-04-09
EP2584778A1 (en) 2013-04-24
CN102986237B (zh) 2015-05-06
CN102986237A (zh) 2013-03-20
US20130100331A1 (en) 2013-04-25
EP2584778A4 (en) 2014-08-06

Similar Documents

Publication Publication Date Title
WO2011162052A1 (ja) 表示装置及び表示システム
JP5697743B2 (ja) 映像送信装置、映像送信方法、映像受信装置、および映像受信方法
US9723193B2 (en) Transmitting device, receiving system, communication system, transmission method, reception method, and program
JP5508819B2 (ja) 受信装置
EP2908513B1 (en) Image pick-up and display system, image pick-up device, image pick-up method, and program
US9326022B2 (en) Wireless communication system, wireless communication device, and wireless communication method
US8937973B2 (en) Transmitting device, receiving device, communication system, transmission method, reception method, and program
KR20160122601A (ko) 시간 동기화 방법 및 그 장치
US9571799B2 (en) Wireless communication system and method, and data receiving apparatus, method and program
US8902285B2 (en) Wireless communication apparatus for transmitting information on control timing and detecting cause of transmission timing adjustment
JP5697494B2 (ja) 映像送信装置、映像送信方法、映像受信装置、および映像受信方法
US9912427B2 (en) Reception apparatus and system
JP2010119015A (ja) 画像伝送装置、送信装置、受信装置および画像伝送システム
US20220360845A1 (en) Reception apparatus, reception method, and transmission and reception system
JP4386060B2 (ja) クライアント・サーバシステム
US20070230512A1 (en) Receiving apparatus and transmitting/receiving method
JP2017005588A (ja) 表示制御装置及び表示制御方法
WO2012173020A1 (ja) 送信装置、送信方法、及びプログラム
JP2020096296A (ja) 出力装置、処理装置、管理装置、制御方法、プログラム、並びに記録媒体
WO2014068629A1 (ja) 映像処理装置、映像送信装置、映像受信装置、映像処理方法、映像送信方法、及び映像受信方法。

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180030147.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11797939

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011797939

Country of ref document: EP