WO2013018262A1 - 撮像装置、情報処理装置、情報処理システムおよびフレームデータ出力同期化方法 - Google Patents

撮像装置、情報処理装置、情報処理システムおよびフレームデータ出力同期化方法 Download PDF

Info

Publication number
WO2013018262A1
WO2013018262A1 PCT/JP2012/003576 JP2012003576W WO2013018262A1 WO 2013018262 A1 WO2013018262 A1 WO 2013018262A1 JP 2012003576 W JP2012003576 W JP 2012003576W WO 2013018262 A1 WO2013018262 A1 WO 2013018262A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging device
output
frame
display
frame data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/003576
Other languages
English (en)
French (fr)
Inventor
大場　章男
博之 勢川
英幸 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to US14/234,008 priority Critical patent/US9185269B2/en
Priority to CN201280036086.2A priority patent/CN103703754B/zh
Publication of WO2013018262A1 publication Critical patent/WO2013018262A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations

Definitions

  • the present invention relates to information processing technology using a camera as an input interface.
  • a synchronization buffer is prepared in the host terminal that relays the camera and the display, and the output timing is adjusted in units of frames.
  • Such synchronization processing causes unstable and large latency, which reduces the responsiveness from camera input to display, and the synchronization buffer becomes indispensable, and there is a problem that the storage area is compressed.
  • the synchronization process is particularly difficult in a USB camera whose interface is asynchronous and cannot share a clock.
  • the present invention has been made in view of these problems, and an object thereof is to provide an image processing technique capable of easily synchronizing a camera input and a display output.
  • One embodiment of the present invention relates to an imaging apparatus.
  • This imaging apparatus outputs an output control unit that outputs each frame data of a moving image captured by an image sensor in order of scanning lines at a frequency of a vertical synchronization signal, an output time of frame data output by the output control unit, and a moving image immediately.
  • a vertical synchronization signal adjustment unit that changes the setting of the generation timing of the vertical synchronization signal when the deviation from the reference output time based on the output frequency in the display to display exceeds a predetermined threshold value.
  • This information processing device acquires an input time of each frame data sequentially input from a connected imaging device, and monitors a shift time from a reference input time based on an output frequency on a display to which the frame data is output. And an operation cycle adjusting unit that transmits a request signal for adjusting the generation timing of the vertical synchronization signal in the imaging device to the imaging device when the deviation exceeds a predetermined threshold value.
  • This information processing system is an information processing system including an imaging device that captures a moving image and an information processing device that sequentially acquires frame data of the moving image and outputs the frame data to a display.
  • a shift time monitoring unit that acquires an input time of each frame data input from the device and monitors a shift from a reference input time based on an output frequency in the display, and an imaging device when the shift exceeds a predetermined threshold
  • An operation cycle adjusting unit that transmits a request signal for adjusting the generation timing of the vertical synchronization signal to the image pickup device, and the image pickup device has an edge of a pixel clock having an output frequency of a pixel value in a final scan line of the frame.
  • a pixel count that counts the number as a pixel count value and generates a vertical sync signal when a request signal is obtained Characterized by comprising a vertical synchronizing signal adjusting section for changing the settings.
  • Still another aspect of the present invention relates to a frame data output synchronization method.
  • This frame data output synchronization method is a method in which the imaging apparatus synchronizes the frame data output process in the display that immediately displays the captured moving image and its own frame data output process.
  • a step of changing the setting is a method in which the imaging apparatus synchronizes the frame data output process in the display that immediately displays the captured moving image and its own frame data output process.
  • camera input and display output can be easily synchronized.
  • FIG. 3 is a diagram illustrating changes in output data from the imaging apparatus, data in a synchronization buffer, and data in a frame memory when adjusting frame data output timing with the configuration illustrated in FIG. 2. It is a figure which shows transition of the output data from an imaging device, the data in an input buffer, and the data in a frame memory when an imaging device and a display are synchronizing. It is a figure which shows the structure of the imaging device and host terminal in this Embodiment.
  • FIG. 10 is a flowchart illustrating a procedure of processing for adjusting an input cycle per frame from the imaging apparatus in the present embodiment. It is a figure which shows the transition of the output data from an imaging device, the data in an input buffer, and the data in a frame memory when the input period from an imaging device is adjusted in this Embodiment.
  • FIG. 1 shows a configuration example of an information processing system to which this embodiment can be applied.
  • the information processing system 10 includes an imaging device 12 that shoots an object such as the user 1, a host terminal 20 that controls display of captured moving image data, and a display 16 that displays a moving image. Any two or all of the imaging device 12, the host terminal 20, and the display 16 may be combined and integrally provided. Further, the imaging device 12 does not necessarily have to be installed on the display 16. Furthermore, the user 1 may not be a person, and the number is not limited.
  • the imaging device 12 is a digital video camera provided with an imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the frame data of the moving image captured by the imaging device 12 is sequentially transmitted to the host terminal 20.
  • the host terminal 20 outputs the transmitted frame data to the display 16 in accordance with the output timing of the display 16.
  • the host terminal 20 may perform predetermined processing other than image output control using the frame data. For example, a game or the like can be realized by characterizing the appearance of the user 1 to generate an image of the virtual world and displaying it on the display 16, but since such a technique can be applied in general, it will not be mentioned here. .
  • the display 16 displays the frame data input under the control of the host terminal 20 as an image.
  • the display 16 may be a television having a display for outputting an image and a speaker for outputting sound, such as a liquid crystal television, a plasma television, a PC display, or the like.
  • FIG. 2 shows a system configuration in the prior art that realizes synchronization processing of camera input and video output. Since this figure shows a configuration in the prior art, the imaging apparatus 12a and the host terminal 20a are distinguished from each apparatus of the present embodiment, but the connection form is the same as that shown in FIG. The host terminal 20a needs to output the frame data input at the output frequency of the imaging device from the imaging device 12a at the output frequency of the display 16.
  • the host terminal 20 a has a synchronization buffer for buffering frame data and adjusting timing between the imaging device 12 a and the frame memory 26. 22 need to be provided. Further, the host terminal 20 a includes a display control unit 24 that controls output of frame data from the frame memory 26 to the display 16.
  • FIG. 3 shows output data from the imaging device 12a (upper stage), data in the synchronization buffer 22 (middle stage 3 rows), data in the frame memory 26 (when the frame data output timing is adjusted with the configuration shown in FIG. (Lower two rows).
  • the imaging device 12a captures and inputs data at a frame rate of 60 fps
  • the display 16 displays a moving image at a frame rate of 59.94 fps.
  • the frame data input cycle from the imaging device 12a to the host terminal 20a is 16.0 msec per frame
  • the output cycle from the host terminal 20a to the display 16 is 16.7 msec per frame.
  • the horizontal axis indicates the passage of time, and the period corresponding to one frame is represented by one rectangle. Characters in the rectangle represent frame numbers. As in the legend at the top of the figure, the solid line and the dotted diagonal line in the rectangle represent the data output period (scan out) and the input period (scan in) by scanning the scan line, respectively. A rectangle shown by shading represents a data retention period.
  • the imaging device 12a starts imaging and outputting the nth frame at time t0. Then, the data of the nth frame is stored in the first buffer 22a of the synchronization buffer 22 in the host terminal 20a from the time t1 in the scanning line in which the imaging has been completed. The time until the time t2 when the storage of all the data of the nth frame is completed is 16.0 msec as described above.
  • the display control unit 24 stores the nth frame data in the first area 26a of the frame memory 26 from the time t3 when the previous frame, that is, the (n ⁇ 1) th frame data is stored in the frame memory 26. Begin to.
  • a marker having a width of ⁇ t shown below the rectangular column of the synchronization buffer 22 indicates the reading period of the frame data represented by the rectangle immediately above.
  • the data of the nth frame written to the first area 26a of the frame memory 26 is output to the display 16 from the time t4 when the display of the previous (n-1) th frame is finished, and an image is displayed. .
  • the time from the display start time t4 to the end time t5 of the nth frame is 16.7 msec as described above.
  • Such processing is similarly performed on each frame data acquired in accordance with the progress of shooting in the imaging device 12a. That is, the imaging device 12a and the synchronization buffer 22 operate with 16.0 msec as a processing cycle per frame, and the frame memory 26 and the display 16 operate with 16.7 msec as a processing cycle per frame. As shown in the figure, the frame memory 26 divides an area for storing frame data being output to the display 16 and an area for storing the next frame, and uses the first area 26a and the second area 26b alternately. By doing so, smooth image display is performed.
  • the timing at which data of a certain frame has been stored and the timing at which it is read out are shifted due to the difference in operating frequency between the imaging device 12a and the display 16.
  • the reading of the previous two frame data is not completed. For example, at the time T when the storage of the data of the (n + 2) th frame is started, the data of the second previous nth frame is being read.
  • the first buffer 22a storing the data of the nth frame cannot be the storage destination of the data of the (n + 2) th frame.
  • the data retention period of each frame is basically two cycles excluding the storage process period. That is, the period during which the same frame of data can be held in the synchronization buffer 22 is finite depending on the number of buffers.
  • the period for reading each frame data in the synchronization buffer 22 gradually shifts backward. Eventually, the read period will exceed the data retention period. In this way, there are frames that cannot be displayed on the display 16 even though the data is stored in the synchronization buffer 22. In this case, the frame data must be discarded and the next frame data read out and displayed.
  • the period of reading the (n + 7) th frame which should be next to the time t6 when the reading of the (n + 6) th frame is finished, exceeds the data holding period of the (n + 7) th frame. For this reason, the seventh frame is skipped, and data read of the stored (n + 8) frame is started at time t7.
  • the operation cycle on the display 16 side is longer than the basic cycle on the imaging device 12a side, excess frame data is discarded without being consumed, but if the magnitude relationship between the operation cycles is reversed, it is necessary for display. The frame data is insufficient, and the same frame must be displayed for two cycles.
  • the frame data holding period in the synchronization buffer 22 is compared with the period for reading it, and the result is complicated such as discarding data or displaying twice. It is necessary to generate a correct process.
  • the number of buffer areas required as a synchronization buffer increases due to the difference in operation cycle.
  • the host terminal performs image processing in synchronization with the frequency of the display 16, there may be a problem that occurs when one frame to be processed is discarded. For example, when tracking a part of a subject, if the time interval with the previous frame is widened, the movable range increases, so that it is necessary to widen the search area. As a result, the time required for the tracking process increases, which causes an increase in latency.
  • the shift in the period between the data input from the imaging device 12 and the data output to the display 16 is kept within a predetermined range. In order to prevent a time difference of at least one frame.
  • FIG. 4 shows transitions of output data from the imaging device (upper stage), data in the input buffer (middle row 2), and data in the frame memory (lower row 2) when the imaging device and the display are synchronized.
  • the memory for storing the input data from the imaging device is not the “synchronization buffer” but the “input buffer” for use in the processing inside the host terminal 20.
  • the operation cycle of the imaging apparatus and the display is 16.0 msec.
  • the reading of the frame data to the frame memory can always be started immediately after the storage of the data in the input buffer is completed, and the two times are not shifted.
  • the input buffer can be configured by only a buffer for writing frame data input from the imaging apparatus and a buffer for reading to the frame memory. Further, as described above, since adjustment in units of frames due to accumulation of deviations is not necessary, the processing can be simplified and sudden increase in latency can be suppressed.
  • FIG. 4 shows the configuration of the imaging device 12 and the host terminal 20 in the present embodiment.
  • Each functional block shown in FIG. 5 can be realized by a configuration such as a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), a counter circuit, etc. in terms of hardware.
  • This is realized by a program that exhibits various functions such as an input / output function and a data holding function. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
  • the host terminal 20 includes an input buffer 32 for temporarily storing frame data input from the imaging device 12, a frame memory 38 for temporarily storing frame data output to the display 16, and writing of frame data from the input buffer 32 to the frame memory 38.
  • a display control unit 40 for controlling the output of frame data from the frame memory 26 to the display 16.
  • the input buffer 32, the frame memory 38, and the display control unit 40 have the same functions as the synchronization buffer 22, the frame memory 26, and the display control unit 24 in the host terminal 20a shown in FIG.
  • the present embodiment also includes an input buffer 32 instead of the synchronization buffer 22 because it is not necessary to perform adjustment using the synchronization buffer.
  • the input buffer 32 may have two buffer areas as shown in FIG.
  • the host terminal 20 further includes a shift time monitoring unit 34 that monitors a shift between the input timing of the frame data from the imaging device 12 and the ideal input timing of the frame data obtained from the output frequency of the display 16.
  • An operation cycle adjustment unit 36 that transmits a request signal for adjusting the operation cycle per frame in the imaging device 12 according to the magnitude of the shift is included.
  • the imaging device 12 includes an imaging element 31 and a bridge unit 30.
  • the image sensor 31 is a sensor such as a CCD or a CMOS.
  • the bridge unit 30 counts the output of the horizontal synchronization signal (HSync) starting from the vertical synchronization signal in the imaging device 12 and controls the output of the frame data to the host terminal 20 and the signal on a predetermined scanning line.
  • the H counter unit 42 for generating the signal, and the VSync adjustment counter unit 44 for counting the pixel clock from the signal from the H counter unit 42 and generating a vertical synchronizing signal with a value set for the pixel clock are included.
  • the output control unit 41 sends frame data obtained as a result of imaging by the image sensor 31 to the host terminal 20 in the order of scanning lines via an interface such as a USB. Furthermore, information on various synchronization signals included in the frame data is separated and supplied to the H counter unit 42 and the VSync adjustment counter unit 44 as appropriate. The processing performed by the output control unit 41 is not described in detail because a general technique can be applied. Detailed operations of the H counter unit 42, the VSync adjustment counter unit 44, the shift time monitoring unit 34 and the operation cycle adjustment unit 36 of the host terminal 20 will be described later.
  • FIG. 6 is a diagram for explaining a signal generated in the imaging device 12. Note that these signals are signals generated by a general imaging device, and can be used in this embodiment.
  • the right direction shows the time passage in units of pixels in each scanning line, and the lower direction shows the time passage in units of scanning lines.
  • the white area represents the pixel value input / output period
  • the shaded area represents the horizontal blanking period (HBlank) and the vertical blanking period (VBlank).
  • the pixel clock has an output frequency of pixel values.
  • a data enable signal (DE) indicating the output period of the pixel value and a horizontal synchronization signal (HSync) indicating the end point timing of the scanning line are generated.
  • the time elapse in units of scanning lines shown in the vertical direction in the figure has the output period of the horizontal synchronizing signal as one unit.
  • a data enable signal (DE) indicating the output period of the scanning line having a value and a vertical synchronization signal (VSync) indicating the timing of the end point of the frame are generated.
  • a state close to a synchronous operation is created by matching the input cycle Tint per frame of the frame data input from the imaging device 12 with the output cycle per frame in the display 16. Therefore, in the present embodiment, first, after adjusting HTotal and VTotal and roughly adjusting in units of the number of scanning lines, the actual time lag is monitored and the final scanning of the frame determined as a result of the adjustment is performed. Fine adjustment is performed in units of pixel count in the line input period.
  • Adjustment in units of the number of scanning lines is performed by determining HTotal and VTotal so that the following expression is satisfied when the output frame rate on the display 16 is the target frame rate TA.
  • PCLK / (HTotal ⁇ VTotal) ⁇ TA ⁇ PCLK / HTotal ⁇ (VTotal-1) Taking the reciprocal of each term in the above equation and comparing by period, the following equation is obtained.
  • PT x HTotal x (VTotal-1) ⁇ 1 / TA ⁇ PT x HTotal x VTotal
  • the time “PT ⁇ HTotal ⁇ (VTotal-1)” from the start point of the frame immediately after the vertical synchronization signal to the completion of scanning of the second scan line from the end, and the last scan line from the start point HTotal and VTotal are adjusted so that the output period per frame of the display 16 enters the time “PT ⁇ HTotal ⁇ VTotal” required to complete the scanning.
  • the fine adjustment of the pixel count unit can be limited within the scanning time of the last scanning line.
  • FIG. 7 is a diagram for explaining the principle of adjusting the generation timing of the vertical synchronization signal in the imaging device 12.
  • the rectangle in the figure represents the input period of one frame including the horizontal synchronizing signal and the vertical synchronizing signal, as in FIG. And the arrow which crosses the said rectangle from the left to the right has shown the scanning line typically.
  • the time when the display of one frame is finished on the display 16 corresponds to the line 50, strictly, the time between the count of VTotal-1 and the count of VTotal on the last scanning line determined by the above formula. In this case, the line 50 is located.
  • HTotal and VTotal Since the adjustment of HTotal and VTotal is per scan line, it is determined in advance according to the output frequency of the display 16. For example, a table in which the display output frequency is associated with appropriate HTotal and VTotal values is prepared in the internal memory of the imaging device 12 or the host terminal 20, and the actual output frequency is obtained when the display 16 is connected. It may be determined with reference to the table accordingly. In some cases, the pixel clock itself may be adjusted by the above equation.
  • the actual adjustment process is performed by determining in advance the final line period MF shorter than the distance to the line 50 and the final line period MS longer than the distance to the line 50 in the last scanning line, and switching them.
  • the shorter final line period MF and the longer final line period MS are values that satisfy the following equation. PT x (HTotal x (VTotal-1) + MF) ⁇ 1 / TA ⁇ PT x (HTotal x (VTotal-1) + MS)
  • a long final line period MS is set, and when the input is too late, a short final line period MF is set. Adjust the period.
  • MF and MS can be determined from the following equations.
  • MF floor (FIT / PT-HTotal (VTotal -1))
  • MS ceil (FIT / PT-HTotal (VTotal -1))
  • floor (x) is a function that outputs the maximum integer less than or equal to x
  • ceil (x) is a function that outputs the smallest integer greater than or equal to x.
  • FIT is a display cycle of one frame of the display 16 given by 1 / TA.
  • the two final line periods MF and MS may be determined as follows to increase the difference between the two.
  • MF floor (FIT / PT-HTotal (VTotal -1))-dz / 2
  • MS ceil (FIT / PT-HTotal (VTotal -1)) + dz / 2
  • dz is a correction value considering the fluctuation width, and is determined in advance.
  • FIG. 8 is a flowchart showing a procedure of processing for adjusting the input cycle per frame from the imaging device 12 in the present embodiment.
  • the host terminal 20 when the user instructs the host terminal 20 to execute a function including moving image shooting and image display using the moving image, the host terminal 20 requests the imaging device 12 to start shooting. Be started.
  • an initial value M0 is set in the final line period M (S10).
  • the initial value M0 may be any value from 0 to HTotal, and may be MF or MS.
  • the imaging device 12 starts moving image shooting (S12).
  • the output control unit 41 substitutes 0 for the frame number N (N14), and inputs the data of the 0th frame to the host terminal 20 in the order of the scanning lines (S16).
  • the H counter section 42 receives the generation of the vertical synchronization signal, sets the count value to 0, and then counts the number of scanning lines that have been input by counting the output of the horizontal synchronization signal.
  • the host terminal 20 acquires data input from the imaging device 12 and starts output to the display 16, whereby a moving image is displayed on the display 16 (S18).
  • data output of each scanning line is continued while the number H of scanning lines already input to the host terminal 20 does not reach VTotal-1 (N in S20, S16).
  • VTotal-1 the number H of output scan lines reaches VTotal-1 (Y in S20)
  • the data of the last scan line VTotal is input to the host terminal 20.
  • the VSync adjustment counter unit 44 receives from the H counter unit 42 that the number H of scanning lines has reached VTotal ⁇ 1, sets the count value to 0, and then counts the rising edges of the pixel clock.
  • VSync adjustment counter unit 44 outputs a vertical synchronization signal to the image sensor 31 and the H counter unit 42 (S26).
  • the deviation time monitoring unit 34 of the host terminal 20 acquires a time stamp at the time of reception every time data for one frame is input from the imaging device 12.
  • the difference between the actual time from the start of data input of the 0th frame to the completion of data input of the Nth frame and the estimated time when the input operation is performed at the output frequency of the display 16 is prepared in advance. It is determined whether or not a threshold value has been exceeded (S30). When the threshold value is exceeded (Y in S30), the value of MF or MS is reset to the last line period M held by the VSync adjustment counter unit 44 of the imaging device 12 (S32).
  • the deviation amount D is obtained by the following equation, for example.
  • D
  • time_stump (N) is a time stamp difference from the start of input of the 0th frame to the completion of input of the Nth frame.
  • the final line period M is reset.
  • time_stump (N) ⁇ FIT ⁇ N is a positive value, since the input from the imaging device 12 is slow, the shorter final line period MF is set. If the value is negative, the input from the imaging device 12 is fast, so the longer final line period MF is set.
  • the update of the last line period in the imaging device 12 may actually be performed during the processing steps of S16 and S20 in which data other than the last scanning line is input to the host terminal 20.
  • the deviation amount D does not exceed the threshold value dw, the setting is maintained as it is (N in S30).
  • FIG. 9 shows output data from the imaging device 12 (upper stage), data in the input buffer 32 (middle row 2), and data in the frame memory 38 (lower stage) when the input cycle from the imaging device 12 is adjusted according to the present embodiment. (2 columns).
  • the way of representing the figure is the same as in FIG. In the same figure, the set value of the final line period M for the frame is shown on each rectangle representing the output target frame in the imaging device 12.
  • the shorter last line period MF is set in the last line period M.
  • the data input cycle per frame from the imaging device 12 is slightly shorter than the data output cycle per frame to the display 16.
  • the frame data that has been stored in the input buffer 32 is output to the display 16 immediately after. Also in the present embodiment, as described above, after adjusting VTotal and HTotal, matching with the output frequency of the display is performed in units of pixel counts, a state close to FIG. 4 is obtained.
  • the shift time between the time when the data of each frame is stored in the input buffer 32 and the time when the reading of the data into the frame memory 38 is started is represented as D0, D1, D2,. ing.
  • the time lag from the time t1 when the data of the (n + 1) th frame is stored in the input buffer 32 to the read start time t2 of the data is D1.
  • This time lag is caused by the difference between the input cycle per frame from the imaging device 12 and the output cycle per frame to the display 16.
  • the lag time monitoring unit 34 determines the threshold value. Corresponds to the value to be.
  • the threshold value dw is exceeded at D4.
  • the operation cycle adjustment unit 36 transmits a request signal so that the final line period M held by the VSync adjustment counter unit 44 is reset to the longer final line period MS (S40).
  • the input cycle from the imaging device 12 becomes longer than the output cycle to the display 16, so the shift time starts decreasing at D5 and decreases to D6, D7, D8, and D9.
  • the shift time gradually increases in the direction in which the input from the imaging device 12 is delayed. Therefore, when the threshold value dw is exceeded, the final line period M is set to the shorter final line period MF. Rework (not shown).
  • the difference between the time when the storage of the frame data from the imaging device 12 is completed and the time when the output to the display 16 is started can be suppressed to about the threshold value dw even at the maximum. No excess or shortage of data will occur. As a result, it is not necessary to discard data or display the same frame twice in order to match the status, and it is possible to suppress the occurrence of unstable latency. Further, as shown in FIG. 9, the input buffer 32 is filled with only two buffer areas.
  • FIG. 10 shows the output data (upper stage) and synchronization from the imaging device 12 when the imaging device 12 of the present embodiment is connected with the synchronization buffer 22 provided in the host terminal 20 as shown in FIG. The transition of data in the buffer 22 (middle row 3 rows) and data in the frame memory 26 (lower row 2 rows) is shown.
  • the data holding period of each frame in the synchronization buffer 22 is The period for reading it is gradually shifted later. Conversely, if it is short, it will gradually shift forward.
  • the data of each frame can be read out in the first half of the data holding period in the synchronization buffer 22 as shown in FIG. it can.
  • the input cycle of the frame data from the imaging device to the host terminal is set to the output cycle from the host terminal to the display.
  • the generation timing of the vertical synchronization signal is adjusted so as to approach each other. For this reason, first, adjustment based on the length and number of scanning lines is performed in advance, and the generation timing of the vertical synchronization signal in the last scanning line is adjusted in units of pixel count while monitoring the actual time lag.
  • the adjustment has only a small effect on the processing cost because the setting value is only updated again when a predetermined amount of time lag has accumulated. Furthermore, since it is possible to adjust the timing at which the fluctuation of the operating frequency of the device itself is absorbed by the difference between the two final line periods and the threshold value for the time lag, unnecessary adjustments are made frequently. Inconveniences such as a heavy processing load do not occur. As a result, it is possible to execute from shooting to display with low latency and high responsiveness with low cost and little influence on processing load.
  • the image pickup apparatus in the present embodiment is composed of a single-lens image pickup element, but may be configured to include a plurality of cameras such as a stereo camera.
  • a plurality of cameras such as a stereo camera.
  • 10 information processing system 12 imaging device, 16 display, 20 host terminal, 30 bridge unit, 32 input buffer, 34 shift time monitoring unit, 36 operation cycle adjustment unit, 38 frame memory, 40 display control unit, 41 output control unit, 42 H counter part, 44 VSync adjustment counter part.
  • the present invention can be used for information processing apparatuses and information processing systems such as computers, game apparatuses, cameras, and image display apparatuses.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　ホスト端末２０のずれ時間監視部３４は、撮像装置１２からのフレームデータの入力タイミングと、ディスプレイ１６の出力周波数から得られる当該フレームデータの理想的な入力タイミングとのずれを監視する。動作周期調整部３６は、入力タイミングのずれの大きさに応じて、撮像装置１２における１フレームあたりの動作周期を調整する要求信号を送信する。撮像装置１２のＨカウンタ部４２は、撮像装置１２における垂直同期信号を起点として水平同期信号の出力をカウントし、所定の走査ラインで信号を発生させる。ＶＳｙｎｃ調整カウンタ部４４は、Ｈカウンタ部４２からの信号を起点としてピクセルクロックをカウントし、ピクセルクロックに対し設定された値で垂直同期信号を発生させる。

Description

撮像装置、情報処理装置、情報処理システムおよびフレームデータ出力同期化方法
　本発明は、カメラを入力インターフェースに用いる情報処理技術に関する。
　近年、ウェブカメラなど、撮影した映像のデータをリアルタイムに転送し、ディスプレイに表示する技術が幅広い分野で利用されている。例えば、ビデオチャットや監視カメラのように、撮影した映像をそのまま表示するもののほか、ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出して別の画像で置換し、ディスプレイに表示するゲームなどもある（例えば、特許文献１）。
欧州特許出願公開第０９９９５１８号明細書
　上記のような技術において、カメラとディスプレイが非同期である場合、カメラとディスプレイを中継するホスト端末において同期用バッファを準備し、フレーム単位で出力タイミングを調整していた。この態様においては、調整によって余ったフレームを破棄したり、同じフレームを２回表示したりする必要がある。このような同期処理によって不安定で大きなレイテンシが生じ、カメラ入力から表示までの応答性を低下させるほか、同期用バッファが必要不可欠となり記憶領域を圧迫するなどの問題があった。インターフェースが非同期でクロックを共有できないＵＳＢカメラにおいては特に、同期処理が困難であった。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、カメラ入力とディスプレイ出力を容易に同期動作させることのできる画像処理技術を提供することにある。
　本発明のある態様は撮像装置に関する。この撮像装置は、撮像素子が撮像した動画像の各フレームデータを垂直同期信号の周波数で走査ライン順に出力する出力制御部と、出力制御部が出力するフレームデータの出力時刻と、動画像を即時表示するディスプレイにおける出力周波数に基づく基準出力時刻とのずれが所定のしきい値を超えたとき、垂直同期信号の発生タイミングの設定を変更する垂直同期信号調整部と、を備えたことを特徴とする。
　本発明の別の態様は情報処理装置に関する。この情報処理装置は、接続した撮像装置から順次入力される各フレームデータの入力時刻を取得し、当該フレームデータの出力先のディスプレイにおける出力周波数に基づく基準入力時刻からのずれを監視するずれ時間監視部と、ずれが所定のしきい値を超えたとき、撮像装置における垂直同期信号の発生タイミングを調整する要求信号を撮像装置に送信する動作周期調整部と、を備えたことを特徴とする。
　本発明のさらに別の態様は情報処理システムに関する。この情報処理システムは、動画像を撮影する撮像装置と、当該動画像のフレームデータを順次取得しディスプレイに出力する情報処理装置と、を備えた情報処理システムであって、情報処理装置は、撮像装置から入力される各フレームデータの入力時刻を取得し、ディスプレイにおける出力周波数に基づく基準入力時刻からのずれを監視するずれ時間監視部と、ずれが所定のしきい値を超えたとき、撮像装置における垂直同期信号の発生タイミングを調整する要求信号を撮像装置に送信する動作周期調整部と、を備え、撮像装置は、フレームの最終走査ラインにおいて、画素値の出力周波数を有するピクセルクロックのエッジの数をピクセルカウント値としてカウントし、要求信号を取得した際、垂直同期信号を発生させるピクセルカウント値の設定を変更する垂直同期信号調整部を備えたことを特徴とする。
　本発明のさらに別の態様はフレームデータ出力同期化方法に関する。このフレームデータ出力同期化方法は、撮像装置が、撮影した動画像を即時表示するディスプレイにおけるフレームデータ出力処理と、自らのフレームデータ出力処理を同期させる方法であって、各フレームデータを垂直同期信号の周波数で走査ライン順に出力するステップと、出力するフレームデータの出力時刻と、ディスプレイにおける出力周波数に基づく基準出力時刻とのずれが所定のしきい値を超えたとき、垂直同期信号の発生タイミングの設定を変更するステップと、を含むことを特徴とする。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によると、カメラ入力とディスプレイ出力を容易に同期動作させることができる。
本実施の形態を適用できる情報処理システムの構成例を示す図である。 カメラ入力とビデオ出力の同期処理を実現する従来技術におけるシステム構成を示す図である。 図２で示した構成によってフレームデータ出力タイミングの調整を行うときの、撮像装置からの出力データ、同期用バッファにおけるデータ、フレームメモリにおけるデータの変遷を示す図である。 撮像装置とディスプレイが同期している場合の撮像装置からの出力データ、入力バッファにおけるデータ、フレームメモリにおけるデータの変遷を示す図である。 本実施の形態における撮像装置とホスト端末の構成を示す図である。 本実施の形態の撮像装置において発生させる信号を説明するための図である。 本実施の形態の撮像装置における垂直同期信号の発生タイミングの調整原理を説明するための図である。 本実施の形態において撮像装置からの１フレームあたりの入力周期を調整する処理の手順を示すフローチャートである。 本実施の形態において撮像装置からの入力周期を調整した場合における、撮像装置からの出力データ、入力バッファにおけるデータ、フレームメモリにおけるデータの変遷を示す図である。 ホスト端末に同期用バッファを設けた状態で本実施の形態の撮像装置を接続した場合の、撮像装置からの出力データ、同期用バッファにおけるデータ、フレームメモリにおけるデータの変遷を示す図である。
　図１は本実施の形態を適用できる情報処理システムの構成例を示す。情報処理システム１０は、ユーザ１などの対象物をビデオ撮影する撮像装置１２、撮影した動画像データの表示を制御するホスト端末２０、動画像を表示するディスプレイ１６を含む。撮像装置１２、ホスト端末２０、ディスプレイ１６のうちいずれか２つ、または全てが組み合わされて一体的に装備されていてもよい。また、撮像装置１２は必ずしもディスプレイ１６の上に設置されていなくてもよい。さらにユーザ１は人でなくてもよく、その数も限定されない。
　撮像装置１２は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えたデジタルビデオカメラである。撮像装置１２が撮影した動画像のフレームデータは逐次、ホスト端末２０に送信される。ホスト端末２０は、送信されたフレームデータを、ディスプレイ１６の出力タイミングに合わせてディスプレイ１６に出力する。なおホスト端末２０はフレームデータを用いて画像出力制御以外の所定の処理を行ってもよい。例えばユーザ１の姿をキャラクタ化して仮想世界の画像を生成しディスプレイ１６に表示させることによりゲームなどを実現することができるが、このような技術は一般的なものを適用できるためここでは言及しない。
　ディスプレイ１６は、ホスト端末２０の制御のもと入力されたフレームデータを画像として表示する。ディスプレイ１６は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、例えば液晶テレビ、プラズマテレビ、ＰＣディスプレイ等である。
　本実施の形態では、このような情報処理システム１０において撮像装置１２によるカメラ入力とディスプレイ１６によるビデオ出力とが非同期である場合に、低コストかつ容易に同期をとる。まず本実施の形態の効果を明らかにするために、このような場合に適用できる同期処理の既存手法について説明する。
　図２はカメラ入力とビデオ出力の同期処理を実現する従来技術におけるシステム構成を示している。なお同図は従来技術における構成を示しているため、撮像装置１２ａ、ホスト端末２０ａとして本実施の形態の各装置と区別するが、接続形態は図１で示したのと同様である。ホスト端末２０ａは、撮像装置１２ａから、撮像装置の出力周波数で入力されるフレームデータを、ディスプレイ１６の出力周波数で出力する必要がある。
　そのためホスト端末２０ａには、ディスプレイ１６の出力周波数に合わせて書き換えられるフレームメモリ２６の他に、撮像装置１２ａとフレームメモリ２６との間でフレームデータをバッファしてタイミング調整を行うための同期用バッファ２２を備える必要がある。さらにホスト端末２０ａは、フレームメモリ２６からディスプレイ１６へのフレームデータの出力を制御する表示制御部２４を備える。
　図３は図２で示した構成によってフレームデータ出力タイミングの調整を行うときの、撮像装置１２ａからの出力データ（上段）、同期用バッファ２２におけるデータ（中段３列）、フレームメモリ２６におけるデータ（下段２列）の変遷を示している。例えば撮像装置１２ａは６０ｆｐｓのフレームレートで撮影およびデータ入力を行い、ディスプレイ１６は５９．９４ｆｐｓのフレームレートで動画表示を行うとする。この場合、撮像装置１２ａからホスト端末２０ａへのフレームデータ入力周期は１フレームあたり１６．０ｍｓｅｃ、ホスト端末２０ａからディスプレイ１６への出力周期は１フレームあたり１６．７ｍｓｅｃである。
　同図は横軸に時間経過を示し、１フレーム分に対応する期間を１つの矩形で表している。矩形内の文字はフレーム番号を表す。同図上端の凡例にあるように、矩形内の実線および点線の斜線はそれぞれ、走査ラインを走査することによるデータの出力期間（scan out)、および入力期間(scan in)を表している。また網掛けで示された矩形はデータの保持期間を表している。
　まず撮像装置１２ａでは、時刻ｔ０において、第ｎフレームの撮像および出力が開始される。するとホスト端末２０ａにおける同期用バッファ２２の第１バッファ２２ａには、時刻ｔ１から、撮像が終了した走査ライン順に第ｎフレームのデータが格納される。第ｎフレームのデータを全て格納し終える時刻ｔ２までの時間は上述の通り１６．０ｍｓｅｃである。表示制御部２４は、その前のフレーム、すなわち第（ｎ－１）フレームのデータをフレームメモリ２６へ格納し終えた時刻ｔ３から、フレームメモリ２６の第１領域２６ａへ第ｎフレームのデータを格納し始める。
　なお同期用バッファ２２の矩形列の下に示されるΔｔの幅を有するマーカーは、直上の矩形が表すフレームデータの読み出し期間を示している。第ｎフレームの読み出し期間、すなわち時刻ｔ３からΔｔの間は、当該バッファへの別のデータの書き込みはできない。フレームメモリ２６の第１領域２６ａへ書き出された第ｎフレームのデータは、その前の第（ｎ－１）フレームの表示が終了した時刻ｔ４から、ディスプレイ１６へ出力され、画像が表示される。第ｎフレームの表示開始時刻ｔ４から終了時刻ｔ５までの時間は上述の通り１６．７ｍｓｅｃである。
　このような処理を、撮像装置１２ａにおける撮影の進捗に応じて取得された各フレームデータに対して同様に行う。すなわち撮像装置１２ａおよび同期用バッファ２２は、１６．０ｍｓｅｃを１フレームあたりの処理周期として動作し、フレームメモリ２６およびディスプレイ１６は、１６．７ｍｓｅｃを１フレームあたりの処理周期として動作する。同図に示すようにフレームメモリ２６は、ディスプレイ１６へ出力中のフレームデータを格納する領域と、その次のフレームを格納する領域とを分け、第１領域２６ａ、第２領域２６ｂを交互に使用することにより、円滑な画像表示を行う。
　一方、同期用バッファ２２は、あるフレームのデータを格納し終えたタイミングと、それを読み出すタイミングが、撮像装置１２ａとディスプレイ１６の動作周波数の違いによってずれていく。結果としてほとんどの期間において、フレームデータを格納する際に、その２つ前のフレームデータの読み出しが完了していない状況となる。例えば第（ｎ＋２）フレームのデータの格納が開始される時刻Ｔでは、２つ前の第ｎフレームのデータが読み出し中である。
　このため、第ｎフレームのデータを格納している第１バッファ２２ａを、第（ｎ＋２）フレームのデータの格納先とはできない。このように、あるフレームデータの格納開始時に、２つ前のフレームのデータの読み出しが完了していない状況が発生する環境においては、同期用バッファ２２として、第１バッファ２２ａ、第２バッファ２２ｂ、第３バッファ２２ｃ、の３つのバッファを用意し、循環して使用する必要がある。
　３つのバッファを使用した場合、基本的には各フレームのデータ保持期間は、格納処理の期間を除くと２周期分となる。つまり同期用バッファ２２に同じフレームのデータを保持できる期間は、バッファの数に依存して有限である。しかしディスプレイ１６側の動作周期が撮像装置１２ａ側の動作周期より長い場合、同期用バッファ２２における各フレームデータの保持期間に対し、それを読み出す期間が徐々に後へずれていく。そしてやがては読み出し期間がデータ保持期間を超過してしまうことになる。このようにして、データが同期用バッファ２２に格納されているにも関わらずディスプレイ１６に表示しきれないフレームが発生する。この場合、当該フレームデータを破棄し、その次のフレームデータを読み出して表示せざるを得なくなる。
　図３の例では、第（ｎ＋６）フレームの読み出しを終えた時刻ｔ６の次にあるべき、第（ｎ＋７）フレームを読み出す期間が、第（ｎ＋７）フレームのデータ保持期間を超えてしまう。そのため第７フレームをとばし、時刻ｔ７において、格納済みの第（ｎ＋８）フレームのデータ読み出しを開始している。この例ではディスプレイ１６側の動作周期が撮像装置１２ａ側の基本周期より長いため、余ったフレームデータが消費されずに破棄されたが、動作周期の大小関係が逆であれば、表示に必要なフレームデータが不足し、同じフレームを２周期分表示せざるを得なくなる。
　このように、撮像装置１２ａとディスプレイ１６が非同期に動作する場合、同期用バッファ２２におけるフレームデータの保持期間と、それを読み出す期間とを比較し、その結果によってデータの破棄や２回表示など複雑な処理を発生させる必要がある。また、動作周期の差によって同期用バッファとして必要なバッファ領域の数が増える。
　さらに、ディスプレイ１６の周波数に同期させてホスト端末が画像処理を行う場合、処理対象となるフレームが１つ破棄されてしまうとことによって生じる不具合も考えられる。例えば被写体の一部をトラッキングする場合、前のフレームとの時間間隔が開いてしまうと、可動範囲が増大するため探索領域を広げる必要が生じる。そのためトラッキング処理に要する時間が増え、レイテンシ増加の要因となる。
　撮像装置とディスプレイの設定動作周波数がたとえ同じであっても、内蔵する発振回路の精度によって同様のずれが生じる可能性もある。そこで本実施の形態では、撮像装置１２内部の垂直同期信号のタイミングをピクセルカウント単位で調整することにより、撮像装置１２からのデータ入力とディスプレイ１６へのデータ出力の周期のずれを所定の範囲に収め、少なくとも１フレーム分の時間差が生じないようにする。
　図４は撮像装置とディスプレイが同期している場合の撮像装置からの出力データ（上段）、入力バッファにおけるデータ（中段２列）、フレームメモリにおけるデータ（下段２列）の変遷を示している。図の表し方は図３と同様であるが、この場合、撮像装置からの入力データを格納するメモリは、「同期用バッファ」ではなく、ホスト端末２０内部の処理に用いるための「入力バッファ」として機能する。撮像装置とディスプレイの動作周期は例えば、いずれも１６．０ｍｓｅｃであったとする。
　この場合、同図に示すように、フレームデータのフレームメモリへの読み出しは、常時、入力バッファへの当該データの格納が完了した直後から開始でき、その２つの時刻がずれることはない。結果として入力バッファもフレームメモリと同様に、撮像装置から入力されたフレームデータを書き込むためのバッファと、フレームメモリへ読み出すためのバッファのみで構成できる。また上述のように、ずれが蓄積していくことによるフレーム単位の調整が必要ないため、処理を単純化でき突発的なレイテンシの増大を抑えることができる。
　本実施の形態では、撮像装置とディスプレイの動作周波数が異なっていても、図４で示した同期動作に近い状況を作り出す。具体的には撮像装置１２において、１フレーム分として定義される時間、すなわち垂直同期信号（ＶＳｙｎｃ）の間隔を、ピクセルカウント単位で調整し、ディスプレイにおける１フレームの表示周期を目標にした動作周期の合わせ込みを行う。この態様は発振回路の精度に起因したずれに対しても有効である。図５は本実施の形態における撮像装置１２とホスト端末２０の構成を示している。
　図５に示す各機能ブロックは、ハードウェア的には、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、カウンタ回路などの構成で実現でき、ソフトウェア的にはデータ入出力機能、データ保持機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
　ホスト端末２０は、撮像装置１２から入力されたフレームデータを一時格納する入力バッファ３２、ディスプレイ１６に出力するフレームデータを一時格納するフレームメモリ３８、入力バッファ３２からフレームメモリ３８へのフレームデータの書き出し、フレームメモリ２６からディスプレイ１６へのフレームデータの出力を制御する表示制御部４０を含む。
　入力バッファ３２、フレームメモリ３８、および表示制御部４０は、図２で示したホスト端末２０ａにおける同期用バッファ２２、フレームメモリ２６、および表示制御部２４と同様の機能を有する。ただし図４について説明したのと同様、本実施の形態も同期用バッファを用いた調整を行う必要がないため、同期用バッファ２２に代えて入力バッファ３２を備える。入力バッファ３２は図４に示したのと同様、２つのバッファ領域を備えればよい。
　ホスト端末２０はさらに、撮像装置１２からのフレームデータの入力タイミングと、ディスプレイ１６の出力周波数から得られる当該フレームデータの理想的な入力タイミングとのずれを監視するずれ時間監視部３４、入力タイミングのずれの大きさに応じて、撮像装置１２における１フレームあたりの動作周期を調整する要求信号を送信する動作周期調整部３６を含む。
　撮像装置１２は、撮像素子３１とブリッジ部３０を含む。撮像素子３１は上記のとおりＣＣＤまたはＣＭＯＳ等のセンサである。ブリッジ部３０は、フレームデータのホスト端末２０への出力を制御する出力制御部４１、撮像装置１２における垂直同期信号を起点として水平同期信号（ＨＳｙｎｃ）の出力をカウントし、所定の走査ラインで信号を発生させるＨカウンタ部４２、Ｈカウンタ部４２からの信号を起点としてピクセルクロックをカウントし、ピクセルクロックに対し設定された値で垂直同期信号を発生させるＶＳｙｎｃ調整カウンタ部４４を含む。
　出力制御部４１は、撮像素子３１が撮影した結果得られたフレームのデータを、ＵＳＢなどのインターフェースを介して、走査ライン順にホスト端末２０へ送出する。さらにフレームデータに含まれる各種同期信号の情報を分離し、Ｈカウンタ部４２、ＶＳｙｎｃ調整カウンタ部４４に適宜供給する。出力制御部４１が行う処理は一般的な技術を適用できるため詳細には言及しない。Ｈカウンタ部４２およびＶＳｙｎｃ調整カウンタ部４４と、ホスト端末２０のずれ時間監視部３４および動作周期調整部３６の詳細な動作は後に述べる。
　次に図５で示した構成によって、撮像装置１２からの入力とディスプレイ１６への出力を同期させる原理を説明する。図６は撮像装置１２において発生させる信号を説明するための図である。なおこれらの信号は一般的な撮像装置で発生される信号であり、本実施の形態ではそれを利用することができる。同図において右方向が、各走査ラインにおける画素単位の時間経過を、下方向が、走査ライン単位の時間経過を示している。同図中央の矩形のうち白抜きの領域が画素値の入出力期間を表し、網掛けの領域が水平帰線期間（ＨＢｌａｎｋ）および垂直帰線期間（ＶＢｌａｎｋ）を示している。
　まず横方向に表された、各走査ラインにおける時間経過は、図の上端に示すように、ピクセルクロック（ＰＣＬＫ）の立ち上がりエッジ周期ＰＴ（＝１／ＰＣＬＫ）を１単位とする。ピクセルクロックは画素値の出力周波数を有する。そして走査ラインごとに、画素値の出力期間を表すデータイネーブル信号（ＤＥ）、走査ラインの終点のタイミングを表す水平同期信号（ＨＳｙｎｃ）が発生する。図の縦方向に表された、走査ライン単位の時間経過は、水平同期信号の出力周期を１単位とする。そしてフレームごとに、値を持つ走査ラインの出力期間を表すデータイネーブル信号（ＤＥ）、フレームの終点のタイミングを表す垂直同期信号（ＶＳｙｎｃ）が発生する。
　ここで、水平帰線期間を含めた次の走査ラインまでのピクセルクロックのカウント値をＨＴｏｔａｌ、垂直帰線期間を含めた次のフレームまでの走査ラインのカウント値をＶＴｏｔａｌとすると、撮像装置１２で撮影されホスト端末２０へ入力されるフレームのフレームレートＲ（ｆｐｓ）は、
　R(fps)＝PCLK(Hz)/(HTotal×VTotal)
である。すなわち１フレームあたりの入力周期Ｔｉｎｔ（ｓｅｃ）は、
　Tint(sec)=1/R(fps)=(HTotal×VTotal)/PCLK(Hz)=HTotal×VTotal×PT(sec)
である。
　本実施の形態では、撮像装置１２から入力されるフレームデータの１フレームあたりの入力周期Ｔｉｎｔを、ディスプレイ１６における１フレームあたりの出力周期に合わせることにより同期動作に近い状況を作り出す。そこで本実施の形態ではまず、ＨＴｏｔａｌおよびＶＴｏｔａｌを調整して走査ライン数単位で大まかな合わせ込みを行った後、実際の時間のずれを監視して、調整の結果決定した、フレームの最後の走査ラインの入力期間におけるピクセルカウントの単位で微調整を行う。
　走査ライン数単位での調整は、ディスプレイ１６における出力フレームレートをターゲットフレームレートＴＡとしたとき、次の式を満足するようにＨＴｏｔａｌおよびＶＴｏｔａｌを定めることによって行う。
　PCLK/(HTotal×VTotal) < TA < PCLK/HTotal×(VTotal-1)
上式の各項の逆数をとり、周期で比較すると次の式となる。
　PT×HTotal×(VTotal-1) < 1/TA < PT × HTotal×VTotal
　すなわち、垂直同期信号直後のフレームの始点から、最後から２番目の走査ラインの走査完了までに要するピクセルクロック単位の時間「PT×HTotal×(VTotal-1)」と、当該始点から最後の走査ラインの走査完了までに要する時間「PT × HTotal×VTotal」の間に、ディスプレイ１６の１フレームあたりの出力周期が入るように、ＨＴｏｔａｌおよびＶＴｏｔａｌを調整する。これにより、ピクセルカウント単位の微調整は最後の走査ラインの走査時間内に限定することができる。
　図７は撮像装置１２における垂直同期信号の発生タイミングの調整原理を説明するための図である。同図における矩形は図６と同様、水平同期信号、垂直同期信号を含めた、１フレームの入力期間を表している。そして当該矩形を左から右に横切る矢印は、走査ラインを模式的に示している。ここで、ディスプレイ１６において１フレームの表示が終了する時刻が線５０に対応するとすると、上記の式により決定した最後の走査ライン上、厳密にはＶＴｏｔａｌ－１のカウントとＶＴｏｔａｌのカウントの間の時間に、線５０が位置することになる。
　ＨＴｏｔａｌおよびＶＴｏｔａｌの調整は走査ライン単位のものであるため、ディスプレイ１６の出力周波数に応じてあらかじめ決定しておく。例えば撮像装置１２やホスト端末２０の内部メモリに、ディスプレイの出力周波数と、適切なＨＴｏｔａｌおよびＶＴｏｔａｌの値を対応づけたテーブルを準備しておき、ディスプレイ１６が接続されたときに実際の出力周波数に応じてテーブルを参照したうえ決定してもよい。場合によってはピクセルクロック自体を上式による調整対象としてもよい。
　このようにＨＴｏｔａｌおよびＶＴｏｔａｌを決定したら、その後は実際の時間のずれを監視しながらピクセルカウント単位の微調整を行う。この調整は定性的には、最後の走査ライン上にあるべき当該フレームとしての終点、すなわち図７における最後の矢印５２の先端を、線５０に近づける調整となる。調整によって得られた終点で垂直同期信号を発生させ、次のフレームの撮像を開始すれば、撮像装置１２からの１フレームあたりの入力周期と、ディスプレイ１６への１フレームあたりの出力周期がおよそ等しくなる。
　ピクセルカウント単位での時間計測では厳密な計測時間に対し丸め誤差が発生すること、撮像装置やディスプレイの周波数にはそれぞれ揺らぎがあること、処理の負荷などを考慮すると、時間のずれが所定量蓄積した時点で、矢印５２の長さ、すなわち最後の走査ラインにおいて垂直同期信号を発生させるまでのピクセルカウント値を調整するのが効率的である。以後、このようなピクセルカウント値を「最終ライン期間」と呼ぶ。
　実際の調整処理は、最後の走査ラインにおいて線５０までの距離より短い最終ライン期間ＭＦ、および線５０までの距離より長い最終ライン期間ＭＳをあらかじめ決定しておき、それらを切り替えることによって行う。短い方の最終ライン期間ＭＦおよび長い方の最終ライン期間ＭＳは次の式を満足する値である。
　PT×(HTotal×(VTotal-1)+ MF) < 1/TA < PT ×(HTotal×(VTotal-1)+ MS)
そして撮像装置１２からの入力がディスプレイ１６への出力より早すぎる場合は長い最終ライン期間ＭＳを、遅すぎる場合は短い最終ライン期間ＭＦを設定することにより、撮像装置１２からの１フレームあたりの入力周期を調整する。
　２つの最終ライン期間ＭＦおよびＭＳを、線５０で示された、ディスプレイ１６による１フレームの出力終了時刻を挟む直近の整数値とすると、ＭＦおよびＭＳは以下の式から決定できる。
　MF = floor(FIT/PT - HTotal (VTotal -1 ))
　MS = ceil(FIT/PT - HTotal (VTotal -1))
　ここでfloor(x)はｘ以下の最大の整数、ceil(x)はｘ以上の最小の整数を出力する関数である。またＦＩＴは１／ＴＡで与えられる、ディスプレイ１６の１フレームの表示周期である。
　さらに撮像装置１２およびディスプレイ１６における動作周波数の揺らぎをの幅を考慮し、２つの最終ライン期間ＭＦおよびＭＳを以下のように決定して両者の差を大きくしてもよい。
　MF = floor(FIT/PT - HTotal (VTotal -1 ))- dz/2
　MS = ceil(FIT/PT - HTotal (VTotal -1))+ dz/2
ここでｄｚは揺らぎの幅を考慮した補正値であり、あらかじめ決定しておく。
　次に、以上のような調整を図５に示した構成によって実現するときの処理手順を示す。図８は本実施の形態において撮像装置１２からの１フレームあたりの入力周期を調整する処理の手順を示すフローチャートである。同フローチャートはユーザがホスト端末２０に対し、動画像の撮影とそれを用いた画像の表示を含む機能の実行を指示し、ホスト端末２０が撮像装置１２に撮影の開始を要求したときに処理が開始される。
　まず撮像装置１２において、最終ライン期間Ｍに初期値Ｍ０を設定する（Ｓ１０）。初期値Ｍ０は０からＨＴｏｔａｌまでのいずれの値でもよく、ＭＦまたはＭＳでもよい。次に撮像装置１２は動画撮影を開始する（Ｓ１２）。そして出力制御部４１は、フレーム番号Ｎに０を代入したうえ（Ｎ１４）、第０番目のフレームのデータを走査ライン順にホスト端末２０へ入力していく（Ｓ１６）。このときＨカウンタ部４２は、垂直同期信号の発生を受けてカウント値を０とした後、水平同期信号の出力をカウントしていくことで入力済みの走査ラインの数Ｈを監視する。
　撮像装置１２から入力されたデータをホスト端末２０が取得し、ディスプレイ１６への出力を開始することにより、ディスプレイ１６に動画像が表示される（Ｓ１８）。撮像装置１２では、ホスト端末２０へ入力済みの走査ラインの数ＨがＶＴｏｔａｌ－１に達しない間は、各走査ラインのデータ出力を継続する（Ｓ２０のＮ、Ｓ１６）。出力済みの走査ラインの数ＨがＶＴｏｔａｌ－１に達したら（Ｓ２０のＹ）、最後の走査ラインＶＴｏｔａｌのデータをホスト端末２０へ入力していく。このときＶＳｙｎｃ調整カウンタ部４４は、走査ラインの数ＨがＶＴｏｔａｌ－１に達したことをＨカウンタ部４２から受けてカウント値を０とした後、ピクセルクロックの立ち上がりエッジをカウントしていく。
　ピクセルカウント値Ｐが最終ライン期間Ｍに達しない間は、データ入力を継続する（Ｓ２４のＮ、Ｓ２２）。ピクセルカウント値Ｐが、最終ライン期間Ｍに達したら（Ｓ２４のＹ）、ＶＳｙｎｃ調整カウンタ部４４は、垂直同期信号を撮像素子３１およびＨカウンタ部４２に出力する（Ｓ２６）。
　ホスト端末２０のずれ時間監視部３４は、１フレーム分のデータが撮像装置１２から入力される都度、受信時のタイムスタンプを取得する。そして、第０フレームのデータ入力開始から第Ｎフレームのデータ入力完了までの実際の時間と、ディスプレイ１６の出力周波数で入力動作がなされたときの想定時間との差、すなわちずれが、あらかじめ準備したしきい値を超えたか否かを判定する（Ｓ３０）。しきい値を超えている場合は（Ｓ３０のＹ）、撮像装置１２のＶＳｙｎｃ調整カウンタ部４４が保持している最終ライン期間Ｍに、ＭＦまたはＭＳの値を設定し直す（Ｓ３２）。
　ずれ量Ｄは例えば次の式で求められる。
　D = |time_stump(N)- FIT×N|
ここでtime_stump(N)は、第０フレームの入力開始から第Ｎフレームの入力完了までのタイムスタンプの差である。このタイムスタンプを、ホスト端末２０が出力するビデオクロック由来の周波数制御用電圧ＶＣＴにより計測することで、ホスト端末２０内で制御がなされるＦＩＴの実際の時間に基づき正確に比較することができる。
　上述のようにずれ量Ｄがしきい値ｄｗより大きければ、最終ライン期間Ｍを設定し直す。このとき、time_stump(N)- FIT×Nが正の値であれば撮像装置１２からの入力が遅いため短い方の最終ライン期間ＭＦを設定する。負の値であれば撮像装置１２からの入力が速いため長い方の最終ライン期間ＭＦを設定する。撮像装置１２における最終ライン期間の更新は、実際には最後の走査ライン以外のデータをホスト端末２０へ入力しているＳ１６、Ｓ２０の処理ステップの期間中に行ってよい。ずれ量Ｄがしきい値ｄｗを超えていない場合は、そのままの設定を維持する（Ｓ３０のＮ）。
　ユーザからの指示入力などにより処理を終了する必要が生じない間は（Ｓ３４のＮ、Ｓ３８のＮ）、撮像装置１２においてフレーム番号をインクリメントしながら（Ｓ３６）、以上の処理を繰り返す。この間、撮像装置１２における撮影、ホスト端末２０へのフレームデータ入力、ディスプレイ１６へのフレームデータ出力、およびディスプレイ１６における動画像の表示は継続して行われているものとする。処理終了の必要が生じたら、撮像装置１２、ホスト端末２０の双方で処理を終了する（Ｓ３４のＹ、Ｓ３８のＹ）。
　図９は本実施の形態によって撮像装置１２からの入力周期を調整した場合における、撮像装置１２からの出力データ（上段）、入力バッファ３２におけるデータ（中段２列）、フレームメモリ３８におけるデータ（下段２列）の変遷を示している。図の表し方は図４と同様である。また同図では、撮像装置１２における出力対象のフレームを表す各矩形の上に、当該フレームに対する最終ライン期間Ｍの設定値を示している。
　まず撮像装置１２から第ｎフレームが出力される時刻ｔ０において、最終ライン期間Ｍには、短い方の最終ライン期間ＭＦが設定されている。この設定により、撮像装置１２からの１フレームあたりのデータ入力周期は、ディスプレイ１６への１フレームあたりのデータ出力周期よりわずかに短い状態となっている。
　図４で説明したように、撮像装置１２からの入力とディスプレイ１６への出力が完全に同期していると、入力バッファ３２への格納が完了したフレームデータは直後にディスプレイ１６に出力される。本実施の形態でも上記のとおりＶＴｏｔａｌ、ＨＴｏｔａｌを調整したうえで、ピクセルカウント単位でディスプレイの出力周波数への合わせ混みを行っているため、図４に近い状態が得られている。
　一方、フレーム処理が進捗していくと、撮像装置１２からの入力周期とディスプレイ６への出力周期の微妙なずれが蓄積していく。同図では、各フレームのデータが入力バッファ３２に格納し終えた時刻と、当該データのフレームメモリ３８への読み出しが開始される時刻とのずれ時間をＤ０、Ｄ１、Ｄ２、・・・として表している。例えば第ｎ＋１フレームのデータを入力バッファ３２に格納し終えた時刻ｔ１から、当該データの読み出し開始時刻ｔ２までの時間のずれがＤ１である。
　この時間のずれは、撮像装置１２からの１フレームあたりの入力周期とディスプレイ１６への１フレームあたりの出力周期の差に起因するものであり、ひいては、ずれ時間監視部３４がしきい値判定をする値に対応する。上述のとおり最終ライン期間Ｍとして小さい方の値ＭＦが設定されている場合、撮像装置１２からの入力周期がディスプレイ１６への出力周期より短いため、データの入力が完了する時刻がその読み出しを開始する時刻より前にずれていき、Ｄ０、Ｄ１、Ｄ２、Ｄ３、とその値が増えていく。そしてＤ４でしきい値ｄｗを超える。
　動作周期調整部３６はこの結果を受け、ＶＳｙｎｃ調整カウンタ部４４が保持する最終ライン期間Ｍを、長い方の最終ライン期間ＭＳに設定し直すように要求信号を送信する（Ｓ４０）。この設定により撮像装置１２からの入力周期がディスプレイ１６への出力周期より長くなるため、ずれ時間はその後のＤ５で減少に転じ、Ｄ６、Ｄ７、Ｄ８、Ｄ９と減少していく。さらにフレーム処理が進捗すると、やがてずれ時間は撮像装置１２からの入力が遅れる方向に増えていきくため、しきい値ｄｗを超えた時点で最終ライン期間Ｍを、短い方の最終ライン期間ＭＦに設定し直す（図示せず）。
　このようにすることで、撮像装置１２からのフレームデータの格納が完了する時刻と、ディスプレイ１６への出力が開始される時刻との差が最大でもしきい値ｄｗ程度に抑えられるため、１フレーム分のデータの余りや不足が生じることがなくなる。結果として、つじつまを合わせるためにデータを破棄したり同じフレームを２回表示したりする必要がなくなり、不安定なレイテンシの発生を抑制できる。さらに図９に示したように入力バッファ３２は２つのバッファ領域のみで充足する。
　本実施の形態の撮像装置１２は、最終ライン期間Ｍの設定を更新しなければ、既存の非同期の撮像装置と同様に動作する。したがって用途に合わせて同期／非同期を切り替えるようにしてもよい。図１０は、図２で示したようにホスト端末２０に同期用バッファ２２を設けた状態で本実施の形態の撮像装置１２を接続した場合の、撮像装置１２からの出力データ（上段）、同期用バッファ２２におけるデータ（中段３列）、フレームメモリ２６におけるデータ（下段２列）の変遷を示している。
　図３で示したように、同期用バッファ２２のみでの運用では、ディスプレイ１６側の動作周期が撮像装置１２側のそれより長い場合、同期用バッファ２２における各フレームのデータの保持期間に対し、それを読み出す期間が徐々に後にずれていく。逆に短い場合は、徐々に前にずれていく。本実施の形態を導入し、最終ライン期間Ｍを適切に設定することにより、同図に示すように、同期用バッファ２２におけるデータ保持期間のうちおよそ前半の期間で各フレームのデータを読み出すことができる。
　結果として、ディスプレイ１６の周波数に合わせたデータ読み出しが行われても、本来のフレーム順で確実にデータへアクセスでき、余分な処理の必要が生じない。また表示しきれないフレームのデータを破棄するような事態が生じないため、フレームの時間間隔が一定に保たれる。これにより、読み出されたフレームデータを用いてトラッキングなどの処理を行う場合でも、フレームを破棄したことに起因する処理の負荷や精度の変動が発生しない。
　以上述べた本実施の形態によれば、撮像装置で撮影した動画をリアルタイムでディスプレイに表示するシステムにおいて、撮像装置からホスト端末へのフレームデータの入力周期を、ホスト端末からディスプレイへの出力周期に近づけるように、垂直同期信号の発生タイミングを調整する。このためまず、走査ラインの長さおよび数による調整を事前に行っておき、実際の時間のずれを監視しながら、最後の走査ラインにおける垂直同期信号の発生タイミングをピクセルカウント単位で調整する。
　これによりピクセルクロックの立ち上がりエッジ周期レベル、すなわちディスプレイの出力周期の１００万分の１程度での時間調整を低コストで実現できる。走査ラインの数のみを調整する場合、フレームによって撮影時間の変動が比較的大きくなり、ローリングシャッターを有する撮像素子において露出の変動を引き起こす可能性があるが、本実施の形態のように微少時間での調整によれば、露出への影響は無視できるレベルとなる。
　また調整は、時間のずれが所定量、累積した時点で、設定値を更新し直すのみであるため、処理コストへの影響が少ない。さらに、２つの最終ライン期間の差分や、時間のずれに対するしきい値によって、装置自体が持つ動作周波数の揺らぎを吸収したタイミングでの調整が可能であるため、高頻度に無駄な調整を行い余計に処理の負荷がかかるといった不都合が発生しない。結果として、低コストかつ処理の負荷への影響を少なく、動画撮影から表示までを低レイテンシで応答性よく実行できる。
　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　例えば本実施の形態における撮像装置は一眼の撮像素子からなっていたが、ステレオカメラなど複数のカメラを備えた構成としてもよい。この場合、ＶＳｙｎｃ調整カウンタ部から発生させた垂直同期信号を全てのカメラに与えることにより、複数のカメラからの映像をディスプレイの出力と同期させることが容易にできる。
　１０　情報処理システム、　１２　撮像装置、　１６　ディスプレイ、　２０　ホスト端末、　３０　ブリッジ部、　３２　入力バッファ、　３４　ずれ時間監視部、　３６　動作周期調整部、　３８　フレームメモリ、　４０　表示制御部、　４１　出力制御部、　４２　Ｈカウンタ部、　４４　ＶＳｙｎｃ調整カウンタ部。
　以上のように本発明はコンピュータ、ゲーム装置、カメラ、画像表示装置などの情報処理装置および情報処理システムに利用可能である。

Claims (10)

  1. 　撮像素子が撮像した動画像の各フレームデータを垂直同期信号の周波数で走査ライン順に出力する出力制御部と、
    　前記出力制御部が出力するフレームデータの出力時刻と、動画像を即時表示するディスプレイにおける出力周波数に基づく基準出力時刻とのずれが所定のしきい値を超えたとき、垂直同期信号の発生タイミングの設定を変更する垂直同期信号調整部と、
    　を備えたことを特徴とする撮像装置。
  2. 　前記垂直同期信号調整部は、フレームの最終走査ラインにおいて、画素値の出力周波数を有するピクセルクロックのエッジの数をピクセルカウント値としてカウントし、垂直同期信号を発生させるピクセルカウント値の設定を変化させることを特徴とする請求項１に記載の撮像装置。
  3. 　フレームの各走査ラインの走査周期を表すピクセルカウント値と、フレームの走査ラインの数は、前記ディスプレイにおける出力周波数に基づく１フレームあたりの走査時間の基準終了時刻が、前記撮像装置におけるフレームの最終走査ラインの走査期間中に到来するように設定されていることを特徴とする請求項２に記載の撮像装置。
  4. 　ディスプレイにおける出力周波数と、それに対して設定すべき、前記走査ラインの走査周期を表すピクセルカウント値と前記フレームの走査ラインの数とを対応づけたテーブルを保持するメモリをさらに備え、
    　前記ピクセルカウント値と走査ラインの数は、実際に接続されたディスプレイの出力周波数に応じて前記テーブルを参照して設定されることを特徴とする請求項３に記載の撮像装置。
  5. 　前記垂直同期信号調整部は、前記フレームデータの出力時刻と前記基準出力時刻の前後関係によって、あらかじめ定められた、前記ディスプレイにおける出力周波数に基づく１フレームあたりの走査時間の基準終了時刻より遅いタイミングのピクセルカウント値と、当該基準終了時刻より早いタイミングのピクセルカウント値を、垂直同期信号を発生させるピクセルカウント値として切り替えて設定することを特徴とする請求項１または２に記載の撮像装置。
  6. 　接続した撮像装置から順次入力される各フレームデータの入力時刻を取得し、当該フレームデータの出力先のディスプレイにおける出力周波数に基づく基準入力時刻からのずれを監視するずれ時間監視部と、
    　前記ずれが所定のしきい値を超えたとき、前記撮像装置における垂直同期信号の発生タイミングを調整する要求信号を前記撮像装置に送信する動作周期調整部と、
    　を備えたことを特徴とする情報処理装置。
  7. 　動画像を撮影する撮像装置と、当該動画像のフレームデータを順次取得しディスプレイに出力する情報処理装置と、を備えた情報処理システムであって、
    　前記情報処理装置は、
    　前記撮像装置から入力される各フレームデータの入力時刻を取得し、前記ディスプレイにおける出力周波数に基づく基準入力時刻からのずれを監視するずれ時間監視部と、
    　前記ずれが所定のしきい値を超えたとき、前記撮像装置における垂直同期信号の発生タイミングを調整する要求信号を前記撮像装置に送信する動作周期調整部と、
    　を備え、前記撮像装置は、
    　フレームの最終走査ラインにおいて、画素値の出力周波数を有するピクセルクロックのエッジの数をピクセルカウント値としてカウントし、前記要求信号を取得した際、垂直同期信号を発生させるピクセルカウント値の設定を変更する垂直同期信号調整部を備えたことを特徴とする情報処理システム。
  8. 　撮像装置が、撮影した動画像を即時表示するディスプレイにおけるフレームデータ出力処理と、自らのフレームデータ出力処理を同期させる方法であって、
    　各フレームデータを垂直同期信号の周波数で走査ライン順に出力するステップと、
    　出力するフレームデータの出力時刻と、前記ディスプレイにおける出力周波数に基づく基準出力時刻とのずれが所定のしきい値を超えたとき、前記垂直同期信号の発生タイミングの設定を変更するステップと、
    　を含むことを特徴とするフレームデータ出力同期化方法。
  9. 　接続した撮像装置から順次入力される各フレームデータの入力時刻を取得し、当該フレームデータの出力先のディスプレイにおける出力周波数に基づく基準入力時刻からのずれを監視する機能と、
    　前記ずれが所定のしきい値を超えたとき、前記撮像装置における垂直同期信号の発生タイミングを調整する要求信号を前記撮像装置に送信する機能と、
    　をコンピュータに実現させることを特徴とするコンピュータプログラム。
  10. 　接続した撮像装置から順次入力される各フレームデータの入力時刻を取得し、当該フレームデータの出力先のディスプレイにおける出力周波数に基づく基準入力時刻からのずれを監視する機能と、
    　前記ずれが所定のしきい値を超えたとき、前記撮像装置における垂直同期信号の発生タイミングを調整する要求信号を前記撮像装置に送信する機能と、
    　をコンピュータに実現させることを特徴とするコンピュータプログラムを記録した記録媒体。
PCT/JP2012/003576 2011-07-29 2012-05-31 撮像装置、情報処理装置、情報処理システムおよびフレームデータ出力同期化方法 Ceased WO2013018262A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/234,008 US9185269B2 (en) 2011-07-29 2012-05-31 Imaging device, information processing device, information processing method, and method for synchronizing frame data output
CN201280036086.2A CN103703754B (zh) 2011-07-29 2012-05-31 拍摄装置、信息处理装置、信息处理系统以及帧数据输出同步化方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-167800 2011-07-29
JP2011167800A JP2013034039A (ja) 2011-07-29 2011-07-29 撮像装置、情報処理装置、情報処理システムおよびフレームデータ出力同期化方法

Publications (1)

Publication Number Publication Date
WO2013018262A1 true WO2013018262A1 (ja) 2013-02-07

Family

ID=47628818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003576 Ceased WO2013018262A1 (ja) 2011-07-29 2012-05-31 撮像装置、情報処理装置、情報処理システムおよびフレームデータ出力同期化方法

Country Status (5)

Country Link
US (1) US9185269B2 (ja)
JP (1) JP2013034039A (ja)
CN (1) CN103703754B (ja)
TW (1) TWI513321B (ja)
WO (1) WO2013018262A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5929712B2 (ja) 2012-11-06 2016-06-08 セイコーエプソン株式会社 撮影装置、撮影装置の制御方法
WO2015031456A1 (en) * 2013-08-29 2015-03-05 Interphase Corporation Rolling shutter synchronization of a pointing device in an interactive display system
US9679541B2 (en) 2014-12-08 2017-06-13 Nxp Usa, Inc. Method of displaying a pixel of an image on a screen based on a location of the pixel on the screen
US10147463B2 (en) 2014-12-10 2018-12-04 Nxp Usa, Inc. Video processing unit and method of buffering a source video stream
US9484004B2 (en) 2015-02-17 2016-11-01 Freescale Semiocnductor, Inc. Display controller for display panel
US9679526B2 (en) 2015-06-30 2017-06-13 Nxp Usa, Inc. Display system, an integrated circuit for use in the display system, and a method of displaying at least two images on at least two screens
KR102363686B1 (ko) * 2015-06-30 2022-02-17 엘지디스플레이 주식회사 시퀀스가 제어된 타이밍 컨트롤러, 브릿지 집적회로 및 이를 구동하는 방법
US10986309B2 (en) 2015-06-30 2021-04-20 Nxp Usa, Inc. Video buffering and frame rate doubling device and method
JP6645279B2 (ja) * 2016-03-11 2020-02-14 セイコーエプソン株式会社 撮影装置
JP6620615B2 (ja) 2016-03-11 2019-12-18 セイコーエプソン株式会社 撮影装置
JP6487386B2 (ja) * 2016-07-22 2019-03-20 ファナック株式会社 時刻精度を維持するためのサーバ、方法、プログラム、記録媒体、及びシステム
CN106407827B (zh) * 2016-11-24 2021-07-27 合肥工业大学 一种基于频率差的屏幕防偷拍设备
CN109474743B (zh) * 2018-11-19 2021-03-12 Oppo广东移动通信有限公司 电磁干扰控制方法及相关产品
EP4679407A3 (en) * 2019-06-07 2026-04-29 Stereyo BV Method for optimizing the dynamic range of a led screen
CN111477187B (zh) * 2020-05-08 2022-01-04 Tcl华星光电技术有限公司 时序控制器及其信号校准方法、显示装置
CN114257772B (zh) * 2021-11-26 2024-09-10 苏州华兴源创科技股份有限公司 数据传输的调整方法、装置、计算机设备及可读存储介质
EP4311222A1 (en) * 2022-07-18 2024-01-24 BHS Technologies GmbH Medical imaging system and method for controlling the same
CN115720251B (zh) * 2022-11-18 2025-10-03 深圳康佳电子科技有限公司 一种用于区域调光的vsync信号处理装置和方法、电子设备
TWI844209B (zh) * 2022-12-23 2024-06-01 凌華科技股份有限公司 影像輸出同步方法及裝置
CN116935775B (zh) * 2023-09-15 2024-02-23 广东欧谱曼迪科技股份有限公司 一种降低串扰率的方法、装置、电子设备及存储介质
CN118018774B (zh) * 2024-01-15 2024-12-24 上海先楫半导体科技有限公司 显示系统的输入帧率与输出帧率调整匹配方法、系统、终端及介质
CN117812197B (zh) * 2024-02-27 2024-05-28 武汉精立电子技术有限公司 时间同步方法及图像信号发生装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007067673A (ja) * 2005-08-30 2007-03-15 Canon Inc データ受信装置、データ送信装置及びデータ通信システム
JP2010136325A (ja) * 2008-10-30 2010-06-17 Victor Co Of Japan Ltd ワイヤレス画像伝送装置とワイヤレス画像受信装置とワイヤレス画像送信装置並びにワイヤレス画像伝送方法とワイヤレス画像受信方法とワイヤレス画像送信方法
JP2010213119A (ja) * 2009-03-11 2010-09-24 Panasonic Corp 映像伝送システム、撮像装置及びモニタ装置
JP2011023992A (ja) * 2009-07-16 2011-02-03 Hitachi Consumer Electronics Co Ltd コンテンツ配信システム、再生装置、及び配信サーバ

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978041A (en) * 1994-10-24 1999-11-02 Hitachi, Ltd. Image display system
JP3344197B2 (ja) * 1996-03-08 2002-11-11 株式会社日立製作所 映像信号の処理装置及びこれを用いた表示装置
RU2000102890A (ru) 1998-05-19 2002-03-27 Сони Компьютер Энтертейнмент Инк. (Jp) Устройство и способ обработки изображений и распространяемый носитель
CN1737899A (zh) * 2004-08-17 2006-02-22 索尼株式会社 图像信号处理装置和相位同步方法
JP2006085145A (ja) * 2004-08-17 2006-03-30 Sony Corp 画像信号処理装置および位相同期方法
US7576803B2 (en) 2005-04-07 2009-08-18 Aten International Co., Ltd. Processing circuit for processing horizontal and vertical synchronization signals
JP4769974B2 (ja) 2006-01-30 2011-09-07 オンセミコンダクター・トレーディング・リミテッド 水平垂直同期信号生成回路

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007067673A (ja) * 2005-08-30 2007-03-15 Canon Inc データ受信装置、データ送信装置及びデータ通信システム
JP2010136325A (ja) * 2008-10-30 2010-06-17 Victor Co Of Japan Ltd ワイヤレス画像伝送装置とワイヤレス画像受信装置とワイヤレス画像送信装置並びにワイヤレス画像伝送方法とワイヤレス画像受信方法とワイヤレス画像送信方法
JP2010213119A (ja) * 2009-03-11 2010-09-24 Panasonic Corp 映像伝送システム、撮像装置及びモニタ装置
JP2011023992A (ja) * 2009-07-16 2011-02-03 Hitachi Consumer Electronics Co Ltd コンテンツ配信システム、再生装置、及び配信サーバ

Also Published As

Publication number Publication date
CN103703754B (zh) 2016-10-12
TW201313023A (zh) 2013-03-16
CN103703754A (zh) 2014-04-02
TWI513321B (zh) 2015-12-11
JP2013034039A (ja) 2013-02-14
US20140139740A1 (en) 2014-05-22
US9185269B2 (en) 2015-11-10

Similar Documents

Publication Publication Date Title
WO2013018262A1 (ja) 撮像装置、情報処理装置、情報処理システムおよびフレームデータ出力同期化方法
TWI408947B (zh) 影像調整裝置及影像調整方法
CN106134173B (zh) 显示控制装置和显示设备
US10044912B2 (en) Imaging device and image processing device for outputting image signal to be displayed, and display control device and imaging display apparatus for displaying image signal
JP2007295096A (ja) 同期信号生成装置、デジタルカメラ、及び同期信号生成方法
JP6170311B2 (ja) 撮像装置及びその制御方法
CN109819232A (zh) 一种图像处理方法及图像处理装置、显示装置
JP2014032159A (ja) 投影撮像システム及び投影撮像システムの制御方法
CN116830590A (zh) 用于无线同步捕获的系统以及智能设备
JP2017092819A5 (ja)
US11356603B2 (en) Image capturing apparatus and control method therefor
CN107181894A (zh) 拍摄装置
JP7449062B2 (ja) 電子機器およびその制御方法
JP2021019313A (ja) 撮像装置およびその制御方法ならびにプログラム
CN120238729A (zh) 图像采集方法、装置、设备、存储介质和程序产品
JP2013219624A (ja) 撮像装置
JP2018056652A (ja) 撮像装置及び撮像装置の制御方法
WO2022021058A1 (zh) 图像接收设备、图像处理设备及方法、图传系统
JP6489802B2 (ja) 撮像装置およびその制御方法、プログラム、並びに記憶媒体
JP6544939B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2013070261A (ja) 同期信号制御回路及び表示装置
JP2023160138A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2013219623A (ja) 撮像装置
JP2017092734A (ja) 撮像装置及びその制御方法
JP2016009918A (ja) 画像処理装置、撮像装置、及び画像データ出力方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12819666

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14234008

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12819666

Country of ref document: EP

Kind code of ref document: A1