WO2014057719A1 - 撮像表示システム、撮像装置、撮像方法、及びプログラム - Google Patents

撮像表示システム、撮像装置、撮像方法、及びプログラム Download PDF

Info

Publication number
WO2014057719A1
WO2014057719A1 PCT/JP2013/068662 JP2013068662W WO2014057719A1 WO 2014057719 A1 WO2014057719 A1 WO 2014057719A1 JP 2013068662 W JP2013068662 W JP 2013068662W WO 2014057719 A1 WO2014057719 A1 WO 2014057719A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
imaging device
data
timing
unit
Prior art date
Application number
PCT/JP2013/068662
Other languages
English (en)
French (fr)
Inventor
柳舘　昌春
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP13845016.8A priority Critical patent/EP2908513B1/en
Priority to CN201380051763.2A priority patent/CN104704808B/zh
Publication of WO2014057719A1 publication Critical patent/WO2014057719A1/ja
Priority to US14/679,567 priority patent/US9414001B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets

Definitions

  • the present invention relates to an imaging display system having a plurality of imaging devices that wirelessly transmit captured image data and at least one display device that receives the image data and displays an image.
  • the imaging timing of each imaging device has been aligned by supplying an external synchronization signal to each imaging device in a wired manner.
  • a technique for synchronizing a plurality of cameras in a TV studio corresponds to this.
  • Patent Document 1 periodically notifies each imaging device of information for synchronization by broadcast communication. It is shown that the imaging timing is controlled by operating based on the notified information.
  • multi-screen display for displaying images from a plurality of imaging devices on the same screen and panorama display for connecting images from a plurality of imaging devices are performed. For example, at work sites such as non-destructive inspections, it is possible to simultaneously observe related inspection locations by displaying images inside a structure imaged by a plurality of imaging devices side by side on the same screen. Yes.
  • the present invention has been made in view of the above-described problems, and an object of the present invention is to adjust imaging timing and wireless transmission timing between a plurality of imaging apparatuses without performing wireless communication of special information for obtaining synchronization.
  • the imaging display system performs imaging at a predetermined imaging cycle, generates imaging data every time imaging is performed, and wirelessly transmits compressed image data corresponding to the imaging data.
  • An imaging display system comprising: a plurality of imaging devices; and a display device that wirelessly receives the compressed image data transmitted wirelessly and displays an image based on the compressed image data, wherein one of the plurality of imaging devices
  • the reference imaging device When defining one imaging device as a reference imaging device, the reference imaging device performs imaging at a predetermined imaging cycle, and generates and outputs the imaging data every time imaging is performed, and the imaging A data processing unit that generates the compressed image data from the imaging data output from the unit, and a first non-transmission unit that wirelessly transmits the compressed image data generated by the data processing unit at a predetermined transmission cycle.
  • the imaging device other than the reference imaging device further receives the compressed image data wirelessly transmitted from the imaging unit, the data processing unit, and the reference imaging device. Storing time-related data indicating a temporal relationship between the wireless communication unit of 1, the imaging timing in the reference imaging device, and the wireless transmission timing of the compressed image data in the reference imaging device, and the time-related data, Based on the reception timing of the compressed image data wirelessly received by the first wireless communication unit, the imaging timing of the imaging unit is adjusted to match the imaging timing of the reference imaging device, and the wireless of the reference imaging device A control unit that adjusts the wireless transmission timing of the first wireless communication unit so as to be different from the transmission timing, wherein the display device is the imaging device. A second wireless communication unit that wirelessly receives the compressed image data wirelessly transmitted from the display unit, and a display unit that displays an image based on the compressed image data wirelessly received by the second wireless communication unit at a predetermined display cycle. And having.
  • the first wireless communication unit of the reference imaging device allows the imaging data corresponding to one imaging to be transmitted wirelessly by the display device.
  • Reception completion data indicating that it has been received is wirelessly received from the display device, and the imaging unit of the reference imaging device performs imaging once, and then the reception completion data is received by the first wireless communication unit.
  • the display device When received, the next imaging is performed, and the display device displays the imaging data corresponding to one imaging of the imaging unit of the reference imaging device at the display unit, and the second display A calculation unit that calculates an adjustment time of the imaging timing of the imaging unit of the reference imaging device based on a reception timing of the imaging data wirelessly received by the wireless communication unit of the second imaging unit Is calculated
  • the reception completion data may be wirelessly transmitted to the reference imaging device at a timing according to the adjustment time.
  • the second wireless communication unit of the display device performs the once reception of the imaging unit of the reference imaging device as the reception completion data.
  • the wireless packets including the divided imaging data obtained by dividing the imaging data corresponding to the imaging of a plurality of data data indicating that the last wireless packet wirelessly transmitted from the reference imaging device has been normally received is transmitted to the reference imaging device. Wireless transmission may be performed.
  • the second wireless communication unit of the display device wirelessly transmits ACK data as the reception completion data to the reference imaging device. Also good.
  • the second wireless communication unit of the display device normally wirelessly transmits the wireless packet last wirelessly transmitted from the reference imaging device. After receiving, until the ACK data is wirelessly transmitted, NAC data may be wirelessly transmitted to the reference imaging device every time the wireless packet retransmitted from the reference imaging device is received.
  • the first wireless communication unit of the imaging device other than the reference imaging device wirelessly transmits the imaging data to the reference imaging device.
  • the reference imaging device further includes an image synthesis unit that synthesizes the imaging data output from the imaging unit and the imaging data wirelessly received by the first wireless communication unit, and the reference imaging
  • the first wireless communication unit of the apparatus wirelessly receives the imaging data wirelessly transmitted from the imaging apparatus other than the reference imaging apparatus, and wirelessly transmits the imaging data synthesized by the image synthesis unit to the display apparatus. You may send it.
  • the image synthesis unit of the reference imaging device generates the imaging data output from the imaging unit and the imaging data.
  • the imaging data wirelessly received by the first wireless communication unit within the same period as the imaging cycle may be combined.
  • the imaging device performs imaging at a predetermined imaging cycle, and each time imaging is performed, the imaging unit generates and outputs imaging data, and is output from the imaging unit.
  • a data processing unit that generates compressed image data from the imaging data, and another imaging that wirelessly transmits the compressed image data generated by the data processing unit at a predetermined transmission cycle and includes the imaging unit and the data processing unit
  • a wireless communication unit that wirelessly receives the compressed image data wirelessly transmitted from a device, an imaging timing in the other imaging device, and a wireless transmission timing of the compressed image data in the other imaging device.
  • the other imaging device based on the time-related data and the reception timing of the compressed image data wirelessly received by the wireless communication unit. Adjust the imaging timings of the imaging unit so as to match the imaging timing, and a control unit for adjusting the other radio transmission timing of the wireless communication unit wirelessly transmits a timing different from as the imaging device.
  • the wireless communication unit wirelessly receives the compressed image data from the other imaging device and displays an image based on the compressed image data.
  • the compressed image data generated by the data processing unit may be wirelessly transmitted to a display device.
  • the wireless communication unit performs the next imaging after the compressed image data is wirelessly transmitted in the other imaging device.
  • the compressed image data generated by the data processing unit may be wirelessly transmitted to the display device at a timing up to.
  • the wireless communication unit may wirelessly transmit the compressed image data generated by the data processing unit to the other imaging device.
  • the wireless communication unit captures the compressed image data generated by the data processing unit in the other imaging device. It may be transmitted wirelessly to the other image capturing apparatus at a timing after the compressed image data corresponding to the image capturing is wirelessly transmitted.
  • the imaging method performs imaging at a predetermined imaging cycle, and generates and outputs imaging data each time imaging is performed, and the imaging method outputs the imaging data.
  • a data processing unit that generates compressed image data from the imaging data
  • a wireless communication unit that wirelessly transmits the compressed image data generated by the data processing unit at a predetermined transmission cycle
  • the imaging unit and the data processing unit are included in the imaging method.
  • An image capturing method performed by an image capturing apparatus including: a control unit that controls the wireless communication unit to wirelessly receive the compressed image data wirelessly transmitted from the reference image capturing apparatus by the control unit of the image capturing apparatus.
  • the program performs imaging at a predetermined imaging cycle, and each time imaging is performed, the imaging unit generates and outputs imaging data, and the output from the imaging unit
  • a data processing unit that generates the compressed image data from the imaged data; a wireless communication unit that wirelessly transmits the compressed image data generated by the data processing unit at a predetermined transmission cycle; and the imaging unit and the data processing unit.
  • a step of causing a wireless communication unit to wirelessly receive the compressed image data wirelessly transmitted from the reference imaging device, an imaging timing in the other imaging device, and Time-related data indicating a temporal relationship with the wireless transmission timing of the compressed image data in another imaging device, and the wirelessly received by the wireless communication unit Based on the reception timing of the reduced image data, the imaging timing of the imaging unit is adjusted to match the imaging timing of the other imaging device, and the wireless communication unit wirelessly differs from the wireless transmission timing of the other imaging device. Adjusting the transmission timing.
  • the temporal relationship between the imaging timing in the reference imaging apparatus and the wireless transmission timing of compressed image data in the reference imaging apparatus is obtained.
  • the imaging timing of the imaging unit is adjusted to match the imaging timing of the reference imaging device based on the time-related data shown and the reception timing of the compressed image data wirelessly received by the first wireless communication unit, and the reference imaging device
  • the wireless transmission timing of the first wireless communication unit can be different from the wireless transmission timing, the imaging timing and the wireless transmission timing between a plurality of imaging devices can be adjusted without performing wireless communication of special information for synchronization. Can be adjusted.
  • an imaging apparatus in an imaging apparatus, temporal timing between imaging timing in another imaging apparatus and wireless transmission timing of compressed image data in the other imaging apparatus. Based on the time relationship data indicating the relationship and the reception timing of the compressed image data wirelessly received by the wireless communication unit, the imaging timing of the imaging unit is adjusted to match the imaging timing of the other imaging device, and the other imaging device By adjusting the wireless transmission timing of the wireless communication unit so as to be different from the wireless transmission timing, the imaging timing and the wireless transmission timing between a plurality of imaging devices are adjusted without performing wireless communication of special information for synchronization be able to.
  • 1 is a block diagram showing a configuration of an imaging display system according to a first embodiment of the present invention.
  • 1 is a block diagram illustrating a configuration of an imaging apparatus included in an imaging display system according to a first embodiment of the present invention.
  • 1 is a block diagram showing a configuration of a display device included in an imaging display system according to a first embodiment of the present invention.
  • 3 is a timing chart showing an operation of the imaging apparatus included in the imaging display system according to the first embodiment of the present invention.
  • 3 is a flowchart showing a procedure of operations of the imaging apparatus included in the imaging display system according to the first embodiment of the present invention.
  • 3 is a flowchart showing a procedure of operations of the imaging apparatus included in the imaging display system according to the first embodiment of the present invention.
  • FIG. 3 is a flowchart showing a procedure of operations of the imaging apparatus included in the imaging display system according to the first embodiment of the present invention.
  • 3 is a flowchart showing a procedure of an operation of the display device included in the imaging display system according to the first embodiment of the present invention.
  • FIG. 5 is a block diagram showing a configuration of an imaging display system according to a second embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating a configuration of an imaging apparatus included in an imaging display system according to a second embodiment of the present invention.
  • 10 is a timing chart showing the operations of the display device and the imaging device related to the adjustment of the display delay time in the second embodiment of the present invention.
  • 10 is a timing chart showing the operation of the imaging apparatus related to image composition in the second embodiment of the present invention.
  • the present invention is applied to an imaging display system including two imaging devices that transmit captured images by wireless communication and one display device that receives and displays wirelessly transmitted images. An example will be described.
  • FIG. 1 shows a configuration of an imaging display system according to the present embodiment. First, the outline of the imaging display system will be described with reference to FIG.
  • the imaging display system shown in FIG. 1 includes two imaging devices (imaging device 1 and imaging device 2) and one display device (display device 3).
  • the imaging data obtained by the imaging process is compressed and converted into transmission data according to a predetermined protocol, and then the transmission data is wirelessly transmitted.
  • the wirelessly transmitted transmission data is wirelessly received by the display device 3, and the received data is decompressed and converted into display data, and then an image is displayed.
  • the display device 3 is connected to two imaging devices, wirelessly transmits transmission data wirelessly transmitted from the connection partner, and is converted into imaging data from the two imaging devices obtained from the received transmission data.
  • the based image is displayed on the same screen.
  • the imaging device that is first connected to the display device 3 operates as a “parent” that determines the timing of imaging processing, and the imaging device that is connected to the display device 3 later is a “child” that matches the timing of imaging processing to the “parent”. "Operates as. In the description of the present embodiment, the imaging apparatus 1 will be described as “parent” and the imaging apparatus 2 will be described as “child”.
  • FIG. 2 shows the configuration of the imaging apparatus 1. Since the configuration of the imaging device 2 is the same as that of the imaging device 1, the configuration of the imaging device 1 will be described as a representative. As shown in FIG. 2, the imaging device 1 includes an imaging unit 4, a compression circuit 5, a baseband circuit 6, a high frequency circuit 7, an imaging control circuit 8, and an antenna 9.
  • the imaging unit 4 performs imaging processing at a predetermined imaging cycle, generates imaging data, and outputs the imaging data. Imaging data is output from the imaging unit 4 for each imaging cycle.
  • the compression circuit 5 JPEG-compresses the imaging data output from the imaging unit 4 to generate compressed image data.
  • the baseband circuit 6 performs baseband processing on the compressed image data output from the compression circuit 5, and converts the compressed image data into transmission data.
  • the high frequency circuit 7 performs high frequency processing on the transmission data output from the baseband circuit 6 and transmits the transmission data via the antenna 9.
  • the antenna 9 transmits transmission data by radio. Transmission data is wirelessly transmitted from the imaging device 1 at a predetermined transmission cycle.
  • the imaging control circuit 8 controls the operations of the imaging unit 4, the compression circuit 5, the baseband circuit 6, and the high frequency circuit 7.
  • the imaging control circuit 8 stores a program for controlling the operation of the imaging control circuit 8 and necessary data.
  • the function of the imaging device 1 is realized by reading and executing a program for controlling the operation of the imaging control circuit 8 by the imaging control circuit 8 which is a computer of the imaging device 1.
  • the program for controlling the operation of the imaging control circuit 8 may be provided by a “computer-readable recording medium” such as a flash memory. Further, the above-described program may be input to the imaging apparatus 1 by being transmitted to the imaging apparatus 1 through a transmission medium or by a transmission wave in the transmission medium from a computer storing the program in a storage device or the like. Good.
  • the “transmission medium” for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • a network such as the Internet
  • a communication line such as a telephone line.
  • the above-described program may be for realizing a part of the above-described function.
  • a difference file difference program
  • FIG. 3 shows the configuration of the display device 3.
  • the display device 3 includes an antenna 10, a high frequency circuit 11, a baseband circuit 12, a decompression circuit 13, a display processing circuit 14, a display unit 15, and a display control circuit 16.
  • the antenna 10 receives transmission data wirelessly transmitted from the imaging device 1 and the imaging device 2.
  • the high frequency circuit 11 performs frequency conversion of transmission data received via the antenna 10.
  • the baseband circuit 12 performs baseband processing on the transmission data output from the high-frequency circuit 11, and reconstructs compressed image data from the transmission data.
  • the decompression circuit 13 decompresses the compressed image data output from the baseband circuit 12, and reconstructs the imaging data.
  • the display processing circuit 14 converts the imaging data output from the decompression circuit 13 into display data for displaying an image on the display unit 15.
  • the display unit 15 displays an image based on the display data output from the display processing circuit 14.
  • the display control circuit 16 controls operations of the high-frequency circuit 11, the baseband circuit 12, the expansion circuit 13, the display processing circuit 14, and the display unit 15.
  • FIG. 4 shows operation timings of the imaging device 1 and the imaging device 2.
  • the right direction in FIG. 4 is the direction in which the time advances.
  • the imaging device 2 when the imaging device 2 is connected to the display device 3 in a state where the imaging device 1 and the display device 3 are connected and imaging data is wirelessly transmitted from the imaging device 1, the imaging device 2 The imaging timing and wireless transmission timing to be performed will be described.
  • T1-t2, t8-t13, t19-t21, and t27-t31 in FIG. 4 indicate periods during which the imaging unit 4 performs the imaging process. Since the timing (t2, t13, t21, t31) at which the imaging process ends in the figure is a predetermined imaging period, the period from t2-t13, t13-t21, t21-t31 is the predetermined imaging period. Further, the start timing (t1, t8, t19, t27) of the period during which the imaging process is performed is variable according to the exposure period set in the imaging unit 4 by the imaging control circuit 8.
  • the imaging data is sent to the compression circuit 5 and the compression process is performed.
  • the time required for the compression process varies depending on the state of the imaging data.
  • T3-t4, t14-t15, and t22-t23 in the figure indicate periods during which the compression circuit 5 is performing compression processing.
  • the time when the compression process reaches the longest is indicated by broken lines (t5, t16, t24).
  • Compressed image data after compression processing is sent to the baseband circuit 6, packetized according to a predetermined communication protocol, and then transmitted wirelessly.
  • periods during which radio transmission is performed are indicated by t6-t7, t17-t18, and t25-t26.
  • the processing time of wireless transmission changes according to the state of the communication path, in this embodiment, even if the communication state deteriorates and the communication is not terminated, the communication is stopped at the timing when a predetermined time has elapsed from the start of the communication. Is done.
  • timings (t10, t20, t28) indicated by broken lines are timings of cancellation.
  • the display device 3 responds to the stop of the communication by discarding the data of the frame for which the communication is stopped and continuing to display the image based on the data of the previous frame.
  • imaging data generated by the imaging process during the period t1-t2 (“imaging 1") is compressed during the period t3-t4 (“compression 1"), and the compressed image data generated by the compression process is transmitted data.
  • Wirelessly transmitted during the period t6-t7 (“transmission 1”).
  • the wireless transmission from the imaging device 1 is started from a point in time (t6, t17, t25) when the time when the compression process becomes the longest is passed.
  • the control of these timings is performed by the imaging control circuit 8, and is fixed except for the leading timing (t1, t8, t19, t27) of the imaging process that changes according to the exposure time.
  • the transmission start timing (t6) of the imaging device 1 the imaging processing end timing (t2, t13, t21, t31) and the transmission start / end timing (t6-t10, t17) of the imaging device 1 are detected.
  • -t20, t25-t28) can be detected.
  • the imaging device 2 Before starting connection with the display device 3, the imaging device 2 performs wireless reception processing and confirms the surrounding communication state. In this description, since the imaging device 1 performs wireless transmission, the imaging device 2 confirms wireless transmission (t6-t7) of the imaging device 1. The imaging device 2 detects the imaging start timing (t2 etc.) and the transmission start / end timing (t6 / t10 etc.) of the imaging device 1 by detecting the transmission start timing (t6) of the imaging device 1 by the above processing. To do.
  • the imaging device 2 receives the transmission data from the imaging device 1, and ends the imaging of the imaging device 1 with reference to the time point when the identifier (ID) indicating the imaging device 1 included in the transmission data is received Timing (t2) and transmission start / end timing (t6 / t10) are detected.
  • the imaging control circuit 8 of the imaging device 2 stores an identifier indicating the imaging device 1 in advance, compares the identifier in the transmission data with the stored identifier of the imaging device 1, and if both match, Then, it is determined that the identifier indicating the imaging device 1 has been received.
  • the identifier is included in the header at the beginning of the packet constituting the transmission data, and the position of the identifier in the transmission data is fixed.
  • the imaging control circuit 8 of the imaging device 2 sets the temporal relationship between the imaging end timing (t2) and the transmission start / end timing (t6 / t10) of the imaging device 1 (for example, the time difference between the timings).
  • the indicated data (time-related data) is stored in advance.
  • the imaging control circuit 8 of the imaging device 2 uses the transmission start timing (t6) of the imaging device 1 detected from the timing of receiving the identifier indicating the imaging device 1 and the imaging end of the imaging device 1 from the data stored in advance. Timing (t2) and transmission end timing (t10) are detected.
  • the imaging device 1 captures the image by calculating a timing obtained by adding an integral multiple of the period (T) to the imaging end timing (t2) and the transmission start / end timing (t6 / t10) of the imaging device 1. It is also possible to detect the end timing (t13, t21, t31) and the transmission start / end timing (t17 / t20, t25 / t28).
  • the timing detection method using the detection timing of the identifier (ID) indicating the imaging device 1 has been described.
  • the data used for timing detection is data that can be detected by the imaging device 2 and the transmission timing. If is known, it can be used.
  • an identifier indicating the display device 3 or a marker indicating the head of the imaging data can be used.
  • the imaging control circuit 8 of the imaging device 2 performs imaging so that the imaging processing of the own device ends at a timing obtained by adding an integral multiple of the period (T) to the detected imaging processing end timing (t2) of the imaging device 1.
  • the processing end timing (t21, t31) is set, and the connection processing with the display device 3 is started (t11) after the transmission end (t10) of the imaging device 1 is waited. Thereby, the imaging process of the imaging device 2 is performed at the same timing as the imaging process of the imaging device 1.
  • the imaging control circuit 8 of the imaging device 2 sets the start timing (t22 and the like) of the compression process in accordance with the end timing of the imaging process. Further, the imaging control circuit 8 of the imaging device 2 performs wireless transmission to the display device 3 at a timing after the end of the imaging process and the compression process, and after the transmission end timing (t28) of the imaging device 1. As described above, the wireless transmission timing (t29-t32) is set. Thereby, the wireless transmission of the imaging device 2 is performed at a timing different from the wireless transmission of the imaging device 1.
  • the operation timing confirmation processing of the imaging device 1 by the imaging device 2 is periodically performed in addition to immediately after the start of connection, and a slight shift in the operation speed between the imaging devices due to variations in the clock in the device is corrected.
  • FIG. 5 shows operations common to the “parent” imaging device and the “child” imaging device.
  • FIG. 6 shows the operation of the “parent” imaging device, and
  • FIG. 7 shows the operation of the “child” imaging device.
  • FIG. 8 shows the operation of the display device 3.
  • the imaging device 1 and the imaging device 2 in the present embodiment are devices having the same function, and the device that has been connected to the display device 3 first is the “parent” imaging device.
  • the imaging device 2 is started in a state where wireless transmission between the imaging device 1 and the display device 3 is performed will be described as an example. In this case, the imaging device 1 becomes a “parent”.
  • the imaging control circuit 8 of the imaging devices 1 and 2 performs the initial setting (step S2) immediately after starting the operation (step S1).
  • the initial setting (step S2) is a process for performing initial installation of registers and the like related to various operations of the apparatus.
  • the imaging control circuit 8 executes communication status confirmation (step S3).
  • Communication status confirmation controls the antenna 9, high-frequency circuit 7, and baseband circuit 6 to monitor the radio wave conditions around the device and investigate whether other imaging devices are communicating with the display device It is processing to do.
  • the imaging control circuit 8 determines “no communication” and executes the master unit setting (step S4).
  • the master unit setting (step S4) is a process for performing settings for operating the imaging device as a master unit. Thereafter, the imaging apparatus starts an operation as the “parent” imaging apparatus (step S100).
  • the imaging control circuit 8 determines that “communication is present” and executes slave unit setting (step S13).
  • the slave unit setting (step S13) is a process for performing settings for operating the imaging apparatus as a slave unit. Thereafter, the imaging apparatus starts an operation as a “child” imaging apparatus (step S101).
  • the parent device setting (step S4) is executed in the imaging device 1.
  • the imaging control circuit 8 executes display device connection processing (step S5).
  • the display device connection process (step S5) is a process of performing wireless connection with the display device 3.
  • various settings (settings such as a communication protocol) associated with the wireless connection are performed.
  • the imaging control circuit 8 executes imaging / transmission timing setting (step S6).
  • the imaging / transmission timing setting (step S6) is a process of setting the timing of imaging and wireless transmission executed by the imaging device 1, and each timing (t1 to t31) shown as "operation timing of the imaging device 1" in FIG. ) Is set.
  • the imaging control circuit 8 internally counts a reference clock having a predetermined frequency by a counter circuit, and generates a timing signal having a predetermined period (T) based on the count value, thereby generating each timing (t1 To t31). Since a technique for generating various timing signals at a predetermined cycle is known, a description thereof will be omitted.
  • step S6 When the imaging / transmission timing setting (step S6) is performed, the operation of the imaging unit 4 is started. After completion of the imaging / transmission timing setting (step S6), the imaging control circuit 8 waits for imaging completion (step S7). Waiting for imaging end (step S7) is processing for waiting for the start of the next process until the imaging unit 4 finishes imaging for one frame, and the waiting time is the value set in the imaging / transmission timing setting (step S6). Is based on time.
  • the imaging control circuit 8 executes a compression start instruction (step S8).
  • the compression start instruction (step S8) is a process for instructing the compression circuit 5 to start the compression operation.
  • the imaging control circuit 8 also knows the timing of the compression process (such as t3-t5 in FIG. 4), and executes transmission start waiting (step S9) until the end of the compression process.
  • the transmission start wait (step S9) is a process of waiting for the start of the next process until the compression circuit 5 finishes compressing one frame.
  • the imaging control circuit 8 executes a transmission start instruction (step S10).
  • the transmission start instruction (step S10) is a process for instructing the baseband circuit 6 and the high frequency circuit 7 to start wireless transmission.
  • the baseband circuit 6 transmits the compressed image data from the compression circuit 5 to the display device 3 via the high-frequency circuit 7 and the antenna 9 using a predetermined transmission protocol.
  • the imaging control circuit 8 executes transmission time monitoring (step S11) after execution of the transmission start instruction (step S10). As described with reference to FIG. 4, since the radio transmission execution time (t6-t10, t16-t19, etc.) is limited, the imaging control circuit 8 performs the radio transmission execution time by transmission time monitoring (step S11). Measure.
  • Step S7 When the wireless transmission is completed within the time limit, it is determined as “End of time”, and the process returns to the imaging end wait (Step S7). If the wireless transmission is not completed within the time limit, the imaging control circuit 8 issues a transmission stop instruction (step S12), sends a transmission stop instruction to the baseband circuit 6, and stops the wireless transmission. Thereafter, the process returns to the imaging end wait (step S7).
  • the above operation is the operation of the imaging apparatus 1 in the present embodiment.
  • the imaging device 2 starts to operate after the imaging device 1 and the display device 3 are connected.
  • the imaging control circuit 8 of the imaging device 2 detects the communication between the imaging device 1 and the display device 3 in the communication status confirmation (step S3) after performing the initial setting (step S2). Therefore, the imaging control circuit 8 of the imaging apparatus 2 determines that “communication is present”, executes the slave unit setting (step S13), and then starts the operation of the “child” as the imaging apparatus (step S101).
  • the imaging control circuit 8 executes a master unit communication timing detection process (step S14).
  • the base unit communication timing detection process (step S14) is a process for monitoring the communication between the base unit and the display device and detecting the transmission start timing (t6 in FIG. 4) from the base unit.
  • the imaging control circuit 8 waits for transmission of the parent device (step S15), and waits for the communication between the parent device and the display device to end.
  • the parent device transmission end wait is a process of waiting for the start of the next processing until the communication between the parent device and the display device is completed.
  • the imaging control circuit 8 executes display device connection processing (step S16).
  • the display device connection process (step S16) is a process for establishing a wireless connection with the display device 3 in the same manner as the display device connection process (step S5).
  • the imaging control circuit 8 executes imaging / transmission timing setting (step S17).
  • the imaging / transmission timing setting (step S17) is a process of setting the timing of imaging and wireless transmission executed by the imaging device 2, and each timing (t19 to t32) shown as "operation timing of the imaging device 2" in FIG. ) Is set.
  • the imaging control circuit 8 performs imaging processing based on the transmission start timing (t6) from the parent device detected in the parent device communication timing detection processing (step S14). , Compression processing and wireless transmission timing are determined.
  • the imaging control circuit 8 of the imaging device 2 knows the operation timing of each part of the parent device, and can detect the timing of each operation by detecting the transmission start timing (t6). This is because when there is no image pickup apparatus 1, the image pickup apparatus 2 operates at the timing of the master unit.
  • the imaging control circuit 8 of the imaging device 2 performs data (time relationship) indicating the temporal relationship between the imaging end timing (t2) and the transmission start / end timing (t6 / t10) of the imaging device 1. Data) is stored in advance.
  • the transmission start timing (t6) is detected by detecting the identifier indicating the imaging device 1, the imaging control circuit 8 sets the imaging end timing and transmission start timing of the imaging device 2 using the stored data. It becomes possible to do.
  • the imaging device When the imaging control circuit 8 of 2 detects the transmission start timing (t6) of the imaging device 1, it detects that the timing 3 ms before the transmission start timing (t6) of the imaging device 1 is the imaging end timing (t2).
  • the imaging end timing of the imaging device 2 is set at the same timing as the imaging end timing (t2).
  • the imaging control circuit 8 of the imaging device 2 detects that the timing 6 ms after the transmission start timing (t6) of the imaging device 1 is the transmission end timing (t10) of the imaging device 1, and transmits the transmission end timing (t10 ) To set the transmission start timing of the imaging device 2.
  • the imaging device 2 can perform an imaging operation at the same timing as the imaging device 1, and can execute a wireless transmission operation at a timing different from that of the imaging device 1.
  • the imaging control circuit 8 waits for the completion of imaging (step S18) and executes a compression start instruction (step S19).
  • the imaging end wait (step S18) and the compression start instruction (step S19) are the same processes as the above-described imaging end wait (step S7) and compression start instruction (step S8), and thus description thereof is omitted.
  • the imaging device 2 synchronizes the operation with the imaging device 1 by detecting the transmission start timing (t6) of the imaging device 1, but is used for each device after a long time has passed. Due to the variation in the frequency of the reference clock, the operation timing is shifted. Therefore, the imaging device 2 periodically detects the transmission start timing (t6) of the imaging device 1, and resets the internal timing using the detected timing, thereby eliminating the above-described deviation in the operation timing. Yes.
  • the remeasurement execution determination (step S20) in FIG. 7 is a process for determining whether or not to execute the remeasurement at the transmission start timing (t6), and the remeasurement is executed at a predetermined cycle.
  • the imaging control circuit 8 executes base unit communication timing detection (step S21).
  • the base unit communication timing detection (step S21) is the same process as the base unit communication timing detection process (step S14) described above, and is a process for detecting the transmission start timing of the imaging device 1.
  • the imaging control circuit 8 executes imaging / transmission timing resetting (step S22), thereby setting various timings based on the detected transmission start timing, thereby eliminating the above-described shift in the operation timing.
  • the imaging control circuit 8 executes transmission start waiting (step S23). .
  • the transmission start instruction (step S24), transmission time monitoring (step S25), and transmission stop instruction (step S26) are processed in the transmission start wait (step S9) and transmission in FIG. Since the processing is the same as the start instruction (step S10), the transmission time monitoring (step S11), and the transmission stop instruction (step S12), the following description is omitted.
  • the initial setting process is a process for performing initial installation of registers and the like related to various operations of the apparatus.
  • a display-related register is also installed, display processing at a predetermined cycle is started, and an initial screen is displayed on the display unit 15.
  • the display control circuit 16 determines whether or not there is a new connection request after confirming the new connection request (step S32) after the initial setting process (step S31) is completed. When there is a new connection request, the display control circuit 16 executes a connection process (step S33), thereby executing a transmission / reception process of various parameters associated with the connection with the imaging device.
  • the reception timing setting process is a process for setting the execution timing of the communication process with the imaging device connected in the connection process (step S33), and at the timing requested from the imaging apparatus in the connection process (step S33).
  • the execution timing is set along the line.
  • step S34 When there is no new connection request, and after the reception timing setting process (step S34) is completed, the display control circuit 16 executes a connection presence / absence determination (step S35) for determining the presence / absence of connection with the imaging device. If there is no connection, the process returns to the new connection request confirmation (step S32) and the process is executed. If there is a connection, the display control circuit 16 waits for reception start (step S36) and waits for transmission from the imaging device.
  • the display control circuit 16 ends the reception start waiting (step S36) and executes the reception time monitoring (step S37).
  • the reception time monitoring (step S37) is a process for monitoring the execution time of the reception process.
  • the display control circuit 16 determines that the time is exceeded and executes a reception stop instruction (step S38).
  • the reception stop instruction (step S38) is a process for sending a reception stop instruction to the baseband circuit 12 to stop wireless reception.
  • the next device reception confirmation is a process for determining, for each frame, whether or not the reception processing of transmission data from all the imaging devices connected to display an image on the display screen is completed.
  • the display device 3 is first connected to the imaging device 1, and then connected to the imaging device 2.
  • the display control circuit 16 monitors the end of reception processing of transmission data from the imaging device 1 by reception time monitoring (step S37), and the reception processing ends.
  • the next device reception confirmation (step S39) is executed.
  • the display control circuit 16 recognizes that the imaging device currently connected is only the imaging device 1, and determines that there is no “next device” at that time. If it is determined that there is no “next device”, the process returns to the new connection request confirmation (step S32) and the process is executed.
  • the next device reception confirmation (step S39) is executed, for example, at the timing t7 in FIG.
  • the next device reception confirmation (step S39) is executed when the reception processing of the transmission data from the imaging device 1 and the imaging device 2 is completed.
  • the process returns to the reception start waiting (step S36), and the processing is executed.
  • the processing is executed after returning to the new connection request confirmation (step S32).
  • the next device reception confirmation (step S39) is executed, for example, at the timing of t26 in FIG. 4 and is determined to be “next device present”, and subsequently is executed at the timing of t30 to determine “no next device”.
  • step S39 the process returns to the reception start waiting (step S36), and the next device reception confirmation performed after the wireless transmission from the imaging device 2 (step S36).
  • step S38 the process returns to the new connection request confirmation (step S32).
  • the imaging device 1 of the present embodiment corresponds to a reference imaging device in the highest concept of the present invention
  • the imaging device 2 corresponds to an imaging device other than the reference imaging device in the highest concept of the present invention
  • the display device 3 This corresponds to the display device in the highest concept of the present invention.
  • the reference imaging device according to the present invention can be configured, for example, by using the imaging unit 4 as an imaging unit, the compression circuit 5 as a data processing unit, and the baseband circuit 6 and the high-frequency circuit 7 as wireless communication units.
  • the imaging apparatus other than the reference imaging apparatus according to the present invention includes, for example, the imaging unit 4 as an imaging unit, the compression circuit 5 as a data processing unit, the baseband circuit 6 and the high-frequency circuit 7 as wireless communication units, and an imaging control circuit 8 Can be configured by using as a control unit.
  • the display device according to the present invention can be configured by using, for example, the high frequency circuit 11 and the baseband circuit 12 as a wireless communication unit and the display unit 15 as a display unit.
  • processing performed by an imaging device other than the reference imaging device is not essential. Therefore, for example, the reference imaging device may be configured not to perform the processing illustrated in FIG. Further, when configuring an imaging apparatus other than the reference imaging apparatus in the highest concept of the present invention, the processing performed by the reference imaging apparatus is not essential. Therefore, for example, an imaging apparatus other than the reference imaging apparatus may be configured so as not to perform the processing shown in FIG.
  • the child imaging device detects the imaging timing of the parent imaging device from the transmission timing of the parent imaging device (imaging device 1), and the child imaging device images itself. It is possible to control the timing so as to be the same as the imaging timing of the parent imaging device, and to control the child imaging device so that its transmission timing is different from the transmission timing of the parent imaging device. Therefore, it is possible to adjust the imaging timing and the wireless transmission timing between a plurality of imaging devices without performing wireless communication of special information for obtaining synchronization.
  • the imaging device of this embodiment has an image composition function for receiving an image from another imaging device, synthesizing the received image and the image captured by itself, and transmitting the synthesized single image to the display device. is doing.
  • the display device of the present embodiment detects the display delay time from the reception start timing of the imaging data from the imaging device and the display start timing of itself, and the target delay time and the detected display delay time It has a notification function for notifying the imaging apparatus of an adjustment time that is a difference. By adjusting the imaging timing based on the adjustment time notified from the display device by the imaging device, the display delay time can be controlled to the shortest time.
  • FIG. 9 shows the configuration of the imaging display system according to the present embodiment. First, the outline of the imaging display system will be described with reference to FIG.
  • the imaging display system shown in FIG. 9 includes two imaging devices (imaging device 17 and imaging device 2) and one display device (display device 20).
  • the functions of the imaging device 17 and the display device 20 are partially different from the functions of the imaging device 1 and the display device 3 in the first embodiment. Since the display device 20 has only some functions added and the internal configuration of the device is the same as the display device 3, the display device 20 of the present embodiment is configured using the configuration of the display device 3 of FIG. explain.
  • the imaging device 2 is connected to the imaging device 17, and transmission data including data of an image captured by the imaging device 2 is wirelessly transmitted to the imaging device 17.
  • the image data captured by the imaging device 2 and the image data captured by the imaging device 17 are combined by the imaging device 17, and transmission data including the combined data is wirelessly transmitted to the display device 20, and the display device 20 shows the composite image.
  • the imaging device 17 having a function of connecting to another imaging device operates as a “parent”, and the imaging device 2 operates as a “child” that matches the timing of the imaging processing with the “parent”.
  • FIG. 10 shows the configuration of the imaging device 17. Since the configuration of the imaging device 2 of the present embodiment is the same as the configuration of the imaging device 2 of the first embodiment, the description of the configuration of the imaging device 2 is omitted. As shown in FIG. 10, the imaging device 17 includes an imaging unit 4, a compression / expansion circuit 18, a baseband circuit 19, a high frequency circuit 7, an imaging control circuit 8, and an antenna 9. The compression / expansion circuit 18 and the baseband circuit 19 are different from the configuration of the imaging apparatus 1 of the first embodiment.
  • the baseband circuit 19 executes a connection process with another imaging device for the functions of the baseband circuit 12 of the first embodiment, and compresses / decompresses compressed image data received from the other imaging device.
  • a function to output to 18 has been added.
  • the compression / expansion circuit 18 (image composition unit) performs decompression processing on the compressed image data from the other imaging device output from the baseband circuit 19, and performs the decompression processing and the imaging unit 4 of the imaging device 17.
  • the compression of the first embodiment is that it has a function of combining the imaging data output from the image data and then compressing the combined imaging data to generate compressed image data and outputting the compressed image data to the baseband circuit 19 Different from circuit 5.
  • FIG. 11 shows display delay time adjustment processing performed by the display device 20 on the imaging device 17.
  • the right direction in FIG. 11 is the direction in which the time advances.
  • the state shown in FIG. 11 is a state before the imaging device 17 is connected to the imaging device 2.
  • the connection between the imaging device 17 and the imaging device 2 is performed after adjusting the display delay time described with reference to FIG.
  • the state where the imaging device 17 and the imaging device 2 are connected will be described later with reference to FIG.
  • the display device 20 performs display processing at a predetermined display cycle after the initial installation as in the display device 3 of the first embodiment.
  • the time t1-t11 (t11-t19, t19-t28) in FIG. 11 is one cycle time
  • t1-t9 (t11-t16, t19-t26, t28-t29) is the display period
  • t9-t11 (t16 -t19, t26-t28) are blanking periods.
  • FIG. 11 shows a state in which the states of the display device 20 and the imaging device 17 shift from the state before adjustment of the display delay time to the state after adjustment of the display delay time.
  • the display delay time is adjusted by adjusting the imaging timing of the imaging device 17 in accordance with the display timing of the display device 20.
  • the display delay time is a time from when the imaging process is executed by the imaging apparatus to when the display process is executed by the display apparatus.
  • the display delay time is defined as the time from the end of the imaging process of the imaging device to the display start time of the display device.
  • Imaging data obtained by imaging processing by the imaging device 17 is subjected to compression processing and transmission processing, and then transmitted to the display device 20.
  • display processing is performed after reception processing and decompression processing.
  • the process from the imaging process to the expansion process is a series of processes starting from the end of the imaging process, and the display process is performed at another timing.
  • imaging processing t3-t5
  • compression processing t6-t7
  • wireless transmission / radio reception t8-t14
  • expansion processing t5-t18
  • the display process t16-t26
  • the time from the end timing (t5) of the imaging process to the start timing (t19) of the display process is shown as the current display delay time.
  • the condition that the display delay time is the shortest is that the decompression process ends immediately before the start of the display process.
  • the display control circuit 16 of the display device 20 detects the reception start timing (t8) from the baseband circuit 12, and the display start timing (t19) from the display processing circuit 14. Detect the current display delay time (t5-t19).
  • the current display delay time is obtained by obtaining the time difference between the end timing (t5) of the imaging process and the display start timing (t19).
  • the display control circuit 16 calculates an operation (subtraction) of “(current display delay time) ⁇ (target display delay time)”. To calculate the adjustment time.
  • the target display delay time is stored in the display control circuit 16.
  • the display device 20 performs imaging by a method of delaying the end timing of the transmission process of the imaging device 17 by the adjustment time described above.
  • the device 17 is notified of the adjustment time.
  • the baseband circuit 19 divides the compressed image data into a plurality of data (divided imaging data), and transmits a plurality of packets including those data.
  • the adjustment time is notified to the imaging device 17 by delaying the end of the reception process of the display device 20 for the last packet to be transmitted by the adjustment time.
  • data indicating the last packet is stored for the last packet among the plurality of packets transmitted from the imaging device 17, and the display control circuit 16 of the display device 20 receives the data from the packet. Is detected, it is detected that the packet is the last packet.
  • t10-t14 is the timing at which adjustment time notification is executed.
  • the display control circuit 16 of the display device 20 notifies the imaging device 17 of the imaging timing of the imaging device 17 by notifying the imaging device 17 of the adjustment time that is the difference between the current display delay time and the target display delay time in the diagram.
  • a process of changing from t12-t13 to t17-t20 indicated by "imaging 4" is performed.
  • the imaging process of the imaging device 17 is controlled to end at a timing when a predetermined time has elapsed from the end of wireless transmission (timing at t13 or t20), the end timing of wireless transmission is By setting the timing (t14) delayed from the original timing (t10) by the adjustment time, the timing of the imaging process is adjusted from t12-t13 to t17-t20.
  • wireless transmission (“transmission 3") executed at t8-t10 is stopped at the timing of t10.
  • the imaging device 17 and the display device 20 agree in advance that the adjustment time is notified.
  • the wireless transmission is not stopped, and the communication is extended to t14 delayed by the adjustment time, so that the adjustment time is notified.
  • the display control circuit 16 of the display device 20 has successfully received the last packet transmitted from the imaging device 17 in response to one-time (one frame) imaging.
  • the high frequency circuit 11 and the baseband circuit 12 are controlled so as to continue returning NAK every time a packet is received without returning ACK (reception completion data) indicating.
  • the imaging control circuit 8 of the imaging device 17 controls the baseband circuit 19 and the high-frequency circuit 7 so as to retransmit the last packet. While the adjustment time is notified, the imaging control circuit 8 performs control so that the imaging unit 4 does not start the imaging process (“imaging 4” in FIG. 11).
  • the display control circuit 16 of the display device 20 returns ACK at the timing when the adjustment time has elapsed since the reception of the last packet transmitted from the imaging device 17 corresponding to one (one frame) imaging is started.
  • the high frequency circuit 11 and the baseband circuit 12 are controlled so as to end the communication.
  • the ACK is returned from the display device 20 to the imaging device 17, the adjustment time is notified to the imaging device 17.
  • the imaging control circuit 8 of the imaging device 17 recognizes the adjustment time by measuring the time from when the last packet is transmitted until the ACK is received.
  • the imaging control circuit 8 of the imaging device 17 adjusts the end timing of the imaging process according to the adjustment time, as shown in FIG. In FIG. 11, the end timing of the imaging process is adjusted from t13 to t20 delayed by the adjustment time. As a result, the display delay time is adjusted to the target display delay time.
  • FIG. 12 shows the timing of processing performed by the imaging device 17 and the imaging device 2 when the imaging device 2 is newly connected to the imaging device 17 while the imaging device 17 is connected to the display device 20.
  • the right direction in FIG. 12 is the direction in which the time advances.
  • the image capturing apparatus 2 adjusts the image capturing timing to be the same as the image capturing timing of the image capturing apparatus 17 and performs wireless transmission to the image capturing apparatus 17 at a predetermined timing, as in the first embodiment.
  • the transmission timing is adjusted as follows.
  • the imaging device 17 receives the imaging data from the imaging device 2, combines it with its own imaging data, and transmits it to the display device 3.
  • the operation of the imaging device 17 when the imaging device 2 is not connected will be described. It is assumed that the connection process between the display device 20 and the imaging device 17 has been completed, and the adjustment of the display delay time described with reference to FIG. 11 has also been completed.
  • the timing (t31, t35, t43, t54) at which the imaging process ends in the figure is a predetermined imaging period break, and the leading timing (t30, t32, t39, t50) of the imaging process period is stored in the imaging unit 4. It is variable according to the set exposure period.
  • the imaging data is sent to the compression / expansion circuit 18 after a predetermined time, and the compression process is performed.
  • the processing time of the compression process varies depending on the situation of the imaging data.
  • FIG. 12 shows times (t32-t33, t40-t41, t51-t52) when the compression process is the longest.
  • the idle time from the end of the imaging process to the compression process is the processing time required for data reception processing and expansion processing from the imaging device 2 when the imaging device 2 is connected. is there. Details of the execution timing of each process when the imaging device 2 is connected will be described later.
  • Radio transmission (t34-t36) is started immediately after the end of the compression process (t33).
  • data captured at the timing indicated by “imaging 1” is wirelessly transmitted at the timing indicated by “transmission 1”.
  • data captured at the timing indicated by “imaging 2” is wirelessly transmitted at the timing indicated by “transmission 2”
  • data captured at the timing indicated by “imaging 3” is indicated by “transmission 3”. Wirelessly transmitted at the same timing.
  • the imaging device 2 transmits the transmission data transmitted by wireless communication ["Transmission 1" (t34-t36) in FIG. 12] between the imaging device 17 and the display device 20 in the same manner as in the first embodiment.
  • FIG. 12 shows an example in which the imaging process of the imaging device 2 is performed at the timing of “imaging 3” (t39-t43).
  • the compression processing (t44-t46) is executed immediately after the imaging processing (t39-t43), and the wireless transmission (t47-t48) to the imaging device 17 is executed immediately after the compression processing.
  • the high-frequency circuit 7 performs frequency conversion of the transmission data
  • the baseband circuit 19 reconstructs compressed image data from the transmission data.
  • the compression / decompression circuit 18 is generated by the imaging process [“imaging 3” (t39-t43)] in the imaging unit 4 after returning the compressed image data to normal imaging data by the decompression process (t49-t51). Combine with the captured image data.
  • the compression / decompression circuit 18 performs compression processing (t51-t52), and generates compressed image data after combining the images for two screens. Since the composition process is performed by controlling the data writing position in the process of the decompression process, the composition process is displayed as being included in the decompression process in FIG. After the end of the compression process (t51-t52), the baseband circuit 19 executes a transmission process (t53-t56) to the display device 20.
  • the display delay time that is the elapsed time from imaging to display is adjusted by adjusting the execution timing of the imaging process performed by the imaging device based on the adjustment time determined by the display device. Can be controlled to be the shortest time.
  • the transmission end timing of the final packet is determined according to the adjustment time among multiple packets including data obtained by dividing the imaging data generated by one (1 frame) imaging
  • the imaging apparatus can detect the adjustment time.
  • the adjustment time can be notified by wireless communication using a normal protocol.
  • the parent imaging device transmits the imaging data generated by combining the imaging data of the child imaging device and the imaging data of the parent imaging device to the display device, so that the display device displays a composite image without performing any special processing. can do. As a result, even if the display device is a standard portable terminal, it is possible to receive / display a composite image.
  • the present invention can be widely applied to an imaging display system, an imaging apparatus, an imaging method, a program, and the like.
  • the imaging timing in the reference imaging apparatus and the wireless transmission timing of compressed image data in the reference imaging apparatus The imaging timing of the imaging unit is adjusted to match the imaging timing of the reference imaging device based on the time-related data indicating the temporal relationship between and the reception timing of the compressed image data wirelessly received by the first wireless communication unit. Then, by adjusting the wireless transmission timing of the first wireless communication unit so as to be different from the wireless transmission timing of the reference imaging device, imaging between a plurality of imaging devices without performing wireless communication of special information for synchronization Timing and radio transmission timing can be adjusted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　複数の撮像装置と表示装置とを有する撮像表示システムであって、基準撮像装置以外の前記撮像装置は、前記基準撮像装置における撮像タイミングと、前記基準撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データを記憶し、前記時間関係データと、前記第1の無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記基準撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記基準撮像装置の無線送信タイミングと異なるよう前記第1の無線通信部の無線送信タイミングを調整する制御部を有する。

Description

撮像表示システム、撮像装置、撮像方法、及びプログラム
　本発明は、撮像した画像データを無線送信する複数の撮像装置と、画像データを受信して画像を表示する少なくとも1台の表示装置とを有する撮像表示システムに関する。
　本願は、２０１２年１０月９日に、日本に出願された特願２０１２－２２４２４５号に基づき優先権を主張し、その内容をここに援用する。
　従来、複数の撮像装置を有するシステムにおいて、各撮像装置に対して有線で外部同期信号を供給することにより、各撮像装置の撮像タイミングを揃えることが行われてきた。例えば、TVスタジオにおける複数のカメラを同期させる技術がこれに相当する。
　また、無線伝送を行う撮像装置の撮像タイミングを制御する方法として、例えば特許文献1には、同期を取るための情報を周期的に同報通信により各撮像装置に通知し、各撮像装置が、通知された情報に基づいて動作することによって撮像タイミングの制御を行うことが示されている。
日本国特許第4466502号公報
　近年、表示装置の高画素化に伴い、複数の撮像装置からの画像を同一画面上に表示するマルチ画面表示や、複数の撮像装置からの画像を繋げて表示するパノラマ表示が行われている。例えば、非破壊検査等の作業現場では、複数の撮像装置で撮影された構造物の内部の画像を同一画面上に並べて表示することで、関連する検査箇所を同時に観察することが可能となっている。
　複数の撮像装置間の撮像タイミングがずれていると、表示される画像に時間ずれが起こるので、各撮像装置の撮像タイミングが同期していることが求められている。従来技術を使用した場合、同期を取るための情報を周期的に表示装置から撮像装置に供給することが必要となり、同期を取るための表示装置と撮像装置の処理が煩雑になると共に、同期を取るための情報を無線通信することが必要となり、電波の利用効率が下がる。
　本発明は、上述した課題に鑑みてなされたものであって、同期を取るための特別な情報の無線通信を行うことなく複数の撮像装置間の撮像タイミングと無線送信タイミングを調整することを目的とする。
　本発明の第１様態によれば、撮像表示システムは、所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成し前記撮像データに対応する圧縮画像データを無線送信する複数の撮像装置と、無線送信された前記圧縮画像データを無線受信し、前記圧縮画像データに基づく画像を表示する表示装置と、を有する撮像表示システムであって、前記複数の撮像装置のうち1つの撮像装置を基準撮像装置と定義するとき、前記基準撮像装置は、所定の撮像周期で撮像を実施し、撮像が行われる毎に、前記撮像データを生成して出力する撮像部と、前記撮像部から出力される前記撮像データから前記圧縮画像データを生成するデータ処理部と、前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信する第1の無線通信部と、を有し、前記基準撮像装置以外の前記撮像装置は、前記撮像部と、前記データ処理部と、前記基準撮像装置から無線送信された前記圧縮画像データをさらに無線受信する前記第1の無線通信部と、前記基準撮像装置における撮像タイミングと、前記基準撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データを記憶し、前記時間関係データと、前記第1の無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記基準撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記基準撮像装置の無線送信タイミングと異なるよう前記第1の無線通信部の無線送信タイミングを調整する制御部と、を有し、前記表示装置は、前記撮像装置から無線送信された前記圧縮画像データを無線受信する第2の無線通信部と、前記第2の無線通信部で無線受信された前記圧縮画像データに基づく画像を所定の表示周期で表示する表示部と、を有する。
　本発明の第２様態によれば、第１様態に係る撮像表示システムにおいて、前記基準撮像装置の前記第1の無線通信部は、1回の撮像に対応する前記撮像データが前記表示装置で無線受信されたことを示す受信完了データを前記表示装置から無線受信し、前記基準撮像装置の前記撮像部は、1回の撮像を行った後、前記第1の無線通信部で前記受信完了データが受信された場合、次の撮像を行い、前記表示装置は、前記基準撮像装置の前記撮像部の1回の撮像に対応する前記撮像データが前記表示部で表示される表示タイミングと、前記第2の無線通信部で無線受信される前記撮像データの受信タイミングとに基づいて前記基準撮像装置の前記撮像部の撮像タイミングの調整時間を算出する算出部を更に有し、前記第2の無線通信部は、算出された前記調整時間に応じたタイミングで前記受信完了データを前記基準撮像装置に無線送信してもよい。
　本発明の第３様態によれば、第２様態に係る撮像表示システムにおいて、前記表示装置の前記第2の無線通信部は、前記受信完了データとして、前記基準撮像装置の前記撮像部の1回の撮像に対応する前記撮像データを複数に分割した分割撮像データを含む無線パケットのうち前記基準撮像装置から最後に無線送信された無線パケットを正常に受信したことを示すデータを前記基準撮像装置に無線送信してもよい。
　本発明の第４様態によれば、第３様態に係る撮像表示システムにおいて、前記表示装置の前記第2の無線通信部は、前記受信完了データとしてACKデータを前記基準撮像装置に無線送信してもよい。
　本発明の第５様態によれば、第４様態に係る撮像表示システムにおいて、前記表示装置の前記第2の無線通信部は、前記基準撮像装置から最後に無線送信された無線パケットを正常に無線受信した後、前記ACKデータを無線送信するまでの間、前記基準撮像装置から再送された前記無線パケットを受信する毎にNACデータを前記基準撮像装置に無線送信してもよい。
　本発明の第６様態によれば、第１様態に係る撮像表示システムにおいて、前記基準撮像装置以外の前記撮像装置の前記第1の無線通信部は、前記撮像データを前記基準撮像装置に無線送信し、前記基準撮像装置は、前記撮像部から出力された前記撮像データと、前記第1の無線通信部で無線受信された前記撮像データとを合成する画像合成部を更に有し、前記基準撮像装置の前記第1の無線通信部は、前記基準撮像装置以外の前記撮像装置から無線送信された前記撮像データを無線受信し、前記画像合成部で合成された前記撮像データを前記表示装置に無線送信してもよい。
　本発明の第７様態によれば、第６様態に係る撮像表示システムにおいて、前記基準撮像装置の前記画像合成部は、前記撮像部から出力された前記撮像データと、当該撮像データが生成された撮像周期と同一の期間内に前記第1の無線通信部で無線受信された前記撮像データとを合成してもよい。
　本発明の第８様態によれば、撮像装置は、所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、前記撮像部から出力される前記撮像データから圧縮画像データを生成するデータ処理部と、前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信し、前記撮像部及び前記データ処理部を有する他の撮像装置から無線送信された前記圧縮画像データを無線受信する無線通信部と、前記他の撮像装置における撮像タイミングと、前記他の撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データを記憶し、前記時間関係データと、前記無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記他の撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記他の撮像装置の無線送信タイミングと異なるよう前記無線通信部の無線送信タイミングを調整する制御部と、を有する。
　本発明の第９様態によれば、第８様態に係る撮像装置において、前記無線通信部は、前記他の撮像装置から前記圧縮画像データを無線受信して前記圧縮画像データに基づく画像を表示する表示装置に対して、前記データ処理部で生成された前記圧縮画像データを無線送信してもよい。
　本発明の第１０様態によれば、第９様態に係る撮像装置において、前記無線通信部は、前記他の撮像装置において前記圧縮画像データが無線送信された後であって次の撮像が行われるまでの間のタイミングに前記表示装置に対して、前記データ処理部で生成された前記圧縮画像データを無線送信してもよい。
　本発明の第１１様態によれば、第８様態に係る撮像装置において、前記無線通信部は、前記データ処理部で生成された前記圧縮画像データを前記他の撮像装置に無線送信してもよい。
　本発明の第１２様態によれば、第１１様態に係る撮像装置において、前記無線通信部は、前記データ処理部で生成された前記圧縮画像データを、前記他の撮像装置において撮像が行われた後であって当該撮像に対応する前記圧縮画像データが無線送信されるまでの間のタイミングに前記他の撮像装置に無線送信してもよい。
　本発明の第１３様態によれば、撮像方法は、所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、前記撮像部から出力される前記撮像データから圧縮画像データを生成するデータ処理部と、前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信する無線通信部と、前記撮像部及び前記データ処理部を制御する制御部と、を有する撮像装置によって行われる撮像方法であって、前記撮像装置の前記制御部により、前記基準撮像装置から無線送信された前記圧縮画像データを前記無線通信部に無線受信させるステップと、前記他の撮像装置における撮像タイミングと、前記他の撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データと、前記無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記他の撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記他の撮像装置の無線送信タイミングと異なるよう前記無線通信部の無線送信タイミングを調整するステップと、を有する。
　本発明の第１４様態によれば、プログラムは、所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、前記撮像部から出力される前記撮像データから前記圧縮画像データを生成するデータ処理部と、前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信する無線通信部と、前記撮像部及び前記データ処理部を制御する制御部と、を有する撮像装置のコンピュータに、前記基準撮像装置から無線送信された前記圧縮画像データを前記無線通信部に無線受信させるステップと、前記他の撮像装置における撮像タイミングと、前記他の撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データと、前記無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記他の撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記他の撮像装置の無線送信タイミングと異なるよう前記無線通信部の無線送信タイミングを調整するステップと、を実行させる。
　本発明の１実施形態に係る撮像表示システムによれば、基準撮像装置以外の撮像装置において、基準撮像装置における撮像タイミングと、基準撮像装置における圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データと、第1の無線通信部で無線受信された圧縮画像データの受信タイミングとに基づいて、基準撮像装置の撮像タイミングに合わせるよう撮像部の撮像タイミングを調整し、基準撮像装置の無線送信タイミングと異なるよう第1の無線通信部の無線送信タイミングを調整することによって、同期を取るための特別な情報の無線通信を行うことなく複数の撮像装置間の撮像タイミングと無線送信タイミングを調整することができる。
　本発明の１実施形態に係る撮像装置、撮像方法、及びプログラムによれば、撮像装置において、他の撮像装置における撮像タイミングと、他の撮像装置における圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データと、無線通信部で無線受信された圧縮画像データの受信タイミングとに基づいて、他の撮像装置の撮像タイミングに合わせるよう撮像部の撮像タイミングを調整し、他の撮像装置の無線送信タイミングと異なるよう無線通信部の無線送信タイミングを調整することによって、同期を取るための特別な情報の無線通信を行うことなく複数の撮像装置間の撮像タイミングと無線送信タイミングを調整することができる。
本発明の第1の実施形態による撮像表示システムの構成を示すブロック図である。 本発明の第1の実施形態による撮像表示システムが有する撮像装置の構成を示すブロック図である。 本発明の第1の実施形態による撮像表示システムが有する表示装置の構成を示すブロック図である。 本発明の第1の実施形態による撮像表示システムが有する撮像装置の動作を示すタイミングチャートである。 本発明の第1の実施形態による撮像表示システムが有する撮像装置の動作の手順を示すフローチャートである。 本発明の第1の実施形態による撮像表示システムが有する撮像装置の動作の手順を示すフローチャートである。 本発明の第1の実施形態による撮像表示システムが有する撮像装置の動作の手順を示すフローチャートである。 本発明の第1の実施形態による撮像表示システムが有する表示装置の動作の手順を示すフローチャートである。 本発明の第2の実施形態による撮像表示システムの構成を示すブロック図である。 本発明の第2の実施形態による撮像表示システムが有する撮像装置の構成を示すブロック図である。 本発明の第2の実施形態における表示遅延時間の調整に関する表示装置と撮像装置の動作を示すタイミングチャートである。 本発明の第2の実施形態における画像合成に関する撮像装置の動作を示すタイミングチャートである。
　以下、図面を参照し、本発明の実施形態を説明する。
　（第1の実施形態）
　まず、本発明の第1の実施形態を説明する。本実施形態では、撮像した画像を無線通信で伝送する2台の撮像装置と、無線伝送された画像を受信して表示する1台の表示装置とで構成される撮像表示システムに本発明を適用した場合を例に説明する。
　図１は、本実施形態による撮像表示システムの構成を示している。まず、図1を用いて、撮像表示システムの概要を説明する。図1に示す撮像表示システムは、2台の撮像装置(撮像装置1、撮像装置2)と1台の表示装置(表示装置3)で構成されている。
　撮像装置では、撮像処理により得られた撮像データが圧縮処理され、所定のプロトコルに従って送信データに変換された後、送信データが無線送信される。無線送信された送信データは、表示装置3により無線受信され、受信データが伸張処理され、表示用データに変換された後、画像が表示される。
　本実施形態においては、表示装置3は2台の撮像装置と接続され、接続相手から無線送信される送信データを無線受信し、受信した送信データから得られる2台の撮像装置からの撮像データに基づく画像を同一画面上に表示している。表示装置3と最初に接続した撮像装置が、撮像処理のタイミングを決定する"親"として動作し、後から表示装置3と接続する撮像装置は、撮像処理のタイミングを"親"に合わせる"子"として動作する。本実施形態の説明においては、撮像装置1を"親"、撮像装置2を"子"として説明する。
　図2は、撮像装置1の構成を示している。撮像装置2の構成は撮像装置1の構成と同様であるので、代表して撮像装置1の構成を説明する。図2に示すように、撮像装置1は、撮像ユニット4、圧縮回路5、ベースバンド回路6、高周波回路7、撮像制御回路8、アンテナ9で構成されている。
　撮像ユニット4は、所定の撮像周期で撮像処理を行って撮像データを生成し、撮像データを出力する。撮像ユニット4からは、撮像周期毎に撮像データが出力される。圧縮回路5は、撮像ユニット4から出力された撮像データをJPEG圧縮し、圧縮画像データを生成する。ベースバンド回路6は、圧縮回路5から出力された圧縮画像データに対してベースバンド処理を行い、圧縮画像データを送信データに変換する。高周波回路7は、ベースバンド回路6から出力された送信データに高周波処理を行い、アンテナ9を介して送信データを送信する。アンテナ9は、無線により送信データを送信する。撮像装置1からは所定の送信周期で送信データが無線送信される。撮像制御回路8は、撮像ユニット4、圧縮回路5、ベースバンド回路6、高周波回路7の動作を制御する。
　また、撮像制御回路8は、撮像制御回路8の動作を制御するためのプログラムや必要なデータを記憶する。撮像装置1の機能は、撮像制御回路8の動作を制御するためのプログラムを、撮像装置1のコンピュータである撮像制御回路8が読み込んで実行することにより、実現される。また、撮像制御回路8の動作を制御するためのプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により撮像装置1に伝送されることで撮像装置1に入力されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体のことをいう。また、上述したプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能を、コンピュータに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　図3は、表示装置3の構成を示している。図3に示すように、表示装置3は、アンテナ10、高周波回路11、ベースバンド回路12、伸張回路13、表示処理回路14、ディスプレーユニット15、表示制御回路16で構成されている。
　アンテナ10は、撮像装置1及び撮像装置2から無線送信された送信データを受信する。高周波回路11は、アンテナ10を介して受信された送信データの周波数変換を行う。ベースバンド回路12は、高周波回路11から出力された送信データに対してベースバンド処理を行い、送信データから圧縮画像データを再構成する。伸張回路13は、ベースバンド回路12から出力された圧縮画像データを伸張し、撮像データを再構成する。表示処理回路14は、伸張回路13から出力された撮像データを、ディスプレーユニット15に画像を表示するための表示データに変換する。ディスプレーユニット15は、表示処理回路14から出力された表示データに基づく画像を表示する。表示制御回路16は、高周波回路11、ベースバンド回路12、伸張回路13、表示処理回路14、ディスプレーユニット15の動作を制御する。
　次に、撮像装置1と撮像装置2の動作を説明する。図4は、撮像装置1と撮像装置2の動作タイミングを示している。図4の右方向が時間の進む方向である。以下では、撮像装置1と表示装置3が接続し、撮像装置1から撮像データの無線送信が行われている状態で、新たに撮像装置2が表示装置3に接続する場合に、撮像装置2が行う撮像タイミングと無線送信タイミングについて説明する。
　まず、撮像装置1から撮像データの無線送信が行われている状態について説明する。撮像装置1の撮像動作は所定周期(T：16.67ms=1/60s)で行われる。図4のt1-t2、t8-t13、t19-t21、t27-t31は、撮像ユニット4が撮像処理を行っている期間を示している。図中の撮像処理の終了するタイミング(t2、t13、t21、t31)が所定の撮像周期の区切りとなるため、t2-t13、t13-t21、t21-t31の期間が所定の撮像周期となる。また、撮像処理を行っている期間の先頭のタイミング(t1、t8、t19、t27)は、撮像制御回路8により撮像ユニット4に設定される露光期間に応じて可変である。
　撮像処理が終了すると、撮像データが圧縮回路5に送られ圧縮処理が行われる。圧縮処理に必要な時間は、撮像データの状況に応じて変化する。図中のt3-t4、t14-t15、t22-t23は、圧縮回路5が圧縮処理を行っている期間を示している。また、図4では圧縮処理が最長となった場合の時間を破線(t5、t16、t24)で示している。
　圧縮処理後の圧縮画像データは、ベースバンド回路6に送られ、所定の通信プロトコルに応じてパケット化された後、無線送信される。図4において、無線送信が行われる期間は、t6-t7、t17-t18、t25-t26で示されている。無線送信の処理時間は通信路の状態に応じて変化するが、本実施形態においては、通信状態が悪化し、通信が終了しない場合でも、通信の開始から所定時間が経過したタイミングで通信が中止される。図4において、破線で示したタイミング(t10、t20、t28)が中止のタイミングである。通信が中止された場合、表示装置3は、通信が中止となったフレームのデータを破棄し、前回のフレームのデータに基づく画像の表示を継続することで、通信の中止に対応する。
　t1-t2の期間("撮像1")の撮像処理で生成された撮像データがt3-t4の期間("圧縮1")で圧縮処理され、その圧縮処理により生成された圧縮画像データが送信データとしてt6-t7の期間("送信1")で無線送信される。以降、同様に、撮像処理("撮像2"、"撮像3"、"撮像4"、・・・)、圧縮処理("圧縮2"、"圧縮3"、"圧縮4"、・・・)、無線送信("送信2"、"送信3"、・・・)が周期的に繰り返される。
　図示するように、撮像装置1からの無線送信は、圧縮処理が最長となった場合の時間を過ぎた時点(t6、t17、t25)から開始されている。これらのタイミングの制御は、撮像制御回路8が行っており、露光時間に応じて変化する撮像処理の先頭タイミング(t1、t8、t19、t27)以外は固定である。つまり、撮像装置1の送信開始のタイミング(t6)を検出することにより、撮像装置1の撮像処理の終了タイミング(t2、t13、t21、t31)と送信開始/終了のタイミング(t6-t10、t17-t20、t25-t28)を検出することが可能である。
　次に、上記の撮像装置1が無線送信を行っている状態で、撮像装置2が表示装置3と接続して無線送信を行う場合の動作を説明する。撮像装置2は、表示装置3との接続を開始する前に、無線の受信処理を行って周囲の通信状態を確認する。本説明では、撮像装置1が無線送信を行っているため、撮像装置2は撮像装置1の無線送信(t6-t7)を確認する。撮像装置2は、上記の処理により撮像装置1の送信開始タイミング(t6)を検出することで、撮像装置1の撮像終了タイミング(t2等)と送信開始/終了タイミング(t6/t10等)を検出する。
　具体的には、撮像装置2は、撮像装置1からの送信データを受信し、送信データに含まれる、撮像装置1を示す識別子(ID)を受信した時点を基準として、撮像装置1の撮像終了タイミング(t2)と送信開始/終了タイミング(t6/t10)を検出する。撮像装置2の撮像制御回路8は、予め撮像装置1を示す識別子を記憶しており、送信データ中の識別子と、記憶している撮像装置1の識別子とを比較し、両者が一致した場合に、撮像装置1を示す識別子を受信したと判断する。
　送信データを構成するパケットの先頭にあるヘッダに識別子が含まれており、送信データ中の識別子の位置は固定である。また、撮像装置2の撮像制御回路8は、撮像装置1の撮像終了タイミング(t2)と送信開始/終了タイミング(t6/t10)とのそれぞれの時間的な関係(例えば、各タイミングの時間差)を示すデータ(時間関係データ)を予め記憶している。撮像装置2の撮像制御回路8は、撮像装置1を示す識別子を受信したタイミングから検出した撮像装置1の送信開始タイミング(t6)と、予め記憶しているデータとから、撮像装置1の撮像終了タイミング(t2)及び送信終了タイミング(t10)を検出する。尚、撮像装置1の撮像終了タイミング(t2)及び送信開始/終了タイミング(t6/t10)に対して周期(T)の整数倍の時間を加えたタイミングを算出することで、撮像装置1の撮像終了タイミング(t13、t21、t31)及び送信開始/終了タイミング(t17/t20、t25/t28)を検出することも可能である。
　本実施形態では、撮像装置1を示す識別子(ID)の検出タイミングを使ったタイミングの検出方法を説明したが、タイミングの検出に用いるデータは、撮像装置2が検出可能なデータであって送信タイミングが既知であれば使用することが可能である。例えば、表示装置3を示す識別子でも、撮像データの先頭を示すマーカーでも可能である。
　撮像装置2の撮像制御回路8は、検出した撮像装置1の撮像処理の終了タイミング(t2)に周期(T)の整数倍の時間を加えたタイミングで自装置の撮像処理が終了するように撮像処理の終了タイミング(t21、t31)を設定し、撮像装置1の送信終了(t10)を待って表示装置3との接続処理を開始(t11)する。これによって、撮像装置2の撮像処理は撮像装置1の撮像処理と同じタイミングで実施される。
　また、撮像装置2の撮像制御回路8は、撮像処理の終了タイミングに合わせて圧縮処理の開始タイミング(t22等)を設定する。さらに、撮像装置2の撮像制御回路8は、撮像処理及び圧縮処理の終了後のタイミングであって、撮像装置1の送信終了タイミング(t28)の後のタイミングで表示装置3への無線送信が実施されるように、無線送信のタイミング(t29-t32)を設定する。これによって、撮像装置2の無線送信は撮像装置1の無線送信と異なるタイミングで実施される。
　尚、撮像装置2による撮像装置1の動作タイミングの確認処理は、接続開始直後以外にも周期的に行われ、装置内クロックのバラつきによる撮像装置間の動作速度の微妙なずれが修正される。
　図5、図6、図7は、撮像装置の動作を示すフローチャートである。図5は、"親"の撮像装置と"子"の撮像装置に共通の動作を示している。図6は"親"の撮像装置の動作を示し、図7は"子"の撮像装置の動作を示している。図8は、表示装置3の動作を示している。以下、図5～図8を用いて撮像装置と表示装置の動作を説明する。
　本実施形態における撮像装置1と撮像装置2は同じ機能を持つ装置であり、表示装置3との接続を先に行った装置が"親"の撮像装置となる。本説明では、撮像装置1と表示装置3の無線送信が行われている状態で撮像装置2の動作が開始される場合を例に説明する。この場合、撮像装置1が"親"となる。
　図5に示すように、撮像装置1，2の撮像制御回路8は動作を開始(ステップS1)した直後、初期設定(ステップS2)を実行する。初期設定(ステップS2)は、装置の各種動作に関するレジスタ等の初期設置を行う処理である。
　続いて、撮像制御回路8は、通信状況確認(ステップS3)を実行する。通信状況確認(ステップS3)は、アンテナ9、高周波回路7、ベースバンド回路6を制御して装置周辺の電波状況を監視し、他の撮像装置が表示装置と通信を行っているか否かを調査する処理である。
　他の撮像装置が表示装置と通信を行っていない場合、撮像制御回路8は"通信無"と判定し、親機設定(ステップS4)を実行する。親機設定(ステップS4)は、撮像装置を親機として動作させるための設定を行う処理である。以後、撮像装置は、"親"の撮像装置としての動作を開始(ステップS100)する。他の撮像装置が表示装置と通信を行っている場合、撮像制御回路8は"通信有"と判定し、子機設定(ステップS13)を実行する。子機設定(ステップS13)は、撮像装置を子機として動作させるための設定を行う処理である。以後、撮像装置は、"子"の撮像装置としての動作を開始(ステップS101)する。
　本実施形態における撮像装置1の動作を説明する。本説明での撮像装置1が動作を開始した時点で他の撮像装置が表示装置3と通信を行っていないので、撮像装置1では親機設定(ステップS4)が実行される。図6に示すように、"親"の撮像装置としての動作が開始(ステップS100)されると、撮像制御回路8は表示装置接続処理(ステップS5)を実行する。表示装置接続処理(ステップS5)は、表示装置3との無線接続を行う処理である。表示装置接続処理(ステップS5)では、無線接続に伴う各種の設定(通信プロトコル等の設定)が行われる。
　表示装置接続処理(ステップS5)の終了後、撮像制御回路8は撮像/送信タイミング設定(ステップS6)を実行する。撮像/送信タイミング設定(ステップS6)は、撮像装置1が実行する撮像や無線送信のタイミングを設定する処理であり、図4に"撮像装置1の動作タイミング"として示した各タイミング(t1～t31)を設定する処理である。
　具体的には、撮像制御回路8は、その内部において、所定周波数を持つ基準クロックをカウンタ回路でカウントし、カウント値を基準に所定周期(T)のタイミング信号を生成することで各タイミング(t1～t31)を生成する。所定周期で各種タイミング信号を発生させる技術は公知であるので説明を省略する。
　撮像/送信タイミング設定(ステップS6)が行われると、撮像ユニット4の動作が開始される。撮像/送信タイミング設定(ステップS6)の終了後、撮像制御回路8は撮像終了待ち(ステップS7)を実行する。撮像終了待ち(ステップS7)は、撮像ユニット4が1フレーム分の撮像を終了するまで次の処理の開始を待つ処理であり、待ち時間は撮像/送信タイミング設定(ステップS6)で設定された値に基づく時間である。
　撮像ユニット4が撮像を終了すると、撮像制御回路8は圧縮開始指示(ステップS8)を実行する。圧縮開始指示(ステップS8)は、圧縮回路5に圧縮動作の開始を指示する処理である。撮像制御回路8は、圧縮処理のタイミング(図4でのt3-t5等)も把握しており、圧縮処理の終了まで送信開始待ち(ステップS9)を実行する。送信開始待ち(ステップS9)は、圧縮回路5が1フレーム分の圧縮を終了するまで次の処理の開始を待つ処理である。
　送信開始待ち(ステップS9)の終了後、撮像制御回路8は送信開始指示(ステップS10)を実行する。送信開始指示(ステップS10)は、ベースバンド回路6及び高周波回路7に無線送信の開始を指示する処理である。送信開始指示(ステップS10)に応じてベースバンド回路6は圧縮回路5からの圧縮画像データを所定の送信プロトコルで、高周波回路7、アンテナ9を介して表示装置3に送信する。
　撮像制御回路8は、送信開始指示(ステップS10)の実行後、送信時間監視(ステップS11)を実行する。図4を用いて説明したように、無線送信の実行時間(t6-t10、t16-t19等)は制限されているため、撮像制御回路8は送信時間監視(ステップS11)により無線送信の実行時間を測定する。
　制限時間内に無線送信が終了した場合、"時間内終了"と判断され、撮像終了待ち(ステップS7)に戻って処理が実行される。制限時間内に無線送信が終了しなかった場合、撮像制御回路8は送信中止指示(ステップS12)を行い、送信中止指示をベースバンド回路6に送り、無線送信を中止させる。その後、撮像終了待ち(ステップS7)に戻って処理が実行される。以上の動作が、本実施形態における撮像装置1の動作である。
　次に、本実施形態における撮像装置2の動作を説明する。前述したように、撮像装置2は、撮像装置1と表示装置3とが接続された後に動作を開始する。その場合、撮像装置2の撮像制御回路8は、初期設定(ステップS2)を行った後、通信状況確認(ステップS3)において、撮像装置1と表示装置3の間の通信を検出する。そのため、撮像装置2の撮像制御回路8は"通信有"と判断し、子機設定(ステップS13)を実行した後、"子"の撮像装置としての動作を開始(ステップS101)する。
　図7に示すように、"子"の撮像装置としての動作が開始(ステップS101)されると、撮像制御回路8は、親機通信タイミング検出処理(ステップS14)を実行する。親機通信タイミング検出処理(ステップS14)は、親機と表示装置との通信を監視して、親機からの送信開始のタイミング(図4のt6)を検出する処理である。
　続いて、撮像制御回路8は、親機送信終了待ち(ステップS15)を行い、親機と表示装置との通信の終了を待つ。親機送信終了待ち(ステップS15)は、親機と表示装置との通信が終了するまで次の処理の開始を待つ処理である。
　親機と表示装置との通信が終了した後、撮像制御回路8は表示装置接続処理(ステップS16)を実行する。表示装置接続処理(ステップS16)は、表示装置接続処理(ステップS5)と同様に表示装置3との無線接続を行う処理である。表示装置接続処理(ステップS16)を、親機と表示装置との通信が終了した後に実行することで、接続処理に伴う無線通信が親機の無線送信とぶつかることを回避している。
　表示装置接続処理(ステップS16)の終了後、撮像制御回路8は撮像/送信タイミング設定(ステップS17)を実行する。撮像/送信タイミング設定(ステップS17)は、撮像装置2が実行する撮像や無線送信のタイミングを設定する処理であり、図4に"撮像装置2の動作タイミング"として示した各タイミング(t19～t32)を設定する処理である。
　撮像/送信タイミング設定(ステップS17)では、撮像制御回路8は、親機通信タイミング検出処理(ステップS14)で検出した親機からの送信開始のタイミング(t6)を基準に撮像装置2が撮像処理、圧縮処理、及び無線送信を実行するタイミングを決定する。撮像装置2の撮像制御回路8は、親機の各部の動作タイミングを把握しており、送信開始のタイミング(t6)を検出することで各動作のタイミングを把握可能となる。これは、撮像装置1が無い場合には撮像装置2が親機のタイミングで動作するためである。
　前述したように、撮像装置2の撮像制御回路8は、撮像装置1の撮像終了タイミング(t2)と送信開始/終了タイミング(t6/t10)とのそれぞれの時間的な関係を示すデータ(時間関係データ)を予め記憶している。撮像装置1を示す識別子を検出することにより送信開始のタイミング(t6)を検出した場合、撮像制御回路8は、記憶しているデータを用いて撮像装置2の撮像終了タイミング及び送信開始タイミングを設定することが可能となる。
　例えば、撮像終了タイミング(t2)が送信開始タイミング(t6)の3ms前(圧縮処理の時間は最大3ms)であって、最長送信時間(t6-t10)が6msに設定されている場合、撮像装置2の撮像制御回路8は、撮像装置1の送信開始タイミング(t6)を検出すると、撮像装置1の送信開始タイミング(t6)の3ms前のタイミングが撮像終了タイミング(t2)であることを検出し、撮像終了タイミング(t2)と同じタイミングに撮像装置2の撮像終了タイミングを設定する。また、撮像装置2の撮像制御回路8は、撮像装置1の送信開始タイミング(t6)の6ms後のタイミングが撮像装置1の送信終了タイミング(t10)であることを検出し、送信終了タイミング(t10)の後に撮像装置2の送信開始タイミングを設定する。その結果、撮像装置2は、撮像装置1と同じタイミングで撮像動作を行い、撮像装置1と異なったタイミングで無線送信動作を実行することが可能となる。
　撮像/送信タイミング設定(ステップS17)の後、撮像制御回路8は、撮像終了待ち(ステップS18)、圧縮開始指示(ステップS19)を実行する。撮像終了待ち(ステップS18)、圧縮開始指示(ステップS19)は、前述した撮像終了待ち(ステップS7)、圧縮開始指示(ステップS8)と同様の処理であるので説明を省略する。
　上記のように、撮像装置2は撮像装置1の送信開始のタイミング(t6)を検出することで撮像装置1と動作を同期させているが、長時間が経過すると、各装置に使用されている基準クロックの周波数のバラつきにより動作タイミングにズレが生じてしまう。そのため、撮像装置2は、周期的に撮像装置1の送信開始のタイミング(t6)を検出し、検出したタイミングを使って装置内部のタイミングを再設定することで上記の動作タイミングのズレを無くしている。図7中の再測定実行判断(ステップS20)が、上記の送信開始のタイミング(t6)の再測定を実行するか否かを判断する処理であり、所定周期で再測定が実行される。
　再測定を実行する場合、撮像制御回路8は親機通信タイミング検出(ステップS21)を実行する。親機通信タイミング検出(ステップS21)は、前述した親機通信タイミング検出処理(ステップS14)と同じ処理であり、撮像装置1の送信開始のタイミングを検出する処理である。その後、撮像制御回路8は撮像/送信タイミング再設定(ステップS22)を実行することで、検出した送信開始のタイミングを基準に各種タイミングの設定を行い、上記の動作タイミングのズレを無くしている。
　撮像/送信タイミング再設定(ステップS22)を行った場合、及び再測定実行判断(ステップS20)で再測定を実行しないと判断した場合、撮像制御回路8は送信開始待ち(ステップS23)を実行する。送信開始待ち(ステップS23)以降の、送信開始指示(ステップS24)、送信時間監視(ステップS25)、送信中止指示(ステップS26)の各処理は、図6における送信開始待ち(ステップS9)、送信開始指示(ステップS10)、送信時間監視(ステップS11)、送信中止指示(ステップS12)と同様の処理であるので、以降の説明を省略する。
　次に、図8を用いて、表示装置3の動作を説明する。表示装置3の表示制御回路16は、動作を開始(ステップS30)すると、初期設定処理(ステップS31)を実行する。初期設定処理(ステップS31)は、装置の各種動作に関するレジスタ等の初期設置を行う処理である。初期設定処理(ステップS31)では表示に関するレジスタも設置され、所定の周期での表示処理が開始され、ディスプレーユニット15に初期画面が表示される。
　表示制御回路16は、初期設定処理(ステップS31)の終了後、新規接続要求確認(ステップS32)により新規接続要求の有無を判断する。新規接続要求が有る場合には、表示制御回路16は接続処理(ステップS33)を実行することで、撮像装置との接続に伴う各種のパラメータの送受信処理を実行する。
　接続処理(ステップS33)の実行後、表示制御回路16は受信タイミング設定処理(ステップS34)を実行する。受信タイミング設定処理(ステップS34)は、接続処理(ステップS33)で接続した撮像装置との通信処理の実行タイミングを設定する処理であり、接続処理(ステップS33)で撮像装置から要求されたタイミングに沿うように実行タイミングの設定が行われる。
　新規接続要求が無い場合、及び受信タイミング設定処理(ステップS34)が終了した後、表示制御回路16は撮像装置との接続の有無を判定する接続有無判定(ステップS35)を実行する。接続が無い場合、新規接続要求確認(ステップS32)に戻って処理が実行される。接続が有る場合、表示制御回路16は受信開始待ち(ステップS36)を行い、撮像装置からの送信を待つ。
　撮像装置からの送信が開始された時点で、表示制御回路16は受信開始待ち(ステップS36)を終了し、受信時間監視(ステップS37)を実行する。受信時間監視(ステップS37)は、受信処理の実行時間を監視する処理である。表示制御回路16は、受信処理の経過時間が所定の最長実行時間を越えた場合、"時間超過"と判定し、受信中止指示(ステップS38)を実行する。受信中止指示(ステップS38)は、受信中止指示をベースバンド回路12に送り、無線受信を中止させる処理である。
　受信処理が時間内で終了した場合、及び受信中止指示(ステップS38)の実行後、表示制御回路16は次装置受信確認(ステップS39)を実行する。次装置受信確認(ステップS39)は、表示画面に画像を表示するために接続中の全ての撮像装置からの送信データの受信処理が終了したか否かをフレーム毎に判断する処理である。
　本実施形態の場合、表示装置3は最初に撮像装置1と接続され、その後、撮像装置2とも接続される。表示装置3が撮像装置1とだけ接続している場合、表示制御回路16は撮像装置1からの送信データの受信処理の終了を受信時間監視(ステップS37)で監視しており、受信処理が終了した時点で次装置受信確認(ステップS39)を実行する。表示制御回路16は、接続中の撮像装置が撮像装置1だけであることを認識しており、その時点で"次装置無"と判定する。"次装置無"と判定されると、新規接続要求確認(ステップS32)に戻って処理が実行される。次装置受信確認(ステップS39)は、例えば図4でのt7のタイミングで実行される。
　表示装置3が撮像装置1及び撮像装置2と接続している場合、次装置受信確認(ステップS39)は撮像装置1及び撮像装置2からの送信データの受信処理が終了した時点で実行される。撮像装置1からの送信データの受信処理が終了した時点では、次装置受信確認(ステップS39)により"次装置有"と判定され、受信開始待ち(ステップS36)に戻って処理が実行され、撮像装置2からの送信データの受信処理が終了した時点では、次装置受信確認(ステップS39)により"次装置無"と判定され、新規接続要求確認(ステップS32)に戻って処理が実行される。次装置受信確認(ステップS39)は、例えば図4でのt26のタイミングで実行されて"次装置有"と判定され、続いてt30のタイミングで実行されて"次装置無"と判定される。
　図4に示したように、撮像装置1と撮像装置2が接続している場合、同じタイミングで撮像が行われた後、撮像装置1からの無線送信が行われ、その後、撮像装置2からの無線送信が行われる。そのため、撮像装置1からの無線送信の後に行われる次装置受信確認(ステップS39)では受信開始待ち(ステップS36)に処理が戻り、撮像装置2からの無線送信の後に行われる次装置受信確認(ステップS38)では新規接続要求確認(ステップS32)に処理が戻る。
　本実施形態の撮像装置1は、本発明の最上位概念における基準撮像装置に対応し、撮像装置2は、本発明の最上位概念における基準撮像装置以外の撮像装置に対応し、表示装置3は本発明の最上位概念における表示装置に対応する。本発明における基準撮像装置は、例えば撮像ユニット4を撮像部とし、圧縮回路5をデータ処理部とし、ベースバンド回路6及び高周波回路7を無線通信部とすることで構成可能である。また、本発明における基準撮像装置以外の撮像装置は、例えば撮像ユニット4を撮像部とし、圧縮回路5をデータ処理部とし、ベースバンド回路6及び高周波回路7を無線通信部とし、撮像制御回路8を制御部とすることで構成可能である。また、本発明における表示装置は、例えば高周波回路11及びベースバンド回路12を無線通信部とし、ディスプレーユニット15を表示部とすることで構成可能である。
　本発明の最上位概念における基準撮像装置を構成する場合、基準撮像装置以外の撮像装置が行う処理は必須ではない。したがって、例えば図7に示す処理を行わないように基準撮像装置が構成されていてもよい。また、本発明の最上位概念における基準撮像装置以外の撮像装置を構成する場合、基準撮像装置が行う処理は必須ではない。したがって、例えば図6に示す処理を行わないように基準撮像装置以外の撮像装置が構成されていてもよい。
　上述したように、本実施形態によれば、親撮像装置(撮像装置1)の送信タイミングから親撮像装置の撮像タイミングを子撮像装置(撮像装置2)が検出し、子撮像装置が自身の撮像タイミングを親撮像装置の撮像タイミングと同一になるように制御するとともに子撮像装置が自身の送信タイミングを親撮像装置の送信タイミングと異なるように制御することが可能となる。そのため、同期を取るための特別な情報の無線通信を行うことなく複数の撮像装置間の撮像タイミングと無線送信タイミングを調整することができる。
　（第2の実施形態）
　次に、本発明の第2の実施形態を説明する。本実施形態の撮像装置は、別の撮像装置からの画像を受信し、受信した画像と自身が撮像した画像とを合成し、合成した1枚の画像を表示装置に送信する画像合成機能を有している。また、本実施形態の表示装置は、撮像装置からの撮像データの受信開始タイミングと、自身の表示開始タイミングとから表示遅延時間を検出し、目標とする遅延時間と、検出した表示遅延時間との差分である調整時間を撮像装置に通知する通知機能を持つ。撮像装置が表示装置から通知された調整時間に基づいて撮像タイミングを調整することで、表示遅延時間を最短時間に制御することが可能である。
　図9は、本実施形態による撮像表示システムの構成を示している。まず、図9を用いて、撮像表示システムの概要を説明する。図9に示す撮像表示システムは、2台の撮像装置(撮像装置17、撮像装置2)と1台の表示装置(表示装置20)で構成されている。
　本実施形態では、撮像装置17と表示装置20の機能が第1の実施形態における撮像装置1と表示装置3の機能と一部異なっている。表示装置20は、一部の機能が追加されているだけで、装置の内部構成は表示装置3と同じであるので、図3の表示装置3の構成を用いて本実施形態の表示装置20を説明する。
　図9に示すように、撮像装置2は撮像装置17と接続され、撮像装置2で撮像された画像のデータを含む送信データが撮像装置17へ無線送信される。撮像装置2で撮像された画像のデータと、撮像装置17で撮像された画像のデータとが撮像装置17で合成され、合成されたデータを含む送信データが表示装置20に無線送信され、表示装置20で合成画像が表示される。また、他の撮像装置と接続する機能を持つ撮像装置17が"親"として動作し、撮像装置2は、撮像処理のタイミングを"親"に合わせる"子"として動作する。
　図10は、撮像装置17の構成を示している。本実施形態の撮像装置2の構成は第1の実施形態の撮像装置2の構成と同一であるので、撮像装置2の構成については説明を省略する。図10に示すように、撮像装置17は、撮像ユニット4、圧縮/伸張回路18、ベースバンド回路19、高周波回路7、撮像制御回路8、アンテナ9で構成されている。第1の実施形態の撮像装置1の構成とは、圧縮/伸張回路18及びベースバンド回路19が異なっている。
　ベースバンド回路19は、第1の実施形態のベースバンド回路12が有する機能に対して、他の撮像装置との接続処理を実行し、他の撮像装置から受信した圧縮画像データを圧縮/伸張回路18に出力する機能が追加されている。圧縮/伸張回路18(画像合成部)は、ベースバンド回路19から出力された他の撮像装置からの圧縮画像データに伸張処理を行い、伸張処理後の撮像データと、撮像装置17の撮像ユニット4から出力された撮像データとを合成処理した後、合成処理した撮像データに圧縮処理を行って圧縮画像データを生成し、ベースバンド回路19に出力する機能を持つ点が第1の実施形態の圧縮回路5と異なっている。
　次に、図11を用いて、本実施形態における表示遅延時間の調整に関する表示装置20と撮像装置17の動作を説明する。図11は、撮像装置17に対して表示装置20が行う表示遅延時間の調整処理を示している。図11の右方向が時間の進む方向である。図11に示す状態は、撮像装置17が撮像装置2との接続する以前の状態である。撮像装置17と撮像装置2との接続は、図11を用いて説明する表示遅延時間の調整を行った後に行われる。撮像装置17と撮像装置2が接続した状態の説明は、後に図12を用いて行う。
　表示装置20は、第1の実施形態の表示装置3と同様に、初期設置が行われた後に所定の表示周期で表示処理を行う。図11のt1-t11(t11-t19、t19-t28)の時間が1周期の時間であり、t1-t9(t11-t16、t19-t26、t28-t29)が表示期間、t9-t11(t16-t19、t26-t28)がブランキング期間である。図11は、表示装置20及び撮像装置17の状態が表示遅延時間の調整前の状態から表示遅延時間の調整後の状態に移る様子を示している。表示遅延時間の調整は、撮像装置17の撮像タイミングを表示装置20の表示タイミングに合わせて調整することで実行される。
　最初に、表示装置20が行う表示遅延時間の測定について説明する。表示遅延時間は、撮像装置で撮像処理が実行されてから表示装置で表示処理が実行されるまでの時間である。本実施形態では、表示遅延時間を、撮像装置の撮像処理の終了時点から表示装置の表示開始時点までの時間と定義して説明する。撮像装置17で撮像処理により得られた撮像データは、圧縮処理、送信処理が行われた後、表示装置20に伝送される。表示装置20では、受信処理、伸張処理の後、表示処理が行われる。
　図11に示すように、撮像処理から伸張処理までの処理は、撮像処理の終了を起点とした一連の処理となっており、表示処理は別のタイミングで行われている。例えば、撮像処理(t3-t5)、圧縮処理(t6-t7)、無線送信・無線受信(t8-t14)、伸張処理(t5-t18)は一連の処理となっている。また、伸張処理(t5-t18)の後、表示処理(t16-t26)が行われて画像が表示される。撮像処理の終了タイミング(t5)から表示処理の開始タイミング(t19)までの時間が現表示遅延時間として示されている。
　表示遅延時間が最短となる条件は、伸張処理が表示処理の開始直前に終了することである。上記の条件を達成するため、本実施形態では、表示装置20の表示制御回路16が、ベースバンド回路12から受信開始タイミング(t8)を検出し、表示処理回路14から表示開始タイミング(t19)を検出して、現表示遅延時間(t5-t19)を検出する。図11に示すように、圧縮時間(t6-t7)は既知であり、撮像終了直後に圧縮処理が開始され(t5=t6)、圧縮処理の終了直後に無線受信が開始される(t7=t8)ため、受信開始タイミング(t8)から撮像処理の終了タイミング(t5)を推定可能である。この撮像処理の終了タイミング(t5)と表示開始タイミング(t19)との時間差を求めることにより、現表示遅延時間が求められる。
　最短の表示遅延時間である目標表示遅延時間は既知であるので、表示制御回路16(算出部)は、「（現表示遅延時間）－（目標表示遅延時間）」の演算(減算)を行うことにより調整時間を算出する。本実施形態では、目標表示遅延時間は表示制御回路16内に記憶されている。
　調整時間をデータ化して、撮像装置17に通知することも可能であるが、本実施形態では、撮像装置17の送信処理の終了タイミングを上記の調整時間分だけ遅延させる方法により表示装置20は撮像装置17に調整時間を通知する。具体的には、撮像装置17では、圧縮処理後、ベースバンド回路19が圧縮画像データを複数のデータ(分割撮像データ)に分割し、それらのデータを含む複数のパケットを送信する。送信される最後のパケットに対する表示装置20の受信処理の終了を調整時間分遅延させることで撮像装置17に対する調整時間の通知が行われる。
　データを複数のパケットに分割して送信する方法は公知であるので説明を省略する。尚、撮像装置17から送信される複数のパケットのうち最後のパケットに対して、最後のパケットであることを示すデータが格納されており、表示装置20の表示制御回路16は、パケットからそのデータを検出した場合に、そのパケットが最後のパケットであることを検出する。
　図11において、t10-t14が、調整時間の通知の実行を行っているタイミングである。表示装置20の表示制御回路16は、図中の現表示遅延時間と目標表示遅延時間との差分である調整時間を撮像装置17に通知することで、撮像装置17の撮像タイミングを、図中の"撮像4"で示されるt12-t13からt17-t20に変更する処理を行う。
　具体的には、撮像装置17の撮像処理は無線送信の終了から所定の時間が経過したタイミング(t13、又は、t20のタイミング)で終了するように制御されるため、無線送信の終了タイミングを、本来のタイミング(t10)から調整時間分だけ遅らせたタイミング(t14)にすることにより、撮像処理のタイミングがt12-t13からt17-t20に調整される。
　図11において、通常の通信では、t8-t10に実行される無線送信("送信3")はt10のタイミングで中止される。本実施形態では、調整時間の通知が行われることを撮像装置17と表示装置20で予め合意しておく。t10のタイミングでは、無線送信が中止されずに、調整時間分遅延したt14まで通信が引き伸ばされることで、調整時間の通知が行われる。具体的には、表示装置20の表示制御回路16は、1回(1フレーム)の撮像に対応して撮像装置17から送信される最後のパケットの受信に成功しても、正常に受信したことを示すACK(受信完了データ)を返さず、パケットを受信する毎にNAKを返し続けるように高周波回路11及びベースバンド回路12を制御する。
　撮像装置17の撮像制御回路8は、表示装置20からNAKが受信されると、最後のパケットの再送を行うようにベースバンド回路19及び高周波回路7を制御する。調整時間の通知が行われている間、撮像制御回路8は撮像ユニット4が撮像処理(図11の"撮像4")を開始しないように制御を行う。表示装置20の表示制御回路16は、1回(1フレーム)の撮像に対応して撮像装置17から送信される最後のパケットの受信を開始してから調整時間が経過したタイミングでACKを返して通信を終了するように高周波回路11及びベースバンド回路12を制御する。表示装置20から撮像装置17にACKが返信されることで、撮像装置17に調整時間が通知される。撮像装置17の撮像制御回路8は最後のパケットを送信したタイミングからACKを受信するまでの時間を測定することで調整時間を認識する。
　撮像装置17の撮像制御回路8は、図11に示すように、調整時間に応じて撮像処理の終了タイミングを調整する。図11では、撮像処理の終了タイミングがt13から、調整時間分だけ遅延したt20に調整される。その結果、表示遅延時間は目標表示遅延時間に調整される。
　最後に、図12を用いて、撮像装置17が行う画像合成処理の方法を説明する。図12は、撮像装置17が表示装置20との接続中に、新たに撮像装置2が撮像装置17に接続される場合に撮像装置17と撮像装置2が行う処理のタイミングを示している。図12の右方向が時間の進む方向である。
　この時、撮像装置2は、第1の実施形態と同様に、撮像タイミングを撮像装置17の撮像タイミングと同じになるように調整すると共に、撮像装置17に対して所定のタイミングで無線送信を行うように送信タイミングを調整する。また、撮像装置17は撮像装置2からの撮像データを受信し、自身の撮像データと合成した後、表示装置3に送信する。
　最初に、撮像装置2が未接続の状態での撮像装置17の動作を説明する。尚、表示装置20と撮像装置17の接続処理は完了しており、図11を用いて説明した表示遅延時間の調整も終了しているものとする。撮像装置17の撮像動作は所定周期(T：16.67ms=1/60s)で行われ、図中のt30-t31、t32-t35、t39-t43、t50-t54は撮像ユニット4が撮像処理を行っている期間を示している。図中の撮像処理の終了するタイミング(t31、t35、t43、t54)が所定の撮像周期の区切りとなり、撮像処理の期間の先頭のタイミング(t30、t32、t39、t50)は、撮像ユニット4に設定される露光期間に応じて可変である。
　撮像処理が終了すると、所定時間後に撮像データが圧縮/伸張回路18に送られ圧縮処理が行われる。圧縮処理の処理時間は、撮像データの状況に応じて変化する。図12では圧縮処理が最長となった場合の時間(t32-t33、t40-t41、t51-t52)が示されている。上記の圧縮処理では、まだ撮像装置2が接続されていないため、撮像装置2からの撮像データが合成される部分のデータは黒画像データで置き換えられて処理される。
　また、撮像処理終了から圧縮処理までの空き時間(t31-t32、t35-t40)は、撮像装置2が接続された場合に撮像装置2からのデータの受信処理や伸張処理に必要な処理時間である。撮像装置2が接続された場合の各処理の実施タイミングの詳細については後で説明する。圧縮処理の終了(t33)直後に無線送信(t34-t36)が開始される。図12において、"撮像1"で示したタイミングで撮像されたデータが"送信1"で示したタイミングで無線送信される。同様に、"撮像2"で示したタイミングで撮像されたデータが"送信2"で示したタイミングで無線送信され、"撮像3"で示したタイミングで撮像されたデータが"送信3"で示したタイミングで無線送信される。
　次に、撮像装置2と撮像装置17の接続について説明する。接続開始前、撮像装置2は、第1の実施形態の場合と同様に撮像装置17と表示装置20の無線通信[図12の"送信1" (t34-t36)]で伝送された送信データを受信して撮像装置17の動作タイミングを把握し、撮像タイミングを撮像装置17と同じタイミングに調整する(同期処理を行う)と共に、撮像装置17の無線送信の終了後に接続処理(t37-t38)を実施する。撮像タイミングの同期処理と、接続処理の詳細は第1の実施形態と同じであるので説明を省略する。
　最後に、撮像装置2との接続処理の終了後の撮像装置17の動作について説明する。前述したように、撮像装置2の撮像処理は、撮像装置17の撮像処理と同時に実施されるように調整されている。図12には、"撮像3"(t39-t43)のタイミングで撮像装置2の撮像処理を行う例が示されている。
　撮像装置2では、撮像処理(t39-t43)の直後に圧縮処理(t44-t46)が実行され、圧縮処理の直後に撮像装置17への無線送信(t47-t48)が実行される。撮像装置17では、撮像装置2からの送信データの無線受信(t47-t48)の後、高周波回路7が送信データの周波数変換を行い、ベースバンド回路19が送信データから圧縮画像データを再構成して圧縮/伸張回路18に出力する。圧縮/伸張回路18は、伸張処理(t49-t51)により、圧縮画像データを通常の撮像データに戻した後、撮像ユニット4での撮像処理["撮像3"(t39-t43)]により生成された撮像データと合成する。その後、圧縮/伸張回路18は、圧縮処理(t51-t52)を行い、2画面分の画像を合成した後の圧縮画像データを生成する。尚、合成処理は伸張処理の過程におけるデータの書込み位置の制御により行われるため、図12では合成処理が伸張処理に含まれて表示されている。圧縮処理(t51-t52)の終了後に、ベースバンド回路19は表示装置20への送信処理(t53-t56)を実行する。
　上述したように、本実施形態によれば、表示装置が決定した調整時間に基づいて、撮像装置が行う撮像処理の実施タイミングを調整することで、撮像から表示までの経過時間である表示遅延時間を最短時間となるように制御することができる。
　また、無線通信で通信エラーが発生しない状況で、1回(1フレーム)の撮像で生成された撮像データを分割したデータを含む複数パケットのうち、最終パケットの送信終了タイミングを調整時間に応じて遅延させることで、撮像装置は、調整時間を検出することができる。さらに、調整時間の通知を通常のプロトコルの無線通信により行うことができる。
　また、子撮像装置の撮像データと親撮像装置の撮像データを合成して生成した撮像データを親撮像装置が表示装置に送信することで、表示装置が特別な処理を行わずに合成画像を表示することができる。このことにより、表示装置が標準的な携帯端末であっても合成画像の受信/表示が可能となる。
　以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
本発明は、撮像表示システム、撮像装置、撮像方法、プログラムなどに広く適用でき、基準撮像装置以外の撮像装置において、基準撮像装置における撮像タイミングと、基準撮像装置における圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データと、第1の無線通信部で無線受信された圧縮画像データの受信タイミングとに基づいて、基準撮像装置の撮像タイミングに合わせるよう撮像部の撮像タイミングを調整し、基準撮像装置の無線送信タイミングと異なるよう第1の無線通信部の無線送信タイミングを調整することによって、同期を取るための特別な情報の無線通信を行うことなく複数の撮像装置間の撮像タイミングと無線送信タイミングを調整することができる。
　1，2，17　撮像装置
3, 20　表示装置
4　撮像ユニット
5　圧縮回路
6，12，19　ベースバンド回路
7，11　高周波回路
8　撮像制御回路
9，10　アンテナ
13　伸張回路
14　表示処理回路
15　ディスプレーユニット
16　表示制御回路
18　圧縮/伸張回路

Claims (14)

  1. 　所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成し前記撮像データに対応する圧縮画像データを無線送信する複数の撮像装置と、
    無線送信された前記圧縮画像データを無線受信し、前記圧縮画像データに基づく画像を表示する表示装置と、
    を有する撮像表示システムであって、
    　前記複数の撮像装置のうち1つの撮像装置を基準撮像装置と定義するとき、
    　前記基準撮像装置は、
    　所定の撮像周期で撮像を実施し、撮像が行われる毎に、前記撮像データを生成して出力する撮像部と、
    　前記撮像部から出力される前記撮像データから前記圧縮画像データを生成するデータ処理部と、
    　前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信する第1の無線通信部と、
    　を有し、
    　前記基準撮像装置以外の前記撮像装置は、
    　前記撮像部と、
    前記データ処理部と、
    　前記基準撮像装置から無線送信された前記圧縮画像データをさらに無線受信する前記第1の無線通信部と、　前記基準撮像装置における撮像タイミングと、前記基準撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データを記憶し、前記時間関係データと、前記第1の無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記基準撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記基準撮像装置の無線送信タイミングと異なるよう前記第1の無線通信部の無線送信タイミングを調整する制御部と、
    　を有し、
    　前記表示装置は、
    　前記撮像装置から無線送信された前記圧縮画像データを無線受信する第2の無線通信部と、
    　前記第2の無線通信部で無線受信された前記圧縮画像データに基づく画像を所定の表示周期で表示する表示部と、
    　を有する、撮像表示システム。
  2. 　前記基準撮像装置の前記第1の無線通信部は、1回の撮像に対応する前記撮像データが前記表示装置で無線受信されたことを示す受信完了データを前記表示装置から無線受信し、
    　前記基準撮像装置の前記撮像部は、1回の撮像を行った後、前記第1の無線通信部で前記受信完了データが受信された場合、次の撮像を行い、
    　前記表示装置は、前記基準撮像装置の前記撮像部の1回の撮像に対応する前記撮像データが前記表示部で表示される表示タイミングと、前記第2の無線通信部で無線受信される前記撮像データの受信タイミングとに基づいて前記基準撮像装置の前記撮像部の撮像タイミングの調整時間を算出する算出部を更に有し、
    前記第2の無線通信部は、算出された前記調整時間に応じたタイミングで前記受信完了データを前記基準撮像装置に無線送信する、
    請求項１に記載の撮像表示システム。
  3. 　前記表示装置の前記第2の無線通信部は、前記受信完了データとして、前記基準撮像装置の前記撮像部の1回の撮像に対応する前記撮像データを複数に分割した分割撮像データを含む無線パケットのうち前記基準撮像装置から最後に無線送信された無線パケットを正常に受信したことを示すデータを前記基準撮像装置に無線送信する、請求項２に記載の撮像表示システム。
  4. 　前記表示装置の前記第2の無線通信部は、前記受信完了データとしてACKデータを前記基準撮像装置に無線送信する、請求項３に記載の撮像表示システム。
  5. 　前記表示装置の前記第2の無線通信部は、前記基準撮像装置から最後に無線送信された無線パケットを正常に無線受信した後、前記ACKデータを無線送信するまでの間、前記基準撮像装置から再送された前記無線パケットを受信する毎にNACデータを前記基準撮像装置に無線送信する、請求項４に記載の撮像表示システム。
  6. 　前記基準撮像装置以外の前記撮像装置の前記第1の無線通信部は、前記撮像データを前記基準撮像装置に無線送信し、
    　前記基準撮像装置は、前記撮像部から出力された前記撮像データと、前記第1の無線通信部で無線受信された前記撮像データとを合成する画像合成部を更に有し、
    　前記基準撮像装置の前記第1の無線通信部は、前記基準撮像装置以外の前記撮像装置から無線送信された前記撮像データを無線受信し、前記画像合成部で合成された前記撮像データを前記表示装置に無線送信する、
    請求項１に記載の撮像表示システム。
  7. 　前記基準撮像装置の前記画像合成部は、前記撮像部から出力された前記撮像データと、当該撮像データが生成された撮像周期と同一の期間内に前記第1の無線通信部で無線受信された前記撮像データとを合成する、請求項６に記載の撮像表示システム。
  8. 　所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、
    　前記撮像部から出力される前記撮像データから圧縮画像データを生成するデータ処理部と、
    　前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信し、前記撮像部及び前記データ処理部を有する他の撮像装置から無線送信された前記圧縮画像データを無線受信する無線通信部と、
    　前記他の撮像装置における撮像タイミングと、前記他の撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データを記憶し、前記時間関係データと、前記無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記他の撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記他の撮像装置の無線送信タイミングと異なるよう前記無線通信部の無線送信タイミングを調整する制御部と、
    　を有する撮像装置。
  9. 　前記無線通信部は、前記他の撮像装置から前記圧縮画像データを無線受信して前記圧縮画像データに基づく画像を表示する表示装置に対して、前記データ処理部で生成された前記圧縮画像データを無線送信する、請求項８に記載の撮像装置。
  10. 　前記無線通信部は、前記他の撮像装置において前記圧縮画像データが無線送信された後であって次の撮像が行われるまでの間のタイミングに前記表示装置に対して、前記データ処理部で生成された前記圧縮画像データを無線送信する、請求項９に記載の撮像装置。
  11. 　前記無線通信部は、前記データ処理部で生成された前記圧縮画像データを前記他の撮像装置に無線送信する、請求項８に記載の撮像装置。
  12. 　前記無線通信部は、前記データ処理部で生成された前記圧縮画像データを、前記他の撮像装置において撮像が行われた後であって当該撮像に対応する前記圧縮画像データが無線送信されるまでの間のタイミングに前記他の撮像装置に無線送信する、請求項１１に記載の撮像装置。
  13. 　所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、
    　前記撮像部から出力される前記撮像データから圧縮画像データを生成するデータ処理部と、
    　前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信する無線通信部と、
    　前記撮像部及び前記データ処理部を制御する制御部と、
    　を有する撮像装置によって行われる撮像方法であって、
    前記撮像装置の前記制御部により、
    　前記基準撮像装置から無線送信された前記圧縮画像データを前記無線通信部に無線受信させるステップと、
    　前記他の撮像装置における撮像タイミングと、前記他の撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データと、前記無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記他の撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記他の撮像装置の無線送信タイミングと異なるよう前記無線通信部の無線送信タイミングを調整するステップと、
    　を有する撮像方法。
  14. 　所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、
    　前記撮像部から出力される前記撮像データから圧縮画像データを生成するデータ処理部と、
    　前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信する無線通信部と、
    　前記撮像部及び前記データ処理部を制御する制御部と、
    　を有する撮像装置のコンピュータに、
    　前記基準撮像装置から無線送信された前記圧縮画像データを前記無線通信部に無線受信させるステップと、
    　前記他の撮像装置における撮像タイミングと、前記他の撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データと、前記無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記他の撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記他の撮像装置の無線送信タイミングと異なるよう前記無線通信部の無線送信タイミングを調整するステップと、
    　を実行させるためのプログラム。
PCT/JP2013/068662 2012-10-09 2013-07-08 撮像表示システム、撮像装置、撮像方法、及びプログラム WO2014057719A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13845016.8A EP2908513B1 (en) 2012-10-09 2013-07-08 Image pick-up and display system, image pick-up device, image pick-up method, and program
CN201380051763.2A CN104704808B (zh) 2012-10-09 2013-07-08 摄像显示系统、摄像装置、摄像方法和程序
US14/679,567 US9414001B2 (en) 2012-10-09 2015-04-06 Image pick-up and display system, image pick-up device, image pick-up method, and computer readable storage device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012224245A JP6033032B2 (ja) 2012-10-09 2012-10-09 撮像表示システム
JP2012-224245 2012-10-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/679,567 Continuation US9414001B2 (en) 2012-10-09 2015-04-06 Image pick-up and display system, image pick-up device, image pick-up method, and computer readable storage device

Publications (1)

Publication Number Publication Date
WO2014057719A1 true WO2014057719A1 (ja) 2014-04-17

Family

ID=50477195

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/068662 WO2014057719A1 (ja) 2012-10-09 2013-07-08 撮像表示システム、撮像装置、撮像方法、及びプログラム

Country Status (5)

Country Link
US (1) US9414001B2 (ja)
EP (1) EP2908513B1 (ja)
JP (1) JP6033032B2 (ja)
CN (1) CN104704808B (ja)
WO (1) WO2014057719A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3150102A4 (en) * 2014-05-27 2018-01-24 Olympus Corporation Capsule endoscope apparatus

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5888873B2 (ja) * 2011-05-12 2016-03-22 オリンパス株式会社 画像送信装置及び撮像表示システム
JP6481225B2 (ja) * 2015-02-24 2019-03-13 オリンパス株式会社 情報端末装置、情報支援方法及び情報支援プログラム
CN106303651A (zh) * 2015-05-15 2017-01-04 中强光电股份有限公司 显示系统及显示系统的显示方法
US11076104B2 (en) * 2016-03-31 2021-07-27 Maxwell, Ltd. Camera-equipped portable information terminal device
US10200571B2 (en) * 2016-05-05 2019-02-05 Nvidia Corporation Displaying an adjusted image according to ambient light conditions
JP2018042003A (ja) * 2016-09-05 2018-03-15 カシオ計算機株式会社 撮像制御装置、撮像装置、撮像制御方法、撮像方法及びプログラム
WO2018235258A1 (ja) * 2017-06-23 2018-12-27 オリンパス株式会社 画像伝送システム、撮像端末、表示端末、調整方法、調整補助方法、調整プログラム、および調整補助プログラム
WO2019239779A1 (ja) * 2018-06-12 2019-12-19 ローム株式会社 カメラシステム、そのコントローラ、自動車、デシリアライザ回路
US11924397B2 (en) * 2020-07-23 2024-03-05 Samsung Electronics Co., Ltd. Generation and distribution of immersive media content from streams captured via distributed mobile devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324649A (ja) * 2002-04-30 2003-11-14 Fuji Photo Film Co Ltd 通信機能付電子カメラおよびその電子カメラシステムにおける撮影方法
JP2008301146A (ja) * 2007-05-31 2008-12-11 Fujitsu Ltd 撮像装置におけるフレーム同期方法および装置
JP4466052B2 (ja) 2003-11-21 2010-05-26 日本電気株式会社 無線画像通信システム、無線画像通信装置及び無線画像通信方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815667A (en) * 1995-11-28 1998-09-29 Ncr Corporation Circuits and methods for intelligent acknowledgement based flow control in a processing system network
US7327387B2 (en) * 2000-02-21 2008-02-05 Fujifilm Corporation Image pick-up information transmitting system and remote control method for an information transmitting system
US7796162B2 (en) * 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
JP3787498B2 (ja) * 2001-02-13 2006-06-21 キヤノン株式会社 撮像装置及び撮像システム
US7298964B2 (en) * 2001-02-26 2007-11-20 Matsushita Electric Industrial Co., Ltd. Recording system, video camera device and video image recording method
US7274661B2 (en) * 2001-09-17 2007-09-25 Altera Corporation Flow control method for quality streaming of audio/video/media over packet networks
US7679649B2 (en) * 2002-04-19 2010-03-16 Ralston John D Methods for deploying video monitoring applications and services across heterogenous networks
JP3731589B2 (ja) * 2003-07-18 2006-01-05 ソニー株式会社 撮像装置と同期信号発生装置
US7327385B2 (en) * 2003-11-20 2008-02-05 Texas Instruments Incorporated Home picture/video display system with ultra wide-band technology
JP4589631B2 (ja) * 2004-01-13 2010-12-01 ソニー株式会社 撮像装置，位相制御方法，および同期確立方法
JP2006005608A (ja) * 2004-06-17 2006-01-05 Hitachi Ltd 撮像装置
CN1624580A (zh) * 2004-12-06 2005-06-08 苏建国 时间摄像机
JP4320658B2 (ja) * 2005-12-27 2009-08-26 ソニー株式会社 撮像装置、制御方法、並びにプログラム
US8675074B2 (en) * 2007-07-20 2014-03-18 Honeywell International Inc. Custom video composites for surveillance applications
JP5056359B2 (ja) * 2007-11-02 2012-10-24 ソニー株式会社 情報表示装置、情報表示方法および撮像装置
KR101208427B1 (ko) * 2008-12-22 2012-12-05 한국전자통신연구원 동기화된 다중 영상 취득을 위한 다중 카메라 제어 및 영상저장 장치 및 방법
JP5432799B2 (ja) * 2010-03-30 2014-03-05 オリンパスイメージング株式会社 撮像装置、撮像システム、撮像方法
JP5251926B2 (ja) * 2010-06-16 2013-07-31 セイコーエプソン株式会社 撮影装置およびタイミング制御回路
US20120154510A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Smart Camera for Virtual Conferences
US20120274856A1 (en) * 2011-04-27 2012-11-01 Purushotam Kumar Frame List Processing for Multiple Video Channels
JP5988249B2 (ja) * 2012-03-26 2016-09-07 パナソニックＩｐマネジメント株式会社 無線通信システム及び方法並びにデータ受信装置、方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324649A (ja) * 2002-04-30 2003-11-14 Fuji Photo Film Co Ltd 通信機能付電子カメラおよびその電子カメラシステムにおける撮影方法
JP4466052B2 (ja) 2003-11-21 2010-05-26 日本電気株式会社 無線画像通信システム、無線画像通信装置及び無線画像通信方法
JP2008301146A (ja) * 2007-05-31 2008-12-11 Fujitsu Ltd 撮像装置におけるフレーム同期方法および装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2908513A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3150102A4 (en) * 2014-05-27 2018-01-24 Olympus Corporation Capsule endoscope apparatus

Also Published As

Publication number Publication date
EP2908513A1 (en) 2015-08-19
JP6033032B2 (ja) 2016-11-30
EP2908513A4 (en) 2016-04-06
JP2014078793A (ja) 2014-05-01
US9414001B2 (en) 2016-08-09
CN104704808A (zh) 2015-06-10
US20150215563A1 (en) 2015-07-30
CN104704808B (zh) 2017-10-13
EP2908513B1 (en) 2018-09-05

Similar Documents

Publication Publication Date Title
JP6033032B2 (ja) 撮像表示システム
US20190289242A1 (en) Electronic apparatus and method for conditionally providing image processing by an external apparatus
JP5855538B2 (ja) 撮像装置、撮像システム、撮像方法及びプログラム
CN102891984B (zh) 发送设备、接收系统、通信系统、发送方法、接收方法和程序
US9198557B2 (en) Electronic endoscopic apparatus
US10098080B2 (en) Device, method and computer readable medium
US9992402B2 (en) Imaging apparatus and imaging control apparatus having synchronous type wireless communication function
US10542192B2 (en) Image transfer system, image receiver, image transmitter, image transfer method, image reception method, image transmission method, and program
US9326022B2 (en) Wireless communication system, wireless communication device, and wireless communication method
WO2011162052A1 (ja) 表示装置及び表示システム
US9571799B2 (en) Wireless communication system and method, and data receiving apparatus, method and program
US10587783B2 (en) Image reception terminal, image communication system, image reception method, and recording medium
JP2009147831A (ja) 画像伝送装置及びワイヤレス画像受信装置
JP6334778B2 (ja) 通信仲介装置
US10764616B2 (en) Image transmission apparatus, image transmission method, and recording medium
JP2006203817A (ja) マルチカメラシステム
JP4738251B2 (ja) 同期自動調整装置
US20230254100A1 (en) Communication apparatus, communication system, and communication method
JP2012191285A (ja) 映像送信装置、映像送信方法、映像受信装置、および映像受信方法
JP2010193045A (ja) 無線データ伝送方法及び無線データ送受信装置
TW202335473A (zh) 通信裝置及通信方法、以及程式
JP6153812B2 (ja) 通信仲介装置及び通信システム並びに通信方法
JP2015023297A (ja) 伝送装置、および、伝送方法
JP2015023500A (ja) 映像信号出力機器及び設定方法
JP2018006959A (ja) 通信システム、通信機器および通信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13845016

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013845016

Country of ref document: EP