WO2012132763A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2012132763A1
WO2012132763A1 PCT/JP2012/055379 JP2012055379W WO2012132763A1 WO 2012132763 A1 WO2012132763 A1 WO 2012132763A1 JP 2012055379 W JP2012055379 W JP 2012055379W WO 2012132763 A1 WO2012132763 A1 WO 2012132763A1
Authority
WO
WIPO (PCT)
Prior art keywords
format
data
image
data format
quality
Prior art date
Application number
PCT/JP2012/055379
Other languages
English (en)
French (fr)
Inventor
柳舘　昌春
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201280005917.XA priority Critical patent/CN103329520B/zh
Priority to EP12764852.5A priority patent/EP2690869B1/en
Publication of WO2012132763A1 publication Critical patent/WO2012132763A1/ja
Priority to US14/017,371 priority patent/US9332233B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/333—Mode signalling or mode changing; Handshaking therefor
    • H04N1/33307—Mode signalling or mode changing; Handshaking therefor prior to start of transmission, input or output of the picture signal only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/333—Mode signalling or mode changing; Handshaking therefor
    • H04N1/33361—Mode signalling or mode changing; Handshaking therefor according to characteristics or the state of the communication line
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0086—Image transceiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/333—Mode signalling or mode changing; Handshaking therefor
    • H04N2201/33307—Mode signalling or mode changing; Handshaking therefor of a particular mode
    • H04N2201/33378—Type or format of data, e.g. colour or B/W, halftone or binary, computer image file or facsimile data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals

Definitions

  • the present invention relates to an image processing apparatus that performs image processing on frame image data input from an imaging apparatus.
  • This application claims priority based on Japanese Patent Application No. 2011-067760 for which it applied to Japan on March 25, 2011, and uses the content here.
  • Patent Document 1 devises a system that minimizes user discomfort by switching communication protocols according to the communication environment.
  • An object of the present invention is to provide an image processing apparatus capable of suppressing deterioration in image quality of elements having high importance among elements related to image quality of an image displayed on a display device even when the communication environment is deteriorated.
  • the image processing apparatus includes an input unit, a storage unit, an image processing unit, a wireless communication unit, a detection unit, and a selection unit.
  • the input unit receives the frame image data from an imaging device that images the subject and continuously outputs the frame image data.
  • the storage unit includes at least one of resolution, color expression, update cycle, and gradation, which are elements related to image quality of the image displayed on a display device that continuously displays the frame image data and displays the image.
  • a plurality of data formats corresponding to different image quality are stored as data formats that define the formats of the two elements.
  • the storage unit stores importance information indicating the importance of the element.
  • the image processing unit performs image processing on the frame image data input to the input unit according to a data format selected from the data formats stored in the storage unit.
  • the wireless transmission unit continuously wirelessly transmits the frame image data image-processed by the image processing unit to the display device.
  • the detection unit detects a wireless communication environment when the wireless communication unit wirelessly transmits the frame image data.
  • the selection unit selects one of the data formats stored in the storage unit. Further, when the detection unit detects that the communication environment has deteriorated, the selection unit is currently selected for the element selected based on the importance information stored in the storage unit.
  • the data format in which a format having a lower quality than the format specified in the data format is specified is selected.
  • the selection unit when the selection unit detects that the communication environment is deteriorated by the detection unit, the importance level is higher than the other elements by the importance level information. Select for those elements that are shown to be low. Further, the selection unit selects the data format in which a format having a lower quality than the format specified in the currently selected data format is specified.
  • the storage unit stores the data format for each user, for each imaging device, or for each combination of the user and the imaging device.
  • the storage unit stores a plurality of first data formats and a second data format corresponding to the highest quality image quality for each imaging device.
  • the selection unit selects based on the importance information stored in the storage unit. Further, the selection unit is a format defined by the second data format corresponding to the imaging device that outputs the frame image data input to the input unit for the element selected based on the importance information. A format with lower quality or equivalent quality is specified. Further, the selection unit selects the first data format in which a format that is lower in quality than the format specified in the currently selected data format is specified.
  • the storage unit defines a plurality of first data formats and a format corresponding to the lowest quality image quality that can be used for each of the at least two elements. 2 data formats are stored.
  • the detection unit detects that the communication environment is deteriorated
  • the selection unit selects based on the importance information stored in the storage unit. Further, the selection unit defines the first data format that defines a format having higher quality or equivalent quality than the format defined by the second data format for the element selected based on the importance level information. Then, the first data format in which a format having a lower quality than the format specified in the currently selected data format is specified is selected.
  • the storage unit stores the second data format for each user, for each imaging device, or for each combination of the user and the imaging device.
  • the element selected based on the importance information is compared with the format defined by the currently selected data format.
  • a data format in which a low quality format is defined is selected.
  • FIG. 1 shows the configuration of an imaging display system according to an embodiment of the present invention.
  • the cart 4 includes an endoscope 1, an operation monitor 2 that displays an endoscope image generated by the endoscope 1 and various control screens, and a transmission device 3 that wirelessly transmits image data. Is installed.
  • the cart 7 is equipped with a receiving device 5 that receives the image data transmitted from the transmitting device 3 and outputs it as a video signal, and a display monitor 6 that displays the video signal output from the receiving device 5 as an image. Yes.
  • the endoscope 1 continuously generates image data (frame image data) of each frame of moving image data composed of a plurality of frames.
  • Image data generated by the endoscope 1 is wirelessly transmitted from the transmission device 3 to the reception device 5, and an image is displayed on the display monitor 6 connected to the reception device 5.
  • the transmission device 3 converts the format of the image data output from the endoscope 1 into a data amount format corresponding to the communication status, packetizes the converted data, and wirelessly transmits the packetized data.
  • the receiving device 5 extracts image data from the received packet. Further, the receiving device 5 performs format conversion and image processing on the extracted image data to generate a video signal, and outputs it to the display monitor 6.
  • the display monitor 6 performs display processing of the video signal and displays an image.
  • FIG. 2 shows the configuration of the transmission device 3.
  • the transmission device 3 includes an image processing circuit 10, a format conversion circuit 11, a packet generation circuit 12, an RF circuit 13, a storage circuit 14, a format determination circuit 15, a communication environment detection circuit 16, and an overall control circuit 17.
  • the transmitter 3 receives an imaging signal 8 and an endoscope control signal 9 constituting image data from the endoscope 1.
  • An imaging signal 8 from the endoscope 1 is input to the endoscope interface circuit 21 and output to the image processing circuit 10.
  • the image processing circuit 10 performs image processing corresponding to a predetermined format on the imaging signal, and outputs the imaging signal after the image processing to the format conversion circuit 11.
  • the format conversion circuit 11 converts the format of the imaging signal output from the image processing circuit 10 into a predetermined format, and outputs the converted imaging signal to the packet generation circuit 12.
  • the packet generation circuit 12 packetizes the imaging signal output from the format conversion circuit 11 and outputs the packet to the RF circuit 13.
  • the RF circuit 13 wirelessly transmits the packet output from the packet generation circuit 12 and transmits it via the antenna 20.
  • the image processing performed by the image processing circuit 10 is, for example, when the wireless transmission format corresponding to the resolution of the imaging signal 8 of 1920 (H) ⁇ 1440 (V) is 800 (H) ⁇ 600 (V) , 1920 (H) ⁇ 1440 (V) data is subjected to filtering processing to generate 800 (H) ⁇ 600 (V) data obtained by removing image distortion.
  • Such processing is known as preprocessing accompanying format conversion. Therefore, further explanation is omitted.
  • a wireless communication environment (hereinafter referred to as a communication environment) deteriorates and the amount of data that can be transmitted decreases, communication is performed using a format that can be transmitted even with the decreased amount of data.
  • the operation of selecting a format when the wireless environment is degraded will be described below.
  • the state of the wireless environment is grasped by the communication status in the RF circuit 13. Specifically, the RF circuit 13 notifies the communication environment detection circuit 16 of the packet retransmission status in wireless communication.
  • the communication environment detection circuit 16 detects a change in the communication environment according to the retransmission condition of the packet, and calculates a communicable data amount.
  • the communication status is good and that a wireless communication method capable of transmitting 200 packets in a 1/60 second (about 16.7 ms) period is used.
  • the communication environment detection circuit 16 measures the state of the communication path by the above method, and notifies the format determination circuit 15 of the change of the communication environment when the change of the communication path continues for a predetermined time or more.
  • the format determination circuit 15 determines a format to be used using various information stored in the storage circuit 14. Information on the format determined by the format determination circuit 15 is output to the image processing circuit 10 and the format conversion circuit 11. Further, the format information determined by the format determination circuit 15 is reflected in the processing in the image processing circuit 10 and the format conversion circuit 11.
  • the storage circuit 14 stores a format table, a format selection table, format selection control information, a format selection order table, etc., which will be described later.
  • the external device interface circuit 18 is connected to the endoscope 1 via an endoscope control signal 9.
  • the external device interface circuit 18 acquires device ID information for identifying the endoscope 1 from the endoscope 1 and notifies the format determination circuit 15 via the overall control circuit 17.
  • the user interface circuit 19 receives various information input by the user.
  • the user interface circuit 19 is stored in the storage circuit 14 via the overall control circuit 17.
  • the overall control circuit 17 is a circuit that controls the overall operation of the transmission device 3.
  • FIG. 3 is an example of a format selection table in the present embodiment.
  • the format selection table classifies the formats of image quality elements that can be selected in this embodiment for each image quality rank.
  • A resolution
  • B color expression
  • C update cycle
  • D gradation
  • the format corresponding to the image quality rank 1 (highest image quality) is 1920 (H) x 1440 (V), and the format corresponding to the next image quality rank is 1280 (H).
  • a resolution format as shown in the figure can be selected.
  • the color expression (B) shows a general YC format.
  • the image quality rank is 1 (highest image quality)
  • the corresponding format is YUV (4,4,4)
  • the ratio of Y (luminance), U, V (color) is 1: 1: 1.
  • the format corresponding to the case of the next image quality rank is YUV (4, 2, 2)
  • the ratio of Y (luminance), U, V (color) is 1: 0.5: 0.5.
  • a YC format as shown in the figure can be selected.
  • the update cycle (C) indicates the frame rate format.
  • the format corresponding to the image quality rank of 1 (the highest image quality) is 60 frames / second, and the format corresponding to the next image quality rank is 30 frames / second.
  • a frame rate format as shown in the figure can be selected.
  • the gradation (D) indicates the bit length format of the pixel.
  • the format corresponding to the image quality rank of 1 (the highest image quality) is 12 bits long, and the format corresponding to the next image quality rank is 10 bits long.
  • a gradation format as shown in the figure can be selected.
  • FIG. 4 is an example of a format table in the present embodiment.
  • the format table in FIG. 4 shows a data format that combines the formats of the image quality elements shown in FIG.
  • a format number corresponding to the image quality rank of the image quality element shown in FIG. 3 is given.
  • the corresponding image quality factor A the image quality rank of the resolution is 1
  • B the image quality rank of the color expression is 1
  • C the image quality rank of the update cycle is 1
  • the image quality rank of the gradation is 1. 1 is shown.
  • the format of A resolution image quality rank 1 is 1920 ⁇ 1440.
  • B The format with the color representation image quality rank of 1 is YUV (4,4,4).
  • C The format whose image quality rank is 1 in the update cycle is 60 Hz.
  • D The format whose image quality rank is 1 is 12bit.
  • the data format selected by the format determination circuit 15 is expressed using the format number in the format table of FIG.
  • each of the four numbers constituting the format number defines the format of each of the four image quality elements.
  • the entire format number indicates the data format as an aggregate of the formats of the four image quality elements.
  • FIG. 5 is a configuration example of format selection control information in the present embodiment.
  • the format selection control information is information that the format determination circuit 15 refers to when determining the format.
  • the format selection control information is information indicating the highest image quality data format according to the performance of the imaging apparatus, the lowest image quality data format specified by each user, and the importance (importance) of each image quality element specified by each user. is there.
  • the format selection control information includes a device ID, a user ID, an imaging data format, allowable minimum image quality information, and important element information.
  • the imaging data format, allowable minimum image quality information, and important element information numbers correspond to the format numbers in FIG.
  • the allowable minimum image quality information, and the important element information, information is arranged in the order of the image quality elements shown in the format table of FIG.
  • the device ID is an ID of an imaging device that can be connected to the transmission device 3.
  • the user ID is an ID for each user of the imaging display system.
  • the imaging data format indicates the highest image quality format that can be output by the imaging device.
  • This imaging data format corresponds to the data format of the format number 1212 in FIG.
  • the permissible minimum image quality information indicates the minimum image quality that can be set as the display image quality.
  • Priority element information indicates the order and ratio of elements that are important when selecting a format.
  • the order here indicates the order of image quality elements that change the image quality rank when a format is selected.
  • the order 1234 in this example indicates that the image quality elements are regarded as important in the order of resolution (order 1), color expression (order 2), update cycle (order 3), and gradation (order 4). .
  • the ratio mentioned here indicates how many ranks of each image quality element are changed and when the next image quality element is changed.
  • the gradation is changed by one rank, and then the update cycle is changed by one rank. After that, the color expression is changed by one rank, and then the resolution is changed by one rank. In this way, the image quality rank of each image quality element is changed in ascending order of importance.
  • ⁇ Settings other than user ID 0000 are specified for each user.
  • the user can specify the minimum image quality allowed when the communication environment deteriorates and the order of image quality elements to be emphasized.
  • the contents designated by the user are input to the overall control circuit 17 via the user interface circuit 19. Further, the contents designated by the user are stored in the storage circuit 14 by the overall control circuit 17. Further, the device ID and the imaging data format are notified from the endoscope 1 to the overall control circuit 17 via the endoscope control signal 9. Further, the device ID and the imaging data format are stored in the storage circuit 14 by the overall control circuit 17.
  • the imaging data format 1212
  • the allowable minimum image quality information 4324
  • the important element information (1234), (1122).
  • an image quality element is emphasized in the order of resolution, color expression, update cycle, and gradation.
  • the gradation image quality rank is lowered by two stages according to the degree of deterioration, and then the image quality rank of the update cycle is lowered by two stages. After that, the image quality rank of color expression is lowered by one level. After that, the image quality rank of the resolution is lowered by one level. Thereafter, it is shown that the image quality element is selected by the same procedure and the image quality rank is lowered.
  • format selection control information for each combination of a user and an imaging device is used.
  • format selection control information for each user that does not depend on the imaging device, or format selection control information for each imaging device that does not depend on the user. May be used.
  • the format selection operation in this embodiment will be described. As described with reference to FIG. 5, the order of the data format selected when the deterioration of the communication environment progresses and when it recovers is determined in advance by the imaging data format, the allowable minimum image quality information, and the important element information. . Therefore, the format selection operation determines whether the deterioration of the communication environment has progressed or has recovered. The format selection operation selects a predetermined data format based on the currently selected data format.
  • FIG. 6 shows a format selection operation by the format determination circuit 15.
  • the format determination circuit 15 starts the format selection process (S1)
  • the format determination circuit 15 performs an initial setting (S2).
  • the initial setting (S2) is an operation for generating a format selection order table.
  • the format selection order table shows the order of the data format selected by the format determination circuit 15 when the communication environment changes.
  • the selection order is the order shown in FIG.
  • the format number in the selection order 1 in FIG.
  • the format determination circuit 15 In the initial setting (S2), the format determination circuit 15 generates the format selection order table shown in FIG. 7 according to the format selection control information shown in FIG. 5 and the format table shown in FIG. Further, the format determination circuit 15 stores it in the storage circuit 14.
  • the communication environment change wait (S3) is performed.
  • the communication environment change wait (S3) is a process of waiting for the communication environment detection circuit 16 to notify the change of the communication environment.
  • the format determination circuit 15 determines whether the communication environment has deteriorated or has improved (S4). When the communication environment is deteriorated, the format determination circuit 15 executes format selection processing (S5) at the time of environment deterioration. When the communication environment is improved, the format determination circuit 15 executes format selection processing (S6) at the time of environment improvement.
  • the format determination circuit 15 waits for notification of the next change in the communication environment. As described above, since the important element information can be set for each user, it is possible to send an image while maintaining the image quality of the image quality element emphasized by the user to the end.
  • a data format having a lower quality than the currently selected data format is selected according to the image quality factor emphasized by the user. Selected. As a result, even when the communication environment is deteriorated, it is possible to suppress deterioration of image quality elements having high importance among image quality elements of images displayed on the display device.
  • the image quality element that you want to retain when the communication environment deteriorates according to the characteristics of the imaging device and user preferences. can do. Also, by selecting a data format that does not fall below the image quality indicated by the allowable minimum image quality information, the minimum display image quality can be set even when the communication environment is greatly degraded. As a result, an unusable level image can be set not to be displayed.
  • the image processing device when it is detected that the communication environment is deteriorated, a format having a lower quality than the format defined in the currently selected data format for the element selected based on the importance level information. Is selected. Thereby, even when the communication environment is deteriorated, it is possible to suppress the deterioration of the image quality of the element having high importance among the elements related to the image quality of the image displayed on the display device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Communication Control (AREA)

Abstract

この画像処理装置は、記憶部（14）と選択部（15）を含む。記憶部（14）は、フレーム画像データを連続的に表示処理して画像を表示する表示装置で表示される画像の画質に係る要素である解像度、色表現、更新周期、及び階調のうち少なくとも２つの要素のフォーマットを規定するデータフォーマットとして、異なる画質に対応する複数のデータフォーマットを記憶する。さらに記憶部（14）は、要素の重要度を示す重要度情報を記憶する。選択部（15）は、検出部（16）によって通信環境が劣化していると検出された場合、記憶部（14）に記憶されている重要度情報に基づいて選択した要素について、現在選択されているデータフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定されたデータフォーマットを選択する。

Description

画像処理装置
　本発明は、撮像装置から入力されるフレーム画像データを画像処理する画像処理装置に関する。
　本願は、２０１１年３月２５日に日本に出願された特願２０１１－０６７７６０号に基づいて優先権を主張し、その内容をここに援用する。
　無線通信回線を用いて画像データを伝送する場合、電磁ノイズにより通信環境が劣化し、所定の画像データを伝送できなくなる場合がある。このような状況に対応するため、例えば特許文献1では、通信環境に応じて通信プロトコルを切り替えて利用者の不快感を最小限度に留めるシステムが考案されている。
特開2003-69472号公報
　しかしながら、特許文献1に記載されたシステムでは、通信環境の劣化が生じた場合に選択される画像フォーマットは予め決められている。そのため、撮像装置や表示装置により、もしくは個々の使用者の好みにより撮像表示システムで個々に決定される表示品質として重視すべき要素の品質の劣化が大きくなる場合がある。
　本発明は、通信環境が劣化した場合でも、表示装置で表示される画像の画質に係る要素のうち、重要度の高い要素の画質の劣化を抑えることができる画像処理装置を提供することを目的とする。
　上記の課題を解決するために、この発明は以下の手段を提案している。
　本発明の第一の態様に係る画像処理装置は、入力部と、記憶部と、画像処理部と、無線通信部と、検出部と、選択部と、を有する。前記入力部は、被写体を撮像し、フレーム画像データを連続的に出力する撮像装置から前記フレーム画像データが入力される。前記記憶部は、前記フレーム画像データを連続的に表示処理して画像を表示する表示装置で表示される前記画像の画質に係る要素である解像度、色表現、更新周期、及び階調のうち少なくとも２つの要素のフォーマットを規定するデータフォーマットとして、異なる画質に対応する複数のデータフォーマットを記憶する。さらに、前記記憶部は、前記要素の重要度を示す重要度情報を記憶する。前記画像処理部は、前記記憶部に記憶されている前記データフォーマットの中から選択されたデータフォーマットに従って、前記入力部に入力された前記フレーム画像データを画像処理する。前記無線送信部は、前記表示装置に対して、前記画像処理部によって画像処理された前記フレーム画像データを連続的に無線送信する。前記検出部は、前記無線通信部が前記フレーム画像データを前記無線送信する際の無線通信環境を検出する。前記選択部は、前記記憶部に記憶されている前記データフォーマットの中からいずれかを選択する。さらに、前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する。
　また、本発明の第二の態様によれば、前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記重要度情報によって重要度が他の前記要素よりも低いことが示されている前記要素について選択する。さらに前記選択部は、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する。
　また、本発明の第三の態様によれば、前記記憶部は、ユーザーごと、撮像装置ごと、又は前記ユーザーと前記撮像装置の組合せごとに前記データフォーマットを記憶する。
　また、本発明の第四の態様によれば、前記記憶部は、複数の第１のデータフォーマットと、前記撮像装置ごとの最高品質の画質に対応する第２のデータフォーマットとを記憶する。前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択する。さらに前記選択部は、前記重要度情報に基づいて選択した前記要素について、前記入力部に入力される前記フレーム画像データを出力する前記撮像装置に対応する前記第２のデータフォーマットで規定されるフォーマットよりも品質の低い又は品質が同等のフォーマットを規定する。さらに前記選択部は、前記第１のデータフォーマットであって、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する。
　また、本発明の第五の態様によれば、前記記憶部は、複数の第１のデータフォーマットと、前記少なくとも２つの要素のそれぞれの使用可能な最低品質の画質に対応するフォーマットを規定する第２のデータフォーマットとを記憶する。前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択する。さらに前記選択部は、前記重要度情報に基づいて選択した前記要素について、前記第２のデータフォーマットで規定されるフォーマットよりも品質の高い又は品質が同等のフォーマットを規定する前記第１のデータフォーマットであって、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する。
　また、本発明の第六の態様によれば、前記記憶部は、ユーザーごと、撮像装置ごと、又は前記ユーザーと前記撮像装置の組合せごとに前記第２のデータフォーマットを記憶する。
　本発明の態様に係る画像処理装置によれば、通信環境が劣化していると検出された場合、重要度情報に基づいて選択した要素について、現在選択されているデータフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定されたデータフォーマットが選択される。これによって、通信環境が劣化した場合でも、表示装置で表示される画像の画質に係る要素のうち、重要度の高い要素の画質の劣化を抑えることができる。
本発明の一実施形態による撮像表示システムの構成を示すブロック図である。 本発明の一実施形態による撮像表示システムが有する送信装置の構成を示すブロック図である。 本発明の一実施形態におけるフォーマット選択表を示す参考図である。 本発明の一実施形態におけるフォーマット表を示す参考図である。 本発明の一実施形態におけるフォーマット選択制御情報を示す参考図である。 本発明の一実施形態におけるフォーマット選択動作の手順を示すフローチャートである。 本発明の一実施形態におけるフォーマット選択順番表を示す参考図である。
　以下、図面を参照し、本発明の実施形態を説明する。以下では、内視鏡、送信装置、受信装置、表示モニタで構成された撮像表示システムに本発明の実施形態を適用した場合を例に説明を行う。図１は、本発明に係る一実施形態による撮像表示システムの構成を示している。図1において、カート4には、内視鏡1と、内視鏡1で生成された内視鏡画像や各種制御画面を表示する操作モニタ2と、画像データの無線送信を行う送信装置3とが搭載されている。カート7には、送信装置3から送信される画像データを受信し、映像信号として出力する受信装置5と、受信装置5から出力される映像信号を画像として表示する表示モニタ6とが搭載されている。
　内視鏡1は、複数のフレームから構成される動画像データの各フレームの画像データ（フレーム画像データ）を連続的に生成する。内視鏡1で生成された画像データは、送信装置3から受信装置5に無線伝送され、受信装置5に接続された表示モニタ6に画像が表示される。送信装置3は、内視鏡1から出力された画像データのフォーマットを、通信状況に応じたデータ量のフォーマットに変換し、変換後のデータをパケット化して無線伝送している。また、受信装置5は、受信したパケットから画像データを取り出す。さらに受信装置5は、取り出した画像データにフォーマット変換と画像処理を施して映像信号を生成し、表示モニタ6に出力している。表示モニタ6は、映像信号を表示処理して画像を表示する。
　図2は、送信装置3の構成を示している。送信装置3は、画像処理回路10と、フォーマット変換回路11と、パケット生成回路12と、RF回路13と、記憶回路14と、フォーマット決定回路15と、通信環境検出回路16と、全体制御回路17と、外部装置インターフェイス回路18と、ユーザーインターフェイス回路19と、アンテナ20と、内視鏡インターフェイス回路21とを有する。
　送信装置3には、内視鏡1から、画像データを構成する撮像信号8と、内視鏡制御信号9とが入力される。内視鏡1からの撮像信号8は内視鏡インターフェイス回路21に入力され、画像処理回路10に出力される。画像処理回路10は、撮像信号に対して、所定のフォーマットに対応した画像処理を行い、画像処理後の撮像信号をフォーマット変換回路11に出力する。フォーマット変換回路11は、画像処理回路10から出力された撮像信号のフォーマットを所定のフォーマットに変換し、変換後の撮像信号をパケット生成回路12に出力する。パケット生成回路12は、フォーマット変換回路11から出力された撮像信号をパケット化してRF回路13に出力する。RF回路13は、パケット生成回路12から出力されたパケットを無線化し、アンテナ20を介して送信する。
　画像処理回路10が行う画像処理は、例えば、撮像信号8の解像度が1920(H)×1440(V)の時に対応する無線送信時のフォーマットが800(H)×600(V)である場合に、1920(H)×1440(V)のデータにフィルタリング処理を施して画像の歪を除去した800(H)×600(V)のデータを生成する処理である。このような処理は、フォーマット変換に伴う前処理として公知である。そのため、これ以上の説明を省略する。
　本実施形態では、無線通信環境(以下、通信環境と記載)が劣化し、送信可能なデータ量が減少した場合、減少後のデータ量でも送信可能なフォーマットを使用して通信が行われる。無線環境劣化時のフォーマット選択の動作を以下に説明する。
　無線環境の状態は、RF回路13での通信状況により把握される。具体的には、無線通信でのパケットの再送状況をRF回路13が通信環境検出回路16に通知する。通信環境検出回路16は、パケットの再送状況に応じて通信環境の変化を検出し、通信可能なデータ量を算出する。
　例えば、通信状況が良い場合では1/60秒(約16.7ms)期間に200パケットを伝送可能な無線通信方式を使用していると仮定する。この無線通信方式での、現在の再送パケットの発生率は平均5%である。再送パケットの発生数が現在の倍になっても大丈夫なように余裕を持たせて送信しようとすると、1画面分に180パケット(200×0.9=180)を使用するフォーマットの画像データを1/60秒ごとに送信することが可能である。この時の平均再送パケット数は10である。
　通信環境が劣化し、1/60秒(約16.7ms)期間に20パケットの再送が行われた場合、通信路の余裕が全く無くなる。通信路の余裕が全く無くなると、1画面分のデータ転送が途中で途切れることが頻発するため、通信路に余裕を持たせておくことが必要となる。本実施形態では、再送パケットの発生数が現在の倍になっても大丈夫なように余裕を持たせて送信する。
　例えば、上記の例の場合、平均再送パケット数が10を越えた時点で通信路に余裕が無くなったと判断する。この場合、フォーマットを変更して、1画面の送信に必要なパケット数を削減する。例えば、上記の例の場合、フォーマットを変更した結果、1画面分のデータを100パケットで送信すると仮定すると、通信環境の劣化が進む。その結果、平均再送パケット数が50になった時点で、次のフォーマット変更を行う。逆に、通信環境が改善し、平均再送パケット数が、現在のフォーマットに変更した場合、判断基準である10の半分である5になった時点で、通信環境が改善したと判断する。その結果、元のフォーマットに戻すようにフォーマット変更が行われる。
　通信環境検出回路16は、上記の方法で通信路の状況を測定し、通信路の変化が所定時間以上継続した場合、フォーマット決定回路15に通信環境の変化を通知する。フォーマット決定回路15は、通信環境検出回路16から通信環境の変化が通知されると、記憶回路14に記憶されている各種情報を用いて、使用するフォーマットを決定する。フォーマット決定回路15が決定したフォーマットの情報は画像処理回路10及びフォーマット変換回路11に出力される。さらに、フォーマット決定回路15が決定したフォーマットの情報は、画像処理回路10及びフォーマット変換回路11での処理に反映される。
　記憶回路14は、後述するフォーマット表、フォーマット選択表、フォーマット選択制御情報、フォーマット選択順番表等を記憶する。外部装置インターフェイス回路18は、内視鏡制御信号9を介して内視鏡1と接続されている。外部装置インターフェイス回路18は、内視鏡1を識別する装置ID情報を内視鏡1から取得し、全体制御回路17を介してフォーマット決定回路15に通知する。ユーザーインターフェイス回路19は、ユーザーが入力する各種情報を受け取る。ユーザーインターフェイス回路19は、全体制御回路17を介して、記憶回路14に格納する。全体制御回路17は、送信装置3の動作全体を制御する回路である。
　図3は、本実施形態におけるフォーマット選択表の例である。フォーマット選択表は、本実施形態で選択可能な画質要素のフォーマットを画質ランクごとに分類している。
本実施形態では、表示画像の画質を決定する画質要素として、解像度(A)、色表現(B)、更新周期(C)、階調(D)がある。この各画質要素については、画質ランクごとにフォーマットが規定されている。
　例えば、解像度(A)では、画質ランクが1(最高画質)の場合に対応するフォーマットは1920(H)×1440(V)であり、次の画質ランクの場合に対応するフォーマットが1280(H)×960(V)である。この二つのフォーマットでのデータ量の比は、2.25倍である([1920×1440]/[1280×960]=2.25)。以下、図示するような解像度のフォーマットが選択可能である。
　色表現(B)は、一般的なYCのフォーマットを示している。例えば、画質ランクが1(最高画質)の場合に対応するフォーマットはYUV(4,4,4)であり、Y(輝度)、U，V(色)の比率が1:1:1のフォーマットである。次の画質ランクの場合に対応するフォーマットがYUV(4,2,2)であり、Y(輝度)、U，V(色)の比率が1:0.5:0.5のフォーマットである。この二つのフォーマット間でのデータ量の比は、1.5倍である([1+1+1]/[1+0.5+0.5]=1.5)。以下、図示するようなYCフォーマットが選択可能である。
　更新周期(C)は、フレームレートのフォーマットを示している。例えば、画質ランクが１(最高画質)の場合に対応するフォーマットは60フレーム/秒であり、次の画質ランクの場合に対応するフォーマットが30フレーム/秒である。この二つのフォーマット間でのデータ量の比は、2倍である(60/30=2)。以下、図示するようなフレームレートのフォーマットが選択可能である。
　階調(D)は、画素のbit長のフォーマットを示している。例えば、画質ランクが1(最高画質)の場合に対応するフォーマットは12bit長であり、次の画質ランクの場合に対応するフォーマットが10bit長である。この二つのフォーマット間でのデータ量の比は、1.2倍である(12/10=1.2)。以下、図示するような階調のフォーマットが選択可能である。
　図4は、本実施形態におけるフォーマット表の例である。図4のフォーマット表は、図3に示した各画質要素のフォーマットを組み合わせたデータフォーマットを示している。図4に示すように、図3に示した画質要素の画質ランクに対応するフォーマットナンバーが付けられている。例えば、フォーマットナンバー = 1111は、対応する画質要素のA:解像度の画質ランクが1、B:色表現の画質ランクが1、C:更新周期の画質ランクが1、D:階調の画質ランクが1であることを示している。この時、A:解像度の画質ランクが1のフォーマットは、1920×1440である。 B:色表現の画質ランクが1のフォーマットは、YUV(4,4,4)である。 C:更新周期の画質ランクが1のフォーマットは、60Hzである。 D:階調の画質ランクが1のフォーマットは、12bitである。
　フォーマット決定回路15が選択するデータフォーマットは、図4のフォーマット表のフォーマットナンバーを使用して表現されている。本実施形態では、フォーマットナンバーを構成する4つの数字のそれぞれが4つの画質要素のそれぞれのフォーマットを規定している。フォーマットナンバー全体が、4つの画質要素のそれぞれのフォーマットの集合体としてのデータフォーマットを示している。
　図5は、本実施形態におけるフォーマット選択制御情報の構成例である。フォーマット選択制御情報は、フォーマット決定回路15がフォーマットを決定する際に参照する情報である。フォーマット選択制御情報は、撮像装置の性能に応じた最高画質のデータフォーマット、各ユーザーが指定する最低画質のデータフォーマット、及び各ユーザーが指定する各画質要素の重視度（重要度）を示す情報である。図示するように、フォーマット選択制御情報は、装置ID、ユーザーID、撮像データフォーマット、許容最低画質情報、重視要素情報から構成されている。
　撮像データフォーマット、許容最低画質情報、重視要素情報のナンバーは、図4のフォーマットナンバーに対応している。また、撮像データフォーマット、許容最低画質情報、重視要素情報では、図4のフォーマット表に示した画質要素の順に情報が並んでいる。装置IDは、送信装置3に接続可能な撮像装置のIDである。なお、図中の装置ID=0000の設定は、デフォルト設定であり、装置IDが不明な撮像装置を使用する場合にフォーマット選択を行う際の設定である。ユーザーIDは、撮像表示システムのユーザーごとのIDである。図中のユーザーID=0000の設定は、装置ごとのデフォルト設定であり、ユーザーが指定されていない場合にフォーマット選択を行う際の設定である。
　撮像データフォーマットは、撮像装置が出力可能な最高画質のフォーマットを示している。例えば、装置ID=ES02、ユーザーID=D001の撮像データフォーマットは1212である。この撮像データフォーマットは図4のフォーマットナンバー1212のデータフォーマットに対応している。また、図中の撮像データフォーマット=0000の設定は、使用している撮像装置が出力可能な最高画質が不明な時のデフォルト設定である。撮像データフォーマット=0000の設定は、入力された撮像信号のフォーマットをそのまま撮像データフォーマットとして使用する設定である。
　許容最低画質情報は、表示画質として設定可能な最低限の画質を示している。例えば、装置ID=ES02でユーザーID=D001の許容最低画質情報は4324である。この許容最低画質情報は図4のフォーマットナンバー4324のデータフォーマットに対応している。
　重視要素情報は、フォーマット選択時に重要視する要素の順序と割合を示している。ここでいう順序とは、フォーマット選択時に画質ランクを変化させる画質要素の順番を示している。例えば、装置ID=ES02、ユーザーID=D001の重視要素情報における順序は1234である。これは、重要度に応じた各画質要素の順序を示している。例えば、この例における順序である1234は、解像度(順序1)、色表現(順序2)、更新周期(順序3)、階調(順序4)の順に画質要素を重要視することを示している。
　また、ここでいう割合とは、各画質要素を何ランク変化させた時点で次の画質要素を変化させるのかを示している。例えば、装置ID=ES02、ユーザーID= D001の重視要素情報における割合は1111である。これは、いずれか1つの画質要素を1ランク変化させた時点で他の画質要素の画質ランクを変化させることを示している。上記の装置ID=ES02、ユーザーID=D001の例では、重視要素情報における順序=1234、割合=1111であるため、階調を1ランク変化させた後、更新周期を1ランク変化させる。その後、色表現を1ランク変化させ、その後、解像度を1ランク変化させることを示している。このように、重要度の低い順に各画質要素の画質ランクが変更される。
　ユーザーIDが0000以外の設定は、ユーザーごとに指定された設定である。ユーザーは、通信環境の劣化時に許容する最低画質や重視する画質要素の順番を指定することが可能である。ユーザーが許容最低画質情報や重視要素情報の設定を行う場合、ユーザーが指定する内容が、ユーザーインターフェイス回路19を介して全体制御回路17に入力される。更にユーザーが指定する内容は、全体制御回路17によって記憶回路14に格納される。また、装置ID及び撮像データフォーマットは、内視鏡1から内視鏡制御信号9を介して全体制御回路17に通知される。更に装置ID及び撮像データフォーマットは、全体制御回路17によって記憶回路14に格納される。
　図中、装置ID=ES02、ユーザーID=D001の設定では、撮像データフォーマット=1212、許容最低画質情報=4324、重視要素情報=(1234),(1122)である。この設定において、撮像装置が出力可能な最高画質のフォーマットは、フォーマットナンバー1212で示される、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=60Hz、階調=10bitである。
また、この設定において、許容される最低の表示画質は、フォーマットナンバー4324で示される、解像度=800×600、色表現=YUV(4,1,1)、フレームレート=30Hz、階調=6bitである。また、この設定は、フォーマット選択を行う際、解像度、色表現、更新周期、階調の順に画質要素を重視する。通信環境の劣化時には、劣化の度合いに応じて、階調の画質ランクを2段階落とした後、更新周期の画質ランクを2段階落とす。その後、色表現の画質ランクを1段階落とす。その後、解像度の画質ランクを1段階落とす。その後、同様の手順で画質要素を選択して画質ランクを落とすということを示している。
　本実施形態では、ユーザーと撮像装置の組合せごとのフォーマット選択制御情報を使用しているが、撮像装置に依存しないユーザーごとのフォーマット選択制御情報、又はユーザーに依存しない撮像装置ごとのフォーマット選択制御情報を使用してもよい。
　次に、本実施形態におけるフォーマット選択動作を説明する。図5を参照して説明したように、通信環境の劣化が進行した時と回復した時に選択されるデータフォーマットの順番は、撮像データフォーマット、許容最低画質情報、重視要素情報により予め決定されている。そのため、フォーマット選択動作は、通信環境の劣化が進行したのか、それとも回復したのかを判断する。フォーマット選択動作は、現在選択されているデータフォーマットを基準にして、予め決まったデータフォーマットを選択する。
　図6は、フォーマット決定回路15によるフォーマット選択動作を示している。フォーマット決定回路15は、フォーマット選択処理を開始(S1)すると、初期設定(S2)を行う。初期設定(S2)は、フォーマット選択順番表を生成する動作である。
　フォーマット選択順番表は、通信環境が変化した時にフォーマット決定回路15が選択するデータフォーマットの順番を示している。図7は、装置ID=ES02、ユーザーID=D001の場合のフォーマット選択順番表である。図5に示したように、装置ID=ES02、ユーザーID=D001の場合、撮像データフォーマット=1212、許容最低画質情報=4324、重視要素情報=(1234),(1122)であるので、フォーマットの選択順は、図7に示した順番になる。
　具体的には、通信環境の劣化が無い場合には、撮像データフォーマットであるフォーマットナンバー=1212のデータフォーマットが選択される。そのため図7の選択順=1でのフォーマットナンバーは1212となる。通信環境の劣化が進むと、重視要素情報に応じてデータフォーマットが選択される。図7に示したように、通信環境の劣化が進むにつれて、フォーマットナンバー=1213、フォーマットナンバー=1214、フォーマットナンバー=1224の順にデータフォーマットが選択される。
　フォーマットナンバー=1224のデータフォーマットが選択されている時、さらに通信環境の劣化が進むと、更新周期(フォーマットナンバー=1224の下位2桁目)が2(30Hz)の状態で、重視要素情報の割合の数値が2に設定される。そのため、次のデータフォーマットとしてフォーマットナンバー=1234のデータフォーマットが選択される筈である。しかし、許容最低画質情報が4324であるので、フォーマットナンバーの下位2桁目は"3"にはならず、"2"のまま保持される。その代わり、次に変更される画質要素である色表現が1段下がり、フォーマットナンバー=1324のデータフォーマットが次のデータフォーマットとして選択される。以下、図7に示したように、フォーマットナンバー=2324、フォーマットナンバー=3324、フォーマットナンバー=4324(許容最低画質)の順にデータフォーマットが選択される。
　初期設定(S2)においてフォーマット決定回路15は、図5に示したフォーマット選択制御情報及び図4に示したフォーマット表に従って、図7に示したフォーマット選択順番表を生成する。さらにフォーマット決定回路15は、記憶回路14に格納する。初期設定(S2)が終了すると、通信環境変化待ち(S3)が行われる。通信環境変化待ち(S3)は、通信環境検出回路16によって通信環境の変化が通知されるのを待つ処理である。
　通信環境検出回路16から通信環境が変化したという通知を受けると、フォーマット決定回路15は、通信環境が劣化したのか、それとも改善したのかを判定する(S4)。通信環境が劣化した場合、フォーマット決定回路15は環境劣化時フォーマット選択処理(S5)を実行する。通信環境が改善した場合、フォーマット決定回路15は環境改善時フォーマット選択処理(S6)を実行する。
　環境劣化時フォーマット選択処理(S5)は、通信データ量が少なくなるデータフォーマットを選択する処理である。例えば、装置=ES02、ユーザー=D001の状態で通信環境が劣化した場合、図7に示した選択順が加算される方向のデータフォーマットを選択する。フォーマット決定回路15が選択したデータフォーマットの情報は、記憶回路14に格納され、次に通信環境が変化した時に基準のデータフォーマットとして使用される。
　以下、具体的なデータフォーマットの選択の一例を説明する。図7に示した選択順1のフォーマットナンバー=1212のデータフォーマットが選択されている場合、環境劣化時の最初に選択されるデータフォーマットは、選択順2のフォーマットナンバー=1213のデータフォーマットである。フォーマットナンバー=1213のデータフォーマットにおける各画質要素のフォーマットは、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=60Hz、階調=8bitである。
　通信環境が更に劣化すると、選択順3のフォーマットナンバー=1214のデータフォーマットが選択される。フォーマットナンバー=1214のデータフォーマットにおける各画質要素のフォーマットは、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=60Hz、階調=6bitである。通信環境が更に劣化すると、選択順4のフォーマットナンバー=1224のデータフォーマットが選択される。フォーマットナンバー=1224のデータフォーマットにおける各画質要素のフォーマットは、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=30Hz、階調=6bitである。
　フォーマットナンバー=1212のデータフォーマットからフォーマット=1224のデータフォーマットまでデータフォーマットが変化した場合、階調が10bitから6bitに変化する。この結果、フレームレートが60Hzから30Hzに変化するため、データ量は当初と比べて30%になっている。
その場合にも、ユーザーの重視する画質要素である解像度と色表現については当初の画質を保って画像が表示される。
　通信環境の劣化が進み、許容最低画質に対応する選択順8のフォーマットナンバー=4324のデータフォーマットが選択された場合、更に通信環境が劣化しても、そのデータフォーマットでの通信が継続される。
　環境改善時フォーマット選択処理(S6)は、通信データ量が多くなるデータフォーマットを選択する処理である。例えば、装置=ES02、ユーザー=D001の状態で通信環境が改善した場合、図7に示した選択順が減算される方向のデータフォーマットを選択する。フォーマット決定回路15が選択したデータフォーマットの情報は、記憶回路14に格納され、次に通信環境が変化した時に基準のデータフォーマットとして使用される。
　例えば、装置=ES02、ユーザー=D001で、現在のデータフォーマットがフォーマットナンバー=1224のデータフォーマットである場合、選択順は4である。そのため、環境改善時フォーマット選択処理(S6)では、選択順が3のフォーマットナンバー=1214のデータフォーマットを選択する。
　環境劣化時フォーマット選択処理(S5)又は環境改善時フォーマット選択処理(S6)が終了すると、処理は通信環境変化待ち(S3)に戻る。フォーマット決定回路15は次の通信環境の変化の通知を待つ。上記のように、重視要素情報をユーザーごとに設定できるので、ユーザーが重視する画質要素の画質を最後まで保って画像を送ることが可能となる。
　上述したように、本実施形態によれば、通信環境が劣化していると検出された場合、ユーザーが重視する画質要素に応じて、現在選択されているデータフォーマットよりも品質の低いデータフォーマットが選択される。これによって、通信環境が劣化した場合でも、表示装置で表示される画像の画質要素のうち、重要度の高い画質要素の劣化を抑えることができる。
　また、ユーザーごと、撮像装置ごと、又はユーザーと撮像装置の組合せごとのデータフォーマットを使用することによって、通信環境の劣化時に保持したい画質要素を、撮像装置の特性や、ユーザーの嗜好に応じて選択することができる。また、許容最低画質情報が示す画質を下回らないデータフォーマットを選択することによって、通信環境が大きく劣化した場合でも、最低限度の表示画質を設定することができる。この結果、使用不可能なレベルの画像は、表示しないように設定することができる。
　以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
　上記画像処理装置によれば、通信環境が劣化していると検出された場合、重要度情報に基づいて選択した要素について、現在選択されているデータフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定されたデータフォーマットが選択される。これによって、通信環境が劣化した場合でも、表示装置で表示される画像の画質に係る要素のうち、重要度の高い要素の画質の劣化を抑えることができる。
　1　内視鏡
　2　操作モニタ
　3　送信装置
　4，7　カート
　5　受信装置
　6　表示モニタ
　10　画像処理回路（画像処理部）
　11　フォーマット変換回路
　12　パケット生成回路
　13　RF回路（無線通信部）
　14　記憶回路（記憶部）
　15　フォーマット決定回路
　16　通信環境検出回路（検出部）
　17　全体制御回路
　18　外部装置インターフェイス回路
　19　ユーザーインターフェイス回路
　20　アンテナ
　21　内視鏡インターフェイス回路（入力部）

Claims (6)

  1. 　被写体を撮像し、フレーム画像データを連続的に出力する撮像装置から前記フレーム画像データが入力される入力部と、
    　前記フレーム画像データを連続的に表示処理して画像を表示する表示装置で表示される前記画像の画質に係る要素である解像度、色表現、更新周期、及び階調のうち少なくとも２つの要素のフォーマットを規定するデータフォーマットとして、異なる画質に対応する複数のデータフォーマットを記憶すると共に、前記要素の重要度を示す重要度情報を記憶する記憶部と、
    　前記記憶部に記憶されている前記データフォーマットの中から選択されたデータフォーマットに従って、前記入力部に入力された前記フレーム画像データを画像処理する画像処理部と、
    　前記表示装置に対して、前記画像処理部によって画像処理された前記フレーム画像データを連続的に無線送信する無線通信部と、
    　前記無線通信部が前記フレーム画像データを前記無線送信する際の無線通信環境を検出する検出部と、
    　前記記憶部に記憶されている前記データフォーマットの中からいずれかを選択する選択部であって、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する選択部と、
    　を有する画像処理装置。
  2. 　前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記重要度情報によって重要度が他の前記要素よりも低いことが示されている前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する請求項１に記載の画像処理装置。
  3. 　前記記憶部は、ユーザーごと、撮像装置ごと、又は前記ユーザーと前記撮像装置の組合せごとに前記データフォーマットを記憶する請求項１に記載の画像処理装置。
  4. 　前記記憶部は、複数の第１のデータフォーマットと、前記撮像装置ごとの最高品質の画質に対応する第２のデータフォーマットとを記憶し、
    　前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、前記入力部に入力される前記フレーム画像データを出力する前記撮像装置に対応する前記第２のデータフォーマットで規定されるフォーマットよりも品質の低い又は品質が同等のフォーマットを規定する前記第１のデータフォーマットであって、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する請求項１に記載の画像処理装置。
  5. 　前記記憶部は、複数の第１のデータフォーマットと、前記少なくとも２つの要素のそれぞれの使用可能な最低品質の画質に対応するフォーマットを規定する第２のデータフォーマットとを記憶し、
    　前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、前記第２のデータフォーマットで規定されるフォーマットよりも品質の高い又は品質が同等のフォーマットを規定する前記第１のデータフォーマットであって、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する請求項１に記載の画像処理装置。
  6. 　前記記憶部は、ユーザーごと、撮像装置ごと、又は前記ユーザーと前記撮像装置の組合せごとに前記第２のデータフォーマットを記憶する請求項５に記載の画像処理装置。
PCT/JP2012/055379 2011-03-25 2012-03-02 画像処理装置 WO2012132763A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280005917.XA CN103329520B (zh) 2011-03-25 2012-03-02 图像处理装置
EP12764852.5A EP2690869B1 (en) 2011-03-25 2012-03-02 Image processing device
US14/017,371 US9332233B2 (en) 2011-03-25 2013-09-04 Image processing device for processing a plurality of data formats corresponding to different image qualities

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011067760A JP5864876B2 (ja) 2011-03-25 2011-03-25 画像処理装置及び画像処理方法
JP2011-067760 2011-03-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/017,371 Continuation US9332233B2 (en) 2011-03-25 2013-09-04 Image processing device for processing a plurality of data formats corresponding to different image qualities

Publications (1)

Publication Number Publication Date
WO2012132763A1 true WO2012132763A1 (ja) 2012-10-04

Family

ID=46930510

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/055379 WO2012132763A1 (ja) 2011-03-25 2012-03-02 画像処理装置

Country Status (5)

Country Link
US (1) US9332233B2 (ja)
EP (1) EP2690869B1 (ja)
JP (1) JP5864876B2 (ja)
CN (1) CN103329520B (ja)
WO (1) WO2012132763A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5730634B2 (ja) * 2011-03-24 2015-06-10 オリンパス株式会社 画像処理装置
JP5888873B2 (ja) * 2011-05-12 2016-03-22 オリンパス株式会社 画像送信装置及び撮像表示システム
JP6423172B2 (ja) * 2014-05-22 2018-11-14 オリンパス株式会社 無線内視鏡システム、表示装置、及びプログラム
CN104464668B (zh) * 2014-12-09 2016-11-09 昆山龙腾光电有限公司 用于显示器的控制电路
US10455056B2 (en) * 2015-08-21 2019-10-22 Abobe Inc. Cloud-based storage and interchange mechanism for design elements
US10496241B2 (en) 2015-08-21 2019-12-03 Adobe Inc. Cloud-based inter-application interchange of style information
CN105427776B (zh) * 2016-01-26 2018-08-07 深圳市华星光电技术有限公司 液晶面板影像残留检测方法和装置
US10200571B2 (en) * 2016-05-05 2019-02-05 Nvidia Corporation Displaying an adjusted image according to ambient light conditions
JP6765917B2 (ja) * 2016-09-21 2020-10-07 キヤノン株式会社 探索装置及び、その撮像装置及び、探索方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003069472A (ja) 2001-08-24 2003-03-07 Matsushita Electric Ind Co Ltd 受信端末装置及び通信システム
JP2004064300A (ja) * 2002-07-26 2004-02-26 Sony Corp 画像送信システム、画像送信装置、および画像受信装置
JP2009081753A (ja) * 2007-09-27 2009-04-16 Hitachi Ltd 無線通信システム、送信機及び受信機

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100327377B1 (ko) * 2000-03-06 2002-03-06 구자홍 디지털 영상 수신기와 디지털 디스플레이 장치 사이에서디지털 영상 신호를 디스플레이 하는 방법
AU2001283502A1 (en) * 2000-07-26 2002-02-05 Livewave, Inc. Methods and systems for networked camera control
US7002992B1 (en) * 2001-03-07 2006-02-21 Cisco Technology, Inc. Codec selection to improve media communication
US7599434B2 (en) * 2001-09-26 2009-10-06 Reynolds Jodie L System and method for compressing portions of a media signal using different codecs
GB0202460D0 (en) * 2002-02-02 2002-03-20 Superscape Ltd Resource tailoring
KR100503037B1 (ko) * 2002-11-01 2005-07-21 삼성테크윈 주식회사 디지털 카메라와 그의 영상정보 저장방법
JP4805531B2 (ja) 2003-04-18 2011-11-02 富士フイルム株式会社 画像処理装置
US20050024486A1 (en) * 2003-07-31 2005-02-03 Viresh Ratnakar Video codec system with real-time complexity adaptation
EP1592223A4 (en) * 2003-09-09 2006-02-22 Seiko Epson Corp OUTPUT IMAGE DATA GENERATION DEVICE AND OUTPUT IMAGE DATA GENERATION PROCESS
JP4247614B2 (ja) * 2003-10-06 2009-04-02 ソニー株式会社 ネットワーク装置および情報要求方法
JP2007158553A (ja) * 2005-12-02 2007-06-21 Sony Corp マルチコーデックカメラシステムおよび画像取得プログラム
CN101541228B (zh) * 2006-11-16 2012-10-03 斯特赖克公司 无线内窥摄像机
JP5436870B2 (ja) * 2008-02-05 2014-03-05 オリンパス株式会社 画像通信装置
JP2009206995A (ja) * 2008-02-28 2009-09-10 Toshiba Corp 情報処理装置
US8831090B2 (en) * 2008-11-18 2014-09-09 Avigilon Corporation Method, system and apparatus for image capture, analysis and transmission
EP2359598A1 (en) * 2008-11-21 2011-08-24 Stryker Corporation Wireless operating room communication system including video output device and video display
JP5489516B2 (ja) * 2009-04-13 2014-05-14 オリンパス株式会社 画像送信端末、画像送信方法、およびプログラム
JP5508819B2 (ja) * 2009-11-13 2014-06-04 オリンパス株式会社 受信装置
JP5730634B2 (ja) * 2011-03-24 2015-06-10 オリンパス株式会社 画像処理装置
JP5888873B2 (ja) * 2011-05-12 2016-03-22 オリンパス株式会社 画像送信装置及び撮像表示システム
CN103379275B (zh) * 2012-04-16 2019-01-11 三星电子株式会社 摄像机的图像处理装置和方法
JP6053345B2 (ja) * 2012-06-20 2016-12-27 キヤノン株式会社 送信装置、映像表示装置、送信方法、映像表示方法、及びプログラム
JP6071269B2 (ja) * 2012-06-26 2017-02-01 キヤノン株式会社 画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラム
WO2014061181A1 (ja) * 2012-10-18 2014-04-24 日本電気株式会社 カメラシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003069472A (ja) 2001-08-24 2003-03-07 Matsushita Electric Ind Co Ltd 受信端末装置及び通信システム
JP2004064300A (ja) * 2002-07-26 2004-02-26 Sony Corp 画像送信システム、画像送信装置、および画像受信装置
JP2009081753A (ja) * 2007-09-27 2009-04-16 Hitachi Ltd 無線通信システム、送信機及び受信機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2690869A4

Also Published As

Publication number Publication date
US9332233B2 (en) 2016-05-03
JP5864876B2 (ja) 2016-02-17
CN103329520B (zh) 2016-08-10
EP2690869A4 (en) 2014-08-13
US20140002625A1 (en) 2014-01-02
JP2012205071A (ja) 2012-10-22
EP2690869A1 (en) 2014-01-29
EP2690869B1 (en) 2019-05-08
CN103329520A (zh) 2013-09-25

Similar Documents

Publication Publication Date Title
WO2012132763A1 (ja) 画像処理装置
US9699099B2 (en) Method of transmitting data in a communication system
CN102439971B (zh) 用于无线系统中的无压缩视频通信的累进速率适配的方法和系统
KR100893863B1 (ko) 무선 통신 시스템에서의 링크 적응적 데이터 전송 방법
EP2272237B1 (en) Method of transmitting data in a communication system
JP2009081753A (ja) 無線通信システム、送信機及び受信機
WO2013069691A1 (ja) 色信号伝送装置、無線映像伝送システム及び送信装置
US7202885B2 (en) Mobile telephone terminal apparatus having television telephone function
US8902968B2 (en) Apparatus and method to accommodate changes in communication quality
JP2006203333A (ja) 双方向リモートコントロールユニット
US20110242267A1 (en) Apparatus and method for remote control between mobile communication terminals
JP5436870B2 (ja) 画像通信装置
JP2012175613A (ja) 画像送信装置、画像送信方法、及びプログラム
US8462649B2 (en) Communication device
JP2005080030A (ja) ディジタル放送受信装置および信号処理方法
JP2011129995A (ja) 通信端末装置、通信端末装置の画像処理方法およびプログラム、画像通信システム
WO2012035997A1 (ja) 受信装置および送信装置
JP2006304216A (ja) 撮像制御システム
JP4548200B2 (ja) 画像伝送装置
JP6628829B2 (ja) 無線映像接続装置
JP2006340227A (ja) 画像伝送システム
JP2003235057A (ja) 動画像通信プログラム及び動画像通信システム
JP2022127426A (ja) 表示装置、制御装置およびマルチ表示装置システム
JP2006094270A (ja) 無線通信方法および無線通信システム
JP2003274426A (ja) 画像伝送装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12764852

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012764852

Country of ref document: EP