WO2020004017A1 - 画像処理システム、画像処理方法、及び情報処理装置 - Google Patents

画像処理システム、画像処理方法、及び情報処理装置 Download PDF

Info

Publication number
WO2020004017A1
WO2020004017A1 PCT/JP2019/023127 JP2019023127W WO2020004017A1 WO 2020004017 A1 WO2020004017 A1 WO 2020004017A1 JP 2019023127 W JP2019023127 W JP 2019023127W WO 2020004017 A1 WO2020004017 A1 WO 2020004017A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
raw data
priority
unit
information
Prior art date
Application number
PCT/JP2019/023127
Other languages
English (en)
French (fr)
Inventor
林 健吉
寺田 昌弘
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020527371A priority Critical patent/JP6826238B2/ja
Publication of WO2020004017A1 publication Critical patent/WO2020004017A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Definitions

  • the present disclosure relates to an image processing system, an image processing method, and an information processing device.
  • an imaging apparatus that performs development processing on RAW data based on development parameters set in an external device to generate development data for display (see JP-A-2015-32890).
  • the development processing of the RAW data is performed by the information processing device
  • the development processing is performed by software processing, so that the development processing may take a relatively long time.
  • it is conceivable to reduce the time spent in the development process by causing the imaging device having an image processing unit realized by hardware dedicated to the development process of the RAW data to execute the development process of the RAW data. .
  • RAW data is stored in addition to the processing time of the development processing of the RAW data by the image processing unit in the processing time of the entire development processing of the RAW data.
  • the transfer time from the storage device to the image processing unit is included.
  • the transfer time is determined by, for example, a storage device that stores RAW data, such as a storage device that is built in a device that includes an image processing unit and a storage device that is included in an information processing device that is separate from the device that includes an image processing unit. different. Further, the longer the transfer time, the longer the processing time of the entire RAW data development process.
  • JP-A-2007-142551, JP-A-2015-32890, and JP-A-2013-168809 do not consider in which storage device RAW data to be subjected to development processing is stored. Note that this problem can occur not only in the imaging apparatus but also in an image processing apparatus including an image processing unit.
  • the present disclosure aims to provide an image processing system, an image processing method, and an information processing apparatus that can reduce the processing time of the entire RAW data development processing.
  • An image processing system includes an image processing apparatus including an image processing unit that performs image processing including a development process of RAW data obtained by imaging, and an acquisition unit that acquires priority information regarding the priority of RAW data And a storage control unit that performs control to store RAW data in any of a plurality of different storage devices in accordance with the priority indicated by the priority information acquired by the acquisition unit.
  • the image processing system may include a plurality of storage devices including a storage device built in the image processing device, an external storage device mounted on the image processing device, and a storage device included in the information processing device. .
  • the storage control unit may store the RAW data in a descending order of priority, a storage device built in the image processing device, an external storage device mounted on the image processing device, and an information processing device.
  • the control for storing the data in the order of the storage devices included in the device may be performed.
  • the information processing apparatus causes the image processing apparatus to execute image processing including development processing of RAW data stored in any of the plurality of storage devices under the control of the storage control unit.
  • a unit may be further provided.
  • the RAW data is added with information indicating the frequency of use of the RAW data as priority information. May be performed.
  • the image processing device may be an imaging device including an imaging unit
  • the RAW data may be RAW data obtained by imaging by the imaging unit.
  • An image processing method is an image processing method including an image processing apparatus including an image processing unit that performs an image processing including a development process of RAW data obtained by imaging, and an information processing apparatus. Then, control is performed to obtain priority information on the priority of the RAW data and store the RAW data in any of a plurality of different storage devices according to the priority indicated by the obtained priority information.
  • An information processing apparatus provides priority information on the priority of RAW data to be subjected to development processing by an image processing apparatus including an image processing unit that performs image processing including development processing of RAW data obtained by imaging. And a storage control unit that controls to store the RAW data in any of a plurality of different storage devices according to the priority indicated by the priority information obtained by the obtaining unit. .
  • An information processing apparatus includes: a memory configured to store an instruction to be executed by a computer; and a processor configured to execute the stored instruction.
  • the processor performs processing for developing RAW data obtained by imaging. Acquiring priority information on the priority of RAW data to be subjected to development processing by an image processing apparatus having an image processing unit that executes image processing including: A process for performing control for storing data in any of a plurality of different storage devices is executed.
  • FIG. 1 is a block diagram illustrating an example of a configuration of an image processing system according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the imaging device according to the embodiment.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of a transfer time table according to the embodiment.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the information processing apparatus according to the embodiment.
  • FIG. 4 is a diagram for explaining a change in a storage destination of RAW data according to the embodiment.
  • FIG. 11 is a diagram for explaining a change in a storage destination of RAW data according to a modification.
  • the image processing system 10 includes an imaging device 12 and an information processing device 14.
  • the imaging device 12 is connected to the information processing device 14 by at least one of wired communication and wireless communication.
  • a digital camera is an example of the imaging device 12
  • a personal computer is an example of the information processing device 14.
  • the imaging device 12 is an example of an image processing device.
  • the imaging device 12 includes a CPU (Central Processing Unit) 20 as an example of a hardware processor, a memory 21 as a temporary storage area, and a nonvolatile storage built in the imaging device 12 such as a flash memory. It includes a device 22, an imaging unit 23, and an image processing unit 24. Further, the imaging device 12 includes a display unit 25 such as a liquid crystal display, an input unit 26 such as a dial, a release button, a cross key, a menu key, and a touch panel, and an external I / F (InterFace) connected to the information processing device 14. ) 27.
  • a CPU Central Processing Unit
  • the imaging device 12 includes a display unit 25 such as a liquid crystal display, an input unit 26 such as a dial, a release button, a cross key, a menu key, and a touch panel, and an external I / F (InterFace) connected to the information processing device 14. ) 27.
  • a display unit 25 such as a liquid crystal display
  • an input unit 26 such as a dial,
  • the imaging device 12 includes a mounting unit 28 such as a memory card slot, and a storage device 29 which is an example of an external storage device such as a memory card is mounted on the mounting unit 28.
  • the CPU 20, the memory 21, the storage device 22, the imaging unit 23, the image processing unit 24, the display unit 25, the input unit 26, the external I / F 27, and the storage device 29 are connected to the bus 30.
  • the imaging unit 23 includes an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and outputs RAW data obtained by imaging.
  • the RAW data refers to data that has not been subjected to image processing for conversion to image data in a JPEG (Joint Photographic Experts Group) format or a TIFF (Tagged Image File Format) format.
  • the image processing unit 24 performs image processing including development processing of RAW data obtained by imaging by the imaging unit 23.
  • the image processing unit 24 according to the present embodiment is realized by hardware such as a semiconductor integrated circuit designed exclusively for image processing.
  • the image processing unit 24 generates image data by performing image processing including development processing on the RAW data, and stores the generated image data in the storage device 22.
  • ⁇ RAW data is provided with priority information on the priority of the RAW data.
  • information indicating the frequency of use of the RAW data is added to the RAW data as priority information. More specifically, as information indicating the frequency of use of the RAW data, software (hereinafter referred to as “developing software”) that is executed on the information processing apparatus 14 and that adjusts development parameters used in the development processing of the RAW data. The number of previews of the RAW data is added to the RAW data. The number of times the development processing of the RAW data has been performed may be added to the RAW data as information indicating the use frequency.
  • developer software software that is executed on the information processing apparatus 14 and that adjusts development parameters used in the development processing of the RAW data.
  • the number of previews of the RAW data is added to the RAW data.
  • the number of times the development processing of the RAW data has been performed may be added to the RAW data as information indicating the use frequency.
  • the information processing device 14 includes a CPU 40, a memory 41 as a temporary storage area, and a nonvolatile storage device 42.
  • the information processing device 14 includes a display unit 43 such as a liquid crystal display, an input unit 44 such as a keyboard and a mouse, an external I / F 45 to which the imaging device 12 is connected, and a network I / F 46 to be connected to a network.
  • the CPU 40, the memory 41, the storage device 42, the display unit 43, the input unit 44, the external I / F 45, and the network I / F 46 are connected to a bus 47.
  • the storage device 42 is realized by a hard disk drive (HDD), a solid state drive (SSD), and a flash memory.
  • An information processing program 50 is stored in the storage device 42 as a storage medium.
  • the CPU 40 reads out the information processing program 50 from the storage device 42, expands the information processing program 50 in the memory 41, and executes the expanded information processing program 50.
  • FIG. 4 shows an example of the transfer time table 52.
  • the transfer time table 52 stores, for each type of storage device, information indicating a transfer time of data from the storage device to the image processing unit 24.
  • information indicating the order of the transfer time of each storage device is stored in the transfer time table 52 as the information indicating the transfer time.
  • the storage device 22 in FIG. 4, denoted as “built-in imaging device” built in the imaging device 12 has the shortest transfer time, and has the storage device 42 included in the information processing device 14 (FIG. , "Incorporated in information processing device" indicates that the transfer time is the longest.
  • the transfer time of the storage device 29 in FIG. 4, denoted as “outside the imaging device” outside the imaging device 12 attached to the attachment unit 28 is the second shortest. .
  • the information indicating the transfer time to the image processing unit 24 is not limited to the example in FIG. 4 and may be any information that can determine the length of the data transfer time from each storage device to the image processing unit 24. In this case, the transfer time of the data from each storage device to the image processing unit 24 is actually measured, and the transfer time obtained by the actual measurement is stored in the transfer time table 52.
  • the information processing device 14 includes an acquisition unit 60, a storage control unit 62, an execution unit 64, and a display control unit 66.
  • the acquisition unit 60 acquires the priority information added to the RAW data stored in the storage device 22, the storage device 29, and the storage device 42.
  • the acquisition unit 60 acquires image data obtained by performing image processing including development processing by the image processing unit 24 of the imaging device 12 from the imaging device 12 via the external I / F 45.
  • the storage control unit 62 controls the storage of the RAW data in one of a plurality of different storage devices 22, 29, and 42 according to the priority indicated by the priority information acquired by the acquisition unit 60. Do.
  • the storage control unit 62 refers to the transfer time table 52 and performs control to store RAW data with a higher priority in a storage device in which the transfer time to the image processing unit 24 is shorter. That is, in the present embodiment, the storage control unit 62 performs control to store RAW data in the order of the storage device 22, the storage device 29, and the storage device 42 in descending order of priority. At this time, the storage control unit 62 performs the above control with a higher priority as the use frequency of the RAW data increases.
  • the storage control unit 62 uses two predetermined thresholds TH1 and TH2 (TH1 ⁇ TH2) to determine the priority of the RAW data whose use frequency is less than the threshold TH1, as shown in FIG. 6 as an example. Is “low”. Further, the storage control unit 62 sets the priority of the RAW data whose use frequency is equal to or more than the threshold value TH1 to less than the threshold value TH2 to “medium”, and sets the priority of the RAW data whose use frequency is equal to or more than the threshold value TH2 to “high”.
  • the storage control unit 62 performs control to store the RAW data having the priority “high” in the storage device 22 having the shortest transfer time to the image processing unit 24 among the storage devices. In addition, the storage control unit 62 performs control to store the RAW data of which the priority is “medium” in the storage device 29 having the second shortest transfer time to the image processing unit 24 among the storage devices. Further, the storage control unit 62 performs control to store the RAW data having the priority “low” in the storage device 42 having the longest transfer time to the image processing unit 24 among the storage devices.
  • the storage control unit 62 shortens the transfer time to the image processing unit 24 until the remaining capacity of each storage device becomes smaller than a predetermined value in the order of the RAW data having the highest priority.
  • the control of storing the information in the storage device 22, the storage device 29, and the storage device 42 in this order may be performed.
  • FIG. 7 shows an example in which the lower the numerical value of the priority, the higher the priority of the RAW data.
  • FIG. 7 shows an example in which when four pieces of RAW data are stored in the storage device 22 in descending order of priority, the remaining capacity of the storage device 22 becomes smaller than a predetermined value.
  • FIG. 7 shows an example in which when four pieces of RAW data are stored in the storage device 22 in descending order of priority, the remaining capacity of the storage device 22 becomes smaller than a predetermined value.
  • FIG. 7 shows an example in which the remaining two RAW data are stored in the storage device 29 having the shortest transfer time to the image processing unit 24 next to the storage device 22. Further, in the example of FIG. 7, the RAW data is not stored in the storage device 42 having the longest transfer time to the image processing unit 24.
  • the execution unit 64 causes the imaging device 12 to execute image processing including development processing of RAW data stored in the storage device 22, the storage device 29, and the storage device 42 under the control of the storage control unit 62.
  • the execution unit 64 causes the imaging device 12 to execute image processing including the development processing of the RAW data selected by the user operating the development software with the set development parameters. More specifically, when the selected RAW data is stored in the storage device 22 or the storage device 29, the execution unit 64 transmits the identification information of the selected RAW data, the development parameter, and the instruction to execute the image processing to the external I / O. / F45 to the imaging device 12.
  • the execution unit 64 causes the imaging device 12 to execute image processing including development processing of RAW data.
  • the execution unit 64 sends the selected RAW data, the development parameter, and the instruction to execute the image processing to the imaging device 12 via the external I / F 45. Send.
  • the execution unit 64 causes the imaging device 12 to execute image processing including development processing of RAW data.
  • the display control unit 66 controls the display unit 43 to display the image indicated by the image data obtained by performing the image processing including the development process by the image processing unit 24 of the imaging device 12 acquired by the acquisition unit 60. Do. For example, the display control unit 66 performs control to display thumbnail images corresponding to the image data on the display unit 43 side by side, thereby performing control to display a list of images indicated by the image data on the display unit 43.
  • the storage control process illustrated in FIG. 8 is executed, for example, when the imaging device 12 is connected to the information processing device 14 and the development software is activated on the information processing device 14.
  • the development processing shown in FIG. 9 is executed, for example, when the user selects the RAW data to be subjected to the development processing on the development software, inputs development parameters, and inputs an instruction to execute the development processing. Is done.
  • the development parameters include, for example, parameters related to image quality such as dynamic range, white balance, and sharpness, and the format of image data after development processing such as JPEG and TIFF.
  • step S10 of FIG. 8 the acquisition unit 60 acquires the priority information added to the RAW data stored in the storage device 22, the storage device 29, and the storage device 42.
  • step S12 the storage control unit 62, as described above, stores the RAW data in a plurality of different storage devices 22, the storage device 29, and the storage device in accordance with the priority indicated by the priority information acquired in step S10. The control to store the information in any of the devices 42 is performed.
  • the storage control processing ends.
  • step S20 of FIG. 9 the execution unit 64 performs the image processing including the development processing of the RAW data stored in the storage device 22, the storage device 29, and the storage device 42 by the storage control process as described above. 12 is executed.
  • step S22 the acquisition unit 60 transfers the image data obtained by performing the image processing including the development processing by the image processing unit 24 of the imaging device 12 by the processing in step S20 to the imaging device 12 via the external I / F 45.
  • step S24 the display control unit 66 indicates the image data obtained by performing the image processing including the development processing by the image processing unit 24 of the imaging device 12 obtained by the processing in step S22. Control for displaying an image on the display unit 43 is performed.
  • RAW data with a higher priority is stored in a storage device having a shorter transfer time to the image processing unit 24. Further, the higher the priority of the RAW data for the user, the higher the possibility that the development processing is performed. Therefore, as a result of reducing the transfer time of the RAW data, it is possible to reduce the processing time of the entire development processing of the RAW data.
  • the imaging device is applied as the image processing device that executes the image processing including the development process of the RAW data
  • the invention is not limited to this.
  • An apparatus other than the imaging apparatus having the image processing unit 24 may be applied as an image processing apparatus that performs image processing including development processing of RAW data.
  • the shooting date and time of the RAW data may be applied as the priority information.
  • the priority information may be applied as the priority information.
  • the user may assign the priority of the RAW data.
  • the execution timing of the storage control process in the above embodiment may be after the execution of the development process.
  • the transfer time of the RAW data is reduced, so that the processing time of the entire RAW data development process can be reduced.
  • a plurality of imaging devices 12 may be connected to the information processing device 14.
  • the RAW data is stored in the order of the priority from the storage device of the imaging device 12 having the highest processing performance of the image processing including the developing process. An example is shown.
  • the information processing device 14 may include a plurality of storage devices such as a built-in SSD, a built-in HDD, and an external HDD.
  • a mode in which RAW data having a high priority is stored in the order of the internal SSD, the internal HDD, and the external HDD in order of increasing transfer speed is exemplified.
  • a hardware structure of a processing unit that executes various processes, such as the acquisition unit 60, the storage control unit 62, the execution unit 64, and the display control unit 66, is as follows.
  • the CPU which is a general-purpose processor that executes software (programs) and functions as various processing units
  • the above-described various processors include a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated electricity which is a processor having a circuit configuration specifically designed to execute a specific process such as a programmable logic device (Programmable Logic Device: PLD) or an ASIC (Application Specific Integrated Circuit) which can change the configuration. Circuit and the like.
  • One processing unit may be configured by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). Combination). Further, a plurality of processing units may be configured by one processor. As an example in which a plurality of processing units are configured by one processor, first, as represented by computers such as a client and a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which a processor functions as a plurality of processing units.
  • SoC system-on-chip
  • IC integrated circuit
  • circuitry circuitry combining circuit elements such as semiconductor elements can be used.
  • the mode in which the information processing program 50 is stored (installed) in the storage device 42 in advance has been described, but the present invention is not limited to this.
  • the information processing program 50 is recorded in a non-temporary recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), and a USB (Universal Serial Bus) memory. May be provided. Further, the information processing program 50 may be configured to be downloaded from an external device via a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

撮像により得られたRAWデータの現像処理を含む画像処理を実行する画像処理部を備えた画像処理装置、及び、前記RAWデータの優先度に関する優先度情報を取得する取得部と、前記取得部により取得された優先度情報が表す優先度に応じて、前記RAWデータを異なる複数の記憶装置の何れかに記憶する制御を行う記憶制御部と、を備えた情報処理装置を含む画像処理システム。

Description

画像処理システム、画像処理方法、及び情報処理装置
 本開示は、画像処理システム、画像処理方法、及び情報処理装置に関する。
 従来、RAWデータの現像処理を実行する端末装置に関する性能データに基づいて、複数の端末装置の各々により実行される現像処理の配分を規定したスケジュールテーブルを生成する情報処理装置が開示されている(特開2007-142551号公報参照)。この情報処理装置は、生成したスケジュールテーブルに基づいて、RAWデータ及び現像処理の命令データを各端末装置に送信する。
 また、外部機器において設定された現像パラメータに基づいて、RAWデータに対して現像処理を行い、表示用の現像データを生成する撮像装置が開示されている(特開2015-32890号公報参照)。
 また、可逆圧縮等の符号化が施された画像の復号頻度に応じて、原画像に対してイントラ符号化及びインター符号化の何れを行うかを切り替える技術が開示されている(特開2013-168809号公報参照)。
特開2007-142551号公報 特開2015-32890号公報 特開2013-168809号公報
 RAWデータの現像処理に用いられる現像パラメータの設定は、パーソナルコンピュータ等の情報処理装置を用いて行うことにより、ユーザにとっての利便性が向上する場合が多い。これは、情報処理装置が備える表示部は、RAWデータを生成する撮像装置が備える表示部よりも大画面である場合が多く、視認性が高いためである。
 一方、RAWデータの現像処理を、情報処理装置により実行する場合、ソフトウェア処理によって実行することになるため、現像処理に比較的長い時間がかかってしまう場合がある。これに対し、RAWデータの現像処理専用のハードウェアにより実現された画像処理部を有する撮像装置に、RAWデータの現像処理を実行させることによって、現像処理に費やされる時間を短縮することが考えられる。
 RAWデータの現像処理を上記画像処理部に実行させる場合、RAWデータの現像処理全体の処理時間には、画像処理部によるRAWデータの現像処理の処理時間に加えて、RAWデータが記憶されている記憶装置から画像処理部までの転送時間が含まれる。この転送時間は、例えば、画像処理部を備える装置に内蔵されている記憶装置、及び画像処理部を備える装置とは別体の情報処理装置が備える記憶装置等のRAWデータを記憶する記憶装置によって異なる。また、この転送時間が長いほど、RAWデータの現像処理全体の処理時間が長くなってしまう。
 特開2007-142551号公報、特開2015-32890号公報、特開2013-168809号公報では、現像処理の対象とするRAWデータが、どの記憶装置に記憶されているかについては考慮されていない。なお、この問題は、撮像装置に限らずに、画像処理部を備える画像処理装置において発生し得るものである。
 本開示は、RAWデータの現像処理全体の処理時間を低減することができる画像処理システム、画像処理方法、及び情報処理装置を提供することを目的とする。
 本開示の画像処理システムは、撮像により得られたRAWデータの現像処理を含む画像処理を実行する画像処理部を備えた画像処理装置、及びRAWデータの優先度に関する優先度情報を取得する取得部と、取得部により取得された優先度情報が表す優先度に応じて、RAWデータを異なる複数の記憶装置の何れかに記憶する制御を行う記憶制御部と、を備えた情報処理装置を含む。
 なお、本開示の画像処理システムは、複数の記憶装置が、画像処理装置に内蔵されている記憶装置、画像処理装置に装着された外部記憶装置、及び情報処理装置が備える記憶装置を含んでもよい。
 また、本開示の画像処理システムは、記憶制御部が、RAWデータを、優先度が高い順に、画像処理装置に内蔵されている記憶装置、画像処理装置に装着された外部記憶装置、及び情報処理装置が備える記憶装置の順に記憶する制御を行ってもよい。
 また、本開示の画像処理システムは、情報処理装置が、記憶制御部による制御により複数の記憶装置の何れかに記憶されたRAWデータの現像処理を含む画像処理を、画像処理装置に実行させる実行部を更に備えてもよい。
 また、本開示の画像処理システムは、RAWデータには、優先度情報として、RAWデータの使用頻度を表す情報が付加され、記憶制御部が、使用頻度が高いほど優先度を高くして上記制御を行ってもよい。
 また、本開示の画像処理システムは、画像処理装置が、撮像部を備えた撮像装置であり、RAWデータが、撮像部による撮像により得られたRAWデータであってもよい。
 本開示の画像処理方法は、撮像により得られたRAWデータの現像処理を含む画像処理を実行する画像処理部を備えた画像処理装置と、情報処理装置とを含む画像処理システムによる画像処理方法であって、RAWデータの優先度に関する優先度情報を取得し、取得した優先度情報が表す優先度に応じて、RAWデータを異なる複数の記憶装置の何れかに記憶する制御を行うものである。
 本開示の情報処理装置は、撮像により得られたRAWデータの現像処理を含む画像処理を実行する画像処理部を備えた画像処理装置による現像処理の対象とするRAWデータの優先度に関する優先度情報を取得する取得部と、取得部により取得された優先度情報が表す優先度に応じて、RAWデータを異なる複数の記憶装置の何れかに記憶する制御を行う記憶制御部と、を備えている。
 本開示の情報処理装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、撮像により得られたRAWデータの現像処理を含む画像処理を実行する画像処理部を備えた画像処理装置による現像処理の対象とするRAWデータの優先度に関する優先度情報を取得し、取得した優先度情報が表す優先度に応じて、RAWデータを異なる複数の記憶装置の何れかに記憶する制御を行う処理を実行する。
 本開示によれば、RAWデータの現像処理全体の処理時間を低減することができる。
実施形態に係る画像処理システムの構成の一例を示すブロック図である。 実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 実施形態に係る転送時間テーブルの一例を示す図である。 実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 実施形態に係るRAWデータの記憶先の変更を説明するための図である。 変形例に係るRAWデータの記憶先の変更を説明するための図である。 実施形態に係る記憶制御処理の一例を示すフローチャートである。 実施形態に係る現像処理の一例を示すフローチャートである。
 以下、図面を参照して、本開示を実施するための形態例を詳細に説明する。
 まず、図1を参照して、本実施形態に係る画像処理システム10の構成を説明する。図1に示すように、画像処理システム10は、撮像装置12及び情報処理装置14を含む。撮像装置12は、有線通信及び無線通信の少なくとも一方により情報処理装置14に接続される。なお、撮像装置12の例としてはデジタルカメラが挙げられ、情報処理装置14の例としてはパーソナルコンピュータが挙げられる。また、撮像装置12は画像処理装置の一例である。
 次に、図2を参照して、本実施形態に係る撮像装置12のハードウェア構成を説明する。図2に示すように、撮像装置12は、ハードウェアプロセッサの一例であるCPU(Central Processing Unit)20、一時記憶領域としてのメモリ21、フラッシュメモリ等の撮像装置12に内蔵された不揮発性の記憶装置22、撮像部23、及び画像処理部24を含む。また、撮像装置12は、液晶ディスプレイ等の表示部25と、ダイヤル、レリーズボタン、十字キー、メニューキー、及びタッチパネル等の入力部26と、情報処理装置14に接続される外部I/F(InterFace)27とを含む。また、撮像装置12は、メモリカードスロット等の装着部28を含み、装着部28には、メモリカード等の外部記憶装置の一例である記憶装置29が装着されている。CPU20、メモリ21、記憶装置22、撮像部23、画像処理部24、表示部25、入力部26、外部I/F27、及び記憶装置29は、バス30に接続される。
 撮像部23は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を含み、撮像により得られたRAWデータを出力する。RAWデータとは、JPEG(Joint Photographic Experts Group)形式又はTIFF(Tagged Image File Format)形式等の画像データに変換するための画像処理を経ていないデータを表す。
 画像処理部24は、撮像部23による撮像により得られたRAWデータの現像処理を含む画像処理を実行する。本実施形態に係る画像処理部24は、画像処理専用に設計された半導体集積回路等のハードウェアにより実現される。画像処理部24は、RAWデータに対して現像処理を含む画像処理を実行することによって画像データを生成し、生成した画像データを記憶装置22に記憶する。
 本実施形態に係るRAWデータには、RAWデータの優先度に関する優先度情報が付加されている。本実施形態では、優先度情報として、RAWデータの使用頻度を表す情報がRAWデータに付加されている。詳細には、RAWデータの使用頻度を表す情報として、情報処理装置14上で実行される、RAWデータの現像処理に用いられる現像パラメータを調整するためのソフトウェア(以下、「現像ソフトウェア」という)によるRAWデータのプレビュー回数がRAWデータに付加されている。なお、使用頻度を表す情報として、RAWデータの現像処理が行われた回数がRAWデータに付加されていてもよい。
 次に、図3を参照して、本実施形態に係る情報処理装置14のハードウェア構成を説明する。図3に示すように、情報処理装置14は、CPU40、一時記憶領域としてのメモリ41、及び不揮発性の記憶装置42を含む。また、情報処理装置14は、液晶ディスプレイ等の表示部43、キーボード及びマウス等の入力部44、撮像装置12が接続される外部I/F45、及びネットワークに接続されるネットワークI/F46を含む。CPU40、メモリ41、記憶装置42、表示部43、入力部44、外部I/F45、及びネットワークI/F46は、バス47に接続される。
 記憶装置42は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、及びフラッシュメモリ等によって実現される。記憶媒体としての記憶装置42には、情報処理プログラム50が記憶される。CPU40は、記憶装置42から情報処理プログラム50を読み出してからメモリ41に展開し、展開した情報処理プログラム50を実行する。
 また、記憶装置42には、転送時間テーブル52が記憶される。図4に、転送時間テーブル52の一例を示す。図4に示すように、本実施形態に係る転送時間テーブル52には、記憶装置の種別毎に、その記憶装置から画像処理部24へのデータの転送時間を表す情報が記憶される。本実施形態では、転送時間を表す情報として、各記憶装置の転送時間の順位を表す情報が転送時間テーブル52に記憶される。図4の例では、撮像装置12に内蔵された記憶装置22(図4では、「撮像装置内蔵」と表記)が、転送時間が最も短く、情報処理装置14が備える記憶装置42(図4では、「情報処理装置内蔵」と表記)が、転送時間が最も長いことを表している。また、図4の例では、装着部28に装着された、撮像装置12外部の記憶装置29(図4では、「撮像装置外部」と表記)の転送時間が2番目に短いことを表している。
 なお、画像処理部24への転送時間を表す情報は、図4の例に限定されず、各記憶装置から画像処理部24へのデータの転送時間の長短が判別可能な情報であればよい。この場合、各記憶装置から画像処理部24へのデータの転送時間をそれぞれ実測し、実測により得られた転送時間を転送時間テーブル52に記憶する形態が例示される。
 次に、図5を参照して、本実施形態に係る情報処理装置14の機能的な構成について説明する。図5に示すように、情報処理装置14は、取得部60、記憶制御部62、実行部64、及び表示制御部66を含む。
 取得部60は、記憶装置22、記憶装置29、及び記憶装置42に記憶されているRAWデータに付加された優先度情報を取得する。また、取得部60は、撮像装置12の画像処理部24によって現像処理を含む画像処理が実行されて得られた画像データを、外部I/F45を介して撮像装置12から取得する。
 記憶制御部62は、取得部60により取得された優先度情報が表す優先度に応じて、RAWデータを異なる複数の記憶装置22、記憶装置29、及び記憶装置42の何れかに記憶する制御を行う。本実施形態では、記憶制御部62は、転送時間テーブル52を参照し、優先度が高いRAWデータほど、画像処理部24への転送時間が短い記憶装置に記憶する制御を行う。すなわち、本実施形態では、記憶制御部62は、RAWデータを、優先度が高い順に、記憶装置22、記憶装置29、及び記憶装置42の順に記憶する制御を行う。この際、記憶制御部62は、RAWデータの使用頻度が高いほど優先度を高くして上記制御を行う。
 詳細には、記憶制御部62は、一例として図6に示すように、予め定められた2つの閾値TH1、TH2(TH1<TH2)を用いて、使用頻度が閾値TH1未満のRAWデータの優先度を「低」とする。また、記憶制御部62は、使用頻度が閾値TH1以上閾値TH2未満のRAWデータの優先度を「中」とし、使用頻度が閾値TH2以上のRAWデータの優先度を「高」とする。
 そして、記憶制御部62は、優先度が「高」のRAWデータを、各記憶装置のうち、画像処理部24への転送時間が最も短い記憶装置22に記憶する制御を行う。また、記憶制御部62は、優先度が「中」のRAWデータを、各記憶装置のうち、画像処理部24への転送時間が2番目に短い記憶装置29に記憶する制御を行う。また、記憶制御部62は、優先度が「低」のRAWデータを、各記憶装置のうち、画像処理部24への転送時間が最も長い記憶装置42に記憶する制御を行う。
 なお、記憶制御部62は、一例として図7に示すように、優先度が高いRAWデータから順に、各記憶装置の残容量が所定値未満となるまで、画像処理部24への転送時間が短い順で記憶装置22、記憶装置29、及び記憶装置42に記憶する制御を行ってもよい。図7では、優先度の数値が小さいほどRAWデータの優先度が高い例を示している。また、図7では、優先度が高い順に4つのRAWデータを記憶装置22に記憶した際に、記憶装置22の残容量が所定値未満となった例を示している。また、図7では、残りの2つのRAWデータを記憶装置22の次に画像処理部24への転送時間が短い記憶装置29に記憶した例を示している。また、図7の例では、画像処理部24への転送時間が最も長い記憶装置42には、RAWデータが記憶されない。
 実行部64は、記憶制御部62による制御により記憶装置22、記憶装置29、及び記憶装置42に記憶されたRAWデータの現像処理を含む画像処理を撮像装置12に実行させる。本実施形態では、実行部64は、ユーザが現像ソフトウェアを操作することによって選択されたRAWデータの現像処理を含む画像処理を、設定された現像パラメータで撮像装置12に実行させる。詳細には、実行部64は、選択されたRAWデータが記憶装置22又は記憶装置29に記憶されている場合、選択されたRAWデータの識別情報、現像パラメータ、及び画像処理の実行指示を外部I/F45を介して撮像装置12に送信する。これにより、実行部64は、RAWデータの現像処理を含む画像処理を撮像装置12に実行させる。
 一方、実行部64は、選択されたRAWデータが記憶装置42に記憶されている場合、選択されたRAWデータ、現像パラメータ、及び画像処理の実行指示を外部I/F45を介して撮像装置12に送信する。これにより、実行部64は、RAWデータの現像処理を含む画像処理を撮像装置12に実行させる。
 表示制御部66は、取得部60により取得された、撮像装置12の画像処理部24によって現像処理を含む画像処理が実行されて得られた画像データが示す画像を表示部43に表示する制御を行う。例えば、表示制御部66は、画像データに対応するサムネイル画像を並べて表示部43に表示する制御を行うことにより、画像データが示す画像の一覧を表示部43に表示する制御を行う。
 次に、図8及び図9を参照して、本実施形態に係る画像処理システム10の作用、及び画像処理方法を説明する。情報処理装置14のCPU40が情報処理プログラム50を実行することによって、図8に示す記憶制御処理、及び図9に示す現像処理が実行される。図8に示す記憶制御処理は、例えば、撮像装置12が情報処理装置14に接続され、かつ情報処理装置14上で現像ソフトウェアが起動された場合に実行される。また、図9に示す現像処理は、例えば、現像ソフトウェア上で、ユーザにより現像処理の対象とするRAWデータが選択され、現像パラメータが入力され、かつ現像処理の実行指示が入力された場合に実行される。なお、現像パラメータには、例えば、ダイナミックレンジ、ホワイトバランス、及びシャープネス等の画質に関するパラメータと、JPEG及びTIFF等の現像処理後の画像データのフォーマット等が含まれる。
 図8のステップS10で、取得部60は、記憶装置22、記憶装置29、及び記憶装置42に記憶されているRAWデータに付加された優先度情報を取得する。ステップS12で、記憶制御部62は、前述したように、ステップS10の処理により取得された優先度情報が表す優先度に応じて、RAWデータを異なる複数の記憶装置22、記憶装置29、及び記憶装置42の何れかに記憶する制御を行う。ステップS12の処理が終了すると、記憶制御処理が終了する。
 図9のステップS20で、実行部64は、前述したように、上記記憶制御処理によって記憶装置22、記憶装置29、及び記憶装置42に記憶されたRAWデータの現像処理を含む画像処理を撮像装置12に実行させる。
 ステップS22で、取得部60は、ステップS20の処理により撮像装置12の画像処理部24によって現像処理を含む画像処理が実行されて得られた画像データを、外部I/F45を介して撮像装置12から取得する。ステップS24で、表示制御部66は、前述したように、ステップS22の処理により取得された、撮像装置12の画像処理部24によって現像処理を含む画像処理が実行されて得られた画像データが示す画像を表示部43に表示する制御を行う。ステップS24の処理が終了すると、現像処理が終了する。
 以上説明したように、本実施形態によれば、優先度が高いRAWデータほど、画像処理部24への転送時間が短い記憶装置に記憶される。また、ユーザにとっての優先度が高いRAWデータほど現像処理が行われる可能性が高い。従って、RAWデータの転送時間が低減される結果、RAWデータの現像処理全体の処理時間を低減することができる。
 なお、上記実施形態では、RAWデータの現像処理を含む画像処理を実行する画像処理装置として、撮像装置を適用した場合について説明したが、これに限定されない。RAWデータの現像処理を含む画像処理を実行する画像処理装置として、画像処理部24を有する撮像装置以外の装置を適用してもよい。
 また、上記実施形態では、RAWデータの優先度に関する優先度情報として、RAWデータの使用頻度を表す情報を適用した場合について説明したが、これに限定されない。例えば、優先度情報として、RAWデータの撮影日時を適用してもよい。この場合、撮影日時が現在に近いほど、優先度を高くする形態が例示される。また、RAWデータの優先度をユーザが付与する形態としてもよい。
 また、上記実施形態における記憶制御処理の実行タイミングは、現像処理の実行後でもよい。この場合、次に現像処理を実行する場合に、RAWデータの転送時間が低減される結果、RAWデータの現像処理全体の処理時間を低減することができる。
 また、上記実施形態において、情報処理装置14に複数の撮像装置12が接続されてもよい。この場合、例えば、画像処理部24への転送時間が同じ記憶装置については、RAWデータを、優先度が高い順に、現像処理を含む画像処理の処理性能が高い撮像装置12の記憶装置から順に記憶する形態が例示される。
 また、上記実施形態において、情報処理装置14が、内蔵SSD、内蔵HDD、及び外付けHDD等の複数の記憶装置を備えていてもよい。この場合、例えば、転送速度が速い順番である内蔵SSD、内蔵HDD、及び外付けHDDの順に、優先度が高いRAWデータを記憶する形態が例示される。
 また、上記実施形態において、例えば、取得部60、記憶制御部62、実行部64、及び表示制御部66といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
 複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
 更に、これらの各種のプロセッサのハードウェア的な構造としては、より詳細には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)を用いることができる。
 また、上記実施形態では、情報処理プログラム50が記憶装置42に予め記憶(インストール)されている態様を説明したが、これに限定されない。情報処理プログラム50は、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、情報処理プログラム50は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
 本願は2018年6月29日出願の日本出願第2018-125132号の優先権を主張すると共に、その全文を参照により本明細書に援用する。

Claims (8)

  1.  撮像により得られたRAWデータの現像処理を含む画像処理を実行する画像処理部を備えた画像処理装置、及び
     前記RAWデータの優先度に関する優先度情報を取得する取得部と、
     前記取得部により取得された優先度情報が表す優先度に応じて、前記RAWデータを異なる複数の記憶装置の何れかに記憶する制御を行う記憶制御部と、
     を備えた情報処理装置
     を含む画像処理システム。
  2.  前記複数の記憶装置は、前記画像処理装置に内蔵されている記憶装置、前記画像処理装置に装着された外部記憶装置、及び前記情報処理装置が備える記憶装置を含む
     請求項1に記載の画像処理システム。
  3.  前記記憶制御部は、前記RAWデータを、前記優先度が高い順に、前記画像処理装置に内蔵されている記憶装置、前記画像処理装置に装着された外部記憶装置、及び前記情報処理装置が備える記憶装置の順に記憶する制御を行う
     請求項2に記載の画像処理システム。
  4.  前記情報処理装置は、前記記憶制御部による制御により前記複数の記憶装置の何れかに記憶されたRAWデータの前記現像処理を含む画像処理を、前記画像処理装置に実行させる実行部を更に備えた
     請求項1から請求項3の何れか1項に記載の画像処理システム。
  5.  前記RAWデータには、前記優先度情報として、前記RAWデータの使用頻度を表す情報が付加され、
     前記記憶制御部は、前記使用頻度が高いほど前記優先度を高くして前記制御を行う
     請求項1から請求項4の何れか1項に記載の画像処理システム。
  6.  前記画像処理装置は、撮像部を備えた撮像装置であり、
     前記RAWデータは、前記撮像部による撮像により得られたRAWデータである
     請求項1から請求項5の何れか1項に記載の画像処理システム。
  7.  撮像により得られたRAWデータの現像処理を含む画像処理を実行する画像処理部を備えた画像処理装置と、情報処理装置とを含む画像処理システムによる画像処理方法であって、
     前記RAWデータの優先度に関する優先度情報を取得し、
     取得した優先度情報が表す優先度に応じて、前記RAWデータを異なる複数の記憶装置の何れかに記憶する制御を行う
     画像処理方法。
  8.  撮像により得られたRAWデータの現像処理を含む画像処理を実行する画像処理部を備えた画像処理装置による前記現像処理の対象とするRAWデータの優先度に関する優先度情報を取得する取得部と、
     前記取得部により取得された優先度情報が表す優先度に応じて、前記RAWデータを異なる複数の記憶装置の何れかに記憶する制御を行う記憶制御部と、
     を備えた情報処理装置。
PCT/JP2019/023127 2018-06-29 2019-06-11 画像処理システム、画像処理方法、及び情報処理装置 WO2020004017A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020527371A JP6826238B2 (ja) 2018-06-29 2019-06-11 画像処理システム、画像処理方法、及び情報処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-125132 2018-06-29
JP2018125132 2018-06-29

Publications (1)

Publication Number Publication Date
WO2020004017A1 true WO2020004017A1 (ja) 2020-01-02

Family

ID=68984836

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/023127 WO2020004017A1 (ja) 2018-06-29 2019-06-11 画像処理システム、画像処理方法、及び情報処理装置

Country Status (2)

Country Link
JP (1) JP6826238B2 (ja)
WO (1) WO2020004017A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008244873A (ja) * 2007-03-27 2008-10-09 Fujifilm Corp 画像管理システム、デジタルカメラ、画像管理方法、及び画像管理プログラム
JP2013258469A (ja) * 2012-06-11 2013-12-26 Nikon Corp 制御装置、記録装置、撮像装置およびプログラム
JP2017103753A (ja) * 2015-11-24 2017-06-08 キヤノン株式会社 撮像装置および記録方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3257948B2 (ja) * 1996-04-30 2002-02-18 松下電器産業株式会社 画像抽出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008244873A (ja) * 2007-03-27 2008-10-09 Fujifilm Corp 画像管理システム、デジタルカメラ、画像管理方法、及び画像管理プログラム
JP2013258469A (ja) * 2012-06-11 2013-12-26 Nikon Corp 制御装置、記録装置、撮像装置およびプログラム
JP2017103753A (ja) * 2015-11-24 2017-06-08 キヤノン株式会社 撮像装置および記録方法

Also Published As

Publication number Publication date
JP6826238B2 (ja) 2021-02-03
JPWO2020004017A1 (ja) 2021-02-25

Similar Documents

Publication Publication Date Title
US11558540B2 (en) Image capturing apparatus, control method, and computer-readable storage medium
JP2001325139A (ja) 情報処理システム、情報処理装置、撮像システム、情報処理方法、記憶媒体
TWI696114B (zh) 在系統單晶片中用於智慧資料/訊框壓縮之系統及方法
WO2020004017A1 (ja) 画像処理システム、画像処理方法、及び情報処理装置
US20220279118A1 (en) Image capturing apparatus, method for controlling image capturing apparatus, information processing apparatus
JP5695571B2 (ja) サーバー装置及びコンテンツ取得方法
US9432650B2 (en) Image display apparatus, image capturing apparatus, and method of controlling image display apparatus
JP4609170B2 (ja) 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム
CN111971949B (zh) 图像处理系统、图像处理方法及信息处理装置
US9292459B2 (en) Operation analysis apparatus, operation analysis method, and computer program product
JP6829346B2 (ja) 画像処理システム、画像処理方法、及び情報処理装置
JP7238433B2 (ja) 情報処理装置、制御方法、およびプログラム
JP2007006125A (ja) 画像処理支援装置、電子カメラ、画像処理装置、現像処理システム、並びにこれらの画像処理支援装置および画像処理装置を実現するプログラム
US11363160B2 (en) Detachable device, control method thereof, and storage medium
JP7124455B2 (ja) 文書管理装置及び文書管理方法
US11194907B2 (en) Information processing apparatus, control method, and recording medium
JP7500246B2 (ja) 撮像装置、制御方法、及び、プログラム
WO2020095730A1 (ja) 情報解析装置及び情報解析方法
US20230059207A1 (en) Computing apparatus, image capturing apparatus, control method, and storage medium
JP2005107818A (ja) 調停装置およびそれを用いる画像形成装置
JP2021158435A (ja) 撮像装置
JP5521654B2 (ja) 画像形成装置及びプログラム
JP2019153896A (ja) 電子機器
JP2013250622A (ja) 画像処理装置
JP2012039291A (ja) 電子カメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19827086

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020527371

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19827086

Country of ref document: EP

Kind code of ref document: A1