WO2021033928A1 - 영상 촬영 장치 및 방법 - Google Patents

영상 촬영 장치 및 방법 Download PDF

Info

Publication number
WO2021033928A1
WO2021033928A1 PCT/KR2020/009610 KR2020009610W WO2021033928A1 WO 2021033928 A1 WO2021033928 A1 WO 2021033928A1 KR 2020009610 W KR2020009610 W KR 2020009610W WO 2021033928 A1 WO2021033928 A1 WO 2021033928A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
light
unit
photographing
Prior art date
Application number
PCT/KR2020/009610
Other languages
English (en)
French (fr)
Inventor
김종옥
김재우
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190133058A external-priority patent/KR20210021887A/ko
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of WO2021033928A1 publication Critical patent/WO2021033928A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B39/00—High-speed photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Definitions

  • the present invention relates to an apparatus and method for photographing an image.
  • camera devices acquired an image (still image or video) using a photosensitive film or the like for visible or infrared rays incident through a lens, but recently, after receiving visible or infrared rays through an image sensor, output from the image sensor An image is generated based on an electrical signal corresponding to visible or infrared rays.
  • auxiliary lighting such as a flash light has been conventionally used.
  • a flash image photographed using a flash light is distorted in color compared to an image without a flash light (ambient, no-flash image), or highlights are emphasized excessively due to an excessive amount of light, or a strong shadow is formed. Also caused.
  • red eye artifacts may occur due to flash light, and white balance may not be appropriate.
  • other backgrounds other than the subject to which the light generated by the flash light directly reaches ie, a subject adjacent to the camera device
  • An object of the present invention is to provide an image capturing apparatus and method capable of obtaining a still image or moving picture of excellent quality even in a low-light environment.
  • an apparatus and method for photographing an image are provided.
  • the image capturing apparatus includes a light emitting unit that emits light, a photographing unit that acquires a plurality of image data by performing photographing a plurality of times while the light emitting unit emits light, and a final image data by synthesizing the plurality of image data. It may include an image processing unit.
  • the image capturing method includes: emitting light by the light emitting unit, obtaining a plurality of image data by performing photographing a plurality of times while the light emitting unit emits light, and obtaining final image data by synthesizing the plurality of image data. It may include steps.
  • FIG. 1 is a block diagram of an image capturing apparatus according to an embodiment.
  • FIG. 2 is a graph showing a change in intensity of light output to the outside according to an operation of a light emitting unit.
  • FIG. 3 is a diagram illustrating a plurality of images obtainable by high-speed photographing during an operation of a light emitting unit.
  • FIG. 4 is a block diagram illustrating an embodiment of an operation of an image processing unit.
  • FIG. 5 is a diagram of a final image according to an embodiment.
  • FIG. 6 is a block diagram for describing a more specific embodiment of an operation of an image processing unit.
  • FIG. 7 is a flowchart of an embodiment of an image capturing method.
  • unit used below may be implemented in software or hardware, and according to an embodiment, one "unit” is implemented as one physical or logical part, or a plurality of “units” It may be implemented as a physical or logical part, or one'unit' may be implemented as a plurality of physical or logical parts.
  • a part When it is said that a part is'connected' to another part throughout the specification, it may mean physical connection or electrical connection depending on the part and other part.
  • a part when a part is said to'include' another part, it does not exclude another part other than the other part unless specifically stated to the contrary, and may further include another part at the designer's choice. Means there is.
  • FIG. 1 is a block diagram of an image capturing apparatus according to an embodiment.
  • the image capturing device 100 refers to a device capable of obtaining an image (which may include a still image or a video) corresponding to photographing by photographing a subject or a background according to a user's manipulation or a predefined setting.
  • the image capturing device 100 is, for example, a camera device, a camcorder device (can also include a shooting device commonly referred to as an action cam or a web cam), a smart phone, a navigation device, a cellular phone, a tablet PC, a portable game device.
  • HMD head mounted display
  • PDA personal digital assistants
  • digital televisions desktop computers, laptop computers, artificial intelligence sound reproduction devices and/or other flash lights It may include an electronic device, etc., which can capture an image by mounting a lamp.
  • the image capturing apparatus 100 may include a light emitting unit 105, a photographing unit 110, a processor 120, and a storage unit 160, and if necessary, an input unit ( 191) and/or an output unit 192 may be further included.
  • the light emitting unit 105 is provided to emit light of a predetermined intensity to the outside.
  • the light emitting unit 150 may be provided to emit light approximately in a direction in which the photographing unit 110 is to be photographed (hereinafter, a photographing direction, for example, a direction in which the lens 111 is directed) or a direction close thereto.
  • the light emitting unit 150 may be provided to emit light in a direction forming a predetermined angle with the photographing direction.
  • An alternative direction in which the light emitting unit 150 emits light may or may not be adjustable according to a user's manipulation according to the type of the image capturing apparatus 100.
  • a light emitting diode (LED, Light Emitting Diode) or a xenon lamp may be used as a light source of the light emitting unit 105, but is not limited thereto.
  • the light emitting unit 105 may emit light under the control of the controller 121 of the processor 120.
  • the controller 121 may transmit a control signal for photographing to the photographing unit 110 according to a user's manipulation or a predefined setting, and simultaneously or sequentially transmit a control signal for light emission to the light emitting unit 105. have.
  • the light-emitting unit 105 receives a control signal from the control unit 121, the light-emitting unit 105 starts an operation in response thereto and emits light.
  • the light-emitting unit 105 may emit light of different intensity. For example, according to the control signal transmitted from the control unit 121, the light emitting unit 105 may output light with a relatively weak intensity or may output light with a relatively strong intensity.
  • FIG. 2 is a graph showing a change in intensity of light output to the outside according to an operation of a light emitting unit, and is schematically illustrated for convenience of explanation.
  • the intensity of light output from the light-emitting unit 105 gradually increases during a certain period (p1, hereinafter, the first period) from the time t0 when the light-emitting unit 105 starts operation. Meanwhile, light with a relatively strong intensity is output (p2, hereinafter the second period), then decreases again, and the light emission is finally terminated (p3, hereinafter, hereinafter, the third period).
  • the intensity of light may be maintained substantially constant, or may be increased or decreased relatively gently.
  • the light-emitting unit 105 includes a first period p1 in which the intensity of light increases, a second period p2 in which light is emitted with an intensity of a certain amount or more, and a third period p3 in which the intensity of light decreases. ), the length of at least one period, the intensity of light or the amount of change of the intensity of light within the periods p1 to p3 may be adjusted. For example, under the control of the controller 121, the intensity of light output from the light emitting unit 105 may increase relatively faster or slower during the first period p1, and/or the second period p2 ) May remain relatively longer or shorter. Further, the light intensity may decrease relatively faster or slower during the third period p3. According to another embodiment, the light emitting unit 105 may not be able to adjust the intensity of light within the above-described periods p1 to p3 or p1 to p3.
  • the photographing unit 110 may be provided to receive incident light and to generate and output an electrical signal corresponding to the received light.
  • the photographing unit 110 may include, for example, a lens 111 and an image sensor 112.
  • the lens 111 may focus incident visible light or infrared light and transmit it to the image sensor 112, and the image sensor 112 may obtain an electrical signal (hereinafter, image data) corresponding to the incident light.
  • image data acquired by the image sensor 112 may be transmitted to the image processing unit 130 of the processor 120 immediately or after a certain period of time has elapsed. Depending on the embodiment, all or part of the image data acquired by the image sensor 112 may be discarded without being transmitted to the image processing unit 130.
  • the image sensor may be implemented using, for example, a charge-coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS), but is not limited thereto.
  • the photographing unit 110 may further include a device such as a shutter or an aperture.
  • the photographing unit 110 performs photographing a plurality of times and a plurality of image data corresponding to each of the plurality of photographs, for example, first image data to Nth image data (10-1 to 10-N, where N is a natural number of 1 or more) ) Can also be obtained. Also, the photographing unit 110 may perform high-speed photographing by performing photographing at a high shutter speed. For example, after opening the shutter for a time shorter than 1/24 seconds, the photographing unit 110 may acquire image data based on the incident light during the open time.
  • FIG. 3 is a diagram illustrating a plurality of images obtainable by high-speed photographing during an operation of a light emitting unit.
  • the photographing unit 110 performs photographing one or more times while the light emitting unit 105 emits light, so that one or more image data corresponding to photographing ( 10-1 to 10-N) can also be obtained.
  • the photographing unit 110 may perform photographing four times during the period in which the light emitting unit 105 emits light (p1 to p3), and correspondingly, four image data (hereinafter, first image data 10- 1), second image data 10-2, third image data 10-3, and fourth image data 10-4) may be obtained. More specifically, the photographing unit 110 responds to each time point (t1 to t4) by performing photographing at at least one time point within the light emission period (p1 to p3), for example, the first to fourth time points (t1 to t4). The first to fourth image data 10-1 to 10-4 may be acquired.
  • all time points in which photographing has been performed may include only the time points within the period in which the light emitting unit 105 emits light.
  • at least one of the first to fourth time points (t1 to t4) is a time point before the light emitting unit 105 starts to emit light and a time point after the light emitting unit 105 ends light emission. It may contain at least one.
  • the time point before the light-emitting unit 105 starts to emit light may include a time point just before the start of light emission, and/or the time point after the light-emitting unit 105 ends light emission may include a time point immediately after the end of light emission.
  • the image sensor 112 may acquire image data 10-1 to 10-4 different from each other according to the amount of ambient light at the time of photographing or the intensity of light of the light emitting unit 105. That is, if the images 10-1a to 10-4a are acquired from each of the image data 10-1 to 10-4, the images that can be obtained 10-1a to 10-4a are shown in FIG. As such, they can be different from each other. For example, the brightness, highlight, or exposure of each image 10-1a to 10-4a may be different. In more detail, for example, referring to the bars shown in FIGS.
  • the first image data 10-1 may be acquired at a first time point t1 belonging to the first period p1, and 1
  • the image 10-1a corresponding to the image data 10-1 appears brighter than when the light-emitting unit 105 does not emit light, but the second image data 10-2 acquired in the second period p2 It appears darker than the image 10-2a corresponding to.
  • the image 10-2a corresponding to the second image data 10-2 acquired at the second time point t2 in the second period p2 may appear brightest, such as highlighting the subject.
  • the image 10-3a corresponding to the third image data 10-3 acquired at the third time point t3 in the third period p3 in which the light intensity decreases is in the second image data 10-2. It may appear darker than the corresponding image 10-2a.
  • the image 10-4a corresponding to the fourth image data 10-4 acquired at the fourth time point t4 when the light emission is almost finished will appear darkest among the images 10-1a to 10-3b. I can.
  • this is exemplary, and the images 10-1a to 10-4a corresponding to the image data 10-1 to 10-4 acquired according to the capturing time points t1 to t4 may be different.
  • the photographing unit 110 performs only one photographing within any one period (any one of p1 to p3) in order to acquire only a plurality of images (10-1 to 10-4) different from each other. It may be designed to do. For example, during the period p2 in which the light emitting unit 105 emits the strongest light, the photographing unit 110 photographs only one image data, for example, the second image data 10-2. You can also get only. In addition, the photographing unit 110 may be provided to acquire only a plurality of images 10-1 to 10-4 different from each other by performing a plurality of photographing within any one period (any one of p1 to p3). .
  • the photographing unit 110 performs one or more photographing during at least one of the periods (p1, p3) in which the light intensity of the light emitting unit 105 increases or decreases, and thus one period (p1, p3). It is also possible to acquire a plurality of image data corresponding to, for example, a plurality of first image data 10-1 or a plurality of third image data 10-3.
  • the photographing unit 110 acquires a plurality of image data having different brightnesses and the like according to the operation of the light emitting unit 105, an effect substantially similar to that of acquiring a plurality of image data through multiple exposures is exhibited. In other words, it is possible to capture a pseudo multiple exposure image.
  • the processor 120 may control an operation related to image capturing and/or perform image processing on the image data 10-1 to 10-4 acquired by the image capturing unit 110. In addition, the processor 120 may perform various operations such as processing and/or control necessary for the operation of the image capturing apparatus 100.
  • the processor 120 may drive an application (which can be expressed as an app, program, or software) stored in the storage unit 160 to perform a control operation or an image processing operation.
  • the application stored in the storage unit 160 may be directly created and input by the designer and stored in the storage unit 160, or acquired or updated through an electronic software distribution network accessible through a wired or wireless communication network. May be.
  • the control unit 121 controls the light emitting unit 105, the photographing unit 110, the image processing unit 130, or the output unit 192, so that the light emitting unit 105 is Output, the photographing unit 110 collects the image data 10-1 to 10-4, or the image processing unit 130 uses the image data 10-1 to 10-4 to use the final image ( 20) or the output unit 192 outputs the images 10-1a to 10-4a and/or the final image 20 corresponding to each image data 10-1 to 10-4 You can do it.
  • FIG. 4 is a block diagram illustrating an example of an operation of an image processing unit
  • FIG. 5 is a diagram illustrating an example of a final image.
  • the image processing unit 130 directly or indirectly receives the image data 10-1 to 10-4 from the image sensor 112, and uses the received image data 10-1 to 10-4 to use the final image ( 20) can be created. More specifically, as illustrated in FIG. 4, the image processing unit 130 may obtain the final image data 20 by synthesizing a plurality of image data 10-1 to 10-4.
  • first to fourth image data 10-1 to 10-4 may be acquired by the image sensor 112 .
  • photographing is performed at each of the first to fourth time points (t1 to t4) within a period in which the light emitting unit 105 emits light or a period close thereto, and accordingly, at each of the first to fourth time points (t1 to t4).
  • Corresponding first to fourth image data 10-1 to 10-4 may be obtained.
  • the image processing unit 130 receives the first to fourth image data 10-1 to 10-4 corresponding to each of the obtained first to fourth viewpoints t1 to t4 from the image sensor 112, and , By synthesizing the first to fourth image data 10-1 to 10-4, a final image 20 as shown in FIG. 5 may be obtained.
  • the image processing unit 130 may include a synthesis unit 133 for synthesizing a plurality of image data 10-1 to 10-4 and outputting a final image 20 according to the synthesis result.
  • the synthesis unit 133 may perform synthesis using all of the first to fourth image data 10-1 to 10-4, or the first to fourth image data 10- 1 to 10-4) may be used to perform the synthesis.
  • the synthesizing unit 133 may synthesize the first to fourth image data 10-1 to 10-4 by assigning different weights to each of the first to fourth image data 10-1 to 10-4. 4) can also be synthesized equally.
  • At least one conversion process for each image data 10-1 to 10-4 may be further performed prior to the synthesis of the synthesis unit 133, or synthesis by the synthesis unit 133 At least one conversion process may be further performed on the converted data.
  • the synthesizer 133 may perform image synthesis using, for example, Generative Adversarial Networks (GAN). Details on this will be described later.
  • GAN Generative Adversarial Networks
  • the controller 121 and the image processing unit 130 may be implemented using a plurality of information processing devices that are physically separated, respectively, or may be implemented using a single information processing device.
  • the information processing device is, for example, a central processing unit (CPU, Central Processing Unit), a microcontroller unit (MCU, Micro Controller Unit), a Micom (Micro Processor), an application processor (AP, Application Processor), It is possible to include an electronic control unit (ECU) and/or other information processing device capable of processing various operations and generating control signals.
  • the storage unit 160 may temporarily or non-temporarily store data or applications required for the operation of the image capturing device 100 and/or acquired by the image capturing device 100. For example, the storage unit 160 temporarily or non-temporarily stores the first image data to the Nth image data (10-1 to 10-N) output by the image sensor 112, and according to a call The stored image data 10-1 to 10-N may be transmitted to the image processing unit 130. In addition, the storage unit 160 may store the final image 20 generated by the image processing unit 130. In addition, the storage unit 160 may store an application designed for capturing and synthesizing an image during a light emission process, information on an operation of the light emitting unit 105, information to be output through the output unit 192, and the like.
  • the storage unit 160 may include, for example, at least one of a main memory device and an auxiliary memory device.
  • the main memory device may be implemented using a semiconductor storage medium such as ROM and/or RAM.
  • Auxiliary storage devices include flash memory devices, SD (Secure Digital) cards, solid state drives (SSDs, Solid State Drives), hard disk drives (HDDs, Hard Disc Drives), magnetic drums, compact disks (CDs), DVDs ) Or an optical media such as a laser disk, a magnetic tape, a magneto-optical disk, and/or a floppy disk, and at least one storage medium capable of permanently or semi-permanently storing data.
  • the input unit 191 may receive an instruction/command from a user and transmit an electrical signal corresponding to the instruction/command to the processor 120.
  • the input unit 191 may receive an instruction for performing an image capturing and image synthesis process in the light emission process, an instruction for image capturing, and/or the final image 20 It is also possible to receive an indication of the indication.
  • the input unit 191 may receive data or instructions for changing or confirming various settings used in the processing of the image processing unit 130.
  • the input unit 191 can be implemented using, for example, a touch sensor, a touch screen, a keyboard device, a mouse device, a physical button, a knob, and/or a trackball.
  • the output unit 192 may visually or audibly output data to the outside.
  • the output unit 192 may output the final image 20, image data 10-1 to 10-N, and/or a menu screen for setting.
  • the output unit 192 can be implemented through a display or speaker device.
  • FIG. 6 is a block diagram for explaining a more specific embodiment of an operation of an image processing unit, and is for explaining an embodiment in which image processing is performed based on a productive hostile neural network.
  • the image processing unit 130 uses a productive hostile neural network to obtain a reference image 12 from the first to fourth image data 10-1 to 10-4.
  • the same or approximate composite image 17 may be obtained.
  • the image processing unit 130 may employ a feature fusion auto-encoder (FFAE) to acquire the composite image 17.
  • FFAE feature fusion auto-encoder
  • the reference image 12 means an actual or ideal image that can be used as a comparison object.
  • the reference image 12 may include a ground truth that may be acquired according to an actual photographing.
  • the reference image 12 may be obtained through photographing during the photographing process of the first to fourth image data 10-1 to 10-4, and/or by the image photographing device 100 or another photographing device. After being photographed, it may be transmitted to the image processing unit 130.
  • the reference image 12 may also be stored in the storage unit 160.
  • the image processing unit 130 performs all or all of the first to fourth image data 10-1 to 10-4.
  • a composite image 17 including at least one structural configuration and texture detail may be generated.
  • the mapping between the input image data 10-1 to 10-4 and the desired image can be learned from designated examples.
  • the relationship between the image data 10-1 to 10-4, the composite image 17, and the reference image 12 can be expressed as Equation 1 below.
  • Equation 1 Means mapping algorithm, Is the captured image data (10-1 to 10-4), Is the composite image, Means a reference image.
  • the mapping algorithm shown in Equation 1 is learned through a predetermined learning algorithm so that the result of synthesizing the image data 10-1 to 10-4 (that is, the synthesized image 7) is the same as or similar to the reference image 12. Can be.
  • the image processing unit 130 may include a generation unit 131 and a determination unit 135, and may process such a learning algorithm according to the generation unit 131 and the determination unit 135. have.
  • the determination unit 135 may be omitted.
  • the generation unit 131 may include encoders 132 (132-1 to 132-4) for processing the encoding process.
  • the encoder 132 receives the image data 10-1 to 10-4, encodes the received image data 10-1 to 10-4, and converts the received image data 10-1 to 10-4.
  • a corresponding internal representation that is, encoded image data may be obtained and output.
  • the encoder 132 may be designed to extract an invariant value of an image parameter, for example, a potential feature (e.g., a feature point) or a scene representation, from at least one image data 10-1 to 10-4 during the encoding process. And, more specifically, it may be designed to extract distributed structure and texture details.
  • the encoder 132 may be provided corresponding to each of the plurality of image data 10-1 to 10-4, or sequentially receive a plurality of image data 10-1 to 10-4, and sequentially It may be provided to output the encoded image data of.
  • the encoder 132 may include, for example, an auto encoder, and more specifically, may include a convolution auto encoder using a skip connection method.
  • the generation unit 131 may further include a synthesis unit 133 for synthesizing data.
  • the synthesizer 133 may synthesize at least one encoded image data as illustrated in FIG. 6, output a result of the synthesis, and transmit the result to the decoder 134.
  • the synthesizing unit 133 different from that shown in Fig. 6, at least one decoded image (that is, an image obtained by decoding a plurality of encoded image data by the decoder 134) As a result of synthesizing and synthesizing, for example, the synthesized image 17 may be output.
  • the synthesis result of the synthesis unit 133 may show potential characteristics, such as scene description.
  • the combiner 133 may further use weights, and for example, may use weight sharing or tied weights to reduce the number of parameters in the neural network.
  • the generation unit 131 may further include a decoder 134.
  • the decoder 134 is provided to obtain the composite image 17 by decoding a potential characteristic or scene expression extracted by the encoder 131.
  • the composite image 17 may be a high dynamic range (HDR) image.
  • the decoder 134 receives the synthesis result of the synthesis unit 133 as shown in FIG. 6, decodes the synthesis result, and obtains and outputs the decoded result image, that is, the synthesis image 17. You may.
  • the synthesized image 17 may be obtained according to the processing result of the generation unit 131, and the synthesized image 17 may be determined as the result image 20 and output to the outside.
  • the composite image 17 may be input to the determination unit 135.
  • the determination unit 135 may determine and determine whether the input synthesized image 17 is a fake image by synthesis or a measured image, and classify the synthesized image 17 as necessary.
  • the determination unit 135 may determine whether the synthesized image 17 is a fake image or an actual measured image using at least one learning algorithm.
  • Learning algorithms are, for example, deep neural networks (DNN), convolutional neural networks (CNN), recurrent neural networks (RNN), convolutional recurrent neural networks (CRNN), multilayer perceptrons (MLN), deep trust neural networks (DBN), and deep Q -Networks (Deep Q-Networks) and/or may include at least one algorithm designed for learning.
  • the loss function for the generation unit 131 may include a mean square error (MSE), a perceptual loss, and an adversarial loss as shown in Equation 2 below. I can.
  • MSE mean square error
  • perceptual loss a perceptual loss
  • adversarial loss as shown in Equation 2 below. I can.
  • Is the loss function Is the mean squared error.
  • Is the VGG loss Means hostile losses. Denotes the weight added to the hostile loss.
  • the mean squared error part numerically represents the difference between the synthesis result (ie, the synthesized image 17) and the measured image 12, as shown in Equation 3 below.
  • Equation 3 Means mapping algorithm, Is the captured image data (10-1 to 10-4) Means a reference image.
  • VGG loss refers to the perceptual loss of the VGG neural network, and specifically, as described in Equation 4 below, the perception between the composite image 17 and the measured image 12 in the feature domain Show enemy differences. Such perceptual differences may be extracted by a previously trained VGG neural network.
  • Equation 4 Is a feature map extracted by VGG for the fourth convolutional layer.
  • the hostile loss is to confirm that the synthesis result 17 is not different from the measured image 12 as described in Equation 5 below.
  • the determination unit 135 may be learned by the productive hostile neural network determination loss as shown in Equation 6 below.
  • FIG. 7 is a flowchart of an embodiment of an image capturing method.
  • a photographing command is input to the image photographing apparatus according to a user's manipulation of the input unit or according to a predefined setting (200).
  • the light emitting unit When a photographing command is input, the light emitting unit starts to emit light in response to the input to emit light.
  • the photographing unit may start the photographing operation simultaneously or sequentially with the start of the operation of the light emitting unit (202).
  • the light emitting unit ends the emission of light after emitting light according to the photographing of the photographing unit or irrespective of the photographing of the photographing unit.
  • the intensity of light emitted by the light emitting unit may vary.
  • the intensity of light may increase rapidly or gradually at the beginning and then gradually increase and decrease, or may remain generally constant.
  • the light intensity may decrease rapidly or gradually after a gentle increase or decrease or maintenance.
  • the change of the light intensity may be controllable according to a user's manipulation or a predefined setting.
  • the photographing unit may perform photographing at a predetermined number of times (e.g., N times, N is a natural number of 1 or more) according to a user's manipulation or a predefined setting, and accordingly, a plurality of images corresponding to each of a plurality of viewpoints Data (that is, the number of image data corresponding to the number of shots) may be obtained (204).
  • the photographing unit may perform photographing at each of the plurality of viewpoints, and specifically, photographing may be performed at a plurality of viewpoints having different light intensities so that the brightness of the plurality of image data to be acquired is different from each other.
  • the photographing unit performs at least one photographing at a point in time when the light intensity increases to acquire the corresponding image data (for example, first image data), and the point at which the light intensity has a high value (i.e., the intensity of light At least one recording is performed at one point in the period during which is slightly changed or approximately maintained) to acquire other image data corresponding thereto (for example, second image data), and at least once at a time when the light intensity decreases Another image data (for example, third image data) corresponding thereto may be obtained by performing the operation.
  • the photographing unit may additionally acquire image data (for example, fourth image data) even after the light emission ends. Acquisition of photographing and image data may be performed while the light emitting unit emits light, and, if necessary, may be performed one or more times before the emission of light is started and/or after the emission of light is terminated.
  • the plurality of image data may be synthesized (206).
  • a productive hostile neural network may be used, and more specifically, a feature synthesis automatic encoder may be used.
  • the synthesis of the plurality of image data may be performed by encoding each image data, then synthesizing the plurality of encoded image data to obtain a synthesis result, and decoding the synthesis result according to an embodiment. .
  • a plurality of encoded image data is obtained by encoding each image data
  • a plurality of decoded image data is obtained by decoding the plurality of encoded image data. After that, it may be performed by synthesizing a plurality of decoded image data.
  • a synthesized image may be obtained according to the synthesis of a plurality of image data (208).
  • the synthesized image may be determined as a final image, and the final image may be stored in a storage unit and/or output to a user or the like through an output unit.
  • the synthesized image obtained by synthesizing the image data may be compared with a reference image (for example, a measured image), and may be determined and classified as a fake image or a measured image according to the comparison result (210).
  • a predetermined learning algorithm for example, a convolutional neural network may be used. The process of determining and classifying the composite image can be omitted.
  • the image capturing method according to the above-described embodiment may be implemented in the form of a program that can be driven by a computer device.
  • the program may include a program command, a data file, a data structure, or the like alone or in combination.
  • the program may be designed and produced using machine code or high-level language code.
  • the program may be specially designed to implement the above-described image capturing method, or may be implemented using various functions or definitions that are known and available to a person skilled in the computer software field.
  • the computer device may be implemented including a processor or a memory that enables the function of a program to be realized, and may further include a communication device if necessary.
  • a program for implementing the above-described method for photographing an image may be recorded in a computer-readable recording medium.
  • the computer-readable recording medium includes, for example, a magnetic disk storage medium such as a hard disk or a floppy disk, a magnetic tape, an optical recording medium such as a compact disk or a DVD, a magnetic-optical recording medium such as a floppy disk, and a ROM.
  • a semiconductor storage device such as RAM or flash memory, etc., may include various types of hardware devices capable of storing a specific program executed according to a call from a computer.
  • the image capturing apparatus and method are not limited to the above-described embodiments.
  • Various devices or methods that can be implemented by modifying and transforming a person having ordinary skill in the art based on the above-described embodiments may also be examples of the above-described image capturing apparatus and method.
  • the described techniques are performed in an order different from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components or Even if it is replaced or replaced by an equivalent, it may be an embodiment of the above-described image capturing apparatus and method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

영상 촬영 장치 및 영상 촬영 방법에 관한 것으로, 영상 촬영 장치는 광을 방출하는 발광부, 상기 발광부가 광을 방출하는 동안 복수 회수로 촬영을 수행하여 복수의 영상 데이터를 획득하는 촬영부 및 상기 복수의 영상 데이터를 합성하여 최종 영상 데이터를 획득하는 영상 처리부를 포함할 수 있다.

Description

영상 촬영 장치 및 방법
본 발명은 영상 촬영 장치 및 방법에 관한 것이다.
과거 카메라 장치는 렌즈를 통해 입사된 가시광선 또는 적외선을 감광 필름 등을 이용하여 영상(정지 영상 또는 동영상)을 획득하였으나, 최근에는 가시광선 또는 적외선을 이미지 센서를 통해 수신한 후, 이미지 센서로부터 출력되는 가시광선 또는 적외선에 대응하는 전기적 신호를 기반으로 영상을 생성한다. 가시광선 등이 충분하지 않은 어두운 환경(저조도 상황)이나 추가적인 광량이 필요한 상황 하에서는 이미지 센서에 입사되는 광량이 상대적으로 부족하기 때문에, 피사체에 대해 우수한 화질의 영상을 획득하기란 쉽지 않다. 따라서, 이와 같이 부족한 광량을 보충하기 위해 종래부터 플래시 라이트(flash light)와 같은 보조 조명이 이용되었다. 그러나, 플래시 라이트를 이용하여 촬영된 영상(flash image)은, 플래시 라이트를 이용하지 않은 영상(ambient, no-flash image)에 비해 색감이 왜곡되거나, 과도한 광량으로 하이라이트가 지나치게 강조되거나 또는 강한 그림자를 야기하기도 하였다. 또한, 플래시 라이트에 의해 레드 아이 아트팩트가 발생하기도 하고 화이트 밸런스가 맞지 않는 경우도 있다. 또한, 플래시 라이트에 의해 발생된 광이 직접 도달한 피사체(즉, 카메라 장치에 인접한 피사체) 이외의 다른 배경은 지나치게 어둡게 촬영되는 문제점도 있었다.
본 발명은 저조도 환경에서도 우수한 품질의 정지 영상 또는 동영상을 획득할 수 있는 영상 촬영 장치 및 방법을 제공하는 것을 해결하고자 하는 과제로 한다.
상술한 과제를 해결하기 위하여 영상 촬영 장치 및 방법이 제공된다.
영상 촬영 장치는 광을 방출하는 발광부, 상기 발광부가 광을 방출하는 동안 복수 회수로 촬영을 수행하여 복수의 영상 데이터를 획득하는 촬영부 및 상기 복수의 영상 데이터를 합성하여 최종 영상 데이터를 획득하는 영상 처리부를 포함할 수 있다.
영상 촬영 방법은 발광부가 광을 방출하는 단계, 상기 발광부가 광을 방출하는 동안 복수 회수로 촬영을 수행하여 복수의 영상 데이터를 획득하는 단계 및 상기 복수의 영상 데이터를 합성하여 최종 영상 데이터를 획득하는 단계를 포함할 수 있다.
상술한 영상 촬영 장치 및 방법에 의하면, 저조도 환경 하에서도 우수한 품질의 정지 영상 또는 동영상을 획득할 수 있는 장점을 얻을 수 있다.
또한, 플래시 촬영 시에 발생될 수 있는 플래시 아티팩트나 저조도 하 촬영에서 발생 가능한 잡음을 개선할 수 있게 되어, 플래시를 사용하는 경우에도 고품질의 영상을 획득할 수 있는 장점도 얻을 수 있다.
또한, 저조도 환경에서도 사용자는 용이하게 편리하게 훌륭한 색감의 영상을 획득할 수 있게 되는 장점도 얻을 수 있다.
또한, 고속카메라와 플래시를 이용하여 의사 다중 노출 영상(pseudo multi-exposure image)을 획득할 수 있게 되는 장점도 얻을 수 있다.
도 1은 영상 촬영 장치의 일 실시예에 대한 블록도이다.
도 2는 발광부의 동작에 따라 외부로 출력되는 광의 강도의 변화를 도시한 그래프이다.
도 3은 발광부의 동작 중 고속 촬영에 의해 획득 가능한 복수의 이미지를 도시한 도면이다.
도 4는 영상 처리부의 동작의 일 실시예를 설명하기 위한 블록도이다.
도 5는 최종 영상의 일 실시예에 대한 도면이다.
도 6은 영상 처리부의 동작의 보다 구체적인 실시예를 설명하기 위한 블록도이다.
도 7은 영상 촬영 방법의 일 실시예에 대한 흐름도이다.
이하 명세서 전체에서 동일 참조 부호는 특별한 사정이 없는 한 동일 구성요소를 지칭한다. 이하에서 사용되는 '부'가 부가된 용어는, 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예에 따라 하나의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 복수의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 하나의 '부'가 복수의 물리적 또는 논리적 부품들로 구현되는 것도 가능하다.
명세서 전체에서 어떤 부분이 다른 부분과 '연결되어 있다'고 할 때, 이는 어떤 부분과 다른 부분에 따라서 물리적 연결을 의미할 수도 있고, 또는 전기적으로 연결된 것을 의미할 수도 있다. 또한, 어떤 부분이 다른 부분을 '포함한다'고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 부분 이외의 또 다른 부분을 제외하는 것이 아니며, 설계자의 선택에 따라서 또 다른 부분을 더 포함할 수 있음을 의미한다.
'제1' 이나 '제2' 등의 용어는 하나의 부분을 다른 부분으로부터 구별하기 위해 사용되는 것으로, 특별한 기재가 없는 이상 이들이 순차적인 표현을 의미하는 것은 아니다. 또한 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.
이하 도 1 내지 도 6을 참조하여 영상 촬영 장치의 일 실시예를 설명하도록 한다.
도 1은 영상 촬영 장치의 일 실시예에 대한 블록도이다.
영상 촬영 장치(100)는 사용자의 조작이나 또는 미리 정의된 설정에 따라 피사체나 배경 등을 촬영하여 촬영에 대응하는 영상(정지영상 또는 동영상을 포함할 수 있다)을 획득할 수 있는 장치를 의미한다. 영상 촬영 장치(100)는, 예를 들어, 카메라 장치, 캠코더 장치(통상 액션 캠이나 웹 캠 등으로 지칭되는 촬영 장치도 포함 가능하다), 스마트 폰, 내비게이션 장치, 셀룰러 폰, 태블릿 피씨, 휴대용 게임기, 스마트 안경, 스마트 시계, 두부 장착형 디스플레이(HMD, Head Mounted Display) 장치, 개인용 디지털 보조기(PDA, Personal Digital Assistant), 디지털 텔레비전, 데스크톱 컴퓨터, 랩톱 컴퓨터, 인공지능 음향 재생 장치 및/또는 이외 플래시 라이트 등을 장착하여 영상의 촬영이 가능한 전자 장치 등을 포함할 수 있다.
도 1에 도시된 바를 참조하면, 영상 촬영 장치(100)는 발광부(105), 촬영부(110), 프로세서(120), 및 저장부(160)를 포함할 수 있으며, 필요에 따라 입력부(191) 및/또는 출력부(192)를 더 포함할 수 있다.
발광부(105)는 소정 세기의 광을 외부로 방출할 수 있도록 마련된다. 구체적으로, 발광부(150)는 대략 촬영부(110)가 촬영할 방향(이하 촬영 방향, 예를 들어, 렌즈(111)가 향하는 방향) 또는 이에 근사한 방향으로 광을 방출할 수 있도록 마련될 수 있다. 그러나, 실시예에 따라서, 발광부(150)는 촬영 방향과 소정의 각도를 이루는 방향으로 광을 방출하도록 마련될 수도 있다. 발광부(150)가 광을 방출하는 대체적인 방향은 영상 촬영 장치(100)의 종류에 따라 사용자의 조작에 따라서 조절 가능할 수도 있고 또는 조절 불가능할 수도 있다. 발광부(105)의 광원으로는 발광 다이오드(LED, Light Emitting Diode)나 제논 램프 등이 이용 가능하나 이에 한정되는 건 아니다.
일 실시예에 의하면, 발광부(105)는 프로세서(120)의 제어부(121)의 제어에 따라 광을 방출할 수 있다. 제어부(121)는 사용자의 조작에 따라 또는 미리 정의된 설정에 따라서 촬영부(110)에 촬영을 위한 제어 신호를 전송하면서 이와 동시에 또는 순차적으로 발광부(105)에도 발광을 위한 제어 신호를 전송할 수 있다. 발광부(105)는 제어부(121)로부터 제어 신호를 수신하면 이에 응하여 동작을 개시하여 발광하게 된다. 실시예에 따라서, 발광부(105)는 상이한 세기의 광을 방출할 수도 있다. 예를 들어, 제어부(121)로부터 전달된 제어 신호에 따라서, 발광부(105)는 상대적으로 약한 세기의 광을 출력할 수도 있고 또는 상대적으로 강한 세기의 광을 출력할 수도 있다.
도 2는 발광부의 동작에 따라 외부로 출력되는 광의 강도의 변화를 도시한 그래프로, 설명의 편의를 위해 대략적으로 도시한 것이다.
도 2에 도시된 바를 참조하면, 발광부(105)로부터 출력되는 광의 세기는 발광부(105)가 동작을 개시하는 시점(t0)으로부터 어느 정도의 기간(p1, 이하 제1 기간) 동안에는 점차로 증가하다가, 상대적으로 강한 세기의 광을 출력하다가(p2, 이하 제2 기간), 다시 감소하고 최종적으로 발광을 종료하게 된다(p3, 이하 제3 기간). 제2 기간 동안에는 광의 세기는 대체적으로 일정하게 유지될 수도 있고, 또는 상대적으로 완만하게 증감할 수도 있다. 일 실시예에 의하면, 발광부(105)는 광의 세기가 증가하는 제1 기간(p1), 어느 정도 이상의 세기로 광이 방출되는 제2 기간(p2) 및 광의 세기가 감소하는 제3 기간(p3) 중 적어도 하나의 기간의 길이, 그 기간(p1 내지 p3) 내에서의 광의 세기 또는 광의 세기의 변화량 등을 조절 가능하도록 마련된 것일 수도 있다. 예를 들어, 제어부(121)의 제어에 따라 발광부(105)가 출력하는 광의 세기는 제1 기간(p1) 동안 상대적으로 더 빠르게 또는 더 느리게 증가할 수도 있고, 및/또는 제2 기간(p2) 동안 상대적으로 더 오래 또는 더 짧게 유지될 수도 있다. 또한, 광의 세기는 제3 기간(p3) 동안 상대적으로 더 빠르게 또는 더 느리게 감소할 수도 있다. 다른 실시예에 의하면, 발광부(105)는 상술한 기간(p1 내지 p3) 또는 기간(p1 내지 p3) 내의 광의 세기의 조절이 불가능한 것일 수도 있다.
촬영부(110)는 입사된 광을 수신하고 수신한 광에 대응하는 전기적 신호를 생성 및 출력 가능하도록 마련된 것일 수 있다. 촬영부(110)는 예를 들어 렌즈(111) 및 이미지 센서(112)를 포함할 수 있다. 렌즈(111)는 입사된 가시광선 또는 적외선을 집속하여 이미지 센서(112)로 전달하고, 이미지 센서(112)는 입사된 광에 대응하는 전기적 신호(이하 영상 데이터)를 획득할 수 있다. 이미지 센서(112)가 획득한 영상 데이터는, 즉시 또는 일정한 시간이 경과된 이후 프로세서(120)의 영상 처리부(130)로 전달될 수 있다. 실시예에 따라서, 이미지 센서(112)가 획득한 영상 데이터의 전부 또는 일부는 영상 처리부(130)로 전달되지 않고 폐기될 수도 있다. 이미지 센서는, 예를 들어, 전하결합소자(CCD, Charge-Coupled Device) 또는 상보성 금속 산화막 반도체(CMOS, Complementary Metal-Oxide-Semiconductor) 등을 이용하여 구현될 수 있으나, 이에 한정되는 것은 아니다. 이외에도 촬영부(110)는 셔터나 조리개 등의 장치를 더 포함할 수도 있다.
촬영부(110)는 복수 회수로 촬영을 수행하여 복수의 촬영 각각에 대응하는 복수의 영상 데이터, 일례로 제1 영상 데이터 내지 제N 영상 데이터(10-1 내지 10-N, N은 1 이상의 자연수)를 획득할 수도 있다. 또한, 촬영부(110)는 빠른 셔터 스피드로 촬영을 수행하여 고속 촬영을 수행할 수도 있다. 예를 들어, 촬영부(110)는 1/24초 보다 더 짧은 시간 동안 셔터를 개방한 후, 셔터가 개방된 시간 동안에 입사된 광을 기반으로 영상 데이터를 획득할 수도 있다.
도 3은 발광부의 동작 중 고속 촬영에 의해 획득 가능한 복수의 이미지를 도시한 도면이다.
일 실시예에 의하면, 촬영부(110)는, 도 2 및 도 3에 도시된 바와 같이, 발광부(105)가 발광하는 동안 일 회 이상 촬영을 수행하여, 촬영에 대응하는 하나 이상의 영상 데이터(10-1 내지 10-N)를 획득할 수도 있다.
예를 들어, 촬영부(110)는 발광부(105)가 발광하는 기간(p1 내지 p3) 동안 4회 촬영을 수행할 수 있으며, 이에 대응하여 4개의 영상 데이터(이하 제1 영상 데이터(10-1), 제2 영상 데이터(10-2), 제3 영상 데이터(10-3) 및 제4 영상 데이터(10-4))를 획득할 수 있다. 보다 구체적으로는 촬영부(110)는 발광 기간(p1 내지 p3) 내의 적어도 하나의 시점, 일례로 제1 내지 제4 시점(t1 내지 t4)에 촬영을 수행함으로써 각 시점(t1 내지 t4)에 대응하는 제1 내지 제4 영상 데이터(10-1 내지 10-4)를 획득할 수 있다. 일 실시예에 의하면, 촬영이 수행된 모든 시점, 즉 제1 내지 제4 시점(t1 내지 t4)은 발광부(105)가 발광하는 기간 내의 시점만을 포함할 수도 있다. 다른 일 실시예에 의하면, 제1 내지 제4 시점(t1 내지 t4) 중 적어도 하나의 시점은 발광부(105)가 발광 개시하기 전의 시점 및 발광부(105)가 발광을 종료한 이후의 시점 중 적어도 하나를 포함할 수도 있다. 이 경우 발광부(105)가 발광 개시하기 전의 시점은 발광 개시 직전의 시점을 포함하고 및/또는 발광부(105)가 발광을 종료한 이후의 시점은 발광 종료 직후의 시점을 포함할 수도 있다.
이미지 센서(112)는 촬영 당시의 주변의 광량이나 발광부(105)의 광의 세기에 따라서 서로 상이한 영상 데이터(10-1 내지 10-4)를 획득하게 될 수도 있다. 즉, 만약 각각의 영상 데이터(10-1 내지 10-4)로부터 영상(10-1a 내지 10-4a)을 획득하는 경우, 획득 가능한 영상(10-1a 내지 10-4a)은 도 3에 도시된 바와 같이 서로 상이할 수 있다. 예를 들어 각 영상(10-1a 내지 10-4a)의 밝기, 하이라이트 또는 노출 등이 상이할 수 있다. 보다 상세하게 예를 들어, 도 2 및 도 3에 도시된 바를 참조하면, 제1 기간(p1)에 속한 제1 시점(t1)에 제1 영상 데이터(10-1)가 획득될 수 있으며, 제1 영상 데이터(10-1)에 대응하는 영상(10-1a)은 발광부(105)가 발광하지 않은 경우보다 밝게 나타나나 제2 기간(p2)에 획득된 제2 영상 데이터(10-2)에 대응하는 영상(10-2a) 보다는 어둡게 나타난다. 제2 기간(p2)의 제2 시점(t2)에서 획득된 제2 영상 데이터(10-2)에 대응하는 영상(10-2a)은 피사체에 하이라이트가 강조되는 등 가장 밝게 나타날 수 있다. 광의 세기가 감소하는 제3 기간(p3)의 제3 시점(t3)에서 획득된 제3 영상 데이터(10-3)에 대응하는 영상(10-3a)은 제2 영상 데이터(10-2)에 대응하는 영상(10-2a)에 비해 더 어둡게 나타날 수 있다. 또한, 발광이 거의 종료된 제4 시점(t4)에 획득된 제4 영상 데이터(10-4)에 대응하는 영상(10-4a)은 영상(10-1a 내지 10-3b) 중에서 가장 어둡게 나타나게 될 수 있다. 물론, 이는 예시적인 것이며, 촬영 시점(t1 내지 t4)에 따라서 획득된 영상 데이터(10-1 내지 10-4)에 대응하는 영상(10-1a 내지 10-4a)는 이와 상이할 수도 있다.
실시예에 따라서, 촬영부(110)는 서로 상이한 복수의 영상(10-1 내지 10-4)만을 획득하기 위해, 어느 하나의 기간(p1 내지 p3 중 어느 하나) 내에서는 오직 하나의 촬영만을 수행하도록 마련된 것일 수도 있다. 예를 들어, 촬영부(110)는 발광부(105)가 가장 강한 광을 방출하는 기간(p2) 동안에는, 오직 일 회 촬영하여 오직 하나의 영상 데이터, 일례로 제2 영상 데이터(10-2)만을 획득할 수도 있다. 또한, 촬영부(110)는 어느 하나의 기간(p1 내지 p3 중 어느 하나) 내에 복수 회수의 촬영을 수행함으로써 서로 상이한 복수의 영상(10-1 내지 10-4)만을 획득하도록 마련되는 것도 가능하다. 예를 들어, 촬영부(110)는 발광부(105)의 광의 세기가 증가 또는 감소하는 기간(p1, p3) 중 적어도 하나의 기간 동안 이 회 이상의 촬영을 수행함으로써 하나의 기간(p1, p3)에 대응하는 복수의 영상 데이터, 일례로 복수의 제1 영상 데이터(10-1)나 복수의 제3 영상 데이터(10-3)를 획득하는 것도 가능하다.
이와 같이 발광부(105)의 동작에 따라 촬영부(110)가 밝기 등이 서로 상이한 복수의 영상 데이터를 획득하는 것은 다중 노출을 통해 복수의 영상 데이터를 획득하는 것과 실질적으로 유사한 효과를 보이게 된다. 다시 말해서, 의사 다중 노출 영상의 촬영이 가능하게 된다.
프로세서(120)는 영상 촬영과 관련된 동작을 제어하거나 및/또는 촬영부(110)가 획득한 영상 데이터(10-1 내지 10-4)에 대한 영상 처리를 수행할 수 있다. 이외에도 프로세서(120)는 영상 촬영 장치(100)의 동작에 필요한 다양한 연산 처리 및/또는 제어 등의 동작을 수행할 수도 있다. 프로세서(120)는 저장부(160)에 저장된 애플리케이션(앱, 프로그램 또는 소프트웨어 등으로 표현 가능함)을 구동시켜, 제어 동작이나 영상 처리 동작 등을 수행할 수도 있다. 여기서, 저장부(160)에 저장된 애플리케이션은, 설계자에 의해 직접 작성 및 입력되어 저장부(160)에 저장된 것일 수도 있고, 또는 유선 또는 무선 통신 네트워크를 통해 접속 가능한 전자 소프트웨어 유통망을 통하여 획득 또는 갱신된 것일 수도 있다.
제어부(121)는 발광부(105), 촬영부(110), 영상 처리부(130) 또는 출력부(192) 등을 제어하여, 발광부(105)가 미리 정의된 세기의 일정하거나 또는 변화하는 광을 출력하게 하거나, 촬영부(110)가 영상 데이터(10-1 내지 10-4)를 수집하게 하거나, 영상 처리부(130)가 영상 데이터(10-1 내지 10-4)를 이용하여 최종 영상(20)을 획득하게 하거나 또는 출력부(192)가 각각의 영상 데이터(10-1 내지 10-4)에 대응하는 영상(10-1a 내지 10-4a) 및/또는 최종 영상(20) 등을 출력하도록 할 수 있다.
도 4는 영상 처리부의 동작의 일 실시예를 설명하기 위한 블록도이고, 도 5는 최종 영상의 일 실시예에 대한 도면이다.
영상 처리부(130)는 이미지 센서(112)로부터 직접 또는 간접적으로 영상 데이터(10-1 내지 10-4)를 수신하고, 수신한 영상 데이터(10-1 내지 10-4)를 이용하여 최종 영상(20)을 생성할 수 있다. 보다 구체적으로, 영상 처리부(130)는, 도 4에 도시된 바와 같이, 복수의 영상 데이터(10-1 내지 10-4)를 합성함으로써 최종 영상 데이터(20)를 획득할 수 있다.
예를 들어, 발광부(105)가 발광하는 기간 동안, 복수의 영상 데이터, 일례로 제1 내지 제4 영상 데이터(10-1 내지 10-4)가 이미지 센서(112)에 의해 획득될 수 있다. 구체적으로는 발광부(105)가 발광하는 기간 또는 이에 근사한 기간 내의 제1 내지 제4 시점(t1 내지 t4) 각각마다 촬영이 수행되고, 이에 따라 제1 내지 제4 시점(t1 내지 t4) 각각에 대응하는 제1 내지 제4 영상 데이터(10-1 내지 10-4)가 획득될 수 있다. 영상 처리부(130)는 이와 같이 획득된 제1 내지 제4 시점(t1 내지 t4) 각각에 대응하는 제1 내지 제4 영상 데이터(10-1 내지 10-4)를 이미지 센서(112)로부터 수신하고, 제1 내지 제4 영상 데이터(10-1 내지 10-4)를 합성함으로써, 도 5에 도시된 바와 같은 최종 영상(20)을 획득할 수 있다.
일 실시예에 의하면, 영상 처리부(130)는 복수의 영상 데이터(10-1 내지 10-4)를 합성하고 합성 결과에 따라 최종 영상(20)을 출력하는 합성부(133)를 포함할 수 있다. 합성부(133)는, 실시예에 따라, 제1 내지 제4 영상 데이터(10-1 내지 10-4) 모두를 이용하여 합성을 수행할 수도 있고, 또는 제1 내지 제4 영상 데이터(10-1 내지 10-4) 중 일부만을 이용하여 합성을 수행할 수도 있다. 또한 합성부(133)는 제1 내지 제4 영상 데이터(10-1 내지 10-4)에 각각 상이한 가중치를 부여하여 합성할 수도 있고, 또는 제1 내지 제4 영상 데이터(10-1 내지 10-4)를 동등하게 합성할 수도 있다. 실시예에 따라, 합성부(133)의 합성 이전에 각각의 영상 데이터(10-1 내지 10-4)에 대한 적어도 하나의 변환 처리가 더 수행될 수도 있고, 또한 합성부(133)에 의해 합성된 데이터에 대해 적어도 하나의 변환 처리가 더 수행될 수도 있다. 합성부(133)는, 예를 들어, 생산적 적대 신경망(GAN, Generative Adversarial Networks)을 이용하여 영상 합성을 수행할 수도 있다. 이에 대한 상세한 내용은 후술하도록 한다.
제어부(121) 및 영상 처리부(130)는 각각 물리적으로 분리된 복수의 정보 처리 장치를 이용하여 구현될 수도 있고, 또는 하나의 정보 처리 장치를 이용하여 구현될 수도 있다. 여기서, 정보 처리 장치는, 예를 들어, 중앙 처리 장치(CPU, Central Processing Unit), 마이크로 컨트롤러 유닛(MCU, Micro Controller Unit), 마이컴(Micom, Micro Processor), 애플리케이션 프로세서(AP, Application Processor), 전자 제어 유닛(ECU, Electronic Controlling Unit) 및/또는 각종 연산 처리 및 제어 신호의 생성이 가능한 다른 정보 처리 장치를 포함 가능하다.
저장부(160)는 영상 촬영 장치(100)의 동작에 필요하거나 및/또는 영상 촬영 장치(100)가 획득한 데이터나 애플리케이션 등을 일시적으로 또는 비일시적으로 저장할 수 있다. 예를 들어, 저장부(160)는, 이미지 센서(112)가 출력한 제1 영상 데이터 내지 제N 영상 데이터(10-1 내지 10-N)를 일시적으로 또는 비일시적으로 저장하고, 호출에 따라서 저장한 영상 데이터(10-1 내지 10-N)를 영상 처리부(130)로 전달할 수도 있다. 또한, 저장부(160)는 영상처리부(130)가 생성한 최종 영상(20)을 저장할 수도 있다. 이외에도 저장부(160)는, 발광 과정에서의 영상 촬영 및 영상 합성을 위해 설계된 애플리케이션이나, 발광부(105)의 동작에 대한 정보나, 출력부(192)를 통해 출력될 정보 등도 저장 가능하다. 저장부(160)는, 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있다. 주기억장치는 롬(ROM) 및/또는 램(RAM)과 같은 반도체 저장 매체를 이용하여 구현된 것일 수 있다. 보조기억장치는, 플래시 메모리 장치, SD(Secure Digital) 카드, 솔리드 스테이트 드라이브(SSD, Solid State Drive), 하드 디스크 드라이브(HDD, Hard Disc Drive), 자기 드럼, 컴팩트 디스크(CD), 디브이디(DVD) 또는 레이저 디스크 등과 같은 광 기록 매체(optical media), 자기 테이프, 광자기 디스크 및/또는 플로피 디스크 등과 같이 데이터를 영구적 또는 반영구적으로 저장 가능한 적어도 하나의 저장 매체를 이용하여 구현될 수 있다.
입력부(191)는 사용자로부터 지시/명령을 수신하고 지시/명령에 대응하는 전기적 신호를 프로세서(120)로 전달할 수 있다. 예를 들어, 입력부(191)는 발광 과정에서의 영상 촬영 및 영상 합성 과정의 수행에 대한 지시를 수신할 수도 있고, 영상 촬영에 대한 지시를 수신할 수도 있으며, 및/또는 최종 영상(20)의 표시에 대한 지시를 수신할 수도 있다. 이외에도 입력부(191)는 영상 처리부(130)의 처리 과정에서 이용되는 각종 설정의 변경이나 확정을 위한 데이터나 지시를 입력 받을 수도 있다. 입력부(191)는, 예를 들어, 터치센서, 터치스크린, 키보드 장치, 마우스 장치, 물리 버튼, 노브 및/또는 트랙볼 등을 이용하여 구현 가능하다.
출력부(192)는 시각적 또는 청각적으로 데이터 등을 외부로 출력할 수 있다. 예를 들어, 출력부(192)는 최종 영상(20), 영상 데이터(10-1 내지 10-N) 및/또는 설정을 위한 메뉴 화면 등을 출력할 수 있다. 출력부(192)는 디스플레이나 스피커 장치 등을 통해 구현 가능하다.
이하 영상 처리부(130)의 동작의 일 실시예에 대해 보다 구체적으로 설명한다.
도 6은 영상 처리부의 동작의 보다 구체적인 실시예를 설명하기 위한 블록도로, 생산적 적대 신경망을 기반으로 영상 처리를 하는 일 실시예를 설명하기 위한 것이다.
일 실시예에 의하면, 영상 처리부(130)는, 도 6에 도시된 바와 같이, 생산적 적대 신경망을 이용하여 제1 내지 제4 영상 데이터(10-1 내지 10-4)로부터 참조 영상(12)과 동일하거나 근사한 합성 영상(17)을 획득할 수도 있다. 이 경우, 영상 처리부(130)는 합성 영상(17)의 획득을 위해 특징 합성 자동 인코더(FFAE, Feature Fusion Auto-Encoder)를 채용할 수도 있다. 참조 영상(12)은 비교 대상으로 이용 가능한 실제적이거나 또는 이상적인 영상 등을 의미한다. 예를 들어, 참조 영상(12)은 실제 촬영에 따라 획득될 수 있는 실측 영상(ground truth)을 포함할 수 있다. 참조 영상(12)은 제1 내지 제4 영상 데이터(10-1 내지 10-4)의 촬영 과정에서 촬영을 통해 획득된 것일 수도 있으며, 및/또는 영상 촬영 장치(100) 또는 다른 촬영 장치 등에 의해 촬영된 후 영상 처리부(130)로 전달되는 것일 수도 있다. 참조 영상(12) 역시 저장부(160)에 저장 가능하다.
상술한 바와 같이, 제1 내지 제4 영상 데이터(10-1 내지 10-4)가 주어지면, 영상 처리부(130)는 제1 내지 제4 영상 데이터(10-1 내지 10-4) 내의 모든 또는 적어도 하나의 구조적 구성과 텍스처 디테일을 포함하는 합성 영상(17)을 생성할 수 있다. 이 경우, 참조 영상(12)의 존재 덕분에 입력 영상 데이터(10-1 내지 10-4)와 원하는 영상 사이의 매핑(mapping)은 지정된 일례들로부터 학습될 수 있다. 예를 들어, 영상 데이터(10-1 내지 10-4), 합성 영상(17) 및 참조 영상(12) 사이의 관계는 하기의 수학식 1과 같이 표현 가능하다.
Figure PCTKR2020009610-appb-img-000001
수학식 1에서
Figure PCTKR2020009610-appb-img-000002
는 매핑 알고리즘을 의미하고,
Figure PCTKR2020009610-appb-img-000003
는 촬영된 영상 데이터(10-1 내지 10-4)를,
Figure PCTKR2020009610-appb-img-000004
는 합성 영상을,
Figure PCTKR2020009610-appb-img-000005
는 참조 영상을 의미한다. 수학식 1에 도시된 매핑 알고리즘은 영상 데이터(10-1 내지 10-4)의 합성 결과(즉, 합성 영상(7))가 참조 영상(12)과 동일하거나 유사하도록 소정의 학습 알고리즘을 통해 학습될 수 있다.
일 실시예에 따르면, 영상 처리부(130)는 생성부(131) 및 판정부(135)를 포함할 수 있으며, 생성부(131) 및 판정부(135)에 따라서 이와 같은 학습 알고리즘을 처리할 수도 있다. 실시예에 따라서, 판정부(135)는 생략 가능하다.
생성부(131)는 인코딩 과정의 처리를 위한 인코더(132: 132-1 내지 132-4)를 포함할 수 있다. 인코더(132)는 영상 데이터(10-1 내지 10-4)를 수신하고 수신한 영상 데이터(10-1 내지 10-4)를 인코딩하여, 수신한 영상 데이터(10-1 내지 10-4)에 대응하는 내부 표현, 즉 인코딩된 영상 데이터를 획득하여 출력할 수 있다. 인코더(132)는 인코딩 과정에서 적어도 하나의 영상 데이터(10-1 내지 10-4)로부터 영상 매개변수의 불변값, 예를 들어 잠재적 특징(일례로 특징점) 또는 장면 표현 등을 추출하도록 설계된 것일 수 있으며, 보다 구체적으로는 분산된 구조 및 텍스처 디테일을 추출하도록 설계될 수 있다. 인코더(132)는 복수의 영상 데이터(10-1 내지 10-4) 각각에 대응하여 마련될 수도 있고, 또는 순차적으로 복수의 영상 데이터(10-1 내지 10-4)를 입력 받고, 순차적으로 복수의 인코딩된 영상 데이터를 출력하도록 마련될 수도 있다. 인코더(132)는, 예를 들어, 오토 인코더(Auto encoder)를 포함할 수 있으며, 보다 구체적으로는 스킵 연결(skip connection) 방식을 이용하는 콘볼루션 자동 인코더(convolution auto encoder)를 포함할 수 있다.
또한, 생성부(131)는 데이터의 합성을 위한 합성부(133)를 더 포함할 수도 있다. 일 실시예에 따르면, 합성부(133)는, 도 6에 도시된 바와 같이 적어도 하나의 인코딩된 영상 데이터를 합성하고, 이에 따른 합성 결과를 출력하여 디코더(134)로 전달할 수도 있다. 다른 실시예에 의하면, 합성부(133)는, 도 6에 도시된 바와는 상이하게, 적어도 하나의 디코딩된 영상(즉, 디코더(134)가 복수의 인코딩된 영상 데이터를 디코딩하여 획득한 영상)을 합성하여 합성 결과, 일례로 합성 영상(17)을 출력할 수도 있다.
합성부(133)의 합성 결과는 잠재적 특성, 예를 들어 장면 묘사 등을 보여줄 수 있다. 실시예에 따라서, 합성부(133)는 가중치를 더 이용할 수도 있으며, 예를 들어, 신경망 내의 매개 변수의 개수 감소를 위해 가중치 공유(weight sharing)나 연결된 가중치(tied weight) 등을 이용할 수도 있다.
생성부(131)는 디코더(134)를 더 포함할 수 있다. 디코더(134)는 인코더(131)에 의해 추출된 잠재적 특성이나 장면 표현 등을 디코딩하여 합성 영상(17)을 획득할 수 있도록 마련된다. 이 경우, 합성 영상(17)는 고 다이나믹 레인지(HDR, High Dynamic Range) 영상일 수도 있다. 일 실시예에 의하면, 디코더(134)는 도 6에 도시된 바와 같이 합성부(133)의 합성 결과를 수신하고, 합성 결과를 디코딩하여 디코딩된 결과 영상, 즉 합성 영상(17)을 획득 및 출력할 수도 있다. 다른 실시예에 의하면, 도 6에 도시된 바와는 상이하게 적어도 하나의 인코딩된 영상 데이터를 디코딩한 후, 이에 대응하여 적어도 하나의 디코딩된 영상을 획득하고, 획득한 적어도 하나의 디코딩된 영상을 합성부(133)로 전달할 수도 있다.
생성부(131)의 처리 결과에 따라 합성 영상(17)이 획득될 수 있으며, 합성 영상(17)은 결과 영상(20)으로 결정되어 외부로 출력될 수 있다.
일 실시예에 의하면, 합성 영상(17)은 판정부(135)로 입력될 수도 있다. 판정부(135)는 입력된 합성 영상(17)이 합성에 의한 페이크 영상인지 또는 실측 영상인지 여부를 판단 및 판정하고, 필요에 따라 합성 영상(17)을 분류할 수 있다. 일 실시예에 의하면, 판정부(135)는 적어도 하나의 학습 알고리즘을 이용하여 합성 영상(17)이 페이크 영상인지 또는 실측 영상인지 여부를 판단할 수도 있다. 학습 알고리즘은, 예를 들어, 심층 신경망(DNN), 콘볼루션 신경망(CNN), 순환 신경망(RNN), 콘볼루션 순환 신경망(CRNN), 다층 퍼셉트론(MLN), 심층 신뢰 신경망(DBN), 심층 Q-네트워크(Deep Q-Networks) 및/또는 이외에 학습을 위해 설계된 적어도 하나의 알고리즘 등을 포함할 수 있다.
이하 생성부(131) 및 판정부(135)의 동작을 수학식을 기반으로 설명하도록 한다.
생성부(131)에 대한 손실 함수(loss function)는, 하기의 수학식 2와 같이 평균 제곱 오차(MSE, Mean Square Error), 지각적 손실(perceptual loss) 및 적대적 손실(adversarial loss)를 포함할 수 있다.
Figure PCTKR2020009610-appb-img-000006
여기서
Figure PCTKR2020009610-appb-img-000007
은 손실 함수이고,
Figure PCTKR2020009610-appb-img-000008
는 평균제곱오차이다.
Figure PCTKR2020009610-appb-img-000009
는 VGG 손실을,
Figure PCTKR2020009610-appb-img-000010
는 적대적 손실을 의미한다.
Figure PCTKR2020009610-appb-img-000011
는 적대적 손실에 부가되는 가중치를 의미한다. 여기서, 평균제곱오차 부분은, 하기의 수학식 3과 같이, 합성 결과(즉, 합성 영상(17)) 및 실측 영상(12) 사이의 차이를 수치적으로 나타낸다.
Figure PCTKR2020009610-appb-img-000012
수학식 3에서
Figure PCTKR2020009610-appb-img-000013
는 매핑 알고리즘을 의미하고,
Figure PCTKR2020009610-appb-img-000014
는 촬영된 영상 데이터(10-1 내지 10-4)를
Figure PCTKR2020009610-appb-img-000015
는 참조 영상을 의미한다.
VGG 손실은 VGG 신경망의 지각적 손실을 의미하며, 구체적으로는, 하기의 수학식 4에 기재된 바와 같이, 특징 도메인(feature domain) 내에서의 합성 영상(17) 및 실측 영상(12) 사이의 지각적 차이를 나타낸다. 이와 같은 지각적 차이는 기 훈련된 VGG 신경망에 의해 추출된 것일 수 있다.
Figure PCTKR2020009610-appb-img-000016
수학식 4에서
Figure PCTKR2020009610-appb-img-000017
는 네 번째 콘볼루션 층에 대해 VGG로 추출된 특징 맵이다.
또한, 적대적 손실은 하기의 수학식 5에 기재된 바와 같이, 합성 결과(17)가 실측 영상(12)과 상이하지 않음을 확인하기 위한 것이다.
Figure PCTKR2020009610-appb-img-000018
여기서,
Figure PCTKR2020009610-appb-img-000019
는 판정부(135)의 가중치이고,
Figure PCTKR2020009610-appb-img-000020
는 생성부(131)의 가중치이다.
Figure PCTKR2020009610-appb-img-000021
및
Figure PCTKR2020009610-appb-img-000022
는 각각 학습 데이터 셋 내에서 실측 영상(12) 및 획득된 영상 데이터(들)(10-1 내지 10-N)의 분포를 의미한다.
한편, 판정부(135)는 하기의 수학식 6에 도시된 바와 같이 생산적 적대 신경망 판정 손실에 의해 학습될 수 있다.
Figure PCTKR2020009610-appb-img-000023
이하 도 7을 참조하여 영상 촬영 방법의 일 실시예를 설명한다.
도 7은 영상 촬영 방법의 일 실시예에 대한 흐름도이다.
도 7에 도시된 바에 의하면, 사용자의 입력부 조작에 따라 또는 미리 정의된 설정에 따라서 영상 촬영 장치에 촬영 명령이 입력된다(200).
촬영 명령이 입력되면, 이에 응하여 발광부는 발광을 개시하여 광을 방출한다. 발광부의 동작 개시와 동시에 또는 순차적으로 촬영부는 촬영 동작을 개시할 수 있다(202). 발광부는 촬영부의 촬영에 따라서 또는 촬영부의 촬영과 무관하게 광을 방출한 후 광의 방출을 종료한다. 이 경우, 발광부에 의해 방출되는 광의 세기는 변화할 수 있다. 예를 들어, 광의 세기는 초반엔 급격히 또는 점진적으로 증가한 이후에는 완만하게 증가 및 감소하거나 또는 대체적으로 일정하게 유지될 수 있다. 또한, 광의 세기는 완만한 증감 또는 유지 이후에는 급격히 또는 점진적으로 감소할 수도 있다. 실시예에 따라서, 사용자의 조작 또는 미리 정의된 설정에 따라 광의 세기의 변화는 제어 가능할 수도 있다.
촬영부는 사용자의 조작이나 미리 정의된 설정에 따라서 소정의 촬영 회수(예를 들어, N회, N은 1 이상의 자연수)로 촬영을 수행할 수 있으며, 이에 따라 복수의 시점 각각에 대응하는 복수의 영상 데이터(다시 말해서, 촬영 회수에 대응하는 개수의 영상 데이터)가 획득될 수 있다(204). 이 경우, 촬영부는 복수의 시점 각각마다 촬영을 수행할 수 있으며, 구체적으로는 획득될 복수의 영상 데이터의 밝기가 서로 상이하도록 광의 세기가 서로 상이한 복수의 시점에 촬영을 수행할 수도 있다. 예를 들어, 촬영부는 광의 세기가 증가하는 시점에서 적어도 일 회 촬영을 수행하여 이에 대응하는 영상 데이터(일례로 제1 영상 데이터)를 획득하고, 광의 세기가 높은 값을 갖는 시점(즉, 광의 세기가 완만하게 변화하거나 대략 유지되는 기간의 일 시점)에서 적어도 일 회 촬영을 수행하여 이에 대응하는 다른 영상 데이터(일례로 제2 영상 데이터)를 획득하며, 광의 세기가 감소하는 시점에서 적어도 일 회 촬영을 수행하여 이에 대응하는 또 다른 영상 데이터(일례로 제3 영상 데이터)를 획득할 수도 있다. 뿐만 아니라, 촬영부는 상술한 바와 같이 발광이 종료된 이후에도 추가적으로 영상 데이터(일례로 제4 영상 데이터)를 더 획득할 수도 있다. 촬영 및 영상 데이터의 획득은 발광부가 광을 방출하는 동안 수행될 수 있고, 필요에 따라 광의 방출이 개시되기 전 및/또는 광의 방출이 종료된 이후에 일 회 이상 더 수행될 수도 있다.
복수 회수의 촬영에 따라 복수의 영상 데이터가 획득되면, 복수의 영상 데이터의 합성이 수행될 수 있다(206). 복수의 영상 데이터의 합성은, 예를 들어, 생산적 적대 신경망을 이용할 수도 있으며, 보다 구체적으로는 특징 합성 자동 인코더를 이용할 수도 있다. 이 경우, 복수의 영상 데이터의 합성은, 일 실시예에 의하면, 각각의 영상 데이터를 인코딩한 후, 복수의 인코딩된 영상 데이터를 합성하여 합성 결과를 획득하고, 합성 결과를 디코딩함으로써 수행될 수도 있다. 또한, 다른 실시예에 의하면, 복수의 영상 데이터의 합성은, 각각의 영상 데이터를 인코딩하여 복수의 인코딩된 영상 데이터를 획득하고, 복수의 인코딩된 영상 데이터를 디코딩하여 복수의 디코딩된 영상 데이터를 획득한 후, 복수의 디코딩된 영상 데이터를 합성함으로써 수행될 수도 있다.
복수의 영상 데이터의 합성에 따라 합성 영상이 획득될 수 있다(208). 합성 영상은, 최종 영상으로 결정될 수 있으며, 최종 영상은 저장부에 저장되거나 및/또는 출력부를 통해 사용자 등에게 출력될 수 있다.
실시예에 따라선, 영상 데이터의 합성에 따라 획득된 합성 영상은 참조 영상(일례로 실측 영상)과 비교될 수 있으며, 비교 결과에 따라서 페이크 영상으로 또는 실측 영상으로 판정 및 분류될 수도 있다(210). 합성 영상의 판정 및 분류를 위해 소정의 학습 알고리즘, 예를 들어, 콘볼루션 신경망 등이 이용될 수도 있다. 합성 영상의 판정 및 분류 과정은 생략 가능하다.
상술한 실시예에 따른 영상 촬영 방법은, 컴퓨터 장치에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다. 여기서 프로그램은, 프로그램 명령, 데이터 파일 및 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 프로그램은 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 영상 촬영 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다. 또한, 여기서, 컴퓨터 장치는, 프로그램의 기능을 실현 가능하게 하는 프로세서나 메모리 등을 포함하여 구현된 것일 수 있으며, 필요에 따라 통신 장치를 더 포함할 수도 있다.
상술한 영상 촬영 방법을 구현하기 위한 프로그램은, 컴퓨터에 의해 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터에 의해 판독 가능한 기록 매체는, 예를 들어, 하드 디스크나 플로피 디스크와 같은 자기 디스크 저장 매체, 자기 테이프, 콤팩트 디스크나 디브이디와 같은 광 기록 매체, 플롭티컬 디스크와 같은 자기-광 기록 매체 및 롬, 램 또는 플래시 메모리 등과 같은 반도체 저장 장치 등 컴퓨터 등의 호출에 따라 실행되는 특정 프로그램을 저장 가능한 다양한 종류의 하드웨어 장치를 포함할 수 있다.
이상 영상 촬영 장치 및 방법의 여러 실시예에 대해 설명하였으나, 영상 촬영 장치 및 방법은 오직 상술한 실시예에 한정되는 것은 아니다. 해당 기술 분야에서 통상의 지식을 가진 자가 상술한 실시예를 기초로 수정 및 변형하여 구현 가능한 다양한 장치나 방법 역시 상술한 영상 촬영 장치 및 방법의 일례가 될 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나 다른 구성 요소 또는 균등물에 의하여 대치되거나 또는 치환되더라도 상술한 영상 촬영 장치 및 방법의 일 실시예가 될 수 있다.

Claims (12)

  1. 광을 방출하는 발광부;
    상기 발광부가 광을 방출하는 동안 복수 회수로 촬영을 수행하여 복수의 영상 데이터를 획득하는 촬영부; 및
    상기 복수의 영상 데이터를 합성하여 최종 영상 데이터를 획득하는 영상 처리부;를 포함하는 영상 촬영 장치.
  2. 제1항에 있어서,
    상기 복수의 영상 데이터 중 적어도 두 개의 영상 데이터는, 상기 발광부에서 방출된 광의 세기가 서로 상이한 시점에 획득된 것인 영상 촬영 장치.
  3. 제1항에 있어서
    상기 발광부는, 제어에 따라 광의 세기가 변경 가능한 영상 촬영 장치.
  4. 제1항에 있어서,
    상기 영상 처리부는, 복수의 영상 데이터 각각을 인코딩하여 복수의 인코딩된 영상 데이터를 획득하는 영상 촬영 장치.
  5. 제4항에 있어서,
    상기 영상 처리부는,
    상기 복수의 인코딩된 영상 데이터를 합성하여 합성 결과를 획득하고 상기 합성 결과를 디코딩하여 합성 영상을 획득하거나, 또는
    상기 복수의 인코딩된 영상 데이터를 디코딩하여 디코딩된 영상 데이터를 획득하고 상기 디코딩된 영상 데이터를 합성하여 합성 영상을 획득하는 영상 촬영 장치.
  6. 제5항에 있어서,
    상기 영상 처리부는, 상기 적어도 하나의 합성 영상을 참조 영상과 비교하여 판단하는 영상 촬영 장치.
  7. 발광부가 광을 방출하는 단계;
    상기 발광부가 광을 방출하는 동안 복수 회수로 촬영을 수행하여 복수의 영상 데이터를 획득하는 단계; 및
    상기 복수의 영상 데이터를 합성하여 최종 영상 데이터를 획득하는 단계;를 포함하는 영상 촬영 방법.
  8. 제7항에 있어서,
    상기 복수의 영상 데이터 중 적어도 두 개의 영상 데이터는, 상기 발광부에서 방출된 광의 세기가 서로 상이한 시점에 획득된 것인 영상 촬영 방법.
  9. 제7항에 있어서
    상기 발광부가 광을 방출하는 단계는,
    제어에 따라 광의 세기를 변경하며 광을 방출하는 단계;를 포함하는 영상 촬영 방법.
  10. 제7항에 있어서,
    상기 복수의 영상 데이터를 합성하여 최종 영상 데이터를 획득하는 단계는,
    복수의 영상 데이터 각각을 인코딩하여 복수의 인코딩된 영상 데이터를 획득하는 단계;를 포함하는 영상 촬영 방법.
  11. 제10항에 있어서,
    상기 복수의 영상 데이터를 합성하여 최종 영상 데이터를 획득하는 단계는,
    상기 복수의 인코딩된 영상 데이터를 합성하여 합성 결과를 획득하고 상기 합성 결과를 디코딩하여 합성 영상을 획득하는 단계; 또는
    상기 복수의 인코딩된 영상 데이터를 디코딩하여 디코딩된 영상 데이터를 획득하고 상기 디코딩된 영상 데이터를 합성하여 합성 영상을 획득하는 단계;를 포함하는 영상 촬영 방법.
  12. 제11항에 있어서,
    상기 적어도 하나의 합성 영상을 참조 영상과 비교하여 판단하는 단계;를 더 포함하는 영상 촬영 방법.
PCT/KR2020/009610 2019-08-19 2020-07-21 영상 촬영 장치 및 방법 WO2021033928A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0101288 2019-08-19
KR20190101288 2019-08-19
KR10-2019-0133058 2019-10-24
KR1020190133058A KR20210021887A (ko) 2019-08-19 2019-10-24 영상 촬영 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2021033928A1 true WO2021033928A1 (ko) 2021-02-25

Family

ID=74660287

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/009610 WO2021033928A1 (ko) 2019-08-19 2020-07-21 영상 촬영 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2021033928A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070070010A (ko) * 2005-12-28 2007-07-03 삼성테크윈 주식회사 촬상 장치 및 촬영 방법
KR100996094B1 (ko) * 2002-07-18 2010-11-22 소니 주식회사 촬상 데이터 처리 방법, 촬상 데이터 처리 장치, 및 컴퓨터 프로그램이 기록된 기록 매체
KR20130073724A (ko) * 2011-12-23 2013-07-03 삼성전자주식회사 선택 영역을 변화시키는 결과 영상을 생성 또는 저장하는 장치 및 방법
KR20160094203A (ko) * 2015-01-30 2016-08-09 주식회사 퓨처리스트 옵티컬 기법을 활용한 hdr 이미지 획득용 카메라 장치 및 그의 hdr 이미지 획득 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100996094B1 (ko) * 2002-07-18 2010-11-22 소니 주식회사 촬상 데이터 처리 방법, 촬상 데이터 처리 장치, 및 컴퓨터 프로그램이 기록된 기록 매체
KR20070070010A (ko) * 2005-12-28 2007-07-03 삼성테크윈 주식회사 촬상 장치 및 촬영 방법
KR20130073724A (ko) * 2011-12-23 2013-07-03 삼성전자주식회사 선택 영역을 변화시키는 결과 영상을 생성 또는 저장하는 장치 및 방법
KR20160094203A (ko) * 2015-01-30 2016-08-09 주식회사 퓨처리스트 옵티컬 기법을 활용한 hdr 이미지 획득용 카메라 장치 및 그의 hdr 이미지 획득 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHOI INJAE, SEO JEONGIN, PARK HYEYOUNG: "Object Recognition in Low Resolution Images using a Convolutional Neural Network and an Image Enhancement Network", JOURNAL OF KIISE, KOREAN INSTITUTE OF INFORMATION SCIENTISTS AND ENGINEERS, KR, vol. 45, no. 8, 31 August 2018 (2018-08-31), KR, pages 831 - 837, XP055782634, ISSN: 2383-630X, DOI: 10.5626/JOK.2018.45.8.831 *

Similar Documents

Publication Publication Date Title
US8730375B2 (en) Imaging apparatus having focus control function
JP4537255B2 (ja) 撮像装置および撮像方法
US8036430B2 (en) Image-processing device and image-processing method, image-pickup device, and computer program
JP6049343B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN110445989B (zh) 图像处理方法、装置、存储介质及电子设备
CN110072052A (zh) 基于多帧图像的图像处理方法、装置、电子设备
JP5743696B2 (ja) 画像処理装置、画像処理方法及びプログラム
TWI465825B (zh) 影像擷取裝置與其光源輔助拍攝方法
CN110248098A (zh) 图像处理方法、装置、存储介质及电子设备
WO2004010711A1 (ja) 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム
CN110062159A (zh) 基于多帧图像的图像处理方法、装置、电子设备
WO2021204202A1 (zh) 图像自动白平衡的方法及装置
WO2012093519A1 (ja) 撮像装置及びその発光量制御方法
CN106027876A (zh) 摄像装置和摄像方法
JP2018093460A (ja) ダイナミックフォトの撮影方法及び装置
CN116744120B (zh) 图像处理方法和电子设备
CN1831624A (zh) 成像设备和成像方法
KR20200016559A (ko) 복수의 구간 영상들을 포함하는 동영상 데이터를 생성하는 전자 장치 및 방법
JP2013058858A (ja) 画像処理装置、画像処理方法及びプログラム
US20130010184A1 (en) Digital photographing apparatus, a method of controlling the same, and a computer-readable storage medium for performing the method
WO2023219466A1 (en) Methods and systems for enhancing low light frame in a multi camera system
WO2021033928A1 (ko) 영상 촬영 장치 및 방법
TWI620442B (zh) 針對攝影裝置的閃光燈最佳化
TW201824185A (zh) 圖像處理方法與裝置、電子裝置及計算機可讀儲存介質
KR20210021887A (ko) 영상 촬영 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20855443

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20855443

Country of ref document: EP

Kind code of ref document: A1