WO2016208849A1 - 디지털 촬영 장치 및 그 동작 방법 - Google Patents

디지털 촬영 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2016208849A1
WO2016208849A1 PCT/KR2016/002847 KR2016002847W WO2016208849A1 WO 2016208849 A1 WO2016208849 A1 WO 2016208849A1 KR 2016002847 W KR2016002847 W KR 2016002847W WO 2016208849 A1 WO2016208849 A1 WO 2016208849A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
photographing apparatus
digital photographing
main
wide
Prior art date
Application number
PCT/KR2016/002847
Other languages
English (en)
French (fr)
Inventor
김재곤
임상현
전승룡
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150132612A external-priority patent/KR102352682B1/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP16814562.1A priority Critical patent/EP3316568B1/en
Priority to MYPI2017704010A priority patent/MY185068A/en
Priority to CN201680031919.4A priority patent/CN107690649B/zh
Publication of WO2016208849A1 publication Critical patent/WO2016208849A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Definitions

  • Various embodiments relate to a digital photographing apparatus and a method of operating the same, and more particularly, to a digital photographing apparatus having a plurality of cameras and a method of operating the same.
  • Digital photographing devices such as smartphones, tablet PCs, digital cameras, and the like may include a plurality of cameras.
  • the digital photographing apparatus may include a front camera for photographing the front direction and a rear camera for photographing the rear direction based on the display screen of the touch screen.
  • the magnification of the image captured by the user's zooming operation may be changed.
  • a digital photographing apparatus including two rear cameras having different focal lengths has been used for capturing images of various distances with higher quality.
  • Various embodiments provide a digital photographing apparatus and a method for capturing an image while switching a plurality of cameras without a user's operation when capturing an image using the plurality of cameras.
  • various embodiments provide a digital photographing apparatus and method for accurately tracking a movement of a main subject using a plurality of cameras, and thus acquiring an image including the main subject.
  • a digital photographing apparatus includes a first camera for acquiring a wide-angle image including a main subject, a second camera for acquiring a telephoto image zoomed in on a wide-angle image, and a wide-angle image and a telephoto image. And a processor configured to obtain motion information of the main subject based on the motion information, and determine one of the wide-angle image and the telephoto image as the main image based on the motion information.
  • the processor may acquire the speed of the main subject based on the wide-angle image and the telephoto image, and determine the main image as one of the wide-angle image and the telephoto image based on the speed of the main subject.
  • the processor may change the main image from the telephoto image to the wide-angle image when the speed of the main subject is closer to the digital photographing apparatus.
  • the processor may change the main image from the wide-angle image to the telephoto image when the speed of the main subject is a direction away from the digital photographing apparatus.
  • the processor may generate a depth map based on a wide-angle image and a telephoto image, and obtain motion information of the main subject based on the depth map.
  • the processor may control the second camera to move to a position corresponding to the position of the main subject.
  • the digital photographing apparatus may further include a display for displaying the main image as a live view image.
  • the display according to an embodiment may display a sub-image corresponding to the other of the wide-angle image and the telephoto image by superimposing the main image on the display.
  • the processor may determine a position to display a sub-image on the display based on the position of the main subject in the main image.
  • the digital photographing apparatus may further include a memory for storing the main image as a moving image.
  • the method of operating the digital photographing apparatus may be a method of operating the digital photographing apparatus including the first camera and the second camera.
  • a method of operating a digital photographing apparatus includes: obtaining a wide-angle image including a main subject from a first camera, and obtaining a telephoto image obtained by zooming a main subject with respect to the wide-angle image from a second camera
  • the method may include obtaining motion information of the main subject based on the wide-angle image and the telephoto image, and determining one of the wide-angle image and the telephoto image as the main image based on the motion information.
  • a method of operating a digital photographing apparatus includes obtaining a speed of a main subject based on a wide angle image and a telephoto image, and determining the main image as one of a wide angle image and a telephoto image based on the speed of the main subject. It may further comprise a step.
  • the changing of the main image may include changing the main image from a telephoto image to a wide-angle image when the direction of the speed of the main subject is closer to the digital photographing apparatus.
  • the changing of the main image may include changing the main image from the wide-angle image to the telephoto image when the speed of the main subject is a direction away from the digital photographing apparatus.
  • the detecting of the motion information of the main subject may include generating a depth map based on the wide-angle image and a telephoto image, and obtaining motion information of the main subject based on the depth map. .
  • An operation method of a digital photographing apparatus may include controlling the second camera to move to a position corresponding to the position of the main subject.
  • the method of operating a digital photographing apparatus may further include displaying the main image as a live view image.
  • the displaying may further include displaying a sub-image corresponding to the other of the wide-angle image and the telephoto image by superimposing the main image on the display.
  • the displaying of the sub-image may include determining a position to display the sub-image on the display based on the position of the main subject in the main image.
  • the method of operating the digital photographing apparatus may further include storing the main image as a video.
  • the image when capturing an image using a plurality of cameras, the image may be captured while switching the plurality of cameras without a user's manipulation.
  • FIG. 1 is a diagram illustrating an operation of the digital photographing apparatus 100 according to an exemplary embodiment.
  • FIG. 2 is a flowchart of a method of operating the digital photographing apparatus 100 according to an exemplary embodiment.
  • 3A is a diagram for explaining that the digital photographing apparatus 100 acquires the wide-angle image 310.
  • 3B is a diagram for explaining that the digital photographing apparatus 100 acquires the telephoto image 320.
  • 4A and 4B are diagrams for explaining that the digital photographing apparatus 100 determines a main image.
  • 5A is a diagram for describing a depth map 520 obtained by the digital photographing apparatus 100 according to an exemplary embodiment.
  • 5B is a diagram for describing a depth map 530 obtained by the digital photographing apparatus 100 according to another exemplary embodiment.
  • FIG. 6 is a flowchart of a method of operating the digital photographing apparatus 100 according to an exemplary embodiment.
  • FIG. 7A illustrates an example in which the digital photographing apparatus 100 acquires motion information of a main subject, according to an exemplary embodiment.
  • FIG. 7B is a diagram for describing an example in which the digital photographing apparatus 100 changes a main image according to a moving direction of a main subject, according to an exemplary embodiment.
  • FIG. 8A illustrates an example in which the digital photographing apparatus 100 acquires motion information of a main subject, according to an exemplary embodiment.
  • FIG. 8B is a diagram for describing an example in which the digital photographing apparatus 100 changes a main image according to a moving direction of a main subject, according to an exemplary embodiment.
  • FIG 9 is a diagram illustrating that the digital photographing apparatus 100 moves the direction of the second camera 30 in accordance with the moving direction of the main subject.
  • FIG. 10 is a diagram illustrating a screen displayed by the digital photographing apparatus 100 as the main subject moves according to an exemplary embodiment.
  • FIG. 11 is a diagram illustrating a screen on which the digital photographing apparatus 100 displays a main image and a sub image according to an exemplary embodiment.
  • FIG. 12 is another diagram illustrating a screen on which the digital photographing apparatus 100 displays a main image and a sub image according to an exemplary embodiment.
  • FIG. 13 is a flowchart of a method of operating the digital photographing apparatus 100 according to an exemplary embodiment.
  • FIG. 14 is a diagram illustrating an example in which the digital photographing apparatus 100 stores a main image as a moving image.
  • FIG. 15 is a block diagram illustrating a structure of a digital photographing apparatus 1500 according to an exemplary embodiment.
  • 16 is a block diagram illustrating a structure of a digital photographing apparatus 1600 according to an exemplary embodiment.
  • FIG. 17 is a block diagram illustrating a structure of a digital photographing apparatus 1700 according to an exemplary embodiment.
  • the digital photographing apparatus may be a smart phone, a tablet PC, a video phone, an e-book reader, a desktop PC, a laptop PC, At least one of a mobile medical device, a camera, or a wearable device (eg, a head-mounted-device (HMD) such as electronic glasses, a smartwatch, etc.) may be included.
  • a wearable device eg, a head-mounted-device (HMD) such as electronic glasses, a smartwatch, etc.
  • FIG. 1 is a diagram illustrating an operation of the digital photographing apparatus 100 according to an exemplary embodiment.
  • the digital photographing apparatus 100 may include a plurality of cameras, and may acquire an image by using the plurality of cameras.
  • the digital photographing apparatus 100 may include a smartphone, a tablet personal computer, a camera, and a wearable device.
  • the digital photographing apparatus 100 is not limited thereto, and may include a device capable of generating an image by photographing a subject including a lens and an image sensor.
  • the digital photographing apparatus 100 may include a plurality of cameras.
  • the camera includes at least one lens and an image sensor, and means a component that acquires an image signal through the image sensor.
  • the camera may be included in the digital photographing apparatus 100 or may be configured as a separate device detachable.
  • the digital photographing apparatus 100 may capture a still image and a video including a panoramic image, a continuous photographed image, and the like by using a plurality of cameras.
  • the digital photographing apparatus 100 zooms the first camera 20 and the main subject 11 to acquire a wide angle image 15 including the main subject 11. It may include a second camera 30 to obtain a telephoto image (13).
  • the first camera 20 may capture an image representing a wider range than the second camera 30. That is, the first camera 20 may provide a wider angle of view compared to the second camera 30.
  • the first camera 20 may acquire a wide-angle image 15 including not only the main subject 11 but also a subject having various distances.
  • the distance is used as a term meaning a distance from the digital photographing apparatus 100 to a subject.
  • the first camera 20 may provide, for example, an angle of view of about 30 to about 80 degrees.
  • the first camera 20 may acquire an image having a deep depth. In other words, the first camera 20 may acquire an image in which the main subject 11 and another subject and a background having a different distance from the main subject 11 are clearly displayed at the same time.
  • the second camera 30 may acquire a telephoto image 13 including the main subject 11.
  • the second camera 30 may provide an angle of view of about 10 to 30 degrees, for example.
  • the second camera 30 may acquire an image having a shallow depth.
  • the second camera 30 may acquire an image in which a part of the main subject 11 appears clearly, and another subject and a background having a different distance from the main subject 11 appear blurred.
  • the second camera 30 focuses on the main subject 11 included in the wide-angle image 15, and the telephoto image 13 shows the main subject 11 in an enlarged manner than the wide-angle image 15. ) Can be obtained.
  • the second camera 30 may be configured to be movable to track the main subject 11. That is, when the main subject 11 moves, the second camera 30 may track the main subject 11 so that the main subject 11 does not deviate from the telephoto image 13.
  • the second camera 30 may be configured to move up, down, left, and right by using a piezo motor or the like, or to tilt in a direction to move along the main subject 11.
  • the second camera 30 may move as the eye moves to track the main subject 11 while the digital photographing apparatus 100 is not moving.
  • the second camera 30 may include an eye-cam.
  • the first camera 20 may include a wide angle lens
  • the second camera 30 may include a telephoto lens
  • the wide-angle lens included in the first camera 20 may have a focal length shorter than that of the telephoto lens included in the second camera 30.
  • the focal length means a distance from the center of the lens to the image sensor.
  • the wide-angle lens included in the first camera 20 may be, for example, a lens having a focal length of about 10 mm to about 30 mm.
  • the telephoto lens included in the second camera 30 may be, for example, a lens having a focal length of about 30 mm to about 500 mm.
  • the focal lengths of the wide-angle lens and the telephoto lens described are merely examples, and may be variously determined according to embodiments.
  • the first camera 20 and the second camera 30 may be disposed on the rear surface of the digital photographing apparatus 100. That is, the camera 20 and the second camera 30 may be disposed in opposite directions of the display screen of the digital photographing apparatus 100. Referring to FIG. 1, although the first camera 20 and the second camera 30 are shown to be disposed side by side on the rear side of the digital photographing apparatus 100, the present invention is not limited thereto.
  • the digital photographing apparatus 100 may detect or acquire motion information of the main subject 11 based on the wide-angle image 15 and the telephoto image 13.
  • the digital photographing apparatus 100 may obtain a depth map based on the wide-angle image 15 and the telephoto image 13 acquired by the first camera 20 and the second camera 30, respectively.
  • the digital photographing apparatus 100 may obtain information about global motion and local motion of the wide-angle image 15 and the telephoto image 13. Accordingly, the digital photographing apparatus 100 may obtain a depth map after correcting blur due to movement or hand movement of the main subject in the wide-angle image 15 and the telephoto image 13.
  • the digital photographing apparatus 100 may obtain motion information of the main subject 11 based on the depth map. In addition, the digital photographing apparatus 100 may acquire the moving speed of the main subject 11 based on the motion information of the main subject 11 acquired through the depth map.
  • the motion information of the main subject 11 may include information on the position and size of the main subject 11.
  • the position of the main subject 11 may include at least one of a two-dimensional position and a three-dimensional position of the main subject 11 in the wide-angle image 15 and the telephoto image 13.
  • the position of the main subject 11 may include a distance between the display apparatus 100 and the main subject 11.
  • the size of the main subject 11 may include at least one of the two-dimensional size and the actual size of the main subject 11 in the wide-angle image 15 and the telephoto image 13.
  • the digital photographing apparatus 100 may determine one of the wide-angle image 15 and the telephoto image 13 as the main image based on the motion information of the main subject 11. In addition, the digital photographing apparatus 100 may switch the main image from one of the wide-angle image 15 and the telephoto image 13 to the other based on the motion information of the main subject 11.
  • the main image may be a live view image displayed by the digital photographing apparatus 100 on a display (not shown).
  • the main image may be an image captured by the digital photographing apparatus 100 and stored in a memory (not shown).
  • the main image may include a still image and a video.
  • the digital photographing apparatus 100 may determine one of the wide-angle image 15 and the telephoto image 13 as the main image without determining a user's manipulation, and determine whether to switch between them. Accordingly, the digital photographing apparatus 100 may automatically switch between the wide-angle image 15 and the telephoto image 13 to acquire an image in which the movement of the main subject is more vivid.
  • a method of determining the main image by the digital photographing apparatus 100 and a method of changing the main image from one of the wide-angle image 15 and the telephoto image 13 to another will be described in detail below.
  • FIG. 2 is a flowchart of a method of operating the digital photographing apparatus 100 according to an exemplary embodiment.
  • the digital photographing apparatus 100 may obtain a wide-angle image from the first camera and obtain a telephoto image from the second camera in operation S110.
  • the wide-angle image may be an image including a main subject
  • the telephoto image may be an image obtained by zooming in on the main subject.
  • the digital photographing apparatus 100 may acquire at least two images including the main subject using the first camera and the second camera.
  • the digital photographing apparatus 100 may obtain a wide-angle image including a main subject and a subject having various distances from the first camera.
  • the digital photographing apparatus 100 may obtain a telephoto image including the main subject from the second camera.
  • the telephoto image may be an image in which the main subject is enlarged than in the wide-angle image.
  • the digital photographing apparatus 100 may detect motion information of the main subject based on the wide-angle image and the telephoto image in operation S120.
  • the digital photographing apparatus 100 may obtain a depth map based on the wide-angle image and the telephoto image acquired by the first camera and the second camera.
  • the digital photographing apparatus 100 may obtain motion information of the main subject based on the depth map.
  • the digital photographing apparatus 100 may determine one of the wide-angle image and the telephoto image as the main image based on the motion information of the main subject in operation S130.
  • the digital photographing apparatus 100 Telephoto Image With main video You can decide.
  • the digital photographing apparatus 100 captures a wide-angle image. With main video You can decide.
  • the main subject At a distance (for example, less than 0.5 m) from the digital photographing apparatus 100 Located Occation, Telephoto The image is Main subject Only a part of the enlarged portion can be shown. In this case, the digital photographing apparatus 100 The main subject The wide-angle image may be determined as the main image so that all of them can be displayed.
  • 3A is a diagram for explaining that the digital photographing apparatus 100 acquires the wide-angle image 310.
  • the digital photographing apparatus 100 may acquire the wide-angle image 310 by using the first camera. For example, when the digital photographing apparatus 100 acquires the wide-angle image 310, for example, 30 to 30. 80 degrees An angle of view 301 may be provided.
  • the digital photographing apparatus 100 may display the wide-angle image 310 as a live view image when the photographing starts.
  • 3B is a diagram for explaining that the digital photographing apparatus 100 acquires the telephoto image 320.
  • the digital photographing apparatus 100 may acquire a telephoto image 320 by using a second camera.
  • the digital photographing apparatus 100 may acquire a telephoto image 320 by photographing an area 321 including a main subject.
  • the digital photographing apparatus 100 may determine an area 321 including the main subject by using the depth map obtained based on the wide-angle image 310 of FIG. 3A and the telephoto image 320. .
  • the digital photographing apparatus 100 may provide an angle of view 303 of about 10 to 30 ° when the telephoto image 320 is acquired.
  • the digital photographing apparatus 100 may display the telephoto image 320 as a live view image.
  • the digital photographing apparatus 100 may capture a telephoto image 320 determined as a main image as a moving image and store the same in a memory (not shown).
  • the digital photographing apparatus 100 may magnify and display the main subject by optical zoom as long as the main subject does not leave the range of the telephoto image 320 and does not cause inconvenience to the user.
  • the digital photographing apparatus 100 may obtain a telephoto image 320 in which the main subject has an optimal composition.
  • the digital photographing apparatus 100 may control the main subject to be disposed in the telephoto image 320 according to a triangulation method or a golden ratio.
  • the manner in which the digital photographing apparatus 100 acquires the telephoto image 320 including the main subject in an optimal composition is not limited to such an embodiment, and may include various known methods.
  • 4A and 4B are diagrams for explaining that the digital photographing apparatus 100 determines a main image.
  • the digital photographing apparatus 100 may acquire the wide-angle image 410 of FIG. 4A by using the first camera. In addition, the digital photographing apparatus 100 may acquire the telephoto image 430 of FIG. 4B using the second camera.
  • the lens included in the first camera of the digital photographing apparatus 100 may be a wide-angle lens having a focal length of about 10 mm to about 30 mm.
  • the lens included in the second camera of the digital photographing apparatus 100 may be, for example, a telephoto lens having a focal length of about 30 mm to about 500 mm.
  • the lenses included in the first camera and the second camera of the digital photographing apparatus 100 may be lenses capable of adjusting a focal length.
  • FIG. 4A illustrates a wide-angle image 410 including a background of a main subject 401 and a main subject 401 located at a distance of about 0.5 m by using the first camera, according to an exemplary embodiment. Shown to obtain.
  • the lens included in the first camera of the digital photographing apparatus 100 may have a focal length of about 10 mm.
  • FIG. 4B illustrates a telephoto image 430 corresponding to an area 425 in which the digital photographing apparatus 100 includes a portion of the main subject 401 located at a distance of about 0.5 m using the second camera. Shown to obtain.
  • the lens included in the second camera of the digital photographing apparatus 100 may have a focal length of about 30 mm.
  • the digital photographing apparatus 100 may use the wide-angle image illustrated in FIG. 4A. 410 may be determined as the main image.
  • the telephoto image 430 is the main subject. Only an area 425 including a part of 401 may be enlarged. In this case, the digital photographing apparatus 100 may determine the wide-angle image 410 illustrated in FIG. 4A as the main image so that all of the main subject 401 can be displayed.
  • the digital photographing apparatus 100 may display the wide angle image 410 as a live view image.
  • the digital photographing apparatus 100 may acquire motion information of the main subject 401 based on the wide-angle image 410 and the telephoto image 430.
  • the digital photographing apparatus 100 may repeat the determination of the main image from the wide-angle image 410 and the telephoto image 430 based on the motion information of the main subject 401 at predetermined intervals. For example, after the main image is determined as the wide-angle image 410, when the main subject 401 is far from the digital photographing apparatus 100, the digital photographing apparatus 100 moves the main image from the wide-angle image 410 to the telephoto image. 430.
  • the digital photographing apparatus 100 may predict a moving direction of the main subject 401 based on the motion information of the main subject 401, and thus change the determined main image into another image.
  • 5A is a diagram for describing a depth map 520 obtained by the digital photographing apparatus 100 according to an exemplary embodiment.
  • the digital photographing apparatus 100 may obtain a depth map 520 corresponding to the image 510 shown on the left side.
  • the image 510 illustrated on the left side of FIG. 5A may be an image including a region of interest (ROI) region.
  • the region of interest (ROI) may be determined as a region including the main subject 501.
  • the depth map 520 of FIG. 5A may represent information related to the distance from the point at which the image is acquired to the surface of the subject.
  • the digital photographing apparatus 100 may obtain the depth map 520 based on the wide-angle image and the telephoto image acquired by the first camera and the second camera.
  • Parallax may exist in the wide-angle image and the telephoto image obtained by the position difference between the first camera and the second camera.
  • the digital photographing apparatus 100 may calculate a distance between subjects in the image by using parallax of a wide angle image and a telephoto image.
  • the digital photographing apparatus 100 may generate the depth map 520 based on the calculated distances of the subjects.
  • the depth map 520 may represent information related to a distance by the brightness of a pixel.
  • the brightest portion 521 in the depth map 520 is the portion closest to the distance, and the next brightly portion 523 represents the next nearest portion.
  • the darkest shaded portion 525 in the depth map 520 represents the farthest portion.
  • the digital photographing apparatus 100 may display the depth map 520 using brightness information, or may display colors differently according to distance. There are various methods of representing the depth map 520, but the present invention is not limited to the above-described example.
  • an area that the depth map 520 may represent may be a region that the wide-angle image and a telephoto image include in common. That is, an area that can be represented by the depth map 520 may correspond to a telephoto image.
  • the digital photographing apparatus 100 may determine the brightest portion 521 of the depth map 520 as the portion corresponding to the main subject 501. According to another embodiment, the digital photographing apparatus 100 may determine the main subject based on a user input.
  • the digital photographing apparatus 100 may determine that the telephoto image faithfully represents the main subject. In this case, the digital photographing apparatus 100 may determine the telephoto image as the main image.
  • 5B is a diagram for describing a depth map 530 obtained by the digital photographing apparatus 100 according to another exemplary embodiment.
  • the digital photographing apparatus 100 may determine that the digital photographing apparatus 100 is excessively close to the subject.
  • the digital photographing apparatus 100 may determine that the telephoto image represents only a part of the main subject. In this case, the digital photographing apparatus 100 may determine the wide-angle image as the main image.
  • FIG. 6 is a flowchart of a method of operating the digital photographing apparatus 100 according to an exemplary embodiment.
  • the digital photographing apparatus 100 may obtain a depth map based on the wide-angle image and the telephoto image in operation S210.
  • the wide-angle image may be an image obtained from the first camera of the digital photographing apparatus 100
  • the telephoto image may be an image obtained from the second camera of the digital photographing apparatus 100.
  • the digital photographing apparatus 100 may obtain a depth map by using a parallax of a wide-angle image and a telephoto image according to the positional difference between the first camera and the second camera.
  • the digital photographing apparatus 100 may acquire the speed of the main subject based on the depth map in operation S220.
  • the digital photographing apparatus 100 may obtain the velocity of the main subject based on the depth map, and thus predict the position of the main subject over time.
  • the digital photographing apparatus 100 may change the main image based on the speed of the main subject in operation S230.
  • the digital photographing apparatus 100 may change the main image from the wide-angle image to the telephoto image when the speed of the main subject becomes slower than the predetermined speed. That is, if the main image is slower than the predetermined speed, the digital photographing apparatus 100 may easily photograph the main subject, and thus may display the telephoto image as the main image.
  • the digital photographing apparatus 100 when the speed of the main subject becomes greater than a predetermined speed, the digital photographing apparatus 100 is more suitable for capturing a fast moving main subject when the first camera photographing the wide-angle image is used. Can be changed.
  • FIG. 7A illustrates an example in which the digital photographing apparatus 100 acquires motion information of a main subject, according to an exemplary embodiment.
  • the first depth map 710 may be a depth map at a first time including the first ROI area 701.
  • the second depth map 720 may be a depth map at a second time including the second ROI area 703.
  • the ROI area 701 may be an area including a main subject.
  • the digital photographing apparatus 100 may determine the subject of the main subject based on a change in at least one of the size, brightness, and color of each of the first ROI region 701 and the second ROI region 703 in the depth map.
  • the motion information can be obtained.
  • the digital photographing apparatus 100 determines the distance of the main subject from the digital photographing apparatus 100 based on the fact that the second ROI region 703 at the second time is smaller than the first ROI region 701 at the first time. Can be judged to be moving away.
  • the digital photographing apparatus 100 may determine that the first ROI region 701 of the depth map is darkened, and thus, the digital photographing apparatus 100 and the main subject are separated. We can judge that distance is getting farther.
  • FIG. 7B is a diagram for describing an example in which the digital photographing apparatus 100 changes a main image according to a moving direction of a main subject, according to an exemplary embodiment.
  • the digital photographing apparatus 100 may determine that the main subject moves in the -z direction. That is, the digital photographing apparatus 100 may determine that the main subject is far from the digital photographing apparatus 100. In this case, the digital photographing apparatus 100 may change the main image from the wide angle image 730 to the telephoto image 740.
  • FIG. 8A illustrates an example in which the digital photographing apparatus 100 acquires motion information of a main subject, according to an exemplary embodiment.
  • the first depth map 810 may be a depth map at a first time including an area of the first ROI 801.
  • the second depth map 820 may be a depth map at a second time including the second ROI area.
  • the first ROI area 801 may be an area including a main subject.
  • the digital photographing apparatus 100 is configured to display the main subject based on a change in at least one of the size, brightness, and color of each of the first ROI region 801 and the second ROI region 803 in the depth map.
  • the motion information can be obtained.
  • the digital photographing apparatus 100 may determine the distance of the main subject from the digital photographing apparatus 100 based on the enlargement of the second ROI region 803 at the second time than the first ROI region 801 at the first time. You can judge that is getting closer.
  • the digital photographing apparatus 100 may determine the distance between the digital photographing apparatus 100 and the main subject based on the brightening of the first ROI region 801 of the depth map. We can judge that distance is getting closer.
  • FIG. 8B is a diagram for describing an example in which the digital photographing apparatus 100 changes a main image according to a moving direction of a main subject, according to an exemplary embodiment.
  • the digital photographing apparatus 100 may determine that the main subject moves in the + z direction. That is, the digital photographing apparatus 100 may determine that the main subject is close to the digital photographing apparatus 100. In this case, the digital photographing apparatus 100 may change the main image from the telephoto image 830 to the wide-angle image 840.
  • FIG 9 is a diagram illustrating that the digital photographing apparatus 100 moves the direction of the second camera 30 in accordance with the moving direction of the main subject.
  • the digital photographing apparatus 100 may control the second camera 30 to move to a position corresponding to the position of the main subject.
  • the digital photographing apparatus 100 may track the main subject 901 so that the main subject 901 does not deviate from the first telephoto image 910 when the main subject 901 moves.
  • the second camera 30 may be configured to move or tilt up, down, left, and right by using a piezo motor or the like.
  • the digital photographing apparatus 100 may obtain motion information of the main subject 901 based on the depth map.
  • the digital photographing apparatus 100 may determine the moving direction of the main subject 901 based on the motion information of the main subject 901.
  • the digital photographing apparatus 100 may acquire a telephoto image of the first region 910 at a first time point. Thereafter, the digital photographing apparatus 100 may control the second camera 30 to move in a direction corresponding to the moving direction of the main subject 901. Accordingly, the digital photographing apparatus 100 may acquire a telephoto image of the second area 920 at the second time point.
  • the second camera 30 is moved by way of example.
  • the first camera 20 may also be configured to move.
  • FIG. 10 is a diagram illustrating a screen displayed by the digital photographing apparatus 100 as the main subject 1001 moves according to an exemplary embodiment.
  • the digital photographing apparatus 100 may acquire the first telephoto image 1010 including the moving main subject 1001 at a first time point.
  • the first telephoto image 1010 may be an image of the first region 1013.
  • the digital photographing apparatus 100 may control the second camera 30 to move in a direction corresponding to the moving direction of the main subject 1001. Accordingly, the digital photographing apparatus 100 may acquire the second telephoto image 1020 including the moving main subject 1003 at the second time point.
  • the second telephoto image 1020 may be an image of the second region 1023.
  • the digital photographing apparatus 100 may recognize the position of the face 1011 of the main subject 1001 included in the first telephoto image 1010.
  • the digital photographing apparatus 100 may display the face 1021 of the subject to be included in a position in the corresponding second telephoto image 1020.
  • FIG. 11 is a diagram illustrating a screen on which the digital photographing apparatus 100 displays a main image and a sub image according to an exemplary embodiment.
  • the digital photographing apparatus 100 may display a sub-image, which is the other of the wide-angle image and the telephoto image, on the main image while displaying the main image, which is one of the wide-angle image and the telephoto image.
  • the digital photographing apparatus 100 displays the telephoto image 1110 in full screen and simultaneously PIPs the wide-angle image 1115. (Picture in Picture) can be superimposed and displayed.
  • the digital photographing apparatus 100 may switch positions of an image displayed on the full screen and an image displayed on the PIP based on a user input for selecting the wide-angle image 1115. That is, based on a user input, the digital photographing apparatus 100 may display the wide-angle image 1120 in full screen and overlap the telephoto image 1125 in a PIP.
  • the digital photographing apparatus 100 may receive a user input for selecting the sub image 1115 when capturing an image. In this case, the digital photographing apparatus 100 may change the live view image displayed on the full screen. In addition, the digital photographing apparatus 100 may switch between the main image 1110 and the sub image 1115.
  • the digital photographing apparatus 100 may receive a user input for selecting the sub-image 1115 when playing a video. In this case, the digital photographing apparatus 100 may change the image displayed on the full screen from the telephoto image 1110 to the wide angle image 1120. In this case, the digital photographing apparatus 100 may change only an image displayed on the full screen without switching between the main image 1110 and the sub image 1115.
  • FIG. 12 is another diagram illustrating a screen on which the digital photographing apparatus 100 displays a main image and a sub image according to an exemplary embodiment.
  • the digital photographing apparatus 100 may display the main image 1210 on a full screen and display the sub image 1215 in a superimposed manner.
  • the digital photographing apparatus 100 may determine a position at which the sub image 1215 is to be displayed based on the position of the main subject 1211 in the main image 1210.
  • the digital photographing apparatus 100 may obtain motion information of the main subject 1211 based on the wide area image and the telephoto image.
  • the digital photographing apparatus 100 may determine the moving direction of the main subject 1211 in the main image 1210 based on the obtained motion information of the main subject 1211.
  • the digital photographing apparatus 100 displays the sub-image 1225 in the main image 1220 at the lower right. Can be displayed.
  • the digital photographing apparatus 100 may display the sub-image 1225 at a position not covering the main subject in the main image 1220. Also, the digital photographing apparatus 100 may display the sub-image 1225 at a position furthest from the main subject in the main image 1220.
  • FIG. 13 is a flowchart of a method of operating the digital photographing apparatus 100 according to an exemplary embodiment.
  • the digital photographing apparatus 100 may obtain a wide-angle image from the first camera and obtain a telephoto image from the second camera in operation S310.
  • the wide-angle image may be an image including a main subject.
  • the telephoto image may be an image that is enlarged (or zoomed) than the main subject in the wide-angle image.
  • the digital photographing apparatus 100 may detect motion information of the main subject based on the wide-angle image and the telephoto image (S320).
  • the digital photographing apparatus 100 may obtain a depth map based on the wide-angle image and the telephoto image.
  • the digital photographing apparatus 100 may obtain motion information of the main subject based on the depth map.
  • the digital photographing apparatus 100 may determine one of the wide-angle image and the telephoto image as the main image based on the motion information of the main subject in operation S330.
  • the digital photographing apparatus 100 may determine, as the main image, an image capable of displaying the main subject in a more preferable composition among the wide-angle image and the telephoto image.
  • the digital photographing apparatus 100 may store the determined main image as a moving image in operation S340.
  • the digital photographing apparatus 100 may store a main image determined by repeating steps S310 to S330 at predetermined intervals as a moving image.
  • the digital photographing apparatus 100 may store a video stream including images determined as a main image in a memory (not shown).
  • the memory may be a memory embedded in the digital photographing apparatus 100 or a removable memory, or may be a memory included in an external device that can communicate with the digital photographing apparatus 100.
  • FIG. 14 is a diagram illustrating an example in which the digital photographing apparatus 100 stores a main image as a moving image.
  • the digital photographing apparatus 100 may simultaneously acquire a wide area image and a telephoto image by using each of the first camera and the second camera in a mode of capturing a moving image.
  • the digital photographing apparatus 100 may determine the wide image as the main image for T 1 hour, determine the telephoto image as the main image for T 2 hour, and the main image for the T 3 hour.
  • the telephoto image may be determined as the main image for T 4 hours.
  • the digital photographing apparatus 100 may store the entire wide image stream and the entire telephoto image stream acquired while capturing a moving image.
  • the digital photographing apparatus 100 may store a moving picture including only a main image in a memory.
  • the digital photographing apparatus 100 includes a wide image stream 1401 obtained for T 1 hour, a telephoto image stream 1403 obtained for T 2 hour, a wide image stream 1405 obtained for T 3 hour, and T.
  • a video including the telephoto image stream 1407 acquired for 4 hours may be stored in a memory.
  • a video may be captured by using a first camera and a second camera, and a video including an image stream determined as a main image may be stored.
  • the digital photographing apparatus 100 may edit the main images 1401, 1403, 1405, and 1407 to more vividly display the main subject or to express the composition at the same time as capturing the moving image and store the moving image.
  • the digital photographing apparatus 100 reproduces the main image 1401 and 1405 including the wide video stream at a speed higher than 1x and reproduces the main video including the telephoto video stream.
  • the image may be reproduced at 1x speed.
  • FIG. 15 is a block diagram illustrating a structure of a digital photographing apparatus 1500 according to an exemplary embodiment.
  • the digital photographing apparatus 1500 may include a camera 1510, a processor 1520, a display 1530, and a memory 1540.
  • the camera 1510 may include a plurality of cameras.
  • the camera includes at least one lens and an image sensor, and means a component that acquires an image signal through the image sensor.
  • the camera 1510 may include a first camera 1511 and a second camera 1513.
  • the first camera 1511 may acquire a wide-angle image including the main subject.
  • the second camera 1513 may acquire a telephoto image obtained by zooming a main subject.
  • the first camera 1511 may capture an image showing a wider range than the second camera 1513. That is, the first camera 1511 may provide a wider angle of view compared to the second camera 1513.
  • the first camera 1511 may acquire a wide-angle image including not only the main subject but also a subject having various distances.
  • the first camera 1511 may provide, for example, an angle of view of about 30 ° to about 80 °.
  • the first camera 1511 may acquire an image having a deep depth.
  • the second camera 1513 may acquire a telephoto image including the main subject.
  • the second camera 1513 may provide an angle of view of about 10 to 30 degrees, for example.
  • the second camera 1513 may acquire an image having a shallow depth.
  • the second camera 1513 may be configured to be movable to track the main subject as the main subject moves.
  • the second camera 1513 may be configured to move up, down, left and right or tilt using a piezo motor.
  • the first camera 1511 may include a wide angle lens
  • the second camera 1513 may include a telephoto lens
  • the wide-angle lens included in the first camera 1511 may have a shorter focal length than the telephoto lens included in the second camera 1513.
  • the focal length means a distance from the center of the lens to the image sensor.
  • the wide-angle lens included in the first camera 1511 may be, for example, a lens having a focal length of about 10 mm to about 30 mm.
  • the telephoto lens included in the second camera 1513 may be, for example, a lens having a focal length of about 30 mm to about 500 mm.
  • the focal lengths of the wide-angle lens and the telephoto lens described are merely examples, and may be variously determined according to embodiments.
  • the processor 1520 may control the camera 1510, the display 1530, the memory 1540, and the like connected to the processor 1520, and may perform various data processing and operations.
  • the processor 1520 may be implemented with, for example, a system on chip (SoC).
  • SoC system on chip
  • the processor 1520 may further include a graphic processing unit (GPU) and / or an image signal processor.
  • GPU graphic processing unit
  • the processor 1520 may detect motion information of the main subject based on the wide-angle image and the telephoto image.
  • the processor 1520 may obtain a depth map based on the wide-angle image and the telephoto image acquired by the first camera 1511 and the second camera 1513.
  • the processor 1520 may acquire information about global motion and local motion of the wide-angle image and the telephoto image. Accordingly, the processor 1520 may obtain a depth map after correcting a blur due to the movement or the shaking of the main subject in the wide-angle image and the telephoto image.
  • the processor 1520 may acquire motion information of the main subject based on the depth map.
  • the motion information may include information about the position and size of the main subject.
  • the processor 1520 may determine one of the wide-angle image and the telephoto image as the main image based on the motion information of the main subject.
  • the processor 1520 may convert the main image from one of the wide-angle image and the telephoto image to the other based on the motion information of the main subject.
  • the processor 1520 may acquire the speed of the main subject based on the wide-angle image and the telephoto image, and change the main image to another one of the wide-angle image and the telephoto image based on the speed of the main subject.
  • the processor 1520 may change the main image from the telephoto image to the wide-angle image when the direction of the speed of the main subject is closer to the digital photographing apparatus.
  • the processor 1520 may change the main image from the wide-angle image to the telephoto image when the speed of the main subject is a direction away from the digital photographing apparatus.
  • the processor 1520 may detect the main subject based on the depth map.
  • the processor 1520 may control the second camera 1513 to move to a position corresponding to the position of the main subject.
  • the processor 1520 may determine a position to display the sub-image based on the position of the main subject in the main image.
  • the sub-image may be one of the wide-angle image and the tele-image other than the main image.
  • the display 1530 may display the main image as the live view image. In addition, the display 1530 may display the sub-image superimposed on the main image.
  • the memory 1540 may store the main image as a moving image.
  • the memory 1540 may include an internal memory or an external memory.
  • the digital photographing apparatus 1500 may determine one of the wide-angle image and the telephoto image as the main image, and determine whether to switch between them without a user's manipulation. Accordingly, the digital photographing apparatus 1500 may automatically switch between the wide-angle image and the telephoto image, and acquire an image in which the movement of the main subject is more vivid.
  • the digital photographing apparatus 1600 may include, for example, all or part of the configuration of the digital photographing apparatus 1500 illustrated in FIG. 15.
  • the digital photographing apparatus 1600 may include at least one processor (eg, an application processor (AP)) 210, a communication module 220, a subscriber identification module 224, a storage unit 230, and a sensor module ( 240, input device 250, display 260, interface 270, audio module 280, camera module 291, power management module 295, battery 296, indicator 297, and motor. 298.
  • processor eg, an application processor (AP)
  • AP application processor
  • the main processor 210 may control, for example, a plurality of hardware or software components connected to the main processor 210 by running an operating system or an application program, and may perform various data processing and operations.
  • the main processor 210 may be implemented with, for example, a system on chip (SoC).
  • SoC system on chip
  • the main processor 210 may further include a graphic processing unit (GPU) and / or an image signal processor.
  • the main processor 210 may include at least some of the components shown in FIG. 16 (eg, the cellular module 221).
  • the main processor 210 may load and process instructions or data received from at least one of the other components (eg, nonvolatile memory) into the volatile memory, and store various data in the nonvolatile memory. Can be.
  • the main processor 210 may include the processor 1520 of FIG. 15.
  • the communication module 220 may be, for example, a cellular module 221, a WiFi module 223, a Bluetooth module 225, a GNSS module 227 (eg, a GPS module, a Glonass module, a Beidou module, or a Galileo module). It may include an NFC module 228 and a radio frequency (RF) module 229.
  • a cellular module 221, a WiFi module 223, a Bluetooth module 225, a GNSS module 227 eg, a GPS module, a Glonass module, a Beidou module, or a Galileo module.
  • a GNSS module 227 eg, a GPS module, a Glonass module, a Beidou module, or a Galileo module.
  • RF radio frequency
  • the storage unit 230 may include, for example, an internal memory 232 or an external memory 234.
  • the internal memory 232 may be, for example, volatile memory (eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.), non-volatile memory (eg, non-volatile memory).
  • volatile memory eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory eg, non-volatile memory.
  • SSD solid state drive
  • the external memory 234 may be a flash drive, for example, compact flash (CF), secure digital (SD), micro secure digital (Micro-SD), mini secure digital (Mini-SD), or extreme (xD). It may further include a digital, a multi-media card (MMC) or a memory stick (memory stick).
  • the external memory 234 may be functionally and / or physically connected to the digital photographing apparatus 1600 through various interfaces.
  • the sensor module 240 may measure a physical quantity or detect an operation state of the digital photographing apparatus 1600, and may convert the measured or detected information into an electrical signal.
  • the sensor module 240 includes, for example, a gesture sensor 240A, a gyro sensor 240B, an air pressure sensor 240C, a magnetic sensor 240D, an acceleration sensor 240E, a grip sensor 240F, and a proximity sensor ( 240G), color sensor 240H (e.g., red (green, blue) sensor), biometric sensor 240I, temperature / humidity sensor 240J, illuminance sensor 240K, or UV (ultra violet) ) May include at least one of the sensors 240M.
  • the sensor module 240 may further include a control circuit for controlling at least one or more sensors belonging therein.
  • the digital imaging device 1600 further includes a processor configured to control the sensor module 240 as part of or separately from the main processor 210 such that the main processor 210 is in a sleep state. While present, the sensor module 240 may be controlled.
  • the gyro sensor 240B and the acceleration sensor 240E may be used to acquire information about global motion and local motion of the wide-angle image and the telephoto image.
  • the input device 250 may be, for example, a touch panel 252, a (digital) pen sensor 254, a key 256, or an ultrasonic input device ( 258).
  • the touch panel 252 may use at least one of capacitive, resistive, infrared, or ultrasonic methods, for example.
  • the touch panel 252 may further include a control circuit.
  • the touch panel 252 may further include a tactile layer to provide a tactile response to the user.
  • the (digital) pen sensor 254 may be, for example, part of a touch panel or may include a separate sheet for recognition.
  • the key 256 may include, for example, a physical button, an optical key, or a keypad.
  • the ultrasonic input device 258 may detect ultrasonic waves generated by an input tool through a microphone (for example, the microphone 288) and check data corresponding to the detected ultrasonic waves.
  • Display 260 may include panel 262, hologram device 264, or projector 266.
  • the panel 262 may be implemented to be, for example, flexible, transparent, or wearable.
  • the panel 262 may be configured as a single module with the touch panel 252.
  • the interface 270 may be, for example, a high-definition multimedia interface (HDMI) 272, a universal serial bus (USB) 274, an optical interface 276, or a D-subminiature ) 278.
  • HDMI high-definition multimedia interface
  • USB universal serial bus
  • optical interface 276, or a D-subminiature ) 278 may be, for example, a high-definition multimedia interface (HDMI) 272, a universal serial bus (USB) 274, an optical interface 276, or a D-subminiature ) 278.
  • HDMI high-definition multimedia interface
  • USB universal serial bus
  • the audio module 280 may bilaterally convert, for example, a sound and an electrical signal.
  • the audio module 280 may process sound information input or output through, for example, a speaker 282, a receiver 284, an earphone 286, a microphone 288, or the like.
  • the camera module 291 is, for example, a device capable of capturing still images and moving images.
  • the camera module 291 may include one or more image sensors (eg, a front sensor or a rear sensor), a lens, and an image signal processor (ISP). Or flash (eg, LED or xenon lamp, etc.).
  • image sensors eg, a front sensor or a rear sensor
  • ISP image signal processor
  • flash eg, LED or xenon lamp, etc.
  • the camera module 291 may include a plurality of cameras.
  • the camera module may include a first camera and a second camera.
  • the first camera and the second camera may each include a lens (not shown) and an image sensor (not shown).
  • the first camera may acquire a wide-angle image including the main subject, and the second camera may acquire a telephoto image zooming in on the main subject.
  • the first camera may capture an image representing a wider range than the second camera. That is, the first camera can provide a wider angle of view compared to the second camera.
  • the power management module 295 may manage power of the digital photographing apparatus 1600, for example.
  • the power management module 295 may include a power management integrated circuit (PMIC), a charger integrated circuit (ICC), or a battery or fuel gauge.
  • PMIC power management integrated circuit
  • ICC charger integrated circuit
  • the PMIC may have a wired and / or wireless charging scheme.
  • the battery gauge may measure, for example, the remaining amount of the battery 296, the voltage, the current, or the temperature during charging.
  • the indicator 297 may display a specific state of the digital photographing apparatus 1600 or a part thereof (for example, the main processor 210), for example, a booting state, a message state, or a charging state.
  • the motor 298 may convert an electrical signal into mechanical vibrations, and may generate a vibration or haptic effect.
  • each of the components described in this document may be composed of one or more components, and the names of the components may vary depending on the type of digital photographing apparatus.
  • the digital photographing apparatus may be configured to include at least one of the components described in this document, and some components may be omitted or further include additional components.
  • some of the components of the digital photographing apparatus according to various embodiments may be combined to form an entity, and thus may perform the same functions of the corresponding components before being combined.
  • FIG. 17 is a block diagram illustrating a structure of a digital photographing apparatus 1700 according to an exemplary embodiment.
  • the digital photographing apparatus 1700 may include, for example, all or part of the configurations of the digital photographing apparatus 1500 illustrated in FIG. 15 and the digital photographing apparatus 1600 illustrated in FIG. 16.
  • the digital photographing apparatus 1700 may include a photographing unit 110, an image signal processing unit 120, an analog signal processing unit 121, a memory 130, a storage / reading control unit 140, and a memory card 142. , A program storage unit 150, a display driver 162, a display unit 164, a controller 170, an operation unit 180, and a communication unit 190.
  • the overall operation of the digital photographing apparatus 1700 is integrated by the controller 170.
  • the controller 170 provides a control signal for the operation of each component to the lens driver 112, the aperture driver 115, the image sensor controller 119, and the like.
  • the photographing unit 110 is a component that generates an electrical signal from incident light.
  • the photographing unit 110 may include a first camera 1710 and a second camera 1720.
  • the first camera 1710 may acquire a wide-angle image including the main subject
  • the second camera 1720 may acquire a telephoto image zooming in on the main subject.
  • the first camera 1710 may capture an image representing a wider range than the second camera 1720. That is, the first camera 1710 may provide a wider angle of view compared to the second camera 1720.
  • the first camera 1710 and the second camera 1720 may include a lens (not shown) and an image sensor (not shown), respectively.
  • the shot light passing through the lens reaches the light receiving surface of the image sensor and forms an image of the subject.
  • the image sensor may be a charge coupled device (CCD) image sensor or a complementary metal oxide semiconductor image sensor (CIS) that converts an optical signal into an electrical signal.
  • CCD charge coupled device
  • CIS complementary metal oxide semiconductor image sensor
  • the analog signal processor 121 performs noise reduction processing, gain adjustment, waveform shaping, analog-digital conversion processing, and the like on the analog signal supplied from the photographing unit 110.
  • the image signal processor 120 is a signal processor for processing a special function on the image data signal processed by the analog signal processor 121. For example, noise is reduced on input image data, gamma correction, color filter array interpolation, color matrix, color correction, and color enhancement ( color enhancement) Image signal processing may be performed to improve image quality such as white balance adjustment, luminance smoothing, and color shading, and to provide special effects.
  • the image signal processor 120 may generate an image file by compressing the input image data, or may restore the image data from the image file.
  • the compressed format of the video may be a reversible format or an irreversible format.
  • a suitable format in the case of a still image, it is also possible to convert to a JPEG (Joint Photographic Experts Group) format, a JPEG 2000 format, or the like.
  • a video file when recording a video, a video file may be generated by compressing a plurality of frames according to the Moving Picture Experts Group (MPEG) standard.
  • Image files can be generated according to the Exif (Exchangeable image file format) standard, for example.
  • the image signal processor 120 may generate a moving image file from the captured image signal generated by the image sensor 118.
  • the captured image signal may be a signal generated by the image sensor 118 and processed by the analog signal processor 121.
  • the image signal processor 120 generates frames to be included in the moving image file from the captured image signal, and generates the frames, for example, moving picture experts group 4 (MPEG4), H.264 / AVC, windows media video (WMV), and the like.
  • MPEG4 moving picture experts group 4
  • H.264 / AVC H.264 / AVC
  • WMV windows media video
  • Video files can be created in various formats such as mpg, mp4, 3gpp, avi, asf, and mov.
  • Image data output from the image signal processing unit 120 is input through the memory 130 or directly to the storage / reading control unit 140.
  • the storage / reading control unit 140 automatically generates image data according to a signal from a user or automatically.
  • To the memory card 142 the storage / reading control unit 140 reads data related to an image from an image file stored in the memory card 142, inputs it to the display driver through the memory 130, or through another path, to the display unit 164. You can also have an image displayed.
  • the memory card 142 may be removable or may be permanently mounted to the digital photographing apparatus 1700.
  • the memory card 142 may be a flash memory card such as a secure digital (SD) card.
  • the image signal processing unit 120 may also perform unsharpening, color processing, blur processing, edge enhancement processing, image analysis processing, image recognition processing, image effect processing, and the like on the input image data. Face recognition, scene recognition processing, and the like can be performed by the image recognition processing.
  • the image signal processor 120 may perform display image signal processing for display on the display unit 164. For example, luminance level adjustment, color correction, contrast adjustment, outline enhancement adjustment, screen division processing, character image generation and the like, and image synthesis processing can be performed.
  • the signal processed by the image signal processor 120 may be input to the controller 170 via the memory 130 or may be input to the controller 170 without passing through the memory 130.
  • the memory 130 operates as a main memory of the digital photographing apparatus 1700, and temporarily stores information necessary during the operation of the image signal processor 120 or the controller 170.
  • the program storage unit 150 may store a program such as an operating system or an application system for driving the digital photographing apparatus 1700.
  • the digital photographing apparatus 1700 includes a display unit 164 to display an operation state thereof or image information photographed by the digital photographing apparatus 1700.
  • the display unit 164 may provide visual information and / or audio information to a user.
  • the display unit 164 may include, for example, a liquid crystal display panel (LCD), an organic light emitting display panel, and the like.
  • the display unit 164 may be a touch screen that can recognize a touch input.
  • the display driver 162 provides a drive signal to the display unit 164.
  • the controller 170 may process the input image signal, and thereby control each component in accordance with the external input signal.
  • the controller 170 may correspond to one or a plurality of processors.
  • the processor may be implemented as an array of multiple logic gates, or may be implemented as a combination of a general purpose microprocessor and a memory storing a program that may be executed on the microprocessor.
  • the present embodiment may be implemented in other forms of hardware.
  • the controller 170 executes a program stored in the program storage unit 130 or includes a separate module to generate a control signal for controlling auto focusing, zoom change, focus change, automatic exposure compensation, and the like, and the aperture driver
  • the electronic device may be provided to the 115, the lens driver 112, and the image sensor controller 119, and may collectively control operations of components included in the digital photographing apparatus 1700 such as a shutter and a strobe.
  • controller 170 may be connected to an external monitor to perform predetermined image signal processing so that the image signal input from the image signal processor 120 may be displayed on an external monitor. You can have the video displayed on the monitor.
  • the controller 170 may detect motion information of the main subject based on the wide-angle image and the telephoto image.
  • the controller 170 may obtain a depth map based on the wide-angle image and the telephoto image acquired by the first camera 1710 and the second camera 1720.
  • the controller 170 may obtain information about global motion and local motion of the wide-angle image and the telephoto image. Accordingly, the controller 170 may obtain a depth map after correcting a blur due to the movement or the shaking of the main subject in the wide-angle image and the telephoto image.
  • the controller 170 may obtain motion information of the main subject based on the depth map.
  • the motion information may include information about the position and size of the main subject.
  • the controller 170 may determine one of the wide-angle image and the telephoto image as the main image based on the motion information of the main subject.
  • controller 170 may switch the main image from one of the wide-angle image and the telephoto image to the other based on the motion information of the main subject.
  • the operating method of the digital photographing apparatus may be implemented in the form of program instructions that may be executed by various computer means and may be recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Magneto-optical media and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

디지털 촬영 장치는 주피사체를 포함하는 광각 영상을 획득하는 제1 카메라, 주피사체를 줌(zoom) 한 망원 영상을 획득하는 제2 카메라, 및 광각 영상 및 망원 영상에 기초하여 주피사체의 움직임 정보를 검출하고, 움직임 정보에 기초하여, 광각 영상 및 망원 영상 중 하나를 주영상으로 결정하는 프로세서를 포함할 수 있다.

Description

디지털 촬영 장치 및 그 동작 방법
다양한 실시예들은 디지털 촬영 장치 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는 복수개의 카메라를 갖는 디지털 촬영 장치 및 그 동작 방법에 관한 것이다.
스마트폰, 태블릿 PC, 디지털 카메라 등과 같은 디지털 촬영 장치는 복수의 카메라를 포함할 수 있다.
디지털 촬영 장치는 터치 스크린의 디스플레이 화면을 기준으로, 전면 방향을 촬영하기 위한 전면 카메라와, 후면 방향을 촬영하기 위한 후면 카메라를 포함할 수 있다.
디지털 촬영 장치에 포함된 후면 카메라를 이용하여 촬영을 하는 경우, 사용자의 줌 조작에 의해 촬영되는 영상의 배율을 변경할 수 있다. 최근에는, 다양한 거리의 영상을 보다 고화질로 촬영하기 위해 초점 거리(focal length)가 다른 두 개의 후면 카메라를 포함하는 디지털 촬영 장치가 사용되고 있다.
다양한 실시예들은, 복수의 카메라들을 이용하여 영상을 촬영할 때에, 사용자의 조작 없이도 복수의 카메라들을 전환하면서 영상을 촬영하기 위한 디지털 촬영 장치 및 그 방법을 제공하기 위한 것이다.
또한, 다양한 실시예들은 복수의 카메라를 이용하여 주피사체의 움직임을 정확하게 추적하고, 이에 따라 주피사체를 포함하는 영상을 획득하기 위한 디지털 촬영 장치 및 그 방법을 제공하기 위한 것이다.
일 실시예에 따른 디지털 촬영 장치는 주피사체를 포함하는 광각 영상을 획득하는 제1 카메라, 광각 영상에 대하여 주피사체를 줌(zoom) 한 망원 영상을 획득하는 제2 카메라, 및 광각 영상 및 망원 영상에 기초하여 주피사체의 움직임 정보를 획득하고, 움직임 정보에 기초하여, 광각 영상 및 망원 영상 중 하나를 주영상으로 결정하는 프로세서를 포함할 수 있다.
일 실시예에 따른 프로세서는 광각 영상 및 망원 영상에 기초하여 주피사체의 속도를 획득하고, 주피사체의 속도에 기초하여, 주영상을 광각 영상 및 망원 영상 중 하나로 결정할 수 있다.
일 실시예에 따른 프로세서는 주피사체의 속도의 방향이 디지털 촬영 장치와 가까워지는 방향인 경우, 주영상을 망원 영상에서 광각 영상으로 변경할 수 있다.
일 실시예에 따른 프로세서는 주피사체의 속도의 방향이 디지털 촬영 장치로부터 멀어지는 방향인 경우, 주영상을 광각 영상에서 망원 영상으로 변경할 수 있다.
일 실시예에 따른 프로세서는 광각 영상 및 망원 영상에 기초하여 깊이 맵을 생성하고, 깊이 맵에 기초하여 주피사체의 움직임 정보를 획득할 수 있다.
일 실시예에 따른 프로세서는 제2 카메라가 주피사체의 위치에 대응되는 위치로 이동하도록 제어할 수 있다.
일 실시예에 따른 디지털 촬영 장치는 주영상을 라이브뷰 영상으로 디스플레이하는 디스플레이를 더 포함할 수 있다.
일 실시예에 따른 디스플레이는 광각 영상 및 망원 영상 중 다른 하나에 대응되는 부영상을 디스플레이 상의 주영상에 중첩하여 디스플레이할 수 있다.
일 실시예에 따른 프로세서는 주영상 내의 주피사체의 위치에 기초하여 디스플레이 상의 부영상을 디스플레이할 위치를 결정할 수 있다.
일 실시예에 따른 디지털 촬영 장치는 주영상을 동영상으로 저장하는 메모리를 더 포함할 수 있다.
일 실시예에 따른 디지털 촬영 장치의 동작 방법은, 제1 카메라 및 제2 카메라를 포함하는 디지털 촬영 장치의 동작 방법일 수 있다.
일 실시예에 따른 디지털 촬영 장치의 동작 방법은, 제1 카메라로부터 주피사체를 포함하는 광각 영상을 획득하고, 제2 카메라로부터 광각 영상에 대하여 주피사체를 줌(zoom) 한 망원 영상을 획득하는 단계, 광각 영상 및 망원 영상에 기초하여 주피사체의 움직임 정보를 획득하는 단계, 및 움직임 정보에 기초하여, 광각 영상 및 망원 영상 중 하나를 주영상으로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 장치의 동작 방법은 광각 영상 및 망원 영상에 기초하여 주피사체의 속도를 획득하는 단계, 및 주피사체의 속도에 기초하여, 주영상을 광각 영상 및 망원 영상 중 하나로 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 주영상을 변경하는 단계는 주피사체의 속도의 방향이 디지털 촬영 장치와 가까워지는 방향인 경우, 주영상을 망원 영상에서 광각 영상으로 변경하는 단계를 포함할 수 있다.
일 실시예에 따른 주영상을 변경하는 단계는 주피사체의 속도의 방향이 디지털 촬영 장치로부터 멀어지는 방향인 경우, 주영상을 광각 영상에서 망원 영상으로 변경하는 단계를 포함할 수 있다.
일 실시예에 따른 주피사체의 움직임 정보를 검출하는 단계는 광각 영상 및 망원 영상에 기초하여 깊이 맵을 생성하는 단계, 및 깊이 맵에 기초하여 주피사체의 움직임 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 장치의 동작 방법은 제2 카메라가 주피사체의 위치에 대응되는 위치로 이동하도록 제어하는 단계를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 장치의 동작 방법은 주영상을 라이브뷰 영상으로 디스플레이하는 단계를 더 포함할 수 있다.
일 실시예에 따른 디스플레이하는 단계는 광각 영상 및 망원 영상 중 다른 하나에 대응되는 부영상을 디스플레이 상의 주영상에 중첩하여 디스플레이하는 단계를 더 포함할 수 있다.
일 실시예에 따른 중첩하여 디스플레이하는 단계는 주영상 내의 주피사체의 위치에 기초하여 디스플레이 상의 부영상을 디스플레이할 위치를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 장치의 동작 방법은 주영상을 동영상으로 저장하는 단계를 더 포함할 수 있다.
다양한 실시예들에 의하면, 복수의 카메라를 이용하여 영상을 촬영할 때에, 사용자의 조작 없이도 복수의 카메라들을 전환하면서 영상을 촬영할 수 있다.
또한, 다양한 실시예들에 의하면, 복수의 카메라를 이용하여 주피사체의 움직임을 정확하게 추적하고, 이에 따라 주피사체를 포함하는 영상을 획득할 수 있게 된다.
도 1은 일 실시예에 따른 디지털 촬영 장치(100)의 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 흐름도이다.
도 3a는 디지털 촬영 장치(100)가 광각 영상(310)을 획득하는 것을 설명하기 위한 도면이다.
도 3b는 디지털 촬영 장치(100)가 망원 영상(320)을 획득하는 것을 설명하기 위한 도면이다.
도 4a 및 4b는 디지털 촬영 장치(100)가 주영상을 결정하는 것을 설명하기 위한 도면이다
도 5a는 일 실시예에 따라 디지털 촬영 장치(100)가 획득하는 깊이 맵(520)을 설명하기 위한 도면이다.
도 5b는 다른 실시예에 따라 디지털 촬영 장치(100)가 획득하는 깊이 맵(530)을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 흐름도이다.
도 7a는 일 실시예에 따라 디지털 촬영 장치(100)가 주피사체의 움직임 정보를 획득하는 것을 설명하기 위한 도면이다.
도 7b는 일 실시예에 따라 디지털 촬영 장치(100)가 주피사체의 이동 방향에 따라 주영상을 변경하는 것을 설명하기 위한 도면이다.
도 8a는 일 실시예에 따라 디지털 촬영 장치(100)가 주피사체의 움직임 정보를 획득하는 것을 설명하기 위한 도면이다.
도 8b는 일 실시예에 따라 디지털 촬영 장치(100)가 주피사체의 이동 방향에 따라 주영상을 변경하는 것을 설명하기 위한 도면이다.
도 9는 일 실시예에 따라 디지털 촬영 장치(100)가 주피사체의 이동 방향에 따라 제2 카메라(30)의 방향을 이동시키는 것을 나타내는 도면이다.
도 10는 일 실시예에 따라 주피사체가 이동함에 따라 디지털 촬영 장치(100)가 디스플레이하는 화면을 나타내는 도면이다.
도 11은 일 실시예에 따라 디지털 촬영 장치(100)가 주영상과 부영상을 디스플레이하는 화면을 나타내는 도면이다.
도 12는 일 실시예에 따라 디지털 촬영 장치(100)가 주영상과 부영상을 디스플레이하는 화면을 나타내는 다른 도면이다.
도 13은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 흐름도이다.
도 14는 일 실시예에 따른 디지털 촬영 장치(100)가 주영상을 동영상으로 저장하는 것을 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 디지털 촬영 장치(1500)의 구조를 설명하기 위한 블록도이다.
도 16은 일 실시예에 따른 디지털 촬영 장치(1600)의 구조를 설명하기 위한 블록도이다.
도 17은 일 실시예에 따른 디지털 촬영 장치(1700)의 구조를 설명하기 위한 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어누구떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참조하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 디지털 촬영 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 스마트 와치(smartwatch) 등) 중 적어도 하나를 포함할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 일 실시예에 따른 디지털 촬영 장치(100)의 동작을 설명하기 위한 도면이다.
디지털 촬영 장치(100)는 복수의 카메라를 포함하고, 복수의 카메라를 이용하여 영상을 획득할 수 있다. 디지털 촬영 장치(100)는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 카메라(camera), 및 웨어러블 장치(wearable device) 등을 포함할 수 있다. 또한 디지털 촬영 장치(100)는 이에 한정되지 않고, 렌즈 및 이미지 센서를 포함하여 피사체를 촬영하여 이미지를 생성할 수 있는 장치를 포함할 수 있다.
디지털 촬영 장치(100)는 복수의 카메라들을 포함할 수 있다. 여기서, 카메라는 적어도 하나의 렌즈 및 이미지 센서를 포함하고, 이미지 센서를 통해 이미지 신호를 획득하는 구성 요소를 의미한다. 카메라는 디지털 촬영 장치(100)에 포함될 수도 있고, 탈착 가능한 별도의 장치로 구성될 수도 있다. 디지털 촬영 장치(100)는 복수의 카메라들을 이용하여 파노라마 영상, 연속 촬영 영상 등을 포함하는 정지 영상 및 동영상 등을 촬영할 수 있다.
일 실시예에 따른 디지털 촬영 장치(100)는 주피사체(11)를 포함하는 광각 영상 (wide angle image) (15)을 획득하는 제1 카메라(20) 및 주피사체(11)를 줌(zoom) 한 망원 영상 (telephoto image)(13)을 획득하는 제2 카메라(30)를 포함할 수 있다.
도 1을 참조하면, 제1 카메라(20)는 제2 카메라(30)와 비교하여 보다 넓은 범위를 나타내는 영상을 촬영할 수 있다. 즉, 제1 카메라(20)는 제2 카메라(30)와 비교하여 보다 넓은 화각을 제공할 수 있다.
제1 카메라(20)는 주피사체(11) 뿐만 아니라 다양한 거리를 갖는 피사체를 포함하는 광각 영상(15)을 획득할 수 있다. 본 명세서에서 거리는 디지털 촬영장치(100)에서 피사체까지의 거리를 의미하는 용어로 사용된다. 제1 카메라(20)는 예를 들어, 30 내지 80°정도의 화각을 제공할 수 있다. 또한 제1 카메라(20)는 심도가 깊은 영상을 획득할 수 있다. 다시 말하면 제1 카메라(20)는 주피사체(11) 및 주피사체(11)와 거리가 상이한 다른 피사체 및 배경이 동시에 선명하게 나타나는 영상을 획득할 수 있다.
제2 카메라(30)는 주피사체(11)를 포함하는 망원 영상(13)을 획득할 수 있다. 제2 카메라(30)는 예를 들어, 10 내지 30° 정도의 화각을 제공할 수 있다. 또한 제2 카메라(30)는 심도가 얕은 영상을 획득할 수 있다. 다시 말하면 제2 카메라(30)는 주피사체(11) 부분이 선명하게 나타나고, 주피사체(11)와 거리가 상이한 다른 피사체 및 배경은 흐리게 나타나는 영상을 획득할 수 있다.
도 1을 참조하면, 제2 카메라(30)는 광각 영상(15)에 포함된 주피사체(11)에 초점을 맞추고, 주피사체(11)를 광각 영상(15)보다 확대하여 나타내는 망원 영상(13)을 획득할 수 있다.
또한, 제2 카메라(30)는 주피사체(11)를 추적할 수 있도록 이동 가능하게 구성될 수 있다. 즉, 제2 카메라(30)는 주피사체(11)가 움직이는 경우 망원 영상(13)에서 주피사체(11)가 벗어나지 않도록 주피사체(11)를 추적할 수 있다. 제2 카메라(30)는 피에조 모터 등을 이용하여 상, 하, 좌, 우로 이동 하거나 주피사체(11)를 따라 이동하고자 하는 방향으로 틸트(tilt)하도록 구성될 수 있다. 예를 들어, 제2 카메라(30)는 디지털 촬영 장치(100)가 움직이지 않는 상태에서 주피사체(11)를 추적하기 위해 안구가 이동하는 것과 같이 이동할 수 있다. 제2 카메라(30)는 아이캠(eye-cam)을 포함할 수 있다.
일 실시예에 따르면, 제1 카메라(20)는 광각 렌즈를 포함할 수 있고, 제2 카메라(30)는 망원렌즈를 포함할 수 있다.
제1 카메라(20)에 포함된 광각 렌즈는 제2 카메라(30)에 포함된 망원 렌즈보다 초점 거리(focal length)가 짧을 수 있다. 여기서, 초점 거리란 렌즈의 중심에서 이미지 센서까지의 거리를 의미한다. 제1 카메라(20)에 포함된 광각 렌즈는 예를 들어, 10mm 내지 30mm정도의 초점 거리를 갖는 렌즈일 수 있다. 또한, 제2 카메라(30)에 포함된 망원 렌즈는 예를 들어, 30mm 내지 500mm정도의 초점 거리를 갖는 렌즈일 수 있다.
예를 들어 설명한 광각 렌즈 및 망원 렌즈의 초점 거리는 단지 예시일 뿐이고, 구현 예에 따라 다양하게 결정될 수 있다.
제1 카메라(20) 및 제2 카메라(30)는 디지털 촬영 장치(100)의 후면에 배치될 수 있다. 즉, 카메라(20) 및 제2 카메라(30)는 디지털 촬영 장치(100)의 디스플레이 화면의 반대 방향에 배치될 수 있다. 도 1을 참조하면, 제1 카메라(20) 및 제2 카메라(30)가 디지털 촬영 장치(100)의 후면에 나란히 배치된 것으로 도시되었으나 도시된 형태에 제한되지 않는다.
디지털 촬영 장치(100)는 광각 영상(15) 및 망원 영상(13)에 기초하여 주피사체(11)의 움직임 정보를 검출 또는 획득할 수 있다.
예를 들어, 디지털 촬영 장치(100)는 제1 카메라(20) 및 제2 카메라(30)로 각각 획득한 광각 영상(15) 및 망원 영상(13)에 기초하여 깊이 맵을 획득할 수 있다.
또한, 디지털 촬영 장치(100)는 광각 영상(15) 및 망원 영상(13)의 글로벌 모션 및 로컬 모션에 대한 정보를 획득할 수 있다. 이에 따라, 디지털 촬영 장치(100)는 광각 영상(15) 및 망원 영상(13) 내에서 주피사체의 움직임 또는 손떨림에 따른 흔들림(blur)을 보정한 후에 깊이 맵을 획득할 수 있다.
디지털 촬영 장치(100)는 깊이 맵에 기초하여 주피사체(11)의 움직임 정보를 획득할 수 있다. 또한 디지털 촬영 장치(100)는 깊이 맵을 통하여 획득한 주피사체(11)의 움직임 정보에 기초하여 주피사체(11)의 이동 속도를 획득할 수 있다.
여기서, 주피사체(11)의 움직임 정보는 주피사체(11)의 위치 및 크기에 대한 정보를 포함할 수 있다.
주피사체(11)의 위치는 광각 영상(15) 및 망원 영상(13) 내에서의 주피사체(11)의 2차원적 위치 및 3차원적 위치 중 적어도 하나를 포함할 수 있다. 또한, 주피사체(11)의 위치는 디스플레이 장치(100)와 주피사체(11) 사이의 거리를 포함할 수 있다. 주피사체(11)의 크기는 광각 영상(15) 및 망원 영상(13) 내에서의 주피사체(11)의 2차원적인 크기 및 실제 크기 중 적어도 하나를 포함할 수 있다.
디지털 촬영 장치(100)는 주피사체(11)의 움직임 정보에 기초하여, 광각 영상(15) 및 망원 영상(13) 중 하나를 주영상으로 결정할 수 있다. 또한, 디지털 촬영 장치(100)는 주피사체(11)의 움직임 정보에 기초하여, 광각 영상(15) 및 망원 영상(13) 중 하나에서 다른 하나로 주영상을 전환할 수 있다.
여기서, 주영상은 디지털 촬영 장치(100)가 디스플레이(도시되지 않음)에 디스플레이하는 라이브 뷰(live view) 영상일 수 있다. 또한 주영상은 디지털 촬영 장치(100)에서 촬영되고 메모리(도시되지 않음)에 저장되는 영상일 수 있다. 주영상은 정지 영상 및 동영상을 포함할 수 있다.
디지털 촬영 장치(100)는 사용자의 조작에 의하지 않고도 광각 영상(15) 및 망원 영상(13) 중 하나를 주영상으로 결정할 수 있고, 이들 간에 전환 여부를 결정할 수 있다. 이에 따라 디지털 촬영 장치(100)는 광각 영상(15) 및 망원 영상(13)을 자동으로 전환하면서, 주피사체의 움직임이 보다 생동감 있게 나타나는 영상을 획득할 수 있다.
디지털 촬영 장치(100)가 주영상을 결정하는 방법 및, 광각 영상(15) 및 망원 영상(13) 중 하나에서 다른 하나로 주영상을 변경하는 방법에 대해서는 이하에서 자세히 설명한다.
도 2는 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 흐름도이다.
단계 S110에서, 디지털 촬영 장치(100)는 제1 카메라로부터 광각 영상을 획득하고, 제2 카메라로부터 망원 영상을 획득할 수 있다(S110).
일 실시예에 따른 광각 영상은 주피사체를 포함하는 영상일 수 있고, 망원 영상은 주피사체를 줌(zoom) 한 영상일 수 있다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 제1 카메라 및 제2 카메라를 이용하여 주피사체를 포함하는 적어도 두 개의 영상을 획득할 수 있다.
디지털 촬영 장치(100)는 제1 카메라로부터 주피사체 및 다양한 거리를 갖는 피사체를 포함하는 광각 영상을 획득할 수 있다.
디지털 촬영 장치(100)는 제2 카메라로부터 주피사체를 포함하는 망원 영상을 획득할 수 있다. 망원 영상은 주피사체를 광각 영상에서보다 확대하여 나타내는 영상일 수 있다.
단계 S120에서, 디지털 촬영 장치(100)는 광각 영상 및 망원 영상에 기초하여 주피사체의 움직임 정보를 검출할 수 있다(S120).
일 실시예에 따르면, 디지털 촬영 장치(100)는 제1 카메라 및 제2 카메라로 획득한 광각 영상 및 망원 영상에 기초하여 깊이 맵을 획득할 수 있다. 디지털 촬영 장치(100)는 깊이 맵에 기초하여 주피사체의 움직임 정보를 획득할 수 있다.
단계 S130에서, 디지털 촬영 장치(100)는 주피사체의 움직임 정보에 기초하여, 광각 영상 및 망원 영상 중 하나를 주영상으로 결정할 수 있다(S130).
일 실시예에 따르면, 디지털 촬영 장치(100)는 광각 영상과 망원 영상 중에서 주피사체를 보다 바람직한 구도로 디스플레이할 수 있는 영상을 주영상으로 결정할 수 있다.
예를 들어, 제2카메라로부터 획득된 망원 영상에서 주피사체가 화면 내에 모두 나타나는 경우, 디지털 촬영 장치(100)는 망원 영상을 주영상으로 결정할 수 있다.
다른 예를 들어, 제2카메라로부터 획득된 망원 영상에서 주피사체가 화면을 벗어나게 되는 경우, 디지털 촬영 장치(100)는 광각 영상을 주영상으로 결정할 수 있다. 구체적인 예로, 주피사체가 디지털 촬영 장치(100)로부터 근접한 거리(예를 들어, 0.5m 미만의 거리)에 위치해 있는 경우, 망원 영상은 주피사체의 일부의 확대된 부분만을 나타낼 수 있다. 이 경우, 디지털 촬영 장치(100)는 주피사체를 모두 나타낼 수 있도록 광각 영상을 주영상으로 결정할 수 있다.
도 3a는 디지털 촬영 장치(100)가 광각 영상(310)을 획득하는 것을 설명하기 위한 도면이다.
도 3a를 참조하면, 디지털 촬영 장치(100)는 제1 카메라를 이용하여 광각 영상(310)을 획득할 수 있다. 예를 들어, 디지털 촬영 장치(100)는 광각 영상(310)을 획득할 때에 예를 들어, 30 내지 80°정도의 화각(301)을 제공할 수 있다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 촬영을 개시할 때에 광각 영상(310)을 라이브 뷰 영상으로 디스플레이할 수 있다.
도 3b는 디지털 촬영 장치(100)가 망원 영상(320)을 획득하는 것을 설명하기 위한 도면이다.
도 3b를 참조하면, 디지털 촬영 장치(100)는 제2 카메라를 이용하여 망원 영상(320)을 획득할 수 있다. 디지털 촬영 장치(100)는 주피사체를 포함하는 영역(321)을 촬영하여 망원 영상(320)을 획득할 수 있다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 광각 영상(도 3a의 310) 및 망원 영상(320)에 기초하여 획득된 깊이 맵을 이용하여 주피사체를 포함하는 영역(321)을 결정할 수 있다.
도 3b를 참조하면, 디지털 촬영 장치(100)는 망원 영상(320)을 획득할 때에 10 내지 30° 정도의 화각(303)을 제공할 수 있다.
디지털 촬영 장치(100)가 망원 영상(320)을 주영상으로 결정한 경우, 디지털 촬영 장치(100)는 망원 영상(320)을 라이브 뷰 영상으로 디스플레이할 수 있다. 나아가, 디지털 촬영 장치(100)는 주영상으로 결정한 망원 영상(320)을 동영상으로 촬영하여 메모리(도시되지 않음)에 저장할 수 있다.
디지털 촬영 장치(100)는 주피사체가 망원 영상(320)의 범위를 벗어나지 않고 사용자에게 불편감을 주지 않는 한도 내에서, 주피사체를 광학 줌(zoom)에 의해 확대하여 나타낼 수도 있다.
또한, 디지털 촬영 장치(100)는 주피사체가 최적의 구도로 나타나는 망원 영상(320)을 획득할 수도 있다. 예를 들어, 디지털 촬영 장치(100)는 주피사체가 삼분할법 이나 황금비율에 따라 망원 영상(320) 내에 배치될 수 있도록 제어할 수 있다. 디지털 촬영 장치(100)가 주피사체를 포함하는 망원 영상(320)을 최적의 구도로 획득하는 방식은 이와 같은 실시예에 제한되는 것은 아니고, 공지된 다양한 방식을 포함할 수 있다.
도 4a 및 4b는 디지털 촬영 장치(100)가 주영상을 결정하는 것을 설명하기 위한 도면이다
디지털 촬영 장치(100)는 제1 카메라를 이용하여 도 4a의 광각 영상(410)을 획득할 수 있다. 또한, 디지털 촬영 장치(100)는 제2 카메라를 이용하여 도 4b의 망원 영상(430)을 획득할 수 있다.
일 실시예에 따르면, 디지털 촬영 장치(100)의 제1 카메라에 포함된 렌즈는 10mm 내지 30mm정도의 초점 거리를 갖는 광각 렌즈일 수 있다. 또한, 디지털 촬영 장치(100)의 제2 카메라에 포함된 렌즈는 예를 들어, 30mm 내지 500mm정도의 초점 거리를 갖는 망원 렌즈일 수 있다. 또한, 디지털 촬영 장치(100)의 제1 카메라 및 제2 카메라에 포함된 렌즈는 초점 거리를 조절하는 것이 가능한 렌즈일 수도 있다.
도 4a는 일 실시예에 따라, 디지털 촬영 장치(100)가 제1 카메라를 이용하여 약 0.5m 거리에 위치한 주피사체(401)와 주피사체(401) 주위의 배경을 포함하는 광각 영상(410)을 획득하는 것을 도시하였다. 이 때, 디지털 촬영 장치(100)의 제1 카메라에 포함된 렌즈는 약 10mm 의 초점 거리를 가질 수 있다.
도 4b는 일 실시예에 따라, 디지털 촬영 장치(100)가 제2 카메라를 이용하여 약 0.5m 거리에 위치한 주피사체(401)의 일부분을 포함하는 영역(425)에 대응되는 망원 영상(430)을 획득하는 것을 도시하였다. 이 때, 디지털 촬영 장치(100)의 제2 카메라에 포함된 렌즈는 약 30mm 의 초점 거리를 가질 수 있다.
예를 들어, 도 4b에 도시된 바와 같이, 제2 카메라로부터 획득된 망원 영상(430)에서 주피사체(401)가 화면을 벗어나게 되는 경우, 디지털 촬영 장치(100)는 도 4a에 도시된 광각 영상(410)을 주영상으로 결정할 수 있다.
구체적으로, 도 4b에 도시된 바와 같이, 주피사체(401)가 디지털 촬영 장치(100)로부터 근접한 거리(예를 들어, 0.5m 미만의 거리)에 위치해 있는 경우, 망원 영상(430)은 주피사체(401)의 일부분을 포함하는 영역(425)만을 확대하여 나타낼 수 있다. 이 경우, 디지털 촬영 장치(100)는 주피사체(401)를 모두 나타낼 수 있도록 도 4a에 도시된 광각 영상(410)을 주영상으로 결정할 수 있다.
디지털 촬영 장치(100)가 광각 영상(410)을 주영상으로 결정한 경우, 디지털 촬영 장치(100)는 광각 영상(410)을 라이브 뷰 영상으로 디스플레이할 수 있다.
일 실시예에 따른 디지털 촬영 장치(100)는 광각 영상(410) 및 망원 영상(430)에 기초하여 주피사체(401)의 움직임 정보를 획득할 수 있다.
디지털 촬영 장치(100)는 주피사체(401)의 움직임 정보에 기초하여 광각 영상(410) 및 망원 영상(430) 중에서 주영상을 결정하는 것을 미리 정해진 주기마다 반복할 수 있다. 예를 들어, 주영상이 광각 영상(410)으로 결정된 후에, 주피사체(401)가 디지털 촬영 장치(100)와 멀어지는 경우, 디지털 촬영 장치(100)는 주영상을 광각 영상(410)에서 망원 영상(430)으로 변경할 수 있다.
일 실시예에 따른 디지털 촬영 장치(100)는 주피사체(401)의 움직임 정보에 기초하여 주피사체(401)의 이동 방향을 예측하여 이에 따라, 결정된 주영상을 다른 영상으로 변경할 수 있다.
디지털 촬영 장치(100)가 결정된 주영상을 다른 영상으로 변경하는 것에 대해서는 이하 도 6 내지 도 8b를 이용하여 자세히 설명한다.
도 5a는 일 실시예에 따라 디지털 촬영 장치(100)가 획득하는 깊이 맵(520)을 설명하기 위한 도면이다.
도 5a를 참조하면, 디지털 촬영 장치(100)는 좌측에 도시된 영상(510)에 대응되는 깊이 맵(520)을 획득할 수 있다. 도 5a의 좌측에 도시된 영상(510)은 ROI(Region of Interest) 영역을 포함하는 영상일 수 있다. ROI(Region of Interest) 영역은 주피사체(501)를 포함하는 영역으로 결정될 수 있다. 도 5a의 깊이 맵(520)은 영상을 획득하는 지점으로부터 피사체의 표면까지의 거리와 관련된 정보를 나타낼 수 있다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 제1 카메라 및 제2 카메라로 획득한 광각 영상 및 망원 영상에 기초하여 깊이 맵(520)을 획득할 수 있다.
제1 카메라 및 제2 카메라의 위치 차이에 의해 획득된 광각 영상 및 망원 영상에 시차가 존재할 수 있다. 디지털 촬영 장치(100)는 광각 영상 및 망원 영상의 시차를 이용하여 영상 내의 피사체들의 거리를 계산할 수 있다. 디지털 촬영 장치(100)는 계산된 피사체들의 거리를 기초로 하여 깊이 맵(520)을 생성할 수 있다.
도 5a를 참조하면, 깊이 맵(520)은 화소의 밝기로 거리와 관련된 정보를 나타낼 수 있다. 예를 들어, 깊이 맵(520)내에서 가장 밝게 표시된 부분(521)이 거리가 가장 가까운 부분이고, 그 다음으로 밝게 표시된 부분(523)은 그 다음으로 가까운 부분을 나타낸다. 또한, 깊이 맵(520)내에서 가장 어둡게 표시된 부분(525)은 거리가 먼 부분을 나타낸다.
전술한 바와 같이 디지털 촬영 장치(100)는 밝기 정보를 이용하여 깊이 맵(520)을 나타낼 수도 있고, 거리에 따라 컬러를 다르게 표시할 수도 있다. 깊이 맵(520)을 나타내는 방법은 다양한 방법이 있으며, 전술한 예에 제한되는 것은 아니다.
일 실시예에 따르면, 깊이 맵(520)은 광각 영상 및 망원 영상의 시차를 이용하기 때문에, 깊이 맵(520)이 나타낼 수 있는 영역은 광각 영상 및 망원 영상이 공통으로 포함하는 영역일 수 있다. 즉, 깊이 맵(520)이 나타낼 수 있는 영역은 망원 영상에 대응될 수 있다.
도 5a를 참조하면, 디지털 촬영 장치(100)는 깊이 맵(520)내에서 가장 밝게 표시된 부분(521)을 주피사체(501)에 대응되는 부분으로 결정할 수 있다. 다른 실시예에 따르면, 디지털 촬영 장치(100)는 사용자 입력에 기초하여 주피사체를 결정할 수도 있다.
일 실시예에 따라, 깊이 맵(520)이 나타내는 영역이 망원 영상에 대응되는 경우, 디지털 촬영 장치(100)는 망원 영상이 주피사체를 충실하게 나타내는 것으로 판단할 수 있다. 이 때, 디지털 촬영 장치(100)는 망원 영상을 주영상으로 결정할 수 있다.
도 5b는 다른 실시예에 따라 디지털 촬영 장치(100)가 획득하는 깊이 맵(530)을 설명하기 위한 도면이다.
디지털 촬영 장치(100)가 깊이 맵(530)이 전체적으로 밝은 색을 나타낼 때, 디지털 촬영 장치(100)가 피사체에 과도하게 근접한 상태임을 판단할 수 있다.
일 실시예에 따라, 깊이 맵(530)이 나타내는 영역이 망원 영상에 대응되는 경우, 디지털 촬영 장치(100)는 망원 영상이 주피사체의 일부만을 나타내는 것으로 판단할 수 있다. 이 때, 디지털 촬영 장치(100)는 광각 영상을 주영상으로 결정할 수 있다.
도 6은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 흐름도이다.
단계 S210에서, 디지털 촬영 장치(100)는 광각 영상 및 망원 영상에 기초하여 깊이 맵을 획득할 수 있다(S210).
여기서, 광각 영상은 디지털 촬영 장치(100)의 제1 카메라로부터 획득된 영상일 수 있고, 망원 영상은 디지털 촬영 장치(100)의 제2 카메라로부터 획득된 영상일 수 있다. 디지털 촬영 장치(100)는 제1 카메라 및 제2 카메라의 위치 차이에 따른 광각 영상 및 망원 영상의 시차를 이용하여 깊이 맵을 획득할 수 있다.
단계 S220에서, 디지털 촬영 장치(100)는 깊이 맵에 기초하여 주피사체의 속도를 획득할 수 있다(S220).
디지털 촬영 장치(100)는 깊이 맵에 기초하여 주피사체의 속도를 획득할 수 있고, 이에 따라 시간에 따른 주피사체의 위치를 예측할 수 있다.
단계 S230에서, 디지털 촬영 장치(100)는 주피사체의 속도에 기초하여 주영상을 변경할 수 있다(S230).
예를 들어, 디지털 촬영 장치(100)는 주피사체의 속도가 미리 정해진 속도보다 느려지는 경우, 주영상을 광각 영상에서 망원 영상으로 변경할 수 있다. 즉, 만약 주영상이 미리 정해진 속도보다 느린 경우, 디지털 촬영 장치(100)는 주피사체를 용이하게 촬영할 수 있으므로, 망원 영상을 주영상으로 디스플레이할 수 있다.
또한, 디지털 촬영 장치(100)는 주피사체의 속도가 미리 정해진 속도보다 커지는 경우, 광각 영상을 촬영하는 제1 카메라가 빠르게 움직이는 주피사체를 촬영하는데에 더 적합하므로, 주영상을 망원 영상에서 광각 영상으로 변경할 수 있다.
도 7a는 일 실시예에 따라 디지털 촬영 장치(100)가 주피사체의 움직임 정보를 획득하는 것을 설명하기 위한 도면이다.
도 7a를 참조하면, 제1 깊이 맵(710)은 제1 ROI 영역(701)을 포함하는 제1 시간에서의 깊이 맵일 수 있다. 또한, 제2 깊이 맵(720)은 제2 ROI 영역(703)을 포함하는 제2 시간에서의 깊이 맵일 수 있다. ROI 영역(701)은 주피사체를 포함하는 영역일 수 있다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 깊이 맵에서의 제1 ROI 영역(701) 및 제2 ROI 영역(703) 각각의 크기, 밝기 및 컬러 중 적어도 하나의 변화에 기초하여 주피사체의 움직임 정보를 획득할 수 있다.
도 7a를 참조하여 제1 깊이 맵(710)과 제2 깊이 맵(720)을 비교하면, 제1 시간에서 제2 시간으로 시간이 흐름에 따라, 제1 ROI 영역(701)이 축소됨을 알 수 있다. 디지털 촬영 장치(100)는 제2 시간에서의 제2 ROI 영역(703)이 제1 시간에서의 제1 ROI 영역(701)보다 작아지는 것에 기초하여, 디지털 촬영 장치(100)로부터 주피사체의 거리가 멀어지고 있다고 판단할 수 있다.
또한, 깊이 맵이 화소의 밝기를 이용하여 거리를 나타내는 경우, 디지털 촬영 장치(100)는 깊이 맵의 제1 ROI 영역(701)이 어두워지는 것에 기초하여, 디지털 촬영 장치(100)와 주피사체의 거리가 멀어지고 있다고 판단할 수 있다.
도 7b는 일 실시예에 따라 디지털 촬영 장치(100)가 주피사체의 이동 방향에 따라 주영상을 변경하는 것을 설명하기 위한 도면이다.
도 7b를 참조하면, 디지털 촬영 장치(100)는 주피사체가 이동하는 방향이 -z 의 방향이라고 결정할 수 있다. 즉, 디지털 촬영 장치(100)는 주피사체가 디지털 촬영 장치(100)로부터 멀어지는 것으로 결정할 수 있다. 이 때, 디지털 촬영 장치(100)는 주영상을 광각 영상(730)에서 망원 영상(740)으로 변경할 수 있다.
도 8a는 일 실시예에 따라 디지털 촬영 장치(100)가 주피사체의 움직임 정보를 획득하는 것을 설명하기 위한 도면이다.
도 8a를 참조하면, 제1 깊이 맵(810)은 제1 ROI(801) 영역을 포함하는 제1 시간에서의 깊이 맵일 수 있다. 또한, 제2 깊이 맵(820)은 제2 ROI 영역을 포함하는 제2 시간에서의 깊이 맵일 수 있다. 제1 ROI 영역(801)은 주피사체를 포함하는 영역일 수 있다.
도 7a에서 설명한 것과 마찬가지로 디지털 촬영 장치(100)는 깊이 맵에서의 제1 ROI 영역(801) 및 제2 ROI 영역(803) 각각의 크기, 밝기 및 컬러 중 적어도 하나의 변화에 기초하여 주피사체의 움직임 정보를 획득할 수 있다.
도 8a를 참조하여 제1 깊이 맵(810)과 제2 깊이 맵(820)을 비교하면, 제1 시간에서 제2 시간으로 시간이 흐름에 따라, 제1 ROI 영역(801)이 확대됨을 알 수 있다. 디지털 촬영 장치(100)는 제2 시간에서의 제2 ROI 영역(803)이 제1 시간에서의 제1 ROI 영역(801)보다 확대되는 것에 기초하여, 디지털 촬영 장치(100)로부터 주피사체의 거리가 가까워지고 있다고 판단할 수 있다.
또한, 깊이 맵이 화소의 밝기를 이용하여 거리를 나타내는 경우, 디지털 촬영 장치(100)는 깊이 맵의 제1 ROI 영역(801)이 밝아지는 것에 기초하여, 디지털 촬영 장치(100)와 주피사체의 거리가 가까워지고 있다고 판단할 수 있다.
도 8b는 일 실시예에 따라 디지털 촬영 장치(100)가 주피사체의 이동 방향에 따라 주영상을 변경하는 것을 설명하기 위한 도면이다.
도 8b를 참조하면, 디지털 촬영 장치(100)는 주피사체가 이동하는 방향이 +z 의 방향이라고 결정할 수 있다. 즉, 디지털 촬영 장치(100)는 주피사체가 디지털 촬영 장치(100)에 가까워지는 것으로 결정할 수 있다. 이 때, 디지털 촬영 장치(100)는 주영상을 망원 영상(830)에서 광각 영상(840)으로 변경할 수 있다.
도 9는 일 실시예에 따라 디지털 촬영 장치(100)가 주피사체의 이동 방향에 따라 제2 카메라(30)의 방향을 이동시키는 것을 나타내는 도면이다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 제2 카메라(30)가 주피사체의 위치에 대응되는 위치로 이동하도록 제어할 수 있다. 디지털 촬영 장치(100)는 주피사체(901)가 움직이는 경우 제1 망원 영상(910)에서 주피사체(901)가 벗어나지 않도록 주피사체(901)를 추적할 수 있다. 제2 카메라(30)는 피에조 모터 등을 이용하여 상, 하, 좌, 우로 이동 하거나 틸트(tilt)하도록 구성될 수 있다
디지털 촬영 장치(100)는 주피사체(901)가 이동하는 경우, 깊이 맵에 기초하여 주피사체(901)의 움직임 정보를 획득할 수 있다. 디지털 촬영 장치(100)는 주피사체(901)의 움직임 정보에 기초하여 주피사체(901)의 이동 방향을 결정할 수 있다.
구체적으로, 디지털 촬영 장치(100)는 제1 시점에서 제1 영역(910)에 대한 망원 영상을 획득할 수 있다. 그 후, 디지털 촬영 장치(100)는 제2 카메라(30)가 주피사체(901)의 이동 방향에 대응되는 방향으로 이동하도록 제어할 수 있다. 이에 따라, 디지털 촬영 장치(100)는 제2 시점에서 제2 영역(920)에 대한 망원 영상을 획득할 수 있다.
도 9에서는 제2 카메라(30)가 이동되는 것을 예를 들어 설명하였지만, 구현 예에 따라 제1 카메라(20) 또한 이동하도록 구성될 수 있다.
도 10는 일 실시예에 따라 주피사체(1001)가 이동함에 따라 디지털 촬영 장치(100)가 디스플레이하는 화면을 나타내는 도면이다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 제1 시점에서, 움직이는 주피사체(1001)를 포함하는 제1 망원 영상(1010)을 획득할 수 있다. 제1 망원 영상(1010)은 제1 영역(1013)을 촬영한 영상일 수 있다.
디지털 촬영 장치(100)는 제2 카메라(30)가 주피사체(1001)의 이동 방향에 대응되는 방향으로 이동하도록 제어할 수 있다. 이에 따라, 디지털 촬영 장치(100)는 제2 시점에서, 움직이는 주피사체(1003)를 포함하는 제2 망원 영상(1020)을 획득할 수 있다. 제2 망원 영상(1020)은 제2 영역(1023)을 촬영한 영상일 수 있다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 제1 망원 영상(1010)에 포함된 주 피사체(1001)의 얼굴(1011)의 위치를 인식할 수 있다. 디지털 촬영 장치(100)는 피사체의 얼굴(1021)이 대응되는 제2 망원 영상(1020) 내의 위치에 포함되도록 디스플레이할 수 있다.
도 11은 일 실시예에 따라 디지털 촬영 장치(100)가 주영상과 부영상을 디스플레이하는 화면을 나타내는 도면이다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 광각 영상 및 망원 영상 중 하나인 주영상을 디스플레이하는 동안, 광각 영상 및 망원 영상 중 다른 하나인 부영상을 주영상에 중첩하여 디스플레이할 수 있다.
예를 들어, 망원 영상(1110)이 주영상이고, 광각 영상(1115)이 부영상인 경우, 디지털 촬영 장치(100)는 망원 영상(1110)을 전체 화면으로 디스플레이하는 동시에 광각 영상(1115)를 PIP(Picture in Picture)로 중첩하여 표시할 수 있다.
일 실시예에 따르면 디지털 촬영 장치(100)는 광각 영상(1115)을 선택하는 사용자 입력에 기초하여, 전체 화면으로 디스플레이하는 영상과 PIP로 디스플레이하는 영상의 위치를 서로 전환할 수 있다. 즉 사용자의 입력에 기초하여, 디지털 촬영 장치(100)는 광각 영상(1120)을 전체 화면으로 디스플레이 하는 동시에 망원 영상(1125)을 PIP로 중첩하여 표시할 수 있다.
일 실시예에 따라 디지털 촬영 장치(100)는 영상을 촬영하는 때에 부영상(1115)을 선택하는 사용자 입력을 수신할 수 있다. 이 때, 디지털 촬영 장치(100)는 전체 화면으로 디스플레이하는 라이브뷰 영상을 변경할 수 있다. 또한, 디지털 촬영 장치(100)는 주영상(1110) 및 부영상(1115)을 서로 전환할 수 있게 된다.
다른 실시예에 따라 디지털 촬영 장치(100)는 동영상을 재생하는 때에 부영상(1115)을 선택하는 사용자 입력을 수신할 수 있다. 이 때, 디지털 촬영 장치(100)는 전체 화면으로 디스플레이하는 영상을 망원 영상(1110)에서 광각 영상(1120)으로 변경할 수 있다. 이 때, 디지털 촬영 장치(100)는 주영상(1110) 및 부영상(1115)을 서로 전환하지 않으면서 전체 화면으로 디스플레이하는 영상만을 변경할 수 있다.
도 12는 일 실시예에 따라 디지털 촬영 장치(100)가 주영상과 부영상을 디스플레이하는 화면을 나타내는 다른 도면이다.
디지털 촬영 장치(100)는 주영상(1210)을 전체 화면으로 디스플레이하는 동시에 부영상(1215)을 중첩하여 표시할 수 있다. 디지털 촬영 장치(100)는 주영상(1210) 내의 주피사체(1211)의 위치에 기초하여 부영상(1215)을 디스플레이할 위치를 결정할 수 있다.
일 실시예에 따라, 디지털 촬영 장치(100)는 광역 영상 및 망원 영상에 기초하여 주피사체(1211)의 움직임 정보를 획득할 수 있다. 디지털 촬영 장치(100)는 획득된 주피사체(1211)의 움직임 정보에 기초하여, 주영상(1210) 내에서의 주피사체(1211)의 이동 방향을 결정할 수 있다.
만약, 주피사체(1211)의 이동 방향이 디지털 촬영 장치(100)의 화면 내에서 좌측 상단을 향하는 경우에, 디지털 촬영 장치(100)는 주영상(1220) 내에 부영상(1225)을 우측 하단에 디스플레이할 수 있다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 주영상(1220)내에서 주피사체를 가리지 않는 위치에 부영상(1225)을 디스플레이할 수 있다. 또한, 디지털 촬영 장치(100)는 주영상(1220)내에서 주피사체로부터 가장 먼 위치에 부영상(1225)을 디스플레이할 수 있다.
도 13은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 흐름도이다.
단계 S310에서, 디지털 촬영 장치(100)는 제1 카메라로부터 광각 영상을 획득하고, 제2 카메라로부터 망원 영상을 획득할 수 있다(S310).
일 실시예에 따른 광각 영상은 주피사체를 포함하는 영상일 수 있다. 망원 영상은 주피사체를 광각 영상에서보다 확대하여(또는 줌 하여) 나타내는 영상일 수 있다.
단계 S320에서, 디지털 촬영 장치(100)는 광각 영상 및 망원 영상에 기초하여 주피사체의 움직임 정보를 검출할 수 있다(S320).
일 실시예에 따르면, 디지털 촬영 장치(100)는 광각 영상 및 망원 영상에 기초하여 깊이 맵을 획득할 수 있다. 디지털 촬영 장치(100)는 깊이 맵에 기초하여 주피사체의 움직임 정보를 획득할 수 있다.
단계 S330에서, 디지털 촬영 장치(100)는 주피사체의 움직임 정보에 기초하여 광각 영상 및 망원 영상 중 하나를 주영상으로 결정할 수 있다(S330).
일 실시예에 따르면, 디지털 촬영 장치(100)는 광각 영상과 망원 영상 중에서 주피사체를 보다 바람직한 구도로 디스플레이할 수 있는 영상을 주영상으로 결정할 수 있다.
단계 S340에서, 디지털 촬영 장치(100)는 결정된 주영상을 동영상으로 저장할 수 있다(S340).
디지털 촬영 장치(100)는, 미리 정해진 주기마다 단계 S310 내지 S330을 반복하면서 결정되는 주영상을 동영상으로 저장할 수 있다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 주영상으로 결정된 영상들을 포함하는 동영상 스트림을 메모리(도시되지 않음)에 저장할 수 있다.
메모리는 디지털 촬영 장치(100)에 내장된 메모리 또는 탈착 가능한 메모리일 수 있고, 디지털 촬영 장치(100)와 통신 가능한 외부 기기에 포함되는 메모리일 수 있다.
도 14는 일 실시예에 따른 디지털 촬영 장치(100)가 주영상을 동영상으로 저장하는 것을 설명하기 위한 도면이다.
디지털 촬영 장치(100)은 동영상을 촬영하는 모드에서, 제1 카메라 및 제2 카메라 각각을 이용하여 광역 영상과 망원 영상 각각을 동시에 획득할 수 있다.
도 14를 참조하면, 디지털 촬영 장치(100)는 T1 시간 동안 광역 영상을 주영상으로 결정할 수 있고, T2 시간 동안 망원 영상을 주영상으로 결정할 수 있고, T3 시간 동안 광역 영상을 주영상으로 결정할 수 있고, T4 시간 동안 망원 영상을 주영상으로 결정할 수 있다.
디지털 촬영 장치(100)는 동영상을 촬영하는 동안 획득한 광역 영상 스트림 전체 및 망원 영상 스트림 전체를 저장할 수 있다.
또한, 디지털 촬영 장치(100)는 주영상만을 포함하는 포함하는 동영상을 메모리에 저장할 수 있다.
구체적으로, 디지털 촬영 장치(100)는 T1 시간 동안 획득한 광역 영상 스트림(1401), T2 시간 동안 획득한 망원 영상 스트림(1403), T3 시간 동안 획득한 광역 영상 스트림(1405) 및 T4 시간 동안 획득한 망원 영상 스트림(1407)을 포함하는 동영상을 메모리에 저장할 수 있다.
일 실시예에 따른 디지털 촬영 장치(100)에 의하면, 제1 카메라 및 제2 카메라를 이용하여 동영상을 촬영을 하는 동시에, 주영상으로 결정된 영상 스트림을 포함하는 동영상을 저장할 수 있다.
즉, 디지털 촬영 장치(100)는 동영상 촬영과 동시에 주피사체를 보다 생동감 있게 나타내거나 적절한 구도로 표현하는 주영상들(1401, 1403, 1405, 1407)을 편집하여 동영상을 저장할 수 있다.
일 실시예에 의하면, 디지털 촬영 장치(100)는 동영상을 재생할 때, 광역 영상 스트림을 포함하는 주영상들(1401, 1405)의 경우 1배속 보다 빠른 속도로 재생하고, 망원 영상 스트림을 포함하는 주영상들(1403, 1407)의 경우 1배속으로 재생할 수 있다.
도 15는 일 실시예에 따른 디지털 촬영 장치(1500)의 구조를 설명하기 위한 블록도이다.
일 실시예에 따른 디지털 촬영 장치(1500)는 카메라(1510), 프로세서(1520), 디스플레이(1530) 및 메모리(1540)를 포함할 수 있다.
카메라(1510)는 복수의 카메라를 포함할 수 있다. 여기서, 카메라는 적어도 하나의 렌즈 및 이미지 센서를 포함하고, 이미지 센서를 통해 이미지 신호를 획득하는 구성 요소를 의미한다.
카메라(1510)는 제1 카메라(1511) 및 제2 카메라(1513)를 포함할 수 있다. 제1 카메라(1511)는 주피사체를 포함하는 광각 영상을 획득할 수 있다. 제2 카메라(1513)는 주피사체를 줌(zoom) 한 망원 영상을 획득할 수 있다.
제1 카메라(1511)는 제2 카메라(1513)와 비교하여 보다 넓은 범위를 나타내는 영상을 촬영할 수 있다. 즉, 제1 카메라(1511)는 제2 카메라(1513)와 비교하여 보다 넓은 화각을 제공할 수 있다.
제1 카메라(1511)는 주피사체 뿐만 아니라 다양한 거리를 갖는 피사체를 포함하는 광각 영상을 획득할 수 있다. 제1 카메라(1511)는 예를 들어, 30 내지 80°정도의 화각을 제공할 수 있다. 또한 제1 카메라(1511)는 심도가 깊은 영상을 획득할 수 있다.
제2 카메라(1513)는 주피사체를 포함하는 망원 영상을 획득할 수 있다. 제2 카메라(1513)는 예를 들어, 10 내지 30° 정도의 화각을 제공할 수 있다. 또한 제2 카메라(1513)는 심도가 얕은 영상을 획득할 수 있다.
제2 카메라(1513)는 주피사체가 움직임에 따라, 주피사체를 추적할 수 있도록 이동 가능하게 구성될 수 있다. 예를 들어, 제2 카메라(1513)는 피에조 모터 등을 이용하여 상하 좌우로 이동 하거나 틸트(tilt)하도록 구성될 수 있다.
일 실시예에 따르면, 제1 카메라(1511)는 광각 렌즈를 포함할 수 있고, 제2 카메라(1513)는 망원렌즈를 포함할 수 있다.
제1 카메라(1511)에 포함된 광각 렌즈는 제2 카메라(1513)에 포함된 망원 렌즈보다 초점 거리(focal length)가 짧을 수 있다. 여기서, 초점 거리란 렌즈의 중심에서 이미지 센서까지의 거리를 의미한다. 제1 카메라(1511)에 포함된 광각 렌즈는 예를 들어, 10mm 내지 30mm정도의 초점 거리를 갖는 렌즈일 수 있다. 또한, 제2 카메라(1513)에 포함된 망원 렌즈는 예를 들어, 30mm 내지 500mm정도의 초점 거리를 갖는 렌즈일 수 있다. 예를 들어 설명한 광각 렌즈 및 망원 렌즈의 초점 거리는 단지 예시일 뿐이고, 구현 예에 따라 다양하게 결정될 수 있다.
프로세서(1520)는 프로세서(1520)에 연결된 카메라(1510), 디스플레이(1530) 및 메모리(1540) 등을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(1520)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 프로세서(1520)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다.
프로세서(1520)는 광각 영상 및 망원 영상에 기초하여 주피사체의 움직임 정보를 검출할 수 있다.
일 실시예에 따르면, 프로세서(1520)는 제1 카메라(1511) 및 제2 카메라(1513)로 획득한 광각 영상 및 망원 영상에 기초하여 깊이 맵을 획득할 수 있다.
또한, 프로세서(1520)는 광각 영상 및 망원 영상의 글로벌 모션 및 로컬 모션에 대한 정보를 획득할 수 있다. 이에 따라, 프로세서(1520)는 광각 영상 및 망원 영상 내에서 주피사체의 움직임 또는 손떨림에 따른 흔들림(blur)을 보정한 후에 깊이 맵을 획득할 수 있다.
프로세서(1520)는 깊이 맵에 기초하여 주피사체의 움직임 정보를 획득할 수 있다. 일 실시예에 따르면, 움직임 정보는 주피사체의 위치 및 크기에 대한 정보를 포함할 수 있다.
프로세서(1520)는 주피사체의 움직임 정보에 기초하여, 광각 영상 및 망원 영상 중 하나를 주영상으로 결정할 수 있다.
또한, 프로세서(1520)는 주피사체의 움직임 정보에 기초하여, 광각 영상 및 망원 영상 중 하나에서 다른 하나로 주영상을 전환할 수 있다. 구체적으로, 프로세서(1520)는 광각 영상 및 망원 영상에 기초하여 주피사체의 속도를 획득하고, 주피사체의 속도에 기초하여, 주영상을 광각 영상 및 망원 영상 중 다른 하나로 변경할 수 있다.
프로세서(1520)는 주피사체의 속도의 방향이 디지털 촬영 장치와 가까워지는 방향인 경우, 주영상을 망원 영상에서 광각 영상으로 변경할 수 있다. 또한, 프로세서(1520)는 주피사체의 속도의 방향이 디지털 촬영 장치로부터 멀어지는 방향인 경우, 주영상을 광각 영상에서 망원 영상으로 변경할 수 있다.
프로세서(1520)는 깊이 맵에 기초하여 주피사체를 검출할 수 있다. 프로세서(1520)는 제2 카메라(1513)가 주피사체의 위치에 대응되는 위치로 이동하도록 제어할 수 있다.
프로세서(1520)는 주영상 내의 주피사체의 위치에 기초하여 부영상을 디스플레이할 위치를 결정할 수 있다. 여기서 부영상은 광각 영상 및 망원 영상 중 주영상이 아닌 다른 하나일 수 있다.
디스플레이(1530)는 주영상을 라이브 뷰 영상으로 디스플레이할 수 있다. 또한, 디스플레이(1530)는 부영상을 주영상에 중첩하여 디스플레이할 수 있다.
메모리(1540)는 주영상을 동영상으로 저장할 수 있다. 예를 들면, 메모리(1540)는 내장 메모리 또는 외장 메모리를 포함할 수 있다.
디지털 촬영 장치(1500)는 사용자의 조작에 의하지 않고도 광각 영상 및 망원 영상 중 하나를 주영상으로 결정할 수 있고, 이들 간에 전환 여부를 결정할 수 있다. 이에 따라 디지털 촬영 장치(1500)는 광각 영상 및 망원 영상을 자동으로 전환하면서, 주피사체의 움직임이 보다 생동감 있게 나타나는 영상을 획득할 수 있다.
도 16은 일 실시예에 따른 디지털 촬영 장치(1600)의 구조를 설명하기 위한 블록도이다. 디지털 촬영 장치(1600)는, 예를 들면, 도 15에 도시된 디지털 촬영 장치(1500)의 구성의 전체 또는 일부를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 장치(1600)는 하나 이상의 프로세서(예: AP(application processor))(210), 통신 모듈(220), 가입자 식별 모듈(224), 저장부(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다.
메인 프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 메인 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 메인 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 메인 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 메인 프로세서(210)는 도 16에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 메인 프로세서(210) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
일 실시예에 따른 메인 프로세서(210)는 도 15의 프로세서(1520)를 포함할 수 있다.
통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227)(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈(228) 및 RF(radio frequency) 모듈(229)를 포함할 수 있다.
저장부(230)는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 디지털 촬영 장치(1600)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 디지털 촬영 장치(1600)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 디지털 촬영 장치(1600)는 메인 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 메인 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
일 실시예에 따르면, 자이로 센서(240B), 가속도 센서(240E) 등을 이용하여 광각 영상 및 망원 영상의 글로벌 모션 및 로컬 모션에 대한 정보를 획득할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(touch panel)(252), (디지털) 펜 센서(pen sensor)(254), 키(key)(256), 또는 초음파(ultrasonic) 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 또는 프로젝터(266)를 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나의 모듈로 구성될 수도 있다.
인터페이스(270)는, 예를 들면, HDMI(high-definition multimedia interface)(272), USB(universal serial bus)(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
카메라 모듈(291)은 복수의 카메라를 포함할 수 있다. 예를 들어, 카메라 모듈은 제1 카메라 및 제2 카메라를 포함할 수 있다.
제1 카메라 및 제2 카메라는 각각 렌즈(도시되지 않음) 및 이미지 센서(도시되지 않음)를 포함할 수 있다. 제1 카메라는 주피사체를 포함하는 광각 영상을 획득할 수 있고, 제2 카메라는 주피사체를 줌 한 망원 영상을 획득할 수 있다.
제1 카메라는 제2 카메라와 비교하여 보다 넓은 범위를 나타내는 영상을 촬영할 수 있다. 즉, 제1 카메라는 제2 카메라와 비교하여 보다 넓은 화각을 제공할 수 있다.
전력 관리 모듈(295)은, 예를 들면, 디지털 촬영 장치(1600)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다.
인디케이터(297)는 디지털 촬영 장치(1600) 또는 그 일부(예: 메인 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 디지털 촬영 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 디지털 촬영 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 디지털 촬영 장치의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 17은 일 실시예에 따른 디지털 촬영 장치(1700)의 구조를 설명하기 위한 블록도이다. 디지털 촬영 장치(1700)는, 예를 들면, 도 15에 도시된 디지털 촬영 장치(1500) 및 도 16에 도시된 디지털 촬영 장치(1600) 의 구성 중 전부 또는 일부를 포함할 수 있다.
일 실시 예에 따른 디지털 촬영 장치(1700)는 촬영부(110), 이미지 신호 처리부(120), 아날로그 신호 처리부(121), 메모리(130), 저장/판독 제어부(140), 메모리 카드(142), 프로그램 저장부(150), 표시 구동부(162), 디스플레이부(164), 제어부(170), 조작부(180) 및 통신부(190)를 포함할 수 있다.
디지털 촬영 장치(1700)의 전체 동작은 제어부(170)에 의해 통괄된다. 제어부(170)는 렌즈 구동부(112), 조리개 구동부(115), 이미지 센서 제어부(119) 등에 각 구성 요소의 동작을 위한 제어 신호를 제공한다.
촬영부(110)는 입사광으로부터 전기적인 신호를 생성하는 구성요소이다.
촬영부(110)는 제1 카메라(1710) 및 제2 카메라(1720)를 포함할 수 있다. 제1 카메라(1710)는 주피사체를 포함하는 광각 영상을 획득할 수 있고, 제2 카메라(1720)는 주피사체를 줌 한 망원 영상을 획득할 수 있다.
제1 카메라(1710)는 제2 카메라(1720)와 비교하여 보다 넓은 범위를 나타내는 영상을 촬영할 수 있다. 즉, 제1 카메라(1710)는 제2 카메라(1720)와 비교하여 보다 넓은 화각을 제공할 수 있다.
제1 카메라(1710) 및 제2 카메라(1720)는 각각 렌즈(도시되지 않음) 및 이미지 센서(도시되지 않음)를 포함할 수 있다. 렌즈를 투과한 피사광은 이미지 센서의 수광면에 이르러 피사체의 상을 결상한다. 상기 이미지 센서는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지 센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다.
아날로그 신호 처리부(121)는 촬영부(110)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
이미지 신호 처리부(120)는 아날로그 신호 처리부(121)에서 처리된 영상 데이터 신호에 대해 특수기능을 처리하기 위한 신호 처리부이다. 예를 들면, 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 화이트 밸런스 조절, 휘도의 평활화 및 칼라 쉐이딩(color shading) 등의 화질 개선 및 특수 효과 제공을 위한 영상 신호 처리를 수행할 수 있다. 이미지 신호 처리부(120)는 입력된 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상에 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다.
이미지 신호 처리부(120)는 이미지 센서(118)에서 생성된 촬상 신호로부터 동영상 파일을 생성할 수 있다. 상기 촬상 신호는 이미지 센서(118)에서 생성되고 아날로그 신호 처리부(121)에 의해 처리된 신호일 수 있다. 이미지 신호 처리부(120)는 상기 촬상 신호로부터 동영상 파일에 포함될 프레임들을 생성하고, 상기 프레임들을 예를 들면, MPEG4(Moving Picture Experts Group 4), H.264/AVC, WMV(windows media video) 등의 표준에 따라 코딩하여 압축한 후, 압축된 동영상을 이용하여 동영상 파일을 생성할 수 있다. 동영상 파일은 mpg, mp4, 3gpp, avi, asf, mov 등 다양한 형식으로 생성될 수 있다.
이미지 신호 처리부(120)로부터 출력된 이미지 데이터는 메모리(130)를 통하여 또는 직접 저장/판독 제어부(140)에 입력되는데, 저장/판독 제어부(140)는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 메모리 카드(142)에 저장한다. 또한 저장/판독 제어부(140)는 메모리 카드(142)에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리(130)를 통해 또는 다른 경로를 통해 표시 구동부에 입력하여 디스플레이부(164)에 이미지가 표시되도록 할 수도 있다. 메모리 카드(142)는 탈착 가능한 것일 수도 있고 디지털 촬영 장치(1700)에 영구 장착된 것일 수 있다. 예를 들면, 메모리 카드(142)는 SD(Secure Digital)카드 등의 플래시 메모리 카드 일 수 있다.
또한, 이미지 신호 처리부(120)는 입력된 영상 데이터에 대해 불선명 처리, 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 아울러, 이미지 신호 처리부(120)는 디스플레이부(164)에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.
한편, 이미지 신호 처리부(120)에 의해 처리된 신호는 메모리(130)를 거쳐 제어부(170)에 입력될 수도 있고, 메모리(130)를 거치지 않고 제어부(170)에 입력될 수도 있다. 여기서 메모리(130)는 디지털 촬영 장치(1700)의 메인 메모리로서 동작하고, 이미지 신호 처리부(120) 또는 제어부 (170)가 동작 중에 필요한 정보를 임시로 저장한다. 프로그램 저장부(150)는 디지털 촬영 장치(1700)를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장할 수 있다.
아울러, 디지털 촬영 장치(1700)는 이의 동작 상태 또는 디지털 촬영 장치(1700)에서 촬영한 영상 정보를 표시하도록 디스플레이부(164)를 포함한다. 디스플레이부(164)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 디스플레이부(164)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다. 또한, 디스플레이부(164)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.
표시 구동부(162)는 디스플레이부(164)에 구동 신호를 제공한다.
제어부(170)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어할 수 있다. 제어부(170)는 하나 또는 복수개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
제어부(170)는 프로그램 저장부(130)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 조리개 구동부(115), 렌즈 구동부(112), 및 이미지 센서 제어부(119)에 제공하고, 셔터, 스트로보 등 디지털 촬영 장치(1700)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.
또한 제어부(170)는 외부 모니터와 연결되어, 이미지 신호 처리부(120)로부터 입력된 영상 신호에 대해 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.
제어부(170)는 광각 영상 및 망원 영상에 기초하여 주피사체의 움직임 정보를 검출할 수 있다.
일 실시예에 따르면, 제어부(170)는 제1 카메라(1710) 및 제2 카메라(1720)로 획득한 광각 영상 및 망원 영상에 기초하여 깊이 맵을 획득할 수 있다.
또한, 제어부(170)는 광각 영상 및 망원 영상의 글로벌 모션 및 로컬 모션에 대한 정보를 획득할 수 있다. 이에 따라, 제어부(170)는 광각 영상 및 망원 영상 내에서 주피사체의 움직임 또는 손떨림에 따른 흔들림(blur)을 보정한 후에 깊이 맵을 획득할 수 있다.
제어부(170)는 깊이 맵에 기초하여 주피사체의 움직임 정보를 획득할 수 있다. 일 실시예에 따르면, 움직임 정보는 주피사체의 위치 및 크기에 대한 정보를 포함할 수 있다.
제어부(170)는 주피사체의 움직임 정보에 기초하여, 광각 영상 및 망원 영상 중 하나를 주영상으로 결정할 수 있다.
또한, 제어부(170)는 주피사체의 움직임 정보에 기초하여, 광각 영상 및 망원 영상 중 하나에서 다른 하나로 주영상을 전환할 수 있다.
일 실시예에 따른 디지털 촬영 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (15)

  1. 주피사체를 포함하는 광각 영상을 획득하는 제1 카메라;
    상기 광각 영상에 대하여 상기 주피사체를 줌(zoom) 한 망원 영상을 획득하는 제2 카메라; 및
    상기 광각 영상 및 상기 망원 영상에 기초하여 상기 주피사체의 움직임 정보를 획득하고, 상기 움직임 정보에 기초하여, 상기 광각 영상 및 상기 망원 영상 중 하나를 주영상으로 결정하는 프로세서를 포함하는, 디지털 촬영 장치.
  2. 제1 항에 있어서, 상기 프로세서는
    상기 광각 영상 및 상기 망원 영상에 기초하여 상기 주피사체의 속도를 획득하고,
    상기 주피사체의 속도에 기초하여, 상기 주영상을 상기 광각 영상 및 상기 망원 영상 중 하나로 결정하는, 디지털 촬영 장치.
  3. 제2 항에 있어서, 상기 프로세서는
    상기 주피사체의 속도의 방향이 상기 디지털 촬영 장치와 가까워지는 방향인 경우, 상기 주영상을 상기 망원 영상에서 상기 광각 영상으로 변경하는, 디지털 촬영 장치.
  4. 제2 항에 있어서, 상기 프로세서는
    상기 주피사체의 속도의 방향이 상기 디지털 촬영 장치로부터 멀어지는 방향인 경우, 상기 주영상을 상기 광각 영상에서 상기 망원 영상으로 변경하는, 디지털 촬영 장치.
  5. 제1 항에 있어서, 상기 프로세서는
    상기 광각 영상 및 상기 망원 영상에 기초하여 깊이 맵을 생성하고,
    상기 깊이 맵에 기초하여 상기 주피사체의 움직임 정보를 획득하는, 디지털 촬영 장치.
  6. 제1 항에 있어서, 상기 프로세서는
    상기 제2 카메라가 상기 주피사체의 위치에 대응되는 위치로 이동하도록 제어하는, 디지털 촬영 장치.
  7. 제1 항에 있어서,
    상기 주영상을 라이브뷰 영상으로 디스플레이하는 디스플레이를 더 포함하는, 디지털 촬영 장치.
  8. 제7 항에 있어서, 상기 디스플레이는
    상기 광각 영상 및 상기 망원 영상 중 다른 하나에 대응되는 부영상을 상기 디스플레이 상의 상기 주영상에 중첩하여 디스플레이하는, 디지털 촬영 장치.
  9. 제8 항에 있어서, 상기 프로세서는
    상기 주영상 내의 상기 주피사체의 위치에 기초하여 상기 디스플레이 상의 상기 부영상을 디스플레이할 위치를 결정하는, 디지털 촬영 장치.
  10. 제1 항에 있어서,
    상기 주영상을 동영상으로 저장하는 메모리를 더 포함하는, 디지털 촬영 장치.
  11. 제1 카메라 및 제2 카메라를 포함하는 디지털 촬영 장치의 동작 방법에 있어서,
    상기 제1 카메라로부터 주피사체를 포함하는 광각 영상을 획득하고, 상기 제2 카메라로부터 상기 광각 영상에 대하여 상기 주피사체를 줌(zoom) 한 망원 영상을 획득하는 단계;
    상기 광각 영상 및 상기 망원 영상에 기초하여 주피사체의 움직임 정보를 획득하는 단계; 및
    상기 움직임 정보에 기초하여, 상기 광각 영상 및 상기 망원 영상 중 하나를 주영상으로 결정하는 단계를 포함하는, 디지털 촬영 장치의 동작 방법.
  12. 제11 항에 있어서,
    상기 광각 영상 및 상기 망원 영상에 기초하여 상기 주피사체의 속도를 획득하는 단계; 및
    상기 주피사체의 속도에 기초하여, 상기 주영상을 상기 광각 영상 및 상기 망원 영상 중 하나로 결정하는 단계를 더 포함하는, 디지털 촬영 장치의 동작 방법.
  13. 제12 항에 있어서, 상기 주영상을 변경하는 단계는
    상기 주피사체의 속도의 방향이 상기 디지털 촬영 장치와 가까워지는 방향인 경우, 상기 주영상을 상기 망원 영상에서 상기 광각 영상으로 변경하는 단계를 포함하는, 디지털 촬영 장치의 동작 방법.
  14. 제12 항에 있어서, 상기 주영상을 변경하는 단계는
    상기 주피사체의 속도의 방향이 상기 디지털 촬영 장치로부터 멀어지는 방향인 경우, 상기 주영상을 상기 광각 영상에서 상기 망원 영상으로 변경하는 단계를 포함하는, 디지털 촬영 장치의 동작 방법.
  15. 제11 항에 있어서, 상기 주피사체의 움직임 정보를 검출하는 단계는
    상기 광각 영상 및 상기 망원 영상에 기초하여 깊이 맵을 생성하는 단계; 및
    상기 깊이 맵에 기초하여 상기 주피사체의 움직임 정보를 획득하는 단계를 포함하는, 디지털 촬영 장치의 동작 방법.
PCT/KR2016/002847 2015-06-23 2016-03-22 디지털 촬영 장치 및 그 동작 방법 WO2016208849A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16814562.1A EP3316568B1 (en) 2015-06-23 2016-03-22 Digital photographing device and operation method therefor
MYPI2017704010A MY185068A (en) 2015-06-23 2016-03-22 Digital photographing apparatus and method of operating the same
CN201680031919.4A CN107690649B (zh) 2015-06-23 2016-03-22 数字拍摄装置及其操作方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562183356P 2015-06-23 2015-06-23
US62/183,356 2015-06-23
KR1020150132612A KR102352682B1 (ko) 2015-06-23 2015-09-18 디지털 촬영 장치 및 그 동작 방법
KR10-2015-0132612 2015-09-18

Publications (1)

Publication Number Publication Date
WO2016208849A1 true WO2016208849A1 (ko) 2016-12-29

Family

ID=57585915

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/002847 WO2016208849A1 (ko) 2015-06-23 2016-03-22 디지털 촬영 장치 및 그 동작 방법

Country Status (4)

Country Link
US (1) US10291842B2 (ko)
CN (1) CN107690649B (ko)
MY (1) MY185068A (ko)
WO (1) WO2016208849A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018140005A1 (en) * 2017-01-25 2018-08-02 Hewlett-Packard Development Company, L.P. Light transmissive regions to pass light to cameras
KR20190032061A (ko) * 2017-09-19 2019-03-27 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
US11496696B2 (en) 2015-11-24 2022-11-08 Samsung Electronics Co., Ltd. Digital photographing apparatus including a plurality of optical systems for acquiring images under different conditions and method of operating the same

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108234851B (zh) 2013-06-13 2019-08-16 核心光电有限公司 双孔径变焦数字摄影机
CN108388005A (zh) 2013-07-04 2018-08-10 核心光电有限公司 小型长焦透镜套件
CN109120823B (zh) 2013-08-01 2020-07-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CN112394467B (zh) 2015-04-16 2023-06-09 核心光电有限公司 紧凑型折叠式相机中的自动对焦和光学图像稳定
JP6552315B2 (ja) * 2015-07-27 2019-07-31 キヤノン株式会社 撮像装置
CN112672024B (zh) 2015-08-13 2022-08-02 核心光电有限公司 视频支持和切换/无切换动态控制的双孔径变焦摄影机
JP2017069618A (ja) * 2015-09-28 2017-04-06 京セラ株式会社 電子機器及び撮像方法
USD998607S1 (en) * 2015-10-16 2023-09-12 Sondhi Amit Mobile device with multiple camera lenses
US10212341B2 (en) * 2015-11-20 2019-02-19 Amit SONDHI Mobile electronic device with multiple cameras
KR20230100749A (ko) * 2015-12-29 2023-07-05 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
KR20240051317A (ko) 2016-07-07 2024-04-19 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 보이스 코일 모터
KR20180018086A (ko) * 2016-08-12 2018-02-21 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10432869B2 (en) * 2016-09-07 2019-10-01 Multimedia Image Solution Limited Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism
KR20180031239A (ko) * 2016-09-19 2018-03-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106791377B (zh) * 2016-11-29 2019-09-27 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
US11531209B2 (en) 2016-12-28 2022-12-20 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
CN113805405B (zh) 2017-01-12 2023-05-23 核心光电有限公司 紧凑型折叠式摄影机及其组装方法
KR102611056B1 (ko) * 2017-01-16 2023-12-07 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20180218494A1 (en) * 2017-01-31 2018-08-02 Focal Systems, Inc. Out-of-stock detection based on images
US10284792B2 (en) * 2017-02-03 2019-05-07 Amazon Technologies, Inc. Audio/video recording and communication devices with multiple cameras for superimposing image data
WO2018164932A1 (en) * 2017-03-08 2018-09-13 Vid Scale, Inc. Zoom coding using simultaneous and synchronous multiple-camera captures
CN110431833A (zh) * 2017-03-08 2019-11-08 詹姆斯·皮特曼 移动终端
CN106713772B (zh) * 2017-03-31 2018-08-17 维沃移动通信有限公司 一种拍照方法及移动终端
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
KR102328539B1 (ko) * 2017-07-27 2021-11-18 삼성전자 주식회사 복수의 카메라를 이용하여 영상을 획득하기 위한 전자 장치 및 이를 이용한 영상 처리 방법
KR102344104B1 (ko) * 2017-08-22 2021-12-28 삼성전자주식회사 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
US10630895B2 (en) * 2017-09-11 2020-04-21 Qualcomm Incorporated Assist for orienting a camera at different zoom levels
EP4250695A3 (en) 2017-11-23 2023-11-22 Corephotonics Ltd. Compact folded camera structure
KR102128223B1 (ko) 2018-02-05 2020-06-30 코어포토닉스 리미티드 폴디드 카메라에 대한 감소된 높이 페널티
CN108513069B (zh) * 2018-03-30 2021-01-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
KR102661590B1 (ko) * 2018-04-03 2024-04-29 삼성전자주식회사 이미지 내에서 객체를 인식하기 위한 장치 및 방법
JP7150456B2 (ja) * 2018-04-04 2022-10-11 キヤノン株式会社 撮像システム、情報処理装置、情報処理装置の制御方法、及び、プログラム
KR102299752B1 (ko) 2018-04-23 2021-09-08 코어포토닉스 리미티드 연장된 2 자유도 회전 범위를 갖는 광학 경로 폴딩 요소
CN108737739B (zh) * 2018-06-15 2021-01-08 Oppo广东移动通信有限公司 一种预览画面采集方法、预览画面采集装置及电子设备
US11412132B2 (en) 2018-07-27 2022-08-09 Huawei Technologies Co., Ltd. Camera switching method for terminal, and terminal
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
CN109299696B (zh) * 2018-09-29 2021-05-18 成都臻识科技发展有限公司 一种基于双摄像头的人脸检测方法及装置
KR102661185B1 (ko) * 2018-10-18 2024-04-29 삼성전자주식회사 전자 장치 및 그의 이미지 촬영 방법
KR102606824B1 (ko) * 2018-12-14 2023-11-27 삼성전자주식회사 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
KR102593569B1 (ko) * 2019-01-08 2023-10-25 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111510618B (zh) * 2019-01-30 2022-04-05 虹软科技股份有限公司 变焦方法及应用其的电子设备
KR102661614B1 (ko) 2019-02-11 2024-04-29 삼성전자주식회사 화면 제공 방법 및 이를 지원하는 전자 장치
JP2020167517A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび撮像装置
US10956694B2 (en) * 2019-04-05 2021-03-23 Zebra Technologies Corporation Device and method for data capture aiming assistance
CN112333380B (zh) * 2019-06-24 2021-10-15 华为技术有限公司 一种拍摄方法及设备
CN110944114B (zh) 2019-11-28 2021-06-08 维沃移动通信有限公司 拍照方法及电子设备
TWI703364B (zh) * 2019-11-29 2020-09-01 大立光電股份有限公司 攝影用光學鏡片組及電子裝置
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN114157804B (zh) 2020-01-23 2022-09-09 华为技术有限公司 一种长焦拍摄的方法及电子设备
US11917298B2 (en) * 2020-02-03 2024-02-27 Sony Semiconductor Solutions Corporation Electronic device
KR20220053023A (ko) * 2020-02-22 2022-04-28 코어포토닉스 리미티드 매크로 촬영을 위한 분할 스크린 기능
WO2021234515A1 (en) 2020-05-17 2021-11-25 Corephotonics Ltd. Image stitching in the presence of a full field of view reference image
WO2021245488A1 (en) 2020-05-30 2021-12-09 Corephotonics Ltd. Systems and methods for obtaining a super macro image
CN111787224B (zh) * 2020-07-10 2022-07-12 深圳传音控股股份有限公司 图像的获取方法、终端设备和计算机可读存储介质
EP4045960A4 (en) 2020-07-15 2022-12-14 Corephotonics Ltd. CORRECTING THE ABERRATION OF VIEWPOINTS IN A FOLDED SCANNING CAMERA
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
US11949984B2 (en) 2021-03-12 2024-04-02 Samsung Electronics Co., Ltd. Electronic device that performs a driving operation of a second camera based on a determination that a tracked object is leaving the field of view of a moveable first camera having a lesser angle of view than the second camera, method for controlling the same, and recording medium of recording program
KR20240025049A (ko) 2021-06-08 2024-02-26 코어포토닉스 리미티드 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033224A (ja) * 2004-07-14 2006-02-02 Matsushita Electric Ind Co Ltd 物体追跡装置および物体追跡方法
JP2013192184A (ja) * 2012-03-15 2013-09-26 Casio Comput Co Ltd 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム
KR20140062801A (ko) * 2012-11-15 2014-05-26 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
JP2014102342A (ja) * 2012-11-19 2014-06-05 Olympus Imaging Corp 撮像装置
KR101510105B1 (ko) * 2008-10-01 2015-04-08 삼성전자주식회사 디지털 영상 촬영 장치

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032337A (ja) 1998-07-14 2000-01-28 Sony Corp 画像合成装置
DE102004046402A1 (de) * 2004-09-24 2006-04-06 Siemens Ag Verfahren für eine Ausgabe-Behandlung von in Postfächern eines Nachrichtenspeichersystems gespeicherten Nachrichten
CN101064773A (zh) * 2006-04-26 2007-10-31 杭州草莓资讯有限公司 多镜头实景合成数码照像机系统与方法
US7729602B2 (en) * 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
JP4959535B2 (ja) * 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
JP2009290860A (ja) 2008-04-28 2009-12-10 Panasonic Corp 撮像装置
US8199212B2 (en) * 2008-05-03 2012-06-12 Olympus Imaging Corp. Image recording and playback device, and image recording and playback method
JP2009272840A (ja) * 2008-05-03 2009-11-19 Olympus Imaging Corp 画像記録再生装置、画像記録再生方法、画像処理装置、および画像処理方法
JP5202283B2 (ja) 2008-12-20 2013-06-05 三洋電機株式会社 撮像装置及び電子機器
KR101642400B1 (ko) * 2009-12-03 2016-07-25 삼성전자주식회사 디지털 촬영 장치 및 그 제어 방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
US8451312B2 (en) 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
JP4783465B1 (ja) * 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
JP2012029245A (ja) * 2010-07-27 2012-02-09 Sanyo Electric Co Ltd 撮像装置
JP5530322B2 (ja) 2010-09-22 2014-06-25 オリンパスイメージング株式会社 表示装置および表示方法
DE102011016967A1 (de) * 2011-04-13 2012-10-18 Emitec Gesellschaft Für Emissionstechnologie Mbh Verfahren zum Betrieb einer SCR-Dosiereinheit
US8988558B2 (en) 2011-04-26 2015-03-24 Omnivision Technologies, Inc. Image overlay in a mobile device
KR101792641B1 (ko) 2011-10-07 2017-11-02 엘지전자 주식회사 이동 단말기 및 그의 아웃 포커싱 이미지 생성방법
CN102509309B (zh) * 2011-11-04 2013-12-18 大连海事大学 一种基于图像匹配的目标点定位系统
JP5995521B2 (ja) * 2012-05-18 2016-09-21 キヤノン株式会社 レンズ鏡筒およびカメラシステム
JP2013247543A (ja) 2012-05-28 2013-12-09 Sony Corp 撮像装置、表示装置、および画像処理方法、並びにプログラム
US9749541B2 (en) 2013-04-16 2017-08-29 Tout Inc. Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
US20140376887A1 (en) 2013-06-24 2014-12-25 Adobe Systems Incorporated Mobile device video selection and edit
JP2015056143A (ja) 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置および情報処理方法
US9426361B2 (en) * 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
JP6429454B2 (ja) * 2013-11-28 2018-11-28 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP6300550B2 (ja) * 2014-02-07 2018-03-28 キヤノン株式会社 自動合焦装置、および自動合焦方法
JP6165680B2 (ja) * 2014-06-27 2017-07-19 富士フイルム株式会社 撮像装置
CN106575027B (zh) * 2014-07-31 2020-03-06 麦克赛尔株式会社 摄像装置及其被摄体跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033224A (ja) * 2004-07-14 2006-02-02 Matsushita Electric Ind Co Ltd 物体追跡装置および物体追跡方法
KR101510105B1 (ko) * 2008-10-01 2015-04-08 삼성전자주식회사 디지털 영상 촬영 장치
JP2013192184A (ja) * 2012-03-15 2013-09-26 Casio Comput Co Ltd 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム
KR20140062801A (ko) * 2012-11-15 2014-05-26 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
JP2014102342A (ja) * 2012-11-19 2014-06-05 Olympus Imaging Corp 撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11496696B2 (en) 2015-11-24 2022-11-08 Samsung Electronics Co., Ltd. Digital photographing apparatus including a plurality of optical systems for acquiring images under different conditions and method of operating the same
WO2018140005A1 (en) * 2017-01-25 2018-08-02 Hewlett-Packard Development Company, L.P. Light transmissive regions to pass light to cameras
US10534191B2 (en) 2017-01-25 2020-01-14 Hewlett-Packard Development Company, L.P. Light transmissive regions to pass light to cameras
US10802294B2 (en) 2017-01-25 2020-10-13 Hewlett-Packard Development Company, L.P. Light transmissive regions to pass light to cameras
KR20190032061A (ko) * 2017-09-19 2019-03-27 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
KR102385360B1 (ko) 2017-09-19 2022-04-12 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20160381289A1 (en) 2016-12-29
CN107690649B (zh) 2022-03-11
CN107690649A (zh) 2018-02-13
MY185068A (en) 2021-04-30
US10291842B2 (en) 2019-05-14

Similar Documents

Publication Publication Date Title
WO2016208849A1 (ko) 디지털 촬영 장치 및 그 동작 방법
WO2017018612A1 (en) Method and electronic device for stabilizing video
WO2017014415A1 (en) Image capturing apparatus and method of operating the same
WO2016209020A1 (en) Image processing apparatus and image processing method
WO2017090837A1 (en) Digital photographing apparatus and method of operating the same
WO2017111302A1 (en) Apparatus and method for generating time lapse image
WO2016043423A1 (en) Method for capturing image and image capturing apparatus
US8319883B2 (en) Image pickup apparatus and control method thereof
WO2014112842A1 (en) Method and apparatus for photographing in portable terminal
WO2017051975A1 (ko) 이동 단말기 및 그 제어방법
WO2014021692A1 (en) Image processing method and apparatus
WO2017090848A1 (en) Photographing device and operating method of the same
JP5274388B2 (ja) 撮像装置
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2019017641A1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
WO2021157954A1 (ko) 복수의 카메라를 이용한 동영상 촬영 방법 및 그 장치
WO2017010628A1 (en) Method and photographing apparatus for controlling function based on gesture of user
WO2017018614A1 (en) Method of imaging moving object and imaging device
WO2021141287A1 (ko) 카메라 프리뷰를 제공하는 전자 장치 및 그 방법
WO2020054949A1 (en) Electronic device and method for capturing view
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2017014404A1 (en) Digital photographing apparatus and digital photographing method
KR20110062391A (ko) 촬상장치 및 이를 이용한 스미어 제거 방법
WO2016208833A1 (en) View finder apparatus and method of operating the same
WO2019107769A1 (ko) 이미지 센서의 리드 아웃 속도에 따라 이미지 데이터를 선택적으로 압축하는 전자 장치 및 그의 운용 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16814562

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016814562

Country of ref document: EP