WO2022092559A1 - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2022092559A1
WO2022092559A1 PCT/KR2021/012513 KR2021012513W WO2022092559A1 WO 2022092559 A1 WO2022092559 A1 WO 2022092559A1 KR 2021012513 W KR2021012513 W KR 2021012513W WO 2022092559 A1 WO2022092559 A1 WO 2022092559A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
camera
electronic device
identified
Prior art date
Application number
PCT/KR2021/012513
Other languages
English (en)
French (fr)
Inventor
최현수
강승수
강희윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210003533A external-priority patent/KR20220056769A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN202180074208.6A priority Critical patent/CN116458166A/zh
Priority to EP21886554.1A priority patent/EP4207740A4/en
Publication of WO2022092559A1 publication Critical patent/WO2022092559A1/ko
Priority to US18/131,582 priority patent/US20230276140A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/16—Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B39/00—High-speed photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Definitions

  • the present disclosure relates to an electronic device and a method for controlling the same, and more particularly, to an electronic device capable of determining when to perform an SSM function based on an object included in an image, and a method for controlling the same.
  • An SSM (Super Slow Motion) image refers to an image captured to record high-speed motion in a specific scene. Since a large amount of computing resources, storage resources, and power are consumed to generate the SSM image, it is generally preferred to generate the SSM image within a short time period in which a specific event occurs within a scene.
  • the present disclosure has been devised to solve the above-described problems, and an object of the present disclosure is to determine a time point at which an SSM function is performed based on an object included in an image obtained through at least one camera, and a method for controlling the same is to provide.
  • the electronic device includes a first camera including a first lens having a first focal length, a second camera including a second lens having a second focal length different from the first focal length; Obtaining information on a first object included in a first image obtained by photographing a periphery of the electronic device through a memory and the first camera, and obtaining the first object based on the obtained information on the first object If it is identified that there is information on the second object associated with
  • the processor may include a processor that determines when to perform high-speed imaging using the camera.
  • the method of controlling an electronic device includes a first camera including a first lens having a first focal length and a second camera including a second lens having a second focal length different from the first focal length. obtaining information on a first object included in a first image obtained by photographing a periphery of the electronic device through a camera; a second associated with the first object based on the obtained information on the first object If it is identified that there is information on the object, using the first camera based on whether the second object is included in the step of obtaining a second image through the second camera and the obtained second image to determine a point in time to perform high-speed imaging.
  • the electronic device may accurately and efficiently determine a time point at which the SSM function is performed.
  • FIG. 1A is a block diagram schematically illustrating a configuration of an electronic device according to an embodiment of the present disclosure
  • 1B is a diagram for explaining the structure of a knowledge base according to an embodiment of the present disclosure
  • FIG. 2 is a flowchart for explaining a method of controlling an electronic device according to an embodiment of the present disclosure
  • FIG. 3 is a flowchart illustrating a process in which an electronic device activates a second camera according to an embodiment of the present disclosure
  • 4A and 4B are flowcharts for explaining a process in which an electronic device performs high-speed imaging using a first camera, according to an embodiment of the present disclosure
  • FIG. 5 is a flowchart illustrating a process in which an electronic device performs high-speed imaging using a first camera, according to an embodiment of the present disclosure
  • FIG. 6 is a flowchart for explaining a process of performing high-speed imaging using a first camera, according to an embodiment of the present disclosure
  • FIG. 7 is a flowchart for explaining a process of performing high-speed imaging using a first camera, according to an embodiment of the present disclosure
  • FIG. 8 is a block diagram illustrating in detail the configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 1A is a block diagram illustrating a configuration and operation of an electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may be implemented as a user terminal device such as a smart phone, a tablet PC (Personal Computer), a desktop PC, a laptop PC, a netbook computer, and a wearable device, but is limited thereto. it is not going to be
  • the electronic device 100 of the present disclosure may be implemented as various devices including a camera.
  • the electronic device 100 may include a first camera 110 , a second camera 120 , a memory 130 , a processor 140 , and a display 150 .
  • the configuration shown in FIG. 1A is an exemplary diagram for implementing embodiments of the present disclosure, and appropriate hardware and software configurations at a level obvious to those skilled in the art may be additionally included in the electronic device 100 .
  • the first camera 110 is configured to acquire one or more images by photographing the surroundings of the electronic device 100 .
  • the first camera 110 may acquire a first image by photographing the surroundings of the electronic device 100 . That is, the first camera 110 may acquire a first image composed of a plurality of image frames photographed around the electronic device 100 , and the first image may include a live view. can In addition, the first image composed of a plurality of image frames may be stored in a buffer of the memory 130 for temporarily storing information.
  • the first camera 110 may include a first lens having a first focal length.
  • the second camera 120 is configured to acquire one or more images by photographing the surroundings of the electronic device 100 like the first camera 110 .
  • the second camera 120 may acquire a second image including a plurality of image frames obtained by photographing the periphery of the electronic device 100 , and the second image may include a live view.
  • the second camera 120 may be located within a threshold distance from the first camera 110 on the electronic device 100 .
  • the critical distance may be a value preset through experiments or research, but is not limited thereto, and may be changed in the manufacturing stage of the electronic device 100 .
  • the second focal length of the second lens included in the second camera 120 may be different from the second focal length of the first lens included in the first camera 110 .
  • the second focal length of the second lens included in the second camera 120 may be shorter than the first focal length of the first lens included in the first camera 110 .
  • the second camera 120 may include an ultra-wide lens, and the first camera 110 may include a wide-lens. That is, the second camera 120 may have a larger field of view (FOV) than the first camera 110 . Accordingly, when the first camera 110 and the second camera 120 photograph the periphery of the electronic device 100 at a critical distance from each other, the second image acquired through the second camera 120 is the first It may be composed of an image frame including a wider area than the first image acquired through the camera 110 .
  • FOV field of view
  • the second focal length of the second lens included in the second camera 120 may be longer than the first focal length of the first lens included in the first camera 110 .
  • the second camera 120 may include a wide-angle lens
  • the first camera 110 may include an ultra-wide-lens.
  • Each of the first camera 110 and the second camera 120 may include an image sensor (eg, a complementary metal oxide semiconductor (CMOS) image sensor or a charge coupled device (CCD) image sensor, etc.).
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image sensor may be turned off or on depending on whether power is applied or the like.
  • each camera 110 and 120 is deactivated is a state in which the image sensor included in each camera 110 and 120 is turned off or the image sensor included in each camera 110 and 12 is turned on, but each camera (110, 120) may mean a state in which a plurality of image frames acquired using the image sensor are not stored in the buffer.
  • the image sensors included in the respective cameras 110 and 120 are turned on, and a plurality of image frames obtained by the respective cameras 110 and 120 using the image sensors are buffered. It may mean a state in which a plurality of image frames stored in the buffer are being displayed on the display 150 by the processor 140 .
  • the activation of the second camera 120 means that the second camera 120 is switched from a deactivated state to an activated state.
  • the memory 130 may store data related to at least one other component of the electronic device 100 or at least one instruction.
  • the command means one action statement that can be directly executed by the processor 140 in a programming language, and is a minimum unit for program execution or operation.
  • the memory 130 is accessed by the processor 140 , and reading/writing/modification/deletion/update of data by the processor 140 may be performed.
  • memory refers to a memory 130, a ROM (not shown) in the processor 140, a RAM (not shown), or a memory card (not shown) mounted in the electronic device 100 (eg, micro SD). card, memory stick).
  • the memory 130 includes a software module for determining when to perform a Super Slow Motion (SSM) function through the first camera 110 based on the first image and the second image, and a software module for each module to perform various operations. You can store the data you need.
  • the module for determining when the first camera 110 performs the SSM function includes the first region of interest determination module 20 , the object recognition module 30 , the object property analysis module 40 , and the related object determination module 50 . ), a second image monitoring module 60 and a high-speed imaging performing module 70 may be included.
  • the SSM function captures the surroundings of the electronic device 100 at high-speed (eg, 480 fps (frames per second) or 960 fps) to obtain a super slow motion image, and obtains the obtained super slow motion image. It refers to a function of slow motion video playback (eg, 32 times slower than normal video playback speed (30 fps) or 4 times slower than normal slow motion (240 fps)).
  • the SSM function allows users to efficiently detect rapid movements or minute changes in objects that are difficult to identify with the naked eye. Meanwhile, the playback speed or shooting speed related to the SSM function is not limited to the above-described exemplary values and may be set by the user to various values.
  • the super slow motion image captured by performing the SSM function through the first camera 110 may be an image having a relatively high frame rate (eg, 480 fps or 960 fps). Meanwhile, the frame rate corresponding to the SSM function may be a preset value, but may be changed by the user.
  • a relatively high frame rate eg, 480 fps or 960 fps.
  • the frame rate corresponding to the SSM function may be a preset value, but may be changed by the user.
  • the first region of interest (ROI) determination module 20 is configured to determine a first region of interest on the first image acquired through the first camera 110 and obtain information on the determined first region of interest. It is a module.
  • the first region of interest of the first image refers to a partial region determined (or selected) for image analysis, etc. in the first image.
  • the first ROI-determining module 20 may automatically determine the first ROI on the first image using the third model 95 learned to determine the ROI or an auto focus method. As another example, the first ROI-determining module 20 may determine a region to which a user touch is input on the first image displayed on the display 150 as the first ROI.
  • the first ROI-determining module 20 may acquire information on the determined first ROI.
  • the information on the first region of interest includes feature information of an image included in the first region of interest (eg, pixel values, luminance and chromaticity information, etc. of an image included in the first region of interest) and the first region of interest.
  • Information on the size or shape of an indicator eg, a bounding box corresponding to the first ROI
  • the indicator indicating the first ROI may have a preset size or shape, but is not limited thereto and may be changed by a user command.
  • the first ROI-determining module 20 may acquire characteristic information of the image included in the first ROI by analyzing the image included in the first ROI.
  • the object recognition module 30 is a module for recognizing a first object included in the first ROI by using the first model 80 to obtain information about the first object. Specifically, the object recognition module 30 inputs information on the first region of interest obtained through the first region of interest determining module 20 into the first model 80, and the first object included in the first region of interest information can be obtained.
  • the information on the first object may include, for example, the type of the first object, the size of the first object, and information on the amount of change in the position of the first object based on a plurality of frame images included in the first image. That is, the first object recognition module 30 may recognize the first object included in the first ROI by acquiring information about the first object.
  • the object property analysis module 40 analyzes the properties (dynamic or static properties) of the first object based on the information about the first object obtained through the object recognition module 30 to analyze the first object This module identifies whether or not is a moving object. For example, the object property analysis module 40 identifies the amount of change in the position of the first object on the plurality of image frames constituting the first image among the information on the first object, and based on the amount of change in the position of the identified first object Thus, the properties of the first object may be analyzed. In addition, the object property analysis module 40 may output information related to whether the first object is a moving object according to the property of the first object.
  • the associated object determination module 50 is a module for identifying whether there is another node connected to the first node including the type of the first object on the knowledge base 85, and identifying information included in the other node. am. That is, the association object determination module may identify whether information on the second object associated with the first object exists based on the information on the first object (eg, the type of the first object, etc.).
  • Another node connected to the first node including the type of the first object may include the type of the second object associated with (or related to) the type of the first object.
  • the type of the second object (or the object associated with the first object) associated with the type of the first object means the type of the object predicted to appear in the area surrounding the first object.
  • the type of the first object is a soccer goal post
  • the type of the second object may be implemented as a soccer ball predicted to appear in the area around the soccer goal post.
  • the second object may be singular, but is not limited thereto and may be a plurality of two or more.
  • the related object determination module 50 includes the type of the first object on the knowledge base 85 by using the type of the first object among the information about the first object obtained through the object recognition module 30 . It is possible to identify the first node that has been In addition, the associated object determination module 50 may identify whether another node connected to the first node identified on the knowledge base 85 exists. If it is identified that another node (eg, a second node) connected to the first node exists, the associated object determination module 50 may obtain (or identify) the type of the second object included in the second node. there is.
  • the related object determination module 50 may obtain information on the relationship between the type of the first object and the type of the second object by using the knowledge base 85 .
  • an edge connecting the first node and the second node to each other on the knowledge base 85 may include information on a relationship between the type of the first object and the type of the second object.
  • the information about the relationship may include information related to various relationships between the type of the first object and the type of the second object.
  • the information on the relationship may include information on a directional relationship between the type of the first object and the type of the second object.
  • the information on the direction relationship may include direction information corresponding to a location where the second object appears or has a high probability of being present based on the current location of the first object, but is not limited thereto.
  • the second image monitoring module 60 determines whether a second ROI among the second images acquired through 120 is determined and monitors the second ROI to identify whether a second object appears in the second ROI.
  • the second region of interest refers to a region determined (or set) to monitor whether a second object appears in the second image.
  • the second image monitoring module 60 determines, as the second region of interest, an area in the second image where the second object is expected to appear, based on information on the relationship between the type of the first object and the type of the second object.
  • the second image monitoring module (60) may determine a region corresponding to the left direction of the first object based on the current position of the first object as the second region of interest.
  • the second region of interest may be set on a region where the first image and the second image do not overlap, but is not limited thereto.
  • the second image monitoring module 60 determines a second ROI on the second image, and information on the second ROI (eg, feature information on an image included in the second ROI (eg, , chromaticity, luminance, etc. of pixels constituting the image) and information on the size and shape of an indicator indicating the second region of interest may be acquired.
  • information on the second ROI eg, feature information on an image included in the second ROI (eg, , chromaticity, luminance, etc. of pixels constituting the image) and information on the size and shape of an indicator indicating the second region of interest may be acquired.
  • the second image monitoring module 60 may determine a second region of interest, analyze the image included in the second region of interest, and obtain characteristic information on the image included in the second region of interest.
  • the indicator indicating the second region of interest may have a preset size or shape, but is not limited thereto and may be changed by a user.
  • the second image monitoring module 60 may identify whether the second object appears on the second ROI. For example, the second image monitoring module 60 may input feature information about an image included in the second ROI and a type of the second object among the information on the second ROI to the second model 93 . Information on whether an object corresponding to the type of the second object appears in the second ROI may be acquired.
  • the second image monitoring module 60 identifies information related to the type of the second object from among the first database that collects features related to the types of objects included in the plurality of nodes on the knowledge base 85 .
  • the second image monitoring module 60 may identify whether the second object appears in the second ROI by monitoring whether information related to the type of the identified second object from among the second ROIs is extracted.
  • the high-speed imaging performing module 70 controls to perform a high-speed imaging operation of the first camera 110 when information indicating that the second object appears in the second region of interest is acquired through the second image monitoring module 60 . It is a module. That is, when the high-speed photographing performing module 70 controls the first camera 110 to perform the high-speed photographing operation, it means that the SSM function is started.
  • the memory 130 may store information necessary for the first model 80 and the second model 93 trained to recognize an object to perform an object recognition operation.
  • the first model 80 recognizes an object included in the first ROI and attaches the recognized object to the first model 80 .
  • the information on the first ROI may include information about an image included in the first ROI (eg, chromaticity and luminance of pixels constituting the image).
  • the second model 93 provides information on the image included in the second region of interest by the second image monitoring module 60 (eg, chromaticity and luminance of pixels constituting the image included in the second region of interest). It is an artificial intelligence model trained to output information indicating whether an object corresponding to the type of the second object is included in the second region of interest when the type of the second object is input.
  • the second model 93 displays a feature related to the type of the second object on the image included in the second ROI.
  • it may be learned to output information indicating that an object corresponding to the type of the second object is included on the second ROI.
  • the first model 80 and the second model 93 may include an artificial neural network trained to output feature information corresponding to the input image.
  • artificial neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), GAN.
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Restricted Boltzmann Machine
  • BBN Deep Belief Network
  • BNN Bidirectional Recurrent Deep Neural Network
  • GAN GAN
  • FIG. 1 shows an embodiment in which the first model 80 and the second model 93 are implemented as separate models, the first model 80 and the second model 93 are implemented as the same model. can be
  • the memory 130 may store information necessary for the third model 95 to perform an operation of determining the region of interest in the first image.
  • the third model 95 is an artificial intelligence model trained to determine a region of interest among the input first images.
  • the third model 95 may be trained to determine a region in which at least one object included in the first image exists as the region of interest.
  • the memory 130 may store information necessary for the fourth model 97 to perform an operation.
  • the fourth model 97 outputs a type of a second object associated with the type of the first object or a second object associated with the first object when a label corresponding to the type of the first object or an image for the first object is input. It refers to an artificial intelligence model that has been trained to output information that does not exist.
  • the memory 130 may store a knowledge base 90 including information related to each of a plurality of objects.
  • the knowledge base 85 may include a plurality of nodes including types of a plurality of objects and an edge including information on relationships between the plurality of objects.
  • the knowledge base 85 includes a node including types of a plurality of objects and an edge including information on relationships between the plurality of objects.
  • Knowledge graph (knowledge graph) It can be implemented in the form
  • the knowledge base 85 may include a first node 98 including the type of the first object.
  • the first node 98 and the second node (a node including an object related to the first object type, such as a soccer ball) 98-1, is an edge containing information about the relationship in the downward direction. (99-1) can be connected.
  • information on the relationship between the first node 98 and the third node (a node including an object related to the first object type called a basketball) 98-2 in the left/right direction may be connected to an edge 99-2 including .
  • the fact that the first node 98 and the second node 98-1 are connected to the edge 99-1 including information on the downward relationship is included in the second node 98-1.
  • This may mean that the soccer ball, which is the type of object, is relatively highly likely to be located in the region below the goalpost, which is the type of the first object included in the first node 98 .
  • the knowledge base 85 may be structured in the form of a knowledge graph as shown in FIG. 1B , but this is only an exemplary embodiment, and the knowledge base 85 is structured in various information base forms to obtain information on the relationship between each object. can be implemented.
  • the memory 130 may include a working memory to which the processor 140 can access and write, process, or modify information, and a storage memory for storing and preserving information.
  • Working memory includes volatile random access memory (RAM), such as dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), and non-volatile RAM, such as magnetoresistive RAM (MRAM) or phase-change RAM (PRAM).
  • RAM volatile random access memory
  • DRAM dynamic RAM
  • SRAM static RAM
  • SDRAM synchronous dynamic RAM
  • non-volatile RAM such as magnetoresistive RAM (MRAM) or phase-change RAM (PRAM).
  • MRAM magnetoresistive RAM
  • PRAM phase-change RAM
  • Storage memory includes various types of ROM (eg, one time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM)), magnetic storage device (eg, hard disk, etc.) or various auxiliary devices. It may include at least one of a memory device and the like.
  • Data for performing various operations of the modules 20 , 30 , 40 , 50 , 60 , and 70 for determining when the first camera 110 performs the SSM function may be stored in a storage memory.
  • data and knowledge base 85 necessary for operating the first model 80 , the second model 93 , the third model 95 , and the fourth model 97 may be stored in the storage memory.
  • the working memory may be implemented in a form included in the processor 140 as a component of the processor 140 , but this is only an example, and the working memory is a separate component distinct from the processor 140 . Of course, it can be implemented as
  • the processor 140 may be electrically connected to the memory 130 to control overall functions and operations of the electronic device 100 .
  • the processor 140 may include one or a plurality of processors to control the operation of the electronic device 100 .
  • the processor 140 includes the modules 20,30,40,50,60,70 and modules 20,30,40,50,60,70 for determining when to perform the SSM function stored in the storage memory. Data for performing these various operations may be loaded into the working memory.
  • the processor 140 transfers the first model 80 , the second model 93 , the third model 95 , the fourth model 97 and data necessary for each model to execute various operations to the working memory. can be loaded.
  • the processor 140 may load the knowledge base 85 into the working memory.
  • the processor 140 may perform various operations through various modules and artificial intelligence models based on data loaded into the working memory.
  • the loading refers to an operation of loading and storing data stored in the storage memory into the working memory so that the processor 140 can access it.
  • the processor 140 may load the data required for each of the various modules 20, 30, 40, 50, 60, 70 and the various artificial intelligence models 80 and 90 to execute the operation at a time,
  • the present invention is not limited thereto.
  • the processor 140 may load data necessary for each module and model to execute a specific operation regardless of the order.
  • the processor 140 may load only data corresponding to one of the modules or models to perform the specific operation.
  • the various modules (20, 30, 40, 50, 60, 70) and various artificial intelligence models (80, 90) is completed, data necessary to operate the completed module and model are stored in the working memory. can be deleted.
  • the processor 140 may load the knowledge base 85 when the related object determination module 50 is loaded, but this is only an embodiment and the knowledge base 85 may be loaded in any order. .
  • the processor 140 may acquire information on the first object included in the first image obtained by photographing the surroundings of the electronic device 100 through the first camera 110 . Specifically, the processor 140 acquires a first image by photographing the periphery of the electronic device 100 through the first camera 110, and applies a first model learned to recognize an object to the obtained first image. Information on the first object included in the first image may be obtained.
  • the processor 140 may determine the first ROI on the first image acquired using the first camera 110 through the first ROI determining module 20 . In this case, the processor 140 may control the first image to be displayed on the display 150 .
  • the processor 140 inputs the first image to the third model 95 trained to determine the region of interest through the first region of interest determination module 20 to determine whether at least one object is included.
  • the region may be determined as the first region of interest.
  • the processor 140 may first determine, through the first region of interest determining module 20 , a region in which at least one object exists on the first image using an auto focus method. It can be determined as an area of interest.
  • the processor 140 may determine a first ROI as a region to which a user touch is input in the first image.
  • the processor 140 may display the determined first region of interest in the first image as an indicator having a preset size and shape (eg, a rectangle). For example, the processor 140 determines a region to which a user touch is input from among the first images displayed on the display 150 as the first ROI, and displays an indicator indicating the determined first ROI on the display 150 . can be controlled as much as possible.
  • the processor 140 inputs, through the object recognition module 30 , information on the first region of interest obtained by the first region of interest determining module 20 into the first model 80 to obtain a first interest
  • the first object included in the region may be recognized, and information on the recognized first object may be acquired.
  • the information on the first object may include, for example, the type of the first object, the size of the first object, and information on the amount of position change or the movement direction of the first object based on a plurality of frame images included in the first image. .
  • the processor 140 may acquire a second image through the second camera 120 .
  • the processor 140 may identify whether the first object is a moving object based on information about the first object.
  • the processor 140 through the object property analysis module 40, analyzes whether the first object has a dynamic property or a static property based on information about the first object, and identifies whether the first object is a moving object.
  • the processor 140 may identify the amount of change in the position of the first object on the plurality of image frames included in the first image among the information on the first object through the object property analysis module 40 .
  • the processor 140 may analyze that the first object includes a dynamic property, and identifies the first object as a moving object can do.
  • the processor 140 may analyze that the first object includes a static property, and call the first object as a non-moving object. can be identified.
  • the first threshold value may be a preset value, but of course it may be changed by a user.
  • the processor 140 may activate the second camera 120 based on the identification result related to whether the first object is a moving object, and obtain a second image using the activated second camera 120 .
  • the processor 140 is configured to generate a second object associated with a type of the first object based on information about the first object (eg, a type for the first object). It may be identified whether information about the object (eg, the type of the second object) exists.
  • the processor 140 uses, through the associated object determination module 50 , information on the type of the first object among the information on the first object, such as a plurality of pieces of information included in the knowledge base 85 .
  • a first node including the first object among the nodes may be identified.
  • the processor 140 may identify, through the associated object determination module 50 , whether or not there is a second node connected to the first node by an edge on the knowledge base 85 .
  • the knowledge base 85 may be implemented in the form of a knowledge graph including a node including a plurality of object types and an edge having direction relationship information between the plurality of objects.
  • the processor 140 may identify, through the associated object determination module 50 , whether a node including the first object on the knowledge base 85 is connected to another node through an edge.
  • the processor 140 may identify the first node 98 including the goal among a plurality of nodes included in the knowledge base 85 through the associated object determination module 50 . there is. In addition, the processor 140 may identify whether the first node 98 is connected to another node through an edge on the knowledge base 85 through the associated object determination module 50 . Specifically, the processor 140 determines that the first node 98 on the knowledge base 85 through the associated entity determination module 50 determines the second node 98-1 through the edges 99-1 and 99-2. And it can be identified that it is connected to the third node (98-2).
  • the processor 140 through the associated object determination module 50, a rule-based predefined in a label corresponding to the type of the first object among the information on the first object. based) algorithm may be applied to identify whether a second object associated with the type of the first object exists.
  • the label corresponding to the type of the first object means information indicating the characteristic of the type of the first object.
  • the rule-based algorithm refers to an algorithm written to output an object type associated with the type of the first object when a label corresponding to the type of the first object is input.
  • the processor 140 determines that the object related to the type of the first object does not exist. can be identified as
  • the processor 140 through the associated object determination module 50, a bounding box indicating a pixel value and a size of the image of the first object among the information on the first object. ), a pixel value and a size of the second object associated with the first object may be identified.
  • the pixel value means a value representing a color property included in the image of the first object
  • the bounding box means a box having a minimum size that can include all the shapes of the first object.
  • the processor 140 through the associated object determination module 50, a pixel value of a second object that can be associated with the first object by using a bounding box indicating a pixel value and a size of the image of the first object. and a bounding box indicating a size.
  • Information on the bounding box indicating the pixel value and size of the second object that may be associated with the bounding box indicating the pixel value and size of the image of the first object may be included in the associated object determination module 50 .
  • the processor 140 may, in the associated object determination module 50 , identify whether a second object associated with the type of the first object exists through the fourth model 97 . Specifically, the processor 140 extracts a label corresponding to the type of the first object from among the information on the first object, and inputs the extracted label to the fourth model 97 to determine the value of the second object associated with the first object. Information about the type can be obtained in the form of a label. Thereafter, in the second image obtained from the second camera 120 , it may be identified whether the second object type obtained earlier among object information (Label) obtained through the second model exists.
  • Label object information
  • the processor 140 may activate the second camera 120 .
  • the processor 140 may activate the second camera 120 and activate the second camera 120 . .
  • the processor 140 may acquire a second image by photographing the surroundings of the electronic device 100 using the activated second camera 120 .
  • the second camera 120 includes a second lens having a shorter focal length than the first camera 110
  • the second image is an image obtained by photographing a wider area than the first image, and thus the first image is included in the second image. may be included.
  • the processor 140 displays the first image on the display 150 , but since a plurality of image frames constituting the second image are stored in the buffer, the first image and the first image using the stored plurality of image frames It may be identified whether the second object exists in an area that does not overlap the second image. That is, the processor 140 does not display the region where the second image and the first image do not overlap on the display 150, but the region is stored in the buffer, and thus performs various operations based on the frames stored in the buffer. can do.
  • the first image is an image obtained by photographing a wider area than the second image, so the first image A second image may be included therein.
  • the processor 140 may identify whether a second object of a type identified as being included in another node connected to the first node exists on the second image acquired through the second camera 120 . In one embodiment, when information that a second object of a type related to the type of the first object exists in an area located in the first direction of the first object using the knowledge base 85 is obtained, the processor 140 may detect whether the second object exists on the second image by detecting an area corresponding to the first direction of the first object in the second image through the second image monitoring module 60 .
  • information that a basketball ball, which is a second object of a type related to the type of the first object may be located in regions located in the left and right directions of the goalpost, which is the type of the first object, using the knowledge base 85 Upon obtaining , the processor 140 detects, through the second image monitoring module 60, regions located in the left and right directions of the goalpost in the second image to determine whether a basketball is present on the second image. can be identified.
  • the processor 140 may identify whether a second object of a type related to the type of the first object exists on the second image by detecting the second image as a whole. That is, the processor 140 may identify the second object included in the second image based on the information obtained through the knowledge base 85 , but may detect the entire area of the second image to identify the second object.
  • the processor 140 If it is identified that the second object is present on the second image, the processor 140, through the second image monitoring module 60, based on the information on the relationship between the type of the first object and the type of the second object , a second region of interest may be determined on the second region.
  • the processor 140 obtains information on a relationship that a second object of a type related to the type of the first object is located in an area corresponding to the first direction of the first object by using the knowledge base 85 . Assume one case.
  • the processor 140 may estimate the movement direction of the second object based on the first direction. For example, the processor 140 may infer that the second object moves in a direction toward the first object from an area (or a current area of the second object) located in the first direction of the first object. .
  • the processor 140 may infer that the basketball ball moves in a direction toward the goal from a region positioned in the left or right direction of the current goal.
  • the processor 140 moves the second object by using the amount of position change or the movement direction of the second object on the plurality of image frames constituting the second image. direction can be guessed.
  • the processor 140 may determine the second ROI in the second image based on the estimated motion direction of the second object through the second image monitoring module 60 .
  • the processor 140 may determine, as the second region of interest, a region corresponding to the movement direction of the second object estimated based on the region where the second object is located in the second image.
  • the second region of interest may be one, but may be determined to be two or more.
  • the processor 140 uses the first camera 110 through the high-speed imaging performing module 70 to perform high-speed imaging. shooting can be done. That is, the processor 140 may determine a point in time when the second object moves and appears on the second ROI as a point in time at which high-speed imaging is performed using the first camera 110 among the SSM functions.
  • the SSM function is a function of acquiring a super slow motion image by shooting the surroundings of the electronic device 100 at high speed using the first camera 110, and 32 times the obtained super slow motion image compared to a general image playback speed (30 fps) Or it means that it includes a function to play 4 times slower than normal slow motion (240fps).
  • the processor 140 may monitor whether the second object appears on the determined second ROI through the second image monitoring module 60 . That is, the processor 140 may monitor the second region of interest to identify whether the second object appears on the second region of interest.
  • the processor 140 may, through the second image monitoring module 60 , include feature information on an image included in the second region of interest among the information on the second region of interest in the second model 93 and the second model 93 . By inputting the type of the second object, it may be identified whether an object corresponding to the type of the second object appears on the second ROI.
  • the processor 140 collects, through the second image monitoring module 60 , features related to the types of objects included in the plurality of nodes on the knowledge base 85 , the second object of the first database. It is possible to identify information related to the type of The processor 140 monitors whether information related to the type of the identified second object from among the second ROIs is extracted through the second image monitoring module 60 to determine whether the second object appears in the second ROI can be identified.
  • the processor 140 determines the moving direction of the first object through the object recognition module 30 . can be guessed Specifically, the processor 140 may estimate the moving direction of the first object by calculating the amount of change or the moving direction of the first object on the plurality of image frames included in the first image.
  • the processor 140 may determine the third ROI on the first image based on the direction in which the first object moves.
  • the third region of interest refers to a region set to monitor whether the first object appears in the first image.
  • the processor 140 may determine a third ROI as a region corresponding to a direction in which the first object is estimated to move based on a direction in which the first object is currently located on the first image.
  • the third region of interest may be one, but may be two or more.
  • the processor 140 may perform high-speed imaging using the first camera 110 . Examples related to this will be described in detail in the following section.
  • the processor 140 may perform high-speed imaging using the first camera 110 .
  • the processor 140 may perform high-speed imaging using the first camera 110 . That is, the processor 140 may determine the point at which the state of the first object is identified as the point in time at which high-speed imaging is performed using the first camera 110 .
  • the processor 140 may identify that the first object is not included in the first ROI based on information on the first ROI. For example, when a user touch is input to a region not including the first object among the first images displayed on the display 150, the processor 140 removes the region to which the user touch is not included in the first object. 1 It can be determined as a region of interest. In this case, the processor 140 may identify that the first object is not included in the first ROI.
  • the processor 140 may activate the second camera 120 .
  • the processor 140 monitors, through the second image monitoring module 60 , whether an object exists on a region that does not overlap the first image among the second images acquired using the second camera 120 . can do.
  • the second image is a live view in which a larger area than the first image is captured. If it is identified that the third object exists in a region of the second image that does not overlap with the first image and it is identified that the third object moves in the direction of the first image, the processor 140 uses the first camera 110 to High-speed shooting can be performed.
  • the movement of the third object in the direction of the first image may mean that the third object moves from a region that does not overlap the first image among the second images to a direction in which the first image and the region where the first image overlap.
  • the processor 140 may obtain information on a relationship between the first ROI and the second ROI.
  • the information about the relationship between the first ROI and the second ROI may include information about the relative positions of the first ROI and the second ROI, and information about an object included in each of the first ROI and the second ROI. Information on the type may be included.
  • the processor 140 may determine a point in time when high-speed imaging is to be performed using the first camera 110 , based on the obtained information on the relationship between the first region of interest and the second region of interest.
  • a goalpost is included in the first region of interest
  • a soccer ball is included in the second region of interest
  • a second region of interest is included in the right region of the first region of interest. It is assumed that the area is set.
  • the processor 140 determines the relationship between the first region of interest and the second region of interest.
  • a second ROI may be set in a right region of the first ROI based on the information about the ROI, and it may be inferred that a soccer ball may be included in the second ROI.
  • the processor 140 may perform high-speed imaging using the first camera 110 .
  • the processor 140 may determine an indicator indicating the outer (or boundary) of the first image as the first ROI. And, when a specific object appears on the indicator indicating the first ROI, the processor 140 may perform high-speed imaging using the first camera 110 .
  • the display 150 may display various information under the control of the processor 140 .
  • the display 150 may display a first image including a plurality of image frames acquired through the first camera 110 .
  • the display 150 may display (or play) the super slow motion image acquired through the first camera 110 32 times slower than a typical image playback speed (30 fps) or 4 times slower than a typical slow motion (240 fps). .
  • this is only an example, and the display 150 may display the super slow motion image at a speed set by the user.
  • the display 150 may be implemented as a touch screen together with a touch panel, and the display 150 may be implemented as a liquid crystal display panel (LCD), organic light emitting diodes (OLED), etc., in some cases, a flexible display, It is also possible to be implemented as a transparent display or the like. However, it is not limited to the above-described implementation, and the display 150 may be implemented differently depending on the type of the electronic device 100 .
  • LCD liquid crystal display panel
  • OLED organic light emitting diodes
  • the processor 140 may include one or a plurality of processors.
  • one or more processors include a general-purpose processor such as a central processing unit (CPU), an application processor (AP), and a digital signal processor (DSP), and a graphics-only processor such as a graphic processing unit (GPU) and a vision processing unit (VPU).
  • a general-purpose processor such as a central processing unit (CPU), an application processor (AP), and a digital signal processor (DSP)
  • a graphics-only processor such as a graphic processing unit (GPU) and a vision processing unit (VPU).
  • GPU graphic processing unit
  • VPU vision processing unit
  • it may be a processor dedicated to artificial intelligence, such as a Neural Processing Unit (NPU).
  • NPU Neural Processing Unit
  • One or a plurality of processors 140 control to process input data according to a predefined operation rule or artificial intelligence model stored in the memory 130 .
  • the AI-only processor may be designed with a hardware structure specialized for processing a specific AI model.
  • a predefined action rule or artificial intelligence model is characterized in that it is created through learning.
  • being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden.
  • Such learning may be performed in the device itself on which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
  • Examples of the learning algorithm include, but are not limited to, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning.
  • the artificial intelligence model includes a plurality of artificial neural networks, and the artificial neural network may be composed of a plurality of layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • the plurality of weights of the plurality of neural network layers may be optimized by the learning result of the artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from the artificial intelligence model during the learning process is reduced or minimized.
  • FIG. 2 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may acquire information on the first object included in the first image obtained by photographing the surroundings of the electronic device through the first camera (S210). Specifically, the electronic device 100 may determine the first ROI on the first image. The process of determining the first ROI on the first image will be described in detail with reference to FIG. 3 .
  • the electronic device 100 may identify whether the first object is included in the determined first ROI. When it is identified that the first object is included in the first ROI, the electronic device 100 applies the information on the first ROI to the first artificial intelligence model learned to recognize the object to be included in the first ROI. Information on the first object may be obtained. A process in which the electronic device 100 acquires information on the first object will be described in detail with reference to FIG. 3 . Meanwhile, a case in which it is identified that the first object is not included in the first ROI will be described in detail with reference to FIG. 4A .
  • the electronic device 100 may acquire a second image through the second camera ( S220 ). .
  • the electronic device 100 may identify whether the first object is a moving object using information on the first object. If the first object is identified as a non-moving object, the electronic device 100 determines whether information about the second object (eg, the type of the second object, etc.) associated with the type of the first object exists on the knowledge base. whether or not it can be identified. When it is identified that information on the type of the second object exists on the knowledge base, the electronic device 100 may activate the second camera. Then, the electronic device 100 may acquire the second image by using the activated second camera.
  • information about the second object eg, the type of the second object, etc.
  • the electronic device 100 may identify whether the type of the second object associated with the type of the first object exists without using the knowledge base. Since the related embodiments have been described above, redundant descriptions will be omitted.
  • the first object is identified as a moving object
  • a case in which it is identified that there is no information on the type of the second object associated with the type of the first object on the knowledge base will be described in detail with reference to FIG. 7 .
  • the electronic device 100 may determine a point in time to perform high-speed imaging using the first camera based on whether the second object is included in the acquired second image (S230). When it is identified that the second object is present on the second image, the electronic device 100 may determine the second ROI based on the movement direction of the second object. The electronic device 100 may monitor whether the second object appears on the determined second ROI. When it is identified that the second object appears on the second ROI, the electronic device 100 may perform high-speed imaging using the first camera. An embodiment related thereto will be described in detail with reference to FIG. 5 .
  • FIG. 3 is a flowchart illustrating a process in which the electronic device 100 activates a second camera according to an embodiment of the present disclosure.
  • S310 to S330 of FIG. 3 embody the step S210 of FIG. 2 .
  • the electronic device 100 may determine the first ROI on the first image acquired through the first camera (S310).
  • the electronic device 100 may input a first image to a third model trained to determine a region of interest to determine a region including at least one object as the first region of interest.
  • the third model may be an artificial intelligence model trained to determine a region including at least one object included in the first image as a region of interest.
  • the electronic device 100 may determine the first ROI on the first image by using an auto-focus method.
  • Auto focus refers to a function of automatically focusing on a specific object included in the first image.
  • the electronic device 100 may determine a region including the focused object in the first image as the first ROI.
  • the electronic device 100 may determine a region to which a user touch is input among a first image displayed on a display including a touch screen as the first region of interest.
  • the electronic device 100 may display a bounding box having a preset size or shape in a region to which a user touch is input, and set the region in which the bounding box is displayed as the first region of interest.
  • the electronic device 100 may identify whether the first object is included in the first ROI (S320). Meanwhile, when the third model or the autofocus method is used, since the object is included in the first ROI, the electronic device 100 may omit step S320 and perform step S330.
  • a first ROI is determined as a region not including the first object as a user touch is input to a region not including the first object among the first images displayed on the display.
  • the electronic device 100 may identify that the first object is not included in the first ROI. A case in which the first object is not included in the first ROI will be described in detail with reference to FIG. 4A .
  • the electronic device 100 inputs information about the first ROI into the first model trained to recognize the object, and the first object included in the first ROI It is possible to obtain information on (S330).
  • the information on the first ROI may include information about an image included in the first ROI (eg, chromaticity and luminance of pixels constituting the image).
  • the information on the first object may include, for example, the type of the first object, the size of the first object, and information on the amount of change in the position of the first object based on a plurality of frame images included in the first image.
  • the electronic device 100 may identify whether the first object is a moving object by using the information on the first object ( S340 ). For example, the electronic device 100 identifies the amount of change in the position of the first object on the plurality of image frames constituting the first image among the information on the first object, and based on the amount of change in the position of the identified first object, the electronic device 100 1 You can analyze the properties of an object. In addition, the electronic device 100 may identify whether the first object is a moving object according to the property of the first object.
  • the electronic device 100 may identify whether information on the type of the second object associated with the type of the first object exists on the knowledge base ( S350 ). Since the embodiment related to whether information on the type of the second object associated with the type of the first object exists on the knowledge base has been described above, a redundant description will be omitted.
  • the electronic device 100 may activate the second camera.
  • An embodiment after the second camera is activated will be described in detail with reference to FIG. 5 .
  • a case in which the first object is a moving object will be described in detail with reference to FIG. 6 .
  • a case in which information on the type of the second object associated with the type of the first object does not exist on the knowledge base will be described in detail with reference to FIG. 6 .
  • FIG. 4A is a flowchart illustrating a process in which the electronic device 100 performs high-speed imaging using a first camera, according to an embodiment of the present disclosure.
  • FIG. 4B FIG. 4A is a case in which it is identified (S320-N) that the first object is not included in the first region of interest (ROI) 407 on the first image 400 . It is a flowchart for explaining an example in detail.
  • the electronic device 100 may activate the second camera (S410).
  • the electronic device 100 may acquire the second image by using the activated second camera.
  • the first image 400 is a wide-view and the second image 405 is an ultra-wide view having a wider field of view than the first image 400 .
  • the electronic device 100 may monitor whether an object exists on a region that does not overlap the first image 400 among the second images 405 acquired using the second camera ( S420 ).
  • the electronic device 100 displays the second image 1 High-speed shooting may be performed using the camera 110 (S430).
  • the movement of the third object in the direction of the first image means that the third object does not overlap the first image among the second images in the direction of the area where the first image and the second image overlap (eg, arrow 411-1). to 411-8) direction).
  • the electronic device 100 may set a second region of interest (or sub-ROI) 409 in a region that does not overlap the first image among the second images. For example, as shown in FIG. 4B , the electronic device 100 may set the second region of interest 409 in a region overlapping the first image and the second image. In addition, the electronic device 100 may monitor whether a specific object appears in the second ROI 409 .
  • the electronic device 100 may perform high-speed imaging using the first camera. there is.
  • the electronic device 100 may perform the SSM function while performing high-speed photographing using the first camera.
  • FIG. 5 is a flowchart illustrating a process of determining a time point at which the electronic device 100 performs high-speed imaging using a first camera according to another embodiment of the present disclosure, and operations after S360 are described.
  • the electronic device 100 may acquire a second image by using the activated second camera (S510).
  • the electronic device 100 may identify whether the second object is present on the second image (S520).
  • the electronic device 100 may identify whether the second object exists on the second image based on information included in the knowledge base. For example, the electronic device 100 provides information on the relationship between the type of the first object and the type of the second object included in the knowledge base (eg, a direction between the type of the first object and the type of the second object). relationship information, etc.), it is possible to identify whether the second object exists on the second image.
  • the electronic device 100 may estimate the movement direction of the second object ( S530 ).
  • information that a second object of a type related to the type of the first object is located in an area corresponding to the first direction of the first object on the knowledge base 85 that is, information about the direction relationship
  • the electronic device 100 may estimate the movement direction of the second object based on the first direction. Specifically, the electronic device 100 may estimate that the second object moves in a direction toward the first object from the current location (eg, an area positioned in the first direction of the first object).
  • the electronic device 100 may estimate the direction in which the second object will move by calculating the amount of change in position or the direction of movement of the second object on a plurality of frames constituting the second image. For example, if it is calculated that the second object moves by the first position change amount in the direction toward the first object on the plurality of frames constituting the second image, the electronic device 100 determines that the second object moves toward the first object. It can be inferred that the heading is "moving".
  • the electronic device 100 may estimate the moving direction of the first object. An embodiment related thereto will be described in detail with reference to FIG. 6 .
  • the electronic device 100 may determine a second ROI on the second image based on the movement direction of the second object ( S540 ).
  • the second region of interest refers to a region determined (or set) to monitor whether a second object appears in the second image.
  • the electronic device 100 may determine a region corresponding to the movement direction of the second object estimated based on the region in which the second object is located in the second image as the second region of interest.
  • the second region of interest may be one, but may be determined to be two or more.
  • the electronic device 100 may monitor whether the second object appears on the second ROI (S550). As an embodiment, the electronic device 100 inputs feature information about an image included in the second ROI and a type of the second object among the information on the second ROI of the second model 93 to receive the second ROI. Information on whether an object corresponding to the type of the second object appears in the area may be acquired.
  • the electronic device 100 may identify information related to the type of the second object from among the first database in which features related to the types of objects included in the plurality of nodes on the knowledge base are collected. In addition, the electronic device 100 may identify whether the second object appears in the second ROI by monitoring whether information related to the type of the identified second object from among the second ROIs is extracted.
  • the electronic device 100 may perform high-speed imaging using the first camera (S560). That is, the electronic device 100 may determine a point in time at which the second object appears on the second ROI while moving as a point in time at which high-speed imaging is performed using the first camera among the SSM functions.
  • FIG. 6 is a flowchart illustrating a process of determining a time point at which an electronic device performs high-speed imaging using a first camera, according to an embodiment of the present disclosure.
  • the electronic device 100 may perform step S610 of FIG. 6 .
  • the electronic device 100 may estimate the moving direction of the first object (S610). Specifically, the electronic device 100 may estimate the moving direction of the first object by calculating the amount of change or the moving direction of the first object on the plurality of image frames included in the first image.
  • the electronic device 100 may determine a third ROI on the first image based on the estimated direction in which the first object moves ( S620 ).
  • the third region of interest refers to a region set to monitor whether the first object appears in the first image.
  • the electronic device 100 may determine a third ROI as a region corresponding to a direction in which the first object is estimated to move based on a direction in which the first object is currently located on the first image.
  • the third region of interest may be one, but may be two or more.
  • the electronic device 100 may monitor whether the first object appears on the third ROI (S630). When it is identified that the first object appears on the third ROI, the electronic device 100 may perform high-speed imaging using the first camera (S640). That is, when the first object included in the first image is a moving object, the electronic device 100 determines the first ROI on the first image, and based on whether the first object appears in the first ROI Thus, high-speed imaging can be performed using the first camera.
  • FIG. 7 is a flowchart illustrating a process of determining a point in time when the electronic device 100 performs high-speed imaging using a first camera, according to an embodiment of the present disclosure.
  • the electronic device 100 may identify whether the amount of state change of the first object exceeds the second threshold ( S720 ).
  • the state change amount refers to the degree to which a physical quantity, such as a size, volume, shape, etc. of the first object is changed numerically.
  • the second threshold value may be a preset value calculated by experiments or research, but is not limited thereto, and may be changed by a user.
  • the first object is implemented as a balloon filled with water.
  • the shape or volume of the balloon filled with water may be significantly changed.
  • the electronic device 100 may identify that the amount of change in the state of the balloon filled with water exceeds the second threshold.
  • the electronic device 100 may perform high-speed imaging using the first camera ( S730 ). That is, the electronic device 100 may determine a point in time when the state of the first object is changed as a point in time of high-speed photographing using the first camera.
  • the electronic device 100 may include information of an image representing the first object among states of the first object (eg, color, contrast, pixel value, etc. of the image of the first object) When changed, high-speed photographing may be performed using the first camera. For example, when the amount of change in the information of the image representing the first object (eg, the amount of change in the color of the image of the first object, etc.) exceeds the third threshold, the electronic device 100 controls the first camera. It can be used to perform high-speed photography.
  • states of the first object eg, color, contrast, pixel value, etc. of the image of the first object
  • the electronic device 100 includes a first camera 110 , a second camera 120 , a memory 130 , a processor 140 , a display 150 , a communication unit 160 , and a speaker ( 170 ), a microphone 180 , and an input unit 190 . Since the first camera 110 , the second camera 120 , the memory 130 , the processor 140 , and the display 150 have been described in detail with reference to FIG. 1A , redundant descriptions will be omitted.
  • the communication unit 160 includes a circuit and may communicate with an external device.
  • the communication connection of the communication unit 160 with the external device may include communication through a third device (eg, a repeater, a hub, an access point, a server or a gateway, etc.).
  • the communication unit 160 may include various communication modules to communicate with an external device.
  • the communication unit 120 may include a wireless communication module, for example, 5G (5TH Generation), LTE, LTE-A (LTE Advance), CDMA (code division multiple access), WCDMA (wideband CDMA) It may include a cellular communication module using at least one of , , and the like.
  • the wireless communication module may include, for example, at least one of wireless fidelity (WiFi), Bluetooth, Bluetooth low energy (BLE), Zigbee, radio frequency (RF), or body area network (BAN).
  • WiFi wireless fidelity
  • BLE Bluetooth low energy
  • RF radio frequency
  • BAN body area network
  • the first model 80 , the knowledge base 85 , the second model 93 , the third model 95 , and the fourth model 97 shown in FIG. 1 may be included in an external server.
  • the communication unit 160 may receive the knowledge base 85 from an external server.
  • the communication unit 160 may transmit information on the first ROI to an external server including the first model 80 , and may receive information on the first object from the external server.
  • the communication unit 160 transmits information about the image included in the second region of interest and the type of the second object to an external server including the second model 93, and from the external server to the second interest region. Information indicating whether an object corresponding to the type of the second object is included in the region may be received.
  • the communication unit 160 transmits the first image to an external server including the third model 95, and receives information on a region set as the first region of interest among the first images input from the external server. can receive The processor 140 may determine the first ROI from among the first images based on the information on the region set as the first ROI obtained through the communication unit 160 .
  • the communication unit 160 transmits a label corresponding to the type of the first object or an image for the first object to an external server including the fourth model 97, and transmits the image of the first object from the external server. It may receive information that the type of the second object associated with the type or the second object associated with the first object does not exist.
  • the speaker 170 is configured to output various audio data on which various processing operations such as decoding, amplification, and noise filtering have been performed by an audio processing unit (not shown). Also, the speaker 170 may output various notification sounds or voice messages.
  • the speaker 170 may output a notification sound notifying the time when high-speed imaging is performed using the first camera 110 .
  • the speaker 160 may output audio data included in the SSM image.
  • the microphone 180 is configured to receive a voice input from a user.
  • the microphone 180 may be provided inside the electronic device 100 , but may be provided outside and electrically connected to the electronic device 100 .
  • the microphone 180 may transmit a user voice signal generated through a wired/wireless interface (eg, Wi-Fi, Bluetooth) to the processor 140 .
  • a wired/wireless interface eg, Wi-Fi, Bluetooth
  • the microphone 180 is a wake-up word (or a trigger word) capable of waking up a dialog system (not shown), which is an artificial intelligence model that can recognize and understand the voice input from the user. (trigger word)) can be input.
  • the microphone 180 may receive a user voice including a command to perform high-speed photographing using the first camera 110 .
  • the processor 140 may input a user's voice including a command to perform high-speed imaging acquired through the microphone 180 into the conversation system.
  • the processor 140 may perform high-speed photographing using the first camera 110 based on information obtained through the conversation system.
  • the input unit 190 includes a circuit and may receive a user input for controlling the electronic device 100 .
  • the input unit 190 may include a touch panel for receiving a user touch input using a user's hand or a stylus pen, a button for receiving a user manipulation, and the like.
  • the input unit 190 may be implemented as another input device (eg, a keyboard, a mouse, a motion input unit, etc.). Meanwhile, the input unit 170 may receive various user commands.
  • expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
  • expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B” means (1) includes at least one A, (2) includes at least one B; Or (3) it may refer to all cases including both at least one A and at least one B.
  • a component eg, a first component is "coupled with/to (operatively or communicatively)" to another component (eg, a second component);
  • another component eg, a second component
  • the certain element may be directly connected to the other element or may be connected through another element (eg, a third element).
  • a component eg, a first component
  • another component eg, a second component
  • a device configured to may mean that the device is “capable of” with other devices or parts.
  • a coprocessor configured (or configured to perform) A, B, and C may include a processor dedicated to performing the operations (eg, an embedded processor), or executing one or more software programs stored in a memory device. By doing so, it may mean a generic-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.
  • Various embodiments of the present disclosure may be implemented as software including instructions stored in a machine-readable storage media readable by a machine (eg, a computer).
  • a machine eg, a computer
  • it may include the server cloud according to the disclosed embodiments.
  • the processor directly or under the control of the processor performs other components A function corresponding to the above command can be performed by using it.
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module and implemented with at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the 'non-transitory storage medium' does not include a signal and only means that it is tangible and does not distinguish that data is semi-permanently or temporarily stored in the storage medium.
  • the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in the present disclosure may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a machine-readable storage medium (eg, compact disc read only memory (CD-ROM)) or online through an application store (eg, Play StoreTM).
  • an application store eg, Play StoreTM
  • at least a portion of the computer program product eg, a downloadable app
  • a storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server, or is temporarily stored can be created with
  • Each of the components may be composed of a singular or a plurality of entities, and some sub-components of the aforementioned sub-components may be omitted, or other sub-components may be various It may be further included in the embodiment.
  • some components eg, a module or a program
  • operations performed by a module, program, or other component may be sequentially, parallelly, repetitively or heuristically executed, or at least some operations may be executed in a different order, omitted, or other operations may be added.

Abstract

전자 장치 및 이의 제어 방법이 개시된다. 본 개시의 전자 장치는 제1 초점 거리를 갖는 제1 렌즈가 포함된 제1 카메라, 제1 초점 거리와 다른 제2 초점 거리를 갖는 제2 렌즈가 포함된 제2 카메라, 메모리 및 제1 카메라를 통해 전자 장치의 주변을 촬영하여 획득된 제1 영상에 포함된 제1 객체에 대한 정보를 획득하고, 획득된 제1 객체에 대한 정보에 기초하여 제1 객체와 연관된 제2 객체에 대한 정보가 존재한다고 식별되면, 제2 카메라를 통해 제2 영상을 획득하고, 획득된 제2 영상 상에 제2 객체가 포함되는지 여부에 기초하여, 제1 카메라를 이용하여 고속 촬영을 수행할 시점을 결정하는 프로세서를 포함할 수 있다.

Description

전자 장치 및 이의 제어 방법
본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로서, 더욱 상세하게는 영상에 포함된 객체에 기초하여 SSM 기능을 수행하는 시점을 결정할 수 있는 전자 장치 및 이의 제어 방법에 관한 것이다.
CROSS-REFERENCE TO RELATED APPLICATIONS
본 출원은 2020년 10월 28일에 출원된 대한민국 특허출원 제 10-2020-0141202 호에 기초하여 우선권을 주장하며, 해당 출원의 모든 내용은 그 전체가 본 출원에 레퍼런스로 포함된다.
SSM(Super Slow Motion) 영상은 특정 장면(scene)에서 고속 움직임을 기록하기 위해 캡쳐(capture)된 영상을 의미한다. SSM 영상을 생성하기 위해서는 많은 양의 컴퓨팅 리소스, 스토리지 리소스 및 전력이 소모되는 바, 일반적으로 한 장면 내에서 특정 이벤트가 발생되는 짧은 시구간 내에 SSM 영상을 생성하는 것이 선호된다.
한편, SSM 영상 녹화 기능이 수동으로 활성화된 경우, 예상하지 못한 이벤트가 발생하거나 영상 상에 포함된 객체가 빠르게 움직일 경우, 사용자는 SSM 영상 녹화 개시 동작을 적절한 타이밍보다 일찍 또는 늦게 수행할 가능성이 존재한다. 이에 따라, 사용자는 의도한 이벤트에 대한 SSM 영상를 녹화하지 못하거나, 의도하지 않은 장면이 포함되어 용량이 매우 큰 SSM 영상을 녹화할 가능성이 존재한다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로서, 본 개시의 목적은 적어도 하나의 카메라를 통해 획득된 영상에 포함된 객체에 기초하여 SSM 기능을 수행하는 시점을 결정하는 전자 장치 및 이의 제어 방법을 제공함에 있다.
본 개시의 일 실시예로, 전자 장치는 제1 초점 거리를 갖는 제1 렌즈가 포함된 제1 카메라, 상기 제1 초점 거리와 다른 제2 초점 거리를 갖는 제2 렌즈가 포함된 제2 카메라, 메모리 및 상기 제1 카메라를 통해 상기 전자 장치의 주변을 촬영하여 획득된 제1 영상에 포함된 제1 객체에 대한 정보를 획득하고, 상기 획득된 제1 객체에 대한 정보에 기초하여 상기 제1 객체와 연관된 제2 객체에 대한 정보가 존재한다고 식별되면, 상기 제2 카메라를 통해 제2 영상을 획득하고, 상기 획득된 제2 영상 상에 상기 제2 객체가 포함되는지 여부에 기초하여, 상기 제1 카메라를 이용하여 고속 촬영을 수행할 시점을 결정하는 프로세서를 포함할 수 있다.
제1 초점 거리를 갖는 제1 렌즈가 포함된 제1 카메라 및 상기 제1 초점 거리와 다른 제2 초점 거리를 갖는 제2 렌즈가 포함된 제2 카메라를 포함하는 전자 장치의 제어 방법은 상기 제1 카메라를 통해 상기 전자 장치의 주변을 촬영하여 획득된 제1 영상에 포함된 제1 객체에 대한 정보를 획득하는 단계, 상기 획득된 제1 객체에 대한 정보에 기초하여 상기 제1 객체와 연관된 제2 객체에 대한 정보가 존재한다고 식별되면, 상기 제2 카메라를 통해 제2 영상을 획득하는 단계 및 상기 획득된 제2 영상 상에 상기 제2 객체가 포함되는지 여부에 기초하여, 상기 제1 카메라를 이용하여 고속 촬영을 수행할 시점을 결정하는 단계를 포함할 수 있다.
상술한 바와 같은 다양한 실시예에 의해, 전자 장치는 SSM 기능을 수행하는 시점을 정확하고 효율적으로 결정할 수 있다.
도 1a는 본 개시의 일 실시예에 따른, 전자 장치의 구성을 간략히 도시한 블록도,
도 1b는 본 개시의 일 실시예에 따른, 지식 베이스에 대한 구조를 설명하기 위한 도면,
도 2는 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 순서도,
도 3은 본 개시의 일 실시예에 따른, 전자 장치가 제2 카메라를 활성화시키는 과정을 설명하기 위한 순서도,
도 4a 및 도 4b는 본 개시의 일 실시예에 따른, 전자 장치가 제1 카메라를 이용하여 고속 촬영을 수행하는 과정을 설명하기 위한 순서도,
도 5는 본 개시의 일 실시예에 따른, 전자 장치가 제1 카메라를 이용하여 고속 촬영을 수행하는 과정을 설명하기 위한 순서도,
도 6은 본 개시의 일 실시예에 따른, 제1 카메라를 이용하여 고속 촬영을 수행하는 과정을 설명하기 위한 순서도,
도 7은 본 개시의 일 실시예에 따른, 제1 카메라를 이용하여 고속 촬영을 수행하는 과정을 설명하기 위한 순서도,
도 8은 본 개시의 일 실시예에 따른, 전자 장치의 구성을 상세히 도시한 블록도이다.
이하에서는 도면을 참조하여 본 개시에 대해 구체적으로 설명하도록 한다. 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
도 1a는 본 개시의 일 실시 예에 따른, 전자 장치(100)의 구성 및 동작을 설명하기 위한 블록도이다. 본 개시를 설명함에 있어서 전자 장치(100)는 스마트 폰, 태블릿 PC(Personal Computer), 데스크 탑 PC, 랩탑 PC, 넷북 컴퓨터 및 웨어러블(wearable) 장치와 같은 사용자 단말 장치로 구현될 수 있으나, 이에 국한되는 것은 아니다. 본 개시의 전자 장치(100)는 카메라가 포함된 다양한 장치로 구현될 수 있다.
도 1a에 도시된 바와 같이, 전자 장치(100)는 제1 카메라(110), 제2 카메라(120), 메모리(130), 프로세서(140) 및 디스플레이(150)를 포함할 수 있다. 다만, 도 1a에 도시된 구성은 본 개시의 실시 예들을 구현하기 위한 예시도이며, 통상의 기술자에게 자명한 수준의 적절한 하드웨어 및 소프트웨어 구성들이 전자 장치(100)에 추가로 포함될 수 있다.
제1 카메라(110)는 전자 장치(100)의 주변을 촬영하여 하나 이상의 이미지를 획득할 수 있는 구성이다. 제1 카메라(110)는 전자 장치(100)의 주변을 촬영하여 제1 영상을 획득할 수 있다. 즉, 제1 카메라(110)는 전자 장치(100)의 주변을 촬영한 복수의 이미지 프레임(frame)으로 구성된 제1 영상을 획득할 수 있으며, 제1 영상은 라이브 뷰(live view)를 포함할 수 있다. 그리고, 복수의 이미지 프레임으로 구성된 제1 영상은 일시적으로 정보를 저장하는 메모리(130) 중 버퍼(buffer)에 저장될 수 있다. 제1 카메라(110)에는 제1 초점 거리를 갖는 제1 렌즈가 포함될 수 있다.
제2 카메라(120)는 제1 카메라(110)와 같이 전자 장치(100)의 주변을 촬영하여 하나 이상의 이미지를 획득할 수 있는 구성이다. 제2 카메라(120)는 전자 장치(100)의 주변을 촬영하여 획득된 복수의 이미지 프레임으로 구성된 제2 영상을 획득할 수 있으며, 제2 영상은 라이브 뷰를 포함할 수 있다.
한편, 제2 카메라(120)는 전자 장치(100) 상에서 제1 카메라(110)와 임계 거리 내에 위치할 수 있다. 임계 거리는 실험 또는 연구 등을 통해 기설정된 값일 수 있으나 이에 국한되는 것은 아니며, 전자 장치(100)의 제조 단계에서 변경될 수 있다.
제2 카메라(120)에 포함된 제2 렌즈가 갖는 제2 초점 거리는 제1 카메라(110)에 포함된 제1 렌즈의 제2 초점 거리와 상이할 수 있다. 예를 들어, 제2 카메라(120)에 포함된 제2 렌즈의 제2 초점 거리는 제1 카메라(110)에 포함된 제1 렌즈의 제1 초점 거리보다 짧을 수 있다.
예로, 제2 카메라(120)에는 초 광각 렌즈(ultra-wide lens)가 포함되어 있으며, 제1 카메라(110)에는 광각 렌즈(wide-lens)가 포함되어 있을 수 있다. 즉, 제2 카메라(120)는 제1 카메라(110)보다 더 큰 화각(Field of View, FOV)을 가질 수 있다. 이에 따라, 제1 카메라(110) 및 제2 카메라(120)가 서로 임계 거리 떨어진 위치에서 전자 장치(100)의 주변을 촬영할 경우, 제2 카메라(120)를 통해 획득된 제2 영상은 제1 카메라(110)를 통해 획득된 제1 영상보다 더 넓은 영역이 포함된 이미지 프레임으로 구성될 수 있다.
다만, 이는 일 실시예에 불과하며, 제2 카메라(120)에 포함된 제2 렌즈의 제2 초점 거리는 제1 카메라(110)에 포함된 제1 렌즈의 제1 초점 거리보다 길 수 있다. 예로, 제2 카메라(120)에는 광각 렌즈(wide lens)가 포함되어 있으며, 제1 카메라(110)에는 초 광각 렌즈(wide-lens)가 포함되어 있을 수 있다.
제1 카메라(110) 및 제2 카메라(120) 각각에는 이미지 센서(예를 들어, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 또는 CCD(Charge Coupled Device) 이미지 센서 등)가 포함될 수 있다. 이미지 센서는 전원의 인가 여부 등에 따라 턴 오프(off) 또는 턴 온(on) 될 수 있다.
각 카메라(110, 120)가 비활성화 된 상태는 각 카메라(110, 120)에 포함된 이미지 센서가 턴 오프 되어 있는 상태 또는 각 카메라(110,12)에 포함된 이미지 센서가 턴 온 되어 있으나 각 카메라(110,120)가 이미지 센서를 이용하여 획득된 복수의 이미지 프레임이 버퍼에 저장되지 않는 상태를 의미할 수 있다.
각 카메라(110, 120)가 활성화된 상태는 각 카메라(110, 120)에 포함된 이미지 센서가 턴 온 되어 있고 각 카메라(110, 120)가 이미지 센서를 이용하여 획득된 복수의 이미지 프레임이 버퍼에 저장되고 있는 상태 또는 버퍼에 저장되고 있는 복수의 이미지 프레임이 프로세서(140)에 의해 디스플레이(150) 상에 표시되고 있는 상태를 의미할 수 있다. 본 개시를 설명함에 있어서, 제2 카메라(120)가 활성화된다는 것은 제2 카메라(120))가 비활성화된 상태에서 활성화된 상태로 전환된다는 것을 의미한다.
메모리(130)는 전자 장치(100)의 적어도 하나의 다른 구성요소에 관계된 데이터 또는 적어도 하나의 명령어(instruction)를 저장할 수 있다. 명령어는 프로그래밍 작성 언어에서 프로세서(140)가 직접 실행할 수 있는 하나의 동작 문장(action statement)를 의미하며, 프로그램의 실행 또는 동작에 대한 최소 단위이다. 메모리(130)는 프로세서(140)에 의해 액세스되며, 프로세서(140)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
본 개시에서 메모리라는 용어는 메모리(130), 프로세서(140) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다.
메모리(130)는 제1 영상 및 제2 영상에 기초하여 제1 카메라(110)를 통해 SSM(Super Slow Motion) 기능을 수행하는 시점을 결정하기 위한 소프트웨어 모듈 및 각 모듈이 각종 동작을 수행하기 위해 필요한 데이터를 저장할 수 있다. 제1 카메라(110)가 SSM 기능을 수행하는 시점을 결정하기 위한 모듈은 제1 관심 영역 결정 모듈(20), 객체 인식 모듈(30), 객체 속성 분석 모듈(40), 연관 객체 결정 모듈(50), 제2 영상 모니터링 모듈(60) 및 고속 촬영 수행 모듈(70)가 포함될 수 있다.
SSM 기능은 전자 장치(100)의 주변을 고속(high-speed)으로 촬영(예를 들어, 480 fps(frames per second) 또는 960 fps 등으로 촬영)하여 슈퍼 슬로우 모션 영상을 획득하고, 획득된 슈퍼 슬로우 모션 영상을 느리게 재생(예를 들어, 일반적인 영상 재생 속도(30fps) 대비 32배 또는 일반적인 슬로우 모션(240fps) 대비 4배 느리게 재생 등)하는 기능을 의미한다. SSM 기능을 통해 사용자는 육안으로는 식별하기 힘든 물체의 빠른 움직임 또는 미세한 변화를 효율적으로 감지할 수 있다. 한편, SSM 기능과 관련된 재생 속도 또는 촬영 속도는 상술된 예시 수치에 한정되지 않으며 다양한 수치로 사용자에 의해 설정될 수 있다.
제1 카메라(110)를 통해 SSM 기능을 수행하여 촬영된 슈퍼 슬로우 모션 영상은 비교적 높은 프레임 레이트(frame rate)(예를 들어, 480 fps 또는, 960fps 등)를 가지는 영상일 수 있다. 한편, SSM 기능에 대응되는 프레임 레이트는 기설정된 값일 수 있으나, 사용자에 의해 변경될 수 있다.
제1 관심 영역(Region of Interest, ROI) 결정 모듈(20)은 제1 카메라(110)를 통해 획득된 제1 영상 상에 제1 관심 영역을 결정하고 결정된 제1 관심 영역에 대한 정보를 획득하는 모듈이다. 여기서, 제1 영상의 제1 관심 영역은 제1 영상 중 이미지 분석 등을 위해 결정된(또는, 선택된) 일부 영역을 의미한다.
제1 관심 영역 결정 모듈(20)은 관심 영역을 결정하도록 학습된 제3 모델(95) 또는 자동 초점(Auto focus) 방식을 이용하여 자동으로 제1 영상 상에 제1 관심 영역을 결정할 수 있다. 또 다른 예로, 제1 관심 영역 결정 모듈(20)은 디스플레이(150) 상에서 표시된 제1 영상 상에 사용자 터치가 입력된 영역을 제1 관심 영역으로 결정할 수 있다.
제1 관심 영역 결정 모듈(20)은 결정된 제1 관심 영역에 대한 정보를 획득할 수 있다. 예로, 제1 관심 영역에 대한 정보는 제1 관심 영역에 포함된 이미지의 특징 정보(예를 들어, 제1 관심 영역에 포함된 이미지의 픽셀 값, 휘도 및 색도 정보 등) 및 제1 관심 영역을 나타내는 인디케이터(indicator)(예를 들어, 제1 관심 영역에 대응되는 바운딩 박스(bounding box))의 크기 또는 모양에 대한 정보가 포함될 수 있다. 제1 관심 영역을 나타내는 인디케이터는 기설정된 크기 또는 모양을 가질 수 있으나, 이에 한정되는 것은 아니며 사용자 명령에 의해 변경될 수 있다. 그리고, 제1 관심 영역 결정 모듈(20)은 제1 관심 영역에 포함된 이미지를 분석함으로써 제1 관심 영역에 포함된 이미지의 특징 정보를 획득할 수 있다.
객체 인식 모듈(30)은 제1 모델(80)을 이용하여 제1 관심 영역 상에 포함된 제1 객체를 인식하여 제1 객체에 대한 정보를 획득하는 모듈이다. 구체적으로, 객체 인식 모듈(30)은 제1 관심 영역 결정 모듈(20)을 통해 획득된 제1 관심 영역에 대한 정보를 제1 모델(80)에 입력하여 제1 관심 영역에 포함된 제1 객체에 대한 정보를 획득할 수 있다. 제1 객체에 대한 정보는 예로, 제1 객체의 유형, 제1 객체의 크기 및 제1 영상에 포함된 복수의 프레임 이미지 기반으로 제1 객체의 위치 변화량에 대한 정보 등을 포함할 수 있다. 즉, 제1 객체 인식 모듈(30)은 제1 객체에 대한 정보를 획득함으로써 제1 관심 영역 상에 포함된 제1 객체를 인식할 수 있다.
객체 속성 분석 모듈(40)은 객체 인식 모듈(30)을 통해 획득된 제1 객체에 대한 정보에 기초하여 제1 객체의 속성(동적(dynamic) 또는 정적(static) 속성)을 분석하여 제1 객체가 움직이는 객체인지 여부를 식별하는 모듈이다. 예를 들면, 객체 속성 분석 모듈(40)은 제1 객체에 대한 정보 중 제1 영상을 구성하는 복수의 이미지 프레임 상에서 제1 객체의 위치 변화량을 식별하고, 식별된 제1 객체의 위치 변화량에 기초하여 제1 객체의 속성을 분석할 수 있다. 그리고, 객체 속성 분석 모듈(40)은 제1 객체의 속성에 따라 제1 객체가 움직이는 객체인지 여부와 관련된 정보를 출력할 수 있다.
연관 객체 결정 모듈(50)은 지식 베이스(85) 상에서 제1 객체의 유형이 포함된 제1 노드와 연결된 다른 노드(node)가 존재하는지 여부를 식별하고, 다른 노드에 포함된 정보를 식별하는 모듈이다. 즉, 연관 객체 결정 모듈은 제1 객체에 대한 정보(예를 들어, 제1 객체에 대한 유형 등)에 기초하여 제1 객체와 연관된 제2 객체에 대한 정보가 존재하는지 여부를 식별할 수 있다.
제1 객체의 유형이 포함된 제1 노드와 연결된 다른 노드에는 제1 객체의 유형과 연관된(또는, 관련된) 제2 객체의 유형이 포함될 수 있다. 제1 객체의 유형과 연관된 제2 객체(또는, 제1 객체의 연관 객체)의 유형은 제1 객체의 주변 영역에 등장할 것으로 예측되는 객체의 유형을 의미한다. 예를 들어, 제1 객체의 유형이 축구 골대(goal post)인 경우, 제2 객체의 유형은 축구 골대 주변 영역에 등장할 것으로 예측되는 축구 공으로 구현될 수 있다. 이 때, 제2 객체는 단수일 수 있으나, 이에 국한되는 것은 아니며 2개 이상의 복수 개일 수 있다.
즉, 연관 객체 결정 모듈(50)은, 객체 인식 모듈(30)을 통해 획득된 제1 객체에 대한 정보 중 제1 객체의 유형을 이용하여, 지식 베이스(85) 상에서 제1 객체의 유형이 포함된 제1 노드를 식별할 수 있다. 그리고, 연관 객체 결정 모듈(50)은 지식 베이스(85) 상에서 식별된 제1 노드와 연결된 다른 노드가 존재하는지 여부를 식별할 수 있다. 제1 노드와 연결된 다른 노드(예를 들어, 제2 노드)가 존재한다고 식별되면, 연관 객체 결정 모듈(50)은 제2 노드에 포함된 제2 객체의 유형을 획득(또는, 식별)할 수 있다.
그리고, 연관 객체 결정 모듈(50)은 지식 베이스(85)를 이용하여 제1 객체의 유형과 제2 객체의 유형간의 관계에 대한 정보를 획득할 수 있다. 예를 들어, 지식 베이스(85) 상에서 제1 노드 및 제2 노드 서로를 연결하는 엣지(edge)에는 제1 객체의 유형 및 제2 객체의 유형 간의 관계에 대한 정보가 포함될 수 있다.
관계에 대한 정보는 제1 객체의 유형 및 제2 객체의 유형 간의 다양한 관계와 관련된 정보가 포함될 수 있다. 예로, 관계에 대한 정보는 제1 객체의 유형 및 제2 객체의 유형 간의 방향 관계에 대한 정보 등이 포함될 수 있다. 방향 관계에 대한 정보는 제1 객체의 현재 위치를 기준으로 제2 객체가 등장하거나 존재할 확률이 높은 위치에 대응되는 방향 정보가 포함될 수 있으나, 이에 한정되는 것은 아니다.
제2 영상 모니터링 모듈(60)은, 연관 객체 결정 모듈(50)을 통해 획득된 제2 객체의 유형 및 제1 객체의 유형과 제2 객체의 유형간의 관계에 대한 정보에 기초하여, 제2 카메라(120)를 통해 획득된 제2 영상 중 제2 관심 영역을 결정하고, 제2 관심 영역을 모니터링하여 제2 객체가 제2 관심 영역에 나타나는지 여부를 식별하는 모듈이다. 제2 관심 영역은 제2 영상 중 제2 객체가 나타나는지 여부를 모니터링하기 위해 결정된(또는, 설정된) 영역을 의미한다.
제2 영상 모니터링 모듈(60)은, 제1 객체의 유형과 제2 객체의 유형간의 관계에 대한 정보에 기초하여, 제2 영상 중 제2 객체가 나타날 것으로 예측되는 영역을 제2 관심 영역으로 결정할 수 있다. 예를 들어, 연관 객체 결정 모듈(50)을 통해 제1 객체의 왼쪽 방향에 대응되는 영역에 제2 객체가 나타날 확률이 높다는 정보가 포함된 관계에 대한 정보가 획득된 경우, 제2 영상 모니터링 모듈(60)은 제1 객체의 현재 위치를 기준으로 제1 객체의 왼쪽 방향에 대응되는 영역을 제2 관심 영역으로 결정할 수 있다. 이 때, 제2 관심 영역은 제1 영상과 제2 영상이 겹치지 않는 영역 상에 설정될 수 있으나, 이에 국한되는 것은 아니다.
제2 영상 모니터링 모듈(60)은 제2 영상 상에 제2 관심 영역을 결정하고, 제2 관심 영역에 대한 정보(예를 들어, 제2 관심 영역에 포함된 이미지에 대한 특징 정보(예를 들어, 이미지를 구성하는 픽셀의 색도, 휘도 등) 및 제2 관심 영역을 나타내는 인디케이터의 크기, 형태 등에 대한 정보를 획득할 수 있다.
예를 들어, 제2 영상 모니터링 모듈(60)은 제2 관심 영역을 결정하고, 제2 관심 영역에 포함된 이미지를 분석하여 제2 관심 영역에 포함된 이미지에 대한 특징 정보를 획득할 수 있다. 여기서, 제2 관심 영역을 나타내는 인디케이터는 기설정된 크기 또는 형태를 가질 수 있으나, 이에 한정되는 것은 아니며 사용자에 의해 변경될 수 있다.
제2 영상 모니터링 모듈(60)은 제2 관심 영역 상에 제2 객체가 나타나는지 여부를 식별할 수 있다. 예를 들어, 제2 영상 모니터링 모듈(60)은 제2 모델(93)에 제2 관심 영역에 대한 정보 중 제2 관심 영역에 포함된 이미지에 대한 특징 정보 및 제2 객체에 대한 유형을 입력하여 제2 관심 영역에 제2 객체의 유형에 대응되는 객체가 나타나는지에 여부에 대한 정보를 획득할 수 있다.
또 다른 예로, 제2 영상 모니터링 모듈(60)은 지식 베이스(85) 상의 복수의 노드에 포함된 객체의 유형과 관련된 특징을 수집한 제1 데이터 베이스 중 제2 객체의 유형과 관련된 정보를 식별할 수 있다. 제2 영상 모니터링 모듈(60)은 제2 관심 영역 중 식별된 제2 객체의 유형과 관련된 정보가 추출되는지 여부를 모니터링하여 제2 객체가 제2 관심 영역에 나타나는지 여부를 식별할 수 있다.
고속 촬영 수행 모듈(70)은, 제2 영상 모니터링 모듈(60)을 통해 제2 관심 영역에 제2 객체가 나타났다는 정보가 획득되면, 제1 카메라(110)의 고속 촬영 동작을 수행하도록 제어하는 모듈이다. 즉, 고속 촬영 수행 모듈(70)이 제1 카메라(110)가 고속 촬영 동작을 수행하도록 제어한다는 것은 SSM 기능이 수행되기 시작했다는 것을 의미한다.
메모리(130)는 객체를 인식하도록 학습된 제1 모델(80) 및 제2 모델(93)이 객체 인식 동작을 수행하기 위해 필요한 정보를 저장할 수 있다.
제1 모델(80)은, 객체 인식 모듈(30)에 의해 제1 영상 상에 포함된 제1 관심 영역에 대한 정보가 입력되면, 제1 관심 영역에 포함된 객체를 인식하고, 인식된 객체에 대한 정보를 출력하도록 학습된 인공 지능(Artificial Intelligence) 모델이다. 여기서, 제1 관심 영역에 대한 정보는 제1 관심 영역에 포함된 이미지에 대한 정보(예를 들어, 이미지를 구성하는 픽셀의 색도, 휘도 등)를 포함할 수 있다.
제2 모델(93)은, 제2 영상 모니터링 모듈(60)에 의해 제2 관심 영역에 포함된 이미지에 대한 정보(예를 들어, 제2 관심 영역에 포함된 이미지를 구성하는 픽셀의 색도, 휘도 등 각종 특징 정보)) 및 제2 객체의 유형이 입력되면, 제2 관심 영역 상에 제2 객체의 유형에 대응되는 객체가 포함되어 있는지 여부를 나타내는 정보를 출력하도록 학습된 인공 지능 모델이다.
예를 들면, 제2 관심 영역에 포함된 이미지에 대한 정보 및 제2 객체의 유형이 입력되면, 제2 모델(93)은 제2 관심 영역에 포함된 이미지 상에 제2 객체의 유형과 관련된 특징 정보가 출력되는지 여부를 식별하고, 제2 객체의 유형과 관련된 특징 정보가 추출되면, 제2 관심 영역 상에 제2 객체의 유형에 대응되는 객체가 포함되어 있다는 정보를 출력하도록 학습될 수 있다.
제1 모델(80) 및 제2 모델(93)에는 입력된 이미지에 대응되는 특징 정보 등을 출력하도록 학습된 인공 신경망(Neural Network)을 포함될 수 있다. 인공 신경망의 예로는 CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network), GAN(Generative Adversarial Networks) 및 심층 Q-네트워크 (Deep Q-Networks)이 있으며, 본 개시에서의 신경망 모델은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
한편, 도 1에는 제1 모델(80) 및 제2 모델(93)이 별개의 모델로 구현된 실시예를 도시하고 있으나, 제1 모델(80) 및 제2 모델(93)은 동일한 모델로 구현될 수 있다.
메모리(130)는 제3 모델(95)이 제1 영상 중 관심 영역을 결정하는 동작을 수행하기 위해 필요한 정보를 저장할 수 있다. 제3 모델(95)은 입력된 제1 영상 중 관심 영역을 결정하도록 학습된 인공 지능 모델이다. 예를 들어, 제3 모델(95)은 제1 영상에 포함된 적어도 하나의 객체가 존재하는 영역을 관심 영역으로 결정하도록 학습될 수 있다.
또한, 메모리(130)는 제4 모델(97)이 동작을 수행하기 위해 필요한 정보를 저장할 수 있다. 제4 모델(97)은 제1 객체의 유형에 대응되는 라벨 또는 제1 객체에 대한 이미지가 입력되면, 제1 객체의 유형과 연관된 제2 객체의 유형을 출력하거나 제1 객체와 연관된 제2 객체가 없다는 정보를 출력하도록 학습된 인공 지능 모델을 의미한다.
메모리(130)는 복수의 객체 각각과 관련된 정보가 포함된 지식 베이스(knowledge base)(90)를 저장할 수 있다. 지식 베이스(85)는 복수의 객체의 유형이 포함된 복수의 노드 및 복수의 객체 간의 관계에 대한 정보가 포함된 엣지가 포함될 수 있다.
일 실시예로, 도 1b에 도시된 바와 같이, 지식 베이스(85)는 복수의 객체의 유형이 포함된 노드 및 복수의 객체간의 관계에 대한 정보가 포함된 엣지가 포함된 지식 그래프(knowledge graph) 형태로 구현될 수 있다.
예를 들어, 제1 객체의 유형이 골대(goal post)인 경우를 가정한다. 지식 베이스(85)는 제1 객체의 유형이 포함된 제1 노드(98)가 포함될 수 있다. 지식 베이스(85) 상에는 제1 노드(98)와 제2 노드(축구공이라는 제1 객체의 유형과 관련된 객체가 포함된 노드)(98-1)가 아래 방향이라는 관계에 대한 정보가 포함된 엣지(99-1)로 연결될 수 있다. 그리고, 지식 베이스(85) 상에는 제1 노드(98)와 제3 노드(농구공이라는 제1 객체의 유형과 관련된 객체가 포함된 노드)(98-2)가 좌/우 방향이라는 관계에 대한 정보가 포함된 엣지(99-2)로 연결될 수 있다. 이 때, 제1 노드(98)와 제2 노드(98-1)가 아래 방향이라는 관계에 대한 정보를 포함하는 엣지(99-1)로 연결된다는 것은 제2 노드(98-1)에 포함된 객체의 유형인 축구 공이 상대적으로 제1 노드(98)에 포함된 제1 객체의 유형인 골대의 아래 영역에 위치할 확률이 높다는 것을 의미할 수 있다.
지식 베이스(85)는 도 1b에 도시된 바와 같이 지식 그래프의 형태로 구조화될 수 있으나, 이는 일 실시예에 불과하며, 각 객체 간의 관계에 대한 정보를 획득할 수 있도록 구조화된 다양한 정보 베이스 형태로 구현될 수 있다.
한편, 메모리(130)는 프로세서(140)가 액세스하여 정보를 기록, 처리 또는 수정할 수 있는 워킹 메모리(working memory) 및 정보를 저장하여 보존하기 위한 스토리지 메모리(storage memory)를 포함할 수 있다.
워킹 메모리는 DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등과 같은 휘발성 RAM(Random Access memory)와 MRAM(Magnetoresistive RAM) 또는 PRAM(Phase-change RAM) 등과 같은 비휘발성 RAM 중 적어도 하나를 포함할 수 있다. 스토리지 메모리는 다양한 종류의 ROM(예를 들어, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM)), 마그네틱 기억 장치(예를 들어, 하드 디스크 등) 또는 각종 보조 기억 장치 등 중 적어도 하나를 포함할 수 있다.
제1 카메라(110)가 SSM 기능을 수행하는 시점을 결정하기 위한 모듈(20,30,40,50,60,70)이 각종 동작을 수행하기 위한 데이터는 스토리지 메모리에 저장될 수 있다. 그리고, 제1 모델(80), 제2 모델(93), 제3 모델(95) 및 제4 모델(97)을 동작하기 위해 필요한 데이터 및 지식 베이스(85)는 스토리지 메모리에 저장될 수 있다.
한편, 워킹 메모리가 프로세서(140)의 일 구성요소로서 프로세서(140)에 포함된 형태로 구현될 수 있으나, 이는 일 실시예에 불과하며, 워킹 메모리는 프로세서(140)와 구별되는 별개의 구성 요소로 구현될 수 있음은 물론이다.
프로세서(140)는 메모리(130)와 전기적으로 연결되어 전자 장치(100)의 전반적인 기능 및 동작을 제어할 수 있다. 프로세서(140)는 전자 장치(100)의 동작을 제어하기 위해 하나 또는 복수의 프로세서로 구성될 수 있다.
프로세서(140)는 스토리지 메모리에 저장되어 있는 SSM 기능을 수행하는 시점을 결정하기 위한 모듈(20,30,40,50,60,70) 및 모듈(20,30,40,50,60,70)이 각종 동작을 수행하기 위한 데이터를 워킹 메모리로 로딩(loading)할 수 있다. 그리고, 프로세서(140)는 제1 모델(80), 제2 모델(93), 제3 모델(95), 제4 모델(97) 및 각 모델이 각종 동작을 실행하기 위해 필요한 데이터를 워킹 메모리로 로딩할 수 있다. 그리고, 프로세서(140)는 지식 베이스(85)를 워킹 메모리로 로딩할 수 있다. 프로세서(140)는 워킹 메모리로 로딩된 데이터에 기초하여 각종 모듈 및 인공 지능 모델을 통해 각종 동작을 수행할 수 있다. 여기서, 로딩이란 프로세서(140)가 엑세스할 수 있도록 스토리지 메모리에 저장된 데이터를 워킹 메모리에 불러들여 저장하는 동작을 의미한다.
한편, 프로세서(140)는 각종 모듈(20,30,40,50,60,70) 및 각종 인공 지능 모델(80, 90) 각각이 동작을 실행하기 위해 필요한 데이터를 한 번에 로딩할 수 있으나, 이에 국한되는 것은 아니다. 프로세서(140)는 순서에 상관 없이 각 모듈 및 모델이 특정 동작을 실행하기 위해 필요한 데이터를 로딩할 수 있다.
또한, 각종 모듈 또는 모델 중 하나가 특정 동작을 실행하고자 할 때, 프로세서(140)는 특정 동작을 수행하려는 모듈 또는 모델 중 하나에 대응되는 데이터만을 로딩할 수 있다. 또한, 각종 모듈(20,30,40,50,60,70) 및 각종 인공 지능 모델(80, 90) 중 동작이 완료되면, 동작이 완료된 모듈 및 모델을 동작하기 위해 필요한 데이터를 워킹 메모리 내에서 삭제할 수 있다.
그리고, 프로세서(140)는 연관 객체 결정 모듈(50)을 로딩할 때 지식 베이스(85)를 로딩할 수 있으나, 이는 일 실시예에 불과하며 순서에 상관 없이 지식 베이스(85)를 로딩할 수 있다.
프로세서(140)는 제1 카메라(110)를 통해 전자 장치(100)의 주변을 촬영하여 획득된 제1 영상에 포함된 제1 객체에 대한 정보를 획득할 수 있다. 구체적으로, 프로세서(140)는 제1 카메라(110)를 통해 전자 장치(100)의 주변을 촬영하여 제1 영상을 획득하고 획득된 제1 영상에 객체를 인식하도록 학습된 제1 모델을 적용하여 제1 영상에 포함된 제1 객체에 대한 정보를 획득할 수 있다.
더욱 구체적으로, 프로세서(140)는, 제1 관심 영역 결정 모듈(20)을 통해, 제1 카메라(110)를 이용하여 획득된 제1 영상 상에서 제1 관심 영역을 결정할 수 있다. 이 때, 프로세서(140)는 제1 영상이 디스플레이(150)에 표시되도록 제어할 수 있다.
일 실시예로, 프로세서(140)는, 제1 관심 영역 결정 모듈(20)을 통해, 관심 영역을 결정하도록 학습된 제3 모델(95)에 제1 영상을 입력하여 적어도 하나의 객체가 포함된 영역을 제1 관심 영역으로 결정할 수 있다. 또 다른 실시예로, 프로세서(140)는, 제1 관심 영역 결정 모듈(20)을 통해, 자동 초점(Auto focus) 방식을 이용하여 제1 영상 상에 적어도 하나의 객체가 존재하는 영역을 제1 관심 영역으로 결정할 수 있다.
또 다른 실시예로, 프로세서(140)는 제1 영상 중 사용자 터치가 입력된 영역을 제1 관심 영역을 결정할 수 있다. 프로세서(140)는 제1 영상 중 결정된 제1 관심 영역을 기설정된 크기 및 형태(예를 들어, 사각형 등)를 가진 인디케이터(indicator)로 표시할 수 있다. 예를 들면, 프로세서(140)는 디스플레이(150) 상에 표시된 제1 영상 중 사용자 터치가 입력된 영역을 제1 관심 영역으로 결정하고, 결정된 제1 관심 영역을 나타내는 인디케이터를 디스플레이(150)에 표시되도록 제어할 수 있다.
그리고, 프로세서(140)는, 객체 인식 모듈(30)을 통해, 제1 관심 영역 결정 모듈(20)에 의해 획득된 제1 관심 영역에 대한 정보를 제1 모델(80)에 입력하여 제1 관심 영역에 포함된 제1 객체를 인식하고, 인식된 제1 객체에 대한 정보를 획득할 수 있다. 제1 객체에 대한 정보는 예로, 제1 객체의 유형, 제1 객체의 크기 및 제1 영상에 포함된 복수의 프레임 이미지 기반으로 제1 객체의 위치 변화량 또는 이동 방향에 대한 정보 등이 포함될 수 있다.
제1 객체에 대한 정보에 기초하여 제1 객체와 연관된 제2 객체에 대한 정보가 존재한다고 식별되면, 프로세서(140)는 제2 카메라(120)를 통해 제2 영상을 획득할 수 있다.
구체적으로, 프로세서(140)는 제1 객체에 대한 정보에 기초하여 제1 객체가 움직이는 객체인지 여부를 식별할 수 있다. 프로세서(140)는, 객체 속성 분석 모듈(40)을 통해, 제1 객체에 대한 정보에 기초하여 제1 객체가 동적 속성 또는 정적 속성이 있는지 여부를 분석하고, 제1 객체가 움직이는 객체인지 식별할 수 있다. 예를 들면, 프로세서(140)는, 객체 속성 분석 모듈(40)을 통해, 제1 객체에 대한 정보 중 제1 영상에 포함된 복수의 이미지 프레임 상에서 제1 객체의 위치 변화량을 식별할 수 있다.
예로, 제1 객체의 위치 변화량이 제1 임계값을 초과한 경우, 프로세서(140)는 제1 객체는 동적(dynamic)인 속성을 포함하고 있다고 분석할 수 있으며, 제1 객체를 움직이는 개체라고 식별할 수 있다. 또 다른 예로, 제1 객체의 위치 변화량이 제1 임계값 이하인 경우, 프로세서(140)는 제1 객체는 정적(static) 속성을 포함하고 있다고 분석할 수 있으며, 제1 객체를 움직이지 않는 객체라고 식별할 수 있다. 여기서, 제1 임계값은 기설정된 값일 수 있으나, 사용자에 의해 변경될 수 있음은 물론이다.
프로세서(140)는 제1 객체가 움직이는 객체인지 여부와 관련된 식별 결과에 기초하여 제2 카메라(120)를 활성화시키고, 활성화된 제2 카메라(120)를 이용하여 제2 영상을 획득할 수 있다.
구체적으로, 제1 객체가 움직이지 않는 객체라고 식별되면, 프로세서(140)는 제1 객체에 대한 정보(예를 들어, 제1 객체에 대한 유형)에 기초하여 제1 객체의 유형과 연관된 제2 객체에 대한 정보(예를 들어, 제2 객체의 유형)가 존재하는지 여부를 식별할 수 있다.
일 실시예로, 프로세서(140)는, 연관 객체 결정 모듈(50)을 통해, 제1 객체에 대한 정보 중 제1 객체의 유형에 대한 정보 등을 이용하여 지식 베이스(85)에 포함된 복수의 노드 중 제1 객체가 포함된 제1 노드를 식별할 수 있다. 그리고, 프로세서(140)는, 연관 객체 결정 모듈(50)을 통해, 지식 베이스(85) 상에서 제1 노드와 엣지에 의해 연결된 제2 노드가 존재하는지 여부를 식별할 수 있다.
예를 들어, 도 1b에 도시된 바와 같이, 지식 베이스(85)는 복수의 객체의 유형이 포함된 노드 및 복수의 객체간의 방향 관계 정보를 가지는 엣지를 포함하는 지식 그래프 형태로 구현될 수 있다. 프로세서(140)는, 연관 객체 결정 모듈(50)을 통해, 지식 베이스(85) 상에서 제1 객체가 포함된 노드가 엣지를 통해 다른 노드와 연결되는지 여부를 식별할 수 있다.
제1 객체의 유형이 골대인 경우, 프로세서(140)는 연관 객체 결정 모듈(50)을 통해 지식 베이스(85)에 포함된 복수의 노드 중 골대가 포함된 제1 노드(98)를 식별할 수 있다. 그리고, 프로세서(140)는, 연관 객체 결정 모듈(50)을 통해, 지식 베이스(85) 상에서 제1 노드(98)가 엣지를 통해 다른 노드와 연결되는지 여부를 식별할 수 있다. 구체적으로, 프로세서(140)는 연관 개체 결정 모듈(50)을 통해 지식 베이스(85) 상에서 제1 노드(98)가 엣지(99-1, 99-2)를 통해 제2 노드(98-1) 및 제3 노드(98-2)와 연결되었다는 것을 식별할 수 있다.
또 다른 실시예로, 프로세서(140)는, 연관 객체 결정 모듈(50)을 통해, 제1 객체에 대한 정보 중 제1 객체의 유형에 대응되는 라벨(label)에 기정의된 규칙 기반(rule-based) 알고리즘을 적용하여 제1 객체의 유형과 연관된 제2 객체가 존재하는지 여부를 식별할 수 있다. 제1 객체의 유형에 대응되는 라벨은 제1 객체의 유형의 특성을 나타내는 정보를 의미한다. 규칙 기반 알고리즘은 제1 객체의 유형에 대응되는 라벨이 입력되면 제1 객체의 유형과 연관된 객체 유형을 출력하도록 작성된 알고리즘을 의미한다. 제1 객체의 유형과 관련된 객체에 대한 정보가 규칙 기반 알고리즘에 포함되어 있지 않은 경우, 프로세서(140)는, 연관 객체 결정 모듈(50)을 통해, 제1 객체의 유형과 관련된 객체가 존재하지 않는 것으로 식별할 수 있다.
또 다른 실시예로, 프로세서(140)는, 연관 객체 결정 모듈(50)을 통해, 제1 객체에 대한 정보 중 제1 객체의 이미지의 픽셀 값(pixel value) 및 크기를 나타내는 바운딩 박스(bounding box)에 기초하여 제1 객체와 연관된 제2 객체의 픽셀 값 및 크기를 식별할 수 있다. 여기서, 픽셀 값은 제1 객체의 이미지에 포함된 색 속성을 나타내는 값을 의미하며, 바운딩 박스는 제1 객체의 형태를 모두 포함할 수 있는 최소 크기의 박스를 의미한다.
구체적으로, 프로세서(140)는, 연관 객체 결정 모듈(50)을 통해, 제1 객체의 이미지의 픽셀 값 및 크기를 나타내는 바운딩 박스를 이용하여 제1 객체와 연관될 수 있는 제2 객체의 픽셀 값 및 크기를 나타내는 바운딩 박스를 식별할 수 있다. 제1 객체의 이미지의 픽셀 값 및 크기를 나타내는 바운딩 박스와 연관될 수 있는 제2 객체의 픽셀 값 및 크기를 나타내는 바운딩 박스에 대한 정보는 연관 객체 결정 모듈(50)에 포함될 수 있다.
또 다른 실시예로, 프로세서(140)는, 연관 객체 결정 모듈(50)에서,　제4 모델(97)을 통해 제1 객체의 유형과 연관된 제2 객체가 존재하는지 여부를 식별할 수 있다. 구체적으로, 프로세서(140)는 제1 객체에 대한 정보 중 제1 객체의 유형에 대응되는 라벨을 추출하고, 추출된 라벨을 제4 모델(97)에 입력하여 제1 객체와 연관된 제2 객체의 유형에 대한 정보를 라벨(Label) 형태로 획득할 수 있다. 그 후, 제2 카메라(120)로부터 얻은 제2 영상에서 제2 모델을　통하여 얻은 객체 정보 (Label) 중　앞서 얻은 제2 객체 유형이 존재하는지 여부를 식별할 수 있다.
지식 베이스(85) 상에 제1 노드와 연결된 다른 노드가 존재하는 것으로 식별되면, 프로세서(140)는 제2 카메라(120)를 활성화시킬 수 있다. 예를 들면, 지식 베이스(85) 상에서 제1 노드와 연결된 다른 노드가 존재하는 것으로 식별되면, 프로세서(140)는 제2 카메라(120)를 활성화시키고, 제2 카메라(120)를 활성화시킬 수 있다.
프로세서(140)는 활성화된 제2 카메라(120)를 이용하여 전자 장치(100)의 주변을 촬영하여 제2 영상을 획득할 수 있다. 제2 카메라(120)에 제1 카메라(110)보다 짧은 초점 거리를 가지는 제2 렌즈가 포함된 경우, 제2 영상은 제1 영상보다 넓은 영역을 촬영한 영상이므로, 제2 영상 안에 제1 영상이 포함될 수 있다. 이 때, 프로세서(140)는 디스플레이(150) 상에는 제1 영상을 표시하고 있으나, 제2 영상을 구성하는 복수의 이미지 프레임은 버퍼에 저장되어 있으므로, 저장된 복수의 이미지 프레임을 이용하여 제1 영상과 제2 영상에 겹치지 않는 영역에 제2 객체가 존재하는지 여부를 식별할 수 있다. 즉, 프로세서(140)는 제2 영상과 제1 영상이 겹치지 않는 영역은 디스플레이(150) 상에 표시하지 않으나, 해당 영역은 버퍼에 저장되어있으므로, 버퍼 상에 저장된 프레임에 기초하여 각종 동작을 수행할 수 있다.
또 다른 예로, 제2 카메라(120)에 제1 카메라(110)보다 긴 초점 거리를 가지는 제2 렌즈가 포함된 경우, 제1 영상은 제2 영상보다 넓은 영역을 촬영한 영상이므로, 제1 영상 안에 제2 영상이 포함될 수 있다.
프로세서(140)는, 제2 카메라(120)를 통해 획득된 제2 영상 상에, 제1 노드와 연결된 다른 노드에 포함된 것으로 식별된 유형의 제2 객체가 존재하는지 여부를 식별할 수 있다. 일 실시예로, 지식 베이스(85)를 이용하여 제1 객체의 제1 방향에 위치하는 영역에 제1 객체의 유형과 관련된 유형의 제2 객체가 존재한다는 정보를 획득한 경우, 프로세서(140)는 제2 영상 모니터링 모듈(60)을 통해 제2 영상 중 제1 객체의 제1 방향에 대응되는 영역을 탐지하여 제2 객체가 제2 영상 상에 존재하는지 여부를 식별할 수 있다.
예를 들어, 지식 베이스(85)를 이용하여 제1 객체의 유형인 골대의 왼쪽 방향 및 오른쪽 방향에 위치하는 영역에 제1 객체의 유형과 연관된 유형의 제2 객체인 농구 공이 위치할 수 있다는 정보를 획득하면, 프로세서(140)는, 제2 영상 모니터링 모듈(60)을 통해, 제2 영상 중 골대의 왼쪽 방향 및 오른쪽 방향에 위치하는 영역을 탐지하여 제2 영상 상에 농구 공이 존재하는지 여부를 식별할 수 있다.
다만, 이는 일 실시예에 불과하며, 프로세서(140)는 제2 영상을 전체적으로 탐지하여 제1 객체의 유형과 연관된 유형의 제2 객체가 제2 영상 상에 존재하는지 여부를 식별할 수 있다. 즉, 프로세서(140)는 지식 베이스(85)를 통해 획득된 정보에 기초하여 제2 영상 상에 포함된 제2 객체를 식별할 수 있으나, 제2 영상 전체 영역을 탐지하여 제2 객체를 식별할 수 있다.
제2 영상 상에 제2 객체가 존재한다고 식별되면, 프로세서(140)는, 제2 영상 모니터링 모듈(60)을 통해, 제1 객체의 유형과 제2 객체의 유형간의 관계에 대한 정보에 기초하여, 제2 영역 상에 제2 관심 영역을 결정할 수 있다.
예를 들면, 프로세서(140)가 지식 베이스(85)를 이용하여 제1 객체의 제1 방향에 대응되는 영역에 제1 객체의 유형과 연관된 유형의 제2 객체가 위치한다는 관계에 대한 정보를 획득한 경우를 가정한다. 프로세서(140)는 제1 방향에 기초하여 제2 객체의 움직임 방향을 추측할 수 있다. 예를 들어, 프로세서(140)는 제2 객체가 제1 객체의 제1 방향에 위치하는 영역(또는, 제2 객체의 현재 위치하는 영역)에서부터 제1 객체를 향하는 방향으로 이동한다고 추측할 수 있다. 예로, 프로세서(140)는 농구 공이 현재 위치한 골대의 왼쪽 방향 또는 오른쪽 방향에 위치하는 영역에서부터 골대를 향하는 방향으로 이동한다고 추측할 수 있다.
또 다른 예로, 프로세서(140)는, 제2 영상 모니터링 모듈(60)을 통해, 제2 영상을 구성하는 복수의 이미지 프레임 상의 제2 객체의 위치 변화량 또는 이동 방향 등을 이용하여 제2 객체의 움직임 방향을 추측할 수 있다. 프로세서(140)는, 제2 영상 모니터링 모듈(60)을 통해, 추측된 제2 객체의 움직임 방향에 기초하여 제2 영상에 제2 관심 영역을 결정할 수 있다. 구체적으로, 프로세서(140)는 제2 영상 중 제2 객체가 위치한 영역을 기준으로 추측된 제2 객체의 움직임 방향에 대응되는 영역을 제2 관심 영역으로 결정할 수 있다. 제2 관심 영역은 하나일 수 있으나 2개 이상의 복수 개로 결정될 수도 있다.
제2 영상 모니터링 모듈(60)을 통해 결정된 제2 관심 영역 상에 제2 객체가 나타나는 것으로 식별되면, 프로세서(140)는 고속 촬영 수행 모듈(70)을 통해 제1 카메라(110)를 이용하여 고속 촬영을 수행할 수 있다. 즉, 프로세서(140)는 제2 객체가 이동하여 제2 관심 영역 상에 나타나는 시점을 SSM 기능 중 제1 카메라(110)를 이용하여 고속 촬영을 수행하는 시점으로 결정할 수 있다. SSM 기능은 전자 장치(100)의 주변을 제1 카메라(110)를 이용하여 고속으로 촬영하여 슈퍼 슬로우 모션 영상을 획득하는 기능 및 획득된 슈퍼 슬로우 모션 영상을 일반적인 영상 재생 속도(30fps) 대비 32배 또는 일반적인 슬로우 모션(240fps) 대비 4배 느리게 재생하는 기능이 포함된 것을 의미한다.
구체적으로, 프로세서(140)는, 제2 영상 모니터링 모듈(60)을 통해, 결정된 제2 관심 영역 상에 제2 객체가 나타나는지 여부를 모니터링할 수 있다. 즉, 프로세서(140)는 제2 관심 영역을 모니터링하여 제2 관심 영역 상에 제2 객체가 나타나는지 여부를 식별할 수 있다.
예를 들어, 프로세서(140)는, 제2 영상 모니터링 모듈(60)을 통해, 제2 모델(93)에 제2 관심 영역에 대한 정보 중 제2 관심 영역에 포함된 이미지에 대한 특징 정보 및 제2 객체에 대한 유형을 입력하여 제2 관심 영역 상에 제2 객체의 유형에 대응되는 객체가 나타나는지 여부를 식별할 수 있다.
또 다른 예로, 프로세서(140)는, 제2 영상 모니터링 모듈(60)을 통해, 지식 베이스(85) 상의 복수의 노드에 포함된 객체의 유형과 관련된 특징을 수집한 제1 데이터 베이스 중 제2 객체의 유형과 관련된 정보를 식별할 수 있다. 프로세서(140)는, 제2 영상 모니터링 모듈(60)을 통해, 제2 관심 영역 중 식별된 제2 객체의 유형과 관련된 정보가 추출되는지 여부를 모니터링하여 제2 객체가 제2 관심 영역에 나타나는지 여부를 식별할 수 있다.
한편, 본 개시의 또 다른 실시예로, 제1 객체에 대한 정보에 기초하여 제1 객체가 움직이는 객체라고 식별되면, 프로세서(140)는 객체 인식 모듈(30)을 통해 제1 객체가 움직이는 방향을 추측할 수 있다. 구체적으로, 프로세서(140)는 제1 영상에 포함된 복수의 이미지 프레임 상의 제1 객체의 움직임 변화량 또는 이동 방향을 산출하여 제1 객체의 움직이는 방향을 추측할 수 있다.
그리고, 프로세서(140)는 제1 객체가 움직이는 방향에 기초하여 제1 영상 상에서 제3 관심 영역을 결정할 수 있다. 제3 관심 영역은 제1 영상 중 제1 객체가 나타나는지 여부를 모니터링하기 위해 설정된 영역을 의미한다. 예를 들면, 프로세서(140)는 제1 영상 상에서 현재 제1 객체가 있는 방향을 기준으로 제1 객체가 움직일 것으로 추측된 방향에 대응되는 영역을 제3 관심 영역을 결정할 수 있다. 이 때, 제3 관심 영역은 한 개일 수 있으나, 2개 이상의 복수 개일 수 있다. 제3 관심 영역 상에 제1 객체 나타나는 것으로 식별되면, 프로세서(140)는 제1 카메라(110)를 이용하여 고속 촬영을 수행할 수 있다. 이와 관련된 실시예는 후술하는 부분에서 구체적으로 설명하도록 한다.
본 개시의 또 다른 실시예로, 지식 베이스(85) 상에 제1 노드와 연결된 다른 노드가 존재하지 않는 것으로 식별되면, 프로세서(140)는, 객체 인식 모듈(30)을 통해, 제1 관심 영역에 포함된 제1 객체의 상태 변화를 모니터링할 수 있다. 제1 객체의 상태가 변화되는 것으로 식별되면, 프로세서(140)는 제1 카메라(110)를 이용하여 고속 촬영을 수행할 수 있다. 예를 들어, 제1 객체의 상태 변화량이 제2 임계값을 초과한 경우, 프로세서(140)는 제1 카메라(110)를 이용하여 고속 촬영을 수행할 수 있다. 즉, 프로세서(140)는 제1 객체의 상태가 변화된다고 식별되는 시점을 제1 카메라(110)를 이용하여 고속 촬영을 수행하는 시점으로 결정할 수 있다. 이와 관련된 실시예는 도 7을 참조하여 구체적으로 설명하도록 한다.
본 개시의 또 다른 실시예로, 프로세서(140)는 제1 관심 영역에 대한 정보에 기초하여 제1 관심 영역에 제1 객체가 포함되지 않다고 식별할 수 있다. 예를 들면, 디스플레이(150) 상에 표시된 제1 영상 중 제1 객체가 포함되지 않은 영역에 사용자 터치가 입력되면, 프로세서(140)는 제1 객체가 포함되지 않은 사용자 터치가 입력된 영역을 제1 관심 영역으로 결정할 수 있다. 이 때, 프로세서(140)는 제1 관심 영역 상에 제1 객체가 포함되지 않은 것을 식별할 수 있다.
제1 관심 영역에 제1 객체가 포함되지 않은 것으로 식별되면, 프로세서(140)는 제2 카메라(120)를 활성화할 수 있다. 그리고, 프로세서(140)는, 제2 영상 모니터링 모듈(60)을 통해, 제2 카메라(120)를 이용하여 획득된 제2 영상 중 제1 영상과 겹치지 않는 영역 상에 객체가 존재하는지 여부를 모니터링할 수 있다.
여기서, 제2 영상은 제1 영상보다 넓은 영역을 촬영한 라이브 뷰인 경우를 가정한다. 제2 영상 중 제1 영상과 겹치지 않는 영역에 제3 객체가 존재한다고 식별되고, 제3 객체가 제1 영상 방향으로 이동하는 것으로 식별되면, 프로세서(140)는 제1 카메라(110)를 이용하여 고속 촬영을 수행할 수 있다. 제3 객체가 제1 영상 방향으로 이동한다는 것은 제3 객체가 제2 영상 중 제1 영상과 겹치지 않는 영역에서 제1 영상 및 제1 영상이 겹치는 영역 방향으로 이동한다는 것을 의미할 수 있다. 이와 관련된 실시예는 도 4a 및 도 4b를 참조하여 구체적으로 설명하도록 한다.
본 개시의 또 다른 실시예로, 제1 카메라(110)를 이용하여 고속 촬영을 수행할 때, 프로세서(140)는 제1 관심 영역과 제2 관심 영역 간의 관계에 대한 정보를 획득할 수 있다. 예를 들어, 제1 관심 영역과 제2 관심 영역 간의 관계에 대한 정보는 제1 관심 영역과 제2 관심 영역의 상대적 위치에 대한 정보, 제1 관심 영역과 제2 관심 영역 각각에 포함된 객체의 유형에 대한 정보 등이 포함될 수 있다.
프로세서(140)는 획득된 제1 관심 영역과 제2 관심 영역 간의 관계에 대한 정보에 기초하여 이후에 제1 카메라(110)를 이용하여 고속 촬영을 수행할 시점을 결정할 수 있다.
예를 들어, 제1 카메라(110)를 이용하여 고속 촬영을 수행할 때, 제1 관심 영역에 골대가 포함되고 제2 관심 영역에 축구 공이 포함되고, 제1 관심 영역의 우측 영역에 제2 관심 영역이 설정된 경우를 가정한다. 이후에, 제1 카메라(110)를 통해 획득된 제1 영상 상에 결정된 제1 관심 영역 상에 골대가 포함된 것으로 식별되면, 프로세서(140)는 제1 관심 영역과 제2 관심 영역 간의 관계에 대한 정보에 기초하여 제1 관심 영역의 우측 영역에 제2 관심 영역을 설정하고, 제2 관심 영역 상에 축구 공이 포함될 수 있음을 추측할 수 있다. 그리고, 제2 관심 영역에 축구 공이 나타나면, 프로세서(140)는 제1 카메라(110)를 이용하여 고속 촬영을 수행할 수 있다.
본 개시의 또 다른 실시예로, 제1 영상이 초 광각 렌즈를 통해 획득된 영상이고 제2 영상이 광각 렌즈를 통해 획득된 영상인 경우를 가정한다. 이 때, 프로세서(140)는 제1 영상의 외곽(또는, 경계)를 나타내는 인디케이터를 제1 관심 영역으로 결정할 수 있다. 그리고, 제1 관심 영역을 나타내는 인디케이터에 특정 객체가 나타나면, 프로세서(140)는 제1 카메라(110)를 이용하여 고속 촬영을 수행할 수 있다.
디스플레이(150)는 프로세서(140)의 제어에 따라 다양한 정보를 표시할 수 있다. 디스플레이(150)는 제1 카메라(110)를 통해 획득된 복수의 이미지 프레임으로 구성된 제1 영상을 표시할 수 있다. 디스플레이(150)는 제1 카메라(110)를 통해 획득된 슈퍼 슬로우 모션 영상을 일반적인 영상 재생 속도(30fps) 대비 32배 또는 일반적인 슬로우 모션(240fps) 대비 4배 느리게 표시(또는, 재생)할 수 있다. 다만, 이는 일 실시예에 불과하며, 디스플레이(150)는 슈퍼 슬로우 모션 영상을 사용자가 설정한 속도로 표시할 수 있다.
디스플레이(150)는 터치 패널과 함께 터치 스크린으로 구현될 수 있으며, 디스플레이(150)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으며, 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다. 그러나 상술한 구현으로 한정되는 것은 아니며, 디스플레이(150)는 전자 장치(100)의 유형에 따라 다르게 구현될 수 있다.
한편, 본 개시에 따른 인공지능과 관련된 기능은 프로세서(140)와 메모리(130)를 통해 동작된다. 프로세서(140)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU(Central Processing Unit), AP(Application Processor), DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU(Graphic Processing Unit), VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU(Neural Processing Unit)와 같은 인공지능 전용 프로세서일 수 있다.
하나 또는 복수의 프로세서(140)는, 메모리(130)에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다.
학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은 복수의 인공 신경망을 포함하며, 인공 신경망은 복수의 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다.
도 2는 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 순서도이다.
전자 장치(100)는 제1 카메라를 통해 전자 장치의 주변을 촬영하여 획득된 제1 영상에 포함된 제1 객체에 대한 정보를 획득할 수 있다(S210). 구체적으로, 전자 장치(100)는 제1 영상 상에 제1 관심 영역을 결정할 수 있다. 제1 영상 상에 제1 관심 영역을 결정하는 과정은 도 3을 참조하여 구체적으로 설명하도록 한다.
전자 장치(100)는 결정된 제1 관심 영역에 제1 객체가 포함되는지 여부를 식별할 수 있다. 제1 관심 영역에 제1 객체가 포함된 것으로 식별되면, 전자 장치(100)는 제1 관심 영역에 대한 정보를 객체를 인식하도록 학습된 제1 인공 지능 모델에 적용하여 제1 관심 영역에 포함된 제1 객체에 대한 정보를 획득할 수 있다. 전자 장치(100)가 제1 객체에 대한 정보를 획득하는 과정은 도 3을 참조하여 구체적으로 설명하도록 한다. 한편, 제1 관심 영역에 제1 객체가 포함되지 않다고 식별된 경우는 도 4a를 참조하여 구체적으로 설명하도록 한다.
전자 장치(100)는, 획득된 제1 객체에 대한 정보에 기초하여 제1 객체와 연관된 제2 객체에 대한 정보가 존재한다고 식별되면, 제2 카메라를 통해 제2 영상 획득할 수 있다(S220).
구체적으로, 전자 장치(100)는 제1 객체에 대한 정보를 이용하여 제1 객체가 움직이는 객체인지 여부를 식별할 수 있다. 제1 객체가 움직이지 않는 객체라고 식별되면, 전자 장치(100)는 지식 베이스 상에 제1 객체의 유형과 연관된 제2 객체에 대한 정보(예를 들어, 제2 객체의 유형 등)가 존재하는지 여부를 식별할 수 있다. 지식 베이스 상에 제2 객체의 유형에 대한 정보가 존재하는 것으로 식별되면, 전자 장치(100)는 제2 카메라를 활성화시킬 수 있다. 그리고, 전자 장치(100)는 활성화시킨 제2 카메라를 이용하여 제2 영상을 획득할 수 있다. 이와 관련된 실시예는 도 3을 참조하여 구체적으로 설명하도록 한다.
다만, 이는 일 실시예에 불과하고, 전자 장치(100)는 지식 베이스를 이용하지 않고 제1 객체의 유형과 연관된 제2 객체의 유형이 존재하는지 여부를 식별할 수 있다. 이와 관련된 실시예는 전술하였으므로 중복되는 설명은 생략하도록 한다.
한편, 제1 객체가 움직이는 객체라고 식별된 경우는 도 6을 참조하여 구체적으로 설명하도록 한다. 그리고, 지식 베이스 상에 제1 객체의 유형과 연관된 제2 객체의 유형에 대한 정보가 존재하지 않다고 식별된 경우는 도 7을 참조하여 구체적으로 설명하도록 한다.
전자 장치(100)는, 획득된 제2 영상 상에 제2 객체가 포함되는지 여부에 기초하여, 제1 카메라를 이용하여 고속 촬영을 수행할 시점을 결정할 수 있다(S230). 제2 영상 상에 제2 객체가 존재한다고 식별되면, 전자 장치(100)는 제2 객체의 움직임 방향에 기초하여 제2 관심 영역을 결정할 수 있다. 전자 장치(100)는 결정된 제2 관심 영역 상에 제2 객체가 나타나는지 모니터링할 수 있다. 제2 관심 영역 상에 제2 객체가 나타나는 것으로 식별되면, 전자 장치(100)는 제1 카메라를 이용하여 고속 촬영을 수행할 수 있다. 이와 관련된 실시예는 도 5를 참조하여 구체적으로 설명하도록 한다.
도 3은 본 개시의 일 실시예에 따른, 전자 장치(100)가 제2 카메라를 활성화시키는 과정을 설명하기 위한 순서도이다. 도 3의 S310 내지 도 S330은 도 2의 S210의 단계를 구체화한 것이다.
전자 장치(100)는 제1 카메라를 통해 획득된 제1 영상 상에서 제1 관심 영역을 결정할 수 있다(S310).
예를 들면, 전자 장치(100)는 관심 영역을 결정하도록 학습된 제3 모델에 제1 영상을 입력하여 적어도 하나의 객체가 포함된 영역을 제1 관심 영역으로 결정할 수 있다. 제3 모델은 제1 영상에 포함된 적어도 하나의 객체가 포함된 영역을 관심 영역으로 결정하도록 학습된 인공 지능 모델일 수 있다.
또 다른 예로, 전자 장치(100)는 자동 초점 방식을 이용하여 제1 영상 상에 제1 관심 영역을 결정할 수 있다. 자동 초점은 제1 영상에 포함된 특정 객체에 초점을 자동으로 맞추는 기능을 의미한다. 자동 초점 방식에 의해 제1 영상에 포함된 객체 중 하나에 초점이 맞춰지면, 전자 장치(100)는 제1 영상 중 초점이 맞춰진 객체가 포함된 영역을 제1 관심 영역으로 결정할 수 있다.
또 다른 예로, 전자 장치(100)는 터치 스크린이 포함된 디스플레이 상에 표시된 제1 영상 중 사용자 터치가 입력된 영역을 제1 관심 영역으로 결정할 수 있다. 전자 장치(100)는 사용자 터치가 입력된 영역에 기설정된 크기 또는 모양를 가진 바운딩 박스를 표시하고, 바운딩 박스가 표시된 영역을 제1 관심 영역으로 설정할 수 있다.
전자 장치(100)는 제1 관심 영역에 제1 객체가 포함되어 있는지 여부를 식별할 수 있다(S320). 한편, 제3 모델 또는 자동 초점 방식을 이용한 경우에는 제1 관심 영역에 객체가 포함되어 있으므로, 전자 장치(100)는 S320 단계를 생략하고 S330 단계를 수행할 수 있다.
디스플레이 상에 표시된 제1 영상 중 제1 객체가 포함되지 않은 영역에 사용자 터치가 입력됨에 따라 제1 객체가 포함되지 않은 영역이 제1 관심 영역이 결정된 경우를 가정한다. 이 때, 전자 장치(100)는 제1 관심 영역에 제1 객체가 포함되어 있지 않다고 식별할 수 있다. 제1 관심 영역에 제1 객체가 포함되지 않은 경우는 도 4a를 참조하여 구체적으로 설명하도록 한다.
제1 관심 영역 상에 제1 객체가 포함된 경우, 전자 장치(100)는 제1 관심 영역에 대한 정보를 객체를 인식하도록 학습된 제1 모델에 입력하여 제1 관심 영역에 포함된 제1 객체에 대한 정보를 획득할 수 있다(S330). 제1 관심 영역에 대한 정보는 제1 관심 영역에 포함된 이미지에 대한 정보(예를 들어, 이미지를 구성하는 픽셀의 색도, 휘도 등)가 포함될 수 있다. 제1 객체에 대한 정보는 예로, 제1 객체의 유형, 제1 객체의 크기 및 제1 영상에 포함된 복수의 프레임 이미지 기반으로 제1 객체의 위치 변화량에 대한 정보 등이 포함될 수 있다.
전자 장치(100)는 제1 객체에 대한 정보를 이용하여 제1 객체가 움직이는 객체인지 여부를 식별할 수 있다(S340). 예를 들면, 전자 장치(100)는 제1 객체에 대한 정보 중 제1 영상을 구성하는 복수의 이미지 프레임 상에서 제1 객체의 위치 변화량을 식별하고, 식별된 제1 객체의 위치 변화량에 기초하여 제1 객체의 속성을 분석할 수 있다. 그리고, 전자 장치(100)는 제1 객체의 속성에 따라 제1 객체가 움직이는 객체인지 여부를 식별할 수 있다.
제1 객체가 움직이지 않는 객체라고 식별되면, 전자 장치(100)는 지식 베이스 상에 제1 객체의 유형과 연관된 제2 객체의 유형에 대한 정보가 존재하는지 여부를 식별할 수 있다(S350). 지식 베이스 상에서 제1 객체의 유형과 연관된 제2 객체의 유형에 대한 정보가 존재하는지 여부와 관련된 실시예는 전술하였으므로 중복되는 설명은 생략하도록 한다.
지식 베이스 상에 제1 객체의 유형과 연관된 제2 객체의 유형에 대한 정보가 존재하는 것으로 식별되면, 전자 장치(100)는 제2 카메라를 활성화할 수 있다. 제2 카메라가 활성화된 후의 실시예는 도 5를 참조하여 구체적으로 설명하도록 한다. 한편, 제1 객체가 움직이는 객체인 경우는 도 6을 참조하여 구체적으로 설명하도록 한다. 그리고, 지식 베이스 상에 제1 객체의 유형과 연관된 제2 객체의 유형에 대한 정보가 존재하지 않는 경우는 도 6을 참조하여 구체적으로 설명하도록 한다.
도 4a는 본 개시의 일 실시예에 따른, 전자 장치(100)가 제1 카메라를 이용하여 고속 촬영을 수행하는 과정을 설명하기 위한 순서도이다. 도 4a는, 도 4b를 참조할 때, 제1 영상(400) 상의 제1 관심 영역(Region of Interest, ROI)(407)에 제1 객체가 포함되지 않았다고 식별(S320-N)된 경우의 실시예를 구체적으로 설명하기 위한 순서도이다.
제1 관심 영역에 제1 객체가 포함되지 않다고 식별된 경우, 전자 장치(100)는 제2 카메라를 활성화시킬 수 있다(S410). 전자 장치(100)는 활성화된 제2 카메라를 이용하여 제2 영상을 획득할 수 있다. 여기서, 제1 영상(400)은 와이드 뷰(Wide-view)이고, 제2 영상(405)은 제1 영상(400)보다 시야가 넓은 울트라 와이드 뷰(Ultra-wide view)인 경우를 가정한다.
전자 장치(100)는 제2 카메라를 이용하여 획득된 제2 영상(405) 중 제1 영상(400)과 겹치지 않는 영역 상에 객체가 존재하는지 여부를 모니터링할 수 있다 (S420).
제2 영상(405) 중 제1 영상(400)가 겹치지 않는 영역 상에 제3 객체가 존재한다고 식별되고, 제3 객체가 제1 영상 방향으로 이동하는 것으로 식별되면, 전자 장치(100)는 제1 카메라(110)를 이용하여 고속 촬영을 수행할 수 있다(S430). 이 때, 제3 객체가 제1 영상 방향으로 이동한다는 것은 제3 객체가 제2 영상 중 제1 영상과 겹치지 않는 영역에서 제1 영상 및 제2 영상이 겹치는 영역 방향(예로, 화살표(411-1 내지 411-8) 방향)으로 이동한다는 것을 의미한다.
한편, 본 개시의 또 다른 실시예로, 전자 장치(100)는 제2 영상 중 제1 영상과 겹치지 않는 영역에 제2 관심 영역(또는, 서브 ROI)(409)을 설정할 수 있다. 예로, 전자 장치(100)는, 도 4b에 도시된 바와 같이, 제1 영상 및 제2 영상에 겹치는 영역에 제2 관심 영역(409)을 설정할 수 있다. 그리고, 전자 장치(100)는 제2 관심 영역(409)에 특정 객체가 나타나는지 여부를 모니터링할 수 있다.
예를 들어, 제3 객체가 화살표(411-4) 방향으로 이동하면서 제2 관심 영역(409) 상에 나타난다고 식별되면, 전자 장치(100)는 제1 카메라를 이용하여 고속 촬영을 수행할 수 있다. 전자 장치(100)는 제1 카메라를 이용하여 고속 촬영을 수행하면서 SSM 기능을 수행할 수 있다.
도 5는 본 개시의 또 다른 실시예로, 전자 장치(100)가 제1 카메라를 이용하여 고속 촬영을 수행하는 시점을 결정하는 과정을 설명하기 위한 순서도이며, S360이후의 동작을 설명한다.
전자 장치(100)는 활성화된 제2 카메라를 이용하여 제2 영상을 획득할 수 있다(S510). 전자 장치(100)는 제2 영상 상에 제2 객체가 존재하는지 여부를 식별할 수 있다(S520). 일 실시예로, 전자 장치(100)는 지식 베이스 상에 포함된 정보에 기초하여 제2 영상 상에 제2 객체가 존재하는지 여부를 식별할 수 있다. 예를 들면, 전자 장치(100)는 지식 베이스 상에 포함된 제1 객체의 유형 및 제2 객체의 유형간의 관계에 대한 정보(예를 들어, 제1 객체의 유형 및 제2 객체의 유형 간의 방향 관계 정보 등)에 기초하여 제2 영상 상에 제2 객체가 존재하는지 여부를 식별할 수 있다.
제2 영상 상에 제2 객체가 존재한다고 식별되면, 전자 장치(100)는 제2 객체의 움직임 방향을 추측할 수 있다(S530). 일 실시예로, 지식 베이스(85) 상에 제1 객체의 제1 방향에 대응되는 영역에 제1 객체의 유형과 연관된 유형의 제2 객체가 위치한다는 정보(즉, 방향 관계에 대한 정보)가 포함된 경우를 가정한다. 전자 장치(100)는 제1 방향에 기초하여 제2 객체의 움직임 방향을 추측할 수 있다. 구체적으로, 전자 장치(100)는 제2 객체의 현재 위치(예로, 제1 객체의 제1 방향에 위치하는 영역)에서부터 제1 객체를 향하는 방향으로 이동한다고 추측할 수 있다.
또 다른 실시예로, 전자 장치(100)는 제2 영상을 구성하는 복수의 프레임 상에서 제2 객체의 위치 변화량 또는 이동 방향을 산출하여 제2 객체가 움직일 방향을 추측할 수 있다. 예를 들어, 제2 영상을 구성하는 복수의 프레임 상에서 제2 객체가 제1 객체를 향하는 방향으로 제1 위치 변화량만큼 이동한 것으로 산출되면, 전자 장치(100)는 제2 객체가 제1 객체를 향하는 "눰袖막* 이동한다고 추측할 수 있다.
한편, 제2 영상 상에 제2 객체가 존재하지 않다고 식별되면, 전자 장치(100)는 제1 객체의 움직이는 방향을 추측할 수 있다. 이와 관련된 실시예는 도 6을 참조하여 구체적으로 설명하도록 한다.
전자 장치(100)는 제2 객체의 움직임 방향에 기초하여 제2 영상 상에 제2 관심 영역을 결정할 수 있다(S540). 여기서, 제2 관심 영역은 제2 영상 중 제2 객체가 나타나는지 여부를 모니터링하기 위해 결정된(또는, 설정된) 영역을 의미한다. 전자 장치(100)는 제2 영상 중 제2 객체가 위치한 영역을 기준으로 추측된 제2 객체의 움직임 방향에 대응되는 영역을 제2 관심 영역으로 결정할 수 있다. 제2 관심 영역은 하나일 수 있으나 2개 이상의 복수 개로 결정될 수도 있다.
전자 장치(100)는 제2 관심 영역 상에 제2 객체가 등장하는지 여부를 모니터링할 수 있다(S550). 일 실시예로, 전자 장치(100)는 제2 모델(93) 제2 관심 영역에 대한 정보 중 제2 관심 영역에 포함된 이미지에 대한 특징 정보 및 제2 객체에 대한 유형을 입력하여 제2 관심 영역에 제2 객체의 유형에 대응되는 객체가 나타나는지에 여부에 대한 정보를 획득할 수 있다.
또 다른 예로, 전자 장치(100)는 지식 베이스 상의 복수의 노드에 포함된 객체의 유형과 관련된 특징을 수집한 제1 데이터 베이스 중 제2 객체의 유형과 관련된 정보를 식별할 수 있다. 그리고, 전자 장치(100)는 제2 관심 영역 중 식별된 제2 객체의 유형과 관련된 정보가 추출되는지 여부를 모니터링하여 제2 객체가 제2 관심 영역에 나타나는지 여부를 식별할 수 있다.
제2 관심 영역 상에 제2 객체가 등장한 것으로 식별되면, 전자 장치(100)는 제1 카메라를 이용하여 고속 촬영을 수행할 수 있다(S560). 즉, 전자 장치(100)는 제2 객체가 이동하면서 제2 관심 영역 상에 나타나는 시점을 SSM 기능 중 제1 카메라를 이용하여 고속 촬영을 수행하는 시점으로 결정할 수 있다.
도 6은 본 개시의 일 실시예에 따른, 전자 장치가 제1 카메라를 이용하여 고속 촬영을 수행하는 시점을 결정하는 과정을 설명하기 위한 순서도이다.
제1 객체가 움직이는 객체라고 식별된 경우(S340-Y), 전자 장치(100)는 도 6의 S610 단계를 수행할 수 있다. 전자 장치(100)는 제1 객체의 움직이는 방향을 추측할 수 있다(S610). 구체적으로, 전자 장치(100)는 제1 영상에 포함된 복수의 이미지 프레임 상의 제1 객체의 움직임 변화량 또는 이동 방향 등을 산출하여 제1 객체의 움직이는 방향을 추측할 수 있다.
전자 장치(100)는 추측된 제1 객체가 움직이는 방향에 기초하여 제1 영상 상에서 제3 관심 영역 결정할 수 있다(S620). 제3 관심 영역은 제1 영상 중 제1 객체가 나타나는지 여부를 모니터링하기 위해 설정된 영역을 의미한다. 예를 들어, 전자 장치(100)는 제1 영상 상에서 현재 제1 객체가 있는 방향을 기준으로 제1 객체가 움직일 것으로 추측된 방향에 대응되는 영역을 제3 관심 영역을 결정할 수 있다. 이 때, 제3 관심 영역은 한 개일 수 있으나, 2개 이상의 복수 개일 수 있다.
전자 장치(100)는 제3 관심 영역 상에 제1 객체가 등장하는지 여부를 모니터링할 수 있다(S630). 제3 관심 영역 상에 제1 객체 등장하는 것으로 식별되면, 전자 장치(100)는 제1 카메라를 이용하여 고속 촬영을 수행할 수 있다(S640). 즉, 제1 영상 상에 포함된 제1 객체가 움직이는 객체인 경우, 전자 장치(100)는 제1 영상 상에 제1 관심 영역을 결정하고, 제1 관심 영역에 제1 객체가 나타나는지 여부에 기초하여 제1 카메라를 이용하여 고속 촬영을 수행할 수 있다.
도 7은 본 개시의 일 실시예에 따른, 전자 장치(100)는 제1 카메라를 이용하여 고속 촬영을 수행하는 시점을 결정하는 과정을 설명하기 위한 순서도이다. 지식 베이스 상에 제1 객체의 유형과 연관된 제2 객체의 유형에 대한 정보가 존재하지 않는 경우(S350-N) 또는 제2 영상 상에 제2 객체가 존재하지 않는 경우(S520-N), 전자 장치(100)는 제1 객체의 상태 변화를 모니터링할 수 있다(S710).
전자 장치(100)는 제1 객체의 상태 변화량이 제2 임계값을 초과하는지 여부를 식별할 수 있다(S720). 여기서, 상태 변화량은 제1 객체의 크기, 부피, 형상 등의 물리량이 변경되는 정도를 수치화한 것을 의미한다. 그리고, 제2 임계값은 실험 또는 연구 등에 의해 산출된 기설정된 값일 수 있으나 이에 국한되는 것은 아니며, 사용자에 의해 변경될 수 있다.
일 실시예로, 제1 객체는 물이 담긴 풍선으로 구현된 경우를 가정한다. 물이 담긴 풍선이 터지는 경우, 물이 담긴 풍선의 형상 또는 부피가 크게 변경될 수 있다. 이 때, 전자 장치(100)는 물이 담긴 풍선의 상태 변화량이 제2 임계값을 초과한다고 식별할 수 있다.
제1 객체의 상태 변화량이 제2 임계값을 초과한 것으로 식별되면, 전자 장치(100)는 제1 카메라를 이용하여 고속 촬영을 수행할 수 있다(S730). 즉, 전자 장치(100)는 제1 객체의 상태가 변경되는 시점을 제1 카메라를 이용하여 고속 촬영하는 시점으로 결정할 수 있다.
본 개시의 또 다른 실시예로, 전자 장치(100)는, 제1 객체의 상태 중 제1 객체를 나타내는 이미지의 정보(예를 들어, 제1 객체의 이미지의 색채, 명암, 픽셀 값 등)가 변경된 경우, 제1 카메라를 이용하여 고속 촬영을 수행할 수 있다. 예를 들어, 제1 객체를 나타내는 이미지의 정보의 변화량(예를 들어, 제1 객체의 이미지의 색채의 변화량 등)이 제3 임계값을 초과한 경우, 전자 장치(100)는 제1 카메라를 이용하여 고속 촬영을 수행할 수 있다.
도 8은 본 개시의 또 다른 실시예로, 전자 장치(100)의 구성을 상세히 도시한 블록도이다. 도 8에 도시된 바와 같이, 전자 장치(100)는 제1 카메라(110), 제2 카메라(120), 메모리(130), 프로세서(140), 디스플레이(150), 통신부(160), 스피커(170), 마이크(180) 및 입력부(190)를 포함할 수 있다. 제1 카메라(110), 제2 카메라(120), 메모리(130), 프로세서(140), 디스플레이(150)는 도 1a를 참조하여 구체적으로 설명하였으므로 중복되는 설명은 생략하도록 한다.
통신부(160)는 회로를 포함하며, 외부 장치와 통신을 수행할 수 있다. 이때, 통신부(160)가 외부 장치와 통신 연결되는 것은 제3 기기(예로, 중계기, 허브, 엑세스 포인트, 서버 또는 게이트웨이 등)를 거쳐서 통신하는 것을 포함할 수 있다.
통신부(160)는 외부 장치와 통신을 수행하기 위해 다양한 통신 모듈을 포함할 수 있다. 일 예로, 통신부(120)는 무선 통신 모듈을 포함할 수 있으며, 예를 들면, 5G(5TH Generation), LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), 등 중 적어도 하나를 사용하는 셀룰러 통신 모듈을 포함할 수 있다.
다른 예로, 무선 통신 모듈은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 다만, 이는 일 실시예에 불과하며 통신부(120)는 유선 통신 모듈을 포함할 수 있다.
도 1에 도시된 제1 모델(80), 지식 베이스(85), 제2 모델(93), 제3 모델(95) 및 제4 모델(97)은 외부 서버에 포함될 수 있다. 통신부(160)는 지식 베이스(85)를 외부 서버로부터 수신할 수 있다.
일 실시예로, 통신부(160)는 제1 관심 영역에 대한 정보를 제1 모델(80)이 포함된 외부 서버에 전송하고, 외부 서버로부터 제1 객체에 대한 정보를 수신할 수 있다.
또 다른 실시예로, 통신부(160)는 제2 관심 영역에 포함된 이미지에 대한 정보 및 제2 객체의 유형을 제2 모델(93)이 포함된 외부 서버에 전송하고, 외부 서버로부터 제2 관심 영역 상에 제2 객체의 유형에 대응되는 객체가 포함되어 있는지 여부를 나타내는 정보를 수신할 수 있다.
또 다른 실시예로, 통신부(160)는 제1 영상을 제3 모델(95)이 포함된 외부 서버에 전송하고, 외부 서버로부터 입력된 제1 영상 중 제1 관심 영역으로 설정된 영역에 대한 정보를 수신할 수 있다. 프로세서(140)는 통신부(160)를 통해 획득된 제1 관심 영역으로 설정된 영역에 대한 정보에 기초하여 제1 영상 중 제1 관심 영역을 결정할 수 있다.
또 다른 실시예로, 통신부(160)는 제4 모델(97)이 포함된 외부 서버에 제1 객체의 유형에 대응되는 라벨 또는 제1 객체에 대한 이미지를 전송하고, 외부 서버로부터 제1 객체의 유형과 연관된 제2 객체의 유형 또는 제1 객체와 연관된 제2 객체가 없다는 정보를 수신할 수 있다.
스피커(170)는 오디오 처리부(미도시)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터를 출력하는 구성이다. 또한, 스피커(170)는 각종 알림 음이나 음성 메시지를 출력할 수 있다.
예를 들어, 스피커(170)는 제1 카메라(110)를 이용하여 고속 촬영을 수행하는 시점을 알리는 알림음을 출력할 수 있다. 또 다른 예로, 스피커(160)는 SSM 영상에 포함된 오디오 데이터를 출력할 수 있다.
마이크(180)는 사용자로부터 음성을 입력받을 수 있는 구성이다. 마이크(180)는 전자 장치(100) 내부에 구비될 수 있으나, 외부에 구비되어 전자 장치(100)와 전기적으로 연결될 수 있다. 또한, 마이크(180)가 외부에 구비된 경우, 마이크(180)는 유/무선 인터페이스(예를 들어, Wi-Fi, 블루투스)을 통해 생성된 사용자 음성 신호를 프로세서(140)에 전송할 수 있다.
마이크(180)는 사용자로부터 입력된 음성을 인식하고 이해할 수 있는 인공 지능 모델인 대화 시스템(Dialogue system)(미도시)을 웨이크 업시킬 수 있는 웨이크 업 워드(wake-up word)(또는, 트리거 워드(trigger word))가 포함된 사용자 음성을 입력 받을 수 있다. 그리고, 마이크(180)는 제1 카메라(110)를 이용하여 고속 촬영을 수행하라는 명령이 포함된 사용자 음성을 입력받을 수 있다. 프로세서(140)는 마이크(180)를 통해 획득된 고속 촬영을 수행하라는 명령이 포함된 사용자 음성을 대화 시스템에 입력할 수 있다. 그리고, 프로세서(140)는 대화 시스템을 통해 획득된 정보에 기초하여 제1 카메라(110)를 이용하여 고속 촬영을 수행할 수 있다.
입력부(190)는 회로를 포함하며, 전자 장치(100)를 제어하기 위한 사용자 입력을 수신할 수 있다. 특히, 입력부(190)는 사용자 손 또는 스타일러스 펜 등을 이용한 사용자 터치를 입력받기 위한 터치 패널, 사용자 조작을 입력받기 위한 버튼 등이 포함될 수 있다. 또 다른 예로, 입력부(190)는 다른 입력 장치(예로, 키보드, 마우스, 모션 입력부 등)로 구현될 수 있다. 한편, 입력부(170)는 각종 사용자 명령을 입력받을 수 있다.
한편, 본 개시에 첨부된 도면은 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 부프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 서버 클라우드를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적은 저장매체'는 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 개시에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예로, 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    제1 초점 거리를 갖는 제1 렌즈가 포함된 제1 카메라;
    상기 제1 초점 거리와 다른 제2 초점 거리를 갖는 제2 렌즈가 포함된 제2 카메라;
    메모리; 및
    상기 제1 카메라를 통해 상기 전자 장치의 주변을 촬영하여 획득된 제1 영상에 포함된 제1 객체에 대한 정보를 획득하고,
    상기 획득된 제1 객체에 대한 정보에 기초하여 상기 제1 객체와 연관된 제2 객체에 대한 정보가 식별되면, 상기 제2 카메라를 통해 제2 영상을 획득하고,
    상기 획득된 제2 영상 상에 상기 제2 객체가 포함되는지 여부에 기초하여, 상기 제1 카메라를 이용하여 고속 촬영을 수행할 시점을 결정하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 제1 영상 상에서 제1 관심 영역(Region of Interest)을 결정하고,
    상기 제1 관심 영역에 대한 정보를 객체를 인식하도록 학습된 제1 모델에 적용하여 상기 제1 관심 영역에 포함된 제1 객체에 대한 정보를 획득하는 전자 장치.
  3. 제1항에 있어서,
    상기 메모리는 복수의 객체 각각과 관련된 정보가 포함된 지식 베이스(knowledge base)를 저장하고,
    상기 프로세서는,
    상기 제1 객체에 대한 정보를 이용하여 상기 제1 객체가 움직이는 객체인지 여부를 식별하고,
    상기 제1 객체가 움직이지 않는 객체라고 식별되면, 상기 지식 베이스 상에 상기 제1 객체의 유형과 연관된 제2 객체의 유형에 대한 정보가 존재하는지 여부를 식별하고,
    상기 지식 베이스 상에 상기 제2 객체의 유형에 대한 정보가 존재하는 것으로 식별되면, 상기 제2 카메라를 활성화시켜 상기 제2 영상을 획득하는 전자 장치.
  4. 제3항에 있어서,
    상기 지식 베이스는 상기 복수의 객체의 유형이 포함된 복수의 노드(node) 및 상기 복수의 노드 간의 방향 관계에 대한 정보가 포함된 엣지(edge)를 포함하는 지식 베이스를 포함하고,
    상기 프로세서는,
    상기 지식 베이스에 포함된 상기 복수의 객체 중 상기 제1 객체의 유형이 포함된 제1 노드를 식별하고, 상기 지식 베이스 상에서 상기 방향 관계에 대한 정보가 포함된 엣지를 통하여 상기 식별된 제1 노드와 연결된 노드가 존재하는지 식별하는 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 지식 베이스 상에서 상기 제1 노드와 연결된 제2 노드가 존재한다고 식별되면, 상기 제2 카메라를 활성화시켜 상기 제2 영상을 획득하고,
    상기 제1 노드와 상기 제2 노드 간에 연결된 엣지에 포함된 관계 정보에 기초하여, 상기 제2 영상 상에 상기 제2 객체가 존재하는지 여부를 식별하는 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 제2 영상 상에 상기 제2 객체가 존재한다고 식별되면, 상기 제2 객체의 움직임 방향을 추측하고,
    상기 추측된 제2 객체의 움직임 방향에 기초하여 상기 제2 영상 상에 제2 관심 영역을 결정하는 전자 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 결정된 제2 관심 영역 상에 상기 제2 객체가 나타나는지 여부를 식별하고,
    상기 제2 관심 영역 상에 상기 제2 객체가 나타나는 시점을 상기 제1 카메라를 이용하여 고속 촬영을 수행하는 시점으로 결정하는 전자 장치.
  8. 제3항에 있어서,
    상기 프로세서는,
    상기 제1 객체에 대한 정보를 이용하여 상기 제1 객체가 움직이는 객체라고 식별되면, 상기 제1 객체가 움직이는 방향을 추측하고,
    상기 추측된 제1 객체가 움직이는 방향에 기초하여 상기 제1 영상 상에서 제3 관심 영역을 결정하고,
    상기 제3 관심 영역 상에 상기 제1 객체가 나타나는 것으로 식별되는 시점을 상기 제1 카메라를 이용하여 고속 촬영을 수행하는 시점으로 결정하는 전자 장치.
  9. 제3항에 있어서,
    상기 프로세서는,
    상기 지식 베이스 상에 상기 제1 객체의 유형과 연관된 상기 제2 객체의 유형에 대한 정보가 존재하지 않는 것으로 식별되면, 제1 관심 영역에 포함된 상기 제1 객체의 상태 변화를 모니터링하고,
    상기 제1 객체의 상태가 변화된다고 식별되는 시점을 상기 제1 카메라를 이용하여 고속 촬영을 수행하는 수행하는 시점으로 결정하는 전자 장치.
  10. 제2항에 있어서,
    상기 프로세서는,
    상기 제1 관심 영역에 대한 정보에 기초하여 상기 제1 관심 영역에 상기 제1 객체가 포함되지 않은 것으로 식별되면, 상기 제2 카메라를 활성화하여 상기 제2 영상을 획득하고,
    상기 제2 영상 상에 상기 제1 영상과 겹치지 않는 영역 상에 존재하는 제3 객체를 식별하고,
    상기 제3 객체가 상기 제1 영상 방향으로 이동하는 것으로 식별되는 시점을 상기 제1 카메라를 이용하여 고속 촬영을 수행하는 시점으로 결정하는 전자 장치.
  11. 제1 초점 거리를 갖는 제1 렌즈가 포함된 제1 카메라 및 상기 제1 초점 거리와 다른 제2 초점 거리를 갖는 제2 렌즈가 포함된 제2 카메라를 포함하는 전자 장치의 제어 방법에 있어서,
    상기 제1 카메라를 통해 상기 전자 장치의 주변을 촬영하여 획득된 제1 영상에 포함된 제1 객체에 대한 정보를 획득하는 단계;
    상기 획득된 제1 객체에 대한 정보에 기초하여 상기 제1 객체와 연관된 제2 객체에 대한 정보가 식별되면, 상기 제2 카메라를 통해 제2 영상을 획득하는 단계; 및
    상기 획득된 제2 영상 상에 상기 제2 객체가 포함되는지 여부에 기초하여, 상기 제1 카메라를 이용하여 고속 촬영을 수행할 시점을 결정하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 제1 객체에 대한 정보를 획득하는 단계는,
    상기 획득된 제1 영상 상에서 제1 관심 영역(Region of Interest)을 결정하는 단계; 및
    상기 제1 관심 영역에 대한 정보를 객체를 인식하도록 학습된 제1 모델에 적용하여 상기 제1 관심 영역에 포함된 제1 객체에 대한 정보를 획득하는 단계;를 포함하는 제어 방법.
  13. 제11항에 있어서,
    상기 제2 영상을 획득하는 단계는,
    상기 제1 객체에 대한 정보를 이용하여 상기 제1 객체가 움직이는 객체인지 여부를 식별하는 단계;
    상기 제1 객체가 움직이지 않는 객체라고 식별되면, 상기 전자 장치의 메모리에 포함된 지식 베이스 상에 상기 제1 객체의 유형과 연관된 제2 객체의 유형에 대한 정보가 존재하는지 여부를 식별하는 단계; 및
    상기 지식 베이스 상에 상기 제2 객체의 유형에 대한 정보가 존재하는 것으로 식별되면, 상기 제2 카메라를 활성화시켜 상기 제2 영상을 획득하는 단계;를 포함하는 제어 방법.
  14. 제13항에 있어서,
    상기 지식 베이스는 상기 복수의 객체의 유형이 포함된 복수의 노드(node) 및 상기 복수의 노드 간의 방향 관계에 대한 정보가 포함된 엣지(edge)를 포함하는 지식 베이스를 포함하고,
    상기 결정하는 단계는,
    상기 지식 베이스에 포함된 상기 복수의 객체 중 상기 제1 객체의 유형이 포함된 제1 노드를 식별하고, 상기 지식 베이스 상에서 상기 방향 관계에 대한 정보가 포함된 엣지를 통하여 상기 식별된 제1 노드와 연결된 노드가 존재하는지 식별하는 단계;를 포함하는 제어 방법.
  15. 제14항에 있어서,
    상기 결정하는 단게는,
    상기 지식 베이스 상에서 상기 제1 노드와 연결된 제2 노드가 존재한다고 식별되면, 상기 제2 카메라를 활성화시켜 상기 제2 영상을 획득하는 단계; 및
    상기 제1 노드와 상기 제2 노드 간에 연결된 엣지에 포함된 관계 정보에 기초하여, 상기 제2 영상 상에 상기 제2 객체가 존재하는지 여부를 식별하는 단계;를 포함하는 제어 방법.
PCT/KR2021/012513 2020-10-28 2021-09-14 전자 장치 및 이의 제어 방법 WO2022092559A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180074208.6A CN116458166A (zh) 2020-10-28 2021-09-14 电子设备以及用于该控制电子设备的方法
EP21886554.1A EP4207740A4 (en) 2020-10-28 2021-09-14 ELECTRONIC DEVICE AND METHOD FOR CONTROLLING SAME
US18/131,582 US20230276140A1 (en) 2020-10-28 2023-04-06 Electronic device and method for controlling same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20200141202 2020-10-28
KR10-2020-0141202 2020-10-28
KR10-2021-0003533 2021-01-11
KR1020210003533A KR20220056769A (ko) 2020-10-28 2021-01-11 전자 장치 및 이의 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/131,582 Continuation US20230276140A1 (en) 2020-10-28 2023-04-06 Electronic device and method for controlling same

Publications (1)

Publication Number Publication Date
WO2022092559A1 true WO2022092559A1 (ko) 2022-05-05

Family

ID=81384148

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/012513 WO2022092559A1 (ko) 2020-10-28 2021-09-14 전자 장치 및 이의 제어 방법

Country Status (3)

Country Link
US (1) US20230276140A1 (ko)
EP (1) EP4207740A4 (ko)
WO (1) WO2022092559A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150229889A1 (en) * 2014-02-13 2015-08-13 Semiconductor Components Industries, Llc Adaptive image sensor systems and methods
US20160248988A1 (en) * 2014-02-18 2016-08-25 Huawei Technologies Co., Ltd. Method for Obtaining a Picture and Multi-Camera System
KR20190101706A (ko) * 2018-02-23 2019-09-02 삼성전자주식회사 카메라를 이용하여 복수의 프레임 레이트에 따라 영상을 촬영하는 전자 장치 및 그 작동 방법
KR102053940B1 (ko) * 2019-05-07 2019-12-11 주식회사 두잉랩 다중 객체 간 연관도 분석을 이용한 객체 추정 시스템 및 방법
KR20200043818A (ko) * 2018-10-18 2020-04-28 삼성전자주식회사 전자 장치 및 그의 이미지 촬영 방법
KR20200141202A (ko) 2019-06-10 2020-12-18 홍상표 담배흡연기구

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150229889A1 (en) * 2014-02-13 2015-08-13 Semiconductor Components Industries, Llc Adaptive image sensor systems and methods
US20160248988A1 (en) * 2014-02-18 2016-08-25 Huawei Technologies Co., Ltd. Method for Obtaining a Picture and Multi-Camera System
KR20190101706A (ko) * 2018-02-23 2019-09-02 삼성전자주식회사 카메라를 이용하여 복수의 프레임 레이트에 따라 영상을 촬영하는 전자 장치 및 그 작동 방법
KR20200043818A (ko) * 2018-10-18 2020-04-28 삼성전자주식회사 전자 장치 및 그의 이미지 촬영 방법
KR102053940B1 (ko) * 2019-05-07 2019-12-11 주식회사 두잉랩 다중 객체 간 연관도 분석을 이용한 객체 추정 시스템 및 방법
KR20200141202A (ko) 2019-06-10 2020-12-18 홍상표 담배흡연기구

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4207740A4

Also Published As

Publication number Publication date
US20230276140A1 (en) 2023-08-31
EP4207740A4 (en) 2024-02-21
EP4207740A1 (en) 2023-07-05

Similar Documents

Publication Publication Date Title
WO2021251689A1 (en) Electronic device and controlling method of electronic device
WO2017014415A1 (en) Image capturing apparatus and method of operating the same
WO2018117704A1 (en) Electronic apparatus and operation method thereof
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2018117662A1 (en) Apparatus and method for processing image
EP3634812A1 (en) Electronic device and method of controlling operation of vehicle
US11004214B2 (en) Image processing apparatus, image processing method, and storage medium
EP3661183B1 (en) Method and apparatus for accelerating aec convergence, and terminal device
EP3539056A1 (en) Electronic apparatus and operation method thereof
WO2016200085A1 (en) Electronic apparatus and method of extracting still images
WO2022005157A1 (en) Electronic device and controlling method of electronic device
WO2019164286A1 (ko) 전자 장치 및 그의 녹화 방법
WO2021071155A1 (en) Electronic apparatus and control method thereof
CN112954189A (zh) 电子设备、控制装置、控制方法及记录介质
WO2022010177A1 (en) Device and method for generating summary video
JP2009212666A (ja) 画像撮影装置及び画像処理装置
WO2021251615A1 (ko) 전자 장치 및 전자 장치의 제어 방법
EP3545685A1 (en) Method and apparatus for filtering video
WO2022092559A1 (ko) 전자 장치 및 이의 제어 방법
WO2021149947A1 (en) Electronic device and method for controlling electronic device
EP3342154A1 (en) Face detection method and electronic device for supporting the same
WO2022225102A1 (ko) Ai 기반 객체인식을 통한 감시 카메라의 셔터값 조절
WO2020116983A1 (en) Electronic apparatus, controlling method of electronic apparatus, and computer readable medium
WO2021210807A1 (ko) 멀티 카메라를 포함하는 전자 장치 및 촬영 방법
WO2022197089A1 (ko) 전자 장치 및 전자 장치의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21886554

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021886554

Country of ref document: EP

Effective date: 20230330

WWE Wipo information: entry into national phase

Ref document number: 202180074208.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE