WO2023003233A1 - 전자 장치 및 그의 동작 방법 - Google Patents

전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2023003233A1
WO2023003233A1 PCT/KR2022/009831 KR2022009831W WO2023003233A1 WO 2023003233 A1 WO2023003233 A1 WO 2023003233A1 KR 2022009831 W KR2022009831 W KR 2022009831W WO 2023003233 A1 WO2023003233 A1 WO 2023003233A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
electronic device
processor
operating
module
Prior art date
Application number
PCT/KR2022/009831
Other languages
English (en)
French (fr)
Inventor
유형석
김태호
박정민
서현
이신재
최광식
최세영
최유락
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/866,760 priority Critical patent/US20230024628A1/en
Publication of WO2023003233A1 publication Critical patent/WO2023003233A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4482—Procedural
    • G06F9/4484—Executing subprograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45537—Provision of facilities of other operating environments, e.g. WINE
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45587—Isolation or security of virtual machine instances

Definitions

  • the present disclosure relates to an electronic device notifying that at least one device included in the electronic device is in operation and an operating method thereof.
  • the electronic device may run at least one application in the background while a plurality of applications are running. For an application running in the background, the electronic device may provide a notification indicating that the application is running or a device used by the application is operating to the user.
  • Exception level (EL) 0 and EL1 regions of an electronic device supporting an ARM architecture may be vulnerable to security. For example, when the security of the EL0 area and the EL1 area of the electronic device is violated and the device operates regardless of the user's intention, the electronic device needs to notify the user that the device is operating.
  • Embodiments of the present disclosure are intended to provide an electronic device and an operating method thereof capable of notifying a user that the device is in operation without being omitted even when a security breach occurs.
  • An electronic device may include a memory and a processor operatively connected to the memory.
  • the processor may execute a user application in a first area operating with a first authority and execute an operating system in a second area operating with a second authority higher than the first authority.
  • the processor detects an operation of at least one first device included in the electronic device in a third area operating with a third authority higher than the second authority, and the third area transfers a detection signal for the at least one first device to a fourth region in which the first region, the second region, and the third region and an execution environment are separated, and in the fourth region, the specified at least one Stores one or more instructions for notifying that the at least one first device is in operation by using one second device, and the fourth area is a hypervisor executed in the third area.
  • ) may be an area on a second virtual machine in which the first area, which may be an area on a first virtual machine, and the execution environment are separated from the second area.
  • An electronic device may include a memory and a processor operatively connected to the memory.
  • the processor may execute a user application in a first area operating with a first authority and execute an operating system in a second area operating with a second authority higher than the first authority.
  • the processor detects an operation of at least one first device included in the electronic device in a third area operating with a third authority higher than the second authority, and the third area , to a fourth area included in a secure world in which a normal world including the first area, the second area, and the third area and an execution environment are separated, and the at least one first area
  • One or more instructions for transmitting a detection signal for one device and notifying that the at least one first device is operating using at least one designated second device in the fourth area may be stored. there is.
  • a processor of the electronic device executes a user application in a first region operating with a first authority, and operates with a second authority higher than the first authority. Detects an operation of at least one first device included in the electronic device in a third area where the processor operates with a third authority higher than the second authority, The processor transmits a detection signal for the at least one first device from the third region to the first region, the second region, and a fourth region in which the third region and an execution environment are separated; In the fourth area, it is notified that the at least one first device is operating using at least one designated second device, and the fourth area is controlled by a hypervisor executed in the third area.
  • the first area which is an area on 1 virtual machine
  • the second area may be an area on a second virtual machine in which an execution environment is separated.
  • a processor of the electronic device executes a user application in a first region operating with a first authority, and operates with a second authority higher than the first authority. Detects an operation of at least one first device included in the electronic device in a third area where the processor operates with a third authority higher than the second authority, In the third area, the processor is included in a secure world in which an execution environment is separated from a normal world including the first area, the second area, and the third area. A detection signal for the at least one first device may be transmitted to the fourth area, and it may be notified that the at least one first device is operating in the fourth area using at least one designated second device.
  • an electronic device capable of notifying a user that the device is in operation without missing even when a security breach occurs and an operating method thereof may be provided.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 2 is a block diagram illustrating a program according to various embodiments.
  • 3A is a diagram illustrating a structure of a processor according to an exemplary embodiment.
  • 3B is a diagram illustrating the structure of a processor according to an embodiment.
  • FIG. 4 is a flowchart illustrating an operation of an electronic device according to various embodiments.
  • FIG. 5 is a flowchart illustrating an operation of an electronic device according to various embodiments.
  • FIG. 6 is a diagram for explaining an operation of an electronic device according to various embodiments.
  • FIG. 7A is a diagram for describing an operation of an electronic device according to an exemplary embodiment.
  • FIG. 7B is a diagram for explaining an operation of an electronic device according to an exemplary embodiment.
  • FIG. 8 is a diagram illustrating an example of a notification screen displayed on a display by an electronic device according to various embodiments.
  • FIG. 9 is a diagram illustrating an implementation example of a security hardware control module of an electronic device according to various embodiments.
  • FIG. 10 is a diagram illustrating a user interface provided by an electronic device according to various embodiments.
  • FIG. 11 is a flowchart illustrating an operation of an electronic device according to various embodiments.
  • FIG. 1 is a block diagram of an exemplary electronic device 101 within a networked environment 100, in accordance with various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • the server 108 e.g, a long-distance wireless communication network
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, a sound output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are integrated into a single component (eg, display module 160). It can be.
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • software eg, the program 140
  • the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphics processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphics processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor.
  • NPU neural network processing unit
  • image signal processor sensor hub processor
  • communication processor e.g., a graphics processing unit, a graphics processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor.
  • the auxiliary processor 123 may use less power than the main processor 121 or be set to be specialized for a designated function.
  • the secondary processor 123 may be implemented separately from or as part of the
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, image signal processor or communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used for a component (eg, the processor 120) of the electronic device 101 from an outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor set to detect a touch or a pressure sensor set to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more specified protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establishment and communication through the established communication channel may be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : A local area network (LAN) communication module or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg, : A local area network (LAN) communication module or a power line communication module.
  • each “module” preferably includes a circuit.
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, a legacy communication module).
  • a first network 198
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • eMBB peak data rate for eMBB realization
  • a loss coverage for mMTC realization eg, 164 dB or less
  • U-plane latency for URLLC realization eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator including a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the program 140 includes an operating system 142, middleware 144, or an application 146 executable in the operating system 142 for controlling one or more resources of the electronic device 101.
  • the operating system 142 may include, for example, Android TM , iOS TM , Windows TM , Symbian TM , Tizen TM , or Bada TM .
  • At least some of the programs 140 are, for example, preloaded in the electronic device 101 at the time of manufacture, or when used by a user, an external electronic device (eg, the electronic device 102 or 104), or a server ( 108)) can be downloaded or updated.
  • the operating system 142 may control management (eg, allocation or reclamation) of one or more system resources (eg, processes, memory, or power) of the electronic device 101 .
  • Operating system 142 may additionally or alternatively include other hardware devices of electronic device 101 , such as input module 150 , sound output module 155 , display module 160 , audio module 170 . , sensor module 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or One or more driver programs for driving the antenna module 197 may be included.
  • the middleware 144 may provide various functions to the application 146 so that the function or information provided from one or more resources of the electronic device 101 may be used by the application 146 .
  • the middleware 144 includes, for example, the application manager 201, the window manager 203, the multimedia manager 205, the resource manager 207, the power manager 209, the database manager 211, and the package manager 213. ), connectivity manager 215, notification manager 217, location manager 219, graphics manager 221, security manager 223, call manager 225, or voice recognition manager 227. can
  • the application manager 201 may manage the life cycle of the application 146 , for example.
  • the window manager 203 may manage one or more GUI resources used in a screen, for example.
  • the multimedia manager 205 identifies, for example, one or more formats required for reproduction of media files, and encodes or decodes a corresponding media file among the media files using a codec suitable for the selected format. can be done
  • the resource manager 207 may manage a source code of the application 146 or a memory space of the memory 130 .
  • the power manager 209 may manage, for example, the capacity, temperature, or power of the battery 189, and determine or provide related information necessary for the operation of the electronic device 101 by using corresponding information among them. . According to an embodiment, the power manager 209 may interoperate with a basic input/output system (BIOS) (not shown) of the electronic device 101 .
  • BIOS basic input/output system
  • the database manager 211 may create, search, or change a database to be used by the application 146, for example.
  • the package manager 213 may manage installation or update of applications distributed in the form of package files, for example.
  • the connectivity manager 215 may manage, for example, a wireless connection or a direct connection between the electronic device 101 and an external electronic device.
  • the notification manager 217 may provide a function for notifying a user of occurrence of a designated event (eg, an incoming call, message, or alarm), for example.
  • the location manager 219 may manage location information of the electronic device 101, for example.
  • the graphic manager 221 may manage, for example, one or more graphic effects to be provided to a user or a user interface related thereto.
  • Security manager 223 may provide system security or user authentication, for example.
  • the telephony manager 225 may manage, for example, a voice call function or a video call function provided by the electronic device 101 .
  • the voice recognition manager 227 transmits, for example, the user's voice data to the server 108, and at least partially based on the voice data, a command corresponding to a function to be performed in the electronic device 101; Alternatively, text data converted at least partially based on the voice data may be received from the server 108 .
  • the middleware 244 may dynamically delete some existing components or add new components.
  • at least part of the middleware 144 may be included as part of the operating system 142 or implemented as separate software different from the operating system 142 .
  • the application 146 includes, for example, a home 251, a dialer 253, an SMS/MMS 255, an instant message (IM) 257, a browser 259, a camera 261, and an alarm 263. , Contacts (265), Voice Recognition (267), Email (269), Calendar (271), Media Player (273), Album (275), Watch (277), Health (279) (e.g. exercise or blood sugar) measurement of biometric information) or environment information 281 (eg, measurement of atmospheric pressure, humidity, or temperature information). According to an embodiment, the application 146 may further include an information exchange application (not shown) capable of supporting information exchange between the electronic device 101 and an external electronic device.
  • an information exchange application not shown
  • the information exchange application may include, for example, a notification relay application configured to transmit designated information (eg, a call, message, or alarm) to an external electronic device, or a device management application configured to manage an external electronic device.
  • the notification relay application for example, transmits notification information corresponding to a designated event (eg, mail reception) generated in another application (eg, the email application 269) of the electronic device 101 to an external electronic device.
  • the notification relay application may receive notification information from an external electronic device and provide the notification information to the user of the electronic device 101 .
  • the device management application is, for example, a power supply (eg, turn-on or turn-off) of an external electronic device that communicates with the electronic device 101 or some component thereof (eg, a display module or a camera module of the external electronic device). ) or functions (eg brightness, resolution, or focus).
  • the device management application may additionally or alternatively support installation, deletion, or update of an application operating in an external electronic device.
  • the above-described program 140 may include at least one device (eg, an audio module 170 including an audio circuit) included in an electronic device (eg, the electronic device 101 of FIG. 1 ), or An additional component 220 for detecting an operation of the camera module 180 including a camera circuit and notifying a user of the electronic device that at least one device is in operation may be included.
  • each "module” preferably includes a circuit.
  • Additional components 220 may include a hypervisor 291 , a secure OS 295 , and/or a secure application 297 .
  • the hypervisor 291 may be an area inaccessible to the operating system 142 and the application 146 .
  • the hypervisor 291 may include a hypervisor-based external input detector (HEID) module 293 including detection circuitry.
  • the HEID module 293 may detect an operation of at least one device included in an electronic device.
  • at least one device may be a hardware device.
  • the HEID module 293 is a memory device (eg, the volatile memory 132 of FIG. 1 ) mapped to at least one device. It can detect access to an area (e.g. hardware register area).
  • the mapped area may mean a storage space for input/output of a hardware device.
  • the HEID module 293 may trap a read or write command delivered to the mapped area.
  • the HEID module 293 generates an exception level before an ARM core (eg, the processor 120 of FIG. 1 including processing circuitry) executes a read or write command.
  • the hypervisor 291 can decide whether to execute the command or ignore the command.
  • the HEID module 293 may detect that a read or write command is transmitted to the mapped area, eg, that a device corresponding to the mapped area is in operation.
  • the security operating system 295 may be an operating system for security purposes provided to perform functions related to the security application 297 .
  • the secure operating system 295 may be an operating system included in a secure world.
  • a secure world is a hardware separation of a central processing unit (CPU) (eg, the processor 120 of FIG. 1 ) to provide a secure execution environment in an electronic device supporting the ARM architecture.
  • CPU central processing unit
  • the other of the separated regions may be referred to as the normal world.
  • all processing units include processing circuits.
  • the security operating system 295 is included in the normal world, but is separated from the operating system 142 by the hypervisor 291 and may be an operating system responsible for security functions.
  • the hypervisor 291 may create and manage a plurality of virtual machines running different operating systems.
  • the operating system 142 may be an operating system executed by a first virtual machine
  • the security operating system 295 may be an operating system executed by a second virtual machine.
  • Hypervisor 291 may be otherwise referred to as a virtual machine monitor or virtual machine manager.
  • the security operating system 295 may transmit a detection signal for an operation of at least one device transmitted from the hypervisor 291 or the HHEID module 293 to the security application 297 .
  • the security application 297 includes a secure indicator module 298 including a circuit and a secure hardware control module (secure H/W ctrl module) including a circuit ( 299) may be included.
  • the security indicator module 298 may receive a detection signal for an operation of at least one device transmitted from the hypervisor 291 .
  • the secure hardware control module 299 may control the secure hardware device to inform the user that at least one device is in operation.
  • a secure hardware device includes a device controllable in a secure world or a secure virtual machine (secure virtual machine, secure VM), for example, a display (eg, the display of FIG. 1 including a display circuit).
  • the secure virtual machine is a sub virtual machine in which a main virtual machine (main VM) and an execution environment are separated by the hypervisor 291 (sub virtual machine).
  • sub VM) may mean a virtual machine that performs a security function
  • the security application 297 may be executed on a secure virtual machine.
  • FIGS. 3A and 3B a structure of a processor (eg, the processor 120 of FIG. 1 ) according to various embodiments and a program (eg, the program 140 of FIGS. 1 and 2 ) by the processor The area to be executed is described.
  • a processor eg, the processor 120 of FIG. 1
  • a program eg, the program 140 of FIGS. 1 and 2
  • FIG. 3A is a diagram 300 illustrating the structure of a processor including processing circuitry according to an exemplary embodiment.
  • the processor described below may be the processor 120 including the processing circuit of the electronic device 101 of FIG. 1 .
  • a processor may operate at a plurality of exception levels (EL).
  • a CPU eg, the processor 120 hardwarely implements a normal world (normal world) and secure world.
  • the normal world is an execution environment in which a general operating system or kernel operates
  • the secure world is an execution environment in which a reliable trustzone operates.
  • processors may be divided in terms of hardware by differentiating execution rights, and the separated regions may be defined as ELs.
  • the normal world can be divided into EL0, EL1, EL2, and EL3, and the secure world is SEL0 (hereinafter, EL0 of the secure world is referred to as SEL0) and SEL1 (hereinafter, EL1 of the secure world is referred to as SEL0). referred to as SEL1).
  • Execution authority is higher in order of EL3, EL2, EL1, and EL0, and higher in order of SEL1 and SEL0.
  • EL0 may be a level at which a processor executes a user application.
  • a processor including processing circuitry may execute the Android framework 310 in EL0.
  • the Android framework 310 includes at least one first device included in the electronic device (eg, a camera (eg, the camera module 180 of FIG. 1 ), or a microphone (eg, the input of FIG. 1 ). It may include a framework for the operation of the module 150.
  • EL0 is, for example, a high security risk area, and if the security of the EL0 area is breached, the device is stolen regardless of the user's intention of the electronic device. It can be.
  • EL1 may be a level at which a processor executes an operating system (OS).
  • the processor may run the Android Linux kernel 320 on EL1.
  • the Android Linux kernel 320 includes an operating system (OS) for operating at least one first device (eg, a camera or a microphone including a circuit) included in an electronic device and each device.
  • a device driver for driving may be included.
  • EL1 is an area with a high security risk, and if the security of the EL1 area is violated, the device may be stolen regardless of the user's intention of the electronic device.
  • EL2 may be a level at which a processor executes a hypervisor 330 (eg, the hypervisor 291 of FIG. 2 ). EL2 is included in the normal world, but is an execution area that can be managed relatively safely.
  • the hypervisor 330 may include a HEID module 331 (eg, the HEID module 293 of FIG. 2 ).
  • the HEID module 331 may detect an operation of at least one first device included in the electronic device.
  • EL3 may be a level at which the processor executes the secure monitor 340 .
  • the secure monitor 340 may support switching between the normal world and the secure world.
  • SEL0 may be the EL0 level of the secure world.
  • SEL0 may be a level at which the processor executes secure firmware.
  • the processor may run a trusted app on SEL0.
  • a secure hardware control module (secure h/w ctrl module) 361 eg, secure hardware control module 299 of FIG. 2
  • a secure indicator module 363 eg, : The security indicator module 298
  • a processor including processing circuitry may execute security indicator module 363 (security indicator trusted app) and security hardware control module 361 (security hardware control trusted app) in SEL0.
  • the security indicator module 363 may receive a detection signal for an operation of at least one first device transmitted from the HEID module 331 .
  • the security hardware control module 361 may control at least one designated second device to provide a notification notifying that the at least one first device is in operation to the user.
  • the at least one designated second device is an electronic device (including a circuit) for notifying that the at least one first device is in operation, unlike the at least one first device that is a motion detection target, and is included in the electronic device.
  • a device e.g., a wearable device (e.g., a wearable device) of a device (e.g., a display, vibrator, or LED) or an external electronic device (e.g., electronic device 102, or electronic device 104 in FIG. It may be a wearable device)).
  • a wearable device e.g., a wearable device of a device (e.g., a display, vibrator, or LED) or an external electronic device (e.g., electronic device 102, or electronic device 104 in FIG. It may be a wearable device)
  • at least one first device may be selected as a motion detection target through a user interface.
  • at least one designated second device may be designated for each of the at least one first device through a user interface.
  • SEL1 may be the EL1 level of the secure world.
  • SEL1 may be a level at which the processor executes a trusted OS.
  • the processor may run a secure OS 350 on SEL1.
  • the security operating system 350 may be a secure world operating system for performing functions related to security applications (eg, security indicator trusted apps and security hardware control trusted apps) running on SEL0. .
  • the security operating system 350 (eg, the security operating system 295 of FIG. 2 ) converts a detection signal for an operation of at least one first device transmitted from the HEID module 331 into a security indicator. module 363.
  • EL2 may not exist in the secure world.
  • the HEID module 331 is located in the normal world, the security indicator module 363 and the secure hardware control module 361 are located in the secure world, and has direct access from the normal world to the secure world. Since this is impossible, the HEID module 331 may transmit a detection signal for the operation of at least one first device to the security indicator module 363 through the secure monitor 340 and the secure operating system 350. The security hardware control module 361 may notify that at least one first device is operating by using at least one designated second device.
  • 3B is a diagram 302 illustrating the structure of a processor 120 according to an exemplary embodiment.
  • the description of the normal world, the secure world, EL0, EL1, EL2, EL3, SEL0, and SEL1 shown in FIG. 3B may be applied in the same manner as described above with reference to FIG. 3A.
  • SEL0 SEL0
  • FIG. 3B a structure different from that of FIG. 3A will be mainly described with respect to FIG. 3B.
  • the hypervisor 330 may manage at least one virtual machine.
  • the at least one virtual machine may include a main virtual machine and one or more sub virtual machines.
  • the main virtual machine may be an Android virtual machine (Android VM)
  • the sub virtual machine may be a secure virtual machine (Secure VM).
  • Android VM Android virtual machine
  • Secure VM secure virtual machine
  • a case in which the main virtual machine runs the Android operating system will be mainly described, but is not limited thereto, and may be a virtual machine running various operating systems (eg, iOS).
  • the Android virtual machine and the secure virtual machine may provide execution environments separated from each other by the hypervisor 330 .
  • at least one virtual machine may run different operating systems.
  • the Android virtual machine may execute the Android Linux kernel 320
  • the secure virtual machine may execute the VM Linux kernel 370.
  • the VM Linux kernel 370 may be a second OS executable separately from the main OS (or first OS), the Android Linux kernel 320 .
  • the VM Linux kernel 370 provides an environment in which functions related to the security indicator module 363 and the security hardware control module 361 can be executed in isolation from the main OS, the Android Linux kernel 320. can do.
  • the processor may execute the VM Linux kernel 370, the security indicator module 363 and/or the security hardware control module 361 on a secure virtual machine.
  • the processor may execute the VM Linux kernel 370 in EL1, and may execute the security indicator module 363 and the security hardware control module 361 in EL0.
  • the Android virtual machine and the secure virtual machine may have separate execution environments and permissions. For example, even if the security of the EL0 area and the EL1 area on the Android virtual machine is violated (eg, hacked) by an attacker regardless of the user's intention, the security of the EL0 area and the EL1 area on the secure virtual machine will be maintained. can For example, an attacker may not be able to access the EL0 area and the EL1 area on the secure virtual machine.
  • the HEID module 331 executed in area EL2 prevents the operation of at least one first device.
  • the HEID module 331 may transmit a detection signal for the operation of at least one first device to the security indicator module 363 located in the EL0 area on the secure virtual machine.
  • the security indicator module 363 may receive a detection signal transmitted from the HEID module 331 .
  • the security hardware control module 361 may notify that the at least one first device is in operation by controlling at least one designated second device in response to receiving the detection signal.
  • the processor has a secure interface based on an exception level structure with differentiated privileges, a secure virtual machine separated from the Android virtual machine, and a secure world separated from the normal world. It is possible to inform the user that at least one first device is in operation through, and it is possible to make an attacker unaware of the fact that the notification is provided to the user.
  • FIG. 4 is a flowchart 400 illustrating an operation of an electronic device according to an exemplary embodiment. Operations of the electronic device described below may be performed by the electronic device 101 of FIG. 1 or the processor 120 of the electronic device 101 .
  • the electronic device may execute a user application in a first area operating with a first authority and execute an operating system in a second area operating with a second authority higher than the first authority.
  • the third authority may be higher than the second authority.
  • the first area may be an EL0 area
  • the second area may be an EL1 area
  • the third area may be an EL2 area.
  • the electronic device may detect an operation of at least one first device including a circuit in a third region operating with a third authority.
  • the electronic device may detect an operation of at least one first device included in the electronic device in a third area operating with a third authority higher than the second authority.
  • the first device is a hardware device mounted on an electronic device and may include a camera (eg, the camera module 180 of FIG. 1 ) or a microphone (eg, the input module 150 of FIG. 1 ).
  • a user or an attacker executes at least one first device, reading an area to which at least one first device is mapped in a memory (eg, volatile memory 132 of FIG.
  • the electronic device may execute a read or write command transmitted to the region to which at least one first device of the memory is mapped in the third region.
  • the electronic device may trap a read or write command to the third area.
  • the electronic device may detect an operation of at least one first device in the third area by trapping a read or write command to the third area.
  • a hypervisor eg, the hypervisor 330 of FIGS. 3A and 3B
  • the electronic device may call a HEID module (eg, the HEID module 331 of FIGS. 3A and 3B ) of a region (EL2 region) where a hypervisor is executed.
  • the electronic device may transfer a detection signal for at least one first device from the third area to the first area, the second area, and the fourth area in which the third area and the execution environment are separated.
  • the first area, the second area, and the third area may be included in the normal world
  • the fourth area may be included in the secure world.
  • the first region is the EL0 region of the normal world
  • the second region is the EL1 region of the normal world
  • the third region is the EL2 region of the normal world
  • the fourth region is the SEL0 region (EL0 region of the secure world).
  • the electronic device may transfer the detection signal to the fourth area through a fifth area operating with a higher authority than the third authority in the third area.
  • the fifth area may be an EL3 area.
  • the fifth area may be an area where a secure monitor (eg, the secure monitor 340 of FIGS. 3A and 3B) is executed.
  • the electronic device may transmit a detection signal for an operation of at least one first device from a third area included in the normal world to a fourth area included in the secure world through the secure monitor.
  • the HEID module of the EL2 area operates through the secure monitor of the EL3 area and the secure operating system (e.g., the secure operating system 350 of FIGS. 3A and 3B) of the SEL1 area (EL1 area of the secure world).
  • a detection signal may be transmitted to a security indicator module (eg, the security indicator module 363 of FIG. 3A ).
  • the first region, the second region, the third region, and the fourth region are included in the normal world, and the fourth region is configured by a hypervisor executing in the third region. and the execution environment may be separate areas.
  • the first area and the second area are areas on a first virtual machine (eg, the Android virtual machine of FIG. 3B), and the fourth area is a second virtual machine (eg, an Android virtual machine in FIG. 3B) separated from the first virtual machine. It may be an area on the secure virtual machine of FIG. 3b).
  • the first region is the EL0 region on the first virtual machine
  • the second region is the EL1 region on the first virtual machine
  • the third region is the EL2 region
  • the fourth region is the EL0 region on the second virtual machine.
  • a hypervisor running in the third region may manage the first virtual machine and the second virtual machine.
  • the electronic device may transmit a detection signal for at least one first device from a third area where a hypervisor is executed to a fourth area, which is an area on the second virtual machine.
  • the HEID module of the EL2 area is connected to the EL0 area on the first virtual machine and the EL1 area on the second virtual machine separated from the EL1 area, and the security indicator module of the EL0 area on the second virtual machine (e.g., the security indicator of FIG. 3B)
  • a detection signal may be transmitted to the indicator module 363 .
  • the HEID module of the EL2 area is detected by the security indicator module (eg, the security indicator module 363 of FIG. 3B ) of the EL0 area on the second virtual machine through the secure monitor of the EL3 area and the EL1 area on the second virtual machine. Signals can also be transmitted.
  • the electronic device may notify that at least one first device is operating in the fourth region by using at least one designated second device.
  • the fourth region may be included in the secure world.
  • the fourth area may be the SEL0 area (EL0 area of the secure world).
  • the electronic device may execute a secure hardware control module (eg, the secure hardware control module 361 of FIG. 3A ) in the SEL0 area.
  • the secure hardware control module may control at least one designated second device including a circuit.
  • the at least one designated second device may be selected as a notification device for indicating whether the device operates for each of the at least one first device through the user interface.
  • the at least one designated second device may include at least one of a display, a vibrator, an LED, or a wearable device.
  • the security hardware control module may control at least one designated second device to notify that the at least one first device is in operation.
  • the electronic device may display a message or an icon indicating that at least one first device is in operation on the display.
  • the electronic device may notify that at least one first device is in operation by causing a vibrator to vibrate or an LED to emit light.
  • the electronic device may transmit a signal or data indicating that at least one first device is operating to a wearable device communicating with the electronic device. The wearable device may notify that at least one first device is operating by using, for example, a display, a vibrator, or an LED of the wearable device.
  • the fourth area may be an area on a secure virtual machine.
  • the fourth area may be an ELO area on the secure virtual machine.
  • the electronic device may execute a secure hardware control module (eg, the secure hardware control module 361 of FIG. 3B ) in the ELO area on the secure virtual machine.
  • the security hardware control module may control at least one designated second device to notify that the at least one first device is in operation. The description in the above-described embodiment may be equally applied to the security hardware control module and the designated at least one second device.
  • FIG. 5 is a flowchart 500 illustrating an operation of an electronic device according to an exemplary embodiment. Operations of the electronic device described below may be performed by the electronic device 101 of FIG. 1 or the processor 120 of the electronic device 101 . Operations of the electronic device described below may be performed in at least one area shown in FIG. 3A or 3B.
  • the electronic device may transmit a read or write command to an area of memory to which at least one first device is mapped.
  • a memory eg, the volatile memory 132 of FIG. 1
  • the electronic device may include an area to which at least one first device is mapped.
  • the area to which at least one first device is mapped in the memory of the electronic device may be a register related to input/output of the at least one first device.
  • the electronic device may execute an application related to at least one first device by an attacker. As the electronic device executes an application related to the at least one first device, the electronic device may transmit a read or write command to an area of memory to which the at least one first device is mapped.
  • operation 501 of the electronic device may include a first region (eg, EL0 region of the normal world of FIG. 3A or EL0 region of the Android virtual machine of FIG. 3B ) and a second region (eg, normal world of FIG. 3A ).
  • the electronic device may generate a trap to the third area (eg, the EL2 area of the normal world of FIG. 3A or the EL2 area of the Android virtual machine of FIG. 3B).
  • the electronic device may generate a trap to the third area based on a read or write command transmitted to the area to which at least one first device of the memory is mapped.
  • the electronic device may sense an operation of at least one first device in the third area by generating a trap to the third area.
  • the third region may be a region in which a hypervisor (eg, the hypervisor 330 of FIG. 3A or 3B) is executed.
  • the trap to the third region may include the electronic device calling a hypervisor running in the third region.
  • an area of the memory to which at least one first device is mapped may be set in a state in which reading or writing is impossible.
  • a permission fault may occur, and the electronic device may be configured by the HEID module of the hypervisor (eg, FIG. 3A ).
  • an operation of at least one first device in the third region in which the hypervisor is executed may be detected.
  • operation 503 of the electronic device may be performed in the third region.
  • the electronic device may determine (determine or check) whether a sensing function for at least one first device is activated. According to an embodiment, the electronic device may determine whether to activate a function for detecting an operation of at least one first device. For example, the electronic device may determine whether a function of the HEID module is activated for at least one first device. According to an embodiment, the electronic device may perform operations 507 and 511 when a sensing function for at least one first device is activated. According to an embodiment, when the sensing function for at least one first device is inactivated, the electronic device may perform operation 511 without performing operation 507 . According to an embodiment, operation 505 of the electronic device may be performed in the third area.
  • the electronic device may transfer the detection signal to the fourth area (eg, the EL0 area (SEL0 area) of the secure world of FIG. 3A or the EL0 area of the secure virtual machine of FIG. 3B).
  • the electronic device may transmit a detection signal for an operation of at least one first device from the third area to the fourth area.
  • the detection signal for the operation of the at least one first device may indicate that the at least one first device is operating. For example, when the electronic device is implemented in the structure shown in FIG. 3A, the electronic device has a fifth authority higher than that of the third area in the third area (eg, the EL2 area of the normal world or the area where the hypervisor is executed).
  • the detection signal for the operation of at least one first device is transmitted to the fourth area (eg, EL0 area (SEL0 area) of the secure world) through the area (eg, EL3 area of the normal world or the area where the secure monitor is executed).
  • the electronic device transmits a detection signal for the operation of at least one first device to the fourth area through the fifth area and the sixth area having higher authority than the fourth area (eg, the EL1 area (SEL1 area) of the secure world).
  • the electronic device is implemented in the structure shown in FIG.
  • the electronic device moves from a third area (eg, an EL2 area on an Android virtual machine or an area where a hypervisor is executed) to a fourth area (eg, a secure virtual machine).
  • a detection signal for the operation of at least one first device may be transmitted to the region EL0 on the image.
  • the electronic device may transmit a detection signal for the operation of at least one first device from the third area to the fourth area through a seventh area having higher authority than the fourth area (eg, EL1 area on the secure virtual machine).
  • a detection signal for an operation of at least one first device may be transmitted to a security indicator module (eg, the security indicator module 363 of FIG. 3A or 3B) of the fourth region.
  • the electronic device may notify that at least one first device is operating by using at least one designated second device.
  • the electronic device may determine at least one second device designated for each of the at least one first device through a user interface for selecting a device providing a notification that the device is in operation.
  • the at least one designated second device may be a device included in an electronic device (eg, a display, a vibrator, or an LED) or an external electronic device communicating with the electronic device (eg, a wearable device).
  • the electronic device may perform operation 509 in the fourth area.
  • the electronic device includes a security hardware control module (eg, the security hardware control module 361 of FIG.
  • the security hardware control module may include at least one control module corresponding to at least one designated second device.
  • the secure hardware control module may include a module for controlling the display and/or a module for controlling the vibrator.
  • the electronic device may display a message or icon indicating that at least one first device is operating through a display, and may generate vibration indicating that at least one first device is operating using a vibrator. there is.
  • the electronic device may execute a read or write command.
  • the electronic device may execute a read or write command in the third area.
  • an area to which at least one first device is mapped in the memory of the electronic device may be set in a state in which reading or writing is impossible in the first area or the second area.
  • the electronic device may generate a trap to a third area where the hypervisor is executed. After the trap, the electronic device may execute a read or write command for at least one first device in the third area instead of the first area or the second area.
  • the electronic device when the electronic device executes a read or write command for at least one first device, the electronic device may operate the at least one first device.
  • the above-described execution of a read or write command in the third area instead of the first area or the second area may be executed by the hypervisor of the third area or the HEID module of the hypervisor.
  • the electronic device may operate the at least one first device by using the at least one designated second device regardless of notifying that the at least one first device is operating.
  • FIG. 6 is a diagram 600 for explaining an operation of an electronic device according to an exemplary embodiment. Operations of the electronic device described below may be performed by the electronic device 101 of FIG. 1 or the processor 120 of the electronic device 101 .
  • a software module described below eg, a camera app/framework
  • 610 eg, the Android framework 310 of FIG. 3A or 3B
  • a camera driver 620 eg, FIG. Android Linux kernel 320 of FIG. 3a or 3b
  • hypervisor 630 eg, hypervisor 330 of FIG. 3a or 3b
  • HEID module 631 eg, FIG. HEID module 331 of 3A or 3B
  • secure indicator module 663 eg, secure indicator module 363 of FIG. 3A or 3B
  • secure display control module The operations of ) 661 (eg, the secure hardware control module 361 of FIG. 3A or 3B) may be performed by the electronic device 101 of FIG. 1 or the processor 120 of the electronic device 101. .
  • the electronic device may execute a camera application 610 (or camera framework).
  • the electronic device may execute the camera application 610 based on the attacker's control.
  • the attacker is not the user of the electronic device, but may be a person who wants to control the electronic device regardless of the user's intention.
  • an attacker may directly control an electronic device or indirectly control it through an external electronic device.
  • the electronic device may execute the camera application 610 in the first area (eg, area EL0 of the normal world of FIG. 3A or area EL0 of the Android virtual machine of FIG. 3B ).
  • the electronic device may execute a camera driver 620 for driving at least one first device (eg, a camera).
  • the electronic device may execute the camera driver 620 in the second area (eg, the EL1 area of the normal world of FIG. 3A or the EL1 area of the Android virtual machine of FIG. 3B ).
  • the camera driver 620 may operate the camera by accessing a register (eg, camera I/O) 682 related to input/output of the camera.
  • the camera driver 620 may operate the camera by transmitting a read or write command to the register 682 related to input/output of the camera.
  • the electronic device may access the register 682 related to the input/output of the camera based on the address of the system physical address space 680 allocated to the register 682 related to the input/output of the camera.
  • the register 682 related to input/output of the camera may correspond to an area of the system physical address space 680 to which the camera is mapped.
  • the electronic device operates in a third area (eg, the EL2 area of the normal world of FIG. 3A, or A trap to the EL2 area on the Android virtual machine in FIG. 3b) can be generated.
  • the register 682 related to input/output of a camera may be set to be impossible to read or write by the camera driver 620 .
  • the trap to the third region may be a permission fault.
  • the third area may be an area where the hypervisor 630 is executed.
  • the hypervisor 630 may include a HEID module 631 .
  • the HEID module 631 may detect an operation of the camera as a trap to the third area occurs.
  • the HEID module 631 may transmit a detection signal for a camera operation to the security indicator module 663 .
  • the detection signal for the operation of the camera may include a signal indicating that the camera is in operation (or in use).
  • the security indicator module 663 is a module (eg, a secure display 690) that controls a device (eg, a secure display 690) that provides a notification that the camera is operating through a detection signal for the operation of the camera. : may be transmitted to the secure display control module 661).
  • the electronic device may execute the security indicator module 663 and the security display control module 661 in the fourth region.
  • the fourth area may be the EL0 area (SEL0 area) of the secure world of FIG. 3A.
  • the HEID module 631 includes a fifth area having higher authority than the third area (eg, the EL3 area of FIG. 3A or the area where the secure monitor 340 is executed) and a sixth area having higher authority than the fourth area (eg, the secure monitor 340).
  • a detection signal for a camera operation may be transmitted to the fourth area through the EL1 area (SEL1 area) of the world.
  • the fourth area may be the EL0 area on the secure virtual machine of FIG. 3B.
  • the HEID module 631 may transmit a detection signal for a camera operation to the fourth area through a seventh area having higher authority than the fourth area (eg, EL1 area on the secure virtual machine).
  • the security display control module 661 may notify the user that the camera is operating using the security display 690 .
  • the security display control module 661 may display a message indicating that the camera is operating on the security display 690 .
  • the security display control module 661 displays an icon indicating that the camera is operating on the security display 690, or different icons (eg, icons having different colors or shapes) when not operating and when operating. can display
  • the electronic device includes at least one first device (e.g., camera), it is possible to notify that at least one first device is in operation by using at least one second device designated as a device notifying that the device is in operation.
  • the designated at least one second device may include, for example, at least one of a display, a vibrator, an LED, or a wearable device that communicates with an electronic device.
  • FIG. 7A is a diagram 700 for describing an operation of an electronic device according to an exemplary embodiment. Operations of the electronic device described below may be performed by the electronic device 101 of FIG. 1 or the processor 120 of the electronic device 101 .
  • the processor of the electronic device may have the structure of the processor shown in FIG. 3A.
  • a processor of the electronic device may execute a program (eg, the program 140 of FIGS. 1 and 2 ) in each region shown in FIG. 3A .
  • the processor's execution environment and authority may be separated into a normal world and a secure world by an ARM exception level architecture.
  • the electronic device uses a HEID module (eg, the HEID module 331 of FIG. 3A ) in the EL2 area of the normal world (an area where a hypervisor (eg, the hypervisor 330 of FIG. 3A ) is executed).
  • the HEID module may detect an operation of at least one first device (eg, a camera or a microphone) included in the electronic device.
  • the electronic device includes a security indicator module (eg, the security indicator module 363 of FIG. 3A ) and a secure display trusted app (Secure Display TA) 761a ( Example: secure hardware control module 361 of FIG. 3A).
  • the security indicator module may receive a detection signal for an operation of at least one first device transmitted from the HEID module.
  • the secure display trusted app 761a controls at least one designated second device (eg, the display 760 (eg, the display module 160 of FIG. 1 )) to inform the user that the at least one first device is operating. can inform
  • the electronic device may execute the display framework 711 (eg, the Android framework 310 of FIG. 3A) in the EL0 area of the normal world.
  • the display framework 711 may display a screen on the first area 701 of the display 760 of the electronic device.
  • the electronic device may execute the secure display trusted app 761a in the ELO area (SEL0 area) of the secure world.
  • the secure display trusted app 761a may display a notification screen on the second area 702 of the display 760 of the electronic device.
  • the secure display trusted app 761a may display a notification screen through the second area 702 that cannot be tampered with in the normal world using a secure buffer 784 .
  • the second area 702 of the display 760 of the electronic device that cannot be tampered with in the normal world may be referred to as a security display (eg, the security display 690 of FIG. 6 ).
  • the security buffer 784 may be at least a partial region of the memory 780 (eg, random access memory (RAM)) of the electronic device (eg, the volatile memory 132 of FIG. 1 ).
  • the notification screen may include, for example, at least one of a message indicating that at least one first device (eg, a camera or a microphone) included in the electronic device is in operation, or an icon.
  • FIG. 7B is a diagram 750 for describing an operation of an electronic device according to an exemplary embodiment. Operations of the electronic device described below may be performed by the electronic device 101 of FIG. 1 or the processor 120 of the electronic device 101 .
  • the processor of the electronic device may have the structure of the processor shown in FIG. 3B.
  • the processor of the electronic device may execute a program (eg, the program 140 of FIGS. 1 and 2 ) in each area shown in FIG. 3B .
  • a program eg, the program 140 of FIGS. 1 and 2
  • an execution environment and authority of a processor may be separated into an Android virtual machine and a secure virtual machine by a hypervisor (eg, the hypervisor 330 of FIG. 3B ).
  • the electronic device may execute a HEID module (eg, the HEID module 331 of FIG. 3B ) in an EL2 area (an area where a hypervisor is executed) on the Android virtual machine.
  • the HEID module may detect an operation of at least one first device (eg, a camera or a microphone) included in the electronic device.
  • the electronic device may include a security indicator module (eg, the security indicator module 363 of FIG. 3B ) and a secure display VM App 761b (eg, the secure display VM App) 761b (eg, the security indicator module 363 of FIG. 3B ) in the EL0 area on the secure virtual machine.
  • the secure hardware control module 361 of FIG. 3B may be executed.
  • the security indicator module may receive a detection signal for an operation of at least one first device transmitted from the HEID module.
  • the secure display virtual machine app 761b controls at least one designated second device (eg, the display 760 (eg, the display module 160 of FIG. 1 )) to inform the user that the at least one first device is operating. can inform
  • the electronic device may execute the display framework 711 (eg, the Android framework 310 of FIG. 3B ) in the EL0 region of the Android virtual machine.
  • the display framework 711 may display a screen on the first area 701 of the display 760 of the electronic device.
  • the electronic device may execute the secure display virtual machine app 761b in the ELO area on the secure virtual machine.
  • the secure display virtual machine app 761b may display a notification screen on the second area 702 of the display 760 of the electronic device.
  • the secure display virtual machine app 761b may display a notification screen through the second region 702, which cannot be tampered with in the Android virtual machine, using a secure buffer 784. .
  • the second area 702 of the display 760 of the electronic device which cannot be tampered with in the Android virtual machine, may be referred to as a security display (eg, the security display 690 of FIG. 6 ).
  • the security buffer 784 may be at least a partial area of the memory 780 (eg, random access memory (RAM)) of the electronic device (eg, the volatile memory 132 of FIG. 1 ).
  • the notification screen may include, for example, at least one of a message indicating that at least one first device (eg, a camera or a microphone) included in the electronic device is in operation, or an icon.
  • FIG. 8 an example of a screen notifying that at least one first device is operating using a display of an electronic device according to an embodiment will be described.
  • FIG. 8 is a diagram 800 illustrating an example of a notification screen displayed on a display by an electronic device according to an embodiment. Operations of the electronic device 801 described below may be performed by the electronic device 101 of FIG. 1 or the processor 120 of the electronic device 101 .
  • the electronic device 801 when the electronic device 801 detects an operation of at least one first device (eg, a camera or a microphone), the electronic device 801 may notify that the at least one first device is operating using the display 860.
  • the electronic device displays a first icon 810 or a second icon on the security display (eg, the second area 702 of FIG. 7a or 7b) of the electronic device described with reference to FIG. 7a or 7b.
  • a notification screen including 820 may be displayed.
  • the electronic device 801 displays a first icon 810 indicating that the at least one first device is not in operation on the display 860. can display As the electronic device 801 detects the operation of the at least one first device, it may display a second icon 820 indicating that the at least one first device is operating on the display 860 .
  • the first icon 810 and the second icon 820 may be images of different types, or may have different transparency, color, or text included in the images even though they are images of the same type.
  • FIG. 9 when an electronic device according to an embodiment notifies that at least one first device is operating using at least one designated second device, a security hardware control module of the electronic device (eg, FIG. 3A ) Alternatively, an example implementation of the secure hardware control module 361 of FIG. 3B will be described.
  • FIG. 9 is a diagram 900 illustrating an implementation example of a security hardware control module of an electronic device according to an embodiment. Operations of the electronic device described below may be performed by the electronic device 101 of FIG. 1 or the processor 120 of the electronic device 101 .
  • the security hardware control module may include a module for controlling each of at least one second device designated as a device notifying that at least one first device is in operation.
  • the electronic device may determine at least one second device designated as a device notifying that at least one first device is in operation.
  • the at least one designated second device may be a hardware device of an electronic device controlled in a secure world in which a normal world and an execution environment are separated, or a hardware device of an external electronic device communicating with the electronic device.
  • the designated at least one second device may include a display, a vibrator, an LED, and/or a wearable device.
  • the electronic device includes a secure display trusted app (Secure Display TA) 961a, a secure vibrator trusted app (Secure Vib TA) 961b, and a secure LED trustee in the EL0 area (SEL0 area) of the secure world.
  • a secure LED TA 961c and/or a secure wearable device trusted app 961d may be executed.
  • the electronic device may execute the security indicator module 963 in the ELO area (SEL0 area) of the secure world.
  • the security indicator module 963 may receive a detection signal for an operation of at least one first device from a HEID module (eg, the HEID module 331 of FIG. 3A ) executed in the EL2 region of the normal world.
  • a HEID module eg, the HEID module 331 of FIG. 3A
  • the security indicator module 963 transmits a detection signal for the operation of at least one first device received from the HEID module to a secure display trusted app (Secure Display TA) 961a, a secure vibrator trusted app (Secure Vib TA) ( 961b), the secure LED TA 961c, and/or the secure wearable device trusted app 961d.
  • a secure display trusted app Secure Display TA
  • a secure vibrator trusted app Secure Vib TA
  • the secure LED TA 961c the secure wearable device trusted app 961d
  • the secure display trusted app 961a, the secure vibrator trusted app 961b, the secure LED trusted app 961c, and/or the secure wearable device trusted app 961d each have a corresponding third It may be notified that at least one first device is in operation using two devices (eg, a display, a vibrator, an LED, or a wearable device).
  • the secure display trusted app 961a may display a message or icon indicating that at least one first device is operating on the display.
  • the secure vibrator trusted app 961b may notify that at least one first device is in operation by generating vibration using a vibrator.
  • the secure LED trusted app 961c may notify that the at least one first device is operating by emitting an LED.
  • the secure wearable device trusted app 961d may transmit a signal or data notifying that at least one first device is operating by emitting light to a wearable device communicating with the electronic device. The wearable device may notify that at least one first device is operating by using, for example, a display, a vibrator, or an LED of the wearable device.
  • a security indicator module eg, security indicator module 363 in FIG. 3A
  • a security hardware control module eg, security hardware in FIG. 3A
  • the control module 361) has been described, but is not limited thereto, and a security indicator module (eg, the security indicator module 363 of FIG. 3B) and a security hardware control module executed in the EL0 area on the secure virtual machine of FIG. 3B.
  • the security hardware control module 361 of FIG. 3B may also be applied in the same manner as described above.
  • the electronic device sets a control module for each of the plurality of designated second devices in the EL0 area on the secure virtual machine. and each of the plurality of control modules may notify that at least one first device is in operation by controlling the corresponding device respectively.
  • FIG. 10 a user interface provided by an electronic device to select a device to be notified of whether the device is operating or not and a device to notify whether or not the device is operated according to an embodiment will be described.
  • FIG. 10 is a diagram 1000 illustrating an exemplary user interface provided by an electronic device according to an exemplary embodiment. Operations of the electronic device 1001 described below may be performed by the electronic device 101 of FIG. 1 or the processor 120 of the electronic device 101 .
  • the electronic device 1001 displays a first user interface 1010 for selecting at least one first device to be notified of whether the device is operating or not. : Can be displayed on the display module 160 of FIG. 1.
  • the first user interface 1010 may include a list 1011 (one or more items) of at least one first device.
  • the at least one first device may be at least one hardware device included in the electronic device 1001 .
  • the first user interface 1010 may include a button user interface (UI) 1012 capable of setting whether motion detection is performed for each of the at least one first device included in the list 1011. there is.
  • UI button user interface
  • the first user interface 1010 when set to detect the motion of at least one first device included in the list 1011, provides a user interface for selecting a notification method for motion detection.
  • An element to be displayed eg, the first element 1013
  • the electronic device 1001 sets the button UI 1012 to detect a motion of a camera based on a user input, a UI for selecting a notification method upon detecting a motion of the camera is displayed. It is possible to activate the first element 1013 to do so.
  • the electronic device 1001 may activate only an element corresponding to a device set to detect motion among at least one first device included in the list 1011 .
  • the electronic device 1001 may receive a user input for an element only when the element is activated.
  • the electronic device 1001 may display the second user interface 1020 upon receiving an input for selecting the first element 1013 .
  • the second user interface 1020 may be a user interface for selecting a notification method for whether the first device (eg, camera) selected in the first user interface 1010 is operating.
  • the electronic device 1001 may use at least one second device to notify that at least one first device is in operation.
  • the second user interface 1020 may include a list 1021 for at least one notification method.
  • the list 1021 since at least one notification method may correspond to each of at least one second device, the list 1021 may be a list of at least one second device.
  • the at least one second device may be a hardware device that can be safely controlled by the electronic device 1001 even when security of the electronic device 1001 is breached.
  • the at least one second device may be a hardware device of the electronic device 1001 or a hardware device capable of communicating with the electronic device 1001 .
  • the list 1021 may include a notification method using a pop-up message, a notification method using a vibration, a notification method using an LED, and/or a notification method using a wearable device.
  • the electronic device 1001 when the electronic device 1001 receives an input for selecting a notification method using a pop-up message and detects an operation of at least one first device, the electronic device 1001 displays (eg, the display module 160 of FIG. 1 ) A pop-up message indicating that at least one first device is in operation may be displayed.
  • the electronic device 1001 when the electronic device 1001 receives an input for selecting a notification method using vibration and detects an operation of at least one first device, the electronic device 1001 generates a vibrator (eg, the haptic module 179 of FIG. 1 ). can cause vibration.
  • the electronic device 1001 when the electronic device 1001 receives an input for selecting a notification method using an LED, when detecting an operation of at least one first device, the electronic device 1001 may emit light of the LED.
  • a wearable device that communicates with the electronic device 1001 may be transmitted to the electronic device 102 or the electronic device 104 of FIG. 1 .
  • the second user interface 1020 may include a button user interface (UI) 1022 capable of setting whether to use each of the at least one notification method included in the list 1021 .
  • the electronic device 1001 sets at least one second device corresponding to a notification method set to be used through the button UI 1022 as a device serving as a means for notifying that at least one first device is in operation. can be determined by For example, as the electronic device 1001 is configured to use a notification method using a pop-up message and vibration based on a user input to the button UI 1022, when an operation of the camera is detected, the camera is operating on the display. It is possible to display a pop-up message notifying, and control the vibrator to generate vibration.
  • UI button user interface
  • the second user interface 1020 is an element (eg, the second element 1023 ) for displaying a user interface for setting a notification method for each of the at least one notification method included in the list 1021. )) may be included.
  • the electronic device 1001 may display a detailed setting UI for a corresponding notification method.
  • the detailed setting UI for a notification method using a pop-up message may include a UI element for setting a message display position and/or size on a display.
  • a detailed setting UI for a notification method using vibration may include a UI element for setting vibration intensity and/or interval.
  • a detailed setting UI for a notification method using an LED may include a UI element for setting an LED color and an LED blinking cycle.
  • a detailed setting UI for a notification method using a wearable device may include a UI element for setting whether to output a message on a display of the wearable device or to vibrate a vibrator of the wearable device.
  • FIG. 11 is a flowchart 1100 illustrating an operation of an electronic device according to an exemplary embodiment. Operations of the electronic device described below may be performed by the electronic device 101 of FIG. 1 or the processor 120 of the electronic device 101 .
  • the electronic device may acquire security state information in the fourth area.
  • the electronic device may obtain security state information of the electronic device using an application that monitors the security state of the electronic device.
  • the fourth area may be the EL0 area (SEL0 area) of the secure world of FIG. 3A.
  • the fourth area may be the EL0 area on the secure virtual machine of FIG. 3B.
  • the electronic device may execute an application for monitoring a security state of the electronic device in the fourth area.
  • an application that monitors a security state of an electronic device may obtain security state information including a monitoring result for at least one security indicator.
  • the security state information may indicate a degree of security breach.
  • the electronic device may determine whether or not security has been breached for each of the at least one security indicator based on the monitoring result for the at least one security indicator. For example, the electronic device may determine whether or not the security has been breached as a 'security infringement state' or a 'security maintenance state', but is not limited thereto. The electronic device may determine the degree of security breach based on the number of indicators determined to be 'security breach state'.
  • the electronic device may determine at least one specified second device or a method for providing a notification by the specified at least one second device, according to the degree of security breach and the at least one first device.
  • at least one first device may be a device for which an electronic device detects whether or not it operates.
  • the at least one designated second device may be a device designated as a device for notifying the electronic device that at least one first device is operating.
  • the electronic device may differently determine at least one second device designated according to which device is the at least one first device to be a motion detection target, even if the degree of security infringement is the same, and the motion detection target is Even if they are the same, at least one designated second device may be differently determined according to the degree of security infringement.
  • the electronic device may differently determine at least one of the number or type (or type) of at least one designated second device according to the degree of security breach. For example, the electronic device notifies that at least one first device is in operation by using an LED if the degree of security breach is a first value, and activates the LED and the vibrator if the degree of security breach is a second value higher than the first value.
  • the electronic device may differently determine at least one of the number or type (or type) of at least one designated second device according to at least one first device. For example, the electronic device may notify that the microphone is operating by using a vibrator when detecting an operation of the microphone, and notify that the camera is operating by using a vibrator and a display when detecting an operation of the camera.
  • the electronic device may differently determine a method for providing a notification by at least one designated second device according to the degree of security breach and the at least one first device.
  • the electronic device may be configured to notify that the microphone or camera is in operation using a vibrator for the microphone and camera.
  • the electronic device may determine a shorter vibration period as the degree of security infringement increases.
  • the electronic device may determine that the intensity of vibration when detecting a motion of a camera is greater than the intensity of vibration when detecting a motion of a microphone.
  • the electronic device may notify that at least one first device is operating by using at least one designated second device.
  • the electronic device may detect an operation of at least one first device.
  • the electronic device may identify at least one first device.
  • the electronic device may determine the degree of security infringement of the electronic device based on the security state information obtained when the operation of the at least one first device is detected.
  • the electronic device may determine at least one designated second device and a notification method of the at least one designated second device according to the identified at least one first device and the determined security breach level.
  • the electronic device may notify that at least one first device is in operation according to the at least one specified second device determined in operation 1103 and a notification method thereof.
  • an electronic device (eg, the electronic device 101 of FIG. 1 , the electronic device 801 of FIG. 8 , or the electronic device 1001 of FIG. 10 ) includes a memory (eg, the electronic device 101 of FIG. 1 ). memory 130 of FIG. 1 or memory 780 of FIGS. 7A and 7B) and a processor operatively coupled with the memory (eg, processor 120 of FIG. 1 ), wherein the processor comprises: Execute a user application (e.g., the application 146 of FIGS. 1 and 2, the Android framework 310 of FIG. 3A or 3B, or the camera application 610 of FIG. 6) in the first area operated with 1 permission. and an operating system (e.g., operating system 142 of FIGS.
  • a user application e.g., the application 146 of FIGS. 1 and 2, the Android framework 310 of FIG. 3A or 3B, or the camera application 610 of FIG.
  • the camera driver 620 of 6) is executed, and the memory, at the time of execution, at least one th area included in the electronic device, in a third area in which the processor operates with a third authority higher than the second authority 1 detects an operation of a device (eg, the camera module 180 or the input module 150 of FIG. 1 ), and executes the first area, the second area, and the third area in the third area
  • a sensing signal for the at least one first device is transferred to a fourth area where the environment is separated, and in the fourth area, the designated at least one second device (eg, the display module 160 of FIG.
  • the fourth area includes a hypervisor (eg, the hypervisor 291 of FIG. 2, FIG. 3A) executed in the third area. or the hypervisor 3 of FIG. 3B. 30) or the hypervisor 630 of FIG. 6), the first area and the second area, which are areas on a first virtual machine (eg, Android VM of FIG. 3B),
  • the execution environment may be a region on a separated second virtual machine (eg, the secure virtual machine (Secure VM) of FIG. 3B).
  • the electronic device may display (eg, the display module 160 of FIG. 1 , the display 760 of FIGS. 7A and 7B , or the display 860 of FIG. 8 ).
  • the instructions include a first user interface for causing the processor to select the at least one first device to be notified of whether the device operates, and a device for each of the at least one first device.
  • a second user interface for selecting the designated at least one second device serving as a notification device for operation of the device may be displayed on the display.
  • the memory includes an area to which the at least one first device is mapped (eg, a register 682 related to the input/output of the camera of FIG. 6), and the The instructions may include the processor executing a read or write command transmitted to the mapped area in the first area or the second area, and executing the read or write command in the third area based on the read or write command.
  • a trap By generating a trap to , an operation of the at least one first device in the third area may be sensed.
  • the instructions may include, in the fourth area, obtaining security state information of the electronic device by using an application for monitoring the security state of the electronic device; Based on the obtained security state information and which device the at least one first device is, it may be notified that the at least one first device is operating.
  • the security state information indicates a degree of security breach
  • the instructions cause the processor to perform the specified at least one first device according to the degree of security breach and the at least one first device.
  • 2 devices may be determined, or the specified at least one second device may use a different method of providing a notification.
  • the instructions may determine whether the processor, in the third area, activates a sensing function for the at least one first device, and determines whether the at least one first device is activated. Based on determining that the sensing function of the at least one first device is activated, the sensing signal for the at least one first device is transferred to the fourth region, and based on determining that the sensing function of the at least one first device is not activated. An operation of transmitting the detection signal for the at least one first device to the fourth area may not be performed or the operation may be reduced.
  • the first area is an exception level (EL)0 area on the first virtual machine
  • the second area is an EL1 area on the first virtual machine
  • the third area may be an area EL2 on the first virtual machine
  • the fourth area may be an area EL0 on the second virtual machine.
  • an electronic device (eg, the electronic device 101 of FIG. 1 , the electronic device 801 of FIG. 8 , or the electronic device 1001 of FIG. 10 ) includes a memory (eg, the electronic device 101 of FIG. 1 ). memory 130 of FIG. 1 or memory 780 of FIGS. 7A and 7B) and a processor operatively coupled with the memory (eg, processor 120 of FIG. 1 ), wherein the processor comprises: Execute a user application (e.g., the application 146 of FIGS. 1 and 2, the Android framework 310 of FIG. 3A or 3B, or the camera application 610 of FIG. 6) in the first area operated with 1 permission. and an operating system (e.g., operating system 142 of FIGS.
  • a user application e.g., the application 146 of FIGS. 1 and 2, the Android framework 310 of FIG. 3A or 3B, or the camera application 610 of FIG.
  • the camera driver 620 of 6) is executed, and the memory, at the time of execution, at least one th area included in the electronic device, in a third area in which the processor operates with a third authority higher than the second authority 1 detects an operation of a device (eg, the camera module 180 or the input module 150 of FIG. 1 ), and in the third area, the first area, the second area, and the third area are included
  • a fourth included in a secure world eg, Secure World of FIG. 3A
  • the normal world eg, Normal World of FIG. 3A
  • At least one designated second device eg, the display module 160 of FIG. 1 , the haptic module 179, or the electronic device 102, the secure display 690 in FIG. 6, the display 760 in FIGS. 7A and 7B, or the display 860 in FIG. 8) to indicate that the at least one first device is operating.
  • at least one designated second device eg, the display module 160 of FIG. 1 , the haptic module 179, or the electronic device 102, the secure display 690 in FIG. 6, the display 760 in FIGS. 7A and 7B, or the display 860 in FIG.
  • the instructions may cause the processor to send the detection signal to the fourth area through a fifth area operating with a higher authority than the third authority in the third area.
  • transmission and the fifth area may be an area in which a secure monitor (eg, the secure monitor 340 of FIG. 3A ) that supports switching between the normal world and the secure world is executed. .
  • a secure monitor eg, the secure monitor 340 of FIG. 3A
  • the first area is an EL0 area of the normal world
  • the second area is an EL1 area of the normal world
  • the third area is an EL2 area of the normal world
  • the fourth area may be an EL0 area of the secure world
  • the fifth area may be an EL3 area.
  • an operating method of an electronic device includes the The processor of the electronic device (eg, the processor 120 of FIG. 1 ) is a user application (eg, the application 146 of FIGS. 1 and 2 , Android of FIG. 3A or 3B ) in the first area operating with the first authority.
  • the framework 310 or the camera application 610 of FIG. 6) is executed, and the operating system (e.g., the operating system of FIGS. 1 and 2) operates with a second authority higher than the first authority. 142), the Android Linux kernel 320 of FIG.
  • 3A or 3B, or the camera driver 620 of FIG. 6 is executed, and in a third area in which the processor operates with a third authority higher than the second authority. , detects an operation of at least one first device included in the electronic device (eg, the camera module 180 or the input module 150 of FIG. 1 ), and the processor, in the third area, A detection signal for the at least one first device is transferred to a region 1, the second region, and a fourth region in which the third region and an execution environment are separated, and in the fourth region, at least one designated second region device (eg, display module 160 in FIG. 1 , haptic module 179 , or electronic device 102 , security display 690 in FIG. 6 , display 760 in FIGS.
  • the processor detects an operation of at least one first device included in the electronic device (eg, the camera module 180 or the input module 150 of FIG. 1 ), and the processor, in the third area, A detection signal for the at least one first device is transferred to a region 1, the second region, and a fourth
  • the fourth area includes a hypervisor (eg, the hypervisor 291 of FIG. 2) executed in the third area.
  • a hypervisor eg, the hypervisor 291 of FIG. 2
  • the hypervisor 330 of FIG. 3A or 3B or the hypervisor 630 of FIG. 6 the first region and
  • the second area and the execution environment may be separated from each other, and may be an area on a second virtual machine (eg, the secure VM of FIG. 3B).
  • each of the first user interface and the at least one first device allowing the processor to select the at least one first device to be notified of whether the device is operating or not.
  • a display of the electronic device e.g., the display module 160 of FIG. 1, FIGS. 7A and 7A and FIGS. It can be displayed on the display 760 of 7b or the display 860 of FIG. 8 .
  • the processor may use an area (eg, a register 682 related to the input/output of the camera of FIG. 6 ) to which the at least one first device is mapped in the memory of the electronic device. ) By executing a read or write command transmitted to the first area or the second area and generating a trap to the third area based on the read or write command, An operation of the at least one first device may be sensed in the third area.
  • an area eg, a register 682 related to the input/output of the camera of FIG. 6
  • An operation of the at least one first device may be sensed in the third area.
  • the processor obtains, in the fourth area, security state information of the electronic device using an application for monitoring the security state of the electronic device, and the obtained security state It may be notified that the at least one first device is operating based on the information and which device the at least one first device is.
  • the security state information indicates a security breach level
  • the processor determines the designated at least one second device according to the security breach level and the at least one first device.
  • the specified at least one second device may use a different method of providing a notification.
  • the processor determines whether to activate a sensing function for the at least one first device in the third area, and determines whether the sensing function of the at least one first device is activated.
  • a sensing signal for the at least one first device is transferred to the fourth region, and when it is determined that the sensing function of the at least one first device is not activated, the at least one first device is not activated.
  • An operation of transmitting a detection signal for the device to the fourth area may not be performed or the operation may be reduced.
  • the first area is an exception level (EL)0 area on the first virtual machine
  • the second area is an EL1 area on the first virtual machine
  • the third area is an EL2 area
  • the fourth area may be an EL0 area on the second virtual machine.
  • an operating method of an electronic device includes the The processor of the electronic device (eg, the processor 120 of FIG. 1 ) is a user application (eg, the application 146 of FIGS. 1 and 2 , Android of FIG. 3A or 3B ) in the first area operating with the first authority.
  • the framework 310 or the camera application 610 of FIG. 6) is executed, and the operating system (e.g., the operating system of FIGS. 1 and 2) operates with a second authority higher than the first authority. 142), the Android Linux kernel 320 of FIG.
  • a normal world e.g., the normal world of FIG. 3A
  • a secure world in which an execution environment is separated
  • a detection signal for the at least one first device is transmitted to a fourth area included in the secure world of FIG. 3A, and at least one designated second device (eg, FIG. 1 display module 160, haptic module 179, or electronic device 102, security display 690 in FIG. 6, display 760 in FIGS. 7A and 7B, or display 860 in FIG. It can be used to notify that the at least one first device is in operation.
  • the processor transfers the detection signal to the fourth area in the third area through a fifth area operating with a higher authority than the third authority, and
  • the fifth area may be an area where a secure monitor (eg, the secure monitor 340 of FIG. 3A ) that supports switching between the normal world and the secure world is executed.
  • the first area is an EL0 area of the normal world
  • the second area is an EL1 area of the normal world
  • the third area is an EL2 area of the normal world
  • the fourth area may be an EL0 area of the secure world
  • the fifth area may be an EL3 area.
  • Electronic devices may be devices of various types. Electronic devices may include, for example, portable communication devices (eg, smart phones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, home appliances, and the like. An electronic device according to an embodiment of the present document is not limited to the aforementioned devices.
  • first, second, or first or secondary may simply be used to distinguish a given component from other corresponding components, and may be used to refer to a given component in another aspect (eg, importance or order) is not limited.
  • a (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include hardware, software, or firmware, or a unit implemented in combination thereof, such as logic, logical blocks, parts, or circuits. The terms can be used interchangeably.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a storage medium eg, internal memory 136 or external memory 138
  • a machine eg, electronic device 101
  • a processor eg, the processor 120
  • a device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' is a device in which the storage medium is tangible and may not include a signal (eg, electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium and temporarily It does not distinguish when it is stored.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • a device-readable storage medium eg compact disc read only memory (CD-ROM)
  • an application store eg Play Store TM
  • It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other operations may be added. While the present disclosure has been illustrated and described with reference to various example embodiments, it will be understood that the present disclosure is intended to be illustrative and not limited to the various example embodiments. Furthermore, it will be understood by those skilled in the art that various changes in form and detail may be made without departing from the true spirit and full scope of the present disclosure, including the appended claims and equivalents thereto. It will also be appreciated that any embodiment(s) described herein may be used with any other embodiment(s) described herein.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치는 메모리, 및 상기 메모리와 작동적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 처리 회로를 포함하는 상기 적어도 하나의 프로세서는, 제1 권한으로 동작하는 제1 영역에서 사용자 어플리케이션을 실행하고, 상기 제1 권한보다 높은 제2 권한으로 동작하는 제2 영역에서 운영 체제를 실행할 수 있다. 상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 제2 권한보다 높은 제3 권한으로 동작하는 제3 영역에서, 상기 전자 장치에 포함된 적어도 하나의 제1 디바이스의 동작을 감지하고, 상기 제3 영역에서, 상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역과 실행 환경이 분리된 제4 영역으로 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 전달하고, 상기 제4 영역에서, 지정된 적어도 하나의 제2 디바이스를 이용하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알리도록 하는 하나 이상의 인스트럭션들(instructions)을 저장할 수 있다. 상기 제4 영역은, 상기 제3 영역에서 실행되는 하이퍼바이저(hypervisor)에 의해 제1 가상 머신(virtual machine) 상의 영역인 상기 제1 영역 및 상기 제2 영역과 실행 환경이 분리된 제2 가상 머신 상의 영역일 수 있다.

Description

전자 장치 및 그의 동작 방법
본 개시는 전자 장치에 포함된 적어도 하나의 디바이스가 동작 중임을 알리는 전자 장치 및 그의 동작 방법에 관한 것이다.
전자 장치는 복수의 어플리케이션을 실행 중에 적어도 하나의 어플리케이션을 백그라운드(background)에서 실행할 수 있다. 전자 장치는 백그라운드에서 실행되는 어플리케이션에 대하여 사용자에게 어플리케이션이 실행 중임을 나타내는 알림, 또는 어플리케이션이 사용하는 디바이스가 동작 중임을 나타내는 알림을 제공할 수 있다.
ARM 아키텍처(ARM architecture)를 지원하는 전자 장치의 EL(exception level)0 및 EL1 영역은 보안에 취약할 수 있다. 예를 들어, 전자 장치의 EL0 영역 및 EL1 영역의 보안이 침해되어 전자 장치의 사용자의 의도와 관계없이 디바이스가 동작하는 경우, 전자 장치는 디바이스가 동작 중임을 사용자에게 알릴 필요가 있다.
또한, 전자 장치는 사용자에게 디바이스가 동작 중임을 알리는 경우 전자 장치의 보안을 침해한 공격자가 이를 모르게 할 필요가 있다.
본 개시의 실시예들은 보안 침해 시에도 누락되지 않고 디바이스가 동작 중임을 사용자에게 알릴 수 있는 전자 장치 및 그의 동작 방법을 제공하고자 한다.
본 개시의 예시적 실시 예에 따른 전자 장치는, 메모리, 및 상기 메모리와 작동적으로 연결된 프로세서를 포함할 수 있다. 상기 프로세서는, 제1 권한으로 동작하는 제1 영역에서 사용자 어플리케이션을 실행하고, 상기 제1 권한보다 높은 제2 권한으로 동작하는 제2 영역에서 운영 체제를 실행하할 수 있다. 상기 메모리는, 실행 시에, 프로세서가, 상기 제2 권한보다 높은 제3 권한으로 동작하는 제3 영역에서, 상기 전자 장치에 포함된 적어도 하나의 제1 디바이스의 동작을 감지하고, 상기 제3 영역에서, 상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역과 실행 환경이 분리된 제4 영역으로 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 전달하고, 상기 제4 영역에서, 지정된 적어도 하나의 제2 디바이스를 이용하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알리도록 하는 하나 이상의 인스트럭션들(instructions)을 저장하고, 상기 제4 영역은, 상기 제3 영역에서 실행되는 하이퍼바이저(hypervisor)에 의해 제1 가상 머신(virtual machine) 상의 영역일 수 있는 상기 제1 영역 및 상기 제2 영역과 실행 환경이 분리된 제2 가상 머신 상의 영역일 수 있다.
본 개시의 예시적 실시 예에 따른 전자 장치는, 메모리, 및 상기 메모리와 작동적으로 연결된 프로세서를 포함할 수 있다. 상기 프로세서는, 제1 권한으로 동작하는 제1 영역에서 사용자 어플리케이션을 실행하고, 상기 제1 권한보다 높은 제2 권한으로 동작하는 제2 영역에서 운영 체제를 실행할 수 있다. 상기 메모리는, 실행 시에, 프로세서가, 상기 제2 권한보다 높은 제3 권한으로 동작하는 제3 영역에서, 상기 전자 장치에 포함된 적어도 하나의 제1 디바이스의 동작을 감지하고, 상기 제3 영역에서, 상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역이 포함된 노멀 월드(normal world)와 실행 환경이 분리된 시큐어 월드(secure world)에 포함되는 제4 영역으로 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 전달하고, 상기 제4 영역에서, 지정된 적어도 하나의 제2 디바이스를 이용하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알리도록 하는 하나 이상의 인스트럭션들(instructions)을 저장할 수 있다.
본 개시의 예시적 실시 예에 따른 전자 장치의 동작 방법은, 상기 전자 장치의 프로세서는, 제1 권한으로 동작하는 제1 영역에서 사용자 어플리케이션을 실행하고, 상기 제1 권한보다 높은 제2 권한으로 동작하는 제2 영역에서 운영 체제를 실행하고, 상기 프로세서가, 상기 제2 권한보다 높은 제3 권한으로 동작하는 제3 영역에서, 상기 전자 장치에 포함된 적어도 하나의 제1 디바이스의 동작을 감지하고, 상기 프로세서가, 상기 제3 영역에서, 상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역과 실행 환경이 분리된 제4 영역으로 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 전달하고, 상기 제4 영역에서, 지정된 적어도 하나의 제2 디바이스를 이용하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알리고, 상기 제4 영역은, 상기 제3 영역에서 실행되는 하이퍼바이저(hypervisor)에 의해 제1 가상 머신(virtual machine) 상의 영역인 상기 제1 영역 및 상기 제2 영역과 실행 환경이 분리된 제2 가상 머신 상의 영역일 수 있다.
본 개시의 예시적 실시 예에 따른 전자 장치의 동작 방법은, 상기 전자 장치의 프로세서는, 제1 권한으로 동작하는 제1 영역에서 사용자 어플리케이션을 실행하고, 상기 제1 권한보다 높은 제2 권한으로 동작하는 제2 영역에서 운영 체제를 실행하고, 상기 프로세서가, 상기 제2 권한보다 높은 제3 권한으로 동작하는 제3 영역에서, 상기 전자 장치에 포함된 적어도 하나의 제1 디바이스의 동작을 감지하고, 상기 프로세서가, 상기 제3 영역에서, 상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역이 포함된 노멀 월드(normal world)와 실행 환경이 분리된 시큐어 월드(secure world)에 포함되는 제4 영역으로 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 전달하고, 상기 제4 영역에서, 지정된 적어도 하나의 제2 디바이스를 이용하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다.
본 문서에 개시되는 예시적 실시 예들에 따르면, 보안 침해 시에도 누락되지 않고 디바이스가 동작 중임을 사용자에게 알릴 수 있는 전자 장치 및 그의 동작 방법을 제공할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
본 개시의 특정 실시예들의 상기 측면 및 다른 측면, 특징 및 이점은 첨부 도면과 함께 취해진 다음의 상세한 설명으로부터 더 명백해질 것이며, 여기서:
도 1은 다양한 실시 예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예에 따른 프로그램을 예시하는 블록도이다.
도 3a는 일 실시예에 따른 프로세서의 구조를 도시한 도면이다.
도 3b는 일 실시예에 따른 프로세서의 구조를 도시한 도면이다.
도 4는 다양한 실시예들에 따른 전자 장치의 동작을 나타낸 흐름도이다.
도 5는 다양한 실시예들에 따른 전자 장치의 동작을 나타낸 흐름도이다.
도 6은 다양한 실시예들에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 7a는 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 7b는 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 8은 다양한 실시예들에 따른 전자 장치가 디스플레이에 표시하는 알림 화면의 예시를 나타낸 도면이다.
도 9는 다양한 실시예들에 따른 전자 장치의 보안 하드웨어 제어 모듈의 구현 예시를 나타내는 도면이다.
도 10은 다양한 실시예들에 따른 전자 장치가 제공하는 사용자 인터페이스를 나타낸 도면이다.
도 11은 다양한 실시예들에 따른 전자 장치의 동작을 나타낸 흐름도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 예시적 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 다양한 실시예에서, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 다양한 실시예에서, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 여기에서 각 “모듈”은 바람직하게는 회로를 포함한다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴을 포함하는 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 일 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 다양한 실시예에 따른 프로그램(140)을 예시하는 블록도(200)이다. 일실시예에 따르면, 프로그램(140)은 전자 장치(101)의 하나 이상의 리소스들을 제어하기 위한 운영 체제(142), 미들웨어(144), 또는 상기 운영 체제(142)에서 실행 가능한 어플리케이션(146)을 포함할 수 있다. 운영 체제(142)는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 프로그램(140) 중 적어도 일부 프로그램은, 예를 들면, 제조 시에 전자 장치(101)에 프리로드되거나, 또는 사용자에 의해 사용 시 외부 전자 장치(예: 전자 장치(102 또는 104), 또는 서버(108))로부터 다운로드되거나 갱신 될 수 있다.
운영 체제(142)는 전자 장치(101)의 하나 이상의 시스템 리소스들(예: 프로세스, 메모리, 또는 전원)의 관리(예: 할당 또는 회수)를 제어할 수 있다. 운영 체제(142)는, 추가적으로 또는 대체적으로, 전자 장치(101)의 다른 하드웨어 디바이스, 예를 들면, 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 구동하기 위한 하나 이상의 드라이버 프로그램들을 포함할 수 있다.
미들웨어(144)는 전자 장치(101)의 하나 이상의 리소스들로부터 제공되는 기능 또는 정보가 어플리케이션(146)에 의해 사용될 수 있도록 다양한 기능들을 어플리케이션(146)으로 제공할 수 있다. 미들웨어(144)는, 예를 들면, 어플리케이션 매니저(201), 윈도우 매니저(203), 멀티미디어 매니저(205), 리소스 매니저(207), 파워 매니저(209), 데이터베이스 매니저(211), 패키지 매니저(213), 커넥티비티 매니저(215), 노티피케이션 매니저(217), 로케이션 매니저(219), 그래픽 매니저(221), 시큐리티 매니저(223), 통화 매니저(225), 또는 음성 인식 매니저(227)를 포함할 수 있다.
어플리케이션 매니저(201)는, 예를 들면, 어플리케이션(146)의 생명 주기를 관리할 수 있다. 윈도우 매니저(203)는, 예를 들면, 화면에서 사용되는 하나 이상의 GUI 자원들을 관리할 수 있다. 멀티미디어 매니저(205)는, 예를 들면, 미디어 파일들의 재생에 필요한 하나 이상의 포맷들을 파악하고, 그 중 선택된 해당하는 포맷에 맞는 코덱을 이용하여 상기 미디어 파일들 중 해당하는 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(207)는, 예를 들면, 어플리케이션(146)의 소스 코드 또는 메모리(130)의 메모리의 공간을 관리할 수 있다. 파워 매니저(209)는, 예를 들면, 배터리(189)의 용량, 온도 또는 전원을 관리하고, 이 중 해당 정보를 이용하여 전자 장치(101)의 동작에 필요한 관련 정보를 결정 또는 제공할 수 있다. 일실시예에 따르면, 파워 매니저(209)는 전자 장치(101)의 바이오스(BIOS: basic input/output system)(미도시)와 연동할 수 있다.
데이터베이스 매니저(211)는, 예를 들면, 어플리케이션(146)에 의해 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(213)는, 예를 들면, 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다. 커넥티비티 매니저(215)는, 예를 들면, 전자 장치(101)와 외부 전자 장치 간의 무선 연결 또는 직접 연결을 관리할 수 있다. 노티피케이션 매니저(217)는, 예를 들면, 지정된 이벤트(예: 착신 통화, 메시지, 또는 알람)의 발생을 사용자에게 알리기 위한 기능을 제공할 수 있다. 로케이션 매니저(219)는, 예를 들면, 전자 장치(101)의 위치 정보를 관리할 수 있다. 그래픽 매니저(221)는, 예를 들면, 사용자에게 제공될 하나 이상의 그래픽 효과들 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다.
시큐리티 매니저(223)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 통화(telephony) 매니저(225)는, 예를 들면, 전자 장치(101)에 의해 제공되는 음성 통화 기능 또는 영상 통화 기능을 관리할 수 있다. 음성 인식 매니저(227)는, 예를 들면, 사용자의 음성 데이터를 서버(108)로 전송하고, 그 음성 데이터에 적어도 일부 기반하여 전자 장치(101)에서 수행될 기능에 대응하는 명령어(command), 또는 그 음성 데이터에 적어도 일부 기반하여 변환된 문자 데이터를 서버(108)로부터 수신할 수 있다. 일 실시예에 따르면, 미들웨어(244)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 일 실시예에 따르면, 미들웨어(144)의 적어도 일부는 운영 체제(142)의 일부로 포함되거나, 또는 운영 체제(142)와는 다른 별도의 소프트웨어로 구현될 수 있다.
어플리케이션(146)은, 예를 들면, 홈(251), 다이얼러(253), SMS/MMS(255), IM(instant message)(257), 브라우저(259), 카메라(261), 알람(263), 컨택트(265), 음성 인식(267), 이메일(269), 달력(271), 미디어 플레이어(273), 앨범(275), 와치(277), 헬스(279)(예: 운동량 또는 혈당과 같은 생체 정보를 측정), 또는 환경 정보(281)(예: 기압, 습도, 또는 온도 정보 측정) 어플리케이션을 포함할 수 있다. 일실시예에 따르면, 어플리케이션(146)은 전자 장치(101)와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션(미도시)을 더 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치로 지정된 정보 (예: 통화, 메시지, 또는 알람)를 전달하도록 설정된 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하도록 설정된 장치 관리 어플리케이션을 포함할 수 있다. 노티피케이션 릴레이 어플리케이션은, 예를 들면, 전자 장치(101)의 다른 어플리케이션(예: 이메일 어플리케이션(269))에서 발생된 지정된 이벤트(예: 메일 수신)에 대응하는 알림 정보를 외부 전자 장치로 전달할 수 있다. 추가적으로 또는 대체적으로, 노티피케이션 릴레이 어플리케이션은 외부 전자 장치로부터 알림 정보를 수신하여 전자 장치(101)의 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치(101)와 통신하는 외부 전자 장치 또는 그 일부 구성 요소(예: 외부 전자장치의 디스플레이 모듈 또는 카메라 모듈)의 전원(예: 턴-온 또는 턴-오프) 또는 기능(예: 밝기, 해상도, 또는 포커스)을 제어할 수 있다. 장치 관리 어플리케이션은, 추가적으로 또는 대체적으로, 외부 전자 장치에서 동작하는 어플리케이션의 설치, 삭제, 또는 갱신을 지원할 수 있다.
다양한 실시예에 따르면, 상술한 프로그램(140)은, 전자 장치(예: 도 1의 전자 장치(101))에 포함된 적어도 하나의 디바이스(예: 오디오 회로를 포함하는 오디오 모듈(170), 또는 카메라 회로를 포함하는 카메라 모듈(180))의 동작을 감지하고, 적어도 하나의 디바이스가 동작 중임을 전자 장치의 사용자에게 알리기 위한 추가적인 구성(220)을 포함할 수 있다. 여기에서 각 “모듈”은 바람직하게는 회로를 포함한다. 추가적인 구성(220)은 하이퍼바이저(hypervisor)(291), 보안 운영 체제(secure OS)(295), 및/또는 보안 어플리케이션(secure application)(297)을 포함할 수 있다.
일 실시예에 따르면, 하이퍼바이저(291)는 운영 체제(142) 및 어플리케이션(146)이 접근할 수 없는 영역일 수 있다. 일 실시예에 따르면, 하이퍼바이저(291)는 감지 회로(detection circuitry)를 포함하는 HEID(hypervisor-based external input detector) 모듈(293)을 포함할 수 있다. 일 실시예에 따르면, HEID 모듈(293)은 전자 장치에 포함된 적어도 하나의 디바이스의 동작을 감지(detect)할 수 있다. 일 실시예에 따르면, 적어도 하나의 디바이스는 하드웨어 장치일 수 있다. 예를 들어, 메모리 맵 입출력(memory-mapped I/O) 방식을 이용하는 전자 장치에 있어서, HEID 모듈(293)은 메모리(예: 도 1의 휘발성 메모리(132))의 적어도 하나의 디바이스가 맵핑된 영역(예: 하드웨어 레지스터 영역)에의 접근을 감지할 수 있다. 일 실시예에 따르면, 맵핑된 영역은, 하드웨어 장치의 입출력을 위한 저장 공간을 의미할 수 있다. 예를 들어, HEID 모듈(293)은 맵핑된 영역에 전달되는 읽기 또는 쓰기 명령을 트랩(trap)할 수 있다. 예를 들어, HEID 모듈(293)은 ARM 코어(core)(예: 처리 회로(processing circuitry)를 포함하는 도 1의 프로세서(120))가 읽기 또는 쓰기 명령을 실행하기 전에 예외 레벨(exception level)을 변경하여, 하이퍼바이저(291)에서 명령을 실행할지 또는 명령을 무시할지 결정할 수 있다. HEID 모듈(293)은 맵핑된 영역에 읽기(read) 또는 쓰기(write) 명령이 전달됨 예컨대, 맵핑된 영역에 대응하는 디바이스가 동작 중임을 감지할 수 있다.
일 실시예에 따르면, 보안 운영 체제(295)는 보안 어플리케이션(297) 관련 기능을 수행하기 위해 제공되는 보안 목적의 운영 체제일 수 있다. 예를 들어, 보안 운영 체제(295)는 시큐어 월드(secure world)에 포함되는 운영 체제일 수 있다. 일 실시예에 따르면, 시큐어 월드란, ARM 아키텍처(architecture)를 지원하는 전자 장치에서 안전한 실행 환경을 제공하기 위해 CPU(central processing unit)(예: 도 1의 프로세서(120))를 하드웨어적으로 분리한 영역의 하나로서, 분리된 영역 중 다른 하나는 노멀 월드(normal world)로 참조될 수 있다. 여기에서 모든 처리 유닛(processing unit)은 처리 회로를 포함한다. 다른 예로, 보안 운영 체제(295)는 노멀 월드에 포함되지만, 하이퍼바이저(291)에 의해 운영 체제(142)와는 분리된 운영 체제로 보안 기능을 담당하는 운영 체제일 수 있다. 일 실시예에 따르면, 하이퍼바이저(291)는 서로 다른 운영 체제를 실행하는 복수의 가상 머신을 생성하고 관리할 수 있다. 예를 들어, 운영 체제(142)는 제1 가상 머신이 실행하는 운영 체제이고, 보안 운영 체제(295)는 제2 가상 머신이 실행하는 운영 체제 일 수 있다. 하이퍼바이저(291)는 가상 머신 모니터(virtual machine monitor) 또는 가상 머신 매니저(virtual machine manager)로 달리 지칭될 수 있다.
일 실시예에 따르면, 보안 운영 체제(295)는 하이퍼바이저(291) 또는 HHEID 모듈(293)로부터 전달되는 적어도 하나의 디바이스의 동작에 대한 감지 신호를 보안 어플리케이션(297)으로 전달할 수 있다. 일 실시예에 따르면, 보안 어플리케이션(297)은 회로를 포함하는 보안 인디케이터 모듈(secure indicator module)(298) 및 회로를 포함하는 보안 하드웨어 제어 모듈(secure hardware control module, secure H/W ctrl module)(299)을 포함할 수 있다. 예를 들어, 보안 인디케이터 모듈(298)은 하이퍼바이저(291)로부터 전달되는 적어도 하나의 디바이스의 동작에 대한 감지 신호를 수신할 수 있다. 예를 들어, 보안 하드웨어 제어 모듈(299)은 안전한 하드웨어 장치를 제어하여 사용자에게 적어도 하나의 디바이스가 동작 중임을 알릴 수 있다. 일 실시예에 따르면, 안전한 하드웨어 장치란, 시큐어 월드 또는 시큐어 가상 머신(secure virtual machine, secure VM)에서 제어 가능한 디바이스를 포함하며, 예를 들어, 디스플레이(예: 디스플레이 회로를 포함하는 도 1의 디스플레이 모듈(160), 바이브레이터(vibrator)(예: 도 1의 햅틱 모듈(179), LED(light emitting diode), 또는 웨어러블 장치(wearable device)(예: 도 1의 전자 장치(102) 또는 전자 장치(104))를 포함할 수 있다. 일 실시예에 따르면, 시큐어 가상 머신은 하이퍼바이저(291)에 의해 메인 가상 머신(main virtual machine, main VM)과 실행 환경이 분리된 서브 가상 머신(sub virtual machine, sub VM) 중 보안 기능을 수행하는 가상 머신을 의미할 수 있다. 예를 들어, 보안 어플리케이션(297)은 시큐어 가상 머신 상에서 실행될 수 있다.
이하, 도 3a 및 도 3b를 참조하여, 다양한 실시예에 따른 프로세서(예: 도 1의 프로세서(120))의 구조 및 프로세서에 의해 프로그램(예: 도 1 및 도 2의 프로그램(140))이 실행되는 영역에 대하여 설명한다.
도 3a는 예시적 실시예에 따른 처리 회로를 포함하는 프로세서의 구조를 도시한 도면(300)이다. 이하에서 설명하는 프로세서는 도 1의 전자 장치(101)의 처리 회로를 포함하는 프로세서(120)일 수 있다.
도 3a를 참조하면, 프로세서는 복수의 예외 레벨(exception level, EL)에서 동작할 수 있다. 예시적 실시예에 따르면, ARM 아키텍처를 지원하는 전자 장치(예: 도 1의 전자 장치(101))에서 안전한 실행 환경을 제공하기 위해 CPU(예: 프로세서(120))는 하드웨어적으로 노멀 월드(normal world) 및 시큐어 월드(secure world)로 분리될 수 있으며, 노멀 월드는 일반적인 운영 체제 또는 커널이 동작하는 실행 환경이며 시큐어 월드는 신뢰할 수 있는 트러스트존(trustzone)이 동작하는 실행 환경으로, 예를 들어 노멀 월드에서 시큐어 월드가 실행되는 메모리 영역에 직접 접근할 수 없다. 예시적 실시예에 따르면, 프로세서는 실행할 수 있는 권한에 차등을 두어 하드웨어적으로 영역이 분리될 수 있으며, 분리된 영역은 EL로 정의될 수 있다. 일 실시예에 따르면, 노멀 월드는 EL0, EL1, EL2, 및 EL3으로 분리될 수 있으며, 시큐어 월드는 SEL0(이하, 시큐어 월드의 EL0을 SEL0이라 함), 및 SEL1(이하, 시큐어 월드의 EL1을 SEL1이라 함)로 분리될 수 있다. 실행 권한은 EL3, EL2, EL1, 및 EL0 순으로 높으며, SEL1 및 SEL0 순으로 높다.
예시적 실시예에 따르면, EL0은 프로세서가 사용자 어플리케이션(user application)을 실행하는 레벨일 수 있다. 예를 들어, 처리 회로를 포함하는 프로세서는 EL0에서 안드로이드 프레임워크(Android framework)(310)를 실행할 수 있다. 예시적 실시예에 따르면, 안드로이드 프레임워크(310)는 전자 장치에 포함된 적어도 하나의 제1 디바이스(예: 카메라(예: 도 1의 카메라 모듈(180), 또는 마이크(예: 도 1의 입력 모듈(150))의 동작을 위한 프레임워크를 포함할 수 있다. EL0은 예를 들어 보안 위험성이 높은 영역으로, EL0 영역의 보안이 침해되는 경우, 전자 장치의 사용자의 의도와 무관하게 디바이스가 도용될 수 있다.
예시적 실시예에 따르면, EL1은 프로세서가 운영체제(operations system, OS)를 실행하는 레벨일 수 있다. 예를 들어, 프로세서는 EL1에서 안드로이드 리눅스 커널(Android Linux kernel)(320)을 실행할 수 있다. 예시적 실시예에 따르면, 안드로이드 리눅스 커널(320)은 전자 장치에 포함된 적어도 하나의 제1 디바이스(예: 회로를 포함하는 카메라, 또는 마이크)의 동작을 위한 운영 체제(OS) 및 각 디바이스의 구동을 위한 디바이스 드라이버(device driver)를 포함할 수 있다. EL1은 보안 위험성이 높은 영역으로, EL1 영역의 보안이 침해되는 경우, 전자 장치의 사용자의 의도와 무관하게 디바이스가 도용될 수 있다.
예시적 실시예에 따르면, EL2는 프로세서가 하이퍼바이저(hypervisor)(330)(예: 도 2의 하이퍼바이저(291))를 실행하는 레벨일 수 있다. EL2는 노멀 월드에 포함되지만, 상대적으로 안전하게 관리될 수 있는 실행 영역이다. 일 실시예에 따르면, 하이퍼바이저(330)는 HEID 모듈(331)(예: 도 2의 HEID 모듈(293))을 포함할 수 있다. 일 실시예에 따르면, HEID 모듈(331)은 전자 장치에 포함된 적어도 하나의 제1 디바이스의 동작을 감지할 수 있다.
예시적 실시예에 따르면, EL3은 프로세서가 시큐어 모니터(secure monitor)(340)를 실행하는 레벨일 수 있다. 예시적 실시예에 따르면, 시큐어 모니터(340)는 노멀 월드와 시큐어 월드 간의 변환(switching)을 지원할 수 있다.
예시적 실시예에 따르면, SEL0은 시큐어 월드의 EL0 레벨일 수 있다. 예시적 실시예에 따르면, SEL0은 프로세서가 시큐어 펌웨어(secure firmware)를 실행하는 레벨일 수 있다. 예를 들어, 프로세서는 SEL0에서 트러스티드 앱(trusted app)을 실행할 수 있다. 예시적 실시예에 따르면, 보안 하드웨어 제어 모듈(secure h/w ctrl module)(361)(예: 도 2의 보안 하드웨어 제어 모듈(299)) 및 보안 인디케이터 모듈(secure indicator module)(363)(예: 보안 인디케이터 모듈(298))은 트러스티드 앱 형태로 구현될 수 있다. 예를 들어, 처리 회로를 포함하는 프로세서는 SEL0에서 보안 인디케이터 모듈(363)(보안 인디케이터 트러스티드 앱) 및 보안 하드웨어 제어 모듈(361)(보안 하드웨어 제어 트러스티드 앱)을 실행할 수 있다. 예시적 실시예에 따르면, 보안 인디케이터 모듈(363)은 HEID 모듈(331)로부터 전달되는 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호를 수신할 수 있다. 예시적 실시예에 따르면, 보안 하드웨어 제어 모듈(361)은 지정된 적어도 하나의 제2 디바이스를 제어하여 사용자에게 적어도 하나의 제1 디바이스가 동작 중임을 알리는 알림을 제공할 수 있다. 여기서, 지정된 적어도 하나의 제2 디바이스는, 동작 감지 대상인 적어도 하나의 제1 디바이스와는 달리 적어도 하나의 제1 디바이스가 동작 중임을 알리기 위한 전자 장치(회로를 포함함)로, 전자 장치에 포함된 디바이스(예: 디스플레이, 바이브레이터(vibrator), 또는 LED) 또는 전자 장치와 통신하는 외부 전자 장치(예: 도 1의 전자 장치(102), 또는 전자 장치(104))의 디바이스(예: 웨어러블 장치(wearable device))일 수 있다. 예시적 실시예에 따르면, 적어도 하나의 제1 디바이스는, 사용자 인터페이스를 통해 동작 감지 대상으로 선택될 수 있다. 예시적 실시예에 따르면, 지정된 적어도 하나의 제2 디바이스는, 사용자 인터페이스를 통해 적어도 하나의 제1 디바이스 각각에 대하여 지정될 수 있다.
예시적 실시예에 따르면, SEL1은 시큐어 월드의 EL1 레벨일 수 있다. 예시적 실시예에 따르면, SEL1은 프로세서가 트러스티드 운영 체제(trusted OS)를 실행하는 레벨일 수 있다. 예를 들어, 프로세서는 SEL1에서 보안 운영 체제(secure OS)(350)를 실행할 수 있다. 예시적 실시예에 따르면, 보안 운영 체제(350)는 SEL0에서 실행되는 보안 어플리케이션(예: 보안 인디케이터 트러스티드 앱 및 보안 하드웨어 제어 트러스티드 앱) 관련 기능을 수행하기 위한 시큐어 월드의 운영 체제일 수 있다. 예시적 실시예에 따르면, 보안 운영 체제(350)(예: 도 2의 보안 운영 체제(295))는 HEID 모듈(331)로부터 전달되는 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호를 보안 인디케이터 모듈(363)에 전달할 수 있다.
예시적 실시예에 따르면, 시큐어 월드에는 EL2가 존재하지 않을 수 있다.
도 3a에 도시된 예시적 실시예에서, HEID 모듈(331)은 노멀 월드에 위치하고, 보안 인디케이터 모듈(363) 및 보안 하드웨어 제어 모듈(361)은 시큐어 월드에 위치하고, 노멀 월드에서 시큐어 월드로 직접 접근이 불가하므로, HEID 모듈(331)은 시큐어 모니터(340) 및 보안 운영 체제(350)를 통해 보안 인디케이터 모듈(363)로 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호를 전달할 수 있다. 보안 하드웨어 제어 모듈(361)은 지정된 적어도 하나의 제2 디바이스를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다.
도 3b는 예시적 실시예에 따른 프로세서(120)의 구조를 도시한 도면(302)이다. 도 3b에 도시된 노멀 월드, 시큐어 월드, EL0, EL1, EL2, EL3, SEL0, 및 SEL1에 대한 설명은 도 3a를 참조하여 상술한 내용이 동일하게 적용될 수 있다. 이하, 도 3b에 대하여는 도 3a와 다른 구조를 중심으로 설명한다.
예시적 실시예에 따르면, 하이퍼바이저(330)는 적어도 하나의 가상 머신을 관리할 수 있다. 일 실시예에 따르면, 적어도 하나의 가상 머신은 메인 가상 머신(main virtual machine) 및 하나 이상의 서브 가상 머신(sub virtual machine)을 포함할 수 있다. 예를 들어, 메인 가상 머신은 안드로이드 가상 머신(Android VM)일 수 있고, 서브 가상 머신은 시큐어 가상 머신(Secure VM)일 수 있다. 이하, 메인 가상 머신이 안드로이드 운영 체제를 실행하는 경우를 중심으로 설명하나, 이에 한정되는 것은 아니며, 다양한 운영 체제(예: iOS)를 실행하는 가상 머신일 수 있다. 안드로이드 가상 머신 및 시큐어 가상 머신은 하이퍼바이저(330)에 의해 서로 분리된 실행 환경을 제공할 수 있다. 일 실시예에 따르면, 적어도 하나의 가상 머신은 서로 다른 운영 체제를 실행할 수 있다. 예를 들어, 안드로이드 가상 머신은 안드로이드 리눅스 커널(320)을 실행하고, 시큐어 가상 머신은 VM 리눅스 커널(370)을 실행할 수 있다. VM 리눅스 커널(370)은 메인 OS(또는, 제1 OS)인 안드로이드 리눅스 커널(320)과 격리되어 실행 가능한 제2 OS일 수 있다. 일 실시예에 따르면, VM 리눅스 커널(370)은 보안 인디케이터 모듈(363) 및 보안 하드웨어 제어 모듈(361) 관련 기능을 메인 OS인 안드로이드 리눅스 커널(320)에서 격리된 상태로 실행될 수 있는 환경을 제공할 수 있다.
일 실시예에 따르면, 프로세서는 VM 리눅스 커널(370), 보안 인디케이터 모듈(363) 및/또는 보안 하드웨어 제어 모듈(361)을 시큐어 가상 머신 상에서 실행할 수 있다. 일 실시예에 따르면, 프로세서는 VM 리눅스 커널(370)을 EL1에서 실행할 수 있으며, 보안 인디케이터 모듈(363) 및 보안 하드웨어 제어 모듈(361)을 EL0에서 실행할 수 있다. 일 실시예에 따르면, 동일한 예외 레벨이더라도 안드로이드 가상 머신과 시큐어 가상 머신은 실행 환경 및 권한이 분리되어 있을 수 있다. 예를 들어, 공격자에 의해 전자 장치의 사용자의 의도와 관계없이 안드로이드 가상 머신 상의 EL0 영역 및 EL1 영역의 보안이 침해(예: 해킹)되더라도, 시큐어 가상 머신 상의 EL0 영역 및 EL1 영역의 보안은 유지될 수 있다. 예컨대, 공격자는 시큐어 가상 머신 상의 EL0 영역 및 EL1 영역에는 접근하지 못할 수 있다.
예를 들어, 공격자가 안드로이드 가상 머신 상의 EL0 영역 및 EL1 영역을 공격하여 적어도 하나의 제1 디바이스가 동작하도록 하는 경우, EL2 영역에서 실행되는 HEID 모듈(331)은 적어도 하나의 제1 디바이스의 동작을 감지할 수 있다. EL2 영역 또는 하이퍼바이저(330)가 실행되는 영역에서 HEID 모듈(331)은 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호를 시큐어 가상 머신 상의 EL0 영역에 위치한 보안 인디케이터 모듈(363)로 전달할 수 있다. 보안 인디케이터 모듈(363)은 HEID 모듈(331)로부터 전달되는 감지 신호를 수신할 수 있다. 보안 하드웨어 제어 모듈(361)은 감지 신호의 수신에 응답하여 지정된 적어도 하나의 제2 디바이스를 제어하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다.
도 3a 및 도 3b를 참조하면, 예를 들어, 공격자가 안드로이드 가상 머신 상의 EL0 영역 및 EL1 영역을 공격하여 적어도 하나의 제1 디바이스가 동작하도록 하는 경우, EL0 영역 및 EL1 영역에서는, EL0 및 EL1보다 높은 권한이 부여된 EL2 영역에서 실행되는 HEID 모듈(331)의 동작에 대하여 감지하지 못할 수 있고, 시큐어 가상 머신 상에서 또는 시큐어 월드에서 실행되는 보안 인디케이터 모듈(363) 및 보안 하드웨어 제어 모듈(361)의 동작을 감지하지 못할 수 있다. 본 문서에 개시되는 다양한 실시예에 따르면, 프로세서는 권한에 차등을 둔 예외 레벨 구조, 안드로이드 가상 머신과 분리된 시큐어 가상 머신, 및 노멀 월드와 분리된 시큐어 월드를 기반으로 하는 보안 인터페이스(secure interface)를 통해 적어도 하나의 제1 디바이스가 동작 중임을 사용자에게 알릴 수 있고, 공격자로 하여금 사용자에게 알림이 제공된 사실을 모르게 할 수 있다.
이하, 도 4를 참조하여, 일 실시예에 따른 전자 장치의 동작에 대하여 설명한다.
도 4는 일 실시예에 따른 전자 장치의 동작을 나타낸 흐름도(400)이다. 이하에서 설명하는 전자 장치의 동작들은 도 1의 전자 장치(101) 또는 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다.
일 실시예에 따르면, 전자 장치는 제1 권한으로 동작하는 제1 영역에서 사용자 어플리케이션을 실행할 수 있고, 제1 권한보다 높은 제2 권한으로 동작하는 제2 영역에서 운영 체제를 실행할 수 있다. 이하에서 제3 권한은 제2 권한보다 높을 수 있다. 예를 들어, 제1 영역은 EL0 영역이고, 제2 영역은 EL1 영역이고, 제3 영역은 EL2 영역일 수 있다.
동작 401에서, 전자 장치는 제3 권한으로 동작하는 제3 영역에서, 회로를 포함하는 적어도 하나의 제1 디바이스의 동작을 감지할 수 있다. 일 실시예에 따르면, 전자 장치는 제2 권한보다 높은 제3 권한으로 동작하는 제3 영역에서, 전자 장치에 포함된 적어도 하나의 제1 디바이스의 동작을 감지할 수 있다. 예를 들어, 제1 디바이스는 전자 장치에 장착된 하드웨어 장치로서, 카메라(예: 도 1의 카메라 모듈(180)), 또는 마이크(예: 도 1의 입력 모듈(150))를 포함할 수 있다. 일 실시예에 따르면, 사용자 또는 공격자가 적어도 하나의 제1 디바이스를 실행시키는 경우, 전자 장치의 메모리(예: 도 1의 휘발성 메모리(132))의 적어도 하나의 제1 디바이스가 맵핑된 영역에 읽기(read) 또는 쓰기(write) 명령이 전달될 수 있다. 전자 장치는 메모리의 적어도 하나의 제1 디바이스가 맵핑된 영역에 전달된 읽기 또는 쓰기 명령을 제3 영역에서 실행할 수 있다. 일 실시예에 따르면, 전자 장치는 읽기 또는 쓰기 명령을 제3 영역으로 트랩(trap)할 수 있다. 일 실시예에 따르면, 전자 장치는 읽기 또는 쓰기 명령을 제3 영역으로 트랩함으로써 제3 영역에서 적어도 하나의 제1 디바이스의 동작을 감지할 수 있다. 일 실시예에 따르면, 제3 영역에서 하이퍼바이저(예: 도 3a 및 도 3b의 하이퍼바이저(330))가 실행될 수 있다. 예를 들면, 트랩이 발생함에 따라 전자 장치는 하이퍼바이저가 실행되는 영역(EL2 영역)의 HEID 모듈(예: 도 3a 및 도 3b의 HEID 모듈(331))을 호출할 수 있다.
동작 403에서, 전자 장치는 제3 영역에서, 제1 영역, 제2 영역, 및 제3 영역과 실행 환경이 분리된 제4 영역으로 적어도 하나의 제1 디바이스에 대한 감지 신호를 전달할 수 있다. 일 실시예에 따르면, 제1 영역, 제2 영역, 및 제3 영역은 노멀 월드에 포함되고, 제4 영역은 시큐어 월드에 포함될 수 있다. 예를 들어, 제1 영역은 노멀 월드의 EL0 영역이고, 제2 영역은 노멀 월드의 EL1 영역이고, 제3 영역은 노멀 월드의 EL2 영역이고, 제4 영역은 SEL0 영역(시큐어 월드의 EL0 영역)일 수 있다. 일 실시예에 따르면, 전자 장치는 제3 영역에서 제3 권한보다 높은 권한으로 동작하는 제5 영역을 통해 제4 영역으로 감지 신호를 전달할 수 있다. 예를 들어, 제5 영역은 EL3 영역일 수 있다. 일 실시예에 따르면, 제5 영역은 시큐어 모니터(예: 도 3a 및 도 3b의 시큐어 모니터(340))가 실행되는 영역일 수 있다. 일 실시예에 따르면, 전자 장치는 시큐어 모니터를 통해 노멀 월드에 포함되는 제3 영역으로부터 시큐어 월드에 포함되는 제4 영역으로 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호를 전달할 수 있다. 예를 들면, EL2 영역의 HEID 모듈은 EL3 영역의 시큐어 모니터 및 SEL1 영역(시큐어 월드의 EL1 영역)의 보안 운영 체제(예: 도 3a 및 도 3b의 보안 운영 체제(350))를 통해 SEL0 영역의 보안 인디케이터 모듈(예: 도 3a의 보안 인디케이터 모듈(363))로 감지 신호를 전달할 수 있다.
일 실시예에 따르면, 제1 영역, 제2 영역, 제3 영역, 및 제4 영역은 노멀 월드에 포함되고, 제4 영역은 제3 영역에서 실행되는 하이퍼바이저에 의해 제1 영역 및 제2 영역과 실행 환경이 분리된 영역일 수 있다. 일 실시예에 따르면, 제1 영역 및 제2 영역은 제1 가상 머신(예: 도 3b의 안드로이드 가상 머신) 상의 영역이며, 제4 영역은 제1 가상 머신과 분리된 제2 가상 머신(예: 도 3b의 시큐어 가상 머신) 상의 영역일 수 있다. 예를 들어, 제1 영역은 제1 가상 머신 상의 EL0 영역이고, 제2 영역은 제1 가상 머신 상의 EL1 영역이고, 제3 영역은 EL2 영역이고, 제4 영역은 제2 가상 머신 상의 EL0 영역일 수 있다. 일 실시예에 따르면, 제3 영역에서 실행되는 하이퍼바이저는 제1 가상 머신 및 제2 가상 머신을 관리할 수 있다. 일 실시예에 따르면, 전자 장치는 하이퍼바이저가 실행되는 제3 영역에서 제2 가상 머신 상의 영역인 제4 영역으로 적어도 하나의 제1 디바이스에 대한 감지 신호를 전달할 수 있다. 예를 들면, EL2 영역의 HEID 모듈은 제1 가상 머신 상의 EL0 영역 및 EL1 영역과 분리된 제2 가상 머신 상의 EL1 영역을 통해 제2 가상 머신 상의 EL0 영역의 보안 인디케이터 모듈(예: 도 3b의 보안 인디케이터 모듈(363))로 감지 신호를 전달할 수 있다. 다른 예로, EL2 영역의 HEID 모듈은 EL3 영역의 시큐어 모니터 및 제2 가상 머신 상의 EL1 영역을 통해 제2 가상 머신 상의 EL0 영역의 보안 인디케이터 모듈(예: 도 3b의 보안 인디케이터 모듈(363))로 감지 신호를 전달할 수도 있다.
동작 405에서, 전자 장치는 제4 영역에서, 지정된 적어도 하나의 제2 디바이스를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다. 일 실시예에 따르면, 제4 영역은 시큐어 월드에 포함될 수 있다. 예를 들어, 제4 영역은 SEL0 영역(시큐어 월드의 EL0 영역)일 수 있다. 예를 들어, 전자 장치는 SEL0 영역에서 보안 하드웨어 제어 모듈(예: 도 3a의 보안 하드웨어 제어 모듈(361))을 실행할 수 있다. 일 실시예에 따르면, 보안 하드웨어 제어 모듈은 회로를 포함하는 지정된 적어도 하나의 제2 디바이스를 제어할 수 있다. 일 실시예에 따르면, 지정된 적어도 하나의 제2 디바이스는, 사용자 인터페이스를 통해 적어도 하나의 제1 디바이스 각각에 대하여 디바이스의 동작 여부에 대한 알림 디바이스로 선택될 수 있다. 예를 들어, 지정된 적어도 하나의 제2 디바이스는, 디스플레이, 바이브레이터, LED, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 보안 하드웨어 제어 모듈은 지정된 적어도 하나의 제2 디바이스를 제어하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다. 예를 들어, 전자 장치는 적어도 하나의 제1 디바이스가 동작 중임을 알리는 메시지 또는 아이콘을 디스플레이에 표시할 수 있다. 다른 예로, 전자 장치는 바이브레이터로 하여금 진동을 발생시키거나, LED로 하여금 발광하도록 하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다. 또 다른 예로, 전자 장치는 전자 장치와 통신하는 웨어러블 장치로 적어도 하나의 제1 디바이스가 동작 중임을 알리는 신호 또는 데이터를 전송할 수 있다. 웨어러블 장치는, 예를 들어, 웨어러블 장치의 디스플레이, 바이브레이터, 또는 LED를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다.
다른 실시예에 따르면, 제4 영역은 시큐어 가상 머신 상의 영역일 수 있다. 예를 들어, 제4 영역은 시큐어 가상 머신 상의 EL0 영역일 수 있다. 예를 들어, 전자 장치는 시큐어 가상 머신 상의 EL0 영역에서 보안 하드웨어 제어 모듈(예: 도 3b의 보안 하드웨어 제어 모듈(361))을 실행할 수 있다. 일 실시예에 따르면, 보안 하드웨어 제어 모듈은 지정된 적어도 하나의 제2 디바이스를 제어하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다. 보안 하드웨어 제어 모듈 및 지정된 적어도 하나의 제2 디바이스에 대하여는 상술한 실시예에서의 설명이 동일하게 적용될 수 있다.
이하, 도 5를 참조하여, 일 실시예에 따른 전자 장치가 적어도 하나의 제1 디바이스의 동작을 감지하는 동작 방법에 대하여 설명한다.
도 5는 일 실시예에 따른 전자 장치의 동작을 나타낸 흐름도(500)이다. 이하에서 설명하는 전자 장치의 동작들은 도 1의 전자 장치(101) 또는 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다. 이하에서 설명하는 전자 장치의 동작들은 도 3a 또는 도 3b에 도시된 적어도 하나의 영역에서 수행될 수 있다.
동작 501에서, 전자 장치는 메모리의 적어도 하나의 제1 디바이스가 맵핑된 영역에 읽기 또는 쓰기 명령을 전달할 수 있다. 일 실시예에 따르면, 전자 장치의 메모리(예: 도 1의 휘발성 메모리(132))는 적어도 하나의 제1 디바이스가 맵핑된 영역을 포함할 수 있다. 예를 들어, 전자 장치의 메모리의 적어도 하나의 제1 디바이스가 맵핑된 영역은, 적어도 하나의 제1 디바이스의 입출력과 관련된 레지스터일 수 있다. 예를 들면, 전자 장치는 공격자에 의해 적어도 하나의 제1 디바이스와 관련된 어플리케이션을 실행할 수 있다. 전자 장치는 적어도 하나의 제1 디바이스와 관련된 어플리케이션을 실행함에 따라 메모리의 적어도 하나의 제1 디바이스가 맵핑된 영역에 읽기 또는 쓰기 명령을 전달할 수 있다. 예시적 실시예에 따르면, 전자 장치가 메모리의 적어도 하나의 제1 디바이스가 맵핑된 영역에 읽기 또는 쓰기 명령을 전달하는 것은, 전자 장치가 적어도 하나의 제1 디바이스의 입출력과 관련된 레지스터에 접근하여 적어도 하나의 제1 디바이스를 동작시키는 것을 의미할 수 있다. 일 실시예에 따르면, 전자 장치의 동작 501은 제1 영역(예: 도 3a의 노멀 월드의 EL0 영역, 또는 도3b의 안드로이드 가상 머신 상의 EL0 영역) 및 제2 영역(예: 도 3a의 노멀 월드의 EL1 영역, 또는 도3b의 안드로이드 가상 머신 상의 EL1 영역)에서 수행될 수 있다.
동작 503에서, 전자 장치는 제3 영역(예: 도 3a의 노멀 월드의 EL2 영역, 또는 도3b의 안드로이드 가상 머신 상의 EL2 영역)으로의 트랩(trap)을 발생시킬 수 있다. 일 실시예에 따르면, 전자 장치는 메모리의 적어도 하나의 제1 디바이스가 맵핑된 영역에 전달되는 읽기 또는 쓰기 명령에 기반하여 제3 영역으로의 트랩을 발생시킬 수 있다. 일 실시예에 따르면, 전자 장치는 제3 영역으로의 트랩을 발생시킴으로써 제3 영역에서 적어도 하나의 제1 디바이스의 동작을 감지하도록 할 수 있다. 일 실시예에 따르면, 제3 영역은 하이퍼바이저(예: 도 3a 또는 도 3b의 하이퍼바이저(330))가 실행되는 영역일 수 있다. 일 실시예에 따르면, 제3 영역으로의 트랩은 전자 장치가 제3 영역에서 실행되는 하이퍼바이저를 호출하는 것을 포함할 수 있다. 예를 들면, 메모리의 적어도 하나의 제1 디바이스가 맵핑된 영역은 읽기 또는 쓰기가 불가능한 상태로 설정되어 있을 수 있다. 이러한 설정 상태에서 메모리의 적어도 하나의 제1 디바이스가 맵핑된 영역에 읽기 또는 쓰기 명령이 전달됨에 따라, 퍼미션 폴트(permission fault)가 발생할 수 있으며, 전자 장치는 하이퍼바이저의 HEID 모듈(예: 도 3a 또는 도 3b의 HEID 모듈(331))에 예외(exception)를 발생시킴으로써, 하이퍼바이저가 실행되는 제3 영역에서 적어도 하나의 제1 디바이스의 동작을 감지하도록 할 수 있다. 일 실시예에 따르면, 전자 장치의 동작 503은 제3 영역에서 수행될 수 있다.
동작 505에서, 전자 장치는 적어도 하나의 제1 디바이스에 대한 감지 기능이 활성화되어 있는지 여부를 결정(판단, 또는 확인)할 수 있다. 일 실시예에 따르면, 전자 장치는 적어도 하나의 제1 디바이스의 동작을 감지하는 기능의 활성화 여부를 결정할 수 있다. 예를 들어, 전자 장치는 적어도 하나의 제1 디바이스에 대하여 HEID 모듈의 기능이 활성화되어 있는지 여부를 결정할 수 있다. 일 실시예에 따르면, 전자 장치는 적어도 하나의 제1 디바이스에 대한 감지 기능이 활성화되어 있는 경우, 동작 507 및 동작 511을 수행할 수 있다. 일 실시예에 따르면, 전자 장치는 적어도 하나의 제1 디바이스에 대한 감지 기능이 비활성화되어 있는 경우, 동작 507을 수행하지 않고 동작 511을 수행할 수 있다. 일 실시예에 따르면, 전자 장치의 동작 505는 제3 영역에서 수행될 수 있다.
동작 507에서, 전자 장치는 감지 신호를 제4 영역(예: 도 3a의 시큐어 월드의 EL0 영역(SEL0 영역), 또는 도 3b의 시큐어 가상 머신 상의 EL0 영역)으로 전달할 수 있다. 일 실시예에 따르면, 전자 장치는 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호를 제3 영역으로부터 제4 영역으로 전달할 수 있다. 일 실시예에 따르면, 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호는, 적어도 하나의 제1 디바이스가 동작 중임을 나타낼 수 있다. 예를 들어, 전자 장치가 도 3a에 도시된 구조로 구현된 경우, 전자 장치는 제3 영역(예: 노멀 월드의 EL2 영역 또는 하이퍼바이저가 실행되는 영역)에서 제3 영역보다 권한이 높은 제5 영역(예: 노멀 월드의 EL3 영역 또는 시큐어 모니터가 실행되는 영역)을 통해 제4 영역(예: 시큐어 월드의 EL0 영역(SEL0 영역))으로 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호를 전달할 수 있다. 전자 장치는 제5 영역, 및 제4 영역보다 권한이 높은 제6 영역(예: 시큐어 월드의 EL1 영역(SEL1 영역))을 통해 제4 영역으로 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호를 전달할 수 있다. 다른 예로, 전자 장치가 도 3b에 도시된 구조로 구현된 경우, 전자 장치는 제3 영역(예: 안드로이드 가상 머신 상의 EL2 영역 또는 하이퍼바이저가 실행되는 영역)에서 제4 영역(예: 시큐어 가상 머신 상의 EL0 영역)으로 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호를 전달할 수 있다. 전자 장치는 제3 영역에서 제4 영역보다 권한이 높은 제7 영역(예: 시큐어 가상 머신 상의 EL1 영역)을 통해 제4 영역으로 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호를 전달할 수 있다. 다양한 실시예에 따르면, 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호는 제4 영역의 보안 인디케이터 모듈(예: 도 3a 또는 도 3b의 보안 인디케이터 모듈(363))로 전달될 수 있다.
동작 509에서, 전자 장치는 지정된 적어도 하나의 제2 디바이스를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다. 일 실시예에 따르면, 전자 장치는 적어도 하나의 제1 디바이스 각각에 대하여 디바이스가 동작 중이라는 알림을 제공하는 디바이스를 선택하는 사용자 인터페이스를 통해 지정된 적어도 하나의 제2 디바이스를 결정할 수 있다. 일 실시예에 따르면, 지정된 적어도 하나의 제2 디바이스는 전자 장치에 포함된 디바이스(예: 디스플레이, 바이브레이터, 또는 LED) 또는 전자 장치와 통신하는 외부 전자 장치(예: 웨어러블 장치)일 수 있다. 일 실시예에 따르면, 전자 장치는 제4 영역에서 동작 509를 수행할 수 있다. 일 실시예에 따르면, 전자 장치는 제4 영역에서 지정된 적어도 하나의 제2 디바이스 각각에 대한 하드웨어 제어를 수행하는 보안 하드웨어 제어 모듈(예: 도 3a 또는 도 3b의 보안 하드웨어 제어 모듈(361))을 실행할 수 있다. 일 실시예에 따르면, 보안 하드웨어 제어 모듈은 지정된 적어도 하나의 제2 디바이스에 대응하여 적어도 하나의 제어 모듈을 포함할 수 있다. 예를 들어, 지정된 적어도 하나의 제2 디바이스가 디스플레이 및/또는 바이브레이터를 포함하는 경우, 보안 하드웨어 제어 모듈은 디스플레이를 제어하는 모듈 및/또는 바이브레이터를 제어하는 모듈을 포함할 수 있다. 예를 들어, 전자 장치는 디스플레이를 통해 적어도 하나의 제1 디바이스가 동작 중임을 알리는 메시지 또는 아이콘을 표시할 수 있고, 바이브레이터를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알리는 진동을 발생시킬 수 있다.
동작 511에서, 전자 장치는 읽기 또는 쓰기 명령을 실행할 수 있다. 일 실시예에 따르면, 전자 장치는 읽기 또는 쓰기 명령을 제3 영역에서 실행할 수 있다. 예를 들어, 전자 장치의 메모리의 적어도 하나의 제1 디바이스가 맵핑된 영역은 제1 영역 또는 제2 영역에서 읽기 또는 쓰기가 불가능한 상태로 설정되어 있을 수 있다. 이러한 설정 상태에서 메모리의 적어도 하나의 제 디바이스가 맵핑된 영역에 읽기 또는 쓰기 명령이 전달됨에 따라 전자 장치는 하이퍼바이저가 실행되는 제3 영역으로의 트랩을 발생시킬 수 있다. 트랩 이후, 전자 장치는 제3 영역에서 적어도 하나의 제1 디바이스에 대한 읽기 또는 쓰기 명령을 제1 영역 또는 제2 영역 대신 실행할 수 있다. 일 실시예에 따르면, 전자 장치가 적어도 하나의 제1 디바이스에 대한 읽기 또는 쓰기 명령을 실행하는 것은 전자 장치가 적어도 하나의 제1 디바이스를 동작하도록 하는 것일 수 있다. 일 실시예에 따르면, 상술한 제3 영역에서 제1 영역 또는 제2 영역 대신 읽기 또는 쓰기 명령을 실행하는 것은 제3 영역의 하이퍼바이저 또는 하이퍼바이저의 HEID 모듈에 의해 실행될 수 있다. 일 실시예에 따르면, 전자 장치는 지정된 적어도 하나의 제2 디바이스를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알리는 것과 상관없이 적어도 하나의 제1 디바이스를 동작시킬 수 있다.
이하, 도 6을 참조하여, 일 실시예에 따른 전자 장치가 적어도 하나의 제1 디바이스의 동작을 감지하고 적어도 하나의 제1 디바이스가 동작 중임을 알리는 동작 방법에 대하여 설명한다.
도 6은 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면(600)이다. 이하에서 설명하는 전자 장치의 동작들은 도 1의 전자 장치(101) 또는 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다. 이하에서 설명하는 소프트웨어 모듈(예: 카메라 어플리케이션(camera app/framework)(610)(예: 도 3a 또는 도 3b의 안드로이드 프레임워크(310)), 카메라 드라이버(camera driver)(620)(예: 도 3a 또는 도 3b의 안드로이드 리눅스 커널(320)), 하이퍼바이저(hypervisor)(630)(예: 도 3a 또는 도 3b의 하이퍼바이저(330)), HEID 모듈(HEID module)(631)(예: 도 3a 또는 도 3b의 HEID 모듈(331)), 보안 인디케이터 모듈(secure indicator module)(663)(예: 도 3a 또는 도 3b의 보안 인디케이터 모듈(363)), 또는 보안 디스플레이 제어 모듈(secure display control module)(661)(예: 도 3a 또는 도 3b의 보안 하드웨어 제어 모듈(361)))의 동작들은 도 1의 전자 장치(101) 또는 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다.
도 6을 참조하면, 전자 장치는 카메라 어플리케이션(610)(또는, 카메라 프레임워크)을 실행할 수 있다. 예를 들어, 전자 장치는 공격자의 제어에 기반하여 카메라 어플리케이션(610)을 실행할 수 있다. 여기서, 공격자는 전자 장치의 사용자가 아니며, 사용자의 의도와 무관하게 전자 장치를 제어하고자 하는 자일 수 있다. 예를 들어, 공격자는 전자 장치를 직접 제어하거나, 외부 전자 장치를 통해 간접적으로 제어할 수 있다. 일 실시예에 따르면, 전자 장치는 카메라 어플리케이션(610)을 제1 영역(예: 도 3a의 노멀 월드의 EL0 영역, 또는 도 3b의 안드로이드 가상 머신 상의 EL0 영역)에서 실행할 수 있다. 전자 장치는 카메라 어플리케이션(610)이 실행됨에 따라 적어도 하나의 제1 디바이스(예: 카메라)를 구동하기 위한 카메라 드라이버(620)를 실행할 수 있다. 일 실시예에 따르면, 전자 장치는 카메라 드라이버(620)를 제2 영역(예: 도 3a의 노멀 월드의 EL1 영역, 또는 도 3b의 안드로이드 가상 머신 상의 EL1 영역)에서 실행할 수 있다. 카메라 드라이버(620)는 카메라의 입출력과 관련된 레지스터(예: camera I/O)(682)에 접근하여 카메라가 동작하도록 할 수 있다. 예를 들어, 카메라 드라이버(620)는 카메라의 입출력과 관련된 레지스터(682)에 읽기(read) 또는 쓰기(write) 명령을 전달함으로써 카메라가 동작하도록 할 수 있다. 일 실시예에 따르면, 전자 장치는 카메라의 입출력과 관련된 레지스터(682)에 할당된 시스템 물리 주소 공간(physical address space)(680)의 주소에 기반하여 카메라의 입출력과 관련된 레지스터(682)에 접근할 수 있다. 일 실시예에 따르면, 카메라의 입출력과 관련된 레지스터(682)는 시스템 물리 주소 공간(680)의 카메라가 맵핑된 영역에 대응될 수 있다.
일 실시예에 따르면, 카메라 드라이버(620)로부터 카메라의 입출력과 관련된 레지스터(682)에 읽기 또는 쓰기 명령이 전달됨에 따라, 전자 장치는 제3 영역(예: 도 3a의 노멀 월드의 EL2 영역, 또는 도 3b의 안드로이드 가상 머신 상의 EL2 영역)으로의 트랩(trap)을 발생시킬 수 있다. 예를 들어, 카메라의 입출력과 관련된 레지스터(682)는 카메라 드라이버(620)에 의해 읽기 또는 쓰기가 불가능하도록 설정될 수 있다. 이 경우, 제3 영역으로의 트랩은 퍼미션 폴트(permission fault)일 수 있다. 일 실시예에 따르면, 제3 영역은 하이퍼바이저(630)가 실행되는 영역일 수 있다. 일 실시예에 따르면, 하이퍼바이저(630)는 HEID 모듈(631)을 포함할 수 있다. 일 실시예에 따르면, HEID 모듈(631)은 제3 영역으로의 트랩이 발생함에 따라 카메라의 동작을 감지할 수 있다.
일 실시예에 따르면, HEID 모듈(631)은 보안 인디케이터 모듈(663)로 카메라의 동작에 대한 감지 신호를 전달할 수 있다. 일 실시예에 따르면, 카메라의 동작에 대한 감지 신호는 카메라가 동작 중(또는, 사용 중)임을 나타내는 신호를 포함할 수 있다. 일 실시예에 따르면, 보안 인디케이터 모듈(663)은 카메라의 동작에 대한 감지 신호를 카메라가 동작 중이라는 알림을 제공하는 디바이스(예: 보안 디스플레이(secure display)(690))를 제어하는 모듈(예: 보안 디스플레이 제어 모듈(661))로 전달할 수 있다. 일 실시예에 따르면, 전자 장치는 보안 인디케이터 모듈(663) 및 보안 디스플레이 제어 모듈(661)을 제4 영역에서 실행할 수 있다. 예를 들어, 제4 영역은 도 3a의 시큐어 월드의 EL0 영역(SEL0 영역)일 수 있다. HEID 모듈(631)은 제3 영역보다 권한이 높은 제5 영역(예: 도 3a의 EL3 영역 또는 시큐어 모니터(340)가 실행되는 영역) 및 제4 영역보다 권한이 높은 제6 영역(예: 시큐어 월드의 EL1 영역(SEL1 영역))을 통해 제4 영역으로 카메라의 동작에 대한 감지 신호를 전달할 수 있다. 다른 예로, 제4 영역은 도 3b의 시큐어 가상 머신 상의 EL0 영역일 수 있다. HEID 모듈(631)은 제4 영역보다 권한이 높은 제7 영역(예: 시큐어 가상 머신 상의 EL1 영역)을 통해 제4 영역으로 카메라의 동작에 대한 감지 신호를 전달할 수 있다.
일 실시예에 따르면, 보안 디스플레이 제어 모듈(661)은 보안 디스플레이(690)를 이용하여 카메라가 동작 중임을 사용자에게 알릴 수 있다. 예를 들어, 보안 디스플레이 제어 모듈(661)은 카메라가 동작 중임을 알리는 메시지를 보안 디스플레이(690)에 표시할 수 있다. 다른 예로, 보안 디스플레이 제어 모듈(661)은 카메라가 동작 중임을 알리는 아이콘을 보안 디스플레이(690)에 표시하거나, 동작 중이지 않을 때와 동작 중일 때에 서로 다른 아이콘(예: 색깔 또는 형태가 다른 아이콘)을 표시할 수 있다.
상술한 실시예에서는, 카메라가 동작 중임을 알리는 디바이스로 보안 디스플레이(690)만이 지정된 경우를 예로 들었으나, 이에 한정되는 것은 아니며, 전자 장치는 동작 감지 대상이 되는 적어도 하나의 제1 디바이스(예: 카메라) 각각에 대하여 디바이스가 동작 중임을 알리는 디바이스로 지정된 적어도 하나의 제2 디바이스를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다. 지정된 적어도 하나의 제2 디바이스는, 예를 들어, 디스플레이, 바이브레이터, LED, 또는 전자 장치와 통신하는 웨어러블 장치 중 적어도 하나를 포함할 수 있다.
이하, 도 7a 및 도 7b를 참조하여, 다양한 실시예에 따른 전자 장치가 보안 디스플레이를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알리는 동작 방법에 대하여 설명한다.
도 7a는 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면(700)이다. 이하에서 설명하는 전자 장치의 동작들은 도 1의 전자 장치(101) 또는 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다.
도 7a를 참조하면, 전자 장치의 프로세서는 도 3a에 도시된 프로세서의 구조를 가질 수 있다. 전자 장치의 프로세서는 도 3a에 도시된 각 영역에서 프로그램(예: 도 1 및 도 2의 프로그램(140))을 실행할 수 있다. 일 실시예에 따르면, ARM 예외 레벨 아키텍처에 의해 노멀 월드 및 시큐어 월드로 프로세서의 실행 환경 및 권한이 분리될 수 있다.
일 실시예에 따르면, 전자 장치는 노멀 월드의 EL2 영역(하이퍼바이저(예: 도 3a의 하이퍼바이저(330))가 실행되는 영역)에서 HEID 모듈(예: 도 3a의 HEID 모듈(331))을 실행할 수 있다. HEID 모듈은 전자 장치에 포함된 적어도 하나의 제1 디바이스(예: 카메라, 또는 마이크)의 동작을 감지할 수 있다. 일 실시예에 따르면, 전자 장치는 시큐어 월드의 EL0 영역(SEL0 영역)에서 보안 인디케이터 모듈(예: 도 3a의 보안 인디케이터 모듈(363)) 및 보안 디스플레이 트러스티드 앱(Secure Display TA)(761a)(예: 도 3a의 보안 하드웨어 제어 모듈(361))을 실행할 수 있다. 보안 인디케이터 모듈은 HEID 모듈로부터 전달되는 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호를 수신할 수 있다. 보안 디스플레이 트러스티드 앱(761a)은 지정된 적어도 하나의 제2 디바이스(예: 디스플레이(760)(예: 도 1의 디스플레이 모듈(160))를 제어하여 적어도 하나의 제1 디바이스가 동작 중임을 사용자에게 알릴 수 있다.
일 실시예에 따르면, 전자 장치는 노멀 월드의 EL0 영역에서 디스플레이 프레임워크(711)(예: 도 3a의 안드로이드 프레임워크(310))를 실행할 수 있다. 일 실시예에 따르면, 디스플레이 프레임 워크(711)는 전자 장치의 디스플레이(760))의 제1 영역(701)에 화면을 표시할 수 있다. 일 실시예에 따르면, 전자 장치는 시큐어 월드의 EL0 영역(SEL0 영역)에서 보안 디스플레이 트러스티드 앱(761a)을 실행할 수 있다. 일 실시예에 따르면, 보안 디스플레이 트러스티드 앱(761a)은 전자 장치의 디스플레이(760)의 제2 영역(702)에 알림 화면을 표시할 수 있다. 일 실시예에 따르면, 보안 디스플레이 트러스티드 앱(761a)은 보안 버퍼(secure buffer)(784)를 이용하여 노멀 월드에서 변조할 수 없는 제2 영역(702)을 통해 알림 화면을 표시할 수 있다. 일 실시예에 따르면, 노멀 월드에서 변조할 수 없는 전자 장치의 디스플레이(760)의 제2 영역(702)은 보안 디스플레이(예: 도 6의 보안 디스플레이(690))로 참조될 수 있다. 예를 들어, 보안 버퍼(784)는 전자 장치의 메모리(780)(예: 랜덤 액세스 메모리(random access memory, RAM)(예: 도 1의 휘발성 메모리(132))의 적어도 일부 영역일 수 있다. 알림 화면은, 예를 들어, 전자 장치에 포함된 적어도 하나의 제1 디바이스(예: 카메라, 또는 마이크)가 동작 중임을 나타내는 메시지, 또는 아이콘 중 적어도 하나를 포함할 수 있다.
도 7b는 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면(750)이다. 이하에서 설명하는 전자 장치의 동작들은 도 1의 전자 장치(101) 또는 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다.
도 7b를 참조하면, 전자 장치의 프로세서는 도 3b에 도시된 프로세서의 구조를 가질 수 있다. 전자 장치의 프로세서는 도 3b에 도시된 각 영역에서 프로그램(예: 도 1 및 도 2의 프로그램(140))을 실행할 수 있다. 일 실시예에 따르면, 하이퍼바이저(예: 도 3b의 하이퍼바이저(330))에 의해 안드로이드 가상 머신 및 시큐어 가상 머신으로 프로세서의 실행 환경 및 권한이 분리될 수 있다.
일 실시예에 따르면, 전자 장치는 안드로이드 가상 머신 상의 EL2 영역(하이퍼바이저가 실행되는 영역)에서 HEID 모듈(예: 도 3b의 HEID 모듈(331))을 실행할 수 있다. HEID 모듈은 전자 장치에 포함된 적어도 하나의 제1 디바이스(예: 카메라, 또는 마이크)의 동작을 감지할 수 있다. 일 실시예에 따르면, 전자 장치는 시큐어 가상 머신 상의 EL0 영역에서 보안 인디케이터 모듈(예: 도 3b의 보안 인디케이터 모듈(363)) 및 보안 디스플레이 가상 머신 앱(Secure Display VM App)(761b)(예: 도 3b의 보안 하드웨어 제어 모듈(361))을 실행할 수 있다. 보안 인디케이터 모듈은 HEID 모듈로부터 전달되는 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호를 수신할 수 있다. 보안 디스플레이 가상 머신 앱(761b)은 지정된 적어도 하나의 제2 디바이스(예: 디스플레이(760)(예: 도 1의 디스플레이 모듈(160))를 제어하여 적어도 하나의 제1 디바이스가 동작 중임을 사용자에게 알릴 수 있다.
일 실시예에 따르면, 전자 장치는 안드로이드 가상 머신 상의 EL0 영역에서 디스플레이 프레임워크(711)(예: 도 3b의 안드로이드 프레임워크(310))를 실행할 수 있다. 일 실시예에 따르면, 디스플레이 프레임 워크(711)는 전자 장치의 디스플레이(760)의 제1 영역(701)에 화면을 표시할 수 있다. 일 실시예에 따르면, 전자 장치는 시큐어 가상 머신 상의 EL0 영역에서 보안 디스플레이 가상 머신 앱(761b)을 실행할 수 있다. 일 실시예에 따르면, 보안 디스플레이 가상 머신 앱(761b)은 전자 장치의 디스플레이(760)의 제2 영역(702)에 알림 화면을 표시할 수 있다. 일 실시예에 따르면, 보안 디스플레이 가상 머신 앱(761b)은 보안 버퍼(secure buffer)(784)를 이용하여 안드로이드 가상 머신에서 변조할 수 없는 제2 영역(702)을 통해 알림 화면을 표시할 수 있다. 일 실시예에 따르면, 안드로이드 가상 머신에서 변조할 수 없는 전자 장치의 디스플레이(760)의 제2 영역(702)은 보안 디스플레이(예: 도 6의 보안 디스플레이(690))로 참조될 수 있다. 예를 들어, 보안 버퍼(784)는 전자 장치의 메모리(780)(예: 랜덤 액세스 메모리(random access memory, RAM)(예: 도 1의 휘발성 메모리(132))의 적어도 일부 영역일 수 있다. 알림 화면은, 예를 들어, 전자 장치에 포함된 적어도 하나의 제1 디바이스(예: 카메라, 또는 마이크)가 동작 중임을 나타내는 메시지, 또는 아이콘 중 적어도 하나를 포함할 수 있다.
이하, 도 8을 참조하여, 일 실시예에 따른 전자 장치가 디스플레이를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알리는 화면의 예시에 대하여 설명한다.
도 8은 일 실시예에 따른 전자 장치가 디스플레이에 표시하는 알림 화면의 예시를 나타낸 도면(800)이다. 이하에서 설명하는 전자 장치(801)의 동작들은 도 1의 전자 장치(101) 또는 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다.
일 실시예에 따르면, 전자 장치(801)는 적어도 하나의 제1 디바이스(예: 카메라, 또는 마이크)의 동작을 감지함에 따라 디스플레이(860)를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다. 다양한 실시예에 따르면, 전자 장치는 도 7a 또는 도 7b를 참조하여 설명한 전자 장치의 보안 디스플레이(예: 도 7a 또는 도 7b의 제2 영역(702))에 제1 아이콘(810) 또는 제2 아이콘(820)을 포함하는 알림 화면을 표시할 수 있다.
도 8을 참조하여 예를 들면, 전자 장치(801)는 적어도 하나의 제1 디바이스의 동작을 감지하기 전에 디스플레이(860)에 적어도 하나의 제1 디바이스가 동작 중이 아님을 나타내는 제1 아이콘(810)을 표시할 수 있다. 전자 장치(801)는 적어도 하나의 제1 디바이스의 동작을 감지함에 따라 디스플레이(860)에 적어도 하나의 제1 디바이스가 동작 중임을 나타내는 제2 아이콘(820)을 표시할 수 있다. 일 실시예에 따르면, 제1 아이콘(810) 및 제2 아이콘(820)은 다른 형태의 이미지이거나, 동일한 형태의 이미지이더라도 투명도, 색깔, 또는 이미지에 포함된 글자가 다를 수 있다.
이하, 도 9를 참조하여, 일 실시예에 따른 전자 장치가 지정된 적어도 하나의 제2 디바이스를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알리는 경우 전자 장치의 보안 하드웨어 제어 모듈(예: 도 3a 또는 도 3b의 보안 하드웨어 제어 모듈(361))의 구현 예시에 대하여 설명한다.
도 9는 일 실시예에 따른 전자 장치의 보안 하드웨어 제어 모듈의 구현 예시를 나타내는 도면(900)이다. 이하에서 설명하는 전자 장치의 동작들은 도 1의 전자 장치(101) 또는 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다.
도 9는 도 3a의 시큐어 월드의 EL0 영역(SEL0 영역)에서 실행되는 보안 인디케이터 모듈(예: 도 3a의 보안 인디케이터 모듈(363)) 및 보안 하드웨어 제어 모듈(예: 도 3a의 보안 하드웨어 제어 모듈(361))을 나타낸다. 일 실시예에 따르면, 보안 하드웨어 제어 모듈은, 적어도 하나의 제1 디바이스가 동작 중임을 알리는 디바이스로 지정된 적어도 하나의 제2 디바이스 각각을 제어하는 모듈을 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 적어도 하나의 제1 디바이스가 동작 중임을 알리는 디바이스로서 지정된 적어도 하나의 제2 디바이스를 결정할 수 있다. 일 실시예에 따르면, 지정된 적어도 하나의 제2 디바이스는, 노멀 월드와 실행 환경이 분리된 시큐어 월드에서 제어되는 전자 장치의 하드웨어 장치 또는 전자 장치와 통신하는 외부 전자 장치의 하드웨어 장치일 수 있다. 예를 들면, 지정된 적어도 하나의 제2 디바이스는 디스플레이, 바이브레이터, LED, 및/또는 웨어러블 장치를 포함할 수 있다.
도 9를 참조하면, 전자 장치는 시큐어 월드의 EL0 영역(SEL0 영역)에서 보안 디스플레이 트러스티드 앱(Secure Display TA)(961a), 보안 바이브레이터 트러스티드 앱(Secure Vib TA)(961b), 보안 LED 트러스티드 앱(Secure LED TA)(961c), 및/또는 보안 웨어러블 장치 트러스티드 앱(Secure Wearable Device TA)(961d)을 실행할 수 있다. 전자 장치는 시큐어 월드의 EL0 영역(SEL0 영역)에서 보안 인디케이터 모듈(963)을 실행할 수 있다. 보안 인디케이터 모듈(963)은 노멀 월드의 EL2 영역에서 실행되는 HEID 모듈(예: 도 3a의 HEID 모듈(331))로부터 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호를 수신할 수 있다. 보안 인디케이터 모듈(963)은 HEID 모듈로부터 수신한 적어도 하나의 제1 디바이스의 동작에 대한 감지 신호를 보안 디스플레이 트러스티드 앱(Secure Display TA)(961a), 보안 바이브레이터 트러스티드 앱(Secure Vib TA)(961b), 보안 LED 트러스티드 앱(Secure LED TA)(961c), 및/또는 보안 웨어러블 장치 트러스티드 앱(Secure Wearable Device TA)(961d)으로 전송할 수 있다. 일 실시예에 따르면, 보안 디스플레이 트러스티드 앱(961a), 보안 바이브레이터 트러스티드 앱(961b), 보안 LED 트러스티드 앱(961c), 및/또는 보안 웨어러블 장치 트러스티드 앱(961d)은 각각 대응하는 제2 디바이스(예: 디스플레이, 바이브레이터, LED, 또는 웨어러블 장치)를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다. 예를 들어, 보안 디스플레이 트러스티드 앱(961a)은 디스플레이에 적어도 하나의 제1 디바이스가 동작 중임을 알리는 메시지 또는 아이콘을 표시할 수 있다. 예를 들어, 보안 바이브레이터 트러스티드 앱(961b)은 바이브레이터를 이용하여 진동을 발생시킴으로써 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다. 예를 들어, 보안 LED 트러스티드 앱(961c)은 LED를 발광시킴으로써 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다. 예를 들어, 보안 웨어러블 장치 트러스티드 앱(961d)은 전자 장치와 통신하는 웨어러블 장치로 발광시킴으로써 적어도 하나의 제1 디바이스가 동작 중임을 알리는 신호 또는 데이터를 전송할 수 있다. 웨어러블 장치는, 예를 들어, 웨어러블 장치의 디스플레이, 바이브레이터, 또는 LED를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다.
상술한 실시예에서는, 도 3a의 시큐어 월드의 EL0 영역(SEL0 영역)에서 실행되는 보안 인디케이터 모듈(예: 도 3a의 보안 인디케이터 모듈(363)) 및 보안 하드웨어 제어 모듈(예: 도 3a의 보안 하드웨어 제어 모듈(361))에 대하여 설명하였으나, 이에 한정되는 것은 아니며, 도 3b의 시큐어 가상 머신 상의 EL0 영역에서 실행되는 보안 인디케이터 모듈(예: 도 3b의 보안 인디케이터 모듈(363)) 및 보안 하드웨어 제어 모듈(예: 도 3b의 보안 하드웨어 제어 모듈(361))에 대하여도 상술한 내용이 동일하게 적용될 수 있다. 예를 들어, 적어도 하나의 제1 디바이스가 동작 중임을 알리는 디바이스로 복수의 제2 디바이스가 지정된 경우, 전자 장치는, 시큐어 가상 머신 상의 EL0 영역에서, 지정된 복수의 제2 디바이스 각각에 대한 제어 모듈을 실행할 수 있으며, 복수의 제어 모듈 각각은 해당 디바이스를 각각 제어하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다.
이하, 도 10을 참조하여, 일 실시예에 따른 전자 장치가 디바이스의 동작 여부에 대한 알림의 대상이 되는 디바이스 및 디바이스의 동작 여부에 대한 알림 디바이스를 선택하도록 제공하는 사용자 인터페이스에 대하여 설명한다.
도 10은 일 실시예에 따른 전자 장치가 제공하는 예시적 사용자 인터페이스를 나타낸 도면(1000)이다. 이하에서 설명하는 전자 장치(1001)의 동작들은 도 1의 전자 장치(101) 또는 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다.
도 10을 참조하면, 전자 장치(1001)는 디바이스의 동작 여부에 대한 알림의 대상이 되는 적어도 하나의 제1 디바이스를 선택하도록 하는 제1 사용자 인터페이스(1010)를 전자 장치(1001)의 디스플레이(예: 도 1의 디스플레이 모듈(160))에 표시할 수 있다. 일 실시예에 따르면, 제1 사용자 인터페이스(1010)는 적어도 하나의 제1 디바이스에 대한 목록(1011)(하나 이상의 항목)을 포함할 수 있다. 일 실시예에 따르면, 적어도 하나의 제1 디바이스는, 전자 장치(1001)에 포함된 적어도 하나의 하드웨어 장치일 수 있다. 일 실시예에 따르면, 제1 사용자 인터페이스(1010)는 목록(1011)에 포함된 적어도 하나의 제1 디바이스 각각에 대해 동작 감지 여부를 설정할 수 있는 버튼 UI(user interface)(1012)를 포함할 수 있다.
일 실시예에 따르면, 제1 사용자 인터페이스(1010)는, 목록(1011)에 포함된 적어도 하나의 제1 디바이스에 대하여 동작을 감지하는 것으로 설정된 경우 동작 감지에 대한 알림 방법을 선택하도록 하는 사용자 인터페이스를 표시하도록 하는 엘리먼트(예: 제1 엘리먼트(1013))를 포함할 수 있다. 예를 들어, 전자 장치(1001)는 버튼 UI(1012)에 대한 사용자 입력에 기반하여 카메라에 대하여 동작을 감지하는 것으로 설정함에 따라, 카메라에 대하여 동작 감지 시의 알림 방법을 선택하도록 하는 UI를 표시하도록 하는 제1 엘리먼트(1013)를 활성화할 수 있다. 일 실시예에 따르면, 전자 장치(1001)는 목록(1011)에 포함된 적어도 하나의 제1 디바이스 중 동작을 감지하는 것으로 설정된 디바이스에 대응하는 엘리먼트만을 활성화할 수 있다. 일 실시예에 따르면, 전자 장치(1001)는 엘리먼트가 활성화된 경우에만 엘리먼트에 대한 사용자 입력을 수신할 수 있다.
일 실시예에 따르면, 전자 장치(1001)는 제1 엘리먼트(1013)를 선택하는 입력을 수신함에 따라 제2 사용자 인터페이스(1020)를 표시할 수 있다. 일 실시예에 따르면, 제2 사용자 인터페이스(1020)는 제1 사용자 인터페이스(1010)에서 선택된 제1 디바이스(예: 카메라)의 동작 여부에 대한 알림 방법을 선택하도록 하는 사용자 인터페이스일 수 있다. 일 실시예에 따르면, 전자 장치(1001)는 적어도 하나의 제2 디바이스를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다. 일 실시예에 따르면, 제2 사용자 인터페이스(1020)는 적어도 하나의 알림 방법에 대한 목록(1021)을 포함할 수 있다. 일 실시예에 따르면, 적어도 하나의 알림 방법은 각각 적어도 하나의 제2 디바이스 각각에 대응될 수 있으므로, 목록(1021)은 적어도 하나의 제2 디바이스에 대한 목록일 수 있다. 일 실시예에 따르면, 적어도 하나의 제2 디바이스는, 전자 장치(1001)의 보안이 침해된 상태에서도 전자 장치(1001)에서 안전하게 제어 가능한 하드웨어 장치일 수 있다. 일 실시예에 따르면, 적어도 하나의 제2 디바이스는, 전자 장치(1001)의 하드웨어 장치이거나, 전자 장치(1001)와 통신 가능한 하드웨어 장치일 수 있다. 도 10을 참조하여 예를 들면, 목록(1021)은 팝업 메시지를 이용한 알림 방법, 진동을 이용한 알림 방법, LED를 이용한 알림 방법, 및/또는 웨어러블 장치를 이용한 알림 방법을 포함할 수 있다. 예를 들어, 전자 장치(1001)는 팝업 메시지를 이용한 알림 방법을 선택하는 입력을 수신함에 따라, 적어도 하나의 제1 디바이스의 동작을 감지하는 경우 디스플레이(예: 도 1의 디스플레이 모듈(160))에 적어도 하나의 제1 디바이스가 동작 중임을 알리는 팝업 메시지를 표시할 수 있다. 예를 들어, 전자 장치(1001)는 진동을 이용한 알림 방법을 선택하는 입력을 수신함에 따라, 적어도 하나의 제1 디바이스의 동작을 감지하는 경우 바이브레이터(예: 도 1의 햅틱 모듈(179))로 하여금 진동을 발생시킬 수 있다. 예를 들어, 전자 장치(1001)는 LED를 이용한 알림 방법을 선택하는 입력을 수신함에 따라, 적어도 하나의 제1 디바이스의 동작을 감지하는 경우 LED를 발광시킬 수 있다. 예를 들어, 전자 장치(1001)는 웨어러블 장치를 이용한 알림 방법을 선택하는 입력을 수신함에 따라, 적어도 하나의 제1 디바이스의 동작을 감지하는 경우 전자 장치(1001)와 통신하는 웨어러블 장치(예: 도 1의 전자 장치(102) 또는 전자 장치(104))로 적어도 하나의 제1 디바이스가 동작 중임을 알리는 신호 또는 데이터를 전송할 수 있다.
일 실시예에 따르면, 제2 사용자 인터페이스(1020)는 목록(1021)에 포함된 적어도 하나의 알림 방법 각각의 이용 여부를 설정할 수 있는 버튼 UI(user interface)(1022)를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(1001)는 버튼 UI(1022)를 통해 이용되는 것으로 설정된 알림 방법에 대응하는 적어도 하나의 제2 디바이스를 적어도 하나의 제1 디바이스가 동작 중임을 알리는 수단이 되는 디바이스로 결정할 수 있다. 예를 들면, 전자 장치(1001)는 버튼 UI(1022)에 대한 사용자 입력에 기반하여 팝업 메시지 및 진동을 이용한 알림 방법을 이용하는 것으로 설정함에 따라, 카메라의 동작을 감지하는 경우 디스플레이에 카메라가 동작 중임을 알리는 팝업 메시지를 표시하고, 바이브레이터가 진동을 발생시키도록 제어할 수 있다.
일 실시예에 따르면, 제2 사용자 인터페이스(1020)는 목록(1021)에 포함된 적어도 하나의 알림 방법 각각에 대하여 알림 방법을 설정하도록 하는 사용자 인터페이스를 표시하도록 하는 엘리먼트(예: 제2 엘리먼트(1023))를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(1001)는 제2 엘리먼트(1023)를 선택하는 입력을 수신함에 따라, 대응되는 알림 방법에 대한 상세 설정 UI를 표시할 수 있다. 예를 들어, 팝업 메시지를 이용한 알림 방법에 대한 상세 설정 UI는, 디스플레이 상의 메시지 표시 위치 및/또는 크기를 설정하는 UI 엘리먼트를 포함할 수 있다. 예를 들어, 진동을 이용한 알림 방법에 대한 상세 설정 UI는, 진동 세기 및/또는 간격을 설정하는 UI 엘리먼트를 포함할 수 있다. 예를 들어, LED를 이용한 알림 방법에 대한 상세 설정 UI는, LED 색깔 및 LED 점멸 주기를 설정하는 UI 엘리먼트를 포함할 수 있다. 예를 들어, 웨어러블 장치를 이용한 알림 방법에 대한 상세 설정 UI는, 웨어러블 장치의 디스플레이 상의 메시지 출력 여부, 또는 웨어러블 장치의 바이브레이터의 진동 여부를 설정하는 UI 엘리먼트를 포함할 수 있다.
이하, 도 11을 참조하여, 일 실시예에 따른 전자 장치의 동작에 대하여 설명한다.
도 11은 일 실시예에 따른 전자 장치의 동작을 나타낸 흐름도(1100)이다. 이하에서 설명하는 전자 장치의 동작들은 도 1의 전자 장치(101) 또는 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다.
동작 1101에서, 전자 장치는, 제4 영역에서, 보안 상태 정보를 획득할 수 있다. 일 실시예에 따르면, 전자 장치는, 제4 영역에서, 전자 장치의 보안 상태를 모니터링(monitoring)하는 어플리케이션을 이용하여 전자 장치의 보안 상태 정보를 획득할 수 있다. 예를 들어, 제4 영역은 도 3a의 시큐어 월드의 EL0 영역(SEL0 영역)일 수 있다. 다른 예로, 제4 영역은 도 3b의 시큐어 가상 머신 상의 EL0 영역일 수 있다. 일 실시예에 따르면, 전자 장치는 제4 영역에서 전자 장치의 보안 상태를 모니터링하는 어플리케이션을 실행할 수 있다. 일 실시예에 따르면, 전자 장치의 보안 상태를 모니터링하는 어플리케이션은 적어도 하나의 보안 지표에 대한 모니터링 결과를 포함하는 보안 상태 정보를 획득할 수 있다. 일 실시예에 따르면, 보안 상태 정보는 보안 침해 정도를 나타낼 수 있다. 예를 들어, 전자 장치는 적어도 하나의 보안 지표에 대한 모니터링 결과에 기반하여 적어도 하나의 보안 지표 각각에 대해 보안 침해 여부를 결정할 수 있다. 예를 들어, 전자 장치는 '보안 침해 상태' 또는 '보안 유지 상태'로 보안 침해 여부를 결정할 수 있으나, 이에 한정되는 것은 아니다. 전자 장치는 '보안 침해 상태'로 판단된 지표의 개수에 기반하여 보안 침해 정도를 결정할 수 있다.
동작 1103에서, 전자 장치는 보안 침해 정도 및 적어도 하나의 제1 디바이스에 따라, 지정된 적어도 하나의 제2 디바이스 또는 지정된 적어도 하나의 제2 디바이스가 알림을 제공하는 방법을 결정할 수 있다. 일 실시예에 따르면, 적어도 하나의 제1 디바이스는, 전자 장치가 동작 여부를 감지하는 대상이 되는 디바이스일 수 있다. 일 실시예에 따르면, 지정된 적어도 하나의 제2 디바이스는, 전자 장치가 적어도 하나의 제1 디바이스가 동작 중임을 알리는 디바이스로 지정된 디바이스일 수 있다. 일 실시예에 따르면, 전자 장치는, 보안 침해 정도가 동일하더라도 동작 감지 대상이 되는 적어도 하나의 제1 디바이스가 어떤 디바이스인지에 따라 지정된 적어도 하나의 제2 디바이스를 다르게 결정할 수 있고, 동작 감지 대상이 동일하더라도 보안 침해 정도에 따라 지정된 적어도 하나의 제2 디바이스를 다르게 결정할 수 있다. 일 실시예에 따르면, 전자 장치는 보안 침해 정도에 따라 지정된 적어도 하나의 제2 디바이스의 개수 또는 종류(또는, 유형) 중 적어도 하나를 다르게 결정할 수 있다. 예를 들어, 전자 장치는 보안 침해 정도가 제1 값임에 따라 LED를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알리고, 보안 침해 정도가 제1 값보다 높은 제2 값임에 따라 LED 및 바이브레이터를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알리고, 보안 침해 정도가 제2 값보다 높은 제3 값임에 따라 LED, 바이브레이터, 및 디스플레이를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알리도록 결정할 수 있다. 일 실시예에 따르면, 전자 장치는 적어도 하나의 제1 디바이스에 따라 지정된 적어도 하나의 제2 디바이스의 개수 또는 종류(또는, 유형) 중 적어도 하나를 다르게 결정할 수 있다. 예를 들어, 전자 장치는 마이크의 동작을 감지하는 경우 바이브레이터를 이용하여 마이크가 동작 중임을 알리고, 카메라의 동작을 감지하는 경우 바이브레이터 및 디스플레이를 이용하여 카메라가 동작 중임을 알릴 수 있다.
일 실시예에 따르면, 전자 장치는 보안 침해 정도 및 적어도 하나의 제1 디바이스에 따라 지정된 적어도 하나의 제2 디바이스가 알림을 제공하는 방법을 다르게 결정할 수 있다. 예를 들어, 전자 장치는 마이크 및 카메라에 대하여 바이브레이터를 이용하여 마이크 또는 카메라가 동작 중임을 알리는 것으로 설정되어 있을 수 있다. 예를 들어, 전자 장치는 보안 침해 정도가 높을수록 진동 주기를 짧게 결정할 수 있다. 예를 들어, 전자 장치는 마이크의 동작을 감지하는 경우의 진동 세기보다 카메라의 동작을 감지하는 경우의 진동 세기가 더 세도록 결정할 수 있다.
동작 1105에서, 전자 장치는 지정된 적어도 하나의 제2 디바이스를 이용하여 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다. 일 실시예에 따르면, 전자 장치는 적어도 하나의 제1 디바이스의 동작을 감지할 수 있다. 전자 장치는 적어도 하나의 제1 디바이스를 식별할 수 있다. 전자 장치는 적어도 하나의 제1 디바이스의 동작을 감지 시에 획득된 보안 상태 정보에 기반하여 전자 장치의 보안 침해 정도를 결정할 수 있다. 상술한 동작 1103에서 전자 장치는 식별된 적어도 하나의 제1 디바이스 및 결정된 보안 침해 정도에 따라 지정된 적어도 하나의 제2 디바이스 및 지정된 적어도 하나의 제2 디바이스의 알림 방법을 결정할 수 있다. 동작 1105에서 전자 장치는 동작 1103에서 결정된 지정된 적어도 하나의 제2 디바이스 및 그의 알림 방법에 따라 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 전자 장치(예: 도 1의 전자 장치(101), 도 8의 전자 장치(801), 또는 도 10의 전자 장치(1001))는, 메모리(예: 도 1의 메모리(130), 또는 도 7a 및 도 7b의 메모리(780)), 및 상기 메모리와 작동적으로 연결된 프로세서(예: 도 1의 프로세서(120))를 포함하고, 상기 프로세서는, 제1 권한으로 동작하는 제1 영역에서 사용자 어플리케이션(예: 도 1 및 도 2의 어플리케이션(146), 도 3a 또는 도 3b의 안드로이드 프레임워크(310), 또는 도 6의 카메라 어플리케이션(610))을 실행하고, 상기 제1 권한보다 높은 제2 권한으로 동작하는 제2 영역에서 운영 체제(예: 도 1 및 도 2의 운영 체제(142), 도 3a 또는 도 3b의 안드로이드 리눅스 커널(320), 또는 도 6의 카메라 드라이버(620))를 실행하고, 상기 메모리는, 실행 시에, 프로세서가, 상기 제2 권한보다 높은 제3 권한으로 동작하는 제3 영역에서, 상기 전자 장치에 포함된 적어도 하나의 제1 디바이스(예: 도 1의 카메라 모듈(180), 또는 입력 모듈(150))의 동작을 감지하고, 상기 제3 영역에서, 상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역과 실행 환경이 분리된 제4 영역으로 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 전달하고, 상기 제4 영역에서, 지정된 적어도 하나의 제2 디바이스(예: 도 1의 디스플레이 모듈(160), 햅틱 모듈(179), 또는 전자 장치(102), 도 6의 보안 디스플레이(690), 도 7a 및 도 7b의 디스플레이(760), 또는 도 8의 디스플레이(860))를 이용하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알리도록 하는 하나 이상의 인스트럭션들(instructions)을 저장하고, 상기 제4 영역은, 상기 제3 영역에서 실행되는 하이퍼바이저(hypervisor)(예: 도 2의 하이퍼바이저(291), 도 3a 또는 도 3b의 하이퍼바이저(330), 또는 도 6의 하이퍼바이저(630))에 의해 제1 가상 머신(virtual machine)(예: 도 3b의 안드로이드 가상 머신(Android VM)) 상의 영역인 상기 제1 영역 및 상기 제2 영역과 실행 환경이 분리된 제2 가상 머신(예: 도 3b의 시큐어 가상 머신(Secure VM)) 상의 영역일 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 전자 장치는, 디스플레이(예: 도 1의 디스플레이 모듈(160), 도 7a 및 도 7b의 디스플레이(760), 또는 도 8의 디스플레이(860))를 더 포함하고, 상기 인스트럭션들은, 상기 프로세서가, 디바이스의 동작 여부에 대한 알림의 대상이 되는 상기 적어도 하나의 제1 디바이스를 선택하도록 하는 제1 사용자 인터페이스 및 상기 적어도 하나의 제1 디바이스 각각에 대하여 디바이스의 동작 여부에 대한 알림 디바이스가 되는 상기 지정된 적어도 하나의 제2 디바이스를 선택하도록 하는 제2 사용자 인터페이스를 상기 디스플레이에 표시하도록 할 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 메모리는, 상기 적어도 하나의 제1 디바이스가 맵핑(mapping)된 영역(예: 도 6의 카메라의 입출력과 관련된 레지스터(682))을 포함하고, 상기 인스트럭션들은, 상기 프로세서가, 상기 맵핑된 영역에 전달되는 읽기(read) 또는 쓰기(write) 명령을 상기 제1 영역 또는 상기 제2 영역에서 실행하고, 상기 읽기 또는 쓰기 명령에 기반하여 상기 제3 영역으로의 트랩(trap)을 발생시킴으로써, 상기 제3 영역에서 상기 적어도 하나의 제1 디바이스의 동작을 감지하도록 할 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 제4 영역에서, 상기 전자 장치의 보안 상태를 모니터링하는 어플리케이션을 이용하여 상기 전자 장치의 보안 상태 정보를 획득하고, 상기 획득된 보안 상태 정보 및 상기 적어도 하나의 제1 디바이스가 어떤 디바이스인지에 기반하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알리도록 할 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 보안 상태 정보는 보안 침해 정도를 나타내며, 상기 인스트럭션들은, 상기 프로세서가, 상기 보안 침해 정도 및 상기 적어도 하나의 제1 디바이스에 따라 상기 지정된 적어도 하나의 제2 디바이스를 결정하거나, 상기 지정된 적어도 하나의 제2 디바이스가 알림을 제공하는 방법을 달리 하도록 할 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 제3 영역에서, 상기 적어도 하나의 제1 디바이스에 대한 감지 기능의 활성화 여부를 결정하고, 상기 적어도 하나의 제1 디바이스의 감지 기능이 활성화된 것으로 결정함에 기반하여 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 상기 제4 영역으로 전달하고, 상기 적어도 하나의 제1 디바이스의 감지 기능이 활성화되지 않은 것으로 결정함에 기반하여 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 상기 제4 영역으로 전달하는 동작을 수행하지 않거나 상기 동작의 수행을 감소시키도록 할 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 제1 영역은 상기 제1 가상 머신 상의 EL(exception level)0 영역이고, 상기 제2 영역은 상기 제1 가상 머신 상의 EL1 영역이고, 상기 제3 영역은 상기 제1 가상 머신 상의 EL2 영역이고, 상기 제4 영역은 상기 제2 가상 머신 상의 EL0 영역일 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 전자 장치(예: 도 1의 전자 장치(101), 도 8의 전자 장치(801), 또는 도 10의 전자 장치(1001))는, 메모리(예: 도 1의 메모리(130), 또는 도 7a 및 도 7b의 메모리(780)), 및 상기 메모리와 작동적으로 연결된 프로세서(예: 도 1의 프로세서(120))를 포함하고, 상기 프로세서는, 제1 권한으로 동작하는 제1 영역에서 사용자 어플리케이션(예: 도 1 및 도 2의 어플리케이션(146), 도 3a 또는 도 3b의 안드로이드 프레임워크(310), 또는 도 6의 카메라 어플리케이션(610))을 실행하고, 상기 제1 권한보다 높은 제2 권한으로 동작하는 제2 영역에서 운영 체제(예: 도 1 및 도 2의 운영 체제(142), 도 3a 또는 도 3b의 안드로이드 리눅스 커널(320), 또는 도 6의 카메라 드라이버(620))를 실행하고, 상기 메모리는, 실행 시에, 프로세서가, 상기 제2 권한보다 높은 제3 권한으로 동작하는 제3 영역에서, 상기 전자 장치에 포함된 적어도 하나의 제1 디바이스(예: 도 1의 카메라 모듈(180), 또는 입력 모듈(150))의 동작을 감지하고, 상기 제3 영역에서, 상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역이 포함된 노멀 월드(normal world)(예: 도 3a의 노멀 월드(Normal World))와 실행 환경이 분리된 시큐어 월드(secure world)(예: 도 3a의 시큐어 월드(Secure World))에 포함되는 제4 영역으로 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 전달하고, 상기 제4 영역에서, 지정된 적어도 하나의 제2 디바이스(예: 도 1의 디스플레이 모듈(160), 햅틱 모듈(179), 또는 전자 장치(102), 도 6의 보안 디스플레이(690), 도 7a 및 도 7b의 디스플레이(760), 또는 도 8의 디스플레이(860))를 이용하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알리도록 하는 하나 이상의 인스트럭션들(instructions)을 저장할 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 제3 영역에서, 상기 제3 권한보다 높은 권한으로 동작하는 제5 영역을 통해, 상기 제4 영역으로 상기 감지 신호를 전달하도록 하고, 상기 제5 영역은, 상기 노멀 월드와 상기 시큐어 월드 간의 변환(switching)을 지원하는 시큐어 모니터(secure monitor)(예: 도 3a의 시큐어 모니터(340))가 실행되는 영역일 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 제1 영역은 상기 노멀 월드의 EL0 영역이고, 상기 제2 영역은 상기 노멀 월드의 EL1 영역이고, 상기 제3 영역은 상기 노멀 월드의 EL2 영역이고, 상기 제4 영역은 상기 시큐어 월드의 EL0 영역이고, 상기 제5 영역은 EL3 영역일 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 전자 장치(예: 도 1의 전자 장치(101), 도 8의 전자 장치(801), 또는 도 10의 전자 장치(1001))의 동작 방법은, 상기 전자 장치의 프로세서(예: 도 1의 프로세서(120))는, 제1 권한으로 동작하는 제1 영역에서 사용자 어플리케이션(예: 도 1 및 도 2의 어플리케이션(146), 도 3a 또는 도 3b의 안드로이드 프레임워크(310), 또는 도 6의 카메라 어플리케이션(610))을 실행하고, 상기 제1 권한보다 높은 제2 권한으로 동작하는 제2 영역에서 운영 체제(예: 도 1 및 도 2의 운영 체제(142), 도 3a 또는 도 3b의 안드로이드 리눅스 커널(320), 또는 도 6의 카메라 드라이버(620))를 실행하고, 상기 프로세서가, 상기 제2 권한보다 높은 제3 권한으로 동작하는 제3 영역에서, 상기 전자 장치에 포함된 적어도 하나의 제1 디바이스(예: 도 1의 카메라 모듈(180), 또는 입력 모듈(150))의 동작을 감지하고, 상기 프로세서가, 상기 제3 영역에서, 상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역과 실행 환경이 분리된 제4 영역으로 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 전달하고, 상기 제4 영역에서, 지정된 적어도 하나의 제2 디바이스(예: 도 1의 디스플레이 모듈(160), 햅틱 모듈(179), 또는 전자 장치(102), 도 6의 보안 디스플레이(690), 도 7a 및 도 7b의 디스플레이(760), 또는 도 8의 디스플레이(860))를 이용하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알리고, 상기 제4 영역은, 상기 제3 영역에서 실행되는 하이퍼바이저(hypervisor)(예: 도 2의 하이퍼바이저(291), 도 3a 또는 도 3b의 하이퍼바이저(330), 또는 도 6의 하이퍼바이저(630))에 의해 제1 가상 머신(virtual machine)(예: 도 3b의 안드로이드 가상 머신(Android VM)) 상의 영역인 상기 제1 영역 및 상기 제2 영역과 실행 환경이 분리된 제2 가상 머신(예: 도 3b의 시큐어 가상 머신(Secure VM)) 상의 영역일 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 프로세서가, 디바이스의 동작 여부에 대한 알림의 대상이 되는 상기 적어도 하나의 제1 디바이스를 선택하도록 하는 제1 사용자 인터페이스 및 상기 적어도 하나의 제1 디바이스 각각에 대하여 디바이스의 동작 여부에 대한 알림 디바이스가 되는 상기 지정된 적어도 하나의 제2 디바이스를 선택하도록 하는 제2 사용자 인터페이스를 상기 전자 장치의 디스플레이(예: 도 1의 디스플레이 모듈(160), 도 7a 및 도 7b의 디스플레이(760), 또는 도 8의 디스플레이(860))에 표시할 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 프로세서가, 상기 전자 장치의 메모리의 상기 적어도 하나의 제1 디바이스가 맵핑(mapping)된 영역(예: 도 6의 카메라의 입출력과 관련된 레지스터(682))에 전달되는 읽기(read) 또는 쓰기(write) 명령을 상기 제1 영역 또는 상기 제2 영역에서 실행하고, 상기 읽기 또는 쓰기 명령에 기반하여 상기 제3 영역으로의 트랩(trap)을 발생시킴으로써, 상기 제3 영역에서 상기 적어도 하나의 제1 디바이스의 동작을 감지할 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 프로세서가, 상기 제4 영역에서, 상기 전자 장치의 보안 상태를 모니터링하는 어플리케이션을 이용하여 상기 전자 장치의 보안 상태 정보를 획득하고, 상기 획득된 보안 상태 정보 및 상기 적어도 하나의 제1 디바이스가 어떤 디바이스인지에 기반하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 보안 상태 정보는 보안 침해 정도를 나타내며, 상기 프로세서가, 상기 보안 침해 정도 및 상기 적어도 하나의 제1 디바이스에 따라 상기 지정된 적어도 하나의 제2 디바이스를 결정하거나, 상기 지정된 적어도 하나의 제2 디바이스가 알림을 제공하는 방법을 달리 하도록 할 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 프로세서가, 상기 제3 영역에서, 상기 적어도 하나의 제1 디바이스에 대한 감지 기능의 활성화 여부를 결정하고, 상기 적어도 하나의 제1 디바이스의 감지 기능이 활성화된 것으로 결정함에 따라 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 상기 제4 영역으로 전달하고, 상기 적어도 하나의 제1 디바이스의 감지 기능이 활성화되지 않은 것으로 결정함에 따라 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 제4 영역으로 전달하는 동작을 수행하지 않거나 상기 동작의 수행을 감소시키도록 할 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 제1 영역은 상기 제1 가상 머신 상의 EL(exception level)0 영역이고, 상기 제2 영역은 상기 제1 가상 머신 상의 EL1 영역이고, 상기 제3 영역은 EL2 영역이고, 상기 제4 영역은 상기 제2 가상 머신 상의 EL0 영역일 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 전자 장치(예: 도 1의 전자 장치(101), 도 8의 전자 장치(801), 또는 도 10의 전자 장치(1001))의 동작 방법은, 상기 전자 장치의 프로세서(예: 도 1의 프로세서(120))는, 제1 권한으로 동작하는 제1 영역에서 사용자 어플리케이션(예: 도 1 및 도 2의 어플리케이션(146), 도 3a 또는 도 3b의 안드로이드 프레임워크(310), 또는 도 6의 카메라 어플리케이션(610))을 실행하고, 상기 제1 권한보다 높은 제2 권한으로 동작하는 제2 영역에서 운영 체제(예: 도 1 및 도 2의 운영 체제(142), 도 3a 또는 도 3b의 안드로이드 리눅스 커널(320), 또는 도 6의 카메라 드라이버(620))를 실행하고, 상기 프로세서가, 상기 제2 권한보다 높은 제3 권한으로 동작하는 제3 영역에서, 상기 전자 장치에 포함된 적어도 하나의 제1 디바이스(예: 도 1의 카메라 모듈(180), 또는 입력 모듈(150))의 동작을 감지하고, 상기 프로세서가, 상기 제3 영역에서, 상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역이 포함된 노멀 월드(normal world)(예: 도 3a의 노멀 월드(Normal World))와 실행 환경이 분리된 시큐어 월드(secure world)(예: 도 3a의 시큐어 월드(Secure World))에 포함되는 제4 영역으로 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 전달하고, 상기 제4 영역에서, 지정된 적어도 하나의 제2 디바이스(예: 도 1의 디스플레이 모듈(160), 햅틱 모듈(179), 또는 전자 장치(102), 도 6의 보안 디스플레이(690), 도 7a 및 도 7b의 디스플레이(760), 또는 도 8의 디스플레이(860))를 이용하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알릴 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 프로세서가, 상기 제3 영역에서, 상기 제3 권한보다 높은 권한으로 동작하는 제5 영역을 통해, 상기 제4 영역으로 상기 감지 신호를 전달하고, 상기 제5 영역은, 상기 노멀 월드와 상기 시큐어 월드 간의 변환(switching)을 지원하는 시큐어 모니터(secure monitor)(예: 도 3a의 시큐어 모니터(340))가 실행되는 영역일 수 있다.
본 문서에 개시되는 일 실시예에 따르면, 상기 제1 영역은 상기 노멀 월드의 EL0 영역이고, 상기 제2 영역은 상기 노멀 월드의 EL1 영역이고, 상기 제3 영역은 상기 노멀 월드의 EL2 영역이고, 상기 제4 영역은 상기 시큐어 월드의 EL0 영역이고, 상기 제5 영역은 EL3 영역일 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 가전 장치 등을 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있는 것으로 이해될 수 있다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어, 또는 이들의 조합으로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않을 수 있고, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.본 개시가 다양한 예시적 실시예를 참조하여 예시되고 설명되었지만, 다양한 예시적 실시예로 제한되지 않고 예시적인 것으로 의도된 것으로 이해될 것이다. 또한, 첨부된 청구범위 및 그 균등물을 포함하는 본 개시의 진정한 사상 및 전체 범위를 벗어나지 않고 형태 및 세부사항의 다양한 변경이 이루어질 수 있다는 것이 당업자에 의해 이해될 것이다. 본 명세서에 기재된 임의의 실시예(들)은 본 명세서에 기재된 임의의 다른 실시예(들)와 함께 사용될 수 있음이 또한 이해될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    메모리; 및
    상기 메모리와 작동적으로 연결된 적어도 하나의 프로세서를 포함하고,
    상기 프로세서는, 제1 권한으로 동작하는 제1 영역에서 사용자 어플리케이션을 실행하고, 상기 제1 권한보다 높은 제2 권한으로 동작하는 제2 영역에서 운영 체제를 실행하도록 설정되고,
    상기 메모리는, 실행 시에, 프로세서가,
    상기 제2 권한보다 높은 제3 권한으로 동작하는 제3 영역에서, 상기 전자 장치에 포함되며 회로를 포함하는 적어도 하나의 제1 디바이스의 동작을 감지하고,
    상기 제3 영역에서, 상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역과 실행 환경이 분리된 제4 영역으로 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 전달하고,
    상기 제4 영역에서, 회로를 포함하는 지정된 적어도 하나의 제2 디바이스를 이용하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알리도록 하는 하나 이상의 인스트럭션들(instructions)을 저장하고,
    상기 제4 영역은, 상기 제3 영역에서 실행되도록 설정된 하이퍼바이저(hypervisor)에 의해 제1 가상 머신(virtual machine) 상의 영역인 상기 제1 영역 및 상기 제2 영역과 실행 환경이 분리된 제2 가상 머신 상의 영역인, 전자 장치.
  2. 청구항 1에 있어서,
    상기 전자 장치는, 디스플레이를 더 포함하고,
    상기 인스트럭션들은, 상기 프로세서가,
    디바이스의 동작 여부에 대한 알림의 대상이 되는 상기 적어도 하나의 제1 디바이스를 선택하도록 하는 제1 사용자 인터페이스 및 상기 적어도 하나의 제1 디바이스 각각에 대하여 디바이스의 동작 여부에 대한 알림을 위해 상기 지정된 적어도 하나의 제2 디바이스를 선택하도록 하는 제2 사용자 인터페이스를 상기 디스플레이에 표시하도록 하는, 전자 장치.
  3. 청구항 1에 있어서,
    상기 메모리는, 상기 적어도 하나의 제1 디바이스가 맵핑(mapping)된 영역을 포함하고,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 맵핑된 영역에 전달되는 읽기(read) 및/또는 쓰기(write) 명령을 상기 제1 영역 및/또는 상기 제2 영역에서 실행하고,
    상기 읽기 및/또는 쓰기 명령에 기반하여 상기 제3 영역으로의 트랩(trap)을 발생시킴으로써, 상기 제3 영역에서 상기 적어도 하나의 제1 디바이스의 동작을 감지하도록 하는, 전자 장치.
  4. 청구항 1에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 제4 영역에서, 상기 전자 장치의 보안 상태를 모니터링하는 어플리케이션을 이용하여 상기 전자 장치의 보안 상태 정보를 획득하고,
    상기 획득된 보안 상태 정보 및 상기 적어도 하나의 제1 디바이스가 어떤 디바이스인지에 기반하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알리도록 하는, 전자 장치.
  5. 청구항 4에 있어서,
    상기 보안 상태 정보는 보안 침해 정도를 나타내며,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 보안 침해 정도 및 상기 적어도 하나의 제1 디바이스에 따라 상기 지정된 적어도 하나의 제2 디바이스를 결정하거나, 및/또는 상기 지정된 적어도 하나의 제2 디바이스가 알림을 제공하는 방법을 달리 하도록 하는, 전자 장치.
  6. 청구항 1에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 제3 영역에서, 상기 적어도 하나의 제1 디바이스에 대한 감지 기능의 활성화 여부를 결정하고,
    상기 적어도 하나의 제1 디바이스의 감지 기능이 활성화된 것으로 결정함에 기반하여 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 상기 제4 영역으로 전달하고,
    상기 적어도 하나의 제1 디바이스의 감지 기능이 활성화되지 않은 것으로 결정함에 기반하여 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 상기 제4 영역으로 전달하는 동작을 수행하지 않도록 하는, 전자 장치.
  7. 청구항 1에 있어서,
    상기 제1 영역은 상기 제1 가상 머신 상의 EL(exception level)0 영역이고, 상기 제2 영역은 상기 제1 가상 머신 상의 EL1 영역이고, 상기 제3 영역은 상기 제1 가상 머신 상의 EL2 영역이고, 상기 제4 영역은 상기 제2 가상 머신 상의 EL0 영역인, 전자 장치.
  8. 전자 장치에 있어서,
    메모리; 및
    상기 메모리와 작동적으로 연결된 프로세서를 포함하고,
    상기 프로세서는, 제1 권한으로 동작하는 제1 영역에서 사용자 어플리케이션을 실행하고, 상기 제1 권한보다 높은 제2 권한으로 동작하는 제2 영역에서 운영 체제를 실행하도록 설정되고,
    상기 메모리는, 실행 시에, 프로세서가,
    상기 제2 권한보다 높은 제3 권한으로 동작하는 제3 영역에서, 상기 전자 장치에 포함되며 회로를 포함하는 적어도 하나의 제1 디바이스의 동작을 감지하고,
    상기 제3 영역에서, 상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역이 포함된 노멀 월드(normal world)와 실행 환경이 분리된 시큐어 월드(secure world)에 포함되는 제4 영역으로 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 전달하고,
    상기 제4 영역에서, 지정된 적어도 하나의 제2 디바이스를 이용하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알리도록 하는 하나 이상의 인스트럭션들(instructions)을 저장하는, 전자 장치.
  9. 전자 장치의 동작 방법에 있어서,
    상기 전자 장치의 프로세서는, 제1 권한으로 동작하는 제1 영역에서 사용자 어플리케이션을 실행하고, 상기 제1 권한보다 높은 제2 권한으로 동작하는 제2 영역에서 운영 체제를 실행하고,
    상기 프로세서가, 상기 제2 권한보다 높은 제3 권한으로 동작하는 제3 영역에서, 상기 전자 장치에 포함된 적어도 하나의 제1 디바이스의 동작을 감지하고,
    상기 프로세서가, 상기 제3 영역에서, 상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역과 실행 환경이 분리된 제4 영역으로 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 전달하고,
    상기 제4 영역에서, 지정된 적어도 하나의 제2 디바이스를 이용하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알리고,
    상기 제4 영역은, 상기 제3 영역에서 실행되는 하이퍼바이저(hypervisor)에 의해 제1 가상 머신(virtual machine) 상의 영역인 상기 제1 영역 및 상기 제2 영역과 실행 환경이 분리된 제2 가상 머신 상의 영역인, 방법.
  10. 청구항 9에 있어서,
    상기 프로세서가, 디바이스의 동작 여부에 대한 알림의 대상이 되는 상기 적어도 하나의 제1 디바이스를 선택하도록 하는 제1 사용자 인터페이스 및 상기 적어도 하나의 제1 디바이스 각각에 대하여 디바이스의 동작 여부에 대한 알림을 위한 상기 지정된 적어도 하나의 제2 디바이스를 선택하도록 하는 제2 사용자 인터페이스를 상기 전자 장치의 디스플레이에 표시하는, 방법.
  11. 청구항 9에 있어서,
    상기 프로세서가, 상기 전자 장치의 메모리의 상기 적어도 하나의 제1 디바이스가 맵핑(mapping)된 영역에 전달되는 읽기(read) 및/또는 쓰기(write) 명령을 상기 제1 영역 및/또는 상기 제2 영역에서 실행하고,
    상기 읽기 및/또는 쓰기 명령에 기반하여 상기 제3 영역으로의 트랩(trap)을 발생시킴으로써, 상기 제3 영역에서 상기 적어도 하나의 제1 디바이스의 동작을 감지하는, 방법.
  12. 청구항 9에 있어서,
    상기 프로세서가, 상기 제4 영역에서, 상기 전자 장치의 보안 상태를 모니터링하는 어플리케이션을 이용하여 상기 전자 장치의 보안 상태 정보를 획득하고,
    상기 획득된 보안 상태 정보 및 상기 적어도 하나의 제1 디바이스가 어떤 디바이스인지에 기반하여 상기 적어도 하나의 제1 디바이스가 동작 중임을 알리는, 방법.
  13. 청구항 12에 있어서,
    상기 보안 상태 정보는 보안 침해 정도를 나타내며,
    상기 프로세서가, 상기 보안 침해 정도 및 상기 적어도 하나의 제1 디바이스에 기반하여 상기 지정된 적어도 하나의 제2 디바이스를 결정하거나, 상기 지정된 적어도 하나의 제2 디바이스가 알림을 제공하는 방법을 달리 하도록 하는, 방법.
  14. 청구항 9에 있어서,
    상기 프로세서가, 상기 제3 영역에서, 상기 적어도 하나의 제1 디바이스에 대한 감지 기능의 활성화 여부를 결정하고,
    상기 적어도 하나의 제1 디바이스의 감지 기능이 활성화된 것으로 결정함에 기반하여 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 상기 제4 영역으로 전달하고,
    상기 적어도 하나의 제1 디바이스의 감지 기능이 활성화되지 않은 것으로 결정함에 기반하여 상기 적어도 하나의 제1 디바이스에 대한 감지 신호를 제4 영역으로 전달하는 동작을 수행하지 않도록 하는, 방법.
  15. 청구항 9에 있어서,
    상기 제1 영역은 상기 제1 가상 머신 상의 EL(exception level)0 영역이고, 상기 제2 영역은 상기 제1 가상 머신 상의 EL1 영역이고, 상기 제3 영역은 EL2 영역이고, 상기 제4 영역은 상기 제2 가상 머신 상의 EL0 영역인, 방법.
PCT/KR2022/009831 2021-07-23 2022-07-07 전자 장치 및 그의 동작 방법 WO2023003233A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/866,760 US20230024628A1 (en) 2021-07-23 2022-07-18 Electronic device and operating method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0097365 2021-07-23
KR1020210097365A KR20230015784A (ko) 2021-07-23 2021-07-23 전자 장치 및 그의 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/866,760 Continuation US20230024628A1 (en) 2021-07-23 2022-07-18 Electronic device and operating method

Publications (1)

Publication Number Publication Date
WO2023003233A1 true WO2023003233A1 (ko) 2023-01-26

Family

ID=84979423

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009831 WO2023003233A1 (ko) 2021-07-23 2022-07-07 전자 장치 및 그의 동작 방법

Country Status (2)

Country Link
KR (1) KR20230015784A (ko)
WO (1) WO2023003233A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108607A (ko) * 2013-02-28 2014-09-12 삼성전자주식회사 보안 데이터 운용 방법 및 이를 지원하는 단말기
KR20140112399A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 어플리케이션 접근 제어 방법 및 이를 구현하는 전자 장치
JP2020095396A (ja) * 2018-12-11 2020-06-18 株式会社リコー 電子デバイス、異常検知方法およびプログラム
KR20210026233A (ko) * 2019-08-29 2021-03-10 삼성전자주식회사 디바이스 리소스에 대한 접근을 제어하기 위한 전자 장치 및 그의 동작 방법
JP2021039600A (ja) * 2019-09-04 2021-03-11 京セラドキュメントソリューションズ株式会社 情報処理装置及び監視プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108607A (ko) * 2013-02-28 2014-09-12 삼성전자주식회사 보안 데이터 운용 방법 및 이를 지원하는 단말기
KR20140112399A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 어플리케이션 접근 제어 방법 및 이를 구현하는 전자 장치
JP2020095396A (ja) * 2018-12-11 2020-06-18 株式会社リコー 電子デバイス、異常検知方法およびプログラム
KR20210026233A (ko) * 2019-08-29 2021-03-10 삼성전자주식회사 디바이스 리소스에 대한 접근을 제어하기 위한 전자 장치 및 그의 동작 방법
JP2021039600A (ja) * 2019-09-04 2021-03-11 京セラドキュメントソリューションズ株式会社 情報処理装置及び監視プログラム

Also Published As

Publication number Publication date
KR20230015784A (ko) 2023-01-31

Similar Documents

Publication Publication Date Title
WO2021060836A1 (ko) 어플리케이션 실행 방법 및 장치
WO2019164098A1 (en) Apparatus and method for providing function associated with keyboard layout
WO2020106019A1 (en) Electronic device and method for providing in-vehicle infotainment service
WO2022119276A1 (ko) 플렉서블 디스플레이 전자 장치 및 그 동작 방법
AU2018321518B2 (en) Method for determining input detection region corresponding to user interface and electronic device thereof
WO2022154264A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2019164204A1 (ko) 전자 장치 및 그의 동작 방법
WO2023058860A1 (ko) 멀티 서명된 apk 파일을 처리하는 전자 장치 및 그 동작 방법
WO2023003233A1 (ko) 전자 장치 및 그의 동작 방법
WO2022103019A1 (ko) 전자 장치 및 전자 장치의 어플리케이션 실행 방법
WO2022203180A1 (ko) 뉴럴 네트워크에 대한 해시 인증을 수행하는 전자 장치 및 그 동작 방법
WO2022065845A1 (ko) 입력 데이터 처리 방법 및 이를 지원하는 전자 장치
WO2022092869A1 (ko) 전자 장치 및 이를 이용한 메모리 보호 방법
WO2022030890A1 (ko) 다중 윈도우 이미지 캡쳐 방법 및 이를 위한 전자 장치
WO2021025424A1 (en) Electronic device controlling luminance and method for controlling luminance thereof
WO2020027458A1 (en) Electronic device and method for independently controlling a plurality of displays
WO2022030777A1 (ko) 메모리 보호 방법 및 전자 장치
WO2022240031A1 (ko) 전자 장치 및 전자 장치의 파일 관리 방법
WO2022177061A1 (ko) 비정상적인 앱을 백그라운드에서 미리 로딩하는 전자 장치 및 그의 동작 방법
WO2022025375A1 (ko) 오디오의 채널의 수를 변환하는 전자 장치 및 전자 장치의 동작 방법
WO2022191400A1 (ko) 반응성의 레벨을 결정하는 프로세서 및 이를 포함하는 전자 장치
WO2021162210A1 (en) Electronic device for controlling processing unit on basis of time spent for generating frame and maximum allowed time and method of operating electronic device
WO2023013886A1 (ko) 분리 권한을 이용하는 전자 장치 및 그 동작 방법
WO2023158136A1 (ko) 메모리 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024071861A1 (ko) 업데이트 방법 및 이를 위한 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22846105

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE