KR20210111554A - Image sensor module and electronic device including image sensor module - Google Patents

Image sensor module and electronic device including image sensor module Download PDF

Info

Publication number
KR20210111554A
KR20210111554A KR1020200026640A KR20200026640A KR20210111554A KR 20210111554 A KR20210111554 A KR 20210111554A KR 1020200026640 A KR1020200026640 A KR 1020200026640A KR 20200026640 A KR20200026640 A KR 20200026640A KR 20210111554 A KR20210111554 A KR 20210111554A
Authority
KR
South Korea
Prior art keywords
image sensor
sensor module
data
processor
electronic device
Prior art date
Application number
KR1020200026640A
Other languages
Korean (ko)
Inventor
강가왕
강화영
김동수
박재형
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200026640A priority Critical patent/KR20210111554A/en
Priority to PCT/KR2021/001415 priority patent/WO2021177606A1/en
Publication of KR20210111554A publication Critical patent/KR20210111554A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

An image sensor module according to various embodiments of the present invention includes an image sensor, and a first processor. The first processor obtains data using the image sensor, determines whether the obtained data corresponds to a predetermined scene, determines a related application when the obtained data corresponds to the predetermined scene, and requests the execution of the related application to the second processor. In addition, various embodiments are possible.

Description

이미지 센서 모듈 및 이를 포함하는 전자 장치{IMAGE SENSOR MODULE AND ELECTRONIC DEVICE INCLUDING IMAGE SENSOR MODULE}Image sensor module and electronic device including same

본 발명의 다양한 실시예들은 이미지 센서 모듈 및 이를 포함하는 전자 장치에 관한 것이다. Various embodiments of the present invention relate to an image sensor module and an electronic device including the same.

전자 장치가 발달함에 따라 전자 장치는 복수의 이미지 센서 모듈을 포함할 수 있다. 예를 들어, 스마트 폰의 경우 후면뿐만 아니라 전면에도 이미지 센서 모듈이 배치될 수 있으며, 후면에 이미지 센서 모듈이 배치되는 경우에도 하나가 아닌 복수의 이미지 센서 모듈이 배치될 수 있다. As electronic devices develop, electronic devices may include a plurality of image sensor modules. For example, in the case of a smart phone, an image sensor module may be disposed on the front as well as the rear, and even when the image sensor module is disposed on the back, a plurality of image sensor modules may be disposed instead of one.

이미지 센서 모듈에 의해 획득된 데이터는 전자 장치의 메인 프로세서로 전송되어 얼굴 인식, 씬 인식 등의 처리가 수행될 수 있다. Data obtained by the image sensor module may be transmitted to the main processor of the electronic device, and processing such as face recognition and scene recognition may be performed.

본 발명은 이미지 센서 모듈 및 이를 포함하는 전자 장치를 제공하는데 있다. An object of the present invention is to provide an image sensor module and an electronic device including the same.

전자 장치의 메인 프로세서에 의해 이미지 센서 모듈이 제어되는 경우, 이미지 센서 모듈을 동작시키기 위해서는 메인 프로세서가 동작하여야 해 소모되는 전력이 클 수 있다. When the image sensor module is controlled by the main processor of the electronic device, the main processor must operate in order to operate the image sensor module, and thus power consumption may be large.

이미지 센서 모듈과 관련된 어플리케이션이 실행되어 이미지 센서 모듈이 동작하는 경우 처음 실행시 반응 속도가 느릴 수 있다.When an application related to the image sensor module is executed and the image sensor module operates, the response speed may be slow when first executed.

이미지 센서 모듈을 이용하는 어플리케이션이 전자 장치에 복수개 설치될 수 있으며, 이를 사용하기 위해서 사용자는 일일이 해당 어플리케이션을 찾아야 할 수 있다.A plurality of applications using the image sensor module may be installed in the electronic device, and in order to use them, the user may have to find the corresponding applications one by one.

본 발명의 다양한 실시예에 따른 이미지 센서 모듈은, 이미지 센서, 및 제1 프로세서를 포함하고, 상기 제1 프로세서는, 상기 이미지 센서를 이용하여 데이터를 획득하고, 상기 획득된 데이터가 정해진 씬(scene)에 해당하는지 판단하고, 상기 획득된 데이터가 정해진 씬에 해당하면, 관련 어플리케이션을 판단하여, 및 상기 관련 어플리케이션의 실행을 제2 프로세서로 요청할 수 있다.An image sensor module according to various embodiments of the present disclosure includes an image sensor and a first processor, wherein the first processor acquires data using the image sensor, and a scene in which the acquired data is determined ), and if the acquired data corresponds to a predetermined scene, a related application may be determined and the execution of the related application may be requested to the second processor.

본 발명의 다양한 실시예에 따른 전자 장치는, 이미지 센서와 제1 프로세서를 포함하는 이미지 센서 모듈, 및 제2 프로세서를 포함하고, 상기 이미지 센서 모듈은, 상기 이미지 센서를 이용하여 데이터를 획득하고, 상기 획득된 데이터가 정해진 씬(scene)에 해당하는지 판단하고, 상기 획득된 데이터가 정해진 씬에 해당하면, 관련 어플리케이션을 추가 등록하고, 및 상기 관련 어플리케이션의 실행을 상기 제2 프로세서로 요청할 수 있다.An electronic device according to various embodiments of the present disclosure includes an image sensor module including an image sensor and a first processor, and a second processor, wherein the image sensor module acquires data using the image sensor, It is determined whether the acquired data corresponds to a predetermined scene, and when the acquired data corresponds to a predetermined scene, a related application may be additionally registered, and the second processor may request execution of the related application.

본 발명의 다양한 실시예에 따른 저장 매체는, 상기 저장 매체에 저장된 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 상기 프로세서와 기능적으로 연결된 이미지 센서를 이용하여 데이터를 획득하는 동작, 상기 획득된 데이터가 정해진 씬(scene)에 해당하는지 판단하는 동작, 상기 획득된 데이터가 정해진 씬에 해당하는 경우, 다른 프로세서를 이용하여 지정된 어플리케이션을 실행하기 위한 명령을 생성하는 동작, 및 상기 획득된 데이터가 정해진 씬에 해당하지 않는 경우, 상기 이미지 센서를 이용하여 다른 데이터를 획득하는 동작을 포함할 수 있다.The storage medium according to various embodiments of the present invention is configured to cause the at least one processor to perform at least one operation when the instructions stored in the storage medium are executed by the at least one processor, wherein the at least one operation is , an operation of acquiring data using an image sensor functionally connected to the processor, an operation of determining whether the acquired data corresponds to a predetermined scene, and an operation of another processor when the acquired data corresponds to a predetermined scene It may include an operation of generating a command for executing a specified application using the image sensor, and acquiring other data by using the image sensor when the acquired data does not correspond to a predetermined scene.

본 발명의 다양한 실시예들에 따르면, 메인 프로세서의 동작을 최소한으로 할 수 있어 소모되는 전력을 줄일 수 있다. According to various embodiments of the present disclosure, the operation of the main processor may be minimized, thereby reducing power consumption.

본 발명의 다양한 실시예들에 따르면, 이미지 센서 모듈이 지정된 모드로 구동될 수 있어 관련 어플리케이션을 바로 실행할 수 있다.According to various embodiments of the present disclosure, since the image sensor module may be driven in a specified mode, a related application may be directly executed.

본 발명의 다양한 실시예들에 따르면, 기타 센서 모듈을 더 이용하는 경우 이미지 센서 모듈을 이용해 획득한 씬 검출의 정확도를 높일 수 있다.According to various embodiments of the present disclosure, when other sensor modules are further used, the accuracy of scene detection obtained using the image sensor module may be increased.

본 발명의 다양한 실시예들에 따르면, 전자 장치는 설치된 복수의 어플리케이션 중 관련 어플리케이션을 표시할 수 있다.According to various embodiments of the present disclosure, the electronic device may display a related application among a plurality of installed applications.

도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는 본 발명의 다양한 실시예에 따른 전자 장치의 일부 구성을 나타낸 것이다.
도 3은 본 발명의 다양한 실시예에 따른 전자 장치의 각 구성간의 동작 흐름도를 나타낸 것이다.
도 4는 본 발명의 다양한 실시예에 따른 이미지 센서 모듈의 동작 흐름도를 나타낸 도면이다.
도 5는 본 발명의 다양한 실시예에 따라 이미지 센서 모듈이 카메라 어플리케이션의 실행을 요청하는 동작의 흐름도를 나타낸 도면이다.
도 6은 본 발명의 다양한 실시예에 따라 이미지 센서 모듈이 코드 인식 어플리케이션의 실행을 요청하는 동작의 흐름도를 나타낸 도면이다.
도 7은 본 발명의 다양한 실시예에 따라 이미지 센서 모듈이 지능형 어플리케이션의 실행을 요청하는 동작의 흐름도를 나타낸 도면이다.In connection with the description of the drawings, the same or similar reference numerals may be used for the same or similar components.
1 is a block diagram of an electronic device in a network environment, according to various embodiments of the present disclosure;
2 illustrates a partial configuration of an electronic device according to various embodiments of the present disclosure.
3 is a flowchart illustrating an operation between components of an electronic device according to various embodiments of the present disclosure.
4 is a diagram illustrating an operation flowchart of an image sensor module according to various embodiments of the present disclosure.
5 is a diagram illustrating an operation of an image sensor module requesting execution of a camera application according to various embodiments of the present disclosure;
6 is a diagram illustrating an operation of an image sensor module requesting execution of a code recognition application according to various embodiments of the present disclosure;
7 is a flowchart illustrating an operation of an image sensor module requesting execution of an intelligent application according to various embodiments of the present disclosure.

이하, 본 문서의 다양한 실시예가 첨부된 도면을 참조하여 기재될 수 있다. Hereinafter, various embodiments of the present document may be described with reference to the accompanying drawings.

도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments. Referring to FIG. 1 , in a network environment 100 , the electronic device 101 communicates with the electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 . According to an embodiment, the electronic device 101 includes a processor 120 , a memory 130 , an input device 150 , a sound output device 155 , a display device 160 , an audio module 170 , and a sensor module ( 176 , interface 177 , haptic module 179 , camera module 180 , power management module 188 , battery 189 , communication module 190 , subscriber identification module 196 , or antenna module 197 . ) may be included. In some embodiments, at least one of these components (eg, the display device 160 or the camera module 180 ) may be omitted or one or more other components may be added to the electronic device 101 . In some embodiments, some of these components may be implemented as one integrated circuit. For example, the sensor module 176 (eg, a fingerprint sensor, an iris sensor, or an illuminance sensor) may be implemented while being embedded in the display device 160 (eg, a display).

프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.The processor 120, for example, executes software (eg, the program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120 . It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be loaded into the volatile memory 132 , process commands or data stored in the volatile memory 132 , and store the resulting data in the non-volatile memory 134 . According to an embodiment, the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor), and a secondary processor 123 (eg, a graphic processing unit, an image signal processor) that can operate independently or together with the main processor 121 . , a sensor hub processor, or a communication processor). Additionally or alternatively, the auxiliary processor 123 may be configured to use less power than the main processor 121 or to be specialized for a designated function. The auxiliary processor 123 may be implemented separately from or as a part of the main processor 121 .

보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. The auxiliary processor 123 may be, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or when the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display device 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states. According to an embodiment, the coprocessor 123 (eg, an image signal processor or a communication processor) may be implemented as part of another functionally related component (eg, the camera module 180 or the communication module 190). have.

메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다. The memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176 ) of the electronic device 101 . The data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto. The memory 130 may include a volatile memory 132 or a non-volatile memory 134 .

프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다. The program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .

입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다. The input device 150 may receive a command or data to be used by a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 . The input device 150 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).

음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.The sound output device 155 may output a sound signal to the outside of the electronic device 101 . The sound output device 155 may include, for example, a speaker or a receiver. The speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.

표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다. The display device 160 may visually provide information to the outside (eg, a user) of the electronic device 101 . The display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device. According to an embodiment, the display device 160 may include a touch circuitry configured to sense a touch or a sensor circuit (eg, a pressure sensor) configured to measure the intensity of a force generated by the touch. have.

오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.The audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input device 150 , or an external electronic device (eg, a sound output device 155 ) connected directly or wirelessly with the electronic device 101 . The sound may be output through the electronic device 102 (eg, a speaker or a headphone).

센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, 적외선(IR(infrared ray)) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다. The sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do. According to an embodiment, the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor. , a biometric sensor, a temperature sensor, a humidity sensor, or an illuminance sensor.

인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD(secure digital) 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.The interface 177 may support one or more specified protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ). According to an embodiment, the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, a secure digital (SD) card interface, or an audio interface.

연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.The connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ). According to an embodiment, the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).

햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.The haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense. According to an embodiment, the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.

카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.The camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.

전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.The power management module 188 may manage power supplied to the electronic device 101 . According to an embodiment, the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).

배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.The battery 189 may supply power to at least one component of the electronic device 101 . According to one embodiment, the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.

통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN(wide area network))와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI(international mobile subscriber identity))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다. The communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication through the established communication channel. The communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication. According to one embodiment, the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a local area network (LAN) communication module, or a power line communication module). Among these communication modules, a corresponding communication module may be a first network 198 (eg, a short-range communication network such as Bluetooth, WiFi direct, or infrared data association (IrDA)) or a second network 199 (eg, a cellular network, the Internet, or It may communicate with an external electronic device through a computer network (eg, a telecommunication network such as a LAN or a wide area network (WAN)). These various types of communication modules may be integrated into one component (eg, a single chip) or may be implemented as a plurality of components (eg, multiple chips) separate from each other. The wireless communication module 192 communicates with the first network 198 or the second network 199 using subscriber information (eg, international mobile subscriber identity (IMSI)) stored in the subscriber identification module 196 . The electronic device 101 may be identified and authenticated within the same communication network.

안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB(printed circuit board)) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.The antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device). According to an embodiment, the antenna module 197 may include one antenna including a conductor formed on a substrate (eg, a printed circuit board (PCB)) or a radiator formed of a conductive pattern. According to an embodiment, the antenna module 197 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna. According to some embodiments, other components (eg, a radio frequency integrated circuit (RFIC)) other than the radiator may be additionally formed as a part of the antenna module 197 .

상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.At least some of the components are connected to each other through a communication method between peripheral devices (eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)) and a signal ( e.g. commands or data) can be exchanged with each other.

일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.According to an embodiment, the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 . Each of the electronic devices 102 and 104 may be the same or a different type of device as the electronic device 101 . According to an embodiment, all or a part of operations executed in the electronic device 101 may be executed in one or more of the external electronic devices 102 , 104 , or 108 . For example, when the electronic device 101 needs to perform a function or service automatically or in response to a request from a user or other device, the electronic device 101 may perform the function or service itself instead of executing the function or service itself. Alternatively or additionally, one or more external electronic devices may be requested to perform at least a part of the function or the service. The one or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 . The electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request. For this purpose, for example, cloud computing, distributed computing, or client-server computing technology may be used.

본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 개시의 다양한 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.The electronic device according to various embodiments disclosed in this document may have various types of devices. The electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device. The electronic device according to various embodiments of the present disclosure is not limited to the aforementioned devices.

도 2는 본 발명의 다양한 실시예에 따른 전자 장치의 일부 구성을 나타낸 것이다.2 illustrates a partial configuration of an electronic device according to various embodiments of the present disclosure.

본 발명의 다양한 실시예에 따르면, 전자 장치(예: 도 1의 전자 장치(101))는 이미지 센서 모듈(200), 및 메인 프로세서(280)(예: 도 1의 프로세서(120))를 포함할 수 있고, 기타 센서 모듈(240)을 더 포함할 수 있다.According to various embodiments of the present disclosure, an electronic device (eg, the electronic device 101 of FIG. 1 ) includes an image sensor module 200 and a main processor 280 (eg, the processor 120 of FIG. 1 ). and may further include other sensor modules 240 .

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(200)은 이미지 센서(210)와 프로세서(220)를 포함할 수 있다. 이미지 센서 모듈(200)은, 예를 들면, 메모리(230)를 더 포함할 수 있다. 일 실시예에 따르면, 이미지 센서 모듈(200)은 저전력으로 구동할 수 있어 항시 실행(always on) 모드로 동작할 수 있다. 일 실시예에 따르면, 이미지 센서 모듈(200)은 일정 시간동안 입력받은 초당 프레임의 수(frame per second, fps)를 낮추거나, 서브 샘플링(sub sampling) 방식을 이용하거나, 해상도(예: 데이터 비트 수)를 낮춰 저전력으로 구동할 수 있다. 이미지 센서 모듈(200)은 저전력으로 구동하기 위해 픽셀의 컬러값을 그레이(gray)로 변환하여 처리할 수 있다. According to various embodiments of the present disclosure, the image sensor module 200 may include an image sensor 210 and a processor 220 . The image sensor module 200 may further include, for example, a memory 230 . According to an embodiment, the image sensor module 200 may be driven with low power to operate in an always on mode. According to an embodiment, the image sensor module 200 lowers the number of frames per second (fps) received for a predetermined time, uses a sub-sampling method, or uses a resolution (eg, data bits). number) can be lowered to enable low-power operation. The image sensor module 200 may convert a color value of a pixel into gray for driving with low power.

본 발명의 다양한 실시예에 따르면, 이미지 센서(210)는 피사체로부터 방출 또는 반사되어 전달된 빛을 전기적인 신호로 변환함으로써, 피사체에 대응하는 이미지를 획득할 수 있다. 이미지 센서(210)는, 예를 들면, RGB(red-green-blue) 센서, BW(black and white) 센서, IR(infrared ray) 센서, 또는 UV(ultraviolet ray) 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서(210), 동일한 속성을 갖는 복수의 이미지 센서(210)들, 또는 다른 속성을 갖는 복수의 이미지 센서(210)들일 수 있다. 또한, 이미지 센서(210)는, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용해 구현될 수도 있다. According to various embodiments of the present disclosure, the image sensor 210 may obtain an image corresponding to the subject by converting light emitted or reflected from the subject into an electrical signal. The image sensor 210 is, for example, an image sensor having different properties, such as a red-green-blue (RGB) sensor, a black and white (BW) sensor, an infrared (IR) sensor, or an ultraviolet ray (UV) sensor. It may be one image sensor 210 selected from among, a plurality of image sensors 210 having the same property, or a plurality of image sensors 210 having different properties. Also, the image sensor 210 may be implemented using a charged coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor.

본 발명의 다양한 실시예에 따르면, 프로세서(220)는 이미지 센서(210)로 입력된 데이터 또는 메모리(230)에 저장된 데이터를 처리할 수 있다. 일 실시예에 따르면, 프로세서(220)는 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening))을 처리할 수 있다. 추가적으로 또는 대체적으로, 프로세서(220)는 전자 장치(101)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(210))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 프로세서(220)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(230)에 다시 저장될 수 있다. 또한, 프로세서(220)에 의해 처리된 이미지는 전자 장치(101)의 구성 요소(예: 도 1의 메모리(130), 도 1의 표시 장치(160)) 또는 외부 전자 장치(예: 도 1의 전자 장치(102), 도 1의 전자 장치(104), 또는 도 1의 서버(108))로 제공될 수 있다. 일 실시예에 따르면, 프로세서(220)는 전자 장치(101)의 프로세서(예: 도 1의 프로세서(120))의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 프로세서(220)가, 전자 장치(101)의 프로세서(120)와 별도의 프로세서로 구성된 경우, 프로세서(220)에 의해 처리된 적어도 하나의 이미지는 프로세서(120)를 이용하지 않고, 표시 장치(예: 도 1의 표시 장치(160))를 통해 표시될 수 있다. 또한, 프로세서(220)에 의해 처리된 적어도 하나의 이미지는 프로세서(120)에 의하여 그대로 또는 추가 처리되어 표시 장치(예: 도 1의 표시 장치(160))를 통해 표시될 수 있다.According to various embodiments of the present disclosure, the processor 220 may process data input to the image sensor 210 or data stored in the memory 230 . According to an embodiment, the processor 220 generates a depth map, 3D modeling, panorama generation, feature point extraction, image synthesis, or image compensation (eg, noise reduction, resolution adjustment, brightness adjustment, blurring ( blurring, sharpening, or softening). Additionally or alternatively, the processor 220 controls at least one (eg, the image sensor 210 ) of components included in the electronic device 101 (eg, exposure time control, readout timing control, etc.) can be performed. The image processed by the processor 220 may be stored back in the memory 230 for further processing. In addition, the image processed by the processor 220 is a component of the electronic device 101 (eg, the memory 130 of FIG. 1 , the display device 160 of FIG. 1 ) or an external electronic device (eg, the image of FIG. 1 ). The electronic device 102 , the electronic device 104 of FIG. 1 , or the server 108 of FIG. 1 ) may be provided. According to an embodiment, the processor 220 may be configured as at least a part of the processor of the electronic device 101 (eg, the processor 120 of FIG. 1 ) or a separate processor operated independently of the processor 120 . can When the processor 220 is configured as a processor separate from the processor 120 of the electronic device 101 , at least one image processed by the processor 220 does not use the processor 120 , and the display device (eg, : Can be displayed through the display device 160 of FIG. 1 . In addition, at least one image processed by the processor 220 may be displayed through the display device (eg, the display device 160 of FIG. 1 ) as it is or additionally processed by the processor 120 .

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(200)은, 다양한 모드로 동작할 수 있다. 예를 들면, 이미지 센서 모듈(200)은, 저전력으로 구동하는 '항시 실행(always on) 모드'나, 이미지 센서(210) 및/또는 기타 센서 모듈(240)을 이용하여 획득된 정보(예: 주변 환경)에 기반하여 저전력의 단계를 변경할 수 있는 '어댑티브(adaptive) 모드'로 동작할 수 있다. 예를 들면, 이미지 센서 모듈(200)은 이미지 센서(210) 및/또는 기타 센서 모듈(240)을 이용하여 획득된 정보가 실외로 판단된 경우, 이미지 센서(210) 및/또는 기타 센서 모듈(240)에 포함된 센서(예: 이미지 센서(210), 자이로 센서(250))의 센싱 간격을 조절(예: 증가)하여 소모되는 전력을 항시 실행 모드보다 더 줄일 수 있다. 이미지 센서 모듈(200)이 동작할 수 있는 모드는 항시 실행 모드, 어댑티브 모드에 한정하는 것은 아니며, 다양한 모드를 더 포함할 수 있다.According to various embodiments of the present disclosure, the image sensor module 200 may operate in various modes. For example, the image sensor module 200 may include an 'always on mode' driven with low power or information acquired using the image sensor 210 and/or other sensor modules 240 (eg: It can operate in an 'adaptive mode' that can change the low-power level based on the surrounding environment). For example, when the image sensor module 200 determines that the information acquired using the image sensor 210 and/or other sensor module 240 is outdoors, the image sensor 210 and/or other sensor module ( 240) by adjusting (eg, increasing) the sensing interval of the sensors (eg, the image sensor 210 and the gyro sensor 250), the power consumption may be further reduced than in the always-on mode. The mode in which the image sensor module 200 may operate is not limited to the always running mode and the adaptive mode, and may further include various modes.

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(200)은, 카메라 모듈(예: 도 1의 카메라 모듈(180))과 동일하거나 유사할 수 있으나, 이에 한정되는 것은 아니다. 예를 들면, 이미지 센서 모듈(200)은, 도 1의 카메라 모듈(180)을 포함할 수 있고, 도 1의 카메라 모듈(180)과 독립적으로 구성될 수 있다. 또한, 이미지 센서 모듈(200)은, 외부 전자 장치(예: 도 1의 전자 장치(102), 전자 장치(104), 또는 서버(108))에 포함될 수 있다.According to various embodiments of the present disclosure, the image sensor module 200 may be the same as or similar to a camera module (eg, the camera module 180 of FIG. 1 ), but is not limited thereto. For example, the image sensor module 200 may include the camera module 180 of FIG. 1 , and may be configured independently of the camera module 180 of FIG. 1 . Also, the image sensor module 200 may be included in an external electronic device (eg, the electronic device 102 , the electronic device 104 of FIG. 1 , or the server 108 ).

일 실시예에 따르면, 전자 장치(101)는 각각 다른 속성(예: 화각) 또는 기능을 가진 복수의 이미지 센서 모듈(210)들을 포함할 수 있다. 이런 경우, 예를 들면, 복수의 이미지 센서 모듈(210)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라, 또는 IR 카메라(time of flight camera, structured light camera)일 수 있다. 예를 들면, 서로 다른 화각을 갖는 렌즈를 포함하는 이미지 센서 모듈(210)을 복수로 포함하는 전자 장치(101)는 사용자의 선택에 따라 화각을 변경하도록 제어할 수 있다. 유사하게, 일 실시예에 따르면, 복수의 이미지 센서 모듈(210)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.According to an embodiment, the electronic device 101 may include a plurality of image sensor modules 210 each having different properties (eg, angle of view) or functions. In this case, for example, at least one of the plurality of image sensor modules 210 may be a wide-angle camera, and at least the other may be a telephoto camera or an IR camera (time of flight camera, structured light camera). For example, the electronic device 101 including a plurality of image sensor modules 210 including lenses having different angles of view may control the angle of view to be changed according to a user's selection. Similarly, according to an embodiment, at least one of the plurality of image sensor modules 210 may be a front camera, and at least the other may be a rear camera.

본 발명의 다양한 실시예에 따르면, 프로세서(220)는 처리된 데이터에 얼굴, 나무, 동물, QR(quick response)코드, 또는 바코드를 포함되는지 판단할 수 있다. 일 실시예에 따르면, 프로세서(220)는 포함된 피사체에 기초해 씬을 인식할 수 있고, 인식된 씬에 대응하는 어플리케이션을 결정할 수 있다. 프로세서(220)는 결정된 어플리케이션의 실행을 메인 프로세서(280)(예: 도 1의 메인 프로세서(121))에 요청할 수 있다. 도 2에서는, 일 실시예로, 이미지 센서 모듈(200)이 메인 프로세서(280)와 연결되어 있지만, 메인 프로세서(280)는 도 1의 프로세서(120) 또는/및 보조 프로세서(123)와도 연결될 수 있다. 예를 들면, 이미지 센서 모듈(200)은, 도 1의 프로세서(120) 또는 보조 프로세서(123)와 연결될 수 있고, 상호 신호를 주고 받으며 동작할 수 있다.According to various embodiments of the present disclosure, the processor 220 may determine whether the processed data includes a face, a tree, an animal, a quick response (QR) code, or a barcode. According to an embodiment, the processor 220 may recognize a scene based on the included subject and determine an application corresponding to the recognized scene. The processor 220 may request the main processor 280 (eg, the main processor 121 of FIG. 1 ) to execute the determined application. In FIG. 2 , in one embodiment, the image sensor module 200 is connected to the main processor 280 , but the main processor 280 may also be connected to the processor 120 and/or the auxiliary processor 123 of FIG. 1 . have. For example, the image sensor module 200 may be connected to the processor 120 or the auxiliary processor 123 of FIG. 1 , and may operate by exchanging signals with each other.

본 발명의 다양한 실시예에 따르면, 프로세서(220)는 기타 센서 모듈(240)로부터 입력된 데이터를 더 참조하여 메인 프로세서(280)에서 실행할 어플리케이션을 결정할 수도 있다. 예를 들면, 기타 센서 모듈(240)로부터 입력된 데이터는 주변 환경을 인식하는데 이용될 수 있다. 일 실시예에 따르면, 프로세서(220)는 기타 센서 모듈(240)로부터 입력된 데이터를 이용해 기타 센서 모듈(240)을 포함하는 전자 장치(101)가 이동 중인지 여부 및/또는 전자 장치(101)의 방향, 각도, 또는 속도 등을 판단할 수 있다. 일 실시예에 따르면, 프로세서(220)는, 기타 센서 모듈(240)로부터 입력된 데이터 중 적어도 일부에 기초해 이미지 센서(210)로 입력되어 처리된 데이터가 미리 정해진 씬 중의 하나이면 이에 대응하는 어플리케이션(예: 카메라 어플리케이션, 지능형 어플리케이션(예: 빅스비(BIXBYTM)))을 결정할 수 있다. According to various embodiments of the present disclosure, the processor 220 may determine an application to be executed by the main processor 280 with further reference to data input from the other sensor module 240 . For example, data input from the other sensor module 240 may be used to recognize the surrounding environment. According to an embodiment, the processor 220 uses data input from the other sensor module 240 to determine whether the electronic device 101 including the other sensor module 240 is moving and/or to determine whether the electronic device 101 is moving. A direction, an angle, or a speed may be determined. According to an embodiment, the processor 220 may be configured to, if the data input to the image sensor 210 and processed based on at least a part of data input from the other sensor module 240 is one of predetermined scenes, a corresponding application (eg camera application, intelligent application (eg BIXBY TM )) can be determined.

본 발명의 다양한 실시예에 따르면, 메모리(230)는, 이미지 센서 모듈(200)에 포함될 수 있고, 이미지 센서 모듈(200)의 외부에 독립적으로 구성될 수 있다. 예를 들어, 메모리(230)가, 이미지 센서 모듈(200)에 포함되는 경우, 휘발성 메모리(예: 도 1의 휘발성 메모리(132), 버퍼 메모리)로 구성될 수 있고, 소형으로 구성될 수 있다. 또한 메모리(230)는, 전자 장치(101)의 메모리(예: 도 1의 메모리(130))와 동일하거나 유사할 수 있으나, 이에 한정되는 것은 아니다.According to various embodiments of the present disclosure, the memory 230 may be included in the image sensor module 200 and may be independently configured outside the image sensor module 200 . For example, when the memory 230 is included in the image sensor module 200 , it may be configured as a volatile memory (eg, the volatile memory 132 of FIG. 1 , a buffer memory) and may be configured in a small size. . Also, the memory 230 may be the same as or similar to the memory of the electronic device 101 (eg, the memory 130 of FIG. 1 ), but is not limited thereto.

본 발명의 다양한 실시예에 따르면, 메모리(230)는 이미지 센서(210)를 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 일시 저장할 수 있다. 예를 들어, 셔터의 속도에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(230)에 저장 될 수 있고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)가 표시 장치(예: 도 1의 표시 장치(160))를 통하여 프리뷰(pre-view)될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(230)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 프로세서(220)에 의해 획득되어 처리될 수 있다. According to various embodiments of the present disclosure, the memory 230 may temporarily store at least a portion of an image acquired through the image sensor 210 for a next image processing operation. For example, when image acquisition is delayed according to the shutter speed, or when a plurality of images are acquired at high speed, the acquired original image (eg, a Bayer-patterned image or a high-resolution image) is stored in the memory 230 . and a corresponding copy image (eg, a low-resolution image) may be previewed through a display device (eg, the display device 160 of FIG. 1 ). Thereafter, when a specified condition is satisfied (eg, a user input or a system command), at least a portion of the original image stored in the memory 230 may be obtained and processed by, for example, the processor 220 .

본 발명의 다양한 실시예에 따르면, 기타 센서 모듈(240)은, 도 1의 센서 모듈(176)과 동일하거나 유사할 수 있으나, 이에 한정되는 것은 아니다. 예를 들면, 기타 센서 모듈(240)은, 도 1의 센서 모듈(176)을 포함할 수 있고, 도 1의 센서 모듈(176)과 독립적으로 구성될 수 있다. 또한, 기타 센서 모듈(240)은, 외부 전자 장치(예: 도 1의 전자 장치(102), 전자 장치(104), 또는 서버(108))에 포함될 수 있고, 외부 전자 장치에 포함되는 경우, 네트워크(예: 도 1의 제1 네트워크(198), 제2 네트워크(199))를 통해 이미지 센서 모듈(200), 및/또는 메인 프로세서(280)와 연결될 수 있다. According to various embodiments of the present disclosure, the other sensor module 240 may be the same as or similar to the sensor module 176 of FIG. 1 , but is not limited thereto. For example, the other sensor module 240 may include the sensor module 176 of FIG. 1 , and may be configured independently of the sensor module 176 of FIG. 1 . In addition, the other sensor module 240 may be included in an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108 of FIG. 1), and when included in the external electronic device, It may be connected to the image sensor module 200 and/or the main processor 280 through a network (eg, the first network 198 and the second network 199 of FIG. 1 ).

본 발명의 다양한 실시예에 따르면, 기타 센서 모듈(240)은, 이미지 센서 모듈(200)에 직접 연결되거나 보조 프로세서(예: 도 1의 보조 프로세서(123))를 통해서 이미지 센서 모듈(200)에 연결될 수 있다. 예를 들면, 기타 센서 모듈(240)는, 센서 허브 프로세서를 통해서, 이미지 센서 모듈(200)에 연결될 수 있다. 기타 센서 모듈(240)은, 또한 메인 프로세서(280)와도 연결될 수 있다.According to various embodiments of the present disclosure, the other sensor module 240 is directly connected to the image sensor module 200 or connected to the image sensor module 200 through an auxiliary processor (eg, the auxiliary processor 123 in FIG. 1 ). can be connected For example, the other sensor module 240 may be connected to the image sensor module 200 through a sensor hub processor. Other sensor modules 240 may also be connected to the main processor 280 .

본 발명의 다양한 실시예에 따르면, 메인 프로세서(280)는 전자 장치(101)에 설치된 어플리케이션을 실행할 수 있다. 예를 들면, 메인 프로세서(280)는 사용자의 의해 요청된 어플리케이션 또는 이미지 센서 모듈(200)에 의해 요청된 어플리케이션을 실행할 수 있다. 예를 들면, 메인 프로세서(280)는 메모리(230)의 특정 레지스터를 읽어 이미지 센서 모듈(200)에 의해 요청된 어플리케이션을 실행할 수 있다. 예를 들어, 이미지 센서 모듈(200)에 의해 요청될 수 있는 어플리케이션은 카메라 관련 어플리케이션, 바코드 또는 QR코드 인식 어플리케이션, 지능형 어플리케이션(예: 빅스비(BIXBYTM)) 을 포함할 수 있다.According to various embodiments of the present disclosure, the main processor 280 may execute an application installed in the electronic device 101 . For example, the main processor 280 may execute an application requested by a user or an application requested by the image sensor module 200 . For example, the main processor 280 may read a specific register of the memory 230 and execute an application requested by the image sensor module 200 . For example, applications that may be requested by the image sensor module 200 may include a camera-related application, a barcode or QR code recognition application, and an intelligent application (eg, BIXBY TM ).

본 발명의 다양한 실시예에 따르면, 메인 프로세서(280)는 기타 센서 모듈(240)과 데이터를 주고 받을 수 있다. 예를 들면, 메인 프로세서(280)는 기타 센서 모듈(240)로부터 데이터(예: 센싱 데이터)를 획득할 수 있고, 기타 센서 모듈(240)에 데이터 획득을 위한 정보(예: 명령)를 전달할 수 있다. 본 발명의 다양한 실시예에 따르면, 기타 센서 모듈(240)은 복수의 센서들을 포함할 수 있고, 복수의 센서들로부터 데이터를 획득할 수 있다. 예를 들면, 기타 센서 모듈(240)은, 자이로 센서(250), 가속도 센서(260), 또는 근접 센서(270) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)가 기타 센서 모듈(240)을 포함하는 경우, 자이로 센서(250)는 전자 장치(101)의 방위 변화를 측정할 수 있으며, 가속도 센서(260)는 전자 장치(101)의 가속도를 측정할 수 있다. 예를 들어, 자이로 센서(250)와 가속도 센서(260)를 이용해 측정한 데이터가 일정 시간 동안 일정 범위에서 벗어나지 않으면 전자 장치(101)는 움직임이 없는 것으로 판단할 수 있다. 근접 센서(270)는, 예를 들면, 물체가 접근해 있는지 여부 및 물체가 접근해 있을 때의 위치를 검출하는데 이용될 수 있다. 예를 들어, 바코드 또는 QR코드가 근접해 있는지를 판단하기 위해 근접 센서(270)가 이용될 수 있다. 기타 센서 모듈(240)에 조도 센서(미도시)를 더 포함되는 경우 실내/실외인지, 야간인지가 판단될 수 있다. 그 외에도, 온도 센서(미도시)가 기타 센서 모듈(240)에 더 포함되어 실내/실외 판단에 이용될 수 있다.According to various embodiments of the present disclosure, the main processor 280 may send and receive data to and from other sensor modules 240 . For example, the main processor 280 may obtain data (eg, sensing data) from the other sensor module 240 , and may transmit information (eg, a command) for data acquisition to the other sensor module 240 . have. According to various embodiments of the present disclosure, the other sensor module 240 may include a plurality of sensors, and may acquire data from the plurality of sensors. For example, the other sensor module 240 may include at least one of a gyro sensor 250 , an acceleration sensor 260 , and a proximity sensor 270 . According to an embodiment, when the electronic device 101 includes the other sensor module 240 , the gyro sensor 250 may measure a change in orientation of the electronic device 101 , and the acceleration sensor 260 may The acceleration of the device 101 may be measured. For example, if data measured using the gyro sensor 250 and the acceleration sensor 260 does not deviate from a predetermined range for a predetermined time, the electronic device 101 may determine that there is no movement. Proximity sensor 270 may be used, for example, to detect whether an object is approaching and a position when the object is approaching. For example, the proximity sensor 270 may be used to determine whether a barcode or QR code is in proximity. When the other sensor module 240 further includes an illuminance sensor (not shown), it may be determined whether it is indoor/outdoor or at night. In addition, a temperature sensor (not shown) may be further included in the other sensor module 240 to be used for indoor/outdoor determination.

도 2에서는 각 구성이 전자 장치(101)의 일부 구성인 것으로 설명하고 있으나, 각 구성은 별도의 구성으로 구현될 수도 있고 다른 구성의 일부일 수도 있다. 예를 들어, 메인 프로세서(280)는 스마트폰의 일부 구성일 수 있으며, 이미지 센서 모듈(200)과 기타 센서 모듈(240)은 스마트 왓치의 일부 구성일 수 있다.In FIG. 2 , each configuration is described as a partial configuration of the electronic device 101 , but each configuration may be implemented as a separate configuration or may be a part of another configuration. For example, the main processor 280 may be a part of a smart phone, and the image sensor module 200 and other sensor modules 240 may be part of a smart watch.

도 3은 본 발명의 다양한 실시예에 따른 전자 장치의 각 구성간의 동작 흐름도를 나타낸 것이다. 예를 들면, 메인 프로세서(310)(예: 도 2의 메인 프로세서(280)), 이미지 센서 모듈(330)(예: 도 2의 이미지 센서 모듈(200)), 및 기타 센서 모듈(350)(예: 도 2의 기타 센서 모듈(240)) 간의 동작 흐름도를 나타낸 것이다.3 is a flowchart illustrating an operation between components of an electronic device according to various embodiments of the present disclosure. For example, a main processor 310 (eg, the main processor 280 of FIG. 2 ), an image sensor module 330 (eg, the image sensor module 200 of FIG. 2 ), and other sensor modules 350 ( Example: A flowchart of an operation between the other sensor modules 240 of FIG. 2 is shown.

본 발명의 다양한 실시예에 따르면, 동작 332에서, 이미지 센서 모듈(330)은 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 데이터를 획득할 수 있다. 이미지 센서 모듈(330)은, 예를 들면, 저전력으로 구동이 가능해 항시 실행(always on) 모드로 동작할 수 있다.According to various embodiments of the present disclosure, in operation 332 , the image sensor module 330 may acquire data using an image sensor (eg, the image sensor 210 of FIG. 2 ). The image sensor module 330 may, for example, be driven with low power and may operate in an always on mode.

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은 저전력으로 구동하기 경우 이미지 센서(210)로부터 초당 프레임 수 및/또는 해상도를 낮추거나 샘플링 수를 낮춰 데이터를 획득해 처리할 수 있다. 또한 이미지 센서(210)로부터 데이터 비트를 변경(예: 낮춤)한 데이터를 획득해 처리할 수 있다. 예를 들면, 이미지 센서 모듈(330)은 이미지 센서(210)로부터 입력되는 컬러 데이터를 흑백 데이터로 변환하여 처리할 수 있다.According to various embodiments of the present disclosure, the image sensor module 330 may obtain and process data from the image sensor 210 by lowering the number of frames per second and/or resolution or lowering the number of sampling when driven with low power. In addition, data obtained by changing (eg, lowering) a data bit may be acquired and processed from the image sensor 210 . For example, the image sensor module 330 may convert color data input from the image sensor 210 into black-and-white data and process it.

본 발명의 다양한 실시예에 따르면, 동작 334에서, 이미지 센서 모듈(330)은 획득된 데이터가 미리 정해진 씬(scene) 중 어느 하나에 해당하는지 판단할 수 있다. 정해진 씬은, 예를 들면, 메인 프로세서(280)에 의해 실행될 어플리케이션을 판단하기 위해 미리 정해질 수 있다. 정해진 씬은 복수일 수 있다. 예를 들면, 정해진 씬은 다양한 카테고리(예: 얼굴, 바코드, QR코드, 건물, 풍경, 음식, 물건)를 포함할 수 있다. 또한, 정해진 씬은, 각 카테고리 별로 획득되는 정보가 상이할 수 있다. 예를 들면, 얼굴 카테고리에서는, 얼굴의 각도, 또는 위치 정보를 획득할 수 있고, 바코드 카테고리에서는 바코드의 크기, 모양, 또는 간격을 획득할 수 있다. 정해진 씬은 전자 장치(예: 도 1의 전자 장치(101))에 설치 또는 삭제되는 어플리케이션에 의해 추가되거나 삭제될 수 있다. 예를 들면, 바코드 인식 어플리케이션이 설치되면, 정해진 씬으로 바코드가 추가될 수 있고, 바코드 인식 어플리케이션이 삭제되면, 정해진 씬에서 바코드가 삭제될 수 있다. 일 실시예에 따르면, 이미지 센서 모듈(330)은 획득된 데이터를 정해진 씬과 순차적으로 비교하여 판단할 수 있다. 예를 들어, 이미지 센서 모듈(330)이 전자 장치(101)에 복수로 배치된 경우, 각 이미지 센서 모듈이 판단할 수 있는 정해진 씬은 상이할 수 있다. 예를 들면, 전자 장치(101)의 전면에 배치된 이미지 센서 모듈(330)은 정해진 씬으로 바코드나 QR코드인지를 판단하지 않을 수 있다.According to various embodiments of the present disclosure, in operation 334 , the image sensor module 330 may determine whether the acquired data corresponds to one of predetermined scenes. The predetermined scene may be predetermined, for example, to determine an application to be executed by the main processor 280 . A predetermined scene may be plural. For example, a given scene may include various categories (eg, a face, a barcode, a QR code, a building, a landscape, a food, an object). In addition, in the predetermined scene, information obtained for each category may be different. For example, in the face category, angle or position information of the face may be acquired, and in the barcode category, the size, shape, or spacing of the barcode may be acquired. A predetermined scene may be added or deleted by an application installed or deleted in the electronic device (eg, the electronic device 101 of FIG. 1 ). For example, when a barcode recognition application is installed, a barcode may be added to a predetermined scene, and when the barcode recognition application is deleted, a barcode may be deleted from a predetermined scene. According to an embodiment, the image sensor module 330 may determine by sequentially comparing the acquired data with a predetermined scene. For example, when a plurality of image sensor modules 330 are disposed in the electronic device 101, a predetermined scene that can be determined by each image sensor module may be different. For example, the image sensor module 330 disposed on the front of the electronic device 101 may not determine whether a barcode or a QR code is a predetermined scene.

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은 정해진 씬인지를 판단하기 위해 이미지 센서(210)로부터 획득한 데이터를 이용해 얼굴이 검출되는 경우, 검출된 얼굴의 크기, 각도, 위치, 개수, 움직임 정보, 및 각각의 변화량을 이용할 수 있다. 예를 들어, 이미지 센서 모듈(330)은 검출된 얼굴의 크기가 전체의 50% 이상을 차지하는 경우 셀카로 판단할 수 있다. 본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은 얼국 인식 대상의 변화, 인식 컨피던스값, 획득된 추가 데이터 기반의 학습 정보, 얼굴 인식 대상에 대한 추적 정보(예: 검출되는 얼굴들을 모두 따로 추적 후 얼굴이 변경되거나 화각 외로 나갔다가 다시 들어오는 경우)가 정해진 씬을 판단하기 위해 이용될 수 있다. 본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은 얼굴이 아닌 배경이나 씬을 판단하기 위해 조도, 근접, ToF(time-of-flight), 레이더(radar) 중 적어도 하나를 이용할 수 있다.According to various embodiments of the present disclosure, when a face is detected using data obtained from the image sensor 210 to determine whether the image sensor module 330 is a predetermined scene, the size, angle, position, The number, motion information, and each change amount may be used. For example, the image sensor module 330 may determine a selfie when the detected face size occupies 50% or more of the entire face. According to various embodiments of the present disclosure, the image sensor module 330 collects all of the face recognition target change, recognition confidence value, learning information based on the acquired additional data, and tracking information for the face recognition target (eg, all detected faces). After separate tracking, the face is changed or the scene goes out of the field of view and then comes back) can be used to judge a set scene. According to various embodiments of the present disclosure, the image sensor module 330 may use at least one of illuminance, proximity, time-of-flight (ToF), and radar to determine a background or scene other than a face. .

본 발명의 다양한 실시예에 따르면, 기타 센서 모듈(350)은, 동작 352에서, 센서(예: 도 2의 자이로 센서(250), 가속도 센서(260), 근접 센서(270))를 이용하여 데이터를 획득할 수 있다.According to various embodiments of the present disclosure, in operation 352 , the other sensor module 350 uses a sensor (eg, the gyro sensor 250 , the acceleration sensor 260 , and the proximity sensor 270 of FIG. 2 ) to provide data. can be obtained.

본 발명의 다양한 실시예에 따르면, 동작 334에서, 획득된 데이터가 씬에 해당하는 경우, 이미지 센서 모듈(330)은, 예를 들면, 동작 336을 수행할 수 있다. 일 실시예에 따르면, 동작 336에서, 이미지 센서 모듈(330)은 획득된 데이터가 정해진 씬에 해당하면, 선택적으로 기타 센서 모듈(350)로 획득된 데이터를 요청할 수 있다. 이미지 센서 모듈(330)은 동작 334에서, 획득된 데이터가 씬에 해당하지 않는 경우, 동작 332부터 다시 수행할 수 있다. 예를 들면, 획득된 데이터가 정해진 씬에 해당하지 않으면 다시 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 데이터를 획득할 수 있다.According to various embodiments of the present disclosure, in operation 334 , when the acquired data corresponds to a scene, the image sensor module 330 may, for example, perform operation 336 . According to an embodiment, in operation 336 , when the acquired data corresponds to a predetermined scene, the image sensor module 330 may selectively request the acquired data from the other sensor module 350 . When the acquired data does not correspond to a scene in operation 334 , the image sensor module 330 may perform again from operation 332 . For example, if the acquired data does not correspond to a predetermined scene, the data may be acquired again using an image sensor (eg, the image sensor 210 of FIG. 2 ).

본 발명의 다양한 실시예에 따르면, 동작 354에서, 기타 센서 모듈(350)은 이미지 센서 모듈(330)의 데이터 요청에 따라 센서로부터 획득한 데이터를 이미지 센서 모듈(330)로 전송할 수 있다.According to various embodiments of the present disclosure, in operation 354 , the other sensor module 350 may transmit data obtained from the sensor to the image sensor module 330 according to the data request of the image sensor module 330 .

본 발명의 다양한 실시예에 따르면, 동작 338에서, 이미지 센서 모듈(330)은 기타 센서 모듈(350)을 이용해 획득한 데이터가 정해진 범위 내인지 판단할 수 있다. 예를 들어, 이미지 센서 모듈(330)은 기타 센서 모듈(350)을 이용해 획득한 데이터가 일정 시간 동안, 일정 범위 내이면 움직이지 않는 것으로 판단할 수 있다. 일 실시예에 따르면, 기타 센서 모듈(350)을 이용해 획득한 데이터의 정해진 범위는 씬 별로 달리 설정될 수 있다. 예를 들어, 셀카와 같이 한 손으로 전자 장치(예: 도 1의 전자 장치(101))를 잡아야 하는 경우에는 정해진 범위(예: 전자 장치가 움직이지 않는 것으로 인정되는 데이터의 범위)가 넓을 수 있으나, 풍경과 같이 두 손으로 전자 장치(101)를 잡는 경우에는 정해진 범위가 좁을 수 있다.According to various embodiments of the present disclosure, in operation 338 , the image sensor module 330 may determine whether data acquired using the other sensor module 350 is within a predetermined range. For example, the image sensor module 330 may determine that data acquired by using the other sensor module 350 is not moved for a certain period of time and within a certain range. According to an embodiment, a predetermined range of data acquired using the other sensor module 350 may be set differently for each scene. For example, when it is necessary to hold the electronic device (eg, the electronic device 101 of FIG. 1 ) with one hand, such as for a selfie, the predetermined range (eg, the range of data in which the electronic device is recognized as not moving) may be wide. However, in the case of holding the electronic device 101 with both hands as in a landscape, the predetermined range may be narrow.

본 발명의 다양한 실시예에 따르면, 동작 338에서, 이미지 센서 모듈(330)은 기타 센서 모듈(350)을 이용해 획득한 데이터가 정해진 범위 내로 판단되는 경우, 동작 340을 수행할 수 있다. 일 실시예에 따르면, 동작 340에서 앞서 획득한 씬을 기초로 메인 프로세서(280)에 의해 실행될 어플리케이션을 결정하고 메인 프로세서(280)로 특정 어플리케이션의 실행을 요청할 수 있다. 또한, 획득한 씬이 복수의 어플리케이션과 관련이 있는 경우, 이미지 센서 모듈(330)은 복수의 어플리케이션 실행을 요청할 수 있다.According to various embodiments of the present disclosure, in operation 338 , the image sensor module 330 may perform operation 340 when it is determined that data acquired using the other sensor module 350 is within a predetermined range. According to an embodiment, in operation 340 , an application to be executed by the main processor 280 may be determined based on the previously acquired scene, and execution of a specific application may be requested from the main processor 280 . Also, when the acquired scene is related to a plurality of applications, the image sensor module 330 may request execution of the plurality of applications.

본 발명의 다양한 실시예에 따르면, 동작 338에서 이미지 센서 모듈(330)은, 기타 센서 모듈(350)을 이용해 획득한 데이터가 정해진 범위 내로 판단되지 않는 경우, 동작 332, 동작 334 또는 동작 336부터 다시 수행할 수 있다. 예를 들면, 획득된 데이터가 정해진 씬에 해당하지 않으면 다시 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 데이터를 획득하거나, 획득된 데이터가 씬에 해당하는지 판단한거나, 기타 센서 모듈(350)에 데이터를 요청할 수 있다.According to various embodiments of the present disclosure, in operation 338 , the image sensor module 330 restarts from operation 332 , operation 334 or operation 336 when the data acquired using the other sensor module 350 is not determined within a predetermined range. can be done For example, if the acquired data does not correspond to a predetermined scene, the data is acquired again using an image sensor (eg, the image sensor 210 of FIG. 2 ), it is determined whether the acquired data corresponds to a scene, or other sensors Data may be requested from module 350 .

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 354에서 기타 센서 모듈(350)으로부터 획득한 데이터에 기반하여, 동작 332, 동작 334, 또는 동작 336을 결정할 수 있다. 예를 들면, 이미지 센서 모듈(330)은, 기타 센서 모듈(350)으로부터 획득한 데이터가 자이로 센서(예: 도 2의 자이로 센서(250))과 관련된 경우, 동작 336을 수행할 수 있고, 근접 센서(예: 도 2의 근접 센서(270))와 관련된 경우, 동작 332를 수행할 수 있다. 기타 센서 모듈(350)으로부터 획득한 데이터는 서술된 실시예에 한정되는 것은 아니며, 다양한 실시예에 따라 수행되는 동작(동작 332, 동작 334, 동작 336)이 변경될 수 있다.According to various embodiments of the present disclosure, the image sensor module 330 may determine operation 332 , operation 334 , or operation 336 based on data obtained from the other sensor module 350 in operation 354 . For example, the image sensor module 330 may perform operation 336 when the data obtained from the other sensor module 350 is related to a gyro sensor (eg, the gyro sensor 250 of FIG. 2 ), and the proximity In the case of a sensor (eg, the proximity sensor 270 of FIG. 2 ), operation 332 may be performed. The data acquired from the other sensor module 350 is not limited to the described embodiment, and operations (operations 332 , 334 , and 336 ) performed according to various embodiments may be changed.

이상에서, 이미지 센서 모듈(330)은 이미지 센서(210)를 통해 획득하여 처리된 데이터가 정해진 씬에 해당하는 경우에 기타 센서 모듈(350)로 데이터를 요청하는 것으로 설명하고 있으나, 기타 센서 모듈(350)로 데이터를 요청하고 획득된 데이터가 정해진 범위이면 이미지 센서(210)를 통해 획득하여 처리된 데이터가 정해진 씬인지를 판단할 수도 있다. 이 경우, 이미지 센서 모듈(330)은 소모되는 전력을 더 낮출 수 있다. In the above, the image sensor module 330 has been described as requesting data from the other sensor module 350 when the data obtained and processed through the image sensor 210 corresponds to a predetermined scene, but the other sensor module ( 350) and if the obtained data is within a predetermined range, it may be determined whether the processed data obtained through the image sensor 210 is a predetermined scene. In this case, the image sensor module 330 may further reduce power consumption.

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은 기타 센서 모듈(350)로 데이터를 요청하고 획득된 데이터가 정해진 범위이면 이미지 센서(210)를 통해 획득하여 처리된 데이터가 정해진 씬인지를 판단할 수 있다. 이미지 센서 모듈(330)은 기타 센서 모듈(350)로 데이터를 더 요청하여 판단된 씬을 보다 정밀하게 재판단할 수도 있다. 예를 들어, 이미지 센서 모듈(330)은 기타 센서 모듈(350)로부터 획득한 데이터를 이용해 움직임이 발생하였는지를 판단하고, 움직임이 정해진 범위 내인 경우 정해진 씬인지를 판단할 수 있다. 이후, 이미지 센서 모듈(330)은 기타 센서 모듈(350)로 센서 데이터를 더 요청해 조도, 각도 정보를 더 이용해 보다 정확하게 씬을 판단할 수 있다. According to various embodiments of the present disclosure, the image sensor module 330 requests data from the other sensor module 350 and, if the obtained data is within a predetermined range, whether the processed data obtained through the image sensor 210 is a predetermined scene can be judged The image sensor module 330 may request more data from the other sensor modules 350 to re-determine the determined scene more precisely. For example, the image sensor module 330 may determine whether a motion has occurred using data acquired from the other sensor module 350 , and, if the motion is within a predetermined range, may determine whether it is a predetermined scene. Thereafter, the image sensor module 330 may more accurately determine a scene by further requesting sensor data from the other sensor modules 350 and further using the illuminance and angle information.

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은 기타 센서 모듈(350)로부터 데이터를 요청하지 않고 이미지 센서(210)를 통해 획득하여 처리된 데이터만으로 정해진 씬에 해당하는지 판단하고 메인 프로세서(310)가 실행할 특정 어플리케이션을 판단할 수 있다. 예를 들면, 이미지 센서 모듈(330)은 이전에 처리된 데이터와 비교하여 움직임이 있는지를 판단하고, 움직임이 없는 경우에 한해 정해진 씬에 해당하는지 판단할 수 있다.According to various embodiments of the present disclosure, the image sensor module 330 does not request data from the other sensor modules 350 but only determines whether the data obtained and processed through the image sensor 210 corresponds to a predetermined scene, and the main processor 310 may determine a specific application to be executed. For example, the image sensor module 330 may determine whether there is a movement by comparing it with previously processed data, and may determine whether there is a movement only when there is no movement and whether it corresponds to a predetermined scene.

본 발명의 다양한 실시예에 따르면, 동작 312에서, 메인 프로세서(280)는 요청받은 특정 어플리케이션을 실행할 수 있다. 예를 들면, 메인 프로세서(280)는, 이미지 센서 모듈(330)의 특정 어플리케이션의 실행 요청에 기반하여, 특정 어플리케이션을 실행할 수 있다. 일 실시예에 따르면, 메인 프로세서(280)는 요청받은 특정 어플리케이션이 복수이면, 복수의 어플리케이션을 디스플레이에 표시할 수 있고, 사용자의 선택에 의해 선택된 어플리케이션을 실행할 수 있다. 다른 예로, 전자 장치(101)가 대기 모드인 경우, 메인 프로세서(280)는 특정 어플리케이션의 실행을 요청받더라도 사용자의 잠금 해제(예: 지문 인식, 얼굴 인식, 패턴 입력)를 더 입력받아 특정 어플리케이션을 실행할 수 있다. 일 실시예에 따르면, 메인 프로세서(280)는 새로운 어플리케이션을 설치하는 메뉴를 제공할 수 있다. According to various embodiments of the present disclosure, in operation 312 , the main processor 280 may execute a requested specific application. For example, the main processor 280 may execute a specific application based on a request for execution of the specific application of the image sensor module 330 . According to an embodiment, if there are a plurality of specific requested applications, the main processor 280 may display the plurality of applications on the display and execute the application selected by the user. As another example, when the electronic device 101 is in the standby mode, the main processor 280 receives a user's unlock (eg, fingerprint recognition, face recognition, pattern input) further to execute the specific application even when a request to execute the specific application is received. can run According to an embodiment, the main processor 280 may provide a menu for installing a new application.

본 발명의 다양한 실시예에 따르면, 메인 프로세서(280)는 이미지 센서 모듈(330)로부터 특정 어플리케이션의 실행을 요청받기 전 슬립(sleep) 모드일 수 있다. 예를 들어, 메인 프로세서(280)는 이미지 센서 모듈(330)로부터 특정 어플리케이션의 실행을 요청받거나 사용자의 요청(예: 잠금 해제)에 의해 웨이크업(wake-up) 모드로 전환할 수 있다.According to various embodiments of the present disclosure, the main processor 280 may be in a sleep mode before receiving a request to execute a specific application from the image sensor module 330 . For example, the main processor 280 may receive a request to execute a specific application from the image sensor module 330 or may switch to a wake-up mode according to a user's request (eg, unlocking).

도 4는 본 발명의 다양한 실시예에 따른 이미지 센서 모듈의 동작 흐름도를 나타낸 도면이다. 이하, 이미지 센서 모듈은, 도 2의 이미지 센서 모듈(200), 또는 도 3의 이미지 센서 모듈(330)와 동일하거나 유사할 수 있고, 기타 센서 모듈은, 도 2의 기타 센서 모듈(240) 또는 도 3의 기타 센서 모듈(350)와 동일하거나 유사할 수 있다. 또한, 메인 프로세서는, 도 2의 메인 프로세서(280) 또는 도 3의 메인 프로세서(310)과 동일하거나 유사할 수 있다.4 is a diagram illustrating an operation flowchart of an image sensor module according to various embodiments of the present disclosure. Hereinafter, the image sensor module may be the same as or similar to the image sensor module 200 of FIG. 2 or the image sensor module 330 of FIG. 3 , and the other sensor module may be the other sensor module 240 of FIG. 2 or It may be the same as or similar to the other sensor module 350 of FIG. 3 . Also, the main processor may be the same as or similar to the main processor 280 of FIG. 2 or the main processor 310 of FIG. 3 .

본 발명의 다양한 실시예에 따르면, 동작 410에서, 이미지 센서 모듈(예: 도 2의 이미지 센서 모듈(200) 또는 도 3의 이미지 센서 모듈(330))은 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 데이터를 획득할 수 있다. 예를 들면, 이미지 센서 모듈(330)은 저전력으로 구동하기 위해 일정 시간동안 입력받을 프레임의 수를 낮추거나 이미지를 표현하는 데이터의 비트 수(예: 해상도)를 적게 할 수 있다. 이미지 센서 모듈(330)은 저전력으로 구동하기 위해 서브 샘플링 방식을 이용하거나 컬러 데이터를 흑백 데이터로 변환하여 처리할 수 있다.According to various embodiments of the present disclosure, in operation 410 , the image sensor module (eg, the image sensor module 200 of FIG. 2 or the image sensor module 330 of FIG. 3 ) is configured as an image sensor (eg, the image sensor of FIG. 2 ) (210)) may be used to obtain data. For example, the image sensor module 330 may decrease the number of frames to be input for a predetermined time or decrease the number of bits (eg, resolution) of data representing an image in order to operate with low power. The image sensor module 330 may use a sub-sampling method to operate with low power or may convert color data into black-and-white data for processing.

본 발명의 다양한 실시예에 따르면, 동작 420에서, 이미지 센서 모듈(330)은 이미지 센서(210)로부터 획득하여 처리된 데이터가 미리 정해진 씬인지 판단할 수 있다. 이미지 센서 모듈(330)은 이미지 센서(210)로부터 획득하여 처리된 데이터를 미리 정해진 복수의 씬과 순차적으로 비교하여 판단할 수 있다. 예를 들면, 이미지 센서 모듈(330)은 처리된 데이터를 통해 얼굴을 인식(또는 검출)할 수 있다. 이미지 센서 모듈(330)은 처리된 데이터를 통해 얼굴의 각도, 위치도 판단할 수 있다. 이미지 센서 모듈(330)은 처리된 데이터에서 얼굴이 검출되지 않으면, 나무, 건물을 포함하는 풍경, 바코드, QR코드, 문서가 검출되는지 순서대로 판단하여 정해진 씬에 해당하는지 판단할 수 있다.According to various embodiments of the present disclosure, in operation 420 , the image sensor module 330 may determine whether the processed data obtained from the image sensor 210 is a predetermined scene. The image sensor module 330 may determine by sequentially comparing the processed data obtained from the image sensor 210 with a plurality of predetermined scenes. For example, the image sensor module 330 may recognize (or detect) a face through the processed data. The image sensor module 330 may also determine the angle and position of the face through the processed data. When a face is not detected in the processed data, the image sensor module 330 may determine whether a tree, a landscape including a building, a barcode, a QR code, and a document are detected in order to determine whether the face corresponds to a predetermined scene.

본 발명의 다양한 실시예에 따르면, 미리 정해진 복수의 씬은 어플리케이션의 우선 순위에 따라 순차적으로 정해질 수 있다. 또한, 사용자가 많이 사용하는 어플리케이션의 순서에 따라 복수의 씬의 순서도 정해질 수 있다. 어플리케이션의 사용 빈도, 어플리케이션의 설치 시기도 더 고려하여 순차적으로 판단할 복수의 씬이 결정될 수 있다.According to various embodiments of the present disclosure, a plurality of predetermined scenes may be sequentially determined according to an application priority. In addition, the order of a plurality of scenes may be determined according to the order of applications frequently used by the user. A plurality of scenes to be sequentially determined may be determined by further considering the frequency of use of the application and the installation time of the application.

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 420에서, 획득된 데이터가 미리 정해진 씬에 해당하지 않는 경우, 동작 410을 다시 수행할 수 있다. 예를 들면, 획득된 데이터가 정해진 씬에 해당하지 않으면 다시 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 데이터를 획득할 수 있다.According to various embodiments of the present disclosure, when the obtained data does not correspond to a predetermined scene in operation 420 , the image sensor module 330 may perform operation 410 again. For example, if the acquired data does not correspond to a predetermined scene, the data may be acquired again using an image sensor (eg, the image sensor 210 of FIG. 2 ).

본 발명의 다양한 실시예에 따르면, 동작 420에서, 획득된 데이터가 미리 정해진 씬에 해당하는 경우, 이미지 센서 모듈은 동작 430을 수행할 수 있다.According to various embodiments of the present disclosure, in operation 420 , when the acquired data corresponds to a predetermined scene, the image sensor module may perform operation 430 .

본 발명의 다양한 실시예에 따르면, 동작 430에서, 이미지 센서 모듈(330)은 처리된 데이터가 미리 정해진 씬 중 하나로 판단되면, 기타 센서 모듈(예: 도 2의 기타 센서 모듈(240) 또는 도 3의 기타 센서 모듈(350))로 측정된 데이터를 요청할 수 있다. According to various embodiments of the present disclosure, in operation 430 , when the image sensor module 330 determines that the processed data is one of the predetermined scenes, the other sensor module (eg, the other sensor module 240 of FIG. 2 or FIG. 3 ) It is possible to request data measured by other sensor modules 350).

본 발명의 다양한 실시예에 따르면, 동작 440에서, 이미지 센서 모듈(330)은 기타 센서 모듈(350)로부터 측정된 데이터를 수신할 수 있다. According to various embodiments of the present disclosure, in operation 440 , the image sensor module 330 may receive measured data from the other sensor modules 350 .

본 발명의 다양한 실시예에 따르면, 동작 450에서, 이미지 센서 모듈(330)은 기타 센서 모듈(350)에 의해 측정된 데이터가 정해진(specified) 범위 이내인지 판단할 수 있다. 이미지 센서 모듈(330)은 이미지 센서(예: 도 2의 이미지 센서(210))로부터 획득하여 처리된 데이터가 일정 기간 유지되는 경우에 한해 특정 어플리케이션의 실행이 요청되는 경우로 판단할 수 있다. 예를 들면, 이미지 센서 모듈(330)은 자이로 센서(예: 도 2의 자이로 센서(250))와 가속도 센서(예: 도 2의 가속도 센서(260))를 이용해 측정된 데이터가 일정 범위 이내이면 특정 어플리케이션의 실행이 요청되는 경우로 판단할 수 있다. 일 실시예에 따르면, 이미지 센서 모듈(330)은 조도 센서를 이용해 실내인지 또는 실외인지를 판단할 수 있다. 예를 들면, 이미지 센서 모듈(330)은 조도 센서를 이용해 야간인지를 더 판단할 수 있다. 이미지 센서 모듈(330)은 기타 센서 모듈(350)을 통해 획득한 데이터를 이용해 보다 정밀한 씬을 판단할 수 있다. 예를 들어, 이미지 센서 모듈(330)은 이미지 센서(210)로부터 획득하여 처리된 데이터로부터 얼굴이 검출되는 경우 기타 센서 모듈(350)의 자이로 센서의 데이터를 이용해 셀카 모드인지를 더 판단할 수 있다. 이미지 센서 모듈(330)은 자이로 센서의 데이터로부터 자세 정보를 획득할 수 있다.According to various embodiments of the present disclosure, in operation 450 , the image sensor module 330 may determine whether data measured by the other sensor module 350 is within a specified range. The image sensor module 330 may determine that execution of a specific application is requested only when data acquired and processed from an image sensor (eg, the image sensor 210 of FIG. 2 ) is maintained for a certain period of time. For example, the image sensor module 330 may use a gyro sensor (eg, the gyro sensor 250 of FIG. 2 ) and an acceleration sensor (eg, the acceleration sensor 260 of FIG. 2 ) if the measured data is within a certain range. It may be determined that the execution of a specific application is requested. According to an embodiment, the image sensor module 330 may determine whether it is indoors or outdoors by using an illuminance sensor. For example, the image sensor module 330 may further determine whether it is at night using an illuminance sensor. The image sensor module 330 may determine a more precise scene using data acquired through the other sensor module 350 . For example, when a face is detected from data obtained and processed from the image sensor 210, the image sensor module 330 may further determine whether the camera is in the selfie mode using data of the gyro sensor of the other sensor module 350. . The image sensor module 330 may obtain posture information from data of the gyro sensor.

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 450에서, 측정된 데이터가 정해진 범위에 해당하지 않는 경우, 동작 410, 또는 동작 430부터 다시 수행할 수 있다. 예를 들면, 측정된 데이터가 정해진 범위에 해당하지 않으면 다시 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 데이터를 획득하거나, 기타 센서 모듈(350)로 측정된 데이터를 요청할 수 있다.According to various embodiments of the present disclosure, in operation 450 , when the measured data does not fall within a predetermined range, the image sensor module 330 may perform again from operation 410 or 430 . For example, if the measured data does not fall within a predetermined range, the data may be acquired again by using an image sensor (eg, the image sensor 210 of FIG. 2 ), or data measured by other sensor modules 350 may be requested. have.

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 450에서 측정된 데이터의 종류, 측정된 데이터의 정해진 범위와 측정된 데이터의 차이(예: 정해진 범위와의 수치 차이) 중 적어도 하나에 기반하여 이후 동작(예: 동작 410, 또는 동작 430)을 판단할 수 있다. 예를 들면, 측정된 데이터가 자이로 센서(예: 도 2의 자이로 센서(250)), 또는 가속도 센서(예: 도 2의 가속도 센서(260))를 이용해 측정된 데이터인 경우, 동작 410을 수행할 수 있고, 측정된 데이터가 조도 센서를 이용해 측정된 데이터인 경우, 동작 430을 수행할 수 있다. 또한 정해진 범위와의 수치 차이가 지정된 값(예: 데이터)보다 작은 경우에는 동작 430을 수행할 수 있고, 지정된 값보다 큰 경우에는 동작 410을 수행할 수 있다.According to various embodiments of the present disclosure, the image sensor module 330 performs at least one of a type of data measured in operation 450 and a difference between a predetermined range of the measured data and the measured data (eg, a numerical difference from the predetermined range). A subsequent operation (eg, operation 410 or operation 430 ) may be determined based on one. For example, when the measured data is data measured using a gyro sensor (eg, the gyro sensor 250 of FIG. 2 ) or an acceleration sensor (eg, the acceleration sensor 260 of FIG. 2 ), operation 410 is performed , and when the measured data is data measured using the illuminance sensor, operation 430 may be performed. Also, if the numerical difference from the predetermined range is smaller than a specified value (eg, data), operation 430 may be performed, and if greater than the specified value, operation 410 may be performed.

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 450에서, 측정된 데이터가 정해진 범위에 해당하는 경우, 동작 460을 수행할 수 있다.본 발명의 다양한 실시예에 따르면, 동작 460에서, 이미지 센서 모듈(330)은 기타 센서 모듈(350)에 의해 측정된 데이터가 정해진 범위 이내이면, 메인 프로세서(예: 도 2의 메인 프로세서(280) 또는 도 3의 메인 프로세서(310)))가 실행할 특정 어플리케이션을 판단하고, 메인 프로세서(310)로 특정 어플리케이션의 실행을 요청할 수 있다. 일 실시예에 따르면, 특정 어플리케이션은 정해진 씬에 대응하여 미리 정해질 수 있다. 또한, 복수의 특정 어플리케이션이 하나의 정해진 씬에 대응하여 정해질 수도 있다.According to various embodiments of the present disclosure, in operation 450 , the image sensor module 330 may perform operation 460 when the measured data falls within a predetermined range. According to various embodiments of the present disclosure, operation 460 may be performed. In step 460 , the image sensor module 330 is configured as a main processor (eg, the main processor 280 of FIG. 2 or the main processor 310 of FIG. 3 ) if the data measured by the other sensor module 350 is within a predetermined range. ) may determine a specific application to be executed, and request execution of the specific application from the main processor 310 . According to an embodiment, a specific application may be predetermined in response to a predetermined scene. In addition, a plurality of specific applications may be determined corresponding to one predetermined scene.

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 420에서, 기타 센서 모듈과 관련된 동작(예: 동작 430, 동작 440, 동작 450)을 수행하지 않고, 동작 460을 수행할 수 있다. 예를 들면, 이미지 센서 모듈(330)은, 동작 420에서, 획득된 데이터가 미리 정해진 씬에 해당하는 경우, 기타 센서 모듈와의 데이터 처리(예: 요청, 수신)를 수행하지 않고, 메인 프로세서(310)로 특정 어플리케이션의 실행을 요청할 수 있다.According to various embodiments of the present disclosure, in operation 420 , the image sensor module 330 may perform operation 460 without performing operations related to other sensor modules (eg, operations 430 , 440 , and 450 ). have. For example, in operation 420 , when the acquired data corresponds to a predetermined scene, the image sensor module 330 does not perform data processing (eg, request, reception) with other sensor modules, and the main processor 310 ) to request the execution of a specific application.

도 5는 본 발명의 다양한 실시예에 따라 이미지 센서 모듈이 카메라 어플리케이션의 실행을 요청하는 동작의 흐름도를 나타낸 도면이다. 이하, 이미지 센서 모듈은, 도 2의 이미지 센서 모듈(200), 또는 도 3의 이미지 센서 모듈(330)와 동일하거나 유사할 수 있고, 기타 센서 모듈은, 도 2의 기타 센서 모듈(240) 또는 도 3의 기타 센서 모듈(350)와 동일하거나 유사할 수 있다. 또한, 메인 프로세서는, 도 2의 메인 프로세서(280) 또는 도 3의 메인 프로세서(310)과 동일하거나 유사할 수 있다.5 is a diagram illustrating an operation of an image sensor module requesting execution of a camera application according to various embodiments of the present disclosure; Hereinafter, the image sensor module may be the same as or similar to the image sensor module 200 of FIG. 2 or the image sensor module 330 of FIG. 3 , and the other sensor module may be the other sensor module 240 of FIG. 2 or It may be the same as or similar to the other sensor module 350 of FIG. 3 . Also, the main processor may be the same as or similar to the main processor 280 of FIG. 2 or the main processor 310 of FIG. 3 .

본 발명의 다양한 실시예에 따르면, 동작 510에서, 이미지 센서 모듈(예: 도 2의 이미지 센서 모듈(200) 또는 도 3의 이미지 센서 모듈(330))은 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 데이터를 획득할 수 있다. 예를 들면, 이미지 센서 모듈(330)은 저전력으로 구동하기 위해 일정 시간동안 입력받을 프레임의 수를 낮추거나 이미지를 표현하는 데이터의 비트 수(예: 해상도)를 적게 할 수 있다. 이미지 센서 모듈(330)은 저전력으로 구동하기 위해 서브 샘플링 방식을 이용하거나 컬러 데이터를 흑백 데이터로 변환하여 처리할 수 있다.According to various embodiments of the present disclosure, in operation 510 , the image sensor module (eg, the image sensor module 200 of FIG. 2 or the image sensor module 330 of FIG. 3 ) is configured as an image sensor (eg, the image sensor of FIG. 2 ) (210)) may be used to obtain data. For example, the image sensor module 330 may decrease the number of frames to be input for a predetermined time or decrease the number of bits (eg, resolution) of data representing an image in order to operate with low power. The image sensor module 330 may use a sub-sampling method to operate with low power or may convert color data into black-and-white data for processing.

본 발명의 다양한 실시예에 따르면, 동작 520에서, 이미지 센서 모듈(330)은 이미지 센서(210)로부터 획득하여 처리된 데이터가 일정 시간동안 동일 범위의 이미지인지를 판단할 수 있다. 이미지 센서 모듈(330)은 일정 시간동안 처리된 데이터(예: 이전 데이터와 현재 데이터)를 비교하여 동일 범위의 이미지인지를 판단할 수 있다. 이미지 센서 모듈(330)은 특정 피사체가 일정 시간동안 처리된 데이터에 포함되면 동일 범위의 이미지로 판단할 수 있다. 본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은 기타 센서 모듈(예: 도 2의 기타 센서 모듈(240) 또는 도 3의 기타 센서 모듈(350))로 측정된 데이터를 요청하고 수신된 데이터를 참조하여 움직임이 발생하였는지 여부를 더 판단할 수 있다. 이미지 센서 모듈(330)은 기타 센서 모듈(350)로 측정된 데이터를 이용해 움직임이 일정 범위 내인 것으로 판단되는 경우 동일 범위의 이미지로 판단할 수 있다. 일 실시예에 따르면, 이미지 센서 모듈(330)은, 자이로 센서(예: 도 2의 자이로 센서(250))를 이용하여, 전자 장치(예: 도 1의 전자 장치(101))의 움직임을 판단할 수 있다. 예를 들면, 이미지 센서 모듈(330)은, 기타 센서 모듈(350)으로부터 전자 장치의 움직임과 관련된 데이터(예: 자이로 센서 데이터)를 획득할 수 있고, 획득된 데이터에 기반하여, 전자 장치가 움직였거나 움직이고 있는 상태임을 판단할 수 있다. 일 실시예에 따르면, 이미지 센서 모듈(330)은, 기타 센서 모듈(350)로 측정된 데이터를 이용해 움직임이 일정 범위를 벗어나는 경우, 동작 510을 수행할 수 있다. 예를 들면, 이미지 센서 모듈(330)은, 측정된 데이터를 이용해 판단된 전자 장치(101)의 움직임이 정지, 또는 이동인지 판단할 수 있고, 이동으로 판단되는 경우, 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 데이터를 다시 획득할 수 있다.According to various embodiments of the present disclosure, in operation 520 , the image sensor module 330 may determine whether the processed data obtained from the image sensor 210 is an image of the same range for a predetermined time. The image sensor module 330 may compare data processed for a predetermined time (eg, previous data and current data) to determine whether the image is in the same range. The image sensor module 330 may determine an image of the same range when a specific subject is included in the processed data for a predetermined time. According to various embodiments of the present disclosure, the image sensor module 330 requests and receives data measured by other sensor modules (eg, the other sensor module 240 of FIG. 2 or the other sensor module 350 of FIG. 3 ). It can be further determined whether a motion has occurred with reference to the data. The image sensor module 330 may determine an image of the same range when it is determined that the movement is within a certain range using data measured by the other sensor module 350 . According to an embodiment, the image sensor module 330 determines the movement of the electronic device (eg, the electronic device 101 of FIG. 1 ) using the gyro sensor (eg, the gyro sensor 250 of FIG. 2 ). can do. For example, the image sensor module 330 may acquire data related to the movement of the electronic device (eg, gyro sensor data) from the other sensor modules 350 , and based on the obtained data, the electronic device moves It can be judged that it has been or is in a moving state. According to an embodiment, the image sensor module 330 may perform operation 510 when the movement is out of a predetermined range using data measured by the other sensor module 350 . For example, the image sensor module 330 may determine whether the determined movement of the electronic device 101 is a stop or a movement using the measured data, and when it is determined that the movement is a movement, the image sensor (eg, FIG. 2 ) The data may be acquired again using the image sensor 210 of

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 520에서, 동일 범위의 이미지로 판단이 되지 않는 경우, 동작 510을 다시 수행할 수 있다. 예를 들면, 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 다시 데이터를 획득할 수 있다.According to various embodiments of the present disclosure, in operation 520 , when it is not determined that the image is of the same range, the image sensor module 330 may perform operation 510 again. For example, data may be acquired again using an image sensor (eg, the image sensor 210 of FIG. 2 ).

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 520에서, 동일 범위의 이미지로 판단이 되는 경우, 동작 530을 수행할 수 있다.According to various embodiments of the present disclosure, the image sensor module 330 may perform operation 530 when it is determined in operation 520 that the image is in the same range.

본 발명의 다양한 실시예에 따르면, 동작 520에서, 이미지 센서 모듈(330)은 처리된 데이터가 동일 범위의 이미지로 판단되면, 동작 530에서 처리된 데이터로부터 얼굴이 포함(또는, 검출)되는지 판단할 수 있다. According to various embodiments of the present disclosure, in operation 520 , the image sensor module 330 determines whether a face is included (or detected) from the data processed in operation 530 when it is determined that the processed data is an image of the same range. can

일 실시예에 따르면, 이미지 센서 모듈(330)은 이미지 센서(210)로부터 획득한 데이터를 처리하는데 기타 센서 모듈(350)로부터 획득한 데이터를 이용할 수 있다. 예를 들어, 이미지 센서 모듈(330)은 조도 센서를 이용하여 실내인지 또는 실외인지를 판단하여 얼굴을 검출하는데 이용하거나, 검출된 얼굴을 분석하는데 이용할 수 있다. 일 실시예에 따르면, 이미지 센서 모듈(330)은 자이로 센서(예: 도 2의 자이로 센서(250))의 데이터값을 이용해 얼굴의 각도 정보를 판단할 수 있다. 이미지 센서 모듈(330)은 검출된 얼굴의 크기, 각도, 위치, 개수 및 움직임 중 적어도 하나를 판단할 수 있다. 예를 들어, 이미지 센서 모듈(330)은 검출된 얼굴의 크기가 일정 크기 이상인 경우 셀카 모드로 판단할 수 있다.According to an embodiment, the image sensor module 330 may use data acquired from the other sensor modules 350 to process data acquired from the image sensor 210 . For example, the image sensor module 330 may be used to detect a face by determining whether it is indoors or outdoors by using an illuminance sensor, or may be used to analyze a detected face. According to an embodiment, the image sensor module 330 may determine face angle information by using a data value of a gyro sensor (eg, the gyro sensor 250 of FIG. 2 ). The image sensor module 330 may determine at least one of the size, angle, position, number, and movement of the detected face. For example, the image sensor module 330 may determine the selfie mode when the size of the detected face is greater than or equal to a certain size.

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 530에서, 처리된 데이터로부터 얼굴이 포함(또는, 검출)되지 않는 경우, 동작 510부터 다시 수행할 수 있다. 예를 들면, 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 다시 데이터를 획득할 수 있다.According to various embodiments of the present disclosure, in operation 530 , when a face is not included (or detected) from the processed data, the image sensor module 330 may perform again from operation 510 . For example, data may be acquired again using an image sensor (eg, the image sensor 210 of FIG. 2 ).

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 530에서, 처리된 데이터로부터 얼굴이 포함(또는, 검출)되는 경우, 동작 540을 수행할 수 있다.According to various embodiments of the present disclosure, in operation 530 , when a face is included (or detected) from the processed data, the image sensor module 330 may perform operation 540 .

본 발명의 다양한 실시예에 따르면, 동작 540에서, 이미지 센서 모듈(330)은 메인 프로세서(예: 도 2의 메인 프로세서(280) 또는 도 3의 메인 프로세서(310)))로 전면 카메라를 이용하는 카메라 어플리케이션의 실행을 요청할 수 있다. 전자 장치(예: 도 1의 전자 장치(101))에 카메라를 이용하는 어플리케이션이 복수개 설치된 경우 복수의 카메라 어플리케이션의 실행을 요청할 수 있다. 전자 장치(101)에 카메라를 이용하는 어플리케이션이 복수개 설치되어 있더라도 메인 어플리케이션이 선택되어 있는 경우 메인 어플리케이션의 실행을 요청할 수 있다.According to various embodiments of the present disclosure, in operation 540 , the image sensor module 330 is a camera using a front camera as a main processor (eg, the main processor 280 of FIG. 2 or the main processor 310 of FIG. 3 ). You can request to run the application. When a plurality of applications using a camera are installed in the electronic device (eg, the electronic device 101 of FIG. 1 ), execution of the plurality of camera applications may be requested. Even if a plurality of applications using a camera are installed in the electronic device 101 , execution of the main application may be requested when the main application is selected.

본 발명의 다양한 실시예에 따르면, 동작 530에서 얼굴이 포함(또는, 검출)되는 카메라가 후면 카메라인 경우, 후면 카메라를 이용하는 카메라 어플리케이션의 실행을 요청할 수 있다. 일 실시예에 따르면, 실행되는 카메라를 판단하는 동작은 도시된 실시예에 한정되는 것은 아니며, 다양한 실시예에 따라 실행되는 카메라를 결정할 수 있다. 예를 들면, 이미지 센서 모듈(330)은, 복수의 카메라들을 이용하여 데이터(예: 이미지)들을 획득할 수 있고, 복수의 카메라를 이용하는 카메라 어플리케이션의 실행을 요청할 수 있다.According to various embodiments of the present disclosure, when the camera including (or detecting) a face is the rear camera in operation 530, execution of a camera application using the rear camera may be requested. According to an embodiment, the operation of determining the camera to be executed is not limited to the illustrated embodiment, and the camera to be executed may be determined according to various embodiments. For example, the image sensor module 330 may acquire data (eg, images) using a plurality of cameras, and may request execution of a camera application using the plurality of cameras.

본 발명의 다양한 실시예에 따르면, 메인 프로세서(310)는 전자 장치(101)가 대기 모드 상태이면, 사용자의 잠금 해제 입력을 수신하는 경우에 한해 어플리케이션을 실행할 수 있다. 메인 프로세서(310)는 전자 장치(101)가 대기 모드 상태가 아니면, 바로 어플리케이션을 실행할 수 있다. 메인 프로세서(310)는 복수의 어플리케이션의 실행을 요청받으면 사용자가 어플리케이션을 선택할 수 있는 화면을 표시할 수도 있다.According to various embodiments of the present disclosure, when the electronic device 101 is in the standby mode, the main processor 310 may execute an application only when receiving a user's unlock input. When the electronic device 101 is not in the standby mode, the main processor 310 may immediately execute an application. When the main processor 310 receives a request to execute a plurality of applications, the main processor 310 may display a screen through which the user can select an application.

도 6은 본 발명의 다양한 실시예에 따라 이미지 센서 모듈이 코드 인식 어플리케이션의 실행을 요청하는 동작의 흐름도를 나타낸 도면이다. 이하, 이미지 센서 모듈은, 도 2의 이미지 센서 모듈(200), 또는 도 3의 이미지 센서 모듈(330)와 동일하거나 유사할 수 있고, 기타 센서 모듈은, 도 2의 기타 센서 모듈(240) 또는 도 3의 기타 센서 모듈(350)와 동일하거나 유사할 수 있다. 또한, 메인 프로세서는, 도 2의 메인 프로세서(280) 또는 도 3의 메인 프로세서(310)과 동일하거나 유사할 수 있다.6 is a diagram illustrating an operation of an image sensor module requesting execution of a code recognition application according to various embodiments of the present disclosure; Hereinafter, the image sensor module may be the same as or similar to the image sensor module 200 of FIG. 2 or the image sensor module 330 of FIG. 3 , and the other sensor module may be the other sensor module 240 of FIG. 2 or It may be the same as or similar to the other sensor module 350 of FIG. 3 . Also, the main processor may be the same as or similar to the main processor 280 of FIG. 2 or the main processor 310 of FIG. 3 .

본 발명의 다양한 실시예에 따르면, 동작 610에서, 이미지 센서 모듈(예: 도 2의 이미지 센서 모듈(200) 또는 도 3의 이미지 센서 모듈(330))은 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 데이터를 획득할 수 있다. 예를 들면, 이미지 센서 모듈(330)은 저전력으로 구동하기 위해 일정 시간동안 입력받을 프레임의 수를 낮추거나 이미지를 표현하는 데이터의 비트 수(예: 해상도)를 적게 할 수 있다. 이미지 센서 모듈(330)은 저전력으로 구동하기 위해 서브 샘플링 방식을 이용하거나 컬러 데이터를 흑백 데이터로 변환하여 처리할 수 있다.According to various embodiments of the present disclosure, in operation 610 , the image sensor module (eg, the image sensor module 200 of FIG. 2 or the image sensor module 330 of FIG. 3 ) is configured as an image sensor (eg, the image sensor of FIG. 2 ) (210)) may be used to obtain data. For example, the image sensor module 330 may decrease the number of frames to be input for a predetermined time or decrease the number of bits (eg, resolution) of data representing an image in order to operate with low power. The image sensor module 330 may use a sub-sampling method to operate with low power or may convert color data into black-and-white data for processing.

본 발명의 다양한 실시예에 따르면, 동작 620에서, 이미지 센서 모듈(330)(예: 도 2의 프로세서(220))은 이미지 센서(210)로부터 획득하여 처리된 데이터가 일정 시간동안 동일 범위의 이미지인지를 판단할 수 있다. 이미지 센서 모듈(330)은 일정 시간동안 처리된 데이터(예: 이전 데이터와 현재 데이터)를 비교하여 동일 범위의 이미지인지를 판단할 수 있다. 이미지 센서 모듈(330)은 특정 피사체가 일정 시간동안 처리된 데이터에 포함되면 동일 범위의 이미지로 판단할 수 있다. 본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은 기타 센서 모듈(예: 도 2의 기타 센서 모듈(240) 또는 도 3의 기타 센서 모듈(350))로 측정된 데이터를 요청하고 수신된 데이터를 참조하여 움직임이 발생하였는지 여부를 판단하고 움직임이 일정 범위 내인 경우 동일 범위의 이미지로 판단할 수 있다. 일 실시예에 따르면, 이미지 센서 모듈(330)은, 자이로 센서(예: 도 2의 자이로 센서(250))를 이용하여, 전자 장치(예: 도 1의 전자 장치(101))의 움직임을 판단할 수 있다. 예를 들면, 이미지 센서 모듈(330)은, 기타 센서 모듈(350)으로부터 전자 장치의 움직임과 관련된 데이터(예: 자이로 센서 데이터)를 획득할 수 있고, 획득된 데이터에 기반하여, 전자 장치가 움직였거나 움직이고 있는 상태임을 판단할 수 있다. 일 실시예에 따르면, 이미지 센서 모듈(330)은, 기타 센서 모듈(350)로 측정된 데이터를 이용해 움직임이 일정 범위를 벗어나는 경우, 동작 610을 수행할 수 있다. 예를 들면, 이미지 센서 모듈(330)은, 측정된 데이터를 이용해 판단된 전자 장치(101)의 움직임이 정지, 또는 이동인지 판단할 수 있고, 이동으로 판단되는 경우, 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 데이터를 다시 획득할 수 있다.According to various embodiments of the present disclosure, in operation 620 , the image sensor module 330 (eg, the processor 220 of FIG. 2 ) obtains the processed data from the image sensor 210 to display images in the same range for a predetermined time. cognition can be judged. The image sensor module 330 may compare data processed for a predetermined time (eg, previous data and current data) to determine whether the image is in the same range. The image sensor module 330 may determine an image of the same range when a specific subject is included in the processed data for a predetermined time. According to various embodiments of the present disclosure, the image sensor module 330 requests and receives data measured by other sensor modules (eg, the other sensor module 240 of FIG. 2 or the other sensor module 350 of FIG. 3 ). It can be determined whether a motion has occurred by referring to the obtained data, and when the motion is within a certain range, it can be determined as an image of the same range. According to an embodiment, the image sensor module 330 determines the movement of the electronic device (eg, the electronic device 101 of FIG. 1 ) using the gyro sensor (eg, the gyro sensor 250 of FIG. 2 ). can do. For example, the image sensor module 330 may acquire data related to the movement of the electronic device (eg, gyro sensor data) from the other sensor modules 350 , and based on the obtained data, the electronic device moves It can be judged that it has been or is in a moving state. According to an embodiment, the image sensor module 330 may perform operation 610 when the movement is out of a predetermined range using data measured by the other sensor module 350 . For example, the image sensor module 330 may determine whether the determined movement of the electronic device 101 is a stop or a movement using the measured data, and when it is determined that the movement is a movement, the image sensor (eg, FIG. 2 ) The data may be acquired again using the image sensor 210 of

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 620에서, 동일 범위의 이미지로 판단이 되지 않는 경우, 동작 610을 다시 수행할 수 있다. 예를 들면, 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 다시 데이터를 획득할 수 있다.According to various embodiments of the present disclosure, the image sensor module 330 may perform operation 610 again if it is not determined that the image is of the same range in operation 620 . For example, data may be acquired again using an image sensor (eg, the image sensor 210 of FIG. 2 ).

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 620에서, 동일 범위의 이미지로 판단이 되는 경우, 동작 630을 수행할 수 있다.According to various embodiments of the present disclosure, the image sensor module 330 may perform operation 630 when it is determined in operation 620 that the image is within the same range.

본 발명의 다양한 실시예에 따르면, 동작 620에서, 이미지 센서 모듈(330)은 처리된 데이터가 동일 범위의 이미지로 판단되면, 동작 630에서, 처리된 데이터로부터 바코드 또는 QR코드가 검출되는지 판단할 수 있다. According to various embodiments of the present disclosure, in operation 620, if the image sensor module 330 determines that the processed data is an image of the same range, in operation 630, it can be determined whether a barcode or QR code is detected from the processed data. have.

일 실시예에 따르면, 이미지 센서 모듈(330)은 측정된 근접 센서(예: 도 2의 근접 센서(270))의 데이터를 이용하여 물체(예: 피사체)가 근접해 있는지 여부도 판단할 수 있다. 일 실시예에 따르면, 이미지 센서 모듈(330)은 레이더(radar)를 이용하여 물체와의 거리를 판단할 수도 있다. 이미지 센서 모듈(330)은 물체와의 거리가 일정 범위 이내인 경우에 한해 동작 640을 샐행할 수도 있다. 예를 들어, 이미지 센서 모듈(330)은 처리된 데이터에서 바코드가 검출되더라고 물체(예: 바코드)와의 거리가 일정 범위를 벗어나면 동작 640을 실행하지 않을 수 있다.According to an embodiment, the image sensor module 330 may also determine whether an object (eg, a subject) is in proximity by using the measured data of the proximity sensor (eg, the proximity sensor 270 of FIG. 2 ). According to an embodiment, the image sensor module 330 may determine the distance to the object using radar. The image sensor module 330 may perform operation 640 only when the distance to the object is within a predetermined range. For example, the image sensor module 330 may not execute operation 640 when a distance from an object (eg, a barcode) is out of a certain range even if a barcode is detected in the processed data.

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 630에서, 처리된 데이터로부터 바코드 또는 QR코드가 검출되지 않는 경우, 동작 610부터 다시 수행할 수 있다. 예를 들면, 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 다시 데이터를 획득할 수 있다.According to various embodiments of the present disclosure, in operation 630 , when a barcode or QR code is not detected from the processed data, the image sensor module 330 may perform again from operation 610 . For example, data may be acquired again using an image sensor (eg, the image sensor 210 of FIG. 2 ).

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 630에서, 처리된 데이터로부터 바코드 또는 QR코드가 검출되는 경우, 동작 640을 수행할 수 있다.According to various embodiments of the present disclosure, in operation 630 , when a barcode or QR code is detected from the processed data, the image sensor module 330 may perform operation 640 .

본 발명의 다양한 실시예에 따르면, 동작 640에서, 이미지 센서 모듈(330)은 메인 프로세서(예: 도 2의 메인 프로세서(280) 또는 도 3의 메인 프로세서(310)))로 후면 카메라를 이용하는 바코드 또는 QR코드 인식 어플리케이션의 실행을 요청할 수 있다. 전자 장치(예: 도 1의 전자 장치(101))에 설치된 바코드 또는 QR코드 인식 어플리케이션이 복수인 경우 복수의 바코드 또는 QR코드 인식 어플리케이션의 실행을 요청할 수 있다. According to various embodiments of the present disclosure, in operation 640 , the image sensor module 330 is a barcode using a rear camera as a main processor (eg, the main processor 280 of FIG. 2 or the main processor 310 of FIG. 3 ). Alternatively, the execution of the QR code recognition application may be requested. When there are a plurality of barcode or QR code recognition applications installed in the electronic device (eg, the electronic device 101 of FIG. 1 ), execution of the plurality of barcode or QR code recognition applications may be requested.

메인 프로세서(310)는 복수의 바코드 또는 QR코드 인식 어플리케이션의 실행이 요청되는 경우, 복수의 바코드 또는 QR코드 인식 어플리케이션을 디스플레이에 표시하여 사용자가 선택하게 할 수 있다. 메인 프로세서(310)가 대기 모드 중 복수의 바코드 또는 QR코드 인식 어플리케이션의 실행이 요청되는 경우, 사용자의 잠금 해제 입력(예: 지문 인식, 홍채 인식, 얼굴 인식, 패턴 입력)을 수신하는 경우에 한해 복수의 바코드 또는 QR코드 인식 어플리케이션을 디스플레이에 표시하여 사용자가 선택하게 할 수 있다. When the execution of a plurality of barcode or QR code recognition applications is requested, the main processor 310 may display a plurality of barcode or QR code recognition applications on the display so that the user can select it. When the main processor 310 is requested to execute a plurality of barcode or QR code recognition applications during standby mode, only when receiving a user's unlock input (eg, fingerprint recognition, iris recognition, face recognition, pattern input) A plurality of barcode or QR code recognition applications can be displayed on the display so that the user can select them.

도 7은 본 발명의 다양한 실시예에 따라 이미지 센서 모듈이 지능형 어플리케이션의 실행을 요청하는 동작의 흐름도를 나타낸 도면이다. 이하, 이미지 센서 모듈은, 도 2의 이미지 센서 모듈(200), 또는 도 3의 이미지 센서 모듈(330)와 동일하거나 유사할 수 있고, 기타 센서 모듈은, 도 2의 기타 센서 모듈(240) 또는 도 3의 기타 센서 모듈(350)와 동일하거나 유사할 수 있다. 또한, 메인 프로세서는, 도 2의 메인 프로세서(280) 또는 도 3의 메인 프로세서(310)과 동일하거나 유사할 수 있다.7 is a flowchart illustrating an operation of an image sensor module requesting execution of an intelligent application according to various embodiments of the present disclosure. Hereinafter, the image sensor module may be the same as or similar to the image sensor module 200 of FIG. 2 or the image sensor module 330 of FIG. 3 , and the other sensor module may be the other sensor module 240 of FIG. 2 or It may be the same as or similar to the other sensor module 350 of FIG. 3 . Also, the main processor may be the same as or similar to the main processor 280 of FIG. 2 or the main processor 310 of FIG. 3 .

본 발명의 다양한 실시예에 따르면, 동작 710에서, 이미지 센서 모듈(예: 도 2의 이미지 센서 모듈(200) 또는 도 3의 이미지 센서 모듈(330))은 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 데이터를 획득할 수 있다. 예를 들면, 이미지 센서 모듈(330)은 저전력으로 구동하기 위해 일정 시간동안 입력받을 프레임의 수를 낮추거나 이미지를 표현하는 데이터의 비트 수(예: 해상도)를 적게 할 수 있다. 이미지 센서 모듈(330)은 저전력으로 구동하기 위해 서브 샘플링 방식을 이용하거나 컬러 데이터를 흑백 데이터로 변환하여 처리할 수 있다.According to various embodiments of the present disclosure, in operation 710 , the image sensor module (eg, the image sensor module 200 of FIG. 2 or the image sensor module 330 of FIG. 3 ) is configured as an image sensor (eg, the image sensor of FIG. 2 ) (210)) may be used to obtain data. For example, the image sensor module 330 may decrease the number of frames to be input for a predetermined time or decrease the number of bits (eg, resolution) of data representing an image in order to operate with low power. The image sensor module 330 may use a sub-sampling method to operate with low power or may convert color data into black-and-white data for processing.

본 발명의 다양한 실시예에 따르면, 동작 720에서, 이미지 센서 모듈(330)은 이미지 센서(210)로부터 획득하여 처리된 데이터가 일정 시간동안 동일 범위의 이미지인지를 판단할 수 있다. 이미지 센서 모듈(330)은 일정 시간동안 처리된 데이터(예: 이전 데이터와 현재 데이터)를 비교하여 동일 범위의 이미지인지를 판단할 수 있다. 이미지 센서 모듈(330)은 특정 피사체가 일정 시간동안 처리된 데이터에 포함되면 동일 범위의 이미지로 판단할 수 있다. 본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은 기타 센서 모듈(예: 도 2의 기타 센서 모듈(240) 또는 도 3의 기타 센서 모듈(350))로 측정된 데이터를 요청하고 수신된 데이터를 참조하여 움직임이 발생하였는지 여부를 더 판단할 수 있다. 이미지 센서 모듈(330)은 기타 센서 모듈(350)로 측정된 데이터를 이용해 움직임이 일정 범위 내인 것으로 판단되는 경우 동일 범위의 이미지로 판단할 수 있다. 일 실시예에 따르면, 이미지 센서 모듈(330)은, 자이로 센서(예: 도 2의 자이로 센서(250))를 이용하여, 전자 장치(예: 도 1의 전자 장치(101))의 움직임을 판단할 수 있다. 예를 들면, 이미지 센서 모듈(330)은, 기타 센서 모듈(350)으로부터 전자 장치의 움직임과 관련된 데이터(예: 자이로 센서 데이터)를 획득할 수 있고, 획득된 데이터에 기반하여, 전자 장치가 움직였거나 움직이고 있는 상태임을 판단할 수 있다. 일 실시예에 따르면, 이미지 센서 모듈(330)은, 기타 센서 모듈(350)로 측정된 데이터를 이용해 움직임이 일정 범위를 벗어나는 경우, 동작 710을 수행할 수 있다. 예를 들면, 이미지 센서 모듈(330)은, 측정된 데이터를 이용해 판단된 전자 장치(101)의 움직임이 정지, 또는 이동인지 판단할 수 있고, 이동으로 판단되는 경우, 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 데이터를 다시 획득할 수 있다.According to various embodiments of the present disclosure, in operation 720 , the image sensor module 330 may determine whether the processed data obtained from the image sensor 210 is an image in the same range for a predetermined time. The image sensor module 330 may compare data processed for a predetermined time (eg, previous data and current data) to determine whether the image is in the same range. The image sensor module 330 may determine an image of the same range when a specific subject is included in the processed data for a predetermined time. According to various embodiments of the present disclosure, the image sensor module 330 requests and receives data measured by other sensor modules (eg, the other sensor module 240 of FIG. 2 or the other sensor module 350 of FIG. 3 ). It can be further determined whether a motion has occurred with reference to the data. The image sensor module 330 may determine an image of the same range when it is determined that the movement is within a certain range using data measured by the other sensor module 350 . According to an embodiment, the image sensor module 330 determines the movement of the electronic device (eg, the electronic device 101 of FIG. 1 ) using the gyro sensor (eg, the gyro sensor 250 of FIG. 2 ). can do. For example, the image sensor module 330 may acquire data related to the movement of the electronic device (eg, gyro sensor data) from the other sensor modules 350 , and based on the obtained data, the electronic device moves It can be judged that it has been or is in a moving state. According to an embodiment, the image sensor module 330 may perform operation 710 when the movement is out of a predetermined range using data measured by the other sensor module 350 . For example, the image sensor module 330 may determine whether the determined movement of the electronic device 101 is a stop or a movement using the measured data, and when it is determined that the movement is a movement, the image sensor (eg, FIG. 2 ) The data may be acquired again using the image sensor 210 of

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 720에서, 동일 범위의 이미지로 판단이 되지 않는 경우, 동작 710을 다시 수행할 있다. 예를 들면, 이미지 센서(예: 도 2의 이미지 센서(210))를 이용하여 다시 데이터를 획득할 수 있다.According to various embodiments of the present disclosure, the image sensor module 330 may perform operation 710 again when it is not determined as an image in the same range in operation 720 . For example, data may be acquired again using an image sensor (eg, the image sensor 210 of FIG. 2 ).

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈(330)은, 동작 720에서, 동일 범위의 이미지로 판단이 되는 경우, 동작 730을 수행할 수 있다.According to various embodiments of the present disclosure, the image sensor module 330 may perform operation 730 when it is determined in operation 720 that the image is within the same range.

본 발명의 다양한 실시예에 따르면, 동작 720에서, 이미지 센서 모듈(330)은 검출된 이미지가 동일 범위의 이미지로 판단되면, 동작 730에서 검출된 이미지와 정해진 카테고리의 영상 또는 기학습된 오브젝트와의 유사도에 대해 판단할 수 있다. 예를 들면, 특정 사물(예를 들어, 음식, 쇼핑 어플리케이션에 등록된 물건)이 정해진 카테고리의 영상 또는 기학습된 오브젝트와 유사한지 판단될 수 있다. 또는, 검출된 이미지가 특정 배경의 구도와 유사한지 판단될 수 있다. According to various embodiments of the present disclosure, in operation 720 , when the image sensor module 330 determines that the detected image is an image of the same range, the image detected in operation 730 and an image of a predetermined category or a previously learned object are separated. The similarity can be judged. For example, it may be determined whether a specific object (eg, food, an object registered in a shopping application) is similar to an image of a predetermined category or a pre-learned object. Alternatively, it may be determined whether the detected image is similar to a composition of a specific background.

일 실시예에 따르면, 이미지 센서 모듈(330)은 이미지 센서(210)로부터 획득한 데이터를 처리하는데 기타 센서 모듈(350)로부터 획득한 데이터를 이용할 수 있다. 예를 들어, 이미지 센서 모듈(330)은 조도 센서를 이용하여 실내인지 또는 실외인지를 판단할 수 있다. 이미지 센서 모듈(330)은 실외이면 배경의 구도가 검출되는지 먼저 판단할 수 있고, 실내이면 특정 사물이 검출되는지를 먼저 판단할 수 있다. 예를 들어, 이미지 센서 모듈(330)은 자이로 센서(예: 도 2의 자이로 센서(250))를 이용하여 전자 장치의 방향을 판단할 수 있다. 이미지 센서 모듈(330)은 획득한 데이터의 좌우, 상하를 판단할 수 있다. According to an embodiment, the image sensor module 330 may use data acquired from the other sensor modules 350 to process data acquired from the image sensor 210 . For example, the image sensor module 330 may determine whether it is indoors or outdoors by using an illuminance sensor. The image sensor module 330 may first determine whether the composition of the background is detected if it is outdoors, and may determine whether a specific object is detected if it is indoors. For example, the image sensor module 330 may determine the direction of the electronic device using a gyro sensor (eg, the gyro sensor 250 of FIG. 2 ). The image sensor module 330 may determine left, right, and upper and lower sides of the acquired data.

본 발명의 다양한 실시예에 따르면, 동작 740에서, 이미지 센서 모듈(330)은 메인 프로세서(예: 도 2의 메인 프로세서(280) 또는 도 3의 메인 프로세서(310)))로 지능형 어플리케이션(예: 빅스비(BIXBYTM))의 실행을 요청할 수 있다. According to various embodiments of the present disclosure, in operation 740 , the image sensor module 330 is configured as a main processor (eg, the main processor 280 of FIG. 2 or the main processor 310 of FIG. 3 ) as an intelligent application (eg: BIXBY TM ) can be requested to run.

본 발명의 다양한 실시예에 따르면, 메인 프로세서(310)는 전자 장치(101)가 대기 모드 상태이면, 사용자의 잠금 해제 입력을 수신하는 경우에 한해 어플리케이션을 실행할 수 있다. 예를 들어, 메인 프로세서(310)는 전자 장치(101)가 대기 모드 상태가 아니면, 바로 어플리케이션을 실행할 수 있다. 메인 프로세서(310)는 복수의 어플리케이션의 실행을 요청받으면 사용자가 어플리케이션을 선택할 수 있는 화면을 표시할 수도 있다.According to various embodiments of the present disclosure, when the electronic device 101 is in the standby mode, the main processor 310 may execute an application only when receiving a user's unlock input. For example, when the electronic device 101 is not in the standby mode, the main processor 310 may immediately execute the application. When the main processor 310 receives a request to execute a plurality of applications, the main processor 310 may display a screen through which the user can select an application.

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈은, 메인 프로세서로 전달하는 명령을 구분하여 수행할 수 있다. 예를 들면, 이미지 센서 모듈은, 메인 프로세서의 활성화(예: wake up)와 관련된 명령을 전달할 수 있고, 메인 프로세서로부터 활성화 완료에 대한 응답을 수신할 수 있다. 이후, 이미지 센서 모듈은, 메인 프로세서의 활성화를 확인하는 경우, 추가 명령(예: 특정 어플리케이션의 실행)을 전달할 수 있다. 예를 들면, 이미지 센서 모듈은, 메인 프로세서의 활성화 명령과, 추가 명령을 구분해서 메인 프로세서로 전달할 수 있다. According to various embodiments of the present disclosure, the image sensor module may distinguish and execute commands transmitted to the main processor. For example, the image sensor module may transmit a command related to activation (eg, wake up) of the main processor and receive a response to completion of activation from the main processor. Thereafter, when confirming activation of the main processor, the image sensor module may transmit an additional command (eg, execution of a specific application). For example, the image sensor module may distinguish between an activation command of the main processor and an additional command and transmit them to the main processor.

본 발명의 다양한 실시예에 따르면, 이미지 센서 모듈은, 메인 프로세서의 활성화 관련된 명령을 전달 후, 추가 명령에 대한 정보는 메모리(도 2의 메모리(230) 또는 도 1의 메모리(130))에 저장할 수 있다. 예를 들면, 이미지 센서 모듈은, GPIO(general-purpose input/output)를 통해 메인 프로세서의 활성화 명령을 전달할 수 있고, 메인 프로세서는 활성화 명령에 기반하여, 전자 장치(101)의 데이터 처리를 수행할 수 있다. 일 실시예에 따르면, 메인 프로세서는 I2C(inter-integrated circuit)를 통해 메모리에 저장된 정보를 확인할 수 있고, 상기 저장된 정보에 기반하여 특정 어플리케이션의 실행을 수행할 수 있다. 예를 들어, 메인 프로세서는, 메모리에 저장된 정보 중 지정된 위치에 포함된 정보를 확인하여 특정 어플리케이션의 실행을 수행할 수 있다.According to various embodiments of the present disclosure, after the image sensor module transmits a command related to activation of the main processor, information on the additional command is stored in a memory (the memory 230 of FIG. 2 or the memory 130 of FIG. 1 ). can For example, the image sensor module may transmit an activation command of the main processor through a general-purpose input/output (GPIO), and the main processor performs data processing of the electronic device 101 based on the activation command. can According to an embodiment, the main processor may check information stored in the memory through an inter-integrated circuit (IC), and may execute a specific application based on the stored information. For example, the main processor may execute a specific application by checking information included in a designated location among information stored in the memory.

본 발명의 다양한 실시예에 따른 이미지 센서 모듈(200)은, 이미지 센서(210), 및 제1 프로세서(220)를 포함하고, 상기 제1 프로세서(220)는, 상기 이미지 센서(210)를 이용하여 데이터를 획득하고(410), 상기 획득된 데이터가 정해진 씬(scene)에 해당하는지 판단하고(420), 상기 획득된 데이터가 정해진 씬에 해당하면, 관련 어플리케이션을 판단하여, 및 상기 관련 어플리케이션의 실행을 제2 프로세서(280)로 요청할 수 있다(460).The image sensor module 200 according to various embodiments of the present disclosure includes an image sensor 210 and a first processor 220 , and the first processor 220 uses the image sensor 210 . to obtain data (410), determine whether the obtained data corresponds to a predetermined scene (420), and if the obtained data corresponds to a predetermined scene, determine a related application, and Execution may be requested to the second processor 280 (460).

본 발명의 다양한 실시예에 따른 이미지 센서 모듈(200)의 상기 제1 프로세서(220)는, 기타 센서 모듈(240)로 측정된 데이터를 요청하고(430), 상기 기타 센서 모듈(240)로부터 측정된 데이터를 수신하고(440), 및 상기 수신된 데이터를 더 이용하여 정해진 씬에 해당하는지를 판단할 수 있다.The first processor 220 of the image sensor module 200 according to various embodiments of the present disclosure requests data measured by the other sensor module 240 ( 430 ), and measures data from the other sensor module 240 . The received data may be received ( 440 ), and it may be determined whether the received data corresponds to a predetermined scene by further using the received data.

본 발명의 다양한 실시예에 따른 이미지 센서 모듈(200)의 상기 기타 센서 모듈(240)로부터 측정된 데이터는 조도 데이터를 포함하고, 상기 제1 프로세서(220)는, 상기 조도 데이터를 이용하여 실내 또는 실외인지를 판단하여 정해진 씬에 해당하는지를 판단할 수 있다.Data measured from the other sensor modules 240 of the image sensor module 200 according to various embodiments of the present disclosure includes illuminance data, and the first processor 220 uses the illuminance data to It is possible to determine whether it is outdoors by determining whether it corresponds to a predetermined scene.

본 발명의 다양한 실시예에 따른 이미지 센서 모듈(200)의 상기 기타 센서 모듈(240)로부터 측정된 데이터는 자이로 센서(250)의 데이터를 포함하고, 상기 제1 프로세서(220)는, 상기 자이로 센서(250)의 데이터를 이용하여 정해진 씬에 해당하는지를 판단할 수 있다.Data measured from the other sensor modules 240 of the image sensor module 200 according to various embodiments of the present disclosure includes data of the gyro sensor 250 , and the first processor 220 includes the gyro sensor It can be determined whether it corresponds to a predetermined scene using the data of 250 .

본 발명의 다양한 실시예에 따른 이미지 센서 모듈(200)의 상기 기타 센서 모듈(240)로부터 측정된 데이터는 움직임을 판단할 수 있는 데이터를 포함하고, 상기 제1 프로세서(220)는, 상기 움직임을 판단할 수 있는 데이터를 이용해 움직임이 지정된 범위에 포함되는 경우, 상기 관련 어플리케이션을 판단할 수 있다(450).Data measured from the other sensor modules 240 of the image sensor module 200 according to various embodiments of the present disclosure includes data for determining motion, and the first processor 220 detects the motion. When the motion is included in the designated range using the data that can be determined, the related application may be determined ( 450 ).

본 발명의 다양한 실시예에 따른 이미지 센서 모듈(200)의 상기 정해진 씬은 상기 관련 어플리케이션에 의해 등록된 씬을 포함할 수 있다.The predetermined scene of the image sensor module 200 according to various embodiments of the present disclosure may include a scene registered by the related application.

본 발명의 다양한 실시예에 따른 이미지 센서 모듈(200)의 상기 정해진 씬이 정해진 카테고리의 영상 또는 기학습된 오프젝트와 유사한 경우, 상기 관련 어플리케이션은 지능형 어플리케이션을 포함할 수 있다(740).When the predetermined scene of the image sensor module 200 according to various embodiments of the present disclosure is similar to an image of a predetermined category or a pre-learned object, the related application may include an intelligent application ( 740 ).

본 발명의 다양한 실시예에 따른 이미지 센서 모듈(200)의 상기 정해진 씬이 바코드 또는 QR코드를 포함하면, 상기 관련 어플리케이션은 코드 인식 어플리케이션을 포함할 수 있다(640).When the predetermined scene of the image sensor module 200 according to various embodiments of the present invention includes a barcode or a QR code, the related application may include a code recognition application ( 640 ).

본 발명의 다양한 실시예에 따른 이미지 센서 모듈(200)의 상기 정해진 씬이 셀카로 인식될 수 있는 씬이면, 상기 관련 어플리케이션은 전면 카메라를 이용하는 어플리케이션을 포함할 수 있다(540).If the predetermined scene of the image sensor module 200 according to various embodiments of the present disclosure is a scene that can be recognized as a selfie, the related application may include an application using a front camera ( 540 ).

본 발명의 다양한 실시예에 따른 이미지 센서 모듈(200)의 상기 정해진 씬이 풍경으로 인식될 수 있는 씬이면, 상기 관련 어플리케이션은 후면 카메라를 이용하는 어플리케이션을 포함할 수 있다.When the predetermined scene of the image sensor module 200 according to various embodiments of the present disclosure is a scene that can be recognized as a landscape, the related application may include an application using a rear camera.

본 발명의 다양한 실시예에 따른 전자 장치(101)는 이미지 센서(210)와 제1 프로세서(220)를 포함하는 이미지 센서 모듈(200), 및 제2 프로세서(280)를 포함하고, 상기 이미지 센서 모듈(200)은, 상기 이미지 센서(210)를 이용하여 데이터를 획득하고(410), 상기 획득된 데이터가 정해진 씬(scene)에 해당하는지 판단하고(420), 상기 획득된 데이터가 정해진 씬에 해당하면, 관련 어플리케이션을 추가 등록하고 및 상기 관련 어플리케이션의 실행을 상기 제2 프로세서(280)로 요청하고(460), 상기 제2 프로세서(280)는 상기 이미지 센서 모듈(200)의 요청에 의해 실행 모드가 변경될 수 있다.The electronic device 101 according to various embodiments of the present disclosure includes an image sensor module 200 including an image sensor 210 and a first processor 220 , and a second processor 280 , and the image sensor The module 200 acquires data using the image sensor 210 (410), determines whether the acquired data corresponds to a predetermined scene (420), and determines whether the acquired data corresponds to a predetermined scene If applicable, additional registration of the related application and the execution of the related application are requested to the second processor 280 (460), and the second processor 280 is executed at the request of the image sensor module 200 The mode can be changed.

본 발명의 다양한 실시예에 따른 전자 장치(101)는 기타 센서 모듈(240)을 더 포함하고, 상기 이미지 센서 모듈(200)은, 상기 기타 센서 모듈(240)로 측정된 데이터를 요청하고(430), 상기 기타 센서 모듈(240)로부터 측정된 데이터를 수신하고(430), 및 상기 수신된 데이터를 더 이용하여 정해진 씬에 해당하는지를 판단할 수 있다.The electronic device 101 according to various embodiments of the present disclosure further includes another sensor module 240 , and the image sensor module 200 requests data measured by the other sensor module 240 (430). ), receiving measured data from the other sensor module 240 ( 430 ), and further using the received data to determine whether it corresponds to a predetermined scene.

본 발명의 다양한 실시예에 따른 전자 장치(101)의 상기 기타 센서 모듈(240)로부터 측정된 데이터는 조도 데이터를 포함하고, 상기 이미지 센서 모듈(200)은, 상기 조도 데이터를 이용하여 실내 또는 실외인지를 판단하여 정해진 씬에 해당하는지를 판단할 수 있다.Data measured from the other sensor module 240 of the electronic device 101 according to various embodiments of the present disclosure includes illuminance data, and the image sensor module 200 uses the illuminance data to perform indoor or outdoor It is possible to determine whether it corresponds to a predetermined scene by judging the recognition.

본 발명의 다양한 실시예에 따른 전자 장치(101)의 상기 기타 센서 모듈(240)로부터 측정된 데이터는 자이로 센서(250)의 데이터를 포함하고, 상기 이미지 센서 모듈(240)은, 상기 자이로 센서(250)의 데이터를 이용하여 정해진 씬에 해당하는지를 판단할 수 있다.Data measured from the other sensor module 240 of the electronic device 101 according to various embodiments of the present disclosure includes data of the gyro sensor 250, and the image sensor module 240 includes the gyro sensor ( 250), it can be determined whether it corresponds to a predetermined scene.

본 발명의 다양한 실시예에 따른 전자 장치(101)의 상기 기타 센서 모듈(240)로부터 측정된 데이터는 움직임을 판단할 수 있는 데이터를 포함하고, 상기 이미지 센서 모듈(200)은, 상기 움직임을 판단할 수 있는 데이터를 이용해 움직임이 지정된 범위에 포함되는 경우 상기 관련 어플리케이션을 판단할 수 있다(460).Data measured from the other sensor module 240 of the electronic device 101 according to various embodiments of the present disclosure includes data capable of determining motion, and the image sensor module 200 determines the motion When the movement is included in the designated range using the available data, the related application may be determined ( 460 ).

본 발명의 다양한 실시예에 따른 전자 장치(101)의 상기 제2 프로세서(280)는, 상기 수신된 관련 어플리케이션이 복수의 어플리케이션이면, 상기 복수의 어플리케이션을 표시할 수 있다.When the received related application is a plurality of applications, the second processor 280 of the electronic device 101 according to various embodiments of the present disclosure may display the plurality of applications.

본 발명의 다양한 실시예에 따른 전자 장치(101)의 상기 정해진 씬은 상기 관련 어플리케이션에 의해 등록된 씬을 포함할 수 있다.The predetermined scene of the electronic device 101 according to various embodiments of the present disclosure may include a scene registered by the related application.

본 발명의 다양한 실시예에 따른 전자 장치(101)의 상기 정해진 씬이 바코드 또는 QR코드를 포함하면, 상기 관련 어플리케이션은 코드 인식 어플리케이션을 포함할 수 있다(640).본 발명의 다양한 실시예에 따른 저장 매체(230)는, 상기 저장 매체에 저장된 명령들은 적어도 하나의 프로세서(220)에 의하여 실행될 때에 상기 적어도 하나의 프로세서(220)로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 상기 프로세서(220)와 기능적으로 연결된 이미지 센서(210)를 이용하여 데이터를 획득하는 동작(410), 상기 획득된 데이터가 정해진 씬(scene)에 해당하는지 판단하는 동작(420), 상기 획득된 데이터가 정해진 씬에 해당하는 경우, 다른 프로세서(280)를 이용하여 지정된 어플리케이션을 실행하기 위한 명령을 생성하는 동작(460), 및 상기 획득된 데이터가 정해진 씬에 해당하지 않는 경우, 상기 이미지 센서(210)를 이용하여 다른 데이터를 획득하는 동작을 포함할 수 있다.When the predetermined scene of the electronic device 101 includes a barcode or a QR code according to various embodiments of the present disclosure, the related application may include a code recognition application ( 640 ). The storage medium 230 is configured to cause the at least one processor 220 to perform at least one operation when the instructions stored in the storage medium are executed by the at least one processor 220 , and the at least one operation The operation 410 of acquiring data by using the image sensor 210 functionally connected to the processor 220, the operation 420 of determining whether the acquired data corresponds to a predetermined scene, the acquisition When the obtained data corresponds to a predetermined scene, an operation 460 of generating a command for executing a specified application by using another processor 280 is performed, and when the obtained data does not correspond to a predetermined scene, the image sensor It may include an operation of acquiring other data using 210 .

본 발명의 다양한 실시예에 따른 저장 매체(230)의 상기 적어도 하나의 동작은, 상기 생성된 실행 명령을 상기 적어도 하나의 프로세서(220)와 상기 다른 프로세서(280) 간의 통신을 위한 인터페이스를 이용하여, 상기 다른 프로세서(280)로 전달하는 동작을 포함할 수 있다.The at least one operation of the storage medium 230 according to various embodiments of the present invention uses an interface for communication between the at least one processor 220 and the other processor 280 by using the generated execution command. , transmitting to the other processor 280 .

그 외에도 다양한 실시예들이 가능하다.In addition, various embodiments are possible.

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.It should be understood that the various embodiments of this document and the terms used therein are not intended to limit the technical features described in this document to specific embodiments, and include various modifications, equivalents, or substitutions of the embodiments. In connection with the description of the drawings, like reference numerals may be used for similar or related components. The singular form of the noun corresponding to the item may include one or more of the item, unless the relevant context clearly dictates otherwise. As used herein, "A or B", "at least one of A and B", "at least one of A or B," "A, B or C," "at least one of A, B and C," and "A , B, or C" each may include any one of the items listed together in the corresponding one of the phrases, or all possible combinations thereof. Terms such as “first”, “second”, or “first” or “second” may simply be used to distinguish the component from other components in question, and may refer to components in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is "coupled" or "connected" to another (eg, second) component, with or without the terms "functionally" or "communicatively". When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.

본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다. As used herein, the term “module” may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic block, component, or circuit. A module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions. For example, according to an embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).

본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101). may be implemented as software (eg, the program 140) including For example, the processor (eg, the processor 120 ) of the device (eg, the electronic device 101 ) may call at least one of one or more instructions stored from a storage medium and execute it. This makes it possible for the device to be operated to perform at least one function according to the at least one command called. The one or more instructions may include code generated by a compiler or code executable by an interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.

일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다. According to one embodiment, the method according to various embodiments disclosed in this document may be provided in a computer program product (computer program product). Computer program products may be traded between sellers and buyers as commodities. The computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly, online between smartphones (eg: smartphones). In the case of online distribution, at least a part of the computer program product may be temporarily stored or temporarily created in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.

다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, a module or a program) of the above-described components may include a singular or a plurality of entities. According to various embodiments, one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg, a module or a program) may be integrated into one component. In this case, the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. . According to various embodiments, operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. or one or more other operations may be added.

Claims (20)

이미지 센서 모듈에 있어서,
이미지 센서; 및
제1 프로세서를 포함하고,
상기 제1 프로세서는,
상기 이미지 센서를 이용하여 데이터를 획득하고,
상기 획득된 데이터가 정해진 씬(scene)에 해당하는지 판단하고,
상기 획득된 데이터가 정해진 씬에 해당하면, 관련 어플리케이션을 판단하여, 및
상기 관련 어플리케이션의 실행을 제2 프로세서로 요청하는,
이미지 센서 모듈.In the image sensor module,
image sensor; and
a first processor;
The first processor,
Acquire data using the image sensor,
It is determined whether the acquired data corresponds to a predetermined scene,
If the acquired data corresponds to a predetermined scene, determining a related application, and
requesting execution of the related application to a second processor;
image sensor module. 제 1항에 있어서,
상기 제1 프로세서는,
기타 센서 모듈로 측정된 데이터를 요청하고,
상기 기타 센서 모듈로부터 측정된 데이터를 수신하고, 및
상기 수신된 데이터를 더 이용하여 정해진 씬에 해당하는지를 판단하는, 이미지 센서 모듈.The method of claim 1,
The first processor,
Request data measured by other sensor modules,
receiving measured data from the other sensor module; and
An image sensor module that further uses the received data to determine whether it corresponds to a predetermined scene. 제 2항에 있어서,
상기 기타 센서 모듈로부터 측정된 데이터는 조도 데이터를 포함하고,
상기 제1 프로세서는,
상기 조도 데이터를 이용하여 실내 또는 실외인지를 판단하여 정해진 씬에 해당하는지를 판단하는, 이미지 센서 모듈.3. The method of claim 2,
Data measured from the other sensor module includes illuminance data,
The first processor,
An image sensor module for determining whether a scene corresponds to a predetermined scene by determining whether it is indoors or outdoors by using the illuminance data. 제 2항에 있어서,
상기 기타 센서 모듈로부터 측정된 데이터는 자이로 센서의 데이터를 포함하고,
상기 제1 프로세서는,
상기 자이로 센서의 데이터를 이용하여 정해진 씬에 해당하는지를 판단하는, 이미지 센서 모듈.3. The method of claim 2,
The data measured from the other sensor module includes data of the gyro sensor,
The first processor,
An image sensor module for determining whether a scene corresponds to a predetermined scene using the data of the gyro sensor. 제 2항에 있어서,
상기 기타 센서 모듈로부터 측정된 데이터는 움직임을 판단할 수 있는 데이터를 포함하고,
상기 제1 프로세서는,
상기 움직임을 판단할 수 있는 데이터를 이용해 움직임이 지정된 범위에 포함되는 경우, 상기 관련 어플리케이션을 판단하는, 이미지 센서 모듈.3. The method of claim 2,
The data measured from the other sensor module includes data capable of determining movement,
The first processor,
An image sensor module for determining the related application when the movement is included in a specified range using data for determining the movement. 제 1항에 있어서,
상기 정해진 씬은 상기 관련 어플리케이션에 의해 등록된 씬을 포함하는, 이미지 센서 모듈.The method of claim 1,
The predetermined scene includes a scene registered by the related application, the image sensor module. 제 1항에 있어서,
상기 정해진 씬이 정해진 카테고리의 영상 또는 기학습된 오프젝트와 유사한 경우, 상기 관련 어플리케이션은 지능형 어플리케이션을 포함하는, 이미지 센서 모듈.The method of claim 1,
When the predetermined scene is similar to an image of a predetermined category or a pre-learned object, the related application includes an intelligent application. 제 1항에 있어서,
상기 정해진 씬이 바코드 또는 QR(quick response)코드를 포함하면, 상기 관련 어플리케이션은 코드 인식 어플리케이션을 포함하는, 이미지 센서 모듈.The method of claim 1,
When the predetermined scene includes a barcode or a quick response (QR) code, the related application includes a code recognition application, the image sensor module. 제 1항에 있어서,
상기 정해진 씬이 셀카로 인식될 수 있는 씬이면, 상기 관련 어플리케이션은 전면 카메라를 이용하는 어플리케이션을 포함하는, 이미지 센서 모듈.The method of claim 1,
If the predetermined scene is a scene that can be recognized as a selfie, the related application includes an application using a front camera, the image sensor module. 제 1항에 있어서,
상기 정해진 씬이 풍경으로 인식될 수 있는 씬이면, 상기 관련 어플리케이션은 후면 카메라를 이용하는 어플리케이션을 포함하는, 이미지 센서 모듈.The method of claim 1,
When the predetermined scene is a scene that can be recognized as a landscape, the related application includes an application using a rear camera. 전자 장치에 있어서,
이미지 센서와 제1 프로세서를 포함하는 이미지 센서 모듈; 및
제2 프로세서를 포함하고,
상기 이미지 센서 모듈은,
상기 이미지 센서를 이용하여 데이터를 획득하고,
상기 획득된 데이터가 정해진 씬(scene)에 해당하는지 판단하고,
상기 획득된 데이터가 정해진 씬에 해당하면, 관련 어플리케이션을 추가 등록하고, 및
상기 관련 어플리케이션의 실행을 상기 제2 프로세서로 요청하고,
상기 제2 프로세서는 상기 이미지 센서 모듈의 요청에 의해 실행 모드가 변경되는, 전자 장치.In an electronic device,
an image sensor module including an image sensor and a first processor; and
a second processor;
The image sensor module,
Acquire data using the image sensor,
It is determined whether the acquired data corresponds to a predetermined scene,
If the acquired data corresponds to a predetermined scene, additionally register a related application, and
request the execution of the related application to the second processor;
The second processor is configured to change an execution mode according to a request of the image sensor module. 제 11항에 있어서,
기타 센서 모듈을 더 포함하고,
상기 이미지 센서 모듈은,
상기 기타 센서 모듈로 측정된 데이터를 요청하고,
상기 기타 센서 모듈로부터 측정된 데이터를 수신하고, 및
상기 수신된 데이터를 더 이용하여 정해진 씬에 해당하는지를 판단하는, 전자 장치.12. The method of claim 11,
and other sensor modules,
The image sensor module,
Request data measured by the other sensor module,
receiving measured data from the other sensor module; and
The electronic device further using the received data to determine whether it corresponds to a predetermined scene. 제 12항에 있어서,
상기 기타 센서 모듈로부터 측정된 데이터는 조도 데이터를 포함하고,
상기 이미지 센서 모듈은,
상기 조도 데이터를 이용하여 실내 또는 실외인지를 판단하여 정해진 씬에 해당하는지를 판단하는, 전자 장치.13. The method of claim 12,
Data measured from the other sensor module includes illuminance data,
The image sensor module,
An electronic device for determining whether a scene corresponds to a predetermined scene by determining whether it is indoors or outdoors by using the illuminance data. 제 12항에 있어서,
상기 기타 센서 모듈로부터 측정된 데이터는 자이로 센서의 데이터를 포함하고,
상기 이미지 센서 모듈은,
상기 자이로 센서의 데이터를 이용하여 정해진 씬에 해당하는지를 판단하는, 전자 장치.13. The method of claim 12,
The data measured from the other sensor module includes data of the gyro sensor,
The image sensor module,
An electronic device that determines whether a scene corresponds to a predetermined scene by using the data of the gyro sensor. 제 12항에 있어서,
상기 기타 센서 모듈로부터 측정된 데이터는 움직임을 판단할 수 있는 데이터를 포함하고,
상기 이미지 센서 모듈은,
상기 움직임을 판단할 수 있는 데이터를 이용해 움직임이 지정된 범위에 포함되는 경우, 상기 관련 어플리케이션을 판단하는, 전자 장치.13. The method of claim 12,
The data measured from the other sensor module includes data capable of determining movement,
The image sensor module,
and determining the related application when the motion is included in a specified range using data for determining the motion. 제 11항에 있어서,
상기 제2 프로세서는,
상기 수신된 관련 어플리케이션이 복수의 어플리케이션이면, 상기 복수의 어플리케이션을 표시하는, 전자 장치.12. The method of claim 11,
The second processor,
When the received related application is a plurality of applications, the electronic device displays the plurality of applications. 제 11항에 있어서,
상기 정해진 씬은 상기 관련 어플리케이션에 의해 등록된 씬을 포함하는, 전자 장치.12. The method of claim 11,
The electronic device, wherein the predetermined scene includes a scene registered by the related application. 제 11항에 있어서,
상기 정해진 씬이 바코드 또는 QR(quick response)코드를 포함하면, 상기 관련 어플리케이션은 코드 인식 어플리케이션을 포함하는, 전자 장치.12. The method of claim 11,
If the predetermined scene includes a barcode or a quick response (QR) code, the related application includes a code recognition application, the electronic device. 저장 매체에 있어서,
상기 저장 매체에 저장된 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은,
상기 프로세서와 기능적으로 연결된 이미지 센서를 이용하여 데이터를 획득하는 동작;
상기 획득된 데이터가 정해진 씬(scene)에 해당하는지 판단하는 동작;
상기 획득된 데이터가 정해진 씬에 해당하는 경우, 다른 프로세서를 이용하여 지정된 어플리케이션을 실행하기 위한 명령을 생성하는 동작; 및
상기 획득된 데이터가 정해진 씬에 해당하지 않는 경우, 상기 이미지 센서를 이용하여 다른 데이터를 획득하는 동작을 포함하는, 저장 매체.In the storage medium,
The instructions stored in the storage medium are configured to cause the at least one processor to perform at least one operation when executed by the at least one processor, wherein the at least one operation comprises:
acquiring data using an image sensor functionally connected to the processor;
determining whether the acquired data corresponds to a predetermined scene;
generating a command for executing a specified application using another processor when the acquired data corresponds to a predetermined scene; and
and acquiring other data using the image sensor when the acquired data does not correspond to a predetermined scene. 제 19항에 있어서, 상기 적어도 하나의 동작은,
상기 생성된 실행 명령을 상기 적어도 하나의 프로세서와 상기 다른 프로세서 간의 통신을 위한 인터페이스를 이용하여, 상기 다른 프로세서로 전달하는 동작을 포함하는, 저장 매체.The method of claim 19, wherein the at least one operation comprises:
and transferring the generated execution instruction to the other processor using an interface for communication between the at least one processor and the other processor.
KR1020200026640A 2020-03-03 2020-03-03 Image sensor module and electronic device including image sensor module KR20210111554A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200026640A KR20210111554A (en) 2020-03-03 2020-03-03 Image sensor module and electronic device including image sensor module
PCT/KR2021/001415 WO2021177606A1 (en) 2020-03-03 2021-02-03 Image sensor module and electronic device including same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200026640A KR20210111554A (en) 2020-03-03 2020-03-03 Image sensor module and electronic device including image sensor module

Publications (1)

Publication Number Publication Date
KR20210111554A true KR20210111554A (en) 2021-09-13

Family

ID=77612645

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200026640A KR20210111554A (en) 2020-03-03 2020-03-03 Image sensor module and electronic device including image sensor module

Country Status (2)

Country Link
KR (1) KR20210111554A (en)
WO (1) WO2021177606A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5355124B2 (en) * 2009-02-09 2013-11-27 キヤノン株式会社 Imaging apparatus and scene discrimination method thereof
KR20150022356A (en) * 2013-08-23 2015-03-04 에스케이플래닛 주식회사 Apparatus and method for executing camera application
US9804667B2 (en) * 2015-02-10 2017-10-31 Nintendo Co., Ltd. Electronic apparatus
KR102568387B1 (en) * 2016-02-02 2023-08-21 삼성전자 주식회사 Electronic apparatus and method for processing data thereof
KR102034548B1 (en) * 2016-10-10 2019-10-21 삼성전자주식회사 Electronic device and Method for controlling the electronic device thereof

Also Published As

Publication number Publication date
WO2021177606A1 (en) 2021-09-10

Similar Documents

Publication Publication Date Title
US11606501B2 (en) Electronic device and image control method of the electronic device
EP3641294B1 (en) Electronic device and method for obtaining images
US11048923B2 (en) Electronic device and gesture recognition method thereof
KR102552923B1 (en) Electronic device for acquiring depth information using at least one of cameras or depth sensor
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
EP3621292B1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
US11601590B2 (en) Interface connected to image sensor and electronic device comprising interfaces connected among plurality of processors
US11467673B2 (en) Method for controlling camera and electronic device therefor
US11206363B2 (en) Electronic device and method for correcting image in camera switching
US20200204747A1 (en) Electronic device and method for obtaining data from second image sensor by means of signal provided from first image sensor
EP3850826B1 (en) Electronic device for controlling frame rate of image sensor and method thereof
US20220268935A1 (en) Electronic device comprising camera and method thereof
US20230141559A1 (en) Method for providing image and electronic device supporting the same
US20220103795A1 (en) Electronic device and method for generating images by performing auto white balance
KR20210111554A (en) Image sensor module and electronic device including image sensor module
EP3951426A1 (en) Electronic device and method for compensating for depth error according to modulation frequency
US11032462B2 (en) Method for adjusting focus based on spread-level of display object and electronic device supporting the same
KR20210101416A (en) Image sensor controlling method and apparatus
US20230360245A1 (en) Measurement method using ar, and electronic device
US11153018B2 (en) Electronic device and method for controlling electronic device
US20230023479A1 (en) Automatic focus detection method of camera and electric device supporting same