KR102592061B1 - 전자 장치 및 전자 장치의 이미지 처리 방법 - Google Patents

전자 장치 및 전자 장치의 이미지 처리 방법 Download PDF

Info

Publication number
KR102592061B1
KR102592061B1 KR1020180018319A KR20180018319A KR102592061B1 KR 102592061 B1 KR102592061 B1 KR 102592061B1 KR 1020180018319 A KR1020180018319 A KR 1020180018319A KR 20180018319 A KR20180018319 A KR 20180018319A KR 102592061 B1 KR102592061 B1 KR 102592061B1
Authority
KR
South Korea
Prior art keywords
image
correction information
electronic device
external electronic
information
Prior art date
Application number
KR1020180018319A
Other languages
English (en)
Other versions
KR20190098406A (ko
Inventor
임나리
김일도
김재곤
이상진
이용주
이창권
정승혜
정혜윤
박지윤
원종훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180018319A priority Critical patent/KR102592061B1/ko
Priority to PCT/KR2019/001393 priority patent/WO2019160262A1/ko
Priority to US16/970,259 priority patent/US11425300B2/en
Publication of KR20190098406A publication Critical patent/KR20190098406A/ko
Application granted granted Critical
Publication of KR102592061B1 publication Critical patent/KR102592061B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

다양한 실시예들에 따르면, 전자 장치는, 통신 모듈, 메모리, 상기 통신 모듈 및 상가 메모리와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 통신 모듈을 이용하여, 외부 전자 장치로부터 제 1 이미지에 대응하는 보정 정보 요청을 수신하고, 이미지 인식에 기반하여, 상기 제 1 이미지에 대응하는 로우 이미지를 이용하여 제 1 보정 정보를 생성하고, 상기 제1 이미지와 상기 제1 보정 정보 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하는지 판단하고, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하지 않는 것에 기반하여, 상기 외부 전자 장치가 상기 제 1 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 2 이미지를 생성할 수 있도록, 상기 제 1 보정 정보를 상기 외부 장치로 송신하고, 및 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 것에 기반하여, 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제 2 보정 정보를 생성하고, 및 상기 외부 전자 장치가 상기 제 2 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 3 이미지를 생성할 수 있도록, 상기 제 2 보정 정보를 상기 외부 장치로 송신하도록 설정될 수 있다. 다른 실시예가 가능하다.

Description

전자 장치 및 전자 장치의 이미지 처리 방법{ELECTRONIC DEVICE AND METHOD FOR PROCESSING IMAGE IN ELECTRONIC DEVICE}
본 다양한 실시예들은 전자 장치에서 이미지 처리를 위한 보정 정보의 활용 성을 높일 수 있는 전자 장치 및 전자 장치의 이미지 처리 방법에 관한 것이다.
이미지를 처리하는 전자 장치는, 이미지 센서를 통하여 원시 이미지(예컨대, 로우(raw) 이미지) 데이터를 획득할 수 있으며, 획득된 원시 이미지 데이터를 이미지 신호 프로세서(image signal processor: ISP) 등을 이용하여 처리할 수 있다.
이미지 신호 프로세서는, 화질 개선 알고리즘을 이용하여 수신된 원시 이미지 데이터를 처리할 수 있으며, 이에 따라 화질이 개선된 이미지를 제공할 수 있다.
이미지 프로세서는, 화이트 밸런스(white balance) 조절, 컬러 조정(color adjustment)(예: color matrix, color correction, color enhancement), 색 필터 배열 보간(color filter array interpolation), 잡음 감소(noise reduction) 처리 또는 샤프닝(sharpening), 이미지 개선(image enhancement)(예:HDR(high-dynamic-range), face detection 등) 등의 다양한 처리를 수행할 수 있다. 이미지 신호 프로세서로부터 출력된 이미지는, 예를 들어 YUV 포맷을 가질 수도 있다. 이미지 신호 프로세서로부터 출력된 이미지는, 예를 들어 JPEG 압축되고, 압축된 이미지가 전자 장치에 저장될 수 있다.
이미지 백업 및 새로운 미디어 컨텐트를 생성하기 위한 이미지 처리 클라우드 시스템에 의한 서비스가 제공되고 있다. 클라우드 서버에 업로드 된 이미지는, 영상 매칭 등의 기법과 같이 단말 장치에서 수행되기 어려운 컴퓨터 비전 기반의 기술이 적용될 수 있다. 예를 들어, 머신 러닝 기반의 소프트웨어를 이용하여, 클라우드 서버는 이미지 인식을 수행할 수 있다.
또한 클라우드 서버로부터 전자 장치의 ISP에서는 산출해 내기 어려운 또는 산출하는데 시간이 많이 걸리는 이미지 보정 정보를 획득할 수 있으며, 획득된 보정 정보를 이용하여 이미지를 처리할 수 있다.
다양한 실시예들에 따르면, 전자 장치는, 통신 모듈; 메모리; 상기 통신 모듈 및 상가 메모리와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 통신 모듈을 이용하여, 외부 전자 장치로부터 제 1 이미지에 대응하는 보정 정보 요청을 수신하고, 이미지 인식에 기반하여, 상기 제 1 이미지에 대응하는 로우 이미지를 이용하여 제 1 보정 정보를 생성하고, 상기 제1 이미지와 상기 제1 보정 정보를 세그먼트 영역별로 세그먼트의 바운더리를 스캔하면서, 상기 제1 이미지의 세크먼트 바운더리에 포함된 픽셀 블록과 상기 제1 보정 정보의 세그먼트 바운더리에 포함된 픽셀 블록 간의 엣지 강도, 픽셀 간의 유사도 및 주변 영역의 주파수를 비교하고, 상기 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하는지 판단하고, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하지 않는 것에 기반하여, 상기 외부 전자 장치가 상기 제 1 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 2 이미지를 생성할 수 있도록, 상기 제 1 보정 정보를 상기 외부 전자 장치로 송신하고, 및 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 것에 기반하여, 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제 2 보정 정보를 생성하고, 및 상기 외부 전자 장치가 상기 제 2 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 3 이미지를 생성할 수 있도록, 상기 제 2 보정 정보를 상기 외부 전자 장치로 송신도록 설정될 수 있다.
다양한 실시예들에 따르면, 전자 장치는, 카메라; 통신 모듈; 및 상기 카메라 및 상기 통신모듈과 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 통신 모듈을 이용하여, 외부 전자 장치에게 제1 이미지에 대응하는 보정 정보 요청을 전송하고, 상기 제1 이미지와 상기 제1 이미지에 대응하는 로우 이미지를 이용하여 생성된 제1 보정 정보를 세그먼트 영역별로 세그먼트의 바운더리를 스캔하면서, 상기 제1 이미지의 세크먼트 바운더리에 포함된 픽셀 블록과 상기 제1 보정 정보의 세그먼트 바운더리에 포함된 픽셀 블록 간의 엣지 강도, 픽셀 간의 유사도 및 주변 영역의 주파수를 비교하고, 상기 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하지 않는 경우, 상기 통신 모듈을 이용하여, 상기 제1 보정 정보를 수신하고, 상기 제1 보정 정보를 이용하여 상기 제1 이미지가 보정 된 제2 이미지를 생성하며, 상기 비교에 기반하여, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 경우, 상기 통신 모듈을 이용하여 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제2 보정 정보를 수신하고, 상기 제2 보정 정보를 이용하여 상기 제1 이미지가 보정 된 제3 이미지를 생성하도록 설정될 수 있다.
다양한 실시예들에 따르면, 전자 장치의 이미지 처리 방법은, 외부 전자 장치로부터 제 1 이미지에 대응하는 보정 정보 요청을 수신하는 동작; 이미지 인식에 기반하여, 상기 제 1 이미지에 대응하는 로우 이미지를 이용하여 제 1 보정 정보를 생성하는 동작; 상기 제1 이미지와 상기 제1 보정 정보를 세그먼트 영역별로 세그먼트의 바운더리를 스캔하면서, 상기 제1 이미지의 세크먼트 바운더리에 포함된 픽셀 블록과 상기 제1 보정 정보의 세그먼트 바운더리에 포함된 픽셀 블록 간의 엣지 강도, 픽셀 간의 유사도 및 주변 영역의 주파수를 비교하고, 상기 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하는지 판단하는 동작; 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하지 않는 것에 기반하여, 상기 외부 전자 장치가 상기 제 1 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 2 이미지를 생성할 수 있도록, 상기 제 1 보정 정보를 상기 외부 전자 장치로 송신하는 동작; 및 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 것에 기반하여, 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제 2 보정 정보를 생성하고, 상기 외부 전자 장치가 상기 제 2 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 3 이미지를 생성할 수 있도록, 상기 제 2 보정 정보를 상기 외부 전자 장치로 송신하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치의 이미지 처리 방법은, 외부 전자 장치에게 제1 이미지에 대응하는 보정 정보 요청을 전송하는 동작; 상기 제1 이미지와 상기 제1 이미지에 대응하는 로우 이미지를 이용하여 생성된 제1 보정 정보를 세그먼트 영역별로 세그먼트의 바운더리를 스캔하면서, 상기 제1 이미지의 세크먼트 바운더리에 포함된 픽셀 블록과 상기 제1 보정 정보의 세그먼트 바운더리에 포함된 픽셀 블록 간의 엣지 강도, 픽셀 간의 유사도 및 주변 영역의 주파수를 비교하고, 상기 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하지 않는 경우, 상기 제1 보정 정보를 수신하고, 상기 제1 보정 정보를 이용하여 상기 제1 이미지가 보정 된 제2 이미지를 생성하는 동작; 및 상기 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하는 경우, 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제2 보정 정보를 수신하고, 상기 제2 보정 정보를 이용하여 상기 제1 이미지가 보정 된 제3 이미지를 생성하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예들에서는, 전자 장치의 이미지를 보정하기 위해 클라우드 서버로부터 제공되는 보정 정보의 활용성을 높일 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는 다양한 실시예들에 따른 카메라 모의 블럭도이다.
도 3은 다양한 실시예들에 따른 전자 장치 및 외부 전자 장치의 동작을 설명하기 위해 개념도를 도시한다.
도 4는 다양한 실시예에 따른 외부 전자 장치에서 제2 보정 정보를 생성 방법을 나타내는 흐름도이다.
도 5a는 다양한 실시예에 따른 외부 전자 장치에서 제2 보정 정보를 생성 방법을 설명하기 위한 도면이다.
도 5b는 다양한 실시예에 따른 외부 전자 장치에서 생성되는 보정 정보를 설명하기 위한 도면이다.
도 6은 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 7은 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 8은 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 9는 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 10은 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 11은 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 및 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성 요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(160)(예: 디스플레이)에 임베디드된 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성 요소들이 통합되어 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성 요소(예: 하드웨어 또는 소프트웨어 구성 요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성 요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 신호 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(123)는 메인 프로세서(121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성 요소들 중 적어도 하나의 구성 요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 신호 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부 구성 요소로서 구현될 수 있다. 메모리(130)는, 전자 장치(101)의 적어도 하나의 구성 요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성 요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(160)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 전자 장치(예: 전자 장치(102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는 HDMI(high definition multimediainterface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈, 이미지 센서, 이미지 신호 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일실시예에 따르면, 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(101)를 구별 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)(예: 무선 통신 모듈(192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성 요소들 중 일부 구성 요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purposeinput/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는, 다양한 실시예들에 따른, 카메라 모듈(180)의 블럭도(200)이다. 도 2를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 신호 프로세서(260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)일 수 있다. 복수의 렌즈 어셈블리(210)들은 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 렌즈 어셈블리와 적어도 하나의 다른 렌즈 속성을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다. 플래쉬(220)는 피사체로부터 방출되는 빛을 강화하기 위하여 사용되는 광원을 방출할 수 있다. 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다.
이미지 센서(230)는 피사체로부터 렌즈 어셈블리(210) 를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일실시예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서로 구현될 수 있다.
이미지 스태빌라이저(240)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향(예: 이미지 흔들림)을 적어도 일부 보상하기 위하여 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있으며, 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 상기 움직임을 감지할 수 있다.
메모리(250)는 이미지 센서(230)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 신호 프로세서(260)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 신호 프로세서(260)는 이미지 센서(230)을 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 이미지 처리(예: 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening))을 수행할 수 있다. 추가적으로 또는 대체적으로, 이미지 신호 프로세서(260)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 신호 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장 되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 표시 장치(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 전달될 수 있다. 일실시예에 따르면, 이미지 신호 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 별도의 프로세서로 구성된 경우, 이미지 신호 프로세서(260)에 의해 처리된 이미지들은 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(160)를 통해 표시될 수 있다.
일실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 둘 이상의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 적어도 하나의 카메라 모듈(180)은 광각 카메라 또는 전면 카메라이고, 적어도 하나의 다른 카메라 모듈은 망원 카메라 또는 후면 카메라일 수 있다.
도 3은 다양한 실시예들에 따른 전자 장치 및 외부 전자 장치의 동작을 설명하기 위해 개념도를 도시한다.
전자 장치(320, 예: 도 1의 전자 장치(101))는, 카메라 모듈(380), 프로세서(325), 메모리(327) 및 디스플레이(329)를 포함할 수 있다. 도시되지는 않았지만, 전자 장치(320)는 외부 전자 장치(330)와 데이터를 송수신할 수 있는 통신 모듈(예: 도 1의 통신 인터페이스(170) 또는 통신 모듈(220))을 포함할 수 있다.
카메라 모듈(380, 예: 도 1의 카메라 모듈(180), 도 2의 카메라 모듈(180))은 이미지 센서(321) 및 ISP(323)를 포함할 수 있다.
이미지 센서(321)는 외부 객체에 대한 이미지를 획득할 수 있으며, 이에 대응하는 로우 이미지(322)(원시 이미지, raw image)를 생성할 수 있다. 이미지 센서(321)는 CFA (Color Filter Array) 패턴에 따라 다양한 형태의 로우 이미지를 획득할 수 있다. 이미지 센서(321)의 DP(dual pixel)구조(또는 2PD)를 이용하면, 하나의 픽셀에 서로 다른 위상차(또는 시차) 정보를 포함하는 로우 이미지를 획득할 수 있다. 서로 같거나 다른 특성을 가진 복수의 이미지 센서들(예: Dualsensor(예: RGB+RGB, RGB+Mono, 또는 Wide+Tele 등), Array Sensor(예: 2개 이상의 Sensor가 부착) 등)을 이용하여, 한 장면에 대해 하나 이상의 로우 이미지를 획득할 수 있으며, 상기 획득된 로우 이미지는 그대로 또는 추가적인 처리를 거쳐 카메라 모듈의 내부 메모리 또는 메모리(325)에 저장될 수 있다.
로우 이미지(322)는 다양한 포맷(예: Layer 포맷 등)으로 구성될 수 있다. 로우 이미지(322)는 픽셀(Pixel)에 대해 R(red),G(green),B(blue) 중 하나의 색으로 표현될 수 있고, 8~16Bit의 Bit-Depth로 표현 가능하다. 로우 이미지(322)에는 다양한 CFA (Color Filter Array) 패턴이 적용될 수 있다. 로우 이미지(322)는 하나의 픽셀에 대해 여러 가지 색(예: R,G,B 중 복수 의 색) 정보를 포함하는 Layer 구조의 로우 이미지일 수 있다. 로우 이미지(322)는 이미지 센서(321)의 다양한 구성에 따라, 색 정보(예:RGB) 뿐만 아니라, 위상차 정보 등도 포함할 수 있다. 이미지의 촬영과 관련된 정보(예: 시간, 위치, 조도 등)는 메타데이터로 생성되어 로우 이미지와 관련하여 저장될 수 있다.
이미지 센서(321)는, 로우 이미지를 ISP(323)로 전달할 수 있으며, 상기 로우 이미지는 스몰 로우 이미지(small raw image)(322a) 또는 풀 로우 이미지(full raw image, 이하 '로우 이미지(raw image)'로 명명)(322)를 포함할 수 있다. 다양한 실시예에 따르면, 이미지 센서(321)는 스몰 로우 이미지(322a)를 생성하여 이를 통신 모듈을 통하여 외부 전자 장치(330)로 송신할 수 있다. 다른 실시예에 따르면, 이미지 센서(321)가 아닌 전자 장치(320)의 프로세서(327)가 스몰 로우 이미지(322a)를 생성할 수도 있으며, 생성된 스몰 로우 이미지(322a)를 통신 모듈을 통하여 외부 전자 장치(330)로 송신할 수 있다. 또 다른 실시예에 따르면, 이미지 센서(321)가 스몰 로우 이미지(322a)를 생성할 수 있는 스몰 로우 이미지 생성 부를 포함하거나, 스몰 로우 이미지 생성 부가 전자 장치(320)에 별도로 구성될 수 있다.
스몰 로우 이미지(322a)는 로우 이미지를 다운 스케일(예: 크기를 줄이거나 해상도를 낮추는 동작) 또는 다운 샘플링(예: 샘플링된 일련의 샘프들 중 하나 또는 일부 샘플만을 취하는 동작)통해 생성될 수 있다.
이미지 센서(321)는, 다양한 압축 알고리즘을 이용하여 로우 이미지(322)를 압축된 상태로 상기 ISP(323) 또는 상기 외부 전자 장치(330)으로 송신할 수 있다. 이미지 센서(321)는, 로우 이미지(322)의 일부 처리를 위해 압축하여 상기 이미지 센서(321)내부의 메모리에 저장할 수 있다. 이미지 센서(421)는, 다양한 압축 알고리즘을 이용하여 스몰 로우 이미지(322a)를 압축된 상태로 상기 외부 전자 장치(330)로 송신할 수 있다.
다양한 실시예에 따르면, ISP(323)는 외부 전자 장치(330)로부터 수신된 보정 정보를 이용하여 보정 된 이미지를 생성할 수 있다.
일 실시예에 따르면, ISP(323)는 외부 전자 장치(330)로부터 수신된, 외부 전자 장치(330)의 인식 모듈(331)에 의해 스몰 로우 이미지(322a) 또는 로우 이미지(322)를 기반하여 생성된, 제1 보정 정보(332)를 이용하여 이미지 센서(321)로부터 수신되는 로우 이미지(322)에 대응되는 제1 이미지를 보정한 제2 이미지를 생성할 수 있다.
일 실시예에 따르면, ISP(323)는 외부 전자 장치(330)로부터 수신된, 외부 전자 장치(330)의 ISP(333)에 의해 로우 이미지(322)와 제1 보정 정보(332)를 적어도 일부 기반하여 생성된, 제2 보정 정보(336)을 이용하여 이미지 센서(321)로부터 수신되는 로우 이미지(322)에 대응되는 제1 이미지를 보정 하여 제3 이미지를 생성할 수 있다.
일 실시예에 따르면, ISP(323)는 외부 전자 장치(330)로부터 수신된 상기 제1 보정 정보를 이용하여 로우 이미지(322)에 대응되는 제1 이미지를 이용하여 보정 한 제2 이미지를 생성한 이후, 상기 외부 전자 장치(330)로부터 수신된 상기 제1 보정 정보 보다 상세한 보정 정보를 가지는 제2 보정 정보를 이용하여 상기 로우 이미지(322)에 대응하는 상기 제1 이미지를 이용하여 보정한 제3 이미지를 생성할 수 있다.
일 실시예에 따르면, ISP(323)는 외부 전자 장치(330)로부터 수신된, 외부 전자 장치(330)의 ISP(333)에 의해 특정 이미지와 상기 특정 이미지의 제1 보정 정보를 적어도 일부 기반하여 생성된, 제2 보정 정보(336)을 이용하여 상기 특정 이미지를 보정한 제4 이미지를 생성할 수 있다. 상기 특정 이미지는 메모리(327)에 저장된 복수의 이미지들 중 사용자 또는 어플리케이션에 의해 제2 보정 정보가 요청된 이미지를 포함할 수 있다. 상기 특정 이미지는 제1 보정 정보(332)를 이용하여 보정 안 이미지로써 JPEG 방식에 따라 압축된 이미지를 나타낼 수 있다.
프로세서(325)는, 이미지 센서(321)로부터 제공되는 로우 이미지(322)를 스몰 로우 이미지(322a)와 별도로 외부 전자 장치(330)로 송신될 수 있다.
프로세서(325)는 로우 이미지(322)보다 용량이 작은 스몰 로우 이미지(322a)를 우선 외부 전자 장치(330)로 송신하고, 이후 로우 이미지(322)를 외부 전자 장치(330)로 송신할 수 있다. 예를 들어, 프로세서(325)는 ISP(323)가 로우 이미지(322)에 대한 보정을 수행하는 동안에 로우 이미지(322a)를 외부 전자 장치(330)로 송신할 수도 있다. 프로세서(325)는 스몰 로우 이미지(332a)와 로우 이미지를 함께 외부 전자 장치(330)로 송신할 수도 있다. 프로세서(325)는 로우 이미지(322)를, 이미지 센서(321)에 의하여 생성된 그대로 외부 전자 장치(330)로 업로드 할 수도 있으며, 또는 렌즈 왜곡 보상 또는 노이즈 제거가 수행된 전처리 영상을 업로드 할 수도 있다. 상술한 전 처리는 외부 전자 장치(330)에서 수행될 수도 있다.
다양한 실시예에 따르면 프로세서(325)는, 외부 전자 장치로부터 수신되는 보정 정보를 이용하여 보정된 이미지를 생성하도록 제어할 수 있다.
일 실시예에 따르면, 프로세서(325)는, 외부 전자 장치(330)로부터 수신된, 스몰 로우 이미지(322a) 또는 로우 이미지(322)를 기반하여 생성된 제1 보정 정보(332)를 이용하여 상기 로우 이미지(322)에 대응되는 제1 이미지를 보정 안 제2 이미지를 생성하도록 ISP(323)를 제어할 수 있다.
일 실시예에 따르면, 프로세서(325)는 외부 전자 장치(330)로부터 수신된, 로우 이미지(322)와 상기 로우 이미지를 이용하여 생성된 제1 보정 정보(332)의 적어도 일부에 기반하여 생성된, 제2 보정 정보(336)를 이용하여 상기 로우 이미지(322)에 대응되는 제1 이미지를 보정한 제3 이미지를 생성하도록 ISP(323)를 제어할 수 있다.
일 실시예에 따르면, 프로세서(325)는 외부 전자 장치(330)로부터 수신된 상기 제1 보정 정보를 이용하여 로우 이미지(322)에 대응되는 제1 이미지를 이용하여 보정 한 제2 이미지를 생성한 이후, 상기 외부 전자 장치(330)로부터 수신된 상기 제1 보정 정보 보다 업데이트된 제2 보정 정보를 이용하여 상기 로우 이미지(322)에 대응되는 상기 제1 이미지를 이용하여 보정한 제3 이미지를 생성하도록 ISP(323)를 제어할 수 있다.
일 실시예에 따르면, 프로세서(325)는 메모리(327)에 저장된 복수의 이미지들 중 특정 이미지에 대해, 사용자에 의해 또는 실행되고 있는 어플리케이션에 의해 제2 보정 정보를 이용한 보정 요청이 수신되면, 외부 전자 장치(330)에게 특정 이미지에 대한 제2 보정 정보를 요청할 수 있다. 프로세서(325)는, 외부 전자 장치(330)로부터 수신된, 특정 이미지와 상기 특정 미지를 이용하여 생성된 제1 보정 정보의 적어도 일부에 기반하여 생성된, 제2 보정 정보를 이용하여 특정 이미지를 보정 한 제4 이미지를 생성할 수 있다. 프로세서(325)는 사용자에 의해 또는 실행되고 있는 어플리케이션에 의해, 특정 이미지의 적어도 일 부 영역에 대한 제2 보정 정보의 요청을 수신할 수 있다. 프로세서(325)는 사용자의 입력(예: 터치 입력, 음성 입력, 텍스트 입력)을 통해 특정 이미지의 적어도 일 부 영역에 대한 제2 보정 정보의 요청을 수신할 수 있다.
일 실시예에 따르면, 프로세서(325)는 외부 전자 장치(330)로부터 제1 보정 정보(332)를 이용하여 로우 이미지(322)에 대응되는 제1 이미지를 보정 한 제2 이미지, 또는 제2 보정 정보를 이용하여 로우 이미지(322)에 대응되는 제1 이미지를 보정 한 제3 이미지를 수신할 수 있다.
메모리(327, 예: 도 1의 메모리(130))는 제1 보정 정보 또는 제2 보정 정보를 기반하여 전자 장치(320)의 ISP(323) 또는 외부 전자 장치(330)의 ISP(333)에 의해 보정 된 적어도 하나의 이미지를 저장할 수 있다. 상기 보정 된 적어도 하나의 이미지는 예를 들어 JPEG 방식에 따라 압축된 이미지가 저장될 수 있다.
디스플레이(329, 예: 도 1의 표시 장치(160))는 전자 장치(320)의 ISP(323) 또는 외부 전자 장치(330)의 ISP(333)에 의해 보정 된 적어도 하나의 이미지를 표시할 수 있다.
외부 전자 장치(330)는, 인식 모듈(331), ISP(333) 및 저장소(335)를 포함할 수 있다. 도시되지는 않았지만, 외부 전자 장치(330)는 전자 장치(320)와 데이터를 송수신할 수 있는 통신 모듈을 포함할 수 있다. 또한 도시되지는 않았지만, 수신된 로우 이미지를 인식 모듈(331)이나 ISP(333)로 전달하기 전에 필요한 처리를 수행하고, 압축된 로우 이미지의 압축 해제, 간단한 화질 개선, 디모자이크(de-mosaic) 처리, 또는 이미지 포맷 변경 등을 수행할 수 있는 전 처리부를 포함할 수 있다.
인식 모듈(331)은 논리 모듈일 수도 있으며, 외부 전자 장치(330)의 프로세서로 구현될 수도 있다. 인식 모듈(331)은 이미지(예: 로우 이미지, 이미지 파일 등)으로부터 다양한 유의미한 정보(예: 사물 인식, 속도 벡터, 얼굴 인식, 세그먼테이션(segmentation), 장면 파싱(scene parsing) 등)를 분석하는 동작을 수행한다. 이를 위한 다양한 알고리즘들을 포함할 수 있다. 분석 결과로써 ISP(333)에서 다양한 이미지처리에 활용 가능한 정보(예: 보정 정보(recipe information))(예: segments, layers, vectors, 또는 scene category 등을 포함하는 정보)를 이미자와 연관하여 생성, 저장, 또는 전송할 수 있다.
다양한 실시예에 따르면, 인식 모듈(231)은 통신 모듈을 통하여 전자 장치(320)로부터 로우 이미지를 수신할 수 있다. 상기 로우 이미지는 스몰 로우 이미지(small raw image)(322a) 또는 풀 로우 이미지(full raw image, 이하 '로우 이미지(raw image)'로 명명)(322)를 포함할 수 있다.
일 실시예에 따르면, 인식 모듈(231)은 스몰 로우 이미지(322a)로부터 인식된 제 1 영역 정보를 포함하는 상기 제 1 보정 정보를 생성할 수 있다. 인식 모듈(231)은 스몰 로우 이미지(322a)로부터 적어도 하나의 이미지 영역을 세그먼테이션할 수 있다. 인식 모듈(321)은 세그먼테이션 결과로 구분된 적어도 하나의 이미지 영역 각각을 인식할 수 있다. 인식 모듈(321)은 생성된 복수의 이미지 영역과 연관된 정보, 예를 들어 이미지 영역의 좌표 정보 또는 인식 결과 중 적어도 하나를 포함하는 제1 보정 정보(332)가 생성할 수 있다. 제1 보정 정보(332)는 통신 모듈을 통해 전자 장치(320)로 송신될 수 있다
일 실시예에 따르면, 인식 모듈(231)은 풀 로우 이미지에 대응하는 로우 이미지(322)로부터 인식된 상기 제 1 영역 정보보다 더 많은 영역으로 나누어진 제 2 영역 정보를 포함하는 제 1 보정 정보(332)를 생성할 수 있다. 인식 모듈(231)은 스몰 로우 이미지(322a) 보다 큰 크기의 로우 이미지(322)를 이용함으로써, 스몰 로우 이미지(332a)를 이용한 경우의 제1 보정 영역 정보와는 다른 제1 보정 영역 정보(332)를 생성할 수 있다. 로우 이미지(322)는 스몰 로우 이미지(322a)에 비하여 더욱 많은 정보를 포함할 수 있으므로, 외부 전자 장치(330)는 더욱 상세한 제1 보정 정보를 생성할 수 있다.
보정 정보(예: Recipe information)은, 인신 모듈(331)을 통해 처리된 결과의 정보를 규정된 포맷으로 구성한다. 상기 구성된 보정 정보는 전자 장치(320)에 전송될 수 있고, 전자 장치(320)는 상기 보정 정보의 포맷에 따라 정보를 분석하고 필요한 데이터를 선택적으로 사용 할 수 있다.
스몰 로우 이미지(322a)를 기반으로 생성된 제1 보정 정보(예: Base recipe information)은, 인신 모듈(331)을 통한 인식을 통해서 도출 될 수 있는 다양한 정보를 포함하고 있다. 예를 들어, 상기 제1 보정 정보(예: Base recipe information)는 인식 결과에 따른 영역별 인식물체에 대한 정보를 포함할 수 있고 그에 대한 정확도 정보도 포함할 수 있다. 여기서 영역별 인식물체에 대한 정보는 상기 인식물체에 대한 명칭 (예: 자동차, 자전거 등)도 가능하고 상기 인식 물체의 질감 (예: 거친 질감, 부드러운 질감 등)을 나타낼 수도 있다. 이 외에도 다양한 정보를 포함할 수 있다. 상기 제1 보정 정보(예: Base recipe information)는 2차원 형태의 그림 형태의 정보로 전달 가능하지만, 1차원 텍스트 정보나 3차원 데이터형태로 전달이 가능하다. 즉, 상기 제1 보정 정보(예: Base recipe information)는 다양한 형태의 Data로서 전달이 가능하다.
로우 이미지(322)를 기반으로 생성된 제1 보정 정보(예: Extended recipe information)은, 인신 모듈(331)을 통한 새롭게 인식될 수 있다. 제1 보정 정보(예: Extended recipe information)은 제1 보정 정보(예: Base recipe information)보다 로우 이미지(322)를 활용하기 때문에 최대 원본 해상도의 로우 이미지의 사이즈만큼 커질 수 있다. 제1 보정 정보(예: Extended recipe information)은 원본 해상도의 로우 이미지를 사용하기 때문에 도출된 결과의 인식 정확도가 제1 보정 정보(예: Base recipe information)보다 높을 수 있다.
ISP(333)는 외부 전자 장치(330)의 프로세서로 구현될 수 있으며, 예를 들어 외부 전자 장치(330)의 프로세서가 인식과 이미지 처리를 모두 수행할 수도 있다.
ISP(333)는 인식 모듈(331)에서 분석된 로우 이미지에 대한 다양한 정보를 포함하는 제1 보정 정보(332)를 이용하여, 로우 이미지에 대한 다양한 이미지 처리를 수행할 수 있다. ISP (333)는 저장소(335)로 부터 제1 보정 정보에 대응하는 추가 정보(예: feature vector 등)를 수신하여 이미지 처리에 이용할 수 있다. 상기 처리된 이미지는 전자 장치(320)로 송신되거나 또는 저장소(335)에 저장될 수 있다. ISP (333)에서 수행하는 이미지 처리는 White Balance, Color Adjustment, Noise Reduction, Sharpen, Detail Enhancement 등의 기능을 포함할 수 있으며, 상기 기능들은 제1 보정 정보(332)에 기반하여, 이미지의 영역별로 수행될 수 있다.
ISP(333)는 제1 보정 정보(332)를 이용하여 로우 이미지(322)를 보정할 수 있으며, 이에 따라 보정된 이미지(334)가 생성될 수 있다. 보정된 이미지(334)는, 예를 들어 YUV의 포맷을 가질 수 있다. 보정된 이미지(334)는 저장소(325)에 저장될 수 있다. 또는, 보정된 이미지(324)는 예를 들어 JPEG 방식에 따라 압축될 수 있으며, 압축된 이미지가 저장소(325)에 저장될 수 있으며, 전자 장치(320)로 다운로드 될 수도 있다.
다양한 실시예에 따르면, ISP(333)는 로우 이미지(322)와 제1 보정 정보(332)의 적어도 일부에 기반하여 제2 보정 정보(336)를 생성하여 상기 제2 보정 정보를 전자 장치(320)에게 전송할 수 있다.
일 실시 예에 따르면, ISP(333)는 로우 이미지(322)와 제1 보정 정보(332)를 비교하고, 상기 비교를 기반하여 상기 제1 보정 정보의 특정이 지정된 조건을 만족하는지 판단할 수 있다. ISP(333)는 상기 제1 보정 정보의 특징이 상기 지정된 조건을 만족하지 않는 경우, 상기 제1 보정 정보를 유지하고, 상기 제1 보정 정보의 특징이 상기 지정된 조건을 만족하는 경우, 상기 제1 보정 정보를 이용하여 상기 제1 보정 정보와는 적어도 일부 다른 특성을 가지는 제 2 보정 정보를 생성할 수 있다.
일 실시 예에 따르면, ISP(333)는 인식 모듈(331)로 부터 로우 이미지(322)와 제1 보정 정보(332)가 수신되면, 로우 이미지(322)와 제1 보정 정보(332)를 세그먼트 영역별로 세그먼트의 바운더리를 스캔하면서 비교할 수 있다. ISP(333)는 세그먼트의 바운더리를 일정 픽셀 블럭 단위(예:3x3, 5X5등)로 비교할 수 있다. ISP(333)는 로우 이미지(322)의 픽셀 블럭 단위와 제1 보정 정보(332)의 픽셀 블럭 단위 간의 엣지 강도, 픽셀 간의 유사도 및 주변 영역의 주파수를 비교하고, 상기 비교 결과 값이 지정된 조건인 제2 보정 정보의 생성을 위한 임계 값을 만족하는지 판단할 수 있다. 제2 보정 정보의 생성을 위한 임계 값은 세그먼트 영역의 종류에 따라 다르게 설정할 수 있다.
예를 들어, 세그먼트 영역이 사람의 머리카락일 때, 하기 조건에 따른 임계 값을 만족하는 경우, 제2 보정 정보를 생성할 수 있다..
"엣지(Edge) 강도 <10, 유사도(similarity)>100, 0< 주파수 <10 "
또는 세그먼트 영역이 사람의 피부일 때, 하기 조건에 따른 임계 값을 만족하는 경우, 제2 보정 정보를 생성할 수 있다.
"엣지(Edge) 강도<5, 유사도(similarity)>50, 20<주파수(frequency)<50 "
ISP(333)는 로우 이미지(322)와 제1 보정 정보(332)의 비교에 기반하여 상기 제1 보정 정보의 특성이 지정된 조건을 만족하지 않는 경우, 상기 제1 보정 정보(332)를 전자 장치(320)에 전송할 수 있다. ISP(333)는 제1 보정 정보(332)를 이용하여 로우 이미지에 대응되는 제1 이미지를 보정 한 제2 이미지를 생성하여 전자 장치(320)에게 전송할 수 있다.
ISP(333)는 로우 이미지(322)와 제1 보정 정보(332)의 비교에 기반하여 상기 제1 보정 정보의 특성이 지정된 조건을 만족하는 경우, 로우 이미지(322)를 기반으로 제1 보정 정보의 제1 구성요소의 값을 변경한 제2 구성 요소를 포함하는 제2 보정 정보(334)를 포함할 수 있다.
상기 제1 보정 정보의 제1 구성 요소는, 스몰 로우 이미지(322a) 또는 로우 이미지(322)를 기반으로 인식 모듈(331)에 의해 인식된 구성 요소이다. 인식 모듈(331)에 의해 제1 보정 정보(332)로 포함되는 상기 제1 구성 요소는 객체 인식정보, 텍스처 인식정보, 신뢰도 정보, 분류 정보 또는 우선 순위 정보 중 적어도 하나를 포함할 수 있다.
상기 객체 인식 정보는 스몰 로우 이미지 또는 로우 이미지에서 엣지(edge), 블랍(blob) 등의 다양한 특징(feature)에 기초하여 객체들을 구분하고, 상기 구분된 객체들 각각에 대하여 인식 알고리즘을 적용하여 획득될 수 있다.
상기 텍스처 인식 정보는 미리 정의된 특정 패턴 또는 질감을 나타내는 성분 정보를 의미할 수 있으며, 하나의 객체 내에서도 복수 개의 텍스처가 포함될 수 있다. 예를 들어 사물 인식된 객체들에 대하여 텍스처 인식을 수행하거나, 또는 오브젝트들 중 적어도 하나를 다시 부분들로 분할하고, 부분들별로 텍스처 인식 결과를 획득할 수 있다. 텍스처 인식 알고리즘 또한 대량의 데이터베이스에 머신 러닝 또는 딥 러닝을 적용하여 획득될 수 있다.
상기 신뢰도 정보는 인식 결과에 대한 신뢰도로써, 사물 인식 결과에 대한 신뢰도 또는 텍스처 인식 결과에 대한 신뢰도 중 적어도 하나를 포함할 수 있다.
상기 분류 정보는 스몰 로우 이미지 또는 로우 이미지가 전체적으로 어떠한 내용인지를 나타내는 정보일 수 있다. 이미지 분류 알고리즘을 스몰 로우 이미지 또는 로우 이미지에 적용하여 분류 정보를 획득할 수 있다. 분류 정보는, 예를 들어 일반적인 녹색 잔디(normal green grass)라는 전체 이미지 인식 결과(scene classification result) 정보, 오브젝트 정보(예: sky, balloons, grass), 날짜 정보(예: 2016. 8. xx. 2:00), 장소 정보(예: Seoul, Korea), 계절 정보(예: summer),날씨 정보(sunny), 노출 관련 정보(exposure time xx, ISO xxx) 등을 포함할 수도 있다.
상기 우선 순위 정보는 스몰 로우 이미지 또는 로우 이미지에서 인식된 객체들의 크기, 위치 또는 사용자의 선호도에 따라 객체에 설정된 우선 순위 정보이다.
ISP(333)는 로우 이미지(322)를 기반으로 제1 보정 정보(332)의 제1 구성 요소의 값들을 변경한 제2 구성 요소를 포함하는 제2 보정 정보(334)를 생성하고, 상기 제2 보정 정보를 전자 장치(320)에 전송할 수 있다. ISP(333)는 제2 보정 정보를 이용하여 로우 이미지에 대응되는 제1 이미지를 보정 한 제3 이미지를 생성하여 전자 장치(320)에게 전송할 수 있다.
ISP(333)는 인식 모듈(321)에서 스몰 로우 이미지(322a) 또는 로우 이미지(322)를 기반으로 생성된 제1 보정 정보를 통신 모듈을 통해 전자 장치(320)이 전송한 이후에, 로우 이미지와 상기 제1 보정 정보 중 적어도 일부에 기반하여 생성된 제2 보정 정보를 통신 모듈을 통해 전자 장치(320)이 전송할 수 있다.
저장소(335)는 스몰 로우 이미지(322a), 로우 이미지(322), 제1 보정 정보 및 제2 보정 정보를 저장할 수 있다. 저장소(335)는 제1 보정 정보를 이용하여 로우 이미지(322)에 대응되는 제1 이미지를 보정 한 제2 이미지와 상기 제2 보정 정보를 이용하여 로우 이미지(322)에 대응되는 제1 이미지를 보정 한 제3 이미지를 저장할 수 있다. 상기 제2 이미지 또는 상기 제3 이미지는 JPEG 방식에 따라 압축된 이미지로 저장소(335)에 저장될 수 있다.
다양한 실시예에 따르면, 전자 장치는, 통신 모듈(예:도 1의 통신 모듈(190)), 메모리(예: 도 1의 메모리(130), 도 3의 메모리(327)), 및 상기 통신 모듈 및 상기 메모리와 기능적으로 연결된 프로세서(예:도 1의 프로세서(120), 도 3의 인식 모듈(331) 또는 ISP(333))를 포함하고, 상기 프로세서는, 상기 통신 모듈을 이용하여, 외부 전자 장치로부터 제 1 이미지에 대응하는 보정 정보 요청을 수신하고, 이미지 인식에 기반하여, 상기 제 1 이미지에 대응하는 로우 이미지를 이용하여 제 1 보정 정보를 생성하고, 상기 제1 이미지와 상기 제1 보정 정보의 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하는지 판단하고, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하지 않는 것에 기반하여, 상기 외부 전자 장치가 상기 제 1 보정 정보를 이용하여 상기 제 1 미지가 보정된 제 2 이미지를 생성할 수 있도록, 상기 제 1 보정 정보를 상기 외부 장치로 송신하고, 및 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 것에 기반하여, 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제 2 보정 정보를 생성하고, 및 상기 외부 전자 장치가 상기 제 2 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 3 이미지를 생성할 수 있도록, 상기 제 2 보정 정보를 상기 외부 장치로 송신하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 외부 전자 장치로부터, 상기 제 1 이미지에 대응하는 상기 로우 이미지를 수신하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 로우 이미지는 스몰 로우 이미지(small raw image) 또는 풀 로우 이미지(full raw image)를 포함하고, 상기 프로세서는, 상기 로우 이미지가 상기 스몰 로우 이미지인 것에 기반하여, 상기 스몰 로우 이미지로부터 인식된 제 1 영역 정보를 포함하는 상기 제 1 보정 정보를 상기 생성하고, 상기 수신한 상기 로우 이미지가 상기 풀 로우 이미지인 것에 기반하여, 상기 풀 로우 이미지로부터 인식된 상기 제 1 영역 정보보다 더 많은 영역으로 나누어진 제 2 영역 정보를 포함하는 상기 제 1 보정 정보를 상기 생성하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 이미지 인식에 기반하여, 상기 제 1 이미지에 대응하는 로우 이미지를 이용하여 제 1 보정 정보를 생성하는 인식 모듈, 및 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하지 않는 것에 기반하여 상기 제2 보정 정보를 생성하는 이미지 신호 프로세서(ISP: Image Signal Processor) 을 포함하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 것에 기반하여, 상기 제1 보정 정보를 상기 외부 전자 장치에 전송한 이후, 상기 제 2 보정 정보를 상기 외부 전자 장치로 송신하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 영역 정보를 기반으로 상기 제1 이미지와 제1 보정 정보를 비교하도록 설정될 수 있다.
다양한 실시예에 따르면, 전자 장치는, 카메라(예: 도 2의 카메라 모듈(180), 또는 도 3의 카메라 모듈(380), 통신 모듈(예: 도 1의 카메라 모듈(190)), 및 상기 카메라 및 상기 통신모듈과 기능적으로 연결된 프로세서(예:도 1의 프로세서(101), 도 3의 프로세서(325) 또는 ISP(323))를 포함하고, 상기 프로세서는, 상기 통신 모듈을 이용하여, 외부 전자 장치에게 제1 이미지에 대응하는 보정 정보 요청을 전송하고, 상기 제1 이미지와 상기 제1 이미지에 대응하는 로우 이미지를 이용하여 생성된 제1 보정 정보의 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하지 않는 경우, 상기 통신 모듈을 이용하여, 상기 제1 보정 정보를 수신하고, 상기 제1 보정 정보를 이용하여 상기 제1 이미지가 보정 된 제2 이미지를 생성하며, 상기 1 이미지와 상기 제1 보정 정보의 비교에 기반하여, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 경우, 상기 통신 모듈을 이용하여 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제2 보정 정보를 수신하고, 상기 제2 보정 정보를 이용하여 상기 제1 이미지가 보정 된 제3 이미지를 생성하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 로우 이미지는 스몰 로우 이미지(small raw image) 또는 풀 로우 이미지(full raw image)를 포함하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 경우, 상기 통신 모듈을 이용하여, 상기 외부 전자 장치로부터 수신된 상기 제1 보정 정보를 이용하여 상기 제1 이미지를 보정한 제2 이미지를 생성한 이후, 상기 외부 전자 장치로부터 수신된 상기 제2 보정 정보를 이용하여 상기 제1 이미지를 보정 한 상기 제3 이미지를 생성하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 경우, 상기 통신 모듈을 이용하여, 상기 외부 전자 장치로부터 상기 제2 보정 정보를 이용하여 상기 제1 이미지를 보정한 상기 제3 이미지를 수신하도록 설정될 수 있다.
도 4는 다양한 실시예에 따른 외부 전자 장치에서 제2 보정 정보를 생성 방법을 나타내는 흐름도이다. 제2 보정 정보를 생성 방법은 401동작 내지 405동작을 포함할 수 있다. 제2 보정 정보를 생성 방법은 외부 전자 장치(예: 도 1의 104, 108 또는 도 3의 330) 또는 외부 전자 장치의 ISP(예: 도 3의 ISP(333)) 중 적어도 하나에 의해 수행될 수 있다.
401동작에서, 외부 전자 장치의 ISP(예: 도 3의 ISP(333))는, 인식 모듈(331)로 부터 로우 이미지에 대응되는 제1 이미지와 스몰 로우 이미지 또는 로우 이미지를 기반하여 생성된 제1 보정 정보를 수신할 수 있다.
403동작에서, 외부 전자 장치의 ISP(예: 도 3의 ISP(333))는, 제1 이미지와 제1 보정 정보를 세그먼트 영역별로 세그먼트의 바운더리를 비교할 수 있다. 일 실시예에 따르면 외부 전자 장치의 ISP(예: 도 3의 ISP(333))는, 미리 설정된 픽셀 블록(또는 패치(patch)) 단위로 제1 이미지와 제1 보정 정보의 세그먼트의 바운더리를 스캔하면서 비교할 수 있다.
405동작에서, 외부 전자 장치의 ISP(예: 도 3의 ISP(333))는, 상기 비교결과를 기반으로 제1 보정 정보의 제1 구성요소 값을 변경한 제2 구성요소를 포함하는 제2 보정 정보를 생성할 수 있다. 일 실시예에 따르면, 상기 제1 구성 요소는 객체 인식정보, 텍스처 인식정보, 신뢰도 정보, 분류 정보 또는 우선 순위 정보 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 외부 전자 장치의 ISP(예: 도 3의 ISP(333))는, 제1 이미지의 픽셀 블록 단위와 제1 보정 정보의 픽셀 블럭 단위 간의 엣지 강도, 픽셀 간의 유사도 및 주변 영역의 주파수를 비교하고, 상기 비교 결과 값이 지정된 조건이 제2 보정 정보의 생성을 위한 임계 값을 만족하는 경우, 상기 제2 보정 정보를 생성할 수 있다.
도 5a 는 다양한 실시예에 따른 외부 전자 장치에서 제2 보정 정보를 생성 방법을 설명하기 위한 도면이다.
도 5a를 참조하면, 외부 전자 장치의 ISP(예: 도 3의 ISP(333))는, 제1 보정 정보(510)와 로우 이미지에 대응되는 제1 이미지(520)를 세그먼트 영역별로 세그먼트의 바운더리를 비교할 수 있다. 외부 전자 장치의 ISP(예: 도 3의 ISP(333))는, 세그먼트의 바운더리를 현재 픽셀과 주변 픽셀들을 포함하는 일정 픽셀 블록(또는 패치(patch)) 단위(530a, 530b)로 비교하는 동안, 세그먼트의 영역이 사람의 머리카락(510a, 520a)인 경우, 제2 보정 정보 생성을 위한 지정된 조건을 예를 들어, 하기 조건의 만족여부를 판단할 수 있다
"엣지(Edge) 강도 <10, 유사도(similarity)>100, 0< 주파수 <10 "
외부 전자 장치의 ISP(예: 도 3의 ISP(333))는, 상기 지정된 조건을 만족하는 경우, 제1 이미지(520)를 기반으로 제1 구성요소 값(예: 객체 인식정보, 텍스처 인식정보, 신뢰도 정보, 분류 정보 또는 우선 순위 정보 중 적어도 하나)을 변경한 제2 구성요소를 포함하는 제2 보정 정보를 생성할 수 있다. 상기 제2 보정 정보는 제1 보정 정보의 사람의 머리카락에 대응되는 세그먼트의 영역(510a)보다 상세한 사람의 머리카락에 대응되는 세그먼트의 영역(540)을 포함할 수 있다.
도 5b는 다양한 실시예에 따른 외부 전자 장치에서 생성되는 보정 정보를 설명하기 위한 도면이다.
도 5b를 참조하면, 외부 전자 장치(예:도 3의 외부 전자 장치(330))는 통신 모듈을 통해 전자 장치(예:도 3의 전자 장치(320))로부터 스몰 로우 이미지(501a)를 수신하면, 외부 전자 장치의 인식 모듈(550, 예:도 3의 인식 모듈(311))은 상기 스몰 로우 이미지(501a)를 기반으로 인식된 정보를 포함하는 제1 보정 정보 A(Base Recipe information)(501b)을 생성할 수 있다.
이후, 외부 전자 장치(예:도 3의 외부 전자 장치(330))는 통신 모듈을 통해 전자 장치(예:도 3의 전자 장치(320))로 부터 로우 이미지(503a)를 수신하면, 외부 전자 장치의 인식 모듈(550)은 상기 로우 이미지(503a)를 기반으로 인식된 정보를 포함하는 제1 보정 정보 B(Extended Recipe information)(503b)을 생성할 수 있다.
외부 전자 장치의 ISP(560, 예: 도 3의 ISP(333))는 인식 모듈(550)로부터 수신된 로우 이미지(503a)와 제1 보정 정보 A(Base Recipe information)(501b) 또는 제1 보정 정보 B(Extended Recipe information)(503b)를 기반으로, 정확도가 보다 향상된 제2 정보 (505b)를 생성할 수 있다.
도 6은 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 상기 동작 방법은 601동작 내지 617동작을 포함할 수 있다.
601동작에서, 전자 장치(예: 도 3의 프로세서(325))는 외부 객체에 대응하는 제1 이미지에 대응하는 보정 정보를 요청할 수 있다. 여기에서, 제 1 이미지는 로우 이미지를 포함할 수 있다. 일 실시예에 따르면, 전자 장치는 제1 이미지의 용량을 감소시킨 스몰 로우(small raw) 이미지 또는 풀 로우 이미지(full raw image)를 포함하는 제1 이미지 대응하는 로우 이미지를 외부 전자 장치(예: 도 3의 외부 전자 장치(330))에 전송할 수 있다.
603동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 이미지 인식에 기반하여, 전자 장치(예: 도 3의 프로세서(325))로부터 수신된 제1 이미지에 대응되는 로우 이미지를 이용하여 제1 보정 정보를 생성할 수 있다. 일 실시 예에 따르면, 외부 전자 장치의 인식 모듈(예:도 3의 인식 모듈(331))은 다양한 인식 알고리즘을 이용하여 로우 이미지를 기반으로 적어도 하나의 이미지 영역과 연관된 정보(예: 사람의 치아) 또는 분류 정보(예: "거리에 사람이 위치함") 중 적어도 하나를 포함하는 제1 보정 정보(예: Basic recipe information)를 생성할 수 있다.
605동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 로우 이미지에 대응하는 제1 이미지와 제1 보정 정보를 비교할 수 있다. 일 실시예에 따르면, 외부 전자 장치의 ISP(예:도 3의 333)는 인식 모듈(예:도 3의 311)로 부터 제 1 이미지와 제1 보정 정보를 수신하고, 제 1 이미지와 제1 보정 정보의 상기 비교에 기반하여 상기 제1 보정 정보의 특성이 지정된 조건을 만족하는지 판단할 수 있다. 일 실시예에 따르면, 외부 전자 장치의 ISP(예:도 3의 333)는 인식 모듈(예:도 3의 311)로 부터 제 1 이미지와 제1 보정 정보를 수신하고, 제 1 이미지와 제1 보정 정보를 세그먼트 영역별로 세그먼트 바운더리를 일정 픽셀 블록 단위로 비교할 수 있다.
607동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하지 않는 경우, 609동작에서 통신 모듈을 이용하여 상기 제 1 보정 정보를 전자 장치(예:도 3의 전자 장치(320))에 송신할 수 있다. 일 실시예에 따르면, 외부 전자 장치의 ISP(예:도 3의 333)는 제 1 이미지와 제1 보정 정보를 세그먼트 영역별로 세그먼트 바운더리를 일정 픽셀 블록 단위로 비교한 결과, 지정된 조건인 제2 보정 정보 생성을 위한 임계 값을 만족하지 않으면, 통신 모듈을 이용하여 상기 제 1 보정 정보를 전자 장치(예:도 3의 전자 장치(320))에 송신할 수 있다.
611동작에서 전자 장치(예:도 3의 전자 장치(320))는 제1 보정 정보의 적어도 일부에 기반하여, 제 1 이미지를 이용하여 보정할 수 있다. 이에 따라, 제 1 이미지가 보정된 제 2 이미지가 생성될 수 있다.
607동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 경우, 613동작에서 상기 제1 보정 정보를 이용하여 상기 제1 보정 정보와는 적어도 일부 다른 특성을 가지는 제2 보정 정보를 생성할 수 있다. 일 실시예에 따르면, 외부 전자 장치의 ISP(예:도 3의 333)는 제 1 이미지와 제1 보정 정보를 세그먼트 영역별로 세그먼트 바운더리를 일정 픽셀 블록 단위로 비교한 결과, 지정된 조건인 제2 보정 정보 생성을 위한 임계 값을 만족하면, 제1 이미지를 기반으로 제1 보정 정보(예: basic recipe information 또는 extended recipe information)의 제1 구성 요소의 값을 변경한 제2 구성 요소를 포함하는 제2 보정 정보를 생성할 수 있다.
615동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 통신 모듈을 이용하여 상기 제 2 보정 정보를 전자 장치(예:도 3의 전자 장치(320))에 송신할 수 있다.
617동작에서, 전자 장치(예:도 3의 전자 장치(320))는, 제2 보정 정보의 적어도 일부에 기반하여, 제 1 이미지를 이용하여 보정할 수 있다. 이에 따라, 제 1 이미지가 보정된 제 3 이미지가 생성될 수 있다. 전자 장치의 ISP(예:도 3의 323)는 외부 전자 장치로부터 수신된 제2 보정 정보를 이용하여 제 1 이미지(예: 로우 이미지)를 보정할 수 있다. 전자 장치는, 제 1 이미지의 보정 결과 획득된 제 3 이미지를 저장할 수 있으며, 예를 들어 제 3 이미지는 제 1 이미지와는 다른 YUV 포맷을 가질 수 있다. 전자 장치는, 제 2 이미지를 VRAM(video RAM)에 저장하고 저장된 이미지를 디스플레이(예: 도 1의 표시 장치(160) 또는 도 3의 디스플레이(329))) 등에 표시할 수 있다. 또는, 전자 장치는 제 3 이미지를 압축 알고리즘을 이용하여 압축할 수도 있으며, 압축된 이미지를 메모리(예: 도 1의 메모리(130) 또는 도 3의 메모리(327)에 저장할 수도 있다.
도 7은 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 상기 동작 방법은 701동작 내지 717동작을 포함할 수 있다.
701동작에서, 전자 장치(예: 도 3의 프로세서(325))는 예를 들어, 카메라 모듈을 이용하여, 외부 객체에 대응하는 제1 이미지를 획득할 수 있다. 전자 장치는 이미지를 센싱할 수 있는 카메라 모듈의 이미지 센서(예: 도 3의 이미지 센서(321))통해 제1 이미지를 획득할 수 있다. 여기에서, 제 1 이미지는 로우 이미지를 포함 할 수 있다.
703 동작에서, 전자 장치(예: 도 3의 프로세서(325))는 제 1 이미지를 이용하여 제 1 이미지의 데이터 크기보다 작은 크기를 가지는 제 2 이미지를 생성할 수 있다. 전자 장치는 이미지 센서를 통해, 제 1 이미지의 용량을 감소시킴으로써 제 2 이미지를 생성할 수 있으며, 이에 따라 제 2 이미지를 경량 이미지 또는 스몰 로우(small raw) 이미지로 명명할 수 있다. 제 1 이미지 대신 제 2 이미지를 외부 전자 장치에 전송하는 경우, 보다 적은 용량을 전송하게 되므로, 외부 전자 장치로 이미지를 보다 빠르게 전송할 수 있다.
705 동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))가 제 2 이미지로부터 확인된 적어도 하나의 이미지 영역과 연관된 정보 또는 제 2 이미지의 분류 정보 중 적어도 하나에 기반하여 제1 보정정보를 생성하도록, 예를 들어, 통신 모듈(예: 도 1의 통신 모듈(190))을 통하여, 제 2 이미지(예: 스몰 로우 이미지)를 외부 전자 장치로 송신할 수 있다.
707 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제1 보정 정보(예: basic recipe information)를 생성할 수 있다. 일 실시 예에 따르면, 외부 전자 장치의 인식 모듈(예:도 3의 인식 모듈(331))는, 다양한 인식 알고리즘을 이용하여 제 2 이미지를 기반으로 적어도 하나의 이미지 영역과 연관된 정보(예: 사람의 치아) 또는 분류 정보(예: "거리에 사람이 위치함") 중 적어도 하나를 포함하는 제1 보정 정보(예: Basic recipe information)를 생성할 수 있다.
709 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제1 보정 정보(예: basic recipe information)를, 예를 들어, 외부 전자 장치의 통신 모듈을 통하여, 전자 장치(예: 도 3의 프로세서(325))로 송신할 수 있다.
711동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 제1 보정 정보(예: basic recipe information)의 적어도 일부에 기반하여, 제 1 이미지를 이용하여 보정할 수 있다. 이에 따라, 제 1 이미지가 보정된 제 3 이미지가 생성될 수 있다. 전자 장치의 ISP(예:도 3의 323)는 외부 전자 장치로부터 수신된 제1 보정 정보(예: basic recipe information)를 이용하여 이미지 센서로부터 획득된 제 1 이미지(예: 로우 이미지)를 보정할 수 있다. 전자 장치는, 제 1 이미지의 보정 결과 획득된 제 3 이미지를 저장할 수 있으며, 예를 들어 제 3 이미지는 제 1 이미지와는 다른 YUV 포맷을 가질 수 있다. 전자 장치는, 제 3 이미지를 VRAM(video RAM)에 저장하고 저장된 이미지를 디스플레이(예: 도 1의 표시 장치(160) 또는 도 3의 디스플레이(329))) 등에 표시할 수 있다. 또는, 전자 장치는 제 3 이미지를 압축 알고리즘을 이용하여 압축할 수도 있으며, 압축된 이미지를 메모리(예: 도 1의 메모리(130) 또는 도 3의 메모리(327)에 저장할 수도 있다.
713동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 통신 모듈(예: 도 1의 통신 모듈(190))을 통하여, 제 1 이미지(예: 로우 이미지)를 외부 전자 장치로 송신할 수 있다.
715동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제2 보정 정보를 생성할 수 있다. 일 실시예에 따르면, 외부 전자 장치의 ISP(예:도 3의 333)는 인식 모듈(예:도 3의 311)로 부터 제 1 이미지와 제1 보정 정보를 수신하고, 제 1 이미지와 제1 보정 정보를 세그먼트 영역별로 세그먼트 바운더리를 일정 픽셀 블록 단위로 비교할 수 있다. 외부 전자 장치의 ISP는, 상기 비교 결과가 지정된 조건인 제2 보정 정보 생성을 위한 임계 값을 만족하면 제1 이미지를 기반으로 제1 보정 정보(예: basic recipe information)의 제1 구성 요소의 값을 변경한 제2 구성 요소를 포함하는 제2 보정 정보를 생성할 수 있다.
717 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제2 보정 정보를, 예를 들어, 외부 전자 장치의 통신 모듈을 통하여, 전자 장치(예: 도 3의 프로세서(325))로 송신할 수 있다.
719동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 제2 보정 정보의 적어도 일부에 기반하여, 제 1 이미지를 이용하여 보정할 수 있다. 이에 따라, 제 1 이미지가 보정된 제 4 이미지가 생성될 수 있다. 전자 장치의 ISP(예:도 3의 323)는 외부 전자 장치로부터 수신된 제2 보정 정보를 이용하여 이미지 센서로부터 획득된 제 1 이미지(예: 로우 이미지)를 보정할 수 있다. 전자 장치는, 제 1 이미지의 보정 결과 획득된 제 4 이미지를 저장할 수 있으며, 예를 들어 제 4 이미지는 제 1 이미지와는 다른 YUV 포맷을 가질 수 있다. 전자 장치는, 제 4 이미지를 VRAM(video RAM)에 저장하고 저장된 이미지를 디스플레이(예: 도 1의 표시 장치(160) 또는 도 3의 디스플레이(329))) 등에 표시할 수 있다. 또는, 전자 장치는 제 4 이미지를 압축 알고리즘을 이용하여 압축할 수도 있으며, 압축된 이미지를 메모리(예: 도 1의 메모리(130) 또는 도 3의 메모리(327)에 저장할 수도 있다.
도 8은 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 상기 동작 방법은 801동작 내지 813동작을 포함할 수 있다.
801동작에서, 전자 장치(예: 도 3의 프로세서(325))는 예를 들어, 카메라 모듈을 이용하여, 외부 객체에 대응하는 제1 이미지를 획득할 수 있다. 전자 장치는 이미지를 센싱할 수 있는 카메라 모듈의 이미지센서(예: 도 3의 이미지 센서(321))통해 제1 이미지를 획득할 수 있다. 여기에서, 제 1 이미지는 로우 이미지를 포함 할 수 있다.
803 동작에서, 전자 장치(예: 도 3의 프로세서(325))는 제 1 이미지를 이용하여 제 1 이미지의 데이터 크기보다 작은 크기를 가지는 제 2 이미지를 생성할 수 있다. 전자 장치의 이미지 센서는, 제 1 이미지의 용량을 감소시킴으로써 스몰 로우 이미지에 대응하는 제 2 이미지를 생성할 수 있다.
805 동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))가 제 2 이미지를 기반하여 제1 보정정보를 생성하고, 제1 이미지와 제1 보정 정보를 기반하여 보다 상세한 제2 보정 정보를 생성하도록, 예를 들어, 통신 모듈(예: 도 1의 통신 모듈(190))을 통하여, 제1 이미지와 제 2 이미지를 외부 전자 장치로 송신할 수 있다.
807 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제1 보정 정보(예: basic recipe information 또는 extended recipe information)를 생성할 수 있다. 일 실시예에 따르면, 외부 전자 장치의 인식 모듈(예:도 3의 인식 모듈(331))는, 다양한 인식 알고리즘을 이용하여 제 2 이미지를 기반으로 제1 보정 정보(예: basic recipe information)를 생성할 수 있다. 일 실시예에 따르면, 외부 전자 장치의 인식 모듈(예:도 3의 인식 모듈(331))는, 다양한 인식 알고리즘을 이용하여 제 1 이미지를 기반으로 제1 보정 정보(예: extended recipe information)를 생성할 수 있다.
809동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제2 보정 정보를 생성할 수 있다. 예를 들어, 외부 전자 장치의 ISP(예:도 3의 333)는 인식 모듈(예:도 3의 311)로 부터 제 1 이미지와 제1 보정 정보(예: basic recipe information 또는 extended recipe information)를 수신하고, 제 1 이미지와 제1 보정 정보를 세그먼트 영역별로 세그먼트 바운더리를 일정 픽셀 블록 단위로 비교할 수 있다. 외부 전자 장치의 ISP는, 상기 비교 결과가 지정된 조건이 제2 보정 정보 생성을 위한 임계 값을 만족하면 제1 이미지를 기반으로 제1 보정 정보(예: basic recipe information 또는 extended recipe information)의 제1 구성 요소의 값을 변경한 제2 구성요소를 포함하는 제2 보정 정보를 생성할 수 있다.
811 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제2 보정 정보를, 예를 들어, 외부 전자 장치의 통신 모듈을 통하여, 전자 장치(예: 도 3의 프로세서(325))로 송신할 수 있다.
813동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 제2 보정 정보의 적어도 일부에 기반하여, 제 1 이미지를 이용하여 보정할 수 있다. 이에 따라, 제 1 이미지가 보정된 제 3 이미지가 생성될 수 있다. 전자 장치의 ISP(예:도 3의 323)는 외부 전자 장치로부터 수신된 제2 보정 정보를 이용하여 이미지 센서로부터 획득된 제 1 이미지(예: 로우 이미지)를 보정할 수 있다. 전자 장치는, 제 1 이미지의 보정 결과 획득된 제 3 이미지를 저장할 수 있으며, 예를 들어 제 3 이미지는 제 1 이미지와는 다른 YUV 포맷을 가질 수 있다. 전자 장치는, 제 3 이미지를 VRAM(video RAM)에 저장하고 저장된 이미지를 디스플레이(예: 도 1의 표시장치(160) 또는 도 3의 디스플레이(329))) 등에 표시할 수 있다. 또는, 전자 장치는 제 3 이미지를 압축 알고리즘을 이용하여 압축할 수도 있으며, 압축된 이미지를 메모리(예: 도 1의 메모리(130) 또는 도 3의 메모리(327)에 저장할 수도 있다.
도 9는 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 상기 동작 방법은 901동작 내지 927동작을 포함할 수 있다.
901동작에서, 전자 장치(예: 도 3의 프로세서(325))는 예를 들어, 카메라 모듈을 이용하여, 외부 객체에 대응하는 제1 이미지를 획득할 수 있다. 전자 장치는 이미지를 센싱할 수 있는 카메라 모듈의 이미지센서(예: 도 3의 이미지 센서(321))통해 제1 이미지를 획득할 수 있다. 여기에서, 제 1 이미지는 로우 이미지를 포함 할 수 있다.
903 동작에서, 전자 장치(예: 도 3의 프로세서(325))는 제 1 이미지를 이용하여 제 1 이미지의 데이터 크기보다 작은 크기를 가지는 제 2 이미지를 생성할 수 있다. 전자 장치의 이미지 센서는, 제 1 이미지의 용량을 감소시킴으로써 스몰 로우 이미지에 대응하는 제 2 이미지를 생성할 수 있다.
905 동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))가 제 2 이미지를 기반하여 제1 보정정보를 생성하도록, 예를 들어, 통신 모듈(예: 도 1의 통신 모듈(190))을 통하여, 제 2 이미지를 외부 전자 장치로 송신할 수 있다.
907 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제1 보정 정보(예: basic recipe information)를 생성할 수 있다. 일 실시예에 따르면, 외부 전자 장치의 인식 모듈(예:도 3의 인식 모듈(331))는, 다양한 인식 알고리즘을 이용하여 제 2 이미지를 기반으로 적어도 하나의 이미지 영역과 연관된 정보(예: 사람의 치아) 또는 분류 정보(예: "거리에 사람이 위치함") 중 적어도 하나를 포함하는 제1 보정 정보(예: basic recipe information)를 생성할 수 있다.
911 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제1 보정 정보(예: basic recipe information)를, 예를 들어, 외부 전자 장치의 통신 모듈을 통하여, 전자 장치(예: 도 3의 프로세서(325))로 송신할 수 있다.
913동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 제1 보정 정보(예: basic recipe information)의 적어도 일부에 기반하여, 제 1 이미지를 이용하여 보정할 수 있다. 이에 따라, 제 1 이미지가 보정된 제 3 이미지가 생성될 수 있다. 전자 장치의 ISP(예:도 3의 323)는 외부 전자 장치로부터 수신된 제1 보정 정보(예: basic recipe information)를 이용하여 이미지 센서로부터 획득된 제 1 이미지(예: 로우 이미지)를 보정할 수 있다. 전자 장치는, 제 1 이미지의 보정 결과 획득된 제 3 이미지를 저장할 수 있다. 전자 장치는, 제 3 이미지를 VRAM(video RAM)에 저장하고 저장된 이미지를 디스플레이(예: 도 1의 표시 장치(160) 또는 도 3의 디스플레이(329))) 등에 표시할 수 있다. 또는, 전자 장치는 제 3 이미지를 압축 알고리즘을 이용하여 압축할 수도 있으며, 압축된 이미지를 메모리(예: 도 1의 메모리(130) 또는 도 3의 메모리(327)에 저장할 수도 있다.
915동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 통신 모듈(예: 도 1의 통신 모듈(190))을 통하여, 로우 이미지에 대응하는 제 1 이미지를 외부 전자 장치(예: 도 3의 외부 전자 장치(330))로 송신할 수 있다.
917 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제1 보정 정보(예: extended recipe information)을 생성할 수 있다. 일 실시예에 따르면, 외부 전자 장치의 인식 모듈(예:도 3의 인식 모듈(331))는, 다양한 인식 알고리즘을 이용하여 제 1 이미지를 기반으로 제1 보정 정보(예: extended recipe information)를 생성할 수 있다.
919 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제1 보정 정보(예: extended recipe information)를, 예를 들어, 외부 전자 장치의 통신 모듈을 통하여, 전자 장치(예: 도 3의 프로세서(325))로 송신할 수 있다.
921동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 제1 보정 정보(예: extended recipe information)의 적어도 일부에 기반하여, 제 1 이미지를 이용하여 보정할 수 있다. 이에 따라, 제 1 이미지가 보정된 제 4 이미지가 생성될 수 있다. 전자 장치의 ISP(예:도 3의 323)는 외부 전자 장치로부터 수신된 제1 보정 정보(예: extended recipe information)를 이용하여 이미지 센서로부터 획득된 제 1 이미지(예: 로우 이미지)를 보정할 수 있다. 전자 장치는, 제 1 이미지의 보정 결과 획득된 제 4 이미지를 저장할 수 있다. 또는, 전자 장치는 제 4 이미지를 압축 알고리즘을 이용하여 압축할 수도 있으며, 압축된 이미지를 메모리(예: 도 1의 메모리(130) 또는 도 3의 메모리(327)에 저장할 수도 있다.
923동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제2 보정 정보를 생성할 수 있다. 일 실시예에 따르면, 외부 전자 장치의 ISP(예:도 3의 333)는 인식 모듈(예:도 3의 311)로 부터 제 1 이미지와 제1 보정 정보(예:extended recipe information)를 수신하고, 제 1 이미지와 제1 보정 정보(예:extended recipe information)를 세그먼트 영역별로 세그먼트 바운더리를 일정 픽셀 블록 단위로 비교할 수 있다. 외부 전자 장치의 ISP는, 상기 비교 결과가 지정된 조건이 제2 보정 정보 생성 을 위한 임계 값을 만족하면 제1 이미지를 기반으로 제1 보정 정보(예: extended recipe information)의 제1 구성 요소의 값을 변경한 제2 구성요소를 포함하는 제2 보정 정보를 생성할 수 있다.
925 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제2 보정 정보를, 예를 들어, 외부 전자 장치의 통신 모듈을 통하여, 전자 장치(예: 도 3의 프로세서(325))로 송신할 수 있다.
927동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 제2 보정 정보의 적어도 일부에 기반하여, 제 1 이미지를 이용하여 보정할 수 있다. 이에 따라, 제 1 이미지가 보정된 제 5 이미지가 생성될 수 있다. 전자 장치의 ISP(예:도 3의 323)는 외부 전자 장치로부터 수신된 제2 보정 정보를 이용하여 이미지 센서로부터 획득된 제 1 이미지(예: 로우 이미지)를 보정할 수 있다. 전자 장치는, 제 1 이미지의 보정 결과 획득된 제 5 이미지를 저장할 수 있으며, 또는, 전자 장치는 제 5 이미지를 압축 알고리즘을 이용하여 압축할 수도 있으며, 압축된 이미지를 메모리(예: 도 1의 메모리(130) 또는 도 3의 메모리(327)에 저장할 수도 있다.
도 10은 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 상기 동작 방법은 1001동작 내지 1021동작을 포함할 수 있다.
1001동작에서, 전자 장치(예: 도 3의 프로세서(325))는 예를 들어, 카메라 모듈을 이용하여, 외부 객체에 대응하는 제1 이미지를 획득할 수 있다. 전자 장치는 이미지를 센싱할 수 있는 카메라 모듈의 이미지센서(예: 도 3의 이미지 센서(321))통해 제1 이미지를 획득할 수 있다. 여기에서, 제 1 이미지는 로우 이미지를 포함 할 수 있다.
1003 동작에서, 전자 장치(예: 도 3의 프로세서(325))는 제 1 이미지를 이용하여 제 1 이미지의 데이터 크기보다 작은 크기를 가지는 제 2 이미지를 생성할 수 있다. 전자 장치의 이미시 센서는, 제 1 이미지의 용량을 감소시킴으로써 스몰 로우(small raw)에 대응하는 제 2 이미지를 생성할 수 있다.
1005 동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))가 제 2 이미지를 기반하여 제1 보정정보를 생성하도록, 예를 들어, 통신 모듈(예: 도 1의 통신 모듈(190))을 통하여, 제 2 이미지를 외부 전자 장치로 송신할 수 있다.
1007 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제1 보정 정보(예: basic recipe information)를 생성할 수 있다. 일 실시예에 따르면, 외부 전자 장치의 인식 모듈(예:도 3의 인식 모듈(331))는, 다양한 인식 알고리즘을 이용하여 제 2 이미지를 기반으로 제1 보정 정보(예: basic recipe information)를 생성할 수 있다.
1009 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제1 보정 정보(예: basic recipe information)를, 예를 들어, 외부 전자 장치의 통신 모듈을 통하여, 전자 장치(예: 도 3의 프로세서(325))로 송신할 수 있다.
1011동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 제1 보정 정보(예:basic recipe information)의 적어도 일부에 기반하여, 제 1 이미지를 이용하여 보정할 수 있다. 이에 따라, 제 1 이미지가 보정된 제 3 이미지가 생성될 수 있다. 전자 장치의 ISP(예:도 3의 323)는 외부 전자 장치로부터 수신된 제1 보정 정보(예: basic recipe information)를 이용하여 이미지 센서로부터 획득된 제 1 이미지(예: 로우 이미지)를 보정할 수 있다. 전자 장치는, 제 1 이미지의 보정 결과 획득된 제 3 이미지를 저장할 수 있으며, 예를 들어 제 3 이미지는 제 1 이미지와는 다른 YUV 포맷을 가질 수 있다. 전자 장치는, 제 3 이미지를 VRAM(video RAM)에 저장하고 저장된 이미지를 디스플레이(예: 도 1의 표시장치(160) 또는 도 3의 디스플레이(329))) 등에 표시할 수 있다. 또는, 전자 장치는 제 3 이미지를 압축 알고리즘을 이용하여 압축할 수도 있으며, 압축된 이미지를 메모리(예: 도 1의 메모리(130) 또는 도 3의 메모리(327)에 저장할 수도 있다.
1013동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 통신 모듈(예: 도 1의 통신 모듈(190))을 통하여, 로우 이미지에 대응하는 제 1 이미지를 외부 전자 장치로 송신할 수 있다.
1015 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제1 보정 정보(예: extended recipe information)을 생성할 수 있다. 예를 들어, 외부 전자 장치의 인식 모듈(예:도 3의 인식 모듈(331))는, 다양한 인식 알고리즘을 이용하여 제 1 이미지를 기반으로 제1 보정 정보(예: extended recipe information)를 생성할 수 있다.
1017동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제2 보정 정보를 생성할 수 있다. 일 실시예 따르면, 외부 전자 장치의 ISP(예:도 3의 333)는 인식 모듈(예:도 3의 311)로 부터 제 1 이미지와 제1 보정 정보(예:extended recipe information)를 수신하고, 제 1 이미지와 제1 보정 정보(예:extended recipe information)를 세그먼트 영역별로 세그먼트 바운더리를 일정 픽셀 블록 단위로 비교할 수 있다. 외부 전자 장치의 ISP는, 상기 비교 결과가 지정된 조건이 제2 보정 정보 생성 을 위한 임계 값을 만족하면 제1 이미지를 기반으로 제1 보정 정보(예: extended recipe information)의 제1 구성 요소의 값을 변경한 제2 구성요소를 포함하는 제2 보정 정보를 생성할 수 있다.
1019 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제2 보정 정보를, 예를 들어, 외부 전자 장치의 통신 모듈을 통하여, 전자 장치(예: 도 3의 프로세서(325))로 송신할 수 있다.
1021동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 제2 보정 정보의 적어도 일부에 기반하여, 제 1 이미지를 이용하여 보정할 수 있다. 이에 따라, 제 1 이미지가 보정된 제 4 이미지가 생성될 수 있다. 전자 장치의 ISP(예:도 3의 323)는 외부 전자 장치로부터 수신된 제2 보정 정보를 이용하여 이미지 센서로부터 획득된 제 1 이미지(예: 로우 이미지)를 보정할 수 있다. 전자 장치는, 제 1 이미지의 보정 결과 획득된 제 4 이미지를 저장할 수 있으며, 또는, 전자 장치는 제 4 이미지를 압축 알고리즘을 이용하여 압축할 수도 있으며, 압축된 이미지를 메모리(예: 도 1의 메모리(130) 또는 도 3의 메모리(327)에 저장할 수도 있다.
도 11은 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 상기 동작 방법은 1101동작 내지 111동작을 포함할 수 있다.
1101동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 전자 장치의 메모리(예:도 1의 메모리(130) 또는 도 3의 메모리(320))에 저장된 적어도 하나의 이미지들 중 제2 보정 정보가 요청되는 제1 이미지를 확인할 수 있다. 전자 장치는 메모리에 저장된 복수의 이미지들 중 제2 보정 정보가 요청을 위해 사용자에 의해 선택된 제1 이미지를 확인할 수 있다. 사용자는 사용자의 입력(터치 입력, 음성 입력 또는 텍스트 입력)을 통해 상기 제1 이미지 전체영역 또는 일부 영역을 선택할 수 있다. 또는 전자 장치는 전자 장치에서 실행되고 있는 어플리케이션의 요청에 따라 제2 보정 정보가 요청되는 제1 이미지를 확인할 수 있다. 메모리에 저장된 적어도 하나의 이미지는 스몰 로우 이미지 또는 로우 미이지를 기반하여 생성한 제1 보정 정보를 이용하여 보정 된 이미지를 포함할 수 있다.
1103동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 통신 모듈(예: 도 1의 통신 모듈(190))을 통하여, 제 1 이미지와 상기 제 1 이미지를 위한 제 2 보정 정보 요청을 외부 전자 장치(예: 도 3의 외부 전자 장치(330))로 송신할 수 있다.
1105동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 외부 장치의 저장소(예: 도 3의 335)에 저장된 제1 이미지의 제1 보정 정보(예: basic recipe information, 또는 extended recipe information)을 획득할 수 있다. 외부 장치의 저장소(예: 도 3의 335)에 저장된 제1 이미지의 제1 보정 정보(예: basic recipe information, 또는 extended recipe information)가 존재 하지 않는 경우, 외부 장치의 인식 모듈(예: 도 3의 331)을 통해 제1 이미지를 기반으로 제1 보정 정보(예: extended recipe information)를 생성할 수 있다.
1107동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제2 보정 정보를 생성할 수 있다. 일 실시예에 따르면, 외부 전자 장치의 ISP(예:도 3의 333)는 인식 모듈(예:도 3의 311)로 부터 제 1 이미지와 제1 보정 정보(예:basic recipe information 또는 extended recipe information)를 수신하고, 제 1 이미지와 제1 보정 정보(예:basic recipe information 또는 extended recipe information)를 세그먼트 영역별로 세그먼트 바운더리를 일정 픽셀 블록 단위로 비교할 수 있다. 외부 전자 장치의 ISP는, 상기 비교 결과가 지정된 조건이 제2 보정 정보 생성 을 위한 임계 값을 만족하면 제1 이미지를 기반으로 제1 보정 정보(예:basic recipe information 또는 extended recipe information)의 제1 구성 요소의 값을 변경한 제2 구성요소를 포함하는 제2 보정 정보를 생성할 수 있다.
1109 동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(330))는, 제2 보정 정보를, 예를 들어, 외부 전자 장치의 통신 모듈을 통하여, 전자 장치(예: 도 3의 프로세서(325))로 송신할 수 있다.
1111동작에서, 전자 장치(예: 도 3의 프로세서(325))는, 제2 보정 정보의 적어도 일부에 기반하여, 제 1 이미지를 이용하여 보정할 수 있다. 이에 따라, 제 1 이미지가 보정된 제 2 이미지가 생성될 수 있다. 전자 장치의 ISP(예:도 3의 323)는 외부 전자 장치로부터 수신된 제2 보정 정보를 이용하여 이미지 센서로부터 획득된 제 1 이미지(예: 로우 이미지)를 보정할 수 있다. 전자 장치는, 제 1 이미지의 보정 결과 획득된 제 2 이미지를 저장할 수 있다. 예를 들어 제 2 이미지는 제 1 이미지와는 다른 YUV 포맷을 가질 수 있다. 전자 장치는, 제 2 이미지를 VRAM(video RAM)에 저장하고 저장된 이미지를 디스플레이(예: 도 1의 표시장치(160) 또는 도 3의 디스플레이(329))) 등에 표시할 수 있다. 또는, 전자 장치는 제 2 이미지를 압축 알고리즘을 이용하여 압축할 수도 있으며, 압축된 이미지를 메모리(예: 도 1의 메모리(130) 또는 도 3의 메모리(327)에 저장할 수도 있다.
다양한 실시예에 따르면, 전자 장치의 이미지 처리 방법은, 외부 전자 장치로부터 제 1 이미지에 대응하는 보정 정보 요청을 수신하는 동작, 이미지 인식에 기반하여, 상기 제 1 이미지에 대응하는 로우 이미지를 이용하여 제 1 보정 정보를 생성하는 동작, 상기 제1 이미지와 상기 제1 보정 정보의 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하는지 판단하는 동작, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하지 않는 것에 기반하여, 상기 외부 전자 장치가 상기 제 1 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 2 이미지를 생성할 수 있도록, 상기 제 1 보정 정보를 상기 외부 장치로 송신하는 동작, 및 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 것에 기반하여, 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제 2 보정 정보를 생성하고, 상기 외부 전자 장치가 상기 제 2 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 3 이미지를 생성할 수 있도록, 상기 제 2 보정 정보를 상기 외부 장치로 송신하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 외부 전자 장치로부터, 상기 제 1 이미지에 대응하는 상기 로우 이미지를 수신하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 로우 이미지는 스몰 로우 이미지(small raw image) 또는 풀 로우 이미지(full raw image)를 포함하고, 상기 로우 이미지가 상기 스몰 로우 이미지인 것에 기반하여, 상기 스몰 로우 이미지로부터 인식된 제 1 영역 정보를 포함하는 상기 제 1 보정 정보를 상기 생성하는 동작, 및 상기 수신한 상기 로우 이미지가 상기 풀 로우 이미지인 것에 기반하여, 상기 풀 로우 이미지로부터 인식된 상기 제 1 영역 정보보다 더 많은 영역으로 나누어진 제 2 영역 정보를 포함하는 상기 제 1 보정 정보를 상기 생성하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치의 인식 모듈에 의해, 상기 이미지 인식에 기반하여, 상기 제 1 이미지에 대응하는 로우 이미지를 이용하여 제 1 보정 정보를 생성하는 동작, 및 상기 전자 장치의 이미지 신호 프로세서(ISP: Image Signal Processor) 에 의해, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 것에 기반하여 상기 제2 보정 정보를 생성하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 것에 기반하여, 상기 제1 보정 정보를 상기 외부 전자 장치에 전송한 이후, 상기 제 2 보정 정보를 상기 외부 전자 장치로 송신하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 제2 보정 정보를 생성하는 동작은, 영역 정보를 기반으로 상기 제1 이미지와 제1 보정 정보를 비교하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치의 이미지 처리 방법은, 외부 전자 장치에게 제1 이미지에 대응하는 보정 정보 요청을 전송하는 동작, 상기 제1 이미지와 상기 제1 이미지에 대응하는 로우 이미지를 이용하여 생성된 제1 보정 정보의 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하지 않는 경우, 상기 제1 보정 정보를 수신하고, 상기 제1 보정 정보를 이용하여 상기 제1 이미지가 보정 된 제2 이미지를 생성하는 동작, 및 상기 1 이미지와 상기 제1 보정 정보의 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하는 경우, 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제2 보정 정보를 수신하고, 상기 제2 보정 정보를 이용하여 상기 제1 이미지가 보정 된 제3 이미지를 생성하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 로우 이미지는 스몰 로우 이미지(small raw image) 또는 풀 로우 이미지(full raw image)를 포함하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 경우, 상기 외부 전자 장치로부터 수신된 상기 제1 보정 정보를 이용하여 상기 제1 이미지를 보정아 제2 이미지를 생성한 이후, 상기 외부 전자 장치로부터 수신된 상기 제2 보정 정보를 이용하여 상기 제1 이미지를 보정 한 상기 제3 이미지를 생성하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 경우, 상기 외부 전자 장치로부터 상기 제2 보정 정보를 이용하여 상기 제1 이미지를 보정한 상기 제3 이미지를 수신하는 동작을 더 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다.
다양한 실시예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 외부 전자 장치로부터 제 1 이미지에 대응하는 보정 정보 요청을 수신하는 동작, 이미지 인식에 기반하여, 상기 제 1 이미지에 대응하는 로우 이미지를 이용하여 제 1 보정 정보를 생성하는 동작, 상기 제1 이미지와 상기 제1 보정 정보의 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하는지 판단하는 동작, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하지 않는 것에 기반하여, 상기 외부 전자 장치가 상기 제 1 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 2 이미지를 생성할 수 있도록, 상기 제 1 보정 정보를 상기 외부 장치로 송신하는 동작, 및 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 것에 기반하여, 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제 2 보정 정보를 생성하고, 상기 외부 전자 장치가 상기 제 2 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 3 이미지를 생성할 수 있도록, 상기 제 2 보정 정보를 상기 외부 장치로 송신하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 외부 전자 장치에게 제1 이미지에 대응하는 보정 정보 요청을 전송하는 동작, 상기 제1 이미지와 상기 제1 이미지에 대응하는 로우 이미지를 이용하여 생성된 제1 보정 정보의 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하지 않는 경우, 상기 제1 보정 정보를 수신하고, 상기 제1 보정 정보를 이용하여 상기 제1 이미지가 보정 된 제2 이미지를 생성하는 동작, 및 상기 1 이미지와 상기 제1 보정 정보의 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하는 경우, 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제2 보정 정보를 수신하고, 상기 제2 보정 정보를 이용하여 상기 제1 이미지가 보정 된 제3 이미지를 생성하는 동작을 포함할 수 있다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    통신 모듈;
    메모리;
    상기 통신 모듈 및 상가 메모리와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는,
    상기 통신 모듈을 이용하여, 외부 전자 장치로부터 제 1 이미지에 대응하는 보정 정보 요청을 수신하고,
    이미지 인식에 기반하여, 상기 제 1 이미지에 대응하는 로우 이미지를 이용하여 제 1 보정 정보를 생성하고,
    상기 제1 이미지와 상기 제1 보정 정보를 세그먼트 영역별로 세그먼트의 바운더리를 스캔하면서, 상기 제1 이미지의 세크먼트 바운더리에 포함된 픽셀 블록과 상기 제1 보정 정보의 세그먼트 바운더리에 포함된 픽셀 블록 간의 엣지 강도, 픽셀 간의 유사도 및 주변 영역의 주파수를 비교하고, 상기 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하는지 판단하고,
    상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하지 않는 것에 기반하여, 상기 외부 전자 장치가 상기 제 1 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 2 이미지를 생성할 수 있도록, 상기 제 1 보정 정보를 상기 외부 전자 장치로 송신하고, 및
    상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 것에 기반하여, 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제 2 보정 정보를 생성하고, 및 상기 외부 전자 장치가 상기 제 2 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 3 이미지를 생성할 수 있도록, 상기 제 2 보정 정보를 상기 외부 전자 장치로 송신하도록 설정된 전자 장치.
  2. 제 1 항에 있어서, 상기 프로세서는,
    상기 외부 전자 장치로부터, 상기 제 1 이미지에 대응하는 상기 로우 이미지를 수신하도록 설정된 전자 장치.
  3. 제 2 항에 있어서,
    상기 로우 이미지는 스몰 로우 이미지(small raw image) 또는 풀 로우 이미지(full raw image)를 포함하고, 및
    상기 프로세서는,
    상기 로우 이미지가 상기 스몰 로우 이미지인 것에 기반하여, 상기 스몰 로우 이미지로부터 인식된 제 1 영역 정보를 포함하는 상기 제 1 보정 정보를 상기 생성하고, 및
    상기 수신한 상기 로우 이미지가 상기 풀 로우 이미지인 것에 기반하여, 상기 풀 로우 이미지로부터 인식된 상기 제 1 영역 정보보다 더 많은 영역으로 나누어진 제 2 영역 정보를 포함하는 상기 제 1 보정 정보를 상기 생성하도록 설정된 전자 장치.
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서, 상기 프로세서는,
    상기 이미지 인식에 기반하여, 상기 제 1 이미지에 대응하는 로우 이미지를 이용하여 제 1 보정 정보를 생성하는 인식 모듈, 및
    상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하지 않는 것에 기반하여, 상기 제2 보정 정보를 생성하는 이미지 신호 프로세서(ISP: Image Signal Processor) 를 포함하도록 설정된 전자 장치.
  5. 제 1 항에 있어서, 상기 프로세서는,
    상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 것에 기반하여, 상기 제1 보정 정보를 상기 외부 전자 장치에 전송한 이후, 상기 제 2 보정 정보를 상기 외부 전자 장치로 송신하도록 설정된 전자 장치.
  6. 제 1 항에 있어서, 상기 프로세서는,
    영역 정보를 기반으로 상기 제1 이미지와 제1 보정 정보를 비교설정된 전자 장치.
  7. 전자 장치에 있어서,
    카메라;
    통신 모듈; 및
    상기 카메라 및 상기 통신모듈과 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는,
    상기 통신 모듈을 이용하여, 외부 전자 장치에게 제1 이미지에 대응하는 보정 정보 요청을 전송하고,
    상기 제1 이미지와 상기 제1 이미지에 대응하는 로우 이미지를 이용하여 생성된 제1 보정 정보를 세그먼트 영역별로 세그먼트의 바운더리를 스캔하면서, 상기 제1 이미지의 세크먼트 바운더리에 포함된 픽셀 블록과 상기 제1 보정 정보의 세그먼트 바운더리에 포함된 픽셀 블록 간의 엣지 강도, 픽셀 간의 유사도 및 주변 영역의 주파수를 비교하고,
    상기 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하지 않는 경우, 상기 통신 모듈을 이용하여, 상기 제1 보정 정보를 수신하고, 상기 제1 보정 정보를 이용하여 상기 제1 이미지가 보정 된 제2 이미지를 생성하며,
    상기 비교에 기반하여, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 경우, 상기 통신 모듈을 이용하여 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제2 보정 정보를 수신하고, 상기 제2 보정 정보를 이용하여 상기 제1 이미지가 보정 된 제3 이미지를 생성하도록 설정된 전자 장치.
  8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈
    제 7 항에 있어서,
    상기 로우 이미지는 스몰 로우 이미지(small raw image) 또는 풀 로우 이미지(full raw image)를 포함하도록 설정된 전자 장치.
  9. 제 7 항에 있어서, 상기 프로세서는,
    상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 경우, 상기 통신 모듈을 이용하여, 상기 외부 전자 장치로부터 수신된 상기 제1 보정 정보를 이용하여 상기 제1 이미지를 보정한 제2 이미지를 생성한 이후, 상기 외부 전자 장치로부터 수신된 상기 제2 보정 정보를 이용하여 상기 제1 이미지를 보정 한 상기 제3 이미지를 생성하도록 설정된 전자 장치.
  10. 제 7 항에 있어서, 상기 프로세서는,
    상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 경우, 상기 통신 모듈을 이용하여, 상기 외부 전자 장치로부터 수신된 상기 제2 보정 정보를 이용하여 상기 제1 이미지를 보정한 상기 제3 이미지를 수신하도록 설정된 전자 장치.
  11. 전자 장치의 이미지 처리 방법에 있어서,
    외부 전자 장치로부터 제 1 이미지에 대응하는 보정 정보 요청을 수신하는 동작;
    이미지 인식에 기반하여, 상기 제 1 이미지에 대응하는 로우 이미지를 이용하여 제 1 보정 정보를 생성하는 동작;
    상기 제1 이미지와 상기 제1 보정 정보를 세그먼트 영역별로 세그먼트의 바운더리를 스캔하면서, 상기 제1 이미지의 세크먼트 바운더리에 포함된 픽셀 블록과 상기 제1 보정 정보의 세그먼트 바운더리에 포함된 픽셀 블록 간의 엣지 강도, 픽셀 간의 유사도 및 주변 영역의 주파수를 비교하고, 상기 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하는지 판단하는 동작;
    상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하지 않는 것에 기반하여, 상기 외부 전자 장치가 상기 제 1 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 2 이미지를 생성할 수 있도록, 상기 제 1 보정 정보를 상기 외부 전자 장치로 송신하는 동작; 및
    상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 것에 기반하여, 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제 2 보정 정보를 생성하고, 상기 외부 전자 장치가 상기 제 2 보정 정보를 이용하여 상기 제 1 이미지가 보정된 제 3 이미지를 생성할 수 있도록, 상기 제 2 보정 정보를 상기 외부 전자 장치로 송신하는 동작을 포함하는 전자 장치의 이미지 처리 방법.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제 11 항에 있어서,
    상기 외부 전자 장치로부터, 상기 제 1 이미지에 대응하는 상기 로우 이미지를 수신하는 동작을 더 포함하는 전자 장치의 이미지 처리 방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제 12 항에 있어서,
    상기 로우 이미지는 스몰 로우 이미지(small raw image) 또는 풀 로우 이미지(full raw image)를 포함하고,
    상기 로우 이미지가 상기 스몰 로우 이미지인 것에 기반하여, 상기 스몰 로우 이미지로부터 인식된 제 1 영역 정보를 포함하는 상기 제 1 보정 정보를 상기 생성하는 동작; 및
    상기 수신한 상기 로우 이미지가 상기 풀 로우 이미지인 것에 기반하여, 상기 풀 로우 이미지로부터 인식된 상기 제 1 영역 정보보다 더 많은 영역으로 나누어진 제 2 영역 정보를 포함하는 상기 제 1 보정 정보를 상기 생성하는 동작을 더 포함하는 전자 장치의 이미지 처리 방법.
  14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈
    제 11 항에 있어서,
    상기 전자 장치의 인식 모듈에 의해, 상기 이미지 인식에 기반하여, 상기 제 1 이미지에 대응하는 로우 이미지를 이용하여 제 1 보정 정보를 생성하는 동작; 및
    상기 전자 장치의 이미지 신호 프로세서(ISP: Image Signal Processor) 에 의해, 상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 것에 기반하여 상기 제2 보정 정보를 생성하는 동작을 더 포함하는 전자 장치의 이미지 처리 방법.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제 11 항에 있어서,
    상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 것에 기반하여, 상기 제1 보정 정보를 상기 외부 전자 장치에 전송한 이후, 상기 제 2 보정 정보를 상기 외부 전자 장치로 송신하는 동작을 더 포함하는 전자 장치의 이미지 처리 방법.
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제 11 항에 있어서, 상기 제2 보정 정보를 생성하는 동작은
    영역 정보를 기반으로 상기 제1 이미지와 상기 제1 보정 정보를 비교하는 동작을 포함하는 전자 장치의 이미지 처리 방법.
  17. 전자 장치의 이미지 처리 방법에 있어서,
    외부 전자 장치에게 제1 이미지에 대응하는 보정 정보 요청을 전송하는 동작;
    상기 제1 이미지와 상기 제1 이미지에 대응하는 로우 이미지를 이용하여 생성된 제1 보정 정보를 세그먼트 영역별로 세그먼트의 바운더리를 스캔하면서, 상기 제1 이미지의 세크먼트 바운더리에 포함된 픽셀 블록과 상기 제1 보정 정보의 세그먼트 바운더리에 포함된 픽셀 블록 간의 엣지 강도, 픽셀 간의 유사도 및 주변 영역의 주파수를 비교하는 동작;
    상기 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하지 않는 경우, 상기 제1 보정 정보를 수신하고, 상기 제1 보정 정보를 이용하여 상기 제1 이미지가 보정 된 제2 이미지를 생성하는 동작; 및
    상기 비교에 기반하여, 상기 제 1 보정 정보의 특성이 지정된 조건을 만족하는 경우, 상기 제1 이미지 및 상기 제1 보정 정보를 이용하여 상기 제 1 보정 정보와는 적어도 일부 다른 특성을 가지는 제2 보정 정보를 수신하고, 상기 제2 보정 정보를 이용하여 상기 제1 이미지가 보정 된 제3 이미지를 생성하는 동작을 포함하는 전자 장치의 이미지 처리 방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제 17 항에 있어서,
    상기 로우 이미지는 스몰 로우 이미지(small raw image) 또는 풀 로우 이미지(full raw image)를 포함하도록 설정된 전자 장치의 이미지 처리 방법.
  19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈
    제 17 항에 있어서,
    상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 경우,
    상기 외부 전자 장치로부터 수신된 상기 제1 보정 정보를 이용하여 상기 제1 이미지를 보정아 제2 이미지를 생성한 이후, 상기 외부 전자 장치로부터 수신된 상기 제2 보정 정보를 이용하여 상기 제1 이미지를 보정 한 상기제3 이미지를 생성하는 동작을 더 포함하는 전자 장치의 이미지 처리 방법.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제 17 항에 있어서,
    상기 제 1 보정 정보의 특성이 상기 지정된 조건을 만족하는 경우,
    상기 외부 전자 장치로부터 상기 제2 보정 정보를 이용하여 상기 제1 이미지를 보정한 상기 제3 이미지를 수신하는 동작을 더 포함하는 전자 장치의 이미지 처리 방법.
KR1020180018319A 2018-02-14 2018-02-14 전자 장치 및 전자 장치의 이미지 처리 방법 KR102592061B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180018319A KR102592061B1 (ko) 2018-02-14 2018-02-14 전자 장치 및 전자 장치의 이미지 처리 방법
PCT/KR2019/001393 WO2019160262A1 (ko) 2018-02-14 2019-01-31 전자 장치 및 전자 장치의 이미지 처리 방법
US16/970,259 US11425300B2 (en) 2018-02-14 2019-01-31 Electronic device and method for processing image by electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180018319A KR102592061B1 (ko) 2018-02-14 2018-02-14 전자 장치 및 전자 장치의 이미지 처리 방법

Publications (2)

Publication Number Publication Date
KR20190098406A KR20190098406A (ko) 2019-08-22
KR102592061B1 true KR102592061B1 (ko) 2023-10-23

Family

ID=67618823

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180018319A KR102592061B1 (ko) 2018-02-14 2018-02-14 전자 장치 및 전자 장치의 이미지 처리 방법

Country Status (3)

Country Link
US (1) US11425300B2 (ko)
KR (1) KR102592061B1 (ko)
WO (1) WO2019160262A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102553150B1 (ko) * 2018-03-23 2023-07-10 삼성전자주식회사 외부 전자 장치와 이미지를 처리하는 전자 장치 및 그 동작 방법
KR20210079956A (ko) 2019-12-20 2021-06-30 삼성전자주식회사 네트워크를 통해 영상 처리 서비스를 제공하는 전자 장치
KR102266158B1 (ko) * 2021-02-04 2021-06-16 한철희 사용자의 sns 컨텐츠를 이용하여 스튜디오 촬영 사진을 보정하기 위한 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002170110A (ja) * 2000-09-22 2002-06-14 Seiko Epson Corp 画像処理方法
JP2014013957A (ja) * 2012-07-03 2014-01-23 Canon Inc 撮像装置及び撮像装置の制御方法
JP2017073082A (ja) * 2015-10-09 2017-04-13 大日本印刷株式会社 画像補正装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100476855B1 (ko) 2000-09-22 2005-03-17 세이코 엡슨 가부시키가이샤 화상처리방법
JP5886265B2 (ja) * 2013-11-28 2016-03-16 シャープ株式会社 携帯端末装置、プログラム、及び記録媒体
JP6494294B2 (ja) * 2014-05-15 2019-04-03 キヤノン株式会社 画像処理装置、及び撮像システム
KR101951706B1 (ko) * 2016-09-30 2019-02-26 에스케이플래닛 주식회사 이미지 형태의 컨텐츠의 가독성 향상을 위한 장치 및 방법
JP6832155B2 (ja) * 2016-12-28 2021-02-24 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム
KR101836768B1 (ko) * 2017-06-22 2018-03-08 한양대학교 산학협력단 물체 인식 기반의 자동 영상 컬러 밸런스 시스템 및 방법과 이에 관한 기록매체
KR102495753B1 (ko) 2017-10-10 2023-02-03 삼성전자주식회사 카메라를 이용하여 획득한 원시 이미지를 외부 전자 장치를 이용하여 처리하는 방법 및 전자 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002170110A (ja) * 2000-09-22 2002-06-14 Seiko Epson Corp 画像処理方法
JP2014013957A (ja) * 2012-07-03 2014-01-23 Canon Inc 撮像装置及び撮像装置の制御方法
JP2017073082A (ja) * 2015-10-09 2017-04-13 大日本印刷株式会社 画像補正装置

Also Published As

Publication number Publication date
WO2019160262A1 (ko) 2019-08-22
US20210067690A1 (en) 2021-03-04
KR20190098406A (ko) 2019-08-22
US11425300B2 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
KR102495753B1 (ko) 카메라를 이용하여 획득한 원시 이미지를 외부 전자 장치를 이용하여 처리하는 방법 및 전자 장치
US11290641B2 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
KR102397924B1 (ko) 이미지 보정 방식 및 이미지의 특징 정보에 기반하여 이미지를 보정하는 전자 장치 및 방법
CN109413399B (zh) 使用深度图合成对象的装置及其方法
US10885609B2 (en) Electronic device for processing image based on priority and method for operating thereof
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
KR102592061B1 (ko) 전자 장치 및 전자 장치의 이미지 처리 방법
KR102609734B1 (ko) 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
US10970587B2 (en) Electronic device for notifying of update of image signal processing and method for operating the same
KR102482860B1 (ko) 상황 정보 기반 이미지 처리 방법 및 이를 사용하는 전자 장치
US12081879B2 (en) Method for generating image and electronic device therefor
US11392719B2 (en) Electronic device and method for securing personal information included in image
KR102499286B1 (ko) 이미지가 분할된 복수의 블록들의 압축과 관련된 압축 손실 데이터에 기반하여 이미지를 압축하는 전자 장치 및 그 동작 방법
US20190349519A1 (en) Electronic device and image processing method therefor
KR102608127B1 (ko) 이미지 프로세싱을 수행하는 전자 장치 및 방법
US11477443B2 (en) Electronic device for performing image compression and operating method of electronic device
KR102553150B1 (ko) 외부 전자 장치와 이미지를 처리하는 전자 장치 및 그 동작 방법
KR20210101999A (ko) 화질 조정을 지원하는 전자 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant