KR20230113786A - 이미지 처리 방법, 장치 및 전자 장치 - Google Patents

이미지 처리 방법, 장치 및 전자 장치 Download PDF

Info

Publication number
KR20230113786A
KR20230113786A KR1020237022064A KR20237022064A KR20230113786A KR 20230113786 A KR20230113786 A KR 20230113786A KR 1020237022064 A KR1020237022064 A KR 1020237022064A KR 20237022064 A KR20237022064 A KR 20237022064A KR 20230113786 A KR20230113786 A KR 20230113786A
Authority
KR
South Korea
Prior art keywords
image
stored
previewed
enhanced
processor
Prior art date
Application number
KR1020237022064A
Other languages
English (en)
Inventor
준 푸
Original Assignee
비보 모바일 커뮤니케이션 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비보 모바일 커뮤니케이션 컴퍼니 리미티드 filed Critical 비보 모바일 커뮤니케이션 컴퍼니 리미티드
Publication of KR20230113786A publication Critical patent/KR20230113786A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction

Abstract

본 출원은 이미지 처리 기술분야에 관한 것으로, 이미지 처리 방법, 장치 및 전자 장치를 개시한다. 상기 방법은, 이미지 처리 방법에 있어서, 실시간으로 수집된 이미지를 이미지 센서에 의해 획득하는 단계; 상기 실시간으로 수집된 이미지에 따라 중앙 처리 칩에 의해 저장될 이미지 및 프리뷰될 이미지를 결정하는 단계; 상기 저장될 이미지 및 상기 프리뷰될 이미지에 대해 이미지 처리 칩에 의해 강화 처리를 수행하는 단계; 및 강화 처리된 이미지를 메모리에 의해 저장하고, 강화 처리된 프리뷰될 이미지를 디스플레이에 표시하는 단계;를 포함한다.

Description

이미지 처리 방법, 장치 및 전자 장치
본 출원은 2020년 11월 30일에 중국에서 제출된 중국특허출원 제202011380615.3호의 우선권을 주장하며, 본 출원에서는 그 전체 내용을 인용하고 있다.
본 출원은 이미지 처리 기술분야에 관한 것으로, 더 상세하게는, 이미지 처리 방법, 장치 및 전자 장치에 관한 것이다.
통신 기술의 발달로 전자 장치의 기능은 점점 강력해지고 있으며, 예를 들어 사용자는 전자 장치를 사용하여 동영상을 촬영할 수 있다.
일반적으로, 어두운 환경에서는 카메라 센서와 이미지 신호 프로세서(image signal processing, ISP)의 한계로 인해 사용자가 전자 장치를 이용하여 이상적인 촬영 효과를 얻을 수 없다. 현재, 카메라 센서의 컬러 필터 배열을 변경함으로써, 즉 센서를 통과하는 빛의 양을 증가시킴으로써 밝기 향상 효과를 얻을 수 있다.
그러나, 이와 같이 카메라의 하드웨어 구조가 변경되면 최종 생성된 이미지에 컬러 캐스트 현상이 발생하여 전자 장치에 의해 촬영되는 이미지의 화질이 저하될 수 있게 한다.
본 출원의 실시예의 목적은 전자 장치에 의해 촬영되는 이미지의 품질이 좋지 않은 문제점을 해결할 수 있는 이미지 처리 방법, 장치 및 전자 장치를 제공하는 것이다.
상술한 기술적 과제를 해결하기 위한 본 발명에 따른 기술적 해결방법은 다음과 같다.
제1 면에서, 본 출원의 실시예는, 이미지 처리 방법에 있어서, 실시간으로 수집된 이미지를 이미지 센서에 의해 획득하는 단계; 실시간으로 수집된 이미지에 따라 중앙 처리 칩에 의해 저장될 이미지 및 프리뷰될 이미지를 결정하는 단계; 저장될 이미지 및 프리뷰될 이미지에 대해 이미지 처리 칩에 의해 강화 처리를 수행하는 단계; 및 강화 처리된 저장될 이미지를 메모리에 의해 저장하고, 강화 처리된 프리뷰될 이미지를 디스플레이에 표시하는 단계;를 포함하는, 이미지 처리 방법을 제공한다.
제2 면에서, 본 출원의 실시예는, 이미지 처리 장치에 있어서, 실시간으로 수집된 이미지를 획득하는 이미지 센서; 실시간으로 수집된 이미지에 따라 저장될 이미지 및 프리뷰될 이미지를 결정하는 중앙 처리 칩; 저장될 이미지 및 프리뷰될 이미지에 대해 강화 처리를 수행하는 이미지 처리 칩; 강화 처리된 저장될 이미지를 저장하는 메모리; 및 강화 처리된 프리뷰될 이미지를 표시하는 디스플레이;를 포함하는, 이미지 처리 장치를 제공한다.
제3 면에서, 본 출원의 실시예는, 프로세서; 메모리; 및 상기 메모리에 저장되고, 제1 면에 따른 방법의 단계를 구현하도록 상기 프로세서에 의해 실행 가능한 프로그램 또는 명령어;를 포함하는, 전자 장치를 제공한다.
제4 면에서, 본 출원의 실시예는, 제1 면에 따른 방법의 단계를 구현하도록 프로세서에 의해 실행되는 프로그램 또는 명령어가 저장되어 있는, 판독 가능 저장매체를 제공한다.
제5 면에서, 본 발명의 실시예는, 프로세서 및 통신 인터페이스를 포함하며, 상기 통신 인터페이스가 상기 프로세서에 결합되고, 상기 프로세서가 제1 면에 따른 방법을 구현하도록 프로그램 또는 명령어를 실행하는, 칩을 제공한다.
제6 면에서, 본 발명의 실시예는, 적어도 하나의 프로세서에 의해 실행되어 제1 면에 따른 방법을 구현하도록 하는 컴퓨터 프로그램 제품을 제공한다.
본 출원의 실시예에 의하면, 이미지를 수집하는 과정에서, 전자 장치는 실시간으로 수집된 이미지를 이미지 센서에 의해 획득하고, 실시간으로 수집된 이미지에 따라 중앙 처리 칩에 의해 저장될 이미지 및 프리뷰될 이미지(즉, 2개의 이미지)를 결정할 수 있고, 그 다음, 저장될 이미지를 메모리에 저장하고 그리고 프리뷰될 이미지를 디스플레이에 표시하기 전에, 먼저 저장될 이미지 및 프리뷰될 이미지에 대해 이미지 처리 칩에 의해 강화 처리를 수행하고, 그 다음, 강화 처리된 이미지를 전자 장치의 메모리에 저장하고, 강화 처리된 이미지를 전자 장치의 디스플레이에 표시할 수 있다. 이미지를 저장하고 표시하기 전에 먼저 이미지 처리 칩에 의해 강화 처리를 하므로, 본 출원에 따른 이미지 처리 방법을 이용하면, 이미지를 수집하는 과정에서, 한편으로는, 강화 처리를 중앙 처리 칩이 아닌 다른 칩에 분산해주어 처리함으로써, 전자 장치의 중앙 처리 칩의 전력 소모를 줄일 수 있고 카메라의 하드웨어 구조를 변경할 필요가 없으며, 다른 한편으로는, 수집된 이미지를 저장하기 전에 먼저 소프트웨어에 의한 처리를 통해 저장될 이미지의 화질을 개선할 수 있고, 수집된 이미지를 표시하기 전에 소프트웨어에 의한 처리를 통해 표시될 이미지의 표시 효과를 향상시킬 수도 있다. 예를 들어, 야간에 동영상을 촬영하는 경우에는, 야간에 촬영한 동영상의 화질이 좋지 않은 문제점을 개선할 수 있다.
도 1은 본 출원의 실시예에 따른 이미지 처리 방법의 개략적인 흐름도이다.
도 2는 본 출원의 실시예에 따른 촬영 프리뷰 인터페이스의 개략도이다.
도 3은 본 출원의 실시예에 따른 전자 장치의 개략적인 구조도이다.
도 4는 본 출원의 실시예에 따른 이미지 처리 장치의 가능한 개략도이다.
도 5는 본 출원의 실시예에 따른 전자 장치의 가능한 개략적인 구조도이다.
도 6은 본 출원의 실시예에 따른 전자 장치의 하드웨어 개략도이다.
이하, 첨부된 도면을 참조하여 본 출원의 실시예에 따른 기술적 해결방법에 대하여 명확하고 완전하게 설명하기로 하고, 물론, 설명된 실시예는 본 출원의 실시예 전체가 아니라 실시예의 일부에 불과하다. 본 출원의 실시예를 토대로, 본 기술분야에서 통상의 지식을 가진 자가 창의적인 노력이 없이 획득한 모든 기타 실시예는 모두 본 출원의 보호 범위에 속할 것이다.
본 출원의 명세서 및 특허청구범위에서 "제1", "제2" 등의 용어는 유사한 객체를 구별하기 위해 사용된 것으로, 특정한 순서 또는 차례를 설명하기 위해 사용된 것이 아니다. 이렇게 사용된 데이터는 본 출원의 실시예가 여기에 설명되거나 설명된 것과 다른 순서로 실행될 수 있도록 적절한 상황에서 교환될 수 있으며, 또한, "제1"과 "제2" 등으로 구분되는 객체는 일반적으로 동일한 유형이고, 객체의 수에는 제한이 없으며, 예를 들어, 제1 객체는 하나 또는 복수일 수 있음을 이해해야 한다. 또한, 명세서 및 특허청구범위에서 "및/또는"은 연결된 객체 중 적어도 하나를 의미하고, "/" 문자는 일반적으로 전후 관련 객체가 "또는"의 관계임을 나타낸다.
이하, 첨부된 도면을 참조하여 구체적인 실시예 및 적용 시나리오를 통해 본 출원의 실시예에 따른 이미지 처리 방법에 대해 상세히 설명하기로 한다.
도 1은 본 출원의 실시예에 따른 이미지 처리 방법의 개략적인 흐름도이다. 도 1에 도시된 바와 같이, 이 방법은 하기의 단계(S101) 내지 단계(S104)를 포함한다.
단계(S101): 전자 장치는 실시간으로 수집된 이미지를 이미지 센서에 의해 획득한다.
여기서, 이미지는 정적 이미지와 동적 이미지를 포함할 수 있으며, 즉, 실시간으로 수집된 이미지는 촬영된 정지 사진, 동영상 또는 비디오일 수 있다.
예시적으로, 전자 장치는 실시간 이미지를 수집한 후, 수집된 실시간 이미지를 디지털 이미지로 변환하고, 그 다음 디지털 이미지에 대한 후처리를 수행할 수 있다.
단계(S102): 전자 장치는 실시간으로 수집된 이미지에 따라 중앙 처리 칩에 의해 저장될 이미지와 프리뷰될 이미지를 결정한다.
예를 들어, 전자 장치는 실시간으로 수집된 이미지로부터 변환된 디지털 이미지에 따라, 저장될 이미지 데이터와 프리뷰될 이미지 데이터를 결정할 수 있다.
단계(S103): 전자 장치는 이미지 처리 칩에 의해, 저장될 이미지 및 프리뷰될 이미지에 대해 강화 처리를 수행한다.
본 출원의 실시예에서, 강화 처리는 수집된 이미지의 표시 품질을 향상시킬 수 있음에 유의해야 한다.
선택적으로, 본 출원의 실시예에서, 강화 처리는 다이내믹 레인지 향상, 밝기 향상, 노이즈 감소, 프레임 보간, 고해상도화 중 적어도 하나를 포함할 수 있다.
여기서, 실제 시나리오의 경우, 다이나믹 레인지는 시나리오에서 가장 밝은 부분과 가장 어두운 부분의 밝기 비율을 말하며, 디지털 이미징 시스템의 다이나믹 레인지를 확장하는 것은, 즉 하이 다이나믹 레인지(high dynamic range; HDR) 기술은, 하드웨어 또는 소프트웨어의 방법을 이용하여 출력된 이미지에 가능한 최대의 시나리오 밝기 범위를 포함하고 시나리오의 실제 세부사항을 정확하게 재현할 수 있도록 하는 것을 말한다.
일반적으로, 현실의 디지털 이미지는 디지털화 및 전송 과정에서 촬영 장비와 외부 환경 노이즈 간섭의 영향을 받는 경우가 많고, 즉, 디지털 이미지는 노이즈 이미지(또는 노이즈 포함된 이미지)이다. 디지털 이미지에서 노이즈를 줄이는 과정은 이미지 노이즈 감소(또는 이미지 노이즈 제거)이라고 한다.
프레임 보간은 입력된 이미지 a와 이미지 b 사이에 일련의 중간 프레임을 생성하는 과정이다. 비디오 이미지에 대한 프레임 보간을 통해 비디오 이미지의 부드러움을 향상시킬 수 있다.
고해상도화는 비디오 디스플레이 해상도를 효과적으로 향상시켜, 저해상도 비디오가 고해상도의 디스플레이 경험을 얻을 수 있도록 한다.
선택적으로, 실시간 프리뷰 이미지에 대한 강화 처리는 저장될 이미지에 대한 강화 처리의 세부 처리와 완전히 동일하거나 부분적으로 동일할 수도 있고 상이할 수도 있으며, 본 출원의 실시예에서 이에 대해 특별히 제한되지 않는다.
단계(S104): 전자 장치는 강화 처리된 저장될 이미지를 메모리에 의해 저장하고, 강화 처리된 프리뷰될 이미지를 디스플레이에 표시한다.
다시 말하면, 본 출원의 실시예에서, 전자 장치에 의해 저장되는 이미지는 상기 강화 처리를 거친 이미지일 수 있다. 즉, 촬영 중인 사용자는 전자 장치에서 강화 처리된 이미지 및 비디오를 찾을 수 있다.
도 2는 본 출원의 실시예에 따른 촬영 프리뷰 인터페이스의 개략도로서, 사용자는 상기 인터페이스에서 비디오 이미지를 수집할 수 있고, 전자 장치는 프리뷰될 이미지에 대해 강화 처리를 수행한 후 상기 프리뷰 인터페이스에서 강화 처리된 프리뷰 이미지를 표시할 수 있다.
본 출원의 실시예에 따른 이미지 처리 방법에 있어서, 이미지를 수집하는 과정에서, 전자 장치는 실시간으로 수집된 이미지를 이미지 센서에 의해 획득하고, 실시간으로 수집된 이미지에 따라 중앙 처리 칩에 의해 저장될 이미지 및 프리뷰될 이미지(즉, 2개의 이미지)를 결정할 수 있고, 그 다음, 저장될 이미지를 메모리에 저장하고 그리고 프리뷰될 이미지를 디스플레이에 표시하기 전에, 먼저 저장될 이미지 및 프리뷰될 이미지에 대해 이미지 처리 칩에 의해 강화 처리를 수행하고, 그 다음, 강화 처리된 이미지를 메모리에 저장하고, 강화 처리된 이미지를 디스플레이에 표시할 수 있다. 이미지를 저장하고 표시하기 전에 먼저 이미지 처리 칩에 의해 강화 처리를 하므로, 본 출원에 따른 이미지 처리 방법을 이용하면, 이미지를 수집하는 과정에서, 한편으로는, 강화 처리를 중앙 처리 칩이 아닌 다른 칩에 분산해주어 처리함으로써, 전자 장치의 중앙 처리 칩의 전력 소모를 줄일 수 있고 카메라의 하드웨어 구조를 변경할 필요가 없으며, 다른 한편으로는, 수집된 이미지를 저장하기 전에 먼저 소프트웨어에 의한 처리를 통해 저장될 이미지의 화질을 개선할 수 있고, 수집된 이미지를 표시하기 전에 소프트웨어에 의한 처리를 통해 표시될 이미지의 표시 효과를 향상시킬 수도 있다. 예를 들어, 야간에 동영상을 촬영하는 경우에는, 야간에 촬영한 동영상의 화질이 좋지 않은 문제점을 개선할 수 있다.
선택적으로, 중앙 처리 칩은 이미지 신호 프로세서를 포함하고, 본 출원의 실시예에 따른 이미지 처리 방법에서, 상기 단계(S102)는 하기 단계(S102a)를 통해 수행될 수 있다.
단계(S102a): 전자 장치는 실시간으로 수집된 이미지에 대해 이미지 신호 프로세서에 의해 1차 처리를 수행하여 저장될 이미지 및 프리뷰될 이미지를 생성한다.
예시적으로, 1차 처리는 전자 장치가 실시간으로 수집된 동일한 이미지 데이터를 디스플레이 모듈과 저장 모듈에 각각 전송하거나, 저장용과 디스플레이용으로 2개의 이미지 데이터로 복사하는 것일 수 있다.
예를 들어, 전자 장치는 디지털 이미지를 2개의 비디오 이미지 데이터로 분리할 수 있으며, 제1 비디오 이미지 데이터는 프리뷰용 비디오 이미지이고 제2 비디오 이미지 데이터는 저장용 비디오 이미지이다.
상기 해결방법에 따르면, 전자 장치는 실시간으로 수집된 이미지를 획득한 후, 상기 실시간으로 수집된 이미지에서 프리뷰용 이미지 데이터 및 사용자가 저장할 이미지 데이터를 먼저 분리할 수 있음으로써, 다양한 용도를 위한 이미지 데이터의 후처리를 편리하게 한다.
선택적으로, 중앙 처리 칩은 알고리즘 모듈을 포함하고, 본 출원의 실시예에 따른 이미지 처리 방법은 하기 단계(S105) 및 단계(S106)를 더 포함할 수 있다.
단계(S105): 전자 장치는 저장될 이미지에 대한 모션 벡터를 이미지 처리 칩에 의해 생성한다.
예시적으로, 실시간으로 프리뷰될 이미지 및 저장될 이미지에 대해 강화 처리를 수행하는 과정에서, 전자 장치는 이미지의 각 프레임에 대응하는 모션 벡터(MV)를 생성하여 출력할 수 있다.
단계(S106): 전자 장치는 알고리즘 모듈에 의해, 모션 벡터에 따라, 강화 처리된 저장될 이미지에 대해 알고리즘 모듈에 의해 2차 처리를 수행한다.
예를 들어, 전자 장치는 모션 벡터(MV)를 이용하여 상기 강화 처리된 이미지에 대해 데이터 강화(즉, 2차 처리)를 다시 수행하고, 다른 이미지 처리를 수행하여 이미지의 디스플레이 효과를 더 좋게 할 수 있다.
상기 해결방법에 따르면, 전자 장치는 이미지에 대한 강화 처리를 수행하는 과정에서 이미지의 각 프레임에 대한 모션 벡터를 얻을 수 있고, 전자 장치가 다른 이미지 처리를 계속 수행하도록 준비할 수 있고, 모션 벡터를 얻기 위해 전자 장치에 의한 추가적인 처리가 필요하지 않아서, 전자 장치에 의한 이미지 처리의 복잡도를 감소시킨다.
선택적으로, 중앙 처리 칩은 인코더를 포함하며, 본 출원의 실시예에 따른 이미지 처리 방법에서, 상기 단계(S104)에서 "강화 처리된 저장될 이미지를 메모리에 의해 저장"하는 것은 구체적으로 하기 단계(S104a)를 통해 수행될 수 있다.
단계(S104a): 전자 장치는 강화 처리된 저장될 이미지를 인코더에 의해 인코딩하고, 인코딩된 저장될 이미지를 메모리에 저장한다.
여기서, 인코더는 비디오 인코더 또는 픽처 인코더이다.
상기 해결방법에 따르면, 구체적으로는, 전자 장치는 정적 픽처를 촬영하는 과정에서, 픽처 인코더를 이용하여 강화 처리된 저장될 픽처에 대해 픽처 인코딩을 수행하여 표시 효과가 더 나은 픽처를 얻을 수 있으며, 비디오를 촬영하는 과정에서, 비디오 인코더를 이용하여 강화 처리된 저장될 비디오에 대해 비디오 인코딩을 수행하여 표시 효과가 더 나은 비디오를 얻을 수 있다.
도 3은 본 출원의 실시예에 따른 전자 장치의 개략적인 구조도이다. 도 3에 도시된 바와 같이, 이미지 센서(30), 중앙 처리 칩(31), 외부 이미지 처리 칩(34), 메모리(37) 및 디스플레이(38)를 포함할 수 있으며, 중앙 처리 칩(31)은 이미지 신호 프로세서(32), 디스플레이 처리 유닛(33), 알고리즘 모듈(35) 및 인코더(36)를 포함한다.
(1) 이미지 센서(30)
실시간 화면을 수집하여 실시간으로 수집된 이미지를 획득하고, 실시간으로 수집된 이미지를 디지털 신호, 즉 디지털 이미지로 변환하고, 그 다음 변환된 디지털 이미지를 MIPI CSI(Mobile Industry Processor Interface-Camera Serial Interface)를 통해 중앙 처리 칩(31) 내의 이미지 신호 프로세서(32)로 전송할 수 있다.
(2) 이미지 신호 프로세서(32)
디지털 이미지를 후처리하기 위한 것이다. 이미지 신호 프로세서는 원본 RAW 이미지에 대해 이미지 처리 및 색상 변환을 수행하고 YUV 형식의 프리뷰될 이미지 데이터와 저장될 이미지 데이터를 출력한다. 여기서, 스크린 캡처 과정에서 이미지 데이터는 픽처 데이터이고, 스크린 녹화 과정에서 이미지 데이터는 비디오 데이터이다. 예를 들어, 스크린 녹화 과정에서, 이미지 센서(30)로부터 MIPI CSI를 통해 전송된 디지털 이미지에 따라 2개의 디지털 이미지가 생성될 수 있으며, 하나는 프리뷰될 비디오 이미지(도 3에 프리뷰 데이터로 표기됨)이고, 하나는 저장될 이미지(도 3에 녹화 데이터로 표기됨)이다. 이미지 신호 프로세서(32)는 2개의 디지털 이미지를 각각 디스플레이 처리 유닛을 통해 외부 이미지 처리 칩(34)으로 전송한다.
여기서, 디스플레이 처리 유닛은 이미지 데이터를 RGB 데이터로 변환하여 외부 디스플레이 장치로 전송하기 위한 것이다.
(3) 외부 이미지 처리 칩(34)
이미지 신호 프로세서(32)로부터 디스플레이 처리 유닛(33)의 MIPI DSI 인터페이스를 통해 전송된 2개의 디지털 이미지에 대해 강화 처리를 수행하여 이미지의 각 프레임에 대응하는 모션 벡터(MV)를 생성하여 출력한다.
예시적으로, 디지털 이미지에 대한 강화 처리는 프리뷰될 비디오 이미지(프리뷰 데이터)에 대한 강화 처리 및 저장될 비디오 이미지(녹화 데이터)에 대한 강화 처리를 포함한다.
선택적으로 강화 처리는 밝기 향상, 다이내믹 레인지 향상, 노이즈 감소, 프레임 보간, 초고해상도화, 선명화, 자르기 및 색상 보정과 같은 이미지 처리를 포함한다.
외부 이미지 처리 칩(34)은 강화 처리된 프리뷰 데이터를 MIPI 디스플레이 인터페이스(Display Serial Interface, DSI)를 통해 디스플레이(38)로 전송할 수 있다.
외부 이미지 처리 칩(34)은 MIPI CSI를 통해 모션 벡터(MV) 및 강화 처리된 녹화 데이터를 이미지 신호 프로세서(32)로 반환할 수 있다. 이미지 신호 프로세서(32)는 모션 벡터(MV) 및 강화 처리된 녹화 데이터를 후처리를 위해 알고리즘 모듈(35)로 다시 전송한다.
여기서, DSI는 프로세서와 디스플레이 모듈 사이에 위치한 고속 직렬 인터페이스이다. CSI는 프로세서와 카메라 모듈 사이에 위치한 고속 직렬 인터페이스이다.
본 출원의 실시예에서, 알고리즘 모듈(35)은 이미지 신호 프로세서로부터 전송된 모션 벡터에 따라, 강화 처리된 녹화 데이터에 대해 2차 처리를 수행하는 타겟 알고리즘을 포함할 수 있다.
(4): 디스플레이(38)
외부 이미지 처리 칩(34)으로부터 전송된 강화 처리된 프리뷰 데이터를 수신하고 수신된 강화 처리된 프리뷰될 이미지를 표시하기 위한 액정 디스플레이(Liquid Crystal Display, LCD)일 수 있다.
(5) 알고리즘 모듈(35)
데이터 이미지에 대해 2차 처리(기타 데이터 강화)를 하기 위한 것이다. 예를 들어, 노이즈 감소 등과 같은 처리를 다시 수행한다.
이미지 신호 프로세서(32)로부터 전송된 모션 벡터(MV) 및 강화 처리된 녹화 데이터를 수신하고, 모션 벡터(MV)에 따라 강화 처리된 녹화 데이터에 대해 다른 데이터 강화를 다시 수행한다.
알고리즘 모듈은 독립적인 모듈일 수도 있고 이미지 신호 프로세서(32)에 통합된 모듈일 수도 있으며, 본 출원의 실시예에서 이에 대해 특별히 제한되지 않음에 유의해야 한다.
(6) 인코더(36)
인코더(36)는 이미지 인코더일 수도 있고 비디오 인코더일 수도 있고, 또한 이미지 인코딩과 비디오 인코딩을 포함하는 인코더일 수도 있다. 이미지 데이터를 인코딩하기 위한 것이다.
예시적으로, 알고리즘 모듈(35)로부터 전송된 강화 처리된 녹화 데이터를 수신하고, 강화 처리된 녹화 데이터를 인코딩한 후 메모리(37)로 전송한다.
전자 장치가 강화 처리된 녹화 데이터에 대해 2차 처리를 수행하지 않는 경우, 이미지 신호 프로세서는 강화 처리된 녹화 데이터를 수신한 후 강화 처리된 녹화 데이터를 인코더로 직접 전송할 수 있음에 유의해야 한다.
(7) 메모리(37)
비디오 인코더(36)로부터 전송된 인코딩된 녹화 데이터를 저장하기 위한 것이다.
메모리(37)는 내장형 메모리(Embedded Multi Media Card, EMMC), 플래시 메모리(Flash Memory)일 수 있다.
상기 해결방법에 따르면, 전자 장치는 이미지를 촬영하는 경우, 이미지 데이터를 수집한 후 그리고 수집된 이미지를 인코딩하여 저장하기 전에, 먼저 외부 이미지 처리 칩에 의해 이미지 데이터를 강화 처리할 수 있으며, 프리뷰될 이미지 데이터를 강화 처리하여 디스플레이에 표시되는 효과를 더 좋게 할 수 있고, 저장될 이미지 데이터를 강화 처리하여 저장된 이미지의 표시 효과를 더 좋게 할 수 있으며, 외부 이미지 처리 칩 하나에 의해 강화 처리를 수행하면, 한편으로는, 중앙 처리 칩이 아닌 다른 칩에 강화 처리를 분산해주어 치리함으로써 전자 장치의 중앙 처리 칩의 전력 소모를 줄일 수 있으며, 다른 한편으로는, 수집된 이미지에 대한 강화 처리를 외부 이미지 처리 칩에 의해 구현됨으로써, 전자 장치의 카메라의 하드웨어 구조를 변경하지 않고도 촬영된 이미지의 화질이 좋지 않은 문제점을 개선하여 비용을 절감하게 된다.
본 출원의 실시예에 따른 이미지 처리 방법은 이미지 처리 장치 또는 비디오 이미지 처리 방법을 수행하기 위한 이미지 처리 장치의 제어 모듈에 의해 수행될 수 있음에 유의해야 한다. 본 출원의 실시예에서, 이미지 처리 장치가 비디오 이미지 처리 방법을 수행하는 경우를 예로 들어 본 출원의 실시예에 따른 비디오 이미지 처리 장치에 대해 설명하기로 한다.
도 4는 본 출원의 실시예에 따른 이미지 처리 장치의 구조 개략도로서, 도 4에 도시된 바와 같이, 이미지 처리 장치(400)는, 실시간으로 수집된 이미지를 획득하는 이미지 센서(401); 상기 실시간으로 수집된 이미지에 따라 저장될 이미지 및 프리뷰될 이미지를 결정하는 중앙 처리 칩(402); 상기 저장될 이미지 및 상기 프리뷰될 이미지에 대해 강화 처리를 수행하는 이미지 처리 칩(403); 강화 처리된 상기 저장될 비디오 이미지를 저장하는 메모리(404); 및 강화 처리된 프리뷰될 이미지를 표시하는 디스플레이(405);를 포함한다.
선택적으로, 중앙 처리 칩은, 실시간으로 수집된 이미지에 대해 1차 처리를 수행하여 저장될 이미지 및 프리뷰될 이미지를 생성하는 이미지 신호 프로세서를 포함한다.
선택적으로, 이미지 처리 칩은 저장될 이미지에 대한 모션 벡터를 더 생성하고, 중앙 처리 칩은, 모션 벡터에 따라, 강화 처리된 저장될 이미지에 대해 2차 처리를 수행하는 알고리즘 모듈을 포함한다.
선택적으로, 중앙 처리 칩은, 강화 처리된 저장될 이미지를 인코딩하는 인코더를 포함하고, 구체적으로는, 메모리는 인코딩된 저장될 이미지를 메모리에 저장하며, 여기서, 인코더는 비디오 인코더 또는 픽처 인코더이다.
선택적으로, 강화 처리는 다이내믹 레인지 향상, 밝기 향상, 노이즈 감소, 프레임 보간, 고해상도화 중 적어도 하나를 포함한다.
본 출원의 실시예에 따른 이미지 처리 장치는, 이미지를 수집하는 과정에서, 실시간으로 수집된 이미지를 이미지 센서에 의해 획득하고, 실시간으로 수집된 이미지에 따라 중앙 처리 칩에 의해 저장될 이미지 및 프리뷰될 이미지(즉, 2개의 이미지)를 결정할 수 있고, 그 다음, 저장될 이미지를 메모리에 저장하고 그리고 프리뷰될 이미지를 디스플레이에 표시하기 전에, 먼저 저장될 이미지 및 프리뷰될 이미지에 대해 이미지 처리 칩에 의해 강화 처리를 수행하고, 그 다음, 강화 처리된 이미지를 이미지 처리 장치의 메모리에 저장하고, 강화 처리된 이미지를 이미지 처리 장치의 디스플레이에 표시할 수 있다. 이미지를 저장하고 표시하기 전에 먼저 이미지 처리 칩에 의해 강화 처리를 하므로, 본 출원에 따른 이미지 처리 방법을 이용하면, 이미지를 수집하는 과정에서, 한편으로는, 강화 처리를 중앙 처리 칩이 아닌 다른 칩에 분산해주어 처리함으로써, 이미지 처리 장치의 중앙 처리 칩의 전력 소모를 줄일 수 있고 카메라의 하드웨어 구조를 변경할 필요가 없으며, 다른 한편으로는, 수집된 이미지를 저장하기 전에 먼저 소프트웨어에 의한 처리를 통해 저장될 이미지의 화질을 개선할 수 있고, 수집된 이미지를 표시하기 전에 소프트웨어에 의한 처리를 통해 표시될 이미지의 표시 효과를 향상시킬 수도 있다. 예를 들어, 야간에 동영상을 촬영하는 경우에는, 야간에 촬영한 동영상의 화질이 좋지 않은 문제점을 개선할 수 있다.
본 출원의 실시예에 따른 이미지 처리 장치는 디바이스일 수도 있고, 단말에서의 부품, 집적 회로 또는 칩일 수도 있다. 이 장치는 휴대형 전자 장치일 수도 있고 비-휴대형 전자 장치일 수도 있다. 예시적으로, 휴대형 전자 장치는 휴대폰, 태블릿, 노트북, 팜탑 컴퓨터, 차량용 전자 장치, 웨어러블 장치, UMPC(Ultra-Mobile Personal Computer), 넷북 또는 PDA(Personal Digital Assistant) 등일 수 있고, 비-휴대형 전자 장치는 서버, NAS(Network Attached Storage), PC(personal computer), 텔레비전(television，TV), 현금 인출기 또는 셀프 서비스 기계 등일 수 있으며, 본 출원의 실시예에서 특별히 제한되지 않는다.
본 출원의 실시예에 따른 이미지 처리 장치는 운영 체제를 갖는 장치일 수 있다. 이 운영 체제는 Android 운영 체제, ios 운영 체제 또는 기타 가능한 운영 체제일 수 있으며, 본 출원의 실시예에서 특별히 제한되지 않는다.
본 발명의 실시예에 따른 이미지 처리 장치는 도 1 내지 도 3에 도시된 방법 실시예에서 이미지 처리 방법에 의해 구현되는 각 단계를 구현할 수 있으며, 중복을 피하기 위해 여기서 상세한 설명을 생략하기로 한다.
선택적으로, 도 5에 도시된 바와 같이, 본 출원의 실시예는, 프로세서(501); 메모리(502); 및 메모리(502)에 저장되고 프로세서(501)에 의해 실행 가능한 프로그램 또는 명령어;를 포함하는 전자 장치(500)를 더 제공하고, 이 프로그램 또는 명령어가 프로세서(501)에 의해 실행되면, 상술한 이미지 처리 방법에 따른 실시예의 각 단계를 구현하고 동일한 기술적 효과를 달성할 수 있으므로, 중복을 피하기 위해 상세한 설명을 생략하기로 한다.
본 출원의 실시예에서 전자 장치는 상술한 휴대형 전자 장치 및 비-휴대형 전자 장치를 포함함에 유의해야 한다.
선택적으로, 본 출원의 실시예는, 실시간으로 수집된 이미지를 획득하는 이미지 센서; 상기 실시간으로 수집된 이미지에 따라 저장될 이미지 및 프리뷰될 이미지를 결정하는 중앙 처리 칩; 상기 저장될 이미지 및 상기 프리뷰될 이미지에 대해 강화 처리를 수행하는 이미지 처리 칩; 강화 처리된 상기 저장될 이미지를 저장하는 메모리; 및 강화 처리된 프리뷰될 이미지를 표시하는 디스플레이;를 포함하는 전자 장치를 더 제공한다.
도 6은 본 출원의 실시예를 구현하는 전자 장치의 하드웨어 구조 개략도이다.
이 전자 장치(1000)는 무선 주파수 유닛(1001), 네트워크 모듈(1002), 오디오 출력 유닛(1003), 입력 유닛(1004), 센서(1005), 디스플레이 유닛(1006), 사용자 입력 유닛(1007), 인터페이스 유닛(1008), 메모리(1009), 및 프로세서(1010) 등을 포함하지만, 이에 한정되지 않는다.
센서(1005)는 이미지 센서(401)로서 역할을 할 수 있고, 프로세서(1010)는 중앙 처리 칩(402)으로서 역할을 할 수 있으며, 디스플레이 유닛(1006)은 디스플레이(404)로서 역할을 할 수 있음에 유의해야 한다.
선택적으로, 전자 장치(1000)는 이미지 처리 칩(403)으로서 역할을 하는 외부 이미지 처리 칩을 더 포함할 수 있다.
선택적으로, 프로세서(1010)는 상술한 중앙 처리 칩 및 외부 영상 처리 칩으로서 역할을 할 수 있다.
전자 장치(1000)가 또한 각 부품에 전력을 공급하기 위한 전원(예: 배터리)을 포함할 수 있고, 전원이 전력 관리 시스템을 통해 프로세서(1010)와 논리적으로 연결될 수 있음으로써 전력 관리 시스템에 의해 충전, 방전, 및 소비 전력을 관리하는 기능들이 구현될 수 있는 것은 본 기술분야의 통상의 지식을 가진 자에게 이해될 수 있을 것이다. 전자 장치는 도 6에 도시된 전자 장치 구조에 의해 한정되지 않고 이보다 더 많거나 적은 부품, 또는 일부 부품의 조합, 또는 서로 다른 부품 배치를 포함할 수 있으며, 여기서 상세한 설명을 생략하기로 한다.
여기서, 센서(1005)는 실시간으로 수집된 이미지 및 프리뷰될 이미지를 획득하고, 프로세서(1010)는 상기 실시간으로 수집된 이미지에 따라 저장될 이미지를 결정하며, 외부 이미지 처리 칩은 저장될 이미지 및 프리뷰될 이미지에 대해 강화 처리를 수행하고, 메모리(1009)는 강화 처리된 상기 저장될 비디오 이미지를 저장하며, 표시 유닛(1006)은 강화 처리된 프리뷰될 이미지를 표시한다.
본 출원의 실시예에 따른 전자 장치는, 이미지를 수집하는 과정에서, 실시간으로 수집된 이미지를 센서에 의해 획득하고, 실시간으로 수집된 이미지에 따라 프로세서에 의해 저장될 이미지 및 프리뷰될 이미지(즉, 2개의 이미지)를 결정할 수 있고, 그 다음, 저장될 이미지를 메모리에 저장하고 그리고 프리뷰될 이미지를 디스플레이에 표시하기 전에, 먼저 저장될 이미지 및 프리뷰될 이미지에 대해 외부 이미지 처리 칩에 의해 강화 처리를 수행하고, 그 다음, 강화 처리된 이미지를 메모리에 저장하고, 강화 처리된 이미지를 디스플레이에 표시할 수 있다. 이미지를 저장하고 표시하기 전에 먼저 외부 이미지 처리 칩에 의해 강화 처리를 하므로, 본 출원에 따른 이미지 처리 방법을 이용하면, 이미지를 수집하는 과정에서, 한편으로는, 강화 처리를 프로세서가 아닌 다른 칩에 분산해주어 처리함으로써, 전자 장치의 프로세서의 전력 소모를 줄일 수 있고 카메라의 하드웨어 구조를 변경할 필요가 없으며, 다른 한편으로는, 수집된 이미지를 저장하기 전에 먼저 소프트웨어에 의한 처리를 통해 저장될 이미지의 화질을 개선할 수 있고, 수집된 이미지를 표시하기 전에 소프트웨어에 의한 처리를 통해 표시될 이미지의 표시 효과를 향상시킬 수도 있다. 예를 들어, 야간에 동영상을 촬영하는 경우에는, 야간에 촬영한 동영상의 화질이 좋지 않은 문제점을 개선할 수 있다.
선택적으로, 프로세서(1010)(즉, 중앙 처리 칩)는, 실시간으로 수집된 이미지에 대해 1차 처리를 수행하여 저장될 이미지 및 프리뷰될 이미지를 생성하는 이미지 신호 프로세서를 포함한다.
선택적으로, 외부 이미지 처리 칩은 저장될 이미지에 대한 모션 벡터를 더 생성하고, 프로세서(1010)(즉, 중앙 처리 칩)는 모션 벡터에 따라, 강화 처리된 저장될 이미지에 대해 2차 처리를 수행하는 알고리즘 모듈을 포함한다.
선택적으로, 프로세서(1010)(즉, 중앙 처리 칩)는 강화 처리된 저장될 이미지를 인코딩하는 인코더를 포함하고, 구체적으로, 메모리(1009)는 인코딩된 저장될 이미지를 메모리에 저장하며, 여기서, 인코더는 비디오 인코더 또는 픽처 인코더이다.
선택적으로, 강화 처리는 다이내믹 레인지 향상, 밝기 향상, 노이즈 감소, 프레임 보간, 고해상도화 중 적어도 하나를 포함한다.
본 출원의 실시예에서, 입력 유닛(1004)은 그래픽 프로세서(Graphics Processing Unit, GPU)(1041) 및 마이크(1042)를 포함할 수 있고, 그래픽 프로세서(1041)는 비디오 캡쳐 모드나 이미지 캡쳐 모드에서 이미지 캡쳐 장치(예: 카메라)에 의해 획득되는 정적 픽처 또는 비디오의 이미지 데이터를 처리할 수 있는 것을 이해해야 한다. 표시 유닛(1006)은 디스플레이 패널(1061)을 포함할 수 있고, 디스플레이 패널(1061)은 LCD(Liquid Crystal Display), OLED(Organic Light-Emitting Diode) 등의 형태로 구성될 수 있다. 사용자 입력 유닛(1007)은 터치 패널(1071) 및 기타 입력 장치(1072)를 포함한다. 터치 패널(1071)은 터치 스크린이라고도 한다. 터치 패널(1071)은 터치 감지 장치와 터치 컨트롤러의 두 부분을 포함할 수 있다. 기타 입력 장치(1072)는 물리적 키보드, 기능 키(예: 볼륨 버튼, 스위치 버튼 등), 트랙볼, 마우스 및 조이스틱을 포함할 수 있으나, 이에 한정되지 않으며 여기서 상세한 설명을 생략하기로 한다. 메모리(1009)는 애플리케이션 및 운영 체제를 포함하지만 이에 제한되지 않는 소프트웨어 프로그램 및 다양한 데이터를 저장하는데 사용될 수 있다. 프로세서(1010)는 애플리케이션 프로세서와 모뎀 프로세서를 통합할 수 있으며, 애플리케이션 프로세서는 주로 운영 체제, 사용자 인터페이스 및 애플리케이션 등을 처리하고, 모뎀 프로세서는 주로 무선 통신을 처리한다. 상기 모뎀 프로세서는 프로세서(1010)에 통합되지 않을 수도 있음을 이해할 수 있다.
본 발명의 실시예는 프로그램 또는 명령어가 저장되어 있는 판독 가능 저장매체를 더 제공하며, 상기 프로그램 또는 명령어가 프로세서에 의해 실행되면, 상술한 이미지 처리 방법에 따른 실시예의 각 단계를 구현하고 동일한 기술적 효과를 달성할 수 있으므로, 중복을 피하기 위해 상세한 설명을 생략하기로 한다.
여기서, 프로세서는 상술한 실시예에 따른 전자 장치의 프로세서이다. 상기 판독 가능 저장매체는, ROM(Read-Only Memory), RAM(Random Access Memory), 자기 디스크 또는 CD-ROM 등과 같은 컴퓨터 판독 가능 저장매체를 포함한다.
본 출원의 실시예는 프로세서 및 통신 인터페이스를 포함하는 칩을 더 제공하며, 상기 통신 인터페이스는 상기 프로세서에 결합되고, 상기 프로세서는 상술한 이미지 처리 방법의 각 과정을 구현하여 동일한 기술적 효과를 달성하도록 프로그램 또는 명령어를 실행하며, 중복을 피하기 위해 상세한 설명을 생략하기로 한다.
본 출원의 실시예에서 언급된 칩은 또한 시스템 온 칩, 시스템 반도체, SOC 또는 시스템온칩 등으로 지칭될 수 있음을 이해해야 한다.
본 출원의 실시예는 컴퓨터 프로그램 제품을 더 제공하며, 상기 프로그램 제품은 비휘발성 저장매체에 저장되어 있고, 상기 프로그램 제품이 적어도 하나의 프로세서에 의해 실행되면 상술한 이미지 처리 방법에 따른 실시예의 각 단계를 구현하고 동일한 기술적 효과를 달성할 수 있으므로, 중복을 피하기 위해 상세한 설명을 생략하기로 한다.
본 문서에서, "포함", "함유" 등 용어 또는 이들의 임의 다른 변형은 비 배타적인 뜻을 포괄하는 것을 의미함으로써, 일련의 구성요소를 포함한 프로세스, 방법, 물품 또는 장치는 이러한 구성요소 뿐만 아니라, 여기에 명시적으로 나열되지 않은 다른 구성요소를 더 포함할 수 있거나 그러한 프로세스, 방법, 물품 또는 장치에 포함된 고유 구성요소를 더 포함할 수 있음에 유의해야 한다. 별도의 제한이 없는 한, "하나의 ......를 포함"이라는 표현에 의해 한정된 구성요소는 해당 구성요소를 포함한 프로세스, 방법, 물품 또는 장치에 별도의 동일한 구성요소의 존재가 배제되지 않는다. 또한, 본 출원의 실시 형태에 따른 방법 및 장치의 범위는 도시되거나 논의된 순서대로 기능을 수행하는 것으로 제한되지 않고, 또한 관련된 기능에 따라 실질적으로 동시에 또는 역순으로 기능을 수행하는 것도 포함할 수 있으며, 예를 들어, 설명된 방법들은 설명된 것과 다른 순서로 수행될 수 있고, 다양한 단계들이 추가, 생략 또는 결합될 수도 있음에 유의해야 한다. 또한, 일부 예를 참조하여 설명된 특징은 다른 예에서 결합될 수 있다.
상기 실시 형태에 대한 설명으로부터, 본 기술분야에서 통상의 지식을 가진 자는 상기 실시예의 방법이 소프트웨어와 필요한 범용 플랫폼에 의해 구현될 수 있고, 물론 하드웨어도 사용될 수 있지만, 전자가 더 나은 실시 형태임을 명확하게 이해할 수 있다. 이러한 이해에 기초하여, 본 출원의 기술적 해결방법의 본질적인 부분 또는 기존 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있고, 이 컴퓨터 소프트웨어 제품은 단말(휴대폰, 컴퓨터, 서버, 에어컨 또는 네트워크 장치 등일 수 있음)이 본 출원의 각 실시예에 따른 방법을 수행하도록 하는 여러 명령어가 포함되는 저장매체(예: ROM/RAM, 자기 디스크, CD-ROM)에 저장되어 있다.
이상에서 첨부된 도면을 참조하여 본 출원의 실시예에 대해 설명하였지만, 본 출원은 상술한 특정 실시 형태에 한정되지 않고, 상술한 특정 실시 형태는 제한적인 것이 아니라 예시적인 것일 뿐이며, 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자는 본 출원의 계시에 의해 본 발명의 요지 및 청구범위의 보호 범위에서 벗어나지 않고 여러 가지 실시 형태를 도출할 수도 있는데, 이는 모두 본 출원의 보호 범위에 속할 것이다.

Claims (15)

  1. 실시간으로 수집된 이미지를 이미지 센서에 의해 획득하는 단계;
    상기 실시간으로 수집된 이미지에 따라 중앙 처리 칩에 의해 저장될 이미지 및 프리뷰될 이미지를 결정하는 단계;
    상기 저장될 이미지 및 상기 프리뷰될 이미지에 대해 이미지 처리 칩에 의해 강화 처리를 수행하는 단계; 및
    강화 처리된 상기 저장될 이미지를 메모리에 의해 저장하고, 강화 처리된 상기 프리뷰될 이미지를 디스플레이에 표시하는 단계;를 포함하는, 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 중앙 처리 칩은 이미지 신호 프로세서를 포함하고,
    상기 실시간으로 수집된 이미지에 따라 중앙 처리 칩에 의해 저장될 이미지 및 프리뷰될 이미지를 결정하는 단계는,
    상기 실시간으로 수집된 이미지에 대해 상기 이미지 신호 프로세서에 의해 1차 처리를 수행하여 저장될 이미지 및 프리뷰될 이미지를 생성하는 단계;를 포함하는, 이미지 처리 방법.
  3. 제1 항에 있어서,
    상기 중앙 처리 칩은 알고리즘 모듈을 포함하고,
    상기 저장될 이미지에 대한 모션 벡터를 상기 이미지 처리 칩에 의해 생성하는 단계; 및
    상기 모션 벡터에 따라 강화 처리된 저장될 이미지에 대해 알고리즘 모듈에 의해 2차 처리를 수행하는 단계;를 더 포함하는, 이미지 처리 방법.
  4. 제1 항에 있어서,
    상기 중앙 처리 칩은 인코더를 포함하고,
    상기 강화 처리된 상기 저장될 이미지를 메모리에 의해 저장하는 단계는,
    강화 처리된 상기 저장될 이미지를 상기 인코더에 의해 인코딩하고, 인코딩된 상기 저장될 이미지를 상기 메모리에 저장하는 단계;를 포함하며,
    여기서, 상기 인코더는 비디오 인코더 또는 픽처 인코더인, 이미지 처리 방법.
  5. 제1 항 내지 제4 항 중 어느 한 항에 있어서,
    상기 강화 처리는 다이내믹 레인지 향상, 밝기 향상, 노이즈 감소, 프레임 보간, 고해상도화 중 적어도 하나를 포함하는, 이미지 처리 방법.
  6. 실시간으로 수집된 이미지를 획득하는 이미지 센서;
    상기 실시간으로 수집된 이미지에 따라 저장될 이미지 및 프리뷰될 이미지를 결정하는 중앙 처리 칩;
    상기 저장될 이미지 및 상기 프리뷰될 이미지에 대해 강화 처리를 수행하는 이미지 처리 칩;
    강화 처리된 상기 저장될 이미지를 저장하는 메모리; 및
    강화 처리된 상기 프리뷰될 이미지를 표시하는 디스플레이;를 포함하는, 이미지 처리 장치.
  7. 제6 항에 있어서,
    상기 중앙 처리 칩은,
    상기 실시간으로 수집된 이미지에 대해 1차 처리를 수행하여 저장될 이미지 및 프리뷰될 이미지를 생성하는 이미지 신호 프로세서;를 포함하는, 이미지 처리 장치.
  8. 제6 항에 있어서,
    상기 이미지 처리 칩은 상기 저장될 이미지에 대한 모션 벡터를 더 생성하고,
    상기 중앙 처리 칩은, 상기 모션 벡터에 따라 강화 처리된 저장될 이미지에 대해 2차 처리를 수행하는 알고리즘 모듈;을 포함하는, 이미지 처리 장치.
  9. 제6 항에 있어서,
    상기 중앙 처리 칩은, 강화 처리된 상기 저장될 이미지를 인코딩하는 인코더;를 포함하고, 구체적으로는, 상기 메모리는 인코딩된 상기 저장될 이미지를 상기 메모리에 저장하며,
    여기서, 상기 인코더는 비디오 인코더 또는 픽처 인코더인, 이미지 처리 장치.
  10. 제6 항 내지 제9 항 중 어느 한 항에 있어서,
    상기 강화 처리는 다이내믹 레인지 향상, 밝기 향상, 노이즈 감소, 프레임 보간, 고해상도화 중 적어도 하나를 포함하는, 이미지 처리 장치.
  11. 프로세서; 메모리; 및 상기 메모리에 저장되고 상기 프로세서에 의해 실행 가능한 프로그램 또는 명령어;를 포함하며, 상기 프로그램 또는 명령어는 상기 프로세서에 의해 실행되면 제1 항 내지 제5 항 중 어느 한 항에 따른 이미지 처리 방법의 단계가 구현되는, 전자 장치.
  12. 제1 항 내지 제5 항 중 어느 한 항에 따른 이미지 처리 방법의 단계를 구현하도록 프로세서에 의해 실행되는 프로그램 또는 명령어가 저장되어 있는, 판독 가능 저장매체.
  13. 적어도 하나의 프로세서에 의해 실행되어 제1 항 내지 제5 항 중 어느 한 항에 따른 이미지 처리 방법을 구현하도록 하는, 컴퓨터 프로그램 제품.
  14. 제1 항 내지 제5 항 중 어느 한 항에 따른 이미지 처리 방법을 수행하도록 구성되는, 전자 장치.
  15. 프로세서 및 통신 인터페이스를 포함하며, 상기 통신 인터페이스는 상기 프로세서에 결합되고, 상기 프로세서는, 제1 항 내지 제5 항 중 어느 한 항에 따른 이미지 처리 방법을 구현하도록 프로그램 또는 명령어를 실행하는, 칩.
KR1020237022064A 2020-11-30 2021-11-30 이미지 처리 방법, 장치 및 전자 장치 KR20230113786A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011380615.3 2020-11-30
CN202011380615.3A CN112565603B (zh) 2020-11-30 2020-11-30 图像处理方法、装置及电子设备
PCT/CN2021/134216 WO2022111717A1 (zh) 2020-11-30 2021-11-30 图像处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
KR20230113786A true KR20230113786A (ko) 2023-08-01

Family

ID=75046779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237022064A KR20230113786A (ko) 2020-11-30 2021-11-30 이미지 처리 방법, 장치 및 전자 장치

Country Status (5)

Country Link
US (1) US20230300475A1 (ko)
EP (1) EP4254934A4 (ko)
KR (1) KR20230113786A (ko)
CN (1) CN112565603B (ko)
WO (1) WO2022111717A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565603B (zh) * 2020-11-30 2022-05-10 维沃移动通信有限公司 图像处理方法、装置及电子设备
CN114286001A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 图像处理电路、装置、方法、电子设备、图像处理芯片及主控芯片

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2192780A1 (en) * 2008-11-28 2010-06-02 Thomson Licensing Method for video decoding supported by Graphics Processing Unit
US8553109B2 (en) * 2011-07-20 2013-10-08 Broadcom Corporation Concurrent image processing for generating an output image
TWI519155B (zh) * 2012-02-24 2016-01-21 宏達國際電子股份有限公司 影像連續拍攝方法與相關影像擷取系統
KR20150025602A (ko) * 2013-08-29 2015-03-11 삼성전자주식회사 동영상 촬영 방법 및 그 전자 장치
US9639935B1 (en) * 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
CN106851167A (zh) * 2017-01-16 2017-06-13 广东小天才科技有限公司 一种用于虚拟现实设备的显示方法、系统及虚拟现实设备
CN107509038B (zh) * 2017-10-16 2019-10-15 维沃移动通信有限公司 一种拍摄方法及移动终端
CN109167915A (zh) * 2018-09-29 2019-01-08 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
US10917582B2 (en) * 2019-01-04 2021-02-09 Gopro, Inc. Reducing power consumption for enhanced zero shutter lag
CN111699511A (zh) * 2019-12-31 2020-09-22 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质
CN112565603B (zh) * 2020-11-30 2022-05-10 维沃移动通信有限公司 图像处理方法、装置及电子设备

Also Published As

Publication number Publication date
EP4254934A1 (en) 2023-10-04
CN112565603A (zh) 2021-03-26
EP4254934A4 (en) 2024-05-08
CN112565603B (zh) 2022-05-10
US20230300475A1 (en) 2023-09-21
WO2022111717A1 (zh) 2022-06-02

Similar Documents

Publication Publication Date Title
US10212339B2 (en) Image generation method based on dual camera module and dual camera apparatus
TWI418210B (zh) 避免快門延遲之影像擷取模組及影像擷取方法
CN101998041B (zh) 成像设备和控制该成像设备的方法
US20140092439A1 (en) Encoding images using a 3d mesh of polygons and corresponding textures
US9961272B2 (en) Image capturing apparatus and method of controlling the same
KR20230113786A (ko) 이미지 처리 방법, 장치 및 전자 장치
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
CN104704810A (zh) 图像捕获加速器
JP2015109563A (ja) 映像信号処理装置及びその制御方法
CN103248797A (zh) 一种基于fpga的视频分辨率增强方法及模块
US20230043815A1 (en) Image Processing Method and Electronic Device
US11783447B2 (en) Methods and apparatus for optimized stitching of overcapture content
US11010879B2 (en) Video image processing method and apparatus thereof, display device, computer readable storage medium and computer program product
CN104869381A (zh) 一种图像处理系统、方法及装置
CN112565865A (zh) 图像处理方法、装置及电子设备
CN113014804A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN113014817A (zh) 高清高帧视频的获取方法、装置及电子设备
TW201215105A (en) Single pipeline stereo image capture
EP4195679A1 (en) Image processing method and electronic device
CN114298889A (zh) 图像处理电路和图像处理方法
KR20090024402A (ko) 임베디드 ｏｓ를 탑재한 실물화상 시스템 및 그 시스템의동작 방법
TW202301266A (zh) 自動內容相關影像處理演算法選擇的方法及系統
US10121265B2 (en) Image processing device and method to calculate luminosity of an environmental light of an image
WO2018176392A1 (en) Optimization of multi-sink wi-fi display with intelligent multi-session encoding
KR100933171B1 (ko) 그래픽 디스플레이 기능을 구현한 비메모리 반도체

Legal Events

Date Code Title Description
A201 Request for examination