KR102350515B1 - 이미지 처리 방법 및 장치, 컴퓨터-판독 가능 저장 매체 및 컴퓨터 장치 - Google Patents

이미지 처리 방법 및 장치, 컴퓨터-판독 가능 저장 매체 및 컴퓨터 장치 Download PDF

Info

Publication number
KR102350515B1
KR102350515B1 KR1020207015878A KR20207015878A KR102350515B1 KR 102350515 B1 KR102350515 B1 KR 102350515B1 KR 1020207015878 A KR1020207015878 A KR 1020207015878A KR 20207015878 A KR20207015878 A KR 20207015878A KR 102350515 B1 KR102350515 B1 KR 102350515B1
Authority
KR
South Korea
Prior art keywords
image frame
image
light sources
light source
color temperature
Prior art date
Application number
KR1020207015878A
Other languages
English (en)
Other versions
KR20200078619A (ko
Inventor
휘차오 왕
Original Assignee
광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 filed Critical 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Publication of KR20200078619A publication Critical patent/KR20200078619A/ko
Application granted granted Critical
Publication of KR102350515B1 publication Critical patent/KR102350515B1/ko

Links

Images

Classifications

    • H04N9/735—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H04N5/2259—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Color Image Communication Systems (AREA)

Abstract

이미지 처리 방법이 제공된다. 상기 이미지 처리 방법은, 다중 연속 이미지 프레임들 내의 각 이미지 프레임이 처리되어 각 이미지 프레임의 광원들의 개수를 판단하는 블록; k번째 이미지 프레임의 광원들의 개수와 (k+1)번째 이미지 프레임의 광원들의 개수 사이의 차이가 0과 동일한지 여부가 판단되는 블록; 및 상기 차이가 0이 아닌 경우, 상기 (k+1)번째 이미지 프레임의 컬러 온도는 상기 k번째 이미지 프레임의 컬러 온도인 것으로 판단되고, 상기 (k+1)번째 이미지 프레임은 상기 k번째 이미지 프레임의 상기 컬러 온도에 따라 처리되는 블록을 포함한다. 화상 처리 장치, 컴퓨터-판독 가능 저장 매체 및 컴퓨터 장치가 추가로 제공된다.

Description

이미지 처리 방법 및 장치, 컴퓨터-판독 가능 저장 매체 및 컴퓨터 장치
본 발명은 이미지 처리(image processing)의 기술 분야에 관한 것이며, 특히 이미지 처리 방법(image processing method), 이미지 처리 장치(image processing device), 컴퓨터-판독 가능 저장 매체(computer-readable storage medium) 및 컴퓨터 장치(computer device)에 관한 것이다.
종래 기술의 이미지 방법(image method)에 따르면, 광원(light source)을 검출하기 위해 미리보기 이미지(preview image)가 처리되고, 상기 광원의 컬러에 따라 화이트 밸런스 처리(white balance processing)가 수행된다. 그러나, 렌즈(lens)가 흔들리면, 상기 미리보기 이미지에서 상기 광원의 분포를 변화시키기 위해 시야(field of view)가 점프(jump)할 수 있고, 화이트 밸런스 보정된 상기 미리보기 이미지의 톤이 더 점프하게 할 수 있다. 예를 들어, 상기 렌즈의 흔들림은 상기 광원 또는 상기 광원의 일부를 무작위로 들어가고 나가게(in and out) 만들고, 화이트 밸런스 처리 효과를 불안정하게 하며, 사용자 경험에 영향을 준다.
본 발명의 실시 예들은 이미지 처리 방법, 이미지 처리 장치, 컴퓨터 장치 및 컴퓨터-판독 가능 저장 매체를 제공한다.
제1측면에 따르면, 본 발명의 실시 예는 다음의 동작들을 포함할 수 있는 이미지 처리 방법을 제공한다. 다중 연속 이미지들 프레임들 내의 각 이미지 프레임은 각 이미지 프레임의 광원들의 상기 개수를 판단하기 위해 처리된다. k번째 이미지 프레임의 광원들의 개수 및 연속적인 (k+1)번째 이미지 프레임의 광원들의 개수 사이의 차이가 0과 동일한지 여부가 판단된다. 상기 차이가 0이 아니라는 판단에 응답하여, 상기 (k+1)번째 이미지 프레임의 컬러 온도는 상기 k번째 이미지 프레임의 컬러 온도로 판단되고, 상기 (k+1)번째 이미지 프레임은 상기 k번째 이미지 프레임의 상기 컬러 온도에 따라 처리된다.
제2측면에 따르면, 본 발명의 실시 예들은 이미지 처리 장치를 제공한다. 상기 이미지 처리 장치는 메모리 및 프로세서를 포함할 수 있다. 상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 상기 제1측면에서 설명된 이미지 처리 방법을 구현하게 하는 하나 이상의 컴퓨터 프로그램들을 저장한다.
제3측면에 따르면, 본 발명의 실시 예는 컴퓨터-실행 가능 명령어를 포함하는 비-일시적 컴퓨터-판독 가능 저장 매체를 제공한다. 상기 컴퓨터-실행 가능 명령어는 상기 프로세서들이 상기 제1측면에서 설명된 상기 이미지 처리 방법을 실행할 수 있도록 하나 이상의 프로세서들에 의해 실행될 수 있다.
본 발명의 실시 예에 따른 상기 컴퓨터 장치는 메모리 및 프로세서를 포함할 수 있다. 상기 메모리는 컴퓨터-판독 가능 명령어를 저장할 수 있고, 상기 명령어는 상기 프로세서가 상기 이미지 처리 방법을 실행할 수 있도록 상기 프로세서에 의해 실행될 수 있다.
본 발명의 추가적인 측면들 및 이점들은 다음 설명에서 부분적으로 제시될 것이며, 이하의 설명으로부터 부분적으로 명백해지거나 본 발명을 구현함으로써 이해될 수 있다.
본 발명의 실시 예들 또는 종래 기술의 기술적 해결 수단을 보다 명확하게 설명하기 위해, 실시 예들 또는 종래 기술에 대한 설명에서 사용될 필요가 있는 도면들은 아래에 간단히 소개될 것이다.
아래에 설명된 도면들은 본 발명의 일부 실시 예에 지나지 않음이 명백하다.
다른 도면들은 창조적인 작업없이 이들 도면들에 따라 당업자에 의해 추가로 획득될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 이미지 처리 장치의 개략도이다.
도 3은 본 발명의 일 실시 예에 따른 컴퓨터 장치의 개략 평면도이다.
도 4는 본 발명의 일 실시 예에 따른 이미지 처리 방법의 개략 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 제1처리 모듈의 개략도이다.
도 6은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 시나리오의 개략도이다.
도 7은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 시나리오의 개략도이다.
도 8은 본 발명의 일 실시 예에 따른 이미지 처리 방법에서 영역에 의해 형성된 히스토그램이다.
도 9는 본 발명의 일 실시 예에 따른 이미지 처리 방법의 개략 순서도이다.
도 10은 본 발명의 일 실시 예에 따른 제1처리 모듈의 모듈 개략도이다.
도 11은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 시나리오의 개략도이다.
도 12는 본 발명의 일 실시 예에 따른 컬러 온도 곡선의 개략도이다.
도 13은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 개략 순서도이다.
도 14는 본 발명의 일 실시 예에 따른 제2처리 모듈의 개략도이다.
도 15는 본 발명의 일 실시 예에 따른 이미지 처리 방법의 시나리오의 개략도이다.
도 16은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 시나리오의 개략도이다.
도 17은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 시나리오의 개략도이다.
도 18은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 개략 순서도이다.
도 19는 본 발명의 일 실시 예에 따른 이미지 처리 장치의 개략도이다.
도 20은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 시나리오의 개략도이다.
도 21은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 개략 순서도이다.
도 22는 본 발명의 일 실시 예에 따른 제3처리 모듈의 개략도이다.
도 23은 본 발명의 일 실시 예에 따른 컴퓨터 장치의 개략도이다.
도 24는 본 발명의 일 실시 예에 따른 이미지 처리 회로의 개략도이다.
본 발명의 실시 예의 상기 이미지 처리 방법 및 장치, 컴퓨터-판독 가능 저장 매체 및 컴퓨터 장치에 따르면, 상기 다중 연속 이미지 프레임들에서 2개의 연속 이미지 프레임들 사이의 상기 광원들의 상기 개수가 변하는지 여부가 판단된다. 상기 광원들의 상기 개수가 변한 후, 이전(former) 이미지 프레임의 컬러 온도에 따라 이후(latter) 이미지 프레임에 대해 화이트 밸런스 조정이 수행된다. 상기 광원들의 상기 개수가 변하지 않으면, 상기 이미지의 컬러 온도를 사용하여 상기 이미지에 대해 화이트 밸런스 조정이 수행된다. 이와 같은 방식으로, 렌즈가 흔들리면 상기 광원들 또는 상기 광원들의 일부가 무작위로 들어오고 나가게 된다는 사실의 이미지 톤 점프(image tone jump)가 방지되고, 화이트 밸런스 처리 효과의 안정성이 보장되며, 사용자 경험이 향상된다.
본 발명의 목적, 기술적 해결 수단 및 장점을 보다 명확하게 하기 위해, 본 발명은 도면 및 실시 예와 함께 아래에서 더 상세히 설명될 것이다. 본 명세서에 기술된 특정 실시 예는 본 발명을 설명하기 위해 채택된 것이며, 본 발명을 제한하려는 것이 아님을 이해해야 한다.
도 1을 참조하면, 본 발명의 실시 예에 따른 이미지 처리 방법은 블록들(S12 내지 S16)에서의 다음의 동작들을 포함한다.
블록(S12)에서, 다중 연속 이미지 프레임들 내의 각 이미지 프레임은 각 이미지 프레임의 광원들의 상기 개수를 판단하기 위해 처리된다.
블록(S14)에서, k번째 이미지 프레임의 상기 광원들의 상기 개수 및 (k+1)번째 이미지 프레임의 상기 광원들의 상기 개수의 차이가 0과 동일한지 여부가 판단된다.
블록(S16)에서, 상기 차이가 0과 동일하지 않다는 판단에 응답하여, 상기 (k+1)번째 이미지 프레임의 컬러 온도는 상기 k번째 이미지 프레임의 컬러 온도로 판단되고, 상기 (k+1)번째 이미지 프레임은 상기 k번째 이미지 프레임의 상기 컬러 온도에 따라 처리된다.
본 발명의 상기 실시 예에서, k는 양의 정수일 수 있다.
도 2를 참조하면, 본 발명의 실시 예에 따른 이미지 처리 장치(10)는 제1처리 모듈(12), 판정 모듈(14) 및 제2처리 모듈(16)을 포함한다. 상기 제1처리 모듈(12)은 각 이미지 프레임의 광원들의 상기 개수를 판단하기 위해 다중 연속 이미지 프레임들에서 각 이미지 프레임을 처리하도록 구성된다. 상기 판정 모듈(14)은 k번째 이미지 프레임의 상기 광원들의 상기 개수 및 (k+1)번째 이미지 프레임의 상기 광원들의 상기 개수의 차이가 0과 동일한지 여부를 판단하도록 구성된다. 상기 제2처리 모듈(16)은, 상기 차이가 0과 동일하지 않다는 판단에 응답하여, 상기 (k+1)번째 이미지 프레임의 컬러 온도를 상기 k번째 이미지 프레임의 컬러 온도로 판단하고, 상기 (k+1)번째 이미지 프레임을 상기 k번째 이미지 프레임의 상기 컬러 온도에 따라 처리한다.
본 발명의 실시 예에 따른 상기 이미지 처리 방법은 본 발명의 실시 예의 이미지 처리 장치(10)에 의해 구현될 수 있다. 상기 블록(S12)에서의 동작은 상기 제1처리 모듈(12)에 의해 구현될 수 있고, 상기 블록(S14)에서의 동작은 상기 판정 모듈(14)에 의해 구현될 수 있으며, 상기 블록(S16)에서의 동작은 상기 제2처리 모듈(16)에 의해 구현될 수 있다.
도 3을 참조하면, 본 발명의 실시 예에 따른 상기 이미지 처리 장치(10)는 본 발명의 실시 예의 컴퓨터 장치(100)에 적용될 수 있다. 즉, 본 발명의 실시 예의 상기 컴퓨터 장치(100)는 본 발명의 실시 예의 상기 이미지 처리 장치(10)를 포함할 수 있다.
일 실시 예에서, 상기 컴퓨터 장치(100)는 모바일 폰, 태블릿 컴퓨터, 노트북 컴퓨터, 스마트 밴드, 스마트 워치, 스마트 헬멧, 스마트 안경 등을 포함한다.
본 발명의 실시 예의 상기 이미지 처리 방법, 이미지 처리 장치(10) 및 컴퓨터 장치(100)에 따르면, 상기 다중 연속 이미지 프레임들에서 2개의 연속 이미지 프레임들 사이의 상기 광원들의 상기 개수가 변하는지 여부가 판단되고, 상기 광원들의 상기 개수가 변한 후, 상기 이전 이미지 프레임의 컬러 온도에 따라 상기 이후 이미지 프레임에 대해 화이트 밸런스 조정이 수행되며, 상기 광원들의 상기 개수가 변하지 않으면, 상기 이미지의 컬러 온도를 사용하여 상기 이미지에 대해 화이트 밸런스 조정이 수행된다. 이와 같은 방식으로, 렌즈가 흔들리면 상기 광원 또는 상기 광원의 일부가 무작위로 들어오고 나가게 되는 현상에 의한 이미지 톤 점프(image tone jump)가 방지되어, 화이트 밸런스 처리 효과의 안정성을 보장하며, 사용자 경험을 향상시킨다.
일 실시 예에서, 상기 다중 연속 이미지 프레임들은 시간 축을 따라 연속적으로 배열하여 획득된 다중 연속 이미지 프레임들, 일정 기간 내에 카메라의 프레임 레이트(frame rate)에 따라 고정된 시간 간격들로 획득된 다중 이미지 프레임들을 지칭한다.
도 4를 참조하면, 일 실시 예에서, 상기 블록(S12)에서의 동작은 블록들(S122 내지 S128)에서의 다음의 동작들을 포함한다.
블록(S122)에서, 각 이미지 프레임은 다중 영역들로 분할된다.
블록(S124)에서, 상기 다중 영역들 각각에 대해, 상기 영역의 히스토그램에 따라 상기 영역이 광원을 포함하는 타깃 영역인지 여부가 판단된다.
블록(S126)에서, 상기 영역이 광원을 포함하는 상기 타깃 영역인 경우, 상기 영역에 인접한 다중 타깃 영역들이 존재하는지 여부가 판단된다.
블록(S128)에서, 상기 영역에 인접한 다중 타깃 영역들이 존재하는 경우, 상기 다중 타깃 영역들은 광원으로 접합된다(spliced).
블록(S121)에서, 상기 영역에 인접한 타깃 영역들이 존재하지 않는 경우, 상기 타깃 영역은 광원으로 판단된다.
블록(S123)에서, 상기 광원이 계수된다(counted).
도 5를 참조하면, 일 실시 예에서, 상기 제1처리 모듈(12)은 분할 유닛(122), 제1판정 유닛(124), 제2판정 유닛(126), 스플라이싱 유닛(128), 제1판단 유닛(121) 및 카운팅 유닛(123)을 포함한다. 상기 분할 유닛(122)은 이미지를 다중 영역들로 분할하도록 구성될 수 있다. 제1판정 유닛(124)은 상기 다중 영역들 각각에 대해, 상기 영역의 히스토그램에 따라 상기 영역이 광원을 포함하는 타깃 영역인지 여부를 판단할 수 있다. 상기 제2판정 유닛(126)은 상기 영역에 인접한 다중 타깃 영역들이 존재하는지 여부를 판단하도록 구성될 수 있다. 상기 스플라이싱 유닛(128)은, 상기 영역에 인접한 다중 타깃 영역들이 존재하는 경우, 상기 다중 타깃 영역들을 광원으로 접합하도록(slice) 구성될 수 있다. 상기 제1판단 유닛(121)은 상기 영역에 인접한 타깃 영역들이 존재하지 않는 경우, 상기 타깃 영역을 광원으로 판단하도록 구성될 수 있다. 상기 카운팅 유닛(123)은 상기 광원을 계수하도록(count) 구성될 수 있다.
즉, 상기 블록(S122)에서의 동작은 상기 분할 유닛(122)에 의해 구현될 수 있고, 상기 블록(S124)에서의 동작은 상기 제1판정 유닛(124)에 의해 구현될 수 있고, 상기 블록(S126)에서의 동작은 상기 제2판정 유닛(126)에 의해 구현될 수 있고, 상기 블록(S128)에서의 동작은 상기 스플라이싱 유닛(128)에 의해 구현될 수 있고, 상기 블록(S121)에서의 동작은 상기 제1판단 유닛(121)에 의해 구현될 수 있으며, 상기 블록(S123)에서의 동작은 상기 카운팅 유닛(123)에 의해 구현될 수 있다.
이런 방식으로, 상기 이미지 내의 상기 광원들의 위치들 및 개수가 판단될 수 있다.
구체적으로, 도 6 내지 도 8을 참조하면, 일 실시 예에서, 상기 이미지 처리 방법에 따르면, 각 이미지 프레임은 처음에 가령, 4*5 영역들과 같은 다중 영역들로 분할된다. 레드(R), 그린(Gr), 그린 블루(Gb) 및 블루(B)의 채널 값들에 따라 각 영역에 대해 4개의 히스토그램들이 도시될 수 있다. 그리고, 상기 영역의 상기 4개의 히스토그램들에 따라, 상기 영역이 광원을 포함하는 타깃 영역인지 여부가 각 영역마다 판단된다. 도 6 및 도 7을 참조하면, 두 이미지 모두 다중 타깃 영역들을 포함한다. 예를 들어, 도 6의 상기 이미지는 3개의 타깃 영역들을 포함하고, 도 7의 상기 이미지는 8개의 타깃 영역들을 포함한다. 상기 이미지 처리 방법에 따르면, 상기 광원을 포함하는 상기 타깃 영역인 하나의 영역이 존재하는 경우, 상기 영역에 인접한 다중 타겟 영역들이 있는지 여부가 판단된다. 즉, 다중 타깃 영역들이 동일 광원에 의해 커버되는지 여부가 판단된다. 상기 다중 타깃 영역들은 부분 커버리지 또는 완전한 커버리지 방식으로 커버될 수 있다. 상기 이미지 처리 방법에 따르면, 다중 인접한 타깃 영역들이 존재하는 경우, 상기 다중 인접한 타깃 영역들은 광원으로 접합되고, 인접한 타깃 영역들이 존재하지 않는 경우, 각 타깃 영역은 광원으로서 판단된다. 도 6을 참조하면, 상기 3개의 비-인접한 타깃 영역들은 광원(R), 광원(G) 및 광원(B)으로 각각 판단된다. 도 7을 참조하면, 6개의 인접한 타깃 영역들이 완전한 광원(R)으로 접합되고, 상기 다른 2개의 비-인접한 타깃 영역들은 각각 광원(G) 및 광원(B)으로 판단된다.
또한, 도 8의 영역의 히스토그램을 도시하는 상기 방법은 단지 예에 불과함을 주목해야 한다. 도 8을 참조하면, 상기 히스토그램의 가로축은 픽셀 값을 나타내고 세로축은 픽셀들의 상기 개수를 나타낸다. 다른 실시 예에서, 상기 히스토그램의 상기 가로축은 픽셀들의 상기 개수를 나타내고 상기 세로축은 픽셀 값을 나타낼 수 있다. 또는, 상기 히스토그램의 상기 가로축은 픽셀들의 상기 개수의 비율을 나타내고 상기 세로축은 픽셀 값을 나타낸다. 또는, 상기 히스토그램의 상기 가로축은 픽셀 값을 나타내고, 상기 히스토그램의 상기 세로축은 픽셀들 상기 개수의 상기 비율을 나타낸다.
일 실시 예에서, 상기 영역의 히스토그램에 따라 특정 영역이 광원을 포함하는 타깃 영역인지에 관한 상기 판단은 미리 결정된 값을 초과하는 픽셀 값들을 가지는 픽셀들의 상기 개수의 비율이 미리 결정된 비율을 초과하는지 여부를 판단함으로써 이루어질 수 있다. 예를 들어, 상기 판단은 239를 초과하는 픽셀 값들을 가지는 픽셀들 개수의 비율이 5%를 초과하는지 여부를 판단함으로써 이루어질 수 있다. 상기 픽셀 값들이 239를 초과하는 상기 픽셀들 상기 개수의 상기 비율이 5%를 초과하면, 상기 영역은 광원을 포함하는 타깃 영역임을 나타낸다. 상기 픽셀 값들이 239를 초과하는 상기 픽셀들 상기 개수의 상기 비율이 5%를 초과하지 않으면, 상기 영역은 광원을 포함하는 타깃 영역이 아님을 나타낸다.
도 9를 참조하면, 일 실시 예에서, 상기 블록(S12)에서의 동작은 상기 블록들(S125 내지 S127)에서의 다음 동작을 추가로 포함한다.
블록(S125)에서, 고-휘도 영역(high-luminance region) 및 중-휘도 영역(medium-luminance region)은 광원의 반경 방향을 따라 상기 광원의 중심에서 외측으로 연장되는 휘도 분포(luminance distribution)에 따라 판단된다.
블록(S127)에서, 상기 광원의 컬러는 상기 광원의 컬러 온도를 얻기 위해 상기 고-휘도 영역의 원색 채널들의 픽셀 평균들에서 상기 중-휘도 영역의 원색 채널들의 픽셀 평균들을 감산함으로써(subtracting) 판단된다.
도 10을 참조하면, 일 실시 예에서, 상기 제1처리 모듈(12)은 제2판단 유닛(125) 및 제3판단 유닛(127)을 추가로 포함한다. 상기 제2판단 유닛(125)은 상기 광원의 반경 방향을 따라 광원의 중심에서 외측으로 연장되는 휘도 분포에 따라 고-휘도 영역 및 중-휘도 영역을 판단하도록 구성될 수 있다. 상기 제3판단 유닛(127)은 상기 광원의 컬러 온도를 얻기 위해 상기 고-휘도 영역의 원색 채널들의 픽셀 평균들에서 상기 중-휘도 영역의 원색 채널들의 픽셀 평균들을 감산하여 상기 광원의 컬러를 판단하도록 구성될 수 있다.
즉, 상기 블록(S125)에서의 동작은 상기 제2판단 유닛(125)에 의해 구현될 수 있고, 상기 블록(S127)에서의 동작은 상기 제3판단 유닛(127)에 의해 구현될 수 있다.
이와 같은 방식으로, 상기 각 이미지 프레임에서 상기 광원의 상기 위치와 상기 개수를 판단한 후, 각 광원의 상기 컬러는 상기 고-휘도 영역 및 상기 중-휘도 영역을 통해 판단될 수 있으며, 따라서 각 광원의 상기 컬러 온도가 획득될 수 있다. 상기 광원들의 상기 개수가 1보다 큰 경우, 즉 상기 이미지에 다중 광원들이 존재하는 경우, 주 광원(primary light source)의 상기 컬러 온도는 상기 광원들의 상기 컬러들에 따라 판단될 수 있어서, 상기 광원들의 상기 컬러 온도들이 보다 정확하게 추정될 수 있다.
도 11을 참조하면, 이미지에서 광원의 위치가 판단된 후, 상기 이미지에서 상기 광원의 중심 영역(O)은 노출과다 영역(overexposed region)이며, 이는 일반적으로 큰 백색 반점(large white spot)이며 상기 광원의 컬러에 대한 정보를 포함하지 않는다는 것을 이해해야 한다. 상기 광원의 상기 컬러는 고-휘도 영역(H) 및 중-휘도 영역(M)의 원색 채널들의 픽셀 평균들에 기초하여 판단될 수 있다. 상기 고-휘도 영역(H)은 상기 광원의 중심에서 방사상으로 연장되는 휘도 값들이 제1휘도 범위(L1) 내에 있는 픽셀들로 형성된 영역을 지칭할 수 있고, 상기 제1휘도 범위(L1)는 예를 들어 [200, 239)이다. 상기 중-휘도 영역(M)은 상기 광원의 상기 중심에서 방사상으로 연장되는 휘도 값들이 상기 제2휘도 범위(L2) 내에 있는 픽셀들로 형성된 영역을 지칭할 수 있고, 상기 제2휘도 범위(L2)는 예를 들어 [150, 200)이다. 상기 제1휘도 범위(L1) 및 상기 제2휘도 범위(L2)의 특정 값들은 상기 광원의 상기 중심(O)으로부터 방사상으로 연장되는 휘도 분포에 따라 판단될 수 있음에 유의해야 한다. 예를 들어, 상기 광원의 휘도가 상대적으로 빠르게(fast) 감쇠되면(attenuated), 상기 제1휘도 범위(L1) 및 상기 제2휘도 범위(L2)가 확대될(enlarged) 수 있다. 예를 들어, 상기 광원의 상기 휘도가 상대적으로 느리게(slowly) 감쇠되면(attenuated), 상기 제1휘도 범위(L1) 및 상기 제2휘도 범위(L2)는 좁아질(narrowed) 수 있다.
상기 고-휘도 영역의 상기 원색 채널의 상기 픽셀 평균은 상기 고-휘도 영역의 모든 픽셀들의 픽셀 값들의 평균이며, 상기 중-휘도 영역의 상기 원색 채널의 상기 픽셀 평균은 상기 중-휘도 영역의 모든 픽셀의 픽셀 값들의 평균이다. 상기 고-휘도 영역의 상기 픽셀들의 상기 개수는 C1이고, 상기 중-휘도 영역의 상기 픽셀들의 상기 개수는 C2라고 가정한다. 그런 다음 상기 고-휘도 영역의 상기 원색 채널의 상기 픽셀 평균은 다음과 같다:
Figure 112020056951136-pct00001
, 그리고 상가 중-휘도 영역의 상기 원색 채널의 상기 픽셀 평균은 다음과 같다:
Figure 112020056951136-pct00002
.
상기 중-휘도 영역의 상기 원색 채널의 상기 픽셀 평균(
Figure 112020056951136-pct00003
)은 상기 고-휘도 영역의 상기 원색 채널의 상기 픽셀 평균(
Figure 112020056951136-pct00004
)에서 감산되어(즉,
Figure 112020056951136-pct00005
) 상기 광원의 컬러를 판단한다. 상기 광원의 컬러 온도는 상기 광원의 상기 컬러에 따라 대응하여 판단될 수 있다. 일 실시 예에서, 상기 광원의 상기 컬러 온도가 상기 광원의 상기 컬러에 따라 판단되는 상기 동작은 구체적으로 다음과 같이 구현될 수 있다: 상기 광원의 상기 컬러 온도는 상기 광원의 상기 컬러 그리고 상기 광원의 컬러 및 상기 광원의 컬러 온도 사이의 관련성(correspondence)에 따라 판단된다. 상기 광원의 상기 컬러 및 상기 광원의 컬러 온도 사이의 상기 관련성은 매핑 테이블(mapping table) 및/또는 (도 12에 도시된 바와 같은) 컬러 온도 곡선(color temperature curve)일 수 있다. 구체적으로, 일 실시 예에서, 컬러 온도들이 각각 3,000K, 4,000K, 5,000K, 6,000K,...인 표준 광 박스들(standard light boxes)에서 이미지를 획득할 수 있으며, 상이한 컬러 온도들에서
Figure 112020056951136-pct00006
의 해당 값들이 계산되고, 이로써, 매핑 테이블 또는
Figure 112020056951136-pct00007
및 광원들의 컬러 온도들 사이의 컬러 온도 곡선이 형성될 수 있다. 상기 컬러 온도 곡선 또는 상기 매핑 테이블은 로컬 데이터베이스에 저장될 수 있다. 본 발명의 실시 예에서,
Figure 112020056951136-pct00008
계산되면, 상기 대응하는 광원들의 상기 컬러 온도들은 상기 컬러 온도 곡선 또는 상기 매핑 테이블로부터 질의될(queried) 수 있다. 그런 다음, 상기 광원들의 상기 컬러 온도들 그리고 광원의 컬러 온도 및 화이트 밸런스 파라미터들 사이의 관련성에 따라 대응하는 화이트 밸런스 파라미터들이 발견될 수 있고, 이로써 상기 화이트 밸런스 처리는 상기 화이트 밸런스 파라미터들에 따라 상기 이미지들에 대해 수행될 수 있다.
일부 실시 예에서, 원색 채널은 컬러 채널을 말하며, 예를 들어 R 채널, Gr 채널, Gb 채널 또는 B 채널 중 적어도 하나를 포함한다. 일 실시 예에서, G 채널의 픽셀 값은 상기 Gr 채널의 픽셀 값 및 상기 Gb 채널의 픽셀 값에 기초하여 획득될 수 있다. 픽셀 평균은 픽셀 값들의 산술 평균을 지칭할 수 있다. 예를 들어, 상기 고-휘도 영역의 각 원색 채널의 픽셀 평균들(Ravg, Gavg, Bavg)은 (200, 210, 220)이고, 상기 중-휘도 영역의 각 원색 채널의 픽셀 평균들(Ravg, Gavg, Bavg)은 (160, 180, 190)이며, 상기 광원의 컬러 채널들(R, G, B)은 (200-160, 210-180, 220-190), 즉 (40, 30, 30)이다. 따라서, 상기 광원의 상기 컬러는 적색으로 판단될 수 있다.
도 13을 참조하면, 일 실시 예에서, 상기 블록(S16)에서의 동작은 블록들(S162 내지 S168)에서의 다음의 동작들을 추가로 포함한다.
블록(S162)에서, 상기 k번째 이미지 프레임의 상기 광원의 상기 개수가 1 이상인지 여부가 판단된다.
블록(S164)에서, 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수가 1보다 작은 경우, 상기 k번째 이미지 프레임 및 상기 (k+1)번째 이미지 프레임에 대해 화이트 밸런스 처리를 수행하기 위해 그레이 월드(gray world) 방법이 채택된다.
블록(S166)에서, 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수가 1인 경우, 상기 (k+1)번째 이미지 프레임의 상기 광원들의 상기 컬러 온도 및 개수는 상기 k번째 이미지 프레임의 상기 광원들의 컬러 온도 및 개수에 따라 판단되며, 화이트 밸런스 처리는 상기 (k+1)번째 이미지 프레임의 상기 컬러 온도에 따라 상기 (k+1)번째 이미지 프레임에 대해 수행된다.
블록(S168)에서, 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수가 1보다 큰 경우, 상기 k번째 이미지 프레임의 상기 광원들의 시나리오 파라미터들(scenario parameters), 영역들(areas) 또는 휘도 파라미터들(luminance parameters) 중 적어도 하나에 따라 주 광원이 판단되고, 상기 (k+1)번째 이미지 프레임의 상기 컬러 온도는 상기 주 광원의 컬러 온도에 따라 판단되며, 화이트 밸런스 처리는 상기 k번째 이미지 프레임의 상기 컬러 온도에 따라 상기 (k+1)번째 이미지 프레임에 대해 수행되며, 상기 (k+1)번째 이미지 프레임의 상기 광원들의 상기 개수는 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수로 판단된다. 상기 예에서, 상기 시나리오 파라미터들은 이미지 촬영 시간(image shooting time) 및 GPS(Global Positioning System)의 신호 강도(signal strength)를 포함하고, 상기 휘도 파라미터들은 다수 광원들의 휘도를 포함한다.
도 14를 참조하면, 일 실시 예에서, 상기 제2처리 모듈(16)은 제3판정 유닛(162), 제1처리 유닛(164), 제2처리 유닛(166) 및 제3처리 유닛(168)을 포함한다. 상기 제3판정 유닛(162)은 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수가 1 이상인지 여부를 판단하도록 구성될 수 있다. 상기 제1처리 유닛(164)은, 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수가 1미만인 경우, 상기 k번째 이미지 프레임 및 상기 (k+1)번째 이미지 프레임에 대해 화이트 밸런스 처리를 수행하기 위해 그레이 월드 방법을 채택하도록 구성될 수 있다. 상기 제2처리 유닛(166)은 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수가 1인 경우, 상기 k번째 이미지 프레임의 상기 광원들의 컬러 온도 및 개수에 따라 상기 (k+1)번째 이미지 프레임의 상기 광원들의 상기 컬러 온도 및 개수를 판단하고, 상기 k번째 이미지 프레임의 상기 컬러 온도에 따라 상기 (k+1)번째 이미지 프레임에 대해 화이트 밸런스 처리를 수행한다. 상기 제3처리 유닛(168)은 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수가 1보다 큰 경우, 상기 k번째 이미지 프레임의 상기 광원의 시나리오 파라미터들, 영역들 또는 휘도 파라미터들 중 적어도 하나에 따라 주 광원을 판단하고, 상기 주 광원의 상기 컬러 온도에 따라 상기 (k+1)번째 이미지 프레임의 상기 컬러 온도를 판단하며, 상기 k번째 이미지 프레임의 상기 컬러 온도에 따라 상기 (k+1)번째 이미지 프레임에 대해 화이트 밸런스 처리를 수행하고, 상기 (k+1)번째 이미지 프레임의 상기 광원들의 상기 개수를 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수로 판단한다. 상기 예에서, 상기 시나리오 파라미터들은 이미지 촬영 시간 및 GPS(Global Positioning System)의 신호 강도를 포함하고, 상기 휘도 파라미터들은 다수 광원들의 휘도를 포함한다.
즉, 상기 블록(S162)에서의 동작은 상기 제3판정 유닛(162)에 의해 구현될 수 있고, 상기 블록(S164)에서의 동작은 상기 제1처리 유닛(164)에 의해 구현될 수 있고, 상기 블록(S166)에서의 동작은 상기 제2처리 유닛(166)에 의해 구현될 수 있으며, 상기 블록(S168)에서의 동작은 상기 제3처리 유닛(168)에 의해 구현될 수 있다.
따라서, 상기 k번째 이미지 프레임이 광원을 포함하지 않는 경우(즉, 상기 광원의 개수가 1미만), 상기 그레이 월드 방법은 화이트 밸런스 처리를 수행하기 위해 채택된다. 상기 k번째 이미지 프레임이 하나의 광원만을 포함하면, 상기 (k+1)번째 이미지 프레임의 컬러 온도는 상기 광원의 상기 컬러 온도에 따라 판단된다. 상기 (k+1)번째 이미지 프레임이 다중 광원들을 포함하는 경우, 상기 주 광원은 시나리오 파라미터들, 각각의 영역들 또는 상기 다중 광원들의 휘도 파라미터들 중 적어도 하나에 따라 판단되고, 상기 (k+1)번째 이미지 프레임의 상기 컬러 온도는 상기 주 광원의 상기 컬러 온도에 따라 판단된다. 이어서, 상기 k번째 이미지 프레임의 상기 컬러 온도에 따라, 상기 (k+1)번째 이미지 프레임에 대해 화이트 밸런스 처리가 수행되고, 상기 (k+1)번째 이미지 프레임의 상기 광원들의 상기 개수는 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수로 판단된다. 즉, 상기 k번째 이미지 프레임의 상기 컬러 온도 및 상기 광원들의 개수는 모두 상기 (k+1)번째 이미지 프레임에 할당된다. 상기 (k+1)번째 이미지 프레임 이후의 다중 이미지 프레임들의 상기 광원들의 상기 개수들과 상기 k번째 프레임의 상기 광원들 상기 개수의 차이들이 0이 아닌 경우, 화이트 밸런스 처리는 상기 k번째 이미지 프레임의 상기 컬러 온도에 따라 수행될 수 있다. 그런 방식으로, 상기 광원들의 상기 개수가 변경되면, 화이트 밸런스 처리를 위한 상기 컬러 온도는 상기 광원들의 상기 개수가 상기 원래, 즉 상기 k번째 프레임의 상기 광원들의 상기 개수로 돌아올 때까지 고정될(locked) 수 있다. 따라서, 상기 광원들 상기 개수의 변화로 인한 미리보기 이미지의 컬러 온도 점프(color temperature jump)가 방지되고, 사용자 경험이 개선된다.
구체적으로, 도 15을 참조하면, 상기 컴퓨터 장치(100)(예를 들어, 모바일 폰)가 이미지를 촬영할 때, 상기 이미지에는 광원(R), 광원(G) 및 광원(B)인 3개의 광원들이 존재한다. 사용자가 흔들리면, 상기 광원(R)이 상기 이미지에서 벗어나고, 이미지(A)가 이미지(B)로 변경된다. 이런 경우, 상기 이미지(B)의 톤이 점프될 수 있다. 상기 광원들의 상기 변화로 인한 이미지 톤 점프를 방지하기 위해, 상기 모바일 폰의 상기 이미지 처리 장치(10)는 2개의 연속 프레임 이미지들의 상기 광원들의 상기 개수들의 차이를 검출하고, 상기 광원들의 상기 개수들의 상기 차이가 0이 아닌 경우, 상기 이후 이미지 프레임의 상기 광원들의 상기 개수가 변경된다는 것을 나타내며, 상기 이전 이미지 프레임의 컬러 온도를 사용하여 상기 이후 이미지 프레임에 대해 화이트 밸런스 조정을 수행한다. 이런 경우, 상기 이미지의 톤은 점프하지 않을 수 있고, 그 대신 상기 이전 이미지 프레임의 톤과 실질적으로 일치하게 유지된다. 또한 화이트 밸런스 동안에, 상기 이후 이미지 프레임의 다음 프레임의 상기 광원들의 상기 개수가 상기 이후 이미지의 프레임의 상기 광원들의 상기 개수와 동일한 경우, 판단 착오로 인해 이미지의 상기 이후 이미지 프레임의 다음 프레임의 톤이 점프하는 상태를 피하기 위해, 상기 이후 이미지 프레임의 상기 광원들의 상기 개수는 상기 이전 이미지 프레임의 상기 광원들의 상기 개수로 설정된다.
일 실시 예에서, 상기 광원들의 상기 개수는 상기 사용자에 의해 수동으로 조정되어 더 높은 품질의 이미지를 얻기 위해 감소되거나 증가되고, 상기 변경 전에 상기 광원들의 상기 개수로 되돌아 가지 않는다. 이러한 조건에서, 상기 (k+h)번째 상기 광원들의 상기 개수와 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수의 차이가 0이 아닌 경우, 상기 (k+1)번째 이미지 프레임의 컬러 온도에 따라 미리 결정된 프레임 개수(h)가 설정되고, 화이트 밸런스 조정이 수행된다. 예를 들어, 상기 k번째 프레임과 상기 (k+h)번째 프레임 사이의 특정(예를 들어, (k+x)번째) 이미지 프레임에 대해, 상기 (k+h)번째 이미지 프레임의 상기 광원들의 상기 개수와 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수의 차이가 0인 경우, 상기 (k+x)번째 프레임이 다시 기준으로 된다. (k+x+h)번째 이미지 프레임의 상기 광원들의 상기 개수와 상기 (k+x)번째 이미지 프레임의 상기 광원들의 상기 개수의 차이가 0이 아닌 경우, 화이트 밸런스 조정은 상기 (k+x+h)번째 이미지 프레임의 상기 컬러 온도에 따라 상기 (k+x+h)번째 프레임의 컬러 온도에 대해 수행된다. 즉, 상기 미리 결정된 프레임 개수 이후의 이미지의 상기 광원들의 상기 개수가 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수와 여전히 다른 경우, 상기 k번째 이미지 프레임의 상기 컬러 온도를 항상 사용하여 화이트 밸런스 조정을 수행하지 않고, 그 대신에 상기 현재 이미지의 컬러 온도에 따라 상기 현재 이미지에 대해 화이트 밸런스 조정이 자동으로 수행된다.
그런 방식으로, 상기 사용자의 적극적인 조절 또는 우발적인 흔들림으로 인해 상기 광원들의 상기 개수가 변경되는지 여부를 지능적으로 판단하여, 상기 광원들의 상기 개수가 변하면 동일한 컬러 온도를 사용하여 모든 이미지들에 대해 화이트 밸런스가 수행되고, 상기 사용자가 사진을 찍을 때의 상기 변경 이전의 상기 광원들의 상기 개수로 되돌아 가지 않는 조건을 피할 수 있다. 즉, 상기 사용자의 능동적인 조정이 상기 광원들의 상기 개수를 변경하지만 정확한 화이트 밸런스를 달성하지 못하는 경우를 피할 수 있다. 상기 광원들이 무작위로 입사되고 긴급하게 해결된다는 사실에 의해 결과되는 빈번한 이미지 톤 변경 문제는 물론 상기 사용자의 일반적인 촬영 경험에 대한 영향도 피할 수 있다.
일 실시 예에서, 상기 그레이 월드 방법이 이미지를 처리하기 위해 채택되는 상기 동작은 다음 동작들을 포함할 수 있다.
상기 이미지의 모든 픽셀들의 원색 채널 값들이 계산된다.
상기 3개의 원색 채널들(R, G, B)의 값들의 평균들이 계산된다.
상기 채널들(R, G, B)의 화이트 밸런스 조정 값들은 상기 평균들에 따라 판단된다.
화이트 밸런스 조정은 상기 화이트 밸런스 조정 값들에 따라 상기 이미지에 대해 수행된다.
구체적으로, 상기 이미지의 상기 원색 채널들의 상기 픽셀 평균들(Ravg, Gavg, Bavg)은 상기 이미지의 상기 원색 채널들의 데이터를 계산함으로써 얻어지고, 각 채널의 화이트 밸런스 조정 값들(K/Pavg, K/Gavg 및 K/Bavg)은 상기 평균들에 따라 계산되며, 여기서 K = (Ravg, Gavg, Bavg)/3이다. 그런 방식으로, 상기 원색 채널들의 상기 값들에 대한 화이트 밸런스 조정 값들에 따라 상기 전체 이미지에 대해 화이트 밸런스 처리가 수행될 수 있다.
따라서, 광원이 없는 상태에서 상기 이미지에 대해 화이트 밸런스 처리가 수행될 수 있다.
일 실시 예에서, 주 광원은 시나리오 파라미터들, 각각의 영역들 또는 다중 광원들의 휘도 파라미터들 중 적어도 하나에 따라 판단된다.
현재 시간이 위치한 특정 기간은 이미지 촬영 시간에 따라 구별될 수 있다. 상기 사용자가 상기 현재 기간에 촬영할 수 있는 특정 위치는 상기 사용자의 상기 로컬 데이터베이스에 저장된 시간표 습관(timetable habit)을 통해 판단될 수 있다. 예를 들어, 상기 사용자는 보통 12시 식당에서 점심을 먹고 오후 8시 이후에는 거실에서 책을 읽는다. 이런 방식으로, 상기 사용자가 상기 이미지 촬영 시간에 따라 실내 환경, 실외 환경 또는 특정 시나리오에 있는지 여부가 실질적으로 판단될 수 있다. 또한, 실외 GPS 신호 강도는 일반적으로 실내 GPS 신호 강도보다 높다. 따라서, 상기 GPS 신호 강도에 따라 상기 사용자가 실내 환경에 있는지 실외 환경에 있는지 여부를 구별할 수 있다. 실내 광원의 컬러 온도는 일반적으로 5,000K보다 낮다는 것을 이해할 수 있다. 예를 들어, 텅스텐 필라멘트 램프의 컬러 온도는 2,760-2,900K이고 손전등의 컬러 온도는 3,800K이다. 실외 광원의 컬러 온도는 일반적으로 5,000K보다 높다. 예를 들어 한낮의 햇빛의 컬러 온도는 5,000K이고, 블루 스카이의 컬러 온도는 10,000K이다. 따라서, 상기 사용자가 위치한 실내 환경 또는 실외 환경에 따라 현재 컬러 온도가 5,000K보다 높거나 5,000K보다 낮아야 하는지 여부가 실질적으로 판단될 수 있다. 도 16에 도시된 바와 같이, 예를 들면, 광원(R)의 컬러 온도는 4,500K이고, 광원(G)의 컬러 온도는 3,500K이며, 광원(B)의 컬러 온도는 7,000K이고, 상기 현재 컬러 온도는 시나리오 파라미터에 따라 5,000K 이 되어야 한다고 판단된다. 상기 광원(R)이 상기 시나리오의 상기 현재 컬러 온도에 가장 근접한 것은 명백하고, 따라서 상기 광원(R)은 주 광원으로 판단된다. 따라서, 상기 주 광원이 판단될 수 있다.
상기 주 광원이 다중 광원들의 상기 각각의 영역들에 따라 판단될 때, 상기 다중 광원들의 상기 면적들이 비교될 수 있고, 가장 큰 면적을 가지는 상기 광원이 주 광원으로서 선택된다. 예를 들어, 도 16에서, 상기 광원(R)의 면적은 상기 광원(G)의 면적보다 크고, 상기 광원(B)의 면적보다 크며, 따라서 광원(R)은 상기 주 광원으로 판단된다.
상기 주 광원이 상기 다중 광원들의 각각의 휘도에 따라 판단될 때, 더 높은 휘도를 가지는 상기 광원은 일반적으로 상기 전체 이미지에 더 큰 영향을 미치는 것으로 이해될 수 있다. 도 17을 참조하면, 광원들의 면적들이 동일한 경우, 상기 광원(R)의 휘도는 150이고, 상기 광원(G)의 휘도는 100이며, 상기 광원(B)의 휘도는 200이며, 따라서 상기 광원(B)이 주 광원으로서 판단된다. 어떤 경우에, 상기 광원들의 상기 면적들이 동일한 경우, 상기 휘도가 가장 높은 광원이 주 광원으로 판단된다.
본 발명의 실시 예의 상기 이미지 처리 방법에 따르면, 상기 주 광원은 상기 다중 광원들의 상기 이미지 촬영 시간과 상기 GPS 신호 강도의 조합에 따라 판단될 수 있고, 또는 상기 주 광원은 상기 다중 광원들의 상기 영역들에 따라 판단될 수 있고, 또는 상기 주 광원은 상기 다중 광원들의 상기 각각의 휘도와 상기 이미지들의 평균 휘도의 조합에 따라 판단될 수 있고, 또는 상기 주 광원은 상기 다중 광원들의 상기 영역들 및 상기 다중 광원들의 상기 이미지 촬영 시간과 상기 GPS 신호 강도의 상기 조합에 따라 판단될 수 있고, 또는 상기 주 광원은 상기 다중 광원들의 상기 이미지 촬영 시간과 상기 GPS 신호 강도의 상기 조합 및 상기 다중 광원들의 상기 각각의 휘도와 상기 이미지들의 상기 평균 휘도의 상기 조합에 따라 판단될 수 있고, 또는 상기 주 광원은 상기 다중 광원들의 상기 영역들 및 상기 다중 광원들의 각각의 휘도와 상기 이미지들의 상기 평균 휘도의 상기 조합에 따라 판단될 수 있고, 또는 상기 주 광원은 상기 다중 광원들의 상기 이미지 촬영 시간과 상기 GPS 신호 강도의 상기 조합, 상기 영역들 및 상기 다중 광원들의 상기 각각의 휘도와 상기 이미지들의 상기 평균 휘도의 상기 조합에 따라 판단될 수 있다.
적어도 일 실시 예에서, 상기 이미지 처리 방법에 따르면, 상기 주 광원은 상기 다중 광원들의 상기 이미지 촬영 시간과 상기 GPS 신호 강도의 상기 조합, 상기 영역들, 및 상기 각각의 휘도와 상기 이미지들의 상기 평균 휘도의 상기 조합에 따라 판단될 수 있다. 상기 다중 광원들의 상기 이미지 촬영 시간과 상기 GPS 신호 강도의 상기 조합, 상기 영역들, 및 상기 각각의 휘도와 상기 이미지들의 상기 평균 휘도의 상기 조합에 대해 상이한 가중치들이 설정될 수 있다. 그런 방식으로, 상기 주 광원은 정확하게 선택될 수 있고, 상기 이미지에 대해 화이트 밸런스 처리가 수행될 때, 상기 사용자에 의해 예상되는 화이트 밸런스 효과가 더 잘 달성될 수 있다.
도 18을 참조하면, 일 실시 예에서, 상기 이미지 처리 방법은 블록(S18)에서의 상기 동작을 추가로 포함한다.
블록(S18)에서, 상기 차이가 0 일 때, 화이트 밸런스 처리는 m번째 이미지 프레임의 컬러 온도에 따라 상기 m번째 이미지 프레임에 대해 수행되며, 상기 m번째 이미지 프레임은 상기 k번째 이미지 프레임과 상기 (k+1)번째 이미지 프레임을 포함한다.
상기 실시 예에서, m은 양의 정수이고 m≥k 일 수 있다.
도 19을 참조하면, 일 실시 예에서, 상기 이미지 처리 장치는 제3처리 모듈(18)을 추가로 포함한다. 상기 제3처리 모듈은, 상기 차이가 0 일 때, 상기 m번째 이미지 프레임의 컬러 온도에 따라 상기 m번째 이미지 프레임에 대해 화이트 밸런스 처리를 수행하고, 상기 m번째 이미지 프레임은 상기 k번째 이미지 프레임과 상기 (k+1)번째 이미지 프레임을 포함한다.
즉, 상기 블록(S18)에서의 동작은 상기 제3처리 모듈(18)에 의해 구현될 수 있다.
이와 같이, 상기 광원들의 상기 개수의 상기 변화를 판단함으로써, 촬영 중에 이미지 톤 점프가 발생하는 동안 상기 광원들의 상기 개수가 정상으로 복귀한 후 상기 이미지의 상기 컬러 온도에 따라 화이트 밸런스 처리가 수행되는 것을 피할 수 있다. 따라서, 이미지 톤 점프를 피하면서 화이트 밸런스 정확도를 향상시킬 수 있다.
구체적으로, 도 15 및 도 20을 참조하면, 상기 이미지 처리 장치(10)에 의해 획득된 상기 이미지는 상기 이미지(A)에서 상기 이미지(B)로 변경되고, 그런 다음 상기 이미지(B)에서 이미지(C)로 변경되며, 상기 광원(R)은 상기 이미지(A)에서 사라지고 상기 이미지(C)에 나타난다. 상기 이미지(B)의 광원들의 상기 개수는 상기 이미지(A)의 광원들의 상기 개수와 할당함으로써 얻어지고, 상기 이미지(A)의 상기 광원들의 상기 개수는 상기 이미지(C)의 상기 광원들의 상기 개수와 동일하기 때문에, 상기 이미지(B)의 상기 광원들의 상기 개수는 상기 이미지(C)의 상기 광원들의 상기 개수와 동일하다. 상기 광원들의 상기 개수가 변경될 때, 상기 이미지(B)의 톤에 대한 상기 이미지(C)의 톤에 대한 톤 점프 문제가 없다는 것을 이해할 수 있다. 몇몇 경우, 상기 현재 이미지 프레임(상기 이미지(C)의 컬러 온도에 따라 상기 현재 이미지 프레임에 대해 화이트 밸런스 처리가 수행될 수 있어서, 상기 사용자 경험을 보장하는 조건 하에서 보다 정확한 화이트 밸런스 이미지가 획득될 수 있다.
도 21을 참조하면, 일 실시 예에서, 상기 블록(S18)에서의 동작은 블록들(S182 내지 S188)에서의 다음 동작들을 포함한다.
블록(S182)에서, 상기 광원들의 상기 개수가 1 이상인지 여부를 판단한다.
블록(S184)에서, 상기 광원들의 상기 개수가 1보다 작은 경우, 상기 그레이 월드 방법은 상기 이미지에 대해 화이트 밸런스 처리를 수행하기 위해 채택된다.
블록(S186)에서, 상기 광원들의 상기 개수가 1인 경우, 상기 광원들의 상기 컬러 온도에 따라 상기 이미지에 대해 화이트 밸런스 처리가 수행된다.
블록(S188)에서, 상기 광원들의 상기 개수가 1보다 큰 경우, 상기 주 광원은 상기 광원들의 상기 시나리오 파라미터들, 영역들 또는 휘도 파라미터들 중 적어도 하나에 따라 판단되며, 상기 주 광원의 상기 컬러 온도에 따라 상기 이미지에 대해 화이트 밸런스 처리가 수행된다. 상기 예에서, 상기 시나리오 파라미터들은 상기 이미지 촬영 시간과 상기 GPS 신호 강도를 포함하고, 상기 휘도 파라미터들은 상기 다중 광원들의 휘도를 포함한다.
도 22를 참조하면, 일 실시 예에서, 상기 제3처리 모듈(18)은 제4판정 유닛(182), 제4처리 유닛(184), 제5처리 유닛(186) 및 제6처리 유닛(188)을 포함한다. 상기 제4판정 유닛(182)은 상기 광원들의 상기 개수가 1 이상인지 여부를 판정할 수 있다. 상기 제4처리 유닛(184)은 상기 광원들의 상기 개수가 1 미만인 경우, 상기 그레이 월드 방법을 채택하여 상기 이미지에 대해 화이트 밸런스 처리를 수행하도록 구성될 수 있다. 상기 제5처리 유닛(186)은 상기 광원들의 상기 개수가 1인 경우, 상기 광원들의 상기 컬러 온도에 따라 상기 이미지에 대해 화이트 밸런스 처리를 수행하도록 구성될 수 있다. 상기 제6처리 유닛(188)은 상기 광원들의 상기 개수가 1보다 큰 경우, 상기 광원들의 상기 시나리오 파라미터들, 영역들 또는 휘도 파라미터들 중 적어도 하나에 따라 상기 주 광원을 판단하고, 상기 주 광원의 상기 컬러 온도에 따라 상기 이미지에 대해 화이트 밸런스 처리를 수행하며, 상기 시나리오 파라미터들은 상기 이미지 촬영 시간 및 상기 GPS 신호 강도를 포함하고, 상기 휘도 파라미터들은 상기 다중 광원들의 상기 휘도를 포함한다.
즉, 상기 블록(S182)에서의 동작은 상기 제4판정 유닛(182)에 의해 구현될 수 있다. 상기 블록(S184)에서의 동작은 상기 제4처리 유닛(184)에 의해 구현될 수 있다. 상기 블록(S186)에서의 동작은 상기 제5처리 유닛(186)에 의해 구현될 수 있고, 상기 블록(S188)에서의 동작은 상기 제6처리 유닛(188)에 의해 구현될 수 있다.
그런 방식으로, 상기 광원들의 상기 개수의 상기 차이가 0인 경우, 상기 광원들의 상기 개수가 1 이상인지 여부를 판단한다. 광원이 존재하지 않은 경우 (즉, 상기 광원들의 상기 개수가 1 미만인 경우), 상기 그레이 월드 방법은 화이트 밸런스 처리를 수행하기 위해 채택된다. 상기 광원들의 상기 수가 1인 경우, 화이트 밸런스 처리는 상기 m번째 이미지 프레임의 상기 광원들의 상기 컬러 온도에 따라 수행된다. 상기 광원들의 상기 수가 1보다 큰 경우, 상기 주 광원은 상기 m번째 프레임 이미지의 상기 광원들의 상기 시나리오 파라미터들, 각각의 영역들, 및 휘도 파라미터들 중 적어도 하나에 따라 우선 판단되고, 그리고 상기 주 광원의 상기 컬러 온도에 따라 화이트 밸런스 처리가 수행된다. 상기 주 광원은 정확하게 선택되어 양호한 화이트 밸런스 처리 효과가 달성될 수 있다.
본 발명의 실시 예는 컴퓨터-판독 가능 저장 매체를 추가로 제공한다. 하나 이상의 비 휘발성 컴퓨터-판독 가능 저장 매체는 컴퓨터 실행 가능 명령어를 포함하고, 상기 컴퓨터 실행 가능 명령어는 상기 프로세서가 블록들(S12 내지 S16)에서 다음 동작들을 실행할 수 있도록 하나 이상의 프로세서들에 의해 실행된다.
블록(S12)에서, 다중 연속 이미지 프레임들 내의 각 이미지 프레임은 각 이미지 프레임의 광원들의 상기 개수를 판단하기 위해 처리된다.
블록(S14)에서, k번째 이미지 프레임의 상기 광원들의 상기 개수와 (k+1)번째 이미지 프레임의 상기 광원들의 상기 개수의 차이가 0과 동일한지 여부가 판단된다.
블록(S16)에서, 상기 차이가 0과 다르다는 판단에 응답하여, 상기 (k+1)번째 이미지 프레임의 컬러 온도는 상기 k번째 이미지 프레임의 컬러 온도로 판단되고, 상기 (k+1)번째 이미지 프레임은 상기 k번째 이미지 프레임의 상기 컬러 온도에 따라 처리된다.
도 23은 본 발명의 일 실시 예에 따른 컴퓨터 장치의 내부 구조도이다. 도 23을 참조하면, 상기 컴퓨터 장치(100)는 프로세서(52), 메모리(53)(예를 들어, 비 휘발성 저장 매체), 내부 메모리(54), 디스플레이 스크린(55) 및 입력 장치(56)를 포함하고, 이들 모두는 시스템 버스(51)를 통해 연결된다. 상기 컴퓨터 장치(100)의 상기 메모리(53)는 운영 체제 및 컴퓨터-판독 가능 명령을 저장할 수 있다. 상기 컴퓨터-판독 가능 명령어는 본 발명의 실시 예의 이미지 처리 방법을 구현하기 위해 상기 프로세서(52)에 의해 실행될 수 있다. 상기 프로세서(52)는 상기 전체 컴퓨터 장치(100)의 실행을 지원하기 위한 계산 및 제어 능력을 제공하도록 구성될 수 있다. 상기 컴퓨터 장치(100)의 상기 내부 메모리(53)는 상기 메모리(52)에서 상기 컴퓨터-판독 가능 명령을 실행하기 위한 환경을 제공할 수 있다. 상기 컴퓨터 장치(100)의 상기 디스플레이 스크린(55)은 액정 디스플레이 스크린, 전자 잉크 디스플레이 스크린 등일 수 있다. 상기 입력 장치(56)는 상기 디스플레이 스크린(55)을 커버하는 터치 층일 수 있고, 상기 컴퓨터 장치(100)의 하우징 상에 배열된 키, 트랙볼 또는 터치 패드일 수도 있으며, 또한 외부 키보드, 터치 패드, 마우스 등일 수 있다. 상기 컴퓨터 장치(100)는 모바일 폰, 태블릿 컴퓨터, 노트북 컴퓨터, 개인 휴대 정보 단말기, 웨어러블 장치(예를 들어, 스마트 밴드, 스마트 워치, 스마트 헬멧 및 스마트 안경) 등일 수 있다. 본 기술 분야의 당업자는, 도 23에 도시된 구조가 본 발명의 해결 수단과 관련된 구조의 일부의 개략도일뿐, 본 발명의 해결 수단이 적용되는 컴퓨터 장치(100)를 제한하려는 의도가 아니라는 것을 알 수 있다. 상기 컴퓨터 장치(100)는 구체적으로 도면에 도시된 것보다 많거나 적은 구성 요소를 포함할 수 있거나, 일부 구성 요소가 결합되거나 상이한 구성 요소 배열이 채택된다.
도 23을 참조하면, 본 발명의 실시 예의 상기 컴퓨터 장치(100)는 이미지 처리 회로(80)를 포함한다. 상기 이미지 처리 회로(80)는 하드웨어 및/또는 소프트웨어 컴포넌트를 사용하여 구현될 수 있고, 이미지 신호 처리(ISP) 파이프라인을 정의하는 다양한 처리 유닛을 포함할 수 있다. 도 24는 본 발명의 일 실시 예에 따른 이미지 처리 회로(800)의 개략도이다. 도 24를 참조하면, 본 발명의 실시 예와 관련된 이미지 처리 기술의 측면은 단지 설명을 위해 단지 예시되어 있다.
도 24를 참조하면, 상기 이미지 처리 회로(80)는 ISP 유닛(81)(상기 ISP 유닛(81)은 상기 프로세서(52) 또는 상기 프로세서(52)의 일부일 수 있음) 및 제어 로직 유닛(82)을 포함할 수 있다. 카메라(83)에 의해 캡처된 이미지 데이터는 먼저 상기 ISP 유닛(81)에 의해 처리될 수 있고, 상기 ISP 유닛(81)은 상기 이미지 데이터를 분석하여 상기 카메라(83)의 하나 이상의 제어 파라미터들을 판단하는데 이용 가능한 이미지 통계 정보를 캡처할 수 있다. 상기 카메라(83)는 하나 이상의 렌즈들(832) 및 이미지 센서(834)를 포함할 수 있다. 상기 이미지 센서(834)는 컬러 필터 어레이(예를 들어, 베이어 필터)를 포함할 수 있고, 상기 이미지 센서(834)는 각 이미징 픽셀에 의해 캡처된 광 강도 및 파장 정보를 획득하며, 상기 ISP 유닛(81)에 의해 처리된 일련의 원본 이미지 데이터를 제공할 수 있다. 상기 센서(84)(예를 들어, 자이로스코프)는 상기 센서(84)의 인터페이스 유형에 기초하여 획득된 이미지 처리 파라미터들(예를 들어, 떨림 방지 파라미터)을 상기 ISP 유닛(81)에 제공할 수 있다. 상기 센서(84)의 인터페이스는 표준 모바일 이미징 아키텍처(SMIA) 인터페이스, 다른 직렬 또는 병렬 카메라 인터페이스 또는 상기 인터페이스들의 조합일 수 있다.
또한, 상기 이미지 센서(834)는 원본 이미지 데이터를 상기 센서(84)로 전송할 수도 있다. 상기 센서(84)는 상기 센서(84)의 인터페이스 유형에 기초하여 상기 원본 이미지 데이터를 상기 ISP 유닛(81)에 제공하거나, 상기 센서(84)는 상기 원본 이미지 데이터를 이미지 메모리(85)에 저장할 수 있다.
상기 ISP 유닛(81)은 상기 원본 이미지 데이터를 다중 포맷들에 따라 픽셀 단위로 처리할 수 있다. 예를 들어, 각 이미지 픽셀은 8, 10, 12 또는 14 비트들의 비트 깊이를 가질 수 있다. 상기 ISP 유닛(81)은 상기 원본 이미지 데이터에 대해 하나 이상의 이미지 처리 동작을 수행하고, 상기 이미지 데이터에 대한 상기 이미지 통계 정보를 수집할 수 있다. 상기 이미지 처리 동작은 동일하거나 상이한 비트 깊이 정확도에 따라 실행될 수 있다.
상기 ISP 유닛(81)은 상기 이미지 메모리(85)로부터 상기 이미지 데이터를 추가로 수신할 수 있다. 예를 들어, 상기 센서(84)의 상기 인터페이스는 상기 원본 이미지 데이터를 상기 이미지 메모리(85)로 전송할 수 있고, 상기 이미지 메모리(85) 내의 상기 원본 이미지 데이터는 처리를 위해 상기 ISP 유닛(81)에 제공될 수 있다. 상기 이미지 메모리(85)는 상기 메모리(53), 상기 메모리(53)의 일부, 저장 장치 또는 전자 장비 내의 독립적인 전용 메모리일 수 있으며, DMA(Direct Memory Access) 특징을 포함할 수 있다.
상기 이미지 센서(834)의 상기 인터페이스로부터 또는 상기 이미지 센서(84)의 상기 인터페이스로부터 또는 상기 이미지 메모리(85)로부터 상기 원본 이미지 데이터를 수신할 때, 상기 ISP 유닛(81)은 하나 이상의 이미지 처리 동작들, 예를 들어 시간-도메인 필터링을 실행할 수 있다. 상기 처리된 이미지 데이터는 디스플레이 전에 다른 처리를 위해 상기 이미지 메모리(85)로 전송될 수 있다. 상기 ISP 유닛(81)은 상기 이미지 메모리(85)로부터 상기 처리된 데이터를 수신하고, 상기 처리된 데이터에 대해 원본 도메인 및 컬러 공간들(RGB, YCbCr)에서 이미지 데이터 처리를 수행할 수 있다. 상기 ISP 유닛(81)에 의해 처리된 상기 이미지 데이터는 사용자가 GPU(Graphics Processing Unit)에 의해 보고 및/또는 추가 처리하기 위해 디스플레이(87)(상기 디스플레이(87)는 상기 디스플레이 스크린(55)을 포함할 수 있음)로 출력될 수 있다. 또한, 상기 ISP 유닛(81)의 출력은 상기 이미지 메모리(85)로 추가로 전송될 수 있고, 상기 디스플레이(87)는 상기 이미지 메모리(85)로부터 상기 이미지 데이터를 판독할 수 있다. 본 발명의 실시 예에서, 상기 이미지 메모리(85)는 하나 이상의 프레임 버퍼들을 구현하도록 구성될 수 있다. 또한, 상기 ISP 유닛(81)의 상기 출력은 상기 이미지 데이터를 코딩/디코딩하기 위해 코더/디코더(86)로 전송될 수 있다. 상기 코딩된 이미지 데이터는 저장될 수 있고, 상기 디스플레이(87) 상에 디스플레이되기 전에 압축 해제될 수 있다. 상기 코더/디코더(86)는 중앙 처리 장치(CPU) 또는 GPU 또는 코프로세서에 의해 구현될 수 있다.
상기 ISP 유닛(81)에 의해 판단된 상기 통계 정보는 상기 제어 로직 유닛(82)으로 전송될 수 있다. 예를 들어, 상기 통계 정보는 상기 이미지 센서(834)의 자동 노출, 자동 화이트 밸런스, 자동 포커싱, 플래싱 검출, 블랙 레벨 보상, 상기 렌즈(832)의 그림자 보정 등의 통계 정보를 포함할 수 있다. 상기 제어 로직 유닛(82)은 하나 이상의 루틴들(예를 들어, 펌웨어)을 실행하는 처리 컴포넌트 및/또는 마이크로 컨트롤러를 포함할 수 있고, 상기 하나 이상의 루틴들은 상기 수신된 통계 데이터에 따라 상기 카메라(83)의 상기 제어 파라미터 및 상기 ISP 유닛(81)의 제어 파라미터를 판단할 수 있다. 예를 들어, 상기 카메라(83)의 상기 제어 파라미터들(가령, 노출 제어를 위한 게인, 적분 시간 및 떨림 방지 파라미터)은 상기 센서(84)에 대한 제어 파라미터, 카메라 플래싱 제어 파라미터, 상기 렌즈(832)에 대한 제어 파라미터(가령, 포커싱 또는 줌을 위한 초점 길이) 또는 이들 파라미터들의 조합을 포함할 수 있다. 상기 ISP 유닛에 대한 상기 제어 파라미터들은 (예를 들어, RGB 처리 동안) 자동 화이트 밸런스 및 컬러 조절을 위한 이득 레벨 및 컬러 보정 매트릭스 및 상기 렌즈들(842)에 대한 그림자 보정 파라미터를 포함할 수 있다.
이미지 처리 방법은 블록들(S12 내지 S16)에서 다음의 동작들을 통해 도 24에 도시된 이미지 처리 기술을 사용하여 구현된다.
블록(S12)에서, 다중 연속 이미지 프레임들 내의 각 이미지 프레임은 각 이미지 프레임의 광원들의 상기 개수를 판단하기 위해 처리된다.
블록(S14)에서, k번째 이미지 프레임의 상기 광원들의 상기 개수와 (k+1)번째 이미지 프레임의 상기 광원들의 상기 개수의 차이가 0과 동일한지 여부가 판단된다.
블록(S16)에서, 상기 차이가 0과 동일하지 않다는 판단에 응답하여, 상기 (k+1)번째 이미지 프레임의 컬러 온도는 상기 k번째 이미지 프레임의 컬러 온도로 판단되고, 상기 (k+1)번째 이미지 프레임은 상기 k번째 이미지 프레임의 컬러 온도에 따라 처리된다.
당업자는 전술한 실시 예의 방법에서 상기 순서들의 전부 또는 일부가 컴퓨터 프로그램에 의해 지시된 관련 하드웨어를 통해 완료될 수 있고, 상기 프로그램은 비 휘발성 컴퓨터 판독 가능 저장 매체에 저장될 수 있다는 것을 이해해야 한다. 상기 프로그램이 실행될 때, 각각의 방법 실시 예의 상기 순서들이 포함될 수 있다. 상기 저장 매체는 자기 디스크, 광 디스크, ROM(Read-Only Memory) 등일 수 있다.
전술한 실시 예들은 본 발명의 일부 구현 모드만을 설명하고 구체적으로 설명되지만, 본 발명의 범위를 제한하는 것으로 이해되어서는 안된다. 당업자는 본 발명의 개념으로부터 벗어나지 않고 다수의 변환 및 개선을 추가로 수행할 수 있으며, 이들 모두는 본 발명의 보호 범위 내에 속한다는 것이 지적되어야 한다. 그러므로, 본 발명의 특허 보호 범위는 첨부된 청구 범위에 종속되어야 한다.

Claims (13)

  1. 다중 연속 이미지 프레임들에서 각 이미지 프레임을 처리하여, 각 이미지 프레임의 광원들의 개수를 판단하는 단계(S12);
    k번째 이미지 프레임의 광원들의 개수와 (k+1)번째 이미지 프레임의 광원들의 개수의 차이가 0과 동일한지 여부를 판단하는 단계(S14)(여기서, k는 양의 정수임); 및
    상기 차이가 0과 동일하지 않다는 판단에 응답하여, 상기 (k+1)번째 이미지 프레임의 컬러 온도를 상기 k번째 이미지 프레임의 컬러 온도로 판단하고, 상기 k번째 이미지 프레임의 상기 컬러 온도에 따라 상기 (k+1)번째 이미지 프레임을 처리하는 단계(S16);
    를 포함하는, 이미지 처리 방법.
  2. 제 1 항에 있어서,
    상기 다중 연속 이미지 프레임들에서 각 이미지 프레임을 처리하여, 각 이미지 프레임의 상기 광원들의 상기 개수를 판단하는 단계(S12)는:
    각 이미지 프레임을 다중 영역들로 분할하는(dividing) 단계(S122);
    상기 다중 영역들 각각에 대해, 상기 영역의 히스토그램에 따라 상기 영역이 광원을 포함하는 타깃 영역인지 여부를 판단하는(determining) 단계(S124);
    상기 영역이 광원들을 포함하는 상기 타깃 영역이라는 판단에 응답하여, 상기 영역에 인접한 다중 타깃 영역들이 존재하는지 여부를 판단하는(determining) 단계(S126);
    상기 영역에 인접한 다중 타깃 영역들이 존재한다는 판단에 응답하여, 상기 다중 타깃 영역들을 광원으로 접합하는(splicing) 단계(S128);
    상기 영역에 인접한 타깃 영역들이 존재하지 않는다는 판단에 응답하여, 상기 타깃 영역을 광원으로서 판단하는(determining) 단계(S121); 및
    상기 광원들을 계수하는(counting) 단계(S123);
    를 포함하는, 이미지 처리 방법.
  3. 제 2 항에 있어서,
    상기 영역의 히스토그램에 따라 상기 영역이 광원을 포함하는 타깃 영역인지 여부를 판단하는 단계(S124)는:
    상기 영역의 상기 히스토그램에 따라 상기 영역에서 미리 결정된 값을 초과하는 픽셀 값들을 가지는 픽셀들의 개수의 비율이 미리 결정된 값을 초과하는지 여부를 판단하는 단계; 및
    상기 픽셀들의 상기 개수의 상기 비율이 상기 미리 결정된 값을 초과한다는 판단에 응답하여, 상기 영역을 상기 광원을 포함하는 상기 타깃 영역으로 판단하는 단계;
    를 포함하는, 이미지 처리 방법.
  4. 제 1 항에 있어서,
    상기 다중 연속 이미지 프레임들에서 각 이미지 프레임을 처리하여, 각 이미지 프레임의 상기 광원들의 상기 개수를 판단하는 단계(S12)는:
    상기 광원의 반경 방향을 따라 광원의 중심에서 외측으로 연장되는 휘도 분포에 따라 고-휘도 영역 및 중-휘도 영역을 판단하는 단계(S125); 및
    상기 고-휘도 영역의 원색 채널의 픽셀 평균들에서 상기 중-휘도 영역의 원색 채널의 픽셀 평균들을 감산하여 상기 광원의 컬러를 판단하는 단계(S127);
    를 포함하는, 이미지 처리 방법.
  5. 제 4 항에 있어서,
    상기 고-휘도 영역은 상기 광원의 중심에서 방사상 외측으로 연장되는 휘도 값들이 제1휘도 범위 내에 있는 픽셀들에 의해 형성되고,
    상기 중-휘도 영역은 상기 광원의 중심에서 방사상 외측으로 연장되는 휘도 값들이 제2휘도 범위 내에 있는 픽셀들에 의해 형성되는, 이미지 처리 방법.
  6. 제 4 항에 있어서,
    상기 광원의 상기 컬러를 판단하는 단계 후에,
    상기 광원의 컬러들 온도와 상기 광원의 컬러 온도들 사이의 미리 설정된 관련성에 기초하여 상기 판단된 상기 광원의 컬러에 대응하는 상기 광원의 컬러 온도를 획득하는 단계를 추가로 포함하는, 이미지 처리 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 차이 값이 0과 동일하지 않다는 판단에 응답하여, 상기 (k+1)번째 이미지 프레임의 상기 컬러 온도를 상기 k번째 이미지 프레임의 상기 컬러 온도로 판단하고, 상기 k번째 이미지 프레임의 상기 컬러 온도에 따라 상기 (k+1)번째 이미지 프레임을 처리하는 단계(S16)는:
    상기 k번째 이미지 프레임의 상기 광원들의 상기 개수가 1 이상인지 여부를 판단하는 단계(S162);
    상기 k번째 이미지 프레임의 상기 광원들의 상기 개수가 1보다 작다는 판단에 응답하여, 그레이 월드(gray world) 방법을 채택하여 상기 k번째 이미지 프레임 및 상기 (k+1)번째 이미지 프레임에 대해 화이트 밸런스 처리를 수행하는 단계(S164);
    상기 k번째 이미지 프레임의 상기 광원들의 상기 개수가 1과 동일하다는 판단에 응답하여, 상기 k번째 이미지 프레임의 상기 광원들의 상기 컬러 온도 및 개수에 따라 상기 (k+1)번째 이미지 프레임의 상기 광원들의 상기 컬러 온도 및 개수를 판단하고, 상기 k번째 이미지 프레임의 상기 컬러 온도에 따라 상기 (k+1)번째 이미지 프레임에 대해 화이트 밸런스 처리를 수행하는 단계(S166); 및
    상기 k번째 이미지 프레임의 상기 광원들의 상기 개수가 1보다 크다는 판단에 응답하여, 상기 k번째 이미지 프레임의 상기 광원들의 시나리오 파라미터들, 영역들 또는 휘도 파라미터들 중 적어도 하나에 따라 주 광원을 판단하고, 상기 주 광원의 컬러 온도에 따라 상기 (k+1)번째 이미지 프레임의 상기 컬러 온도를 판단하고, 상기 k번째 이미지 프레임의 상기 컬러 온도에 따라 상기 (k+1)번째 이미지 프레임에 대해 화이트 밸런스 처리를 수행하며, 상기 (k+1)번째 이미지 프레임의 상기 광원들의 상기 개수를 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수로 판단하는 단계(S168);
    를 포함하는, 이미지 처리 방법.
  8. 제 7 항에 있어서,
    상기 시나리오 파라미터들은 이미지 촬영 시간 및 GPS(Global Positioning System)의 신호 강도를 포함하고,
    상기 휘도 파라미터들은 다중 광원들의 휘도를 포함하는, 이미지 처리 방법.
  9. 제 1 항에 있어서,
    상기 차이가 0과 동일하다는 판단에 응답하여, m번째 이미지 프레임의 컬러 온도에 따라 상기 m번째 이미지 프레임에 대해 화이트 밸런스 처리를 수행하는 단계(S18) - 상기 m번째 이미지 프레임은 상기 k번째 이미지 프레임과 상기 (k+1)번째 이미지 프레임을 포함하며, m은 양의 정수이고 m≥k임 -;
    을 추가로 포함하는, 이미지 처리 방법.
  10. 제 9 항에 있어서,
    상기 차이 값이 0과 동일하다는 판단에 응답하여, 상기 m번째 이미지 프레임의 상기 컬러 온도에 따라 상기 m번째 이미지 프레임에 대해 화이트 밸런스 처리를 수행하는 단계(S18)는:
    상기 광원들의 상기 개수가 1 이상인지 여부를 판단하는 단계(S182);
    상기 광원들의 상기 개수가 1보다 작다는 판단에 응답하여, 그레이 월드 방법을 채택하여 상기 m번째 이미지 프레임에 대해 화이트 밸런스 처리를 수행하는 단계(S184);
    상기 광원들의 상기 개수가 1과 동일하는 판단에 응답하여, 상기 광원의 컬러 온도에 따라 상기 m번째 이미지 프레임에 대해 화이트 밸런스 처리를 수행하는 단계(S186); 및
    상기 광원들의 상기 개수가 1보다 크다는 판단에 응답하여, 상기 광원들의 시나리오 파라미터들, 영역들 또는 휘도 파라미터들 중 적어도 하나에 따라 주 광원을 판단하고, 상기 주 광원의 컬러 온도에 따라 상기 m번째 이미지 프레임에 대해 화이트 밸런스 처리를 수행하는 단계(S188) - 상기 시나리오 파라미터들은 이미지 촬영 시간 및 GPS의 신호 강도를 포함하고, 상기 휘도 파라미터들은 다중 광원들의 휘도를 포함함 -;
    을 포함하는, 이미지 처리 방법.
  11. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    (k+h)번째 이미지 프레임의 광원들의 개수와 상기 k번째 이미지 프레임의 상기 광원들의 상기 개수의 차이가 0이 아닌 경우, 상기 k번째 이미지 프레임의 컬러 온도에 따라 상기 (k+1)번째 이미지 프레임에 대해 화이트 밸런스 처리를 수행하는 단계 - h는 미리 설정된 값임 -;
    를 추가로 포함하는, 이미지 처리 방법.
  12. 하나 이상의 컴퓨터 프로그램들을 저장하는 메모리; 및
    제 1 항 내지 제 6 항 중 어느 한 항에 따른 상기 방법을 실행할 수 있도록 상기 메모리에 저장된 상기 하나 이상의 컴퓨터 프로그램들을 실행하도록 구성되는 프로세서;
    를 포함하는, 이미지 처리 장치.
  13. 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들이 제 1 항 내지 제 6 항 중 어느 한 항에 따른 상기 방법을 실행하게 하는 컴퓨터 실행 가능 명령어를 포함하는 컴퓨터-판독 가능 저장 매체.
KR1020207015878A 2017-12-25 2018-09-17 이미지 처리 방법 및 장치, 컴퓨터-판독 가능 저장 매체 및 컴퓨터 장치 KR102350515B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711420294.3A CN107872663B (zh) 2017-12-25 2017-12-25 图像处理方法及装置、计算机可读存储介质和计算机设备
CN201711420294.3 2017-12-25
PCT/CN2018/106057 WO2019128322A1 (en) 2017-12-25 2018-09-17 Image processing method and device, computer-readable storage medium and computer device

Publications (2)

Publication Number Publication Date
KR20200078619A KR20200078619A (ko) 2020-07-01
KR102350515B1 true KR102350515B1 (ko) 2022-01-11

Family

ID=61756077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207015878A KR102350515B1 (ko) 2017-12-25 2018-09-17 이미지 처리 방법 및 장치, 컴퓨터-판독 가능 저장 매체 및 컴퓨터 장치

Country Status (7)

Country Link
US (2) US10491874B2 (ko)
EP (1) EP3503545B1 (ko)
JP (1) JP6946564B2 (ko)
KR (1) KR102350515B1 (ko)
CN (1) CN107872663B (ko)
ES (1) ES2790852T3 (ko)
WO (1) WO2019128322A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277480B (zh) * 2017-07-10 2019-03-29 Oppo广东移动通信有限公司 白平衡同步方法、装置和终端设备
CN107872663B (zh) 2017-12-25 2019-05-24 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
TWI660633B (zh) * 2018-04-13 2019-05-21 瑞昱半導體股份有限公司 基於膚色資訊的白平衡校正方法及其影像處理裝置
CN109327691B (zh) * 2018-10-23 2021-05-04 Oppo广东移动通信有限公司 图像拍摄方法、装置、存储介质及移动终端
CN115529448B (zh) * 2022-03-10 2023-07-11 荣耀终端有限公司 图像处理方法及相关装置
TWI812516B (zh) * 2022-10-20 2023-08-11 緯創資通股份有限公司 影像處理裝置及影像處理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080278601A1 (en) 2007-05-07 2008-11-13 Nvidia Corporation Efficient Determination of an Illuminant of a Scene
JP2015204532A (ja) 2014-04-14 2015-11-16 キヤノン株式会社 画像処理装置および撮像装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283635A (en) * 1988-06-03 1994-02-01 Canon Kabushiki Kaisha White balance adjusting device with plural thresholds for range control
US5442408A (en) * 1989-11-17 1995-08-15 Sanyo Electric Co., Ltd. White balance adjusting apparatus for automatically adjusting white balance in response to luminance information signal and color information signal obtained from image sensing device
GB2372391A (en) * 2001-02-16 2002-08-21 Hewlett Packard Co Removal of specular reflection
US7265781B2 (en) * 2001-08-22 2007-09-04 Fujifilm Corporation Method and apparatus for determining a color correction matrix by minimizing a color difference maximum or average value
JP3950715B2 (ja) * 2002-03-05 2007-08-01 富士フイルム株式会社 固体撮像素子およびこれを用いた撮像装置
KR100459902B1 (ko) * 2002-07-04 2004-12-03 삼성전자주식회사 압축 영상의 색온도 변환 방법 및 그 시스템
US7423674B2 (en) * 2003-12-08 2008-09-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
US20050122409A1 (en) * 2003-12-08 2005-06-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
EP1694053A4 (en) * 2003-12-12 2007-08-22 Fujitsu Ltd PROGRAM, DEVICE AND METHOD FOR CORRECTION OF COLOR BALANCE
US7423779B2 (en) * 2004-03-30 2008-09-09 Omnivision Technologies, Inc. Method and apparatus for automatic white balance
JP4677226B2 (ja) * 2004-12-17 2011-04-27 キヤノン株式会社 画像処理装置及び方法
US7505069B2 (en) * 2005-10-26 2009-03-17 Hewlett-Packard Development Company, L.P. Method and apparatus for maintaining consistent white balance in successive digital images
US9330630B2 (en) * 2008-08-30 2016-05-03 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with rate change control
JP2010191402A (ja) * 2009-01-26 2010-09-02 Toshiba Corp プロジェクタ装置及び映像表示方法ならびに携帯電話装置
JP5610762B2 (ja) * 2009-12-21 2014-10-22 キヤノン株式会社 撮像装置及び制御方法
CN102918845B (zh) * 2010-05-28 2015-09-02 富士胶片株式会社 成像设备和计算白平衡增益的方法
JP2012109900A (ja) * 2010-11-19 2012-06-07 Aof Imaging Technology Ltd 撮影装置、撮影方法、およびプログラム
CN102209246B (zh) * 2011-05-23 2013-01-09 北京工业大学 一种实时视频白平衡处理系统
KR101896386B1 (ko) * 2011-11-22 2018-09-11 삼성전자주식회사 화이트 밸런스 조절장치 및 방법
JP5814799B2 (ja) * 2012-01-06 2015-11-17 キヤノン株式会社 画像処理装置及び画像処理方法
TWI532385B (zh) * 2012-03-19 2016-05-01 華晶科技股份有限公司 白平衡處理方法及其處理裝置
TWI538555B (zh) * 2012-12-24 2016-06-11 鴻海精密工業股份有限公司 色溫調節方法及使用該方法的照明裝置
KR102126487B1 (ko) * 2013-10-24 2020-06-24 삼성전자주식회사 이미지 촬영 장치의 자동 화이트 밸런스 조절 방법 및 이를 이용하는 이미지 촬영 장치
KR102170686B1 (ko) * 2014-03-18 2020-10-27 한화테크윈 주식회사 화이트 밸런스 보정 장치 및 방법
KR102211862B1 (ko) * 2014-04-09 2021-02-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 센서 시스템
JP6494181B2 (ja) * 2014-05-30 2019-04-03 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6508890B2 (ja) * 2014-07-07 2019-05-08 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
US9386230B1 (en) * 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
CN105578166B (zh) * 2016-01-08 2018-06-05 浙江宇视科技有限公司 一种色温确定方法及装置
CN105959661B (zh) * 2016-05-06 2019-07-26 联想(北京)有限公司 一种色温估计方法及电子设备
CN106162135B (zh) * 2016-07-29 2017-08-01 广东欧珀移动通信有限公司 白平衡调整方法以及装置
CN106973242A (zh) 2017-05-16 2017-07-21 信利光电股份有限公司 一种摄像头模组的光源补偿方法
US10154256B1 (en) * 2017-06-13 2018-12-11 Qualcomm Incorporated Flash color calibration
CN107798664B (zh) * 2017-10-27 2021-08-06 北京小米移动软件有限公司 闪光灯的色温校准方法及装置
CN107635123B (zh) * 2017-10-30 2019-07-19 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
CN107801012B (zh) * 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
CN107801013B (zh) * 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
CN107872663B (zh) * 2017-12-25 2019-05-24 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108234971B (zh) * 2018-02-09 2019-11-05 上海小蚁科技有限公司 白平衡参数确定方法、白平衡调整方法及装置、存储介质、终端
US20190335150A1 (en) * 2018-04-26 2019-10-31 Qualcomm Incorporated Systems and methods for color balancing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080278601A1 (en) 2007-05-07 2008-11-13 Nvidia Corporation Efficient Determination of an Illuminant of a Scene
JP2015204532A (ja) 2014-04-14 2015-11-16 キヤノン株式会社 画像処理装置および撮像装置

Also Published As

Publication number Publication date
KR20200078619A (ko) 2020-07-01
US20190199990A1 (en) 2019-06-27
JP6946564B2 (ja) 2021-10-06
EP3503545B1 (en) 2020-03-11
JP2021505086A (ja) 2021-02-15
WO2019128322A1 (en) 2019-07-04
ES2790852T3 (es) 2020-10-29
US10798358B2 (en) 2020-10-06
CN107872663A (zh) 2018-04-03
CN107872663B (zh) 2019-05-24
EP3503545A1 (en) 2019-06-26
US20190289270A1 (en) 2019-09-19
US10491874B2 (en) 2019-11-26

Similar Documents

Publication Publication Date Title
KR102350515B1 (ko) 이미지 처리 방법 및 장치, 컴퓨터-판독 가능 저장 매체 및 컴퓨터 장치
KR102279436B1 (ko) 이미지 처리 방법, 장치 및 기기
CN107959851B (zh) 色温检测方法及装置、计算机可读存储介质和计算机设备
WO2021047345A1 (zh) 图像降噪方法、装置、存储介质及电子设备
JP6903816B2 (ja) 画像処理方法および装置
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN108063934B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108053438B (zh) 景深获取方法、装置及设备
CN108174173B (zh) 拍摄方法及装置、计算机可读存储介质和计算机设备
US8427549B2 (en) Apparatus, method, and recording medium for displaying a pixel having a predetermined luminance in an output image to be identifiable from a position
CN108012135B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108063933B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
US9762805B2 (en) Image processing apparatus performing tone correction process and method, and image capturing apparatus performing tone correction process
JP2013168723A (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
CN110276730B (zh) 图像处理方法、装置、电子设备
CN108111831B (zh) 拍摄方法、成像装置、计算机可读存储介质和计算机设备
JP6606981B2 (ja) 出力制御装置、出力制御方法及びプログラム
JP5900278B2 (ja) 画像処理装置及び方法
JP5528138B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5794413B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP3907654B2 (ja) 撮像装置および信号処理装置
JP6616674B2 (ja) 画像処理装置および方法、および撮像装置
JP2006180271A (ja) 撮像装置、プログラム、及び記録媒体
JP5602825B2 (ja) 画像処理装置及び画像処理方法
JP2017084093A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant