KR102459527B1

KR102459527B1 - 이미지 처리 방법 및 장치, 단말 및 저장 매체

Info

Publication number: KR102459527B1
Application number: KR1020210035024A
Authority: KR
Inventors: 치아호 판; 린 리우
Original assignee: 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드
Priority date: 2020-07-31
Filing date: 2021-03-18
Publication date: 2022-10-27
Also published as: US20220036511A1; JP7136956B2; JP2022027436A; KR20220015915A; EP3945491A1; US11783450B2; CN114066785A

Abstract

본 발명은 이미지 처리 방법 및 장치, 단말 및 저장 매체에 관한 것이다. 상기 이미지 처리 방법은, 제1 이미지 중 픽셀의 밝기에 따라, 하이라이트 영역을 결정하는 단계 - 상기 하이라이트 영역에 포함된 픽셀의 밝기는 상기 하이라이트 영역의 주변 픽셀의 밝기 보다 높음 - ; 상기 하이라이트 영역에 따라, 상기 제1 이미지에서의 회절 영역을 결정하는 단계 - 상기 회절 영역은 상기 하이라이트 영역 주위에 분포된 이미지 영역임 - ; 및 상기 회절 영역의 밝기를 낮추어, 제2 이미지를 획득하는 단계를 포함한다. 상기 이미지 처리 방법을 통해, 회절 영역의 밝기를 낮춘 후, 회절로 생성된 오버레이 영상을 줄임으로써, 이미지로 하여금 더욱 현실적이도록 한다.

Description

이미지 처리 방법 및 장치, 단말 및 저장 매체{METHOD AND DEVICE FOR IMAGE PROCESSING, TERMINAL DEVICE AND STORAGE MEDIUM}

본 출원은 출원번호가 202010761645.2이고, 출원일자가 2020년 07월 31일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 전부 내용을 본 발명에 인용하여 참조로 한다.

본 발명은 전자 기기 기술 분야에 관한 것으로, 특히 이미지 처리 방법 및 장치, 단말 및 저장 매체에 관한 것이다.

단말 기술의 지속적인 발전에 따라, 사람들의 일상생활에 점점 더욱 많은 편의를 가져다주었고, 사용자의 단말 기기 미관 등 방면에 대한 요구도 점차적으로 높아지고 있다. 여기서, 풀 스크린은 이미 모바일 단말 발전의 추세가 되었다.

현재 풀 스크린은 모두 예를 들어 모듈 리프팅, 슬라이드, 사이드 스핀 등 리프팅 메커니즘과 같은 리프팅 방식으로 구현되었고, 워터드롭 스크린 및 펀치홀 스크린과 같은 다른 디자인 방식도 있다.

상기 풀 스크린의 디자인 방식에 있어서, 사진 촬영을 위한 렌즈 모듈은 모두 디스플레이 화면의 아래에 위치한다. 디스플레이 화면에 금속 회로가 분포되어 있기에, 이 영역들은 투광율을 낮추고, 회로 부분의 일부 투광 영역에는 난반사 및 회절이 존재하기에, 디스플레이 화면 아래에 위치한 렌즈 모듈을 사용하여 사진 촬영할 때, 화질 손실의 문제가 존재한다.

본 발명은 이미지 처리 방법 및 장치, 단말 및 저장 매체를 제공한다.

본 발명 실시예의 제1 측면에 따라, 이미지 처리 방법을 제공하고, 상기 이미지 처리 방법은,

제1 이미지 중 픽셀의 밝기에 따라, 하이라이트 영역을 결정하는 단계 - 상기 하이라이트 영역에 포함된 픽셀의 밝기는 상기 하이라이트 영역의 주변 픽셀의 밝기 보다 높음 - ;

상기 하이라이트 영역에 따라, 상기 제1 이미지에서의 회절 영역을 결정하는 단계 - 상기 회절 영역은 상기 하이라이트 영역 주위에 분포된 이미지 영역임 - ; 및

상기 회절 영역의 밝기를 낮추어, 제2 이미지를 획득하는 단계를 포함한다.

선택적으로, 상기 하이라이트 영역에 따라, 상기 제1 이미지에서의 회절 영역을 결정하는 단계는,

상기 제1 이미지 중 픽셀의 밝기의 라이트 필드 분포를 결정하는 단계;

상기 라이트 필드 분포에 따라, 상기 제1 이미지 중 상기 하이라이트 영역의 밝기가 감소하는 방향에서, 회절 현상을 충족시키는 이미지 영역이 존재하는지 여부를 결정하는 단계; 및

만약 상기 회절 현상을 충족시키는 이미지 영역이 존재하면, 상기 이미지 영역은 상기 회절 영역이라는 것을 결정하는 단계를 포함한다.

선택적으로, 상기 라이트 필드 분포에 따라, 상기 제1 이미지 중 상기 하이라이트 영역의 밝기가 감소하는 방향에서, 회절 현상을 충족시키는 이미지 영역이 존재하는지 여부를 결정하는 단계는,

상기 라이트 필드 분포 및 상기 회절 현상의 밝기 특성에 따라, 고층차 위치가 존재하는지 여부를 결정하는 단계 - 상기 고층차 위치는, 상기 제1 이미지에서 상기 하이라이트 영역을 제외한 영역에서, 제1 부분 영역의 픽셀 밝기와 제2 부분 영역의 픽셀 밝기 사이의 차이값이 제1 임계값보다 클 때, 제1 부분 영역의 픽셀이 위치한 위치이고; 상기 제1 부분 영역의 픽셀 밝기는 제2 부분 영역의 픽셀 밝기보다 큼 - ; 및

만약 상기 고층차 위치가 존재하면, 상기 회절 현상을 충족시키는 상기 이미지 영역이 존재한다는 것을 결정하는 단계를 포함한다.

선택적으로, 만약 상기 고층차 위치가 존재하면, 상기 회절 현상을 충족시키는 상기 이미지 영역이 존재한다는 것을 결정하는 단계는,

상기 고층차 위치에 위치한 픽셀로 구성된 형상과 상기 하이라이트 영역의 형상의 유사도가 제1 유사도 임계값보다 큰지 여부를 결정하는 단계; 및

만약 상기 제1 유사도 임계값보다 크면, 상기 회절 현상을 충족시키는 상기 이미지 영역이 존재한다는 것을 결정하는 단계를 포함한다.

선택적으로, 상기 제1 이미지에는 K 개 층차의 상기 고층차 위치가 포함되고; 여기서, 상기 K는 2보다 크거나 같으며, K 번째 층차의 상기 고층차 위치의 픽셀 밝기와 K-1 번째 층차의 상기 고층차 위치의 픽셀 밝기는 같거나 또는 상기 K 값과 음의 상관관계를 나타낸다.

선택적으로, 상기 이미지 처리 방법은,

상기 회절 영역 내의 픽셀 및 상기 회절 영역 밖의 픽셀 사이의 색상 차이 정도에 따라, 상기 회절 영역 내에 분산 현상이 존재하는지 여부를 결정하는 단계를 더 포함하고;

상기 회절 영역의 밝기를 낮추어, 제2 이미지를 획득하는 단계는,

만약 상기 회절 영역에 분산 현상이 존재하면, 상기 회절 영역의 밝기 및 색포화도를 낮추어, 상기 제2 이미지를 획득하는 단계를 포함한다.

선택적으로, 상기 회절 영역 내의 픽셀 및 상기 회절 영역 밖의 픽셀 사이의 색상 차이 정도에 따라, 상기 회절 영역 내에 분산 현상이 존재하는지 여부를 결정하는 단계는,

상기 회절 영역 내의 픽셀 색상과 상기 회절 영역 밖의 픽셀 사이의 색상 차이값을 획득하는 단계; 및

만약 상기 색상 차이값이 기설정된 색상 임계값보다 크면, 상기 회절 영역 내에 상기 분산 현상이 존재한다는 것을 결정하는 단계를 포함한다.

선택적으로, 상기 회절 영역의 밝기를 낮추어, 제2 이미지를 획득하는 단계는,

상기 회절 영역 내의 각 픽셀 포인트의 밝기값에 따라, 상기 밝기값과 양의 상관관계인 것을 통해 조정될 밝기값을 결정하는 단계; 및

상기 회절 영역 내의 각 픽셀 포인트의 밝기값에서 상기 각 픽셀 포인트에 대응되는 조정될 밝기값을 차감하고, 밝기값이 가우시안 분포를 나타내는 상기 제2 이미지를 획득하는 단계를 포함한다.

역 감마(Gamma) 함수에 따라 상기 회절 영역의 밝기를 낮추어, 밝기가 조정된 상기 제2 이미지를 획득하는 단계를 포함한다.

선택적으로, 상기 제1 이미지 중 픽셀의 밝기에 따라, 하이라이트 영역을 결정하는 단계는,

상기 제1 이미지 중 각 픽셀 포인트의 밝기값에 따라 클러스터링을 수행하여, 상이한 영역을 분할하는 단계 - 어느 한 상기 영역 중 픽셀 포인트 사이의 밝기 차이는 기설정된 차이 범위 내에 있음 - 를 포함하고;

분할된 상기 영역에서, 영역의 평균 밝기값이 제일 큰 영역이 상기 하이라이트 영역이다.

상기 회절 영역이 포함된 제1 이미지를 기설정된 화질 보상 모델에 입력하여, 밝기가 조정된 상기 제2 이미지를 획득하는 단계 - 상기 기설정된 화질 보상 모델은 신경 네트워크 방식을 사용하여 훈련한 후 획득된 것임 - 를 포함한다.

본 발명 실시예의 제2 측면에 따라, 이미지 처리 장치를 제공하고, 상기 이미지 처리 장치는,

제1 이미지 중 픽셀의 밝기에 따라, 하이라이트 영역을 결정하도록 구성된 제1 결정 모듈 - 상기 하이라이트 영역에 포함된 픽셀의 밝기는 상기 하이라이트 영역의 주변 픽셀의 밝기 보다 높음 - ;

상기 하이라이트 영역에 따라, 상기 제1 이미지에서의 회절 영역을 결정하도록 구성된 제2 결정 모듈 - 상기 회절 영역은 상기 하이라이트 영역 주위에 분포된 이미지 영역임 - ; 및

상기 회절 영역의 밝기를 낮추어, 제2 이미지를 획득하도록 구성된 조정 모듈을 포함한다.

선택적으로, 상기 제2 결정 모듈은, 구체적으로 상기 제1 이미지 중 픽셀의 밝기의 라이트 필드 분포를 결정하고; 상기 라이트 필드 분포에 따라, 상기 제1 이미지 중 상기 하이라이트 영역의 밝기가 감소하는 방향에서, 회절 현상을 충족시키는 이미지 영역이 존재하는지 여부를 결정하며; 만약 상기 회절 현상을 충족시키는 이미지 영역이 존재하면, 상기 이미지 영역은 상기 회절 영역이라는 것을 결정하도록 구성된다.

선택적으로, 상기 제2 결정 모듈은, 구체적으로 상기 라이트 필드 분포 및 상기 회절 현상의 밝기 특성에 따라, 고층차 위치가 존재하는지 여부를 결정 - 상기 고층차 위치는, 상기 제1 이미지에서 상기 하이라이트 영역을 제외한 영역에서, 제1 부분 영역의 픽셀 밝기와 제2 부분 영역의 픽셀 밝기 사이의 차이값이 제1 임계값보다 클 때, 제1 부분 영역의 픽셀이 위치한 위치이며; 상기 제1 부분 영역의 픽셀 밝기는 제2 부분 영역의 픽셀 밝기보다 큼 - 하도록 구성된다.

선택적으로, 상기 제2 결정 모듈은, 구체적으로 상기 고층차 위치에 위치한 픽셀로 구성된 형상과 상기 하이라이트 영역의 형상의 유사도가 제1 유사도 임계값보다 큰지 여부를 결정하고; 만약 상기 제1 유사도 임계값보다 크면, 상기 회절 현상을 충족시키는 상기 이미지 영역이 존재한다는 것을 결정하도록 구성된다. 선택적으로, 상기 이미지 처리 장치는,

구체적으로 상기 회절 영역 내의 픽셀 및 상기 회절 영역 밖의 픽셀 사이의 색상 차이 정도에 따라, 상기 회절 영역 내에 분산 현상이 존재하는지 여부를 결정하도록 구성된 제3 결정 모듈; 및

구체적으로 만약 상기 회절 영역에 분산 현상이 존재하면, 상기 회절 영역의 밝기 및 색포화도를 낮추어, 상기 제2 이미지를 획득하도록 구성된 상기 조정 모듈을 더 포함한다.

선택적으로, 상기 제3 결정 모듈은, 구체적으로 상기 회절 영역 내의 픽셀 색상과 상기 회절 영역 밖의 픽셀 사이의 색상 차이값을 획득하고; 만약 상기 색상 차이값이 기설정된 색상 임계값보다 크면, 상기 회절 영역 내에 상기 분산 현상이 존재한다는 것을 결정하도록 구성된다.

선택적으로, 상기 조정 모듈은, 구체적으로 상기 회절 영역 내의 각 픽셀 포인트의 밝기값에 따라, 상기 밝기값과 양의 상관관계인 것을 통해 조정될 밝기값을 결정하고; 상기 회절 영역 내의 각 픽셀 포인트의 밝기값에서 상기 각 픽셀 포인트에 대응되는 조정될 밝기값을 차감하여, 밝기값이 가우시안 분포를 나타내는 상기 제2 이미지를 획득하도록 구성된다.

선택적으로, 상기 조정 모듈은, 구체적으로 역 감마(Gamma) 함수에 따라 상기 회절 영역의 밝기를 낮추어, 밝기가 조정된 상기 제2 이미지를 획득하도록 구성된다.

선택적으로, 상기 조정 모듈은, 구체적으로 상기 회절 영역이 포함된 제1 이미지를 기설정된 화질 보상 모델에 입력하여, 밝기가 조정된 상기 제2 이미지를 획득 - 상기 기설정된 화질 보상 모델은 신경 네트워크 방식을 사용하여 훈련한 후 획득된 것임 - 하도록 구성된다.

선택적으로, 상기 제1 결정 모듈은, 구체적으로 상기 제1 이미지 중 각 픽셀 포인트의 밝기값에 따라 클러스터링을 수행하여, 상이한 영역을 분할 - 어느 한 상기 영역 중 픽셀 포인트 사이의 밝기 차이는 기설정된 차이 범위 내에 있고; 분할된 상기 영역에서, 영역의 평균 밝기값이 제일 큰 영역이 상기 하이라이트 영역임 - 하도록 구성된다.

본 발명 실시예의 제3 측면에 따라, 단말을 제공하고, 상기 제2 측면에서의 이미지 처리 장치를 포함한다. 본 발명 실시예의 제4 측면에 따라, 저장 매체를 제공하고, 상기 저장 매체는,

상기 저장 매체에서의 명령어는 컴퓨터의 프로세서에 의해 실행될 때, 컴퓨터로 하여금 상기 제1 측면에 따른 것과 같은 이미지 처리 방법을 실행할 수 있도록 한다.

본 발명의 실시예에서 제공한 기술 방안은 아래의 유익한 효과를 포함할 수 있다.

본 발명은 먼저 제1 이미지에서의 하이라이트 영역을 결정하고, 다시 하이라이트 영역에 기반하여 회절 영역을 결정하며, 회절 영역의 밝기를 낮추어 제2 이미지를 획득한다. 다중 그룹의 노출값 이미지에 기반하여 합성을 수행함으로써 회절 현상을 줄이는 방식에 비교하여, 일 측면에서, 단일 프레임 이미지에 기반하여 밝기를 낮춤으로써 회절로 인한 오버레이 영상을 줄이는 방식은, 단일 프레임 이미지에 기반하여서만 처리를 수행하고, 다른 상이한 노출하에 획득된 이미지의 영향을 받을 필요가 없기에, 회절로 형성된 오버레이 영상을 줄일 때의 효과가 더욱 안정적이며; 다른 일 측면에서, 노출값을 조정하여 다중 프레임 이미지를 촬영할 필요가 없기에, 모바일 단말이 빈번하게 촬영하는 전력 소비를 감소할 수 있고; 또한, 다중 그룹의 노출값 이미지에 기반하여 합성을 수행할 때 예를 들어 고스트 이미지와 같은 역효과가 생기는 것을 방지할 수 있다.

이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 설명적인 것이며 본 발명을 한정하지 않는다.

여기서 도면은 명세서에 포함되어 본 명세서의 일부를 구성하고, 본 발명에 부합되는 실시예를 나타내며, 명서세와 함께 본 발명의 원리를 해석하기 위한 것이다.
도 1은 본 발명 실시예에 도시된 이미지 처리 방법 흐름도이다.
도 2a는 본 발명 실시예에서 이미지의 예시도 1이다.
도 2b는 본 발명 실시예에서 이미지의 예시도 2이다.
도 3은 본 발명 실시예에서 회절 이미지의 예시도 3이다.
도 4는 본 발명 실시예에서 회절 이미지의 예시도 4이다.
도 5a는 본 발명 실시예에서 회절 이미지의 예시도 5이다.
도 5b는 본 발명 실시예에서 회절 영역 밝기를 낮추는 예시도이다.
도 6은 본 발명 실시예에서 노출 이미지 예시도이다.
도 7은 회절 현상에 대응되는 광도 분포 그래프이다.
도 8a는 본 발명 실시예에서 회절 영역 내에 분산 현상이 있는 예시도이다.
도 8b는 본 발명 실시예에서 회절 영역 내 가장자리 부분 색포화도를 낮추는 예시도이다.
도 9는 역 감마(Gamma) 함수의 곡선 예시도이다.
도 10은 일 예시적 실시예에 따라 도시된 이미지 처리 장치 이미지이다.
도 11은 본 발명 실시예에 도시된 단말의 블록도이다.

여기서, 예시적 실시예를 상세하게 설명할 것이며, 그 예는 도면에 도시된다. 아래의 설명이 참조 도면을 참조할 경우, 다른 표시가 없는 한, 상이한 도면에서의 동일한 숫자는 동일하거나 유사한 요소를 나타낸다. 아래의 예시적 실시예에서 설명된 실시 형태는 본 발명과 일치하는 모든 실시 형태를 나타내는 것은 아니다. 이와 반대로, 이들은 다만 청구 범위에 상세히 설명된 바와 같이 본 발명의 일부 측면과 일치하는 장치 및 방법의 예일뿐이다.

도 1은 본 발명 실시예에 도시된 이미지 처리 방법 흐름도이고, 도 1에 도시된 바와 같이, 이미지 처리 방법은 하기와 같은 단계를 포함한다.

단계 S11에 있어서, 제1 이미지 중 픽셀의 밝기에 따라, 하이라이트 영역을 결정하고 - 상기 하이라이트 영역에 포함된 픽셀의 밝기는 상기 하이라이트 영역의 주변 픽셀의 밝기 보다 높음 - ;

단계 S12에 있어서, 상기 하이라이트 영역에 따라, 상기 제1 이미지에서의 회절 영역을 결정하며 - 상기 회절 영역은 상기 하이라이트 영역 주위에 분포된 이미지 영역임 - ;

단계 S13에 있어서, 상기 회절 영역의 밝기를 낮추어, 제2 이미지를 획득한다.

본 발명의 이미지 처리 방법은 모바일 단말에 적용될 수 있고, 서버에 적용될 수도 있다. 서버에 적용될 때, 모바일 단말은 수집된 제1 이미지를 서버에 송신할 수 있고, 서버는 제1 이미지에 대해 S11-S13의 단계를 사용하여 제2 이미지를 획득한 후, 제2 이미지를 모바일 단말에 송신함으로써, 모바일 단말이 디스플레이 되도록 한다.

이미지 처리 방법이 모바일 단말에 적용될 때를 예로 들어, 모바일 단말은, 핸드폰, 태블릿 컴퓨터, 카메라 또는 스마트 웨어러블 기기 등을 포함한다. 모바일 단말에는 예를 들어 핸드폰에서의 전방 카메라 또는 후방 카메라와 같은 이미지 수집 모듈을 포함하고, 이미지 수집을 수행할 수 있다.

도 2a는 본 발명 실시예에서 이미지의 예시도 1이고, 도 2b는 본 발명 실시예에서 이미지의 예시도 2이다. 도 2a에 도시된 바와 같이 이미지는 디스플레이 화면 또는 유리 등 장애물 영향이 존재하지 않은 경우에 획득된 이미지이고, 도 2b는 디스플레이 화면 또는 유리 등 장애물 영향이 존재하는 경우에 획득된 이미지이다. 도 2a 및 도 2b를 비교하면 알다시피, 도 2a에 도시된 이미지의 해상도 및 명암비는 도 2b보다 우수하다.

상기 화질이 손상된 현상은, 특히 예를 들어 조명원 또는 태양광과 같은 밝기가 비교적 큰 것을 포함한 대상을 촬영할 때 제일 선명하다.

도 3은 본 발명 실시예에서 회절 이미지의 예시도 3이고, 도 4는 본 발명 실시예에서 회절 이미지의 예시도 4이다. 도 3 및 도 4에 도시된 바와 같이, 디스플레이 화면의 영향으로, 조명원에 대해 이미징 할 때, 디스플레이 화면의 영향으로, 광원 근처에 회절로 생성된 오버레이 영상이 나타남으로써, 이미지로 하여금 비현실적이도록 한다.

이에 대해, 본 발명은 이미지에서 밝기가 비교적 큰 영역(하이라이트 영역)을 검출하고, 하이라이트 영역 근처에서 이미지 회절로 생성된 오버레이 영역을 찾아 보상을 수행하며, 회절로 생성된 오버레이 영상을 제거함으로써 더욱 현실적인 이미지를 획득하도록 한다.

본 발명의 실시예에 있어서, 제1 이미지 중 픽셀의 밝기에 따라, 하이라이트 영역을 결정하고, 하이라이트 영역에 포함된 픽셀의 밝기는 하이라이트 영역의 주변 픽셀의 밝기 보다 높으며, 여기서 하이라이트 영역에 포함된 픽셀의 밝기는 하이라이트 영역의 주변 픽셀의 밝기 보다 높다는 것은 하이라이트 영역의 밝기와 하이라이트 영역 주변 픽셀의 밝기 사이의 차이값이 기설정 차이값보다 큰 것일 수 있고, 하이라이트 영역의 밝기 평균값이 하이라이트 영역 주변 픽셀의 평균치보다 높은 것일 수도 있다.

일 실시예에 있어서, 단계 S11에 있어서, 상기 하이라이트 영역은 이미지에서 밝기가 제일 큰 하나의 연속적 영역일 수 있고, 하이라이트 영역에 포함된 픽셀의 밝기는 하이라이트 영역의 주변 픽셀의 밝기보다 모두 높다.

다른 일 실시예에 있어서, 단계 S11에 있어서, 상기 하이라이트 영역은 이미지에서 이미지 픽셀 밝기가 돌연 변이가 발생된 복수 개의 영역에서 밝기가 비교적 높은 하나 또는 복수 개의 영역일 수 있다. 예를 들어, 만약 이미지 수집할 때, 수집된 공간 내에 복수 개의 이산분포된 조명이 켜지면, 이미지에 복수 개의 조명과 대응되는 하이라이트 영역을 형성한다.

일 방식에 있어서, 통상적으로 광원 등 하이라이트 물체에 대해 촬영할 때, 하이라이트 물체가 이미징 후 각 픽셀의 값이 수집 비트 폭의 포화값으로 향하는 것에 기반하여, 포화값에 접근하는 임계값을 기설정하여 하이라이트 영역을 결정할 수 있다. 예를 들어, 이미지의 수집 비트 폭이 8 비트이면, 픽셀의 값 범위는 0~255이고, 여기서 255는 포화값이다. 이때, 임계값은 230으로 설정될 수 있고, 임계값 230을 초과한 픽셀은 하이라이트 영역에 속하는 픽셀로 결정된다.

다른 일 방식에 있어서, 상기 제1 이미지 중 픽셀의 밝기에 따라, 하이라이트 영역을 결정하는 단계는,

상기 실시예에 있어서, 이미지 처리 장치는 제1 이미지 중 각 픽셀 포인트의 밝기값에 대해 클러스터링 하고, 밝기가 비슷한(즉 밝기 차이는 기설정된 차이 범위 내에 있음) 픽셀 포인트를 하나의 유형으로 모음으로써, 상이한 영역을 분할하도록 한다. 분할된 상이한 밝기 영역에 대해, 영역의 평균 밝기값을 통계할 수 있고, 평균 밝기값이 제일 큰 영역을 하이라이트 영역으로 한다.

이해할 수 있는 것은, 영역 내의 밝기 차이가 기설정 범위 내에 있기에, 영역의 평균 밝기값이 제일 큰 영역을 하이라이트 영역으로 할 때, 상기 하이라이트 영역내에 포함된 픽셀의 밝기도 하이라이트 영역의 주변 픽셀의 밝기보다 높아야 한다. 임계값에 기반하는 방식으로 하이라이트 영역을 결정하는 것에 비교하여, 클러스터링 방식은 더욱 보편적이다.

단계 S12에 있어서, 이미지 처리 장치는 하이라이트 영역에 따라, 제1 이미지 중 하이라이트 영역 주변에 분포된 회절 영역을 결정한다. 회절은 빛이 전파 과정에서 장애물을 만나 원래 직선 전파를 벗어나게 되고, 광도 분포를 형성하는 물리 현상이다. 회절에 의해 형성된 회절 영역내에는 명암이 교차하는(즉 밝기가 고르지 않은) 각 서브 영역이 포함되고, 하이라이트 영역의 형상과 유사한 서브 영역이 존재할 수 있다.

도 3을 예로 들어, L1로 표시된 영역은 모두 하이라이트 영역이고, 하이라이트 영역은 고리 형상이며, 하이라이트 영역 근처에는 밝기가 고르지 않은 회절 영역이 존재하고, 상기 회절 영역 내에는 형상이 고리 형상과 유사한 서브 영역이 포함된다.

도 4를 예로 들어, L2로 표시된 것은 하이라이트 영역이고, 하이라이트 영역의 양측에도 밝기가 고르지 않은 회절 영역이 존재하며, 회절 영역 내에는 형상이 직사각형과 유사한 서브 영역이 포함된다.

설명해야 할 것은, 회절 현상은 조명원 또는 태양 등 밝기가 비교적 큰 대상을 촬영할 때 더욱 선명하기에, 촬영하여 획득한 제1 이미지에서, 회절 영역의 밝기는 배경 영역의 밝기에 비교하여 더욱 클 수 있고, 여기서, 배경 영역은 제1 이미지에서, 회절 영역 및 하이라이트 영역을 제외한 영역을 의미한다. 이에 대해, 본 발명은 단계 S13에서 회절 영역의 밝기를 낮추어, 제2 이미지를 획득한다. 이해할 수 있는 것은, 회절 영역의 밝기를 낮추는 것을 통해, 즉 회절로 생성된 오버레이 영상의 영향을 줄임으로써, 더욱 현실적인 이미지를 획득할 수 있도록 한다.

회절 영역의 밝기를 낮출 때, 배경 영역의 밝기에 따라 회절 영역의 밝기의 조정값을 결정할 수 있음으로써, 회절 영역의 밝기가 배경과 일치하게 되는 추세이고; 함수를 피팅 하는 형식을 통해 회절 영역의 밝기를 낮출 수도 있으며, 이에 대해, 본 발명 실시예는 한정하지 않는다.

도 5a는 본 발명 실시예에서 회절 이미지의 예시도이고, 도 5b는 본 발명 실시예에서 회절 영역 밝기를 낮추는 예시도이다. 도 5a에 도시된 바와 같이, B가 지시하는 세로 영역은 즉 하이라이트 영역 및 회절 영역을 포함하는 부분이고, 도면에서 알다시피, 하이라이트 영역 주변의 회절 영역의 밝기는 배경 영역 보다 크다. 도 5b에 도시된 바와 같이, 회절 영역의 밝기를 낮춘 후, 회절로 생성된 오버레이 영상을 줄임으로써, 이미지로 하여금 더욱 현실적이도록 한다.

일 방식에 있어서, 회절로 인한 비현실적인 현상을 낮추기 위하여, 하이 다이내믹 레인지(High-Dynamic Range, HDR) 방식을 사용하여, 정상적인 노출하에 획득된 이미지와 하나의 그룹 또는 복수 개의 그룹의 노출이 낮아졌을 때 획득된 이미지를 합성함으로써 회절로 생성된 오버레이 영상을 낮출 수 있다.

도 6은 본 발명 실시예에서 노출 이미지 예시도이고, 도 6 왼쪽의 이미지는 정상 노출될 때 획득된 이미지이며, 오른쪽의 이미지는 노출값이 정상값보다 낮을 때 획득된 이미지이다. 도 6에 도시된 바와 같이, 정상 노출된 이미지에는 회절로 생성된 오버레이 영상이 존재하지만, 오른쪽 낮은 노출값에 대응되는 이미지 중 회절로 생성된 오버레이 영상은 비교적 선명하지 않기에, 따라서 상기 두 가지 이미지를 합성하면, 회절로 생성된 오버레이 영상 현상을 낮출 수 있으므로, 합성된 이미지가 더욱 현실적이도록 한다.

그러나, 상기 HDR을 사용하는 방식에서, 노출값은 제어가 어렵기에, 만약 노출값이 너무 낮게 조정되면, 기존 하이라이트의 영역 합성에 영향을 미치고; 만약 노출값이 충분히 조정되지 않으면, 낮은 노출에서 획득된 이미지에는 회절로 생성된 오버레이 영상이 여전히 존재할 수 있기에, 합성될 때 회절로 생성된 오버레이 영상을 제거할 수 없는 문제가 존재한다.

상기 방식에 비교하여, 이해할 수 있는 것은, 본 발명은 먼저 제1 이미지에서의 하이라이트 영역을 결정하고, 다시 하이라이트 영역에 기반하여 회절 영역을 결정하며, 회절 영역의 밝기를 낮추고 밝기가 조정된 제2 이미지를 획득하는 방식에 있어서, 일 측면에서, 노출값을 조정하여 다중 프레임 이미지를 촬영할 필요가 없기에, 모바일 단말이 빈번하게 촬영할 때의 전력 소비를 감소할 수 있고; 다른 일 측면에서, 단일 프레임 이미지에 기반하여 밝기를 낮춤으로써 회절로 인한 오버레이 영상을 줄이며, 다른 상이한 노출하에 획득된 이미지의 영향을 받을 필요가 없기에, 회절로 생성된 오버레이 영상을 줄일 때의 효과가 더욱 좋다.

한 가지 실시예에 있어서, 단계 S12는,

전술한 바와 같이, 회절은 빛이 전파 과정에서 장애물을 만나 원래 전파 경로를 벗어나면서 형성된 광도 분포 현상이다. 도 7은 회절 현상에 대응되는 광도 분포 그래프이고, 도 7에 도시된 바와 같이, 수평축은 광원이 밖으로 확장된 범위를 나타내고, 수직축은 대응되는 확장 범위 하의 광도와 광원 광도의 비율을 나타낸다.

도 7에서 알다시피, 광원의 광도가 제일 크고, 광원을 중심으로, 광원에서 멀리 떨어진 일부 범위 내에서, 광도는 정규 분포를 나타낸다. 정규 분포의 경계에서, 광원에서 멀리 떨어지는 방향에서, 광도는 다시 단계적으로 증가되고, 최대치로 증가된 후, 광도는 다시 감소되며, 새로운 정규 분포와 유사한 현상이 나타나고, 즉 도 7에 도시된 K1이다. 도 7에서 알다시피, 상기 정규 분포의 현상은 반복적으로 나타나고, 다만 광원에서 멀리 떨어질수록 정규 분포의 피크값은 더욱 작으며, 광도 분포 곡선에는 정규 분포 K2가 더 존재한다. 물론, 피크값이 단계적으로 감소하는 다른 정규 분포 현상이 존재할 수도 있고, 도 7에서는 도시되지 않았다. 상기 광도 분포의 변화 추세는, 즉 회절 영역 내에 명암이 교차하는 서브 영역이 존재하는 현상이다.

도 7에 도시된 광도 분포 곡선은 점 확산 함수(Point Spread Function, PSF)에 대응되는 곡선이다. 이미지의 밝기는 광도를 반영하기에, 제1 이미지 중 각 픽셀의 밝기와 PSF 모형을 피팅 하여, 제1 이미지에서 픽셀의 밝기의 라이트 필드 분포를 결정할 수 있다. 이해할 수 있는 것은, 회절이 존재하면, 제1 이미지에서 각 픽셀의 밝기의 라이트 필드 분포는 도 7에서의 광도 분포 곡선과 유사하다.

상기 실시예에 있어서, 제1 이미지 중 각 픽셀의 라이트 필드 분포에 기반하여, 제1 이미지 중 하이라이트 영역의 밝기가 감소하는 방향에서, 회절 현상을 충족시키는 이미지 영역이 존재하는지 여부를 결정한다. 설명해야 할 것은, 회절 현상은 회절 실험에 따라, 회절 할 때 광도 분포에 대해 피팅하여 도 7에서 광도 분포 곡선에 존재하는 반복적으로 나타나는 정규 분포(예를 들어 K1 및 K2 부분) 현상에 의해 결정된 이미지 모드를 획득하는 것일 수 있고, 상기 이미지 모드에서 명암이 교차하는 영역이 존재하며, 즉 회절 영역 내에 명암이 교차하는 서브 영역이 존재한다.

따라서, 본 발명의 실시예에 있어서, 만약 회절 현상이 존재하면, 제1 이미지에는 명암이 교차하는 이미지가 존재하고, 이때, 명암이 교차하는 이미지를 포함하는 이미지 영역을 회절 영역으로 결정한다.

한 가지 실시예에 있어서, 상기 라이트 필드 분포에 따라, 상기 제1 이미지 중 상기 하이라이트 영역의 밝기가 감소하는 방향에서, 회절 현상을 충족시키는 이미지 영역이 존재하는지 여부를 결정하는 단계는,

본 발명의 실시예에 있어서, 회절 현상의 밝기 특성은 실험에 따라 결정될 수 있다. 예를 들어, 회절 실험에 따라 획득한 도 7에 도시된 광도 분포 곡선에서, K1에 의해 표시된 정규 분포는 1층차 위치이고; K2에 의해 표시된 정규 분포는 2층차 위치이며, 2층차 위치에 대응되는 광도값은 1층차 위치에 대응되는 광도값보다 작다. 설명해야 할 것은, 상기 1층차 위치 및 2층차 위치는 모두 회절로 인한 부분 영역의 밝기가 실제 밝기에 비교하여 상승된 위치이고, 1층차 위치의 픽셀 밝기는 1층차 위치 주변 부분 영역의 픽셀 밝기보다 높으며, 2층차 위치의 픽셀 밝기도 2층차 위치 주변 부분 영역의 픽셀 밝기보다 높다. 본 발명 실시예에 있어서, 1층차 위치 및 2층차 위치는 모두 고층차 위치에 속한다. 고층차 위치가 존재하고, 고층차 위치의 픽셀의 밝기와 광원 위치의 밝기는 일정한 비례 관계를 가질 수 있으며, 고층차 위치의 픽셀 밝기는 주변 부분 영역의 픽셀 밝기보다 높고, 층차가 증가됨에 따라, 고층차 위치의 픽셀 밝기는 낮아지며, 상기 특점은 모두 회절 현상의 밝기 특성에 속한다.

설명해야 할 것은, 본 발명에 있어서, 고층차 위치는 1층차 위치 및 2층차 위치에 한정되지 않는다. 예를 들어 광원 밝기가 충분히 강할 때, 3층차 위치, 4층차 위치 등 더욱 많은 층차의 고층차 위치도 포함할 수 있고, 여기서, 3층차 위치의 밝기는 2층차 위치의 밝기 보다 낮고, 4층차 위치의 밝기는 3층차 위치의 밝기 보다 낮다. 설명해야 할 것은, 회절 현상이 발생할 때, 적어도 1층차 위치는 존재한다.

상기 회절 현상의 밝기 특성에 기반하여, 본 발명은 제1 이미지의 라이트 필드 분포 및 회절 현상의 밝기 특성에 따라 고층차 위치가 존재하는지 여부를 결정한다. 구체적으로, 제1 이미지에서 각 픽셀의 밝기의 라이트 필드 분포에 따라, 도 7에서의 광도 분포 곡선에 포함된 것과 유사한 고층차 위치가 존재하는지 여부를 결정한다. 상기 고층차 위치는, 제1 이미지에서 하이라이트 영역을 제외한 영역에서, 제1 부분 영역의 픽셀 밝기와 제2 부분 영역의 픽셀 밝기 사이의 차이값이 제1 임계값보다 클 때, 제1 부분 영역의 픽셀이 위치한 위치이며; 상기 제1 부분 영역의 픽셀 밝기는 제2 부분 영역의 픽셀 밝기보다 크다.

상기 실시예에 있어서, 하이라이트 영역을 제외한 영역은 제1 부분 영역 및 제2 부분 영역을 포함한다. 제1 부분 영역 및 제2 부분 영역의 픽셀 밝기 차이가 제1 임계값보다 클 때, 픽셀 밝기가 비교적 큰 제1 영역의 픽셀이 있는 위치를 고층차 위치로 결정한다. 여기서, 제1 부분 영역 및 제2 부분 영역은 인접한 영역이다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 클러스터링 알고리즘을 사용할 수 있고, 하이라이트 영역을 제외한 영역의 각 픽셀 밝기에 대해 밝기 클러스터링을 수행하여, 상이한 밝기의 부분 영역을 결정하며, 인접한 부분 영역의 밝기의 차이값이 제1 임계값보다 큰지 여부를 비교하여, 고층차 위치를 결정한다.

한 가지 실시예에 있어서, 제1 이미지에는 하나의 상기 고층차 위치가 포함되고, 예를 들어, 이미지 처리 장치는 라이트 필드 분포에 도 7에서 K1에 의해 표시된 것과 유사한 1층차 위치가 존재하는지 여부를 결정한다.

다른 한 가지 실시예에 있어서, 제1 이미지에는 K 개 단계의 상기 고층차 위치가 포함되고; 여기서, 상기 K는 2보다 크거나 같으며, K 번째 층차의 상기 고층차 위치의 픽셀 밝기와 K-1 번째 층차의 상기 고층차 위치의 픽셀 밝기는 같거나 또는 상기 K 값과 음의 상관관계를 나타낸다. 예를 들어, 2개 층차의 고층차 위치가 존재할 때, 이미지 처리 장치는 라이트 필드 분포에 K1에 의해 표시된 것과 유사한 1층차 위치 및 K2에 의해 표시된 것과 유사한 2층차 위치가 존재하는지 여부를 결정하고, 여기서, 1층차 위치의 픽셀 밝기는 2층차 위치의 픽셀 밝기보다 크다. 다른 예를 들어, 3개 고층차 위치가 존재할 때, 이미지 처리 장치는 도 7에서 표시되지 않은 3층차 위치가 존재하는지 여부를 더 결정하고, 여기서 3층차 위치의 픽셀 밝기는 2층차 위치의 픽셀 밝기보다 작다.

이 밖에, 설명해야 할 것은, 본 발명의 실시예에 있어서, 상이한 층차의 고층차 위치를 결정할 때, 제1 임계값은 변화될 수 있고, 예를 들어, 제1 임계값은 K 값과 음의 상관될 수 있다.

한 가지 실시예에 있어서, 만약 상기 고층차 위치가 존재하면, 상기 회절 현상을 충족시키는 상기 이미지 영역이 존재한다는 것을 결정하는 단계는,

회절이 발생될 때, 회절 영역 내에는 하이라이트 영역의 형상과 유사한 서브 영역이 존재할 수 있다. 상기 서브 영역은 즉 고층차 위치에서 1층차 위치 또는 2층차 위치에 대응되는 픽셀로 구성된 영역이다. 따라서, 상기 실시예에 있어서, 추가로 고층차 위치의 픽셀로 구성된 형상과 상기 하이라이트 영역의 형상의 유사도가 제1 유사도 임계값보다 큰지 여부를 결정해야 한다. 제1 유사도 임계값보다 크면, 회절 현상을 충족시키는 이미지 영역이 존재한다는 것을 결정한다.

설명해야 할 것은, 고층차 위치가 1층차 위치를 포함할 때, 1층차 위치의 픽셀로 구성된 형상과 상기 하이라이트 영역의 형상의 유사도가 제1 유사도 임계값보다 큰지 여부를 결정하고; 고층차 위치가 1층차 위치 및 2층차 위치를 포함할 때, 1층차 위치 및 2층차 위치의 픽셀로 구성된 형상과 상기 하이라이트 영역의 형상의 유사도가 제1 유사도 임계값보다 큰지 여부를 각각 결정해야 한다.

도 4를 예로 들어, 도 4에서 A1은 즉 1층차 위치이고, A1에서의 픽셀의 밝기는 하이라이트 영역 L2에 포함된 픽셀의 밝기에 근접하며, A1의 형상은 스트립 형상과 유사하고; 도 4에서 A2는 즉 2층차 위치이고, A2에서의 픽셀의 밝기는 A1 중 픽셀의 밝기보다 작으며, A2의 형상도 스트립 형상과 유사하다.

설명해야 할 것은, 제1 이미지에서 하이라이트 영역, 1층차 위치 및 2층차 위치의 픽셀로 구성된 형상을 결정할 때, 예를 들어 canny 연산자, sobel 연산자 등 에지 검출 연산자를 사용하여 윤곽을 결정할 수 있다. 결정된 윤곽에 기반하여, 즉 1층차 위치에 대응되는 윤곽 특징 및 2층차 위치에 대응되는 윤곽 특징이 하이라이트 영역의 윤곽 특징과의 유사도를 각각 비교할 수 있다. 여기서, 윤곽 특징은 윤곽의 곡률, 윤곽의 길이 및 직경의 유사도 등 일 수 있고, 본 발명은 형상의 유사도를 어떻게 결정하는지에 대해 구체적인 한정을 하지 않는다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, 회절 영역이 존재하는지 여부를 결정할 때, 회절 현상이 발생할 때의 밝기 특성에 따라 고층차 위치가 존재하는지 여부를 결정할 뿐만 아니라, 또한 고층차 위치와 하이라이트 영역의 형상 유사도가 조건을 만족하는지 여부에 따라 회절 영역이 존재하는지 여부를 결정하며, 회절 영역 결정의 정확성을 향상시킬 수 있다.

한 가지 실시예에 있어서, 상기 이미지 처리 방법은,

만약 상기 회절 영역에 분산 현상이 존재하면, 상기 회절 영역의 밝기 및 색포화도를 낮추어, 상기 제2 이미지를 획득하는 단계를 포함한다. 제2 이미지 분산 현상을 획득한다는 것은 다색광이 복수 개의 단색광으로 분해되는 현상을 의미한다. 예를 들어, 백색광은 파장이 상이한 빛에 의해 합성되고, 백색광이 매체 (예를 들어 프리즘)를 통과할 때, 일곱 가지 색상의 분산된 단색광을 볼 수 있으며, 즉 분산 현상에 속한다. 이해할 수 있는 것은, 분산 현상이 발생할 때, 이미징의 색상을 변할 수 있다.

회절 영역의 분산 현상은 가끔 에지 영역에서 나타나고, 분산이 없기에(분산이 없을 때), 회절 영역 내 에지의 픽셀의 색상과 배경 부분은 비교적 일치하다. 여기서, 배경 부분은 하이라이트 영역 및 회절 영역을 제외한 부분을 의미한다. 만약 분산이 발생하면, 회절 영역 내 에지 픽셀의 색상은 배경 부분과 상이하다. 본 발명 실시예에 있어서, 회절 영역 내 에지의 픽셀 및 회절 영역 밖의 픽셀 사이의 색상 차이 정도는 하기 몇 개 측면에서 반영된다.

1, 회절 영역 내 에지 픽셀의 색상 모드는 회절 영역 밖의 픽셀의 색상 모드와 일치한지 여부이고 예를 들어 회절 영역 밖의 픽셀은 단일 색상이지만, 회절 영역 내 에지의 픽셀은 다양한 색상이 존재하면, 색상 모드가 상이하다고 간주하고, 색상 모드가 상이하면 분산이 존재할 수 있다. 2, 회절 영역 내 에지 픽셀의 색포화도와 회절 영역 밖 픽셀의 색포화도에 차이가 존재하는지 여부이다.

이에 대해, 본 발명은 회절 영역 내의 픽셀 및 상기 회절 영역 밖의 픽셀 사이의 색상 차이 정도에 따라, 상기 회절 영역 내에 분산 현상이 존재하는지 여부를 결정한다. 상기 실시예에 있어서, 만약 회절 영역에 분산 현상이 존재하면, 회절 영역 내에 분산 현상이 있는 색포화도를 낮춤으로써 분산 현상을 줄이도록 한다.

도 8a는 본 발명 실시예에서 회절 영역 내에 분산 현상이 있는 예시도이고, 도 8b는 본 발명 실시예에서 회절 영역 내 가장자리 부분 색포화도를 낮추는 예시도이다. 도 8a에 도시된 바와 같이, 조명원의 주변에는 회절 영역이 존재하고, 백색광의 조명원은 회절 된 후, 회절 영역 내에는 다양한 색상 성분이 포함되고, 즉 회절 영역 내에 분산 현상이 존재한다. 회절 영역 내에 분산 현상이 있는 색포화도를 낮춘 후, 회절 영역 에지의 색상은 배경 부분으로 되는 추세이다.

상기 실시예에 있어서, 만약 회절 영역에 분산이 존재하면, 회절 영역의 밝기를 낮출 뿐만 아니라, 회절 영역에서 분산 현상이 있는 에지의 색포화도도 낮춰서 제2 이미지를 획득한다. 이해할 수 있는 것은, 이런 방식을 통해, 회절 영역의 밝기를 낮추는 것을 통해 회절로 생성된 오버레이 영상을 줄일 수 있을 뿐만 아니라, 이 밖에, 분산으로 인한 의사 색상 문제도 줄일 수 있으므로, 더욱 현실적인 이미지를 추가로 획득할 수 있도록 한다.

한 가지 실시예에 있어서, 상기 회절 영역 내의 픽셀 및 상기 회절 영역 밖의 픽셀 사이의 색상 차이 정도에 따라, 상기 회절 영역 내에 분산 현상이 존재하는지 여부를 결정하는 단계는,

상기 회절 영역 내에 분산 현상이 있는 픽셀 색상과 상기 회절 영역 밖의 픽셀 사이의 색상 차이값을 획득하는 단계; 및

상기 실시예에 있어서, 상기 회절 영역 내의 픽셀 및 상기 회절 영역 밖의 픽셀 사이의 색상 차이 정도에 따라, 상기 회절 영역 내에 분산 현상이 존재하는지 여부를 결정할 때, 색상 차이값 및 기설정된 색상 임계값에 기반하여 판단할 수 있다.

색상 차이값을 결정할 때, 예를 들어 RGB 색 공간에서 각 픽셀의 색상 성분, 빨간색 픽셀 (R), 녹색 픽셀 (G) 및 파란색 픽셀 (B)과 같은 회절 영역 내의 픽셀 및 상기 회절 영역 밖의 픽셀의 색상 정보에 따라, 각각 R 성분의 평균치, G 성분의 평균치 및 B 성분의 평균치를 결정할 수 있고, 회절 영역 내에 분산 현상이 있는 픽셀의 색상 성분 평균값 및 회절 영역 밖의 픽셀의 대응되는 색상 성분 평균값를 서로 감한다. 동시에, 기설정된 각 색상 성분에 대한 색상 임계값에 기반하여, 각 색상 성분 평균값 사이의 차이값이 대응되는 기설정된 색상 임계값보다 큰 것이 결정될 때, 회절 영역 내에 분산 현상이 존재함을 결정한다.

RGB 공간에서, 각 색상 성분 값은 모두 밝기와 밀접한 관련이 있기에, 즉 밝기가 변경되기만 하면, 각 색상 성분 값은 따라서 상응하게 변경된다. 따라서, RGB 공간은 색상 관련 정보를 더욱 직관적으로 반영하지 못할 수 있고, 이에 대해, 본 발명은 RGB 공간에 속하는 제1 이미지를 HSV/HSL 공간으로 전환하며, HSV/HSL 공간에서 회절 영역 내에 분산 현상이 있는 픽셀 색상과 회절 영역 밖의 픽셀 사이의 색상 차이값을 획득할 수 있다.

HSV/HSL 공간에서, 색조 (H)는 색상을 반영하고, 포화도 (S)는 처해있는 색상 공간에서 색상의 포화 정도를 반영하며, H 및 S는 모두 색상의 정보를 반영하기에, 색 공간 전환 후 H 및 S의 정보에 따라 색상 차이값을 결정할 수 있다.

HSV/HSL 공간에서, 예를 들어, 회절 영역 내 및 회절 영역 밖의 픽셀의 H 성분의 평균값, S 성분의 평균값을 각각 통계할 수 있고, 평균값 사이의 차이 및 대응되는 성분의 기설정된 색상 임계 값에 기반하여, 각 성분 평균값 사이의 차이값이 대응되는 기설정된 색상 임계 값보다 큰 것이 결정될 때, 회절 영역 내에 분산 현상이 존재한다는 것을 결정한다.

한 가지 실시예에 있어서, 단계 S13은,

상기 실시예에 있어서, 회절 영역의 밝기를 낮추고 밝기가 조정된 제2 이미지를 획득할 때, 회절 영역 내의 각 픽셀 포인트의 밝기값에 따라, 밝기값과 양의 상관관계인 것을 통해 조정될 밝기값을 결정할 수 있다. 여기서, 양의 상관은, 회절 영역 내 픽셀 포인트의 밝기값이 클수록, 결정된 조정될 밝기값이 더욱 큰 것을 의미한다.

전술한 바와 같이, 제1 이미지에서 각 픽셀의 밝기의 라이트 필드 분포는 도 7에서의 광도 분포 곡선과 유사하고, 회절 영역은 K1 및 K2를 포함한 정규 분포 부분을 포함한다. K1로 예를 들면, 조정될 밝기값을 결정할 때, 피크값 위치의 조정될 값을 최대로 설정할 수 있고, 피크값 주변의 픽셀 포인트에 대응되는 조정될 값은 상대적으로 비교적 작으므로, K1 부분의 조정될 값은 역 정규 분포와 유사한 곡선을 나타내도록 한다. 상기 방식에 기반하여 조정될 값을 결정한 후, 즉 K1 부분의 각 픽셀 포인트의 밝기값에서 상기 부분에 대응되는 조정될 값을 차감함으로써, K1 부분으로 하여금 직선에 가까워지도록 한다. 마찬가지로, K2 부분에 대해 동일한 방법으로 조정될 값을 결정하고, K2 부분의 각 픽셀 포인트의 밝기값에서 상기 부분에 대응되는 조정될 값을 차감함으로써, K2 부분으로 하여금 정규 분포를 나타내는 곡선도 직선에 가깝게 변화되도록 한다.

이해할 수 있는 것은, 상기 회절 영역 내의 각 픽셀 포인트의 밝기값에서 상기 각 픽셀 포인트에 대응되는 조정될 밝기값을 차감한 후, 도 7에서 K1 및 K2와 유사한 정규 분포 현상은 사라지고, 전체적으로 밝기가 가우시안 분포(즉 정규 분포)를 나타내는 곡선을 나타낸다. 즉, 획득한 제2 이미지의 밝기값은 가우시안 분포를 나타낸다.

한 가지 실시예에 있어서, 단계 S13은,

본 발명의 실시예에 있어서, 역 감마(Gamma) 함수에 따라 회절 영역의 밝기를 낮출 수도 있다. 도 9는 역 감마(Gamma) 함수의 곡선 예시도이고, 도 9에 도시된 역 감마(Gamma) 함수 곡선에 기반하여, 이해할 수 있는 것은, 제1 이미지의 기초에서 역 감마(Gamma) 함수를 사용하여 밝기를 낮출 때, 도 7에 도시된 회절 영역에 속하는 K1 및 K2 부분 밝기는 낮아지지만; K1 및 K2를 제외한 광원 부분은 변경되지 않는다. 따라서 상기 방법을 통해 획득한 밝기가 조정된 제2 이미지도, 회절로 인해 생성된 오버레이 영상을 어느 정도 줄일 수 있음으로써, 제2 이미지로 하여금 상대적으로 제1 이미지보다 더욱 현실적이도록 한다.

한 가지 실시예에 있어서, 단계 S13은,

본 발명의 실시예에 있어서, 기설정된 화질 보상 모델을 통해 제1 이미지의 화질에 대해 보상을 수행할 수도 있고, 설명해야 할 것은, 상기 화질 보상 모델은 입력 이미지의 밝기에 대해 조정을 수행함으로써 이미지의 화질을 향상시킬 수 있기에, 제1 이미지를 상기 모델에 입력한 후, 밝기가 조정된 제2 이미지를 획득할 수 있다.

상기 실시예에 있어서, 기설정된 화질 보상 모델은 신경 네트워크 방식을 사용하여 훈련한 후 획득되고, 예를 들어 화질 보상 모델은 컨볼루션 신경 네트워크 또는 심층 신경 네트워크를 통해, 대량의 샘플 이미지에 대해 훈련한 후 획득한 모델이다. 구체적으로, 샘플 이미지는 단말이 출하되기 전에, 동일한 타깃 대상에 대해 이미지 수집을 수행하여, 각각 획득한 회절 현상이 포함된 실제 이미지 및 회절 현상이 포함되지 않은 기준 이미지일 수 있다. 여기서, 회절 현상이 포함된 실제 이미지는 단말의 카메라에 디스플레이 화면이 설치된 시나리오에서 획득된 것이고, 회절 현상이 포함되지 않은 기준 이미지는 단말의 카메라에 디스플레이 화면이 없는 시나리오에서 획득된 것이다. 획득된 회절 현상이 포함된 실제 이미지에 기반하여, 신경 네트워크 모델을 사용하여 훈련을 수행하고, 훈련 과정에서, 손실 함수를 통해 실제 이미지의 훈련 값 및 기준 이미지 사이의 화질 차이를 가늠함으로써, 역방향 전파로 네트워크에서의 파라미터를 지속적으로 최적화함으로써 훈련된 화질 보상 모델을 획득하도록 한다.

도 10은 일 예시적 실시예에 따라 도시된 이미지 처리 장치 이미지이다. 도 10을 참조하면, 상기 이미지 처리 장치는,

제1 이미지 중 픽셀의 밝기에 따라, 하이라이트 영역을 결정하도록 구성된 제1 결정 모듈(101) - 상기 하이라이트 영역에 포함된 픽셀의 밝기는 상기 하이라이트 영역의 주변 픽셀의 밝기 보다 높음 - ;

상기 하이라이트 영역에 따라, 상기 제1 이미지에서의 회절 영역을 결정하도록 구성된 제2 결정 모듈(102) - 상기 회절 영역은 상기 하이라이트 영역 주위에 분포된 이미지 영역임 - ; 및

상기 회절 영역의 밝기를 낮추어, 제2 이미지를 획득하도록 구성된 조정 모듈(103)을 포함한다.

선택적으로, 상기 제2 결정 모듈(102)은, 구체적으로 상기 제1 이미지 중 픽셀의 밝기의 라이트 필드 분포를 결정하고; 상기 라이트 필드 분포에 따라, 상기 제1 이미지 중 상기 하이라이트 영역의 밝기가 감소하는 방향에서, 회절 현상을 충족시키는 이미지 영역이 존재하는지 여부를 결정하며; 만약 상기 회절 현상을 충족시키는 이미지 영역이 존재하면, 상기 이미지 영역은 상기 회절 영역이라는 것을 결정하도록 구성된다.

선택적으로, 상기 제2 결정 모듈(102)은, 구체적으로 상기 라이트 필드 분포 및 상기 회절 현상의 밝기 특성에 따라, 고층차 위치가 존재하는지 여부를 결정 - 상기 고층차 위치는, 상기 제1 이미지에서 상기 하이라이트 영역을 제외한 영역에서, 제1 부분 영역의 픽셀 밝기와 제2 부분 영역의 픽셀 밝기 사이의 차이값이 제1 임계값보다 클 때, 제1 부분 영역의 픽셀이 위치한 위치이며; 상기 제1 부분 영역의 픽셀 밝기는 제2 부분 영역의 픽셀 밝기보다 큼 - 하도록 구성된다.

선택적으로, 상기 제2 결정 모듈(102)은, 구체적으로 상기 고층차 위치에 위치한 픽셀로 구성된 형상과 상기 하이라이트 영역의 형상의 유사도가 제1 유사도 임계값보다 큰지 여부를 결정하고; 만약 상기 제1 유사도 임계값보다 크면, 상기 회절 현상을 충족시키는 상기 이미지 영역이 존재한다는 것을 결정하도록 구성된다.

선택적으로, 상기 제1 이미지에는 K 개 층차의 상기 고층차 위치가 포함되고; 여기서, 상기 K는 2보다 크거나 같으며, K 번째 단계의 상기 고층차 위치의 픽셀 밝기와 K-1 번째 단계의 상기 고층차 위치의 픽셀 밝기는 같거나 또는 상기 K 값과 음의 상관관계를 나타낸다.

선택적으로, 상기 이미지 처리 장치는,

구체적으로 상기 회절 영역 내의 픽셀 및 상기 회절 영역 밖의 픽셀 사이의 색상 차이 정도에 따라, 상기 회절 영역 내에 분산 현상이 존재하는지 여부를 결정하도록 구성된 제3 결정 모듈(104); 및

구체적으로 만약 상기 회절 영역에 분산 현상이 존재하면, 상기 회절 영역의 밝기 및 색포화도를 낮추어, 상기 제2 이미지를 획득하도록 구성된 상기 조정 모듈(103)을 더 포함한다.

선택적으로, 상기 제3 결정 모듈(104)은, 구체적으로 상기 회절 영역 내의 픽셀 색상과 상기 회절 영역 밖의 픽셀 사이의 색상 차이값을 획득하고; 만약 상기 색상 차이값이 기설정된 색상 임계값보다 크면, 상기 회절 영역 내에 상기 분산 현상이 존재한다는 것을 결정하도록 구성된다.

선택적으로, 상기 조정 모듈(103)은, 구체적으로 상기 회절 영역 내의 각 픽셀 포인트의 밝기값에 따라, 상기 밝기값과 양의 상관관계인 것을 통해 조정될 밝기값을 결정하고; 상기 회절 영역 내의 각 픽셀 포인트의 밝기값에서 상기 각 픽셀 포인트에 대응되는 조정될 밝기값을 차감하여, 밝기값이 가우시안 분포를 나타내는 상기 제2 이미지를 획득하도록 구성된다.

선택적으로, 상기 조정 모듈(103)은, 구체적으로 역 감마(Gamma) 함수에 따라 상기 회절 영역의 밝기를 낮추어, 밝기가 조정된 상기 제2 이미지를 획득하도록 구성된다.

선택적으로, 상기 조정 모듈(103)은, 구체적으로 상기 회절 영역이 포함된 제1 이미지를 기설정된 화질 보상 모델에 입력하여, 밝기가 조정된 상기 제2 이미지를 획득 - 상기 기설정된 화질 보상 모델은 신경 네트워크 방식을 사용하여 훈련한 후 획득된 것임 - 하도록 구성된다.

선택적으로, 상기 제1 결정 모듈(101)은, 구체적으로 상기 제1 이미지 중 각 픽셀 포인트의 밝기값에 따라 클러스터링을 수행하여, 상이한 영역을 분할 - 어느 한 상기 영역 중 픽셀 포인트 사이의 밝기 차이는 기설정된 차이 범위 내에 있고; 분할된 상기 영역에서, 영역의 평균 밝기값이 제일 큰 영역이 상기 하이라이트 영역임 - 하도록 구성된다.

상기 실시예에서의 이미지 처리 장치에 관련하여, 여기서 각 모듈이 동작을 실행하는 구체적 방식은 상기 방법에 관련된 실시예에서 이미 상세하게 설명하였으므로, 여기서 더 이상 반복하지 않는다.

도 11은 일 예시적 실시예에 따라 도시된 단말 장치(800)의 블록도이다. 예를 들어, 이미지 처리 장치(800)는 휴대폰, 모바일 컴퓨터 등 일 수 있다.

도 11을 참조하면, 이미지 처리 장치(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O)의 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.

처리 컴포넌트(802)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 이미지 처리 장치(800)의 전체적인 동작을 제어한다. 처리 컴포넌트(802)는, 상기 방법의 전부 또는 일부 단계를 완료하기 위한 명령어를 실행하는 하나 또는 복수 개의 프로세서(820)를 포함할 수 있다. 또한, 처리 컴포넌트(802)는 처리 컴포넌트(802) 및 다른 컴포넌트 사이의 상호 작용을 용이하게 하기 위해, 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808) 및 처리 컴포넌트(802) 사이의 상호 작용을 용이하게 하기 위해, 멀티미디어 모듈을 포함할 수 있다.

메모리(804)는 이미지 처리 장치(800)의 동작을 지원하기 위해, 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예시는 이미지 처리 장치(800)에서 동작하는 임의의 응용 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 이미지, 동영상 등을 포함한다. 메모리(804)는 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 및 프로그램 가능 읽기 전용 메모리(EEPROM), 소거 및 프로그램 가능 읽기 전용 메모리(EPROM), 프로그램 가능한 읽기 전용 메모리(PROM), 읽기 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 디스켓 또는 CD와 같은 임의의 타입의 휘발성 또는 비휘발성 메모리 기기 또는 이들의 조합으로 구현될 수 있다.

전원 컴포넌트(806)는 이미지 처리 장치(800)의 각 컴포넌트에 전력을 제공한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 복수 개의 전원, 및 랜덤 액세스 이미지 처리 장치(800) 에 전력을 생성, 관리 및 분배하는 것과 관련되는 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(808)는 상기 이미지 처리 장치(800) 및 사용자 사이의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 모니터(LCD) 및 터치 패널(TP)을 포함할 수 있다. 만약 스크린이 터치 패널을 포함하면, 스크린은 사용자로부터 입력된 신호를 수신하도록, 터치스크린으로 구현될 수 있다. 터치 패널은 터치, 슬라이딩 및 터치 패널에서의 제스처를 감지하기 위해 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 뿐만 아니라, 상기 터치 또는 슬라이드 동작과 관련된 지속 시간 및 압력을 검출할 수 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및/또는 후방 카메라를 포함한다. 이미지 처리 장치(800)가 촬영 모드 또는 비디오 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 하나의 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 이미지 처리 장치(800)가 통화 모드, 기록 모드 및 음성 인식 모드와 같은 동작 모드에 있을 경우, 마이크는 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 추가로 메모리(804)에 저장되거나 통신 컴포넌트(816)에 의해 송신될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.

I/O 인터페이스(812)는 처리 컴포넌트(802)와 주변 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(814)는 이미지 처리 장치(800)를 위한 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 이미지 처리 장치(800)의 온/오프 상태, 이미지 처리 장치(800)의 모니터와 모니터 및 키패드와 같은 컴포넌트의 상대적 위치를 검출할 수 있고, 센서 컴포넌트(814)는 이미지 처리 장치(800) 또는 랜덤 액세스 이미지 처리 장치(800)의 하나의 컴포넌트의 위치 변화, 사용자와 랜덤 액세스 이미지 처리 장치(800)의 접촉 여부, 이미지 처리 장치(800) 방위 또는 가속/감속 및 랜덤 액세스 이미지 처리 장치(800)의 온도 변화를 검출할 수도 있다. 센서 컴포넌트(814)는 아무런 물리적 접촉이 없는 경우 주변 물체의 존재를 검출하는 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 CMOS 또는 CCD 이미지 센서와 같은 이미징 애플리케이션에 사용하기 위한 광 센서를 더 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(816)는 이미지 처리 장치(800)와 다른 기기 사이의 유선 또는 무선 방식의 통신을 용이하게 하도록 구성된다. 이미지 처리 장치(800)는 Wi-Fi, 2G 또는 3G 또는 이들의 조합과 같은 통신 기준에 기반한 무선 인터넷에 액세스할 수 있다. 일 예시적 실시예에 있어서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에 있어서, 상기 통신 컴포넌트(816)는 근거리 통신을 추진하는 근거리 무선 통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 통신 규격(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 기반하여 구현될 수 있다.

예시적 실시예에 있어서, 이미지 처리 장치(800)는 하나 또는 복수 개의 응용 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 소자에 의해 구현될 수 있고, 상기 방법을 실행하기 위한 것이다.

예시적 실시예에 있어서, 명령어를 포함하는 메모리(804)와 같은 명령어를 포함하는 비 일시적 컴퓨터 판독 가능 저장 매체를 더 제공하며, 상기 명령어는 상기 방법을 완성하도록 이미지 처리 장치(800)의 프로세서(820)에 의해 실행된다. 예를 들어, 상기 비 일시적 컴퓨터 판독 가능 저장 매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 자기 테이프, 플로피 디스켓 및 광 데이터 저장 기기 등일 수 있다.

비 일시적 컴퓨터 판독 가능 저장 매체로서, 상기 저장 매체에서의 명령어가 단말의 프로세서에 의해 실행될 때, 단말로 하여금 제어 방법을 실행할 수 있도록 하고, 상기 이미지 처리 방법은,

본 분야의 기술자는 명세서를 고려하고 여기서 개시된 발명을 실시한 후, 본 발명의 다른 실시 형태를 용이하게 생각해낼 수 있다. 본 발명은 본 발명의 임의의 변형, 용도 또는 적응성 변화를 포함하도록 의도되며, 이러한 변형, 용도 또는 적응성 변화는 본 출원의 일반적 원리를 따르고 본 출원에서 개시하지 않은 본 기술 분야에서의 공지된 상식 또는 통상적인 기술적 수단을 포함한다. 본 명세서 및 실시예는 다만 예시적인 것으로 간주되며, 본 발명의 진정한 범위 및 사상은 아래의 청구범위에 의해 지적된다.

이해해야 할 것은, 본 발명은 위에서 설명되고 도면에 도시된 정확한 구조에 한정되지 않으며, 이 범위를 벗어나지 않고 다양한 수정 및 변경을 수행할 수 있다. 본 발명의 범위는 첨부된 청구범위에 따라서만 한정된다.

Claims

이미지 처리 방법으로서,
상기 이미지 처리 방법은,
제1 이미지 중 픽셀의 밝기에 따라, 하이라이트 영역을 결정하는 단계 - 상기 하이라이트 영역에 포함된 픽셀의 밝기는 상기 하이라이트 영역의 주변 픽셀의 밝기 보다 높음 - ;
상기 하이라이트 영역에 따라, 상기 제1 이미지에서의 회절 영역을 결정하는 단계 - 상기 회절 영역은 상기 하이라이트 영역 주위에 분포된 이미지 영역임 - ;
상기 회절 영역의 형상과 상기 하이라이트 영역의 형상의 유사도가 제1 유사도 임계값보다 큰지 여부를 결정하는 단계; 및
상기 유사도가 상기 제1 유사도 임계값보다 크면, 상기 회절 영역의 밝기를 낮추어, 제2 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 하이라이트 영역에 따라, 상기 제1 이미지에서의 회절 영역을 결정하는 단계는,
상기 제1 이미지 중 픽셀의 밝기의 라이트 필드 분포를 결정하는 단계;
상기 라이트 필드 분포에 따라, 상기 제1 이미지 중 상기 하이라이트 영역의 밝기가 감소하는 방향에서, 회절 현상을 충족시키는 이미지 영역이 존재하는지 여부를 결정하는 단계; 및
상기 회절 현상을 충족시키는 이미지 영역이 존재하면, 상기 이미지 영역은 상기 회절 영역이라는 것을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항에 있어서,
상기 라이트 필드 분포에 따라, 상기 제1 이미지 중 상기 하이라이트 영역의 밝기가 감소하는 방향에서, 회절 현상을 충족시키는 이미지 영역이 존재하는지 여부를 결정하는 단계는,
상기 라이트 필드 분포 및 상기 회절 현상의 밝기 특성에 따라, 고층차 위치가 존재하는지 여부를 결정하는 단계 - 상기 고층차 위치는, 상기 제1 이미지에서 상기 하이라이트 영역을 제외한 영역에서, 제1 부분 영역의 픽셀 밝기와 제2 부분 영역의 픽셀 밝기 사이의 차이값이 제1 임계값보다 클 때, 제1 부분 영역의 픽셀이 위치한 위치이고; 상기 제1 부분 영역의 픽셀 밝기는 제2 부분 영역의 픽셀 밝기보다 큼 - ; 및
상기 고층차 위치가 존재하면, 상기 회절 현상을 충족시키는 상기 이미지 영역이 존재한다는 것을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제3항에 있어서,
상기 고층차 위치가 존재하면, 상기 회절 현상을 충족시키는 상기 이미지 영역이 존재한다는 것을 결정하는 단계는,
상기 고층차 위치에 위치한 픽셀로 구성된 형상과 상기 하이라이트 영역의 형상의 유사도가 제1 유사도 임계값보다 큰지 여부를 결정하는 단계; 및
상기 제1 유사도 임계값보다 크면, 상기 회절 현상을 충족시키는 상기 이미지 영역이 존재한다는 것을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제3항에 있어서,
상기 제1 이미지에는 K 개 층차의 상기 고층차 위치가 포함되고; 상기 K는 2보다 크거나 같으며, K 번째 층차의 상기 고층차 위치의 픽셀 밝기와 K-1 번째 층차의 상기 고층차 위치의 픽셀 밝기는 같거나 또는 상기 K 값과 음의 상관관계를 나타내는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 이미지 처리 방법은,
상기 회절 영역 내의 픽셀 및 상기 회절 영역 밖의 픽셀 사이의 색상 차이 정도에 따라, 상기 회절 영역 내에 분산 현상이 존재하는지 여부를 결정하는 단계를 더 포함하고;
상기 회절 영역의 밝기를 낮추어, 제2 이미지를 획득하는 단계는,
상기 회절 영역에 분산 현상이 존재하면, 상기 회절 영역의 밝기 및 색포화도를 낮추어, 상기 제2 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제6항에 있어서,
상기 회절 영역 내의 픽셀 및 상기 회절 영역 밖의 픽셀 사이의 색상 차이 정도에 따라, 상기 회절 영역 내에 분산 현상이 존재하는지 여부를 결정하는 단계는,
상기 회절 영역 내의 픽셀 색상과 상기 회절 영역 밖의 픽셀 사이의 색상 차이값을 획득하는 단계; 및
상기 색상 차이값이 기설정된 색상 임계값보다 크면, 상기 회절 영역 내에 상기 분산 현상이 존재한다는 것을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 회절 영역의 밝기를 낮추어, 제2 이미지를 획득하는 단계는,
상기 회절 영역 내의 각 픽셀 포인트의 밝기값에 따라, 상기 밝기값과 양의 상관관계인 것을 통해 조정될 밝기값을 결정하는 단계; 및
상기 회절 영역 내의 각 픽셀 포인트의 밝기값에서 상기 각 픽셀 포인트에 대응되는 조정될 밝기값을 차감하고, 밝기값이 가우시안 분포를 나타내는 상기 제2 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 회절 영역의 밝기를 낮추어, 제2 이미지를 획득하는 단계는,
역 감마(Gamma) 함수에 따라 상기 회절 영역의 밝기를 낮추어, 밝기가 조정된 상기 제2 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 회절 영역의 밝기를 낮추어, 제2 이미지를 획득하는 단계는,
상기 회절 영역이 포함된 제1 이미지를 기설정된 화질 보상 모델에 입력하여, 밝기가 조정된 상기 제2 이미지를 획득하는 단계 - 상기 기설정된 화질 보상 모델은 신경 네트워크 방식을 사용하여 훈련한 후 획득된 것임 - 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 제1 이미지 중 픽셀의 밝기에 따라, 하이라이트 영역을 결정하는 단계는,
상기 제1 이미지 중 각 픽셀 포인트의 밝기값에 따라 클러스터링을 수행하여, 상이한 영역을 분할하는 단계 - 어느 한 상기 영역 중 픽셀 포인트 사이의 밝기 차이는 기설정된 차이 범위 내에 있음 - 를 포함하고;
분할된 상기 영역에서, 영역의 평균 밝기값이 제일 큰 영역이 상기 하이라이트 영역인 것을 특징으로 하는 이미지 처리 방법.
이미지 처리 장치로서,
상기 이미지 처리 장치는,
제1 이미지 중 픽셀의 밝기에 따라, 하이라이트 영역을 결정하도록 구성된 제1 결정 모듈 - 상기 하이라이트 영역에 포함된 픽셀의 밝기는 상기 하이라이트 영역의 주변 픽셀의 밝기 보다 높음 - ;
상기 하이라이트 영역에 따라, 상기 제1 이미지에서의 회절 영역을 결정하고, 상기 회절 영역의 형상과 상기 하이라이트 영역의 형상의 유사도가 제1 유사도 임계값보다 큰지 여부를 결정하도록 구성된 제2 결정 모듈 - 상기 회절 영역은 상기 하이라이트 영역 주위에 분포된 이미지 영역임 - ; 및
상기 유사도가 상기 제1 유사도 임계값보다 크면, 상기 회절 영역의 밝기를 낮추어, 제2 이미지를 획득하도록 구성된 조정 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
제12항에 있어서,
상기 제2 결정 모듈은, 구체적으로 상기 제1 이미지 중 픽셀의 밝기의 라이트 필드 분포를 결정하고; 상기 라이트 필드 분포에 따라, 상기 제1 이미지 중 상기 하이라이트 영역의 밝기가 감소하는 방향에서, 회절 현상을 충족시키는 이미지 영역이 존재하는지 여부를 결정하며; 상기 회절 현상을 충족시키는 이미지 영역이 존재하면, 상기 이미지 영역은 상기 회절 영역이라는 것을 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제13항에 있어서,
상기 제2 결정 모듈은, 구체적으로 상기 라이트 필드 분포 및 상기 회절 현상의 밝기 특성에 따라, 고층차 위치가 존재하는지 여부를 결정 - 상기 고층차 위치는, 상기 제1 이미지에서 상기 하이라이트 영역을 제외한 영역에서, 제1 부분 영역의 픽셀 밝기와 제2 부분 영역의 픽셀 밝기 사이의 차이값이 제1 임계값보다 클 때, 제1 부분 영역의 픽셀이 위치한 위치이며; 상기 제1 부분 영역의 픽셀 밝기는 제2 부분 영역의 픽셀 밝기보다 큼 - 하도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
제14항에 있어서,
상기 제2 결정 모듈은, 구체적으로 상기 고층차 위치에 위치한 픽셀로 구성된 형상과 상기 하이라이트 영역의 형상의 유사도가 제1 유사도 임계값보다 큰지 여부를 결정하고; 상기 제1 유사도 임계값보다 크면, 상기 회절 현상을 충족시키는 상기 이미지 영역이 존재한다는 것을 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제14항에 있어서,
상기 제1 이미지에는 K 개 층차의 상기 고층차 위치가 포함되고; 상기 K는 2보다 크거나 같으며, K 번째 층차의 상기 고층차 위치의 픽셀 밝기와 K-1 번째 층차의 상기 고층차 위치의 픽셀 밝기는 같거나 또는 상기 K 값과 음의 상관관계를 나타내는 것을 특징으로 하는 이미지 처리 장치.
제12항에 있어서, 상기 이미지 처리 장치는,
상기 회절 영역 내의 픽셀 및 상기 회절 영역 밖의 픽셀 사이의 색상 차이 정도에 따라, 상기 회절 영역 내에 분산 현상이 존재하는지 여부를 결정하도록 구성된 제3 결정 모듈; 및
상기 회절 영역에 분산 현상이 존재하면, 상기 회절 영역의 밝기 및 색포화도를 낮추어, 상기 제2 이미지를 획득하도록 구성된 상기 조정 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제17항에 있어서,
상기 제3 결정 모듈은, 구체적으로 상기 회절 영역 내의 픽셀 색상과 상기 회절 영역 밖의 픽셀 사이의 색상 차이값을 획득하고; 상기 색상 차이값이 기설정된 색상 임계값보다 크면, 상기 회절 영역 내에 상기 분산 현상이 존재한다는 것을 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제12항에 있어서,
상기 조정 모듈은, 구체적으로 상기 회절 영역 내의 각 픽셀 포인트의 밝기값에 따라, 상기 밝기값과 양의 상관관계인 것을 통해 조정될 밝기값을 결정하고; 상기 회절 영역 내의 각 픽셀 포인트의 밝기값에서 상기 각 픽셀 포인트에 대응되는 조정될 밝기값을 차감하여, 밝기값이 가우시안 분포를 나타내는 상기 제2 이미지를 획득하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제12항에 있어서,
상기 조정 모듈은, 구체적으로 역 감마(Gamma) 함수에 따라 상기 회절 영역의 밝기를 낮추어, 밝기가 조정된 상기 제2 이미지를 획득하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제12항에 있어서,
상기 조정 모듈, 구체적으로 상기 회절 영역이 포함된 제1 이미지를 기설정된 화질 보상 모델에 입력하여, 밝기가 조정된 상기 제2 이미지를 획득 - 상기 기설정된 화질 보상 모델은 신경 네트워크 방식을 사용하여 훈련한 후 획득된 것임 - 하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제12항에 있어서,
상기 제1 결정 모듈은, 구체적으로 상기 제1 이미지 중 각 픽셀 포인트의 밝기값에 따라 클러스터링을 수행하여, 상이한 영역을 분할 - 어느 한 상기 영역 중 픽셀 포인트 사이의 밝기 차이는 기설정된 차이 범위 내에 있고; 분할된 상기 영역에서, 영역의 평균 밝기값이 제일 큰 영역이 상기 하이라이트 영역임 - 하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
단말로서,
제12항 내지 제22항 중 어느 한 항에 따른 이미지 처리 장치를 포함하는 것을 특징으로 하는 단말.
비 일시적 컴퓨터 판독 가능 저장 매체로서,
상기 저장 매체에서의 명령어가 컴퓨터의 프로세서에 의해 실행될 때, 컴퓨터로 하여금 제1항 내지 제11항 중 어느 한 항에 따른 이미지 처리 방법을 실행 가능하도록 하는 것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체.