KR20210064193A

KR20210064193A - 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램

Info

Publication number: KR20210064193A
Application number: KR1020217006608A
Authority: KR
Inventors: 유스케 모리우치; 아츠시 이토
Original assignee: 소니그룹주식회사
Priority date: 2018-09-25
Filing date: 2019-08-30
Publication date: 2021-06-02
Also published as: EP3859657A1; CN112740263A; BR112021005139A2; US20210312589A1; JPWO2020066456A1; WO2020066456A1; EP3859657A4

Abstract

휘도 편차나 색 불균일을 저감한 고화질의 보정 화상을 생성 가능하게 한 화상 처리 장치, 방법을 실현한다. 화상의 화소값 보정에 적용하는 보정 함수의 산출에 이용하는 샘플링점을 화상으로부터 선택하는 샘플링점 선택부와, 샘플링점의 화소값과 위치 정보를 적용하여 보정 함수를 산출하는 보정 함수 산출부와, 보정 함수를 적용하여 화상의 화소값 보정을 행하는 화상 보정부를 갖고, 샘플링점 선택부는, 화상의 구성 화소를 복수의 부분 집합(클러스터)으로 분할하는 클러스터링(클러스터 분할)을 실행하고, 클러스터링에 의해 생성된 복수 클러스터로부터 샘플링점 추출 클러스터를 결정하고, 샘플링점 추출 클러스터로부터 샘플링점을 선택하는 처리를 실행한다.

Description

화상 처리 장치 및 화상 처리 방법, 그리고 프로그램

본 개시는, 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램에 관한 것이다. 더욱 상세하게는, 화상의 휘도 편차 등을 보정하여 고화질 화상을 생성하는 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램에 관한 것이다.

근년, 리모트 컨트롤에 의한 비행, 혹은 GPS 등에 기초하는 자율 비행을 행하는 소형의 비행체인 드론의 이용이 급격하게 증가하고 있다.

예를 들어, 드론에 카메라를 장착하고, 상공으로부터 지상의 풍경을 촬영하는 처리 등에 이용된다.

또한, 최근에는, 농지에 있어서의 작물의 성장 확인이나 관리, 지형의 확인 처리나, 측량 처리, 혹은 건축 현장 등에 있어서도 드론을 이용한 공중 촬영 화상이 이용되고 있다.

드론은 이동하면서 연속적으로 소정 영역의 화상을 촬영한다. 촬영된 복수의 화상을 서로 연결시키면 넓은 영역의 1매의 화상을 생성할 수 있다.

그러나, 공중을 이동하는 드론은 바람 등의 영향으로 각 화상을 촬영할 때의 자세가 변화해버린다. 이 결과, 카메라에 대한 피사체로부터의 광의 입력 조건이 변화하여, 각 촬영 화상의 휘도나 색이 균일하게 되지 않고, 들쑥날쑥하게 되어 버린다. 이러한 다른 휘도나 색을 갖는 화상을 서로 연결시켜서 1매의 합성 화상을 생성하면, 각 화상의 이음매의 연속성이 상실된 저품질의 화상이 된다.

또한, 1매의 촬영 화상이더라도, 예를 들어, 들쑥날쑥한 구름이 존재하는 환경에서는, 구름의 그늘 부분과, 그림자로 되지 않는 부분에서는 휘도나 색이 달라져버린다.

상술한 바와 같이, 촬영 위치나 촬영 방향을 변화시켜서 촬영한 복수매의 화상을 서로 연결시켜서 합성 화상(파노라마 화상)을 생성하는 스티칭(모자이킹) 처리에서는, 촬영 화상 단위의 조명 상태 등의 변화에 따라, 합성 화상의 이음매에 상당하는 영역에서 화소의 휘도값이 불연속으로 변화한다는 문제가 발생한다.

이 문제를 해결하는 기술을 개시한 문헌으로서, 예를 들어, 이하의 문헌이 있다.

비특허문헌 1(「내시경 화상의 쉐이딩 보정과 색조 보정」 안도 마사하루저, 일본 소화기 내시경 학회 잡지, 31권, 7호, p.1727-1741,1989.)

이 문헌에는, 평활화 필터를 사용한 신호값 보정 방법이 개시되어 있다.

구체적으로는, 촬영 화상이나 참조용 화상을 평활화한 화상을 이용하여, 촬영 화상의 각 화소의 신호값을 평활화 화상의 각 화소값의 신호값으로 제산하여, 촬영 화상의 휘도 편차를 보정하는 방법을 개시하고 있다.

그러나, 이 문헌에 기재된 보정 방법은, 화상 중에 포함되는 보정 대상 이외의 피사체의 휘도 변화 정보도 보정 화상에 영향을 미치기 때문에, 보정 화상 내에 링잉 아티팩트 등의 에러가 발생한다는 문제가 있다.

또한, 특허문헌 1(일본 특허 공개 제2004-139219호 공보)에는, 기지의 기하 조건을 기초로 신호값을 보정하는 방법이 개시되어 있다.

이 문헌은, 카메라나 촬영 환경의 조명, 촬영 대상의 기하 조건을 이용하여 화상 보정을 위한 이차 함수 등의 보정 함수를 산출하고, 산출한 보정 함수를 이용하여 화상의 밝기 등의 보정량을 조정하는 방법을 개시하고 있다.

즉, 촬영 환경으로부터 미리 예측되는 휘도 변화를 보정 함수로 피팅하여 촬영 화상의 휘도 보정을 행함으로써, 촬영 화상 내의 조명 불균일에 의한 휘도 변화를 보정하는 것이다.

그러나, 본 방법은, 조명이나 카메라의 좌표나 방향의 특정이 어려울 경우나, 촬영 대상의 면이 평면이 아니고, 요철을 가진 곡면일 경우 등, 기하 조건으로부터 정확한 보정 함수를 구하는 것이 곤란한 경우에는, 고정밀도의 보정을 할 수 없다는 문제가 있다.

일본 특허 공개 제2004-139219호 공보

「내시경 화상의 쉐이딩 보정과 색조 보정」 안도 마사하루저, 일본 소화기 내시경 학회 잡지, 31권, 7호, p.1727-1741,1989.

본 개시는, 예를 들어 상기 문제점을 감안하여 이루어진 것이며, 촬영 조건이 다른 화상을 서로 연결시켜서 1매의 합성 화상을 생성할 때에, 화상 간의 휘도 등, 출력 화소값의 차이를 저감하여 고품질의 합성 화상을 생성 가능하게 한 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램을 제공하는 것을 목적으로 한다.

예를 들어 옥외에 있어서 드론 등의 이동 물체로부터 촬영한 화상을 서로 연결시켜서 1매의 화상을 제작하는 스티칭 처리를 행하는 경우, 태양광이나 조명 등의 조사광 조건, 카메라 자세, 피사체면의 요철 상태 등의 기하 조건의 특정이 곤란한 환경이더라도, 적절한 화소값 보정에 의해 화상의 이음매의 불연속성을 초래하는 링잉 아티팩트를 억제하여, 화상 간의 이음매가 두드러지지 않는 고품질의 합성 화상을 생성 가능하게 한다.

또한, 본 개시는, 1매의 촬영 화상 중에 휘도 편차 등, 출력 화소값의 차이가 있는 경우에도, 이 차이를 저감하여 고품질의 1매의 화상을 생성 가능하게 한 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램을 제공하는 것을 목적으로 한다.

본 개시의 제1 측면은,

화상의 화소값 보정에 적용하는 보정 함수의 산출에 이용하는 샘플링점을 상기 화상으로부터 선택하는 샘플링점 선택부와,

상기 샘플링점 선택부가 선택한 샘플링점의 화소값과 위치 정보를 적용하여 상기 보정 함수를 산출하는 보정 함수 산출부와,

상기 보정 함수를 적용하여 상기 화상의 화소값 보정을 행하는 화상 보정부를 갖고,

상기 샘플링점 선택부는,

상기 화상의 구성 화소를 복수의 부분 집합으로 분할하는 클러스터링을 실행하고,

상기 클러스터링에 의해 생성된 복수 클러스터로부터 샘플링점 추출 클러스터를 결정하고,

상기 샘플링점 추출 클러스터로부터 샘플링점을 선택하는 처리를 실행하는 화상 처리 장치에 있다.

또한, 본 개시의 제2 측면은,

화상 처리 장치에 있어서 실행하는 화상 처리 방법이며,

샘플링점 선택부가, 화상의 화소값 보정에 적용하는 보정 함수의 산출에 이용하는 샘플링점을 상기 화상으로부터 선택하는 샘플링점 선택 스텝과,

보정 함수 산출부가, 상기 샘플링점 선택부가 선택한 샘플링점의 화소값과 위치 정보를 적용하여 상기 보정 함수를 산출하는 보정 함수 산출 스텝과,

화상 보정부가, 상기 보정 함수를 적용하여 상기 화상의 화소값 보정을 행하는 화상 보정 스텝을 실행하고,

상기 샘플링점 선택 스텝은,

상기 화상의 구성 화소를 복수의 부분 집합으로 분할하는 클러스터링을 실행하는 스텝과,

상기 클러스터링에 의해 생성된 복수 클러스터로부터 샘플링점 추출 클러스터를 결정하는 스텝과,

상기 샘플링점 추출 클러스터로부터 샘플링점을 선택하는 스텝을 갖는 화상 처리 방법에 있다.

또한, 본 개시의 제3 측면은,

화상 처리 장치에 있어서 화상 처리를 실행시키는 프로그램이며,

샘플링점 선택부에, 화상의 화소값 보정에 적용하는 보정 함수의 산출에 이용하는 샘플링점을 상기 화상으로부터 선택시키는 샘플링점 선택 스텝과,

보정 함수 산출부에, 상기 샘플링점 선택부가 선택한 샘플링점의 화소값과 위치 정보를 적용하여 상기 보정 함수를 산출시키는 보정 함수 산출 스텝과,

화상 보정부에, 상기 보정 함수를 적용하여 상기 화상의 화소값 보정을 행하게 하는 화상 보정 스텝을 실행시키고,

상기 샘플링점 선택 스텝에 있어서는,

상기 샘플링점 추출 클러스터로부터 샘플링점을 선택하는 스텝을 실행시키는 프로그램에 있다.

또한, 본 개시의 프로그램은, 예를 들어, 여러가지 프로그램·코드를 실행 가능한 정보 처리 장치나 컴퓨터 시스템에 대하여 컴퓨터 가독의 형식으로 제공하는 기억 매체, 통신 매체에 의해 제공 가능한 프로그램이다. 이러한 프로그램을 컴퓨터 가독의 형식으로 제공함으로써, 정보 처리 장치나 컴퓨터 시스템 상에서 프로그램에 따른 처리가 실현된다.

본 개시의 또다른 목적, 특징이나 이점은, 후술하는 본 개시의 실시예나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 밝혀질 것이다. 또한, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에 한정하지는 않는다.

본 개시의 일 실시예의 구성에 의하면, 휘도 편차나 색 불균일을 저감한 고화질의 보정 화상을 생성 가능하게 한 화상 처리 장치, 방법이 실현된다.

구체적으로는, 예를 들어, 화상의 화소값 보정에 적용하는 보정 함수의 산출에 이용하는 샘플링점을 화상으로부터 선택하는 샘플링점 선택부와, 샘플링점의 화소값과 위치 정보를 적용하여 보정 함수를 산출하는 보정 함수 산출부와, 보정 함수를 적용하여 화상의 화소값 보정을 행하는 화상 보정부를 갖고, 샘플링점 선택부는, 화상의 구성 화소를 복수의 부분 집합(클러스터)으로 분할하는 클러스터링(클러스터 분할)을 실행하고, 클러스터링에 의해 생성된 복수 클러스터로부터 샘플링점 추출 클러스터를 결정하고, 샘플링점 추출 클러스터로부터 샘플링점을 선택하는 처리를 실행한다.

본 구성에 의해, 휘도 편차나 색 불균일을 저감한 고화질의 보정 화상을 생성 가능하게 한 화상 처리 장치, 방법이 실현된다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또한 부가적인 효과가 있어도 된다.

도 1은 본 개시의 화상 처리 장치의 제1 실시예의 구성예를 도시하는 블록도이다.
도 2는 보정 대상으로 되는 촬영 화상에 대하여 K-Means법으로 화상을 11 클러스터(K=11)로 분할한 예를 도시하는 도면이다.
도 3은 도 2에 도시하는 K-Means법에 의해 분할한 11 클러스터의 각각에 속하는 요소(화소)의 신호값의 평균값과 그 도수를 나타낸 히스토그램을 도시하는 도면이다.
도 4는 도 3의 히스토그램을 이용하여 선택한 샘플링점 추출 클러스터로부터 랜덤하게 샘플링점을 선택한 결과를 도시하는 도면이다.
도 5는 샘플링점 선택부에 있어서 시맨틱 세그멘테이션을 적용하여 클러스터링을 행한 경우의 예에 대하여 설명하는 도면이다.
도 6은 유저가 설정한 경계나 미리 규정한 경계를 사용하여 촬영 화상을 복수의 영역으로 분할하고, 이들 분할 영역을 클러스터로서 설정한 예에 대하여 설명하는 도면이다.
도 7은 본 개시의 화상 처리 장치에 의한 처리와, 종래형의 처리에 의한 화상 보정예의 구체적인 차이에 대하여 설명하는 도면이다.
도 8은 본 개시의 화상 처리 장치에 의한 처리에 대하여 설명하는 도면이다.
도 9는 도 1에 도시하는 화상 처리 장치가 실행하는 화상 처리의 시퀀스에 대하여 설명하는 흐름도를 도시하는 도면이다.
도 10은 본 개시의 화상 처리 장치의 제2 실시예의 구성과 처리에 대하여 설명하는 도면이다.
도 11은 도 10에 도시하는 화상 처리 장치가 실행하는 화상 처리의 시퀀스에 대하여 설명하는 흐름도를 도시하는 도면이다.
도 12는 본 개시의 화상 처리 장치의 제3 실시예의 구성과 처리에 대하여 설명하는 도면이다.
도 13은 도 12에 도시하는 화상 처리 장치가 실행하는 화상 처리의 시퀀스에 대하여 설명하는 흐름도를 도시하는 도면이다.
도 14는 본 개시의 화상 처리 장치의 제4 실시예의 구성과 처리에 대하여 설명하는 도면이다.
도 15는 본 개시의 화상 처리 장치의 제4 실시예의 실행하는 처리에 대하여 설명하는 도면이다.
도 16은 본 개시의 화상 처리 장치의 제4 실시예의 실행하는 처리에 대하여 설명하는 도면이다.
도 17은 본 개시의 화상 처리 장치의 제5 실시예의 구성과 처리에 대하여 설명하는 도면이다.
도 18은 본 개시의 화상 처리 장치의 제5 실시예의 실행하는 처리에 대하여 설명하는 도면이다.
도 19는 본 개시의 화상 처리 장치의 제6 실시예의 구성과 처리에 대하여 설명하는 도면이다.
도 20은 본 개시의 화상 처리 장치의 제6 실시예의 실행하는 처리에 대하여 설명하는 도면이다.
도 21은 본 개시의 화상 처리 장치의 하드웨어 구성예에 대하여 설명하는 도면이다.

이하, 도면을 참조하면서 본 개시의 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램의 상세에 대하여 설명한다. 또한, 설명은 이하의 항목에 따라서 행한다.

1. 본 개시의 화상 처리 장치의 제1 실시예의 구성과 처리에 대해서

2. 화상 처리 장치가 실행하는 화상 처리 시퀀스에 대해서

3. 본 개시의 화상 처리 장치의 제2 실시예의 구성과 처리에 대해서

4. 본 개시의 화상 처리 장치의 제3 실시예의 구성과 처리에 대해서

5. 기타의 실시예에 대해서

6. 화상 처리 장치의 하드웨어 구성예에 대해서

7. 본 개시의 구성 마무리

[1. 본 개시의 화상 처리 장치의 제1 실시예의 구성과 처리에 대해서]

먼저, 도 1 이하를 참조하여 본 개시의 화상 처리 장치의 제1 실시예의 구성과 처리에 대하여 설명한다.

도 1은, 본 개시의 화상 처리 장치의 제1 실시예의 구성예를 도시하는 블록도이다. 도 1에 도시한 바와 같이, 화상 처리 장치(100)는 샘플링점 선택부(101)와, 보정 함수 산출부(102)와, 화상 보정부(보정 함수 적용부)(103)를 갖는다.

화상 처리 장치(100)는 보정 대상으로 되는 1매의 촬영 화상(10)을 입력하고, 보정을 실행하여 보정 화상(20)을 출력한다.

또한, 본 실시예에 있어서, 보정 대상으로 되는 촬영 화상(10)은 카메라의 1회의 촬영 처리에 의해 촬영된 1매의 촬영 화상이다. 즉 복수의 화상을 서로 연결시키는 스티칭 처리를 행하여 생성한 합성 화상은 아니다.

예를 들어 드론 등의 이동체에 장착한 카메라에 의해 촬영한 화상에는, 상공의 구름, 혹은 다른 비행체인 비행기나 새 등의 그늘이 되는 영역과 그늘이 되지 않는 영역이 포함되는 경우가 있고, 이러한 영역 간에서는 휘도나 색이 다르다. 즉 휘도 편차나 색 불균일이 발생해버린다.

도 1에 도시하는 화상 처리 장치(100)는 이러한 1매의 촬영 화상(10)에 포함되는 화소값의 출력 불균일을 보정하여, 휘도 편차나 색 불균일 등을 저감한 보정 화상(20)을 생성한다.

또한, 도 1에 도시하는 화상 처리 장치(100)의 각 구성부는 개별의 하드웨어로 혹은 일체화한 하드웨어로 하여 구성 가능하다. 또한, 도 1에 도시하는 화상 처리 장치(100)의 각 구성부의 실행하는 처리는, 그 일부, 또는 전부를 소프트웨어(프로그램)에 의해 실행하는 것도 가능하다.

또한, 이하의 설명에 있어서는, 촬영 화상(10)은 RGB 컬러 화상인 예에 대하여 설명한다. 단, 이것은 일례이며, 본 개시의 화상 처리 장치는, RGB 화상에 한하지 않고, YCbCr 화상 등의 RGB 이외의 컬러 화상이나, 모노크롬 화상, 휘도 화상 등, 여러가지 화상에 대하여 보정 처리를 행하는 것이 가능하다.

도 1에 도시하는 화상 처리 장치(100)의 구성과 처리에 대하여 설명한다.

먼저, 도 1에 도시하는 화상 처리 장치(100)의 샘플링점 선택부(101)는 보정 대상으로 되는 촬영 화상(10)을 입력한다.

이 촬영 화상(10)은 예를 들어 드론에 의해 촬영된 1매의 화상이다.

샘플링점 선택부(101)는 이 보정 대상으로 되는 촬영 화상(10)으로부터 샘플링점이 되는 화소를 선택한다.

샘플링점이란, 다음 보정 함수 산출부(102)에 있어서 보정 함수를 생성하기 위하여 이용하는 화소이다.

샘플링점 선택부(101)는 샘플링점의 화소값(휘도값 등)과 그 위치 정보를 다음의 보정 함수 산출부(102)로 출력한다.

보정 함수 산출부(102)는 샘플링점 선택부(101)로 선택한 샘플링점의 화소값과 위치 정보를 이용하여 보정 함수를 생성한다.

최종단의 화상 보정부(보정 함수 적용부)(103)에서는, 보정 함수 산출부(102)가 생성한 보정 함수를 촬영 화상(10)의 모든 화소에 적용하고, 전체 화소의 화소값 보정을 실행하여 보정 화상(20)을 생성한다.

샘플링점 선택부(101)는 먼저, 보정 대상으로 되는 촬영 화상(10)의 구성 화소를 복수의 부분 집합(클러스터)으로 분할하는 클러스터링(클러스터 분할) 처리를 실행한다.

촬영 화상(10)의 구성 화소를 복수의 부분 집합(클러스터)으로 분할하는 방법으로서는, 예를 들어, 이하와 같은 기존의 클러스터링 방법을 적용할 수 있다.

(a) K-Means법(K 평균법),

(b) K-NN법(K 최단 거리법: K-Nearest Neighbor법),

(c) Ward법(워드법),

(d) 시맨틱 세그멘테이션,

K-Means법(K 평균법)은 비계층적 방법에 따른 클러스터링 방법이며, 평가 함수를 사용하여 최적의 평가값을 얻도록 분류하여 K개의 부분 집합(클러스터)으로 분류하는 방법이다.

K-NN법은, 계층적 방법에 따른 클러스터링 방법이며, 어떤 기준값이나 표준 패턴으로부터 거리가 가까운(유사도가 높은) 순으로 정렬하고, K개의 클래스로 분류하는 방법이다.

Ward법도, 계층적 방법에 따른 클러스터링 방법이며, 각 클러스터 내의 제곱합이 최소가 되도록 분류하는 방법이다.

시맨틱 세그멘테이션은, 화상 내의 오브젝트와, 여러가지 실제의 오브젝트 형상이나 기타의 특징 정보에 기초하는 오브젝트 식별용의 사전 데이터(학습 완료 데이터)의 일치도에 기초하여, 화상의 구성 화소(픽셀) 각각이, 어떤 카테고리(사람, 차, 도로, 식물 등)에 속하는 오브젝트인지를 식별하여 각 카테고리 단위의 클러스터로 분류하는 방법이다.

또한, 시맨틱 세그멘테이션에는, 예를 들어 이하와 같은 복수의 다른 방법이 있다.

(d1) Conditional Random Fields(CRF)를 사용한 방법(P.Krahenbuhl, et.al, "Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials", NIPS'11 Proceedings of the 24th International Conference on Neural Information Processing Systems, 2011.)

(d2) 컨벌루션 뉴럴 네트워크(CNN)를 이용한 방법(G. Lin, et.al, "Efficient Piecewise Training of Deep Structured Models for Semantic", IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2016.)

(d3) 적대 생성 학습(GAN)을 이용한 방법(P.Isola, et.al, "Image-to-Image Translation with Conditional Adversarial Networks", IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2017.)

샘플링점 선택부(101)는 예를 들어 상기 클러스터링 방법, 즉,

(a) K-Means법(K 평균법),

(b) K-NN법(K 최단 거리법: K-Nearest Neighbor법),

(c) Ward법(워드법),

(d) 시맨틱 세그멘테이션,

이들 중 어느 하나의 방법을 적용하여 보정 대상으로 되는 촬영 화상(10)의 구성 화소를 복수의 부분 집합(클러스터)으로 분할하는 클러스터링(클러스터 분할) 처리를 실행한다.

이어서, 샘플링점 선택부(101)는 분할한 클러스터로부터, 샘플링점, 즉, 다음의 보정 함수 산출부(102)에 있어서 보정 함수를 생성하기 위하여 이용하는 샘플링점(화소)을 선택한다.

샘플링점의 선택 처리는, 예를 들어, 이하의 수순으로 실행된다.

상기 클러스터링에 의해 분류된 복수의 화소군인 부분 집합(클러스터)으로부터, 샘플링점 추출 클러스터를 결정한다.

이어서, 결정한 샘플링점 추출 클러스터에 포함되는 화소를 샘플링점으로서 선택한다.

이하, 이들 처리의 상세에 대하여 설명한다.

샘플링점 선택부(101)는 먼저, 상기 클러스터링에 의해 분류된 복수의 화소군인 부분 집합(클러스터)으로부터, 샘플링점 추출 클러스터를 결정한다.

샘플링점 추출 클러스터의 결정 방법으로서는, 예를 들어, 이하의 어느 것의 방법이 적용 가능하다.

(1) 가장 샘플(요소/화소)이 많은 클러스터로부터 순서대로 1개 이상의 클러스터를 샘플링점 추출 클러스터로 한다.

(2) 각 클러스터의 화소 출력(화소값이나 휘도값 등)의 평균값이나 중앙값이 전체 클러스터의 중심이 되는 클러스터, 또는 그 클러스터와 인접하는 수 클러스터를 샘플링점 추출 클러스터로 한다.

(3) 유저가 특정한 클러스터를 선택하고, 선택한 클러스터를 샘플링점 추출 클러스터로 한다.

상기 (2)에 나타내는 각 클러스터의 평균값이나 중앙값은, 본 예에서는, 각 클러스터에 속하는 화소의 화소값이나 휘도값의 평균값이나 중앙값이 된다.

이 (2)에 나타내는 각 클러스터의 평균값이나 중앙값의 중심이 되는 클러스터, 또는 그 클러스터와 인접하는 수 클러스터를 샘플링점 추출 클러스터로 함으로써, 예를 들어 화상 내의 극단적으로 어두운 화소 영역이나 밝은 영역을 포함하는 클러스터는 샘플링점 추출 클러스터로 설정되지 않아, 샘플링점이 추출되지 않게 된다.

또한, 상기 (3)의 유저에 의한 클러스터 선택의 일례로서, 휘도 편차나 색 불균일을 저감한 화소값을 구하고자 하는 특정한 피사체(오브젝트)의 화소가 많이 포함되는 클러스터를 선택한다고 한 예가 있다.

구체적으로는, 예를 들어 드론으로 촬영한 농지의 작물 생육 상황 등을 해석하고자 한다고 하는 목적이 있는 경우에는, 그 작물의 화상 영역에 포함되는 화소를 많이 포함하는 클러스터를 샘플링점 추출 클러스터로서 선택한다고 하는 것이 가능하다.

또한, 드론으로 촬영한 농지의 토양을 해석하고자 한다고 하는 목적이 있는 경우에는, 지면이나 농작물이 비치는 화소를 많이 포함하는 클러스터를 샘플링점 추출 클러스터로 하면 된다.

또한, 선택하는 샘플링점 추출 클러스터는 1개의 클러스터여도 되지만, 2개 이상의 클러스터를 샘플링점 추출 클러스터로서 선택해도 된다.

샘플링점 선택부(101)에 있어서 선택된 샘플링점 추출 클러스터 내의 화소가 샘플링점(화소)으로서 설정되어서 다음의 보정 함수 산출부(102)에 있어서 보정 함수를 생성하기 위하여 이용된다.

샘플링점 선택부(101)에 있어서 실행하는 샘플링점 선택 처리의 구체예에 대해서, 도 2 이하를 참조하여 설명한다.

도 2 이하를 참조하여 설명하는 처리는, 보정 대상으로 되는 촬영 화상(10)의 구성 화소를 복수의 부분 집합(클러스터)으로 분할하는 클러스터링(클러스터 분할) 처리로서 K-Means법(K 평균법)을 적용한 처리예이다.

전술한 바와 같이, K-Means법(K 평균법)은 비계층적 방법에 따른 클러스터링 방법이며, 평가 함수를 사용하여 최적의 평가값을 얻도록 분류하여 K개의 부분 집합(클러스터)으로 분류하는 방법이다.

도 2는, 보정 대상으로 되는 촬영 화상(10)에 대하여 K-Means법으로 화상을 11 클러스터(K=11)로 분할한 예를 도시하는 도면이다.

또한, 도 2는 농담 화상으로서 나타내고 있지만, 실제로는 11개의 클러스터에 대응하여 다른 색이 설정되어 있다. 각 색이 11개의 클러스터 각각에 대응한다.

각 클러스터에는 1개 이상의 화소(요소)가 포함되고, 하나의 클러스터로 분류된 화소는, 클러스터 분류에 적용한 특징 정보(예를 들어 휘도나 색)가 유사한 화소가 된다.

또한, 클러스터 분류에 적용하는 화소의 특징 정보로서는, 예를 들어 화소의 「휘도」, 「색」, 혹은 RGB 어느 값, 예를 들어 「G」의 화소값 등, 여러가지 특징 정보를 이용할 수 있다.

예를 들어 「휘도」를 클러스터 분류에 적용하는 특징 정보로서 이용하면, 각 화소의 휘도가 유사한 화소의 집합 단위로 복수의 클러스터로 분류할 수 있다.

또한, 예를 들어 「G」의 화소값을 클러스터 분류에 적용하는 특징 정보로서 이용하면, 각 화소의 G의 출력값이 유사한 화소의 집합 단위로 복수의 클러스터로 분류할 수 있다.

이와 같이, 클러스터 분류에 적용하는 특징 정보로서 적용하는 신호 공간은, 촬영 화상(10)의 휘도, 또는 색 정보나, RGB 신호의 3 파장 전부를 사용해도 되고, RGB 신호 중의 임의의 파장 신호나, 그 조합을 사용해도 된다. 또한, 촬영 화상(10)을 Lab 공간이나, YUV 공간, xy 색도 공간 등의 원하는 공간으로 변환 후에 얻어지는 화상의 신호나 그 조합을 사용해도 된다.

도 3은, 도 2에 도시하는 K-Means법에 의해 분할한 11 클러스터의 각각에 속하는 요소(화소)의 신호값의 평균값과 그 도수를 나타낸 히스토그램이다.

횡축이, 도 2에 도시하는 K-Means법에 의해 분할한 11 클러스터 각각의 클러스터 내 요소(화소)의 휘도(또는 화소값) 평균값이며, 종축이, 각 클러스터의 도수, 즉 각 클러스터에 포함되는 요소수(화소수)를 나타내고 있다.

샘플링점 선택부(101)는 예를 들어, 이 히스토그램에 기초하여 샘플링점 추출 클러스터의 선택을 행할 수 있다.

예를 들어, 분할한 클러스터의 도수가 최대가 되는 클러스터를 기준으로, 휘도 평균값이 높아지는 방향(도면의 그래프 우측)으로, 미리 규정한 수의 클러스터를 샘플링점 추출 클러스터로서 선택한다. 또한 선택한 클러스터에 속하는 화소를 랜덤하게 샘플링한다.

샘플링점 선택부(101)는 예를 들어 이 처리에 의해, 샘플링 화소의 선택을 행한다.

도 3에 도시하는 히스토그램에 있어서, 클러스터의 도수가 최대가 되는 클러스터는 좌측으로부터 2번째의 클러스터이며, 이 클러스터를 기준으로, 휘도 평균값이 높아지는 방향(도면의 그래프 우측)으로, 미리 규정한 수의 클러스터, 예를 들어 7개의 클러스터를 샘플링점 추출 클러스터로서 선택한다.

이와 같이 하여 선택한 7개의 샘플링점 추출 클러스터에 속하는 화소를 랜덤하게 샘플링한다.

예를 들어, 이렇게 샘플링점 추출 클러스터를 선택함으로써, 히스토그램의 좌측 단부나 우측 단부측의 클러스터로부터는 샘플링점(화소)이 선택되지 않게 된다. 이것은, 휘도나 화소값이 화상 전체의 평균값으로부터 크게 떨어진 화소, 즉 저휘도의 화소나 고휘도의 화소를 샘플링하지 않는다고 하는 처리이다.

이러한 처리를 행함으로써, 화상 중의 그림자나 경면 반사 등의 영향을 받은 화소를 제외한 화소 집합으로부터 샘플링점을 선택할 수 있다.

또한, 도 3을 참조하여 설명한 히스토그램을 이용한 샘플링점 추출 클러스터의 선택 처리는 일례이며, 전술한 바와 같이, 샘플링점 추출 클러스터의 선택 처리는, 이밖에, 예를 들어, 선택한 클러스터에 속하는 화소수가, 화상 전체의 화소수 중, 일정한 비율을 초과할 때까지 선택하는 등, 여러가지 처리에 의해 행할 수 있다.

도 4는, 도 3의 히스토그램을 이용하여 선택한 샘플링점 추출 클러스터, 즉, 11 클러스터의 도수가 최대가 되는 클러스터를 기준으로, 휘도 평균값이 높아지는 방향으로 선택한 7개의 샘플링점 추출 클러스터로부터 랜덤하게 샘플링점을 선택한 결과를 도시하는 도면이다.

도 4에 도시하는 화상 내의 벡점이 샘플링점(화소)을 나타낸다.

도 4에 도시하는 화상의 우측 상단측에는 강이 촬영되어 있고, 이 강의 수면에서는 태양광의 반사광이 카메라에 입사하고 있다. 즉, 이 강 영역, 경면 반사 영역이 된다. 이러한 경면 반사 영역은, 휘도가 화상 전체의 평균값으로부터 크게 벗어난 고휘도 영역이며, 본 처리예에서는, 이러한 영역으로부터는, 샘플링 화소가 선택되지 않는다.

또한, 마찬가지로, 휘도가 화상 전체의 평균값으로부터 크게 벗어난 저휘도 영역으로부터도 샘플링 화소가 선택되지 않는다.

본 처리예에 있어서, 샘플링 화소는, 휘도나 화소값이 화상 전체의 평균값에 가까운 화소로 구성되어, 평균값으로부터 크게 벗어난 저휘도 화소나 고휘도 화소를 포함하지 않는 화소에 의해 구성되게 된다.

이러한 화상의 평균적인 화소값에 의해 구성되는 샘플링 화소의 화소값 정보와 위치 정보가, 도 1에 도시하는 보정 함수 산출부(102)로 출력되고, 보정 함수 산출부(102)는 이 샘플링 화소의 화소값과 위치 정보에 기초하여 보정 함수를 생성한다.

상술한 바와 같이, 샘플링점 선택부(101)는 샘플링점의 화소값(휘도값 등)과 그 위치 정보를 다음의 보정 함수 산출부(102)로 출력한다.

보정 함수 산출부(102)는 샘플링점 선택부(101)에서 선택한 샘플링점의 화소값과 위치 정보를 이용하여 보정 함수를 생성한다.

보정 함수 산출부(102)는 화상의 평균적인 화소값에 의해 구성되는 샘플링 화소의 화소값에 기초하는 보정 함수를 생성할 수 있어, 극단적인 휘도나 화소값을 갖는 화소의 영향을 저감한 보정 함수를 생성하는 것이 가능하게 된다.

도 2 내지 도 4를 참조하여 설명한 샘플링점 선택 처리는, 샘플링점 선택부(101)가 K-Means법(K 평균법)을 적용하여 화상의 구성 화소를 K개의 부분 집합(클러스터)으로 분류하는 클러스터링을 행하고, 이 클러스터링 결과를 이용하여 샘플링점을 선택한 예이다.

전술한 바와 같이, 샘플링점 선택부(101)는 K-Means법(K 평균법) 이외에도 여러가지 클러스터링 방법을 적용할 수 있다.

도 5는, 샘플링점 선택부(101)에 있어서 시맨틱 세그멘테이션을 적용하여 클러스터링을 행한 경우의 예이다.

전술한 바와 같이, 시맨틱 세그멘테이션은, 화상 내의 오브젝트와, 여러가지 실제의 오브젝트 형상이나 기타의 특징 정보에 기초하는 오브젝트 식별용의 사전 데이터(학습 완료 데이터)의 일치도에 기초하여, 화상의 구성 화소(픽셀) 각각이, 어떤 카테고리(사람, 차, 도로, 식물 등)에 속하는 오브젝트인지를 식별하여 각 카테고리 단위의 클러스터로 분류하는 방법이다.

도 5에 도시한 바와 같이, 화상에 대한 시맨틱 세그멘테이션을 행함으로써, 도 5에 도시한 바와 같은 오브젝트 단위에서의 화소 분류(클러스터링)가 실행된다.

도 5에 도시하는 예에서는, 양배추, 사람, 땅, 강, 집, 나무, 도로, 흑색 부분, 땅, 이들 오브젝트가 식별되어 있다. 이들이 개별의 클러스터가 된다.

또한, 화상 중에는 오브젝트 식별을 할 수 없는 불명 영역(Unknown)도 발생하는 경우가 있다.

예를 들어, 농작물인 양배추의 생육 상황을 해석 목적으로 하고 있는 경우, 양배추의 색 등의 정보를 정확하게 취득할 필요가 있게 된다. 이것을 위해서는 양배추가 촬영되고 있는 화상 영역의 화소값을 휘도 편차나 색 불균일을 저감시킨 화소값으로 보정, 즉 구름의 그늘의 영향 등을 제거한 화소값으로 보정할 것이 요구된다.

이러한 해석 목적이 있는 경우, 양배추가 포함되는 화상 영역을 샘플링점 추출 클러스터로서 선택하고, 이 샘플링점 추출 클러스터 내의 요소(화소)를 샘플링점(화소)으로서 선택한다.

이 샘플링 화소의 화소값 정보가, 도 1에 도시하는 보정 함수 산출부(102)로 출력되고, 보정 함수 산출부(102)는 이 샘플링 화소의 화소값에 기초하여 보정 함수를 생성한다.

보정 함수 산출부(102)는 양배추의 화상 영역인 샘플링점 추출 클러스터로부터 선택된 샘플링 화소의 화소값에 기초하는 보정 함수를 생성할 수 있고, 그 결과로서, 양배추의 화상 영역에 특화한 보정 함수를 생성하는 것이 가능하게 된다.

이와 같이, 샘플링점 추출 클러스터로부터 선택한 샘플링점을 사용함으로써 보정 대상 이외의 나무나 강 등의 신호값의 영향을 받지 않고 보정 함수를 생성하여 보정 처리를 행할 수 있다.

또한, 샘플링점 선택부(101)에 있어서의 클러스터링, 즉, 촬영 화상(10)의 구성 화소를 복수의 부분 집합(클러스터)으로 분할하는 방법은, 전술한 바와 같이, 이하와 같은 기존의 클러스터링 방법을 적용할 수 있다.

(a) K-Means법(K 평균법),

(b) K-NN법(K 최단 거리법: K-Nearest Neighbor법),

(c) Ward법(워드법),

(d) 시맨틱 세그멘테이션,

샘플링점 선택부(101)에 있어서의 클러스터링은, 이들 기존 방법에 한하지 않고, 예를 들어, 유저가 설정한 경계나 미리 규정한 경계를 사용하여 촬영 화상(10)을 복수의 영역으로 분할하고, 이들 분할 영역을 클러스터로서 설정해도 된다. 구체예를 도 6에 도시하였다.

도 6에는, 이하의 클러스터 분할예를 도시하고 있다.

(1) 클러스터 분할예 1: 화상을 타일상으로 등분할한 클러스터링 처리예

(2) 클러스터 분할예 2: 화상 단부만을 복수의 영역으로 분할한 클러스터링 처리예

(3) 클러스터 분할예 3: 유저 지정의 경계를 사용하여 화상 영역을 분할한 클러스터링 처리예

예를 들어, 이렇게 여러가지 클러스터링을 행해도 된다.

샘플링점 선택부(101)는 클러스터링을 행한 후, 샘플링점 추출 클러스터를 결정하고, 또한 결정한 샘플링점 추출 클러스터로부터 샘플링점을 선택한다.

샘플링점 선택 처리는, 예를 들어, 샘플링점 추출 클러스터로부터 랜덤하게 임의수의 화소를 선택하는 처리로서 실행 가능하다.

혹은, 샘플링점 선택 대상인 샘플링점 추출 클러스터를, 추가로 복수의 영역으로 분할하고, 분할한 각 영역에서 선택수의 치우침이 적어지도록, 각 영역으로부터 랜덤하게 샘플링점을 선택한다고 하는 방법을 행해도 된다.

상술한 바와 같이, 샘플링점 선택부(101)는

(1) 촬영 화상(10)의 구성 화소를 복수의 부분 집합(클러스터)으로 분할하는 클러스터링 처리,

(2)복수의 클러스터로부터, 샘플링점 추출 대상으로 되는 샘플링점 추출 클러스터를 결정하는 처리,

(3) 결정한 샘플링점 추출 클러스터로부터, 샘플링점(화소)을 선택하는 처리,

이들 처리를 실행한다.

샘플링점 선택부(101)가 선택한 샘플링점(화소)의 화소값(휘도값 등) 정보는, 그 위치 정보와 함께 보정 함수 산출부(102)에 입력된다.

보정 함수 산출부(102)는 샘플링점 선택부(101)가 선택한 샘플링점(화소)의 화소값과 위치 정보를 사용하여, 촬영 화상(10)의 구성 화소 전부에 적용하는 보정 함수를 산출한다.

보정 함수 산출부(102)는 예를 들어, 커널 회귀 보간(Kernel Regression), 스플라인 곡면 보간, 다항식 근사 곡면, 선형 보간 등의 기존의 방법의 어느 것을 사용하여, 화상 좌표의 2차원 함수로서 보정 곡면 피팅 등을 행하고, 화상의 구성 화소의 화소값을 보정하기 위한 보정 함수를 산출한다.

이하에서는, 보정 함수 산출부(102)가 실행하는 보정 함수 산출 처리의 일례로서, 커널 회귀 보간(Kernel Regression)을 사용하여 보정 함수를 산출하는 예에 대하여 설명한다.

커널 회귀 보간이란, 데이터 관측 공간인 관측 공간 d의 데이터를, 관측 공간 d와는 다른 어떤 특징에 대응한 공간인 특징 공간(사영 공간) D에 사영하고, 특징 공간(사영 공간) D 상에서 데이터 대응의 근사면을 산출하고, 산출한 사영 공간상의 근사면에 기초하여, 원래의 관측 공간 d 상의 근사면(y(x))을 얻는 것이다. 이 관측 공간 d 상의 근사면(y(x))에 의해, 원래의 관측 공간 d 상의 모든 x에 대응하는 정밀도가 높은 근사해를 얻을 수 있다.

또한, 관측 공간 d는, 본 예에서는, 샘플링점 선택부(101)가 선택한 샘플링점(화소)의 위치와 화소값(휘도값)에 의해 구성된다.

상술한 커널 회귀 보간에 의해 산출 가능한 근사면(y(x))은 샘플링점 이외의 점도 포함하는 모든 점에 대응하는 화소값(휘도값)의 근사해(추정값)를 정의한 면이 된다.

샘플링점 선택부(101)가 선택한 샘플링점(화소)의 총 수를 N개로 한다. N개의 샘플링점의 화소 집합을 d로 한다.

x를 N개의 샘플링점의 화소 위치, t를 신호값으로 하면, 집합 d는, 이하의 (수식 1)로서 나타낼 수 있다.

또한, 화소 위치 x는, 화소 위치를 나타내는 2차원 좌표 데이터(x,y)를 나타내는 벡터이다.

신호값 t는 클러스터링을 행했을 때의 특징 정보에 대응하고, 예를 들어 휘도값이다.

(x,t)는 화소 위치 x와, 그 화소 위치 x의 휘도값 t의 조합이다.

또한, 예를 들어 클러스터링을 행했을 때의 특징 정보가 RGB의 G의 신호값이면 신호값 t는 G의 신호값이며, (x,t)는 화소 위치 x와, 그 화소 위치 x의 G 신호값 t의 조합이다.

보정 함수 산출부(102)는 클러스터링에 적용한 특징 정보에 대응하는 근사면 y(x)나 보정 함수를 생성할 수 있다.

샘플링점 선택부(101)가 선택한 N개의 샘플링점의 화소 집합 d를 상기 (수식 1)과 같이 정의하면, 입력 x에 대한 근사면 y(x)(근사면 산출 함수)는 다음의 (수식 2)로서 나타낼 수 있다.

또한, 상기 (수식 2)에 나타내는 근사면 산출 함수 y(x)에 있어서,

λ는 정칙화 파라미터이다.

또한, K는 그램 행렬이며, 이하의 (수식 3)에 나타내는 행렬이다.

또한, 상기 (수식 2)의 k(x)는 이하의 (수식 4)로 기술된다.

상기 (수식 4)의 k(x,x') 는, 커널 함수이며, 가우시안 커널이나 다항식 커널, 전체 부분 집합 커널, ANOVA 커널 등의 커널 함수를 사용할 수 있다. 본 예에서는, 가우시안 커널을 사용한 예에 대하여 설명한다.

가우시안 커널을 사용한 경우, 상기 (수식 4)의 커널 함수: k(x,x') 는, 표준 편차 σ를 사용하여, 이하의 (수식 5)로서 기술할 수 있다.

보정 함수 산출부(102)는 또한, 산출한 근사면 y(x)를 사용하여, 이하에 나타낸 (수식 6)을 적용하여, 보정 후의 각 화소의 화소값을 산출하는 보정 함수를 생성한다.

또한, 상기 (수식 6)에 나타내는 보정 함수에 있어서,

Y'(x)는 촬영 화상(10)의 보정 후의 화소 위치(x) 대응의 신호값(화소값이나 휘도값),

Y(x)는 촬영 화상(10)의 보정 전의 화소 위치(x) 대응의 신호값(화소값이나 휘도값),

y(x)는 전술한 (수식 2)로 나타나는 근사면 y(x),

Yref(x)는 미리 규정한 보정 기준이다.

보정 기준 Yref(x)는 예를 들어 샘플링점 추출 클러스터의 화소값의 평균값이나 중앙값, 유저가 선택한 값을 사용하는 것이 가능하다. 유저에 의한 선택값은, 화소 위치에 따라서 값을 변경한 값으로 하고 있어도 된다.

상기 (수식 6)은

전술한 (수식 2)로 나타나는 근사면 y(x)와,

샘플링점 추출 클러스터의 화소값의 평균값이나 중앙값, 유저가 선택한 값에 의해 구성되는 보정 기준 Yref(x),

이들 2개의 값의 비(Yref(x)/y(x))가 클수록 보정량이 크게 설정되는 보정 함수이다.

Yref(x)와 y(x)가 동등하여, (Yref(x)/y(x))=1의 경우에는, 상기 (수식 6)에 따라서 산출되는 보정 화소값 Y'(x)는 보정 전의 화소값 Y(x)와 동등해져,

Y'(x)=Y(x)가 된다.

한편, 보정 기준 Yref(x)의 값과, 근사면 y(x)의 값의 차가 크고, 이들 2개의 값의 비(Yref(x)/y(x))가 큰 경우, 보정 전의 화소값 Y(x)에 대한 보정량이 크게 설정되게 된다.

보정 양태의 구체예에 대해서는 후술한다.

보정 함수 산출부(102)가 실행하는 처리를 정리하면 이하와 같이 된다.

(1) 입력 x에 대한 출력값(화소값이나 휘도값 등)을 정의한 근사면 y(x)를 산출한다.

(2) 근사면 y(x)와, 보정 기준 Yref(x)의 비율에 따라서 보정량을 변동시키는 보정 함수(수식 6)를 산출한다.

또한, 본 예에서는, 상기 (1)에 있어서의 「입력 x에 대한 출력값(화소값이나 휘도값 등)」이란 화소 위치에 대응하는 화소값이나 휘도값이며, 근사면 y(x)는 화소 위치에 대응하는 화소값이나 휘도값을 정의한 근사면 y(x)이다.

이와 같이, 보정 함수 산출부(102)는 클러스터링을 행했을 때의 특징 정보에 대응하는 신호값 t에 대응하는 보정 함수를 산출한다.

예를 들어, 클러스터링을 행했을 때의 특징 정보가 휘도값이며, 보정 함수 생성 시의 신호값 t가 휘도값에 대응하는 경우, 휘도값에 대응하는 보정 함수가 산출된다.

이 휘도값 대응의 보정 함수는, 보정 대상으로 되는 촬영 화상(10)의 휘도값의 보정에 적용한다. 또한, 이 휘도값 대응의 보정 함수를 촬영 화상(10)의 구성 화소 각각의 RGB의 화소값의 보정에 적용하는 처리를 행해도 된다. 이 경우, RGB의 전체 신호값이 보정된다.

또한, 예를 들어, 클러스터링을 행했을 때의 특징 정보가 RGB의 G 신호값이며, 보정 함수 생성 시의 신호값 t가 G의 화소값에게 대응하는 경우, G 화소값에 기초하여 생성한 보정 함수를 보정 대상으로 되는 촬영 화상(10)의 구성 화소 각각의 G 화소값에만 적용한다고 하는 처리를 행하는 것도 가능하다.

이 경우, RGB의 화소값 중, G 화소값만이 보정된다.

이와 같이, 보정 함수 산출부(102)는 촬영 화상(10)의 구성 화소 각각의 RGB전체 화소값에 적용하는 하나의 보정 함수를 산출하는 구성으로 해도 되고, RGB 3파장의 화소값 대응의 3종류의 보정 함수를 개별로 산출하는 구성으로 해도 된다.

다음의 화상 보정부(보정 함수 적용부)(103)는, 보정 함수 산출부(102)가 산출한 보정 함수(수식 6)에 따라서, 촬영 화상(10)의 전체 구성 화소의 보정 화소값을 산출하고, 산출한 화소값을 설정한 보정 화상(20)을 생성한다.

또한, 보정 대상은, 기본적으로는 촬영 화상(10)의 전체 구성 화소이다. 화상 보정부(보정 함수 적용부)(103)는, 보정 함수 산출부(102)가 산출한 보정 함수를 적용하여 촬영 화상(10)의 전체 구성 화소의 보정 화소값을 산출하고, 산출한 화소값을 설정한 보정 화상(20)을 생성한다.

또한, 유저 설정에 의해, 특정한 화상 영역이나 특정한 클러스터를 보정 대상으로 하는 것도 가능하다.

이상, 도 1에 도시하는 화상 처리 장치(100)의 각 구성부가 실행하는 일련의 처리에 대하여 설명하였다.

이 본 실시예에 따른 처리와, 종래형의 처리에 의한 화상 보정예의 구체적인 차이에 대하여 도 7을 참조하여 설명한다.

도 7에는, 이하의 2개의 도면을 도시하고 있다.

(1) 종래형의 처리예(공간적으로 균등한 샘플링점 선택을 실행한 경우의 화상 보정 처리예)

(2) 본 개시의 처리예(클러스터링 결과에 기초하는 샘플링점 선택을 실행한 경우의 화상 보정 처리예)

(1) 종래형의 처리예는, 보정 대상으로 되는 화상의 2차원 평면으로부터 공간적으로 균등한 샘플링점의 선택을 행한 경우의 처리예이다. 즉, 화상 상에 등간격으로 샘플링점을 설정하고, 이 샘플링점의 화소값에 기초하여 근사면 y(x)를 산출하고, 근사면 y(x)와 보정 기준 Yref(x)의 비율에 따라서 보정량을 변동시키는 보정 함수(수식 6)를 적용하여 보정을 행한 경우의 처리예이다. 보정 기준 Yref(x)는 화상의 평균 휘도를 사용하고 있다.

한편, (2) 본 개시의 처리예는, 클러스터링 결과에 기초하는 샘플링점 선택을 실행한 경우의 처리예이다. 즉, 이하의 처리 (S1) 내지 (S3)에 의해 산출한 보정 함수를 적용한 경우의 보정예이다.

(S1) 도 2 내지 도 4를 참조하여 설명한 클러스터링과 샘플링점 추출 클러스터의 결정 처리와, 샘플링점 추출 클러스터로부터의 샘플링점의 선택 처리

(S2) 샘플링점의 화소값과 위치 정보에 기초하는 근사면 y(x)의 산출,

(S3) 산출한 근사면 y(x)와 보정 기준 Yref(x)의 비율에 따라서 보정량을 변동시키는 보정 함수(수식 6)의 산출,

이들 스텝 S1 내지 S3에 의해 생성한 보정 함수(수식 6)를 적용하여 보정을 행한 경우의 처리예이다. 보정 기준 Yref(x)은 화상의 평균 휘도를 사용하고 있다.

또한, 도 7의 (2)에 도시하는 예는, 보정 대상 화상이 되는 화상의 평균 휘도나 중간 휘도에 가까운 화소를 많이 포함하는 클러스터를 샘플링점 추출 클러스터로서 설정한 경우의 처리예이다. 보정 대상 화상이 되는 화상의 평균 휘도나 중간 휘도로부터 크게 벗어난 고휘도 화소나 저휘도 화소를 많이 포함하는 클러스터는 샘플링점 추출 클러스터로서 설정되어 있지 않다.

도 7의 (1), (2)에는, (A), (B), (C)의 각 도면을 도시하고 있다.

(A)는 화소 위치-휘도 대응 곡선(=보정 전 화소 휘도값)과, 샘플링점의 선택 양태를 도시하는 도면이다.

(B)는 샘플링점에 기초하여 생성되는 근사면 y(x)(=화소 위치-휘도 근사 곡선)를 도시하는 도면이다.

(C)는 화소 위치-휘도 대응 곡선(=보정 전 화소 휘도값)과, 근사면 y(x)와, 보정 함수에 기초하여 보정된 화소값인 화소 위치-휘도 대응 곡선(=보정 후 화소 휘도값)을 도시하는 도면이다. (C) 중에는, 또한, 앞서 설명한 (수식 6) 중의Yref(x), 즉 미리 규정한 보정 기준으로서 사용하는 화상의 평균 휘도값 Yref(x)를 나타내고 있다.

(A) 내지 (C) 모두 횡축이 화소 위치, 종축이 휘도값(화소값)이다.

도 7의 (1) 종래형의 처리예, 즉, 공간적으로 균등한 샘플링점 선택을 실행한 경우의 화상 보정 처리예에서는, (A)에 도시하는 바와 같이, 샘플링점은, 화소 위치를 나타내는 횡축을 따라 등간격으로 선택되어 있다. 휘도값이 급격하게 높게 되어 있는 화소 위치(x1)의 화소도 샘플링되어 있다.

또한, 이 고휘도 영역은, 예를 들어, 먼저 도 4를 참조하여 설명한 화상의 강 영역 등에 상당한다.

도 7의 (1)(B)에 도시하는 바와 같이, 근사면 y(x)은, 등간격으로 선택된 샘플링점을 매끄럽게 접속하도록 생성된다. 근사면 y(x)은 휘도가 급격하게 높게 되어 있는 화소 위치(x1)의 근방에 있어서, 이 화소 위치(x1)의 휘도 레벨에 근접하도록 만곡되어 있다.

도 7의 (1)(C)에는, 보정 함수(수식 6)에 기초하여 보정된 화소값인 화소 위치-휘도 대응 곡선(=보정 후 화소 휘도값)을 나타내고 있다.

이 화소 위치-휘도 대응 곡선(=보정 후 화소 휘도값)은 앞서 설명한 (수식 6)에 따라서 산출되는 보정 화소값 Y'(x)에 상당하는 곡선이다.

도 7의 (1)(C)에 도시하는 바와 같이, 휘도가 급격하게 높게 되어 있는 화소 위치(x1)의 근방에 있어서, 화소 위치-휘도 대응 곡선(=보정 후 화소 휘도값)은 상하로 크게 변동하는 설정으로 되어 있다.

이것은, 앞서 설명한 (수식 6), 즉,

Y'(x)=(Yref(x)/y(x))Y(x) …(수식 6)

상기 (수식 6)에 있어서, Yref(x)와 y(x)의 차분이 클수록, (Yref(x)/y(x))이 커져서, 보정 전의 화소값 Y(x)의 보정량이 커지는 설정이기 때문이다.

도 7의 (1)(C)에 도시하는 바와 같이, 휘도가 급격하게 높게 되어 있는 화소 위치(x1)의 근방에서는,

보정 함수에 대응하는 화소 위치-휘도 근사 곡선(y(x))과,

미리 규정한 보정 기준으로서 사용하는 화상의 평균 휘도값 Yref(x)

의 차분이 커져서, 앞서 설명한 (수식 6) 중의 (Yref(x)/y(x))이 커져서, 보정 전의 화소값 Y(x)의 보정량이 커져버린다.

이 결과, 도 7의 (1)(C)에 도시하는 바와 같이, 보정 전의 휘도값이 주위와 비교하여 크게 높게 되어 있는 화소 위치(x1)의 근방에서는 보정량이 크게 설정되어, 급격한 화소값 변화, 즉 아티팩트가 발생한다.

또한, 화소 위치(x1)의 보정 후의 화소값 Y'(x)은 원래의 보정 전의 화소값 Y(x)와 비교하여 크게 보정되어버리기 때문에, 그 결과로서 주위의 화소 휘도와의 휘도차가 감소해버려, 화상 전체의 다이내믹 레인지가 감소해버린다.

이에 반해, 도 7의 (2)에 도시하는 본 개시의 처리예는, 클러스터링 결과에 기초하는 샘플링점 선택을 실행한 경우의 처리예이다. 화상의 평균 휘도나 중간 휘도에 가까운 화소를 많이 포함하는 클러스터를 샘플링점 추출 클러스터로서 설정한 경우의 처리예이다. 보정 대상 화상이 되는 화상의 평균 휘도나 중간 휘도로부터 크게 벗어난 고휘도 화소나 저휘도 화소를 많이 포함하는 클러스터는 샘플링점 추출 클러스터로서 설정되어 있지 않다.

도 7의 (2) 본 개시의 처리예에서는, (A)에 도시하는 바와 같이, 샘플링점은, 화상의 평균 휘도나 중간 휘도에 가까운 화소를 많이 포함하는 클러스터로부터 추출되어 있기 때문에, 휘도값이 주위로부터 급격하게 높게 되어 있는 화소 위치(x1)의 화소는 샘플링되어 있지 않다.

도 7의 (2)(B)에 도시하는 바와 같이, 근사면 y(x)은 화상의 평균 휘도나 중간 휘도에 가까운 화소를 많이 포함하는 클러스터로부터 추출된 샘플링점을 매끄럽게 접속하도록 생성된다. 근사면 y(x)은 휘도가 급격하게 높게 되어 있는 화소 위치(x1)의 근방에 있어서 만곡하고 있지 않다. 즉, 도 7의 (1)(B)에 도시하는 바와 같이 화소 위치(x1)의 휘도 레벨에 가까워지는 만곡이 형성되지 않는다.

도 7의 (2)(C)에는, 클러스터링 결과에 기초하여 선택한 샘플링점에 기초하여 생성된 보정 함수(수식 6)에 따라서 보정된 화소값인 화소 위치-휘도 대응 곡선(=보정 후 화소 휘도값)을 나타내고 있다.

도 7의 (2)(C)에 도시하는 바와 같이, 휘도가 급격하게 높게 되어 있는 화소 위치(x1)의 근방에 있어서, 화소 위치-휘도 대응 곡선(=보정 후 화소 휘도값)은 거의 보정 전의 화소값(휘도값)을 유지한 설정으로 되어 있다.

이것은, 앞서 설명한 (수식 6), 즉,

Y'(x)=(Yref(x)/y(x))Y(x) …(수식 6)

상기 (수식 6)에 있어서, Yref(x)와 y(x)의 차분이 작을수록, (Yref(x)/y(x))이 작아져, 보정 전의 화소값 Y(x)의 보정량이 작아지는 설정이기 때문이다.

도 7의 (2)(C)에 도시하는 바와 같이, 휘도가 급격하게 높게 되어 있는 화소 위치(x1)의 근방에 있어서,

근사면 y(x)와,

의 차분은 작은 설정이다.

즉, 앞서 설명한 (수식 6) 중의 (Yref(x)/y(x))이 작아져, 보정 전의 화소값 Y(x)의 보정량이 작아진다.

이것은, 근사면 y(x)의 생성 시에, 휘도가 급격하게 높게 되어 있는 화소 위치(x1)의 화소를 샘플링점으로서 선택하지 않고, 이 고휘도 화소의 화소값을 근사면 y(x)에 반영시키지 않는 설정으로 했기 때문이다.

이 결과, 도 7의 (2)(C)에 도시하는 바와 같이, 보정 전의 휘도값이 주위와 비교하여 크게 높게 되어 있는 화소 위치(x1)에서는 보정량이 작게 설정되어, 보정전후의 화소값에 큰 변화가 발생하지 않는 보정이 행해지게 된다.

이 결과, 종래형의 처리로서 설명한 도 7의 (1)(C)에 도시하는 바와 같은 급격한 화소값 변화, 즉 아티팩트의 발생이 방지된다.

또한, 화소 위치(x1)의 보정 후의 화소값 Y'(x)은 원래의 보정 전의 화소값 Y(x)로부터 크게 변화하지 않기 때문에, 그 결과로서 주위의 화소 휘도와의 휘도차가 감소하지 않고, 화상 전체의 다이내믹 레인지의 감소도 억제된다.

이와 같이, 도 1에 도시하는 본 개시의 화상 처리 장치(100)를 적용한 화상 보정을 행함으로써, 휘도 변화가 큰 부분에 있어서의 아티팩트의 발생이 방지 가능하고, 또한 화상 전체의 다이내믹 레인지의 감소도 방지할 수 있고, 화질 저하가 적은 화소값 보정을 실현할 수 있다.

도 8에는, 또하나의 본 개시의 처리예를 도시하고 있다.

(3) 본 개시의 처리예(클러스터링 결과에 기초하는 샘플링점 선택을 실행한 경우의 화상 보정 처리예)

이 처리예는, 예를 들어 화상 내의 일부가 구름의 그늘로 되어 있어 어두워져 있는 경우의 화상 보정예이다.

단 이 예는, 예를 들어, 구름의 그늘로 된 어두운 영역도 해석 대상 영역, 예를 들어 성장 상태의 해석 대상인 농작물인 양배추의 화상 영역이며, 올바른 화소값으로 복원할 것이 요구되는 해석 대상 영역인 경우의 예이다.

이러한 경우, 구름의 그늘로 된 어두운 영역에 대해서도 다른 밝은 영역과 마찬가지로, 샘플링점으로서 선택하는 처리를 행한다.

즉 피사체 오브젝트로서 해석 대상인 양배추의 영역을 많이 포함하는 클러스터를 샘플링점 추출 클러스터로서 설정한다.

이와 같이, 도 8의 (3)에 도시하는 본 개시의 처리예는, 해석 대상 영역, 예를 들어 농작물인 양배추의 화상 영역을 포함하는 영역을 샘플링점 추출 클러스터로서 설정한 경우의 처리예이다.

도 8의 (3) 본 개시의 처리예에서는, (A)에 도시하는 바와 같이, 구름의 그늘의 영향으로 휘도가 떨어져 있는 영역에 대해서도, 그 영역이 양배추의 화상 영역을 포함하는 영역이면, 다른 밝은 영역과 마찬가지로, 샘플링점이 추출된다.

도 8의 (B)에 도시하는 바와 같이, 근사면 y(x)은 샘플링점을 매끄럽게 접속하도록 생성된다. 근사면 y(x)은 휘도가 떨어져 있는 영역에서는, 그 위치의 휘도 레벨에 근접하도록 만곡되어 있다.

도 8의 (C)에는, 클러스터링 결과에 기초하여 선택한 샘플링점에 기초하여 생성된 보정 함수(수식 6)에 따라서 보정된 화소값인 화소 위치-휘도 대응 곡선(=보정 후 화소 휘도값)을 나타내고 있다.

도 8의 (C)에 도시하는 바와 같이, 휘도가 떨어져 있는 화소 위치 근방에 있어서, 화소 위치-휘도 대응 곡선(=보정 후 화소 휘도값)은 보정 전의 화소값(휘도값)으로부터 크게 밝은 방향으로 보정된 설정으로 되어 있다.

이것은, 앞서 설명한 (수식 6), 즉,

Y'(x)=(Yref(x)/y(x))Y(x) …(수식 6)

도 8의 (C)에 도시하는 바와 같이, 휘도가 떨어져 있는 화소 위치의 근방에 있어서,

근사면 y(x)와,

의 차분은 크다.

즉, 앞서 설명한 (수식 6) 중의 (Yref(x)/y(x))이 커져서, 보정 전의 화소값 Y(x)의 보정량이 커진다.

이것은, 근사면 y(x)의 생성 시에, 휘도가 떨어져 있는 화소 위치의 화소도 샘플링점으로서 선택하고, 이 저휘도 화소의 화소값을 근사면 y(x)에 반영시킨 설정으로 했기 때문이다.

이 결과, 도 8의 (C)에 도시하는 바와 같이, 보정 전의 휘도값이 주위와 비교하여 떨어져 있는 화소 위치에서는 보정량이 크게 설정되어, 보정에 의해 휘도값을 높게 하는 보정이 행해지게 된다.

이 결과, 구름의 그늘에 의해 휘도값이 저하된 영역이 밝게 보정되어, 구름의 영향을 배제한 것과 마찬가지의 보정 화상이 생성된다.

이와 같이, 도 1에 도시하는 본 개시의 화상 처리 장치(100)를 적용한 화상 보정에서는, 보정 대상 오브젝트를 포함하는 화상 영역에 그림자 등의 영향으로 휘도가 변동하고 있는 경우에도, 그 화상 영역의 화소를 포함하는 클러스터를 샘플링점 추출 클러스터로서 설정함으로써, 그 화상 영역의 그림자에 의한 영향을 저감시킨 화소값 보정을 행하는 것이 가능하게 된다.

[2. 화상 처리 장치가 실행하는 화상 처리 시퀀스에 대해서]

이어서, 도 1에 도시하는 화상 처리 장치(100)가 실행하는 화상 처리의 시퀀스에 대해서, 도 9에 도시하는 흐름도를 참조하여 설명한다.

또한, 도 9에 도시하는 흐름도에 따른 처리는, 예를 들어 화상 처리 장치(100)의 기억부에 저장된 프로그램에 따라서 실행 가능하다. 예를 들어 프로그램 실행 기능을 갖는 CPU 등을 갖는 데이터 처리부(제어부)의 제어 하에서 실행 가능하다.

이하, 도 9에 도시하는 흐름도의 각 스텝의 처리에 대해서, 순차, 설명한다.

(스텝 S101)

먼저, 화상 처리 장치(100)는 스텝 S101에 있어서, 보정 대상으로 되는 촬영 화상을 입력한다.

이 촬영 화상은, 도 1에 도시하는 촬영 화상(10)이며, 예를 들어 드론에 의해 촬영된 1매의 화상이다. 촬영 화상은, 예를 들어 일부 영역이 구름 등의 그늘로 되어, 타 영역와 비교하여 어두운 화소값으로 설정되어, 휘도 편차나 색 불균일이 있는 화상이다.

(스텝 S102)

이어서, 화상 처리 장치(100)는 스텝 S102에 있어서, 보정 대상으로 되는 촬영 화상(10)의 구성 화소를 복수의 부분 집합(클러스터)으로 분할하는 클러스터링(클러스터 분할)을 실행한다.

이 처리는, 도 1에 도시하는 샘플링점 선택부(101)가 실행한다.

앞서 설명한 바와 같이, 이하와 같은 기존의 클러스터링 방법을 적용할 수 있다.

(a) K-Means법(K 평균법),

(b) K-NN법(K 최단 거리법: K-Nearest Neighbor법),

(c) Ward법(워드법),

(d) 시맨틱 세그멘테이션,

또한, 이들 기존 방법에 한하지 않고, 앞서 도 6을 참조하여 설명한 바와 같이, 예를 들어, 유저가 설정한 경계나 미리 규정한 경계를 사용하여 촬영 화상(10)을 복수의 영역으로 분할하고, 이들 분할 영역을 클러스터로서 설정해도 된다.

또한, 클러스터 분류에 적용하는 화소의 특징 정보로서는, 예를 들어 화소의 「휘도」, 「색」, 혹은 RGB 중 어느 것의 값, 예를 들어 「G」의 화소값 등, 여러가지 특징 정보를 이용할 수 있다.

(스텝 S103)

이어서, 화상 처리 장치(100)는 스텝 S103에 있어서, 보정 대상으로 되는 촬영 화상(10)으로부터 샘플링점을 선택한다.

이 처리도, 도 1에 도시하는 샘플링점 선택부(101)가 실행한다.

샘플링점 선택부(101)는 스텝 S102에 있어서 보정 대상으로 되는 촬영 화상(10)의 구성 화소에 대하여 클러스터링을 행한 후, 샘플링점 추출 클러스터를 결정하고, 또한 결정한 샘플링점 추출 클러스터로부터 샘플링점을 선택한다.

앞서 설명한 바와 같이, 샘플링점 추출 클러스터의 결정 방법으로서는, 예를 들어, 이하의 어느 것의 방법이 적용 가능하다.

(1) 가장 샘플(화소)이 많은 클러스터로부터 순서대로 1개 이상의 클러스터를 샘플링점 추출 클러스터로 한다.

클러스터를 샘플링점 추출 클러스터로 한다.

(2) 각 클러스터의 평균값이나 중앙값이 전체 클러스터의 중심이 되는 클러스터, 또는 그 클러스터와 인접하는 수 클러스터를 샘플링점 추출 클러스터로 한다.

예를 들어 상기 (2)의 처리를 행하는 경우, 각 클러스터에 속하는 화소의 화소값이나 휘도값의 평균값이나 중앙값을 이용하면, 화상 내의 극단적으로 어두운 화소 영역이나 밝은 영역을 포함하는 클러스터는 샘플링점 추출 클러스터로 설정되지 않아, 샘플링점이 추출되지 않게 된다.

또한, 상기 (3)의 유저에 의한 클러스터 선택을 행하는 경우에는, 정확한 화소값을 구하고자 하는 특정한 피사체(오브젝트), 예를 들어, 농지의 작물 화소를 많이 포함하는 클러스터를 샘플링점 추출 클러스터로서 선택한다고 하는 처리를 행한다.

(스텝 S104)

이어서, 화상 처리 장치(100)는 스텝 S104에 있어서, 샘플링점의 화소값을 이용하여 보정 함수를 생성한다.

이 처리는, 도 1에 도시하는 보정 함수 산출부(102)가 실행한다.

보정 함수 산출부(102)는 샘플링점 선택부(101)가 선택한 샘플링점(화소)의 화소값을 사용하여, 촬영 화상(10)의 구성 화소 전부에 적용하는 보정 함수를 산출한다.

전술한 바와 같이, 보정 함수 산출부(102)는 먼저, 예를 들어, 커널 회귀 보간(Kernel Regression), 스플라인 곡면 보간, 다항식 근사 곡면, 선형 보간 등의 기존의 방법의 어느 것을 사용하여, 화상 좌표의 2차원 함수로서 보정 곡면 피팅 등을 행하여, 근사면 y(x)를 산출한다.

근사면 y(x)은 예를 들어 앞서 설명한 (수식 2)에 나타내는 근사면 y(x)이다.

또한, 보정 함수 산출부(102)는 근사면 y(x)와, 보정 기준 Yref(x)의 비율에 따라서 보정량을 변동시키는 보정 함수(수식 6)를 산출한다.

보정 기준 Yref(x)은 예를 들어 샘플링점 추출 클러스터의 화소값의 평균값이나 중앙값, 유저가 선택한 값을 사용하는 것이 가능하다. 유저에 의한 선택값은, 화소 위치에 따라서 값을 변경한 값으로 하고 있어도 된다.

보정 함수 산출부(102)는 샘플링점 선택부(101)가 선택한 샘플링점(화소)의 화소값만을 사용하여 보정 함수를 산출함으로써, 예를 들어 화상의 평균적인 화소값에 의해 구성되는 샘플링 화소의 화소값에 기초하는 보정 함수를 생성할 수 있다. 즉, 극단적인 휘도나 화소값을 갖는 화소의 영향을 배제한 보정 함수를 생성하는 것이 가능하게 된다.

또한, 예를 들어 해석 대상으로 되는 오브젝트가 특정되어 있는 경우에는, 그 오브젝트의 화상 영역을 많이 포함하는 클러스터로부터 선택한 샘플링점의 화소값에 기초하여 보정 함수를 생성함으로써, 그 오브젝트의 화소값 보정을, 보다 정확하게 행하기 위한 보정 함수를 생성하는 것도 가능하다.

예를 들어, 해석 대상 오브젝트가 드론으로 촬영된 밭의 양배추일 경우, 양배추의 화상 영역인 샘플링점 추출 클러스터로부터 선택된 샘플링 화소의 화소값에 기초하는 보정 함수를 생성하면, 양배추의 화상 영역에 특화한 보정 함수를 생성하는 것이 가능하게 된다.

(스텝 S105)

이어서, 화상 처리 장치(100)는 스텝 S105에 있어서, 보정 대상인 촬영 화상(10)의 각 화소의 화소값으로 보정 함수(수식 6)를 적용하여 보정 화소값을 산출한다.

이 처리는, 도 1에 도시하는 화상 보정부(보정 함수 적용부)(103)가 실행하는 처리이다.

화상 보정부(보정 함수 적용부)(103)는, 스텝 S104에 있어서 보정 함수 산출부(102)가 산출한 보정 함수, 즉 이하에 나타낸 (수식 6)을 적용하여, 보정 후의 각 화소의 화소값을 산출한다.

Y'(x)=(Yref(x)/y(x))Y(x) …(수식 6)

상기 식에 따른 화소값 산출 처리를 실행한다.

또한, 상기 (수식 6)에 있어서,

Y'(x)은 촬영 화상(10)의 보정 후의 화소 위치(x) 대응의 신호값(화소값이나 휘도값 등),

Y(x)은 촬영 화상(10)의 보정 전의 화소 위치(x) 대응의 신호값(화소값이나 휘도값 등),

y(x)은 예를 들어 전술한 (수식 2)로 나타나는 근사면 y(x),

Yref(x)은 미리 규정한 보정 기준이다.

보정 기준: Yref(x)은 예를 들어 샘플링점 추출 클러스터의 화소값의 평균값이나 중앙값, 유저가 선택한 값을 사용하는 것이 가능하다. 유저에 의한 선택값은, 화소 위치에 따라서 값을 변경한 값으로 하고 있어도 된다.

화상 보정부(보정 함수 적용부)(103)는, 보정 함수 산출부(102)가 산출한 보정 함수(수식 6)에 따라서, 촬영 화상(10)의 전체 구성 화소의 보정 화소값을 산출하고, 산출한 화소값을 설정한 보정 화상(20)을 생성한다.

(스텝 S106)

마지막으로, 화상 처리 장치(100)는 스텝 S105에 있어서의 화소값 보정 처리에 의해 보정한 화소값에 의해 구성되는 보정 화상을 생성하여 출력한다. 예를 들어 표시부에 대한 출력 처리나 기억부에 대한 저장 처리를 실행한다.

이 결과, 먼저 도 7이나 도 8을 참조하여 설명한 바와 같이, 휘도 변화가 큰 부분에 있어서의 아티팩트의 발생이나, 화상의 다이내믹 레인지 감소가 방지되어, 화질 저하가 적은 보정 화상을 생성할 수 있다.

[3. 본 개시의 화상 처리 장치의 제2 실시예의 구성과 처리에 대해서]

이어서, 도 10 이하를 참조하여 본 개시의 화상 처리 장치의 제2 실시예의 구성과 처리에 대하여 설명한다.

도 10은, 본 개시의 제2 실시예의 화상 처리 장치(120)의 구성예를 도시하는 블록도이다. 도 10에 도시하는 바와 같이, 화상 처리 장치(120)는 축소 화상 생성부(121), 샘플링점 선택부(101)와, 보정 함수 산출부(102)와, 화상 보정부(보정 함수 적용부)(103)를 갖는다.

도 10에 도시하는 화상 처리 장치(120)는 앞서 도 1을 참조하여 설명한 제1 실시예의 화상 처리 장치(100)의 샘플링점 선택부(101)의 전단에 축소 화상 생성부(121)를 마련한 구성이다.

그외의 구성인 샘플링점 선택부(101)와, 보정 함수 산출부(102)와, 화상 보정부(보정 함수 적용부)(103)는, 제1 실시예와 거의 마찬가지의 처리를 실행한다.

이하, 앞서 설명한 실시예 1과 상이한 점을 중심으로 하여 설명한다.

화상 처리 장치(120)는 보정 대상으로 되는 1매의 촬영 화상(10)을 입력하고, 보정을 실행하여 보정 화상(20)을 출력한다.

또한, 본 실시예에 있어서도, 보정 대상으로 되는 촬영 화상(10)은 카메라의 1회의 촬영 처리에 의해 촬영된 1매의 촬영 화상이다. 즉 복수의 화상을 서로 연결시키는 스티칭 처리를 행하여 생성한 합성 화상이 아니다.

축소 화상 산출부(121)는 보정 대상으로 되는 촬영 화상(10)을 입력하고, 촬영 화상(10)을 축소한 축소 화상을 생성한다.

화상의 축소 방법은, 예를 들어, 최근방법이나 면적 평균법, 바이리니어법, 바이 큐빅법, Lanczos법 등, 기존의 화상 축소 방법이 적용 가능하다. 또한, 축소 범위의 메디안값(중앙값)이나 평균값을 축소 화상의 신호값으로 함으로써 축소 화상을 산출해도 된다.

샘플링점 선택부(101)와, 보정 함수 산출부(102)는 축소 화상 산출부(121)가 생성한 축소 화상을 이용하여, 샘플링점의 선택 처리와, 보정 함수의 산출 처리를 실행한다.

보정 함수 산출부(102)는 축소 화상 사이즈의 근사면 y(x)와 보정 함수를 산출한다.

화상 보정부(보정 함수 적용부)(103)는, 보정 함수 산출부(102)가 산출한 보정 함수를 사용하여, 보정 화상을 생성한다.

화상 보정부(보정 함수 적용부)(103)에는, 축소되지 않는 촬영 화상(10)이 입력되어, 이 촬영 화상(10)의 구성 화소의 화소값을 보정한다.

화상 보정부(보정 함수 적용부)(103)는, 먼저, 보정 함수 산출부(102)가 산출한 축소 화상 사이즈의 근사면 y(x)와 보정 함수를, 축소 전의 촬영 화상(10)의 사이즈로 확대하고, 확대한 보정 함수를 생성하고, 확대한 보정 함수를 촬영 화상(10)에 적용한다.

혹은, 화상 보정부(보정 함수 적용부)(103)에 축소 화상 생성부(121)가 생성한 축소 화상을 입력하고, 보정 함수 산출부(102)가 산출한 축소 화상 사이즈의 근사면 y(x)와 보정 함수를, 축소 화상에 적용하여 축소 보정 화상의 보정 화상을 생성하고, 그 후, 축소 보정 화상을 확대하는 처리를 행해도 된다. 화상 확대 방법으로서는, 최근방법이나 바이리니어법, 바이 큐빅법, Lanczos법 등, 기존의 확대 방법이 이용 가능하다.

이 제2 실시예의 처리에서는, 축소 화상 생성부(121)가 촬영 화상(10)의 축소 화상을 생성하고, 그 후, 샘플링점 선택부(101), 보정 함수 산출부(102), 화상 보정부(보정 함수 적용부)(103)의 처리를 축소 화상에 대한 처리로서 실행하는 것이 가능하게 되고, 계산량을 저감하는 것이 가능하게 되고, 처리 속도의 향상, 처리에 적용하는 하드웨어나 프로그램의 간략화가 가능하게 된다.

이어서, 도 10에 도시하는 화상 처리 장치(120)가 실행하는 화상 처리의 시퀀스에 대해서, 도 11에 도시하는 흐름도를 참조하여 설명한다.

또한, 도 11에 도시하는 흐름도에 따른 처리는, 예를 들어 화상 처리 장치(120)의 기억부에 저장된 프로그램에 따라서 실행 가능하다. 예를 들어 프로그램 실행 기능을 갖는 CPU 등을 갖는 데이터 처리부(제어부)의 제어 하에서 실행 가능하다.

이하, 도 11에 도시하는 흐름도의 각 스텝의 처리에 대해서, 순차, 설명한다.

(스텝 S201)

먼저, 화상 처리 장치(120)는 스텝 S201에 있어서, 보정 대상으로 되는 촬영 화상을 입력한다.

이 촬영 화상은, 도 10에 도시하는 촬영 화상(10)이며, 예를 들어 드론에 의해 촬영된 1매의 화상이다. 촬영 화상은, 예를 들어 일부 영역이 구름 등의 그늘로 되어, 타 영역와 비교하여 어두운 화소값으로 설정되어, 휘도 편차나 색 불균일이 있는 화상이다.

(스텝 S202)

이어서, 화상 처리 장치(120)는 스텝 S202에 있어서, 보정 대상으로 되는 촬영 화상(10)의 축소 화상을 생성한다.

이 처리는, 도 10에 도시하는 축소 화상 생성부(121)가 실행하는 처리이다.

축소 화상 산출부(121)는 보정 대상으로 되는 촬영 화상(10)에 대하여 예를 들어, 최근방법이나 면적 평균법, 바이리니어법, 바이 큐빅법, Lanczos법 등, 기존의 화상 축소 방법을 적용하여 축소 화상을 생성한다. 또한 축소 범위의 메디안값(중앙값)이나 평균값을 축소 화상의 신호값으로 한 축소 화상을 생성해도 된다.

(스텝 S203 내지 S205)

스텝 S203 내지 S205의 처리는, 먼저 도 9를 참조하여 설명한 실시예 1에 있어서의 흐름의 스텝 S102 내지 S104의 처리와 마찬가지 처리이다.

단, 본 실시예에서는, 스텝 S202에서 생성한 축소 화상에 대하여 스텝 S203 내지 S205의 처리를 실행한다.

스텝 S203에 있어서, 보정 대상으로 되는 촬영 화상(10)의 축소 화상의 구성 화소를 복수의 부분 집합(클러스터)으로 분할하는 클러스터링(클러스터 분할)을 실행한다.

스텝 S204에 있어서, 클러스터링 결과로서 생성된 클러스터로부터, 샘플링점 추출 클러스터를 결정하고, 또한 결정한 샘플링점 추출 클러스터로부터 샘플링점을 선택한다.

이들 처리는, 도 10에 도시하는 샘플링점 선택부(101)가 실행한다.

또한, 스텝 S205에 있어서, 샘플링점의 화소값을 이용하여 보정 함수를 생성한다.

이 처리는, 도 10에 도시하는 보정 함수 산출부(102)가 실행한다.

앞서 설명한 바와 같이, 본 실시예 2에서는, 보정 함수 산출부(102)는 축소 화상 사이즈의 보정 함수 y(x)(=근사면 산출 함수 y(x))를 산출한다.

(스텝 S206 내지 S207)

다음으로 화상 처리 장치(120)는 스텝 S206에 있어서, 보정 대상인 촬영 화상(10)의 각 화소의 화소값에 보정 함수를 적용하여 보정 화소값을 산출한다.

마지막으로, 스텝 S207에 있어서, 보정한 화소값에 의해 구성되는 보정 화상을 생성하여 출력한다. 예를 들어 표시부에 대한 출력 처리나 기억부에 대한 저장 처리를 실행한다.

이들 처리는, 도 10에 도시하는 화상 보정부(보정 함수 적용부)(103)가 실행하는 처리이다.

전술한 바와 같이, 화상 보정부(보정 함수 적용부)(103)는, 예를 들어, 축소되지 않은 촬영 화상(10)을 입력하고, 이 촬영 화상(10)의 구성 화소의 화소값을 보정한다.

이 경우, 화상 보정부(보정 함수 적용부)(103)는, 먼저, 보정 함수 산출부(102)가 산출한 축소 화상 사이즈의 근사면 y(x)나 보정 함수를, 축소 전의 촬영 화상(10)의 사이즈로 확대하고, 확대한 보정 함수를 생성하여, 확대한 보정 함수를 촬영 화상(10)에 적용한다.

혹은, 화상 보정부(보정 함수 적용부)(103)가 축소 화상 생성부(121)가 생성한 축소 화상을 입력하고, 보정 함수 산출부(102)가 산출한 축소 화상 사이즈의 근사면 y(x)나 보정 함수를, 그대로 축소 화상에 적용하여 축소 보정 화상의 보정 화상을 생성하고, 그 후, 축소 보정 화상을 확대하는 처리를 행해도 된다. 화상 확대 방법으로서는, 최근방법이나 바이리니어법, 바이 큐빅법, Lanczos법 등, 기존의 확대 방법이 이용 가능하다.

전술한 바와 같이, 이 제2 실시예의 처리에서는, 축소 화상 생성부(121)가 촬영 화상(10)의 축소 화상을 생성하고, 그 후의 처리를, 축소 화상을 적용하여 실행하는 것이 가능하게 된다. 이에 의해 계산량의 저감이 가능하고, 처리 속도의 향상, 처리에 적용하는 하드웨어나 프로그램의 간략화가 실현된다.

[4. 본 개시의 화상 처리 장치의 제3 실시예의 구성과 처리에 대해서]

이어서, 도 12 이하를 참조하여 본 개시의 화상 처리 장치의 제3 실시예의 구성과 처리에 대하여 설명한다.

도 12는, 본 개시의 제3 실시예의 화상 처리 장치(130)의 구성예를 도시하는 블록도이다. 도 12에 도시하는 바와 같이, 화상 처리 장치(130)는 축소 화상 생성부(121), 샘플링점 선택부(101)와, 보정 함수 산출부(102)와, 화상 보정부(보정 함수 적용부)(103), 또한 합성 화상 생성부(131)를 갖는다.

도 12에 도시하는 화상 처리 장치(130)는 먼저 도 10을 참조하여 설명한 제2 실시예의 화상 처리 장치(120)에 합성 화상 생성부(131)를 추가한 구성이다.

화상 보정부(보정 함수 적용부)(103)의 후단 처리부로서 합성 화상 생성부(131)를 추가하고 있다.

그외의 구성인 축소 화상 생성부(121), 샘플링점 선택부(101), 보정 함수 산출부(102), 화상 보정부(보정 함수 적용부)(103)는, 제2 실시예와 거의 마찬가지의 처리를 실행한다.

이하, 앞서 설명한 실시예 2와 상이한 점을 중심으로 하여 설명한다.

도 12에 도시하는 화상 처리 장치(130)는 예를 들어 드론에 의해 촬영된 복수의 화상을 서로 연결시킨 합성 화상(30)을 최종 출력 화상으로서 생성하여 출력한다.

입력 화상은, 예를 들어 드론에 의해 촬영된 복수의 화상이다. 도 12에 도시하는 바와 같이, 화상 P1 내지 Pn까지의 복수의 화상이, 순차, 촬영 화상(10)으로서 화상 처리 장치(130)에 입력된다.

화상 P1 내지 Pn은, 예를 들어 드론에 의해 연속 촬영된 화상이며, 각각이 어느 광대한 영역의 일부 영역을 촬영한 화상이다. 이들 화상을 서로 연결시킴으로써 1매의 광대한 영역에 대응하는 화상을 생성할 수 있다.

단, 공중을 이동하는 드론은 바람 등의 영향으로 각 화상을 촬영할 때의 자세가 변화해버린다. 이 결과, 각 화상을 촬영하는 타이밍에 있어서, 카메라, 피사체, 광원의 관계 변화로부터 카메라로 수광하는 피사체로부터의 반사광이 변화하여, 각 촬영 화상의 휘도나 색이 균일하게 되지 않고, 들쑥날쑥해져버린다. 이러한 다른 휘도나 색을 갖는 화상을 서로 연결시켜서 1매의 합성 화상을 생성하면, 각 화상의 이음매의 연속성이 상실된 저품질의 화상이 된다.

또한, 1매의 화상 중에도, 상공의 구름, 혹은 다른 비행체인 비행기나 새 등의 그늘로 되는 영역과 그늘이 되지 않는 영역이 포함되는 경우가 있고, 이러한 영역 간에는 휘도나 색이 다르다. 즉 휘도 편차나 색 불균일이 발생해버린다.

도 12에 도시하는 실시예 3의 화상 처리 장치(130)는 1매의 촬영 화상 단위로 휘도 편차나 색 불균일을 저감하는 보정을 실시하고, 또한, 합성 화상을 구성하는 각 화상 간의 휘도차나 색차도 저감한 고품질의 합성 화상(30)을 생성하는 것이다.

도 12에 도시하는 실시예 3의 화상 처리 장치(130)의 축소 화상 산출부(121) 내지 화상 보정부(103)는 보정 전의 합성 화상을 구성하는 화상(P1 내지 Pn)의 각각에 대하여 순차, 처리를 실행하여, 보정 화상(20-1 내지 n)을 생성한다.

각 화상 단위의 처리는, 먼저 도 10을 참조하여 설명한 실시예 2의 구성과 마찬가지 처리이다.

실시예 3에서는, 이 각 화상 단위의 처리를, 보정 전의 합성 화상을 구성하는 화상(P1 내지 Pn)의 각각에 대하여 순차, 실행한다. 즉 n매의 화상에 대하여 동일한 처리를 n회, 반복해서 실행하고, 보정 화상(20-1 내지 n)을 생성한다.

합성 화상 생성부(131)는 이들 n매의 보정 화상(20-1 내지 n)을 입력하고, 보정 화상(20-1 내지 n)을 서로 연결시킨 합성 화상(30)을 생성한다.

합성 화상 생성부(131)는 예를 들어, 화상의 서로 연결 시에 기준이 되는 보정 기준 신호를 설정하고, 각 화상의 평균 신호(화소값이나 휘도값의 평균값)나 서로 연결 시의 중복 영역의 평균 신호(화소값이나 휘도값의 평균값), 샘플링점 추출 클러스터의 평균값(화소값이나 휘도값의 평균값)을 보정 기준 신호와 일치시킴으로써, 이음매의 불연속성을 경감한 합성 화상을 생성한다.

또한, 보정 기준 신호는, 미리 설정한 값을 사용해도 되고, 특정한 단일, 또는 복수의 화상의 평균값을 사용해도 된다.

구체적으로는, 예를 들어 인접하는 화상의 평균 휘도를 일치시키거나, 혹은 차분을 규정값 범위 이하로 설정하는 등의 조정을 실행하여 인접 화상을 접속한다.

또한, 화상 접속(연결) 시에는 인접 화상의 중복 영역을 검출하고, 한쪽의 화상으로부터 중복 영역을 삭제하거나, 혹은 복수의 화상에 포함되는 중복 영역의 평균값을 산출하여 하나의 영역으로서 화상의 서로 연결을 행하는 등의 처리를 실행하고, 합성 화상 내에 중복 영역이 출현하지 않도록 화상 보정을 행한다.

본 실시예 3의 도 12에 도시하는 실시예 3의 화상 처리 장치(130)는 1매의 촬영 화상 단위로 휘도 편차나 색 불균일을 저감하는 보정을 실시하고, 또한, 합성 화상을 구성하는 각 화상 간의 휘도차나 색차도 저감한 고품질의 합성 화상(30)을 생성한다.

도 12에 도시하는 화상 처리 장치(130)가 실행하는 화상 처리의 시퀀스에 대해서, 도 13에 도시하는 흐름도를 참조하여 설명한다.

또한, 도 13에 도시하는 흐름도에 따른 처리는, 예를 들어 화상 처리 장치(130)의 기억부에 저장된 프로그램에 따라서 실행 가능하다. 예를 들어 프로그램 실행 기능을 갖는 CPU 등을 갖는 데이터 처리부(제어부)의 제어 하에서 실행 가능하다.

이하, 도 13에 도시하는 흐름도의 각 스텝의 처리에 대해서, 순차, 설명한다.

(스텝 S301)

먼저, 화상 처리 장치(130)는 스텝 S301에 있어서, 복수의 촬영 화상으로부터, 보정 대상으로 되는 촬영 화상을 선택한다.

즉, 도 12에 도시하는 보정 전의 합성 화상을 구성하는 화상(P1 내지 Pn)을 순차, 보정 대상 화상으로서 선택한다.

이들 화상 P1 내지 Pn은, 예를 들어 드론에 의해 연속 촬영된 화상이며, 각각이 어느 광대한 영역의 일부 영역을 촬영한 화상이다. 이들 화상을 서로 연결시킴으로써 1매의 광대한 영역에 대응하는 화상을 생성할 수 있다.

단, 각 화상은, 촬영 시의 조건의 차이에 따라 휘도나 색이 균일하지 않고 들쑥날쑥한 화상이며, 또한 1매의 화상 중에도 그림자의 영역이나 경면 반사 영역 등에 기인하는 휘도 편차나 색 불균일이 존재한다.

(스텝 S302)

이어서, 화상 처리 장치(130)는 스텝 S302에 있어서, 스텝 S301에서 선택된 보정 대상 화상을 입력한다.

(스텝 S303 내지 S308)

스텝 S303 내지 S308의 처리는, 앞서 도 11을 참조하여 설명한 실시예 2에 있어서의 흐름 중의 스텝 S202 내지 S207의 처리와 마찬가지 처리이다.

즉, 스텝 S303에 있어서, 보정 대상 화상인 촬영 화상(10)에 대하여 축소 처리를 실행한다.

스텝 S304에 있어서, 축소 화상에 대한 클러스터링을 실행한다.

스텝 S305에 있어서, 클러스터링 결과로부터의 샘플링점 추출 클러스터의 결정, 샘플링점 추출 클러스터로부터의 샘플링점의 선택을 실행한다.

또한, 스텝 S306에 있어서, 선택된 샘플링점의 화소값에 기초하는 보정 함수의 생성 처리를 실행한다.

스텝 S307에 있어서, 생성한 보정 함수를 적용하여 보정 대상 화상의 보정 화소값을 산출한다.

스텝 S308에 있어서, 보정 화소값에 의해 구성되는 보정 화상을 생성한다.

(스텝 S309)

스텝 S309에서는, 모든 촬영 화상(P1 내지 Pn)에 대한 보정 화상의 생성이 완료되었는지의 여부를 판정한다.

미처리 화상이 있는 경우에는, 스텝 S301에 있어서 미처리 화상을 선택하고, 미처리 화상에 대하여 스텝 S302 내지 S308의 처리를 실행한다.

스텝 S309에 있어서, 모든 촬영 화상(P1 내지 Pn)에 대한 보정 화상의 생성이 완료되었다고 판정하면 스텝 S310으로 진행한다.

이 시점에서, 도 12에 도시하는 화소값이 보정된 보정 화상(20-1 내지 n)의 생성이 완료되어 있게 된다.

(스텝 S310)

마지막으로, 화상 처리 장치(130)는 스텝 S310에 있어서, 모든 보정 화상(20-1 내지 n)을 서로 연결시켜서 합성 화상(30)을 생성하여 출력한다.

이 처리는, 도 12에 도시하는 합성 화상 생성부(131)가 실행하는 처리이다.

전술한 바와 같이, 합성 화상 생성부(131)는 예를 들어, 화상의 서로 연결 시에 기준이 되는 보정 기준 신호를 설정하고, 각 화상의 평균 신호나 서로 연결 시의 중복 영역의 평균 신호, 샘플링점 추출 클러스터의 평균값을 보정 신호에 일치시킴으로써, 이음매가 불연속인 단차를 경감한 화상을 생성한다.

보정 기준 신호는, 미리 설정한 값, 예를 들어 특정한 단일, 또는 복수의 화상의 평균값 등을 이용할 수 있다. 이에 의해 인접 화상의 평균 휘도를 일치, 또는 차분을 규정값 범위 이하로 설정한 합성 화상의 생성이 가능하게 된다.

또한, 화상 접속(연결) 시에는 인접 화상의 중복 영역을 검출하고, 한쪽의 화상으로부터 중복 영역을 삭제하는 등의 처리를 행한다. 혹은 복수 화상에 포함되는 중복 영역의 평균값을 산출하여 하나의 영역으로서 화상의 서로 연결시키기를 행해도 된다. 또한, 중복 영역의 화소값을, 중첩 화상의 α 블렌딩으로 결정하고, 중첩 영역의 화상을 원활하게 변경해도 된다. α 블렌딩은, 예를 들어, 2매의 화상을 고려한 경우, 화상 A로부터 화상 B에 걸쳐서, 연속적으로 신호값을 변경하는 것이 목적인데, α 블렌딩 시에, 렌즈 왜곡이나 쉐이딩, 주변 흐려짐의 영향을 근거로 하여, 상기 블렌딩율에 추가하여 화면 중심으로부터의 거리를 반영시켜, 화면 중심일수록 비율이 높아지도록 값을 설정해도 된다.

이들 처리를 실행함으로써, 도 12에 도시하는 실시예 3의 화상 처리 장치(130)는 1매의 촬영 화상 단위의 휘도 편차나 색 불균일의 저감을 행함과 함께, 합성 화상을 구성하는 각 화상 간의 휘도차나 색차도 저감한 고품질의 합성 화상(30)을 생성할 수 있다.

[5. 기타의 실시예에 대해서]

이어서, 도 14 이하를 참조하여 기타의 실시예에 대하여 설명한다.

이하에 3개의 실시예에 대하여 설명한다.

(실시예 4) 처리 완료된 주위 화상의 샘플링점 위치 정보를 참조하여, 미처리 화상에 있어서의 샘플링점의 선택 처리를 실행하는 실시예

(실시예 5) 처리 완료된 주위 화상의 보정 함수 정보를 참조하여, 미처리 화상에 있어서의 보정 함수의 산출 처리를 실행하는 실시예

(실시예 6) 처리 완료된 주위 화상의 근사면 정보를 참조하여, 미처리 화상에 있어서의 근사면의 산출 처리를 실행하는 실시예

(5-1)(실시예 4) 처리 완료된 주위 화상의 샘플링점 위치 정보를 참조하여, 미처리 화상에 있어서의 샘플링점의 선택 처리를 실행하는 실시예

먼저, 실시예 4로서, 처리 완료된 주위 화상의 샘플링점 위치 정보를 참조하여, 미처리 화상에 있어서의 샘플링점의 선택 처리를 실행하는 실시예에 대하여 설명한다.

도 14는, 본 실시예 4의 화상 처리 장치(140)의 구성예를 도시하는 블록도이다. 도 14에 도시하는 바와 같이, 화상 처리 장치(140)는 축소 화상 생성부(121), 샘플링점 선택부(101)와, 보정 함수 산출부(102)와, 화상 보정부(보정 함수 적용부)(103), 또한 합성 화상 생성부(131), 또한, 화상 대응 샘플링점 위치 정보 기억부(141)를 갖는다.

도 14에 도시하는 화상 처리 장치(140)는 앞서 도 12를 참조하여 설명한 제3 실시예의 화상 처리 장치(130)에 화상 대응 샘플링점 위치 정보 기억부(141)를 추가한 구성이다.

그외의 구성인 축소 화상 생성부(121), 샘플링점 선택부(101), 보정 함수 산출부(102), 화상 보정부(보정 함수 적용부)(103), 합성 화상 생성부(131)는 기본적으로는, 제3 실시예와 거의 마찬가지의 처리를 실행한다.

단, 샘플링점 선택부(101)가 실행하는 처리는 다르다.

화상 대응 샘플링점 위치 정보 기억부(141)는 샘플링점 선택부(101)에 있어서 샘플링점 선택 처리가 행하여진 화상의 샘플링점 위치 정보를 저장한다.

또한, 샘플링점 선택부(101)는 새로운 화상에 관한 샘플링점 선택 처리를 실행할 때에, 처리 대상 화상의 주위 처리 완료 화상, 즉, 샘플링점 선택부(101)에 있어서 샘플링점 선택 처리가 행하여진 화상의 샘플링점 위치 정보를 화상 대응 샘플링점 위치 정보 기억부(141)로부터 취득한다. 샘플링점 선택부(101)는 화상 대응 샘플링점 위치 정보 기억부(141)로부터의 취득 정보를 참조하여, 새로운 화상의 샘플링점 선택 처리를 실행한다.

구체예에 대하여 도 15를 참조하여 설명한다.

도 15의 좌측 상단부에는, 보정 전의 합성 화상을 나타내고 있다. 합성 화상은, 예를 들어 드론에 의해 연속적으로 촬영된 복수의 화상으로 구성되어 있다.

화상 처리 장치(140)에는, 이 합성 화상을 구성하는 각 화상이 순차, 입력되어서 처리가 행하여진다.

도 15에 도시하는 화살표에 따라서 처리가 행하여지는 것으로 한다.

도 15의 우측에는, 합성 화상을 구성하는 화상의 일부인 5개의 인접 화상을 나타내고 있다.

이들은, 샘플링점 선택부(101)가 이제부터 샘플링점 선택 처리를 실행하는 화상 Px와, 화상 Px의 주위 화상 중, 이미 샘플링점 선택 처리가 실행 완료된 화상 Pa 내지 Pd이다.

샘플링점 선택부(101)는 이제부터 샘플링점 선택 처리를 실행하는 화상 Px에 대해서, 샘플링점의 선택 처리를 행할 때에, 이미 샘플링점 선택 처리가 실행 완료된 화상 Pa 내지 Pd, 즉 화상 Px의 주위 화상에 설정된 샘플링점을 참조한다.

이 참조 결과를 이용하여, 화상 Px의 샘플링점 선택 처리를 행한다.

예를 들어, 도면에 도시하는 바와 같은 영역 a나 영역 b는, 주위 화상에 기초하여, 샘플링점 선택 대상의 화상이 포함될 가능성이 높다고 판정하고, 화상 Px중의 영역 a,b에 포함되는 영역으로부터 샘플링점의 선택을 행한다.

이러한 처리를 행함으로써, 전술한 클러스터링 처리나, 샘플링 추출 클러스터의 결정, 샘플링 추출 클러스터로부터의 샘플링점의 선택 처리와 같은 공정을 생략, 또는 간략화하는 것이 가능하다.

또한, 예를 들어, 도 16에 도시하는 바와 같이, 주위 화상에서 선택한 샘플링점을, 일정 비율로 샘플링점 선택 대상의 화상의 샘플점으로서 채용함으로써, 샘플링점 선택 대상의 화상의 샘플점이, 주위 화상과 크게 다른 샘플점의 선택 배치가 되는 것을 피할 수 있다. 이러한 처리를 행함으로써, 보정을 안정적으로 실시하는 것이 가능하게 된다.

또한, 전술한 클러스터링 처리나, 샘플링 추출 클러스터의 결정, 샘플링 추출 클러스터로부터의 샘플링점의 선택 처리를 생략하지 않고, 이들 처리를 행함과 함께, 이들 처리를 행할 때에 처리 완료 주위 화상의 샘플링점 정보를 참조하여, 주위 화상의 정보에 기초하여 선택되는 샘플링점을 수정한다고 하는 처리를 행하는 것이 바람직하다.

(5-2)(실시예 5) 처리 완료된 주위 화상의 보정 함수 정보를 참조하여, 미처리 화상에 있어서의 보정 함수의 산출 처리를 실행하는 실시예

이어서, 실시예 5로서, 처리 완료된 주위 화상의 보정 함수 정보를 참조하여, 미처리 화상에 있어서의 보정 함수의 산출 처리를 실행하는 실시예에 대하여 설명한다.

도 17은, 본 실시예 5의 화상 처리 장치(150)의 구성예를 도시하는 블록도이다. 도 17에 도시하는 바와 같이, 화상 처리 장치(150)는 축소 화상 생성부(121), 샘플링점 선택부(101)와, 보정 함수 산출부(102)와, 화상 보정부(보정 함수 적용부)(103), 또한 합성 화상 생성부(131), 또한, 화상 대응 보정 함수 기억부(151)를 갖는다.

도 17에 도시하는 화상 처리 장치(150)는 앞서 도 12를 참조하여 설명한 제3 실시예의 화상 처리 장치(130)에 화상 대응 보정 함수 기억부(151)를 추가한 구성이다.

단, 보정 함수 산출부(102)가 실행하는 처리는 다르다.

화상 대응 보정 함수 기억부(151)는 보정 함수 산출부(102)에 있어서 보정 함수의 산출 처리가 행하여진 화상의 보정 함수를 저장한다.

또한, 보정 함수 산출부(102)는 새로운 화상에 관한 보정 함수 산출 처리를 실행할 때에, 처리 대상 화상의 주위 처리 완료 화상, 즉, 보정 함수 산출부(102)에 있어서 보정 함수의 산출 처리가 행하여진 화상의 보정 함수 정보를 화상 대응 보정 함수 기억부(151)로부터 취득한다. 보정 함수 산출부(102)는 화상 대응 보정 함수 기억부(151)로부터의 취득 정보를 참조하여, 새로운 화상의 보정 함수 산출 처리를 실행한다.

구체예에 대하여 도 18을 참조하여 설명한다.

도 18의 좌측 상단부에는, 보정 전의 합성 화상을 나타내고 있다. 합성 화상은, 예를 들어 드론에 의해 연속적으로 촬영된 복수의 화상으로 구성되어 있다.

화상 처리 장치(150)에는, 이 합성 화상을 구성하는 각 화상이 순차, 입력되어서 처리가 행하여진다.

도 18에 도시하는 화살표에 따라서 처리가 행하여지는 것으로 한다.

도 18의 우측에는, 합성 화상을 구성하는 화상의 일부인 5개의 인접 화상을 나타내고 있다.

이들은, 보정 함수 산출부(102)가 이제부터 보정 함수 산출 처리를 실행하는 화상 Px와, 화상 Px의 주위 화상 중, 이미 보정 함수 산출 완료된 화상 Pa 내지 Pd이다.

보정 함수 산출부(102)는 이제부터 보정 함수 산출 처리를 실행하는 화상 Px에 대해서, 보정 함수의 산출을 행할 때에, 이미 보정 함수가 이미 산출되어 있는 화상 Pa 내지 Pd, 즉 화상 Px의 주위 화상의 보정 함수를 참조한다.

이 참조 결과를 이용하여, 화상 Px의 보정 함수 산출 처리를 행한다.

예를 들어, 화상 Px의 보정 함수를, 도 18에 도시하는 주위의 5개의 화상의 보정 함수를 합성하여 산출한다. 예를 들어 α 블렌드 등의 처리를 실행하고, 주위 화상의 복수의 보정 함수에 기초하여, 새로운 화상의 보정 함수를 산출한다.

예를 들어 거리가 가까운 참조 화상일수록 가중치를 크게 설정한 α 블렌드 등의 처리를 실행하고, 주위 화상의 복수의 보정 함수에 기초하여, 새로운 화상의 보정 함수를 산출한다.

이러한 처리를 행함으로써, 전술한 근사면의 산출을 수반하는 보정 함수의 산출 처리 공정을 생략, 또는 간략화하는 것이 가능하다.

또한, 전술한 근사면의 산출을 수반하는 보정 함수의 산출 처리를 생략하지 않고, 이들 처리를 행함과 함께, 이들 처리를 행할 때에 처리 완료 주위 화상의 보정 함수 정보를 참조하여, 주위 화상의 정보에 기초하여 산출한 보정 함수를 수정한다고 하는 처리를 행하는 것이 바람직하다.

(5-3) (실시예 6) 처리 완료된 주위 화상의 근사면 정보를 참조하여, 미처리 화상에 있어서의 근사면의 산출 처리를 실행하는 실시예

이어서, 실시예 6으로서, 처리 완료된 주위 화상의 근사면 정보를 참조하여, 미처리 화상에 있어서의 근사면의 산출 처리를 실행하는 실시예

도 19는, 본 실시예 6의 화상 처리 장치(160)의 구성예를 도시하는 블록도이다. 도 19에 도시하는 바와 같이, 화상 처리 장치(160)는 축소 화상 생성부(121), 샘플링점 선택부(101)와, 보정 함수 산출부(102)와, 화상 보정부(보정 함수 적용부)(103), 또한 합성 화상 생성부(131), 또한, 화상 대응 근사면 기억부(161)를 갖는다.

도 19에 도시하는 화상 처리 장치(160)는 먼저 도 12를 참조하여 설명한 제3 실시예의 화상 처리 장치(130)에 화상 대응 근사면 기억부(161)를 추가한 구성이다.

단, 보정 함수 산출부(102)가 실행하는 처리는 다르다.

화상 대응 근사면 기억부(161)는 보정 함수 산출부(102)에 있어서 근사면 y(x)의 산출 처리가 행하여진 화상의 근사면 y(x)를 저장한다.

또한, 보정 함수 산출부(102)는 새로운 화상에 관한 근사면 y(x)의 산출 처리를 실행할 때에, 처리 대상 화상의 주위 처리 완료 화상, 즉, 보정 함수 산출부(102)에 있어서 근사면 y(x)의 산출 처리가 행하여진 화상의 근사면 y(x) 정보를 화상 대응 근사면 기억부(161)로부터 취득한다. 보정 함수 산출부(102)는 화상 대응 근사면 기억부(161)로부터의 취득 정보를 참조하여, 새로운 화상의 근사면 y(x) 산출 처리를 실행한다.

구체예에 대하여 도 20을 참조하여 설명한다.

도 20의 좌측 상단부에는, 보정 전의 합성 화상을 나타내고 있다. 합성 화상은, 예를 들어 드론에 의해 연속적으로 촬영된 복수의 화상으로 구성되어 있다.

화상 처리 장치(160)에는, 이 합성 화상을 구성하는 각 화상이 순차, 입력되어서 처리가 행하여진다.

도 20에 도시하는 화살표에 따라서 처리가 행하여지는 것으로 한다.

도 20의 우측에는, 합성 화상을 구성하는 화상의 일부인 5개의 인접 화상을 나타내고 있다.

이들은, 보정 함수 산출부(102)가 이제부터 근사면 y(x) 산출 처리를 실행하는 화상 Px와, 화상 Px의 주위 화상 중, 이미 근사면 y(x) 산출 완료된 화상 Pa 내지 Pd이다.

보정 함수 산출부(102)는 이제부터 근사면 y(x) 산출 처리를 실행하는 화상 Px에 대해서, 근사면 y(x)의 산출을 행할 때에, 이미 근사면 y(x)가 산출되어 있는 화상 Pa 내지 Pd, 즉 화상 Px의 주위 화상의 근사면 y(x)를 참조한다.

이 참조 결과를 이용하여, 화상 Px의 근사면 y(x) 산출 처리를 행한다.

예를 들어, 화상 Px의 근사면 y(x)를 도 20에 도시하는 주위의 5개의 화상의 근사면 y(x)를 합성하여 산출한다. 예를 들어 α 블렌드 등의 처리를 실행하고, 주위 화상의 복수의 근사면 y(x)에 기초하여, 새로운 화상의 근사면 y(x)를 산출한다.

예를 들어 거리가 가까운 참조 화상일수록 가중치를 크게 설정한 α 블렌드 등의 처리를 실행하고, 주위 화상의 복수의 보정 함수에 기초하여, 새로운 화상의 근사면 y(x)를 산출한다.

이러한 처리를 행함으로써, 전술한 근사면 y(x)의 산출 처리 공정을 생략, 또는 간략화하는 것이 가능하다.

또한, 전술한 근사면 y(x)의 산출 처리를 생략하지 않고, 근사면 y(x)의 산출 처리 처리를 행함과 함께, 이 처리를 행할 때에 처리 완료 주위 화상의 근사면 y(x) 정보를 참조하여, 주위 화상의 정보에 기초하여 산출한 근사면 y(x)를 수정한다고 하는 처리를 행하는 것이 바람직하다.

이상, 도 14 내지 도 20을 참조하여 이하에 3개의 실시예에 대하여 설명하였다.

이들 실시예는, 샘플링점 선택, 또는 보정 함수, 또는 근사면 산출 처리 시에, 주위의 처리 완료 화상의 정보를 참조하는 구성이다.

이들 실시예 4 내지 6은, 개별로 실시하는 구성으로 해도 되지만 조합하여 실시하는 구성으로 해도 된다. 예를 들어, 실시예 4와 실시예 5를 조합한 구성 등, 여러가지 구성이 가능하다.

또한, 예를 들어 실시예 4와 실시예 5 등, 복수의 참조 처리를 행하는 경우의 처리 수순으로서는, 이하의 어느 것의 설정이 가능하다.

(a) 샘플링 선택부와 보정 함수 산출부의 처리 블록마다, 촬영 화상을 루프시켜, 차례 차례로 처리하는 수순(이너 루프)

(b) 화상마다, 처리 블록의 처리를 루프시켜, 차례 차례로 처리하는 수순(아우터 루프)

또한, 처리 개시 시에는 처리 완료된 주변 화상이 존재하지 않지만, 그 경우의 처리 양태로서는, 예를 들어 이하와 같은 처리가 가능하다.

(a) 주변 화상 정보 없이 샘플링한 것을 초깃값으로 하여, 주변 정보를 이용한 처리를 재귀적으로 반복하는 처리,

(b) 촬영 화상을 차례 차례로 보정하고, 각 화상을 보정할 때에 보정 완료된 정보만을 이용하여, 샘플링점이나 보정 함수를 구하는 처리

또한, 참조 화상으로서 이용하는 화상은, 보정 전의 화상에 한하지 않고, 보정 후의 화상으로 해도 된다. 즉, 이하의 어느 것의 처리 양태로 하는 것이 가능하다.

(a) 보정 전의 촬영 화상 중, 샘플링점이나 보정 함수만이 산출된 화상을 참조 화상으로 하는 방법

(b) 보정 후의 화상 중, 샘플링점이나 보정 함수가 산출된 화상을 참조 화상으로 하는 방법

또한, 도 15, 도 18, 도 20을 참조하여 설명한 처리예에서는 샘플링점이나 보정 함수의 참조 화상으로서 1매의 큰 합성 화상을 구성하는 복수의 화상의 위치적인 관계로부터 결정되는 주위 화상, 즉 인접 화상을 사용한 예를 설명하였다.

이러한 위치적인 인접 화상을 참조 화상으로 하는 구성 이외에, 예를 들어 동화상의 보정을 행하는 경우에는, 처리 대상으로 하는 화상 프레임의 전후의 화상(예를 들어 전후 N 프레임)을 참조 화상으로 하는 것이 가능하다.

또한, 샘플링점을 주위 화상의 샘플링점으로부터 결정하는 경우의 구체적 처리예로서는, 예를 들어 이하의 어느 방법이 적용 가능하다.

(a) 주위 화상의 샘플링점(화소)과 동일한 화소 위치의 화소를 일정 비율로 선택한다.

(b) 주위 화상을 포함한 복수의 화상을 적용하여 클러스터링, 시맨틱 세그멘테이션, 샘플링점 추출 클러스터의 결정 처리, 샘플링점 선택 처리를 실행한다.

또한, 주위 화상과 처리 대상 화상의 중첩 영역의 정보를 이용하는 방법으로서, 이하의 방법도 가능하다.

(c) 중복 영역(주변 화상과 처리 대상 화상의 중첩 영역 전부)으로부터 일정 비율 샘플링점을 선택한다.

(d) 중첩 영역의 신호를 어느 것의 화상만의 신호로 치환하는 경우, 중복 영역 중, 전술한 치환하는 화상의 신호만으로부터 일정 비율 샘플링점을 선택한다.

또한, 보정 함수 산출 처리나, 근사면 산출 처리 시에는, 주위 화상과의 가까움을 가중치로 하는 가중치 부여 평균을 사용하여 보정 함수나 근사면을 재계산하여 수정한다고 하는 처리를 행해도 된다.

[6. 화상 처리 장치의 하드웨어 구성예에 대해서]

이어서, 도 21을 참조하여, 본 개시의 화상 처리 장치의 하드웨어 구성예에 대하여 설명한다. 도 21에 도시하는 하드웨어는, 도 1 등을 참조하여 설명한 각 실시예의 화상 처리 장치의 구체적인 하드웨어의 일 구성예이다.

CPU(Central Processing Unit)(301)는, ROM(Read Only Memory)(302), 또는 기억부(308)에 기억되어 있는 프로그램에 따라서 각종 처리를 실행하는 제어부나 데이터 처리부로서 기능한다. 예를 들어, 상술한 실시예에 있어서 설명한 시퀀스에 따른 처리를 실행한다. RAM(Random Access Memory)(303)에는, CPU(301)가 실행하는 프로그램이나 데이터 등이 기억된다. 이들 CPU(301), ROM(302), 및 RAM(303)은, 버스(304)에 의해 서로 접속되어 있다.

CPU(301)는 버스(304)를 통하여 입출력 인터페이스(305)에 접속되고, 입출력 인터페이스(305)에는, 각종 스위치, 키보드, 마우스, 마이크로폰, 센서 등을 포함하는 입력부(306), 디스플레이, 스피커 등을 포함하는 출력부(307)가 접속되어 있다.

CPU(301)는, 입력부(306)로부터 입력되는 명령에 대응하여 각종 처리를 실행하고, 처리 결과를 예를 들어 출력부(307)로 출력한다.

입출력 인터페이스(305)에 접속되어 있는 기억부(308)는 예를 들어 하드 디스크 등을 포함하고, CPU(301)가 실행하는 프로그램이나 각종 데이터를 기억한다. 통신부(309)는 Wi-Fi 통신, 블루투스(등록 상표)(BT) 통신, 기타 인터넷이나 로컬 에어리어 네트워크 등의 네트워크를 통한 데이터 통신의 송수신부로서 기능하고, 외부의 장치와 통신한다.

입출력 인터페이스(305)에 접속되어 있는 드라이브(310)는 자기 디스크, 광 디스크, 광자기 디스크, 혹은 메모리 카드 등의 반도체 메모리 등의 리무버블 미디어(311)를 구동하고, 데이터의 기록 혹은 판독을 실행한다.

[7. 본 개시의 구성 마무리]

이상, 특정한 실시예를 참조하면서, 본 개시의 실시예에 대하여 자세히 해석해 왔다. 그러나, 본 개시의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 대용을 할 수 있음은 자명하다. 즉, 예시라고 하는 형태로 본 발명을 개시해 온 것이며, 한정적으로 해석되어서는 안된다. 본 개시의 요지를 판단하기 위해서는, 특허 청구 범위의 란을 참작해야 한다.

또한, 본 명세서에 있어서 개시한 기술은, 이하와 같은 구성을 취할 수 있다.

(1) 화상의 화소값 보정에 적용하는 보정 함수의 산출에 이용하는 샘플링점을 상기 화상으로부터 선택하는 샘플링점 선택부와,

상기 샘플링점 선택부는,

상기 샘플링점 추출 클러스터로부터 샘플링점을 선택하는 처리를 실행하는 화상 처리 장치.

(2) 상기 샘플링점 선택부는,

(a) 최대 화소수의 클러스터로부터 순서대로 1개 이상의 클러스터를 샘플링점 추출 클러스터로 하는,

(b) 각 클러스터에 포함되는 화소의 화소값의 평균값이나 중앙값이 전체 클러스터의 중심이 되는 클러스터, 또는 그 클러스터와 인접하는 수 클러스터를 샘플링점 추출 클러스터로 하는,

(c) 유저가 선택한 클러스터를 샘플링점 추출 클러스터로 하는,

상기 (a) 내지 (c) 중 어느 한 방법으로 샘플링점 추출 클러스터를 결정하는 (1)에 기재된 화상 처리 장치.

(3) 상기 샘플링점 선택부는,

상기 화상 내의 해석 대상으로 되는 피사체가 많이 포함되는 클러스터를, 샘플링점 추출 클러스터로서 결정하는 (1)에 기재된 화상 처리 장치.

(4) 상기 보정 함수 산출부는,

화소 위치 대응의 화소값을 정의한 근사면 y(x)를 산출하고,

상기 근사면 y(x)와, 미리 규정한 보정 기준 Yref(x)의 비율에 따라서 보정량을 변동시키는 보정 함수를 생성하는 (1) 내지 (3) 중 어느 것에 기재된 화상 처리 장치.

(5) 상기 보정 기준 Yref(x)은

상기 샘플링점 추출 클러스터의 화소값의 평균값, 또는 중앙값, 또는 유저 선택값의 어느 것인 (4)에 기재된 화상 처리 장치.

(6) 상기 보정 함수 산출부는,

화소 위치 대응의 화소값을 정의한 근사면 y(x)를 커널 회귀 보간, 또는 스플라인 곡면 보간, 또는 다항식 근사 곡면, 또는 선형 보간의 적어도 어느 것을 사용하여 산출하는 (4) 또한 (5)에 기재된 화상 처리 장치.

(7) 상기 보정 함수 산출부는,

화소 위치 대응의 화소값을 정의한 근사면 y(x)를 산출하고,

상기 근사면 y(x)와, 미리 규정한 보정 기준 Yref(x)의 비율에 따라서 보정량을 변동시키는 하기의 보정 함수,

Y'(x)=(Yref(x)/y(x))Y(x),

단,

Y'(x)은 상기 화상의 보정 후의 화소 위치(x) 대응의 화소값,

Y(x)은 상기 화상의 보정 전의 화소 위치(x) 대응의 화소값,

상기 보정 함수를 생성하는 (1) 내지 (6) 중 어느 것에 기재된 화상 처리 장치.

(8) 상기 샘플링점 선택부는,

상기 클러스터링을,

(a) K-Means법,

(b) K-NN법,

(c) Ward법,

(d) 시맨틱 세그멘테이션,

상기 (a) 내지 (d) 중 어느 방법을 적용하여 실행하는 (1) 내지 (7) 중 어느 것에 기재된 화상 처리 장치.

(9) 상기 샘플링점 선택부는,

상기 클러스터링을, 상기 화상의 화소의 특정한 특징 정보에 기초하여 실행하는 (1) 내지 (8) 중 어느 것에 기재된 화상 처리 장치.

(10) 상기 특징 정보는, 상기 화상의 화소의 휘도, 또는 RGB 중 적어도 어느 것의 신호, 또는, RGB 화상을 변환한 Lab 공간, YUV 공간, xy 색도 공간, 이들 중 어느 공간 상의 신호인 (9)에 기재된 화상 처리 장치.

(11) 상기 화상 처리 장치는, 또한,

상기 화상을 축소하여 축소 화상을 생성하는 축소 화상 생성부를 갖고,

상기 샘플링점 선택부와, 상기 보정 함수 산출부는, 상기 축소 화상 생성부가 생성한 축소 화상에 대한 처리를 실행하는 (1) 내지 (10) 중 어느 것에 기재된 화상 처리 장치.

(12) 상기 화상 처리 장치는,

상기 화상 보정부가 생성한 보정 화상을 서로 연결시켜서 1매의 합성 화상을 생성하는 합성 화상 생성부를 갖는 (1) 내지 (11) 중 어느 것에 기재된 화상 처리 장치.

(13) 상기 합성 화상 생성부는,

서로 연결시켜 대상으로 되는 각 보정 화상의 화소값의 평균값, 또는 각 보정 화상의 중복 영역의 화소값의 평균값, 또는 샘플링점 추출 클러스터의 화소값의 평균값을, 미리 설정한 보정 기준 화소값에 일치시키는 처리를 실행하여 이음매의 불연속성을 경감한 합성 화상을 생성하는 (12)에 기재된 화상 처리 장치.

(14) 상기 샘플링점 선택부는,

샘플링점 선택 처리 시에, 처리 대상 화상의 주위 화상으로부터 실행 완료된 샘플링점 선택 정보를 입력하고, 입력 정보를 참조하여 처리 대상 화상의 샘플링점 선택 처리를 실행하는 (1) 내지 (13) 중 어느 것에 기재된 화상 처리 장치.

(15) 상기 보정 함수 산출부는,

보정 함수 산출 처리 시에, 처리 대상 화상의 주위 화상으로부터 산출 완료된 보정 함수 정보를 입력하고, 입력 정보를 참조하여 처리 대상 화상의 보정 함수의 산출 처리를 실행하는 (1) 내지 (14) 중 어느 것에 기재된 화상 처리 장치.

(16) 화상 처리 장치에 있어서 실행하는 화상 처리 방법이며,

상기 샘플링점 선택 스텝은,

상기 샘플링점 추출 클러스터로부터 샘플링점을 선택하는 스텝을 갖는 화상 처리 방법.

(17) 화상 처리 장치에 있어서 화상 처리를 실행시키는 프로그램이며,

상기 샘플링점 선택 스텝에 있어서는,

상기 샘플링점 추출 클러스터로부터 샘플링점을 선택하는 스텝을 실행시키는 프로그램.

또한, 명세서 중에 있어서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시키거나, 혹은, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 외에, LAN(Local Area Network), 인터넷과 같은 네트워크를 통하여 프로그램을 수신하여, 내장한 하드 디스크 등의 기록 매체에 인스톨할 수 있다.

또한, 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라 병렬적으로 혹은 개별로 실행되어도 된다. 또한, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에 한정하지는 않는다.

이상, 설명한 바와 같이, 본 개시의 일 실시예 구성에 의하면, 휘도 편차나 색 불균일을 저감한 고화질의 보정 화상을 생성 가능하게 한 화상 처리 장치, 방법이 실현된다.

10: 촬영 화상
20: 보정 화상
100: 화상 처리 장치
101: 샘플링점 선택부
102: 보정 함수 산출부
103: 화상 보정부
120: 화상 처리 장치
121: 축소 화상 생성부
130: 화상 처리 장치
131: 합성 화상 생성부
140: 화상 처리 장치
141: 화상 대응 샘플링점 위치 정보 기억부
150: 화상 처리 장치
151: 화상 대응 보정 함수 기억부
160: 화상 처리 장치
161: 화상 대응 근사면 기억부
301: CPU
302: ROM
303: RAM
304: 버스
305: 입출력 인터페이스
306: 입력부
307: 출력부
308: 기억부
309: 통신부
310: 드라이브
311: 리무버블 미디어

Claims

화상의 화소값 보정에 적용하는 보정 함수의 산출에 이용하는 샘플링점을 상기 화상으로부터 선택하는 샘플링점 선택부와,
상기 샘플링점 선택부가 선택한 샘플링점의 화소값과 위치 정보를 적용하여 상기 보정 함수를 산출하는 보정 함수 산출부와,
상기 보정 함수를 적용하여 상기 화상의 화소값 보정을 행하는 화상 보정부를 갖고,
상기 샘플링점 선택부는,
상기 화상의 구성 화소를 복수의 부분 집합으로 분할하는 클러스터링을 실행하고,
상기 클러스터링에 의해 생성된 복수 클러스터로부터 샘플링점 추출 클러스터를 결정하고,
상기 샘플링점 추출 클러스터로부터 샘플링점을 선택하는 처리를 실행하는 화상 처리 장치.
제1항에 있어서, 상기 샘플링점 선택부는,
(a) 최대 화소수의 클러스터로부터 순서대로 1개 이상의 클러스터를 샘플링점 추출 클러스터로 하는,
(b) 각 클러스터에 포함되는 화소의 화소값의 평균값이나 중앙값이 전체 클러스터의 중심이 되는 클러스터, 또는 그 클러스터와 인접하는 수 클러스터를 샘플링점 추출 클러스터로 하는,
(c) 유저가 선택한 클러스터를 샘플링점 추출 클러스터로 하는,
상기 (a) 내지 (c) 중 어느 한 방법으로 샘플링점 추출 클러스터를 결정하는 화상 처리 장치.
제1항에 있어서, 상기 샘플링점 선택부는,
상기 화상 내의 해석 대상으로 되는 피사체가 많이 포함되는 클러스터를, 샘플링점 추출 클러스터로서 결정하는 화상 처리 장치.
제1항에 있어서, 상기 보정 함수 산출부는,
화소 위치 대응의 화소값을 정의한 근사면 y(x)를 산출하고,
상기 근사면 y(x)와, 미리 규정한 보정 기준 Yref(x)의 비율에 따라서 보정량을 변동시키는 보정 함수를 생성하는 화상 처리 장치.
제4항에 있어서, 상기 보정 기준 Yref(x)은
상기 샘플링점 추출 클러스터의 화소값의 평균값, 또는 중앙값, 또는 유저 선택값의 어느 것인 화상 처리 장치.
제4항에 있어서, 상기 보정 함수 산출부는,
화소 위치 대응의 화소값을 정의한 근사면 y(x)를 커널 회귀 보간, 또는 스플라인 곡면 보간, 또는 다항식 근사 곡면, 또는 선형 보간의 적어도 어느 것을 사용하여 산출하는 화상 처리 장치.
제1항에 있어서, 상기 보정 함수 산출부는,
화소 위치 대응의 화소값을 정의한 근사면 y(x)를 산출하고,
상기 근사면 y(x)와, 미리 규정한 보정 기준 Yref(x)의 비율에 따라서 보정량을 변동시키는 하기의 보정 함수,
Y'(x)=(Yref(x)/y(x))Y(x),
단,
Y'(x)은 상기 화상의 보정 후의 화소 위치(x) 대응의 화소값,
Y(x)은 상기 화상의 보정 전의 화소 위치(x) 대응의 화소값,
상기 보정 함수를 생성하는 화상 처리 장치.
제1항에 있어서, 상기 샘플링점 선택부는,
상기 클러스터링을,
(a) K-Means법,
(b) K-NN법,
(c) Ward법,
(d) 시맨틱 세그멘테이션,
상기 (a) 내지 (d) 중 어느 방법을 적용하여 실행하는 화상 처리 장치.
제1항에 있어서, 상기 샘플링점 선택부는,
상기 클러스터링을, 상기 화상의 화소의 특정한 특징 정보에 기초하여 실행하는 화상 처리 장치.
제9항에 있어서, 상기 특징 정보는, 상기 화상의 화소 휘도, 또는 RGB 중 적어도 어느 것의 신호, 또는, RGB 화상을 변환한 Lab 공간, YUV 공간, xy 색도 공간, 이들 중 어느 공간 상의 신호인 화상 처리 장치.
제1항에 있어서, 상기 화상 처리 장치는, 또한,
상기 화상을 축소하여 축소 화상을 생성하는 축소 화상 생성부를 갖고,
상기 샘플링점 선택부와, 상기 보정 함수 산출부는, 상기 축소 화상 생성부가 생성한 축소 화상에 대한 처리를 실행하는 화상 처리 장치.
제1항에 있어서, 상기 화상 처리 장치는,
상기 화상 보정부가 생성한 보정 화상을 서로 연결시켜서 1매의 합성 화상을 생성하는 합성 화상 생성부를 갖는 화상 처리 장치.
제12항에 있어서, 상기 합성 화상 생성부는,
서로 연결시켜 대상으로 되는 각 보정 화상의 화소값의 평균값, 또는 각 보정 화상의 중복 영역의 화소값의 평균값, 또는 샘플링점 추출 클러스터의 화소값의 평균값을, 미리 설정한 보정 기준 화소값에 일치시키는 처리를 실행하여 이음매의 불연속성을 경감한 합성 화상을 생성하는 화상 처리 장치.
제1항에 있어서, 상기 샘플링점 선택부는,
샘플링점 선택 처리 시에, 처리 대상 화상의 주위 화상으로부터 실행 완료된 샘플링점 선택 정보를 입력하고, 입력 정보를 참조하여 처리 대상 화상의 샘플링점 선택 처리를 실행하는 화상 처리 장치.
제1항에 있어서, 상기 보정 함수 산출부는,
보정 함수 산출 처리 시에, 처리 대상 화상의 주위 화상으로부터 산출 완료된 보정 함수 정보를 입력하고, 입력 정보를 참조하여 처리 대상 화상의 보정 함수의 산출 처리를 실행하는 화상 처리 장치.
화상 처리 장치에 있어서 실행하는 화상 처리 방법이며,
샘플링점 선택부가, 화상의 화소값 보정에 적용하는 보정 함수의 산출에 이용하는 샘플링점을 상기 화상으로부터 선택하는 샘플링점 선택 스텝과,
보정 함수 산출부가, 상기 샘플링점 선택부가 선택한 샘플링점의 화소값과 위치 정보를 적용하여 상기 보정 함수를 산출하는 보정 함수 산출 스텝과,
화상 보정부가, 상기 보정 함수를 적용하여 상기 화상의 화소값 보정을 행하는 화상 보정 스텝을 실행하고,
상기 샘플링점 선택 스텝은,
상기 화상의 구성 화소를 복수의 부분 집합으로 분할하는 클러스터링을 실행하는 스텝과,
상기 클러스터링에 의해 생성된 복수 클러스터로부터 샘플링점 추출 클러스터를 결정하는 스텝과,
상기 샘플링점 추출 클러스터로부터 샘플링점을 선택하는 스텝을 갖는 화상 처리 방법.
화상 처리 장치에 있어서 화상 처리를 실행시키는 프로그램이며,
샘플링점 선택부에, 화상의 화소값 보정에 적용하는 보정 함수의 산출에 이용하는 샘플링점을 상기 화상으로부터 선택시키는 샘플링점 선택 스텝과,
보정 함수 산출부에, 상기 샘플링점 선택부가 선택한 샘플링점의 화소값과 위치 정보를 적용하여 상기 보정 함수를 산출시키는 보정 함수 산출 스텝과,
화상 보정부에, 상기 보정 함수를 적용하여 상기 화상의 화소값 보정을 행하게 하는 화상 보정 스텝을 실행시키고,
상기 샘플링점 선택 스텝에 있어서는,
상기 화상의 구성 화소를 복수의 부분 집합으로 분할하는 클러스터링을 실행하는 스텝과,
상기 클러스터링에 의해 생성된 복수 클러스터로부터 샘플링점 추출 클러스터를 결정하는 스텝과,
상기 샘플링점 추출 클러스터로부터 샘플링점을 선택하는 스텝을 실행시키는 프로그램.