KR102567186B1 - 화상 처리 장치, 화상 처리 프로그램과 화상 처리 방법, 및 화상 송수신 시스템과 화상 송수신 방법 - Google Patents

화상 처리 장치, 화상 처리 프로그램과 화상 처리 방법, 및 화상 송수신 시스템과 화상 송수신 방법 Download PDF

Info

Publication number
KR102567186B1
KR102567186B1 KR1020187032133A KR20187032133A KR102567186B1 KR 102567186 B1 KR102567186 B1 KR 102567186B1 KR 1020187032133 A KR1020187032133 A KR 1020187032133A KR 20187032133 A KR20187032133 A KR 20187032133A KR 102567186 B1 KR102567186 B1 KR 102567186B1
Authority
KR
South Korea
Prior art keywords
image data
processing
image
generating
executing
Prior art date
Application number
KR1020187032133A
Other languages
English (en)
Other versions
KR20180136973A (ko
Inventor
마사히사 하마다
에이지 사카에
Original Assignee
가부시키가이샤 크리프톤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 크리프톤 filed Critical 가부시키가이샤 크리프톤
Publication of KR20180136973A publication Critical patent/KR20180136973A/ko
Application granted granted Critical
Publication of KR102567186B1 publication Critical patent/KR102567186B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

화상 처리 장치는, 필터 계수를 격납한 필터 계수 격납 수단과, 입력 화상 데이터에 필터링을 실시해 제1 화상 데이터를 생성하는 필터링 처리를 실행하는 수단과, 필터 계수 격납 수단에 격납된 필터 계수를 이용해 제1 화상 데이터에 합성곱 연산을 실시해 제2 화상 데이터를 생성하는 합성곱 처리를 실행하는 수단과, 제1 화상 데이터를 제2 화상 데이터로 제산하여 제3 화상 데이터를 생성하는 제산 처리를 실행하는 수단과, 제1 화상 데이터에 제3 화상 데이터를 곱하여 출력 화상 데이터를 생성하는 승산 처리를 실행하는 수단을 가진다.

Description

화상 처리 장치, 화상 처리 프로그램과 화상 처리 방법, 및 화상 송수신 시스템과 화상 송수신 방법
본 발명은, 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법에 관한 것이다.
종래부터, 열화(劣化)한 화상을 복원하는 화상 복원 기술로서, 일반화 역필터를 이용하는 방법 및 Richardson-Lucy법(이하 「RL법」이라고 한다.) 등이 있다(비특허문헌 1). 양 방법 모두, 열화 과정이 이미 알려져 있어서, 열화 과정에 의해 열화시킨 것과 입력 화상의 제곱 오차가 최소가 되도록, 구하려는 복원 화상을 결정한다.
일반화 역필터는, 제곱 오차가 최소가 되는 조건을 푼 결과, 역행렬을 계산하게 된다. 그대로는 계산이 곤란한 경우도 많기 때문에, 이산 푸리에 변환을 하여 주파수 공간 상에서 계산을 실시하고, 다시 실 공간으로 되돌린다. 이는, 주파수 공간 상에서는 역행렬 연산이 제산이 되는 것에 따른다. RL법은, 반복법에 의해 초기 해(解)로부터 서서히 참(true)의 해로 수속(收束)시켜 가는 것에 의해, 제곱 오차가 최소가 되는 복원 화상을 얻는다.
특허문헌 1에는, 열화 화상을 복원할 때의 처리량을 저감하는 것을 목적으로, 열화 화상 중 국소 영역에 대응하는 필터 계수를 이용해 국소 영역 마다 연산하는 방법이 제안되어 있다.
[특허문헌 1] 일본 특개 2010-61541
[비특허문헌 1] M.R.Banham　and　A.K.Katsaggelos, "Digital　Image Restoration", IEEE　Signal　Processing　Magazine, pp.24-41, 1997
그렇지만, 상기의 종래 기술에서는, 연산량의 증대를 피할 수 없다 라는 문제가 발생하였다.
본 발명은 이러한 사정에 따라 이루어진 것으로서, 연산량을 저감할 수 있는 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법을 제공하는 것을 목적으로 한다.
본 발명의 일측면에 따른 화상 처리 장치는, 필터 계수를 격납한 필터 계수 격납 수단과, 입력 화상 데이터에 필터링을 실시해 제1 화상 데이터를 생성하는 필터링 처리를 실행하는 수단과, 필터 계수 격납 수단에 격납된 필터 계수를 이용해 제1 화상 데이터에 합성곱(convolution) 연산을 실시해 제2 화상 데이터를 생성하는 합성곱 처리를 실행하는 수단과, 제1 화상 데이터를 제2 화상 데이터로 제산(除算)하여 제3 화상 데이터를 생성하는 제산 처리를 실행하는 수단과, 제1 화상 데이터에 제3 화상 데이터를 곱하여 출력 화상 데이터를 생성하는 승산(乘算) 처리를 실행하는 수단을 가진다.
또한, 상술한 화상 처리 장치에 있어서, 합성곱 처리, 제산 처리 및 승산 처리를 반복해 실행하는 수단을 더 가지는 것을 특징으로 한다.
또한, 상술한 화상 처리 장치에 있어서, 필터 격납 수단은, 복수의 필터 계수를 격납하고 있고, 합성곱 처리를 실행하는 수단은, 합성곱 처리를 실시할 때 마다, 복수의 필터 계수 중, 상이한 필터 계수를 이용하는 것을 특징으로 한다.
또한, 본 발명의 다른 측면에 따른 화상 처리 프로그램은, 입력 화상 데이터에 필터링을 실시해 제1 화상 데이터를 생성하는 필터링 처리를 실행하는 스텝과, 필터 계수 격납부에 격납된 필터 계수를 독출(讀出, read)하여 제1 화상 데이터에 합성곱 연산을 실시해 제2 화상 데이터를 생성하는 합성곱 처리를 실행하는 스텝과, 제1 화상 데이터를 제2 화상 데이터로 제산하여 제3 화상 데이터를 생성하는 제산 처리를 실행하는 스텝과, 제1 화상 데이터에 제3 화상 데이터를 곱하여 출력 화상 데이터를 생성하는 승산 처리를 실행하는 스텝을 컴퓨터에 실행시키는 것을 특징으로 한다.
또한, 본 발명의 다른 측면에 따른 화상 처리 방법은, 입력 화상 데이터에 필터링을 실시해 제1 화상 데이터를 생성하는 필터링 처리를 실행하는 스텝과, 필터 계수 격납부에 격납된 필터 계수를 독출하여 제1 화상 데이터에 합성곱 연산을 실시해 제2 화상 데이터를 생성하는 합성곱 처리를 실행하는 스텝과, 제1 화상 데이터를 제2 화상 데이터로 제산하여 제3 화상 데이터를 생성하는 제산 처리를 실행하는 스텝과, 제1 화상 데이터에 제3 화상 데이터를 곱하여 출력 화상 데이터를 생성하는 승산 처리를 실행하는 스텝을 가지는 것을 특징으로 한다.
본 발명에 의하면, 최적한 화상 처리를 실시해, 화상을 고해상도화 함과 동시에, 연산량을 저감하는 것이 가능해진다.
[도 1] 본 발명의 일실시 형태에 따른 화상 처리 시스템(1)의 개략도
[도 2] 제1 실시 형태에서의 화상 처리 장치(10)의 개념도
[도 3] 제2 실시 형태에서의 화상 처리 장치(10)의 개념도
[도 4] 제3 실시 형태에서의 화상 처리 장치(10)의 개념도
[도 5] 화상 처리 장치(10)를 적용한 의료용 영상 처리 시스템(2)의 개념도
[도 6] 의료용 영상 처리 시스템(2)에 의한 화상 처리 전의 화상 및 그 주파수 스펙트럼
[도 7] 의료용 영상 처리 시스템(2)에 의한 화상 처리 후의 화상 및 그 주파수 스펙트럼
[도 8] 화상 처리 장치(10)를 적용한 화상 송수신 시스템(3)의 개념도
이하, 본 발명의 실시 형태에서 도면을 참조해 설명한다.
도 1은, 본 발명의 일실시 형태에 따른 화상 처리 시스템(1)의 개략도이다. 화상 처리 시스템(1)은, 화상 처리 장치(10), 촬영용 카메라(20) 및 표시 장치(30)를 갖춘다. 촬영용 카메라(20)는, 소정의 촬영 대상을 촬영한 화상을 나타내는 입력 화상 데이터를 생성해, 화상 처리 장치(10)로 송신한다. 화상 처리 장치(10)는, 촬영용 카메라(20)로부터 수신한 입력 화상 데이터에 소정의 처리를 실시해, 출력 화상 데이터를 표시 장치(30)로 송신한다. 표시 장치(30)는, 화상 처리 장치(10)로부터 수신한 출력 화상 데이터에 근거해, 소정의 화상을 표시한다.
도 2는, 제1 실시 형태에서의 화상 처리 장치(10)의 개념도이다. 화상 처리 장치(10)는, 화상 데이터 취득부(100), 필터 계수 격납부(200), 화상 처리부(300) 및 화상 데이터 출력부(400)를 갖춘다. 덧붙여, 화상 처리 장치(10)는, 각 실시 형태에서 설명하는 구성/기능 외에, 암시(暗視) 보정 등 , 통상의 화상 처리 장치가 구비하는 수단을 더 갖추어도 무방하다.
화상 데이터 취득부(100)는, 소정의 화상을 디지털 데이터화 한 화상 데이터를 취득한다. 화상 데이터 취득부(100)는, 예를 들면, CD-ROM이나 DVD 등의 미디어로부터 화상 데이터를 취입(取入)해도 무방하고, USB 케이블이나 Wi-Fi, 인터넷, 방송 네트워크 등을 경유해 화상 데이터를 취득해도 무방하다. 또한, 화상 데이터 취득부(100)는, 화상 처리 장치(10)의 외부로부터 화상 데이터를 취득하는 수단에 한정되지 않으며, 화상 데이터 취득부(100) 자체가 카메라 등의 촬상 수단이어도 무방하다.
필터 계수 격납부(200)는, 화상 처리를 실시하는 입력 화상 데이터의 각 화소에 대응시켜, 필터 계수의 일례인 점상(点像) 분포 필터 계수(이하 「PSF 계수」라고 한다.)를 격납하고 있다. 덧붙여, PSF 계수는, 광학계의 파라미터나 실험 등에서 추정 등을 실시해도 무방하고, 미리 소정의 계수를 설정해 두는 것도 무방하다. 각 화소에 대응된 PSF 계수는, 화소 마다 복수의 패턴의 계수 값이 격납되도록 해도 무방하다.
화상 처리부(300)는, 필터링 처리부(310), 합성곱 처리부(320), 제산 처리부(330) 및 승산 처리부(340)를 갖춘다. 화상 처리부(300)는, 입력 화상 데이터에 대해 소정의 처리를 실시해, 출력 화상 데이터를 생성한다. 화상 처리부(300)에 포함되는 각 구성의 상세에 대해서는 후술한다.
화상 데이터 출력부(400)는, 출력 화상 데이터를 출력한다. 화상 데이터 출력부(400)는, 예를 들면, CD-ROM이나 DVD 등의 미디어에 화상 데이터를 서입(書入, write)해도 무방하고, USB 케이블이나 Wi-Fi, 인터넷, 방송 네트워크 등에 대해 화상 데이터를 출력해도 무방하다. 또한, 화상 데이터 출력부(400)는, 화상 처리 장치(10)의 외부에 화상 데이터를 출력하는 수단에 한정되지 않으며, 화상 데이터 출력부(400) 자체가 모니터 등의 화상 표시 수단이어도 무방하다.
다음으로, 화상 처리 장치(10)에 의한 화상 처리의 개요를 설명한다.
우선, 화상 데이터 취득부(100)는, 입력 화상 데이터 G(x, y)를 취득해, 필터링 처리부(310)로 보낸다. 여기서, G(x, y)는, 입력 화상 데이터 내 점(点)의 위치를 나타내는 좌표(x, y)에서의 휘도(輝度)에 관한 화소치이다. 입력 화상 데이터는, 좌표(x, y)에 대해, 휘도 외에, 색 등에 관련되어 복수 종류의 화소치를 가지는 경우가 있지만, 여기서의 설명이 마찬가지로 적용된다.
필터링 처리부(310)는, 입력 화상 데이터 G(x, y)에 대해 블러(Blur) 처리를 실시해, 제1 화상 데이터 Ak(x, y)를 생성한다. 필터링 처리부(310)에서는, 블러 처리로서, 가우시안·필터 등과 같이 일반적으로 알려진 필터를 이용한 필터링 처리를 실행하는 것도 무방하고, 필터 계수 격납부(200)로부터 PSF 계수를 독출하여, PSF 계수를 이용한 필터링 처리를 실행하는 것도 무방하다. 이러한 필터링 처리에 의해 입력 화상 데이터는 평활화 되기 때문에, 이후의 처리에 따른 잡음의 증대를 억제할 수 있다.
필터링 처리부(310)에서의 처리의 연산식을 (1)식에 나타낸다. 덧붙여, Sk(i, j)는 필터 함수이다.
Ak(x, y) = G(x, y) * S(i, j) … (1)
또한, 화상 데이터 취득부(100)는, 입력 화상 데이터 G(x, y)를 직접 합성곱 처리부(320)로 보내도 무방하다. 그 경우, 제1 화상 데이터 Ak(x, y)는, 입력 화상 데이터 G(x, y)이다. 화상 데이터 취득부(100)는, 입력 화상 데이터 G(x, y)를 필터링 처리부(310)로 보낼지, 합성곱 처리부(320)로 보낼지에 대해, 소정의 판정 조건에 따라 적절히 선택해도 무방하다.
합성곱 처리부(320)는, 필터 계수 격납부(200)에 격납된 PSF 계수 Pk(i, j)를 독출하여, 제1 화상 데이터 Ak(x, y)에 대해, 상기 PSF 계수를 이용한 합성곱 연산을 실시해, 제2 화상 데이터 Bk(x, y)를 생성한다. 즉, 합성곱 처리부(320)는, 제1 화상 데이터에 일종의 필터링을 실시해 제2 화상 데이터를 생성한다.
합성곱 처리부(320)에서의 처리의 연산식을 (2)식에 나타낸다.
Bk(x, y) = Ak(x, y) * Pk(i, j) … (2)　
제산 처리부(330)는, 제1 화상 데이터 Ak(x, y)를 제2 화상 데이터 Bk(x, y)로 제산하여 제3 화상 데이터 Ck(x, y)를 생성한다. 즉, 제산 처리부(330)는, 제1 화상 데이터와 제2 화상 데이터의 화소 마다의 비(比)를 나타내는 제3 화상 데이터를 생성한다. 이 비(比)는, 원(元)이 되는 제1 화상 데이터의 각 화소치에 상관되어 있으며, 예를 들면, 제1 화상 데이터에서의 엣지(edge)에 대응하는 부분과 그 외의 부분에서는, 상이한 비(比)를 가지게 된다.
제산 처리부(330)에서의 처리의 연산식을 (3)식에 나타낸다.
Ck(x, y) = Ak(x, y) / Bk(x, y)
= Ak(x, y) / (Ak(x, y) * Pk(i, j)) … (3)
승산 처리부(340)는, 제1 화상 데이터 Ak(x, y)에 제3 화상 데이터 Ck(x, y)를 곱하여 출력 화상 데이터 Fk(x, y)를 생성한다.
승산 처리부(340)에서의 처리의 연산식을 (4)식에 나타낸다.
Fk(x, y) = Ak(x, y) × Ck(x, y)
= Ak(x, y) × (Ak(x, y) / (Ak(x, y) * Pk(i, j))) … (4)
승산 처리부(340)에 의해 생성된 출력 화상 데이터 Fk(x, y)는, 화상 데이터 출력부(400)로 보내져, 출력된다.
덧붙여, 이상의 처리에서는, 복수의 처리 라인을 적절히 이용해 병렬 처리를 해도 무방하고, 비트 시프트 등의 처리를 적절히 실시해도 무방하다.
다음으로, 화상 처리 장치(10)의 제2 실시 형태에 대해 설명한다. 덧붙여, 제2 실시 형태 이후에서는 제1 실시 형태와 공통된 사항에 대한 기술을 생략하고, 상이한 점에 대해서만 설명을 실시한다. 특히, 유사한 구성에 의한 유사한 작용 효과에 대해서는 실시 형태 마다 순서대로 언급하지는 않는다.
도 3은, 제2 실시 형태에서의 화상 처리 장치(10)의 개념도이다. 화상 처리 장치(10)의 화상 처리부(300)는, 필터링 처리부(310)에 더하여, 합성곱 처리부(320 내지 323), 제산 처리부(330 내지 333) 및 승산 처리부(340 내지 343)를 갖춘다. 즉, 본 발명의 제2 실시 형태는, 제1 실시 형태에서의, 합성곱 처리, 제산 처리 및 승산 처리를 반복해 실행하는 것을 특징으로 한다. 구체적으로는, 제2 실시 형태는, 제1 실시 형태에서의, 합성곱 처리부, 제산 처리부 및 승산 처리부가, 복수 단(段) 직렬로 접속된 구성을 가진다.
덧붙여, 제2 실시 형태에서는, 합성곱 처리, 제산 처리 및 승산 처리가 4단분 직렬적으로 접속되지만, 어디까지나 일례이며, 임의의 단 수를 접속시킬 수 있다. 또한, 반복 실행되는 처리는, 합성곱 처리, 제산 처리 및 승산 처리에 한정되지 않으며, 필터링 처리를 포함한 다른 처리를 적절히 반복 실행해도 무방하다.
화상 처리 장치(10)에 있어서, 필터링 처리부(310)는, 입력된 입력 화상 데이터에 대해, 필터링 처리를 실행한다. 그 후, 필터링 처리부(310)에 의해 필터링 처리된 화상 데이터에 대해, 합성곱 처리부(320), 제산 처리부(330) 및 승산 처리부(340)가 처리를 실행한다. 승산 처리부(340)에서 생성된 화상 데이터는, 합성곱 처리부(321)로 보내지고, 합성곱 처리부(321), 제산 처리부(331) 및 승산 처리부(341)가, 각각 처리를 실행한다. 제2 실시 형태에서는, 이러한 처리가 4회 반복된 후, 승산 처리부(343)에서 생성된 출력 화상 데이터가 화상 데이터 출력부(400)로 보내진다.
다음으로, 화상 처리 장치(10)의 제3 실시 형태에 대해 설명한다.
도 4는, 제3 실시 형태에서의 화상 처리 장치(10)의 개념도이다. 화상 처리 장치(10)는, 필터링 처리부(310)에 더하여, 합성곱 처리부(320), 제산 처리부(330) 및 승산 처리부(340)를 갖춘다. 화상 처리 장치(10)는, 판정부(350) 및 버퍼(360)를 더 갖춘다. 제3 실시 형태는, 제1 실시 형태에서의, 합성곱 처리, 제산 처리 및 승산 처리를 반복해 실행하는 것을 특징으로 한다. 구체적으로는, 제3 실시 형태는, 제1 실시 형태에서의, 합성곱 처리부, 제산 처리부 및 승산 처리부가, 루프적으로 접속된 구성을 가진다.
화상 처리 장치(10)에 있어서, 필터링 처리부(310)는, 입력된 입력 화상 데이터에 대해, 필터링 처리를 실행한다. 그 후, 필터링 처리부(310)에 의해 필터링 처리된 화상 데이터에 대해, 합성곱 처리부(320), 제산 처리부(330) 및 승산 처리부(340)가 처리를 실행한다. 판정부(350)는, 합성곱 처리부(320), 제산 처리부(330) 및 승산 처리부(340)에 의한 반복 처리가 소정 횟수에 도달했는지 여부를 판정한다. 소정의 반복 횟수에 도달하지 않은 경우에는, 승산 처리부(340)에서 생성된 화상 데이터를 버퍼(360)에 격납시킨다. 버퍼(360)에 격납된 화상 데이터에 대해서는, 합성곱 처리부(320), 제산 처리부(330) 및 승산 처리부(340)가 한층 더 처리를 실행한다. 소정의 반복 횟수에 도달한 경우에는, 승산 처리부(340)에서 생성된 화상 데이터를 출력 화상 데이터로서 화상 데이터 출력부(400)로 보내진다.
제2 실시 형태와 같이, 직렬적인 배열 구성을 채용한 경우, 버퍼를 마련할 필요가 없기 때문에, 버퍼로의 쓰기 및 버퍼로부터의 읽기의 처리가 불필요하게 되어, 처리 속도가 상승한다. 다른 한편, 제3 실시 형태와 같이, 반복적인 처리 구성을 채용한 경우, 회로 규모를 작게 할 수 있다.
제2 및 제3 실시 형태에는, 이상과 같은 구성의 차이가 있지만, 실행되는 연산은 공통된다. 즉, 제2 및 제3 실시 형태에서는, 상술의 (2)식 내지 (4)식에 나타난 처리가 반복 실행되지만, (5)식에 나타낸 것처럼, 승산 처리부에 의한 k회째의 처리에 의해 생성된 화상 데이터 Fk(x, y)가, 합성곱 처리부에서의 k+1회째의 처리의 입력인 Ak +1(x, y)가 되는 결과, Fk(x, y)와 Fk +1(x, y)의 관계는 (6)식처럼 된다.
Ak +1(x, y) = Fk(x, y) … (5)
Fk +1(x, y) = Fk(x, y) × (Fk(x, y) / (Fk(x, y) * Pk +1(i, j))) … (6)　
덧붙여, 필터 계수 격납부(200)는, 화소 마다 복수의 패턴의 PSF 계수 값이 격납되도록 해도 무방하고, 상술과 같은 반복 처리를 실시할 때에는, 합성곱 처리를 실시할 때 마다, 복수의 패턴의 PSF 계수 중, 상이한 PSF 계수를 이용하는 것으로 해도 무방하다.
이상, 화상 처리 장치(10)의 예시적인 실시 형태에 대해 설명하였다. 제1 실시 형태에서는, 필터 계수를 격납한 필터 계수 격납 수단과, 입력 화상 데이터에 필터링을 실시해 제1 화상 데이터를 생성하는 필터링 처리를 실행하는 수단과, 필터 계수 격납 수단에 격납된 필터 계수를 이용해 제1 화상 데이터에 합성곱 연산을 실시해 제2 화상 데이터를 생성하는 합성곱 처리를 실행하는 수단과, 제1 화상 데이터를 제2 화상 데이터로 제산하여 제3 화상 데이터를 생성하는 제산 처리를 실행하는 수단과, 제1 화상 데이터에 제3 화상 데이터를 곱하여 출력 화상 데이터를 생성하는 승산 처리를 실행하는 수단을 가진다. 이에 따라, 최적한 화상 처리를 실시해, 화상을 고해상도화 할 수 있음과 동시에, 연산량을 저감할 수 있다.
제2 및 제3 실시 형태에서는, 합성곱 처리, 제산 처리 및 승산 처리를 반복해 실행하는 수단을 더 가진다. 이에 따라, 화상의 해상도를 더 높일 수 있다.
다음으로, 제1 내지 3의 실시 형태에서의 화상 처리 장치(10)의 적용 예에 대해 설명한다.
도 5는, 화상 처리 장치(10)를 적용한 의료용 영상 처리 시스템(2)의 개념도이다. 의료용 영상 처리 시스템(2)은, 화상 처리 장치(10), 의료용 카메라(21) 및 의료용 모니터(31)를 갖춘다. 여기서, 의료용 카메라(21)는, 예를 들면, 내시경 카메라 등이다. 화상 처리 장치(10)는, 의료용 카메라(21)로부터 입력된 입력 화상 데이터를 처리해, 의료용 모니터(31)에 출력한다. 의료용 모니터(31)는, 수술 등의 의료 행위의 실시에 있어 의사들이 필요로 하는 영상 등을 출력한다.
의료용 영상 처리 시스템(2)과 같이, 의료용 영상의 영상 처리 시스템에 화상 처리 장치(10)를 적용함으로써, 의사들은, 환부나 그 주변 조직의 상태를 보다 정확하게 시인할 수 있다. 특히, 의료용 카메라(21)로서 내시경과 같이 초소형의 카메라를 이용한 경우, 상기 카메라의 해상도 등의 성능에는 일정한 한계가 있으므로, 이러한 시스템에 화상 처리 장치(10)를 적용하여, 입력 화상을 고해상도화 한 출력 화상을 생성하면, 효과는 보다 한층 현저해진다. 또한, 화상 처리 장치(10)를 적용함으로써, 수술 등의 의료 행위의 실시에 영향을 미치지 않는 리얼 타임의 영상 처리를 실현할 수 있다.
도 6 및 7은, 화상 처리 장치(10)의 효과를 설명하는 도면이다. 도 6(a)는, 의료용 영상 처리 시스템(2)에 의한 화상 처리를 실시하기 전의 화상이다. 도 6(b)는, 그 2차원 주파수 스펙트럼을 나타내는 도면이다. 또한, 도 7(a)는, 의료용 영상 처리 시스템(2)에 의한 화상 처리를 실시한 후의 화상이다. 도 7(b)는, 그 2차원 주파수 스펙트럼을 나타내는 도면이다. 도 7(c)는, 도 6(b)에 대한 도 7(b)의 2차원 주파수 스펙트럼의 증가분을 나타내는 도면이다. 도 7(c)를 보면, 의료용 영상 처리 시스템(2)에 의한 화상 처리를 실시한 후의 쪽이 주파수 성분의 존재 및 강도를 나타내는 흰 반점이 광범위하게 걸쳐 있어, 고주파 성분이 증가하고 있음을 알 수 있다. 즉, 의료용 영상 처리 시스템(2)에 의한 화상 처리 후, 해상도가 높아졌다는 것을 알 수 있다.
도 8은, 화상 처리 장치(10)를 응용한 화상 송수신 시스템(3)의 개념도이다. 화상 송수신 시스템(3)은, 송신기(5000)로부터 송신된 송신 화상 데이터가, 네트워크 등을 통해 수신기(6000)에 의해 수신된다.
송신기(5000)는, 화상 데이터 취득부(5100), 화상 처리부(5200) 및 송신 처리부(5300)를 갖춘다. 화상 데이터 취득부(5100)는, 소정의 화상을 디지털 데이터화 한 화상 데이터를 취득한다. 화상 데이터 취득부(5100)는, 예를 들면, CD-ROM이나 DVD 등의 미디어로부터 화상 데이터를 취입(取入)해도 무방하고, USB 케이블이나 Wi-Fi, 인터넷, 방송 네트워크 등을 경유해 화상 데이터를 취득해도 무방하다. 또한, 화상 데이터 취득부(5100)는, 송신기(5000)의 외부로부터 화상 데이터를 취득하는 수단에 한정되지 않으며, 화상 데이터 취득부(5100) 자체가 카메라 등의 촬상 수단이어도 무방하다. 화상 처리부(5200)는, 예를 들면 필터링 처리 수단이나 합성곱 처리 수단 등을 가진다. 송신 처리부(5300)는, 통신 환경 등에 따른 처리를 실행하는 수단을 갖춘다.
다음으로, 송신기(5000)에서의 동작의 개요를 설명한다. 송신기(5000)에 있어서, 화상 처리부(5200)는, 화상 데이터 취득부(5100)에 의해 취득된 원(原) 화상 데이터에 대해, 소정의 화상 처리를 실행한다. 화상 처리부(5200)는, 원 화상 데이터에 대해, 예를 들면 필터링 처리를 실행하여, 송신 화상 데이터로서, 원 화상 데이터에 대한 블러 화상 데이터를 생성한다. 블러 화상 데이터는, 원 화상 데이터와 비교해 고주파 성분이 저감하기 때문에, 데이터 양을 저감할 수 있다. 블러 화상 데이터를 생성하는 대신에, 적절한 방법에 따라 원 화상 데이터에서 데이터 양을 저감한 송신 화상 데이터를 생성하는 것도 무방하다. 송신 처리부(5300)는, 통신 환경 등에 따른 부호화 등의 처리를 실시해, 송신 화상 데이터를 송신한다. 여기서의 통신 환경(채널)은, 인터넷, 이동체 통신 네트워크, Wi-Fi, 방송 네트워크, USB 등의 케이블에 의한 통신, USB 메모리나 외부 메모리를 통한 데이터의 교환 등을 포함한다.
수신기(6000)는, 예를 들면, 수신 처리부(6100), 필터 계수 격납부(6200), 화상 처리부(6300) 및 화상 데이터 출력부(6400)를 갖춘다. 수신 처리부(6100)는, 수신 화상 데이터를 수신해, 통신 환경 등에 따른 복호화 등의 처리를 실행한다. 필터 계수 격납부(6200)는, 화상 처리를 실시하는 입력 화상 데이터의 각 화소에 대응하여 필터 계수를 격납하고 있다. 화상 처리부(6300)는, 예를 들면, 필터링 처리 수단, 합성곱 처리 수단, 제산 처리 수단 및 승산 처리 수단을 갖춘다. 화상 데이터 출력부(6400)는, 출력 화상 데이터를 출력한다. 화상 데이터 출력부(6400)는, 예를 들면, CD-ROM이나 DVD 등의 미디어에 화상 데이터를 서입(write)해도 무방하고, USB 케이블이나 Wi-Fi, 인터넷, 방송 네트워크 등에 대해 화상 데이터를 출력해도 무방하다. 또한, 화상 데이터 출력부(6400)는, 수신기(6000)의 외부에 화상 데이터를 출력하는 수단에 한정되지 않으며, 화상 데이터 출력부(6400) 자체가 모니터 등이어도 무방하다.
다음으로, 수신기(6000)에서의 동작의 개요를 설명한다. 수신기(6000)에 있어서, 수신 처리부(6100)는, 수신된 수신 화상 데이터에 대해, 통신 환경 등에 따른 복호화 등의 처리를 실행한다. 화상 처리부(6300)는, 예를 들면 상술의 제1 내지 제3 실시 형태에서의 화상 처리부(300)와 마찬가지의 처리를 실행한다. 화상 데이터 출력부(6400)는, 출력 화상 데이터를 출력한다.
이와 같이, 화상 송수신 시스템에 본 발명을 응용함으로써, 송신기에서 송신 데이터의 데이터 양을 저감시킬 수 있음과 동시에, 수신기에서의 화상 처리에 의해 최적한 화상을 생성·복원 할 수 있다.
이상, 본 발명의 적용 예를 설명했지만, 본 발명의 적용 예는 이것들에 한정되지는 않는다. 예를 들면, 텔레비전 영상의 처리 시스템, 방범 카메라 영상의 처리 시스템, 망원 화상의 처리 시스템, 그 외 동영상 또는 정지화면의 처리 시스템 등에 대해, 본 발명을 적용 가능하다.
이상 설명한 각 실시 형태는, 본 발명의 이해를 용이하게 하기 위한 것으로서, 본 발명을 한정해 해석하기 위한 것은 아니다. 본 발명은, 그 취지를 일탈하지 않고, 변경/개량될 수 있음과 동시에, 본 발명에는 그 등가물도 포함된다. 즉, 각 실시 형태에 당업자가 적절히 설계 변경을 실시한 것도, 본 발명의 특징을 갖추고 있는 한, 본 발명의 범위에 포함된다. 예를 들면, 각 실시 형태가 갖추는 각 요소 및 그 배치, 재료, 조건, 형상, 사이즈 등은, 예시한 것으로 한정되는 것은 아니고 적절히 변경할 수 있다. 또한, 각 실시 형태는 예시이며, 다른 실시 형태에서 나타낸 구성의 부분적인 치환 또는 조합이 가능함은 말할 필요도 없이, 이것들도 본 발명의 특징을 포함하는 한 본 발명의 범위에 포함된다.
1: 화상 처리 시스템
2: 의료용 영상 처리 시스템
3: 화상 송수신 시스템
10: 화상 처리 장치
20: 촬영용 카메라
21: 의료용 카메라
30: 표시 장치
31: 의료용 모니터
100: 화상 데이터 취득부
200: 필터 계수 격납부
300: 화상 처리부
310: 필터링 처리부
320, 321, 322, 323: 합성곱 처리부
330, 331, 332, 333: 제산 처리부
340, 341, 342, 343: 승산 처리부
350: 판정부
360: 버퍼
400: 화상 데이터 출력부
5000: 송신기
5100: 화상 데이터 취득부
5200: 화상 처리부
5300: 송신 처리부
6000: 수신기
6100: 수신 처리부
6200: 필터 계수 격납부
6300: 화상 처리부
6400: 화상 데이터 출력부

Claims (7)

  1. 각 화소에 대응하는 점상(点像) 분포 필터 계수를 격납한 필터 계수 격납 수단과,
    입력 화상 데이터에 블러(Blur) 처리를 실시해 제1 화상 데이터를 생성하는 블러 처리를 실행하는 수단과,
    상기 필터 계수 격납 수단에 격납된 점상 분포 필터 계수를 이용해 상기 제1 화상 데이터에 합성곱 연산을 실시해 제2 화상 데이터를 생성하는 합성곱 처리를 실행하는 수단과,
    상기 제1 화상 데이터를 상기 제2 화상 데이터로 제산하여 제3 화상 데이터를 생성하는 제산 처리를 실행하는 수단과,
    상기 제1 화상 데이터에 상기 제3 화상 데이터를 곱하여 출력 화상 데이터를 생성하는 승산 처리를 실행하는 수단
    을 가지는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 합성곱 처리, 상기 제산 처리 및 상기 승산 처리를 반복해 실행하는 수단
    을 더 가지는 것을 특징으로 하는 화상 처리 장치.
  3. 제2항에 있어서,
    상기 필터 계수 격납 수단은, 복수의 점상 분포 필터 계수를 격납하고 있고,
    상기 합성곱 처리를 실행하는 수단은, 상기 합성곱 처리를 실시할 때 마다, 상기 복수의 점상 분포 필터 계수 중, 상이한 점상 분포 필터 계수를 이용하는 것
    을 특징으로 하는 화상 처리 장치.
  4. 입력 화상 데이터에 블러 처리를 실시해 제1 화상 데이터를 생성하는 블러 처리를 실행하는 스텝과,
    필터 계수 격납부에 격납된 각 화소에 대응하는 점상 분포 필터 계수를 독출하여 상기 제1 화상 데이터에 합성곱 연산을 실시해 제2 화상 데이터를 생성하는 합성곱 처리를 실행하는 스텝과,
    상기 제1 화상 데이터를 상기 제2 화상 데이터로 제산하여 제3 화상 데이터를 생성하는 제산 처리를 실행하는 스텝과,
    상기 제1 화상 데이터에 상기 제3 화상 데이터를 곱하여 출력 화상 데이터를 생성하는 승산 처리를 실행하는 스텝
    을 컴퓨터에 실행시키는 화상 처리 프로그램을 저장하는 컴퓨터 판독 가능한 저장매체.
  5. 입력 화상 데이터에 블러 처리를 실시해 제1 화상 데이터를 생성하는 블러 처리를 실행하는 스텝과,
    필터 계수 격납부에 격납된 각 화소에 대응하는 점상 분포 필터 계수를 독출하여 상기 제1 화상 데이터에 합성곱 연산을 실시해 제2 화상 데이터를 생성하는 합성곱 처리를 실행하는 스텝과,
    상기 제1 화상 데이터를 상기 제2 화상 데이터로 제산하여 제3 화상 데이터를 생성하는 제산 처리를 실행하는 스텝과,
    상기 제1 화상 데이터에 상기 제3 화상 데이터를 곱하여 출력 화상 데이터를 생성하는 승산 처리를 실행하는 스텝
    을 가지는 화상 처리 방법.
  6. 화상 데이터를 송신하는 송신기와, 화상 데이터를 수신하여 화상 데이터를 처리하는 수신기를 가지는 화상 송수신 시스템에 있어서,
    상기 송신기는, 원 화상 데이터에서 데이터 양을 저감한 송신 화상 데이터를 생성하는 송신 화상 생성 수단을 가지고,
    상기 수신기는,
    각 화소에 대응하는 점상 분포 필터 계수를 격납한 필터 계수 격납 수단과,
    입력 화상 데이터에 블러 처리를 실시해 제1 화상 데이터를 생성하는 블러 처리를 실행하는 수단과,
    상기 필터 계수 격납 수단에 격납된 점상 분포 필터 계수를 이용해 상기 제1 화상 데이터에 합성곱 연산을 실시해 제2 화상 데이터를 생성하는 합성곱 처리를 실행하는 수단과,
    상기 제1 화상 데이터를 상기 제2 화상 데이터로 제산하여 제3 화상 데이터를 생성하는 제산 처리를 실행하는 수단과,
    상기 제1 화상 데이터에 상기 제3 화상 데이터를 곱하여 출력 화상 데이터를 생성하는 승산 처리를 실행하는 수단을 가지는
    것을 특징으로 하는 화상 송수신 시스템.
  7. 화상 데이터를 송신하는 송신기와, 화상 데이터를 수신하여 화상 데이터를 처리하는 수신기를 가지는 화상 송수신 시스템에서의 화상 송수신 방법에 있어서,
    상기 송신기는, 원 화상 데이터에서 데이터 양을 저감한 송신 화상 데이터를 생성하는 스텝을 갖추고,
    상기 수신기는,
    입력 화상 데이터에 블러 처리를 실시해 제1 화상 데이터를 생성하는 블러 처리를 실행하는 스텝과,
    필터 계수 격납부에 격납된 점상 분포 필터 계수를 독출하여 상기 제1 화상 데이터에 합성곱 연산을 실시해 제2 화상 데이터를 생성하는 합성곱 처리를 실행하는 스텝과,
    상기 제1 화상 데이터를 상기 제2 화상 데이터로 제산하여 제3 화상 데이터를 생성하는 제산 처리를 실행하는 스텝과,
    상기 제1 화상 데이터에 상기 제3 화상 데이터를 곱하여 출력 화상 데이터를 생성하는 승산 처리를 실행하는 스텝을 갖추는
    것을 특징으로 하는 화상 송수신 방법.
KR1020187032133A 2016-04-21 2017-02-24 화상 처리 장치, 화상 처리 프로그램과 화상 처리 방법, 및 화상 송수신 시스템과 화상 송수신 방법 KR102567186B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2016-085560 2016-04-21
JP2016085560 2016-04-21
PCT/JP2017/007192 WO2017183297A1 (ja) 2016-04-21 2017-02-24 画像処理装置、画像処理プログラム及び画像処理方法、並びに画像送受信システム及び画像送受信方法

Publications (2)

Publication Number Publication Date
KR20180136973A KR20180136973A (ko) 2018-12-26
KR102567186B1 true KR102567186B1 (ko) 2023-08-16

Family

ID=60115996

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187032133A KR102567186B1 (ko) 2016-04-21 2017-02-24 화상 처리 장치, 화상 처리 프로그램과 화상 처리 방법, 및 화상 송수신 시스템과 화상 송수신 방법

Country Status (4)

Country Link
US (1) US11100622B2 (ko)
JP (1) JP6647394B2 (ko)
KR (1) KR102567186B1 (ko)
WO (1) WO2017183297A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220161595A (ko) 2021-05-27 2022-12-07 삼성디스플레이 주식회사 전자 장치 및 그 구동 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013025473A (ja) * 2011-07-19 2013-02-04 Hitachi Advanced Digital Inc 画像処理装置及び画像処理方法
JP2015064890A (ja) * 2010-02-10 2015-04-09 ドルビー・インターナショナル・アーベー 画像処理装置および画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100247938B1 (ko) * 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치
US7308154B1 (en) * 2003-10-20 2007-12-11 Rockwell Collins, Inc. Method and apparatus for enhancing a degraded digital image
WO2007063918A1 (ja) * 2005-11-29 2007-06-07 Kyocera Corporation 撮像装置およびその方法
JP4787959B2 (ja) * 2006-01-10 2011-10-05 国立大学法人東京工業大学 画像復元フィルタ及びそれを用いた画像復元方法
US8306348B2 (en) * 2007-04-24 2012-11-06 DigitalOptics Corporation Europe Limited Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal
KR101341101B1 (ko) * 2007-09-11 2013-12-13 삼성전기주식회사 영상 복원 장치 및 복원 방법
JP4945532B2 (ja) * 2008-09-05 2012-06-06 株式会社東芝 劣化画像復元方法、劣化画像復元装置、及び、プログラム
JP2011237997A (ja) * 2010-05-10 2011-11-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012216888A (ja) * 2011-03-31 2012-11-08 Sony Corp 画像理装置および方法、並びにプログラム
JP2013162280A (ja) * 2012-02-03 2013-08-19 Sony Corp 画像処理装置、画像処理方法、プログラム、サーバ、クライアント端末、画像処理システム、及び画像処理システムにおける方法
JP6091176B2 (ja) * 2012-11-19 2017-03-08 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP5983373B2 (ja) * 2012-12-07 2016-08-31 富士通株式会社 画像処理装置、情報処理方法及びプログラム
CN104580879B (zh) * 2013-10-09 2018-01-12 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
JP6381376B2 (ja) * 2014-09-02 2018-08-29 キヤノン株式会社 撮像装置、カメラシステム、画像処理装置および画像処理プログラム
WO2016052027A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015064890A (ja) * 2010-02-10 2015-04-09 ドルビー・インターナショナル・アーベー 画像処理装置および画像処理方法
JP2013025473A (ja) * 2011-07-19 2013-02-04 Hitachi Advanced Digital Inc 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
WO2017183297A1 (ja) 2017-10-26
KR20180136973A (ko) 2018-12-26
US20190295230A1 (en) 2019-09-26
JPWO2017183297A1 (ja) 2019-02-28
US11100622B2 (en) 2021-08-24
JP6647394B2 (ja) 2020-02-14

Similar Documents

Publication Publication Date Title
US9898803B2 (en) Image processing apparatus, image processing method, and recording medium storing image processing program
KR101574733B1 (ko) 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
US8422827B2 (en) Image correction apparatus and image correction method
US8229244B2 (en) Multi-image deblurring
US9049356B2 (en) Image processing method, image processing apparatus and image processing program
US20100092086A1 (en) Method and system for image deblurring
US20120195520A1 (en) Image restoration apparatus and image restoration method
JP2008219654A (ja) 画像処理装置及び画像処理方法
JP2017010092A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017010095A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2006238032A (ja) 画像復元方法およびその装置
US9947083B2 (en) Image processing method, image processing apparatus, image capturing apparatus, image processing program and non-transitory computer-readable storage medium
KR102567186B1 (ko) 화상 처리 장치, 화상 처리 프로그램과 화상 처리 방법, 및 화상 송수신 시스템과 화상 송수신 방법
JP2017010093A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6541454B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US20220405892A1 (en) Image processing method, image processing apparatus, image processing system, and memory medium
US10764632B2 (en) Video signal processing apparatus, video signal processing method, and program
JP6661491B2 (ja) 画像処理装置および画像処理方法
JP7337555B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
KR101428364B1 (ko) 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치
JP2019144807A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
US11792535B2 (en) System and method to improve quality in under-display camera system with radially increasing distortion
JP2019016222A (ja) 画像処理装置およびその制御方法
JP6189172B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2020003885A (ja) 画像処理装置および画像処理方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant