KR20070085795A - 화상 보정 장치 및 화상 보정 방법 - Google Patents

화상 보정 장치 및 화상 보정 방법 Download PDF

Info

Publication number
KR20070085795A
KR20070085795A KR1020077012705A KR20077012705A KR20070085795A KR 20070085795 A KR20070085795 A KR 20070085795A KR 1020077012705 A KR1020077012705 A KR 1020077012705A KR 20077012705 A KR20077012705 A KR 20077012705A KR 20070085795 A KR20070085795 A KR 20070085795A
Authority
KR
South Korea
Prior art keywords
difference value
image
pixel
region
area
Prior art date
Application number
KR1020077012705A
Other languages
English (en)
Other versions
KR100867049B1 (ko
Inventor
도시유키 시미즈
요시키 오노
나오유키 후지야마
슈지 소토다
요시코 하타노
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20070085795A publication Critical patent/KR20070085795A/ko
Application granted granted Critical
Publication of KR100867049B1 publication Critical patent/KR100867049B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

촬영 화상에 대한 적응적인 보정 처리를 간단한 구성에 의해서 단시간에 실행할 수 있도록 하는 화상 보정 장치 및 화상 보정 방법으로서, 이 화상 보정 방법은, 입력 화상(31)의 화면 영역의 전체 또는 일부로 이루어지는 차분값 결정 영역(32) 내의 주목 화소(33a)의 화상 데이터와, 주목 화소(33a)의 주변에 설정된 윈도우 영역(33) 내의 근방 화소의 화상 데이터와의 차분값인 윈도우 영역 국소 차분값을 복수의 근방 화소에 대해서 산출하여, 윈도우 영역(33)마다에서의 최대의 윈도우 영역 국소 차분값인 최대 국소 차분값을 결정하는 단계와, 최대 국소 차분값에 근거하여, 입력 화상의 특성을 반영한 임계값을 결정하는 단계와, 임계값을 이용하여 입력 화상의 특성마다 적응적으로 필터 계수를 생성하는 단계와, 필터 계수를 이용하여 입력 화상에 대하여 필터 처리를 실행하는 단계를 갖고 있다.

Description

화상 보정 장치 및 화상 보정 방법{IMAGE CORRECTION DEVICE AND IMAGE CORRECTION METHOD}
본 발명은 디지털 카메라, 카메라 부착 휴대 단말 기기, 텔레비전(TV) 시스템, 및 퍼스널 컴퓨터(PC) 등에 적용되는 화상 보정 장치, 화상 보정 방법, 이 방법을 장치에 실행시키는 프로그램, 및 이 프로그램을 기록하는 기록 매체에 관한 것으로, 특히, 손떨림 등에 기인하는 화상 열화를 데이터 처리에 의해서 보정하기 위한 화상 보정 장치 및 화상 보정 방법에 관한 것이다.
종래부터, 디지털 카메라나 카메라 부착 휴대 단말 기기에 있어서의 조리개값, 초점 거리, 포커스 등에 의존하는 수차에 의한 화상 열화나, 손떨림에 의한 화상 열화를 보정 또는 수복하는 기능이 다양하게 제안되고 있다. 예를 들면, 렌즈 등의 광학계와, CCD나 C-MOS 센서 등의 촬상 소자를 갖는 최근의 디지털 카메라는 손떨림을 보정하기 위해서, 광학계의 진동을 경감하는 기계적인 기구를 구비하고 있다(예컨대, 특허 문헌 1 참조). 또한, 촬상 소자로 촬영된 화소 데이터를 변환하는 연산 회로를 이용하여, 취득된 화상을 보정하는 기술의 제안도 있다(예컨대, 특허 문헌 2 참조).
상기 종래 기술에 있어서는, 손떨림에 의해 카메라가 진동했을 때에, 그 진동을 센서로 검출하여, 검출된 신호, 즉, 손떨림에 의한 카메라의 이동 속도에 근거하여 보정량을 산출한다. 그리고, 산출한 보정량에 근거하여, 광학 렌즈 및/또는 촬상 소자를 이동시키거나, 또는, 화상 처리 연산에 의해서 촬상 소자의 각 화소의 값을 보정함으로써, 손떨림에 기인하는 화상 열화를 보정 또는 방지한다. 그 결과, 손떨림에 기인하는 화상 열화를 보정한 화상 또는 화상 열화를 방지한 화상이 플래쉬 메모리 등의 기억 매체에 기록된다.
특허 문헌 1: 일본 특허 공개 제2001-188272호 공보(13페이지, 도 1)
특허 문헌 2: 일본 특허 공개 제2000-224461호 공보(16페이지, 도 1)
발명의 개시
발명이 해결하고자 하는 과제
그러나, 상기 종래 기술에 있어서는, 촬영시에 있어서의 카메라의 이동 속도를 검출하기 위한 손떨림 센서가 필요해지기 때문에, 장치의 구성이 복잡하게 된다고 하는 문제가 있었다.
또한, 손떨림 센서의 출력에 근거하여, 화상 열화를 화상 처리 연산에 의해서 보정하는 경우에는, 화상 연산 처리에 시간이 필요하기 때문에, 촬영하고 나서 촬상 화상 데이터를 기록 매체에 기록할 때까지 시간이 걸린다고 하는 문제가 있었다.
그래서, 본 발명은 상기 종래 기술의 과제를 해결하기 위해서 이루어진 것으로서, 그 목적은, 촬영한 화상에 대한 적응적인 보정 처리를 간단한 구성에 의해서 단시간에 실행할 수 있는 화상 보정 장치 및 화상 보정 방법을 제공하는 것에 있다.
과제를 해결하기 위한 수단
본 발명의 화상 보정 장치는, 입력 화상의 화면 영역의 전체 또는 일부로 이루어지는 차분값 결정 영역 내의 주목 화소의 화상 데이터와, 상기 주목 화소의 주변에 설정된 윈도우 영역 내의 근방 화소의 화상 데이터와의 차분값인 윈도우 영역 국소 차분값을 복수의 근방 화소에 대해서 산출하여, 상기 윈도우 영역마다에서의 최대의 윈도우 영역 국소 차분값인 최대 국소 차분값을 결정하는 차분값 결정 수단과, 상기 최대 국소 차분값에 근거하여 입력 화상의 특성을 반영한 임계값을 결정하는 입력 화상 평가 수단과, 상기 임계값을 이용하여 상기 입력 화상의 화소마다 적응 필터 계수를 생성하는 필터 계수 생성 수단과, 상기 적응 필터 계수를 이용하여 상기 입력 화상에 필터 연산을 실행하는 필터 처리 수단을 갖는 것을 특징으로 하고 있다.
또한, 본 발명의 화상 보정 방법은, 입력 화상의 화면 영역의 전체 또는 일부로 이루어지는 차분값 결정 영역 내의 주목 화소의 화상 데이터와, 상기 주목 화소의 주변에 설정된 윈도우 영역 내의 근방 화소의 화상 데이터와의 차분값인 윈도우 영역 국소 차분값을 복수의 근방 화소에 대해서 산출하여, 상기 윈도우 영역마 다에서의 최대의 윈도우 영역 국소 차분값인 최대 국소 차분값을 결정하는 단계와, 상기 최대 국소 차분값에 근거하여 입력 화상의 특성을 반영한 임계값을 결정하는 단계와, 상기 임계값을 이용하여 상기 입력 화상의 특성마다 적응 필터 계수를 생성하는 단계와, 상기 적응 필터 계수를 이용하여 상기 입력 화상에 필터 연산을 실행하는 단계를 갖는 것을 특징으로 하고 있다.
발명의 효과
본 발명에 의하면, 촬영한 화상에 대한 적응적인 보정 처리를 간단한 구성에 의해서 단시간에 실행할 수 있다고 하는 효과가 있다.
도 1(a) 및 (b)는 본 발명의 실시예 1에 따른 화상 보정 장치(즉, 실시예 1에 따른 화상 보정 방법을 실시하는 장치)를 탑재한 카메라 부착 휴대 단말 기기의 외관을 개략적으로 나타내는 것으로서, (a)는 정면도, (b)는 배면도,
도 2는 실시예 1에 따른 화상 보정 장치를 탑재한 카메라 부착 휴대 단말 기기의 구성을 나타내는 블록도,
도 3은 실시예 1에 있어서의 휴대 단말 기기에 의해서 촬영된 손떨림 화상의 일례를 나타내는 도면,
도 4는 실시예 1에 따른 화상 보정 방법을 나타내는 흐름도,
도 5는 실시예 1에 따른 화상 보정 방법에 있어서 이용되는 차분값 결정 영 역과 윈도우 영역을 나타내는 도면,
도 6은 실시예 1에 따른 화상 보정 방법에 있어서 구해지는 윈도우 영역 국소 차분값을 설명하기 위한 도면,
도 7은 실시예 1에 따른 화상 보정 방법에 있어서 주목 화소로부터의 상대 위치에 대한 국소 차분값의 예를 나타내는 도면,
도 8은 실시예 1에 따른 화상 보정 방법에 있어서 윈도우 영역 국소 차분값을 구하기 위한 동작을 설명하기 위한 도면,
도 9는 실시예 1에 따른 화상 보정 방법에 있어서 윈도우 영역으로부터 유효 필터 영역을 결정하는 방법을 설명하기 위한 도면,
도 10은 실시예 1에 따른 화상 보정 방법에 있어서 유효 필터 영역 내의 각 화소의 필터 계수를 나타내는 도면,
도 11은 본 발명의 실시예 2에 따른 화상 보정 장치(즉, 실시예 2에 따른 화상 보정 방법을 실시하는 장치)에 있어서 이용되는 분할 포커스 에어리어를 설명하기 위한 도면.
부호의 설명
1: 휴대 단말 기기, 2: 안테나, 3: 커맨드 입력부, 4: 메인 디스플레이부, 5: 서브 디스플레이부, 6: 렌즈 유닛부, 7: 촬상 소자부, 8: 조작 입력부, 9: 외부 메모리, 10: 외부 메모리용 I/F부, 11: 화상 보정 장치, 12: CPU, 13: ROM, 14: RAM, 15: 외부 기기용 I/F부, 21: 촬영 화상, 22: 피사체 화상, 23: 흔들림 화상, 31: 입력 화상, 32: 차분값 결정 영역, 32a: 기준점, 33: 윈도우 영역, 33a: 주목 화소, 34: 전체 윈도우 영역, 35: 유효 필터 영역, A1~A9: 포커스 결정 영역(차분값 결정 영역)
발명을 실시하기 위한 최선의 형태
(실시예 1)
<1-1. 화상 보정 장치를 탑재한 휴대 단말 기기의 설명>
도 1(a) 및 (b)는 본 발명의 실시예 1에 따른 화상 보정 장치(즉, 실시예 1에 따른 화상 보정 방법을 실시하는 장치)(11)를 탑재한 카메라 부착 휴대 단말 기기(1)의 외관을 개략적으로 나타내는 것으로서, 도 1(a)는 정면도, 도 1(b)는 배면도이다. 또한, 도 2는 휴대 단말 기기(1)의 구성을 나타내는 블록도이다.
도 1(a) 및 (b)또는 도 2에 도시되는 바와 같이, 휴대 단말 기기(1)는 외부와 통신하기 위한 안테나(2)와, 외부와 통신하기 위한 고유 번호, 문자나 알파벳 등의 캐릭터를 입력하기 위한 커맨드 입력부(3)와, 외부로의 송신 번호, 외부로부터의 착신 번호, 사용자가 커맨드 입력부(3)를 사용하여 입력한 각종 문자 정보, 및 카메라 기능을 이용하여 촬영한 화상 등의 정보를 표시하는 메인 디스플레이부(4)와, 일시 정보, 전지 잔량, 및 착신 표시 등의 정보를 표시하는 서브 디스플레이부(5)를 갖고 있다. 또한, 휴대 단말 기기(1)는 카메라 렌즈를 내장한 렌즈 유닛부(6)와, 렌즈 유닛부(6)를 거쳐서 광학 이미지를 수광하여 광전 변환하는 CCD나 C-MOS 센서 등의 촬상 소자부(7)와, 메인 디스플레이부(4)에 표시되는 GUI(Graphical User Interface) 정보를 사용자가 조작ㆍ선택하기 위한 버튼, 카메라 기능에 있어서의 셔터 버튼, 및 그 밖의 카메라 기능에 있어서의 설정 조작 버튼 등으로서 사용할 수 있는 조작 입력부(8)와, 카메라 기능을 이용하여 취득한 화상 등의 정보를 저장하는 메모리 카드 등의 외부 메모리(9)를 장착할 수 있는 외부 메모리용 인터페이스(I/F)부(10)를 갖고 있다.
또한, 도 2에 도시되는 바와 같이, 휴대 단말 기기(1)는 기기 전체의 동작을 제어하는 CPU(12)와, CPU(12)에 의해서 실행되는 소프트웨어 프로그램 등을 저장하는 ROM(13)과, 화상 데이터 등을 기억하는 RAM(14)과, PC 등의 외부 기기와 접속하기 위한 외부 기기용 인터페이스(I/F)부(15)를 갖고 있다. CPU(12)는 ROM(13)에 저장된 프로그램에 따라서, 후술하는 차분값 결정, 입력 화상 평가, 필터 계수 생성, 및 필터 처리 등의 각종 동작을 실행한다. ROM(13)에 저장되는 프로그램은, 예를 들면, 인스톨용 프로그램을 저장한 CD-ROM 등의 정보 기록 매체의 정보를 판독할 수 있는 PC 등의 외부 기기로서, 외부 기기용 I/F부(15)에 접속된 것을 통해서 ROM(13)에 인스톨된다. 또한, 통신 회선을 거쳐서 다운로드된 인스톨용 프로그램을 이용하여 ROM(13)에 프로그램을 인스톨할 수도 있다. CPU(12), ROM(13), 및 RAM(14)은 휴대 단말 기기(1)에 있어서 화상의 보정 기능을 실행하는 화상 보정 장치(11)로서 동작한다.
도 1(b)에 도시되는 렌즈 유닛부(6)의 내부에는, 렌즈, 렌즈 구동부, 조리개, 조리개 구동부, 및 광학 로우패스 필터 등의 광학계의 구성(도시하지 않음)이 배치되어 있다. 촬영시에는, 거리 측정 센서(도시하지 않음)의 출력 및 피사체의 밝기에 따라서 렌즈 및 조리개를 점차 제어하여, 피사체 이미지를 렌즈, 조리개, 및 광학 로우패스 필터를 거쳐서 촬상 소자부(7) 상에 형성한다. 사용자가 셔터 버튼으로서 기능하는 조작 입력부(8)를 누르면, 촬상 소자부(7)는 피사체 이미지를 화상 신호로서 A/D 변환부(도시하지 않음)로 출력한다. 화상 신호는 A/D 변환부에서 디지털 화상 신호(이하, 「화상 데이터」라고 말함)로 변환된 후, 외부 메모리(9)에 기록된다.
<1-2. 손떨림 화상의 설명>
도 3은 휴대 단말 기기(1)에 의해서 촬영된 손떨림 화상의 일례를 도시하는 도면이다. 피사체와, 사용자가 손에 들은 휴대 단말 기기(1)의 모두가 정지하고 있어, 피사체까지의 포커스가 완전히 합치하고 있는 경우에는, 휴대 단말 기기(1)의 카메라에 의해서 취득된 촬영 화상은 손떨림이 없는 정지 화상으로 된다. 그러나, 피사체는 정지하고 있지만, 휴대 단말 기기(1)를 움직이면서 촬영 동작을 행한 경우에는, 촬영 화상(21)은 소정 방향의 손떨림의 영향을 받은 화상(이하, 「흔들림 화상」이라고도 말함)으로 된다. 손떨림에 의한 카메라의 이동 방향이 2차원 평면 상의 방향인 경우에는, 그 촬영 화상(21)은, 예컨대, 도 3에 도시되는 바와 같은 흔들림 화상으로 된다. 여기서, im 및 jm는 각각, 손떨림을 나타내는 벡터(도 3에서, 화살표 P0P1로 나타냄)의 x방향 성분(단위: 픽셀 또는 화소) 및 y방향 성분(단위: 픽셀 또는 화소)이다. im 및 jm는 각각, x방향의 흔들림량 및 y방향의 흔들 림량이라고도 말한다. 도 3에는, 피사체 화상(22)으로부터 x방향으로 i화소, y방향으로 j화소만큼 어긋난 위치까지의 사이에 흔들림 화상(23)이 취득된다.
도 3에 도시되는 흔들림량(x방향으로 im 화소, y방향으로 jm 화소)은 피사체 촬영시에 있어서의 휴대 단말 기기(1)의 이동 속도(이동 방향과 빠르기이며, 이하 「흔들림 속도」라고도 말함)와, 셔터 속도에 의해서 변화된다. 셔터 속도가 빠른 경우에는, 흔들림 속도가 빠르더라도, im 및 jm의 값은 작아지고, 반대로, 셔터 속도가 느린 경우에는, 흔들림 속도가 느리더라도, im 및 jm의 값은 커진다. 셔터 속도는 피사체의 밝기가 밝을수록 빠르게 할 수 있기 때문에, 밝은 피사체를 촬영한 경우에는, 촬영 화상에 있어서의 손떨림의 영향이 나타나기 어렵다. 그러나, 어두운 환경하에 있어서의 촬영이나, 야간 실내에서의 촬영 등의 경우에는, 필연적으로 셔터 속도가 시간이 늦어지는 경향이 있기 때문에, 촬영 화상에 있어서의 손떨림의 영향이 나타나기 쉽다. 이상과 같이, 휴대 단말 기기(1)에 의한 카메라 촬영에 있어서는, 촬영 조건 등에 의해, 취득한 화상에 손떨림의 영향이 나타나는 경우가 있다. 그래서, 본 발명에 있어서는, 취득한 화상 데이터에 대하여, 소정의 알고리즘으로 하고자 했던 화상 처리를 실행함으로써 보정 처리를 행하여, 손떨림의 영향을 경감하고 있다.
<1-3. 화상 보정 방법의 개요>
도 4는 실시예 1에 따른 화상 보정 방법을 개략적으로 나타내는 흐름도이다. 도 4에 도시되는 처리는 사용자가 카메라 촬영함으로써 취득된 화상 데이터에 대하여, CPU(12)가 ROM(13) 내의 프로그램에 따라서 실행하는 처리이다.
실시예 1에 따른 화상 보정 방법에 있어서는, 먼저, 촬영에 의해서 또는 외부 메모리(9)로부터 또는 외부 기기용 I/F부(15)를 거쳐서 외부 기기로부터 화상 보정 장치(11)에 입력 화상 데이터가 입력된다(단계 S10).
다음에, CPU(12)는 차분값 결정 수단으로서 동작한다(단계 S11). 단계 S11에서는, CPU(12)는 입력 화상의 화면 영역의 전체 또는 일부로 이루어지는 차분값 결정 영역(후술하는 도 5의 부호 32) 내의 주목 화소(후술하는 도 5의 부호 33a)의 화상 데이터와, 주목 화소의 주변에 설정된 윈도우 영역(후술하는 도 5 및 도 6의 부호 33) 내의 근방 화소의 화상 데이터와의 차분값인 윈도우 영역 국소 차분값 DW를 복수의 근방 화소에 대해서 산출하고, 윈도우 영역마다에서의 최대의 윈도우 영역 국소 차분값 DW인 최대 국소 차분값 Dmax를 결정한다. 또한, 화소간의 화소 데이터의 차분값으로서, 화소간의 화소 데이터 그 자체가 아니라, 화소간의 화소 데이터의 차에 따라서 변화되는 다른 지표(상위도)를 이용할 수도 있다.
다음에, CPU(12)는 입력 화상 평가 수단으로서 동작한다(단계 S12). 단계 S12에서는, CPU(12)는 최대 국소 차분값 Dmax에 근거하여 촬상 화상 내용을 평가하여, 입력 화상의 특성을 반영한 임계값 Dt를 결정한다.
다음에, CPU(12)는 필터 계수 생성 수단으로서 동작한다(단계 S13). 단계 S13에서는, CPU(12)는 임계값 Dt를 이용하여 입력 화상의 각 화소에 대해서 적응 필터 계수를 생성한다. 입력 화상의 각 화소의 좌표를 (i, j)로 한 경우에, 적응 필터 계수는 C(i, j)로 나타낸다.
다음에, CPU(12)는 필터 처리 수단으로서 동작한다(단계 S14). 단계 S14에서는, CPU(12)는 생성된 화소마다의 적응 필터 계수 C(i, j)를 이용하여 입력 화상에 대하여 필터 연산을 실행함으로써, 화상 데이터를 보정하고(단계 S14), 보정된 화상 데이터를 외부 메모리(9)로 출력한다(단계 S15).
또한, 도 4에 도시되는 화상 보정 처리는, 예를 들면, 이하에 나타내는 제 1 내지 제 3 순서로 개시된다. 제 1 순서는 촬영 화상 데이터를 RAM(14)에 일시 저장하고, 저장한 화상 데이터에 대하여 자동적으로 도 4에 도시되는 화상 보정 처리를 하는 것이다. 이 경우, 손떨림의 유무에 관계없이, 촬영한 화상 데이터 전부에 대해서 보정 처리를 하게 된다. 또한, 소정의 알고리즘에 따라, 촬상 화상 데이터의 손떨림의 유무를 자동적으로 기기가 판단하고, 그 결과에 따라서 보정을 할지 여부를 판단하여 동작하는 경우도, 제 1 순서에 포함된다. 제 2 순서는 촬영 화상 데이터를 RAM(14)에 일시 저장하고, 그 화상 데이터를 메인 디스플레이부(4)에 표시시켜, 표시 화상을 시인한 사용자의 조작에 따라서 도 4에 표시되는 화상 연산 처리를 개시하는 것이다. 이 경우, 사용자의 판단에 따라서, 촬영한 화상 데이터의 보정 처리를 하게 된다. 제 3 순서는 촬영 화상 데이터를 외부 메모리(9)로 촬영 화상 데이터를 기입하고, 후일, 그 화상 데이터를 메인 디스플레이부(4)에 표시 시켜, 표시 화상을 시인한 사용자의 조작에 따라서 도 4에 도시되는 화상 보정 처리를 개시하는 것이다. 이 경우도, 사용자의 판단에 따라서, 촬영한 화상 데이터의 보정 처리를 하게 된다.
<1-4. 최대 국소 차분값 결정 단계의 설명>
다음에, 화상 보정 처리의 내용을 상세하게 설명한다. 도 5는 실시예 1에 따른 화상 보정 방법에 있어서 이용되는 차분값 결정 영역(32)과 윈도우 영역(33)을 나타내는 도면이다. 또한, 도 6은 실시예 1에 따른 화상 보정 방법에 있어서 구해지는 윈도우 영역 국소 차분값 DW를 설명하기 위한 도면이다.
사용자가 휴대 단말 기기(1)를 손에 들고서 피사체를 촬영했을 때의 화상 데이터는, 통상 R, G, B 각 8비트(0~255)의 데이터로 구성된다. 촬영에 의해서 취득된 RGB 디지털 화상 데이터는, 예컨대 RAM(14) 또는 외부 메모리(9)로부터 입력되어, Y 데이터를 얻기 때문에, Y, Cb, Cr 각 8비트(0~255)로 이루어지는 디지털 화상 데이터로의 매트릭스 변환 처리를 실행한다. 여기서, Y 데이터는 휘도 데이터, Cb 데이터 및 Cr 데이터는 색차 데이터이다.
CPU(12)는 매트릭스 변환 처리를 하여 출력된 Y, Cb, Cr의 각 데이터 중, 휘도 정보를 가지는 Y 데이터에 대해서 이하에 나타내는 최대 국소 차분값 결정의 처리(단계 S11)를 실행함으로써, 촬영된 화상 특성마다 고유의 상관값을 구한다(본 실시예에 있어서는, 상관값에 대응하는 지표로서 차분값을 구함). 여기서, 도 5에 도시되는 바와 같이, 촬상된 화상 데이터 사이즈가 가로 방향으로 Xh 화소, 세로 방향으로 Yv 화소인 경우, 입력되는 Y 데이터도 가로 방향으로 Xh 화소, 세로 방향으로 Yv 화소(각 8 비트)의 크기로 되는 화상 데이터가 된다. 이하, 좌표(x, y)에 있어서의 화소의 Y 데이터를 Y(x, y)로 나타낸다.
최대 국소 차분값 Dmax를 결정할 때(도 4의 단계 S11)에는, 입력 화상 데이터에 대하여, 화면 영역의 중심을 기준점(32a)으로 한 차분값 결정 영역(32)의 사이즈 xCR, yCR를 최초로 정의한다. 차분값 결정 영역(32)의 사이즈 xCR, yCR는,
Figure 112007041071868-PCT00001
이며, 예를 들면,
Figure 112007041071868-PCT00002
와 같이 정의된다.
또한, 도 5에서는, 차분값 결정 영역(32)을 화면 중앙부의 부분 영역으로 하고 있지만, 입력 화상 데이터의 전체 영역을 차분값 결정 영역(32)으로 해도 된다. 또한, 차분값 결정 영역(32)의 크기를 임의로 변경할 수 있도록 해도 된다.
다음에, 상기 방법으로 결정한 차분값 결정 영역(32) 내의 각각의 화상 데이터 Y(x, y)에 대하여, 화소마다, 윈도우 영역(33) 내의 화소와의 사이의 국소 차분 값 D(i, j)를 산출한다. 윈도우 영역(33)은, 예를 들면, 도 5에 나타낸 영역으로 이루어지고, 그 상세를 도 6에 나타낸다. 도 6에서, 검은 동그라미로 표시된 화소(33a)가 차분값 결정 영역(32) 내의 주목 화소이다. 윈도우 영역(33)은 주목 화소(33a)에 대하여 수평 방향 및 수직 상방향으로 넓어지는 직사각형 영역(도 5 및 도 6에서, 크로스 해칭 영역)으로 된다. 도 6에서는, 수평 방향으로 33화소, 수직 방향으로 17화소의 영역을 예시하고 있지만, 수평 방향의 화소수가 기수이면, 다른 크기의 윈도우 영역(33)을 정의해도 좋다. 여기서, 윈도우 영역(33)을 주목 화소(33a)의 수직 상방향으로 넓어지는 영역으로서 정의한 이유는, 이후의 처리에 따른 연산 처리 시간의 저감을 도모하기 위함이다. 따라서, 연산 처리 시간의 저감을 도모할 필요가 없는 경우에는, 윈도우 영역은 주목 화소의 수직 상방향 및 수직 하방향의 양쪽으로 넓어지는 영역으로서 정의할 수도 있다. 또한, 윈도우 영역(33)을 주목 화소(33a)의 수직 하방향으로 넓어지는 영역, 수평 우방향으로 넓어지는 영역, 또는, 수평 좌방향으로 넓어지는 영역으로서 정의할 수도 있다.
도 6에서, 주목 화소(33a)에 대한 윈도우 영역(33)의 좌표를, 주목 화소(33a)의 위치를 기준점으로 하여, 그 좌표를 (0, 0)으로 하면, 윈도우 영역(33)의 오른쪽 위의 화소의 좌표는 (16, 16)으로 되고, 주목 화소(33a)와 오른쪽 위의 화소의 화상 데이터는 각각, Y(x, y), Y(x+16, y+16)으로 나타낼 수 있다. 여기서, 도 5에 표시되는 차분값 결정 영역(32) 내에 존재하는 소정의 주목 화소(33a)의 화상 데이터 Y(x, y)와, 도 6에 표시되는 윈도우 영역(33) 내의 좌표(i, j)를 가지는 소정의 화소와의 국소 차분값 D(i, j)를 다음식으로 정의한다.
Figure 112007041071868-PCT00003
여기서, i 및 j는 이하의 범위 내의 정수이다.
Figure 112007041071868-PCT00004
도 7은 실시예 1에 따른 화상 보정 방법에 있어서 주목 화소(33a)로부터의 상대 위치에 대한 국소 차분값 D(i, j)의 예를 나타내는 도면이다. 도 7은 식1에 나타낸 국소 차분값 D(i, j)가 취하는 값의 대표적인 내용을, 1차원 방향(i방향 또는 j방향)에 대해서 나타낸 것이다. 주목 화소(33a) 상에 있어서의 국소 차분값 D(i, j)는 0이다. 주목 화소(33a)로부터 떨어진 위치에 있는 화소와의 국소 차분값 D(i, j)는, 도 7에 도시하는 바와 같이, 주목 화소(33a)로부터 멀어짐에 따라서 커지는 경향이 있다. 또한, 포커스나 조리개값이 적절하게 합치한 경우의 손떨림이 없는 촬상 화상 데이터는 화소끼리의 상관성이 낮아지고, 손떨림이 있는 촬상 화상 데이터는 화소끼리의 상관성이 높아지는 경향이 있다. 따라서, 손떨림 화상 데이터의 경우, 손떨림이 없을 때의 화상과 비교하면, 인접 화소와의 상관성이 높아져, 국소 차분값은 작아지는 경향이 있다. 이상의 것으로부터, 차분값 결정 영역(32) 내의 주목 화소에 대하여 구해진 국소 차분값 D(i, j)를, 취득한 촬상 화상 데이터마다 손떨림이 발생하고 있는 빈도를 나타내는 파라미터로서 이용할 수 있다.
상기 방법을 이용함으로써, 미리 결정된 차분값 결정 영역(32) 내의 모든 화소마다, 윈도우 영역(33)에 있어서의 국소 차분값 D(i, j)를 구한다. 이 때, 예를 들면, 도 5에 화살표로 나타낸 스캔 방법을 채용할 수 있다. 여기서, 차분값 결정 영역(32) 내의 모든 주목 화소(33a)마다 구한 윈도우 영역(33) 내의 좌표(i, j)에 대응하는 국소 차분값 D(i, j)에 대해서, 스캔한 중에서 제일 큰 값을 가지는 국소 차분값을, 그 촬상 화상의 윈도우 영역 국소 차분값으로 정의하여, DW(i, j)로 나타낸다.
도 8은 실시예 1에 따른 화상 보정 방법에 있어서 윈도우 영역 국소 차분값 DW(i, j)를 구하기 위한 동작을 설명하기 위한 도면이다. 도 8에서, 주목 화소(33a)의 좌표를 (0, 0)으로 한 경우, 윈도우 영역(33) 내의 좌표(i, j)마다 구한 국소 차분값 D(i, j)에 대해서, 차분값 결정 영역(32) 내의 모든 화소를 스캔하여 산출한 모든 국소 차분값 중에서, 각 좌표(i, j)에 대응하는 최대의 국소 차분값이 윈도우 영역 국소 차분값 DW(i, j)로서 표시되어 있다. 이상의 동작을 식으로 나타내면, 다음식 2와 같이 된다. 또한, 「MAX(x, y){f(x, y)}」는 차분값 결정 영역(32) 내의 각 좌표(x, y)에 있어서의 함수 f(x, y)의 최대값을 의미한다.
Figure 112007041071868-PCT00005
여기서, i 및 j는 이하의 범위 내의 정수이다.
Figure 112007041071868-PCT00006
식2에 있어서의 윈도우 영역 국소 차분값 DW(i, j)는 촬상 화상 데이터의 차 분값 결정 영역(32) 내에서의 화상 특성에 대하여 결정되는 것으로서, 취득한 손떨림 촬상 화상의 성질(차분값)을 나타내고 있다. 또한, 이 경우의 i 및 j의 범위는 도 8과 대응시킨 것이며, 실제는 사용하는 윈도우 영역(33)의 크기에 따라서 다른 값을 취해도 좋다.
다음에, 차분값 결정 영역(32) 내를 스캔해서 구한 윈도우 영역 국소 차분값 DW(i, j)를 기초로, 그 중에서 최대 국소 차분값 Dmax를 구한다. 방법으로서는, 도 8에서의 모든 윈도우 영역 국소 차분값 DW(i, j) 중에서 최대 국소 차분값 Dmax를 구해도 되고, 연산 시간을 짧게 하기 위해서, 예를 들면, 도 8에서의 특정한 4점의 윈도우 영역 국소 차분값 DW(16, 16), DW(0, 16), DW(-16, 16), DW(16, 0)만을 추출하여, 그 중에서 최대 국소 차분값 Dmax를 선택해도 된다. 이상의 동작을 식으로 나타내면, 다음식 3과 같이 된다.
Figure 112007041071868-PCT00007
여기서, i 및 j는 이하의 범위 내의 정수이다.
Figure 112007041071868-PCT00008
이상으로, 최대 국소 차분값 Dmax의 결정 처리를 종료한다.
<1-5. 입력 화상 평가 단계의 설명>
다음에, CPU(12)는 입력 화상 평가(도 4의 단계 S12)를 실시한다. 입력 화상 평가에 있어서는, 이하에 나타내는 동작을 행함으로써, 취득한 촬상 화상 데이터마다 고유의 특성값(평가값)을 결정한다. 식3에서의 최대 국소 차분값 Dmax는 촬상 화상 데이터마다 차분값 결정 영역(32) 내의 화상 특성에 대하여 결정된 하나의 정수이며, 이 값은 취득한 손떨림 촬상 화상의 성질(최대의 차분값)을 나타내고 있다. 또한, i 및 j의 범위는 도 8과 대응시킨 것이며, 실제는 사용하는 윈도우 영역(33)의 크기에 따라서 다른 값을 취해도 좋다. 이상의 방법에 의해서 취득한, 소정의 취득 화상 데이터에 대응하는 최대 국소 차분값 Dmax을 이용하여, 이하의 식에 나타내는 임계값 Dt를 결정한다.
Figure 112007041071868-PCT00009
식4에서의 k는 0~1의 범위 내에서 정해진 정수이며, 취득한 화상 데이터마다 k의 값을 미리 결정해 놓는다. 통상은, k=1/2의 고정값이다. 또한, k를 가변값으로 하여, 취득한 화상 데이터에 따라서, k를 1/2부터 증가 또는 감소시켜도 좋다. 예컨대, 취득 화상의 특성을 판단하여, k의 값에 반영하는 방법이 생각된다. 이상의 동작을 행함으로써, 취득한 화상 데이터마다 화상 특성을 평가한 결과로 되는 임계값 Dt를 결정하고, 입력 화상 평가의 동작(도 4의 단계 S12)은 종료한다.
<1-5. 필터 계수 생성 단계의 설명>
다음에, CPU(12)는 적응 필터 계수 생성(도 4의 단계 S13)을 실시한다. 입력 화상 평가의 동작을 행함으로써 결정한 임계값 Dt에 근거하여, 적응 필터 계수를 생성하는 단계 S13에서는, 촬상 화상 데이터에 걸리는 적응 필터 계수 C(i, j)를 이하에 나타내는 식5, 6 또는 식7~9로 결정한다. 기본적으로, 여기서 구하는 필터 계수 영역은 윈도우 영역(33)의 2배(하반부 영역으로도 확장)의 크기(영역)를 가진다.
Figure 112007041071868-PCT00010
여기서, i 및 j는 이하의 조건을 만족하는 정수이다.
Figure 112007041071868-PCT00011
Figure 112007041071868-PCT00012
여기서, i 및 j는 이하의 범위 내의 정수이다.
Figure 112007041071868-PCT00013
식2에서 결정된, 윈도우 영역(33)의 각 좌표(i, j)에 대응한 최대의 국소 차분값인, 윈도우 영역 국소 차분값 DW(i, j)를 이용하여, 식5에서 정의된 적응 필터 계수의 결정 방법은 윈도우 영역 국소 차분값 DW(i, j)와 임계값 Dt와의 차분값 {DW(i, j)-Dt}를 임계값 Dt로 정규화함으로써, 윈도우 영역(33)의 각 좌표에 대응하 는 적응 필터 계수 C(i, j)로 한다.
식5는 중심의 적응 필터 계수 C(0, 0)를 제외한, 윈도우 영역(33)의 크기에 따라서 결정된 i, j의 범위에 있어서의 모든 적응 필터 계수에 대해서 정의하고 있다.
Figure 112007041071868-PCT00014
여기서, i 및 j는 이하의 조건을 만족하는 정수이다.
Figure 112007041071868-PCT00015
Figure 112007041071868-PCT00016
여기서, i 및 j는 이하의 조건을 만족하는 정수이다.
Figure 112007041071868-PCT00017
Figure 112007041071868-PCT00018
여기서, i 및 j는 이하의 범위 내의 정수이다.
Figure 112007041071868-PCT00019
도 9는 실시예 1에 따른 화상 보정 방법에 있어서 윈도우 영역(33)으로부터 유효 필터 영역(35)을 결정하는 방법을 설명하기 위한 도면이다. 식2에서 결정된, 윈도우 영역(33)의 각 좌표(i, j)에 대응한 최대의 국소 차분값인, 윈도우 영역 국 소 차분값 DW(i, j)를 이용하여, 식5에서 정의된 적응 필터 계수의 결정 방법은 윈도우 영역 국소 차분값 DW(i, j)와 임계값 Dt와의 차분값 {DW(i, j)-Dt}를 임계값 Dt로 정규화함으로써, 윈도우 영역(33)의 각 좌표에 대응하는 적응 필터 계수 C(i, j)로 하는 것이다.
또한, 식7 내지 9에서 정의된 적응 필터 계수의 결정 방법은, 식5 및 6과 마찬가지의 방법으로 결정한 필터 계수에 대하여, 윈도우 영역 국소 차분값 DW(i, j)를 임계값 Dt와 비교하여, 윈도우 영역 국소 차분값 DW(i, j)가 임계값 Dt보다도 큰 값을 가지는 좌표(imax, jmax)의 필터 계수에 대해서는 0으로 고정하는 처리를 가하는 것이다.
식5 및 식7에서 α는 필터의 효과를 가변할 수 있는 변수이며, 통상은 α=1(고정값)을 사용하지만, 취득된 화상마다 α의 값을 변화시키는 가변값을 α의 값으로 이용해도 된다.
이상에 나타낸 방법에 의해, 각 윈도우 영역(33) 내의 좌표(i, j)에 대응하는 적응 필터 계수 C(i, j)를 결정한다. 여기서, 주목 화소(33a)의 상반부 영역만으로 정의되는 윈도우 영역(33)으로부터 결정된 윈도우 영역 국소 차분값 DW(i, j)는, 도 8에 나타낸 바와 같이 상반부 영역만으로 이루어지는 것이므로, 결정 가능한 필터 계수도, 동일하게 도 9의 상반부 영역(윈도우 영역(33))만으로 이루어진다. 그래서, 유효 화소보다도 하반부의 계수는 주목 화소(33a)를 중심으로 하는 점대칭 C(i, j)=C(-i, -j)이라고 정의함으로써, 도 9에 전체 윈도우 영역(34)(윈도우 영역(33)을 포함함)으로서 나타낸 영역 전체의 필터 계수를 결정한다.
여기서, 상기 필터 계수 결정 방법을 이용한 경우, 결정되는 필터 영역은 도 9에 나타낸 전체 윈도우 영역(34)의 크기를 가진다. 그러나, 식7 내지 9의 방법에 의해서 결정된 필터 영역은 촬상 화상의 종류에 따라서는 임계값 Dt의 값에 의해 필터 계수가 0으로 되는 좌표가 많기 때문에, 연산 시간을 고려하면 불필요한 연산 처리 시간이 많아진다. 그래서, 식7 내지 9의 방법을 이용하는 경우, 상기 방법으로 결정한 적응 필터 계수 C(i, j)를 일단 CPU(12)에서 판단하여, i 및 j의 각 좌표축마다 0이 아닌 필터 계수가 존재하는 최대 좌표 범위를 구하고, 구한 좌표로부터 얻어지는 작은 필터 영역을 새로운 유효 필터 영역(35)으로서 사용하는 방법을 이용해도 좋다.
이상의 동작 방법을 구체적인 동작예로 나타낸다. 예를 들면, 소정의 취득 화상 데이터에 있어서 식7의 방법으로 결정한, 0이 아닌 유효한 필터 계수 영역이 도 9에 표시되는 격자 형상의 해칭 영역(35a)인 경우, 그 필터 영역은, i 및 j마다 유효한 최대 영역을 판단하면, -3≤i≤3 및 0≤j≤3의 범위로 된다. 따라서, 이 경우에 결정되는 도 9에 나타낸 유효 필터 영역(35)은 전체 윈도우 영역(34)보다도 작은 영역으로서 결정된다. 그래서, CPU(12)는 도 10에 도시하는 바와 같이 C(3, 3)를 시점으로 하여 도 10의 파선을 따라 스캔한, C(1, 0)까지의 필터 계수를, C(0, 0)를 중심으로 하는 점대칭 위치의 좌표에 배치함으로써, 유효 필터 영역(35) 과 그 필터 계수를 결정한다.
도 10은 실시예 1에 따른 화상 보정 방법에 있어서 유효 필터 영역(35) 내의 각 화소의 적응 필터 계수를 도시하는 도면이다. 이상의 방법에 의해, 중심 위치 이외의 필터 계수를 결정할 수 있다. 그래서, 중심 위치의 적응 필터 계수 C(0, 0)에 대해서는, 상기의 방법으로 결정한 필터 영역과 계수가, 예를 들면, 도 10의 범위(-3≤i≤3, -3≤j≤3)인 경우, 이하에 나타내는 식10으로 결정한다.
Figure 112007041071868-PCT00020
식10의 방법에 의해, 중심 위치의 필터 계수를 구함으로써, 모든 필터 계수가 결정되게 된다. 여기서, 식5, 6 및 식10의 조합에 의해 결정된 필터 계수는 전체 윈도우 영역의 필터 사이즈를 가짐으로써, 취득한 손떨림 화상에 대하여 구해진 적응 필터 계수를 사용한 필터 처리를 한 경우, 하이패스 필터로 이루어지는 에지 강조 효과를 주게 된다. 이와 같이, 손떨림 촬상 화상에 대하여 에지 강조 효과를 부여함으로써, 보정 화상을 시인한 사용자는 인간의 시각 특성 때문에 손떨림을 인식하기 어렵게 된다.
또한, 식7 내지 9 및 식10의 조합에 의해 결정된 적응 필터 계수를 이용할 경우에는, 식5, 6 및 식10의 조합에 의해 결정된 적응 필터 계수를 이용하는 경우와 비교해서, 윈도우 영역 국소 차분값 DW(i, j)가 임계값 Dt보다도 작은 영역만의 필터 계수만 유효하게 하는 수법을 취함으로써, 미리 에지가 눈에 띄는 화상 등에 따라, 손떨림이 인식되기 어려운 화상에 대해서는 필터 처리를 극력 실행하지 않도록 제어하는 것이 가능해진다.
또한, 식7 내지 9 및 식10의 조합에 의해 결정된 적응 필터 계수를 이용할 경우에는, 필터 계수의 값이 0으로 되는 필터 영역을 가능한 한 삭제하고, 필터 계수의 값이 0이 아닌 유효한 계수만을 가지는 필터 영역을, 취득 화상에 적용하는 새로운 필터 사이즈로서 결정함으로써, 필터 사이즈에 전체 윈도우 영역을 이용하는 전자의 경우와 비교해서, 그 처리 시간을 고속화하는 것이 가능해진다.
이상의 동작을 행함으로써, 적응 필터 계수 생성 수단(단계 S13)은 취득한 화상 데이터의 특성을 어느 정도 고려한 형태로, 적응적으로 최적 사이즈의 필터 생성을 실행하여, 필터 계수 생성 처리를 종료한다.
<1-6. 필터 처리 단계의 설명>
적응 필터 계수 생성의 처리(도 4의 단계 S13)를 실행한 후, 필터 처리의 동작(도 4의 단계 S14)으로서, 취득한 Y, Cb, Cr의 각 데이터에 대하여 생성된 화소마다의 적응 필터 계수를 곱한다. 이 경우, 생성된 필터 계수를 이용하여, 이 필터 계수를 공간 영역의 선형 필터 계수로 하여, 예를 들면, 2차원 FIR 필터 처리를 Y, Cb, Cr의 각 데이터에 대하여 실행한다.
또한, Y 데이터에 대해서만 적응 필터 계수를 곱하는 필터링 처리를 하고, Cb 데이터와 Cr 데이터에 관해서는 필터링 처리를 하지 않는 수법을 채용함으로써, 연산 시간을 단축할 수도 있다. 또한, 반복에 의한 영향의 배제와 처리의 고속화 를 위해서, 취득 화상마다, 상기 방법으로 결정한 필터 사이즈분에 상당하는 화상의 윤곽 부분을 제외한 유효 데이터를, 필터링 처리 후의 데이터로서 출력하는 처리 동작으로 해도 좋다. 이 경우에 나머지 윤곽 부분(여백)에는, 회색(계조 레벨 128) 또는 검은색(계조 레벨 255) 또는 윤곽 화소값으로 메우는 등의 동작이 생각된다.
이상의 설명에 있어서는, 화상의 보정을 카메라 부착 휴대 단말 기기(1)에 의해 실행하는 것으로 해서 설명했지만, 디지털 카메라나, 디지털 카메라나 카메라 부착 휴대 단말 기기로 취득한 화상(정지 화상, 동화상)이 입력된 TV 시스템에 의해서, 이상의 처리를 실시시키도록 할 수도 있다.
또한, 디지털 카메라나 카메라 부착 휴대 단말 기기로 촬상한 화상을, 컴퓨터 등의 외부 기기에 의해 보정해도 좋다. 이 경우, 도 4의 화상 보정 처리 내용을 프로그램화하고, 네트워크나 기록 매체를 거쳐서 컴퓨터에 취입하여, 컴퓨터 상에서 실행 가능하게 할 수도 있다.
<1-7. 실시예 1의 효과>
이상 설명한 바와 같이, 실시예 1에 따른 화상 보정 장치(11)를 탑재한 카메라 부착 휴대 단말 기기(1)에 의하면, 손떨림 등의 보정 요인으로 되는 물리량을 검출하기 위한 센서가 불필요하고, 또한, 촬영한 손떨림 화상에 대하여 적응적인 보정 처리를 간단한 구성으로 실행할 수 있어, 손떨림이 경감된 양호한 화상을 얻을 수 있다.
또한, 실시예 1에 따른 화상 보정 장치(11)에 의하면, 취득 화상에 필터 처리를 실행할 때에 이용되는 적응 필터 계수와 필터 사이즈에 대해서, 윈도우 영역 국소 차분값 DW(i, j)가 임계값 Dt보다도 작은 영역만의 필터 계수만 유효하게 하는 수법을 취할 수 있기 때문에, 미리 에지가 눈에 띄는 화상 등에 따라, 손떨림이 인식되기 어려운 화상에 대해서는, 필터 처리를 극력 행하지 않도록 제어하는 것이 가능해진다. 또한, 이 동작에 부가하여, 0이 아닌 유효한 계수만을 가지는 필터 영역을 새롭게 결정함으로써, 처리 시간을 고속화하는 것이 가능해진다.
또한, 실시예 1에 따른 보정 처리 방법을, PC에 의해서 기록 매체로부터 판독 가능한 또는 인터넷 등을 거친 다운로드에 의해서 취득 가능한 소프트웨어 프로그램으로 한 경우에는, PC 등의 외부 기기에 의해서, 디지털 카메라나 카메라 부착 휴대 단말 기기(1)로 촬상한 화상을 보정할 수 있다.
(실시예 2)
<2-1. 실시예 2의 구성>
상기 실시예 1에서는, 화상 보정 방법에서의 차분값 결정의 동작(도 4의 단계 S11)에 있어서, 그 차분값 결정 영역(32)을 결정하는 방법으로서, 촬상 화상 중심부를 기준점으로 하여, 촬상 화상 사이즈 이내의 임의 사이즈를 설정하도록 구성하였다. 그러나, 촬상 화상에 따라서는 의도적으로 사용자가 피사체를 화면 가장자리에 붙여서 촬영하는 경우가 있으며, 이러한 경우에는 촬상 화상의 포커스를 화 면 중앙 위치가 아니라, 피사체가 있는 화면 가장자리에 맞추게 된다. 이러한 상황하에서 촬영된 촬영 화상에 관해서는, 실시예 1의 동작의 경우, 화상 중앙을 기준점으로 하여 차분값 결정 영역(32)을 구하기 때문에, 정확한 손떨림을 판단할 수 없는 상황이 발생한다. 그래서, 실시예 2에서는, 화면 중앙 이외의 영역(예를 들면, 화면 가장자리)에 포커스를 맞춘 경우에 대한 손떨림 화상 촬영시에도, 양호한 보정이 가능하도록 구성하였다.
일반적으로, 화면 가장자리에 포커스가 맞는 경우란, 사용자가 의도적으로 피사체를 화면 가장자리에 배치하여, 그 피사체에 카메라의 기능을 이용하여 포커스를 맞춰서 촬영하는 경우가 대부분이다. 이를 실현하는 카메라의 기능에는, 여러 가지 방법이 생각되지만, 대표적인 것으로서 이하에 (1)~(3)으로서 나타내는 3종류의 방법이 생각된다.
(1) 포커스 잠금 기능을 이용한 경우
카메라의 포커스 검출 센서 영역이 화면 중앙에만 있어, 사용자는 화면 중앙 위치에서 피사체로의 포커스를 맞춘 후, 버튼 조작 등의 어떠한 방법으로 포커스를 잠그고, 잠근 채로 피사체를 화면 내의 임의의 위치에 배치하여 촬영하는 방법이다.
(2) 멀티 포커스 기능을 이용한 경우
카메라의 포커스 검출 센서 영역이 화면 중앙 영역뿐만 아니라, 복수의 영역에 포커스 검출 센서가 배치되어 있어, 복수의 센서로부터 사용자가 포커스를 맞추고자 하는 영역에 있는 센서를 선택하거나, 또는 카메라가 화상 처리 기능을 사용 하여 자동적으로 피사체가 있는 영역의 센서를 선택함으로써, 화면 중앙 위치 이외의 영역에 있는 피사체에 포커스를 맞춰서 촬영하는 방법이다.
(3) 화상 처리 기능을 이용한 경우
멀티 포커스 기능과 같이, 미리 촬상 에어리어를 분할해 놓고, 그 중에서 사용자가 포커스를 맞추고자 하는 영역에 있는 촬상 에어리어를 선택하거나, 자동적으로 피사체 위치를 검출하여, 분할된 에어리어로부터 특정한 에어리어를 선택할 수 있는 방법이다. 화상 처리 기능을 이용한 경우, 포커스의 검출에는 포커스 잠금 기능이나 멀티 포커스 기능과 같은 센서를 이용하지 않고서, 화상 처리에 의해서 포커스 검출을 실행한다.
이상에 나타낸 3종류의 방법에 대해서, 실시예 2에서는, 멀티 포커스 기능 및 화상 처리 기능으로 나타낸 촬영 화면 중앙 이외의 영역으로의 포커스 합치 기능을 장치 본체가 구비하는 경우, 그 포커 스위치 영역 설정 정보 또는 포커스 검출 영역 정보를 차분값 결정 영역(32)의 결정 방법에 이용함으로써, 화면 중앙 이외의 영역에 포커스가 맞춰진 손떨림 화상에 대해서도 정상적인 보정 동작을 한다. 그래서, 실시예 2에서는, 실시예 1에서 설명한, 도 4에 나타낸 화상 보정 처리 방법의 동작에 있어서, 차분값 결정(도 4의 단계 S11)에 있어서의 차분값 결정 영역(32)의 결정 방법만이 실시예 1과 상이하다.
도 11은 실시예 2에 따른 화상 보정 방법에 대해서 차분값 결정 영역(32)의 결정 방법을 나타낸 설명도이다. 도 11에는, 예를 들면, 카메라의 기능으로서 촬영 화상 에어리어가 영역 A1부터 A9까지 9분할되어 있는 포커스 에어리어 정보를 가지는 카메라의 촬영 화상 영역이 표시되어 있다. 여기서, 사용자가 의도적으로, 도 11에 표시된, 영역 A4를 지정하여 포커스를 맞추거나, 카메라의 화상 처리 기능에 의해서 피사체가 있는 영역 A4를 자동적으로 카메라가 인식한 경우, 그 위치 정보를 CPU(12)는 차분값 결정의 동작(도 4의 단계 S11)에서의 차분값 결정 영역(32)을 구하는 동작에 사용한다. 예를 들면, 도 11에서 포커스 합치 영역이 영역 A4이었던 경우, 영역 A4나, 영역 A4를 포함하는 그 주변 영역을 차분값 결정 영역(32)으로서 사용하는 방법이 생각된다. 이상의 동작에서의 촬영 화상 에어리어 분할수는 임의이며, 도 11에 나타낸 9분할 이외의 분할수도 있을 수 있다. 또한, 상기 보정 방법을 이용한 처리를 화상 보정 장치가 아니라, 프로그램에 기록하여 다른 PC 등으로 실행하는 경우, 취득 화상 데이터의 Exif(Exchangeable Image Format) 정보 등에 부가된 포커스 에어리어 정보를 판독하여, 그 정보로부터 차분값 결정 영역(32)을 결정하도록 동작시켜도 된다.
<2-2. 실시예 2의 효과>
이상의 동작을 차분값 결정 처리(도 4의 단계 S11)에서의 차분값 결정 영역(32)의 결정 방법에 사용함으로써, 포커스가 화면 중앙 이외의 영역에 합치한 손떨림 화상에 대해서도, 취득 화상의 적절한 차분값을 결정하는 것이 가능해져, 양호한 화상 보정 효과를 얻을 수 있다.

Claims (14)

  1. 입력 화상의 화면 영역의 전체 또는 일부로 이루어지는 차분값 결정 영역 내의 주목 화소의 화상 데이터와, 상기 주목 화소의 주변에 설정된 윈도우 영역 내의 근방 화소의 화상 데이터와의 차분값인 윈도우 영역 국소 차분값을 복수의 근방 화소에 대해서 산출하여, 상기 윈도우 영역마다에서의 최대의 윈도우 영역 국소 차분값인 최대 국소 차분값을 결정하는 차분값 결정 수단과,
    상기 최대 국소 차분값에 근거하여 입력 화상의 특성을 반영한 임계값을 결정하는 입력 화상 평가 수단과,
    상기 임계값을 이용하여 상기 입력 화상의 화소마다 적응 필터 계수를 생성하는 필터 계수 생성 수단과,
    상기 적응 필터 계수를 이용하여 상기 입력 화상에 필터 연산을 실행하는 필터 처리 수단
    을 갖는 것을 특징으로 하는 화상 보정 장치.
  2. 제 1 항에 있어서,
    상기 윈도우 영역은 상기 주목 화소로부터 화면 영역의 수평 방향으로 넓어지고, 또한, 화면 영역의 수직 상방향 또는 수직 하방향으로 넓어지는 직사각형 영역인 것을 특징으로 하는 화상 보정 장치.
  3. 제 1 항에 있어서,
    상기 임계값은 상기 최대 국소 차분값에 0 이상 1 이하의 정수를 곱한 값인 것을 특징으로 하는 화상 보정 장치.
  4. 제 1 항에 있어서,
    상기 필터 계수 생성 수단에 의한 적응 필터 계수의 생성은,
    상기 윈도우 영역 국소 차분값이 상기 임계값보다도 작은 화소에 대해서 적응 필터 계수를 산출하는 처리와,
    상기 윈도우 영역 국소 차분값이 상기 임계값 이상인 화소에 대해서 적응 필터 계수를 0으로 하는 처리
    를 포함하는 것을 특징으로 하는 화상 보정 장치.
  5. 제 4 항에 있어서,
    상기 적응 필터 계수가 0이 아닌 영역에 근거하여 상기 필터 처리 수단에 의한 필터 처리를 행하는 유효 필터 영역을 결정하는 것을 특징으로 하는 화상 보정 장치.
  6. 제 1 항에 있어서,
    상기 필터 처리 수단에 의한 필터 처리는, 상기 입력 화상의 각 화소의 화상 데이터에, 대응하는 화소의 적응 필터 계수를 곱하는 처리인 것을 특징으로 하는 화상 보정 장치.
  7. 제 1 항에 있어서,
    상기 차분값 결정 수단은, 상기 입력 화상의 화면 영역의 일부를 포커스 위치로서 지정하는 포커스 위치 정보에 근거하여 상기 차분값 결정 영역을 결정하는 것을 특징으로 하는 화상 보정 장치.
  8. 입력 화상의 화면 영역의 전체 또는 일부로 이루어지는 차분값 결정 영역 내의 주목 화소의 화상 데이터와, 상기 주목 화소의 주변에 설정된 윈도우 영역 내의 근방 화소의 화상 데이터와의 차분값인 윈도우 영역 국소 차분값을 복수의 근방 화소에 대해서 산출하여, 상기 윈도우 영역마다에서의 최대의 윈도우 영역 국소 차분값인 최대 국소 차분값을 결정하는 단계와,
    상기 최대 국소 차분값에 근거하여 입력 화상의 특성을 반영한 임계값을 결정하는 단계와,
    상기 임계값을 이용하여 상기 입력 화상의 특성마다 적응 필터 계수를 생성하는 단계와,
    상기 적응 필터 계수를 이용하여 상기 입력 화상에 필터 연산을 실행하는 단계
    를 갖는 것을 특징으로 하는 화상 보정 방법.
  9. 제 8 항에 있어서,
    상기 윈도우 영역은 상기 주목 화소로부터 화면 영역의 수평 방향으로 넓어지고, 또한, 화면 영역의 수직 상방향 또는 수직 하방향으로 넓어지는 직사각형 영역인 것을 특징으로 하는 화상 보정 방법.
  10. 제 8 항에 있어서,
    상기 임계값은 상기 최대 국소 차분값에 0 이상 1 이하의 정수를 곱한 값인 것을 특징으로 하는 화상 보정 방법.
  11. 제 8 항에 있어서,
    상기 적응 필터 계수를 생성하는 단계는,
    상기 윈도우 영역 국소 차분값이 상기 임계값보다도 작은 화소에 대해서 적응 필터 계수를 산출하는 처리와,
    상기 윈도우 영역 국소 차분값이 상기 임계값 이상인 화소에 대해서 적응 필터 계수를 0으로 하는 처리
    를 포함하는 것을 특징으로 하는 화상 보정 방법.
  12. 제 11 항에 있어서,
    상기 필터 계수가 0이 아닌 영역에 근거하여 상기 필터 처리를 행하는 유효 필터 영역을 결정하는 것을 특징으로 하는 화상 보정 방법.
  13. 제 8 항에 있어서,
    상기 필터 처리는, 상기 입력 화상의 각 화소의 화상 데이터에, 대응하는 화소의 적응 필터 계수를 곱하는 처리인 것을 특징으로 하는 화상 보정 방법.
  14. 제 8 항에 있어서,
    상기 입력 화상의 화면 영역의 일부를 포커스 위치로서 지정하는 포커스 위치 정보에 근거하여 상기 차분값 결정 영역을 결정하는 것을 특징으로 하는 화상 보정 방법.
KR1020077012705A 2005-10-04 2006-04-06 화상 보정 장치 및 화상 보정 방법 KR100867049B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00290876 2005-10-04
JP2005290876A JP3992720B2 (ja) 2005-10-04 2005-10-04 画像補正装置、画像補正方法、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
KR20070085795A true KR20070085795A (ko) 2007-08-27
KR100867049B1 KR100867049B1 (ko) 2008-11-04

Family

ID=37905994

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077012705A KR100867049B1 (ko) 2005-10-04 2006-04-06 화상 보정 장치 및 화상 보정 방법

Country Status (5)

Country Link
US (1) US7796159B2 (ko)
EP (1) EP1933549B1 (ko)
JP (1) JP3992720B2 (ko)
KR (1) KR100867049B1 (ko)
WO (1) WO2007039947A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008084590A1 (ja) * 2007-01-12 2008-07-17 Mitsubishi Electric Corporation 画像劣化検出装置、及び画像劣化検出方法、並びに画像劣化検出方法を実行させるプログラム、及び記録媒体
JP5169997B2 (ja) * 2009-05-29 2013-03-27 ソニー株式会社 フィルタ回路、画像処理装置、撮像装置、画像処理方法及びプログラム
JP5574830B2 (ja) * 2010-06-03 2014-08-20 三菱電機株式会社 画像処理装置及び方法、並びに画像表示装置及び方法
JP5556415B2 (ja) * 2010-06-21 2014-07-23 富士通株式会社 画像処理装置
CN104240189B (zh) * 2013-06-17 2017-05-24 富士通株式会社 恢复抗锯齿边缘的滤波方法和装置
KR102383578B1 (ko) * 2015-09-09 2022-04-08 삼성전자주식회사 화상 처리 장치, 디코딩 장치 및 화상 처리 방법
JP7301683B2 (ja) * 2019-09-11 2023-07-03 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910004959B1 (ko) * 1989-05-15 1991-07-20 삼성전자 주식회사 식기 세척기의 급수 제어 장치
JPH0646321A (ja) * 1992-07-21 1994-02-18 Sony Corp ビデオカメラ
US5844627A (en) * 1995-09-11 1998-12-01 Minerya System, Inc. Structure and method for reducing spatial noise
US6295382B1 (en) * 1998-05-22 2001-09-25 Ati Technologies, Inc. Method and apparatus for establishing an adaptive noise reduction filter
US6108455A (en) 1998-05-29 2000-08-22 Stmicroelectronics, Inc. Non-linear image filter for filtering noise
JP2000224461A (ja) 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP4536855B2 (ja) 1999-12-28 2010-09-01 キヤノン株式会社 防振装置、撮像装置、および、防振装置の制御方法
KR100405150B1 (ko) * 2001-06-29 2003-11-10 주식회사 성진씨앤씨 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치
DE60141901D1 (de) 2001-08-31 2010-06-02 St Microelectronics Srl Störschutzfilter für Bayermusterbilddaten
JP3966460B2 (ja) * 2002-06-24 2007-08-29 株式会社リコー 撮像装置、手振れ検出方法、画像処理方法、プログラム及び記録媒体
JP4130338B2 (ja) * 2002-08-01 2008-08-06 富士フイルム株式会社 画像処理システム、画像処理方法、撮像装置、及び画像処理装置

Also Published As

Publication number Publication date
EP1933549B1 (en) 2011-10-26
KR100867049B1 (ko) 2008-11-04
US7796159B2 (en) 2010-09-14
EP1933549A4 (en) 2009-12-02
EP1933549A1 (en) 2008-06-18
US20070252899A1 (en) 2007-11-01
JP3992720B2 (ja) 2007-10-17
JP2007104249A (ja) 2007-04-19
WO2007039947A1 (ja) 2007-04-12

Similar Documents

Publication Publication Date Title
US10757312B2 (en) Method for image-processing and mobile terminal using dual cameras
KR100867049B1 (ko) 화상 보정 장치 및 화상 보정 방법
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
JP2022179514A (ja) 制御装置、撮像装置、制御方法およびプログラム
JP2011228807A (ja) 画像処理プログラム、画像処理装置、および画像処理方法
JP2007184888A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
EP1998552A2 (en) Imaging apparatus and image processing program
JP5163733B2 (ja) 撮像装置、および焦点判定プログラム
JP4493416B2 (ja) 画像処理方法および装置並びにプログラム
JP2007228221A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
JP4043499B2 (ja) 画像補正装置及び画像補正方法
JP2006157599A (ja) 撮像装置
JP4396766B2 (ja) 画像劣化検出装置、及び画像劣化検出方法、並びに画像劣化検出方法を実行させるプログラム、及び記録媒体
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP6218520B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2013058823A (ja) 画像処理装置、画像処理方法及びプログラム
JP2007288245A (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP2013127804A (ja) 画像処理プログラム、画像処理装置、および画像処理方法
JP5307572B2 (ja) 撮像システム、映像信号処理プログラム、および撮像方法
JP6314281B1 (ja) 画像処理方法及び前景領域取得方法
JP2015100115A (ja) 画像処理装置、画像処理方法及びプログラム
JP5208799B2 (ja) 撮像システム、映像信号処理プログラム、および撮像方法
JP2012133492A (ja) 画像処理装置およびプログラム
JP2020064456A (ja) 画像処理装置、画像処理方法およびプログラム
JP2018007188A (ja) Ｍｔｆ特性を用いたモアレの低減装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121002

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131001

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141007

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181023

Year of fee payment: 11