KR101981802B1 - 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 - Google Patents

화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR101981802B1
KR101981802B1 KR1020120129598A KR20120129598A KR101981802B1 KR 101981802 B1 KR101981802 B1 KR 101981802B1 KR 1020120129598 A KR1020120129598 A KR 1020120129598A KR 20120129598 A KR20120129598 A KR 20120129598A KR 101981802 B1 KR101981802 B1 KR 101981802B1
Authority
KR
South Korea
Prior art keywords
coordinates
coordinate
movement
calculating
correction
Prior art date
Application number
KR1020120129598A
Other languages
English (en)
Other versions
KR20130054209A (ko
Inventor
히로후미 가와구찌
Original Assignee
르네사스 일렉트로닉스 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 르네사스 일렉트로닉스 가부시키가이샤 filed Critical 르네사스 일렉트로닉스 가부시키가이샤
Publication of KR20130054209A publication Critical patent/KR20130054209A/ko
Application granted granted Critical
Publication of KR101981802B1 publication Critical patent/KR101981802B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628Memory colours, e.g. skin or sky
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

고도의 지식, 노하우를 갖지 않는 경우라도 적절하게 색 공간에서의 색 변환의 변환 규칙을 설정하는 것이다. 3차원 룩업 테이블부(200)는, 입력된 화상 신호의 색 정보를 변환 규칙에 기초하여 변환한다. 보정 범위 산출부(110)는, 미리 설정되는 색 공간에서의 이동원 좌표와 이동처 좌표의 위치 관계에 기초하여, 색 공간에서의 보정 범위를 산출한다. 격자점 이동량 산출부(120)는, 이동원 좌표와 이동처 좌표의 위치 관계, 및 보정 범위 내의 각 점의 좌표와 이동원 좌표의 위치 관계에 기초하여, 당해 각 점의 변환처 좌표를 산출하고 변환 규칙에 반영시킨다.

Description

화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 {IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND COMPUTER READABLE RECORDING MEDIUM STORING PROGRAM}
본 발명은 화상 처리 장치, 화상 처리 방법 및 프로그램에 관한 것이다.
파란 하늘의 청색이나, 벚나무의 핑크색 등의 오브젝트나 배경에는, 인간이 그 오브젝트나 배경에 대하여 이미지하고 있는 특정한 색이 존재한다. 이들 색은 기억색이라고 불리고 있다. 인간은 어느 오브젝트나 배경의 색을 실세계에 입각하여 충실하게 재현한 화상을 본 경우라도 깨끗한 화상이라고는 평가하지 않는다. 이것은 인간이 이미지하고 있었던 색(기억색)과 재현된 색이 상이하고, 색이 엷다는 등의 인식을 해 버리기 때문이다.
그로 인해, 화상 처리 장치의 대부분은, 오브젝트나 배경마다 인간이 이미지하고 있는 색을 재현하기 위한 보정 처리를 행한다. 이 보정 처리를 기억색 보정이라고 칭한다. 기억색 보정의 실시 방법에는, 일반적으로 이하의 2가지 방법이 있다.
(1) 전용 회로(특색 보정 기능)
(2) 3차원 룩업 테이블
처음에, (1) 전용 회로를 사용한 기억색 보정에 대하여 설명한다. 여기서, 전용 회로는 기억색 보정에 특화한 처리를 행한다. 구체적으로는, 전용 회로에 대하여, 보정하고자 하는 특정한 색을 Cb/Cr이나 a*/b* 등의 색 공간 상의 이동원과 이동처의 좌표 형식으로 설정한다. 전용 회로는, 이 설정에 따라 주변의 색 영역을 포함한 색 영역의 보정을 행한다. 그러나, 전용 회로는 기억색 보정에 특화한 회로이기 때문에, 다른 처리를 행할 수 없다. 또한, 2 영역 이상의 특색 보정을 행하는 경우, 복수의 전용 회로가 필요하게 된다.
이어서, (2) 3차원 룩업 테이블을 사용한 기억색 보정에 대하여 설명한다. 3차원 룩업 테이블의 정보는 임의의 메모리에 저장된다. 3차원 룩업 테이블에는 주로 RGB의 3차원 색 공간을 표현한 9×9×9 또는 17×17×17 등의 좌표점에 상당하는 테이블 데이터가 저장된다. 3차원 룩업 테이블은, 색 공간 상의 각 점의 좌표와, 당해 좌표의 변환처의 좌표의 대응을 저장한다. 예를 들어, 3차원 룩업 테이블이 17×17×17의 좌표점에 대응하는 테이블 데이터를 갖는 경우, RGB 좌표(0, 0, 0)와 그 변환처의 RGB 좌표, RGB 좌표(16, 16, 16)와 그 변환처의 RGB 좌표 등이 각각 저장된다. 그리고, 임의의 처리부가 3차원 룩업 테이블을 참조하여, 색 공간에 존재하는 각 좌표를 각종 보간 처리에 의해 변환처의 좌표로 이동시킨다. 예를 들어, 당해 처리부는 RGB 좌표(8, 8, 8)의 변환처 좌표를, RGB 좌표(0, 0, 0)의 변환처 좌표 및 RGB 좌표(16, 16, 16)의 변환처 좌표를 참조하여 산출한다.
3차원 룩업 테이블은, 단순한 변환 규칙을 유지하는 것에 지나지 않으며, 그 자체에는 아무런 기능을 구비하지 않는다. 그러나, 3차원 룩업 테이블에 대하여 적절한 테이블 데이터를 설정하고, 테이블 내의 변환 규칙에 따른 처리를 행함으로써, 색 영역 맵핑, 6축 보정, 기억색 보정, 감마 보정 등의 여러가지 색 관리 기능을 실현할 수 있다. 여기서, 3차원 룩업 테이블에 설정하는 테이블 데이터는 적절하게 변경할 수 있다. 그로 인해, 단일한 처리 회로(또는 소프트웨어에 의한 처리 기능)를 설치하는 것만으로 필요한 기능(복수 영역 처리, 복수의 다른 기능을 동시에 실현하는 것을 포함함)을 상황에 따라 실현할 수 있다.
이와 같이 3차원 룩업 테이블을 사용한 보정은, 전용 회로 기능(특색 보정 기능)에 의한 보정보다도 단연 높은 자유도를 갖는다. 그로 인해, 3차원 룩업 테이블을 사용한 구성에 의해, 개발 리소스의 삭감, 회로 규모의 축소 등의 많은 비용면에서의 장점 및 유용성의 개선을 도모할 수 있다. 또한, 문제가 발생한 경우나 성능 향상을 도모하는 경우, 3차원 룩업 테이블의 테이블 데이터를 교체함으로써, 하드웨어의 변경 등을 행하지 않고 과제를 해결할 수 있다.
이하, 상기한 사항에 관련된 화상 처리 기술을 개시한 문헌에 대하여 설명한다. 특허문헌 1은, 입력 동화상 신호를 3차원 룩업 테이블을 사용하여 컬러 매니지먼트 처리하는 색 신호 처리 시스템을 개시하고 있다. 당해 시스템은, 입력된 화상 신호의 색 정보를 다차원 룩업 테이블에 의해 변환하는 색 변환부와, 색 변환부에서 변환된 화상 신호와 입력된 화상 신호를 임의의 비율로 합성한 합성 화상 신호를 출력하는 내부 삽입부와, 색 변환부에서의 다차원 룩업 테이블의 데이터를 변경하는 룩업 테이블 재기입부를 구비한다. 당해 구성에 의해, 이 시스템은 룩업 테이블의 데이터 재기입시에도 고정밀도의 컬러 매니지먼트 처리를 실현할 수 있다.
특허문헌 2는, 기억색 보정에 대한 부작용이 적은 자동색 조정을 행하는 화상 처리 장치를 개시하고 있다. 당해 화상 처리 장치는, 2가지 색도 성분(a*/b*)에 기초하여 설정된 특정 범위의 색 영역에 대하여, 그 영역 주변은 작은 보정 강도를 생성하는 강도 결정 수단과, 생성된 보정 강도에 따라 보정을 행하는 수단을 갖는다.
일본 특허 공개 제2010-118881호 공보 WO2004/032524호 공보
그러나, 3차원 룩업 테이블 등의 변환 규칙을 사용한 색 공간 상에서의 보정 처리에는, 기억색 보정을 비롯한 변환 규칙을 설정하기 위한 고도의 지식이나 노하우가 필요하게 된다고 하는 과제가 있었다. 당해 과제를 이하에 설명한다.
3차원 룩업 테이블을 사용한 보정 처리 시스템에는, 일반적으로 테이블 데이터를 기억하는 메모리와, 그 테이블 데이터로부터 변환값을 산출하는 회로가 존재할 뿐이다. 그로 인해, 3차원 룩업 테이블의 테이블 데이터의 설정의 자유도가 매우 높다. 이 3차원 룩업 테이블의 테이블 데이터의 설정이란, 기억색 보정의 대상으로 하고자 하는 색(대상 색)과, 당해 색의 변환처를 설정하는 것 외에, 대상 색의 주변에 존재하는 색을 어디까지 보정 범위로 할지, 및 보정 범위 내에 있는 각 색의 변환처 좌표를 설정할 필요가 있다. 그로 인해, 예를 들어 상술한 기억색 보정에 관한 테이블 데이터를 설정하는 경우, 설정자는 기억색 보정에 관한 고도의 지식, 노하우를 유지하고 있지 않으면 올바른 설정을 행할 수 없다.
가령 설정자가 충분한 지식이나 노하우를 유지하지 않고 테이블 데이터를 설정하여 기억색 보정을 행한 경우, 3차원 색 공간 내의 연속성이 보증되지 않고, 보정 처리 후의 화상에 공간 왜곡이 발생할 우려가 있다. 이러한 테이블 데이터를 갖는 화상 처리 장치에 대하여 색이나 휘도의 완만한 그라데이션을 갖는 화상이 입력된 경우, 당해 화상 처리 장치는, 본래는 존재하지 않을 것인 윤곽을 갖는 화상이나, 계조 특성을 손상시킨 화상을 출력해 버릴 우려가 있다.
특허문헌 1 및 특허문헌 2에 기재된 화상 보정 방법은, 모두 설정자가 테이블 데이터를 순차적으로 설정하는 것을 전제로 한 방법이다. 그로 인해, 설정자가 색 보정에 관한 충분한 노하우, 지식을 갖지 않는 경우, 의도한 보정을 행하지 못할 우려가 있다.
또한, 상술한 설명에서는 3차원 룩업 테이블을 참조하여 기억색 보정을 행하는 경우에 있어서, 룩업 테이블의 설정자가 충분한 노하우, 지식을 갖지 않는 경우에 문제가 발생하는 점을 설명하였다. 그러나, 당해 문제는 3차원 룩업 테이블을 사용한 보정에 한정된 이야기가 아니라, 색 공간에서의 색 보정을 행할 때에 필요로 되는 임의의 변환 룰의 설정시에 발생하는 문제이다. 또한, 당해 문제는 기억색 보정을 목적으로 한 보정에 한정되지 않고, 영상에 포함되는 화소 데이터의 보정(색 공간 상에서의 좌표 이동)을 행하는 경우에 공통되는 과제이었다.
즉, 영상에 포함되는 화소 데이터(화소값)의 보정(색 공간에서의 좌표 이동)을 행하는 경우에, 원하는 보정 목적에 합치하는 보정 범위(이동이 발생하는 좌표점의 범위)의 산출, 이동을 행하는 각 좌표점의 이동량ㆍ방향을 설정하기 위해서는 고도의 지식을 필요로 한다. 유저가 고도의 지식을 갖지 않는 경우, 적절한 설정을 행할 수 없다고 하는 문제가 있었다.
본 발명에 관한 화상 처리 장치의 일 형태는,
입력된 화상 신호의 색 정보를 변환 규칙에 기초하여 변환하는 변환부와,
미리 설정되는 색 공간에서의 이동원 좌표와 이동처 좌표의 위치 관계에 기초하여, 색 공간에서의 보정 범위를 산출하는 보정 범위 산출부와,
상기 이동원 좌표와 상기 이동처 좌표의 위치 관계, 및 상기 보정 범위 내의 각 점의 좌표와 상기 이동원 좌표의 위치 관계에 기초하여, 당해 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키는 각 점 이동량 산출부를 구비하는 것이다.
본 발명에 관한 화상 처리 방법의 일 형태는,
입력된 화상 신호의 색 정보를 변환 규칙에 기초하여 변환하는 화상 처리 방법으로서,
미리 설정되는 색 공간에서의 이동원 좌표와 이동처 좌표의 위치 관계에 기초하여, 색 공간에서의 보정 범위를 산출하고,
상기 이동원 좌표와 상기 이동처 좌표의 위치 관계, 및 상기 보정 범위 내의 각 점의 좌표와 상기 이동원 좌표의 위치 관계에 기초하여, 당해 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키는 것이다.
본 발명에 관한 화상 처리 프로그램의 일 형태는,
컴퓨터에,
입력된 화상 신호의 색 정보를 변환 규칙에 기초하여 변환하는 처리와,
미리 설정되는 색 공간에서의 이동원 좌표와 이동처 좌표의 위치 관계에 기초하여, 색 공간에서의 보정 범위를 산출하는 처리와,
상기 이동원 좌표와 상기 이동처 좌표의 위치 관계, 및 상기 보정 범위 내의 각 점의 좌표와 상기 이동원 좌표의 위치 관계에 기초하여, 당해 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키는 처리를 실행시키기 위한 프로그램이다.
본 발명에서는, 보정 범위 산출부는, 이동원 좌표와 이동처 좌표의 위치 관계로부터 보정 범위를 자동 산출한다. 또한, 각 점 이동량 산출부는, 이동원 좌표와 이동처 좌표의 위치 관계, 및 상기 보정 범위 내의 각 점의 좌표와 상기 이동원 좌표의 위치 관계로부터 보정 범위 내의 각 격자점의 변환처 좌표를 산출하고, 당해 변환처 좌표를 변환 규칙(본 실시 형태에서는 3차원 룩업 테이블)에 반영한다. 여기서, 유저는 이동원 좌표와 이동처 좌표의 정보를 제공하는 것만이어도 된다. 이에 의해, 유저는, 보정 범위의 설정에 관한 지식이나 각 점의 이동량 등에 대한 지식을 갖지 않고 색 공간에서의 보정 처리를 실현할 수 있다.
본 발명에 따르면, 영상에 포함되는 화소 데이터(화소값)의 보정(색 공간에서의 좌표 이동)을 행하는 경우에, 고도의 지식을 필요로 하지 않고, 원하는 보정 목적에 합치하는 보정 범위(이동이 발생하는 좌표점의 범위)의 산출, 이동을 행하는 각 좌표점의 이동량ㆍ방향의 설정이 가능한 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램을 제공할 수 있다.
도 1은 본 발명의 실시 형태 1에 관한 화상 처리 장치(1)의 구성을 도시하는 블록도이다.
도 2는 본 발명의 실시 형태 1에 관한 테이블 데이터 생성부(100)의 구성을 도시하는 블록도이다.
도 3은 본 발명의 실시 형태 1에 관한 보정 범위 산출부(110)의 구성을 도시하는 블록도이다.
도 4는 색 공간(GB 단면)에서의 이동원 좌표와 이동처 좌표의 거리 Lto의 개념을 도시하는 도면이다.
도 5는 본 발명의 실시 형태 1에 관한 보정 범위 산출부(110)에 의한 보정 범위의 회전의 개념을 도시하는 도면이다.
도 6은 이동원 좌표, 이동처 좌표 및 보정 범위를 나타내는 타원구의 관계를 3차원적으로 도시한 도면이다.
도 7은 본 발명의 실시 형태 1에 관한 격자점 이동량 산출부(120)의 구성을 도시하는 블록도이다.
도 8은 영향도 Ef와 이동량 특성 ME의 관계를 나타내는 도면이다.
도 9는 색 공간에서의 보정 방향의 개념을 도시하는 도면이다.
도 10은 보정 범위의 회전의 효과를 나타내는 개념도이다.
도 11은 피부색의 기억색 보정을 도시하는 개념도이다.
도 12는 본 발명의 실시 형태 2에 관한 화상 처리 장치(1)의 구성을 도시하는 블록도이다.
도 13은 본 발명의 실시 형태 2에 관한 히스토그램 해석부(304)에 의한 화상 전체의 히스토그램의 해석을 도시하는 도면이다.
도 14는 보정 범위의 간섭을 도시하는 개념도이다.
도 15는 본 발명의 실시 형태 1 및 실시 형태 2에 관한 화상 처리 장치(1)에 의한 기억색 보정을 도시하는 개념도이다.
도 16은 본 발명의 실시 형태 3에 관한 보정 범위 산출부(110)에 의한 보정 범위의 회전의 개념을 도시하는 도면이다.
도 17은 보정 범위에 포함되는 격자점수를 산출, 타원구를 축소하는 재설정의 개념을 도시하는 도면이다.
도 18은 본 발명의 실시 형태 4에 관한 보정 범위 산출부(110)의 구성을 도시하는 블록도이다.
도 19는 본 발명의 실시 형태 4에 관한 화상 처리 장치(1)의 동작 이미지를 도시하는 개념도이다.
도 20은 본 발명의 실시 형태 4에 관한 화상 처리 장치(1)의 동작 이미지를 도시하는 개념도이다.
도 21은 본 발명의 실시 형태 5에 관한 화상 처리 장치(1)의 구성을 도시하는 블록도이다.
도 22는 본 발명의 실시 형태 5에 관한 화상 처리 장치(1)의 처리 대상으로 하는 화상예를 도시하는 도면이다.
도 23은 GB 단면에서의 파란 하늘의 보정 범위와 파란 꽃의 보정 범위를 나타내는 도면이다.
도 24는 본 발명의 실시 형태 6에 관한 색 공간 변환부(500)의 구성을 도시하는 블록도이다.
도 25는 화상 처리 장치(1)의 각 처리부의 처리를 프로그램으로서 실행하는 컴퓨터의 하드웨어 구성의 일례를 도시하는 도면이다.
<실시 형태 1>
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 설명한다. 도 1은 본 실시 형태에 관한 화상 처리 장치의 구성을 도시하는 블록도이다.
화상 처리 장치(1)는, 테이블 데이터 생성부(100)와, 3차원 룩업 테이블부(200)를 구비한다. 3차원 룩업 테이블부(200)는, 어드레스 생성부(210)과, 테이블 데이터 메모리부(220)와, 보간부(230)를 구비한다.
3차원 룩업 테이블부(200)는 3차원 룩업 테이블을 유지하고, 입력된 RGB 신호의 변환 처리를 행한다. 3차원 룩업 테이블부(200)는 3차원 룩업 테이블을 사용한 일반적인 기억색 보정을 행한다. 여기서, 3차원 룩업 테이블부(200)가 유지하는 3차원 룩업 테이블은, 8bit 또는 10bit 정밀도의 9×9×9 또는 17×17×17 등의 격자점을 갖는 일반적인 RGB 공간의 3차원 룩업 테이블이다. 3차원 룩업 테이블부(200)는, RGB 공간 상의 격자점 좌표(R1, G1, B1)를 (R2, G2, B2)로 이동시킨다고 하는 대응 관계를 격자점수분만큼 유지한다. 3차원 룩업 테이블부(200) 내에서 격자점을 보간하는 방법(격자점에 포함되지 않는 색 공간 상의 좌표의 이동처를 산출하는 방법)은, 일반적인 3차원 공간에서의 직선 보문법이나 큐빅 보문법을 이용하면 된다.
또한, 기억색 보정 처리는 3차원 색 공간 내에 있는 특정한 색 영역을 지정하여 보정을 행한다. 그로 인해, 격자점수가 많은 쪽이 고정밀도의 보정을 행할 수 있다. 그로 인해, 3차원 룩업 테이블에서의 격자점수는 9×9×9 이상의 격자점수로 해야 한다. 이에 의해, 실사용상 견딜 수 있는 기억색 보정을 실시하는 것이 가능하게 된다.
계속해서, 도 2를 참조하여 테이블 데이터 생성부(100)의 구성을 설명한다. 테이블 데이터 생성부(100)는, 보정 범위 산출부(110)와, 격자점 이동량 산출부(120)를 구비한다. 유저는, 기억색 보정을 실시하고자 하는 색의 이동원 좌표(RGB 좌표 상의 좌표점), 이동처 좌표(RGB 좌표 상의 좌표점) 및 보정 방향(압축 방향/평행 방향)이라고 하는 3가지 설정값을 테이블 데이터 생성부(100)에 입력한다. 또한, 유저는 영향 범위 게인/오프셋 및 이동 특성을 더 설정하여도 된다. 설정하지 않는 경우에는 디폴트값을 사용하면 된다. 마찬가지로, 보정 방향이 설정되지 않는 경우에는 디폴트값(예를 들어 압축 방향)을 사용하여도 된다.
보정 범위 산출부(110)는, 상술한 3가지 설정값(이동원 좌표, 이동처 좌표 및 보정 방향)을 기초로 기억색 보정을 행하는 색 공간 상의 범위(보정 범위)를 산출하는 처리부이다. 또한, 유저는, 보정 범위 산출부(110)가 산출하는 보정 범위가 적절하지 않다(지나치게 넓거나, 지나치게 좁다)고 느낀 경우에는, 영향 범위 게인/오프셋을 조정함으로써 보정 범위를 조정할 수 있다. 상세한 것은 후술한다.
보정 범위 산출부(110)는, 산출한 보정 범위(기억색 보정에 따라 색 공간 상의 좌표가 변화하는 범위)를 격자점 이동량 산출부(120)에 공급한다. 격자점 이동량 산출부(120)는, 당해 보정 범위 내의 각 격자점의 이동량을 자동적으로 산출하고, 당해 이동량을 기초로 3차원 룩업 테이블의 테이블 데이터를 생성한다.
상세하게는 격자점 이동량 산출부(120)는, 이동의 중심이 되는 이동원 좌표와, 각 격자점의 좌표의 거리를 기준으로 영향도(각 격자점의 이동량의 지표값이며, 상세한 것은 후술함)를 산출한다. 이동원 좌표에 가까운 격자점으로부터 산출된 영향도는 커진다. 이동원 좌표로부터의 거리가 큰 격자점으로부터 산출된 영향도는 작아진다. 영향 범위 외(보정 범위 외)의 격자점으로부터 산출되는 영향도는 0이 된다.
격자점 이동량 산출부(120)는, 각 격자점에 대한 영향도를 산출하고, 그 영향도에 따라 각 격자점의 이동량을 산출한다. 격자점 이동량 산출부(120)는, 각 격자점의 좌표값에, 각 격자점에 대하여 산출한 이동량을 가산함으로써 테이블 데이터를 생성한다.
또한, 유저는 영향도로부터 산출하는 이동량에 대하여 조정하고자 하는 경우에는, 이동 특성의 입력값을 조정하면 된다. 이동 특성에 대한 상세한 것은 후술한다.
계속해서, 보정 범위 산출부(110), 격자점 이동량 산출부(120)의 상세한 구성, 동작의 설명에 앞서, 상기한 입력(이동원 좌표, 이동처 좌표)을 기초로 보정 범위 및 각 격자점의 이동량을 산출하는 의의에 대하여 설명한다.
본 실시 형태에 관한 화상 처리 장치(1)에서는, 유저는 기억색 보정을 행하는 경우에, 이동의 중심이 되는 이동원의 색 좌표를 설정하고, 그 색을 어느 색으로 할지를 나타내는 이동처의 색 좌표를 설정한다. 당해 설정을 받아, 보정 범위 산출부(110)는 보정 범위를 산출한다. 즉, 보정 범위 산출부(110)는 설정된 2개의 색 좌표의 주위에 존재하는 색(좌표)도 이동 대상으로서 선택한다. 이렇게 선택하는 이유는, 이하의 2가지이다.
첫번째 이유는, 3차원 색 공간 내의 연속성을 보증함으로써 공간 왜곡을 방지하고, 계조 특성을 열화시키지 않기 위해서이다.
두번째 이유는, 보정하고자 하는 색은 3차원 공간의 어느 1점에 집중하여 존재하는 것이 아니라, 어느 색 영역에 대하여 보정을 필요로 하기 때문이다. 예를 들어, 청색의 기억색 보정을 행하는 경우, 보정하고자 하는 청색은 3차원 공간의 어느 1점에 집중하여 존재하는 것이 아니라, 어느 당해 1점의 주변의 일정한 색 영역이 보정이 대상이 되기 때문이다.
일반적으로, 예를 들어 기억색 보정을 하고자 하는 피부색의 색 영역을 설정하는 경우, 세상에 존재하는 피부색의 샘플 데이터를 취득한다. 그리고, 취득한 데이터와는 별도로 바람직한 피부색의 통계 데이터를 수집한다. 그리고 나서, 이들 데이터를 고도의 노하우를 이용하여 해석함으로써, 어느 피부색을 중심(이동원)으로 하여 어느 범위(보정 범위)까지를 피부색으로 정의하고, 어느 색을 바람직한 피부색(이동처)으로 할지를 정하고 있었다.
그러나, 한마디로 피부색이라고 하여도 여러가지 인종이 존재하고 있다. 그로 인해, 모든 피부색 영역을 정의한 경우, 당해 영역은 상당히 넓은 것이 되어 버린다. 또한, 촬영 환경의 광원에 의한 피부색의 변화나, 배경색에 의한 피부색이 보이는 방법의 변화도 발생한다. 그로 인해, 어떠한 경우에 대해서도 절대적으로 바람직한 설정을 행하는 것은 불가능하다. 또한, 기억색이란, 애당초 애매한 정의인 경우가 많다. 그로 인해, 기억색은 유저의 기호나 지역성에 따라 크게 상이한 경우가 있다. 요컨대, 기억색의 보정에 관한 이동원 좌표와 이동처 좌표의 설정은 매우 곤란한 경우가 많다. 그러나, 바람직하다고 여겨지는 색과 휘도의 경향에 화상의 색이 보정된 경우, 일정한 보정 효과가 있는 것도 사실이다.
따라서, 본 실시 형태에 관한 화상 처리 장치에서는, 각 유저가 "이 색을 중심으로, 이 색에 근접하게 보정하고 싶다"고 하는 것을 설정(즉, 상술한 이동원과 이동처의 좌표를 설정)하면, 보정 범위 산출부(110)는 자동적으로 보정 범위를 산출한다. 또한, 격자점 이동량 산출부(120)는 자동적으로 보정 범위 내의 각 격자점의 이동량을 산출한다. 이에 의해 본 실시 형태에 관한 화상 처리 장치(1)는, 유저가 상술한 통계 데이터나 고도의 조정 노하우를 유지하고 있지 않은 경우라도, 용이하게 실운용상 문제가 없는 기억색 보정의 수단을 제공할 수 있게 한다.
이어서, 도 3을 참조하여, 보정 범위 산출부(110)의 상세한 구성에 대하여 설명한다. 도 3은 보정 범위 산출부(110)의 구성을 도시하는 블록도이다. 보정 범위 산출부(110)는, 이동처-이동원 거리 산출부(111)와, 보정 범위 게인ㆍ오프셋 조정부(112)와, 이동처-이동원 직선 기울기 산출부(113)와, 회전 각도 산출부(114)와, 보정 범위 타원구식 산출부(115)를 구비한다. 또한, 도 4 내지 도 6은 색 공간에서의 이동원 좌표, 이동처 좌표 및 보정 범위의 관계를 나타내는 도면이다. 이하, 이들 도면을 적절하게 참조하여 설명한다.
이동처-이동원 거리 산출부(111)에는, 유저가 설정한 이동원 좌표와 이동처 좌표가 입력된다. 이동처-이동원 거리 산출부(111)는, 이동처 좌표로부터 이동원 좌표를 감산함으로써, 이동처 좌표부터 이동원 좌표까지의 색 공간 상에서의 거리를 산출한다. 이동원 좌표, 이동처 좌표, 및 이동처 좌표부터 이동원 좌표까지의 거리를 이하와 같이 정의하고, 산출식을 나타낸다.
이동원 좌표: O(Ro, Go, Bo)
이동처 좌표: T(Rt, Gt, Bt)
이동원/이동원간 거리: Lto(Rlto, Glto, Blto) Lto=(Rt-Ro, Gt-Go, Bt-Bo)
도 4는 색 공간(GB 단면)에서의 이동원 좌표와 이동처 좌표의 거리 Lto의 개념을 도시하고 있다. 또한, 도 4에서는 도면의 제약상 2차원 단면을 도시하고 있지만, 이동처-이동원 거리 산출부(111)는 3차원 공간 상에서의 거리를 산출한다.
이동처-이동원 거리 산출부(111)는, 산출한 이동원/이동원간 거리(Lto)를 보정 범위 게인ㆍ오프셋 조정부(112)에 공급한다.
보정 범위 게인ㆍ오프셋 조정부(112)는, 공급된 이동원/이동원간 거리(Lto)를 기초로 RGB의 각 축마다의 보정 범위를 정한다. 보정 범위 게인, 보정 범위 오프셋은 유저가 적절하게 설정한다. 설정을 행하지 않는 경우, 디폴트값이 사용된다. 이하, 보정 범위 E, 보정 범위 게인 Egain, 보정 범위 오프셋 Eofs를 정의하고, 보정 범위 게인ㆍ오프셋 조정부(112)가 사용하는 보정 범위 E의 산출식 (수학식 1) 내지 (수학식 3)을 기재한다.
보정 범위: E(Re, Ge, Be)
보정 범위 게인: Egain
보정 범위 오프셋: Eofs
Figure 112012094117885-pat00001
Figure 112012094117885-pat00002
Figure 112012094117885-pat00003
또한, 보정 범위 게인 Egain은 "1" 내지 "5"의 사이에서 유저가 조정 가능한 것으로 하지만, "3" 정도로 설정되는 것을 전제로 한다. 보정 범위 오프셋 Eofs는 8bit(256) 계조인 경우, 8 내지 64의 사이에서 유저가 조정 가능한 것으로 하지만, 16 정도로 설정되는 것을 전제로 한다.
유저는 보정 범위 게인 Egain 및 보정 범위 오프셋 Eofs를 조정함으로써, 이동원 좌표와 이동처 좌표의 거리 Lto에 따라 자동적으로 보정 범위 E의 크기를 설정할 수 있다. 보정 범위 게인 Egain 및 보정 범위 오프셋 Eofs를 크게 할수록 보정 범위 E의 범위가 넓어진다(도 4에 있어서, 타원구 범위가 커짐). 또한, 보정 범위 게인 Egain은 1 이하의 값으로는 되지 않기 때문에, 보정 범위 E 내에 이동원 좌표, 이동처 좌표가 원칙적으로 포함된다. 보정 범위 게인ㆍ오프셋 조정부(112)는, 산출한 보정 범위 E를 보정 범위 타원구식 산출부(115)에 공급한다.
이동처-이동원 직선 기울기 산출부(113)는, 이동처 좌표와, 이동처 좌표로부터 RG 단면의 기울기(Δrg) 및 GB 단면의 기울기(Δgb)를 산출한다. 상세하게는 이동처-이동원 직선 기울기 산출부(113)는, 이동원 좌표의 R 좌표(Ro), G 좌표(Go)와, 이동처 좌표의 R 좌표(Rt), G 좌표(Gt)의 위치 관계로부터 RG 단면의 기울기(Δrg)를 산출한다. 마찬가지로, 이동처-이동원 직선 기울기 산출부(113)는, 이동원 좌표의 G 좌표(Go), B 좌표(Bo)와, 이동처의 G 좌표(Gt), B 좌표(Bt)의 위치 관계로부터 GB 단면의 기울기(Δgb)를 산출한다. 상세하게는 이동처-이동원 직선 기울기 산출부(113)는, 이하의 산출식 (수학식 4), (수학식 5)를 사용하여 RG 단면의 기울기(Δrg) 및 GB 단면의 기울기(Δgb)를 산출한다.
Figure 112012094117885-pat00004
Figure 112012094117885-pat00005
이동처-이동원 직선 기울기 산출부(113)는, 산출한 RG 단면의 기울기(Δrg) 및 GB 단면의 기울기(Δgb)를 회전 각도 산출부(114)에 공급한다. 도 4에서는 GB 단면의 기울기(Δgb)가 도시되어 있다.
회전 각도 산출부(114)는, 공급된 RG 단면의 기울기(Δrg) 및 GB 단면의 기울기(Δgb)로부터 보정 범위 E의 외주가 구성하는 타원구를 회전하는 각도(θrg, θgb)를 산출한다. 상세하게는 회전 각도 산출부(114)는, 이하의 산출식 (수학식 6), (수학식 7)을 사용하여 회전 각도(θrg, θgb)를 산출한다.
Figure 112012094117885-pat00006
Figure 112012094117885-pat00007
보정 범위 타원구식 산출부(115)는 보정 범위의 타원구식을 산출하는 처리부이다. 보정 범위 타원구식 산출부(115)는, 보정 범위 게인ㆍ오프셋 조정부(112)가 산출한 보정 범위 E의 외주가 나타내는 타원구를, 회전 각도 산출부(114)가 산출한 각도(θrg, θgb)만큼 각 축에 있어서 축 회전함으로써 최종적인 보정 범위 E의 타원구식을 산출한다. 구체적으로는, 보정 범위 타원구식 산출부(115)는, 좌표 변수(R0, G0, B0)를 이하의 식 (수학식 8)을 사용하여 RG축 회전을 한 좌표(R1, G1, *)를 산출한다. 그리고, 보정 범위 타원구식 산출부(115)는, 좌표(R1, G1, *)를 이하의 식 (수학식 9)를 사용하여 RG축 회전을 하여 좌표(R1, G2, B1)를 산출한다. 보정 범위 타원구식 산출부(115)는, 이 좌표점(R1, G2, B1)으로부터 축 회전 후의 타원구식의 수식 (수학식 10)을 산출한다.
Figure 112012094117885-pat00008
Figure 112012094117885-pat00009
Figure 112012094117885-pat00010
보정 범위 타원구식 산출부(115)는, 산출한 보정 범위 E의 타원구식을 격자점 이동량 산출부(120)(교점 산출부(122))에 공급한다.
도 5는 보정 범위 E의 회전의 개념을 도시하는 도면이다. 또한, 도 5는 RG 단면의 회전 개념을 도시하고 있다. 도시한 바와 같이, 보정 범위 E는 이동원 좌표와 이동처 좌표의 위치 관계에 따라 회전된다. 즉, 보정 범위 타원구식 산출부(115)는, 이동원 좌표와 이동처 좌표를 연결한 직선이 타원구의 긴 변 방향과 동등해지도록 보정 범위 E를 회전시킨다.
도 6은 이동원 좌표, 이동처 좌표 및 보정 범위를 나타내는 타원구의 관계를 3차원적으로 나타낸 도면이다. 도시한 바와 같이, 타원구는 이동원 좌표 및 이동처 좌표를 내부에 갖는다.
상술한 바와 같이, 유저는 이동원 좌표와 이동처 좌표를 1점씩 설정한다. 보정 범위 산출부(110)는, 상기한 일련의 처리에 의해 자동적으로 보정 범위 E를 산출한다. 상기한 보정 범위 E의 산출 방법에서는, 보정 범위를 나타내는 타원구의 중심은 보정원 좌표로 된다. 그러나, 상기의 산출 방법은 보정 범위 E의 타원구를 산출하는 방법의 일례에 지나지 않으며, 타원구의 중심은 이동원 좌표와 이동처 좌표의 중간 좌표이어도 되고, 이동원 좌표(이동처 좌표)의 부근 좌표이어도 된다.
또한, 상기한 보정 범위 E의 산출 방법에서는 보정 범위는 타원구로 나타내어진다. 그러나, 보정 범위 E를 나타내는 식은 반드시 타원구식 등의 복잡한 수식일 필요는 없고, 상기의 타원구식에 상당한 범위를 나타내는 것(즉, 이동원 좌표와 이동처 좌표의 위치 관계를 기초로 산출된 범위를 나타내는 것)이면, 직선식 등의 간이한 수식이어도 된다. 직선식으로 나타내어지는 보정 범위 E는, 예를 들어 정입방체(8각형), 장입방체(8각형, 10각형, 12각형) 등이 있다.
계속해서, 격자점 이동량 산출부(120)의 구성 및 동작을 도 7을 참조하여 설명한다. 도 7은 격자점 이동량 산출부(120)의 구성을 도시하는 블록도이다. 우선, 격자점 이동량 산출부(120)의 처리의 개요를 설명한다.
격자점 이동량 산출부(120)는, 보정 범위 타원구식 산출부(115)로부터 입력된 보정 범위 E의 타원구식이 나타내는 타원구 내의 각 격자점의 이동량을 산출한다. 예를 들어, 격자점 이동량 산출부(120)는, 도 4의 (A)의 보정 범위 내의 각 격자점의 이동량을 산출한다.
상세하게는, 우선, 격자점 이동량 산출부(120)는, 각 격자점과 이동원 좌표를 통과하는 직선과, 입력된 타원구식이 나타내는 타원구의 교점을 산출한다. 그리고, 격자점 이동량 산출부(120)는, 당해 교점과 이동원 좌표의 거리(정규화 거리)를 산출한다. 격자점 이동량 산출부(120)는, 이동원 좌표와 당해 격자점의 거리도 산출한다. 격자점 이동량 산출부(120)는, 당해 거리(이동원 좌표와 당해 격자점의 거리)와 정규화 거리의 비로부터 이동 영향도를 산출한다. 그리고, 격자점 이동량 산출부(120)는, 당해 영향도와, 이동원 좌표, 이동처 좌표, 격자점 좌표와의 관계로부터 격자점의 RGB 좌표마다의 이동량을 산출한다. 격자점 이동량 산출부(120)는, 격자점 좌표에 대하여 RGB 좌표마다의 이동량을 가산하여 당해 격자점의 이동 후의 좌표를 산출한다. 이동 후의 좌표는 기억색 보정의 테이블 데이터로 된다.
또한, 이하의 설명에서는 격자점(상하 좌우와의 거리가 모두 균일한 좌표 배치)을 취급하는 것으로서 설명하지만, 반드시 이것에 한정되지 않는다. 격자점 이동량 산출부(120)(각 점 이동량 산출부)는, 격자점 이외의 배열을 갖는 각 좌표점의 이동량을 산출하는 구성이어도 된다. 이 경우, 3차원 룩업 테이블부(200)는, 각 좌표점의 거리 관계를 참조하여 보간 처리를 행하면 된다.
계속해서, 격자점 이동량 산출부(120)의 상세한 구성 및 각 구성 처리부의 동작에 대하여 설명한다. 격자점 이동량 산출부(120)는, 이동원-격자점 직선식 산출부(121)와, 교점 산출부(122)와, 이동원-교점 거리 산출부(123)와, 이동원-격자점 거리 산출부(124)와, 영향도 산출부(125)와, 이동 특성 설정부(126)와, 좌표 산출부(127)를 구비한다.
이동원-격자점 직선식 산출부(121)는, 이동원 좌표와, 보정 범위 E 내에 포함되는 각 좌표를 연결하는 직선의 직선식을 산출한다. 여기서, 보정 범위 E 내에 포함되는 임의의 격자점 좌표 D, 좌표 변수 INPUT를 이하와 같이 정의하면, 직선식은 일반적인 3차원의 직선 방정식에 의해 이하의 식 (수학식 11)로서 산출된다.
보정 범위 타원구 내의 격자점 좌표: D(Rd, Gd, Bd)
좌표 변수: (R0, G0, B0)
Figure 112012094117885-pat00011
이동원-격자점 직선식 산출부(121)는, 산출한 각 격자점에 관한 직선식 (수학식 11)을 교점 산출부(122)에 공급한다.
교점 산출부(122)에는, 보정 범위 타원구식 산출부(115)로부터 입력된 보정 범위 E의 타원구식(축 회전 후의 타원구식, (수학식 10)) 및 각 격자점으로부터 산출한 직선식 (수학식 11)이 입력된다. 교점 산출부(122)는, 타원구(보정 범위 E의 타원구)와 직선(이동원 좌표와 임의 격자점을 연결하는 직선)의 교점을 타원구식에 직선식을 대입함으로써 산출한다. 이하, 대입식을 나타낸다. 처음에 R1에 관한 대입식 (수학식 12)를 나타낸다.
Figure 112012094117885-pat00012
또한, (수학식 12)에서는 일부의 항을 변수 A로 치환하고 있다. 마찬가지로, G2에 관한 대입식 (수학식 13)을 나타낸다. 또한, 대입 방법은 (수학식 12)와 마찬가지이기 때문에, 대입 처리의 상세한 것은 간략화하여 기재한다.
Figure 112012094117885-pat00013
또한, (수학식 13)에서는 일부의 항을 변수 B로 치환하고 있다. 마찬가지로, B1에 관한 대입식 (수학식 14)를 나타낸다. 또한, (수학식 14)에서는 일부의 항을 변수 C로 치환하고 있다.
Figure 112012094117885-pat00014
상기 식으로부터, 교점 Cr은 이하의 식 (수학식 15)에 의해 구할 수 있다.
교점 Cr(Rcr, Gcr, Bcr)
Figure 112012094117885-pat00015
또한, Rd=Ro인 경우, 직선식 (수학식 11)에 있어서 제로 제산이 발생한다. 따라서, 상술한 Rcr 및 B0은 이하의 (수학식 16)이 된다.
Figure 112012094117885-pat00016
(수학식 16)을 타원구식 (수학식 10)에 대입하면, 이하의 식 (수학식 17) 내지 (수학식 19)를 얻는다.
Figure 112012094117885-pat00017
Figure 112012094117885-pat00018
Figure 112012094117885-pat00019
상기 (수학식 17) 내지 (수학식 19)로부터, 교점 Cr은 이하의 식 (수학식 20)에 의해 구할 수 있다.
Figure 112012094117885-pat00020
또한, Gd=Go인 경우, 직선식 (수학식 11))에 있어서 제로 제산이 발생한다. 따라서, 상술한 Rcr 및 Gcr은 이하의 (수학식 21)이 된다.
Figure 112012094117885-pat00021
(수학식 21)을 타원구식 (수학식 10)에 대입하면, 이하의 식 (수학식 22) 내지 (수학식 24)를 얻을 수 있다.
Figure 112012094117885-pat00022
Figure 112012094117885-pat00023
Figure 112012094117885-pat00024
상기 (수학식 22) 내지 (수학식 24)로부터, 교점 Cr은 이하의 식 (수학식 25)에 의해 구할 수 있다.
Figure 112012094117885-pat00025
교점 산출부(122)는, 이상과 같이 각 격자점에 대응하는 교점 Cr을 산출한다. 교점 산출부(122)는, 산출한 각 격자점에 대응하는 교점 Cr(타원구와, 격자점과 이동원 좌표를 연결하는 직선과의 교점)의 좌표를 이동원-교점 거리 산출부(123)에 공급한다.
이동원-교점 거리 산출부(123)는, 이동원 좌표와, 각 격자점에 대응하는 교점(타원구와, 격자점과 이동원 좌표를 연결하는 직선과의 교점)의 좌표와의 거리 Loc를 산출한다. 이동원-교점 거리 산출부(123)는 3평방의 정리를 이용하여, 이하의 (수학식 26)으로부터 거리 Loc를 산출한다.
Figure 112012094117885-pat00026
거리 Loc는 이동원 좌표를 중심으로 한 이동이 발생하는 범위를 나타내게 된다. 그로 인해, 거리 Loc를 이동 범위의 정규화 거리로 한다. 이동원-교점 거리 산출부(123)는 격자점마다 산출한 정규화 거리 Loc를 영향도 산출부(125)에 공급한다.
이동원-격자점 거리 산출부(124)는 이동원 좌표 O와 임의 격자점 D의 거리를 산출한다. 이동원-격자점 거리 산출부(124)는 3평방의 정리를 이용하여 이하의 (수학식 27)로부터 거리 Lod를 산출한다.
Figure 112012094117885-pat00027
이동원-격자점 거리 산출부(124)는 격자점마다 산출한 거리 Lod를 영향도 산출부(125)에 공급한다. 또한, 도 4의 (B)는 정규화 거리 Loc 및 거리 Lod의 관계를 나타내는 도면이다.
영향도 산출부(125)는 각 격자점의 이동량 산출에 사용하는 영향도 Ef를 산출한다. 영향도 산출부(125)에는 상술한 각 격자점의 정규화 거리 Loc 및 거리 Lod가 입력된다. 영향도 Ef가 커질수록 각 격자점의 이동량은 커진다. 영향도 Ef는 이동원 좌표 부근으로부터 산출되는 경우에 최대가 되고, 교점 Cr이 0(이동이 없어지는 값)이 된다. 이것은 이동원 좌표가 이동의 중심이 되기 때문이다. 영향도 산출부(125)는, 이하의 (수학식 28)에 의해 영향도 Ef를 산출한다.
Figure 112012094117885-pat00028
영향도 산출부(125)는, 보정 범위 E의 각 격자점에 대하여 상술한 영향도 Ef의 산출 처리를 행한다.
이상으로부터, 이동원 좌표에 가까운 격자점의 이동량은 커지고, 이동원 좌표로부터 이격됨에 따라 이동량은 작아진다. 보정 범위 타원구 상의 격자점의 이동량(영향도 Ef)은 0이 된다. 이에 의해 3차원 색 공간 내에서의 연속성이 보증된다. 연속성이 보증됨으로써 색 왜곡이 없는 기억색 보정이 가능하게 된다.
영향도 산출부(125)는, 산출한 각 격자점의 영향도 Ef를 이동 특성 설정부(126)에 공급한다.
이동 특성 설정부(126)는, 각 격자점의 영향도 Ef로부터 이동량 특성 ME를 산출한다. 이동량 특성 ME는 각 격자점의 이동량의 계수가 된다. 상술한 각 격자점의 영향도 Ef를 이동량으로 한 경우, 이동원 좌표로부터 이격됨에 따라 이동량(이동량 특성 ME)은 작아진다. 이동 특성 설정부(126)는, 예를 들어 이하의 식 (수학식 29)에 의해 각 격자점의 영향도 Ef로부터 이동량 특성 ME를 산출한다.
Figure 112012094117885-pat00029
도 8은 영향도 Ef와 이동량 특성 ME의 관계를 나타내는 도면이다. 상기 (수학식 29)에 의해 영향도 Ef에 따라 이동량(이동량 특성 ME)이 제어된다. 도 8에 도시한 바와 같이, 당해 이동량(이동량 특성 ME)은 영향도 Ef의 리니어한 변화에 비하여 커진다. 이에 의해, 보다 적절한 이동량을 설정할 수 있다.
또한, 유저가 이동 특성 설정부(126)가 산출한 이동량 특성 ME에 만족하지 않는 경우, 유저가 이동량 특성 ME를 적절하게 조절할 수 있도록 하여도 된다. 즉, 유저가 이동 특성 설정부(126)가 사용하는 산출식을 적절하게 설정할 수 있도록 하여도 된다.
이동 특성 설정부(126)는, 산출한 각 격자점의 이동량 특성 ME를 좌표 산출부(127)에 공급한다.
좌표 산출부(127)는, 각 격자점의 이동량 특성 ME를 기초로 각 격자점의 이동량 M(Mr, Mg, Mb)을 산출하고, 당해 이동량 M을 각 격자점 좌표 D에 가산하여 각 격자점의 보정 후 좌표 DC(DCr, DCg, DCb)를 산출한다. 여기서, 좌표 산출부(127)에는 각 격자점의 이동량 특성 ME, 각 격자점 좌표 D 외에 보정 방향이 입력된다. 보정 방향은 유저에 의해 지정되며, 압축 방향 또는 평행 방향 중 한쪽이 지정된다. 이하, 도 9를 참조하여 보정 방향에 대하여 설명한다.
도 9의 (A)에 도시한 바와 같이, 압축 방향의 보정은, 유저에 의해 지정된 1점의 좌표에 집중하도록 좌표 위치를 변경하는 보정이다. 이에 의해, 어떠한 색이 입력되어도 바람직한 색(바람직한 좌표)에 근접하도록 기억색 보정이 행해진다. 환언하면, 색 재현 범위가 좁아지는 보정이다.
도 9의 (B)에 도시한 바와 같이, 평행 방향의 보정은, 보정 범위 내의 격자점을 모두 동일한 방향으로 이동시키는 보정이다. 이동 방향은, 유저가 지정한 이동원 좌표와 이동처 좌표를 연결하는 방향이 된다. 환언하면, 평행 방향의 보정은, 보정 범위 내의 격자점을 모두 동일한 방향으로 이동시키기 때문에, 압축 방향의 보정과 비교하여 색 재현 범위가 좁아지지 않는다.
유저는 기억색 보정의 목적에 따라 보정 방향을 지정한다. 좌표 산출부(127)는, 지정된 보정 방향에 따라, 이하의 산출식으로부터 각 격자점의 이동량 M(Mr, Mg, Mb) 및 각 격자점의 보정 후 좌표 DC(DCr, DCg, DCb)를 산출한다.
압축 방향의 산출식은, 이하 (수학식 30)에 나타내어진다.
Figure 112012094117885-pat00030
평행 방향의 산출식은, 이하 (수학식 31)에 나타내어진다.
Figure 112012094117885-pat00031
좌표 산출부(127)는, 보정 범위 E 내의 각 격자점의 보정 후 좌표 DC를 테이블 데이터 메모리부(220)에 공급한다. 이에 의해, 테이블 데이터 메모리부(220)는, 임의 격자점 D를 대응하는 보정 후 좌표 DC로 변환하는 룩업 테이블을 유지한다.
계속해서, 본 실시 형태에 관한 화상 처리 장치(1)의 효과에 대하여 설명한다. 상술한 바와 같이, 유저는 색 공간에서의 이동원 좌표와 이동처 좌표의 지정만을 행한다. 이 지정에 따라, 보정 범위 산출부(110)는 보정 범위 E를 자동 산출하고, 격자점 이동량 산출부(120)는 보정 범위 E 내의 각 격자점의 변환처 좌표를 산출하여, 당해 변환처 좌표를 변환 규칙(본 실시 형태에서는 3차원 룩업 테이블)에 반영한다. 즉, 유저는 색 공간 상에서의 색 변환(보정) 처리에 관한 지식, 노하우를 갖고 있지 않은 경우라도 용이하게 색 공간 상에서의 색 변환 처리를 실현하는 것(상술한 예에서는 기억색 보정을 실현하는 것)이 가능하다.
또한, 유저는 변환 규칙을 순차적으로 설정할 필요가 없다. 즉, 유저는 기억색 보정에 관한 룩업 테이블의 각 테이블 데이터를 순차적으로 설정할 필요가 없다. 유저는 이동원 좌표와 이동처 좌표만을 설정한다. 이에 의해, 유저의 설정의 공정수를 삭감할 수 있다.
또한, 본 실시 형태에 관한 보정 범위 산출부(110)는, 이동원 좌표와 이동처 좌표의 위치 관계에 따라 보정 범위 E를 회전(RG축 평면에서의 회전, GB축 평면에서의 회전)하고 있다(도 5). 상세하게는, 보정 범위 산출부(110)는, 이동원 좌표와 상기 이동처 좌표를 연결하는 직선이 장축 방향이 되도록 보정 범위 E를 회전하고 있다. 이에 의해, 색 공간 왜곡이 없는 기억색 보정을 행할 수 있다. 이 상세를 도 10을 참조하여 설명한다.
도 10의 (A)는 보정 범위를 회전하지 않았던 경우의 색 공간 상에서의 좌표 변화를 나타내는 도면이다. 도 10의 (A)에 도시한 바와 같이, 이동처 좌표 부근에 위치하는 각 좌표의 이동량이 급격하게 변화하고 있다.
도 10의 (B)는 보정 범위를 회전한 경우(즉, 본 실시 형태에 관한 화상 처리 장치(1)의 구성)의 색 공간 상에서의 좌표 변화를 나타내는 도면이다. 도시한 바와 같이, 이동원 좌표와 격자점 좌표가 이격됨에 따라, 당해 격자점 좌표의 이동량(이동 벡터의 크기)이 완만하게 변화한다(예를 들어, 도 10의 (B)의 (2)가 나타내는 보정량은, 도 10의 (A)의 (1)이 나타내는 보정량보다도 큼). 보정 범위 내의 각 좌표의 이동량은, 이동원 좌표와의 거리가 커짐에 따라 서서히 작아지도록 제어되기 때문이다. 색의 변화가 급격하게 일어나지 않기 때문에, 색 공간 왜곡을 피할 수 있다.
또한, 본 실시 형태에 관한 화상 처리 장치(1)에 따르면, 보정하고자 하는 색만을 보정할 수 있다. 도 11을 참조하여, 이 효과를 설명한다.
도 11은 피부색의 기억색 보정을 나타내는 개념도이다. 도 11의 (A)는 보정 범위 E를 회전하지 않았던 경우의 보정 범위 E를 나타내는 도면이다. 보정 범위 E를 회전하지 않는 경우, 보정 대상의 색(피부색) 이외의 색을 나타내는 좌표도 보정 대상으로 되어 버린다. 그로 인해, 유저로서는 보정을 하고 싶지 않은 색에 대한 보정(색 공간 상에서의 좌표 이동)이 행해지게 된다.
한편, 도 11의 (B)는 보정 범위 E를 회전한 경우(즉, 본 실시 형태에 관한 화상 처리 장치(1)의 구성)의 보정 범위 E를 나타내는 도면이다. 보정 범위 E를 회전한 경우, 보정 대상의 색(피부색)을 나타내는 좌표만을 보정 대상으로 한다. 또한, 각 격자점의 변환처 좌표도 피부색의 존재 범위 내로 된다. 그로 인해, 본 실시 형태에 관한 화상 처리 장치(1)는, 보정을 행하고 싶지 않은 색의 보정은 행하지 않고, 보정하고자 하는 색만을 적절하게 보정할 수 있다.
도 10, 도 11을 참조하여 설명한 바와 같이, 본 실시 형태에 관한 화상 처리 장치(1)는, 노하우 없는 보정 처리의 실현, 공정수의 삭감이라고 하는 효과 외에 보정 품질의 향상도 도모된다고 하는 효과를 발휘한다. 유저가 수동으로 설정을 행하는 경우, 각 설정 항목의 최적화에 주력해 버리기 때문에, 최종적인 색 공간 왜곡의 발생 등을 일으키는 경우가 있다. 한편, 본 실시 형태에 관한 화상 처리 장치는, 이동원 좌표와 이동처 좌표의 관계로부터 보정 범위 E를 정한다. 보정 범위 E 내의 좌표의 이동량은, 이동원 좌표와의 거리가 커짐에 따라 작아지도록 제어된다. 이로 인해, 화상 처리 장치는, 상술한 바와 같이 색 공간 왜곡 등이 없는 최적의 화상을 생성할 수 있다.
또한, 본 실시 형태의 화상 처리 장치(1) 내의 격자점 이동량 산출부(120)는, 이동 특성 설정부(126)를 구비하는 구성으로 하였지만, 반드시 이것에 한정되지 않고 영향도 Ef로부터 직접 변환처 좌표를 산출하여도 된다.
<실시 형태 2>
본 실시 형태에 관한 화상 처리 장치는, 화상마다(예를 들어 동화상용의 프레임마다) 무늬를 고려한 기억색 보정을 실현할 수 있는 것을 특징으로 한다. 본 실시 형태에 관한 화상 처리 장치에 대하여, 이하에 설명한다.
도 12는 본 실시 형태에 관한 화상 처리 장치의 구성을 도시하는 블록도이다. 화상 처리 장치(1)는 테이블 데이터 생성부(100), 3차원 룩업 테이블부(200) 외에 무늬 적응부(300)를 구비한다. 또한, 테이블 데이터 생성부(100) 및 3차원 룩업 테이블부(200)의 구성 및 처리는, 실시 형태 1과 마찬가지이기 때문에, 무늬 적응부(300)의 구성 및 동작에 대하여 이하에 설명한다.
무늬 적응부(300)는, 기억색 보정 대상 검출부(301)와, 기억색 보정 결정부(302)와, 3차원 히스토그램 생성부(303)와, 히스토그램 해석부(304)와, 이동원ㆍ이동처 산출부(305)를 구비한다.
기억색 보정 대상 검출부(301)는, 화상 내의 기억색 보정의 대상이 되는 오브젝트나 배경 등(이하의 기재에서는 오브젝트나 배경 등을 총칭하여 기억색 보정 대상이라고도 기재함)을 검출한다. 기억색 보정 대상으로서는, 예를 들어 얼굴, 하늘, 바다, 단풍, 벚나무, 나무들의 녹색 등을 들 수 있다. 기억색 보정 대상 검출부(301)는, 이들 기억색 보정 대상의 형상, 색, 휘도, 화상 내의 위치(예를 들어, 화면 상부: 하늘, 화면 하부: 바다) 등을 검출, 해석한다. 당해 검출 처리에는, 일반적으로 사용되는 화상 인식 기술을 이용하면 된다. 최근, 고유한 기억색 보정 대상을 검출하는 화상 인식 기술이 각 분야에서 널리 개발되어 있다. 특히, 많은 디지털 스틸 카메라 등의 상품은 얼굴 검출 등의 기능을 구비하고 있다.
기억색 보정 대상 검출부(301)는, 이들의 일반적인 기억색 보정 대상의 검출 기술을 이용하여, 검출한 정보(기억색 보정 대상이 존재하는지, 형상, 색, 휘도, 화상 내의 위치)를 기억색 보정 결정부(302) 및 3차원 히스토그램 취득부(303)에 공급한다.
기억색 보정 결정부(302)는 기억색 보정을 행할지의 여부를 판정하는 처리부이다. 기억색 보정 결정부(302)에는 유저가 보정을 행하고자 하는 기억색 보정 대상의 정보가 입력된다. 본 실시 형태에 있어서, 유저는 보정하고자 하는 기억색 보정 대상을 지정한다. 여기서, 유저는 기억색 보정 대상을 복수 지정하여도 된다. 복수 설정하는 경우, 유저는 기억색 보정 대상마다 이동원 좌표의 프리셋값과 이동처 좌표의 프리셋값을 설정한다. 예를 들어, 파란 하늘과 벚꽃의 기억색 보정을 동시에 행하는 경우, 유저는 파란 하늘에 관한 이동원 좌표의 프리셋값과 이동처 좌표의 프리셋값, 및 벚꽃에 관한 이동원 좌표의 프리셋값과 이동처 좌표의 프리셋값을 설정한다.
기억색 보정 결정부(302)는, 기억색 보정 대상 검출부(301)가 검출한 정보(기억색 보정 대상이 화상 내에 존재하는지, 형상, 색, 휘도, 화상 내의 위치)와, 유저가 지정하는 기억색 보정 대상을 비교하여 기억색 보정을 행할지의 여부를 판정한다.
화상 내에 유저가 지정하는 기억색 보정 대상이 존재하지 않는 경우, 기억색 보정을 행하여도 보정에 의한 효과가 생기지 않을 가능성이 있다. 또한, 대상이 아닌 기억색 보정 대상에 대하여 기억색 보정을 행해 버릴 우려가 있다. 이들 이유에 의해, 기억색 보정 결정부(302)는 기억색 보정을 행할지의 여부를 판정한다.
기억색 보정 결정부(302)에 의한 판정은 화상(프레임)마다 판정된다. 그러나, 3차원 룩업 테이블을 복수 유지하고 있는 시스템(후술함)이나 3차원 룩업 테이블에 의해 보정하는 보정 에리어를 지정할 수 있는 시스템에 있어서는, 기억색 보정 결정부(302)는 화면의 에리어마다 상술한 판정(기억색 보정을 행할지의 여부의 판정)을 행하여도 된다. 이에 의해, 더 정밀도가 좋은 기억색 보정을 실현할 수 있다.
기억색 보정 결정부(302)는 판정 결과를 이동원ㆍ이동처 산출부(305)에 공급한다.
3차원 히스토그램 생성부(303)에는 입력 화상 전체의 RGB값이 입력됨과 함께, 기억색 보정 대상 검출부(301)가 검출한 정보가 입력된다. 3차원 히스토그램 취득부(303)는 화면 전체 및 기억색 보정 대상이 검출된 화상 영역의 3차원 히스토그램을 생성한다. 3차원 히스토그램 생성부(303)는, 생성한 2종의 3차원 히스토그램을 히스토그램 해석부(304)에 공급한다.
히스토그램 해석부(304)는, 입력된 2종의 3차원 히스토그램(기억색 보정 대상을 검출한 화상 영역의 3차원 히스토그램, 화상 전체의 3차원 히스토그램)을 해석한다. 우선, 기억색 보정 대상을 검출한 화상 영역의 3차원 히스토그램의 해석에 대하여 설명한다.
기억색 보정 대상을 검출한 화상 영역에는 동일 오브젝트 또는 동일 배경이 표시되어 있다. 예를 들어, 파란 하늘을 검출한 영역에는 파란 하늘을 구성하는 화소가 존재한다. 그로 인해, 색 공간 상의 히스토그램에서는 3차원 공간 내의 어느 영역에 값이 집중하고 있는 것이 상정된다. 여기서, 히스토그램에 있어서, 어느 일정 빈도 이하의 색 좌표를 무시한다. 그러면, 3차원 공간 내의 어느 색 좌표를 중심으로 한 타원구 형상의 히스토그램을 얻을 수 있다. 히스토그램 해석부(304)는, 당해 타원구 형상의 중심의 좌표, 즉 기억색 보정 대상의 중심적인 색의 좌표를 해석 결과로서 검출한다. 당해 검출 방법에는 타원구 위치 중심 검출, 타원구 무게 중심 검출의 2종을 주로 생각할 수 있다. 우선, 타원구 위치 중심 검출에 대하여 설명한다.
히스토그램 해석부(304)는, 상술한 히스토그램에 관한 타원구 내의 RGB의 각 축에서의 최대값, 최소값, 중심값을 이하와 같이 정의하고, 이하의 식에 의해 타원구의 중심값을 산출한다.
타원구 내 최대값 Rmax, Gmax, Bmax
타원구 내 최소값 Rmin, Gmin, Bmin
타원구 내 중심값 Rcen, Gcen, Bcen
Figure 112012094117885-pat00032
계속해서, 타원구 무게 중심 검출에 대하여 설명한다. 히스토그램 해석부(304)는, 상술한 타원구 내의 RGB의 각 축에서의 누적값, 타원구 무게 중심값을 이하와 같이 정의하고, 이하의 식 (수학식 33)에 의해 타원구의 무게 중심값을 산출한다.
타원구 내 누적값 Rsgm, Gsgm, Bsgm
총 화소수 Dot
타원구 내 무게 중심값 Rgra, Ggra, Bgra
Figure 112012094117885-pat00033
또한, 히스토그램 해석부(304)는, 상기 이외의 방법에 의해 히스토그램 내의 타원구의 중심/무게 중심(즉 오브젝트나 배경의 중심적인 색의 좌표)을 산출하여도 된다. 히스토그램 해석부(304)는, 해석에 의해 얻어진 좌표를 이동원ㆍ이동처 산출부(305)에 공급한다.
이어서, 히스토그램 해석부(304)에 의한 화상 전체의 히스토그램의 해석에 대하여 설명한다. 히스토그램 해석부(304)는, 유저가 기억색 보정 대상마다 설정한 이동원 좌표의 프리셋값과 이동처 좌표의 프리셋값의 사이, 및 주변의 색 좌표에 있어서 히스토그램이 어떠한 형상으로 되어 있는지를 해석한다. 구체적으로는, 히스토그램 해석부(304)는, 기억색 보정 전의 상태에 있어서, 이미 이동처 좌표의 프리셋값의 부근에 색이 존재하고 있는지(이동처의 색과 비슷한 색을 갖는 좌표가 복수 존재하고 있는지)를 해석한다. 또한, 히스토그램 해석부(304)는, 이동원 좌표의 프리셋값으로부터 이동처 좌표의 프리셋값의 사이의 색의 분포 비율을 해석한다.
히스토그램 해석부(304)에 의한 화상 전체의 히스토그램의 해석의 상세를 도 13을 참조하여 상세하게 설명한다. 도 13에서는 이동원 좌표의 프리셋값 OP와 이동처 좌표의 프리셋값 TP의 사이에 7개의 에리어를 설정하고 있다. 또한, 도 13에서는 설명의 편의상 2차원의 좌표 공간을 나타내고 있지만, 히스토그램 해석부(304)는 실제로는 3차원의 좌표 공간을 취급한다.
히스토그램 해석부(304)는 이 7개의 에리어마다 히스토그램을 해석한다. 히스토그램 해석부(304)는, 각 에리어에 위치하는 화소수가 소정 임계값을 초과하고 있는지의 여부를 판정한다. 초과하는 경우, 히스토그램 해석부(304)는, 보정 전에 당해 에리어에 색이 존재한다(보정 전에 당해 에리어에 소정수 이상의 화소가 존재한다)고 판정한다. 당해 판정은 이동원 좌표의 프리셋값에 가까운 에리어 1부터 에리어 7까지 순서대로 행해진다. 히스토그램 해석부(304)는, 소정수 이상의 화소를 확인할 수 있었던 에리어를 검출한 시점에서 판정 처리를 종료한다. 히스토그램 해석부(304)는, 소정수 이상의 화소를 확인할 수 있었던 에리어의 대표 좌표를 존재 좌표 TE(TEr, TEg, TEb)로서 검출한다. 히스토그램 해석부(304)는, 존재 좌표 TE(TEr, TEg, TEb)를 이동원ㆍ이동처 산출부(305)에 공급한다.
예를 들어, 에리어 1에는 소정수 이상의 화소가 존재하지 않고, 에리어 2에 소정수 이상의 화소가 존재하고 있었던 경우, 히스토그램 해석부(304)는 에리어 3 이후의 판정은 행하지 않는다. 그리고, 히스토그램 해석부(304)는, 에리어 2의 대표 좌표를 존재 좌표 TE(TEr, TEg, TEb)로서 검출한다. 또한, 에리어 7까지의 판정을 행하여 소정수 이상의 화소가 존재한 에리어가 없었던 경우, 히스토그램 해석부(304)는 존재 좌표 TE가 존재하지 않는다고 간주한다.
또한, 도 13의 설명에서는 히스토그램 내의 에리어를 7개로 하였지만 반드시 이것에 한정되지 않는다. 에리어수를 보다 많게 한 경우, 히스토그램 해석부(304)는 상세한 존재 좌표의 검출을 행할 수 있는, 즉 존재 판정의 정밀도를 향상시킬 수 있다. 이에 의해, 후술하는 기억색 보정의 이동처 좌표의 설정 정밀도를 향상시킬 수 있다.
이어서, 이동원ㆍ이동처 산출부(305)에 대하여 설명한다. 본 실시 형태에 있어서, 유저는 보정 대상이 되는 오브젝트나 배경마다 이동원 좌표 O의 프리셋값 OP와 이동처 좌표 T의 프리셋값 TP를 설정한다. 이동원ㆍ이동처 산출부(305)는, 당해 프리셋값과, 기억색 보정 결정부(302)의 판정 결과와, 히스토그램 해석부(304)의 해석 결과를 기초로 테이블 데이터 생성부(100)에 공급하는 이동원 좌표 O와 이동처 좌표 T를 산출한다. 즉, 본 실시 형태에서는 유저가 입력한 이동원 좌표와 이동처 좌표를 그대로 사용하는 것이 아니라, 좌표 위치를 조정하여 테이블 데이터 생성부(100)에 공급한다.
처음에, 이동원ㆍ이동처 산출부(305)에 의한 이동원 좌표 O의 산출 처리에 대하여 설명한다. 유저는 기억색 보정 대상마다의 이동원 좌표 O의 프리셋값 OP(OPr, OPg, ORb)를 설정한다. 이동원ㆍ이동처 산출부(305)는, 히스토그램 해석부(304)의 해석 결과를 수신한다. 해석 결과란, 유저가 지정하는 기억색 보정 대상의 중심색 좌표 OC(OCr, OCg, OCb)이다. 이동원ㆍ이동처 산출부(305)는, 프리셋값 OP(OPr, OPg, ORb)와 중심색 좌표 OC(OCr, OCg, OCb)의 사이에 이동원 좌표 O(Ro, Go, Bo)를 후술하는 식 (수학식 34)에 의해 산출한다. 유저는 중심색 좌표 OC(OCr, OCg, OCb)에 이동원 좌표 OP의 프리셋값을 얼마만큼 근접시킬지의 지표인 추종도 F1(0 내지 100%)을 설정할 수 있다. 추종도 F1을 0%로 한 경우, 이동원 좌표 O는 이동원 좌표 O의 프리셋값 OP(OPr, OPg, ORb)와 동등해진다. 추종도 F1을 100%로 한 경우, 이동원 좌표 O는 중심색 좌표 OC(OCr, OCg, OCb)와 동등해진다. 추종도 F1을 50%로 한 경우, 이동원 좌표 O는, 이동원 좌표 O의 프리셋값 OP(OPr, OPg, ORb)와 중심색 좌표 OC(OCr, OCg, OCb)의 중간값이 된다. 이하, 이동원 좌표 O(Ro, Go, Bo)의 산출식 (수학식 34)를 나타낸다.
Figure 112012094117885-pat00034
또한, 추종도 F1은 50% 정도를 전제로 설정되는 것으로 하고, 유저가 명시된 지정을 하지 않는 경우의 디폴트값도 50% 정도로 한다.
이어서, 이동원ㆍ이동처 산출부(305)에 의한 이동처 좌표의 산출 처리에 대하여 설명한다. 유저는 기억색 보정 대상마다의 이동원 좌표의 프리셋값 TP(TPr, TPg, TRb)를 설정한다. 이동원ㆍ이동처 산출부(305)는 히스토그램 해석부(304)의 해석 결과를 수신하고, 보정 전의 상태에 있어서 이미 이동처의 방향으로 일정 화소수 이상의 화소가 존재하고 있는지를 판정한다. 존재하고 있는 경우, 이동원ㆍ이동처 산출부(305)는, 입력된 존재 좌표 TE(TEr, TEg, TEb)와 이동처 좌표 T의 프리셋값 TP(TPr, TPg, TRb)를 기초로 최종적인 이동처 좌표 T를 후술하는 식 (수학식 35)에 의해 산출한다. 유저는 존재 좌표 TE에 이동처 좌표 T의 프리셋값을 얼마만큼 근접시킬지의 지표인 추종도 F2(0 내지 100%)를 설정할 수 있다. 추종도 F2를 0%로 한 경우, 이동처 좌표 T는 이동처 좌표 T의 프리셋값 TP(TPr, TPg, TRb)와 동등해진다. 추종도 F2를 100%로 한 경우, 이동처 좌표 T는 존재 좌표 TE(TEr, TEg, TEb)와 동등해진다. 추종도 F2를 50%로 한 경우, 이동처 좌표 T는, 이동처 좌표 T의 프리셋값 TP(TPr, TPg, TRb)와 존재 좌표 TE(TEr, TEg, TEb)의 중간값이 된다. 이하, 이동처 좌표 T(Rt, Gt, Bt)의 산출식 (수학식 35)를 나타낸다.
Figure 112012094117885-pat00035
또한, 추종도 F2는 50% 정도를 전제로 설정되는 것으로 하고, 유저가 명시된 지정을 하지 않는 경우의 디폴트값도 50% 정도로 한다.
이동원ㆍ이동처 산출부(305)는, 산출한 이동원 좌표 O(Ro, Go, Bo) 및 이동처 좌표 T(Rt, Gt, Bt)를 테이블 데이터 생성부(100)에 공급한다.
계속해서, 무늬를 고려하지 않는 기억색 보정의 문제점과, 본 실시 형태에 관한 화상 처리 장치(1)의 효과에 대하여 설명한다. 처음에, 무늬를 고려하지 않는 기억색 보정의 문제점을 설명한다.
무늬를 고려하지 않는 기억색 보정에서는, 기억색 보정 대상의 유무에 상관없이 정상적인 1개의 패턴이 입력된 룩업 테이블을 사용하여 보정 처리가 행해진다. 이로 인해, 보정 대상으로 하는 것을 의도하고 있지 않은 기억색 보정 대상에 관한 화소를 보정해 버릴 위험이 있다.
또한, 화상 내에 유저가 보정을 행하고자 하는 기억색 보정 대상이 존재하는 경우라도, 기억색 보정 대상(예를 들어 사람의 얼굴)이 그 기억색 보정 대상으로서 상정하고 있었던 색 영역과는 상이한 색을 하고 있기 때문에, 보정하고자 하는 화소를 보정 범위 내에 충분히 포함하지 못할 우려가 있었다.
룩업 테이블을 사용한 기억색 보정에서는, 복수의 기억색 보정 대상에 대하여 보정을 동시에 행하는 경우가 많다. 이 경우, 보정 범위가 간섭하는 경우가 있다. 도 14를 참조하여, 당해 상황을 설명한다. 도시한 바와 같이, 어느 기억색 보정 대상에 관한 보정 범위와, 다른 기억색 보정 대상에 관한 보정 범위에 간섭이 생기는 경우가 있다. 이 경우, 간섭하는 영역 내에서의 보정을 어떻게 행하면 될지가 불명확하게 된다. 그로 인해, 일반적으로 이상적인 보정량보다도 보정 강도를 억제하여 처리를 행할 필요가 생긴다. 즉, 도 14에 도시한 바와 같이 보정 범위를 축소한 후에 보정 처리를 행한다. 이로 인해, 충분한 보정 효과를 얻을 수 없다.
이어서, 본 실시 형태에 관한 화상 처리 장치(1)의 효과를 설명한다. 본 실시 형태에 관한 화상 처리 장치(1)는, 기억색 보정 대상의 검출을 행하여, 당해 기억색 보정 대상이나 화상 전체의 히스토그램을 기초로 이동원 좌표와 이동처 좌표를 자동적으로 산출하고 있다. 이에 의해, 본 실시 형태 1에 관한 화상 처리 장치(1)는, 이하의 2가지 효과를 얻을 수 있다.
(1) 유저가 보정을 행하고자 하는 기억색 보정 대상에 대해서만 보정 처리를 행할 수 있음
(2) 유저가 보정을 행하고자 하는 기억색 보정 대상에 대하여 충분한 강도의 보정을 행할 수 있음
우선, 본 실시 형태에 관한 화상 처리 장치(1)에 있어서, 「유저가 보정을 행하고자 하는 기억색 보정 대상에 대해서만 보정 처리를 행할 수 있다」고 하는 효과를 발휘하는 이유를 설명한다.
기억색 보정 결정부(302)는, 유저가 지정한 기억색 보정 대상이 있는지의 여부를 산출한다. 유저가 지정한 기억색 보정 대상이 존재하는 경우에만, 이동원 이동처 산출부(305)는 이동원 좌표 O와 이동처 좌표 T를 산출한다. 이에 의해, 화상 처리 장치(1)(3차원 룩업 테이블부(200))는, 당해 기억색 보정 대상에 관한 기억색 보정만을 행하는, 즉 상술한 (1)의 효과를 발휘할 수 있다.
기억색 보정 대상이 1화면 내에 복수 존재하지 않는 경우, 즉 1개밖에 없는 경우, 화상 처리 장치(1)는 유일한 기억색 보정 대상에 대하여 기억색 보정을 행한다. 그로 인해, 화상 처리 장치(1)는 보정 범위의 간섭에 대한 대응을 행할 필요가 없어진다.
또한, 기억색 보정 결정부(302)가 유저가 지정하는 기억색 보정 대상이 복수 있는 것으로 판정하고, 양자의 보정 범위가 간섭하는 경우, 화상 처리 장치(1)는, 이 간섭 영역에 속하는 색 좌표에 대하여 의도하지 않은 변환을 행하는 경우가 있을 수 있다. 그러나, 후술하는 실시 형태 4 또는 5의 구성에 의해 이 문제는 해소된다.
이어서, 본 실시 형태에 관한 화상 처리 장치(1)에 있어서, 「(2) 유저가 보정을 행하고자 하는 기억색 보정 대상에 대하여 충분한 강도의 보정을 행할 수 있다」고 하는 효과를 발휘하는 이유를 설명한다. 당해 이유는, 이하의 2점이다.
제1 이유는 이하와 같다. 상술한 바와 같이, 기억색 보정 결정부(302)는, 유저가 지정한 기억색 보정 대상이 있는지의 여부를 산출한다. 그리고, 이동원 이동처 산출부(305)는, 유저가 지정하고 또한 검출된 기억색 보정 대상에 대해서만 보정 범위를 설정한다. 즉, 예를 들어 도 14에 있어서 보정 범위를 유저가 지정한 기억색 보정 대상에 관한 것으로만 한정할 수 있다. 그로 인해, 색 공간 상에서의 보정 범위를 나타내는 타원구의 수를 저감시킬 수 있다. 이에 의해, 기억색 보정의 보정 범위의 간섭을 고려할 필요가 감소하고, 보정 범위를 축소하는 등의 대응을 행할 필요를 저감시킬 수 있다. 보정 범위를 축소할 필요가 줄어들기 때문에, 충분한 강도의 보정을 행하는 것이 가능하게 된다.
다음에 상술한 (2)의 효과를 발휘하는 제2 이유를 도 15를 참조하면서 설명한다. 또한, 도 15의 설명에 있어서, 처리를 행하는 화상에 파란 하늘을 표시한 영역, 및 파란 꽃을 표시한 영역이 있는 것으로 한다. 또한, 유저는 파란 하늘의 기억색 보정만을 행하고자 하는 것으로 한다.
도 15의 (A)는 실시 형태 1에 관한 화상 처리 장치(1)에 의한 기억색 보정을 도시하는 개념도이다. 이 경우, 화상 처리 장치(1)는, 유저가 입력한 이동원 좌표와 이동처 좌표를 그대로 사용하여 보정 범위를 결정한다. 그로 인해, 화상 내에 있어서 파란 하늘과 파란 꽃과 같이 비슷한 색의 오브젝트가 존재하고 있었던 경우, 화상 처리 장치(1)는 보정을 의도하고 있지 않은 파란 꽃의 색까지 변화시켜 버린다.
도 15의 (B)는 본 실시 형태에 관한 화상 처리 장치(1)에 의한 기억색 보정을 도시하는 개념도이다. 히스토그램 해석부(304)는, 색 공간에 있어서, 이동원 좌표의 프리셋값과, 이동처 좌표의 프리셋값의 사이에 소정수 이상의 화소가 존재하는지의 여부를 판정한다. 가령, 소정수 이상의 화소가 존재하지 않는 경우, 이동원ㆍ이동처 산출부(305)는 이동원 좌표의 프리셋값을 그대로 이동원 좌표로 하고, 이동처 좌표의 프리셋값을 그대로 이동처 좌표로 한다. 이에 의해, 화상 처리 장치(1)는 충분한 강도의 기억색 보정을 행할 수 있다.
한편, 소정수 이상의 화소가 존재한 경우, 이동원ㆍ이동처 산출부(305)는, 상술한 식에 의해 이동처 좌표의 프리셋값(좌표)을 이동원 좌표의 프리셋값에 근접시키는 방향으로 이동시키고, 당해 이동점을 이동처 좌표로 결정한다. 예를 들어, 화상 내에 파란 하늘과 파란 꽃이 표시되어 있는 경우, 화상 처리 장치(1)는, 이동처 좌표의 프리셋값을 이동원 좌표의 프리셋값에 근접시킨 후에 기억색 보정을 행한다(도 15의 (B) 참조). 여기서, 이동원ㆍ이동처 산출부(305)는, 소정수 이상의 화소가 존재하는 에리어에 따라 프리셋값(좌표)의 이동량을 적절하게 조절하고 있다. 이에 의해, 도 15의 (B)에 도시한 바와 같이, 화상 처리 장치(1)는, 보정 대상이 아닌 오브젝트(배경)에 영향을 미치지 않는 범위를 자동 산출하면서, 보정 대상의 오브젝트(배경)의 기억색 보정을 행할 수 있다.
상술한 바와 같이, 일반적인 화상 처리 장치는, 다른 오브젝트(배경)에의 폐해를 고려하여 기억색 보정의 보정 범위를 일률적으로 축소하고 있었다. 그러나, 본 실시 형태에 관한 화상 처리 장치(1)는, 색 공간 내에서의 색의 존재 위치를 해석함으로써(상술한 히스토그램 해석을 행함으로써), 보정을 의도하지 않은 다른 오브젝트가 존재할 가능성을 검지하고, 프레임(화상)마다 최적의 보정 범위를 정할 수 있다. 이에 의해, 본 실시 형태에 관한 화상 처리 장치(1)는, 화상(프레임)의 무늬에 따라 충분한 보정량을 갖는 기억색 보정을 실현할 수 있다.
동화상은 시간의 경과에 따라 무늬가 변화한다. 본 실시 형태에 관한 화상 처리 장치(1)는, 무늬의 변화에 추종하여 기억색 보정에 사용하는 이동원 좌표, 이동처 좌표를 적절하게 조정한다. 그로 인해, 본 실시 형태에 관한 화상 처리 장치(1)는 동화상에 대하여 정밀도가 높은 기억색 보정을 실현할 수 있다.
또한, 상술한 설명에서는 무늬 적응부(300)는 이동원 좌표의 프리셋값 및 이동처 좌표의 프리셋값의 조정을 행하였지만, 반드시 이것에 한정되지 않고, 한쪽의 조정만을 행하여도 된다. 예를 들어, 무늬 적응부(300)는 이동원 좌표의 프리셋값의 조정만을 행하고, 이동처 좌표에 관해서는 유저 입력을 그대로 채용한다. 이러한 구성이라도 화상 처리 장치(1)는 일정한 효과를 발휘할 수 있다.
<실시 형태 3>
본 실시 형태에 관한 화상 처리 장치는, 3차원 룩업 테이블이 유지하는 테이블 데이터수를 제한할 수 있는 것을 특징으로 한다. 본 실시 형태에 관한 화상 처리 장치는, 주로 동화상에 대한 다이내믹 처리(무늬를 해석하고, 당해 무늬에 따른 기억색 보정을 행하는 처리)를 전제로 한다. 본 실시 형태에 관한 화상 처리 장치는, 실시 형태 2의 변형이기 때문에, 실시 형태 2와 상이한 점(보정 범위 산출부(110)의 구성, 동작)을 중심으로 설명한다.
도 16은 본 실시 형태에 관한 보정 범위 산출부(110)의 구성을 도시하는 블록도이다. 보정 범위 산출부(110)는, 도 3의 구성 외에 변환 좌표수 제한부(116)를 구비한다.
유저는 3차원 룩업 테이블에 설정하는 테이블 데이터 제한수를 변환 좌표수 제한부(116)에 설정한다. 여기서, 테이블 데이터 제한수는, 3차원 룩업 테이블에 변환 대상으로서 설정하는 격자점의 상한수를 의미한다. 예를 들어, 유저는 기억색 보정의 대상으로 하는 동화상 데이터의 종별, 동화상 데이터의 화상 데이터 크기(세로와 가로의 픽셀수), 요구 동작 속도 등을 고려하여 설정하는 테이블 데이터 제한수를 설정하면 된다.
변환 좌표수 제한부(116)에는, 보정 범위 타원구식 산출부(115)가 산출한 각 기억색 보정 대상의 타원구식이 입력된다. 예를 들어, 파란 하늘의 기억색 보정과, 벚꽃의 기억색 보정을 행하는 경우, 2개의 타원구식이 입력된다. 변환 좌표수 제한부(116)는, 이들 타원구식을 기초로 보정 대상이 되는 격자점의 총 수를 산출한다. 타원구식으로부터 당해 타원구 내에 포함되는 격자점수는, 격자점 거리를 기초로 산출 가능하다(도 17의 (A)). 여기서, 변환 좌표수 제한부(116)는, 보정 대상으로 하는 모든 타원구식을 기초로 보정 대상이 되는 격자점의 총 수를 산출한다. 변환 좌표수 제한부(116)는, 유저로부터 입력된 테이블 데이터 제한수와, 타원구식을 기초로 산출한 보정 대상이 되는 격자점의 총 수를 비교한다.
테이블 데이터 제한수가 보정 대상이 되는 격자점의 총 수 이상인 경우, 변환 좌표수 제한부(116)는 보정 범위 타원구식 산출부(115)에 타원구식의 출력을 지시한다.
한편, 테이블 데이터 제한수가 보정 대상이 되는 격자점의 총 수보다도 적은 경우, 변환 좌표수 제한부(116)는 보정 범위 게인ㆍ오프셋 조정부(112)에 게인 및/또는 오프셋의 재조정을 지시한다. 여기서, 변환 좌표수 제한부(116)는 보정 범위 게인ㆍ오프셋 조정부(112)에 테이블 데이터 제한수와 보정 대상이 되는 격자점의 총 수의 비율을 함께 통지한다. 그리고, 변환 좌표수 제한부(116)는 보정 범위 타원구식 산출부(115)에 타원구식의 출력의 금지를 지시한다.
보정 범위 게인ㆍ오프셋 조정부(112)는, 통지된 비율을 참조하여 타원구가 작아지도록 게인 및/또는 오프셋을 재설정한다(도 17의 (B)). 또한, 비율을 참조하여 재설정하기 때문에, 보정 범위 게인ㆍ오프셋 조정부(112)는 필요 이상으로 타원구를 지나치게 작게 하는 것을 피할 수 있다.
게인 및/또는 오프셋의 재설정 후에, 보정 범위 타원구식 산출부(115)는 다시 타원구식을 산출한다.
또한, 상술한 설명에서는 게인 및/또는 오프셋의 조정에 의해 보정 범위를 축소하였지만, 반드시 이것에 한정되지 않는다. 예를 들어, 기억색 보정 대상에 관한 이동처 좌표 및/또는 이동처 좌표를 이동시킴으로써 보정 범위를 축소하여도 된다. 예를 들어, 도 17의 (B)의 예에서는 이동처 좌표를 점선으로 나타내는 위치로 이동시킴으로써, 기억색 보정 대상의 보정 범위를 축소하고 있다. 이것은 예를 들어 변환 좌표수 제한부(116)가, 대상이 되는 기억색 대상의 이동원 좌표 및/또는 이동처 좌표의 위치를 변경하는 것을 무늬 적응부(300)에 대하여 지시하면 된다.
계속해서, 본 실시 형태에 관한 화상 처리 장치의 효과에 대하여 설명한다. 3차원 룩업 테이블을 사용한 다이내믹 처리의 일반적인 과제로서 설정하는 테이블 데이터수의 많음을 들 수 있다. 테이블 데이터수가 많기 때문에, 순차적으로 데이터가 입력되는 동화상 데이터의 처리에 3차원 룩업 테이블을 사용하는 것이 곤란하였다.
본 실시 형태에 관한 화상 처리 장치는, 유저가 입력한 테이블 데이터 제한수 이하가 되도록 테이블 데이터수를 제한하고 있다. 즉, 본 실시 형태에 관한 화상 처리 장치(1)는, 예를 들어 729개(9×9×9)나 4913개(17×17×17)와 같은 테이블 크기의 룩업 테이블에 대하여 저장하는 데이터 크기수를 테이블 데이터 제한수 이하로 한다. 예를 들어, 729개(9×9×9)의 용량을 갖는 룩업 테이블에 대하여 저장하는 테이블 데이터수를 200개로 제한한다. 이에 의해, 단위 시간 내에 전송되는 데이터수의 증대를 방지할 수 있어, 시스템 전체의 처리 고속화를 실현할 수 있다.
또한, 상술한 설명에서는 타원구를 작게 함으로써 3차원 룩업 테이블에 저장하는 데이터수를 저감시키는 것으로 하였지만, 반드시 이것에 한정되지 않는다. 예를 들어, 범위 타원구식 산출부(115)는, 처리를 행하는 기억색 보정 대상을 저감시키는 것 등에 의해 데이터수를 저감시켜도 된다.
<실시 형태 4>
본 실시 형태에 관한 화상 처리 장치는, 기억색 보정 대상이 복수 존재하는 경우에, 우선 순위를 고려하여 기억색 보정을 행한다. 상술한 바와 같이, 1개의 3차원 룩업 테이블을 사용한 기억색 보정에서는, 색 영역의 간섭이 발생해 버리는 경우가 있다. 이에 의해, 복수의 대상에 대한 기억색 보정을 동시에 실행할 수 없거나 또는 충분한 보정을 행할 수 없는 경우가 있다. 본 실시 형태에서는 화상 처리 장치에 대하여 유저가 오브젝트나 배경마다 기억색 보정의 우선 순위를 설정한다. 본 실시 형태에 관한 화상 처리 장치는, 복수의 오브젝트가 기억색 보정의 대상이 된 경우라도, 이 우선 순위에 따라 최적의 기억색 보정을 행한다. 이하, 도 18을 참조하여, 본 실시 형태에 관한 화상 처리 장치의 구성을 설명한다. 또한, 도 19를 적절하게 참조하여 본 실시 형태에 관한 동작 이미지를 설명한다.
보정 범위 산출부(110)는, 도 3의 구성 외에 보정 범위 중복 검출부(117)를 구비한다. 보정 범위 중복 검출부(117)에는 기억색 보정 대상의 우선 순위(수치가 적을수록 우선 순위가 높음)가 공급된다. 이 우선 순위는 유저가 설정한다. 예를 들어, 유저는 「우선 순위 1: 파란 하늘」, 「우선 순위 2: 파란 꽃」, 「우선 순위 3: 벚꽃」을 입력한다.
보정 범위 중복 검출부(117)에는 보정 범위 타원구식 산출부(115)가 산출한 각 기억색 보정 대상의 타원구식이 더 입력된다. 보정 범위 중복 검출부(117)는, 복수의 타원구식이 존재하는 경우에, 타원구에 중복 부분이 있는지의 여부를 판정한다. 예를 들어, 도 19의 예에서는 우선 순위 1의 오브젝트에 관한 기억색 보정의 타원구와, 우선 순위 2의 오브젝트에 관한 기억색 보정의 타원구의 사이에 중복 개소가 존재한다. 또한, 보정 범위 중복 개소 검출부(117)는, 제공된 타원구식으로부터 공지된 3차원 공간 상의 처리에 의해 중복이 있는지의 여부를 판정하면 된다.
중복이 있는 경우, 보정 범위 중복 검출부(117)는, 우선 순위가 낮은 기억색 보정 대상 및 중복 범위의 크기를 보정 범위 게인ㆍ오프셋 조정부(112)에 통지한다. 그리고, 보정 범위 중복 검출부(117)는, 보정 범위 타원구식 산출부(115)의 타원구식의 출력의 금지를 지시한다.
중복이 없는 경우, 보정 범위 중복 검출부(117)는 보정 범위 타원구식 산출부(115)에 타원구식의 출력을 지시한다.
보정 범위 게인ㆍ오프셋 조정부(112)는, 보정 범위 중복 검출부(117)로부터의 통지를 수신한 경우, 우선 순위가 낮은 기억색 보정 대상에 관한 타원구가 작아지도록 게인 또는/및 오프셋을 조정한다. 여기서, 보정 범위 게인ㆍ오프셋 조정부(112)는 중복 범위의 크기에 따라 게인 또는/및 오프셋을 조정한다. 그리고, 보정 범위 게인ㆍ오프셋 조정부(112)는, 조정 후에 산출한 RGB마다의 보정 범위를 보정 범위 타원구식 산출부(115)에 공급한다.
도 19의 예에서는, 보정 범위 게인ㆍ오프셋 조정부(112)는, 우선 순위 2의 보정 범위(우선 순위가 낮은 쪽의 보정 범위)를 게인 및/또는 오프셋의 조정에 의해 점선으로 나타내는 보정 범위로 변경하고, 이 보정 범위를 보정 범위 타원구식 산출부(115)에 공급한다.
또한, 중복이 있는 경우, 우선 순위가 낮은 기억색 보정 대상에 관한 기억색 보정을 행하지 않는 것으로 하여도 된다.
계속해서, 본 실시 형태에 관한 화상 처리 장치의 효과에 대하여 설명한다. 처음에, 우선 순위를 고려하지 않는 기억색 보정의 과제에 대하여 설명한다. 도 19에 도시한 바와 같이, 복수의 기억색 보정 대상을 취급하는 경우, 보정 범위의 중복이 발생하는 경우가 있다. 이 경우, 한쪽의 기억색 보정 대상의 보정을 단념하는 등의 대응을 행할 필요가 있었다. 그로 인해, 의도한 기억색 보정 효과를 얻지 못하는 경우가 발생하고 있었다.
한편, 본 실시 형태에 관한 화상 처리 장치는, 기억색 보정 대상이 복수인 경우에, 기억색 보정 대상에 대하여 우선 순위를 설정할 수 있다. 그리고, 본 실시 형태에 관한 화상 처리 장치는, 우선 순위가 높은 기억색 보정 대상에 대해서는 확실하게 원하는 강도의 기억색 보정을 행하는 것을 담보할 수 있다. 또한, 본 실시 형태에 관한 화상 처리 장치는, 보정 범위에 중복이 없는 경우에는, 우선 순위가 낮은 기억색 보정 대상에 대해서도 충분한 보정 강도의 기억색 보정을 행할 수 있다.
또한, 보정 범위에 중복이 있는 경우, 보정 범위 게인ㆍ오프셋 조정부(112)는 중복이 없어지는 정도로 게인 및/또는 오프셋을 조정한다. 그로 인해, 본 실시 형태에 관한 화상 처리 장치는, 보정 범위에 중복이 있는 경우라도, 우선 순위가 낮은 기억색 보정 대상에 대하여 일정한 기억색 보정을 행할 수 있다.
즉, 본 실시 형태에 관한 화상 처리 장치에 따르면, 동일(근사)색 영역에 속하는 복수의 기억색 보정 대상에 대하여, 유저의 의도대로 기억색 보정을 실행할 수 있다.
또한, 실시 형태 3에 관한 구성과 실시 형태 4에 관한 구성을 조합하는 것도 가능하다. 즉, 화상 처리 장치(1)는 테이블 데이터 제한수 이하의 테이블 데이터수가 되도록, 우선 순위에 따라 보정 범위를 좁아지도록 조정하여도 된다. 이 경우, 보정 범위에 중복이 없는 경우라도 보정 범위의 축소를 행한다. 당해 개념에 대하여 이하에 설명을 행한다.
처음에, 보정 범위 산출부(110)는 테이블 데이터 제한수를 고려하지 않고, 각 기억색 보정 대상에 대한 보정 범위(타원구식)를 산출한다. 이 경우, 프레임마다 설정해야 할 테이블 데이터수가 테이블 데이터 제한수를 초과할(시스템의 능력을 초과할) 것이 예상된다. 그러나, 유저가 각 기억색 보정 대상의 우선 순위를 정하고 있었던 경우에는, 화상 처리 장치(1)는, 테이블 데이터 제한수 이하가 되도록, 우선 순위가 낮아질수록 상기 보정 범위의 축소율이 높아지도록 각 보정 범위를 조정한다.
도 20을 참조하여 동작 개념을 설명한다. 도 20의 예에서는 3개의 기억색 보정 대상이 설정되어 있다. 도 20의 (A)에서는 우선 순위 1의 기억색 보정 대상이 프레임 내에 존재하고 있지 않다. 그로 인해, 보정 범위 산출부(110)는, 우선 순위 2의 기억색 보정 대상의 보정 범위와, 우선 순위 3의 기억색 보정 대상의 보정 범위의 축소를 대폭으로 하지 않고 보정 범위를 조정하고 있다.
한편, 도 20의 (B)에서는 우선 순위 1의 기억색 보정 대상이 프레임 내에 존재한다. 그로 인해, 보정 범위 산출부(110)는, 우선 순위 2의 기억색 보정 대상의 보정 범위와, 우선 순위 3의 기억색 보정 대상의 보정 범위를 대폭 축소하고 있다. 한편, 보정 범위 산출부(110)는, 우선 순위 1의 기억색 보정 대상의 보정 범위의 축소를 최소한으로 하고 있다.
또한, 우선 순위에 따른 축소율의 구체적인 수치는 유저가 적절하게 지정하는 것이 가능하다.
이와 같이 우선 순위와 테이블 데이터 제한수를 함께 고려함으로써, 화상 처리 장치(1)는 테이블 데이터를 원하는 수까지 제한하면서 기억색 보정을 행하고자 하는 기억색 보정 대상의 보정 강도를 충분히 확보할 수 있다.
<실시 형태 5>
본 실시 형태에 관한 화상 처리 장치는, 복수의 3차원 룩업 테이블을 유지할 수 있는 것을 특징으로 한다. 본 실시 형태에 관한 화상 처리 장치는, 실시 형태 2에 관한 화상 처리 장치의 변형이기 때문에, 실시 형태 2에 관한 화상 처리 장치와의 차이를 중심으로 설명한다.
도 21은 본 실시 형태에 관한 화상 처리 장치(1)의 구성을 도시하는 블록도이다. 화상 처리 장치(1)는, 도 1의 구성 외에 복수의 3차원 룩업 테이블부(200 내지 202) 및 셀렉터(400)를 구비한다.
기억색 보정 대상 검출부(301)는, 기억색 보정 대상의 검출을 행함과 함께, 각 기억색 보정 대상이 화상 내의 어느 영역에 존재하고 있는지, 각 기억색 보정 대상의 화상 내에서의 표시 영역을 검출한다. 도 22를 참조하여, 기억색 보정 대상 검출부(301)의 처리에 대하여 설명한다.
이하의 예에서는 기억색 보정 대상 검출부(301)는 기억색 보정 대상으로서 「파란 하늘」, 「파란 꽃」, 「사람의 피부」의 3가지를 검출한다. 또한, 유저는 「파란 하늘」, 「파란 꽃」을 기억색 보정 대상으로서 설정하고 있다. 도 22는 보정 처리를 행하는 화상의 예를 도시하는 도면이다. 도시한 바와 같이 화상의 상부에 파란 하늘이 존재하고, 화면 좌측 하부에 파란 꽃이 존재한다. 유저는 「파란 하늘」, 「파란 꽃」에 대하여 색 공간에서의 이동원 좌표(RGB값)와 이동처 좌표(RGB값)를 설정한다. 기억색 보정 대상 검출부(301)는, 화상 내의 각 화소에 대하여 어느 기억색 보정 대상이 존재하는지를 셀렉터(400)에 통지한다. 예를 들어, 기억색 보정 대상 검출부(301)는, 도 22의 화소 1(X1, Y1)에는 파란 하늘이 존재하는 것을 통지한다. 마찬가지로, 기억색 보정 대상 검출부(301)는, 도 22의 화소 2(X2, Y2)에는 파란 꽃이 존재하는 것을 통지한다. 또한, 기억색 보정 대상 검출부(301)는, 처리 대상의 화소에 기억색 보정 대상이 존재하지 않는 경우, 그 취지를 통지한다.
보정 범위 산출부(110)는, 실시 형태 1과 마찬가지의 방법으로 각 기억색 보정 대상의 보정 범위를 산출한다. 도 23은 파란 하늘의 보정 범위와 파란 꽃의 보정 범위를 나타내는 도면이다. 여기서, 파란 하늘의 보정 범위와 파란 꽃의 보정 범위의 중복 범위 D1이 존재한다.
격자점 이동량 산출부(120)는, 입력된 기억색 보정 대상마다 각 격자점의 이동량을 산출한다. 도 23의 예에서는, 격자점 이동량 산출부(120)는 파란 하늘의 보정 범위 내에 포함되는 각 격자점의 변환처 좌표를 산출하고, 또한 파란 꽃의 보정 범위 내에 포함되는 각 격자점의 변환처 좌표를 산출한다. 그로 인해, 보정 범위 이동량 산출부(120)는, 파란 하늘의 보정 범위 내에 포함되는 격자점으로서 좌표 P1을 취급하는 경우에는 변환 좌표로서 P2를 산출하고, 파란 꽃의 보정 범위 내에 포함되는 격자점으로서 좌표 P1을 취급하는 경우에는 변환 좌표로서 P3을 산출한다.
격자점 이동량 산출부(120)는 기억색 보정 대상마다 각 격자점의 변환 좌표를 산출한다. 그리고, 격자점 이동량 산출부(120)는 기억색 보정 대상마다 3차원 룩업 테이블을 설정한다. 이하의 예에서는, 격자점 이동량 산출부(120)는 3차원 룩업 테이블부(200)에 파란 하늘의 기억색 보정에 관한 테이블 데이터를 설정하고, 3차원 룩업 테이블부(201)에 파란 꽃의 기억색 보정에 관한 테이블 데이터를 설정하고, 3차원 룩업 테이블부(202)에 다른 색 보정용의 테이블 데이터를 설정한다.
각 룩업 테이블부(200 내지 202)는, 설정된 룩업 테이블에 따라 각 화소의 색 공간 상에서의 보정을 행한다. 각 룩업 테이블부(200 내지 202)는 보정에 의해 얻어진 각 화소의 RGB값을 셀렉터(400)에 출력한다.
상술한 바와 같이, 셀렉터(400)에는 각 기억색 보정 대상의 존재 좌표가 기억색 보정 대상 검출부(301)로부터 통지된다. 셀렉터(400)는 화소 위치와 각 기억색 보정 대상의 존재 좌표의 관계에 따라, 룩업 테이블부(200 내지 202)로부터 출력되는 RGB값 중 하나를 선택하여 출력한다. 예를 들어, 도 22의 화소 1의 보정을 행하고 있는 경우, 셀렉터(400)는 룩업 테이블부(200)(파란 하늘의 기억색 보정의 테이블 데이터가 설정되어 있는 처리부)로부터의 출력을 선택하여 출력한다. 마찬가지로, 도 22의 화소 2의 보정을 행하고 있는 경우, 셀렉터(400)는 룩업 테이블부(201)(파란 꽃의 기억색 보정의 테이블 데이터가 설정되어 있는 처리부)로부터의 출력을 선택하여 출력한다.
계속해서 본 실시 형태에 관한 화상 처리 장치의 효과에 대하여 설명한다. 상술한 바와 같이, 본 실시 형태에 관한 화상 처리 장치(1)는 기억색 보정 대상마다 룩업 테이블을 설치한다. 화상 처리 장치(1)는, 화상 내의 각 기억색 보정 대상의 존재 위치에 따라, 복수의 룩업 테이블의 변환 결과로부터 적절한 값을 선택한다. 이에 의해, 도 23에 도시한 바와 같이, 색 공간에서의 보정 범위에 중복이 있는 경우라도, 화상 처리 장치(1)는 보정 범위의 중복의 영향을 받지 않고 적절하게 기억색 보정을 행할 수 있다.
또한, 상술한 설명에서는 화상 처리 장치(1)가 기억색 보정 대상마다 룩업 테이블을 구비하는 구성을 설명하였지만, 반드시 이것에 한정되지 않는다. 화상 처리 장치(1)는 보정 범위에 중복이 있는 경우에만 다른 룩업 테이블에 테이블 데이터를 저장하면 된다. 예를 들어, 파란 하늘의 보정 범위와 파란 꽃의 보정 범위는 중복되지만, 파란 하늘의 보정 범위와 벚꽃의 보정 범위는 중복되지 않는 경우를 생각한다. 이 경우, 제1 룩업 테이블에 파란 하늘의 보정 범위에 관한 테이블 데이터 외에, 벚꽃의 보정 범위에 관한 테이블 데이터를 저장한다. 그리고, 제2 룩업 테이블에 파란 꽃의 보정 범위에 관한 테이블 데이터를 저장한다. 이에 의해, 룩업 테이블의 수의 증가를 최소한으로 억제하면서, 보정 범위의 중복의 영향을 받지 않는 기억색 보정 처리를 실현할 수 있다.
<실시 형태 6>
본 실시 형태에 관한 화상 처리 장치는 RGB 이외의 화상 신호를 취급할 수 있는 것을 특징으로 한다. 본 실시 형태에 관한 화상 처리 장치에서는, 유저는 기억색 보정 대상의 이동원 좌표와 당해 좌표로부터의 이동량을 설정할 수 있다. 본 실시 형태의 화상 처리 장치에 대하여, 실시 형태 1과 상이한 점을 중심으로 설명한다.
본 실시 형태에 관한 화상 처리 장치(1)는, 테이블 데이터 생성부(100)(또는 무늬 적응부(300))의 전단에 색 공간 변환부(500)를 갖는 것을 특징으로 한다. 도 24는 색 공간 변환부(500)의 구성을 도시하는 블록도이다. 색 공간 변환부(500)는 RGB/HSV 변환부(510)와 가산기(520)와 HSV/RGB 변환부(530)를 구비한다.
유저는 이동원 좌표 O(Ro, Go, Bo) 및 당해 이동원 좌표로부터의 변화량을 지정한다. 여기서, 변화량은, 예를 들어 색상(H), 채도(S), 휘도(V)의 각 항째에 대하여 지정한다.
RGB/HSV 변환부(510)는, 유저가 지정한 이동원 좌표를 RGB값으로부터 HSV값으로 변환한다. 당해 변환은 기지의 방법에 의해 행하면 된다. RGB/HSV 변환부(510)는 변환한 HSV값(Ho, So, Vo)을 가산기(520)에 출력한다.
가산기(520)는 입력된 HSV값(Ho, So, Vo)에 색상(H), 채도(S), 휘도(V)의 각항째의 변화량(ΔH, ΔS, ΔV)을 가산한다. 가산기(520)는 가산값(Ht, St, Vt)을 HSV/RGB 변환부(530)에 출력한다.
HSV/RGB 변환부(530)는 입력된 가산값인 HSV값(Ht, St, Vt)을 RGB값으로 변환한다. 이 RGB값은 이동처 좌표 T(Rt, Gt, Bt)를 나타낸다. HSV/RGB 변환부(530)는 이동처 좌표 T를 테이블 데이터 생성부(100)에 공급한다. 또한, 테이블 데이터 생성부(100)에는 유저가 지정한 RGB 형식의 이동원 좌표도 공급된다.
이상의 처리에 의해, 테이블 데이터 생성부(100)에는 이동원 좌표 O 및 이동처 좌표 T가 설정된다. 이후의 각 처리는 실시 형태 1과 마찬가지이다.
계속해서, 본 실시 형태에 관한 화상 처리 장치(1)의 효과에 대하여 설명한다. 기억색 보정을 행하고자 하는 경우라도, 목표로 하는 색 좌표가 정해져 있지 않은 경우가 있다. 본 실시 형태에서는, 유저는 이동처 좌표 대신에 이동원 좌표로부터의 변화량을 지정할 수 있다. 그로 인해, 유저는 예를 들어 「조금 노랗게」, 「더 색을 진하게」, 「상당히 밝게」와 같이 애매한 지정을 행하여, 당해 지정을 변화량으로 환산하는 것이 가능하게 된다. 이에 의해, 유저의 설정의 부담이 더 경감된다.
또한, 상술한 예에서는 HSV와 RGB의 변환을 행하는 구성으로서 설명하였지만, 반드시 이것에 한정되지 않는다. 예를 들어, 유저는 이동원 좌표와 변화량을 RGB 형식으로 입력한다. 그리고, 가산기가 가산 처리에 의해 이동처 좌표를 산출하는 구성이어도 된다.
또한, 도 24의 예에서는 HSV값과 RGB값의 변환에 대하여 설명하였지만, 반드시 이것에 한정되지 않으며, HSU값, YUV값, HLS값, Lab값, YCM값 등과 RGB값의 변환을 행하여도 된다.
이상, 본 발명에 관한 화상 처리 장치에 대하여 실시 형태를 따라 설명하였다. 그러나, 본 발명은 상기 실시 형태에 한정된 것이 아니며, 취지를 일탈하지 않는 범위에서 적절하게 변경하는 것이 가능하다. 상술한 실시 형태에서는 색 공간으로서 RGB 공간을 전제로 하여 좌표 변환 처리를 행하였지만, 본 발명은 다른 색 공간에 응용하는 것도 가능하다. 즉, 화상 처리 장치는 HSV, HSU, YUV, HLS, Lab, YCM 등의 색 공간에 있어서 상술한 각 처리를 행하여도 된다.
상술한 화상 처리 장치(1)는, 예를 들어 프린터 장치, 텔레비전 수상기, 복사기, 디지털 복합기, 프로젝터 장치, 휴대 전화 단말기, 디지털 스틸 카메라, 스마트 폰, 디지털 포토 프레임, 디스플레이 장치 등에 내장되어 사용된다. 즉, 화상 처리 장치(1)는 표시부에 화상을 표시하는 장치, 표시부를 갖는 장치에 접속 가능한 장치, 화상을 인쇄 또는 표시하는 장치에 있어서 이용된다.
화상 처리 장치(1) 내의 각 처리부(테이블 데이터 생성부(100), 3차원 룩업 테이블부(200), 무늬 적응부(300), 셀렉터(400), 색 공간 변환부(500))의 처리의 일부 또는 전부는 회로에 의한 하드웨어 구성으로 할 수 있다. 또한, 화상 처리 장치(1) 내의 각 처리부(테이블 데이터 생성부(100), 3차원 룩업 테이블부(200), 무늬 적응부(300), 셀렉터(400), 색 공간 변환부(500))의 처리의 일부 또는 전부는, 임의의 컴퓨터 내에서 동작하는 프로그램으로서 실현하여도 된다. 프로그램은 여러가지 타입의 비일시적인 컴퓨터 가독 매체(non-transitory computer readable medium)를 사용하여 저장되어, 컴퓨터에 공급할 수 있다. 비일시적인 컴퓨터 가독 매체는 여러가지 타입의 실체가 있는 기록 매체(tangible storage medium)를 포함한다. 비일시적인 컴퓨터 가독 매체의 예는 자기 기록 매체(예를 들어 플렉시블 디스크, 자기 테이프, 하드 디스크 드라이브), 광 자기 기록 매체(예를 들어 광 자기 디스크), CD-ROM(Read Only Memory), CD-R, CD-R/W, 반도체 메모리(예를 들어, 마스크 ROM, PROM(Programmable ROM), EPROM(Erasable PROM), 플래시 ROM, RAM(random access memory))를 포함한다. 또한, 프로그램은 여러가지 타입의 일시적인 컴퓨터 가독 매체(transitory computer readable medium)에 의해 컴퓨터에 공급되어도 된다. 일시적인 컴퓨터 가독 매체의 예는 전기 신호, 광 신호 및 전자파를 포함한다. 일시적인 컴퓨터 가독 매체는 전선 및 광 파이버 등의 유선 통신로 또는 무선 통신로를 통하여 프로그램을 컴퓨터에 공급할 수 있다.
화상 처리 장치(1)의 각 처리부의 처리를 프로그램으로서 실행하는 컴퓨터의 하드웨어 구성의 일례를 도 25에 도시한다. 당해 컴퓨터는 중앙 처리 장치(CPU, Central Processing Unit)(600)와 메모리(610)를 포함하고 있다. CPU(600) 및 메모리(610)는 버스를 통하여 보조 기억 장치로서의 하드 디스크 장치(HDD)(620)에 접속된다. 하드 디스크 장치(620) 등의 기억 매체에는 오퍼레이팅 시스템과 협동하여 CPU(600) 등에 명령을 제공하고, 상술한 화상 처리 장치(1)의 각 처리를 실시하기 위한 컴퓨터ㆍ프로그램을 기억할 수 있다.
1: 화상 처리 장치
100: 테이블 데이터 생성부
110: 보정 범위 산출부
111: 이동처-이동원 거리 산출부
112: 보정 범위 게인ㆍ오프셋 조정부
113: 이동처-이동원 직선 기울기 산출부
114: 회전 각도 산출부
115: 보정 범위 타원구식 산출부
116: 변환 좌표수 제한부
117: 보정 범위 중복 검출부
120: 격자점 이동량 산출부
121: 이동원-격자점 직선식 산출부
122: 교점 산출부
123: 이동원-교점 거리 산출부
124: 이동원-격자점 거리 산출부
125: 영향도 산출부
126: 이동 특성 설정부
127: 좌표 산출부
200: 3차원 룩업 테이블부
210: 어드레스 생성부
220: 테이블 데이터 메모리부
230: 보간부
300: 무늬 적응부
301: 오브젝트ㆍ배경 검출부
302: 기억색 보정 결정부
303: 3차원 히스토그램 생성부
304: 히스토그램 해석부
305: 이동원ㆍ이동처 산출부
400: 셀렉터
500: 색 공간 변환부
510: RGB/HSV 변환부
520: 가산기
530: HSV/RGB 변환부
600: CPU
610: 메모리
620: HDD

Claims (25)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 입력된 화상 신호의 색 정보를 변환 규칙에 기초하여 변환하는 변환부와,
    미리 설정되는 색 공간에서의 이동원 좌표와 이동처 좌표의 위치 관계에 기초하여, 색 공간에서의 보정 범위를 산출하는 보정 범위 산출부와,
    상기 이동원 좌표와 상기 이동처 좌표의 위치 관계, 및 상기 보정 범위 내의 각 점의 좌표와 상기 이동원 좌표의 위치 관계에 기초하여, 당해 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키는 각 점 이동량 산출부를 구비하고,
    상기 각 점 이동량 산출부는, 상기 이동원 좌표로부터의 거리가 커짐에 따라 각 점의 이동량을 작게 하고,
    상기 보정 범위는, 상기 이동원 좌표와 상기 이동처 좌표를 연결하는 제1 직선이 장축 방향이 되는 타원구체이고,
    상기 보정 범위 산출부는,
    상기 이동원 좌표와 상기 이동처 좌표의 거리를 산출하는 제1 거리 산출부와,
    상기 제1 직선의 기울기를 산출하는 직선 기울기 산출부와,
    미리 설정된 조정값과, 상기 제1 거리 산출부가 산출한 거리에 기초하여 좌표 범위를 산출하는 보정 범위 조정부와,
    상기 직선 기울기 산출부가 산출한 상기 제1 직선의 기울기에 기초하여, 상기 좌표 범위를 회전시키는 회전 각도를 산출하는 회전 각도 산출부와,
    상기 보정 범위 조정부가 산출한 상기 좌표 범위를 상기 회전 각도만큼 회전시킴으로써 상기 타원구체의 수식을 산출하는 보정 범위 타원구식 산출부를 구비하는 것을 특징으로 하는 화상 처리 장치.
  5. 제4항에 있어서, 상기 직선 기울기 산출부는, 상기 색 공간의 상기 이동원 좌표를 O(Ro, Go, Bo), 상기 이동처 좌표를 T(Rt, Gt, Bt)로 한 경우, 상기 색 공간에서의 상기 제1 직선의 제1 단면의 기울기 Δ1, 제2 단면의 기울기 Δ2를 이하의 식 (수학식 36), (수학식 37)에 의해 산출하는 것을 특징으로 하는 화상 처리 장치.
    [수학식 36]
    Figure 112012094117885-pat00036

    [수학식 37]
    Figure 112012094117885-pat00037
  6. 제5항에 있어서, 상기 회전 각도 산출부는, 상기 색 공간에서의 상기 제1 단면에서의 상기 회전 각도 θ1, 상기 제1 단면에서의 상기 회전 각도 θ2를 이하의 식 (수학식 38), (수학식 39)에 의해 산출하는 것을 특징으로 하는 화상 처리 장치.
    [수학식 38]
    Figure 112012094117885-pat00038

    [수학식 39]
    Figure 112012094117885-pat00039
  7. 입력된 화상 신호의 색 정보를 변환 규칙에 기초하여 변환하는 변환부와,
    미리 설정되는 색 공간에서의 이동원 좌표와 이동처 좌표의 위치 관계에 기초하여, 색 공간에서의 보정 범위를 산출하는 보정 범위 산출부와,
    상기 이동원 좌표와 상기 이동처 좌표의 위치 관계, 및 상기 보정 범위 내의 각 점의 좌표와 상기 이동원 좌표의 위치 관계에 기초하여, 당해 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키는 각 점 이동량 산출부를 구비하고,
    상기 각 점 이동량 산출부는, 상기 이동원 좌표로부터의 거리가 커짐에 따라 각 점의 이동량을 작게 하고,
    상기 보정 범위는, 상기 이동원 좌표와 상기 이동처 좌표를 연결하는 제1 직선이 장축 방향이 되는 타원구체이고,
    상기 각 점 이동량 산출부는,
    상기 보정 범위에 포함되는 제1 좌표점과 상기 이동원 좌표를 연결하는 제2 직선의 직선식을 산출하는 직선식 산출부와,
    상기 타원구체의 수식과 상기 제2 직선의 직선식에 기초하여, 상기 타원구체와 상기 제2 직선의 교점을 산출하는 교점 산출부와,
    상기 이동원 좌표와 상기 교점의 거리를 산출하는 제2 거리 산출부와,
    상기 제1 좌표점과 상기 이동원 좌표의 거리를 산출하는 제3 거리 산출부와,
    상기 제2 거리 산출부가 산출한 거리와, 상기 제3 거리 산출부가 산출한 거리의 비율에 따라 상기 제1 좌표점의 이동량의 기준이 되는 영향도를 산출하는 영향도 산출부와,
    상기 영향도에 기초하여, 상기 제1 좌표점의 변환처 좌표를 산출하는 좌표 산출부를 구비하는 것을 특징으로 하는 화상 처리 장치.
  8. 제7항에 있어서, 상기 좌표 산출부는, 유저가 지정한 보정 방향(압축 방향 또는 평행 방향)에 따라 상기 제1 좌표점의 변환처 좌표를 산출하는 것을 특징으로 하는 화상 처리 장치.
  9. 제7항에 있어서, 상기 각 점 이동량 산출부는,
    상기 영향도를 리니어한 변화보다도 증가시키도록 조정한 이동 특성을 산출하고, 상기 이동 특성을 상기 좌표 산출부가 상기 제1 좌표점의 변환처 좌표를 산출할 때의 파라미터로서 설정하는 이동 특성 조정부를 구비하는 것을 특징으로 하는 화상 처리 장치.
  10. 제4항 또는 제7항에 있어서, 상기 각 점 이동량 산출부가 처리하는 상기 보정 범위 내의 각 점의 좌표는, 인접점과의 거리가 모두 동등한 격자점 좌표인 것을 특징으로 하는 화상 처리 장치.
  11. 제4항 또는 제7항에 있어서, 상기 이동원 좌표 및 상기 이동처 좌표는 유저가 지정한 입력값인 것을 특징으로 하는 화상 처리 장치.
  12. 제4항 또는 제7항에 있어서, 기억색 보정 대상의 종별, 보정을 행하고자 하는 각 기억색 보정 대상에 관한 상기 이동원 좌표의 제1 프리셋값, 상기 이동처 좌표의 제2 프리셋값을 유저로부터 접수하여,
    상기 화상 신호가 구성하는 화상 내에 유저가 지정한 상기 기억색 보정 대상이 존재하는지의 여부를 판정함과 함께, 상기 화상의 색 분포를 해석하고,
    상기 화상 내에 존재하는 상기 보정 대상마다의 상기 제1 프리셋값 및 상기 제2 프리셋값 중 적어도 한쪽을, 상기 화상의 색 분포의 해석 결과에 기초하여 조정하고, 조정값을 상기 기억색 보정 대상마다의 상기 이동원 좌표, 상기 이동처 좌표에 설정하는 무늬 적응부를 더 구비하는 화상 처리 장치.
  13. 제12항에 있어서, 상기 무늬 적응부는,
    상기 화상 내에 있어서 기억색 보정의 대상이 될 수 있는 오브젝트 또는 배경의 유무, 및 상기 화상 내에서의 기억색 보정 대상의 검출 영역을 검출하는 보정 대상 검출부와,
    상기 보정 대상 검출부의 검출 결과와, 상기 유저가 지정한 상기 기억색 보정 대상의 종별을 비교하여 처리를 행하는 기억색 보정 대상을 결정하는 기억색 보정 결정부와,
    상기 화상의 색 공간 히스토그램을 생성하는 히스토그램 생성부와,
    상기 색 공간 히스토그램에 기초하여, 상기 검출 영역 내에서의 색 분포 해석에 관한 제1 해석 결과, 및 상기 제1 프리셋값과 상기 제2 프리셋값이 나타내는 색 공간 좌표간의 색 분포 해석에 관한 제2 해석 결과를 산출하는 히스토그램 해석부와,
    상기 기억색 보정 결정부가 결정한 기억색 보정 대상, 상기 제1 및 상기 제2 해석 결과, 상기 제1 및 상기 제2 프리셋값에 기초하여 상기 화상 내에 존재하는 상기 기억색 보정 대상마다의 상기 이동원 좌표, 상기 이동처 좌표를 산출하는 이동원 이동처 산출부를 구비하는 것을 특징으로 하는 화상 처리 장치.
  14. 제13항에 있어서, 상기 히스토그램 해석부는,
    상기 검출 영역의 중심적인 색을 나타내는 중심색 좌표를 상기 제1 해석 결과로 하고,
    상기 제1 프리셋값과 상기 제2 프리셋값이 나타내는 색 공간 좌표간을 복수 에리어로 분할하고, 상기 제1 프리셋값에 가까운 에리어부터 순서대로 소정 화소수 이상의 화소가 존재하는지의 여부를 판정하고, 소정 화소수 이상 존재하고 있는 에리어의 대표 좌표인 존재 좌표를 상기 제2 해석 결과로 하는 것을 특징으로 하는 화상 처리 장치.
  15. 제14항에 있어서, 상기 이동원 이동처 산출부는, 상기 중심색 좌표를 OC(OCr, OCg, OCb), 상기 존재 좌표를 TE(TEr, TEg, TEb), 상기 제1 프리셋값을 OP(OPr, OPg, ORb), 상기 제2 프리셋값을 TP(TPr, TPg, TRb), 상기 이동원 좌표를 O(Ro, Go, Bo), 상기 이동처 좌표를 T(Rt, Gt, Bt), 유저가 조정 가능한 추종도를 F1(0 내지 100%), F2(0 내지 100%)로 한 경우, 이하의 식 (수학식 40), (수학식 41)에 의해 상기 이동원 좌표 및 상기 이동처 좌표를 산출하는 것을 특징으로 하는 화상 처리 장치.
    [수학식 40]
    Figure 112012094117885-pat00040

    [수학식 41]
    Figure 112012094117885-pat00041
  16. 제4항 또는 제7항에 있어서, 상기 보정 범위 산출부는,
    유저로부터의 상기 변환 규칙의 규칙 제한수의 입력을 접수하고, 상기 보정 범위의 크기로부터 산출되는 상기 보정 범위 내의 각 점 좌표의 개수와, 상기 규칙 제한수를 비교하여,
    상기 규칙 제한수가 상기 보정 범위 내의 각 점 좌표의 개수보다도 적은 경우, 영역 범위가 작아지도록 상기 보정 범위의 재산출을 행하는 것을 특징으로 하는 화상 처리 장치.
  17. 제4항 또는 제7항에 있어서, 상기 보정 범위 산출부는,
    유저로부터의 기억색 보정 대상의 우선 순위의 입력을 접수하고, 각 기억색 보정 대상에 관한 상기 보정 범위에 중복이 있는지의 여부를 판정하여,
    중복이 있는 경우, 상기 우선 순위가 낮은 순서로 기억색 보정 대상에 관한 상기 보정 범위의 축소율이 커지도록, 각 기억색 보정 대상에 관한 상기 보정 범위를 재산출하는 것을 특징으로 하는 화상 처리 장치.
  18. 제16항에 있어서, 상기 보정 범위 산출부는,
    상기 이동원 좌표와 상기 이동처 좌표의 거리가 작아지도록 적어도 한쪽의 좌표를 조정한 후에 상기 재산출을 행하는 것을 특징으로 하는 화상 처리 장치.
  19. 제13항에 있어서, 상기 화상 처리 장치는, 상기 변환부로서 제1 변환부 및 제2 변환부를 적어도 갖고,
    상기 무늬 적응부는, 상기 유저가 지정한 상기 기억색 보정 대상인 제1 기억색 보정 대상, 제2 기억색 보정 대상의 각각의 상기 화상 내에서의 표시 영역을 검출하고,
    상기 보정 범위 산출부는, 상기 제1, 상기 제2 기억색 보정 대상의 각각에 대응하는 상기 보정 범위를 산출하고,
    상기 각 점 이동량 산출부는, 상기 제1 기억색 보정 대상에 관한 상기 보정 범위 내의 각 점의 변환처 좌표를 산출하여 상기 제1 변환부가 갖는 상기 변환 규칙에 반영하고, 상기 제2 기억색 보정 대상에 관한 상기 보정 범위 내의 각 점의 변환처 좌표를 산출하여 상기 제2 변환부가 갖는 상기 변환 규칙에 반영하는 것을 특징으로 하는 화상 처리 장치.
  20. 제4항 또는 제7항에 있어서, 상기 색 공간은 RGB, HSV, HSU, YUV, HLS, Lab, YCM 중 어느 하나인 것을 특징으로 하는 화상 처리 장치.
  21. 제4항 또는 제7항에 있어서, 상기 변환 규칙은 LUT(룩업 테이블)인 것을 특징으로 하는 화상 처리 장치.
  22. 입력된 화상 신호의 색 정보를 변환 규칙에 기초하여 변환하는 화상 처리 방법으로서,
    미리 설정되는 색 공간에서의 이동원 좌표와 이동처 좌표의 위치 관계에 기초하여, 색 공간에서의 보정 범위를 산출하고,
    상기 이동원 좌표와 상기 이동처 좌표의 위치 관계, 및 상기 보정 범위 내의 각 점의 좌표와 상기 이동원 좌표의 위치 관계에 기초하여, 당해 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키고,
    상기 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키는 처리에 있어서, 상기 이동원 좌표로부터의 거리가 커짐에 따라 각 점의 이동량을 작게 하고,
    상기 보정 범위는, 상기 이동원 좌표와 상기 이동처 좌표를 연결하는 제1 직선이 장축 방향이 되는 타원구체이고,
    상기 보정 범위를 산출하는 처리에 있어서,
    상기 이동원 좌표와 상기 이동처 좌표의 거리를 산출하고,
    상기 제1 직선의 기울기를 산출하고,
    미리 설정된 조정값과, 상기 산출한 거리에 기초하여, 좌표 범위를 산출하고,
    상기 산출한 상기 제1 직선의 기울기에 기초하여, 상기 좌표 범위를 회전시키는 회전 각도를 산출하고,
    상기 산출한 상기 좌표 범위를 상기 회전 각도만큼 회전시킴으로써 상기 타원구체의 수식을 산출하는, 화상 처리 방법.
  23. 입력된 화상 신호의 색 정보를 변환 규칙에 기초하여 변환하는 화상 처리 방법으로서,
    미리 설정되는 색 공간에서의 이동원 좌표와 이동처 좌표의 위치 관계에 기초하여, 색 공간에서의 보정 범위를 산출하고,
    상기 이동원 좌표와 상기 이동처 좌표의 위치 관계, 및 상기 보정 범위 내의 각 점의 좌표와 상기 이동원 좌표의 위치 관계에 기초하여, 당해 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키고,
    상기 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키는 처리에 있어서, 상기 이동원 좌표로부터의 거리가 커짐에 따라 각 점의 이동량을 작게 하고,
    상기 보정 범위는, 상기 이동원 좌표와 상기 이동처 좌표를 연결하는 제1 직선이 장축 방향이 되는 타원구체이고,
    상기 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키는 처리에 있어서,
    상기 보정 범위에 포함되는 제1 좌표점과 상기 이동원 좌표를 연결하는 제2 직선의 직선식을 산출하고,
    상기 타원구체의 수식과 상기 제2 직선의 직선식에 기초하여, 상기 타원구체와 상기 제2 직선의 교점을 산출하고,
    상기 이동원 좌표와 상기 교점의 거리를 산출하고,
    상기 제1 좌표점과 상기 이동원 좌표의 거리를 산출하고,
    상기 산출한 상기 이동원 좌표와 상기 교점의 거리와, 상기 산출한 상기 제1 좌표점과 상기 이동원 좌표의 거리의 비율에 따라, 상기 제1 좌표점의 이동량의 기준이 되는 영향도를 산출하고,
    상기 영향도에 기초하여, 상기 제1 좌표점의 변환처 좌표를 산출하는, 화상 처리 방법.
  24. 컴퓨터에,
    입력된 화상 신호의 색 정보를 변환 규칙에 기초하여 변환하는 처리와,
    미리 설정되는 색 공간에서의 이동원 좌표와 이동처 좌표의 위치 관계에 기초하여, 색 공간에서의 보정 범위를 산출하는 처리와,
    상기 이동원 좌표와 상기 이동처 좌표의 위치 관계, 및 상기 보정 범위 내의 각 점의 좌표와 상기 이동원 좌표의 위치 관계에 기초하여, 당해 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키는 처리를 실행하고,
    상기 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키는 처리에 있어서, 상기 이동원 좌표로부터의 거리가 커짐에 따라 각 점의 이동량을 작게 하는 처리를 실행하고,
    상기 보정 범위는, 상기 이동원 좌표와 상기 이동처 좌표를 연결하는 제1 직선이 장축 방향이 되는 타원구체이고,
    상기 보정 범위를 산출하는 처리에 있어서,
    상기 이동원 좌표와 상기 이동처 좌표의 거리를 산출하는 처리와,
    상기 제1 직선의 기울기를 산출하는 처리와,
    미리 설정된 조정값과, 상기 산출한 거리에 기초하여, 좌표 범위를 산출하는 처리와,
    상기 산출한 상기 제1 직선의 기울기에 기초하여, 상기 좌표 범위를 회전시키는 회전 각도를 산출하는 처리와,
    상기 산출한 상기 좌표 범위를 상기 회전 각도만큼 회전시킴으로써 상기 타원구체의 수식을 산출하는 처리를 실행시키기 위한 프로그램을 기록한 비일시적인 컴퓨터 가독 매체.
  25. 컴퓨터에,
    입력된 화상 신호의 색 정보를 변환 규칙에 기초하여 변환하는 처리와,
    미리 설정되는 색 공간에서의 이동원 좌표와 이동처 좌표의 위치 관계에 기초하여, 색 공간에서의 보정 범위를 산출하는 처리와,
    상기 이동원 좌표와 상기 이동처 좌표의 위치 관계, 및 상기 보정 범위 내의 각 점의 좌표와 상기 이동원 좌표의 위치 관계에 기초하여, 당해 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키는 처리를 실행하고,
    상기 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키는 처리에 있어서, 상기 이동원 좌표로부터의 거리가 커짐에 따라 각 점의 이동량을 작게 하는 처리를 실행하고,
    상기 보정 범위는, 상기 이동원 좌표와 상기 이동처 좌표를 연결하는 제1 직선이 장축 방향이 되는 타원구체이고,
    상기 각 점의 변환처 좌표를 산출하고, 상기 변환 규칙에 반영시키는 처리에 있어서,
    상기 보정 범위에 포함되는 제1 좌표점과 상기 이동원 좌표를 연결하는 제2 직선의 직선식을 산출하는 처리와,
    상기 타원구체의 수식과 상기 제2 직선의 직선식에 기초하여, 상기 타원구체와 상기 제2 직선의 교점을 산출하는 처리와,
    상기 이동원 좌표와 상기 교점의 거리를 산출하는 처리와,
    상기 제1 좌표점과 상기 이동원 좌표의 거리를 산출하는 처리와,
    상기 산출한 상기 이동원 좌표와 상기 교점의 거리와, 상기 산출한 상기 제1 좌표점과 상기 이동원 좌표의 거리의 비율에 따라, 상기 제1 좌표점의 이동량의 기준이 되는 영향도를 산출하는 처리와,
    상기 영향도에 기초하여, 상기 제1 좌표점의 변환처 좌표를 산출하는 처리를 실행시키기 위한 프로그램을 기록한 비일시적인 컴퓨터 가독 매체.
KR1020120129598A 2011-11-16 2012-11-15 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 KR101981802B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2011-250926 2011-11-16
JP2011250926A JP5829107B2 (ja) 2011-11-16 2011-11-16 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
KR20130054209A KR20130054209A (ko) 2013-05-24
KR101981802B1 true KR101981802B1 (ko) 2019-05-23

Family

ID=48280194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120129598A KR101981802B1 (ko) 2011-11-16 2012-11-15 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체

Country Status (5)

Country Link
US (2) US9214010B2 (ko)
JP (1) JP5829107B2 (ko)
KR (1) KR101981802B1 (ko)
CN (1) CN103118219B (ko)
TW (1) TW201325260A (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5811228B2 (ja) * 2013-06-24 2015-11-11 大日本印刷株式会社 画像処理装置、表示装置並びに画像処理方法及び画像処理用プログラム
TWI501186B (zh) * 2013-06-28 2015-09-21 Hsin Hsu Chou Automatic analysis of jaundice detection methods and computer program products
US9310908B2 (en) * 2013-10-30 2016-04-12 Htc Corporation Color sampling method and touch control device thereof
US10909949B2 (en) * 2015-06-12 2021-02-02 Avago Technologies International Sales Pte. Limited System and method to provide high-quality blending of video and graphics
US10019926B2 (en) * 2015-06-19 2018-07-10 Apple Inc. Adaptive calibration and adaptive transformation matrices for ambient light sensors
JP6586891B2 (ja) * 2016-01-13 2019-10-09 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
CN107040770A (zh) * 2016-02-04 2017-08-11 冠捷投资有限公司 显示设备的画面色温动态调整方法及装置
TWI650732B (zh) * 2016-09-30 2019-02-11 大陸商北京集創北方科技股份有限公司 色彩空間轉換方法
JP6922446B2 (ja) * 2017-06-06 2021-08-18 セイコーエプソン株式会社 プロファイル調整方法
JP7100574B2 (ja) * 2018-12-21 2022-07-13 ルネサスエレクトロニクス株式会社 半導体装置、画像処理方法およびプログラム
CN112598585A (zh) * 2020-12-07 2021-04-02 京东方科技集团股份有限公司 彩色图像处理方法、装置、电子墨水屏及存储介质
CN112926421B (zh) * 2021-02-07 2024-01-09 杭州睿胜软件有限公司 图像处理方法和装置、电子设备和存储介质
WO2022172676A1 (ja) * 2021-02-09 2022-08-18 ソニーグループ株式会社 撮像装置、画像処理方法、プログラム、画像処理装置
CN113763333B (zh) * 2021-08-18 2024-02-13 安徽帝晶光电科技有限公司 一种亚像素定位方法、定位系统及存储介质
TWI790732B (zh) * 2021-08-31 2023-01-21 宏碁股份有限公司 影像校正方法及影像校正裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004112694A (ja) * 2002-09-20 2004-04-08 Fuji Xerox Co Ltd 色調整方法、色調整装置、色変換定義編集装置、画像処理装置、プログラム、記憶媒体
JP2004192614A (ja) * 2002-11-29 2004-07-08 Ricoh Co Ltd 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
JP2008182633A (ja) * 2007-01-26 2008-08-07 Konica Minolta Business Technologies Inc 画像処理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0546773B1 (en) * 1991-12-11 1996-12-11 Xerox Corporation Graphical user interface for editing a palette of colours
US5416890A (en) * 1991-12-11 1995-05-16 Xerox Corporation Graphical user interface for controlling color gamut clipping
JP2002223366A (ja) * 2001-01-26 2002-08-09 Canon Inc 画像処理装置及びその方法、及び画像処理システム
US7251056B2 (en) * 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
JP4040625B2 (ja) 2002-09-12 2008-01-30 松下電器産業株式会社 画像処理装置、プリンタ装置、撮影装置、及びテレビ受像装置
US7636473B2 (en) * 2004-03-12 2009-12-22 Seiko Epson Corporation Image color adjustment
JP4757078B2 (ja) * 2006-03-31 2011-08-24 キヤノン株式会社 色処理方法およびその装置
JP2009033361A (ja) * 2007-07-25 2009-02-12 Fuji Xerox Co Ltd 色調整装置、画像形成装置およびプログラム
JP2009214414A (ja) * 2008-03-11 2009-09-24 Ricoh Co Ltd 画像形成装置及び画像形成方法
JP5067276B2 (ja) * 2008-06-17 2012-11-07 セイコーエプソン株式会社 色変換方法、該色変換方法で生成された色変換テーブル、画像処理装置および色変換プログラム
JP2010118881A (ja) 2008-11-13 2010-05-27 Panasonic Corp カラーマネージメントモジュール、カラーマネージメント装置、集積回路、表示装置
US8248678B2 (en) * 2008-11-20 2012-08-21 Eastman Kodak Company Establishing one-dimensional transforms

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004112694A (ja) * 2002-09-20 2004-04-08 Fuji Xerox Co Ltd 色調整方法、色調整装置、色変換定義編集装置、画像処理装置、プログラム、記憶媒体
JP2004192614A (ja) * 2002-11-29 2004-07-08 Ricoh Co Ltd 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
JP2008182633A (ja) * 2007-01-26 2008-08-07 Konica Minolta Business Technologies Inc 画像処理装置

Also Published As

Publication number Publication date
KR20130054209A (ko) 2013-05-24
US9818372B2 (en) 2017-11-14
CN103118219B (zh) 2017-09-01
CN103118219A (zh) 2013-05-22
JP5829107B2 (ja) 2015-12-09
JP2013105452A (ja) 2013-05-30
TW201325260A (zh) 2013-06-16
US20130120431A1 (en) 2013-05-16
US9214010B2 (en) 2015-12-15
US20160098971A1 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
KR101981802B1 (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
US9373305B2 (en) Semiconductor device, image processing system and program
US7957590B2 (en) Image processing method, display image processing method, image processing device, image processing program, and integrated circuit device including that image processing device
US7453598B2 (en) Image processing method and apparatus, and color conversion table generation method and apparatus
JP5116393B2 (ja) 画像処理装置及び画像処理方法
US20090010538A1 (en) Apparatus and method for automatically computing gamma correction curve
JP5183568B2 (ja) 画像処理装置及び方法、及びプログラムを記録した記憶媒体
US7991227B2 (en) Color adjustment apparatus and computer-readable medium
CN104869380A (zh) 图像处理设备和图像处理方法
US9398282B2 (en) Image processing apparatus, control method, and computer-readable medium
JP6039778B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9367934B2 (en) Image processing method, image processing apparatus, and image processing program
KR20190056322A (ko) 이미지 데이터 보간
JP2007042033A (ja) 色補正装置および画像表示装置
JP2014192859A (ja) 色補正方法、プログラム及び装置
JP4950582B2 (ja) 映像信号処理装置
JP2004080100A (ja) 色変換テーブル作成方法及び装置並びに色変換方法及び装置及び撮像装置
JP2020088709A (ja) 画像処理装置、画像処理方法及びプログラム
JP5675856B2 (ja) 画像処理装置及び方法、及びプログラムを記録した記憶媒体
JP2014219724A (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP5116873B2 (ja) 画像処理装置及び画像処理方法
JP6403811B2 (ja) 画像処理装置及びプログラム
JP2740443B2 (ja) 色調修正装置
KR20120128539A (ko) 컴퓨터 그래픽 영상의 실감도 증강을 위한 장치 및 방법
JP5484199B2 (ja) 画像形成装置及び画像形成方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right