KR101961967B1 - 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 기록 매체 - Google Patents

화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR101961967B1
KR101961967B1 KR1020137029864A KR20137029864A KR101961967B1 KR 101961967 B1 KR101961967 B1 KR 101961967B1 KR 1020137029864 A KR1020137029864 A KR 1020137029864A KR 20137029864 A KR20137029864 A KR 20137029864A KR 101961967 B1 KR101961967 B1 KR 101961967B1
Authority
KR
South Korea
Prior art keywords
image
information
unit
output
acquiring
Prior art date
Application number
KR1020137029864A
Other languages
English (en)
Other versions
KR20140035372A (ko
Inventor
테츠지로 콘도
Original Assignee
아이큐브드 연구소 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012010719A external-priority patent/JP5961390B2/ja
Priority claimed from JP2012010717A external-priority patent/JP5961389B2/ja
Application filed by 아이큐브드 연구소 주식회사 filed Critical 아이큐브드 연구소 주식회사
Publication of KR20140035372A publication Critical patent/KR20140035372A/ko
Application granted granted Critical
Publication of KR101961967B1 publication Critical patent/KR101961967B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction

Abstract

[과제]종래, 목적에 따라 뇌 부하가 조정된 화상을 출력할 수 없었다.
[해결 수단]1 이상의 제 1 화상의 전부 또는 일부분과, 제 1 화상보다 뇌 부하가 조정된 화상이며 제 1 화상과 동일한 대상에 대한 화상인 제 2 화상의 전부 또는 일부분의 대응을 획득하기 위한 정보인 1 또는 2 이상의 대응 정보를 갖는 룩업 테이블을 저장할 수 있는 저장부와, 1 이상의 화상을 수신하는 화상 수신부와, 1 또는 2 이상의 대응 정보 중 어느 하나의 대응 정보를 이용하여 화상 수신부가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 1 이상의 제 2 화상의 전부 또는 일부분을 획득하는 매핑부와, 매핑부가 획득한 1 이상의 제 2 화상의 전부, 또는 상기 매핑부가 획득한 1 이상의 제 2 화상의 일부분의 집합인 1 이상의 출력 화상을 출력하는 화상 출력부를 포함하는 화상 처리 장치에 의해 목적에 따라 뇌 부하가 조정된 화상을 출력할 수 있다.

Description

화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 기록 매체 {IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM THAT HAS RECORDED PROGRAM}
본 발명은 화상을 처리하는 화상 처리 장치 등에 관한 것이다.
종래, 입력 화상 데이터를 수신하고, 소정의 화소의 주변 위치에 존재하는 소정 수의 화소 데이터를 추출하는 수단과, 계수를 구하기 위한 화소 데이터를 이용하여 보간값과 참값의 오차의 제곱 합이 최소화되도록 최소 제곱법에 의해 미리 정해진 소정 수의 계수와, 추출된 상기 소정 수의 화소 데이터의 선형 1차 결합에 의해 소정의 화소의 화소 데이터를 보간 생성하는 수단으로 구성된 것을 특징으로 하는 디지털 영상 신호의 보간 장치가 있었다(특허 문헌 1참조).
또한 제 1 디지털 비디오 신호부터 해당 제 1 디지털 비디오 신호보다 화소 수가 많은 제 2 디지털 비디오 신호를 생성하는 디지털 비디오 신호 변환 장치가 있었다(특허 문헌 2참조).
JP 2825482 B JP 3072306 B
그러나 종래 기술에서는 목적에 따라 뇌 부하가 조정된 화상을 출력할 수 없었다.
본 제 1 발명의 화상 처리 장치는 1 또는 2 이상의 제 1 화상의 전부 또는 일부분과, 제 1 화상과 비교하여 더 뇌 부하가 조정된 화상이며 제 1 화상과 동일한 대상에 대한 화상인 제 2 화상의 전부 또는 일부분의 대응을 획득하기 위한 정보인 1 또는 2 이상의 대응 정보를 갖는 룩업 테이블을 저장할 수 있는 저장부와, 1 또는 2 이상의 화상을 수신하는 화상 수신부와, 1 또는 2 이상의 대응 정보 중 어느 하나의 대응 정보를 이용하여 화상 수신부가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 1 또는 2 이상의 제 2 화상의 전부 또는 일부분을 획득하는 매핑부와, 매핑부가 획득한 1 이상의 제 2 화상의 전부, 또는 매핑부가 획득한 1 이상의 제 2 화상의 일부분의 집합인 1 이상의 출력 화상을 출력하는 화상 출력부를 포함하는 화상 처리 장치이다.
이러한 구성에 의해 목적에 따라 뇌 부하가 조정된 화상을 출력할 수 있다.
또한 본 제 2 발명의 화상 처리 장치는 제 1 발명에 비하여, 룩업 테이블은 2 이상의 대응 정보를 갖고, 화상 수신부가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 제 1 화상의 전부 또는 일부분을 결정하는 화상 해석부를 더 포함하며, 매핑부는 화상 해석부가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보를 이용하여 화상 해석부가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 제 2 화상을 획득하는 화상 처리 장치이다.
이러한 구성에 의해 목적에 따라 뇌 부하가 조정된 화상을 출력할 수 있다.
또한 본 제3의 발명의 화상 처리 장치는 제 2 발명에 비하여, 제 1 화상의 전부 또는 일부분은 입력되는 영상 중 일부인 제 1 시공간 블록이며, 제 2 화상의 전부 또는 일부분은 화면에 출력되는 영상 중 일부인 제 2 시공간 블록이고, 화상 수신부는 1 이상의 화상의 집합인 영상을 수신하며, 화상 수신부가 수신한 영상을 공간적, 또는 시간적, 또는 공간적 및 시간적으로 2 이상으로 분할하여 2 이상의 제 1 시공간 블록을 획득하는 분할부를 더 포함하며, 화상 해석부는 분할부가 획득한 2 이상의 각 제 1 시공간 블록마다, 각 제 1 시공간 블록에 대응하는 제 1 화상의 전부 또는 일부분을 결정하고, 매핑부는 2 이상의 각 제 1 시공간 블록마다 화상 해석부가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보를 이용하여 화상 해석부가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 제 2 시공간 블록을 획득하며, 매핑부가 획득한 2 이상의 각 제 2 시공간 블록을 2 이상의 각 제 2 시공간 블록에 대응하는 제 1 시공간 블록의 시간적, 또는 공간적, 또는 공간적 및 시간적인 위치에 배치하고, 출력 화상을 생성하는 합성부를 더 포함하며, 화상 출력부는 합성부가 생성한 출력 화상을 출력하는 화상 처리 장치이다.
이러한 구성에 의해 목적에 따라 뇌 부하가 조정된 화상을 출력할 수 있다.
또한 본 제 4 발명의 화상 처리 장치는 제 2 또는 제 3 발명에 비하여, 화상 해석부는 화상 수신부가 수신한 1 이상의 화상, 또는 분할부가 획득한 2 이상의 각 제 1 시공간 블록을 해석하고, 1 이상의 특징량을 획득하며, 1 이상의 특징량에 대응하는 제 1 화상의 전부 또는 일부분을 결정하는 화상 처리 장치이다.
이러한 구성에 의해 목적에 따라 뇌 부하가 조정된 화상을 출력할 수 있다.
또한 본 제 5 발명의 화상 처리 장치는 제 1 내지 제 4 중 어느 하나의 발명에 비하여, 대응 정보는 하나의 환경에서 획득한 하나의 대상에 대한 제 1 화상의 전부 또는 일부분의 1 이상의 특징량과, 제 1 화상의 전부 또는 일부분에 대응하는 제 2 화상의 전부 또는 일부분을 생성하기 위한 연산식, 또는 연산식에 대입하는 파라미터의 집합을 갖는 정보인 화상 처리 장치이다.
이러한 구성에 의해 목적에 따라 뇌 부하가 조정된 화상을 출력할 수 있다.
또한 본 제 6 발명의 화상 처리 장치는 제 1 내지 제 5 중 어느 하나의 발명에 비하여, 저장부는 룩업 테이블의 종류를 식별하는 종류 식별자와 종류 식별자에 대응하는 룩업 테이블의 세트를 2 세트 이상 저장하고, 매핑부는 이용하는 룩업 테이블의 종류를 식별하는 종류 식별자를 획득하는 종류 식별자 획득 수단과, 종류 식별자에 대응하는 룩업 테이블이 갖는 대응 정보 중 어느 하나의 대응 정보를 이용하여 화상 수신부가 수신한 화상의 전부 또는 일부분에 대응하는 제 2 화상의 전부 또는 일부분을 출력 화상의 전부 또는 일부분으로서 획득하는 출력 화상 획득 수단을 포함하는 화상 처리 장치이다.
이러한 구성에 의해 목적에 따라 뇌 부하가 더 적합하게 조정된 화상을 출력할 수 있다.
또한 본 제 7 발명의 화상 처리 장치는 제 1 내지 제 6 중 어느 하나의 발명에 비하여, 사용자의 지시를 수신하는 지시 수신부와, 지시에 따라 룩업 테이블이 갖는 2 이상의 대응 정보의 어느 하나를 변경하는 룩업 테이블 갱신부를 더 포함하는 화상 처리 장치이다.
이러한 구성에 의해 목적에 따라 뇌 부하가 더 적합하게 조정된 화상을 출력할 수 있다.
또한 본 제 8 발명의 화상 처리 장치는 제 1 내지 제 7 중 어느 하나의 발명에 비하여, 입력 화상, 대응 정보, 또는 출력 화상 중 1 종류 이상의 정보가 충족해야 할 조건인 구속 조건을 저장할 수 있는 구속 조건 저장부를 더 포함하고, 매핑부는 1 또는 2 이상의 대응 정보 중 어느 하나의 대응 정보를 이용하여 화상 수신부가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 1 이상의 제 2 화상의 전부 또는 일부분을 구속 조건에 일치하도록 획득하는 화상 처리 장치이다.
이러한 구성에 의해 목적에 따라 뇌 부하가 더 적합하게 조정된 화상을 출력할 수 있다.
본 제 9 발명의 룩업 테이블 획득 장치는 1 이상의 제 1 화상을 저장할 수 있는 제 1 화상 저장부와, 제 1 화상에 비하여 뇌 부하가 조정된 화상인 1 이상의 각 제 2 화상을 1 이상의 각 제 1 화상에 대응시켜 저장할 수 있는 제 2 화상 저장부와, 1 이상의 제 1 화상의 전부 또는 일부분과, 1 이상의 제 2 화상의 전부 또는 일부분의 대응을 획득하기 위한 정보인 1 또는 2 이상의 대응 정보를 갖는 룩업 테이블을 저장할 수 있는 저장부와, 제 1 화상 저장부에 저장되는 1 이상의 제 1 화상의 전부 또는 일부분과, 제 2 화상 저장부에 저장되는 1 이상의 제 2 화상의 전부 또는 일부분으로부터 대응 정보를 1 또는 2 이상 갖는 룩업 테이블을 구성하는 룩업 테이블 구성부와, 룩업 테이블 구성부가 구성한 룩업 테이블을 저장부에 축적하는 룩업 테이블 축적부를 포함하는 룩업 테이블 획득 장치이다.
이러한 구성에 의해 목적에 따라 뇌 부하가 조정된 화상을 출력하기 위한 정보를 생성할 수 있다.
본 제 10 발명의 룩업 테이블 획득 장치는 제 9 발명에 비하여, 상기 대응 정보는 1 이상의 제 1 화상의 전부 또는 일부분에 관한 정보인 제 1 화상 관련 정보와, 1 이상의 제 2 화상의 전부 또는 일부분에 관한 정보이고, 제 1 화상 관련 정보에 대응하는 정보인 제 2 화상 관련 정보를 포함하는 정보이며,
제 1 화상 저장부에 저장되는 1 이상의 제 1 화상의 전부 또는 일부분에 관한 정보인 1 이상의 제 1 화상 관련 정보를 1 이상의 제 1 화상의 전부 또는 일부분으로부터 획득하는 제 1 화상 관련 정보 획득부와, 제 2 화상 저장부에 저장되는 1 이상의 제 2 화상의 전부 또는 일부분에 관한 정보인 1 이상의 제 2 화상 관련 정보를 1 이상의 제 2 화상의 전부 또는 일부분으로부터 획득하는 제 2 화상 관련 정보 획득부를 더 포함하고, 룩업 테이블 구성부는 제 1 화상 관련 정보 획득부가 획득한 제 1 화상 관련 정보와, 제 1 화상 관련 정보에 대응하는 정보이며 제 2 화상 관련 정보 획득부가 획득한 제 2 화상 관련 정보를 갖는 정보이고, 1 이상의 제 1 화상의 전부 또는 일부분과 1 이상의 제 2 화상의 전부 또는 일부분의 대응을 나타내는 정보인 대응 정보를 1 또는 2 이상 갖는 룩업 테이블을 구성하는 룩업 테이블 획득 장치이다.
이러한 구성에 의해 목적에 따라 뇌 부하가 조정된 화상을 출력하기 위한 정보를 생성할 수 있다.
또한 본 제 11 발명의 룩업 테이블 획득 장치는 제 9 발명에 비하여, 대응 정보는 1 이상의 제 1 화상의 전부 또는 일부분에 대응하는 특징량 벡터와, 1 이상의 제 1 화상의 전부 또는 일부분을 1 이상의 제 2 화상의 전부 또는 일부분으로 변환하기 위한 화상 변환 필터를 갖고, 룩업 테이블 구성부는 1 이상의 제 1 화상의 전부 또는 일부분으로부터 특징량 벡터를 획득하며, 1 이상의 제 1 화상의 전부 또는 일부분을 1 이상의 제 2 화상의 전부 또는 일부분으로 변환하는 변환 필터를 획득하고, 해당 특징량 벡터와 해당 변환 필터를 갖는 대응 정보를 1 또는 2 이상 갖는 룩업 테이블을 구성하는 룩업 테이블 획득 장치이다.
이러한 구성에 의해 목적에 따라 뇌 부하가 조정된 화상을 출력하기 위한 정보를 생성할 수 있다.
또한 본 제 12 발명의 룩업 테이블 획득 장치는 제 9 내지 제 11 발명에 비하여, 1 이상의 각 제 1 화상에 대응시키고, 1 이상의 각 제 1 화상과 동일한 대상에 대한 2 이상의 제 2 화상 정보의 후보 집합인 제 2 화상 정보 후보 집합을 1 이상 저장할 수 있는 제 2 화상 정보 후보 집합 저장부와, 1 이상의 제 2 화상 정보 후보 집합을 출력하는 후보 출력부와, 후보 출력부가 출력한 1 이상의 각 제 2 화상 정보 후보 집합이 갖는 2 이상의 제 2 화상 정보의 후보 중 1 이상의 제 2 화상 정보의 후보를 선택하는 지시를 수신하는 지시 수신부와, 지시 수신부가 수신한 지시에 대응하는 1 이상의 제 2 화상 정보의 후보를 이용하여 1 이상의 제 2 화상을 획득하고, 제 2 화상 정보 후보 집합에 대응하는 제 1 화상에 대응시키며, 해당 1 이상의 제 2 화상을 제 2 화상 저장부에 축적하는 제 2 화상 축적부를 더 포함하는 룩업 테이블 획득 장치이다.
이러한 구성에 의해 특정 사용자에게 뇌 부하가 조정된 화상을 출력하기 위한 정보를 생성할 수 있다.
본 발명에 의한 화상 처리 장치에 따르면 목적에 따라 입력 화상과 비교하여 더 뇌 부하가 조정된 화상을 출력할 수 있다.
도 1은 실시예 1의 화상 처리 장치(1)의 블록도이다.
도 2는 실시예 1의 화상 처리 장치(1)의 동작에 대하여 설명하는 흐름도이다.
도 3은 실시예 1의 화상 분석 처리에 대하여 설명하는 흐름도이다.
도 4는 실시예 1의 매핑 처리에 대하여 설명하는 흐름도이다.
도 5는 실시예 1의 종류 식별자 획득 처리에 대하여 설명하는 흐름도이다.
도 6은 실시예 1의 룩업 테이블 갱신 처리에 대하여 설명하는 흐름도이다.
도 7은 실시예 1의 다른 화상 처리 장치(1)의 블록도이다.
도 8은 실시예 2의 화상 처리 장치(2)의 블록도이다.
도 9는 실시예 2의 화상 처리 장치(2)의 동작에 대하여 설명하는 흐름도이다.
도 10은 실시예 2의 다른 화상 처리 장치(2)의 블록도이다.
도 11은 실시예 3의 룩업 테이블 획득 장치(3)의 블록도이다.
도 12는 실시예 3의 룩업 테이블 획득 장치(3)의 제 2 화상을 선택하는 동작에 대하여 설명하는 흐름도이다.
도 13은 실시예 3의 룩업 테이블 획득 장치(3)의 룩업 테이블을 구성하는 동작에 대하여 설명하는 흐름도이다.
도 14는 실시예 3의 복수의 제 2 화상 정보 후보 집합의 예를 도시하는 도면이다.
도 15는 실시예 3과 관련된 제 2 화상 정보 후보 집합의 출력 예를 도시하는 도면이다.
도 16은 실시예 4의 제 1 화상의 예를 도시하는 도면이다.
도 17은 실시예 4의 제 2 화상의 예를 도시하는 도면이다.
도 18은 실시예 4의 제 1 시공간 블록의 예를 도시하는 도면이다.
도 19는 실시예 4의 제 2 시공간 블록의 예를 도시하는 도면이다.
도 20은 실시예 4의 룩업 테이블 구성부의 동작을 설명하는 개념도이다.
도 21은 실시예 4의 룩업 테이블 구성부의 처리의 개념도이다.
도 22는 실시예 4의 룩업 테이블 구성부의 처리의 개념도이다.
도 23은 실시예 4의 룩업 테이블의 예를 도시하는 도면이다.
도 24는 실시예 5의 화상 처리 장치(4)의 블록도이다.
도 25는 실시예 5의 피사계 심도가 얕은 화상의 예를 도시하는 도면이다.
도 26은 실시예 5의 매핑부의 처리의 개념도이다.
도 27은 실시예 6의 화상 처리 장치(5)의 블록도이다.
도 28은 실시예 6의 구속 정보의 예를 도시하는 도면이다.
도 29는 실시예 6의 화상 처리 장치(5)의 동작에 대하여 설명하는 흐름도이다.
도 30은 실시예 6의 매핑 처리에 대하여 설명하는 흐름도이다.
도 31은 실시예 6의 구속 조건 결정 처리에 대하여 설명하는 흐름도이다.
도 32는 실시예 7의 화상 처리 장치(6)의 블록도이다.
도 33은 실시예 7의 LUT 변경 정보 관리표의 예를 도시하는 도면이다.
도 34는 실시예 7의 화상 처리 장치(6)의 동작에 대하여 설명하는 흐름도이다.
도 35는 실시예 7의 매핑 처리에 대하여 설명하는 흐름도이다.
도 36은 실시예 7의 LUT 결정 처리에 대하여 설명하는 흐름도이다.
도 37은 실시예 8의 화상 학습 장치(7)의 블록도이다.
도 38은 상기 실시예의 컴퓨터 시스템의 개관표이다.
도 39는 상기 실시예의 컴퓨터 시스템의 블록도이다.
이하, 화상 처리 장치 등의 실시예에 대하여 도면을 참조하여 설명한다. 또한 실시예에서 동일한 부호를 붙인 구성 요소는 동일한 동작을 실시하기 때문에 재차 설명을 생략하는 경우가 있다.
(실시예 1)
본 실시예에서, 후술하는 룩업 테이블을 이용하고, 목적에 따라 수신한 화상에 대하여 더 뇌 부하가 조정된 화상을 획득하는 화상 처리 장치(1)에 대하여 설명한다. 또한 목적에 따라 뇌 부하가 조정된 화상이란, 예를 들면, 시청 시에 뇌 부하를 더 저감할 수 있는 화상이나, 시청 시에 더 뇌에 자극을 주는 엔터테인먼트성이 증가하는 화상 등이다. 시청 시에 뇌의 부하를 더 저감할 수 있는 화상이란, 예를 들면, 대상을 더 인지하기 쉬운 화상이다. 또한 목적이란 통상 시청자의 화상 시청 시의 목적이고, 예를 들면, 편안하게 시청하고 싶다는 목적, 할 수 있는 만큼 피로 없이 장시간 시청하고 싶다는 목적, 엔터테인먼트성을 맛보고 싶다는 목적 등이 있다.
또한 본 실시예에서 목적에 따라 뇌 부하가 조정된 화상을 획득하는 처리는, 예를 들면, 시공간 블록마다 처리를 실시한다. 시공간 블록에 대한 설명은 후술한다.
또한 본 실시예에서, 룩업 테이블은 커스터마이즈(customize)가 가능하다.
또한 본 실시예에서 화상 처리 장치(1)는 출력 후보의 화상이 소정의 조건을 충족하지 않는 경우에 당해 소정의 조건을 충족하도록 변환하는 기능을 갖는다.
도 1은 본 실시예의 화상 처리 장치(1)의 블록도이다.
화상 처리 장치(1)는 저장부(101), 구속 조건 저장부(102), 지시 수신부(103), 화상 수신부(104), 분할부(105), 화상 해석부(106), 매핑부(107), 합성부(108), 화상 출력부(109), 및 룩업 테이블 갱신부(110)를 포함하다.
매핑부(107)는, 예를 들면, 종류 식별자 획득 수단(1071), 출력 화상 후보 획득 수단(1072), 판단 수단(1073), 변경 수단(1074), 및 출력 화상 획득 수단(1075)을 포함하다.
저장부(101)는 1 또는 2 이상의 룩업 테이블을 저장할 수 있다. 저장부(101)는 룩업 테이블의 종류를 식별하는 종류 식별자와 종류 식별자에 대응하는 룩업 테이블의 세트를 2 세트 이상 저장하여도 바람직하다. 또한 룩업 테이블의 데이터 구조는 테이블 구조만은 아니다. 룩업 테이블의 데이터 구조는 불문한다. 또한 룩업 테이블의 종류는 룩업 테이블 그 자체여도 바람직한 것은 물론이다.
여기서, 룩업 테이블은 1 또는 2 이상의 대응 정보를 갖는다. 대응 정보는 1 또는 2 이상의 제 1 화상의 전부 또는 일부분과, 1 또는 2 이상의 제 2 화상의 전부 또는 일부분의 대응을 획득하기 위한 정보이다. 룩업 테이블이 갖는 대응 정보가 하나인 경우, 이러한 대응 정보는, 예를 들면, 화상을 변환하는 연산식이나, 화상을 변환하는 연산식에 대입하는 1 이상의 파라미터군이다. 대응 정보는, 예를 들면, 시공간 블록의 화소값의 중앙값을 산출하는 연산식이어도 바람직하다.
또한 1 이상의 제 1 화상의 전부 또는 일부분 및 1 이상의 제 2 화상의 전부 또는 일부분은 출력되는 하나의 화면의 화상도 바람직하고, 하나의 화면의 일부의 블록의 화상도 바람직하며, 하나의 화소도 바람직하고, 시간적으로 연속하는 복수의 화면도 바람직하며, 시간적으로 연속하는 복수의 화면의 공간상의 일부분(후술하는 시공간 블록)도 바람직하고, 시간적으로 연속하는 복수의 화면의 연속하는 하나의 화소의 집합 등도 바람직하다. 즉, 제 1 화상 및 제 2 영상 정보량의 단위는 불문한다. 또한 시공간 블록은 통상 영상을 공간적, 또는 시간적, 또는 공간적 및 시간적으로 분할한 일부분을 말한다. 다만, 시공간 블록은 화소의 집합이면 바람직하다. 즉, 시공간 블록은 직사각형의 연속 영역만은 아니다. 시공간 블록은 비 직사각형이고 불연속한 화상의 영역도 바람직하다. 또한 화상을 분할하여 획득한 복수의 시공간 블록은 일부에 중복된 화소를 갖는 것도 바람직하다.
제 2 화상은, 예를 들면, 제 1 화상보다 시청하는 경우에 뇌의 부하를 더 저감할 있는 화상이다. 또한 제 2 화상은 제 1 화상보다 통상 하나의 대상을 인지하는 경우의 뇌의 부하를 더 저감할 수 있는 화상이다. 뇌의 부하를 더 저감할 수 있는 화상이란 뇌가 질감, 원근감, 존재감, 현장감, 중량감, 온화한 느낌, 서늘한 느낌, 속도감, 역동감, 움직임의 매끄러움, 신선한 느낌, 고급감 등 중 1 이상의 속성을 더 느끼는 화상이다. 또한 속성은 화상에 따라 상이하다. 또한 질감이란 재질감, 광택감, 투명감, 푹신한 느낌, 촉촉한 느낌 등 화상에 포함되는 대상의 질감이다. 또한 원근감이란 해상감, 입체감, 깊이감, 분위기 등이라고도 말할 수 있다.
또한 뇌의 부하를 저감할 수 있는 화상이란 뇌에 적합하게 느껴지는 화상이라고 바꿔 말하여도 바람직하다.
또한 1 이상의 제 1 화상보다 뇌의 부하를 저감할 수 있는 1 이상의 제 2 화상은, 예를 들면, 1 이상의 제 1 화상과 상이한 환경에서 획득될 수 있는 1 이상의 화상이다. 즉, 이러한 경우, 예를 들면, 1 이상의 제 1 화상과 1 이상의 제 2 화상은 화상을 획득하는 환경이 상이하다.
제 1 화상이란, 예를 들면, 하나의 환경에서 획득한 하나의 대상에 대한 화상이다. 또한 제 2 화상이란, 예를 들면, 상이한 환경에서 획득한 상기 하나의 대상에 대한 화상이다. 또한 제 1 화상이란, 예를 들면, 하나의 환경에서 하나의 대상을 촬영한 화상이다. 또한 제 2 화상이란, 예를 들면, 상이한 환경에서 상기 하나의 대상을 촬영한 화상이다. 또한 이러한 경우, 제 2 화상과 제 1 화상은 통상 동일한 화소 수지만, 상이한 화소 수도 바람직하다. 또한 하나의 대상을 촬영한 화상이란 하나의 대상을 촬영한 것과 같이 만든 화상도 바람직하다.
또한 상이한 환경이란 하나의 환경과는 상이한 환경이며, 하나의 환경보다 목적에 일치한 화상을 촬영할 수 있는 환경이다. 또한 상이한 환경이란, 예를 들면, 하나의 환경보다 뇌 부하를 저감할 수 있는 화상을 촬영할 수 있는 환경이다. 상이한 환경이란, 예를 들면, 이하 (1) 내지 (9)와 같은 환경이다. (1) 하나의 환경보다 조명(광원)의 광량이 많은 환경, (2) 하나의 환경과 비교하여 화상 상의 객체의 그늘이 잘 표출되는 광원의 위치의 환경, (3) 하나의 환경과 비교하여 화상 상의 객체의 입체감이 잘 표출되는 광원 위치의 환경, (4) 하나의 환경과 비교하여 화상 상의 객체의 입체감이 잘 표출되는 카메라 위치의 환경, (5) 하나의 환경과 조명의 색이 상이한 환경, (6) 하나의 환경과 상이한 날씨의 환경, (7) 하나의 환경과 상이한 온도나 습도의 환경, (8) 하나의 환경과 상이한 피사계 심도의 환경, (9) 하나의 환경과 상이한 셔터 속도의 환경 등이다.
즉, 하나의 환경과 상이한 환경이란, 예를 들면, 광량, 광원의 위치, 광원의 색, 카메라의 위치, 카메라의 설정 등의 촬영 환경이 상이하다. 또한 환경이란 통상 촬영 환경이지만, 화상을 획득하는 환경에 관한 것이라면 무엇이든 바람직하다.
또한 제 2 화상은 제 1 화상보다 단순히 화소 수가 많다고 말하는 화상은 포함하지 않는다. 이러한 단지 화소 수가 많은 화상은 단순히 화소 수가 많은 카메라(예를 들면, HD 카메라)로 촬영한 화상을 규범으로 하는 화상인 반면, 본 발명의 뇌에 적합하게 느껴지는 화상은 뇌의 판단, 뇌의 느낌 방법(사람이 느끼는 방법이라고 하여도 바람직함)을 규범으로 하는 화상이고, 분명하게 구별한다.
또한 제 1 화상에 비하여, 뇌 부하가 조정된 제 2 화상은, 예를 들면, 제 1 화상보다 엔터테인먼트성이 향상되는 화상도 포함한다. 엔터테인먼트성이 향상되는 화상은 엔터테인먼트성을 기호하는 사용자에게 뇌에 적합하게 느껴지는 화상이다. 뇌에 적합하게 느껴지는 화상이란 뇌의 자극을 즐길 수 있는 화상이라고도 말할 수 있다. 또한 엔터테인먼트성이 향상되는 복수의 화상(영상)은, 예를 들면, 일부에 플래시 화면이 삽입되는 영상이다.
또한 뇌 부하가 조정된 제 2 화상이 제 1 화상보다 엔터테인먼트성이 향상되는 화상인 경우, 이러한 제 2 화상은 뇌로의 자극을 더 즐길 수 있지만, 뇌의 부하가 더 증가하는 경우도 있을 수 있다.
또한 제 1 화상보다 목적에 따라 뇌 부하가 조정된 제 2 화상은, 예를 들면, 하나의 대상을 촬영하여 획득한 제 1 화상에 비하여, 해당 제 1 화상을 디포머(deformer)한 화상이다. 제 1 화상을 디포머한 제 2 화상은, 예를 들면, 제 1 화상에 비치고 있는 인물의 초상화 화상이다. 초상화 화상 등의 디포머한 화상은 사용자에게 대상을 인식하기 쉽고, 대상의 인지의 경우에 뇌 부하가 저감되도록 뇌 부하가 조정된 화상이다.
또한 제 1 화상보다 목적에 따라 뇌 부하가 조정된 제 2 화상은, 예를 들면, 하나의 대상을 촬영하여 획득한 제 1 화상에 비하여, 해당 하나의 대상을 묘사한 회화를 촬영한 화상이다. 대상을 묘사함으로써 대상이 갖는 개념이 더 알기 쉽게 표현되는 것이 있다. 즉, 대상을 직접 촬영한 화상보다 대상을 묘사한 회화를 촬영한 화상의 편이 뇌 부하가 저감할 수 있도록 뇌 부하가 조정된 화상이라고 말할 수 있다.
또한 제 1 화상보다 목적에 따라 뇌 부하가 조정된 제 2 화상은, 예를 들면, 하나의 대상을 촬영하여 획득한 제 1 화상에 비하여, 해당 제 1 화상의 CG 화상이다. 대상에 따라, 촬영 화상보다 CG 화상의 편이 뇌 부하가 저감할 수 있도록 뇌 부하가 조정된 화상이라고 말할 수 있다.
또한 대응 정보는, 예를 들면, 제 1 화상 관련 정보와 제 2 화상 관련 정보의 쌍이다. 제 1 화상 관련 정보는 1 또는 2 이상의 제 1 화상의 전부 또는 일부분에 관한 정보이다. 제 2 화상 관련 정보는 1 또는 2 이상의 제 2 화상의 전부 또는 일부분에 관한 정보이다. 제 1 화상 관련 정보는, 예를 들면, 1 이상의 제 1 화상의 전부 또는 일부분으로부터 추출하는 1 이상의 특징량이다. 또한 제 2 화상 관련 정보는, 예를 들면, 1 이상의 제 2 화상의 전부 또는 일부분이다. 또한 제 2 화상 관련 정보는, 예를 들면, 1 이상의 제 2 화상의 전부 또는 일부분을 생성하는 연산식이다. 또한 제 2 화상 관련 정보는, 예를 들면, 1 이상의 제 2 화상의 전부 또는 일부분을 생성하는 연산식에 대입하는 파라미터군의 쌍이다. 이러한 경우, 연산식은 매핑부(107)가 보유하고 있다. 또한 화상으로부터 추출하는 1 이상의 특징량에는, 예를 들면, 1 이상의 화상의 일부 특징량인 근방 특징량과, 1 이상의 화상 전체의 특징량인 전체 특징량이 있다. 근방 특징량에는, 예를 들면, 화소값, 액티비티(activity), 시공간 상관, 움직임 벡터, 주파수 분포 등이 있다. 또한 액티비티란, 예를 들면, 복수의 화소의 최댓값 및 최소값, 다이내믹 레인지(dynamic range; DR), 복수의 화소 사이의 차분값 등이다. 복수의 화소 사이의 차분값은 공간 내의 복수의 화소 사이의 차분값도 바람직하고, 시간 방향의 복수의 화소 사이의 차분값도 바람직하며, 공간 및 시간 방향의 복수의 화소 사이의 차분값도 바람직하다. 또한 전체 특징량에는, 예를 들면, 화상 전체의 화소값 분포, 화상 전체의 움직임 벡터 분포, 1 또는 2 이상의 화상 전체의 시공간 상관, 화상 전체의 노이즈양, 화상 포맷, 화상 전체의 편집에 관한 정보(PinP인지 아닌지, PoutP인지 아닌지, 텔롭(telop)의 유무 등), 1 이상의 화상인 콘텐츠에 관한 콘텐츠 정보, 패턴 검출 결과(얼굴 등) 등이다. 여기서 콘텐츠 정보란, 예를 들면, 전자 프로그램표(EPG)가 갖는 프로그램의 장르, 타이틀, 출연자 이름 등이다. 또한 1 이상의 특징량을 적절히 특징량 벡터이라고도 한다.
저장부(101)는 비휘발성의 기록 매체가 알맞지만, 휘발성 기록 매체로도 실현 가능하다. 특히 저장부(101)는 비휘발성의 RAM인 것이 적합하다. 또한 저장부(101)에 룩업 테이블이 기억되는 과정은 불문한다. 예를 들면, 기록 매체를 통하여 룩업 테이블이 저장부(101)에 기억되도록 구성하여도 바람직하고, 통신 회선 등을 통하여 송신된 룩업 테이블이 저장부(101)에 기억되도록 구성하여도 바람직하며, 또는 입력 디바이스를 통하여 입력된 룩업 테이블이 저장부(101)에 기억되도록 구성하여도 바람직하다.
구속 조건 저장부(102)는 구속 조건을 저장할 수 있다. 구속 조건이란 화상 처리 장치(1)의 어느 하나의 처리에 관한 조건이다. 처리에 관한 조건이란, 예를 들면, 처리 대상인 화상(입력 화상)의 전부 또는 일부에 대한 조건이다. 또한 처리에 관한 조건이란, 예를 들면, 처리에 이용되는 룩업 테이블에 대한 조건이다. 또한 처리에 관한 조건이란, 예를 들면, 출력 화상에 관한 조건이다. 구속 조건이란, 입력 화상, 대응 정보, 또는 출력 화상 중 1종류 이상의 정보가 충족해야 할 조건라고 말할 수 있다. 또한 처리 대상인 화상(입력 화상)의 전부 또는 일부에 대한 조건이란, 예를 들면, 처리 대상의 1 이상의 특징량(예를 들면, 휘도, 화소값 등)을 파라미터로 하는 조건이다. 입력 화상의 전부 또는 일부에 대한 조건은, 예를 들면, 화소값이 정상 범위를 일탈하지 않는 것이다. 또한 화소값의 정상 범위는 미리 저장되어 있다. 또한, 룩업 테이블에 대한 조건이란, 예를 들면, 룩업 테이블이 갖는 대응 정보의 선택 빈도 등의 선택에 관한 조건이다. 룩업 테이블에 대한 조건은, 예를 들면, 직전에 이용된 대응 정보와 동일한 대응 정보를 이용하지 않는 것이다. 또한 룩업 테이블에 관한 조건은, 예를 들면, 제 1 특정 조건 하에서는 연속해서 동일한 대응 정보를 이용하는 것과, 제 2 특정 조건하에서는 특정의 대응 정보를 고정적으로 이용하는 과, 제 3 특정 조건 하에서는 연속해서 동일한 대응 정보를 이용하지 않는 것과, 제 4 특정 조건하에서는 특정의 대응 정보를 이용하지 않는 것 등이다. 또한 예를 들면, 출력 화상에 관한 조건이란 출력 화상 상의 1 이상의 특징량(예를 들면, 휘도, 화소값 등)을 파라미터로 하는 조건이다. 출력 화상에 관한 조건이란 매핑부(107)가 획득한 1 이상의 제 2 화상의 전부 또는 일부분이 충족해야 할 구속 조건이라고 할 수 있다. 출력 화상에 관한 조건은, 예를 들면, 액티비티가 임계값 이내인 것 등이다. 또한 출력 화상에 관한 조건은, 예를 들면, 화소의 최댓값 「화소의 값 <= 255」, 화소의 최소값 「화소의 값 >= 10」, 화소의 값의 변화 Δ에 대한 「화소의 휘도의 시간적인 변화 <= 100」, 다이내믹 레인지 「DR <= 200」등이다. 구속 조건은 화상 처리를 실시하는 프로그램 중에 매립되어 있어도 바람직한 것은 물론이다.
또한 구속 조건은 입력 화상의 전부 또는 일부에 대한 조건, 룩업 테이블에 대한 조건, 출력 화상에 관한 조건 중 2종류 이상의 조건을 포함하여도 바람직하다. 이러한 구속 조건은, 예를 들면, 입력 화상의 화소값과 출력 화상의 화소값의 차가 임계값보다 큰 것이다. 또한 임계값은 미리 저장되어 있다.
구속 조건 저장부(102)는 비휘발성의 기록 매체가 적합하지만, 휘발성 기록 매체로도 실현 가능하다. 구속 조건 저장부(102)에 구속 조건이 기억되는 과정은 불문한다. 예를 들면, 기록 매체를 통하여 구속 조건이 구속 조건 저장부(102)에 기억되도록 구성하여도 바람직하고, 통신 회선 등을 통하여 송신된 구속 조건이 구속 조건 저장부(102)에 기억되도록 구성하여도 바람직하며, 또는 입력 디바이스를 통하여 입력된 구속 조건이 구속 조건 저장부(102)로 기억되도록 구성하여도 바람직하다.
지시 수신부(103)는 지시를 수신한다. 지시는 사용자로부터 수신하여도 바람직하고, 외부의 기록 매체로부터 읽어 들여도 바람직하며, 외부의 장치로부터 수신하여도 바람직하다. 또한 지시는 방송 장치로부터 송신되는 방송에 매립되어도 바람직하다. 또한 지시는 사용자의 기호 등에 일치하도록 룩업 테이블을 변경하는 지시이다. 지시는, 예를 들면, 화상의 입체감의 정도를 포함한다. 또한 지시는, 예를 들면, 출력된 1 이상의 각 제 2 화상 정보 후보 집합이 갖는 2 이상의 제 2 화상의 후보 중 1 이상의 제 2 화상의 후보를 선택하는 지시이다. 이러한 선택은 사용자의 기호에 일치하는 화상을 선택하는 지시이다. 또한 지시는, 예를 들면, 연령이나 연령층(30대, 60대 등)이나 성별이나, 근시나 노안·조절 장애의 유무 등의 사용자 속성을 포함하여도 바람직하다. 또한 지시는, 예를 들면, 목적이나 과제나 기호이다. 목적이나 과제나 기호에는 「화상이 잘 안 보이므로 더 잘 보이게 하고 싶다」, 「화상이 어두워서 보기 어렵다」 「더 선명한 화면이 보고 싶다」와 같은 예가 있다. 즉, 지시의 내용이나 종류는 다양할 수 있다.
또한 수신이란 리모컨이나 키보드나 마우스, 터치 패널 등의 입력 디바이스로부터 입력된 정보의 수신, 유선 또는 무선 통신 회선을 통하여 송신된 정보의 수신, 광 디스크나 자기 디스크, 메모리 반도체 등의 기록 매체로부터 읽어 들인 정보의 수신 등을 포함한 개념이다. 지시의 입력 수단은 리모컨이나 숫자 패드와 키보드나 마우스와 메뉴 화면에 의한 것 등, 무엇이든 바람직하다. 지시 수신부(103)는 숫자 패드나 키보드 등의 입력 수단의 디바이스 드라이버나, 메뉴 화면의 제어 소프트웨어 등으로 실현될 수 있다.
화상 수신부(104)는 화상을 수신한다. 또한 화상 수신부(104)는 1 이상의 화상의 집합인 영상을 수신하여도 바람직하다. 여기서 화상이란 하나의 정지 화면도 바람직하고, 2 이상의 정지 화면으로 구성된 동영상도 바람직하다. 화상 수신부(104)는, 예를 들면, 텔레비전 튜너, 무선 또는 유선의 수신 수단 등에 의해 실현될 수 있다. 또한 화상의 수신이란 기록 매체로부터의 화상의 읽어 들임 등도 바람직하다. 즉, 화상을 수신하는 수단은 불문한다.
분할부(105)는 화상 수신부(104)가 수신한 화상(정지 화면도 동영상도 바람직하다)을 공간적, 또는 시간적, 또는 공간적 및 시간적으로 2 이상으로 분할하고, 2 이상의 제 1 시공간 블록을 획득한다. 또한 상술한 바와 같이, 화상을 분할하여 획득된 복수의 시공간 블록은 중복된 영역을 포함하여도 바람직하다. 또한 상술한 바와 같이, 화상을 분할하여 획득된 복수의 시공간 블록은 직사각형의 연속 영역만은 아니다. 시공간 블록은 비 직사각형이고 불연속한 화상의 영역도 바람직하다. 또한 분할부(105)는, 예를 들면, 1 화면(1 필드 또는 1 프레임)을 4개로 분할하여도 바람직하고, n 화면(n은 2 이상의 정수)을 8개로 분할하여도 바람직하다. 또한 분할하는 수는 불문한다. 또한 분할부(105)는 화상으로부터 1 화소씩 획득하고, 화상 해석부(106)에 전달하여도 바람직하다. 즉, 시공간 블록은 1 화소도 바람직하다.
분할부(105)는 통상 MPU나 메모리 등으로 실현된다. 분할부(105)의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
화상 해석부(106)는 화상 수신부(104)가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 제 1 화상의 전부 또는 일부분을 결정한다. 예를 들면, 화상 해석부(106)는 분할부(105)가 획득한 2 이상의 각 제 1 시공간 블록마다 각 제 1 시공간 블록에 대응하는 제 1 화상의 전부 또는 일부분을 결정하여도 바람직하다. 또한 화상 해석부(106)는 2 이상의 제 1 화상의 전부 또는 일부분을 결정하여도 바람직하다.
또한, 예를 들면, 화상 해석부(106)는 화상 수신부(104)가 수신한 화상, 또는 분할부(105)가 획득한 2 이상의 각 제 1 시공간 블록을 해석하고, 1 이상의 특징량을 획득하며, 1 이상의 특징량에 대응하는 제 1 화상의 전부 또는 일부분을 결정한다. 여기서 1 이상의 특징량이란, 예를 들면, 상술한 근방 특징량, 전체 특징량 중 1 이상의 특징량이다. 또한 화상 해석부(106)는 화상 수신부(104)가 수신한 1 이상의 화상의 전부 또는 일부분을 해석하고, 1 이상의 특징량을 획득하는 처리만이어도 바람직하다. 또한 화상 해석부(106)가 획득하는 특징량은 전체 특징량과 근방 특징량의 둘 모두를 포함하는 것이 적합하다.
또한 1 이상의 특징량에 대응하는 제 1 화상의 전부 또는 일부분을 결정하는 처리는, 예를 들면, 획득한 특징량 벡터와, 각 대응 정보가 갖는 제 1 화상의 전부 또는 일부분의 특징량 벡터의 거리를 산출하고, 해당 거리가 최소의 제 1 화상의 전부 또는 일부분의 특징량 벡터에 대응하는 파라미터군, 또는 연산식 등을 획득하는 처리이다.
또한 1 이상의 특징량에 대응하는 제 1 화상의 전부 또는 일부분을 결정하는 처리는, 예를 들면, 획득한 특징량 벡터로부터 룩업 테이블의 주소를 산출하는 처리이다. 또한 룩업 테이블의 주소를 산출하는 처리는 미리 저장되어 있는 연산식에 특징량 벡터를 대입하여 연산하는 처리이다.
화상 해석부(106)는 통상 MPU나 메모리 등으로 실현된다. 화상 해석부(106)의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
매핑부(107)는 룩업 테이블 중의 1 또는 2 이상의 대응 정보 중 어느 하나의 대응 정보를 이용하여 화상 수신부(104)가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 1 이상의 제 2 화상의 전부 또는 일부분을 획득한다. 또한, 예를 들면, 매핑부(107)는 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보를 이용하여(대응 정보의 일부(예를 들면, 파라미터 군)를 이용하는 것도 포함함), 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 제 2 화상의 전부 또는 일부분을 출력 화상의 전부 또는 일부분으로서 획득한다. 매핑부(107)는, 예를 들면, 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보가 갖는 연산식에 대입하는 파라미터군을 획득하고, 연산을 실시하며, 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 제 2 화상의 전부 또는 일부분을 생성한다. 또한 매핑부(107)는, 예를 들면, 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보가 갖는 제 2 화상의 전부 또는 일부분을 대응 정보로부터 획득한다.
매핑부(107)는 제 1 동작, 또는 제 2 동작 중의 하나의 동작을 실시하여도 바람직하다. 여기서 제 1 동작이란 화상 해석부(106)가 획득한 1 이상의 특징량을 이용하여 화상 수신부(104)가 수신한 1 이상의 화상과 비교하고, 더 목적에 일치하도록 뇌 부하가 조정된 화상을 출력할 수 있는 1 이상의 대응 정보를 선택하는 동작이다. 또한 제 2 동작이란 화상 수신부(104)가 수신한 1 이상의 화상과 비교하여 더 목적에 일치하도록 뇌 부하가 조정된 화상을 출력할 수 있는 룩업 테이블 및 1 이상의 대응 정보를 선택하는 동작이다.
그리고 다음으로 매핑부(107)는 해당 선택한 1 이상의 대응 정보를 이용하여 화상 수신부(104)가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 1 이상의 제 2 화상의 전부 또는 일부분을 획득하여도 바람직하다.
또한 매핑부(107)는 제 3 동작, 또는 제 4 동작 중의 하나의 동작을 실시하여도 바람직하다. 여기서 제 3 동작이란 화상 해석부(106)가 획득한 1 이상의 특징량을 이용하여 화상 수신부(104)가 수신한 1 이상의 화상과 비교하고, 더 목적에 일치하도록 뇌 부하가 조정된 화상을 출력할 수 있는 2 이상의 대응 정보를 선택하는 동작이다. 또한 제 4 동작이란 화상 수신부(104)가 수신한 1 이상의 화상과 비교하여 더 목적에 일치하도록 뇌 부하가 조정된 화상을 출력할 수 있는 룩업 테이블 및 2 이상의 대응 정보를 선택하는 동작이다.
그리고 다음으로 매핑부(107)는 해당 선택한 2 이상의 대응 정보를 이용하여 1 이상의 제 2 화상의 전부 또는 일부분을 획득하여도 바람직하다. 또한 2 이상의 대응 정보를 이용하여 1 이상의 제 2 화상의 전부 또는 일부분을 획득하는 경우, 매핑부(107)는 화상 수신부(104)가 수신한 1 이상의 화상의 전부 또는 일부분을 2 이상의 각 대응 정보를 이용하여 처리하고, 해당 처리한 2 이상의 결과를 융합하여 1 이상의 제 2 화상의 전부 또는 일부분을 획득하여도 바람직하다. 또한 2 이상의 대응 정보를 이용하여 1 이상의 제 2 화상의 전부 또는 일부분을 획득하는 경우, 매핑부(107)는 2 이상의 대응 정보를 이용하여 새로운 대응 정보를 생성하고, 당해 새로운 대응 정보를 이용하여 1 이상의 제 2 화상의 전부 또는 일부분을 획득하여도 바람직하다. 또한 상기의 2 이상의 결과의 융합이란, 예를 들면, 화상의 2 이상의 속성을 모두 이용한 화상을 생성하는 것이나, 2 이상의 속성의 중간적인 성질을 갖는 화상을 생성하는 것 등이다.
매핑부(107)는 2 이상의 각 제 1 시공간 블록마다 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보를 이용하여(대응 정보의 일부를 이용하는 것도 포함함), 제 2 시공간 블록을 획득하여도 바람직하다. 또한 이런 제 2 시공간 블록은 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 제 2 시공간 블록이다.
또한 매핑부(107)는, 예를 들면, 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보가 갖는 연산식에 대입하는 파라미터군을 획득하여 연산을 실시하고, 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 제 2 시공간 블록을 획득한다. 또한 매핑부(107)는, 예를 들면, 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보가 갖는 제 2 화상의 전부 또는 일부분(제 2 시공간 블록)을 대응 정보로부터 획득한다.
또한 매핑부(107)는 제 2 화상의 전부 또는 일부분을 획득한 후, 보정 처리를 실시하여도 바람직하다. 보정 처리는 매핑부(107)가 화상 수신부(104)가 수신한 화상의 전부 또는 일부분의 특징량과, 대응 정보가 갖는 제 1 화상의 전부 또는 일부분의 특징량을 이용하여, 제 2 화상의 전부 또는 일부분을 보정하는 처리이다. 또한 보정하여 획득한 화상도 제 2 화상이라고 말해도 바람직하고, 출력 화상이라고 말해도 바람직하다. 보정 처리는, 예를 들면, 매핑부(107)가 화상 수신부(104)가 수신한 화상의 전부 또는 일부분의 특징량과, 대응 정보가 갖는 제 1 화상의 전부 또는 일부분의 특징량의 차분을 획득하고, 해당 차분을 이용하여 제 2 화상의 전부 또는 일부분을 보정하며, 출력 화상의 전부 또는 일부분이 화상 수신부(104)가 수신한 화상의 전부 또는 일부분에 더 일치하도록 보정하는 처리이다.
매핑부(107)는 통상 MPU나 메모리 등으로 실현된다. 매핑부(107)의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
이하 매핑부(107)가 종류 식별자 획득 수단(1071), 출력 화상 후보 획득 수단(1072), 판단 수단(1073), 변경 수단(1074) 및 출력 화상 획득 수단(1075)을 포함하는 경우에 대하여 설명한다. 또한 매핑부(107)는 종류 식별자 획득 수단(1071), 출력 화상 후보 획득 수단(1072), 판단 수단(1073), 변경 수단(1074) 및 출력 화상 획득 수단(1075)을 포함하지 않는 경우도 있다.
매핑부(107)를 구성하는 종류 식별자 획득 수단(1071)은 이용하는 룩업 테이블의 종류를 식별하는 1 또는 2 이상의 종류 식별자를 획득한다. 종류 식별자 획득 수단(1071)은, 예를 들면, 종류 식별자와, 화상의 전부 또는 일부분의 1 이상의 특징량이 대응하고, 저장부(101)에 저장되는 경우, 화상 수신부(104)가 수신한 화상의 전부 또는 일부분의 1 이상의 특징량을 획득하며, 해당 1 이상의 특징량에 가장 근사하는 1 이상의 특징량을 결정하고, 해당 1 이상의 특징량에 대응하는 종류 식별자를 저장부(101)로부터 획득하여도 바람직하다. 또한 종류 식별자 획득 수단(1071)은 도시하지 않은 EPG 저장부에 저장되는 EPG(전자 프로그램표)에 포함되는 프로그램(출력 중인 프로그램)의 장르를 종류 식별자로 하여도 바람직하다. 또한 종류 식별자 획득 수단(1071)은 사용자로부터 수신한 종류 식별자를 도시하지 않는 기록 매체에 저장하고, 이와 같은 종류 식별자를 획득하여도 바람직하다. 또한 종류 식별자 획득 수단(1071)은, 예를 들면, 지시 수신부(103)가 수신한 지시에 대응하는 1 이상의 종류 식별자를 획득한다. 예를 들면, 지시 수신부(103)가 「화상이 잘 안 보이므로 더 잘 보이게 하고 싶다」에 대응하는 목적을 수신한 경우, 종류 식별자 획득 수단(1071)은 노이즈를 저감하는 룩업 테이블의 종류를 식별하는 종류 식별자를 획득한다. 또한, 예를 들면, 지시 수신부(103)가 「화상이 잘 안 보이므로 더 잘 보이게 하고 싶다」에 대응하는 목적을 수신한 경우, 종류 식별자 획득 수단(1071)은 조명 환경을 밝게 하는 룩업 테이블의 종류를 식별하는 종류 식별자를 획득하여도 바람직하다. 또한, 예를 들면, 지시 수신부(103)가 「화상이 잘 안 보이므로 더 잘 보이게 하고 싶다」에 대응하는 목적을 수신한 경우, 종류 식별자 획득 수단(1071)은 노이즈를 저감하는 룩업 테이블의 종류 식별자와, 조명 환경을 밝게 하는 룩업 테이블의 종류 식별자를 획득하여도 바람직하다.
또한, 예를 들면, 지시 수신부(103)가 「화상이 잘 안 보이므로 더 잘 보이게 하고 싶다」에 대응하는 목적을 수신한 경우, 종류 식별자 획득 수단(1071)은 화상 중의 노이즈를 검출하고, 임계값 이상의 노이즈가 존재하는지의 여부를 검지하며, 임계값 이상의 노이즈가 존재한다고 판단한 경우는 노이즈를 저감하는 룩업 테이블의 종류 식별자를 획득한다. 또한, 예를 들면, 지시 수신부(103)가 「화상이 잘 안 보이므로 더 잘 보이게 하고 싶다」에 대응하는 목적을 수신한 경우, 종류 식별자 획득 수단(1071)은 화상의 휘도값의 분포를 획득하고, 화상의 휘도 분포가 미리 정해진 조건을 충족하지 않을 만큼 어둡다고 판단한 경우, 조명 환경을 밝게 하는 룩업 테이블의 종류 식별자를 획득하여도 바람직하다.
종류 식별자 획득 수단(1071)은 통상 MPU나 메모리 등으로 실현된다. 종류 식별자 획득 수단(1071)의 처리 순서는 통상 소프트웨어로 실현하며, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
출력 화상 후보 획득 수단(1072)은 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보(대응 정보의 일부도 바람직한 취지임)를 이용하여 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 제 2 화상의 전부 또는 일부분을 획득한다. 여기서 획득된 제 2 화상의 전부 또는 일부분은 출력 화상의 전부 또는 일부분의 후보이다. 또한 「제 2 화상의 전부 또는 일부분을 획득한다」란, 예를 들면, 대응 정보가 갖는 연산식, 또는 대응 정보가 갖는 연산식에 대입하는 파라미터의 집합을 이용하여 연산하고, 제 2 화상의 전부 또는 일부분을 획득하는 것이다. 이러한 경우, 대응 정보는 제 1 화상의 전부 또는 일부분에 대응하는 제 2 화상의 전부 또는 일부분을 생성하기 위한 연산식, 또는 연산식에 대입하는 파라미터의 집합을 갖는다. 또한 「제 2 화상의 전부 또는 일부분을 획득한다」란, 예를 들면, 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보에 포함되는 제 2 화상의 전부 또는 일부분을 획득하는 것도 바람직하다.
출력 화상 후보 획득 수단(1072)은 통상 MPU나 메모리 등으로 실현된다. 출력 화상 후보 획득 수단(1072)의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
판단 수단(1073)은 구속 요건을 충족하는지의 여부를 판단한다. 구속 조건이 처리 대상인 화상의 전부 또는 일부에 대한 조건인 경우, 판단 수단(1073)은 화상 수신부(104)가 수신한 화상의 전부 또는 일부의 1 이상의 특징량을 획득하고, 해당 1 이상의 특징량이 구속 조건을 충족하는지의 여부를 판단한다. 또한 구속 조건이 룩업 테이블에 관한 조건인 경우, 판단 수단(1073)은 룩업 테이블의 과거의 이용에 관한 정보(조건에 대응하는 이용 이력)를 획득하고, 해당 이용 이력이 구속 조건을 충족하는지의 여부를 판단한다. 또한 이용 이력은, 예를 들면, 입력 화상 중 최근 n 필드(n은 1 이상의 정수)의 처리에 이용된 룩업 테이블의 종류 식별자나, 입력 화상 중 최근 n 필드(n은 1 이상의 정수)의 처리에 이용된 대응 정보를 특정하는 정보이다. 또한 구속 조건이 이용 이력을 포함하는 경우, 해당 이용 이력은 매핑부(107)가 도시하지 않는 기록 매체에 축적하여 생성된다고 가정한다. 게다가 구속 조건이 출력 화상에 관한 조건인 경우, 판단 수단(1073)은, 예를 들면, 출력 화상 후보 획득 수단(1072)이 획득한 제 2 화상의 전부 또는 일부분이 구속 조건 저장부(102)의 구속 조건을 충족하는지의 여부를 판단한다. 예를 들면, 판단 수단(1073)은 구속 조건에 포함되는 제 2 화상의 전부 또는 일부분의 속성값(예를 들면, 화소의 최댓값, 화소의 휘도의 시간적인 변화)을 획득하고, 속성값이 구속 조건(예를 들면, 「화소의 최댓값 <= 255」,「화소의 휘도의 시간적인 변화 <= 100」)을 충족하는지의 여부를 판단한다.
판단 수단(1073)은 통상 MPU나 메모리 등으로 실현된다. 판단 수단(1073)의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
변경 수단(1074)은 판단 수단(1073)이 구속 조건을 충족하지 않다고 판단한 경우에 제 2 화상의 전부 또는 일부분을 변경한다. 또한 변경 수단(1074)은 판단 수단(1073)이 구속 조건을 충족하지 않다고 판단한 경우, 룩업 테이블을 변경하여도 바람직하다.
또한 변경 수단(1074)은 판단 수단(1073)이 구속 조건을 충족하지 않다고 판단한 경우, 판단 후에 수신되는 입력 화상, 또는 판단 후에 획득된 시공간 블록, 또는 판단 후에 수신되는 입력 화상의 1 이상의 특징량, 또는 판단 후에 획득된 시공간 블록의 1 이상의 특징량을 구속 조건을 만족하도록 변경하여도 바람직하다.
또한 판단 수단(1073)이 구속 조건을 충족하지 않다고 판단한 경우에는, 변경 수단(1074)은, 예를 들면, 판단 수단(1073)의 판단 대상인 제 2 화상의 전부 또는 일부분을 구속 조건을 만족하도록 변경하여 변경 화상을 획득한다. 여기서 「구속 조건을 만족하도록 변경하는 처리」는, 예를 들면, 제 2 화상의 전부 또는 일부분을 구성하는 복수의 화소의 최댓값이 구속 조건(예를 들면, 「최댓값 <= 255」)에 일치하도록, 예를 들면, 복수의 화소의 최댓값이 255가 되도록 해당 복수의 화소의 값을 전체적으로 압축하는 처리이다. 또한 전체적으로 복수의 화소의 값을 압축하는 처리란 동일한 비율로 복수의 화소의 값을 작게 하여도 바람직하고, 상이한 비율이나, 값의 크기에 따라 복수의 화소의 값을 작게 하는 등을 하여도 바람직하다.
변경 수단(1074)은 통상 MPU나 메모리 등으로 실현된다. 변경 수단(1074)의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
출력 화상 획득 수단(1075)은 복수의 대응 정보 중 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보(대응 정보의 일부도 바람직한 취지임)를 이용하여 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 제 2 화상의 전부 또는 일부분을 출력 화상의 전부 또는 일부분으로서 획득한다. 여기서 상기 복수의 대응 정보란 저장부(101)의 하나의 룩업 테이블의 복수의 대응 정보, 또는 1 또는 2 이상의 종류 식별자에 대응하는 1 또는 2 이상의 룩업 테이블이 갖는 복수의 대응 정보이다.
또한 출력 화상 획득 수단(1075)은 판단 수단(1073)이 구속 조건을 충족한다고 판단한 제 2 화상의 전부 또는 일부분, 또는 변경 수단(1074)이 획득한 변경 화상, 또는 판단 수단(1073)이 구속 조건을 충족한다고 판단한 제 2 화상의 전부 또는 일부분 및 변경 수단(1074)이 획득한 변경 화상을 출력 화상의 전부 또는 일부분으로서 획득하는 것은 적합하다.
또한 출력 화상 획득 수단(1075)은 1 또는 2 이상의 종류 식별자에 대응하는 1 또는 2 이상의 룩업 테이블이 갖는 대응 정보 중 화상 해석부(106)가 획득한 1 이상의 특징량에 대응하는 1 이상의 대응 정보를 이용하여 화상 수신부(104)가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 1 이상의 제 2 화상의 전부 또는 일부분을 출력 화상의 전부 또는 일부분으로서 획득하여도 바람직하다. 또한 1 또는 2 이상의 종류 식별자는 종류 식별자 획득 수단(1071)이 획득한 종류 식별자이다.
또한 출력 화상 획득 수단(1075)은 상술한 보정 처리를 실시하는 것은 적합하다.
출력 화상 획득 수단(1075)은 통상 MPU나 메모리 등으로 실현된다. 출력 화상 획득 수단(1075)의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
합성부(108)는 매핑부(107)가 획득한 2 이상의 각 제 2 시공간 블록을 2 이상의 각 제 2 시공간 블록에 대응하는 제 1 시공간 블록의 시간적, 또는 공간적, 또는 공간적 및 시간적인 위치에 배치하여 출력 화상을 생성한다.
합성부(108)는 통상 MPU나 메모리 등으로 실현된다. 합성부(108)의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
화상 출력부(109)는 출력 화상을 출력한다. 화상 출력부(109)는 합성부(108)가 생성한 출력 화상을 출력하여도 바람직하다. 여기서의 출력이란 통상 디스플레이로의 표시, 프로젝터를 이용한 투영이지만, 외부의 장치나 다른 프로그램으로의 송신 등을 포함하는 개념이다.
화상 출력부(109)는, 예를 들면, 디스플레이나 프로젝터 등의 출력 디바이스를 포함한다고 생각하여도, 포함하지 않는다고 생각하여도 바람직하다. 화상 출력부(109)는, 예를 들면, 출력 디바이스의 드라이버 소프트웨어 또는, 출력 디바이스의 드라이버 소프트웨어와 출력 디바이스 등으로 실현될 수 있다.
룩업 테이블 갱신부(110)는 지시 수신부(103)가 수신한 지시에 따라 룩업 테이블이 갖는 2 이상의 대응 정보 중 어느 하나를 변경한다. 룩업 테이블 갱신부(110)는 룩업 테이블이 갖는 모든 대응 정보를 갱신하여도 바람직하고, 일부 대응 정보를 갱신하여도 바람직하다. 대응 정보가 제 2 화상의 전부 또는 일부분을 생성하기 위한 연산식, 또는 제 2 화상의 전부 또는 일부분을 생성하기 위한 파라미터군을 포함하는 경우, 룩업 테이블 갱신부(110)는, 예를 들면, 지시에 따라 연산식에 포함되는 파라미터군, 또는 제 2 화상의 전부 또는 일부분을 생성하기 위한 파라미터군을 변경한다. 예를 들면, 지시는 화상의 입체감의 정도를 포함하는 경우, 룩업 테이블 갱신부(110)는 사용자로부터 입력된 화상의 입체감의 정도를 이용하여 대응 정보가 갖는 파라미터군을 변경한다. 이러한 경우의 변경 방법(변경하기 위한 식 등)은 불문한다. 예를 들면, 룩업 테이블 갱신부(110)는 화상의 입체감의 정도의 정보에 대응하여, 파라미터군을 도시하지 않는 기록 매체에 보유하고, 지시된 화상의 입체감의 정도의 정보에 대응하는 파라미터군을 도시하지 않는 기록 매체로부터 읽어 들인다. 또한 예를 들면, 룩업 테이블 갱신부(110)는 화상의 입체감의 정도를 파라미터와 파라미터군의 생성을 위한 연산식을 보유하고, 이러한 연산식에 화상의 입체감의 정도를 대입하여 연산을 실시하고 파라미터군을 획득한다.
또한 지시 수신부(103)가 1 이상의 제 2 화상의 후보를 선택하는 지시를 수신한 경우, 예를 들면, 룩업 테이블 갱신부(110)는 1 이상의 제 2 화상의 각 후보로부터 1 이상의 특징량을 획득하고, 해당 1 이상의 특징량을 파라미터군으로서 획득한다. 또한 지시 수신부(103)가 1 이상의 제 2 화상의 후보를 선택하는 지시를 수신한 경우, 예를 들면, 룩업 테이블 갱신부(110)는 1 이상의 제 2 화상의 각 후보로부터 1 이상의 특징량을 획득하고, 해당 1 이상의 특징량을 미리 저장하고 있는 연산식에 대입하여 연산을 실시하여 파라미터군을 획득한다.
룩업 테이블 갱신부(110)는 통상 MPU나 메모리 등으로 실현된다. 합성부(108)의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
다음으로, 화상 처리 장치(1)의 동작에 대하여 도 2의 흐름도를 이용하여 설명한다.
(단계 S201) 화상 수신부(104)는 1 이상의 화상을 수신했는지의 여부를 판단한다. 1 이상의 화상을 수신하면 단계 S202로 진행하고, 1 이상의 화상을 수신하지 않으면 단계 S210으로 진행한다. 또한 여기서의 화상은 통상 2 이상의 정지 화면으로 구성되는 영상이다.
(단계 S202) 분할부(105)는 단계 S201에서 수신된 화상을 공간적, 또는 시간적, 또는 공간적 및 시간적으로 2 이상으로 분할하고, 2 이상의 제 1 시공간 블록을 획득한다.
(단계 S203) 화상 해석부(106)는 카운터 i에 1을 대입한다.
(단계 S204) 화상 해석부(106)는 단계 S202에서 획득된 제 1 시공간 블록 중 i번째 블록이 존재하는지의 여부를 판단한다. i번째 블록이 존재하면 단계 S205로 진행하고, i번째 블록이 존재하지 않으면 단계 S208로 진행한다.
(단계 S205) 화상 해석부(106)는 i번째 제 1 시공간 블록에 대하여 화상 분석 처리한다. 그리고 화상 해석부(106)는 i번째 제 1 시공간 블록에 대응하는 제 1 화상의 전부 또는 일부분을 결정한다. 이러한 화상 해석 처리에 대하여 도 3의 흐름도를 이용하여 설명한다.
(단계 S206) 매핑부(107)는 단계 S205에서 결정된 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보를 이용하여 단계 S205에서 결정된 제 1 화상의 전부 또는 일부분에 대응하는 제 2 화상의 전부 또는 일부분을 출력 화상의 전부 또는 일부분으로서 획득한다. 이러한 처리를 매핑 처리라 칭한다. 매핑 처리에 대하여 도 4의 흐름도를 이용하여 설명한다. 또한 본 단계에서 획득된 출력 화상의 전부 또는 일부분은 제 2 시공간 블록이다.
(단계 S207) 화상 해석부(106)는 카운터 i를 1 증가시키고, 단계 S204로 복귀한다.
(단계 S208) 합성부(108)는 단계 S206에서 획득된 2 이상의 제 2 시공간 블록을 합성하여 출력 화상을 생성한다. 더욱 상세하게는 단계 S206에서 획득된 2 이상의 각 제 2 시공간 블록을 2 이상의 각 제 2 시공간 블록에 대응하는 제 1 시공간 블록의 시간적, 또는 공간적, 또는 공간적 및 시간적인 위치에 배치하여 출력 화상을 생성한다.
(단계 S209) 화상 출력부(109)는 단계 S208에서 생성된 출력 화상을 출력한다.
(단계 S210) 지시 수신부(103)는 사용자의 지시를 수신했는지의 여부를 판단한다. 사용자의 지시를 수신하면 단계 S211로 진행하고, 사용자의 지시를 수신하지 않으면 단계 S201로 복귀한다.
(단계 S211) 룩업 테이블 갱신부(110)는 단계 S210에서 수신된 지시에 따라 룩업 테이블을 갱신한다. 이러한 처리를 룩업 테이블 갱신 처리라 칭한다. 룩업 테이블 갱신 처리에 대하여 도 6의 흐름도를 이용하여 설명한다.
또한 도 2의 흐름도에서 전원 오프나 처리 종료의 인터럽트에 따른 처리는 종료한다.
또한 도 2의 흐름도에서 복수의 화상이나 화상 스트림을 수신 중에, 단계 S210의 지시를 수신하여 룩업 테이블을 갱신하여도 바람직하다.
다음으로, 단계 S205의 화상 해석 처리에 대하여 도 3의 흐름도를 이용하여 설명한다.
(단계 S301) 화상 해석부(106)는 상기 i번째 제 1 시공간 블록에 대하여 화상 해석하고, 1 이상의 특징량인 특징량 벡터(제 1 특징량 벡터라 칭함)를 획득한다. 또한 1 이상의 특징량은, 예를 들면, 상술한 근방 특징량 또는/및 전체 특징량 중 1 이상의 특징량이다. 또한 예를 들면, 1 이상의 특징량은, 예를 들면, 복수의 화소의 최댓값(MAX) 및 최소값(MIN), 다이내믹 레인지(DR=MAX-MIN), 휘도 도수 분포, 시간 방향의 차분값 등이다. 또한 화상으로부터 이러한 1 이상의 특징량을 획득하는 기술은 공지 기술이므로 상세한 설명을 생략한다. 또한 특징량은 상술한 특징량에 한정하지 않는 것은 물론이다.
(단계 S302) 화상 해석부(106)는 카운터 i에 1을 대입한다.
(단계 S303) 화상 해석부(106)는 저장부(101)의 룩업 테이블 중에 i번째 대응 정보가 존재하는지의 여부를 판단한다. i번째 대응 정보가 존재하면 단계 S304로 진행하고, i번째 대응 정보가 존재하지 않으면 단계 S307로 진행한다. 또한 저장부(101)에 2 이상의 룩업 테이블이 존재하는 경우, 본 단계에서는 어느 하나의 룩업 테이블을 이용하는 것도 바람직하다. 또한 후술하는 종류 식별자 획득 처리를 실시하고 나서, 해당 종류 식별자 획득 처리에서 획득한 종류 식별자에 대응하는 룩업 테이블을 이용하여도 바람직하다.
(단계 S304) 화상 해석부(106)는 i번째 대응 정보가 갖는 특징량 벡터(제 2 특징량 벡터로 칭함)를 획득한다.
(단계 S305) 화상 해석부(106)는 단계 S301에서 획득한 제 1 특징량 벡터와, 단계 S304에서 획득한 제 2 특징량 벡터의 거리를 산출하고, 해당 거리를 i(i번째 대응 정보)에 대응하여 버퍼에 일시 축적한다.
(단계 S306) 화상 해석부(106)는 카운터 i를 1 증가시키고, 단계 S303으로 복귀한다.
(단계 S307) 화상 해석부(106)는 버퍼에 축적되어 있는 거리가 가장 작은 대응 정보를 획득한다. 상위 처리로 복귀한다. 또한 대응 정보를 획득하는 처리는 제 1 화상의 전부 또는 일부분을 결정하는 처리이다.
또한 도 3의 흐름도에서 대응 정보는 ID(어드레스도 바람직함)를 갖고 있으며, 예를 들면, 1 이상의 특징량을 미리 저장하고 있는 연산식에 대입하여, ID(어드레스도 바람직함)를 획득하도록 하여도 바람직하다. 즉, 화상 분석 처리 방법은 불문한다.
다음으로, 단계 S206의 매핑 처리의 예에 대하여 도 4의 흐름도를 이용하여 설명한다.
(단계 S401) 매핑부(107)를 구성하는 종류 식별자 획득 수단(1071)은 이용하는 룩업 테이블의 종류를 식별하는 종류 식별자를 획득한다. 이러한 종류 식별자 획득 처리의 예에 대하여 도 5의 흐름도를 이용하여 설명한다.
(단계 S402) 출력 화상 후보 획득 수단(1072)은 단계 S401에서 획득한 종류 식별자에 대응하는 룩업 테이블 중의 대응 정보로서, 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보 중의 파라미터군을 획득한다.
(단계 S403) 출력 화상 후보 획득 수단(1072)은 단계 S402에서 획득한 파라미터군을 이용하여 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 제 2 화상의 전부 또는 일부분을 생성한다. 더 구체적으로는, 예를 들면, 출력 화상 후보 획득 수단(1072)은 미리 저장하고 있는 연산식에 단계 S402에서 획득한 파라미터군을 대입하여 연산식을 실행한다. 그리고, 출력 화상 후보 획득 수단(1072)은 제 2 화상의 전부 또는 일부분을 획득한다.
(단계 S404) 판단 수단(1073)은 구속 조건 저장부(102)로부터 구속 조건을 읽어 들인다.
(단계 S405) 판단 수단(1073)은 단계 S402에서 획득된 제 2 화상의 전부 또는 일부분이 단계 S403로부터 읽어 들인 구속 조건을 충족하는지의 여부를 판단하고, 판단 결과를 버퍼에 대입한다.
(단계 S406) 단계 S404에서의 판단 결과가 「구속 요건을 충족함(일치)」인 경우는 단계 S407로 진행하고, 「구속 조건을 충족하지 않음(일치하지 않음)」인 경우는 단계 S408로 진행한다.
(단계 S407) 출력 화상 획득 수단(1075)은 출력 화상의 전부 또는 일부분으로서 단계 S402에서 획득된 제 2 화상의 전부 또는 일부분을 획득한다. 상위 처리로 복귀한다.
(단계 S408) 변경 수단(1074)은 단계 S402에서 획득된 제 2 화상의 전부 또는 일부분을 구속 조건을 충족하도록 변경하여 변경 화상을 획득한다.
(단계 S409) 출력 화상 획득 수단(1075)은 출력 화상의 전부 또는 일부분으로서 단계 S408에서 획득된 변경 화상을 획득한다. 상위 처리로 복귀한다.
또한 도 4의 흐름도에서 제 2 화상의 전부 또는 일부분을 생성하는 방법이나, 제 2 화상의 전부 또는 일부분을 획득하는 방법은 다른 방법도 바람직하다.
또한 도 4의 흐름도에서 저장부(101)의 룩업 테이블이 하나인 경우, 단계 S401처리는 불필요하다는 것은 물론이다.
다음으로, 단계 S401의 종류 식별자 획득 처리의 예에 대하여 도 5의 흐름도를 이용하여 설명한다.
(단계 S501) 종류 식별자 획득 수단(1071)은 상기 i번째 블록(제 1 화상)의 특징량 벡터를 획득한다.
(단계 S502) 종류 식별자 획득 수단(1071)은 카운터 i에 1을 대입한다.
(단계 S503) 종류 식별자 획득 수단(1071)은 저장부(101)에 i번째 종류 식별자가 존재하는지의 여부를 판단한다. i번째 종류 식별자가 존재하면 단계 S504로 진행하고, i번째 종류 식별자가 존재하지 않으면 단계 S507로 진행한다.
(단계 S504) 종류 식별자 획득 수단(1071)은 i번째 종류 식별자에 대응하는 특징량 벡터를 획득한다.
(단계 S505) 종류 식별자 획득 수단(1071)은 단계 S501에서 획득한 특징량 벡터와, 단계 S504에서 획득한 특징량 벡터의 거리를 산출하여 i번째 종류 식별자에 대응시키고, 버퍼에 일시 축적한다.
(단계 S506) 종류 식별자 획득 수단(1071)은 카운터 i를 1 증가시키고, 단계 S503로 복귀한다.
(단계 S507) 종류 식별자 획득 수단(1071)은 단계 S505에서 산출한 가장 작은 거리에 대응하는 종류 식별자를 획득한다. 상위 처리로 복귀한다.
또한 도 5의 흐름도에서 종류 식별자 획득 처리는 상술한 바와 같은 다른 방법이여도 바람직하다. 즉, 도 5의 흐름도에서 블록 특징량 벡터(1 이상의 근방 특징량)를 이용하여 종류 식별자를 결정했지만, 상술한 바와 같이, 전체 특징량이나 근방 특징량을 이용하여 종류 식별자를 결정하여도 바람직하고, 전자 프로그램표의 정보 등을 이용하여 종류 식별자를 결정하여도 바람직하며, 사용자로부터의 지시에 따라 종류 식별자를 결정하여도 바람직하다.
다음으로, 단계 S211의 룩업 테이블 갱신 처리에 대하여 도 6의 흐름도를 이용하여 설명한다.
(단계 S601) 룩업 테이블 갱신부(110)는 지시 수신부(103)가 수신한 지시를 획득한다.
(단계 S602) 룩업 테이블 갱신부(110)는 단계 S601에서 획득한 지시에 포함되는 1 이상의 파라미터를 획득한다.
(단계 S603) 룩업 테이블 갱신부(110)는 카운터 i에 1을 대입한다.
(단계 S604) 룩업 테이블 갱신부(110)는 저장부(101)의 룩업 테이블에 i번째 대응 정보가 존재하는지의 여부를 판단한다. i번째 대응 정보가 존재하면 단계 S605로 진행하고, i번째 대응 정보가 존재하지 않으면 상위 처리로 복귀한다.
(단계 S605) 룩업 테이블 갱신부(110)는 단계 S602에서 획득한 1 이상의 파라미터를 이용하여 i번째 대응 정보가 갖는 파라미터군, 또는 i번째 대응 정보가 갖는 연산식을 변경한다.
(단계 S606) 룩업 테이블 갱신부(110)는 카운터 i를 1 증가시키고, 단계 S604로 복귀한다.
또한 도 6의 흐름도에서 룩업 테이블이 복수 존재하는 경우는 모든 룩업 테이블을 갱신하여도 바람직하다.
다음으로 구속 조건을 이용하여, 화상 등을 동적으로 변경하는 처리의 구체예에 대하여 설명한다. 화상 처리 장치(1)의 구속 조건 저장부(102), 매핑부(107)의 판단 수단(1073), 및 변경 수단(1074)에 의해 구속 조건을 충족하도록 처리를 실시하고, 목적에 따라 뇌 부하가 조정된 화상을 출력할 수 있다.
제 1 구체예는, 출력 화상의 화소값인 값을 초과한 경우에, 그 값보다 낮아지도록 보정하는 처리이다. 이러한 경우 구속 조건은 「출력 화상의 1 이상의 화소값이 임계값을 초과하지 않는 것」이다. 그리고 판단 수단(1073)이 이러한 구속 조건에 일치하지 않는다고 판단한 1 이상의 화소에 비하여, 변경 수단(1074)은 임계값을 초과하지 않도록 보정한다. 그리고, 출력 화상 획득 수단(1075)은 판단 수단(1073)이 구속 조건을 충족한다고 판단한 제 2 화상의 전부 또는 일부분, 또는 변경 수단(1074)이 획득한 변경 화상, 또는 판단 수단(1073)이 구속 조건을 충족한다고 판단한 제 2 화상의 전부 또는 일부분과 변경 수단(1074)이 획득한 변경 화상을 이용하여 출력 화상을 획득한다.
제 2 구체예는 입력 화상의 화소값이 정상 범위를 일탈하고 있는 경우에, 입력 화상의 해당 화소를 주변 화소를 이용하여 보충 보정하는 처리이다. 이러한 경우 구속 조건은 「입력 화상의 화소값이 정상 범위를 일탈하지 않는다」는 것이다. 그리고 판단 수단(1073)이 이러한 구속 조건에 일치하지 않는다고 판단한 1 이상의 화소에 비하여, 변경 수단(1074)은 해당 화소의 미리 정해진 범위의 주변 화소의 1 이상의 화소값을 획득하고, 해당 1 이상의 화소값을 이용하여 이상한 화소의 화소값을 결정한다. 그리고, 출력 화상 획득 수단(1075)은 변경 수단(1074)이 획득한 1 이상의 특징량, 또는 화상 수신부(104)가 수신한 화상의 일부의 1 이상의 특징량을 이용하여 1 이상의 제 2 화상의 일부분을 획득한다.
제 3 구체예는, 대응 정보를 이용하여 출력 화상을 획득할 경우에, 직전에 룩업 테이블의 하나의 대응 정보가 사용된 경우, 다음은 다른 대응 정보를 사용하도록 하는 처리이다. 이러한 경우 구속 조건은 「연속해서 동일한 대응 정보를 사용하지 않는다」는 것이다. 그리고 판단 수단(1073)이 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보가 직전에 이용되었는지의 여부를 판단한다. 또한 이러한 경우 직전에 이용된 대응 정보를 특정하는 정보가 적어도 일시 축적된다. 그리고 화상 해석부(106)가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보는 직전에 사용된 대응 정보와 동일하다고 판단 수단(1073)이 판단한 경우, 변경 수단(1074)은 2번째로 근접한 대응 정보를 획득한다. 즉, 변경 수단(1074)은 화상 해석부(106)에서 해당 결정한 제 1 화상의 전부 또는 일부분을 제외하고, 재차 제 1 화상의 전부 또는 일부분을 결정하는 지시를 화상 해석부(106)로 제공하며, 화상 해석부(106)는 재차 제 1 화상의 전부 또는 일부분을 결정한다. 이러한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보는 처리 대상의 입력 화상이나 시공간 블록 등에 비하여 2번째로 근접한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보이다. 그리고, 출력 화상 획득 수단(1075)은 변경 수단(1074)이 획득한 대응 정보를 이용하여 1 이상의 제 2 화상의 일부분을 획득한다.
제 4 구체예는 구속 조건에 포함되는 파라미터와 변경 목적지(destination)이 다른 예이다. 제 4 구체예는, 예를 들면, 출력 화상의 화소값이 임계값을 초과한 경우에는, 특정의 대응 정보를 사용하여 처리 정정하는 경우이다. 즉, 구속 조건은 「출력 화상의 1 이상의 화소값이 임계값을 넘지 않는 것」이다. 그리고 판단 수단(1073)이 이러한 구속 조건에 일치하지 않는다고 판단한 1 이상의 화소에 비하여, 변경 수단(1074)은 미리 결정된 대응 정보를 읽어 들인다. 그리고 해당 대응 정보를 이용하여 출력 화상 획득 수단(1075)은 재차 출력 화상을 구성한다.
제 5 구체예는 복수 개소의 파라미터를 판정에 사용하는 예이다. 제 5 구체예는, 예를 들면, 구속 조건은 「입력 화상의 화소값과 출력 화상의 화소값의 차가 임계값 이내인 것」이다. 그리고 판단 수단(1073)이 이러한 구속 조건에 일치하지 않는다고 판단한 1 이상의 화소에 비하여, 변경 수단(1074)은 출력 화상의 해당 화소의 화소값을 보정하고, 입력 화상의 화소의 화소값과의 차이를 임계값 이내로 한다. 그리고, 출력 화상 획득 수단(1075)은 이러한 화소값의 화소를 갖는 출력 화상을 획득한다.
이상 본 실시예에 따르면, 목적에 따라 뇌 부하가 조정된 화상을 출력하는 화상 처리 장치를 제공한다. 예를 들면, 본 실시예에 따르면, 입력 화상과 비교하여 뇌 부하를 더 저감할 수 있는 화상을 출력하는 화상 처리 장치나, 더 뇌에 자극을 주는 엔터테인먼트성이 증가하는 화상을 출력하는 화상 처리 장치 등을 제공한다.
또한 본 실시예의 화상 처리 장치가 뇌 부하를 더 저감할 수 있는 화상을 출력하는 경우, 해당 영상 처리 장치는 인간의 뇌에 적합한 화상으로서 인지할 수 있도록 하는 화상을 출력할 수 있다.
더 구체적으로는 본 실시예에 따르면, 광량, 광원의 위치, 광원의 색, 카메라의 위치 등 상이한 환경에서 촬영한 화상을 출력함으로써, 인간의 뇌에 적합한 화상으로서 인지할 수 있도록 하는 화상을 출력할 수 있다. 더 구체적으로는 본 실시예에 따르면, 뇌가 질감, 원근감, 존재감, 현장감, 중량감, 온화한 느낌, 서늘한 느낌, 속도감, 역동감, 움직임의 매끄러움, 신선한 느낌, 고급감 등을 더 느끼는 화상을 출력할 수 있다.
또한 본 실시예에 따르면, 복수의 룩업 테이블 중의 적합한 룩업 테이블을 사용함으로써, 목적에 따라 뇌 부하가 조정된 화상을 출력할 수 있다.
또한 본 실시예에 따르면, 구속 조건을 충족하도록 출력 화상을 변경함으로써, 목적에 따라 더 적합하게 뇌 부하가 조정된 화상을 출력할 수 있다.
또한 본 실시예에 따르면, 룩업 테이블을 커스터마이즈 가능하게 함으로써, 사용자의 기호 등에 따라 더 적합하게 뇌 부하가 조정된 화상을 출력할 수 있다.
또한 본 실시예의 화상 처리 장치(1)는 텔레비전 수신기도 바람직하다. 이러한 경우, 화상 수신부(104)가 수신하는 화상은 텔레비전 영상을 구성하는 화상이다.
또한 본 실시예의 화상 처리 장치(1)를 이용하면, 수신한 동영상을 이용하여 목적에 따라 실시간으로 뇌 부하가 조정된 동영상을 생성하여 출력하는 장치를 실현할 수 있다.
또한 본 실시예에서, 룩업 테이블이 하나의 대응 정보만을 갖는 경우, 화상 처리 장치(1)는 화상 해석부(106)를 갖지 않아도 바람직하다. 이러한 경우, 화상 처리 장치(1)는 도 7과 같은 구성이다. 그리고 이러한 경우 매핑부(107)는 저장부(101)의 하나의 대응 정보를 이용하여 화상 수신부(104)가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 1 이상의 제 2 화상의 전부 또는 일부분을 획득한다. 또한 이러한 경우도, 화상 해석부(106)가 존재하고, 영상 해석부(106)가 수신된 1 이상의 화상의 전부 또는 일부분으로부터 1 이상의 특징량을 획득하며, 매핑부(107)가 해당 특징량을 이용하여 상술한 보정 처리를 실시하여도 바람직하다.
또한 본 실시예의 화상 처리 장치(1)에서, 지시 수신부(103)나 룩업 테이블 갱신부(110) 등의 일부의 구성 요소를 포함하지 않아도 바람직한 것은 물론이다.
나아가 본 실시예의 처리는 소프트웨어로 실현하여도 바람직하다. 그리고 이런 소프트웨어를 소프트웨어 다운로드 등에 의해 배포하여도 바람직하다. 또한 이런 소프트웨어를 CD-ROM 등의 기록 매체에 기록하여 유포하여도 바람직하다. 또한 이런 것은 본 명세서의 다른 실시예도 해당한다. 또한 본 실시예의 화상 처리 장치를 실현하는 소프트웨어는 이하와 같은 프로그램이다. 즉, 이런 프로그램은 기억 매체에 1 이상의 제 1 화상의 전부 또는 일부분과, 상기 제 1 화상과 비교하여 뇌 부하가 조정된 화상이며 상기 제 1 화상과 동일한 대상에 대한 화상인 제 2 화상의 전부 또는 일부분의 대응을 획득하기 위한 정보인 1 또는 2 이상의 대응 정보를 갖는 룩업 테이블을 저장하고, 컴퓨터를, 1 이상의 화상을 수신하는 화상 수신부와, 상기 1 또는 2 이상의 대응 정보 중 어느 하나의 대응 정보를 이용하여 상기 화상 수신부가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 1 이상의 제 2 화상의 전부 또는 일부분을 획득하는 매핑부와, 상기 매핑부가 획득한 1 이상의 제 2 화상의 전부, 또는 상기 매핑부가 획득한 1 이상의 제 2 화상의 일부분의 집합인 1 이상의 출력 화상을 출력하는 화상 출력부로서 기능시키기 위한 프로그램이다.
또한 상기 프로그램에서, 상기 룩업 테이블은 2 이상의 대응 정보를 갖고, 컴퓨터를, 상기 화상 수신부가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 제 1 화상의 전부 또는 일부분을 결정하는 화상 해석부로 또한 기능시키고, 상기 매핑부는 상기 화상 해석부가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보를 이용하여 상기 화상 해석부가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 제 2 화상을 획득하는 것으로 하여 컴퓨터를 기능시키기 위한 프로그램인 것은 적합하다.
또한 상기 프로그램에서, 상기 제 1 화상의 전부 또는 일부분은 입력되는 영상 중 일부인 제 1 시공간 블록이고, 상기 제 2 화상의 전부 또는 일부분은 화면에 출력되는 영상 중 일부인 제 2 시공간 블록이며, 상기 화상 수신부는 1 이상의 화상의 집합인 영상을 수신하며, 컴퓨터를, 상기 화상 수신부가 수신한 영상을 공간적, 또는 시간적, 또는 공간적 및 시간적으로 2 이상으로 분할하여 2 이상의 제 1 시공간 블록을 획득하는 분할부로서 더 기능시키며, 상기 화상 해석부는 상기 분할부가 획득한 2 이상의 각 제 1 시공간 블록마다 해당 각 제 1 시공간 블록에 대응하는 제 1 화상의 전부 또는 일부분을 결정하고, 상기 매핑부는 상기 2 이상의 각 제 1 시공간 블록마다 상기 화상 해석부가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보를 이용하여 상기 화상 해석부가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 제 2 시공간 블록을 획득하며, 상기 매핑부가 획득한 2 이상의 각 제 2 시공간 블록을 해당 2 이상의 각 제 2 시공간 블록에 대응하는 제 1 시공간 블록의 시간적, 또는 공간적, 또는 공간적 및 시간적인 위치에 배치하여 출력 화상을 생성하는 합성부로서 더 기능시키는 것은 적합하다.
또한 상기 프로그램에서, 상기 화상 해석부는 상기 화상 수신부가 수신한 1 이상의 화상, 또는 상기 분할부가 획득한 2 이상의 각 제 1 시공간 블록을 해석하고, 1 이상의 특징량을 획득하며, 해당 1 이상의 특징량에 대응하는 제 1 화상의 전부 또는 일부분을 결정하는 것으로 하여 컴퓨터를 기능시키기 위한 프로그램인 것은 적합하다.
또한 상기 프로그램에서, 상기 기억 매체에는 룩업 테이블의 종류를 식별하는 종류 식별자와 해당 종류 식별자에 대응하는 룩업 테이블의 세트를 2세트 이상 저장하고, 상기 매핑부는 이용하는 룩업 테이블의 종류를 식별하는 1 이상의 종류 식별자를 획득하는 종류 식별자 획득 수단과, 상기 1 이상의 종류 식별자에 대응하는 1 이상의 룩업 테이블이 갖는 대응 정보 중 상기 화상 해석부가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보를 이용하여 상기 화상 해석부가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 제 2 화상의 전부 또는 일부분을 출력 화상의 전부 또는 일부분으로서 획득하는 출력 화상 획득 수단을 포함하는 것으로 하여 컴퓨터를 기능시키는 것은 적합하다.
또한 상기 프로그램에서 컴퓨터를, 사용자의 지시를 수신하는 지시 수신부와, 상기 지시에 따라 상기 룩업 테이블이 갖는 2 이상의 대응 정보 중 어느 하나를 변경하는 룩업 테이블 갱신부로서 더 기능시키는 것은 적합하다.
또한 본 실시예의 화상 처리 장치를 실현하는 소프트웨어는 기억 매체에 1 이상의 제 1 화상의 전부 또는 일부와, 해당 제 1 화상과는 상이한 제 2 화상의 전부 또는 일부의 대응을 획득하기 위한 정보인 1 또는 2 이상의 대응 정보를 갖는 룩업 테이블과, 입력 화상, 대응 정보, 또는 출력 화상 중 1 이상의 정보가 충족해야 할 조건인 구속 조건을 저장하며, 컴퓨터를, 1 이상의 화상을 수신하는 화상 수신부와, 1 또는 2 이상의 대응 정보 중 어느 하나의 대응 정보를 이용하여 화상 수신부가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 1 이상의 제 2 화상의 전부 또는 일부분을 상기 구속 조건에 일치하도록 획득하는 매핑부와, 상기 매핑부가 획득한 1 이상의 제 2 화상의 전부 또는 일부분으로 구성되는 출력 화상을 출력하는 화상 출력부로서 기능시키는 프로그램이다.
(실시예 2)
본 실시예에서, 실시예 1과 비교하여 화상 처리 장치(2)는 분할부(105) 및 합성부(108)를 포함하지 않는다.
도 8은 본 실시예의 화상 처리 장치(2)의 블록도이다.
화상 처리 장치(2)는 저장부(101), 구속 조건 저장부(102), 지시 수신부(103), 화상 수신부(104), 화상 해석부(106), 매핑부(107), 화상 출력부(109)및 룩업 테이블 갱신부(110)를 포함하다.
다음으로, 화상 처리 장치(2)의 동작에 대하여 도 9의 흐름도를 이용하여 설명한다. 도 9의 흐름도는 도 2의 흐름도의 일부분이다. 다만, 단계 S205의 화상 분석 처리는 단계 S201에서 수신된 화상 전체에 대하여 이루어진다. 또한 단계 S206의 매핑 처리도 단계 S201에서 수신된 화상 전체에 대하여 이루어진다.
게다가 도 9의 흐름도에서 전원 오프나 처리 종료의 인터럽트에 따른 처리는 종료한다.
또한 도 9의 흐름도에서 복수의 화상이나 화상 스트림을 수신 중에 단계 S210의 지시를 수신하여 룩업 테이블을 갱신하여도 바람직하다.
이상 본 실시예에 따르면, 목적에 따라 뇌 부하가 조정된 화상을 출력하는 화상 처리 장치를 제공한다. 예를 들면, 본 실시예에 따르면, 입력 화상과 비교하여 뇌 부하를 더 저감할 수 있는 화상을 출력하는 화상 처리 장치나 더 뇌에 자극을 주는 엔터테인먼트성이 증가하는 화상을 출력하는 화상 처리 장치 등을 제공한다.
또한 본 실시예의 화상 처리 장치가 뇌 부하를 더 저감할 수 있는 화상을 출력하는 경우, 해당 영상 처리 장치는 인간의 뇌에 적합한 영상으로 인지할 수 있도록 하는 화상을 출력하는 화상 처리 장치를 제공할 수 있다.
더 구체적으로는 본 실시예에 따르면, 광량, 광원의 위치, 광원의 색, 카메라의 위치 등 화상을 획득하는 환경을 더 바람직하게 한 화상을 출력함으로써, 인간의 뇌에 적합한 영상으로 인지할 수 있도록 하는 화상을 출력할 수 있다. 더욱 구체적으로는 본 실시예에 따르면, 뇌가 질감, 원근감, 존재감, 현장감, 중량감, 온화한 느낌, 서늘한 느낌, 속도감, 역동감, 움직임의 매끄러움, 신선한 느낌, 고급감 등을 더 느끼는 화상을 출력할 수 있다.
또한 본 실시예의 화상 처리 장치(2)를 삽입한 텔레비전 수신기는 구성 가능하다. 이러한 경우, 화상 수신부(104)가 수신하는 화상은 텔레비전 영상을 구성하는 화상이다.
또한 본 실시예에서, 룩업 테이블이 하나의 대응 정보만을 갖는 경우, 화상 처리 장치(2)는 화상 해석부(106)를 갖지 않아도 바람직하다. 이러한 경우, 화상 처리 장치(1)는 도 10과 같은 구성이다. 그리고 이러한 경우 매핑부(107)는 저장부(101)의 하나의 대응 정보를 이용하여 화상 수신부(104)가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 1 이상의 제 2 화상의 전부 또는 일부분을 획득한다. 또한 이러한 경우도, 화상 해석부(106)가 존재하고, 영상 해석부(106)가 수신된 1 이상의 화상의 전부 또는 일부분으로부터 1 이상의 특징량을 획득하며, 매핑부(107)가 해당 특징량을 이용하여 상술한 보정 처리를 하여도 바람직하다.
또한 본 실시예의 화상 처리 장치(2)에서 지시 수신부(103)나 룩업 테이블 갱신부(110) 등의 일부의 구성 요소를 포함하지 않아도 바람직한 것은 물론이다.
나아가 본 실시예의 화상 처리 장치를 실현하는 소프트웨어는 이하와 같은 프로그램이다. 즉, 이런 프로그램은 기억 매체에 1 이상의 제 1 화상의 전부 또는 일부분과, 상술한 제 1 화상과 비교하여 뇌 부하가 조정된 화상이며 상기 제 1 화상과 동일한 하나의 대상에 대한 화상인 제 2 화상의 전부 또는 일부분의 대응을 획득하기 위한 정보인 1 또는 2 이상의 대응 정보를 갖는 룩업 테이블을 저장하며, 컴퓨터를, 1 이상의 화상을 수신하는 화상 수신부와, 상기 1 또는 2 이상의 대응 정보 중 어느 하나의 대응 정보를 이용하여 상기 화상 수신부가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 1 이상의 제 2 화상의 전부 또는 일부분을 획득하는 매핑부와, 상기 매핑부가 획득한 1 이상의 제 2 화상의 전부, 또는 상기 매핑부가 획득한 1 이상의 제 2 화상의 일부분의 집합인 1 이상의 출력 화상을 출력하는 화상 출력부로서 기능시키기 위한 프로그램이다.
(실시예 3)
본 실시예에서, 룩업 테이블을 생성하는 룩업 테이블 획득 장치(3)에 대하여 설명한다. 룩업 테이블 획득 장치(3)는 본 명세서에서 말하는 제 1 화상의 전부 또는 일부분을 제 2 화상의 전부 또는 일부분으로 변환하기 위해 이용되는 룩업 테이블을 학습하기 위한 장치이다.
도 11은 본 실시예의 룩업 테이블 획득 장치(3)의 블록도이다.
룩업 테이블 획득 장치(3)는 저장부(101), 제 1 화상 저장부(31), 제 2 화상 저장부(32), 제 2 화상 정보 후보 집합 저장부(33), 지시 수신부(103), 후보 출력부(34), 제 2 화상 축적부(35), 제 1 화상 관련 정보 획득부(36), 제 2 화상 관련 정보 획득부(37), 룩업 테이블 구성부(38), 및 룩업 테이블 축적부(39)를 포함하다.
지시 수신부(103)는 사용자의 지시를 수신한다. 여기서의 지시는 제 2 화상 정보 후보 집합 저장부(33)에 저장되는 제 2 화상 정보 후보 집합을 출력하는 지시, 1 이상의 제 2 화상 정보의 후보를 선택하는 지시 등이다. 또한 사용자는 룩업 테이블 획득 장치(3)를 제공하는 기업의 담당자도 바람직하고, 상술한 화상 처리 장치나 텔레비전 수상기의 사용자(시청자) 등도 바람직하다. 또한 제 2 화상 정보 후보 집합, 및 제 2 화상 정보에 대해서는 후술한다.
제 1 화상 저장부(31)는 1 이상의 제 1 화상을 저장할 수 있다. 제 1 화상은 화상 처리 장치에 의해 수신되는 화상을 가정한 화상이다. 제 1 화상은, 예를 들면, 제 2 화상보다 상술한 의미에서 뇌 부하가 걸리는 화상이다. 또한 제 1 화상은, 예를 들면, 엔터테인먼트성의 향상이 도모되지 않은 화상이다.
제 1 화상 저장부(31)는 비휘발성의 기록 매체가 적합하지만, 휘발성 기록 매체로도 실현 가능하다. 제 1 화상 저장부(31)에 제 1 화상이 기억되는 과정은 불문한다. 제 1 화상 저장부(31)의 제 1 화상은, 예를 들면, 제 2 화상 저장부(32)의 제 2 화상으로부터 생성되어도 바람직하다. 즉, 예를 들면, 도시하지 않는 수단이 제 2 화상의 휘도를 내리거나, 카메라 위치를 자동적으로 변경하는 시뮬레이션을 실시하는 등을 하여, 제 2 화상의 성질을 변경하고, 제 1 화상을 생성하여도 바람직하다.
제 2 화상 저장부(32)는 1 이상의 제 2 화상을 저장할 수 있다. 제 2 화상은 제 1 화상에 대하여 목적에 따라 뇌 부하가 조정된 화상이다. 예를 들면, 제 2 화상은 제 1 화상보다 뇌 부하를 저감할 수 있는 화상이다. 또한 예를 들면, 제 2 화상은 제 1 화상보다 엔터테인먼트성이 증가된 화상이다. 게다가 예를 들면, 제 2 화상은 상이한 환경에서 하나의 대상을 촬영하여 획득되는 화상이다.
제 2 화상과 제 1 화상은 동일한 대상에 대한 화상이다. 제 2 화상과 제 1 화상은 통상 동일한 화소 수지만, 상이한 화소 수도 바람직하다.
제 2 화상 저장부(32)는 비휘발성의 기록 매체가 적합하지만, 휘발성 기록 매체로도 실현 가능하다. 제 2 화상 저장부(32)에 제 2 화상이 기억되는 과정은 불문한다. 제 2 화상 저장부(32)의 제 2 화상은, 예를 들면, 제 1 화상 저장부(31)의 제 1 화상으로부터 생성되어도 된다. 즉, 예를 들면, 도시하지 않는 수단이 제 1 화상의 휘도를 올리거나, 카메라 위치를 자동적으로 변경하는 시뮬레이션을 실시하는 등을 하여 제 1 화상의 성질을 변경하여 제 2 화상을 생성하여도 바람직하다.
제 2 화상 정보 후보 집합 저장부(33)는 1 이상의 각 제 1 화상에 대응시켜 1 이상의 제 2 화상 정보 후보 집합을 저장할 수 있다. 제 2 화상 정보 후보 집합은 2 이상의 제 2 화상 정보의 후보의 집합이다. 제 2 화상 정보란 제 2 화상에 관한 정보이다. 또한 제 2 화상 정보는 제 2 화상도 바람직하고, 제 2 화상의 1 이상의 속성 등도 바람직하다. 화상의 속성은, 예를 들면, 촬영 파라미터나 1 이상의 특징량이다. 또한 2 이상의 각 제 2 화상 정보의 후보는 대응되는 제 1 화상과 동일한 대상에 대한 제 2 화상의 화상 정보이다. 제 2 화상 정보 후보 집합 저장부(33)는 물리적으로 제 1 화상 저장부(31)를 포함하여도 바람직하다. 또한 「제 1 화상에 대응시킨다」란 제 1 화상에 직접적으로 대응시켜도 바람직하고, 제 1 화상에 간접적으로 대응시켜도 바람직하다. 간접적인 대응은, 예를 들면, 제 1 화상 정보에 대응시키는 것이다. 제 1 화상 정보는 제 1 화상에 관한 정보이고, 제 1 화상 그 자체, 또는 제 1 화상의 속성 등이다.
제 2 화상 정보 후보 집합 저장부(33)는 비휘발성의 기록 매체가 적합지만, 휘발성 기록 매체로도 실현 가능하다. 제 2 화상 정보 후보 집합 저장부(33)에 제 2 화상 정보 후보 집합이 기억되는 과정은 불문한다.
후보 출력부(34)는 제 2 화상 정보 후보 집합 저장부(33)에 저장되는 1 이상의 제 2 화상 정보 후보 집합을 출력한다. 지시 수신부(103)가 제 2 화상 정보 후보 집합을 출력하는 지시를 수신한 경우에, 후보 출력부(34)는 제 2 화상 정보 후보 집합 저장부(33)에 저장되는 1 이상의 제 2 화상 정보 후보 집합을 출력하여도 바람직하다. 여기서의 출력이란 통상 디스플레이로의 표시, 프로젝터를 이용한 투영이지만, 외부의 장치나 다른 프로그램으로의 송신 등을 포함한 개념이다.
제 2 화상 축적부(35)는 지시 수신부(103)가 수신한 지시에 대응하는 1 이상의 각 제 2 화상 정보의 후보에 대응하는 1 이상의 제 2 화상을 제 2 화상 정보 후보 집합에 대응하는 제 1 화상에 대응시키고 제 2 화상 저장부(32)에 축적한다. 예를 들면, 제 2 화상 정보가 제 2 화상인 경우, 제 2 화상 축적부(35)는 지시 수신부(103)가 수신한 지시에 대응하는 1 이상의 제 2 화상을 제 1 화상에 대응시키고 제 2 화상 저장부(32)에 축적한다. 또한 예를 들면, 제 2 화상 정보가 화상의 속성인 경우, 제 2 화상 축적부(35)는 해당 화상의 속성을 이용하여 2의 화상을 구성하고, 제 1 화상에 대응시키며 제 2 화상 저장부(32)에 축적한다. 제 2 화상 축적부(35)는 통상 MPU나 메모리 등으로 실현된다. 제 2 화상 축적부(35)의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
제 1 화상 관련 정보 획득부(36)는 제 1 화상 저장부(31)의 1 이상의 제 1 화상으로부터 1 이상의 제 1 화상 관련 정보를 획득한다. 제 1 화상 관련 정보는 제 1 화상의 전부 또는 일부분에 관한 정보이다. 제 1 화상 관련 정보는, 예를 들면, 제 1 화상의 전부 또는 일부분으로부터 추출되는 1 이상의 특징량이다. 또한 1 이상의 특징량에는 1 이상의 제 1 화상의 일부 특징량인 근방 특징량과, 1 이상의 제 1 화상 전체의 특징량인 전체 특징량이 있다. 근방 특징량과 전체 특징량의 예는 상술했기 때문에 설명을 생략한다. 또한 제 1 화상 관련 정보는 상술한 1 이상의 특징량을 중첩한 정보도 바람직하다. 이러한 중첩한 정보도 특징량이다.
제 1 화상 관련 정보 획득부(36)는 통상 MPU나 메모리 등으로 실현된다. 제 1 화상 관련 정보 획득부(36)의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
제 2 화상 관련 정보 획득부(37)는 제 2 화상 저장부(32)의 1 이상의 제 2 화상으로부터 1 이상의 제 2 화상 관련 정보를 획득한다. 제 2 화상 관련 정보는 제 2 화상의 전부 또는 일부분에 관한 정보이다. 제 2 화상 관련 정보는 제 2 화상의 전부 또는 일부분을 생성하기 위한 정보이고, 예를 들면, 제 2 화상의 전부 또는 일부분을 생성하기 위한 연산식에 대입하는 파라미터군이나, 제 2 화상의 전부 또는 일부분을 생성하기 위한 연산식이다. 제 2 화상 관련 정보는, 예를 들면, 제 2 화상의 전부 또는 일부분 그 자체여도 바람직하다. 제 2 화상 관련 정보는, 예를 들면, 제 2 화상의 전부 또는 일부분 그 자체인 경우, 제 2 화상 관련 정보 획득부(37)는 제 2 화상을 시공간 블록으로 분할하여 처리를 실시한다.
제 2 화상 관련 정보 획득부(37)는 통상 MPU나 메모리 등으로 실현된다. 제 2 화상 관련 정보 획득부(37)의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
룩업 테이블 구성부(38)는 1 또는 2 이상의 대응 정보를 갖는 룩업 테이블을 구성한다. 대응 정보는, 상술한 바와 같이, 1 이상의 제 1 화상의 전부 또는 일부분과, 1 이상의 제 2 화상의 전부 또는 일부분의 대응을 획득하기 위한 정보이다. 또한 예를 들면, 대응 정보는 제 1 화상 관련 정보와 제 2 화상 관련 정보를 대응시키는 정보이다. 또한 대응 정보는, 예를 들면, 제 1 화상 관련 정보와 제 2 화상 관련 정보를 갖는 정보이다. 또한 대응 정보의 내용이나 구조는 불문한다. 또한 여기서, 제 1 화상 관련 정보에 대응하는 제 2 화상 관련 정보에 대하여, 제 1 화상 관련 정보의 소스가 되는 제 1 화상의 전부 또는 일부분과, 제 2 화상 관련 정보의 소스가 되는 제 2 화상의 전부 또는 일부분이 영상을 구성하는 프레임 화상 상의 공간적 위치가 대응하는 경우, 영상 상의 시간적 위치가 대응하는 경우, 영상 상의 공간적 및 시간적 위치가 대응하는 경우가 있다.
룩업 테이블 구성부(38)는 통상 MPU나 메모리 등으로 실현된다. 제 2 화상 관련 정보 획득부(37)의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
룩업 테이블 축적부(39)는 룩업 테이블 구성부(38)가 구성한 룩업 테이블을 저장부(101)에 축적한다. 또한 여기서 축적이란 메모리로의 쓰기 등도 포함한다.
룩업 테이블 축적부(39)는 통상 MPU나 메모리 등으로 실현된다. 제 2 화상 관련 정보 획득부(37)의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
다음으로, 룩업 테이블 획득 장치(3)에서 사용자가 자신에게 적합한 제 2 화상을 선택하는 동작에 대하여 도 12의 흐름도를 이용하여 설명한다.
(단계 S1201) 지시 수신부(103)는 제 2 화상 정보 후보 집합을 출력하는 지시를 수신했는지의 여부를 판단한다. 이러한 지시를 수신하면 단계 S1202로 진행하고, 이러한 지시를 수신하지 않으면 단계 S1201로 복귀한다.
(단계 S1202) 후보 출력부(34)는 카운터 i에 1을 대입한다.
(단계 S1203) 후보 출력부(34)는 제 2 화상 정보 후보 집합 저장부(33)에 i번째 제 2 화상 정보 후보 집합이 존재하는지의 여부를 판단한다. i번째 제 2 화상 정보 후보 집합이 존재하면 단계 S1204로 진행하고, i번째 제 2 화상 정보 후보 집합이 존재하지 않으면 처리를 종료한다.
(단계 S1204) 후보 출력부(34)는 i번째 제 2 화상 정보 후보 집합을 제 2 화상 정보 후보 집합 저장부(33)로부터 읽어 들여 출력한다.
(단계 S1205) 지시 수신부(103)는 제 2 화상 정보 후보 집합이 갖는 2 이상의 제 2 화상 정보의 후보로부터 1 또는 2 이상의 제 2 화상 정보에 대한 선택 지시를 수신했는지의 여부를 판단한다. 이러한 선택 지시를 수신한 경우는 단계 S1206로 진행하고, 이러한 선택 지시를 수신하지 않은 경우는 단계 S1205로 복귀한다.
(단계 S1206) 제 2 화상 축적부(35)는 단계 S1205에서 수신된 지시에 대응하는 1 이상의 제 2 화상 정보의 후보를 획득한다.
(단계 S1207) 제 2 화상 축적부(35)는 단계 S1206에서 획득한 제 2 화상 정보를 이용하여 제 2 화상을 획득하고, 제 1 화상에 대응시키며 제 2 화상 저장부(32)에 축적한다. 이런 제 1 화상은 i번째 제 2 화상 정보 후보 집합에 대응시킨 제 1 화상이다.
(단계 S1208) 후보 출력부(34)는 카운터 i를 1 증가시킨다. 단계 S1203로 복귀한다.
다음으로, 룩업 테이블 획득 장치(3)가 룩업 테이블을 구성하고 축적하는 동작에 대하여 도 13의 흐름도를 이용하여 설명한다. 또한 제 1 화상 저장부(31)에 저장되어 있는 각 제 1 화상에 대응하는 제 2 화상이 제 2 화상 저장부(32)에 저장되어 있다고 가정한다.
(단계 S1301) 제 1 화상 관련 정보 획득부(36)는 카운터 i에 1을 대입한다.
(단계 S1302) 제 1 화상 관련 정보 획득부(36)는 i번째 제 1 화상이 제 1 화상 저장부(31)에 저장되어 있는지의 여부를 판단한다. i번째 제 1 화상이 저장되어 있으면 단계 S1303로 진행하고, 저장되어 있지 않으면 처리를 종료한다.
(단계 S1303) 제 1 화상 관련 정보 획득부(36)는 i번째 제 1 화상을 제 1 화상 저장부(31)로부터 읽어 들인다.
(단계 S1304) 제 1 화상 관련 정보 획득부(36)는 단계 S1303로부터 읽어 들인 i번째 제 1 화상을 블록으로 분할한다. 그리고 제 1 화상 관련 정보 획득부(36)는 n개의 제 1 시공간 블록을 획득한다.
(단계 S1305) 제 2 화상 관련 정보 획득부(37)는 i번째 제 2 화상을 제 2 화상 저장부(32)로부터 읽어 들인다.
(단계 S1306) 제 2 화상 관련 정보 획득부(37)는 단계 S1305로부터 읽어 들인 i번째 제 2 화상을 블록으로 분할한다. 그리고 제 2 화상 관련 정보 획득부(37)는 n개의 제 2 시공간 블록을 획득한다.
(단계 S1307) 룩업 테이블 구성부(38)는 카운터 j에 1을 대입한다.
(단계 S1308) 룩업 테이블 구성부(38)는 단계 S1304에서 획득한 시공간 블록 중에서 j번째 블록이 존재하는지의 여부를 판단한다. j번째 블록이 존재하면 단계 S1309로 진행하고, j번째 블록이 존재하지 않으면 단계 S1314로 진행한다.
(단계 S1309) 제 1 화상 관련 정보 획득부(36)는 i번째 제 1 화상의 j번째 블록으로부터 제 1 화상 관련 정보를 획득한다.
(단계 S1310) 제 2 화상 관련 정보 획득부(37)는 i번째 제 2 화상의 j번째 블록으로부터 제 2 화상 관련 정보를 획득한다.
(단계 S1311) 룩업 테이블 구성부(38)는 단계 S1309에서 획득된 제 1 화상 관련 정보와 단계 S1310에서 획득된 제 2 화상 관련 정보를 갖는 대응 정보를 구성한다.
(단계 S1312) 룩업 테이블 축적부(39)는 단계 S1311에서 구성된 대응 정보를 저장부(101)에 축적한다.
(단계 S1313) 룩업 테이블 구성부(38)는 카운터 j를 1 증가시킨다. 단계 S1308로 복귀한다.
(단계 S1314) 제 1 화상 관련 정보 획득부(36)는 카운터 i를 1 증가시킨다. 단계 S1302로 복귀한다.
이하, 본 실시예의 룩업 테이블 획득 장치(3)의 구체적인 동작에 대하여 설명한다.
먼저, 룩업 테이블 획득 장치(3)에서, 사용자의 제 2 영상 선택 지시를 수신하고, 제 2 화상을 축적하는 동작의 예에 대하여 설명한다.
이제, 도 14에 도시된 바와 같은 복수의 제 2 화상 정보 후보 집합이 제 2 화상 정보 후보 집합 저장부(33)에 저장되어 있다. 또한 여기서는 제 2 화상 정보 후보 집합에서 후보 1의 화상은 제 1 화상이라고 가정한다. 또한 제 2 화상 정보 후보 집합에서 후보 1 내지 후보 4가 제 2 화상의 후보이다. 즉, 여기서는 제 2 화상 정보는 제 2 화상 그 자체이다.
그리고 사용자는 룩업 테이블 획득 장치(3)에 제 2 화상 정보 후보 집합을 출력하는 지시를 입력했다. 그리고, 지시 수신부(103)는 제 2 화상 정보 후보 집합을 출력하는 지시를 수신한다.
다음으로, 후보 출력부(34)는 첫 번째 제 2 화상 정보 후보 집합(도 14의 「ID=1」의 레코드의 화상의 집합)을 읽어 들여 출력한다. 이러한 제 2 화상 정보 후보 집합의 출력예가 도 15이다.
다음으로, 사용자는 자신의 기호에 일치하는 화상을 선택하라는 지시(예를 들면, 「4」)를 입력한다. 그리고, 지시 수신부(103)는 지시(예를 들면,「4」)를 수신한다.
다음으로 제 2 화상 축적부(35)는 지시에 대응하는 4번째 화상을 획득하고, 제 2 화상 저장부(32)에 축적한다.
이상의 처리를 다른 제 2 화상 정보 후보 집합에 대해서도 실시하고, 사용자가 선호하는 제 2 화상이 제 2 화상 저장부(32)에 축적된다.
다음으로, 룩업 테이블 획득 장치(3)가 룩업 테이블을 구성하고 축적하는 구체적인 동작에 대하여 설명한다. 여기서는 7개의 구체예를 이용하여 설명한다.
(구체예 1)
구체예 1은 광량이 상이한 광원을 이용하여 동일한 피사체를 촬영하고, 획득한 제 1 화상과 제 2 화상을 사용하는 예이다.
먼저 하나의 피사체에 광량 A의 광원을 비추고, 도시하지 않은 촬영 장치로 촬영하며, 제 1 화상을 획득하여 제 1 화상 저장부(31)에 축적한다. 또한 상기 하나의 피사체에 광량 B(광량 B > 광량 A)의 광원을 비추고, 도시하지 않은 촬영 장치로 촬영하며, 제 2 화상을 획득하여 제 2 화상 저장부(32)에 축적한다. 이러한 경우, 제 2 화상 쪽이 제 1 화상보다 뇌 부하를 저감할 수 있는 화상이다. 또한 사람이 보고, 제 2 화상 쪽이 제 1 화상보다 고품질이라고 느끼는 것은 적합하다. 고품격으로 느끼는 화상이란 피사체의 질감, 원근감, 분위기, 따스한 느낌, 투명감, 신선한 느낌, 또는 고급감 등이 표출되는 화상이다.
또한 광원의 광량을 바꾸어 촬영하는 피사체는 자연, 인간, 동물, 정물 등 다수의 종류의 것으로 하는 것은 적합하다. 또한 피사체에 의해, 광원의 광량의 변경 정도가 상이해도 바람직한 것은 물론이다.
이상에 의해, 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축됐다.
다음으로 제 1 화상 관련 정보 획득부(36)는 제 1 화상 저장부(31)로부터 순차적으로 제 1 화상을 읽어 들인다. 그리고 제 1 화상 관련 정보 획득부(36)는 제 1 화상을 블록으로 분할하고 n개의 제 1 시공간 블록을 획득한다. 또한 복수의 제 1 시공간 블록은 중복되는 영역이 존재하여도 바람직하다. 즉, 제 1 화상 관련 정보 획득부(36)가 실시하는 분할 처리는 분할부(105)가 실시하는 분할 처리와 동일한 처리이다.
또한 제 2 화상 관련 정보 획득부(37)도 제 2 화상 저장부(32)로부터 제 1 화상에 대응하는 제 2 화상을 읽어 들인다. 그리고 제 2 화상 관련 정보 획득부(37)는 제 2 화상을 블록으로 분할하고 n개의 제 2 시공간 블록을 획득한다.
다음으로 제 1 화상 관련 정보 획득부(36)는 제 1 화상의 각 블록으로부터 복수의 화소의 최댓값 및 최소값, 다이내믹 레인지, 휘도 도수 분포, 시간 방향의 차분값(예를 들면, 직전 필드에 대응하는 화소와의 차분값) 등을 획득한다. 이러한 정보는 특징량 벡터이고, 제 1 화상 관련 정보이다. 제 1 화상 관련 정보는 블록마다 획득된다.
다음으로 제 2 화상 관련 정보 획득부(37)는 제 2 화상의 각 블록으로부터 블록을 생성하기 위한 1 이상의 파라미터를 획득한다. 구체적으로는 제 2 화상 관련 정보 획득부(37)는, 예를 들면, 제 2 화상의 각 블록의 특징 벡터를 획득하고, 해당 특징 벡터를 연산식에 대입하여 1 이상의 파라미터를 획득한다. 또한 1 이상의 파라미터는 제 2 화상 관련 정보의 예이다.
그리고 다음으로, 룩업 테이블 구성부(38)는 블록마다 제 1 화상 관련 정보와 제 2 화상 관련 정보를 갖는 대응 정보를 구성한다. 그리고, 룩업 테이블 축적부(39)는 구성된 대응 정보를 저장부(101)에 축적한다.
이상의 처리에 의해, 다수의 대응 정보를 갖는 룩업 테이블이 생성된다. 또한 동일 또는 유사한 제 1 화상 관련 정보를 통합하여 하나의 대응 정보로 하여도 바람직하다.
(구체예 2)
구체예 2는 색상이 사이한 광원을 이용하여 동일한 피사체를 촬영하고 획득한 제 1 화상과 제 2 화상을 사용하는 예이다.
먼저, 하나의 피사체에 색 X(예를 들면, 흰색)의 광원을 비추고, 도시하지 않은 촬영 장치로 촬영하며, 제 1 화상을 획득하여 제 1 화상 저장부(31)에 축적한다. 또한 상기 하나의 피사체에 색 Y(예를 들면, 등색)의 광원을 비추고, 도시하지 않은 촬영 장치로 촬영하며, 제 2 화상을 획득하여 제 2 화상 저장부(32)에 축적한다. 이러한 경우, 사람이 보고, 제 2 화상 쪽이 제 1 화상보다 고품질이라고 느끼는 것일 필요가 있다.
또한 광원의 색을 바꾸어 촬영하는 피사체는 자연, 인간, 동물, 정물 등 다수의 종류의 것으로 하는 것은 적합하다. 또한 피사체에 의해, 광원의 색의 변경 정도가 상이해도 바람직한 것은 물론이다.
이상에 의해 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축됐다. 또한 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축된 후의 처리는 구체예 1과 동일하므로 설명을 생략한다.
(구체예 3)
구체예 3은 상이한 위치에 배치된 광원을 이용하여 동일한 피사체를 촬영하고, 획득한 제 1 화상과 제 2 화상을 사용하는 예이다.
먼저 하나의 피사체에 위치 α에 설치된 광원을 비추고, 도시하지 않은 촬영 장치로 촬영하며, 제 1 화상을 획득하여 제 1 화상 저장부(31)에 축적한다. 또한 상기 하나의 피사체에 위치 β(위치 α에 광원이 설치되어 있는 경우보다 피사체의 그늘을 많이 만들어 내는 위치)에 설치된 광원을 비추고, 도시하지 않은 촬영 장치로 촬영하며, 제 2 화상을 획득하여 제 2 화상 저장부(32)에 축적한다. 이러한 경우, 사람이 보고, 제 2 화상 쪽이 제 1 화상보다 피사체의 그늘의 영역이 많이 드러나고, 피사체의 입체감을 더 느끼는 것일 필요가 있다.
또한 광원의 위치를 바꾸어 촬영하는 피사체는 자연, 인간, 동물, 정물 등 다수의 종류의 것으로 하는 것은 적합하다. 또한 피사체에 의해, 광원의 위치 변경 정도가 상이해도 바람직한 것은 물론이다.
이상에 의해 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축됐다. 또한 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축된 후의 처리는 구체예 1과 동일하므로 설명을 생략한다.
(구체예 4)
구체예 4는 상이한 광량으로 상이한 위치에 배치된 광원을 이용하여 동일한 피사체를 촬영하고, 획득한 제 1 화상과 제 2 화상을 사용하는 예이다.
먼저 하나의 피사체에 위치 α에 배치된 광원이며, 광량 A의 광원을 비추고, 도시하지 않은 촬영 장치로 촬영하며, 제 1 화상을 획득하여 제 1 화상 저장부(31)에 축적한다. 또한 상기 하나의 피사체에 위치 β에 배치된 광원이며, 광량 B(광량 B > 광량 A)의 광원을 비추고, 도시하지 않은 촬영 장치로 촬영하고, 제 2 화상을 획득하여 제 2 화상 저장부(32)에 축적한다. 이러한 경우, 사람이 보고, 제 2 화상 쪽이 제 1 화상보다 고품질이라고 느끼는 것은 적합하다.
또한 광원의 광량을 바꾸어 촬영하는 피사체는 자연, 인간, 동물, 정물 등 다수의 종류의 것으로 하는 것은 적합하다.
이상에 의해 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축됐다. 또한 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축된 후의 처리는 구체예 1과 동일하므로 설명을 생략한다.
(구체예 5)
구체예 5는 날씨, 온도, 습도 중 1 이상이 상이한 환경에서 동일한 피사체를 촬영하여 획득한 제 1 화상과 제 2 화상을 사용하는 예이다.
먼저 날씨 「흐림」, 온도「25도」, 습도「40%」의 환경에서 제 1 피사체에 광원을 비추고, 도시하지 않은 촬영 장치로 촬영하며, 제 1 화상을 획득하여 제 1 화상 저장부(31)에 축적한다. 또한 날씨「흐림」, 온도「22도」, 습도「70%」의 환경에서 상기 하나의 피사체에 광원을 비추고, 도시하지 않은 촬영 장치로 촬영하며, 제 2 화상을 획득하여 제 2 화상 저장부(32)에 축적한다. 이러한 경우, 사람이 보고, 제 2 화상 쪽이 통상 더 원근감·촉촉한 느낌 등을 느낄 수 있다.
이상에 의해 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축됐다. 또한 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축된 후의 처리는 구체예 1과 동일하므로 설명을 생략한다.
또한 동일하게 먼저 날씨 「흐림」, 온도「25도」, 습도「40%」의 환경에서 제 1 피사체에 광원을 비추고, 도시하지 않은 촬영 장치로 촬영하며, 제 1 화상을 획득하여 제 1 화상 저장부(31)에 축적한다. 또한 날씨 「맑음」, 온도「28도」, 습도「20%」의 환경에서 상기 하나의 피사체에 광원을 비추고, 도시하지 않은 촬영 장치로 촬영하며, 제 2 화상을 획득하여 제 2 화상 저장부(32)에 축적한다. 이러한 경우, 사람이 보고, 제 2 화상 쪽이 통상 더 분위기· 따스한 느낌 등을 느낄 수 있다.
이상에 의해 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축됐다. 또한 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축된 후의 처리는 구체예 1과 동일하므로 설명을 생략한다.
(구체예 6)
구체예 6은 상이한 피사계 심도의 화상을 촬영할 수 있는 촬영 장치로 획득한 제 1 화상과 제 2 화상을 사용하는 예이다.
먼저, 피사계 심도가 더 얕은 화상을 촬영하는 촬영 장치로 하나의 피사체에 광원을 비추고, 제 1 화상을 획득하여 제 1 화상 저장부(31)에 축적한다. 또한 피사계 심도가 더 깊은 화상을 촬영하는 촬영 장치로 상기 하나의 피사체에 광원을 비추고, 도시하지 않은 촬영 장치로 촬영하며, 제 2 화상을 획득하여 제 2 화상 저장부(32)에 축적한다. 이러한 경우, 사람이 보고, 제 2 화상 쪽이 더 전체적으로 초점이 맞고 있는 것에 의해 통상 상쾌감이 증가한 것처럼 느낀다. 또한 제 2 화상 쪽이 깊이에 따른 변화가 증대하고, 통상 깊이감이나 입체감을 얻을 수 있다.
이상에 의해 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축됐다. 또한 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축된 후의 처리는 구체예 1과 동일하므로 설명을 생략한다.
(구체예 7)
구체예 7은 셔터 스피드가 상이한 촬영 장치로 획득한 제 1 화상과 제 2 화상을 사용하는 예이다.
하나의 피사체에 광원을 비추고, 더 느린 셔터 스피드(셔터 스피드=A)의 촬영 장치로 제 1 화상을 획득하여 제 1 화상 저장부(31)에 축적한다. 또한 상기 하나의 피사체에 광원을 비추고, 더 빠른 셔터 스피드(셔터 스피드=B, A<B)의 촬영 장치로 촬영하며, 제 2 화상을 획득하여 제 2 화상 저장부(32)에 축적한다. 이러한 경우, 사람이 보고, 제 2 화상 쪽이 통상, 속도감과 약동감이 증가한 것처럼 느껴진다.
이상에 의해 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축됐다. 또한 제 1 화상 저장부(31)와 제 2 화상 저장부(32)가 구축된 후의 처리는 구체예 1과 동일하므로 설명을 생략한다.
이상 본 실시예에 따르면, 목적에 따라 뇌 부하가 조정된 화상을 생성하기 위해 이용할 수 있는 룩업 테이블을 자동 획득할 수 있다.
또한 본 실시예에 따르면, 화상의 시청자인 사용자가 룩업 테이블 획득 장치(3)를 이용하여 룩업 테이블을 작성하면, 자신에 목적에 따라 뇌 부하가 조정된 화상을 출력할 수 있는 룩업 테이블을 획득할 수 있다.
또한 본 실시예에 따르면, 사용자의 속성(30세까지, 60세 이상, 여성, 남성, 고등학생 등)마다 1 이상의 사용자가 제 2 화상을 선택하는 처리를 실시하면, 사용자 속성마다 룩업 테이블이 작성될 수 있다. 그리고 그와 같이 작성된 룩업 테이블을 이용한 화상 처리 장치(예를 들면, 텔레비전 수신기)는 사용자 속성마다 자신의 기호에 일치하도록 뇌 부하가 조정된 화상을 출력할 수 있다.
또한 본 실시예의 룩업 테이블 획득 장치(3)에서, 제 2 화상 정보 후보 집합 저장부(33), 지시 수신부(103), 후보 출력부(34), 제 2 화상 축적부(35) 등의 일부 구성 요소를 포함하지 않아도 바람직한 것은 물론이다.
나아가 본 실시예의 룩업 테이블 획득 장치(3)를 이용하여 획득한 룩업 테이블이 실시예 1,2에서 설명한 화상 처리 장치에 복사되어 이용되는 것은 적합하다.
또한 본 실시예의 룩업 테이블 획득 장치를 실현하는 소프트웨어는 이하와 같은 프로그램이다. 즉, 이런 프로그램은 기억 매체에 1 이상의 제 1 화상과, 제 1 화상과 비교하여 뇌 부하가 조정된 화상이며 상기 1 이상의 각 제 1 화상과 동일한 대상에 대한 화상인 1 이상의 각 제 2 화상을 상기 1 이상의 각 제 1 화상에 대응시켜 저장하고 있으며, 컴퓨터를, 상기 기억 매체에 저장되어 있는 1 이상의 제 1 화상의 전부 또는 일부분에 관한 정보인 1 이상의 제 1 화상 관련 정보를 상기 1 이상의 제 1 화상의 전부 또는 일부분으로부터 획득하는 제 1 화상 관련 정보 획득부와, 상기 기억 매체에 저장되어 있는 1 이상의 제 2 화상의 전부 또는 일부분에 관한 정보인 1 이상의 제 2 화상 관련 정보를 상기 1 이상의 제 2 화상의 전부 또는 일부분으로부터 획득하는 제 2 화상 관련 정보 획득부와, 상기 제 1 화상 관련 정보 획득부가 획득한 제 1 화상 관련 정보와, 해당 제 1 화상 관련 정보에 대응하는 정보이며 상기 제 2 화상 관련 정보 획득부가 획득한 제 2 화상 관련 정보를 갖는 정보이고, 상기 1 이상의 제 1 화상의 전부 또는 일부분과 상기 1 이상의 제 2 화상의 전부 또는 일부분의 대응을 나타내는 정보인 대응 정보를 1 또는 2개 이상 갖는 룩업 테이블을 구성하는 룩업 테이블 구성부와, 상기 룩업 테이블 구성부가 구성한 룩업 테이블을 기억 매체에 축적하는 룩업 테이블 축적부로서 기능시키기 위한 프로그램이다.
또한 상기 프로그램에서, 기억 매체에 1 이상의 각 제 1 화상에 대응시키고, 해당 1 이상의 각 제 1 화상과 동일한 대상에 대한 2 이상의 제 2 화상의 후보 집합인 제 2 화상 정보 후보 집합을 1 이상 더 저장하고 있으며, 컴퓨터를, 상기 1 이상의 제 2 화상 정보 후보 집합을 출력하는 후보 출력부와, 상기 후보 출력부가 출력한 1 이상의 각 제 2 화상 정보 후보 집합이 갖는 2 이상 제 2 화상의 후보 중 1 이상의 제 2 화상의 후보를 선택하는 지시를 수신하는 지시 수신부와, 상기 지시 수신부가 수신한 지시에 대응하는 1 이상의 제 2 화상의 후보를 제 2 화상 정보 후보 집합에 대응하는 제 1 화상에 대응시키고, 상기 제 2 화상 저장부에 축적하는 제 2 화상 축적부로서 더 기능시키는 프로그램인 것은 적합하다.
(실시예 4)
본 실시예에서, 룩업 테이블 획득 장치(3)를 이용하여 룩업 테이블을 생성하는 처리의 구체예에 대하여 더 설명한다.
본 구체예는 룩업 테이블을 구성하는 대응 정보가 특징량 벡터와 화상 변환 필터인 경우이다. 또한 특징량 벡터는 입력 화상(제 1 화상)으로부터 추출되는 정보이다. 또한 화상의 변환 필터는, 예를 들면, 1 이상의 필터 계수의 집합이다.
이제, 제 1 화상 저장부(31)에는, 예를 들면, 도 16에 도시한 바와 같은 피사계 심도가 얕은 제 1 화상을 비롯하여 다수의 화상이 저장되어 있다. 또한 제 2 화상 저장부(32)에는, 예를 들면, 도 17에 도시한 바와 같은 피사계 심도가 깊은 제 2 화상을 비롯하여 다수의 화상이 저장되어 있다. 또한 어떤 제 1 화상과 어떤 제 2 화상은 대응되어 있다. 즉, 예를 들면 도 16의 제 1 화상과 도 17의 제 2 화상은 대응되어 있다.
또한 제 1 화상보다 제 2 화상 쪽이 피사계 심도가 깊다. 또한 도 16의 피사계 심도는 얕고, 화상의 바로 앞의 빨간 차(진한 색의 차)에 초점이 맞춰 있다. 한편, 도 17의 피사계 심도는 깊고, 화상 안의 황색 차(연한 색의 차)에도 초점이 맞춰 있다. 또한 일반적으로 제 1 화상과 비교하여 피사계 심도가 깊은 제 2 화상 쪽이 화상 전체를 이해하기 쉽고, 뇌의 부하가 적은 바람직한 화상이라고 말할 수 있다.
이러한 상황에서 사용자로부터 룩업 테이블을 구축하라는 지시가 입력된다고 가정한다. 다음으로 제 1 화상 관련 정보 획득부(36)는 제 1 영상(여기서는, 예를 들면, 도 16)을 제 1 화상 저장부(31)로부터 읽어 들인다. 그리고 제 1 화상 관련 정보 획득부(36)는 제 1 화상을 분할하여 복수의 시공간 블록을 획득한다. 여기서는 도 18에 도시된 바와 같이, 제 1 화상 관련 정보 획득부(36)는 제 1 화상을 16분할하고, 16개의 제 1 시공간 블록을 획득한다. 또한 도 18에서 각 제 1 시공간 블록에는 블록 식별자가 기재되어 있다.
다음으로 제 2 화상 관련 정보 획득부(37)는 제 2 화상(여기서는, 예를 들면, 도 17)을 제 2 화상 저장부(32)로부터 읽어 들인다. 그리고 제 2 화상 관련 정보 획득부(37)는 제 2 화상을 분할하여 복수의 시공간 블록을 획득한다. 여기서는 도 19에 도시된 바와 같이, 제 2 화상 관련 정보 획득부(37)는 제 2 화상을 16분할하고, 16개의 제 2 시공간 블록을 획득한다. 또한 도 19에서 각 제 2 시공간 블록에는 블록 식별자가 기재되어 있다.
다음으로, 룩업 테이블 구성부(38)는 제 1 화상의 첫 번째 제 1 시공간 블록을 제 2 화상의 첫 번째 제 2 시공간 블록으로 변환하는 변환 필터의 필터 계수를, 예를 들면, 최소 제곱 추정을 이용하여 산출한다.
동일하게, 룩업 테이블 구성부(38)는 제 1 화상의 n번째(n은 2~16) 제 1 시공간 블록을 제 2 화상의 n번째(n은 2~16) 제 2 시공간 블록으로 변환하는 변환 필터의 필터 계수를 순차적으로, 예를 들면, 최소 제곱 추정을 이용하여 산출한다.
이상에 의해, 16종류의 화상 변환 필터의 필터 계수를 획득할 수 있다. 또한 도 20은 룩업 테이블 구성부(38)가 실시하는 이러한 동작을 설명하는 개념이다. 도 20에서 F04는 4번째 화상 변환 필터를 나타내고, F15는 15번째 화상 변환 필터를 나타낸다.
다음으로, 룩업 테이블 구성부(38)는 제 1 화상의 16개의 각 제 1 시공간 블록의 근방 특징량을 획득한다. 또한 예를 들면, 룩업 테이블 구성부(38)는 각 제 1 시공간 블록에 비하여, 이산 푸리에 변환을 이용하여 주파수 성분을 산출하여 대역별의 전력을 획득한다. 이런 대역별의 전력을 근접 특징량의 특징량 벡터로 한다. 또한 이러한 처리의 개념을 도 21에 도시한다. 도 21에서, 예를 들면, 룩업 테이블 구성부(38)는 4번째 제 1 시공간 블록으로부터 근방 특징량의 특징량 벡터 「α04=(p04 -1,p04 -2,p04 -3,p04 -4)」를 획득하고, 15번째 제 1 시공간 블록으로부터 근방 특징량의 특징량 벡터「α15=(p15 -1,p15 -2,p15 -3,p15 -4)」를 획득했다.
다음으로, 룩업 테이블 구성부(38)는 제 1 화상 전체의 특징량인 전체 특징 배출량을 산출한다. 예를 들면, 룩업 테이블 구성부(38)는 국소로 구한 특징량 벡터(근방 특징량의 벡터)의 각 성분별 분산 「A1=(V1,V2,V3,V4)」를 전체 특징량으로서 산출한다. 또한 이러한 처리의 개념을 도 22에 도시한다.
다음으로, 룩업 테이블 구성부(38)는 각 영역별 전체 특징량과 근방 특징량을 연결하고, 대응 정보를 구성하는 특징량 벡터「（A1，α01）등」을 구성한다. 또한 룩업 테이블 구성부(38)는 특징량 벡터와 필터 계수를 대응시킨 대응 정보를 구성한다.
그리고 룩업 테이블 축적부(39)는 특징량 벡터와 필터 계수를 대응시킨 16개의 대응 정보를 저장부(101)에 축적한다.
이상의 처리를 다른 세트의 제 1 화상과 제 2 화상에 대하여 실시한다. 그리고 룩업 테이블 획득 장치(3)는 도 23에 도시하는 룩업 테이블을 획득한다. 도 23의 룩업 테이블은 다수의 대응 정보를 갖는다. 또한 대응 정보는 여기서는 특징량 벡터와 필터 계수를 갖는다.
이상 본 실시예에서 목적에 따라, 뇌 부하가 조정된 화상을 생성하기 위해서 이용할 수 있는 룩업 테이블을 자동 획득할 수 있다.
(실시예 5)
본 실시예에서, 실시예 4로 구축한 룩업 테이블을 이용하여, 목적에 따라 수신한 화상에 대하여서 뇌 부하가 조정된 화상을 획득하는 화상 처리 장치(4)에 대하여 설명한다.
도 24는 본 실시예의 화상 처리 장치(4)의 블록도이다. 화상 처리 장치(4)는 저장부(101), 화상 수신부(104), 분할부(105), 화상 해석부(106), 매핑부(107), 합성부(108), 및 화상 출력부(109)를 포함하다.
이제, 화상 처리 장치(4)의 저장부(101)는 도 23에 도시하는 룩업 테이블을 저장하고 있다. 또한 룩업 테이블은 특징량 벡터를 키로 하여 인덱스화되어 있는 것은 적합하다. 또한 룩업 테이블은 특징량 벡터를 키로 하여 대응 정보가 정렬되고 있는 것은 적합하다.
또한 화상 수신부(104)는 도 25에 도시하는 화상을 수신한 것으로 가정한다. 또한 도 25의 화상은 피사계 심도가 얕은 화상이다.
다음으로, 화상 해석부(106)는 도 25의 화상의 전체 특징량(An)을 산출한다. 또한 전체 특징량의 산출 방법은 실시예 4에서 설명한 처리와 동일 처리이다.
다음으로, 화상 해석부(106) 등은 도 25의 화상의 각 화소에 대하여 근방 특징량(αn)을 산출한다. 여기서의 근방 특징량은 해당 화소의 근방 16×16개의 화소 블록 내에서의 주파수 성분을 산출하고, 대역별의 전력을 획득한다. 또한 이러한 처리에 대하여서도 실시예 4에서 설명한 처리와 동일한 처리이다.
다음으로, 화상 해석부(106)는 각 화소에 대하여 전체 특징량과 근방 특징량을 합성한 특징량 벡터(An, αn)를 구성한다.
다음으로, 화상 해석부(106)는 각 화소에 대응하는 특징량 벡터(An, αn)와, 룩업 테이블을 구성하는 2 이상의 대응 정보가 갖는 2 이상의 특징량 벡터의 거리를 산출하고, 가장 거리가 가까운 특징량 벡터 「예를 들면, (Am, αm)」을 결정한다.
그리고 매핑부(107)는 각 화소마다 가장 거리가 가까운 특징량 벡터와 쌍을 이루는 필터 계수 「예를 들면, Fm」를 획득한다.
다음으로 매핑부(107)는 입력 화상의 각 화소에 대하여 획득한 필터 계수에 의해 실현되는 변환 필터를 실시하고, 제 2 화상(출력 화상)의 각 화소를 획득한다.
그리고 합성부(108)는 획득한 각 화소를 입력 화상의 화소의 위치의 출력 화소값으로서 출력 화상을 구성한다. 다음으로, 화상 출력부(109)는 구성된 출력 화상을 출력한다. 이상의 처리의 개념을 도 26에 도시한다.
이상 본 실시예에 따르면, 적합하게 뇌 부하가 조정된 화상을 출력할 수 있다.
또한 본 실시예에서, 룩업 테이블을 구성하는 특징량 벡터의 획득 방법과, 화상 해석부(106)의 특징량 벡터의 획득 방법은 상이했다. 그러나 룩업 테이블을 구성하는 특징량 벡터의 획득 방법과, 화상 해석부(106)의 특징량 벡터의 획득 방법은 동일해도 바람직하다.
(실시예 6)
본 실시예에서, 룩업 테이블을 이용하여 목적에 따라 수신한 화상에 비하여 뇌 부하가 조정된 화상을 획득하는 화상 처리 장치(5)에 비하여 설명한다. 또한 본 실시예에서, 실시예 1 등과 상이한 주된 점은 입력 화상에 따라 적용할 구속 조건이 동적으로 변화하는 점이다.
도 27은 본 실시예의 화상 처리 장치(5)의 블록도이다.
화상 처리 장치(5)는 저장부(101), 구속 조건 저장부(502), 지시 수신부(503), 화상 수신부(104), 분할부(105), 화상 해석부(106), 매핑부(507), 합성부(108), 화상 출력부(109), 및 구속 조건 변경부(510)를 포함하다.
매핑부(507)는, 예를 들면, 출력 화상 후보 획득 수단(1072), 판단 수단(1073), 특징량 획득 수단(5071), 구속 조건 결정 수단(5072), 변경 수단(5074), 및 출력 화상 획득 수단(1075)을 포함하다.
구속 조건 저장부(502)는 조건 식별 정보와 구속 조건의 세트인 구속 정보를 2 이상 저장할 수 있다. 여기서의 구속 조건은 출력 화상에 관한 조건을 예로 들어 설명하지만, 입력 화상 또는 대응 정보에 관한 조건도 바람직하다. 조건 식별 정보는 구속 조건을 식별하는 정보이다. 조건 식별 정보는, 예를 들면, 특징량 벡터이다. 또한 벡터를 구성하는 특징량은, 예를 들면, 입력 화상의 근방 공간 액티비티이다. 근방 공간 액티비티란, 예를 들면, 필드 상의 동일한 위치의 화소의 시간 차분값, 기울기(일차 및 이차 공간 미분값), 극소값 및 최댓값(1위값), n위값, 다이내믹 레인지, 공간 차분값, 화소값 분산, 공간 주파수 고역의 전력, 시간 액티비티와 공간 액티비티의 비 등 여러 가지일 수 있다. 또한 구속 조건은 적정한 근방 공간 액티비티이다. 또한 구속 정보의 예를 도 28에 도시한다. 도 28에서 구속 정보는 조건 식별 정보인 근방 공간 액티비티와, 구속 조건인 적정 액티비티를 갖는다.
지시 수신부(503)는 구속 조건을 변경하기 위한 지시를 사용자로부터 수신한다. 또한 지시는, 예를 들면, 도 28의 구속 정보를 수정하는 지시이다. 또한 지시는, 예를 들면, 사용자가 화상으로부터 수신하는 자극량을 변경하는 지시이다.
매핑부(507)를 구성하는 특징량 획득 수단(5071)은 화상 수신부(104)가 수신한 화상(입력 화상)의 특징량 벡터를 획득한다. 특징량 획득 수단(5071)은 화상 수신부(104)가 수신한 화상 전부의 특징량 벡터를 획득하여도 바람직하고, 화상 수신부(104)가 수신한 화상을 구성하는 시공간 블록의 특징량 벡터를 획득하여도 바람직하다.
구속 조건 결정 수단(5072)은 특징량 획득 수단(5071)이 획득한 특징량 벡터를 구속 조건 저장부(502)의 구속 정보에 적용하여 구속 조건을 선택한다. 더 구체적으로는 구속 조건 결정 수단(5072)은 특징량 획득 수단(5071)이 획득한 특징량 벡터와 가장 거리가 가까운 조건 식별 정보(이런 조건 식별 정보도 특징량 벡터인 경우)를 선택하고, 해당 선택한 조건 식별 정보와 쌍을 이루는 구속 조건을 구속 조건 저장부(502)로부터 획득한다.
변경 수단(5074)은 판단 수단(1073)이 구속 조건을 충족하지 않다고 판단한 경우에, 구속 조건 결정 수단(5072)이 획득한 구속 조건을 이용하여 제 2 화상의 전부 또는 일부분을 변경한다. 또한 변경 수단(5074)은 판단 수단(1073)이 구속 조건을 충족하지 않다고 판단한 경우에, 룩업 테이블을 변경하여도 바람직하다. 또한 변경 수단(5074)은 판단 수단(1073)이 구속 조건을 충족하지 않다고 판단한 경우에, 판단 후에 수신되는 입력 화상, 또는 판단 후에 획득된 시공간 블록, 또는 판단 후에 수신되는 입력 화상의 1 이상의 특징량, 또는 판단 후에 획득된 시공간 블록의 1 이상의 특징량을 변경하여도 바람직하다.
구속 조건 변경부(510)는 지시 수신부(503)가 수신한 지시에 따라 구속 정보를 변경한다. 또한 구속 조건 변경부(510)는 자동적으로 구속 정보를 변경하여도 바람직하다. 즉, 구속 조건 변경부(510)는, 예를 들면, 사용자 속성(연령, 성별, 주소 등), 방송에 중첩된 정보(EPG에 포함되는 정보 등), 시각, 시간대, 외부 센서 정보(예를 들면, 시청하고 있는 방의 밝기, 온도 등)에 따라 자동적으로 구속 정보를 변경하여도 바람직하다. 또한 이러한 경우 구속 조건 변경부(510)는 사용자 속성 등에 따라 어떻게 구속 정보를 변경하는지에 대한 정보(예를 들면, 사용자 속성과 변경되는 알고리즘을 나타내는 식의 대응표 등)를 미리 보유하고 있다. 또한 외부 센서 정보를 이용할 경우 구속 조건 변경부(510)는 도시하지 않는 센서로부터 정보(방의 밝기, 온도 등)를 획득한다.
구속 조건 저장부(502)는 비휘발성의 기록 매체가 적합하지만, 휘발성의 기록 매체로도 실현 가능하다. 구속 조건 저장부(502)에 구속 정보가 기억되는 과정은 불문한다. 예를 들면, 기록 매체를 통하여 구속 정보가 구속 조건 저장부(502)에 기억되도록 구성하여도 바람직하고, 통신 회선 등을 통하여 송신된 구속 정보가 구속 조건 저장부(502)에 기억되도록 구성하여도 바람직하며, 또는 입력 디바이스를 통하여 입력된 구속 정보가 구속 조건 저장부(502)로 기억되도록 구성하여도 바람직하다.
지시 수신부(503)는 키보드 등의 입력 수단의 디바이스 드라이버나, 메뉴 화면의 제어 소프트웨어 등으로 실현된다.
매핑부(507), 구속 조건 변경부(510), 특징량 획득 수단(5071), 구속 조건 결정 수단(5072), 및 변경 수단(5074)은 통상 MPU나 메모리 등으로 실현된다. 매핑부(507) 등의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
다음으로, 화상 처리 장치(5)의 동작에 대하여 도 29의 흐름도를 이용하여 설명한다. 도 29의 흐름도에서, 도 2의 흐름도와 상이한 단계에 대하여 설명한다.
(단계 S2901) 매핑부(507)는 매핑 처리를 실시한다. 매핑 처리에 대하여 도 30의 흐름도를 이용하여 설명한다.
(단계 S2902) 지시 수신부(503)는 사용자의 지시를 수신했는지의 여부를 판단한다. 사용자의 지시를 수신하면 단계 S2903로 진행하고, 사용자의 지시를 수신하지 않으면 단계 S201로 복귀한다.
(단계 S2903) 구속 조건 변경부(510)는 지시 수신부(503)가 수신한 지시에 따라 구속 정보를 변경한다.
또한 도 29의 흐름도에서 입력 화면을 분할하고, 시공간 블록마다 처리가 실시됐다. 그러나 도 29의 흐름도에서 입력 화상 전체에 대하여 처리가 실시되어도 바람직하다.
다음으로, 단계 S2901의 매핑 처리에 대하여, 도 30의 흐름도를 이용하여 설명한다. 도 30의 흐름도에서 도 4의 흐름도와 상이한 단계에 대하여 설명한다.
(단계 S3001) 매핑부(507)를 구성하는 특징량 획득 수단(5071)은 화상 수신부(104)가 수신한 화상의 특징량 벡터를 획득한다.
(단계 S3002) 구속 조건 결정 수단(5072)은 특징량 획득 수단(5071)을 획득한 특징량 벡터를 구속 조건 저장부(502)의 구속 정보에 적용하여 구속 조건을 결정한다. 이러한 구속 조건 결정 처리에 대하여 도 31의 흐름도를 이용하여 설명한다.
다음으로, 단계 S3002의 구속 조건 결정 처리에 대하여 도 31의 흐름도를 이용하여 설명한다.
(단계 S3101) 구속 조건 결정 수단(5072)은 카운터 i에 1을 대입한다.
(단계 S3102) 구속 조건 결정 수단(5072)은 구속 조건 저장부(502)에 i번째 구속 정보가 존재하는지의 여부를 판단한다. i번째 구속 정보가 존재하면 단계 S3103로 진행하고, 존재하지 않으면 단계 S3106로 진행한다.
(단계 S3103) 구속 조건 결정 수단(5072)은 i번째 구속 정보가 갖는 조건 식별 정보를 구속 조건 저장부(502)로부터 획득한다.
(단계 S3104) 구속 조건 결정 수단(5072)은 단계 S3001에서 획득한 특징량 벡터와 i번째 조건 식별 정보의 거리를 산출한다. 그리고 구속 조건 결정 수단(5072)은 i번째 조건 식별 정보에 대응시켜 해당 거리를 버퍼에 일시 축적한다.
(단계 S3105) 구속 조건 결정 수단(5072)은 카운터 i를 1 증가시키고, 단계 S3102로 복귀한다.
(단계 S3106) 구속 조건 결정 수단(5072)은 단계 S3001에서 획득한 특징량 벡터와의 거리가 최소인 조건 식별 정보와 쌍을 이루는 구속 조건을 구속 조건 저장부(502)로부터 획득한다. 상위 처리로 복귀한다.
이상 본 실시예에 따르면, 입력 화상에 따라 적용하는 구속 조건을 바꾸고, 해당 구속 조건에 일치하는 출력 화상을 구성함으로써 매우 고품질의 화상을 출력할 수 있다.
또한 본 실시예에서 구속 조건 결정 수단(5072)은 입력 화상에 따라 적용하는 구속 조건을 변경하여 획득했다. 그러나 구속 조건 결정 수단(5072)은 출력 화상에 따라 적용하는 구속 조건을 변경하여도 바람직하다. 또한 구속 조건 결정 수단(5072)은 입력 화면과 출력 화상에 따라 적용하는 구속 조건을 변경하여도 바람직하다.
또한 본 실시예에서 화상 수신부(104)가 수신한 화상을 분할부(105)가 분할했다. 그러나 화상 수신부(104)가 수신한 화상을 분할하지 않아도 바람직하다. 이러한 경우, 화상 처리 장치(5)에서 분할부(105)는 불필요하다. 이러한 것은 다른 실시예에서도 동일하다.
(실시예 7)
본 실시예에서, 룩업 테이블을 이용하여 목적에 따라 수신한 화상에 비하여 뇌 부하가 조정된 화상을 획득하는 화상 처리 장치(6)에 대하여 설명한다. 또한 본 실시예에서, 실시예 1 등과 상이한 주된 점은 입력 화상이나 출력 화상에 따라 적용하는 룩업 테이블이 동적으로 변화하는 점이다.
도 32는 본 실시예의 화상 처리 장치(6)의 블록도이다.
화상 처리 장치(6)는 저장부(101), 구속 조건 저장부(502), 지시 수신부(603), 화상 수신부(104), 분할부(105), 화상 해석부(106), 매핑부(607), 합성부(108), 화상 출력부(109), 및 LUT 변경 정보 변경부(610)를 포함하다.
또한 매핑부(607)는, 예를 들면, 출력 화상 후보 획득 수단(1072), 판단 수단(1073), 제 1 특징량 획득 수단(6071), 제 2 특징량 획득 수단(6072), LUT 변경 정보 저장 수단(6073), LUT 결정 수단(6074), 변경 수단(5074),및 출력 화상 획득 수단(1075)을 포함하다.
여기서 저장부(101)는 2 이상의 룩업 테이블(이하, 적당히 「LUT」라고 칭함)을 저장하고 있다.
지시 수신부(603)는 후술하는 LUT 변경 정보를 변경하기 위한 지시를 사용자로부터 수신한다. 또한 지시는, 예를 들면, 사용자가 화상으로부터 수신하는 자극량을 변경하는 지시이다.
매핑부(607)를 구성하는 제 1 특징량 획득 수단(6071)은 화상 수신부(104)가 수신한 화상의 특징량 벡터를 획득한다. 제 1 특징량 획득 수단(6071)은 상술한 특징량 획득 수단(5071)과 동일한 동작을 실시한다. 또한 제 1 특징량 획득 수단(6071)이 획득하는 특징량 벡터를 제 1 특징량 벡터라고 칭하는 것으로 한다.
제 2 특징량 획득 수단(6072)은 출력 화상 획득 수단(1075)이 획득한 출력 화상의 특징량 벡터를 획득한다. 제 2 특징량 획득 수단(6072)은 정보의 획득 소스가 제 1 특징량 획득 수단(6071)과는 상이하지만, 제 1 특징량 획득 수단(6071)과 동일한 동작을 실시한다. 또한 제 1 특징량 획득 수단(6071)이 획득하는 1 이상의 특징량과, 제 2 특징량 획득 수단(6072)이 획득하는 1 이상의 특징량이 모두 동일한 특징량이여도 바람직하고, 일부에 동일한 특징량을 포함하여도 바람직하며, 모두 상이한 특징량이여도 바람직하다. 또한 제 2 특징량 획득 수단(6072)이 획득하는 특징량 벡터를 제 2 특징량 벡터라고 칭하는 것으로 한다.
LUT 변경 정보 저장 수단(6073)은 출력 화상 후보 획득 수단(1072)이 출력하는 화상의 후보를 획득하는 경우에 이용하는 LUT를 변경하기 위한 정보인 LUT 변경 정보를 저장하고 있다. LUT 변경 정보는, 예를 들면, 제 1 특징량 벡터와 룩업 테이블을 식별하는 종류 식별자의 쌍이다. 또한 LUT 변경 정보는, 예를 들면, 제 2 특징량 벡터와 종류 식별자의 쌍이여도 바람직하다. 또한 LUT 변경 정보는, 예를 들면, 제 1 특징량 벡터와 제 2 특징량 벡터와 종류 식별자의 쌍이여도 바람직하다. 또한 LUT 변경 정보는, 예를 들면, 제 1 특징량 벡터와, 2 이상의 종류 식별자와, 각 종류 식별자에 대응하는 2 이상의 비의 쌍이다. 또한 LUT 변경 정보는, 예를 들면, 제 2 특징량 벡터와, 2 이상의 종류 식별자와, 각 종류 식별자에 대응하는 2 이상의 비의 쌍이여도 바람직하다. 또한 LUT 변경 정보는, 예를 들면, 제 1 특징량 벡터와, 제 2 특징량 벡터와, 2 이상의 종류 식별자와, 각 종류 식별자에 대응하는 2 이상의 비의 쌍이여도 바람직하다. 또한 LUT 변경 정보 저장 수단(6073)은 통상 2 이상의 LUT 변경 정보를 저장하고 있다. 또한 상기의 비란 2 이상의 LUT를 혼합하여 새로운 LUT을 구성하는 경우 각 LUT에 대응하는 비이다.
또한 LUT 변경 정보 저장 수단(6073)에 저장되어 있는 LUT 변경 정보 관리표의 예를 도 33에 도시한다. 도 33에서 LUT 변경 정보 관리표는 복수의 LUT 변경 정보를 갖는다. LUT 변경 정보는 「ID」「제 1 특징량 벡터」「제 2 특징량 벡터」「LUT」「비」를 갖는다. 「LUT」는 종류 식별자이다. 「비」는 새로운 LUT을 구성하는 경우 각 LUT의 혼합비를 나타내는 정보이다. 또한 「비」는 비율이라는 한정이 아니고, 복수의 LUT를 이용하여 새로운 LUT를 구성하기 위한 정보이면 무엇이든 바람직하다. 새로운 LUT를 구성하기 위한 정보는, 예를 들면, 복수의 LUT를 구성하는 요소를 파라미터로 하는 연산식 등이다. LUT를 구성하는 요소는, 예를 들면, 필터 계수와 특징량 벡터 요소이다.
LUT 결정 수단(6074)은 LUT 변경 정보 저장 수단(6073)의 LUT 변경 정보를 이용하여 출력 화상 후보 획득 수단(1072)이 이용하는 LUT를 결정한다. 더 구체적으로는 LUT 결정 수단(6074)은 제 1 특징량 벡터, 또는 제 2 특징량 벡터, 또는 제 1 특징량 벡터와 제 2 특징량 벡터를 LUT 변경 정보에 적용하고, 출력 화상 후보 획득 수단(1072)이 이용하는 LUT를 결정한다. 또한 LUT 결정 수단(6074)은 제 1 특징량 벡터, 또는 제 2 특징량 벡터, 또는 제 1 특징량 벡터와 제 2 특징량 벡터를 LUT 변경 정보에 적용하여 LUT를 구성하여도 바람직하다.
이하, LUT 변경 정보 저장 수단(6073)에 도 33의 LUT 변경 정보 관리표가 저장되어 있는 경우의 LUT 결정 수단(6074)의 동작에 대하여 설명한다. LUT 결정 수단(6074)은 제 1 특징량 획득 수단(6071)이 획득한 제 1 특징량 벡터와, LUT 변경 정보 관리표의 각 레코드의 제 1 특징량 벡터의 거리를 산출한다. 다음으로, LUT 결정 수단(6074)은 제 2 특징량 획득 수단(6072)이 획득한 제 2 특징량 벡터와, LUT 변경 정보 관리표의 각 레코드의 제 2 특징량 벡터의 거리를 산출한다. 그리고 LUT 결정 수단(6074)은 LUT 변경 정보 관리표의 각 레코드마다, 예를 들면, 2개의 거리의 합을 획득한다. 다음으로, LUT 결정 수단(6074)은 2개의 거리의 합이 최소인 레코드를 결정한다. 다음으로, LUT 결정 수단(6074)은 결정한 레코드를 갖는 「LUT」의 속성값 또는 결정한 레코드를 갖는 「LUT」의 속성값과 「비 」의 속성값을 획득한다. 결정한 레코드가 갖는 「LUT」의 속성값이 하나의 종류 식별자인 경우 LUT 결정 수단(6074)은 해당 종류 식별자로 식별되는 LUT을 출력 화상 후보 획득 수단(1072)이 이용하는 LUT로서 결정한다. 한편, 결정된 레코드가 갖는 「LUT」의 속성값이 2 이상의 종류 식별자인 경우 LUT 결정 수단(6074)은 2 이상의 각 종류 식별자와 「비」의 속성값(이하 단순히 비라고도 칭함)과의 세트를 획득하고, 비에 일치하도록 2 이상의 각 종류 식별자로 식별되는 LUT를 혼합하여 새로운 LUT를 구성한다.
LUT 변경 정보 변경부(610)는 지시 수신부(603)가 수신한 지시에 따라 LUT 변경 정보를 변경한다. 또한 LUT 변경 정보 변경부(610)는 자동적으로 LUT 변경 정보를 변경하여도 바람직하다. 즉, LUT 변경 정보 변경부(610)는, 예를 들면, 사용자 속성(연령, 성별, 주소 등), 방송에 중첩된 정보(EPG에 포함된 정보 등), 시각, 시간대, 외부 센서 정보(예를 들면, 시청하는 방의 밝기, 온도 등)에 따라 자동적으로 LUT 변경 정보를 변경하여도 바람직하다. 또한 이러한 경우, LUT 변경 정보 변경부(610)는 사용자 속성 등에 따라 어떻게 LUT 변경 정보를 변경하는지에 대한 정보를 미리 보유하고 있다. 또한 외부 센서 정보를 이용할 경우 구속 조건 변경부(510)는 도시하지 않은 센서로부터 정보(방의 밝기, 온도 등)를 획득한다.
지시 수신부(603)는 키보드 등의 입력 수단의 디바이스 드라이버나, 메뉴 화면의 제어 소프트웨어로 실현된다.
매핑부(607), LUT 변경 정보 변경부(610), 제 1 특징량 획득 수단(6071), 제 2 특징량 획득 수단(6072), 및 LUT 결정 수단(6074)은 통상 MPU나 메모리 등으로 실현된다. 매핑부(607)등의 처리 순서는 통상 소프트웨어로 실현되고, 해당 소프트웨어는 ROM 등의 기록 매체에 기록된다. 다만, 하드웨어(전용 회로)로 실현하여도 바람직하다.
LUT 변경 정보 저장 수단(6073)은 비휘발성의 기록 매체가 적합하지만, 휘발성 기록 매체로도 실현 가능하다. LUT 변경 정보 저장 수단(6073)에 LUT 변경 정보가 기억되는 과정은 불문한다. 예를 들면, 기록 매체를 통하여 LUT 변경 정보가 LUT 변경 정보 저장 수단(6073)에 기억되도록 구성하여도 바람직하고, 통신 회선 등을 통하여 송신된 LUT 변경 정보가 LUT 변경 정보 저장 수단(6073)에 기억되도록 구성하여도 바람직하며, 또는 입력 디바이스를 통하여 입력된 LUT 변경 정보가 LUT 변경 정보 저장 수단(6073)에 기억되도록 구성하여도 바람직하다.
다음으로, 화상 처리 장치(6)의 동작에 대하여 도 34의 흐름도를 이용하여 설명한다. 도 34의 흐름도에서, 도 2의 흐름도와 상이한 단계에 대하여 설명한다.
(단계 S3401) 매핑부(607)는 매핑 처리를 실시한다. 매핑 처리에 대하여 도 35의 흐름도를 이용하여 설명한다.
(단계 S3402) 지시 수신부(603)는 사용자의 지시를 수신했는지의 여부를 판단한다. 사용자의 지시를 수신하면 단계 S3403로 진행하고, 사용자의 지시를 수신하지 않으면 단계 S201로 복귀한다.
(단계 S3403) LUT 변경 정보 변경부(610)는 지시 수신부(503)가 수신한 지시에 따라 LUT 변경 정보를 변경한다.
다음으로, 단계 S3401의 매핑 처리에 대하여 도 35의 흐름도를 이용하여 설명한다. 도 35의 흐름도에서, 도 4의 흐름도와 상이한 단계에 대하여 설명한다.
(단계 S3501) 매핑부(607)의 제 1 특징량 획득 수단(6071)은 화상 수신부(104)가 수신한 입력 화상으로부터 제 1 특징량 벡터를 획득한다.
(단계 S3502) 제 2 특징량 획득 수단(6072)은 출력 화상 획득 수단(1075)이 획득한 출력 화상으로부터 제 2 특징량 벡터를 획득한다. 또한 여기서 제 2 특징량 벡터를 획득하는 소스가 되는 출력 화상은 통상 직전에 출력된 출력 화상이다.
(단계 S3503) LUT 결정 수단(6074)은 단계 S3501에서 획득된 제 1 특징량 벡터와 단계 S3502에서 획득된 제 2 특징량 벡터를 이용하여 LUT를 결정한다. 이러한 처리인 LUT 결정 처리에 대하여 도 36의 흐름도를 이용하여 설명한다.
다음으로, 단계 S3503의 LUT 결정 처리에 대하여 도 36의 흐름도를 이용하여 설명한다.
(단계 S3601) LUT 결정 수단(6074)은 카운터 i에 1을 대입한다.
(단계 S3602) LUT 결정 수단(6074)은 i번째 LUT 변경 정보가 존재하는지의 여부를 판단한다. i번째 LUT 변경 정보가 존재하면 단계 S3603로 진행하고, 존재하지 않으면 단계 S3607로 진행한다.
(단계 S3603) LUT 결정 수단(6074)은 i번째 LUT 변경 정보가 갖는 제 1 특징량 벡터를 획득한다. 그리고 LUT 결정 수단(6074)은 획득한 제 1 특징량 벡터와, 단계 S3501에서 획득된 제 1 특징량 벡터 사이의 거리(d1)를 산출한다.
(단계 S3604) LUT 결정 수단(6074)은 i번째 LUT 변경 정보가 갖는 제 2 특징량 벡터를 획득한다. 그리고 LUT 결정 수단(6074)은 획득한 제 2 특징량 벡터와, 단계 S3502에서 획득된 제 2 특징량 벡터 사이의 거리(d2)를 산출한다.
(단계 S3605) LUT 결정 수단(6074)은 단계 S3603에서 산출한 거리(d1)와, 단계 S3604에서 산출한 거리(d2)를 산출식에 대입하고, 해당 산출식을 실행한다. 그리고 LUT 결정 수단(6074)은 i번째 LUT 변경 정보의 비용(C)을 획득한다. 그리고 LUT 결정 수단(6074)은 해당 비용(C)을 i번째 LUT 변경 정보와 대응시키고, 적어도 일시 축적한다. 또한 산출식은 2개의 거리를 파라미터로 하는 산출식이며, 각 거리를 파라미터로 하는 함수이다. 또한 이러한 함수는 통상 각 거리를 파라미터로 하는 증가 함수이다. 산출식은, 예를 들면, 「C=a1×d1+(1-a1)×d 2」이다. 또한 a1은 예를 들면 0.5, 0.8 등이다.
(단계 S3606) LUT 결정 수단(6074)은 카운터 i를 1 증가시킨다. 단계 S3602로 복귀한다.
(단계 S3607) LUT 결정 수단(6074)은 단계 S3605에서 산출한 비용이 가장 작은 LUT 변경 정보가 갖는 1 이상의 종류 식별자를 획득한다.
(단계 S3608) LUT 결정 수단(6074)은 단계 S3607에서 획득한 종류 식별자가 복수인지의 여부를 판단한다. 복수이면 단계 S3609로 진행하고, 1개이면 단계 S3611로 진행한다.
(단계 S3609) LUT 결정 수단(6074)은 LUT 변경 정보 저장 수단(6073)으로부터 비용이 가장 작은 LUT 변경 정보가 갖는 복수의 비를 종류 식별자와 대응시켜 획득한다.
(단계 S3610) LUT 결정 수단(6074)은 복수의 종류 식별자에 대응하는 LUT을 저장부(101)로부터 획득한다. 그리고 LUT 결정 수단(6074)은 단계 S3609에서 획득한 비에 따라 획득한 LUT를 혼합하여 새로운 LUT를 생성한다. 이러한 새로운 LUT는 출력 화상 후보 획득 수단(1072)이 사용하는 LUT이다.
또한 LUT의 혼합이란, 예를 들면, 이하와 같은 처리이다. 예를 들면, LUT를 구성하는 대응 정보가 특징량 벡터와 파라미터군(예를 들면, 필터 계수의 집합)이라고 가정한다. 그리고 복수의 LUT은 동일한 특징량 벡터를 갖는 것이라고 가정한다. 그리고 LUT 결정 수단(6074)은 동일한 특징량 벡터에 대응하는 복수의 LUT의 파라미터군을 획득하고 해당 파라미터군을 구성하는 각 파라미터를 비에 따라 혼합한다. 예를 들면, LUT「A」가 있는 대응 정보가 갖는 특징량 벡터가 V1이며, 파라미터군이 (4, 10, 7, …)였다고 가정한다. 또한 LUT「B」가 있는 대응 정보가 갖는 특징량 벡터가 V1이며, 파라미터군이 (10, 8, 17, …)였다고 가정한다. 그리고 LUT「A」에 대응하는 비가 「a1」, LUT「B」에 대응하는 비가 「1-a1」이었다고 가정한다. 이러한 경우, LUT 결정 수단(6074)은 파라미터군(4×a1+10×(1-a1), 10×a1+8×(1-a1), 7×a1+17×(1-a1), …)을 획득한다. 이러한 처리를 모든 대응 정보에 대하여 실시한다.
(단계 S3611) LUT 결정 수단(6074)은 LUT 변경 정보 저장 수단(6073)으로부터 비용이 가장 작은 LUT 변경 정보가 갖는 종류 식별자로 식별되는 LUT을 획득한다. 이러한 LUT는 출력 화상 후보 획득 수단(1072)이 사용하는 LUT이다.
이상 본 실시예에 따르면, 입력 화상, 또는 출력 화상, 또는 입력 화면과 출력 화상에 따라 적용하는 룩업 테이블을 바꾸어 출력 화상을 구성함으로써 매우 고품질의 화상을 출력할 수 있다.
(실시예 8)
본 실시예에서 화상 학습 장치(7)에 대하여 설명한다. 화상 학습 장치(7)는 룩업 테이블 획득 장치(3)가 룩업 테이블을 구성하기 위해 이용하는 제 1 화상과 제 2 화상을 획득하는 장치이다. 또한 여기서의 화상 학습 장치(7)는 주로 엔터테인먼트성을 향상시키는 화상 처리 장치로 이용되는 룩업 테이블을 위한 장치이다.
도 37은 화상 학습 장치(7)의 블록도이다. 화상 학습 장치(7)는 제 1 화상 저장부(31), 제 2 화상 저장부(32), 화상 생성부(71), 화상 축적부(72)를 갖는다. 또한 제 1 화상 저장부(31) 및 제 2 화상 저장부(32)는 룩업 테이블 획득 장치(3) 등의 장치를 구성한다.
제 1 화상 저장부(31)는 1 이상의 제 1 화상을 저장할 수 있다. 제 1 화상 저장부(31)는 동영상인 제 1 화상을 저장하고 있어도 바람직하다.
제 2 화상 저장부(32)는 1 이상의 제 2 화상을 저장할 수 있다. 제 2 화상 저장부(32)는 동영상인 제 2 화상을 저장하고 있어도 바람직하다.
화상 생성부(71)는 제 1 화상 저장부(31)에 저장되어 있는 제 1 화상으로부터 제 2 화상을 생성한다. 또한 화상 생성부(71)는 제 2 화상 저장부(32)에 저장되어 있는 제 2 화상으로부터 제 1 화상을 생성하여도 바람직하다.
예를 들면, 화상 생성부(71)는 이하의 제 2 화상, 또는 제 1 화상을 생성한다.
(1) 흰색 화상인 플래시 화상을 삽입한 제 2 화상의 생성
화상 생성부(71)는 동영상인 제 1 화상을 제 1 화상 저장부(31)로부터 읽어 들인다. 다음으로, 화상 생성부(71)는 제 1 화상의 임의의 프레임 위치에 백색 화상의 프레임을 삽입하여 제 2 화상을 획득한다.
(2) 휘도값을 높인 화상인 플래시 화상을 삽입한 제 2 화상의 생성
화상 생성부(71)는 동영상인 제 1 화상을 제 1 화상 저장부(31)로부터 읽어 들인다. 다음으로, 화상 생성부(71)는 제 1 화상의 임의의 프레임 위치의 프레임의 휘도값을 높여 제 2 화상을 획득한다.
(3) 고 콘트라스트 화상인 플래시 화상을 삽입한 제 2 화상의 생성
화상 생성부(71)는 동영상인 제 1 화상을 제 1 화상 저장부(31)로부터 읽어 들인다. 다음으로, 화상 생성부(71)는 제 1 화상의 임의의 프레임 위치에 고 콘트라스트 화상을 삽입하여 제 2 화상을 획득한다.
(4) 화면 불균일하게 화상을 강조한 제 2 화상의 생성
화상 생성부(71)는 동영상인 제 1 화상을 제 1 화상 저장부(31)로부터 읽어 들인다. 다음으로, 화상 생성부(71)는 제 1 화상의 임의의 위치의 프레임에 비하여 에지 강조나 콘트라스트 변경 등을 실시하여 제 2 화상을 획득한다. 에지 강조나 콘트라스트 변경 등의 처리는 공지 기술이므로 설명을 생략한다.
(5) 필름 유사한(like) 영상의 처리
화상 생성부(71)는 필름 소스의 동영상인 제 2 화상을 제 2 화상 저장부(32)로부터 읽어 들인다. 다음으로 제 2 화상을 화상 변환하여 제 1 화상을 획득한다.
화상 축적부(72)는 화상 생성부(71)가 생성한 제 2 화상을 제 2 화상 저장부(32)에 축적한다. 또한 화상 축적부(72)는 화상 생성부(71)가 생성한 제 1 화상을 제 1 화상 저장부(31)에 축적한다.
다음으로, 화상 처리 장치의 매핑 처리에 대하여 설명한다. 매핑 처리는 상술한 화상 처리 장치의 매핑부가 실시한다.
제 2 화상이 상기 (1) 내지 (3) 중 어느 하나로 생성된 플래시 화상인 경우, 매핑부(107)는 입력 화상의 특징량 벡터(예를 들면, 휘도 분포나 전화면 움직임 양 등을 요소로서 갖는 벡터)를 이용하여 해당 특징량 벡터에 대응하는 대응 정보를 LUT로부터 획득한다. 그리고 매핑부(107)는 획득한 대응 정보를 이용하여 특수 프레임을 삽입한다. 또한 입력 화상의 특징량 벡터는 화상 해석부(106)가 획득한다. 또한 매핑부(107)는 입력 화상의 특징량 벡터가 소정의 조건(대응 정보도 바람직함)을 충족하는 경우, 특수 프레임을 삽입하여도 바람직하다. 특수 프레임이란 플래시 영상의 프레임이다.
또한 제 2 화상이 상기 (4)에서 생성된 불균일하게 강조된 화상인 경우, 매핑부(107)는 상술한 처리를 실시함으로써 강조의 방법이 전화면에서 일률적으로 되지 않고, 예를 들면, 파형에 따라 상이한 강조 방법이 자동으로 선택된다.
또한 제 2 화상이 상기 (5)에서 생성된 필름 유사한 화상인 경우, 매핑부(107)는 상술한 처리를 실시함으로써 필름 톤(tone)의 화상으로 변환한 출력 화상을 출력할 수 있다.
또한 예를 들면, 상이한 조명 환경 하에서 동일한 촬영 대상을 촬영한 제 1 화상과 제 2 화상을 각각 제 1 화상 저장부(31)와, 제 2 화상 저장부(32)에 축적하여도 바람직하다. 상이한 조명 환경이란, 상술한 바와 같이, 예를 들면, 촬영 대상에 따라 조명의 밝기를 상이하게 한 하나의 환경이다. 또한 상이한 조명 환경이란, 예를 들면, 광원의 위치를 이동시킨 환경이다.
이러한 경우 매핑부(107)는 상술한 처리를 실시함으로써 화상의 질감이 향상되거나, 표면 반사 특성이 전혀 상이한 화상을 얻을 수도 한다. 예를 들면, 입력 화상 중의 신작의 현악기가 오래된 것과 같은 중후한 니스의 색의 현악기와 같이 출력된다.
또한 도 38은 본 명세서에서 설명한 프로그램을 실행하고, 상술한 실시예의 룩업 테이블 획득 장치 등을 실현하는 컴퓨터의 외관을 도시한다. 상술한 실시예는 컴퓨터 하드웨어 및 그 위에서 실행되는 컴퓨터 프로그램으로 실현될 수 있다. 도 38은 이 컴퓨터 시스템(340)의 개관도이고, 도 39는 컴퓨터 시스템(340)의 블록도이다.
도 38에서 컴퓨터 시스템(340)은 FD 드라이브, CD-ROM 드라이브를 포함하는 컴퓨터(341)와 키보드(342)와 마우스(343)와 모니터(344)를 포함한다.
도 39에서 컴퓨터(341)는 FD 드라이브(3411), CD-ROM 드라이브(3412)에 더하여 MPU(3413)와, CD-ROM 드라이브(3412) 및 FD 드라이브(3411)에 접속된 버스(3414)와, 부트 업 프로그램 등의 프로그램을 기억하기 위한 ROM(3415)에 접속되어 응용 프로그램의 명령을 일시적으로 기억하는 동시에 일시 기억 공간을 제공하기 위한 RAM(3416)과, 응용 프로그램, 시스템 프로그램, 및 데이터를 기억하기 위한 하드 디스크(3417)를 포함한다. 여기서는 도시하지 않지만, 컴퓨터(341)는 또한 LAN으로의 접속을 제공하는 네트워크 카드를 포함하여도 바람직하다.
컴퓨터 시스템(340)에 상술한 실시예의 룩업 테이블 획득 장치 등의 기능을 실행시키는 프로그램은 CD-ROM(3501) 또는 FD(3502)에 기억되고, CD-ROM 드라이브(3412) 또는 FD 드라이브(3411)에 삽입되며, 또한 하드 디스크(3417)로 전송되어도 바람직하다. 이 대신에, 프로그램은 도시하지 않은 네트워크를 통하여 컴퓨터(341)로 전송되며, 하드 디스크(3417)에 기억되어도 바람직하다. 프로그램은 실행 시에 RAM(3416)에 로딩된다. 프로그램은 CD-ROM(3501), FD(3502) 또는 네트워크로부터 직접 로드되어도 바람직하다.
프로그램은 컴퓨터(341)에 상술한 실시예의 룩업 테이블 획득 장치 등의 기능을 실행시키는 운영 체제(OS) 또는 제3자 프로그램(third party program) 등은 반드시 포함하지 않아도 바람직하다. 프로그램은 제어된 형태로 적합한 기능(모듈)을 호출하고, 원하는 결과를 획득하도록 하는 명령의 부분만을 포함하는 것이면 바람직하다. 컴퓨터 시스템(340)이 어떻게 동작하는지는 주지이고, 상세한 설명은 생략하다.
또한 상기 프로그램을 실행하는 컴퓨터는 단수도 바람직하고, 복수도 바람직하다. 즉, 집중 처리를 실시하여 바람직하고, 또는 분산 처리를 실시하여도 바람직하다.
또한 상기 각 실시예에서 각 처리(각 기능)는 단일의 장치(시스템)에 의해 집중 처리됨으로써 실현되어도 바람직하고, 또는 복수의 장치에 의해 분산 처리됨으로써 실현되어도 바람직하다.
본 발명은 이상의 실시예에 한정되는 것은 아니고, 여러 가지의 변경이 가능하며, 그들도 본 발명의 범위 내에 포함되는 것 물론이다.
이상과 같이 본 발명에 따른 화상 처리 장치는 뇌 부하가 조정된 화상을 출력할 수 있다는 효과를 갖는 텔레비전 수신기 등으로서 유용하다.
1, 2, 4, 5, 6 화상 처리 장치
3 룩업 테이블 획득 장치
7 화상 학습 장치
31 제 1 화상 저장부
32 제 2 화상 저장부
33 제 2 화상 정보 후보 집합 저장부
34 후보 출력부
35 제 2 화상 축적부
36 제 1 화상 관련 정보 획득부
37 제 2 화상 관련 정보 획득부
38 룩업 테이블 구성부
39 룩업 테이블 축적부
7 제 1 화상 생성부
72 화상 축적부
101 저장부
102, 502 구속 조건 저장부
103, 503, 603 지시 수신부
104 화상 수신부
105 분할부
106 화상 해석부
107, 507, 607 매핑부
108 합성부
109 화상 출력부
110 룩업 테이블 갱신부
510 구속 조건 변경부
610 LUT 변경 정보 변경부
1071 종류 식별자 획득 수단
1072 출력 화상 후보 획득 수단
1073 판단 수단
1074, 5074 변경 수단
1075 출력 화상 획득 수단
5071 특징량 획득 수단
5072 구속 조건 결정 수단
6071 제 1 특징량 획득 수단
6072 제 2 특징량 획득 수단
6073 LUT 변경 정보 저장 수단
6074 LUT 결정 수단

Claims (14)

1 또는 2 이상의 제 1 화상의 전부 또는 일부분과, 상기 제 1 화상과 비교하여 더 뇌 부하가 조정된 화상이며 상기 제 1 화상과 동일한 대상에 관한 화상인 제 2 화상의 전부 또는 일부분의 대응을 획득하기 위한 정보인 1 또는 2 이상의 대응 정보를 갖는 룩업 테이블을 저장할 수 있는 저장부와,
1 또는 2 이상의 화상을 수신하는 화상 수신부와,
상기 1 또는 2 이상의 대응 정보 중 어느 하나의 대응 정보를 이용하여 상기 화상 수신부가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 1 또는 2 이상의 제 2 화상의 전부 또는 일부분을 획득하는 매핑부와,
상기 매핑부가 획득한 1 이상의 제 2 화상의 전부, 또는 상기 매핑부가 획득한 1 이상의 제 2 화상의 일부분의 집합인 1 이상의 출력 화상을 출력하는 화상 출력부를 포함하며,
상기 '제 1 화상과 비교하여 더 뇌 부하가 조정된 제 2 화상'은, 상기 제 1 화상에 대하여 상기 제 1 화상이 획득한 하나의 환경과 상이한 환경인 다른 환경에서 획득한 화상이라는 관계가 있거나, 상기 제 1 화상에 대하여 일부에 플래시 화면이 삽입된 화상이라는 관계가 있거나, 상기 제 1 화상에 대하여 상기 제 1 화상을 사용자가 인식하기 쉽고, 인지할 때 뇌 부하가 저감될 수 있도록 조정한 화상인 디포머(deformer)한 화상이라는 관계가 있거나, 상기 제 1 화상에 대하여 상기 제 1 화상을 묘사한 회화를 촬영한 화상이라는 관계가 있거나, 상기 제 1 화상에 대하여 상기 제 1 화상의 컴퓨터그래픽 화상인 관계가 있는 화상 처리 장치.
제 1 항에 있어서,
상기 룩업 테이블은 2 이상의 대응 정보를 갖고,
상기 화상 수신부가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 제 1 화상의 전부 또는 일부분을 결정하는 화상 해석부를 더 포함하며,
상기 매핑부는 상기 화상 해석부가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보를 이용하여 상기 화상 해석부가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 제 2 화상을 획득하는, 화상 처리 장치.
제 2 항에 있어서,
상기 제 1 화상의 전부 또는 일부분은 입력되는 영상 중 일부인 제 1 시공간 블록이고,
상기 제 2 화상의 전부 또는 일부분은 화면에 출력되는 영상 중 일부인
제 2 시공간 블록이며,
상기 화상 수신부는 1 이상의 화상의 집합인 영상을 수신하고,
상기 화상 수신부가 수신한 영상을 공간적, 또는 시간적, 또는 공간적 및 시간적으로 2 이상으로 분할하여 2 이상의 제 1 시공간 블록을 획득하는 분할부를 더 포함하며,
상기 화상 해석부는 상기 분할부가 획득한 2 이상의 각 제 1 시공간 블록마다 해당 각 제 1 시공간 블록에 대응하는 제 1 화상의 전부 또는 일부분을 결정하고,
상기 매핑부는 상기 2 이상의 각 제 1 시공간 블록마다 상기 화상 해석부가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 대응 정보를 이용하여 상기 화상 해석부가 결정한 제 1 화상의 전부 또는 일부분에 대응하는 제 2 시공간 블록을 획득하며,
상기 매핑부가 획득한 2 이상의 각 제 2 시공간 블록을 해당 2 이상의 각 제 2 시공간 블록에 대응하는 제 1 시공간 블록의 시간적, 또는 공간적, 또는 공간적 및 시간적인 위치에 배치하고, 출력 화상을 생성하는 합성부를 더 포함하며,
상기 화상 출력부는 상기 합성부가 생성한 출력 화상을 출력하는, 화상 처리 장치.
제 3 항에 있어서,
상기 화상 해석부는 상기 화상 수신부가 수신한 1 이상의 화상, 또는 상기 분할부가 획득한 2 이상의 각 제 1 시공간 블록을 해석하고, 1 이상의 특징량을 획득하며, 해당 1 이상의 특징량에 대응하는 제 1 화상의 전부 또는 일부분을 결정하는, 화상 처리 장치.
제 1 항에 있어서,
상기 대응 정보는 하나의 환경에서 획득한 하나의 대상에 대한 제 1 화상의 전부 또는 일부분의 1 이상의 특징량과, 상기 제 1 화상의 전부 또는 일부분에 대응하는 제 2 화상의 전부 또는 일부분을 생성하기 위한 연산식, 또는 연산식에 대입하는 파라미터의 집합을 갖는 정보인, 화상 처리 장치.
제 1 항에 있어서,
상기 저장부는 룩업 테이블의 종류를 식별하는 종류 식별자와 해당 종류 식별자에 대응하는 룩업 테이블의 세트를 2 세트 이상 저장하고,
상기 매핑부는,
이용하는 룩업 테이블의 종류를 식별하는 종류 식별자를 획득하는 종류 식별자 획득 수단과,
상기 종류 식별자에 대응하는 룩업 테이블이 갖는 대응 정보 중 어느 하나의 대응 정보를 이용하여 상기 화상 수신부가 수신한 화상의 전부 또는 일부분에 대응하는 제 2 화상의 전부 또는 일부분을 출력 화상의 전부 또는 일부분으로서 획득하는 출력 화상 획득 수단을 포함하는, 화상 처리 장치.
제 1 항에 있어서,
사용자의 지시를 수신하는 지시 수신부와,
상기 지시에 따라 상기 룩업 테이블이 갖는 2 이상의 대응 정보 중 어느 하나를 변경하는 룩업 테이블 갱신부를 더 포함하는, 화상 처리 장치.
제 1 항에 있어서,
입력 화상, 대응 정보, 또는 출력 화상 중 1 종류 이상의 정보가 충족해야 할 조건인 구속 조건을 저장할 수 있는 구속 조건 저장부를 더 포함하고,
상기 매핑부는 상기 1 또는 2 이상의 대응 정보 중 어느 하나의 대응 정보를 이용하여 상기 화상 수신부가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 1 이상의 제 2 화상의 전부 또는 일부분을 상기 구속 조건에 일치하도록 획득하는, 화상 처리 장치.
제 1 항에 있어서,
상기 저장부에 저장되는 룩업 테이블은,
1 이상의 제 1 화상을 저장할 수 있는 제 1 화상 저장부와,
상기 제 1 화상보다 더 뇌 부하가 조정된 화상이며 상기 1 이상의 각 제 1 화상과 동일한 대상에 대한 화상인 1 이상의 각 제 2 화상을 상기 1 이상의 각 제 1 화상에 대응시켜 저장할 수 있는 제 2 화상 저장부와,
상기 제 1 화상의 전부 또는 일부분에 관한 정보인 1 이상의 제 1 화상 관련 정보를 획득하고, 상기 제 1 화상 저장부에 저장되는 1 이상의 제 1 화상의 전부 또는 일부분에 관한 정보인 1 이상의 제 1 화상 관련 정보를 상기 1 이상의 제 1 화상의 전부 또는 일부분으로부터 획득하는 제 1 화상 관련 정보 획득부와,
상기 제 2 화상 저장부에 저장되는 1 이상의 제 2 화상의 전부 또는 일부분에 관한 정보인 1 이상의 제 2 화상 관련 정보를 상기 1 이상의 제 2 화상의 전부 또는 일부분으로부터 획득하는 제 2 화상 관련 정보 획득부와,
상기 제 1 화상 관련 정보 획득부가 획득한 제 1 화상 관련 정보와, 해당 제 1 화상 관련 정보에 대응하는 정보이고 상기 제 2 화상 관련 정보 획득부가 획득한 제 2 화상 관련 정보를 갖는 정보이며, 상기 1 이상의 제 1 화상의 전부 또는 일부분과 상기 1 이상의 제 2 화상의 전부 또는 일부분의 대응을 나타내는 정보인 대응 정보를, 1 또는 2 이상 갖는 룩업 테이블을 구성하는 룩업 테이블 구성부를 포함하는 룩업 테이블 획득 장치에 의해 획득된 룩업 테이블인, 화상 처리 장치.
제 9 항에 있어서,
상기 대응 정보는 상기 1 이상의 제 1 화상의 전부 또는 일부분에 관한 정보인 제 1 화상 관련 정보와, 상기 1 이상의 제 2 화상의 전부 또는 일부분에 관한 정보이며 상기 제 1 화상 관련 정보에 대응하는 정보인 제 2 화상 관련 정보를 포함하는 정보이고,
상기 룩업 테이블 획득 장치는,
상기 제 1 화상 저장부에 저장되는 1 이상의 제 1 화상의 전부 또는 일부분에 관한 정보인 1 이상의 제 1 화상 관련 정보를 상기 1 이상의 제 1 화상의 전부 또는 일부분으로부터 획득하는 제 1 화상 관련 정보 획득부와,
상기 제 2 화상 저장부에 저장되는 1 이상의 제 2 화상의 전부 또는 일부분에 관한 정보인 1 이상의 제 2 화상 관련 정보를 상기 1 이상의 제 2 화상의 전부 또는 일부분으로부터 획득하는 제 2 화상 관련 정보 획득부를 더 포함하고,
상기 룩업 테이블 획득 장치를 구성하는 상기 룩업 테이블 구성부는 상기 제 1 화상 관련 정보 획득부가 획득한 제 1 화상 관련 정보와, 해당 제 1 화상 관련 정보에 대응하는 정보이고 상기 제 2 화상 관련 정보 획득부가 획득한 제 2 화상 관련 정보를 갖는 정보이며, 상기 1 이상의 제 1 화상의 전부 또는 일부분과 상기 1 이상의 제 2 화상의 전부 또는 일부분의 대응을 나타내는 정보인 대응 정보를 1 또는 2개 이상 갖는 룩업 테이블을 구성하는, 화상 처리 장치.
제 9 항에 있어서,
상기 대응 정보는 상기 1 이상의 제 1 화상의 전부 또는 일부분에 대응하는 특징량 벡터와, 상기 1 이상의 제 1 화상의 전부 또는 일부분을 상기 1 이상의 제 2 화상의 전부 또는 일부분으로 변환하기 위한 화상 변환 필터를 갖고,
상기 룩업 테이블 획득 장치를 구성하는 상기 룩업 테이블 구성부는 상기 1 이상의 제 1 화상의 전부 또는 일부분으로부터 특징량 벡터를 획득하며, 상기 1 이상의 제 1 화상의 전부 또는 일부분을 상기 1 이상의 제 2 화상의 전부 또는 일부분으로 변환하는 변환 필터를 획득하고, 해당 특징량 벡터와 해당 변환 필터를 갖는 대응 정보를 1 또는 2 이상 갖는 룩업 테이블을 구성하는, 화상 처리 장치.
제 9 항에 있어서,
상기 룩업 테이블 획득 장치는,
1 이상의 각 제 1 화상에 대응시키고, 제 2 화상에 관한 정보인 2 이상의 제 2 화상 정보의 후보 집합인 제 2 화상 정보 후보 집합을 1 이상 저장할 수 있는 제 2 화상 정보 후보 집합 저장부와,
상기 1 이상의 제 2 화상 정보 후보 집합을 출력하는 후보 출력부와,
상기 후보 출력부가 출력한 1 이상의 각 제 2 화상 정보 후보 집합이 갖는 2 이상의 제 2 화상 정보의 후보 중 1 이상의 제 2 화상 정보의 후보를 선택하는 지시를 수신하는 지시 수신부와,
상기 지시 수신부가 수신한 지시에 대응하는 1 이상의 제 2 화상 정보의 후보를 이용하여 1 이상의 제 2 화상을 획득하고, 제 2 화상 정보 후보 집합에 대응하는 제 1 화상에 대응시키며, 해당 1 이상의 제 2 화상을 상기 제 2 화상 저장부에 축적하는 제 2 화상 축적부를 더 포함하는, 화상 처리 장치.
기억 매체에, 1 이상의 제 1 화상의 전부 또는 일부분과, 상기 제 1 화상과 비교하여 더 뇌 부하가 조정된 화상이며 상기 제 1 화상과 동일한 대상에 대한 화상인 제 2 화상의 전부 또는 일부분의 대응을 획득하기 위한 정보인 1 또는 2 이상의 대응 정보를 갖는 룩업 테이블을 저장하고, 화상 수신부, 매핑부, 및 화상 출력부에 의해 실현될 수 있는 화상 처리 방법으로서,
상기 화상 수신부가 1 이상의 화상을 수신하는 화상 수신 단계와,
상기 매핑부가 상기 1 또는 2 이상의 대응 정보 중 어느 하나의 대응 정보를 이용하여 상기 화상 수신 단계에서 수신된 1 이상의 화상의 전부 또는 일부분에 대응하는 1 이상의 제 2 화상의 전부 또는 일부분을 획득하는 매핑 단계와,
상기 화상 출력부가 상기 매핑 단계에서 획득된 1 이상의 제 2 화상의 전부, 또는 상기 매핑 단계에서 획득된 1 이상의 제 2 화상의 일부분의 집합인 1 이상의 출력 화상을 출력하는 화상 출력 단계를 포함하며,
상기 '제 1 화상과 비교하여 더 뇌 부하가 조정된 제 2 화상'은, 상기 제 1 화상에 대하여 상기 제 1 화상이 획득한 하나의 환경과 상이한 환경인 다른 환경에서 획득한 화상이라는 관계가 있거나, 상기 제 1 화상에 대하여 일부에 플래시 화면이 삽입된 화상이라는 관계가 있거나, 상기 제 1 화상에 대하여 상기 제 1 화상을 사용자가 인식하기 쉽고, 인지할 때 뇌 부하가 저감될 수 있도록 조정한 화상인 디포머한 화상이라는 관계가 있거나, 상기 제 1 화상에 대하여 상기 제 1 화상을 묘사한 회화를 촬영한 화상이라는 관계가 있거나, 상기 제 1 화상에 대하여 상기 제 1 화상의 컴퓨터그래픽 화상인 관계가 있는 화상 처리 방법.
1 이상의 제 1 화상의 전부 또는 일부분과, 상기 제 1 화상과 비교하여 더 뇌 부하가 조정된 화상이며 상기 제 1 화상과 동일한 대상에 대한 화상인 제 2 화상의 전부 또는 일부분의 대응을 획득하기 위한 정보인 1 또는 2 이상의 대응 정보를 갖는 룩업 테이블을 저장하고,
컴퓨터를,
1 이상의 화상을 수신하는 화상 수신부와,
상기 1 또는 2 이상의 대응 정보 중 어느 하나의 대응 정보를 이용하여 상기 화상 수신부가 수신한 1 이상의 화상의 전부 또는 일부분에 대응하는 1 이상의 제 2 화상의 전부 또는 일부분을 획득하는 매핑부와,
상기 매핑부가 획득한 1 이상의 제 2 화상의 전부, 또는 상기 매핑부가 획득한 1 이상의 제 2 화상의 일부분의 집합인 1 이상의 출력 화상을 출력하는 화상 출력부로 기능시키기 위한 프로그램을 기록한 기록 매체이며,
상기 '제 1 화상과 비교하여 더 뇌 부하가 조정된 제 2 화상'은, 상기 제 1 화상에 대하여 상기 제 1 화상이 획득한 하나의 환경과 상이한 환경인 다른 환경에서 획득한 화상이라는 관계가 있거나, 상기 제 1 화상에 대하여 일부에 플래시 화면이 삽입된 화상이라는 관계가 있거나, 상기 제 1 화상에 대하여 상기 제 1 화상을 사용자가 인식하기 쉽고, 인지할 때 뇌 부하가 저감될 수 있도록 조정한 화상인 디포머한 화상이라는 관계가 있거나, 상기 제 1 화상에 대하여 상기 제 1 화상을 묘사한 회화를 촬영한 화상이라는 관계가 있거나, 상기 제 1 화상에 대하여 상기 제 1 화상의 컴퓨터그래픽 화상인 관계가 있는 프로그램을 기록한 기록 매체.
KR1020137029864A 2011-05-11 2012-05-08 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 기록 매체 KR101961967B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JPJP-P-2011-106300 2011-05-11
JP2011106302 2011-05-11
JPJP-P-2011-106302 2011-05-11
JP2011106300 2011-05-11
JPJP-P-2012-010719 2012-01-23
JPJP-P-2012-010717 2012-01-23
JP2012010719A JP5961390B2 (ja) 2011-05-11 2012-01-23 ルックアップテーブル取得装置、ルックアップテーブルの生成支援方法、ルックアップテーブルの生産方法、およびプログラム
JP2012010717A JP5961389B2 (ja) 2011-05-11 2012-01-23 画像処理装置、画像処理方法、およびプログラム
PCT/JP2012/061737 WO2012153726A1 (ja) 2011-05-11 2012-05-08 画像処理装置、画像処理方法、およびプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
KR20140035372A KR20140035372A (ko) 2014-03-21
KR101961967B1 true KR101961967B1 (ko) 2019-03-25

Family

ID=49899376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137029864A KR101961967B1 (ko) 2011-05-11 2012-05-08 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 기록 매체

Country Status (6)

Country Link
US (2) US9071719B2 (ko)
EP (1) EP2709056B1 (ko)
KR (1) KR101961967B1 (ko)
CN (1) CN103518221B (ko)
BR (1) BR112013028780A2 (ko)
WO (1) WO2012153726A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9071719B2 (en) * 2011-05-11 2015-06-30 I-Cubed Research Center Inc. Image processing apparatus with a look-up table and a mapping unit, image processing method using a look-up table and a mapping unit, and storage medium in which program using a look-up table and a mapping unit is stored
KR20150074348A (ko) * 2013-12-24 2015-07-02 삼성전자주식회사 디스플레이 장치 및 이를 이용한 영상표시방법
US9734409B2 (en) * 2015-06-24 2017-08-15 Netflix, Inc. Determining native resolutions of video sequences
WO2017022228A1 (ja) * 2015-08-05 2017-02-09 セイコーエプソン株式会社 脳内映像再生装置
US9894285B1 (en) * 2015-10-01 2018-02-13 Hrl Laboratories, Llc Real-time auto exposure adjustment of camera using contrast entropy
WO2018003938A1 (ja) * 2016-06-30 2018-01-04 アイキューブド研究所株式会社 映像信号処理装置、映像信号処理方法、およびプログラム
JP2019136444A (ja) * 2018-02-15 2019-08-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7453772B2 (ja) * 2019-11-01 2024-03-21 キヤノン株式会社 情報処理装置及びその制御方法、撮像装置システム、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005018537A (ja) * 2003-06-27 2005-01-20 Sony Corp 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
JP2007207253A (ja) * 2007-02-05 2007-08-16 Sony Corp 信号処理装置
JP2008234479A (ja) * 2007-03-22 2008-10-02 Toshiba Corp 画像高品質化装置、方法、及びプログラム
JP2009153005A (ja) * 2007-12-21 2009-07-09 Sony Corp 画像処理装置、画像処理方法、プログラム、および学習装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2825482B2 (ja) 1986-08-02 1998-11-18 ソニー株式会社 ディジタル画像信号の補間装置
JP3072306B2 (ja) 1996-01-29 2000-07-31 ソニー株式会社 ディジタルビデオ信号変換装置及び変換方法
JP2923894B1 (ja) 1998-03-31 1999-07-26 日本電気株式会社 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体
US6215496B1 (en) * 1998-07-23 2001-04-10 Microsoft Corporation Sprites with depth
US6574043B2 (en) * 2001-11-07 2003-06-03 Eastman Kodak Company Method for enhanced bit depth in an imaging apparatus using a spatial light modulator
JP4000837B2 (ja) 2001-11-28 2007-10-31 コニカミノルタホールディングス株式会社 Ｉｄカード作成システム、色補正方法及びｉｄカード作成方法
EP1477929B1 (en) 2002-02-21 2010-04-07 Sony Corporation Signal processing
JP4375523B2 (ja) 2002-12-20 2009-12-02 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理プログラム、印刷物検査装置、印刷物検査方法、印刷物検査プログラム
JP4392584B2 (ja) 2003-06-27 2010-01-06 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
US7847973B2 (en) * 2004-01-30 2010-12-07 Broadcom Corporation Color mapping circuit
JP4639613B2 (ja) 2004-03-15 2011-02-23 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP2006080746A (ja) 2004-09-08 2006-03-23 Nikon Corp 画像処理装置、電子カメラ、および画像処理プログラム
JP2006178900A (ja) * 2004-12-24 2006-07-06 Hitachi Displays Ltd 立体画像生成装置
JP4304623B2 (ja) * 2005-06-01 2009-07-29 ソニー株式会社 撮像装置及び撮像装置における撮像結果の処理方法
US20070052733A1 (en) * 2005-09-07 2007-03-08 Seiko Epson Corporation Image display device and projector
JP4556813B2 (ja) 2005-09-08 2010-10-06 カシオ計算機株式会社 画像処理装置、及びプログラム
JP4241709B2 (ja) 2005-10-11 2009-03-18 ソニー株式会社 画像処理装置
KR100818983B1 (ko) * 2005-12-09 2008-04-03 삼성전자주식회사 후보 이미지와 자연어를 이용한 최적 선호색 재현 장치 및 방법, 선호색에 대한 특정 정보 생성 장치 및 방법, 및 상기 방법을 이용한 기록매체
JP4720544B2 (ja) 2006-03-01 2011-07-13 ソニー株式会社 画像処理装置および方法、プログラム記録媒体、並びにプログラム
JP4470898B2 (ja) 2006-03-16 2010-06-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP4591784B2 (ja) 2006-10-23 2010-12-01 ノーリツ鋼機株式会社 撮影画像補正用変換テーブル作成方法とこの方法を実施する写真プリント装置
JP2008211310A (ja) * 2007-02-23 2008-09-11 Seiko Epson Corp 画像処理装置および画像表示装置
US8437564B2 (en) * 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
TWI334304B (en) 2007-08-17 2010-12-01 Hon Hai Prec Ind Co Ltd Method and apparatus for processing image signal
JP4629118B2 (ja) 2008-03-03 2011-02-09 株式会社日立ハイテクノロジーズ 欠陥検査装置およびこの欠陥検査装置に用いるパラメータ調整方法。
JP2010166506A (ja) 2009-01-19 2010-07-29 Ricoh Co Ltd 画像出力装置、画像出力方法、画像出力プログラム及び記録媒体
JP2011010194A (ja) 2009-06-29 2011-01-13 Nikon Corp ボカシ画像形成装置及びそれを備えたカメラ
EP2293586A1 (en) * 2009-08-04 2011-03-09 Samsung Electronics Co., Ltd. Method and system to transform stereo content
US9131279B2 (en) * 2009-08-06 2015-09-08 Qualcomm Incorporated Preparing video data in accordance with a wireless display protocol
US8379130B2 (en) * 2009-08-07 2013-02-19 Qualcomm Incorporated Apparatus and method of processing images based on an adjusted value of an image processing parameter
US20110113361A1 (en) * 2009-11-06 2011-05-12 Apple Inc. Adjustment presets for digital images
KR101636537B1 (ko) * 2009-11-12 2016-07-06 삼성전자주식회사 깊이감 인지 향상을 위한 영상 처리 장치 및 방법
KR101626072B1 (ko) * 2009-11-13 2016-06-13 삼성전자주식회사 영상 보정 장치 및 영상 보정 방법
US8564647B2 (en) * 2010-04-21 2013-10-22 Canon Kabushiki Kaisha Color management of autostereoscopic 3D displays
RU2010123652A (ru) * 2010-06-10 2011-12-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR) Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником
US20110316971A1 (en) 2010-06-28 2011-12-29 Jianping Zhou Single pipeline stereo image capture
WO2012005962A1 (en) * 2010-06-28 2012-01-12 Thomson Licensing Method and apparatus for customizing 3-dimensional effects of stereo content
JP5059922B2 (ja) * 2010-09-15 2012-10-31 シャープ株式会社 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
TWI448985B (zh) * 2010-09-30 2014-08-11 Realtek Semiconductor Corp 影像調整裝置及方法
US20120127155A1 (en) * 2010-11-23 2012-05-24 Sharp Laboratories Of America, Inc. 3d comfort and fusion limit empirical model
US9237331B2 (en) * 2011-01-18 2016-01-12 Disney Enterprises, Inc. Computational stereoscopic camera system
US20120224037A1 (en) * 2011-03-02 2012-09-06 Sharp Laboratories Of America, Inc. Reducing viewing discomfort for graphical elements
US20120262542A1 (en) * 2011-04-15 2012-10-18 Qualcomm Incorporated Devices and methods for warping and hole filling during view synthesis
US9071719B2 (en) * 2011-05-11 2015-06-30 I-Cubed Research Center Inc. Image processing apparatus with a look-up table and a mapping unit, image processing method using a look-up table and a mapping unit, and storage medium in which program using a look-up table and a mapping unit is stored

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005018537A (ja) * 2003-06-27 2005-01-20 Sony Corp 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
JP2007207253A (ja) * 2007-02-05 2007-08-16 Sony Corp 信号処理装置
JP2008234479A (ja) * 2007-03-22 2008-10-02 Toshiba Corp 画像高品質化装置、方法、及びプログラム
JP2009153005A (ja) * 2007-12-21 2009-07-09 Sony Corp 画像処理装置、画像処理方法、プログラム、および学習装置

Also Published As

Publication number Publication date
US9826194B2 (en) 2017-11-21
WO2012153726A1 (ja) 2012-11-15
CN103518221A (zh) 2014-01-15
EP2709056A1 (en) 2014-03-19
KR20140035372A (ko) 2014-03-21
US20160021335A1 (en) 2016-01-21
US20140132834A1 (en) 2014-05-15
EP2709056A4 (en) 2015-03-04
US9071719B2 (en) 2015-06-30
BR112013028780A2 (pt) 2017-01-31
CN103518221B (zh) 2017-03-08
EP2709056B1 (en) 2021-02-24

Similar Documents

Publication Publication Date Title
KR101961968B1 (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 기록 매체
KR101961967B1 (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 기록 매체
US7242409B2 (en) Interpolated color transform for changing color of an application user interface
KR101366596B1 (ko) 이차원 정지 화상에 대해 몰입감을 생성하는 방법 및시스템 그리고 상기 몰입감 생성을 위한 팩터 조절 방법,이미지 콘텐트 분석 방법 및 스케일링 파라미터 예측 방법
JP6134414B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US9628672B2 (en) Content processing apparatus, content processing method, and storage medium
JP6499612B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JPWO2013061810A1 (ja) 画像処理装置、画像処理方法、および記録媒体
JP5961389B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6244397B2 (ja) ルックアップテーブル取得装置、ルックアップテーブルの生産方法、およびプログラム
TWI558219B (zh) An image processing apparatus, an image processing method, and a storage medium for storing a program
TWI535297B (zh) An image processing apparatus, an image processing method, and a storage medium for storing a program
TWI586180B (zh) An image processing apparatus, an image processing method, and a storage medium for storing a program
Lissner et al. Predicting image differences based on image-difference features
WO2023114070A1 (en) Interactive motion blur on mobile devices
JP2001331246A (ja) 画像関連データ表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant