KR20200110320A - 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램 - Google Patents

화상 처리 장치, 출력 정보 제어 방법, 및 프로그램 Download PDF

Info

Publication number
KR20200110320A
KR20200110320A KR1020207019871A KR20207019871A KR20200110320A KR 20200110320 A KR20200110320 A KR 20200110320A KR 1020207019871 A KR1020207019871 A KR 1020207019871A KR 20207019871 A KR20207019871 A KR 20207019871A KR 20200110320 A KR20200110320 A KR 20200110320A
Authority
KR
South Korea
Prior art keywords
image
unit
composite
display
composite image
Prior art date
Application number
KR1020207019871A
Other languages
English (en)
Other versions
KR102638565B1 (ko
Inventor
고시 와타나베
히로타카 고토
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20200110320A publication Critical patent/KR20200110320A/ko
Application granted granted Critical
Publication of KR102638565B1 publication Critical patent/KR102638565B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/23222—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N5/232935—
    • H04N5/232941—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

고화질의 합성 화상을 촬영 가능하게 하기 위한 가이드 정보를 출력하고, 나아가 합성 화상과 컬러 화상 등을 병렬 표시하여 기록 화상의 사용자 선택을 가능하게 한 장치, 방법을 실현한다. 상이한 시점으로부터 촬영된 컬러 화상과 흑백 화상의 합성 처리를 실행하여 합성 화상을 생성하는 합성 화상 생성부와, 합성 화상에 관한 보조 정보를 표시부에 표시하는 제어를 행하는 표시 정보 제어부를 갖는다. 표시 정보 제어부는, 피사체가 너무 가까운 경우나 장해물에 의해 고화질의 합성 화상을 생성할 수 없는 경우, 경고 정보로서 근접 경보나, 장해물 경보를 출력하고, 나아가 합성 화상 적합 레벨을 표시한다. 나아가, 합성 화상과 컬러 화상 등을 병렬 표시하여 기록 화상의 사용자 선택을 가능하게 하였다.

Description

화상 처리 장치, 출력 정보 제어 방법, 및 프로그램
본 개시는 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램에 관한 것이다. 더욱 상세하게는, 복수의 촬상부에서 촬영된 2개의 화상 중 어느 하나, 또는 2개의 화상의 합성 화상을 선택적으로 출력하는 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램에 관한 것이다.
화질이 다른 복수의 화상을 합성함으로써 고품질의 화상을 생성하는 것이 알려져 있다.
예를 들면, 특허문헌 1(일본특허공개 제2015-197745호 공보)에는, 컬러 화상과 흑백 화상을 합성하여, 컬러 화상의 색채 정보와, 흑백 화상의 휘도 정보를 이용하여 고품질 화상을 생성하는 구성이 개시되어 있다.
특허문헌 1: 일본특허공개 제2015-197745호 공보
상기 특허문헌 1에는, 컬러 화상과 흑백 화상을 합성하여 고품질 화상을 생성하는 구성이 개시되어 있다.
그러나, 합성 화상이 컬러 단안 화상보다 고품질이라는 보증은 없으며, 촬영 조건에 따라 합성 화상이 고품질인 경우와, 컬러 화상이 고품질인 경우가 있다.
또한, 품질에 관계없이 사용자가 어느 하나의 화상을 메모리에 기록하고 싶다고 생각하는 경우도 있다.
카메라(화상 처리 장치)가 컬러 화상과 흑백 화상의 특징량을 해석하여 해석 결과에 따라, 합성 화상, 또는 컬러 화상, 또는 흑백 화상 중에서 가장 고품질의 화상을 선택 출력하는 구성에서는, 사용자가 카메라의 촬영 모드를 합성 화상 출력 모드로 설정하고 있는 경우라도, 컬러 화상이 선택되어 기록된다고 하는 경우가 있다.
예를 들면, 컬러 화상과 흑백 화상의 시차가 큰 경우에는 고품질의 합성 화상의 생성이 곤란한 것으로 장치가 판단하고, 이러한 경우에 합성 화상의 출력, 기록을 정지하고, 컬러 화상의 출력, 기록이 행해진다.
이와 같이, 합성 화상, 컬러 화상, 흑백 화상의 어느 화상을 생성, 출력할지를 자동적으로 장치측에서 판단해 버리면, 사용자가 생각한 화상이 기록(또는 표시)되지 않는 경우가 발생한다.
본 개시는, 이러한 문제를 해결하는 것으로, 고화질의 합성 화상을 촬영하기 위한 가이드 정보를 제시하고, 나아가, 사용자가 희망하는 화상을 기록(또는 표시) 가능하게 한 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램을 제공하는 것을 목적으로 한다.
본 개시의 제1 측면은,
상이한 시점(視點)으로부터 촬영된 컬러 화상과 흑백 화상의 합성 처리를 실행하여 합성 화상을 생성하는 합성 화상 생성부와,
합성 화상에 관한 보조 정보를 표시부에 표시하는 제어를 행하는 표시 정보 제어부를 갖는 화상 처리 장치에 있다.
나아가, 본 개시의 제2 측면은,
화상 처리 장치에서 실행하는 출력 정보 제어 방법으로서,
상기 화상 처리 장치는,
상이한 시점으로부터 촬영된 컬러 화상과 흑백 화상의 합성 처리를 실행하여 합성 화상을 생성하는 합성 화상 생성부를 가지며,
표시 정보 제어부가, 합성 화상에 관한 보조 정보를 표시부에 표시하는 제어를 행하는 출력 정보 제어 방법에 있다.
나아가, 본 개시의 제3 측면은,
화상 처리 장치에서 정보 출력 처리를 제어하는 프로그램으로서,
상기 화상 처리 장치는,
상이한 시점으로부터 촬영된 컬러 화상과 흑백 화상의 합성 처리를 실행하여 합성 화상을 생성하는 합성 화상 생성부를 가지며,
상기 프로그램은, 표시 정보 제어부에, 합성 화상에 관한 보조 정보를 표시부에 표시하는 제어를 행하게 하는 프로그램에 있다.
또한, 본 개시의 프로그램은, 예를 들면, 다양한 프로그램 코드를 실행 가능한 정보 처리 장치나 컴퓨터 시스템에 대하여, 컴퓨터 판독 가능한 형식으로 제공하는 기억 매체, 통신 매체에 의해 제공 가능한 프로그램이다. 이러한 프로그램을 컴퓨터 판독 가능한 형식으로 제공함으로써, 정보 처리 장치나 컴퓨터 시스템 상에서 프로그램에 따른 처리가 실현된다.
본 개시의 또 다른 목적, 특징이나 이점은, 후술하는 본 개시의 실시예나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 밝혀질 것이다. 또한, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일한 케이스 내에 있는 것으로 제한되지 않는다.
본 개시의 일 실시예의 구성에 의하면, 고화질의 합성 화상을 촬영 가능하게 하기 위한 가이드 정보를 출력하고, 나아가 합성 화상과 컬러 화상 등을 병렬 표시하여 기록 화상의 사용자 선택을 가능하게 한 장치, 방법이 실현된다.
구체적으로는, 예를 들면, 상이한 시점으로부터 촬영된 컬러 화상과 흑백 화상의 합성 처리를 실행하여 합성 화상을 생성하는 합성 화상 생성부와, 합성 화상에 관한 보조 정보를 표시부에 표시하는 제어를 행하는 표시 정보 제어부를 갖는다. 표시 정보 제어부는, 피사체가 너무 가까운 경우나 장해물에 의해 고화질의 합성 화상을 생성할 수 없는 경우, 경고 정보로서 근접 경보나, 장해물 경보를 출력하고, 나아가 합성 화상 적합 레벨을 표시한다. 나아가, 합성 화상과 컬러 화상 등을 병렬 표시하여 기록 화상의 사용자 선택을 가능하게 하였다.
본 구성에 의해, 고화질의 합성 화상을 촬영 가능하게 하기 위한 가이드 정보를 출력하고, 나아가 합성 화상과 컬러 화상 등을 병렬 표시하여 기록 화상의 사용자 선택을 가능하게 한 장치, 방법이 실현된다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 또한 부가적인 효과가 있어도 된다.
도 1은 화상 처리 장치의 외관 구성예에 대해 설명하는 도면이다.
도 2는 화상 처리 장치의 구성예에 대해 설명하는 도면이다.
도 3은 촬상 소자의 구성예에 대해 설명하는 도면이다.
도 4는 흑백 화상의 화질에 대해 설명하는 도면이다.
도 5는 컬러 화상의 화질에 대해 설명하는 도면이다.
도 6은 어클루젼(occlusion)에 대해 설명하는 도면이다.
도 7은 화상 처리부의 구성예에 대해 설명하는 도면이다.
도 8은 기준 화상 결정 처리의 일례에 대해 설명하는 도면이다.
도 9는 기준 화상 결정 처리의 일례에 대해 설명하는 도면이다.
도 10은 특징량 산출부와 화질 판정부의 상세 구성과 처리 예에 대해 설명하는 도면이다.
도 11은 시차 차분 절대값 히스토그램에 대해 설명하는 도면이다.
도 12는 화질 판정에 기초하는 출력 화상의 결정 예와 문제점에 대해 설명하는 도면이다.
도 13은 화질 판정에 기초하는 출력 화상의 결정 예와 문제점에 대해 설명하는 도면이다.
도 14는 본 개시의 화상 처리 장치가 실행하는 처리에 대해 설명하는 도면이다.
도 15는 본 개시의 화상 처리 장치가 실행하는 처리에 대해 설명하는 도면이다.
도 16은 본 개시의 화상 처리 장치가 실행하는 처리에 대해 설명하는 도면이다.
도 17은 본 개시의 화상 처리 장치의 구성예에 대해 설명하는 도면이다.
도 18은 화상 처리부의 구성예에 대해 설명하는 도면이다.
도 19는 본 개시의 화상 처리 장치의 상태 천이 예에 대해 설명하는 도면이다.
도 20은 본 개시의 화상 처리 장치가 실행하는 처리의 시퀀스에 대해 설명하는 플로우차트를 나타내는 도면이다.
도 21은 본 개시의 화상 처리 장치가 실행하는 처리의 시퀀스에 대해 설명하는 플로우차트를 나타내는 도면이다.
도 22는 본 개시의 화상 처리 장치가 실행하는 처리의 시퀀스에 대해 설명하는 플로우차트를 나타내는 도면이다.
이하, 도면을 참조하면서 본 개시의 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램의 상세에 대해 설명한다. 또한, 설명은 이하의 항목을 따라 행한다.
1. 화상 처리 장치의 구성예에 대하여
2. 화상 처리부가 실행하는 합성 화상의 생성 처리에 대하여
3. 출력 화상의 자동 선택 처리에 있어서의 문제점에 대하여
4. 고화질의 합성 화상을 취득하기 위한 가이드 정보를 출력하고, 나아가 출력 화상의 선택을 가능하게 한 본 개시의 화상 처리 장치의 구성과 처리에 대하여
5. 그 밖의 실시예에 대하여
6. 본 개시의 구성의 정리
[1. 화상 처리 장치의 구성예에 대하여]
도 1은 본 개시의 화상 처리 장치의 일 구성예를 나타내는 도면이다. 도 1은, 카메라 기능을 구비한 정보 처리 단말(스마트폰)이며, 본 개시의 화상 처리 장치의 일례이다.
또한, 본 개시의 화상 처리 장치는, 이러한 정보 처리 단말(스마트폰)에 한정되지 않고, 예를 들면 카메라 등의 촬상 장치도 포함된다.
도 1의 (a)는 화상 처리 장치(10)의 표면측을 나타내고 있고, 표시부(11) 및 조작부(12)가 표면측에 설치되어 있다. 도 1의 (b)는 화상 처리 장치(10)의 이면측을 나타내고 있고, 복수의 촬상부, 즉, 컬러 화상 촬상부(21), 흑백 화상 촬상부(22)가 이면측에 설치되어 있다.
도 2는 컬러 화상 촬상부(111), 흑백 화상 촬상부(112)를 개별적으로 갖는 2안형의 일반적인 화상 처리 장치의 구성예를 나타내고 있다.
화상 처리 장치(100)는, 촬상부(110)를 구성하는 컬러 화상 촬상부(111), 흑백 화상 촬상부(112), 화상 처리부(120), 나아가, 화상 처리부(120)의 처리 화상의 출력부(130)로서 표시부(터치 패널)(131), 기억부(132)를 갖는다.
나아가, 센서부(141), 조작부(142), 제어부(150), 통신부(160)를 가지고 있다.
컬러 화상 촬상부(111), 흑백 화상 촬상부(112)는, 도 1의 (b)에 나타내는 바와 같이 화상 처리 장치(100)의 동일한 면 측에 설치되어 있다. 컬러 화상 촬상부(111), 흑백 화상 촬상부(112)는, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 촬상 소자를 사용하여 구성되어 있고, 렌즈(도시하지 않음)에 의해 받아들여진 광의 광전 변환을 행하고, 촬상 화상의 화상 데이터를 생성하여 화상 처리부(120)에 출력한다. 또한, 컬러 화상 촬상부(111), 흑백 화상 촬상부(112)는 특성 차를 가지고 있다.
도 3은 촬상부의 화소 배열을 예시하고 있다. 도 3의 (a)는 흑백 화상 촬상부(112)의 화소 배열을 나타내고 있다. 흑백 화상 촬상부(112)는, 모든 화소가, 가시광의 전체 파장 영역의 입사광량에 기초하는 전기 신호를 출력하는 W(화이트) 화소에 의해 구성된다. 따라서, 흑백 화상 촬상부(112)는, 흑백 화상의 화상 데이터를 생성한다.
도 3의 (b)는 컬러 화상 촬상부(111)의 화소 배열을 나타내고 있다. 컬러 화상 촬상부(111)는, 예를 들면 적색(R) 화소와 청색(B) 화소와 녹색(G) 화소를 베이어 배열(Bayer array)로 한 컬러 필터를 사용하여 구성되어 있다. 베이어 배열에서는 2×2 화소의 화소 단위에 있어서 대각 위치의 2개의 화소가 녹색(G) 화소이며, 나머지 화소가 적색(R) 화소와 청색(B) 화소로 되어 있다. 즉, 컬러 화상 촬상부(111)는, 각 화소가 적색과 청색과 녹색 중 어느 1개의 색 성분의 입사광량에 기초하는 전기 신호를 출력하는 색 화소에 의해 구성되어 있다. 따라서, 컬러 화상 촬상부(111)는, 각 화소가 3원색(RGB) 성분 중 어느 하나를 나타내는 컬러 화상의 화상 데이터를 생성한다.
화상 처리부(120)는, 컬러 화상 촬상부(111), 흑백 화상 촬상부(112)에서 취득된 촬상 화상을 이용하여, 합성 화상을 생성한다. 즉, 화상 처리부(120)는, 컬러 화상 촬상부(111), 흑백 화상 촬상부(112)에서 취득된 촬상 화상을 이용하여 화상 처리를 행하고, 컬러 화상 촬상부(111)나, 흑백 화상 촬상부(112)에서 각각 취득되는 촬상 화상을 고화질화한 합성 화상을 생성하여, 출력부(130) 내의 표시부(터치 패널)(131)나 기억부(132)에 출력한다. 또한, 화상 처리부(120)의 구성 및 동작의 상세에 대해서는 후술한다.
센서부(141)는 자이로 센서 등을 사용하여 구성되어 있고, 화상 처리 장치(100)에 생긴 흔들림을 검출한다. 센서부(141)는, 검출한 흔들림의 정보를 제어부(150)에 출력한다.
통신부(160)는 LAN(Local Area Network)이나 인터넷 등의 네트워크 상의 기기와 통신을 행한다.
표시부(터치 패널)(131)는, 화상 처리부(120)로부터 공급된 화상 데이터에 기초하여 촬상 화상의 표시, 제어부(150)로부터의 정보 신호에 기초하여 메뉴 화면이나 각종 애플리케이션 화면 등의 표시를 행한다. 또한, 표시부(터치 패널)(131)의 표시면은 터치 패널 구성을 가지며, GUI 기능을 이용할 수 있도록 구성되어 있다.
조작부(142)는 조작 스위치 등을 사용하여 구성되어 있고, 사용자 조작에 따른 조작 신호를 생성하여 제어부(150)에 출력한다.
기억부(132)는, 화상 처리 장치(100)에서 생성된 정보, 예를 들면 화상 처리부(120)로부터 공급된 화상 데이터나, 화상 처리 장치(100)에서 통신이나 애플리케이션을 실행하기 위해 이용되는 각종 정보를 기억한다.
제어부(150)는, CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory)(도시하지 않음) 등으로 구성되어 있다. 제어부(150)는, ROM 또는 RAM에 기억된 프로그램을 실행하여, 표시부(터치 패널)(131)를 구성하는 터치 패널이나 조작부(142)에 대한 사용자 조작에 따른 동작이 화상 처리 장치(100)에서 행해지도록 각 부의 동작을 제어한다.
또한, 화상 처리 장치(100)는, 도 2에 나타내는 구성에 한정되지 않고, 예를 들면 화상 데이터를 부호화하여 기억부(132)에 기억하기 위한 부호화 처리부, 화상 데이터를 표시부의 해상도에 맞추는 해상도 변환부 등이 설치되어도 된다.
[2. 화상 처리부가 실행하는 합성 화상의 생성 처리에 대하여]
다음으로, 화상 처리부(120)가 실행하는 합성 화상의 생성 처리에 대해 설명한다.
도 2에 나타내는 화상 처리부(120)는, 흑백 화상 촬상부(112)에서 취득된 흑백 화상과 컬러 화상 촬상부(111)에서 취득된 컬러 화상을 이용하여 화상 합성 처리를 행한다.
도 4는 흑백 화상을 기준 화상으로 한 화상 합성 처리에 의해 얻어지는 화질을 설명하기 위한 도면이다. 예를 들면, 흑백 화상을 기준으로 하여, 흑백 화상의 화상 위치에 컬러 화상을 위치맞춤한 후, 화상 합성을 행하여 합성 화상을 생성하면, 흑백 화상 촬상부(112)에서 사용되고 있는 렌즈 및 센서의 특성에 따라 휘도를 충실하게 재현할 수 있다.
한편, 도 5는 컬러 화상을 기준 화상으로 한 화상 합성 처리에 의해 얻어지는 화질을 설명하기 위한 도면이다. 예를 들면, 컬러 화상을 기준으로 하여, 컬러 화상의 화상 위치에 흑백 화상을 위치맞춤한 후, 화상 합성을 행하여 합성 화상을 생성하면, 컬러 화상을 기준으로 하고 있기 때문에 합성 화상에서는 색 변이(color shift)가 생기는 일이 없고, 흑백 화상 촬상부(112)에서 사용되고 있는 렌즈 및 센서의 특성에 따라 휘도를 충실하게 재현할 수 있다.
그러나, 흑백 화상 촬상부(112)와 컬러 화상 촬상부(111)에서는 시점이 상이하기 때문에, 원경에 비해서 근경에서는 색 변이가 생길 리스크가 높아진다. 또한, 원경에 비해서 근경에서는 어클루젼 영역이 증가한다.
어클루젼 영역은, 예를 들면 촬상부에 가까운 장해물 등에 의해, 일방의 화상에만 촬영되며, 타방의 화상에 촬영되지 않는 영역이다.
도 6은 흑백 화상 촬상부(112)에서 취득되는 흑백 화상을 기준으로 했을 때의 어클루젼 영역을 나타내고 있다. 시차에 의해 어클루젼이 생기면, 컬러 화상 촬상부(111)에서 취득된 컬러 화상에서는 어클루젼 영역에 대응하는 화상 데이터가 없다. 이 때문에 화상 합성 처리에 의해 생성된 합성 화상에서는 어클루젼 영역에서 색 정보가 결핍한 화상이 된다. 나아가, 원경에 비해서 근경의 화소에서는 일방의 촬상 화상에 있어서의 주목 화소에 대응하는 화소가 시차 검출의 탐색 범위를 넘어서, 시차 벡터를 산출할 수 없을 우려도 있다. 따라서, 화상 합성 처리에 의해 얻어지는 합성 화상은, 컬러 화상 촬상부(111)에서 취득된 컬러 화상보다 화질이 열화하는 경우가 있다.
또한, 흑백 화상 촬상부(112)는 컬러 필터를 이용한 컬러 화상 촬상부(111)에 비해서 감도가 높기 때문에, 피사체의 휘도가 높아지면, 컬러 화상 촬상부(111)에 비해서 화소의 포화가 생기기 쉽다. 이와 같이 흑백 화상에 있어서 포화된 화소가 많아지면, 합성 화상에서는, 컬러 화상 촬상부(111)에서 취득된 컬러 화상에 비해서 피사체의 고휘도 부분이 보다 많이 포화되어 있는 화질이 열화한 컬러 화상이 되어 버린다.
이 때문에, 화상 처리부(120)는, 촬상 화상에 기초하여 시차나 화소의 포화에 기인하는 화질의 열화가 생기는지 아닌지의 화상 합성 판정을 행한다. 화상 처리부(120)는, 화상 합성 판정 결과에 따라, 이하의 2종류의 합성 화상 중 어느 일방을 생성한다.
컬러 화상 촬상부(111)에서 취득된 컬러 화상을 기준 화상으로 한 합성 화상,
흑백 화상 촬상부(112)에서 취득된 흑백 화상을 기준 화상으로 한 합성 화상.
도 7은 화상 처리부(120)의 상세 구성예를 나타내는 도면이다.
화상 처리부(120)는, 전처리부(121, 122), 시차 검출부(123), 특징량 산출부(124), 화질 판정부(125), 합성 화상 생성부(126), 출력 화상 생성부(선택/합성)(127)를 가지고 있다.
전처리부(121, 122)는, 컬러 화상 촬상부(111), 흑백 화상 촬상부(112)의 취득한 촬상 화상의 화상 데이터에 대하여, 렌즈 왜곡 보정이나 결함 화소 보정, 화이트 밸런스 조정 등의 화상 보정 처리를 행한다. 보정 후의 화상 데이터는, 시차 검출부(123), 특징량 산출부(124), 화질 판정부(125), 합성 화상 생성부(126), 출력 화상 생성부(선택/합성)(127)에 출력된다.
시차 검출부(123)는 전처리부(121, 122)로부터 공급된 흑백 화상 데이터와 컬러 화상 데이터에 기초하여 시차 검출을 행한다.
흑백 화상 촬상부(112)와 컬러 화상 촬상부(111)는, 도 1의 (b)에 나타내는 바와 같이 상이한 시점 위치로부터 촬상을 행하기 때문에, 흑백 화상 촬상부(112)와 컬러 화상 촬상부(111)에서 취득된 촬상 화상은 시차를 가지는 화상이 된다.
시차 검출부(123)는, 블록 매칭 등의 대응점 검출 처리에 의해, 화소 단위의 시차 검출을 행한다. 이 검출 정보는 특징량 산출부(124)에 출력된다.
특징량 산출부(124)는, 시차 검출부(123)의 검출한 2개의 화상 데이터의 화소 단위 또는 화상 영역 단위의 시차 정보를 입력하여, 화상 특징량, 구체적으로는, 시차의 부분 분포나 어클루젼 영역의 크기(점유율) 등을 산출한다.
이 특징량 산출부(124)의 구체적 구성예와 처리에 대해서는 후술한다.
특징량 산출부(124)가 산출한 특징량 정보는 화질 판정부(125)에 출력된다.
화질 판정부(125)는, 특징량 산출부(124)가 산출한 특징량 정보에 기초하여, 합성 화상의 화질 등을 판정한다. 구체적으로는, 예를 들면,
(a) 컬러 화상 기준 합성 화상,
(b) 흑백 화상 기준 합성 화상, 나아가,
(c) 컬러 화상 촬상부(111)가 촬영한 컬러 단안 화상,
(d) 흑백 화상 촬상부(112)가 촬영한 흑백 단안 화상,
이들 화상의 화질을 판정한다.
이 판정 결과가, 합성 화상 생성부(126) 및 출력 화상 생성부(선택/합성)(127)에 출력된다.
화질 판정부(125)의 구체적 구성, 처리에 대해서도 후술한다.
합성 화상 생성부(126)는, 화질 판정부(125)의 판정 결과에 기초하여,
(a) 컬러 화상 기준 합성 화상,
(b) 흑백 화상 기준 합성 화상,
이들 중 어느 하나의 합성 화상을 생성한다.
기준 화상은 합성 화상을 생성할 때의 기준이 되는 화상이다.
컬러 화상을 기준 화상으로 설정한 경우, 합성 화상 생성부(126)에서는, 전처리부(121)로부터 공급된 컬러 화상 데이터를 기초로 하여, 흑백 화상으로부터 얻어지는 휘도 정보에 기초하는 화소값 보정을 행하고, 합성 화상을 생성한다.
한편, 흑백 화상을 기준 화상으로 설정한 경우, 합성 화상 생성부(126)에서는, 전처리부(122)로부터 공급된 흑백 화상 데이터를 기초로 하여, 컬러 화상으로부터 얻어지는 색 정보에 기초하는 화소값 보정을 행하고, 합성 화상을 생성한다.
화질 판정부(125)에서는,
흑백 화상을 기준 화상으로서 생성한 합성 화상과,
컬러 화상을 기준 화상으로서 생성한 합성 화상,
이들 2종류 중 어느 하나의 합성 화상이 고화질의 합성 화상이 될 수 있는지를 판정한다.
이하, 이 판정 처리의 하나의 구체예에 대해 설명한다.
화질 판정부(125)는, 특징량 산출부(124)로부터 입력하는 특징량 정보를 이용하여, 컬러 화상 및 흑백 화상 중 어느 쪽의 화상을 기준 화상으로 설정할지를 결정한다.
구체적으로는, 예를 들면, 2개의 화상 데이터의 시차 정보와, 어클루젼 영역 검출 정보에 기초하여, 컬러 화상 및 흑백 화상 중 어느 쪽의 화상을 기준 화상으로 설정할지를 결정한다.
이 기준 화상 결정 처리의 일례에 대해, 도 8을 참조하여 설명한다.
도 8에 나타내는 그래프는, 횡축에 어클루젼 면적, 종축에 시차를 설정한 그래프이다.
횡축의 어클루젼 면적은, 컬러 화상 촬상부(111)가 촬영한 컬러 화상과, 흑백 화상 촬상부(112)가 촬영한 흑백 화상, 이들 2개의 화상의 화상 영역에 포함되는 어클루젼 영역의 점유율(%)에 상당한다.
종축의 시차는, 컬러 화상 촬상부(111)가 촬영한 컬러 화상과, 흑백 화상 촬상부(112)가 촬영한 흑백 화상, 이들 2개의 화상의 시차(예를 들면, 화소수)이다.
기준 화상 결정부(124)는, 이 어클루젼 영역 점유율과 시차를, 먼저, 화상을 분할한 분할 영역 단위로 산출한다.
도 9를 참조하여 이 처리에 대해 설명한다.
도 9는 컬러 화상 촬상부(111)가 촬영한 컬러 화상, 또는 흑백 화상 촬상부(112)가 촬영한 흑백 화상 촬영 화상이다.
기준 화상 결정부(124)는, 2개의 화상 중 어느 일방의 화상을 선택하고, 선택 화상에 복수의 분할 영역을 설정한다. 도 9에 나타내는 점선으로 구분된 분할 영역이다.
기준 화상 결정부(124)는, 각 분할 영역 단위의 어클루젼 영역 점유율과 시차(평균값)를 산출한다.
예를 들면, 도 9에 나타내는 예에서는, 8×5=40개의 분할 영역이 설정되어 있고, 40개의 어클루젼 영역 점유율과 시차(평균값)를 산출한다.
이 40개의 어클루젼 영역 점유율과 시차(평균값)를, 도 8에 나타내는 그래프 상에 배치한다.
즉,
어클루젼 영역 점유율=x,
시차(평균값)=y,
라고 했을 때의 좌표(x, y)를 도 8에 나타내는 그래프 상에 배치한다.
이 처리에 의해, 예를 들면, 50% 이상이 컬러 화상 기준 영역에 포함되어 있으면, 기준 화상을 컬러 화상으로 한다.
또한, 50% 이상이 흑백 화상 기준 영역에 포함되어 있으면, 기준 화상을 흑백 화상으로 한다.
기준 화상 결정부(124)는, 이러한 처리에 의해, 기준 화상을 결정한다.
또한, 상술한 처리 예는 일례이며, 그 밖의 처리도 가능하다.
예를 들면, 화상의 중앙 영역에 있는 분할 영역에 큰 가중치를 설정하여, 중앙 영역의 어클루젼 영역 점유율과 시차(평균값)를 보다 크게 반영시켜 기준 화상을 결정하는 처리를 행해도 된다.
또는, 얼굴 영역이 검출된 분할 영역의 가중치를 높게 하여 기준 화상을 결정하는 처리를 행해도 된다.
도 8에 나타내는 그래프로부터 이해되는 바와 같이,
어클루젼 면적 점유율이 임계값(Thx) 미만이며, 시차가 시차 임계값(Thy) 미만인 경우에는, 흑백 화상을 기준 화상으로 한다.
한편, 어클루젼 면적 점유율이 임계값(Thx) 이상, 또는 시차가 시차 임계값(Thy) 이상인 경우에는, 컬러 화상을 기준 화상으로 한다.
화질 판정부(125)는, 이러한 처리에 의해, 기준 화상을 결정한다.
어클루젼 면적 점유율이 작고, 또한 시차가 작은 경우, 흑백 화상을 기준 화상으로 하여 흑백 화상의 충실한 휘도 정보를 화상 전체에 적용함으로써, 고화질의 화상을 생성할 수 있다.
즉, 어클루젼 면적 점유율이 작고, 또한 시차가 작은 경우에는, 어클루젼에 의해 컬러 화상으로부터 색 정보를 취득할 수 없는 영역이 작고, 또한 시차에 의한 색 변이의 문제도 적기 때문에, 흑백 화상을 기준 화상으로 하여 흑백 화상의 충실한 휘도 정보를 화상 전체에 적용한 고화질의 흑백 화상 기준 합성 화상을 생성한다.
한편, 어클루젼 면적 점유율이 큰 경우, 또는 시차가 큰 경우에는, 어클루젼에 의해 컬러 화상으로부터 색 정보를 취득할 수 없는 영역이 크거나, 또는 시차에 의한 색 변이의 문제가 발생하는 영역이 커질 가능성이 있으며, 이 문제를 저감시키기 위해 컬러 화상을 기준 화상으로 한 컬러 화상 기준 합성 화상을 생성한다.
또한, 컬러 화상 기준 합성 화상에 있어서도 흑백 화상의 휘도 정보를 적용한 합성 화상 생성 처리를 행한다.
한편, 이 도 8, 도 9를 참조하여 설명한 기준 화상 결정 처리는 일례이며, 화질 판정부(125)는, 그 밖의 화상 특징량을 이용하여,
(a) 컬러 화상 기준 합성 화상,
(b) 흑백 화상 기준 합성 화상, 나아가,
(c) 컬러 화상 촬상부(111)가 촬영한 컬러 단안 화상,
(d) 흑백 화상 촬상부(112)가 촬영한 흑백 단안 화상,
이들 화상의 화질을 판정한다.
이 판정 결과 정보는, 출력 화상 생성부(선택/합성)(127)에도 출력된다.
출력 화상 생성부(선택/합성)(127)는, 이 판정 결과에 기초하여,
합성 화상 생성부(126)가 생성한,
(a) 컬러 화상 기준 합성 화상,
(b) 흑백 화상 기준 합성 화상, 또는,
(c) 컬러 화상 촬상부(111)가 촬영한 컬러 단안 화상,
(d) 흑백 화상 촬상부(112)가 촬영한 흑백 단안 화상,
이들 화상 중 어느 하나를 선택하거나, 또는 합성하여 표시부(터치 패널)(131), 기억부(132)에 출력한다.
또한, 동영상의 촬영, 출력을 행하는 경우에는, 출력 화상 생성부(선택/합성)(127)는, 상기 (A) 내지 (D)의 화상을 서서히 전환하는 처리를 행한다.
예를 들면, 컬러 화상으로부터 컬러 화상 기준 합성 화상으로의 전환 출력을 행하는 경우, 컬러 화상 100%의 화상으로부터, 컬러 화상 기준 합성 화상 100%의 화상으로, 각 화상의 합성 비율을 서서히 변화시킨 화상 프레임을 순차, 출력한다. 이 처리에 의해, 화상 관찰자에게 화상의 전환이 검지되기 어려워진다.
다음으로, 특징량 산출부(124)와 화질 판정부(125)의 구성의 구체예에 대해 설명한다. 도 10은 특징량 산출부(124)와 화질 판정부(125)의 구성을 예시하고 있다.
특징량 산출부(124)는, 시차 및 화소의 포화에 기인하는 화질의 열화 판정을 행하기 위한 화상 특징량을 산출한다. 특징량 산출부(124)는, 시차에 기인하는 화질의 열화 판정을 행하기 위한 화상 특징량을 산출하는 기능 블록으로서, 시차 히스토그램 생성부(201), 시차 분포 특징량 산출부(202), 서치 범위 초과 특징량 산출부(203), 시차 갭 히스토그램 생성부(204), 시차 갭 특징량 산출부(205)를 가지고 있다. 또한, 특징량 산출부(124)는, 화소의 포화에 기인하는 화질의 열화 판정을 행하기 위한 화상 특징량을 산출하는 기능 블록으로서, 포화 판정 히스토그램 생성부(206), 포화 특징량 산출부(207)를 가지고 있다.
시차 히스토그램 생성부(201)는, 산출 대상 영역의 각 화소에 대해 산출되어 있는 시차 벡터를 이용하여 시차 히스토그램을 생성한다. 시차 분포 특징량 산출부(202)는, 시차 히스토그램 생성부(201)에서 생성된 시차 히스토그램으로부터 시차 분포의 특징을 나타내는 통계량인 시차 분포 특징량(FVfsd)을 산출한다.
서치 범위 초과 특징량 산출부(203)는, 시차 히스토그램 생성부(201)에서 생성된 시차 히스토그램으로부터, 미리 설정되어 있는 서치 범위 이상의 시차가 생기고 있는 도수(度數)(over_search_range_counter)의 전체 도수(counter)에 대한 비율을 나타내는 서치 범위 초과 특징량(FVosr)을 산출한다. 서치 범위 초과 특징량 산출부(203)는, 시차 히스토그램을 이용하여 이하의 식(1)의 연산을 행하여 서치 범위 초과 특징량(FVosr)을 산출한다.
FVosr = over_search_range_counter / counter * 100 … (1)
이와 같이, 서치 범위 초과 특징량 산출부(203)에서 서치 범위 초과 특징량(FVosr)을 산출하면, 서치 범위 초과 특징량(FVosr)에 기초하여, 큰 시차가 생기는 피사체가 촬상되고 있는지 판정하는 것이 가능해진다. 즉, 어클루젼이 생기는 영역의 발생 상황을 판정하는 것이 가능해진다.
시차 갭 히스토그램 생성부(204)는 시차 갭 히스토그램을 생성한다.
도 11의 (A)은, 시차 갭 히스토그램 생성에 이용되는 시차 차분 절대값을 설명하는 도면이다. 시차 갭 히스토그램 생성부(204)는, 도 11의 (A)에 나타내는 바와 같이, 산출 대상 영역의 주목 화소 위치로부터 수평으로 「- (PARALLAX_DIFF_DISTANCE/2)」의 화소만큼 벗어난 위치의 시차(PV1)와 「(PARALLAX_DIFF_DISTANCE/2)」의 화소만큼 벗어난 위치의 시차(PV2)를 산출하고, 시차(PV1, PV2)의 시차 차분 절대값(PVapd)을 산출한다.
이하의 식(2)에 나타내는 시차 차분 절대값(PVapd)을 산출한다. 또한, 시차 갭 거리(PARALLAX_DIFF_DISTANCE)는 미리 설정되어 있다.
PVapd = ABS(PV1-PV2) … (2)
시차 차분 절대값(PVapd)은, 예를 들면 피사체가 동일 평면에 가까운 상태인 경우, 시차(PV1)와 시차(PV2)의 차는 작기 때문에 시차 차분 절대값(PVapd)의 값은 작아진다. 또한, 시차 차분 절대값(PVapd)은, 예를 들면 피사체까지의 거리가 다르고, 주목 화소가 거리가 상이한 피사체의 경계이라면, 시차(PV1)와 시차(PV2)의 차가 크기 때문에 시차 차분 절대값(PVapd)의 값은 커진다. 시차 갭 히스토그램 생성부(204)는, 산출 대상 영역의 각 화소를 주목 화소로서 산출한 시차 차분 절대값(PVapd)의 히스토그램인 시차 갭 히스토그램을 생성한다. 또한, 도 11의 (B)는 시차 갭 히스토그램을 예시하고 있다.
시차 갭 특징량 산출부(205)는, 시차 갭 히스토그램 생성부(204)에서 생성된 시차 갭 히스토그램으로부터 시차 갭 특징량(FVpd)을 산출한다. 시차 갭 특징량 산출부(375)는, 시차 갭 히스토그램으로부터 미리 설정되어 있는 최대 시차 갭 거리 이상의 시차 갭이 생기고 있는 도수(large_parallax_diff_counter)의 전체 도수(counter)에 대한 비율을 나타내는 시차 갭 특징량(FVpd)을 산출한다. 시차 갭 특징량 산출부(375)는, 시차 갭 히스토그램을 이용하여 식(3)의 연산을 행하여, 시차 갭 특징량(FVpd)을 산출한다.
FVpd = large_parallax_diff_counter / counter * 100… (3)
이와 같이, 시차 갭 특징량 산출부(205)에서 산출된 시차 갭 특징량(FVpd)은, 최대 시차 갭 거리가 생기는 화소의 비율을 나타내고 있다. 여기서, 동일 평면에 있는 피사체는 시차 갭이 작고, 거리가 상이한 피사체의 화상 경계 부분에서는 시차 갭이 크기 때문에, 거리가 크게 상이한 피사체의 화상 경계의 발생 상황을 판정하는 것이 가능해진다.
포화 판정 히스토그램 생성부(206)는, 전처리부(122)로부터 공급된 흑백 화상 데이터에 기초하여 화소값마다의 도수(화소수)를 나타내는 화소값 히스토그램을 생성한다. 또한, 전처리부(121)로부터 공급된 컬러 화상 데이터의 색공간 변환에 의해 휘도 데이터를 생성하고, 생성한 휘도 데이터에 기초하여 화소값마다의 도수(화소수)를 나타내는 화소값 히스토그램을 생성한다.
포화 특징량 산출부(207)는, 포화 판정 히스토그램 생성부(206)에서 생성된 휘도값 히스토그램에 기초하여 포화 특징량(FVsat)을 산출한다.
화질 판정부(125)는, 특징량 산출부(124)에서 산출된 화상 특징량과, 제어부 등으로부터 취득한 촬영 조건 정보(50)에 기초하여,
(a) 컬러 화상 기준 합성 화상,
(b) 흑백 화상 기준 합성 화상, 나아가,
(c) 컬러 화상 촬상부(111)가 촬영한 컬러 단안 화상,
(d) 흑백 화상 촬상부(112)가 촬영한 흑백 단안 화상,
이들 4종류의 화상 중, 가장 고화질의 화상은 어느 것인지의 판정 처리를 실행한다.
이 판정 정보는 합성 화상 생성부(126) 및 출력 화상 생성부(선택/합성)(127)에 출력된다.
또한, 화질 판정부(125)는, 특징량 산출부(124)에서 산출된 화상 특징량의 시간 방향의 변화량에 기초하여, 상기 (a) 내지 (d) 각 화상의 전환 속도를 결정한다.
예를 들면, 변화량 판정부(211d∼214d)로부터 공급된 개별 판정 결과의 어느 하나에 있어서 변화량이 변화량 임계값을 초과하는 경우, 전환 속도를 미리 설정되어 있는 소정 속도보다 고속으로 한다. 그 이외에는 규정된 전환 속도로 한다.
이 전환 속도 정보는, 출력 화상 생성부(선택/합성)(127)에 출력된다.
화질 판정부(125)는, 화질의 열화가 생기는지 아닌지의 판정 및 화상 특징량의 시간 방향의 변화량에 관한 기능 블록으로서, 개별 판정부(211∼215)와 변화량 판정부(211d∼215d) 및 통합 판정 처리부(220)를 가지고 있다.
개별 판정부(211)는, 시차 분포 특징량 산출부(202)에서 산출된 시차 분포 특징량에 기초하여, 합성 화상 등의 화질 판정을 행한다. 개별 판정부(211)는, 시차 분포 특징량(FVfsd)과 시차 분포 특징량에 대하여 미리 설정되어 있는 판정 임계값(Thfsd)을 비교한다. 개별 판정부(211)는, 시차 분포 특징량(FVfsd)이 판정 임계값(Thfsd)보다 큰 경우, 합성 화상에 화질의 열화가 생긴다고 판정한다. 개별 판정부(211)는, 개별 판정 결과를 통합 판정 처리부(220)에 출력한다.
변화량 판정부(211d)는, 시차 분포 특징량 산출부(202)에서 산출된 시차 분포 특징량의 시간적인 변화량(FVfsd(i)-FVfsd(i-1))을 산출한다. 또한, 「i」는 화질 판정부(125)에서 화질의 열화가 생기는지 아닌지의 판정을 행하는 프레임을 나타내고 있다. 변화량 판정부(211d)는, 산출된 변화량의 절대값과 미리 설정되어 있는 변화량 임계값(Thdfsd)을 비교하여, 비교 결과를 통합 판정 처리부(220)에 출력한다.
개별 판정부(212)는, 서치 범위 초과 특징량 산출부(203)에서 산출된 서치 범위 초과 특징량(FVosr)에 기초하여, 합성 화상 등의 화질 판정을 행한다. 개별 판정부(212)는, 서치 범위 초과 특징량(FVosr)과 서치 범위 초과 특징량에 대하여 미리 설정되어 있는 판정 임계값(Thosr)을 비교한다. 개별 판정부(212)는, 서치 범위 초과 특징량(FVosr)이 판정 임계값(Thosr)보다 큰 경우, 합성 화상에 화질의 열화가 생긴다고 판정한다. 개별 판정부(212)는, 개별 판정 결과를 통합 판정 처리부(220)에 출력한다.
변화량 판정부(212d)는, 서치 범위 초과 특징량 산출부(203)에서 산출된 서치 범위 초과 특징량의 시간적인 변화량(FVosr(i)-FVosr(i-1))을 산출한다. 나아가, 변화량 판정부(212d)는, 산출된 변화량의 절대값과 미리 설정되어 있는 변화량 임계값(Thdosr)을 비교하여, 비교 결과를 통합 판정 처리부(220)에 출력한다.
개별 판정부(213)는, 시차 갭 특징량 산출부(205)에서 산출된 시차 갭 특징량(FVpd)에 기초하여, 합성 화상 등의 화질 판정을 행한다. 개별 판정부(213)는, 시차 갭 특징량(FVpd)과 시차 갭 특징량에 대하여 미리 설정되어 있는 판정 임계값(Thpd)을 비교한다. 개별 판정부(213)는, 시차 갭 특징량(FVpd)이 판정 임계값(Thpd)보다 큰 경우, 합성 화상에 화질의 열화가 생긴다고 판정한다. 개별 판정부(213)는, 개별 판정 결과를 통합 판정 처리부(220)에 출력한다.
변화량 판정부(213d)는, 시차 갭 특징량 산출부(205)에서 산출된 시차 갭 특징량의 시간적인 변화량(FVpd(i)-FVpd(i-1))을 산출한다. 변화량 판정부(213d)는, 산출된 변화량의 절대값과 미리 설정되어 있는 변화량 임계값(Thdlpd)을 비교하여, 비교 결과를 통합 판정 처리부(220)에 출력한다.
개별 판정부(214)는, 포화 특징량 산출부(207)에서 산출된 포화 특징량(FVsat)에 기초하여, 합성 화상 등의 화질 판정을 행한다. 개별 판정부(214)는, 포화 특징량(FVsat)과 포화 특징량에 대하여 미리 설정되어 있는 판정 임계값(Thsat)을 비교한다. 개별 판정부(214)는, 포화 특징량(FVsat)이 판정 임계값(Thsat)보다 큰 경우, 합성 화상에 화질의 열화가 생긴다고 판정한다. 개별 판정부(214)는, 개별 판정 결과를 통합 판정 처리부(220)에 출력한다.
변화량 판정부(214d)는, 포화 특징량 산출부(207)에서 산출된 포화 특징량의 시간적인 변화량(FVsat(i)-FVsat(i-1))을 산출한다. 변화량 판정부(214d)는, 산출된 변화량의 절대값과 미리 설정되어 있는 변화량 임계값(Thdsat)을 비교하여, 비교 결과를 통합 판정 처리부(220)에 출력한다.
개별 판정부(215)는, 촬영 조건 정보(50)에 기초하여, 예를 들면 합성 화상에 화질의 열화가 생기는지 아닌지를 판정한다. 촬영 조건 정보(50)는, 예를 들면, 밝기 정보, 노광 정보, 피사체 거리 정보, 포커스, 줌 정보, 나아가, ISO 감도 정보 등의 촬상 설정 정보이다. 개별 판정부(215)는, 촬영 조건 정보(50)와 촬영 조건 정보(50)에 대하여 미리 설정되어 있는 판정 임계값을 비교하여, 합성 화상에 화질의 열화가 생기는지 아닌지 판정한다. 개별 판정부(215)는, 개별 판정 결과를 통합 판정 처리부(220)에 출력한다.
통합 판정 처리부(220)는, 개별 판정부(211∼215)로부터 공급된 개별 판정 결과를 이용하여 화상 판정을 행한다. 예를 들면, 통합 판정 처리부(220)는, 개별 판정부(211∼215)로부터 공급된 개별 판정 결과를 이용하여,
(a) 컬러 화상 기준 합성 화상,
(b) 흑백 화상 기준 합성 화상, 나아가,
(c) 컬러 화상 촬상부(111)가 촬영한 컬러 단안 화상,
(d) 흑백 화상 촬상부(112)가 촬영한 흑백 단안 화상,
이들 4종류의 화상 중, 가장 고화질의 화상은 어느 것인지의 판정 처리를 실행한다.
이 판정 결과가 합성 화상 생성부(126) 및 출력 화상 생성부(선택/합성)(127)에 출력된다.
또한, 구체적으로는, 예를 들면, 피사체 거리가 가깝고, 컬러 화상과 흑백 화상의 시차가 큰 경우나, 어클루젼 영역이 많다고 판단되는 경우 등에는, 합성 화상의 화질이 저하된다고 판정되며, 이 경우에는,
(c) 컬러 화상 촬상부(111)가 촬영한 컬러 단안 화상
이 가장 고화질의 화상이라고 판정하는 처리 등이 실행된다.
또한, 통합 판정 처리부(220)는, 변화량 판정부(211d∼215d)로부터 공급된 변화량과 변화량 임계값의 비교 결과에 기초하여, 상기 (a) 내지 (d) 각 화상의 전환 속도를 결정한다. 이 속도 정보가 출력 화상 생성부(선택/합성)(127)에 출력된다.
출력 화상 생성부(선택/합성)(127)는 화질 판정부(125)의 판정 결과에 기초하여,
(a) 컬러 화상 기준 합성 화상,
(b) 흑백 화상 기준 합성 화상, 나아가,
(c) 컬러 화상 촬상부(111)가 촬영한 컬러 단안 화상,
(d) 흑백 화상 촬상부(112)가 촬영한 흑백 단안 화상,
이들로부터 선택된 가장 고화질이 된다고 추정된 1개의 화상을 선택하여, 표시부(터치 패널)(131), 기억부(132)에 출력한다.
또한, 통합 판정 처리부(220)는, 변화량 판정부(211d∼214d)로부터 공급된 변화량과 규정된 변화량 임계값의 비교 결과에 기초하여, 상기 (a) 내지 (d) 각 화상의 전환 속도를 결정한다.
예를 들면, 변화량 판정부(211d∼214d)로부터 공급된 개별 판정 결과의 어느 하나에 있어서 변화량이 변화량 임계값을 초과하여 있는 경우, 전환 속도를 미리 설정되어 있는 소정 속도보다 고속으로 한다. 그 이외에는 규정된 전환 속도로 한다.
이 전환 속도 정보는 출력 화상 생성부(선택/합성)(127)에 출력된다.
출력 화상 생성부(선택/합성)(127)는 이 전환 속도에 따라, 상기 (a) 내지 (d) 각 화상의 전환 처리를 행한다. 이것은 구체적으로는, 예를 들면 동영상의 촬영시에, 각 촬영 프레임으로부터 검출된 결과의 변화량에 기초하여 화상 전환 속도를 변화시키고, 출력 화상의 화질 열화가 급격하게 발생하는 경우 이외에는, 화상의 전환을 천천히 실행하는 것이다.
또한, 출력 화상 생성부(선택/합성)(127)에 있어서 동영상의 화상 전환 처리는, 예를 들면, 다음과 같이 실행된다.
예를 들면, 컬러 화상으로부터 컬러 화상 기준 합성 화상으로의 전환 처리를 행하는 경우, 컬러 화상 100%의 화상으로부터, 컬러 화상 기준 합성 화상 100%의 화상으로, 각 화상의 합성 비율을 서서히 변화시켜 전환을 행한다.
이 속도를 변화량 판정부(211d∼214d)로부터 공급된 변화량에 기초하여 설정한다.
또한, 도 10에 나타내는 화질 판정부(125)의 구성과 처리는, 컬러 화상 촬상부(111)가 촬영한 컬러 화상과, 흑백 화상 촬상부(112)가 촬영한 흑백 화상의 시차나 어클루젼에 기초하여 출력 화상의 선택 처리를 행하는 구성이지만, 이 화상 판정 처리는 일례이며, 그 밖의 다양한 화상의 특징이나 촬영 조건 정보에 기초하여 고화질 화상 없음을 선택하는 구성이 가능하다.
[3. 출력 화상의 자동 선택 처리에 있어서의 문제점에 대하여]
상술한 출력 화상의 선택 구성, 즉, 예를 들면 도 10을 참조하여 설명한 화질 판정부(125)가 실행하는 출력 화상의 선택 예에서는, 컬러 화상 촬상부(111)가 촬영한 컬러 화상과, 흑백 화상 촬상부(112)가 촬영한 흑백 화상의 시차나 어클루젼에 기초하여 출력 화상이 자동적으로 선택되어 버린다.
그러나, 화질 판정부(125)의 선택 화상과 상이한 화상을 기록하고 싶다는 사용자 요구가 있는 경우가 있다.
또한, 전술한 바와 같이, 예를 들면, 피사체 거리가 가깝고, 컬러 화상과 흑백 화상의 시차가 큰 경우나, 어클루젼 영역이 많다고 판단되는 경우 등에는, 합성 화상의 화질이 저하된다고 판정되고, 이 경우에는,
「컬러 화상 촬상부(111)가 촬영한 컬러 단안 화상」이 가장 고화질의 화상이라고 판정된다.
이 결과, 출력 화상 생성부(선택/합성)(127)는, 화질 판정부(125)의 판정 결과에 기초하여, 「컬러 화상 촬상부(111)가 촬영한 컬러 단안 화상」을 선택 출력한다. 즉, 「컬러 화상 촬상부(111)가 촬영한 컬러 단안 화상」을 표시부(터치 패널)(131)에 표시하고, 또한 기억부(132)에 저장하는 처리가 실행된다.
사용자는, 화상 처리 장치(100)의 조작부(142), 또는 표시부(터치 패널)(131)에 구성되는 터치 패널을 통하여, 합성 화상의 생성 모드를 ON으로 설정하여 촬영을 시작한 경우라도, 화질 판정부(125)의 판정 결과로서 합성 화상의 화질이 저하된다는 판정이 행해지면 합성 화상의 출력이 행해지지 않고, 「컬러 화상 촬상부(111)가 촬영한 컬러 단안 화상」이 출력되어 버린다.
모든 상황에서, 이 화질 판정부(125)의 판정 결과가 반드시 옳다고는 할 수 없다.
예를 들면, 야간과 같은 어두운 환경에서, 가까운 피사체의 촬영을 행하는 경우에 대해 고찰한다.
도 12는 횡축에 피사체 거리, 종축에 밝기를 나타내는 그래프이다.
화질 판정부(125)는, 예를 들면, 영역 A, 즉 밝기가 충분한 밝은 영역에서는, 컬러 화상 또는 합성 화상 중 어느 하나를 가장 고화질 화상이라고 판정하고, 어느 하나의 화상을 선택 출력한다.
또한, 영역 B, 즉 밝기가 불충분, 예를 들면 야간이나 실내 등의 어두운 환경에서, 또한 피사체 거리가, 소정 임계값(Th1) 이상인 경우에는, 컬러 화상보다, 컬러 화상에 흑백 화상의 휘도 정보를 합성한 합성 화상의 쪽이 고화질이라고 판정하고, 합성 화상을 출력한다.
그러나, 영역 C, 즉 밝기가 불충분한, 예를 들면 야간이나 실내 등의 어두운 환경에서, 또한 피사체 거리가 소정 임계값(Th1) 미만으로, 가까운 피사체의 경우에는, 화질 판정부(125)는, 컬러 화상과 흑백 화상의 시차가 크고, 또한 어클루젼 영역이 증가하는 등의 특징량 판정이 이루어지고, 합성 화상의 화질이 저하된다고 판정하고, 「컬러 화상 촬상부(111)가 촬영한 컬러 단안 화상」을 선택하여 출력한다.
그러나, 이 영역 C는, 밝기가 불충분하고, 「컬러 화상 촬상부(111)가 촬영한 컬러 단안 화상」은 고화질의 화상으로는 되지 않는 경우가 있다.
즉, 도 13에 나타내는 바와 같은 결과가 될 가능성이 있다.
도 13에는, 도 12에 나타내는 영역 C, 즉, 밝기가 불충분, 예를 들면 야간이나 실내 등의 어두운 환경에서, 또한 피사체 거리가 소정 임계값(Th1) 미만의 가까운 피사체를 촬영한 (1) 컬러 단안 화상과, (2) 합성 화상의 예를 나타내고 있다.
(1) 컬러 단안 화상은 밝기가 불충분하기 때문에, 전체적으로 어두운 화상이 되어 버린다. 이에 대해, (2) 합성 화상은, 컬러 화상에 흑백 화상의 휘도 정보를 합성하여 생성되는 화상이며, (1) 컬러 단안 화상보다 선명한 휘도 정보가 출력된 화상이 된다.
이와 같이, 모든 상황에서, 화질 판정부(125)의 판정 결과가 반드시 옳다고는 할 수 없다.
또한, 사용자는, 화질에 관계없이, 합성 화상, 또는 컬러 단안 화상, 또는 흑백 단안 화상 중 어느 하나를 기록하고 싶다고 생각하는 경우도 있다.
이하, 이 문제를 해결하는 구성에 대해 설명한다.
[4. 고화질의 합성 화상을 취득하기 위한 가이드 정보를 출력하고, 나아가 출력 화상의 선택을 가능하게 한 본 개시의 화상 처리 장치의 구성과 처리에 대하여]
이하, 고화질의 합성 화상을 취득하기 위한 가이드 정보 등의 보조 정보를 출력하고, 나아가 출력 화상의 선택을 가능하게 한 본 개시의 화상 처리 장치의 구성과 처리에 대해 설명한다.
먼저, 본 개시의 화상 처리 장치가 실행하는 구체적인 처리 예에 대해, 도 14 이하를 참조하여 설명한다.
본 개시의 화상 처리 장치는, 표시부(터치 패널)(131)에 촬영 화상(스루 화상(through image))을 표시할 때, 아울러 이하의 각 정보(보조 정보)를 표시한다.
(A) 합성 화상 촬영 가이드 정보
(B) 합성 화상 적합 레벨 인디케이터(indicator)
(A) 합성 화상 촬영 가이드 정보는, 고화질의 합성 화상을 촬영하기 위한 안내 정보이다.
도 14에 나타내는 바와 같이, 촬영 상황에 따라, 예를 들면, 이하의 3종류의 표시가 전환된다.
(표시예 1) 근접 경보 [피사체가 너무 가깝습니다]
(표시예 2) 장해물 경보 [장해물이 있습니다]
(표시예 3) 합성 처리 = ON [예쁘게 찍힙니다]
(표시예 1) 근접 경보 [피사체가 너무 가깝습니다]
이 표시는, 피사체가 너무 가깝고, 컬러 화상 촬상부(111)에서 취득된 컬러 화상과, 흑백 화상 촬상부(112)에서 취득되는 흑백 화상의 시차가 크고, 합성 화상의 생성이 곤란하며, 즉 고화질의 합성 화상을 생성할 수 없다고 판정한 경우에 표시된다. 또한, 이 판정은, 화질 판정부(125)의 판정 결과이다. 피사체란, 촬영 화상 중의, 예를 들면, 초점제어(포커싱)된 오브젝트이다.
(표시예 2) 장해물 경보 [장해물이 있습니다]
이 표시는, 피사체 앞에 장해물이 있고, 컬러 화상 촬상부(111)에서 취득된 컬러 화상과, 흑백 화상 촬상부(112)에서 취득되는 흑백 화상에 어클루젼 영역이 많이 발생하고, 합성 화상의 생성이 곤란하며, 즉 고화질의 합성 화상을 생성할 수 없다고 판정한 경우에 표시된다. 또한, 이 판정은, 화질 판정부(125)의 판정 결과이다.
(표시예 3) 합성 처리 = ON [예쁘게 찍힙니다]
이 표시는, 피사체가 너무 가깝지 않고, 또한, 장해물도 없고, 시차가 작고, 또한 어클루젼 영역도 적고, 고화질의 합성 화상을 생성할 수 있다고 판정한 경우에 표시된다. 또한, 이 판정은, 화질 판정부(125)의 판정 결과이다.
또한, 이 3개의 표시는, 사용자가 카메라를 이동, 또는 방향을 변경함으로써 자동적으로 전환되게 된다.
예를 들면, 「(표시예 1) 근접 경보 [피사체가 너무 가깝습니다]」, 이 표시가 행해지고 있는 경우, 카메라를 가진 사용자가 피사체로부터 멀어지면, 근접 경보는, 「장해물 경보」, 또는 「합성 처리 = ON」표시로 전환된다.
또한, 「(표시예 2) 장해물 경보 [장해물이 있습니다]」, 이 표시가 행해지고 있는 경우, 카메라를 가진 사용자가 카메라의 방향이나 위치를 변경하면, 장해물 경보는, 「합성 처리 = ON」, 또는 「근접 경보」 표시로 전환된다.
한편, (B) 합성 화상 적합 레벨 인디케이터는, 현재의 촬영 조건에 관한 합성 화상 촬영 적합 레벨을 나타내는 인디케이터이다.
도면에 나타내는 바와 같이 인디케이터는,
합성 화상 촬영 부적합 내지 합성 화상 촬영 적합(양호)까지의 레벨이 표시되는 설정이다. 이 레벨은, 화질 판정부(125)에서 산출된다.
나아가, (B) 합성 화상 적합 레벨 인디케이터에는, 합성 화상 적합 레벨에 따른 최적인 출력 화상의 종류로서, 이하의 3종류의 화상이 표시된다.
컬러 단안 화상,
컬러 화상 기준 합성 화상,
흑백 화상 기준 합성 화상,
도면에 나타내는 예에 있어서, 현재의 합성 화상 적합 레벨은, 합성 화상 촬영 적합(양호)의 레벨에 상당하고, 흑백 화상 기준 합성 화상의 생성이 최적인 것이 표시된다.
사용자는, 표시부(터치 패널)(131)에 촬영 화상(스루 화상)과 함께 표시되는 이들 정보, 즉,
(A) 합성 화상 촬영 가이드 정보
(B) 합성 화상 적합 레벨 인디케이터
이들 정보를 보고, 고화질의 합성 화상을 촬영 가능한 카메라 설정을 행하는 것이 가능해지고, 또한, 생성되는 합성 화상의 화질에 대해서도 예측하는 것이 가능해진다.
나아가, 사용자는, 출력되는 화상, 즉 표시부(터치 패널)(131)에 출력하는 화상이나 기억부(132)에 저장하는 화상을 선택하는 것도 가능하다.
예를 들면, 도면에 나타내는 표시 전환부(303)를 조작(터치)함으로써, 도 15에 나타내는 출력 화상 선택 화면으로 전환된다.
도 15에 나타내는 예는,
컬러 화상 촬상부(111)에서 취득된 컬러 화상,
흑백 화상 촬상부(112)에서 취득된 흑백 화상,
합성 화상 생성부(126)가 컬러 화상과 흑백 화상의 합성 처리에 의해 생성한 합성 화상,
이들 3종류의 화상을 병렬로 표시한 예이다.
사용자는, 이들 3종류의 화상으로부터, 어느 하나의 화상을 터치함으로써, 출력 화상, 즉 표시부(터치 패널)(131)에 출력하는 화상이나 기억부(132)에 저장하는 화상을 선택할 수 있다.
나아가, 도면에 나타내는 표시 전환부(303)를 조작(터치)함으로써, 도 16에 나타내는 출력 화상 선택 화면으로 전환된다.
도 16에 나타내는 예는,
1장의 화상(스루 화상)을, 3분할하고, 각 분할 영역을, 이하의 3종류의 화상으로서 표시한 것이다.
컬러 화상 촬상부(111)에서 취득된 컬러 화상,
흑백 화상 촬상부(112)에서 취득된 흑백 화상,
합성 화상 생성부(126)가, 컬러 화상과 흑백 화상의 합성 처리에 의해 생성한 합성 화상,
1장의 화상을 3분할한 각 분할 영역 단위로 이들 3종류의 화상을 표시한 예이다.
사용자는, 이들 화상으로부터, 어느 하나의 화상을 터치함으로써 출력 화상, 즉 표시부(터치 패널)(131)에 출력하는 화상이나 기억부(132)에 저장하는 화상의 종류를 선택할 수 있다.
도 14 내지 도 16을 참조하여 설명한 처리를 실현하는 본 개시의 화상 처리 장치의 구성에 대해 도 17을 참조하여 설명한다.
도 17에 나타내는 화상 처리 장치(400)는, 앞서 도 2를 참조하여 설명한 화상 처리 장치(100)의 구성에는 없는 표시 정보 제어부(401)를 갖는다.
표시 정보 제어부(401)는, 촬영 조건 정보(50)를 입력하고, 나아가, 화상 처리부(120)에서 판정된 화질 판정 결과를 입력하여, 앞서 도 14를 참조하여 설명한 이하의 정보,
(A) 합성 화상 촬영 가이드 정보
(B) 합성 화상 적합 레벨 인디케이터
이들 정보를 생성하여 표시부(터치 패널)(131)에 표시한다.
나아가, 화상 처리부(120)에 대하여, 표시부(터치 패널)(131)에 출력하는 화상의 지정 정보를 입력하여, 예를 들면 도 14 내지 도 16에 나타내는 다양한 설정의 화상의 표시를 실행시킨다.
또한, 촬영 조건 정보(50)는, 전술한 바와 같이, 예를 들면, 밝기 정보, 노광 정보, 피사체 거리 정보, 포커스, 줌 정보, 나아가, ISO 감도 정보 등의 촬상 설정 정보이다.
또한, 설명을 이해하기 쉽게 하기 위해, 도 17에서는, 표시 정보 제어부(401)를 독립한 구성으로서 나타내고 있지만, 표시 정보 제어부(401)는, 제어부(150)와 일체화한 구성이어도 된다. 즉, 이하에서 설명하는 표시 정보 제어부(401)의 처리를 제어부(150)에서 실행하는 구성으로 해도 된다.
표시부(터치 패널)(131)의 터치 패널, 또는 조작부(142)를 통해 입력되는 사용자에 의한 화상 지정 정보(421)는, 제어부(150)를 통해 화상 처리부(120)에 입력되어, 표시부(터치 패널)(131)나 기억부(132) 등의 출력부(130)에 출력되는 화상이 선택된다.
도 18은 화상 처리부(120)의 상세 구성예를 나타내고 있다. 이 구성은, 기본적으로는, 앞서 도 7을 참조하여 설명한 구성과 마찬가지의 구성이다.
단, 화상 처리부(120)와 표시 정보 제어부(401) 사이에서는, 다양한 정보가 입출력된다.
예를 들면, 화상 처리부(120)의 화질 판정부(125)의 화질 판정 결과 정보가, 표시 화상 제어부(401)에 출력된다.
또한, 표시 정보 제어부(401)로부터 표시 화상 전환 요구가 화상 처리부(1230)의 출력 화상 생성부(127)에 입력되어, 앞서 도 14 내지 도 16을 참조하여 설명한 다양한 정보나 화상의 출력이 행해진다.
표시부(터치 패널)(131)의 터치 패널, 또는 조작부(142)를 통해 입력되는 사용자에 의한 화상 지정 정보(421)는, 제어부(150)를 통해 화상 처리부(120)의 출력 화상 생성부(127)에 입력되어, 표시부(터치 패널)(131)나 기억부(132) 등의 출력부(130)에 출력되는 화상이 선택된다.
다음으로, 도 19 이하를 참조하여, 본 개시의 화상 처리 장치(400)의 상태 천이 시퀀스에 대해 설명한다.
본 개시의 화상 처리 장치(400)는, 도 19에 나타내는 3종류의 상태를 천이한다. 즉,
(상태 1) 고화질 합성 화상 출력 가능 상태
(상태 2) 장해물 경보 출력 상태
(상태 3) 근접 경보 출력 상태
이들 3개의 상태는, 앞서 도 14를 참조하여 설명한 합성 화상 촬영 가이드 정보의 3종류의 표시예의 표시 상태에 대응한다. 즉,
(상태 1) 고화질 합성 화상 출력 가능 상태에서는,
(표시예 3) 합성 처리 = ON [예쁘게 찍힙니다]가 표시된다.
또한, (상태 2) 장해물 경보 출력 상태에서는,
(표시예 2) 장해물 경보 [장해물이 있습니다]가 표시된다.
(상태 3) 근접 경보 출력 상태에서는,
(표시예 1) 근접 경보 [피사체가 너무 가깝습니다]가 표시된다.
본 개시의 화상 처리 장치(400)의 제어부(150)나 표시 정보 제어부(401)는, 도 19에 나타내는 바와 같이, 이들 3종류의 상태를 상황에 따라 천이시킨다. 예를 들면, 화상 처리 장치의 촬상부를 통해 입력되는 화상 프레임 단위, 또는 소정의 복수 프레임 단위로 상태 천이가 행해진다.
이 천이 시퀀스에 대해, 도 20 이하의 플로우차트를 참조하여 설명한다.
먼저, 도 20에 나타내는 플로우를 참조하여 화상 처리 장치(400)가,
(상태 1) 고화질 합성 화상 출력 가능 상태에 있는 경우, 즉, 표시부(터치 패널)(131)에, 도 14를 참조하여 설명한,
(표시예 3) 합성 처리 = ON [예쁘게 찍힙니다],
상기 정보가 표시된 상태에서의 처리 시퀀스에 대해 설명한다.
또한, 도 20 이하의 플로우차트에 나타내는 처리는, 화상 처리 장치(400)의 기억부에 저장된 프로그램에 따라 실행하는 것이 가능하며, 예를 들면 프로그램 실행 기능을 갖는 CPU 등의 프로세서에 의한 프로그램 실행 처리로서 행할 수 있다.
이하, 도 20의 플로우차트에 나타내는 각 단계의 처리에 대해 설명한다.
(단계(S101))
화상 처리 장치(카메라)의 제어부는, 「(상태 1) 고화질 합성 화상 출력 가능 상태」에 있는 경우, 먼저, 단계(S101)에 있어서, 카메라 촬영 화상 중의 피사체 앞에 장해물이 있는지, 또는 피사체 거리가 너무 가까운지를 판정한다.
이 판정에 필요한 정보는, 촬영 조건 정보(50), 또는 화상 처리부(120)의 특징량 산출부(124), 화질 판정부(125)로부터 취득된다.
또한, 피사체란, 촬영 화상 중의, 예를 들면, 초점제어(포커싱)된 오브젝트이다.
피사체 거리가 너무 가까운지 아닌지는, 예를 들면 컬러 화상과 흑백 화상의 시차량에 기초하여 결정된다. 즉, 컬러 화상과 흑백 화상의 시차량이, 고화질의 합성 화상의 생성에 필요로 되는 시차 임계값보다 작은지 아닌지의 판정 등에 기초하여 결정된다. 이 판정에 필요로 되는 정보는, 화상 처리부(120)의 특징량 산출부(124), 화질 판정부(125)로부터 취득된다.
또한, 피사체 앞에 장해물이 있는지 여부에 대해서는, 예를 들면 컬러 화상과 흑백 화상에 포함되는 어클루젼 면적에 기초하여 결정된다. 즉, 컬러 화상과 흑백 화상의 어클루젼 영역이, 고화질의 합성 화상의 생성에 필요로 되는 임계값보다 작은지 아닌지의 판정 등에 기초하여 결정된다. 이 판정에 필요로 되는 정보는, 화상 처리부(120)의 특징량 산출부(124), 화질 판정부(125)로부터 취득된다.
단계(S101)에 있어서, 카메라 촬영 화상 중의 피사체 앞에 장해물이 있거나, 또는 피사체 거리가 너무 가깝다고 판정한 경우에는, 단계(S103)로 진행한다.
어느 쪽도 아니라고 판정한 경우에는 단계(S102)로 진행한다.
(단계(S102))
단계(S101)에 있어서, 카메라 촬영 화상 중의 피사체 앞에 장해물이 없고, 또한 피사체 거리가 너무 가까운 것도 아니라고 판정한 경우에는, 단계(S102)로 진행한다.
단계(S102)에서는, 「(상태 1) 고화질 합성 화상 출력 가능 상태」를 계속한다.
또한, 이 상태에서는, 앞서 도 14를 참조하여 설명한 (A) 합성 화상 촬영 가이드 정보로서, 「합성 처리 = ON [예쁘게 찍힙니다]」,
상기 정보의 표시 처리를 실행한다.
(단계(S103))
또한, 단계(S101)에 있어서, 카메라 촬영 화상 중의 피사체 앞에 장해물이 있거나, 또는 피사체 거리가 너무 가깝다고 판정한 경우에는, 단계(S103)로 진행한다.
단계(S103)에 있어서, 피사체 거리가 너무 가까운지를 판정한다.
이 판정에 필요한 정보는, 촬영 조건 정보(50), 또는 화상 처리부(120)의 특징량 산출부(124), 화질 판정부(125)로부터 취득된다.
단계(S103)에 있어서, 피사체 거리가 너무 가깝다고 판정한 경우에는, 단계(S104)로 진행한다.
너무 가깝지 않다고 판정한 경우에는 단계(S105)로 진행한다.
(단계(S104))
단계(S103)에 있어서, 피사체 거리가 너무 가깝다고 판정한 경우에는, 단계(S104)로 진행한다.
단계(S104)에 있어서, 제어부는, 현재 상태 = 「(상태 1) 고화질 합성 화상 출력 가능 상태」를 변경하여, 「(상태 3) 근접 경보 출력 상태」로 이행한다.
이 (상태 3) 근접 경보 출력 상태에서는, 앞서 도 14를 참조하여 설명한 (A) 합성 화상 촬영 가이드 정보로서, 「근접 경보 [피사체가 너무 가깝습니다]」,
상기 정보의 표시 처리를 실행한다.
(단계(S105))
또한, 단계(S103)에 있어서, 피사체 거리가 너무 가깝지는 않다고 판정한 경우에는, 단계(S105)로 진행한다.
단계(S105)에 있어서, 제어부는, 현재 상태 = 「(상태 1) 고화질 합성 화상 출력 가능 상태」를 변경하여, 「(상태 2) 장해물 경보 출력 상태」로 이행한다.
이 (상태 2) 장해물 경보 출력 상태에서는, 앞서 도 14를 참조하여 설명한 (A) 합성 화상 촬영 가이드 정보로서, 「장해물 경보 [장해물이 있습니다]」,
상기 정보의 표시 처리를 실행한다.
또한, 도 20에 나타내는 플로우에 따른 처리는, 화상 처리 장치의 촬상부를 통해 입력되는 화상 프레임 단위, 또는 소정의 복수 프레임 단위로 반복하여 실행된다.
다음으로, 도 21에 나타내는 플로우를 참조하여 화상 처리 장치(400)가,
(상태 2) 장해물 경보 출력 상태에 있는 경우, 즉, 표시부(터치 패널)(131)에, 도 14를 참조하여 설명한,
(표시예 2) 장해물 경보 [장해물이 있습니다],
상기 정보가 표시된 상태에서의 처리 시퀀스에 대해 설명한다.
(단계(S121))
화상 처리 장치(카메라)의 제어부는, 「(상태 2) 장해물 경보 출력 상태」에 있는 경우, 즉, 단계(S121)에 있어서, 카메라 촬영 화상 중의 피사체 앞에 장해물이 있는지를 판정한다.
이 판정에 필요한 정보는, 촬영 조건 정보(50), 또는 화상 처리부(120)의 특징량 산출부(124), 화질 판정부(125)로부터 취득된다.
단계(S121)에 있어서, 카메라 촬영 화상 중의 피사체 앞에 장해물이 있다고 판정한 경우에는, 단계(S122)로 진행한다.
없다고 판정한 경우에는 단계(S123)로 진행한다.
(단계(S122))
단계(S121)에 있어서, 카메라 촬영 화상 중의 피사체 앞에 장해물이 있다고 판정한 경우에는, 단계(S122)로 진행한다.
단계(S122)에서는, 「(상태 2) 장해물 경보 출력 상태」를 계속한다.
또한, 이 상태에서는, 앞서 도 14를 참조하여 설명한 (A) 합성 화상 촬영 가이드 정보로서, 「장해물 경보 [장해물이 있습니다]」,
상기 정보의 표시 처리를 실행한다.
(단계(S123))
한편, 단계(S121)에 있어서, 카메라 촬영 화상 중의 피사체 앞에 장해물이 없다고 판정한 경우에는, 단계(S123)로 진행한다.
제어부는, 단계(S123)에 있어서, 피사체 거리가 너무 가까운지를 판정한다.
이 판정에 필요한 정보는, 촬영 조건 정보(50), 또는 화상 처리부(120)의 특징량 산출부(124), 화질 판정부(125)로부터 취득된다.
단계(S123)에 있어서, 피사체 거리가 너무 가깝다고 판정한 경우에는, 단계(S124)로 진행한다.
너무 가깝지 않다고 판정한 경우에는 단계(S125)로 진행한다.
(단계(S124))
단계(S123)에 있어서, 피사체 거리가 너무 가깝다고 판정한 경우에는, 단계(S124)로 진행한다.
단계(S124)에 있어서, 제어부는, 현재 상태 = 「(상태 2) 장해물 경보 출력 상태」를 변경하여, 「(상태 3) 근접 경보 출력 상태」로 이행한다.
이 (상태 3) 근접 경보 출력 상태에서는, 앞서 도 14를 참조하여 설명한 (A) 합성 화상 촬영 가이드 정보로서, 「근접 경보 [피사체가 너무 가깝습니다]」,
상기 정보의 표시 처리를 실행한다.
(단계(S125))
한편, 단계(S123)에 있어서, 피사체 거리가 너무 가깝지는 않다고 판정한 경우에는, 단계(S125)로 진행한다.
단계(S125)에 있어서, 제어부는, 현재 상태 = 「(상태 2) 장해물 경보 출력 상태」를 변경하고, 「(상태 1) 고화질 합성 화상 출력 가능 상태」로 이행한다.
이 (상태 1) 고화질 합성 화상 출력 가능 상태에서는, 앞서 도 14를 참조하여 설명한 (A) 합성 화상 촬영 가이드 정보로서, 「합성 처리 = ON [예쁘게 찍힙니다]」,
상기 정보의 표시 처리를 실행한다.
또한, 도 21에 나타내는 플로우에 따른 처리는, 화상 처리 장치의 촬상부를 통해 입력되는 화상 프레임 단위, 또는 소정의 복수 프레임 단위로 반복하여 실행된다.
다음으로, 도 22에 나타내는 플로우를 참조하여 화상 처리 장치(400)가,
(상태 3) 근접 경보 출력 상태에 있는 경우, 즉, 표시부(터치 패널)(131)에, 도 14를 참조하여 설명한,
(표시예 3) 근접 경보 [피사체가 너무 가깝습니다],
상기 정보가 표시된 상태에서의 처리 시퀀스에 대해 설명한다.
(단계(S141))
화상 처리 장치(카메라)의 제어부는, 「(상태 3) 근접 경보 출력 상태」에 있는 경우, 먼저, 단계(S141)에 있어서, 카메라 촬영 화상 중의 피사체의 피사체 거리가 너무 가까운지를 판정한다.
이 판정에 필요한 정보는, 촬영 조건 정보(50), 또는 화상 처리부(120)의 특징량 산출부(124), 화질 판정부(125)로부터 취득된다.
단계(S141)에 있어서, 피사체가 너무 가깝다고 판정한 경우에는, 단계(S142)로 진행한다.
너무 가깝지 않다고 판정한 경우에는 단계(S143)로 진행한다.
(단계(S142))
단계(S141)에 있어서, 카메라 촬영 화상 중의 피사체가 너무 가깝다고 판정한 경우에는, 단계(S142)로 진행한다.
단계(S142)에서는, 「(상태 3) 근접 경보 출력 상태」를 계속한다.
또한, 이 상태에서는, 앞서 도 14를 참조하여 설명한 (A) 합성 화상 촬영 가이드 정보로서, 「근접 경보 [피사체가 너무 가깝습니다]」,
상기 정보의 표시 처리를 실행한다.
(단계(S143))
한편, 단계(S141)에 있어서, 카메라 촬영 화상 중의 피사체의 거리가 너무 가깝지는 않다고 판정한 경우에는, 단계(S143)로 진행한다.
제어부는, 단계(S143)에 있어서, 피사체 앞에 장해물이 있는지 여부를 판정한다.
이 판정에 필요한 정보는, 촬영 조건 정보(50), 또는 화상 처리부(120)의 특징량 산출부(124), 화질 판정부(125)로부터 취득된다.
단계(S143)에 있어서, 피사체 앞에 장해물이 있다고 판정한 경우에는, 단계(S144)로 진행한다.
장해물이 없다고 판정한 경우에는 단계(S145)로 진행한다.
(단계(S144))
단계(S143)에 있어서, 피사체 앞에 장해물이 있다고 판정한 경우에는, 단계(S144)로 진행한다.
단계(S144)에 있어서, 제어부는, 현재 상태 = 「(상태 3) 근접 경보 출력 상태」를 변경하여, 「(상태 2) 장해물 경보 출력 상태」로 이행한다.
이 (상태 2) 장해물 경보 출력 상태에서는, 앞서 도 14를 참조하여 설명한 (A) 합성 화상 촬영 가이드 정보로서, 「장해물 경보 [장해물이 있습니다]」,
상기 정보의 표시 처리를 실행한다.
(단계(S145))
한편, 단계(S143)에 있어서, 장해물이 없다고 판정한 경우에는, 단계(S145)로 진행한다.
단계(S145)에 있어서, 제어부는, 현재 상태 = 「(상태 3) 근접 경보 출력 상태」를 변경하고, 「(상태 1) 고화질 합성 화상 출력 가능 상태」로 이행한다.
이 (상태 1) 고화질 합성 화상 출력 가능 상태에서는, 앞서 도 14를 참조하여 설명한 (A) 합성 화상 촬영 가이드 정보로서, 「합성 처리 = ON [예쁘게 찍힙니다]」,
상기 정보의 표시 처리를 실행한다.
또한, 도 22에 나타내는 플로우에 따른 처리는, 화상 처리 장치의 촬상부를 통해 입력되는 화상 프레임 단위, 또는 소정의 복수 프레임 단위로 반복하여 실행된다.
[5. 그 밖의 실시예에 대하여]
상술한 실시예에서는,
(a) 컬러 화상 기준 합성 화상,
(b) 흑백 화상 기준 합성 화상, 나아가,
(c) 컬러 화상 촬상부(111)가 촬영한 컬러 단안 화상,
(d) 흑백 화상 촬상부(112)가 촬영한 흑백 단안 화상,
이들 4종류의 화상 중, 가장 고화질의 화상은 어느 것인지의 판정 처리를 실행하여, 고화질 화상을 출력하는 것을 가능하게 한 구성예에 대해 설명하였다.
본 개시의 구성은, 이들 4종류의 화상의 선택 출력뿐만 아니라, 예를 들면,
합성 화상,
컬러 화상,
이들 2종류의 화상만의 선택 출력 구성에도 적용 가능하다.
그 밖에, 다양한 2종류 이상의 상이한 화상의 선택 출력 구성에 적용할 수 있다.
또한, 본 발명의 구성을 적용하여 출력이 결정된 화상 이외의 촬상부나, 화상 처리부를 정지시킴으로써, 화상 처리 장치의 소비 전력을 저감하는 것이 가능하다.
[6. 본 개시의 구성의 정리]
이상, 특정한 실시예를 참조하면서, 본 개시의 실시예에 대해 자세히 해석해 왔다. 그러나, 본 개시의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 대용을 이룰 수 있는 것은 자명하다. 즉, 예시라고 하는 형태로 본 발명을 개시하여 온 것이며, 한정적으로 해석되어서는 안된다. 본 개시의 요지를 판단하기 위해서는, 청구범위의 란을 참작해야 한다.
또한, 본 명세서에서 개시한 기술은 이하와 같은 구성을 취할 수 있다.
(1) 상이한 시점으로부터 촬영된 컬러 화상과 흑백 화상의 합성 처리를 실행하여 합성 화상을 생성하는 합성 화상 생성부와,
합성 화상에 관한 보조 정보를 표시부에 표시하는 제어를 행하는 표시 정보 제어부를 갖는 화상 처리 장치.
(2) 상기 표시 정보 제어부는,
피사체가 너무 가까워서 고화질의 합성 화상을 생성할 수 없는 경우에, 피사체에 너무 가까운 것을 경고하는 근접 경보를 상기 표시부에 표시하는 (1)에 기재된 화상 처리 장치.
(3) 상기 표시 정보 제어부는,
피사체 앞의 장해물에 의해 고화질의 합성 화상을 생성할 수 없는 경우에, 피사체 앞에 장해물이 있는 것을 경고하는 장해물 경보를 상기 표시부에 표시하는 (1) 또는 (2)에 기재된 화상 처리 장치.
(4) 상기 표시 정보 제어부는,
고화질의 합성 화상을 생성할 수 있는 경우에, 고화질의 합성 화상의 촬영이 가능한 것을 나타내는 통지 정보를 상기 표시부에 표시하는 (1) 내지 (3) 중 어느 하나에 기재된 화상 처리 장치.
(5) 상기 표시 정보 제어부는,
현재의 촬영 조건이, 고화질의 합성 화상의 생성에 적합한지 아닌지를 나타내는 합성 화상 적합 레벨 인디케이터를 상기 표시부에 표시하는 (1) 내지 (4) 중 어느 하나에 기재된 화상 처리 장치.
(6) 상기 표시 정보 제어부는,
합성 화상과, 합성 전의 컬러 화상을 포함하는 복수 화상을 병렬로 상기 표시부에 표시하는 (1) 내지 (5) 중 어느 하나에 기재된 화상 처리 장치.
(7) 상기 표시 정보 제어부는,
1장의 화상을 구분한 구분 영역 단위로 합성 화상과 합성 전의 컬러 화상을 포함하는 복수 화상을 조합시킨 화상을 상기 표시부에 표시하는 (1) 내지 (5) 중 어느 하나에 기재된 화상 처리 장치.
(8) 상기 화상 처리부는,
사용자에 의한 화상 지정 정보에 기초하여, 합성 화상과, 합성 전의 컬러 화상을 포함하는 복수 화상으로부터 기록 화상을 선택 출력하는 (1) 내지 (7) 중 어느 하나에 기재된 화상 처리 장치.
(9) 상기 화상 처리부는,
고화질의 합성 화상이 생성 가능한지 아닌지를 판정하는 화질 판정부를 가지며,
상기 표시 정보 제어부는,
상기 화질 판정부의 판정 정보에 기초하여 고화질의 합성 화상을 생성 가능하게 하기 위한 가이드 정보를 상기 표시부에 표시하는 (1) 내지 (8) 중 어느 하나에 기재된 화상 처리 장치.
(10) 상기 화상 처리 장치는,
(a) 고화질의 합성 화상을 촬영 가능한 상태이며, 상기 표시부에 합성 화상의 촬영이 가능한 것을 나타내는 표시를 행하는 고화질 합성 화상 출력 가능 상태,
(b) 피사체 앞에 장해물이 있어 고화질의 합성 화상을 촬영할 수 없는 상태이며, 상기 표시부에 장해물이 있다는 경고 표시를 행하는 장해물 경보 출력 상태,
(c) 피사체가 너무 가까워서 고화질의 합성 화상을 촬영할 수 없는 상태이며, 상기 표시부에 피사체가 너무 가깝다는 경고 표시를 행하는 근접 경보 출력 상태,
상기 (a) 내지 (c)의 3가지 상태를 상황에 따라 천이하는 (1) 내지 (9) 중 어느 하나에 기재된 화상 처리 장치.
(11) 화상 처리 장치에서 실행하는 출력 정보 제어 방법으로서,
상기 화상 처리 장치는,
상이한 시점으로부터 촬영된 컬러 화상과 흑백 화상의 합성 처리를 실행하여 합성 화상을 생성하는 합성 화상 생성부를 가지며,
표시 정보 제어부가, 합성 화상에 관한 보조 정보를 표시부에 표시하는 제어를 행하는 출력 정보 제어 방법.
(12) 화상 처리 장치에서 정보 출력 처리를 제어하는 프로그램으로서,
상기 화상 처리 장치는,
상이한 시점으로부터 촬영된 컬러 화상과 흑백 화상의 합성 처리를 실행하여 합성 화상을 생성하는 합성 화상 생성부를 가지며,
상기 프로그램은, 표시 정보 제어부에, 합성 화상에 관한 보조 정보를 표시부에 표시하는 제어를 행하게 하는 프로그램.
또한, 명세서 중에서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 또는 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용 하드웨어에 조립된 컴퓨터 내의 메모리에 인스톨하여 실행시키거나, 또는 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다. 예를 들면, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, LAN(Local Area Network), 인터넷과 같은 네트워크를 통해 프로그램을 수신하고, 내장한 하드 디스크 등의 기록 매체에 인스톨할 수 있다.
한편, 명세서에 기재된 각종의 처리는, 기재에 따라 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 또는 필요에 따라 병렬적으로 또는 개별로 실행되어도 된다. 또한, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일한 케이스 내에 있는 것으로 제한되지 않는다.
(산업상 이용 가능성)
이상, 설명한 바와 같이, 본 개시의 일 실시예의 구성에 의하면, 고화질의 합성 화상을 촬영 가능하게 하기 위한 가이드 정보를 출력하고, 나아가 합성 화상과 컬러 화상 등을 병렬 표시하여 기록 화상의 사용자 선택을 가능하게 한 장치, 방법이 실현된다.
구체적으로는, 예를 들면, 상이한 시점으로부터 촬영된 컬러 화상과 흑백 화상의 합성 처리를 실행하여 합성 화상을 생성하는 합성 화상 생성부와, 합성 화상에 관한 보조 정보를 표시부에 표시하는 제어를 행하는 표시 정보 제어부를 갖는다. 표시 정보 제어부는, 피사체가 너무 가까운 경우나 장해물에 의해 고화질의 합성 화상을 생성할 수 없는 경우, 경고 정보로서 근접 경보나, 장해물 경보를 출력하고, 나아가 합성 화상 적합 레벨을 표시한다. 나아가, 합성 화상과 컬러 화상 등을 병렬 표시하여 기록 화상의 사용자 선택을 가능하게 하였다.
본 구성에 의해, 고화질의 합성 화상을 촬영 가능하게 하기 위한 가이드 정보를 출력하고, 나아가 합성 화상과 컬러 화상 등을 병렬 표시하여 기록 화상의 사용자 선택을 가능하게 한 장치, 방법이 실현된다.
10: 화상 처리 장치
11: 표시부
12: 조작부
21: 컬러 화상 촬상부
22: 흑백 화상 촬상부
50: 촬영 조건 정보
100: 화상 처리 장치
110: 촬상부
111: 컬러 화상 촬상부
112: 흑백 화상 촬상부
120: 화상 처리부
121, 122: 전처리부
123: 시차 검출부
124: 특징량 산출부
125: 화질 판정부
126: 합성 화상 생성부
127: 출력 화상 생성부(선택/합성)
130: 출력부
131: 표시부(터치 패널)
132: 기억부
141: 센서부
142: 조작부
150: 제어부
160: 통신부
301: 합성 화상 촬영 가이드 정보
302: 합성 화상 적합 레벨 인디케이터
303: 표시 전환부
401: 표시 정보 제어부

Claims (12)

  1. 상이한 시점(視點)으로부터 촬영된 컬러 화상과 흑백 화상의 합성 처리를 실행하여 합성 화상을 생성하는 합성 화상 생성부와,
    합성 화상에 관한 보조 정보를 표시부에 표시하는 제어를 행하는 표시 정보 제어부를 갖는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 표시 정보 제어부는,
    피사체가 너무 가까워서 고화질의 합성 화상을 생성할 수 없는 경우에, 피사체에 너무 가까운 것을 경고하는 근접 경보를 상기 표시부에 표시하는, 화상 처리 장치.
  3. 제1항에 있어서,
    상기 표시 정보 제어부는,
    피사체 앞의 장해물에 의해 고화질의 합성 화상을 생성할 수 없는 경우에, 피사체 앞에 장해물이 있는 것을 경고하는 장해물 경보를 상기 표시부에 표시하는, 화상 처리 장치.
  4. 제1항에 있어서,
    상기 표시 정보 제어부는,
    고화질의 합성 화상을 생성할 수 있는 경우에, 고화질의 합성 화상의 촬영이 가능한 것을 나타내는 통지 정보를 상기 표시부에 표시하는, 화상 처리 장치.
  5. 제1항에 있어서,
    상기 표시 정보 제어부는,
    현재의 촬영 조건이, 고화질의 합성 화상의 생성에 적합한지 아닌지를 나타내는 합성 화상 적합 레벨 인디케이터(indicator)를 상기 표시부에 표시하는, 화상 처리 장치.
  6. 제1항에 있어서,
    상기 표시 정보 제어부는,
    합성 화상과, 합성 전의 컬러 화상을 포함하는 복수 화상을 병렬로 상기 표시부에 표시하는, 화상 처리 장치.
  7. 제1항에 있어서,
    상기 표시 정보 제어부는,
    1장의 화상을 구분한 구분 영역 단위로 합성 화상과 합성 전의 컬러 화상을 포함하는 복수 화상을 조합시킨 화상을 상기 표시부에 표시하는, 화상 처리 장치.
  8. 제1항에 있어서,
    상기 화상 처리부는,
    사용자에 의한 화상 지정 정보에 기초하여, 합성 화상과, 합성 전의 컬러 화상을 포함하는 복수 화상으로부터 기록 화상을 선택 출력하는, 화상 처리 장치.
  9. 제1항에 있어서,
    상기 화상 처리부는,
    고화질의 합성 화상이 생성 가능한지 아닌지를 판정하는 화질 판정부를 가지며,
    상기 표시 정보 제어부는,
    상기 화질 판정부의 판정 정보에 기초하여 고화질의 합성 화상을 생성 가능하게 하기 위한 가이드 정보를 상기 표시부에 표시하는, 화상 처리 장치.
  10. 제1항에 있어서,
    상기 화상 처리 장치는,
    (a) 고화질의 합성 화상을 촬영 가능한 상태이며, 상기 표시부에 합성 화상의 촬영이 가능한 것을 나타내는 표시를 행하는 고화질 합성 화상 출력 가능 상태,
    (b) 피사체 앞에 장해물이 있어 고화질의 합성 화상을 촬영할 수 없는 상태이며, 상기 표시부에 장해물이 있다는 경고 표시를 행하는 장해물 경보 출력 상태,
    (c) 피사체가 너무 가까워서 고화질의 합성 화상을 촬영할 수 없는 상태이며, 상기 표시부에 피사체가 너무 가깝다는 경고 표시를 행하는 근접 경보 출력 상태,
    상기 (a) 내지 (c)의 3가지 상태를 상황에 따라 천이하는, 화상 처리 장치.
  11. 화상 처리 장치에서 실행하는 출력 정보 제어 방법으로서,
    상기 화상 처리 장치는,
    상이한 시점으로부터 촬영된 컬러 화상과 흑백 화상의 합성 처리를 실행하여 합성 화상을 생성하는 합성 화상 생성부를 가지며,
    표시 정보 제어부가, 합성 화상에 관한 보조 정보를 표시부에 표시하는 제어를 행하는, 출력 정보 제어 방법.
  12. 화상 처리 장치에서 정보 출력 처리를 제어하는 프로그램으로서,
    상기 화상 처리 장치는,
    상이한 시점으로부터 촬영된 컬러 화상과 흑백 화상의 합성 처리를 실행하여 합성 화상을 생성하는 합성 화상 생성부를 가지며,
    상기 프로그램은, 표시 정보 제어부에, 합성 화상에 관한 보조 정보를 표시부에 표시하는 제어를 행하게 하는, 프로그램.
KR1020207019871A 2018-01-25 2018-11-16 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램 KR102638565B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-010642 2018-01-25
JP2018010642 2018-01-25
PCT/JP2018/042408 WO2019146226A1 (ja) 2018-01-25 2018-11-16 画像処理装置、および出力情報制御方法、並びにプログラム

Publications (2)

Publication Number Publication Date
KR20200110320A true KR20200110320A (ko) 2020-09-23
KR102638565B1 KR102638565B1 (ko) 2024-02-19

Family

ID=67395370

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207019871A KR102638565B1 (ko) 2018-01-25 2018-11-16 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램

Country Status (6)

Country Link
US (2) US11159719B2 (ko)
EP (1) EP3745704B1 (ko)
JP (1) JP7285791B2 (ko)
KR (1) KR102638565B1 (ko)
CN (1) CN111630837B (ko)
WO (1) WO2019146226A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
KR102638565B1 (ko) * 2018-01-25 2024-02-19 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
CN110769152A (zh) * 2019-09-27 2020-02-07 华为技术有限公司 摄像处理方法、装置、终端设备及存储介质
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120013708A1 (en) * 2010-07-14 2012-01-19 Victor Company Of Japan, Limited Control apparatus, stereoscopic image capturing apparatus, and control method
JP2015197745A (ja) 2014-03-31 2015-11-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US9414037B1 (en) * 2014-09-26 2016-08-09 Amazon Technologies, Inc. Low light image registration

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4193290B2 (ja) 1999-06-29 2008-12-10 コニカミノルタホールディングス株式会社 多眼式データ入力装置
JP3860552B2 (ja) * 2003-03-25 2006-12-20 富士通株式会社 撮影装置
JP4363207B2 (ja) * 2004-02-05 2009-11-11 住友電気工業株式会社 画像処理方法、画像処理システムおよび画像処理装置
JP2006067108A (ja) * 2004-08-25 2006-03-09 Ricoh Co Ltd 画像処理装置、ファクシミリ装置及び画像形成装置
US7469097B2 (en) * 2005-12-15 2008-12-23 Hewlett-Packard Development Company, L.P. Method and apparatus for coping with condition in which subject is too close to digital imaging device for acceptable focus
JP2007208346A (ja) * 2006-01-31 2007-08-16 Fujifilm Corp 撮像システムおよびその制御方法
EP2308241B1 (en) * 2008-07-24 2017-04-12 Koninklijke Philips N.V. Versatile 3-d picture format
JPWO2012033005A1 (ja) 2010-09-08 2014-01-20 日本電気株式会社 撮影装置および撮影方法
US9208550B2 (en) * 2012-08-15 2015-12-08 Fuji Xerox Co., Ltd. Smart document capture based on estimated scanned-image quality
KR102145542B1 (ko) 2014-08-14 2020-08-18 삼성전자주식회사 촬영 장치, 복수의 촬영 장치를 이용하여 촬영하는 촬영 시스템 및 그 촬영 방법
US10536633B2 (en) * 2015-02-06 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging system and imaging apparatus including the same, and image processing method
JP2017011504A (ja) * 2015-06-22 2017-01-12 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
KR102638565B1 (ko) * 2018-01-25 2024-02-19 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120013708A1 (en) * 2010-07-14 2012-01-19 Victor Company Of Japan, Limited Control apparatus, stereoscopic image capturing apparatus, and control method
JP2015197745A (ja) 2014-03-31 2015-11-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US9414037B1 (en) * 2014-09-26 2016-08-09 Amazon Technologies, Inc. Low light image registration

Also Published As

Publication number Publication date
KR102638565B1 (ko) 2024-02-19
US11159719B2 (en) 2021-10-26
US20210067695A1 (en) 2021-03-04
EP3745704A1 (en) 2020-12-02
WO2019146226A1 (ja) 2019-08-01
CN111630837B (zh) 2022-08-09
US11606496B2 (en) 2023-03-14
JP7285791B2 (ja) 2023-06-02
EP3745704A4 (en) 2021-01-06
JPWO2019146226A1 (ja) 2021-02-04
EP3745704B1 (en) 2024-03-06
US20210409597A1 (en) 2021-12-30
CN111630837A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
KR102638565B1 (ko) 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램
CN108028895B (zh) 有缺陷的图像传感器元件的校准
EP2608527B1 (en) Image pickup apparatus, control method for image pickup apparatus, and storage medium
US9369693B2 (en) Stereoscopic imaging device and shading correction method
US10002436B2 (en) Image processing device, image processing method, and solid-state imaging device
US11089211B2 (en) Image processing apparatus, image processing method, and program for switching between two types of composite images
US9300867B2 (en) Imaging apparatus, its control method, and storage medium
US20140184853A1 (en) Image processing apparatus, image processing method, and image processing program
JP2010268426A (ja) 画像処理装置、画像処理方法およびプログラム
JP6270413B2 (ja) 画像処理装置、撮像装置、および画像処理方法
JP2017060010A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
US11330177B2 (en) Image processing apparatus and image processing method
JP2017163412A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
JP2020046475A (ja) 画像処理装置およびその制御方法
US20230196517A1 (en) Information processing apparatus, control method of information processing apparatus, and non-transitory computer readable medium
JP6025555B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7080688B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
EP4216539A2 (en) Image processing apparatus, image processing method, and program
JP2018054815A (ja) 領域判別装置、その制御方法、および制御プログラム、並びに撮像装置
JP2010093336A (ja) 撮像装置および補間処理方法
JP2020197848A (ja) 画像処理装置、撮像装置、コンピュータプログラム、記憶媒体及び方法
JP2013115754A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant