KR101709380B1 - 화상처리장치, 화상처리방법 및 프로그램 - Google Patents

화상처리장치, 화상처리방법 및 프로그램 Download PDF

Info

Publication number
KR101709380B1
KR101709380B1 KR1020140149293A KR20140149293A KR101709380B1 KR 101709380 B1 KR101709380 B1 KR 101709380B1 KR 1020140149293 A KR1020140149293 A KR 1020140149293A KR 20140149293 A KR20140149293 A KR 20140149293A KR 101709380 B1 KR101709380 B1 KR 101709380B1
Authority
KR
South Korea
Prior art keywords
image
depth
depth map
input
pixel
Prior art date
Application number
KR1020140149293A
Other languages
English (en)
Other versions
KR20150050486A (ko
Inventor
다케시 미우라
쇼고 사와이
야스히로 구로다
히로시 고야마
가즈히로 히라모토
고스케 이시구로
료 오노
Original Assignee
가부시키가이샤 모르포
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 모르포 filed Critical 가부시키가이샤 모르포
Publication of KR20150050486A publication Critical patent/KR20150050486A/ko
Application granted granted Critical
Publication of KR101709380B1 publication Critical patent/KR101709380B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Image Analysis (AREA)

Abstract

소망의 포커싱 상태에 대응한 합성화상을 생성 가능한 화상처리장치 등을 제공한다. 스마트폰(1)에 있어서, 엣지검출수단(107)은, 초점거리를 변경하여 촬상된 다른 복수의 입력화상으로부터 특징으로서 엣지를 검출하고, 검출된 엣지의 강도를 특징량으로서 검출한다. 그리고, 심도추정부(111)는, 엣지검출수단(107)에 의해 검출된 엣지의 강도를 이용하여, 대상화소에 대해서, 복수의 입력화상 중 어느 하나의 입력화상에서 포커싱되어 있는지를 나타내는 정보인 심도를 추정한다. 그리고, 깊이 맵 생성부(113)는, 심도추정부(111)의 추정결과에 근거하여 깊이 맵을 생성한다.

Description

화상처리장치, 화상처리방법 및 프로그램{Image processing apparatus, image processing method and program thereof}
본 발명은, 화상처리를 행하는 화상처리장치 등에 관한 것이다.
목적의 피사체를 카메라 등의 촬상장치에 의해서 촬상할 때에는, 그 피사체를 둘러싸는 배경도 포함한 씬(scene) 정보의 읽어들임이 행해지고, 그 씬 정보에 관련되는 화상이 출력된다. 이때, 피사체 및 배경에 대한 초점을 어떻게 맞추는지에 따라서, 출력되는 화상의 인상이 달라진다.
여기서, 목적의 피사체를 강조한 화상출력으로 하고 싶은 경우에는, 근경(近景)인 목적의 피사체에는 포커싱(合焦)하면서, 원경(遠景)인 배경은 비(非)포커싱하기 위하여, 피사계 심도를 얕게 하는 방법이 있다. 피사계 심도를 얕게 하기 위해서는, 근접촬상을 행하거나, 또는 망원렌즈를 이용하거나, 조리개를 열거나 하는 조치가 필요한데, 이들 조치를 일반인이 실시하거나, 또는 이들 조치가 가능한 하드웨어를 구비하는 것은 어렵다. 또한, 스마트폰 등의 카메라기능 구비 휴대전화에 있어서는, 하드웨어의 제약이 매우 심하고, 피사계 심도가 깊어서, 근경에서 원경까지 모두 포커싱하여 보이는 팬 포커스(pan-focus)인 화상을 출력하는 것이 주류로 되어 있어서, 널리 사용되고 있는 이들 기기의 하드웨어 상에서 피사체 심도가 얕은 화상을 취득하는 것은 곤란하다.
여기서, 피사계 심도를 얕게 하는 것이 곤란한 카메라라도 목적의 피사체를 강조한 화상출력으로 하기 위하여, 특허문헌 1 등에 나타내는 바와 같이, 촬상조작이 행해지면, 피사체상(像)의 핀트가 맞은 포커싱 화상과 피사체상의 핀트가 맞지 않는 비포커싱 화상을 자동적으로 연속 촬상하고, 포커싱 화상과 비포커싱 화상을 합성함으로써, 피사체의 윤곽의 주위가 보케(bokeh, 핀트가 맞지 않음)의 화상(소위 소프트 포커스 화상)을 취득하는 기술이 제안되고 있다.
일본 공개특허공보 제2003-8966호
그러나, 촬상에 의해서 얻어진 촬영화상에 복수의 피사체가 포함되는 경우 등에는, 일방의 피사체에 대해서 포커싱되어(핀트가 맞아) 있으나, 타방의 피사체는 비포커싱(보케되어 있음)의 합성화상을 취득하고 싶은 케이스도 있지만, 반대의 케이스, 즉 타방의 피사체에 대해서 포커싱되어 있으나, 일방의 피사체는 비포커싱의 합성화상을 취득하고 싶은 케이스도 있다. 상기와 같은 종래의 화상처리장치 등에서는, 이와 같이 소망의 포커싱 상태에 대응한 합성화상을 취득하는 것이 곤란하다는 문제가 있었다.
본 발명은, 상기의 과제를 해결하기 위해서 이루어진 것으로서, 그 목적으로 하는 바는, 소망의 포커싱 상태에 대응한 합성화상을 생성 가능한 화상처리장치 등을 제공하는 것에 있다.
본 발명은, 상기의 과제를 해결하기 위하여, 다음과 같은 수단을 취한다. 다만, 후술하는 발명을 실시하기 위한 형태의 설명 및 도면에서 사용한 부호를 참고를 위하여 부기하지만, 본 발명의 구성요소는 해당 부호를 부여한 것에 한정되는 것은 아니다.
이상의 과제를 해결하기 위한 제1의 발명은,
복수의 입력화상(촬상부(50)에 의해서 촬상된 복수의 촬영화상)으로부터 소정의 특징(특징량, 특징점)을 검출하는(도 4, 도 15의 스텝 A11, 도 19의 스텝 J7) 특징검출수단(도 1의 처리부(10): 예컨대 엣지검출부(107))과,
상기 특징검출수단의 검출결과에 근거하여 깊이 맵을 생성하는(도 4의 스텝 A17, 도 15의 스텝 F17, 도 19의 스텝 J27) 깊이 맵 생성수단(도 1의 처리부(10); 깊이 맵 생성부(113))을 구비한 화상처리장치이다.
또한, 다른 발명으로서,
복수의 입력화상(촬상부(50)에 의해서 촬상된 복수의 촬영화상)으로부터 소정의 특징(특징량, 특징점)을 검출하는 것(도 4, 도 15의 스텝 A11, 도 19의 스텝 J7)과,
상기 특징의 검출결과에 근거하여 깊이 맵을 생성하는 것(도 4의 스텝 A17, 도 15의 스텝 F17, 도 19의 스텝 J27)을 포함하는 화상처리방법을 구성해도 좋다.
또한, 다른 발명으로서,
컴퓨터(도 1의 스마트폰(1), 화상처리장치, 다른 정보처리장치)에,
복수의 입력화상(촬상부(50)에 의해서 촬상된 복수의 촬영화상)으로부터 소정의 특징(특징량, 특징점)을 검출하는 특징검출 스텝(도 4, 도 15의 스텝 A11, 도 19의 스텝 J7)과,
상기 특징검출 스텝의 검출결과에 근거하여 깊이 맵을 생성하는 깊이 맵 생성 스텝(도 4의 스텝 A17, 도 15의 스텝 F17, 도 19의 스텝 J27)을 실행시키기 위한 프로그램(도 1의 화상처리 프로그램(81))을 구성해도 좋다.
이 제1의 발명 등에 의하면, 복수의 입력화상으로부터 소정의 특징을 검출하고, 검출한 특징에 근거하여 깊이 맵을 생성한다. 복수의 입력화상으로부터 검출한 특징에 근거함으로써, 깊이 맵을 생성할 수 있다.
깊이 맵은, 각 좌표의 화소에 대해서, 어느 입력화상에서 포커싱되어 있는지(즉 포커싱되어 있는 입력화상)를 특정 가능하게 하는 정보임과 함께, 각 입력화상에 대해서 포커싱되어 있는 화소의 좌표(즉 포커싱되어 있는 영역)를 특정 가능하게 하는 정보이다. 이와 같이 하여 생성한 깊이 맵에 의해서, 소망의 포커싱 상태에 대응한 합성화상을 생성하는 것이 가능해진다. 이 「소망의 포커싱 상태에 대응한 합성화상」으로서는, 예컨대, 소정의 피사체는 포커싱되어 있으나 그 외의 피사체는 비포커싱되어 있는 합성화상이나, 모든 피사체가 포커싱되어 있는 합성화상(전(全) 초점화상이라고도 함)이 포함된다.
또한, 깊이 맵에 의해, 일단, 소망의 포커싱 상태에 대응한 합성화상을 생성한 후, 포커싱될 피사체를 변경하거나, 혹은 비포커싱의 정도를 변경하거나 하여 다른 합성화상을 생성하는 것도 가능해진다.
또한, 깊이 맵과 깊이 맵을 생성할 때에 이용한 입력화상을 기억해 두면, 소망의 포커싱 상태에 대응한 합성화상을 생성 가능하게 되기 때문에, 촬상시에 복수의 합성화상을 생성해 둘 필요가 없고, 화상데이터량을 삭감하여, 화상파일의 관리부담 등도 경감할 수 있다.
특히, 본 발명은, 스마트폰 등의 카메라기능 구비 휴대전화기와 같이, 피사계 심도가 깊어서, 근경에서 원경까지 모두 포커싱하여 보이는 팬 포커스인 화상을 생성하는 화상처리장치에 적합하게 적용할 수 있다.
또한, 제2의 발명으로서,
제1의 발명의 화상처리장치로서,
상기 특징검출수단은, 상기 복수의 입력화상으로부터 소정의 특징량(엣지강도, DoG(Difference of Gaussian)값, 배경 정도 등)를 검출하는 특징량 검출수단(도 1의 처리부(10))을 가지고,
상기 특징량 검출수단에 의해 검출된 특징량을 이용하여, 대상화소(화상 중의 모든 화소, 일부의 화소)에 대해서, 상기 복수의 입력화상 중 어느 쪽의 입력화상에서 포커싱되어 있는지를 나타내는 정보인 심도를 추정하는(도 4, 도 15의 스텝 A15) 심도추정수단(도 1의 심도추정부(111))을 더 구비하고,
상기 깊이 맵 생성수단은, 상기 심도추정수단의 추정결과에 근거하여 상기 깊이 맵을 생성하는(도 4의 스텝 A17, 도 15의 스텝 F17), 화상처리장치를 구성해도 좋다.
이 제2의 발명에 의하면, 복수의 입력화상으로부터 검출한 특징량을 이용하여, 대상화소에 대해서, 복수의 입력화상 중 어느 쪽의 입력화상에서 포커싱되어 있는지를 나타내는 심도를 추정한다. 대상화소에 대해서 복수의 입력화상 중 어느 쪽의 입력화상에서 포커싱되어 있는지를 나타내는 심도를 추정할 수 있으면, 그 추정결과에 근거하여, 깊이 맵을 생성할 수 있다. 또한, 대상화소는, 화상 중의 모든 화소로 해도 좋고, 화상 중의 일부의 영역에 포함되는 화소로 해도 좋다.
이 경우, 다른 발명으로서,
상기 특징량 검출수단은, 상기 복수의 입력화상으로부터 특징으로서 엣지를 검출하는 엣지검출수단(도 1의 엣지검출부(107))을 가지고,
상기 심도추정수단은, 상기 엣지검출수단에 의해 검출된 엣지의 강도를 상기 특징량으로서 이용하여, 상기 대상화소에 대해서 상기 심도를 추정하는, 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 복수의 입력화상으로부터 특징으로서 엣지를 검출하고, 검출된 엣지의 강도를 특징량으로서 이용하여, 대상화소에 대해서 심도를 추정한다. 본원발명자의 발견에 의하면, 입력화상으로부터 검출되는 엣지의 강도는, 그 초점거리에 있어서의 포커싱 정도와 상관이 있다. 이로 인하여, 엣지의 강도를 특징량으로서 이용함으로써, 대상화소에 대해서 포커싱되어 있는 입력화상을 적절히 추정할 수 있다.
또한, 제3의 발명으로서,
제2의 발명의 화상처리장치로서,
상기 심도추정수단은, 상기 특징량 검출수단에 의해 검출된 상기 복수의 입력화상 각각의 특징량을 이용하여, 상기 대상화소에 대해서, 상기 대상화소의 특징량에 대응하여 정해지는 제1종 파라미터값(코스트값(cost 値))과, 상기 대상화소에 대해서 포커싱되어 있다고 하는 제1의 입력화상과 상기 대상화소의 근방화소에 대해서 포커싱되어 있다고 하는 제2의 입력화상이 다른 경우의 패널티로서 정해지는 제2종 파라미터값(패널티값)을 이용한 소정의 적절해(適切解) 연산처리(에너지함수의 값을 최대화 또는 최소화하는 스코어값 연산처리: 도 7의 스텝 C1 ~ C7)를 행하여, 상기 대상화소에 대해서 포커싱되어 있는 입력화상을 판정하는, 화상처리장치를 구성해도 좋다.
이 제3의 발명에 의하면, 제1종 파라미터값과 제2종 파라미터값을 이용한 소정의 적절해 연산처리를 행함으로써, 대상화소에 대해서 포커싱되어 있는 입력화상을 적절히 판정할 수 있다.
이 경우, 다른 발명으로서,
상기 적절해 연산처리에 있어서, 상기 대상화소에 대해서, 상기 제1종 파라미터값으로부터 상기 제2종 파라미터값을 감산(減算)함으로써 소정의 스코어값을 연산하고,
상기 심도추정수단은, 상기 대상화소에 대해서, 상기 스코어값이 소정의 높은값 조건을 만족하는 입력화상을 포커싱되어 있는 입력화상으로 판정하는(도 7의 스텝 C5), 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 적절해 연산처리에 있어서, 대상화소에 대해서, 제1종 파라미터값으로부터 제2종 파라미터값을 감산함으로써 스코어값을 연산하고, 대상화소에 대해서, 스코어값이 소정의 높은값 조건을 만족하는 입력화상을 포커싱되어 있는 입력화상으로 판정한다. 이로써, 대상화소에 대해서는 가능한 한 특징량이 큰 입력화상을 선택하면서, 근방화소에서는 가능한 한 입력화상을 변화시키지 않도록 하기 위하여, 억제를 할 수 있다. 이러한 스코어값 연산처리를 행함으로써, 대상화소에 대해서 포커싱되어 있는 입력화상을 바르게 판정할 수 있다.
또한, 다른 발명으로서,
상기 적절해 연산처리에 있어서, 상기 대상화소에 대해서, 상기 제1종 파라미터값에 상기 제2종 파라미터값을 가산함으로써 소정의 스코어값을 연산하고,
상기 심도추정수단은, 상기 대상화소에 대해서, 상기 스코어값이 소정의 낮은값 조건을 만족하는 입력화상을 포커싱되어 있는 입력화상으로 판정하는, 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 적절해 연산처리에 있어서, 대상화소에 대해서, 제1종 파라미터값에 제2종 파라미터값을 가산함으로써 스코어값을 연산하고, 대상화소에 대해서, 스코어값이 소정의 낮은값 조건을 만족하는 입력화상을 포커싱되어 있는 입력화상으로 판정한다. 이로써, 대상화소에 대해서 포커싱되어 있는 입력화상을 바르게 판정할 수 있다.
또한, 다른 발명으로서,
상기 적절해 연산처리에 있어서, 상기 제1의 입력화상이 포커싱되어 있다고 하는 경우의 심도와 상기 제2의 입력화상이 포커싱되어 있다고 하는 경우의 심도와의 차가 클수록, 상기 제2종 파라미터값을 보다 큰 값으로 하여(도 3의 패널티값 테이블(89); P1 < P2), 상기 스코어값을 연산하는, 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 적절해 연산처리에 있어서, 제1의 입력화상이 포커싱되어 있다고 하는 경우의 심도와 제2의 입력화상이 포커싱되어 있다고 하는 경우의 심도와의 차가 클수록, 제2종 파라미터값을 보다 큰 값으로 하여 스코어값을 연산한다. 이로써, 대상화소의 근방화소에 대해서는, 가능한 한 초점이 가까운 입력화상이 선택되도록 스코어값을 연산할 수 있다.
또한, 다른 발명으로서,
상기 적절해 연산처리에 있어서, 상기 복수의 입력화상 중 2개의 입력화상의 조합에 대응하여 개별적으로 정해지는 상기 제2종 파라미터값을 이용하여, 상기 스코어값을 연산하는, 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 적절해 연산처리에 있어서, 복수의 입력화상 중 2개의 입력화상의 조합에 대응하여 설정한 제2종 파라미터값을 이용하여, 스코어값을 연산한다. 예컨대, 제1의 입력화상의 초점과 제2의 입력화상의 초점이 크게 괴리되어 있는 경우에는, 제2종 파라미터로서 큰 값을 설정함으로써, 초점이 크게 괴리된 입력화상이 포커싱되어 있는 입력화상이라고 판정되기 어려워지도록 할 수 있다.
또한, 다른 발명으로서,
상기 적절해 연산처리에 있어서, 상기 입력화상을 구성하는 라인에 대하여, 상기 라인 상의 화소에 대해서 상기 스코어값(식 (2), 식 (3)의 에너지함수의 값)을 연산하고(도 7의 스텝 C3),
상기 심도추정수단은, 상기 입력화상을 구성하는 라인 상의 화소에 대해서, 상기 스코어값에 근거하여 포커싱되어 있는 입력화상을 판정하는(도 7의 스텝 C5), 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 적절해 연산처리에 있어서, 입력화상을 구성하는 라인 상의 화소에 대해서 스코어값을 연산하고, 입력화상을 구성하는 라인 상의 화소에 대해서, 스코어값에 근거하여 포커싱되어 있는 입력화상을 판정한다. 이로써, 심도추정에 대한 연산을 용이화할 수 있다.
또한, 제4의 발명으로서,
제3의 발명의 화상처리장치로서,
상기 복수의 입력화상으로부터 피사체 흔들림 영역을 검출하는 피사체 흔들림 영역 검출수단(도 1의 처리부(10))을 더 구비하고,
상기 적절해 연산처리에 있어서, 상기 피사체 흔들림 영역 검출수단에 의해 검출된 피사체 흔들림 영역에 대해서, 상기 제1종 파라미터값 및 상기 제2종 파라미터값의 적어도 일방을 상기 피사체 흔들림 영역 이외의 영역에서 이용하는 파라미터값과는 다른 값으로 하여 연산을 행하는, 화상처리장치를 구성해도 좋다.
이 제4의 발명에 의하면, 복수의 입력화상으로부터 피사체 흔들림 영역을 검출한다. 그리고, 적절해 연산처리에 있어서, 상기 피사체 흔들림 영역에 대하여, 제1종 파라미터값 및 제2종 파라미터값의 적어도 일방을 피사체 흔들림 영역 이외의 영역에서 이용하는 파라미터값과는 다른 값으로 하여 연산을 행한다. 이로써, 피사체 흔들림 영역에 포함되는 화소에 대해서, 포커싱되어 있는 입력화상을 적절히 판정할 수 있다.
또한, 다른 발명으로서,
상기 복수의 입력화상에 대해서 콘트라스트 보정(도 4, 도 15의 스텝 A9)을 행하는 콘트라스트 보정수단(도 1의 콘트라스트 보정부(105))을 더 구비하고,
상기 특징량 검출수단은, 상기 콘트라스트 보정수단에 의해 보정된 상기 복수의 입력화상으로부터 상기 특징량을 검출하는(도 4, 도 15의 스텝 A11), 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 복수의 입력화상에 대해서 콘트라스트 보정을 행하고, 콘트라스트 보정된 복수의 입력화상으로부터 특징량을 검출함으로써, 입력화상의 특징을 적절히 반영한 특징량을 검출하는 것이 가능해진다.
또한, 제5의 발명으로서,
제2 ~ 제4 중의 어느 하나의 발명의 화상처리장치로서,
상기 복수의 입력화상의 초점이 적절히 분리되어 있는지를 판정하는(도 6의 초점분리 판정처리) 초점분리 판정수단(도 1의 초점분리 판정부(109))을 더 구비하고,
상기 심도추정수단은, 상기 초점분리 판정수단의 판정결과가 긍정 판정으로 된 입력화상을 이용하여, 상기 대상화소에 대해서 상기 심도를 추정하는(도 6의 스텝 B7), 화상처리장치를 구성해도 좋다.
이 제5의 발명에 의하면, 복수의 입력화상의 초점이 적절히 분리되어 있는지를 판정하고, 그 판정결과가 긍정 판정으로 된 입력화상을 이용하여, 대상화소에 대해서 심도를 추정한다. 입력화상의 초점이 적절히 분리되어 있지 않은 경우, 목적의 피사체와 그 이외의 배경이 적절히 분리되어 있지 않은 등의 문제가 발생한다. 여기서, 초점거리가 적절히 변경되고, 입력화상의 초점이 적절히 분리되어 있는 입력화상을 대상으로 하여, 심도의 추정을 행하도록 한다.
이 경우, 다른 발명으로서,
상기 초점분리 판정수단은, 상기 특징량 검출수단에 의해 특징량이 검출된 상기 복수의 입력화상 각각에 대응하는 화상에 대해서, 다른 화상간의 상관값을 산출(도 6의 스텝 B1)하는 상관연산수단(도 1의 처리부(10))을 가지고, 상기 상관연산수단에 의해 산출된 상관값이 소정의 낮은 임계값 조건을 만족하는 화상에 대응하는 입력화상을, 초점이 적절히 분리되어 있는 입력화상으로 판정하는(도 6의 스텝 B5), 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 특징량 검출수단에 의해 특징량이 검출된 복수의 입력화상 각각에 대응하는 화상에 대해서, 다른 화상간의 상관값을 산출하고, 산출된 상관값이 소정의 낮은 임계값 조건을 만족하는 화상에 대응하는 입력화상을, 초점이 적절히 분리되어 있는 입력화상으로 판정한다. 입력화상의 초점이 적절히 분리되어 있으면, 특징량이 검출된 다른 화상간의 상관값은 어느 정도 작은 값이 될 것이다. 이로 인하여, 다른 화상간의 상관값을 지표값으로서 이용함으로써, 입력화상의 초점이 적절히 분리되어 있는지를 확실히 판정할 수 있다.
또한, 다른 발명으로서,
상기 초점분리 판정수단은, 상기 특징량 검출수단에 의해 특징량이 검출된 상기 복수의 입력화상 각각에 대응하는 화상에 대해서, 특징의 수 또는 비율이 소정의 높은 임계값을 만족하는(도 6의 스텝 B3) 입력화상을, 초점이 적절히 분리되어 있는 입력화상으로 판정하는(도 6의 스텝 B5), 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 특징량 검출수단에 의해 특징량이 검출된 복수의 입력화상 각각에 대응하는 화상에 대해서, 특징의 수 또는 비율이 소정의 높은 임계값을 만족하는 입력화상을, 초점이 적절히 분리되어 있는 입력화상으로 판정한다. 입력화상의 초점이 적절히 분리되어 있으면, 특징의 수나 비율은 어느 정도 큰 값이 될 것이다. 따라서, 특징의 수나 비율을 지표값으로서 이용함으로써, 입력화상의 초점이 적절히 분리되어 있는지를 확실히 판정할 수 있다.
또한, 제6의 발명으로서,
제2 ~ 제5 중의 어느 하나의 발명의 화상처리장치로서,
상기 특징량 검출수단은, 상기 복수의 입력화상 또는 상기 복수의 입력화상을 축소한 축소 입력화상(도 1의 입력화상 축소부(101))으로부터 상기 특징량을 검출하고(도 4의 스텝 A11),
상기 깊이 맵 생성수단은, 상기 심도추정수단의 추정결과에 근거하여, 축소된 깊이 맵을 생성하는(도 4의 스텝 A17), 화상처리장치를 구성해도 좋다.
이 제6의 발명에 의하면, 복수의 입력화상 또는 복수의 입력화상을 축소한 축소 입력화상으로부터 특징량을 검출한다. 그리고, 심도의 추정결과에 근거하여, 축소된 깊이 맵을 생성한다. 복수의 입력화상, 또는, 복수의 입력화상을 축소한 축소 입력화상에 대해서, 상기의 발명의 깊이 맵 생성수법을 적용함으로써, 축소된 깊이 맵을 생성할 수 있다. 축소 깊이 맵은, 깊이 맵에 비하여 용량이 작기 때문에, 메모리에 기억시킬 때에 메모리용량의 삭감이 이루어진다.
또한, 제7의 발명으로서,
제6의 발명의 화상처리장치로서,
상기 축소된 깊이 맵을 복원하는(도 4의 스텝 A19) 복원수단(도 1의 깊이 맵 복원부(115))과,
상기 복원수단에 의해 복원된 깊이 맵을, 소정의 수정용 화상(입력화상)을 이용하여 수정한 깊이 맵을 생성하는(도 4의 스텝 A21) 수정수단(도 1의 깊이 맵 수정부(117))을 더 구비한, 화상처리장치를 구성해도 좋다.
이 제7의 발명에 의하면, 축소된 깊이 맵을 소정의 복원방법을 이용하여 복원한다. 이와 같이 하여 복원된 깊이 맵은, 그 복원에 의해, 심도의 경계가 되는 부분에서 요철이 발생하거나, 피사체의 경계부분에 있어서의 엣지의 위치가 어긋나 버리는 등의 문제가 발생한다. 여기서, 복원된 깊이 맵인 복원 깊이 맵을, 소정의 수정용 화상을 이용하여 수정한 깊이 맵을 생성한다. 이로써, 상기의 문제를 해소하여, 적절한 깊이 맵을 얻을 수 있다.
또한, 제8의 발명으로서,
제1의 발명의 화상처리장치로서,
상기 특징검출수단은, 시차(視差)가 발생하는 복수의 시점(視点)에서 촬상된 촬영화상(시차방식으로 촬상된 촬영화상)을 상기 복수의 입력화상으로 하여, 상기 입력화상으로부터 특징점을 검출하는(도 19의 스텝 J7) 특징점 검출수단(도 1의 처리부(10))을 가지고,
상기 특징점 검출수단에 의해서 검출된 특징점에 근거하여, 상기 복수의 촬영화상 각각의 시점의 상대적인 위치관계(카메라행렬: 회전행렬, 병진(竝進, translation) 이동벡터)를 추정하는(도 19의 스텝 J23) 시점 위치관계 추정수단(도 1의 처리부(10))과,
소정의 추정연산(번들조정(bundle adjustment))을 행하여, 상기 복수의 입력화상을 구성하는 화소의 3차원의 위치를 추정하는(도 19의 스텝 J25) 화소위치 추정수단(도 1의 처리부(10))을 더 구비하고,
상기 깊이 맵 생성수단은, 상기 시점 위치관계 추정수단의 추정결과와 상기 화소위치 추정수단의 추정결과에 근거하여, 상기 깊이 맵을 생성하는(도 19의 스텝 J27), 화상처리장치를 구성해도 좋다.
이 제8의 발명에 의하면, 시차가 발생하는 복수의 시점에서 촬상된 촬영화상으로부터 검출된 특징점에 근거하여 추정한 시점의 상대적인 위치관계와, 소정의 추정연산을 행하여 추정한 복수의 입력화상을 구성하는 화소의 3차원의 위치에 근거하여, 깊이 맵을 적절히 생성할 수 있다.
또한, 제9의 발명으로서,
제8의 발명의 화상처리장치로서,
상기 시점 위치관계 추정수단은,
상기 특징점 검출수단에 의해서 검출된 특징점을 추적하는(도 19의 스텝 J11) 특징점 추적수단(도 1의 처리부(10))과,
상기 특징점 추적수단의 추적결과에 근거하여, 상기 복수의 입력화상 중에서 기점(基点)이 되는 입력화상인 기점 입력화상(베이스 프레임)을 추출하는(도 19의 스텝 J13) 기점 입력화상 추출수단(도 1의 처리부(10))을 가지고, 상기 기점 입력화상 추출수단에 의해서 추출된 기점 입력화상에 대해서 상기 특징점 검출수단에 의해서 검출된 특징점에 근거하여, 상기 복수의 촬영화상 각각의 시점의 상대적인 위치관계를 추정하는, 화상처리장치를 구성해도 좋다.
이 제9의 발명에 의하면, 특징점을 추적한 추적결과에 근거하여 복수의 입력화상 중에서 추출한 기점 입력화상에 대해서 검출된 특징점에 근거하여, 복수의 촬영화상 각각의 시점의 상대적인 위치관계를 정확하게 추정할 수 있다.
또한, 제10의 발명으로서,
제8 또는 제9의 발명의 화상처리장치로서,
표시수단(도 1의 표시부(30))과,
상기 복수의 촬영화상에 시차를 발생시키기 위한 자기장치(自裝置)의 이동방법(이동방향, 이동량)을 상기 유저에게 가이드하기 위한 가이드표시(도 22의 가이드 화살표, 가이드 도형)를 상기 표시수단에 표시시키는 제어를 행하는 표시제어수단(도 1의 표시제어부(127))을 더 구비한, 화상처리장치를 구성해도 좋다.
이 제10의 발명에 의하면, 상기 복수의 촬영화상에 시차를 발생시키기 위한 자기장치의 이동방법을 유저에게 가이드하기 위한 가이드표시를 표시함으로써, 유저는, 깊이 맵의 생성을 위해서, 어떻게 자기장치를 이동시키면 좋은지를 알 수 있기 때문에, 매우 편리하다.
또한, 제11의 발명으로서,
자기장치의 이동 제량(諸量, amount)(이동거리, 이동방향)을 검출하는 이동 제량 검출수단(도 1의 관성센서(75)(가속도센서, 자이로센서), 처리부(10), 관성계측유닛(IMU), GPS 유닛, 관성항법장치(INS)을 더 구비하고,
상기 표시제어수단은, 상기 이동 제량 검출수단의 검출결과에 근거하여, 상기 가이드표시의 표시(도 22의 가이드 화살표의 표시위치나 가이드 도형의 표시위치)를 변화시키는, 화상처리장치를 구성해도 좋다.
이 제11의 발명에 의하면, 검출한 자기장치의 이동 제량에 근거하여 가이드표시의 표시를 변화시킴으로써, 자기장치의 적절한 이동방향이나 이동거리를 유저에게 알리는 것이 가능해진다.
또한, 제12의 발명으로서,
제1 ~ 제11 중의 어느 하나의 발명의 화상처리장치로서,
상기 깊이 맵과 상기 복수의 입력화상을 이용하여 전(全) 초점화상을 생성하는(도 4, 도 19의 스텝 A23) 전 초점화상 생성수단(도 1의 전 초점화상 생성부(119))을 더 구비한, 화상처리장치를 구성해도 좋다.
이 제12의 발명에 의하면, 깊이 맵과 복수의 입력화상을 이용함으로써, 입력화상을 구성하는 화소 각각에 대하여 포커싱되어 있는 상태의 화상인 전 초점화상을 생성할 수 있다.
또한, 다른 발명으로서,
상기 깊이 맵 생성수단에 의해 생성된 깊이 맵과 상기 복수의 입력화상을 이용하여 전 초점화상을 생성하는(도 15의 스텝 F19) 전 초점화상 생성수단(도 1의 전 초점화상 생성부(119))과,
상기 깊이 맵 생성수단에 의해 생성된 깊이 맵을 소정의 축소방법을 이용하여 축소하는(도 15의 스텝 F21) 깊이 맵 축소수단(도 1의 깊이 맵 축소부(121))과,
상기 축소된 깊이 맵인 축소 깊이 맵을 상기 복수의 입력화상 및 상기 전 초점화상의 적어도 일방과 대응시켜서 기억하는 기억수단(도 1의 기억부(80), 화상데이터 세트(83))을 더 구비한, 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 깊이 맵 생성수단에 의해 생성된 깊이 맵과 복수의 입력화상을 이용하여 전 초점화상을 생성한다. 그리고, 깊이 맵 생성수단에 의해 생성된 깊이 맵을 소정의 축소방법을 이용하여 축소하고, 축소된 깊이 맵인 축소 깊이 맵을 복수의 입력화상 및 전 초점화상의 적어도 일방과 대응시켜서 기억한다. 축소 깊이 맵을 기억함으로써, 깊이 맵 그 자체를 기억하는 경우와 비교하여 메모리용량의 삭감이 이루어진다. 또한, 복수의 입력화상이나 전 초점화상과 대응시켜서 기억해 둠으로써, 이후에 이들의 화상정보를 이용하여 전 초점화상의 수정 등을 행하거나, 다른 장치에서 이들 화상정보를 이용하는 것이 가능해진다.
또한, 다른 발명으로서,
상기 기억수단에 기억된 축소 깊이 맵을 소정의 복원방법을 이용하여 복원(도 15의 스텝 A47)하는 깊이 맵 복원수단(도 1의 깊이 맵 복원부(115))과,
상기 복원된 깊이 맵인 복원 깊이 맵을 소정의 수정용 화상을 이용하여 수정(도 15의 스텝 A49)하는 수정수단(도 1의 깊이 맵 수정부(117))을 더 구비한, 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 기억수단에 기억된 축소 깊이 맵을 소정의 복원방법을 이용하여 복원한다. 그리고, 복원된 깊이 맵인 복원 깊이 맵을 소정의 수정용 화상을 이용하여 수정한다. 복원된 깊이 맵은, 그 복원에 의해, 심도의 경계가 되는 부분에서 요철이 발생하거나, 피사체의 경계부분에 있어서의 엣지의 위치가 어긋나 버리는 등의 문제가 발생한다. 여기서, 복원된 깊이 맵인 복원 깊이 맵을, 소정의 수정용 화상을 이용하여 수정한다. 이로써, 상기의 문제를 해소하여, 적절한 깊이 맵을 얻을 수 있다.
이 경우, 다른 발명으로서,
상기 수정용 화상은, 상기 기억수단에 대응시켜서 기억된 전 초점화상 또는 상기 복수의 입력화상 중 적어도 어느 일방의 입력화상이고,
상기 수정수단은, 상기 복원 깊이 맵 중 수정 대상화소에 대해서, 상기 수정 대상화소의 근방화소의 깊이 맵의 화소값에, 상기 수정 대상화소의 수정용 화상의 화소값과 상기 근방화소의 수정용 화상의 화소값이 가까운 값일수록 높은 가중치 부여를 하고, 또한, 상기 수정 대상화소와 상기 근방화소와의 거리가 가까울수록 높은 가중치 부여를 한 가중평균화 처리(식 (3)에 의한 가중평균화 처리)을 행하여, 상기 수정 대상화소의 복원 깊이 맵의 화소값을 수정하는, 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 수정용 화상으로서, 상기 기억수단에 대응시켜서 기억된 전 초점화상 또는 상기 복수의 입력화상 중 적어도 어느 일방의 입력화상을 이용한다. 그리고, 복원 깊이 맵 중 수정 대상화소에 대해서, 상기 수정 대상화소의 근방화소의 깊이 맵의 화소값에, 상기 수정 대상화소의 수정용 화상의 화소값과 상기 근방화소의 수정용 화상의 화소값이 가까운 값일수록 높은 가중치 부여를 하고, 또한, 상기 수정 대상화소와 상기 근방화소와의 거리가 가까울수록 높은 가중치 부여를 한 가중평균화 처리를 행하여, 상기 수정 대상화소의 복원 깊이 맵의 화소값을 수정한다. 이 수법에 의해, 전경(前景)과 배경(背景)과의 경계가 명확해진 깊이 맵을 얻을 수 있다.
또한, 제13의 발명으로서,
제1 ~ 제12 중의 어느 하나의 발명의 화상처리장치로서,
표시수단(도 1의 표시부(30))과,
유저 조작을 접수하는 입력수단(도 1의 입력부(20))과,
상기 입력수단에 대한 유저 조작에 대응하여, 상기 깊이 맵에 근거하여, 특정 심도에 상당하는 입력화상 중의 화소의 화소값을, 상기 특정 심도 이외의 심도에 상당하는 입력화상에 적용한 합성화상을 생성하는 합성화상 생성수단(도 1의 강조화상 생성부(123))을 더 구비하고,
상기 표시수단은, 상기 합성화상 생성수단에 의해서 생성된 합성화상을 표시하는, 화상처리장치를 구성해도 좋다.
이 제13의 발명에 의하면, 유저 조작을 접수하는 입력수단으로부터 입력되는 유저 조작에 대응하여, 깊이 맵에 근거하여, 특정 심도에 상당하는 입력화상 중의 화소의 화소값을, 특정 심도 이외의 심도에 상당하는 입력화상에 합성한 합성화상을 생성한다. 생성한 합성화상을 표시한다. 이로써, 예컨대, 유저에 의해 지정된 부분에 포커스가 맞춰진 합성화상을 생성하여, 유저에게 열람시키는 것이 가능해진다.
또한, 제14의 발명으로서,
제12의 발명의 화상처리장치로서,
표시수단(도 1의 표시부(30))과,
유저 조작을 접수하는 입력수단(도 1의 입력부(20))과,
상기 전 초점화상에 대해서 셰이딩(shading) 처리를 행하는 셰이딩 처리수단(도 1의 처리부(10))을 가지고, 상기 입력수단에 대한 유저 조작에 대응하여, 상기 깊이 맵에 근거하여, 특정 심도에 상당하는 입력화상 중의 화소의 화소값을 상기 셰이딩 처리의 결과의 화상에 합성한 합성화상을 생성하는 합성화상 생성수단(도 1의 강조화상 생성부(123))을 더 구비하고,
상기 표시수단은, 상기 합성화상 생성수단에 의해 생성된 합성화상을 표시하는, 화상처리장치를 구성해도 좋다.
이 제14의 발명에 의하면, 유저 조작을 접수하는 입력수단으로부터 입력되는 유저 조작에 대응하여, 깊이 맵에 근거하여, 특정 심도에 상당하는 입력화상 중의 화소의 화소값을, 전 초점화상에 대해서 셰이딩 처리를 행한 결과의 화상에 합성한 합성화상을 생성하고, 생성한 합성화상을 표시한다. 이로써, 예컨대, 유저에 의해 지정된 부분에 포커스가 맞춰진 합성화상을 생성하여, 유저에게 열람시키는 것이 가능해진다.
이 경우, 다른 발명으로서,
상기 합성화상 생성수단은, 유저 조작에 의해 지정된 화상 상의 영역이 상기 셰이딩 처리가 행해진 영역인지 아닌지를 판정하고, 그 판정결과가 긍정 판정인 경우에, 상기 영역의 셰이딩 정도를 상기 소정의 셰이딩 정도와는 다른 셰이딩 정도로 변경하여, 상기 합성화상에 대해서 다시 셰이딩 처리를 행하는, 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 유저 조작에 의해 지정된 화상 상의 영역에 대하여, 셰이딩 처리에 의해서 일단 셰이딩된 화상을 셰이딩 정도를 변경하여, 다시 셰이딩한 합성화상을 생성할 수 있다. 이로써, 예컨대, 합성화상에 있어서 이미 셰이딩된 부분을 유저가 탭 하는 것에 의해, 그 부분의 셰이딩 정도를 변경하는(강하게 하는 또는 약하게 하는) 등의 것이 가능해진다.
또한, 제15의 발명으로서,
제14의 발명의 화상처리장치로서,
상기 입력수단에 대한 유저 조작(아이콘 조작, 탭 조작)에 대응하여, 포커싱 대상으로 하는 영역인 포커싱 대상영역을 상기 유저가 지정하기 위한 지정용 도형(도 25의 타원형의 도형이나 원형, 사각형의 도형)을 상기 표시수단에 표시시키는 표시제어수단(도 1의 표시제어부(127))을 더 구비하고,
상기 합성화상 생성수단은, 상기 깊이 맵에 근거하여, 상기 입력화상 중 상기 지정용 도형에 포함되는 화소의 심도를 상기 특정 심도로 하여, 상기 합성화상을 생성하는, 화상처리장치를 구성해도 좋다.
이 제15의 발명에 의하면, 입력수단에 대한 유저 조작에 대응하여, 포커싱 대상으로 하는 영역인 포커싱 대상영역을 유저가 지정하기 위한 지정용 도형을 표시수단에 표시시킴으로써, 유저는, 간단하고 쉬운 조작에 의해서 포커싱 대상영역을 지정할 수 있다.
또한, 제16의 발명으로서,
제15의 발명의 화상처리장치로서.
상기 입력수단은, 상기 표시수단과 일체적으로 구성된 터치패널을 가지고,
상기 표시제어수단은, 상기 지정용 도형을 상기 표시수단에 표시시킨 후, (1) 상기 지정용 도형에 대한 핀치조작(핀치아웃 조작/핀치인 조작), (2) 상기 지정용 도형에 대한 복수 회의 탭 조작(더블 탭 조작), (3) 상기 지정용 도형에 대해서 탭 조작을 계속한 계속시간(긴 누름조작이 된 경우의 긴 누름시간) 중 어느 일방에 대응하여, 상기 표시시킨 지정용 도형의 형상을 변경하는(지정용 도형을 확대하는/축소하는), 화상처리장치를 구성해도 좋다.
이 제16의 발명에 의하면, 간단하고 쉬운 유저 조작에 의해서, 지정용 도형의 크기를 변경시킬 수 있다.
또한, 제17의 발명으로서,
제13 또는 제14의 발명의 화상처리장치로서,
상기 입력수단은, 상기 표시수단과 일체적으로 구성된 터치패널(도 1의 터치패널(21))을 가지고,
상기 합성화상 생성수단은, 상기 터치패널에 대한 조작에 근거하여 결정한 심도를 상기 특정 심도로 하여, 상기 합성화상을 생성하는, 화상처리장치를 구성해도 좋다.
이 제17의 발명에 의하면, 표시수단과 일체적으로 구성된 터치패널에 대한 조작에 의해서, 합성화상을 생성할 수 있다.
또한, 제18의 발명으로서,
제17의 발명의 화상처리장치로서,
상기 표시수단은, 촬상대상을 확인 가능한 확인화면(촬상소자로부터의 출력신호에 근거하는 화상이 실시간으로 표시되는 화면)을 표시하고,
상기 확인화면에 있어서의 상기 터치패널에 대한 탭 조작에 대응하여, 포커싱 대상으로 하는 확인화면 상의 위치인 포커싱 대상위치를 기억하는 기억수단(도 1의 기억부(80))과,
상기 기억수단에 포커싱 대상위치가 기억된 후, 소정의 촬상조건의 성립에 대응하여 촬상을 행하는 촬상수단(도 1의 촬상부(50))을 더 구비하고,
상기 특징검출수단은, 상기 촬상수단에 의해서 촬상된 복수의 촬영화상을 상기 복수의 입력화상으로 하여 상기 특징을 검출하고,
상기 합성화상 생성수단은, 상기 기억수단에 기억된 포커싱 대상위치에 대응하는 심도를 상기 특정 심도로 하여, 상기 합성화상을 생성하는, 화상처리장치를 구성해도 좋다.
이 제18의 발명에 의하면, 유저는, 확인화면에 있어서 포커싱 대상위치를 지정할 수 있다. 그리고, 그 후에 촬상을 행하고, 확인화면에 있어서 지정된 포커싱 대상위치에 대응하는 심도를 특정 심도로 한 합성화상을 생성할 수 있다.
이 경우, 다른 발명으로서,
상기 촬상수단은, 상기 기억수단에 포커싱 대상위치가 기억된 후, (1) 상기 입력수단에 대한 소정의 촬상조작을 검지한 것, (2) 일정시간 이상의 계속된 탭 조작을 검지한 것, (3) 복수 회의 탭 조작을 검지한 것의 어느 일방을 상기 촬상조건의 성립으로 하여 촬상을 행하는, 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 탭 조작에 의해서 포커싱 대상위치가 기억된 후, 간단하고 쉬운 유저 조작에 의해서, 촬상을 행하게 할 수 있다.
또한, 제19의 발명으로서,
제17의 발명의 화상처리장치로서,
상기 표시수단은, 소정의 표시용 화상(입력화상)을 표시하고,
상기 표시용 화상이 표시된 표시화면에 있어서의 상기 터치패널에 대한 핀치조작에 대응하여, 포커싱 대상으로 하는 영역인 포커싱 대상영역을 설정하는 포커싱 대상영역 설정수단(도 1의 처리부(10))과,
상기 포커싱 대상영역 설정수단에 의해서 설정된 포커싱 대상영역 이외의 영역에 대해서 소정의 셰이딩 정도로 셰이딩 처리를 행하는 셰이딩 처리수단(도 1의 처리부(10))을 더 구비하고,
상기 셰이딩 처리수단은, 상기 포커싱 대상영역 설정수단에 의해서 설정된 포커싱 대상영역에 대한 핀치조작(핀치아웃 조작/핀치인 조작)에 대응하여, 상기 셰이딩 정도를 변경하는(셰이딩 정도를 높게 하는/낮게 하는) 셰이딩 정도 변경수단(도 1의 처리부(10))을 가지는, 화상처리장치를 구성해도 좋다.
이 제19의 발명에 의하면, 유저는, 표시용 화상이 표시된 표시화면에 있어서, 터치패널에 대한 탭 조작에 의해서, 포커싱 대상으로 하는 영역인 포커싱 대상영역을 지정할 수 있다. 그리고, 포커싱 대상영역 이외의 영역에 대해서 소정의 셰이딩 정도로 셰이딩 처리를 행함으로써, 포커싱 대상영역이 강조된 합성화상을 생성할 수 있다.
또한, 제20의 발명으로서,
제19의 발명의 화상처리장치로서,
상기 셰이딩 정도 변경수단은, 상기 포커싱 대상영역에 대한 핀치아웃 조작에 대응하여 상기 셰이딩 정도를 단계적으로 높게 하고, 상기 포커싱 대상영역에 대한 핀치인 조작에 대응하여 상기 셰이딩 정도를 단계적으로 낮게 하는, 화상처리장치를 구성해도 좋다.
이 제20의 발명에 의하면, 간단하고 쉬운 유저 조작에 의해서, 포커싱 대상영역 이외의 영역에 대해서 셰이딩 처리를 행하는 셰이딩 정도를 변경할 수 있다.
또한, 제21의 발명으로서,
제1 ~ 제12 중의 어느 하나의 발명의 화상처리장치로서,
상기 복수의 입력화상은, 다른 초점거리에서 촬상된 복수의 촬영화상이고,
표시수단(도 1의 표시부(30))과,
유저 조작을 접수하는 입력수단(도 1의 입력부(20))과,
상기 표시수단의 소정위치에, 초점거리 범위를 유저가 지정하기 위한 초점거리 범위지정용 화상(도 27의 초점거리 슬라이더(S1))을 표시시키는 제어를 행하는 표시제어수단(도 1의 표시제어부(127))과,
상기 깊이 맵에 근거하여, 상기 초점거리 범위지정용 화상에 대한 유저 조작에 의해서 지정된 초점거리 범위에 대응하는 심도의 화소를 포커싱으로 하고, 그 외의 화소를 비포커싱으로 한 합성화상을 생성하는 합성화상 생성수단(도 1의 강조화상 생성부(123))을 더 구비하고,
상기 표시수단은, 상기 합성화상 생성수단에 의해서 생성된 합성화상을 표시하는, 화상처리장치를 구성해도 좋다.
이 제21의 발명에 의하면, 유저가 초점거리 범위지정용 화상에 대한 조작에 의해서, 소망의 초점거리 범위에 대응하는 심도의 화소를 포커싱으로 하고, 그 외의 화소를 비포커싱으로 한 합성화상을 생성시켜서, 상기 합성화상을 열람할 수 있다.
또한, 제22의 발명으로서,
제1 ~ 제12 중의 어느 하나의 발명의 화상처리장치로서,
상기 복수의 입력화상은, 다른 초점거리에서 촬상된 복수의 촬영화상이고,
표시수단(도 1의 표시부(30))과,
유저 조작을 접수하는 입력수단(도 1의 입력부(20))과,
상기 복수의 입력화상에 근거하는 복수의 참조용 화상(복수의 입력화상, 복수의 입력화상에 대해서 각각 특징을 검출한 특징검출 화상, 복수의 입력화상에 대해서 각각 콘트라스트 보정을 실시한 콘트라스트 보정화상, 복수의 입력화상과 대응하는 특징검출 화상을 승산(乘算)한 적 화상(積畵像))을 상기 표시수단에 순차적으로 표시시키는 제어를 행하는 표시제어수단(도 1의 표시제어부(127))과,
상기 깊이 맵에 근거하여, 상기 순차적으로 표시되는 참조용 화상 중, 유저에 의해서 지정된 참조용 화상에 대응하는 입력화상의 초점거리에 대응하는 심도의 화소를 포커싱으로 하고, 그 외의 화소를 비포커싱으로 한 합성화상을 생성하는 합성화상 생성수단(도 1의 강조화상 생성부(123))을 더 구비하고,
상기 표시수단은, 상기 합성화상 생성수단에 의해서 생성된 합성화상을 표시하는, 화상처리장치를 구성해도 좋다.
이 제22의 발명에 의하면, 유저는, 순차적으로 표시되는 참조용 화상을 열람하여 소망의 피사체가 강하게 표시되고 있는 참조용 화상을 지정하고, 깊이 맵에 근거하여, 순차적으로 표시되는 참조용 화상 중, 유저에 의해서 지정된 참조용 화상에 대응하는 입력화상의 초점거리에 대응하는 심도의 화소를 포커싱으로 하고, 그 외의 화소를 비포커싱으로 한 합성화상을 생성시켜서, 상기 합성화상을 열람할 수 있다.
또한, 제23의 발명으로서,
제22의 발명의 화상처리장치로서,
상기 복수의 입력화상 각각에 대하여, 상기 입력화상과 상기 특징검출수단에 의해서 특징이 검출된 특징검출 화상(엣지화상)을 승산한 적 화상(입력화상과 엣지화상을 화소단위로 승산함으로써 얻어지는 화상)을 생성하는 적 화상 생성수단(도 1의 처리부(10))을 더 구비하고,
상기 표시제어수단은, 상기 적 화상 생성수단에 의해서 생성된 적 화상을 상기 참조용 화상으로 하여, 상기 표시수단에 순차적으로 표시시키는 제어를 행하는, 화상처리장치를 구성해도 좋다.
이 제23의 발명에 의하면, 복수의 입력화상 각각에 대하여, 상기 입력화상과 특징이 검출된 특징검출 화상을 승산한 적 화상을 생성하여, 참조용 화상으로서 순차적으로 표시시킴으로써, 포커싱으로 하는 심도를 유저가 용이하게 지정 가능하게 된다.
또한, 제24의 발명으로서,
제17의 발명의 화상처리장치로서,
상기 합성화상 생성수단은, 상기 터치패널에 대한 드래그 조작에 근거하여, 상기 특정 심도를 동적으로 변경하여 상기 합성화상을 동적으로 생성하고,
상기 표시수단은, 상기 합성화상 생성수단에 의해 동적으로 생성되는 합성화상을 상기 드래그 조작에 맞춰서 표시하는, 화상처리장치를 구성해도 좋다.
이 제24의 발명에 의하면, 유저의 터치패널에 대한 드래그 조작에 근거하여, 실시간으로 합성화상을 생성하여 표시할 수 있다.
또한, 제25의 발명으로서,
제2 ~ 제7 중의 어느 하나의 발명의 화상처리장치로서,
유저 조작을 접수하는 입력수단(도 1의 입력부(20))을 더 구비하고,
상기 심도추정수단은, 상기 유저 조작에 의해 지정된 지정영역에 포함되는 화소에 대해서 상기 심도를 재추정하는 심도 재추정수단(도 1의 처리부(10))을 가지고,
상기 깊이 맵 생성수단은, 상기 심도 재추정수단에 의한 심도의 재추정의 결과에 근거하여 깊이 맵을 재생성하는 깊이 맵 재생성수단(도 1의 처리부(10))을 가지는, 화상처리장치를 구성해도 좋다.
이 제25의 발명에 의하면, 유저가 화상 중에서 부자연스러운 표시가 이루어지고 있는 부분을 발견한 경우에, 유저가 그 부분을 지정함으로써, 그 부분에 대해서 심도의 재추정이 행해지고, 그 심도의 재추정의 결과에 근거하여, 부자연스러운 부분이 적절히 수정된 깊이 맵을 얻을 수 있다.
또한, 제26의 발명으로서,
제25의 발명의 화상처리장치로서,
상기 심도 재추정수단은, 상기 지정영역에 포함되는 화소에 대해서, 상기 제1종 파라미터값 및 상기 제2종 파라미터값의 적어도 일방을, 상기 심도추정수단이 당초의 심도추정에서 이용한 파라미터값과는 다른 값으로 변경하여 상기 적절해 연산처리를 행하여, 상기 심도를 재추정하는, 화상처리장치를 구성해도 좋다.
이 제26의 발명에 의하면, 지정영역에 포함되는 화소에 대해서, 제1종 파라미터값 및 제2종 파라미터값의 적어도 일방을, 심도추정수단이 당초의 심도추정에서 이용한 파라미터값과는 다른 값으로 변경하여 적절해 연산처리를 행하여, 심도를 적절히 재추정할 수 있다.
또한, 다른 발명으로서,
상기 전 초점화상에 있어서의 소정의 화소(예컨대, 터치패널 상에서 유저가 탭 한 영역의 화소나, 엣지강도가 소정값 이상 또는 소정값 미만의 영역의 화소)를 특정하는 화소 특정수단을 더 가지고,
상기 합성화상 생성수단은, 상기 전 초점화상 중 상기 화소 특정수단에 의해 특정된 화소에 대해서 셰이딩 정도를 상기 소정의 셰이딩 정도보다 작게 하거나, 또는, 상기 전 초점화상 중 상기 화소 특정수단에 의해 특정된 화소 이외의 화소에 대해서 셰이딩 정도를 상기 소정의 셰이딩 정도보다 크게 하여 상기 셰이딩 처리를 행하는, 화상처리장치를 구성해도 좋다.
전 초점화상을 일정하게 셰이딩한 화상에 강조해야 할 심도의 화소를 합성한 경우, 포커싱과 비포커싱의 경계부근에 있어서 윤곽같은 부자연스러운 화소값이 되어 버리는 영역이 발생하는 현상이 발생한다. 이 현상을 회피하기 위해서, 전 초점화상 중 화소 특정수단에 의해 특정된 화소에 대해서 셰이딩 정도를 소정의 셰이딩 정도보다 작게 하거나, 또는, 전 초점화상 중 화소 특정수단에 의해 특정된 화소 이외의 화소에 대해서 셰이딩 정도를 소정의 셰이딩 정도보다 크게 하여 셰이딩 처리를 행한다. 이로써, 상기의 현상을 회피하고, 적절한 합성화상을 얻는 것이 가능해진다.
또한, 다른 발명으로서,
상기 표시수단의 소정위치에, 상기 특정 심도를 유저에게 지정시키기 위한 심도지정용 조작창(예컨대, 도 17의 심도지정용 조작창(W1), 또는 도 27의 초점거리 슬라이더(S1))을 표시시키는 제어를 행하는 표시제어수단을 더 구비하고,
상기 표시수단에 표시된 심도지정용 조작창에 있어서, 상기 입력수단을 이용하여 유저에 의한 상기 특정 심도의 지정이 가능한, 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 표시수단의 소정위치에, 특정 심도를 유저에게 지정시키기 위한 심도지정용 조작창을 표시시키는 제어를 행한다. 그리고, 유저는, 표시수단에 표시된 심도지정용 조작창으로부터 입력수단을 이용하여 특정 심도를 지정한다. 이로써, 유저는 심도지정용 조작창으로부터 임의의 특정 심도를 지정할 수 있다. 그 결과, 특정 심도의 화소가 강조된 강조화상이 생성되어서 표시부에 표시되기 때문에, 유저는 선택한 심도의 화소가 강조된 합성화상을 열람하는 것이 가능해진다.
또한, 다른 발명으로서,
상기 입력수단은, 상기 표시수단과 일체적으로 구성된 터치패널(도 1의 터치패널(21))을 가지고,
상기 유저는, 상기 터치패널에 대한 탭 조작에 의해 상기 특정 심도를 지정하는, 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 유저는, 터치패널에 대한 탭 조작에 의해서 특정 심도를 지정할 수 있다.
또한, 다른 발명으로서,
상기 유저 조작은 탭 조작이며,
상기 합성화상 생성수단은, 상기 탭 조작에 의해 탭 된 화상 상의 영역을 상기 지정영역으로 하여(도 8의 스텝 D1), 상기 지정영역에 근거하여 상기 특정 심도를 선택하는(예컨대, 도 8의 스텝 D5), 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 유저 조작은 탭 조작이며, 탭 조작에 의해 탭 된 화상 상의 영역을 지정영역으로 하여 상기 지정영역에 근거하여 특정 심도를 선택한다. 이로써, 유저의 탭 조작에 수반하여, 탭 된 지정영역에 대해서 특정 심도를 선택하여 합성화상을 생성하고, 표시부에 표시시키는 것이 가능해진다.
또한, 다른 발명으로서,
상기 포커싱 화상, 상기 복수의 입력화상 중에서 선택한 입력화상, 상기 합성화상 및 상기 깊이 맵 중 어느 일방의 화상을 표시용 화상으로서 상기 표시수단에 표시시키는 제어를 행하는 표시제어수단을 더 구비하고,
상기 표시용 화상은, 상기 유저가 상기 입력수단을 이용하여 상기 특정 심도를 지정하도록 참조 가능한, 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 표시제어수단은, 포커싱 화상, 복수의 입력화상 중에서 선택한 입력화상, 합성화상 및 깊이 맵 중 어느 일방의 화상을 표시용 화상으로서 표시수단에 표시시키도록 제어한다. 그리고, 유저는, 표시수단에 참조 가능하게 표시된 표시용 화상에 근거하여, 입력수단을 이용하여 특정 심도를 지정한다. 이로써, 유저는, 표시용 화상을 열람하여, 강조 표시시키고 싶은 부분을 지정할 수 있다.
또한, 다른 발명으로서,
상기 합성화상 생성수단은, (1) 상기 지정영역의 중심위치에 가장 가까운 화소에 대응하는 심도, (2) 상기 지정영역에 포함되는 화소 중 상기 깊이 맵에 있어서 가장 심도가 깊은 또는 얕은 화소에 대응하는 심도, (3) 상기 지정영역에 포함되는 화소의 화소값의 평균값에 화소값이 가장 가까운 화소에 대응하는 심도, (4) 상기 지정영역 중 깊이 맵 상에 있어서 가장 대응하는 심도의 화소가 차지하는 면적이 큰 심도 중 어느 일방을 상기 특정 심도로서 선택하는, 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, (1) 지정영역의 중심위치에 가장 가까운 화소에 대응하는 심도, (2) 지정영역에 포함되는 화소 중 깊이 맵에 있어서 가장 심도가 깊은 또는 얕은 화소에 대응하는 심도, (3) 지정영역에 포함되는 화소의 화소값의 평균값에 화소값이 가장 가까운 화소에 대응하는 심도, (4) 지정영역 중 깊이 맵 상에 있어서 가장 대응하는 심도의 화소가 차지하는 면적이 큰 심도 중 어느 일방을 특정 심도로서 선택하여, 합성화상을 생성할 수 있다.
또한, 다른 발명으로서,
상기 특징량 검출수단은, 상기 복수의 입력화상의 특징으로서 엣지를 검출하는 엣지검출수단(도 1의 엣지검출부(107))을 가지고,
상기 입력수단은, 상기 표시수단과 일체적으로 구성된 터치패널(도 1의 터치패널(21))을 가지고,
상기 유저 조작은 드래그 조작이며,
상기 드래그 조작에 대응하여 하나의 심도를 선택(도 9의 스텝 E5)하는 심도선택수단(도 1의 처리부(10))과,
상기 유저에 의한 드래그 조작의 방향과, 상기 심도선택수단에 의해 선택된 심도의 입력화상 중의 상기 드래그 조작에 의해 지정된 지정영역에 포함되는 엣지의 방향과의 유사도를 산출(도 9의 스텝 E6)하는 유사도 산출수단(도 1의 처리부(10))을 더 구비하고,
상기 심도 재추정수단은, 상기 지정영역에 포함되는 화소에 대해서, 상기 제1종 파라미터값 및 상기 제2종 파라미터값의 적어도 일방을, 상기 심도추정수단이 당초의 심도추정에서 이용한 파라미터값과는 다른 값으로 변경하여 상기 스코어값 연산처리를 행하여, 상기 심도를 재추정하는, 화상처리장치를 구성해도 좋다.
이 다른 발명에 의하면, 특징량 검출수단은, 복수의 입력화상의 특징으로서 엣지를 검출하는 엣지검출수단을 가진다. 그리고, 터치패널에 대한 유저의 드래그 조작에 대응하여 하나의 심도를 선택하고, 유저에 의한 드래그 조작의 방향과, 선택된 심도의 입력화상 중의 드래그 조작에 의해 지정된 지정영역에 포함되는 엣지의 방향과의 유사도를 산출한다. 그리고, 심도 재추정수단이, 드래그 조작에 의해 지정된 지정영역에 포함되는 화소에 대해서, 제1종 파라미터값 및 제2종 파라미터값의 적어도 일방을, 심도추정수단이 당초의 심도추정에서 이용한 파라미터값과는 다른 값으로 변경하여 스코어값 연산처리를 행함으로써, 화상 중의 엣지 부분의 심도를 적절히 재추정할 수 있다.
본 발명에 의하면, 소망의 포커싱 상태에 대응한 합성화상을 생성 가능한 화상처리장치 등이 제공된다.
도 1은 스마트폰의 기능구성의 일례를 나타내는 블럭도이다.
도 2는 화상데이터 세트의 데이터 구성의 일례를 나타내는 도이다.
도 3은 패널티값 테이블의 테이블 구성의 일례를 나타내는 도이다.
도 4는 화상처리의 흐름의 일례를 나타내는 플로우차트이다.
도 5는 도 4에 계속되는 플로우차트이다.
도 6은 초점분리 판정처리의 흐름의 일례를 나타내는 플로우차트이다.
도 7은 심도추정처리의 흐름의 일례를 나타내는 플로우차트이다.
도 8은 강조화상 생성처리의 흐름의 일례를 나타내는 플로우차트이다.
도 9는 강조화상 수정처리의 흐름의 일례를 나타내는 플로우차트이다.
도 10의 (1)은 입력화상의 일례이고, (2)는 입력화상의 일례이고, (3)은 엣지화상의 일례이고 (4)는 엣지화상의 일례이다.
도 11의 (1)은 깊이 맵의 일례이고, (2)는 전 초점화상의 일례이다.
도 12의 (1)은 복원 깊이 맵의 일례이고, (2)는 수정 깊이 맵의 일례이다.
도 13의 (1)은 전 초점화상에 대한 셰이딩 화상의 일례이고, (2)는 강조화상의 일례이고, (3)은 셰이딩 화상의 일례이고, (4) 강조화상의 일례이다.
도 14의 (1)는 강조화상의 일례이고, (2)는 강조화상에 대한 수정화상의 일례이다.
도 15는 제2의 화상처리의 흐름의 일례를 나타내는 플로우차트이다.
도 16은 변형예에 있어서의 패널티값 테이블의 테이블 구성의 일례를 나타내는 도이다.
도 17은 심도선택용 조작창의 일례를 나타내는 도이다.
도 18은 제2의 강조화상 생성처리의 흐름의 일례를 나타내는 플로우차트이다.
도 19는 제3의 화상처리의 흐름의 일례를 나타내는 플로우차트이다.
도 20의 (1)은 특징점 검출결과의 일례를 나타내는 도이고, (2)는 특징점 검출결과의 일례를 나타내는 도이고, (3)은 특징점 추적결과의 일례를 나타내는 도이다.
도 21의 (1)은 정면 시점의 특징점의 좌표의 추정결과의 일례를 나타내는 도이고, (2)는 상시점(上視點)의 특징점의 좌표의 추정결과의 일례를 나타내는 도이고, (3)은 좌시점(左視點)의 특징점의 좌표의 추정결과의 일례를 나타내는 도이다.
도 22의 (1)은 확인화면의 일례를 나타내는 도이고, (2)는 가이드표시의 일례를 나타내는 도이고, (3)은 가이드표시의 일례를 나타내는 도이고, (4)는 가이드표시의 일례를 나타내는 도이다.
도 23은 제4의 화상처리의 흐름의 일례를 나타내는 플로우차트이다.
도 24는 제3의 강조화상 생성처리의 흐름의 일례를 나타내는 플로우차트이다.
도 25의 (1)은 영역지정용 도형의 일례를 나타내는 도이고, (2)는 영역지정용 도형의 사이즈 조정의 설명도이다.
도 26의 (1)은 핀치아웃 조작에 의한 셰이딩 정도의 변경의 설명도이고, (2)는 핀치인 조작에 의한 셰이딩 정도의 변경의 설명도이다.
도 27의 (1)은 초점거리 슬라이더의 일례를 나타내는 도이고, (2)는 초점거리 슬라이더의 일례를 나타내는 도이고, (3)은 초점거리 슬라이더의 일례를 나타내는 도이다.
도 28은 화소의 구별표시의 일례를 나타내는 도이다.
도 29는 제4의 강조화상 생성처리의 흐름의 일례를 나타내는 도이다.
도 30은 기록매체의 일례를 나타내는 도이다.
도 31은 시차방식을 이용한 깊이 맵의 생성의 원리의 설명도이다.
도 32는 하이라이트 클리핑(highlights clipping) 효과 셰이딩 처리의 흐름의 일례를 나타내는 플로우차트이다.
이하, 도면을 참조하여, 본 발명을 적용한 적합한 실시형태의 일례에 대해서 설명한다. 본 실시형태에서는, 화상처리장치로서, 카메라기능 구비 휴대전화기의 일종인 스마트폰에 본 발명을 적용한 경우의 실시형태에 대해서 설명한다. 단, 본 발명을 적용 가능한 형태가 이하 설명하는 실시형태로 한정되는 것이 아님은 물론이다.
도 1은, 본 실시형태에 있어서의 스마트폰(1)의 기능구성의 일례를 나타내는 블럭도이다. 스마트폰(1)은, 처리부(10)와, 입력부(20)와, 표시부(30)와, 통신부(40)와, 촬상부(50)와, 휴대전화용 안테나(55)와, 휴대전화용 무선통신회로부(60)와, 시계부(70)와, 관성센서(75)와, 기억부(80)를 가지고 구성된다.
처리부(10)는, 기억부(80)에 기억되어 있는 시스템 프로그램 등의 각종 프로그램에 따라서 스마트폰(1)의 각 부를 통괄적으로 제어하는 프로세서이며, CPU(Central Processing Unit)나 DSP(Digital Signal Processor) 등의 프로세서를 가져서 구성된다.
본 실시형태에 있어서, 처리부(10)는, 주요한 기능부로서, 입력화상 축소부(101)와, 위치맞춤부(103)와, 콘트라스트 보정부(105)와, 엣지검출부(107)와, 초점분리 판정부(109)와, 심도추정부(111)와, 깊이 맵 생성부(113)와, 깊이 맵 복원부(115)와, 깊이 맵 수정부(117)와, 전 초점화상 생성부(119)와, 깊이 맵 축소부(121)와, 강조화상 생성부(123)와, 강조화상 수정부(125)와, 표시제어부(127)를 가진다. 단, 이들 기능부는 하나의 실시예로서 기재한 것에 지나지 않고, 이 외의 기능부를 필수 구성요소로 해도 좋은 것은 물론이다.
입력부(20)는, 터치패널(21)을 가지고 구성되는 입력장치이며, 터치패널(21)에 대한 유저 조작의 검지신호를 처리부(10)에 출력한다. 터치패널(21)은, 유저와 스마트폰(1)의 사이의 입력 인터페이스로서 기능한다.
본 실시형태에서는, 입력부(20)를 통하여 스마트폰(1)의 카메라기능이 선택되면, 유저는, 모드로서 「촬영모드」와 「화상열람모드」의 2개의 모드를 선택 가능하고, 또한, 이들 모드에 부수하여, 「강조화상 생성모드」와 「강조화상 수정모드」의 2개의 모드를 선택 가능하게 구성된다.
표시부(30)는, LCD(Liquid Crystal Display) 등을 가지고 구성되는 표시장치이며, 처리부(10)로부터 출력되는 표시신호에 근거한 각종 표시를 행한다. 표시부(30)에는, 시각정보나 어플리케이션을 기동하기 위한 아이콘 외에, 후술하는 화상처리에서 생성되는 각종 화상이 표시된다.
통신부(40)는, 처리부(10)의 제어에 따라서, 장치 내부에서 이용되는 정보를 외부의 정보처리장치(예컨대 퍼스널컴퓨터)와의 사이에서 송수신하기 위한 통신장치이다. 통신부(40)의 통신방식으로서는, 소정의 통신규격에 준거한 케이블을 통하여 유선접속하는 형식이나, 크래들(cradle)로 불리는 충전기와 겸용의 중간장치를 통하여 접속하는 형식, 근거리 무선통신을 이용하여 무선접속하는 형식 등, 여러 가지의 방식을 적용 가능하다.
촬상부(50)는, 임의의 씬(scene)의 화상을 촬상 가능하게 구성된 촬상 디바이스이며, CCD(Charge Coupled Device) 이미지센서나 CMOS(Complementary MOS) 이미지센서 등의 촬상소자(반도체소자)를 가지고 구성된다. 촬상부(50)는, 촬영대상물로부터 발하여진 광을, 미도시의 렌즈에 의해서 촬상소자의 수광평면에 결상시키고, 광전변환에 의해서, 상(像)의 광의 명암을 전기신호로 변환한다. 변환된 전기신호는, 미도시의 A/D(Analog Digital) 변환기에 의해서 디지털신호에 변환되어서, 처리부(10)에 출력된다.
표시제어부(127)는, 촬상부(50)로부터 출력되는 디지털화된 전기신호에 근거하여, 유저가 촬영대상으로 하는 씬을 나타내는 화면(후술하는 확인화면)을 표시부(30)에 표시제어한다. 그리고, 유저의 촬상조작(예컨대 터치패널(21)의 촬상버튼을 탭 하는 조작)에 대응하여, 촬상부(50)로부터 출력되는 전기신호에 근거하여 소정의 포맷(예컨대 JPEG 방식 등)으로 변환된 화상데이터가, 촬영화상의 데이터로서 기억부(80)에 기억된다. 본 명세서에서는, 촬상부(50)에 의한 촬상의 결과로서 얻어진 화상을 「촬영화상」이라고 한다.
휴대전화용 안테나(55)는, 스마트폰(1)의 통신서비스 사업자가 설치한 무선기지국과의 사이에서 휴대전화용 무선신호의 송수신을 행하는 안테나이다.
휴대전화용 무선통신회로부(60)는, RF 변환회로, 베이스 밴드 처리회로 등에 의해서 구성되는 휴대전화의 통신회로부이며, 휴대전화용 무선신호의 변조·복조 등을 행함으로써, 통화나 메일의 송수신 등을 실현한다.
시계부(70)는, 스마트폰(1)의 내부시계이며, 예컨대 수정진동자 및 발진회로인 수정발진기를 가져서 구성된다. 시계부(70)의 계시(計時)시각은 처리부(10)에 수시로 출력된다.
관성센서(75)는, 스마트폰(1)의 관성정보를 검출하는 센서이며, 예컨대, 3축의 가속도센서나 3축의 자이로센서를 가져서 구성되고, 센서를 기준으로 하는 3차원의 로컬좌표계에서 검출한 3축의 가속도벡터 및 3축의 각속도벡터가 처리부(10)에 출력된다.
기억부(80)는, ROM(Read Only Memory)이나 플래시ROM, RAM(Random Access Memory) 등의 기억장치를 가지고 구성되고, 처리부(10)가 스마트폰(1)을 제어하기 위한 시스템 프로그램이나, 각종 어플리케이션 처리를 실행하기 위한 각종 프로그램이나 데이터 등을 기억한다.
본 실시형태에 있어서, 기억부(80)에는, 프로그램으로서, 화상처리(도 3 및 도 4 참조)로서 실행되는 화상처리 프로그램(81)이 기억되어 있다. 화상처리 프로그램(81)은, 초점분리 판정처리(도 6 참조)로서 실행되는 초점분리 판정 프로그램(811)과, 심도추정처리(도 7 참조)로서 실행되는 심도추정 프로그램(813)과, 강조화상 생성처리(도 8 참조)로서 실행되는 강조화상 생성 프로그램(815)과, 강조화상 수정처리(도 9 참조)로서 실행되는 강조화상 수정 프로그램(817)을 서브루틴으로서 포함한다. 이들의 처리에 대해서는 플로우차트를 이용하여 상세하게 후술한다.
또한, 기억부(80)에는, 데이터로서 화상데이터 세트(83)와, 강조화상 데이터(85)와, 수정 강조화상 데이터(87)와, 패널티값 테이블(89)이 기억된다.
화상데이터 세트(83)는, 처리부(10)가 각종 화상처리를 행하기 위해서 사용하는 각종 데이터에 의해 구성되는 것이며, 그 데이터 구성의 일례를 도 2에 나타낸다. 각 화상데이터 세트(83)에는, 각각 다른 씬으로 촬상부(50)에 의해서 촬상된 화상에 대한 데이터의 조합이 기억되어 있다. 각 화상데이터 세트(83)에는, 복수의 입력화상 데이터(833)와, 상기 복수의 입력화상 데이터(833)에 근거하여 생성되는 축소 깊이 맵 데이터(835)와, 상기 복수의 입력화상 데이터(833) 및 상기 축소 깊이 맵 데이터(835)에 근거하여 생성되는 전 초점화상 데이터(837)가 포함된다.
복수의 입력화상 데이터(833)는, 각각, 어떤 씬에 대해서 촬상부(50)에 의해서 초점거리나 포커싱 거리, 조리개값 등의 카메라에서의 촬상에 대한 제원(諸元)(이하, 「카메라 제원」이라 함)을 변경하여 촬상부(50)에 의해서 촬상된 촬영화상인 입력화상과, 상기 입력화상에 관한 부수정보로 이루어지는 데이터이다. 각 입력화상 데이터(833)에 있어서의 상기 입력화상의 부수정보로서, 촬영일시(833a)와, 입력화상을 유니크하게 식별하기 위한 화상번호(833b)와, 축소된 입력화상의 데이터인 축소 입력화상 데이터(833c)가 대응되어서 기억되어 있다.
촬영일시(833a)는, 시계부(70)의 계시시각에 근거하여 처리부(10)에 의해 입력화상 데이터(833)에 기억된다.
이 실시형태에 있어서, 처리부(10)는, 소정의 룰에 따라서 화상번호(833b)를 설정하고, 입력화상 데이터(833)에 대응시켜서 기억한다.
예컨대, 촬상부(50)가, 촬상시에 제일 앞쪽에 초점을 맞추어서 촬상하고, 서서히 초점을 안쪽으로 이동시켜서 촬상을 행하는 경우, 처리부(10)는, 각각의 입력화상의 촬영일시(833a)에 근거하여, 촬영시각이 나중이 될수록 초점거리가 길어진다는 룰에 근거하여, 촬영시각이 빠른 입력화상으로부터 순서대로, 1부터 차례로 화상번호(833b)를 할당한다. 반대로, 촬상시에 가장 뒤쪽에 초점을 맞추어서 촬상하고, 서서히 초점을 앞으로 이동시켜서 촬상을 행하는 경우에는, 촬영시각이 나중이 될수록 초점거리가 짧아진다는 룰에 근거하여, 촬영시각이 늦은 입력화상으로부터 순서대로, 1부터 차례로 화상번호(833b)를 할당하면 좋다. 또한, 이 외에도, 촬상시의 카메라 제원에 대응하여 화상명이 자동적으로 부여되는 경우(예컨대 포커싱 거리가 증가하는데 따라서 Image ××에 있어서 ××가 증가하도록 자동적으로 화상파일명이 부여되는 경우)에는, 촬영화상의 화상명(Image1, Image2, Image3, …)의 순서(오름차순)대로 화상번호(833b)를 할당함으로써 해도 좋다.
또한, 예컨대, 촬상부(50)가, 촬상시에 카메라 제원을 EXIF 정보 등의 메타데이터로서 입력화상에 기억시키는 구성으로 되어 있는 경우에는, 그 카메라 제원을 참조하여, 카메라 제원에 대응한 화상번호(833b)를 할당하도록 하는 것도 가능하다.
축소 깊이 맵 데이터(835)는, 깊이 맵 생성부(113)가 축소 입력화상을 이용하여 생성한 축소된 깊이 맵인 축소 깊이 맵의 데이터이다. 깊이 맵이란, 복수의 입력화상 중 어느 쪽의 입력화상에서 포커싱되어 있는지를 나타내는 정보인 심도가 화소별로 정해진 맵 데이터이다. 본 실시형태에서는, 대상화소에 대해서, 복수의 입력화상 중 어느 쪽의 입력화상으로 포커싱되어 있는지를 나타내는 정보인 심도를 추정하는 심도추정처리를 행하고, 그 심도추정의 결과에 근거하여 깊이 맵을 생성한다. 또한, 본 실시형태에서는, 대상화소를 화상 중의 모든 화소로 하여 설명하지만, 화상 중의 모든 화소가 아니라, 화상 중의 일부의 영역에 포함되는 화소를 대상화소로 해도 좋은 것은 물론이다.
전 초점화상 데이터(837)는, 전 초점화상 생성부(119)가 깊이 맵과 복수의 입력화상을 이용하여 생성한 모든 화소에 있어서 포커싱되어 있는 것으로 추정되는 입력화상의 화소값으로 구성되는 화상의 데이터이다.
복수의 입력화상이나 전 초점화상은, 예컨대 JPEG 형식으로 부호화되고, 화상 No(831)나 촬영일시(832), 스마트폰의 기종, 조리개값, 초점거리, 포커싱 거리, 화소수, GPS 정보 등의 부수적인 EXIF 정보와 함께 기억된다. 이때, 축소 깊이 맵 데이터(835)는, 부수적인 데이터로서 EXIF 정보에 포함시키는 형태로 기억시킬 수 있고, 이와 같이 함으로써, 하나의 JPEG 파일로서 기억부(80)에 기억시킬 수 있다. EXIF 정보에는, 축소 깊이 맵의 생성에 이용한 정보(예컨대 축소율)를 더 포함시킬 수 있다. 화상데이터 세트(83)는, 비휘발성의 메모리(예컨대 플래시ROM)에 기억된다.
다만, 축소 깊이 맵을 부수적인 데이터로서 EXIF 정보에 포함시키는 것이 아니라, 축소 깊이 맵을 복수의 입력화상 및 전 초점화상의 적어도 일방과 함께 JPEG 형식으로 부호화하여 화상데이터 세트(83)에 포함시키도록 하는 것도 가능하다. 이 경우는, 이들의 부호화된 화상데이터의 EXIF 정보로서, 축소 깊이 맵의 생성에 이용한 정보(예컨대 축소율)를 포함시키도록 하면 좋다.
또한, 자세한 것은 후술하겠지만, 본 실시형태에서는, 복수의 입력화상의 초점이 적절히 분리되어 있는지를 판정하는 초점분리 판정처리를 행하고, 초점이 적절히 분리되어 있는 입력화상을 이용하여 축소 깊이 맵을 생성한다. 즉, 초점이 적절히 분리되어 있지 않으면 판정된 입력화상은 축소 깊이 맵의 생성에 이용되지 않는다. 이로 인하여, 복수의 입력화상 중, 어느 쪽의 입력화상을 축소 깊이 맵의 생성에 이용했는지를 나타내는 정보를 EXIF 정보에 포함시키도록 하면 바람직하다. 즉, 축소 깊이 맵과, 상기 축소 깊이 맵의 생성에 이용한 입력화상의 정보를 관련지어서 기억하게 함으로써, 이후에 축소 깊이 맵을 이용하여 전 초점화상의 생성이나 강조화상의 생성, 강조화상의 수정 등의 처리를 행할 때에, 어느 입력화상을 이용하여 처리를 행하면 좋은지가 명확해진다.
강조화상 데이터(85)는, 강조화상 생성부(123)가, 유저 조작에 따라서 전 초점화상 중 특정의 화소부분을 강조하고, 다른 화소부분을 셰이딩한 화상의 데이터이다. 또한, 이 강조화상 데이터(85)는, 일시 데이터로서 휘발성의 메모리(예컨대 RAM)에 기억시키는 것으로 해도 좋고, 화상데이터 세트(83)에 포함시켜서 비휘발성의 메모리(예컨대 플래시ROM)에 기억시키는 것으로 해도 좋다.
수정 강조화상 데이터(87)는, 강조화상 수정부(125)가, 유저 조작에 따라서 강조화상의 일부를 수정한 화상데이터이다. 또한, 이 수정 강조화상 데이터(87)도, 일시 데이터로서 휘발성의 메모리(예컨대 RAM)에 기억시키는 것으로 해도 좋고, 화상데이터 세트(83)에 포함시켜서 비휘발성의 메모리(예컨대 플래시ROM)에 기억시키는 것으로 해도 좋다.
패널티값 테이블(89)은, 심도추정부(111)가 행하는 심도추정처리에 있어서, 후술하는 적절해 연산처리로서 스코어값 연산처리를 행할 때에 이용하는 파라미터값의 일종인 패널티값이 정해진 테이블이며, 비휘발성의 메모리(예컨대 ROM)에 미리 기억되어 있다. 스코어값 연산처리에서는, 대상화소에 대해서, 상기 대상화소의 대응하는 심도의 엣지화상의 엣지강도에 대응한 코스트값(cost 値)을 산출하고, 코스트값과 패널티값을 이용하여, 소정의 에너지함수의 값을 스코어값으로서 연산한다. 패널티값은, 대상화소와 상기 대상화소의 근방화소에서, 포커싱되어 있다고 하는 입력화상을 변화시키는 경우에 부과되는 패널티이다. 본 실시형태에 있어서, 코스트값은 제1종 파라미터값에 상당하고, 패널티값은 제2종 파라미터값에 상당하다.
도 3은, 패널티값 테이블(89)의 테이블 구성의 일례를 나타내는 도이다.
패널티값 테이블(89)에는, 종별(891)과, 제1의 패널티값(893)과, 제2의 패널티값(895)이 대응되어서 정해져 있다.
대상화소와 근방화소에서, 포커싱되어 있다고 하는 입력화상을 화상번호(833b)에서 「1」만큼 변화시키는 경우의 패널티값이 제1의 패널티값(893)이다. 또한, 대상화소와 근방화소에서, 포커싱되어 있다고 하는 입력화상을 화상번호(833b)에서 「2 이상」 변화시키는 경우의 패널티값이 제2의 패널티값(895)이다. 그리고, 종별(891)의 「통상시」에는, 제1의 패널티값(893)으로서 「P1」이, 제2의 패널티값(895)으로서 「P2」가 각각 정해져 있다. 단, 「P1 < P2」이다.
또한, 종별(891)의 「강조화상 수정시」에는, 유저에 의한 드래그방향과 엣지방향이 소정의 근사(近似)조건을 만족하는 경우와, 유저에 의한 드래그방향과 엣지방향이 소정의 괴리(乖離)조건을 만족하는 경우에서, 다른 패널티값이 정해져 있다. 구체적으로는, 전자에 대해서는, 제1의 패널티값(893)으로서 「P1-α」가, 제2의 패널티값(895)으로서 「P2-α」가 각각 정해져 있다. 또한, 후자에 대해서는, 제1의 패널티값(893)으로서 「P1+α」가, 제2의 패널티값(895)으로서 「P2+α」가 각각 정해져 있다. 「α」의 값은 적절하게 설정 가능하고, 예컨대 「α=1」이다.
2-1. 제1 실시예
2-1-1. 처리의 흐름
도 4 및 도 5는, 처리부(10)가 기억부(80)에 기억되어 있는 화상처리 프로그램(81)에 따라서 실행하는 화상처리의 흐름을 나타내는 플로우차트이다. 이 화상처리는, 스마트폰(1)의 카메라기능이 유저에 의해 선택된 경우에 실행을 개시하는 처리이다.
본 실시예에서는, 화상처리로서, 「촬영모드」로서, 예컨대 초점거리를 변경하여 촬상된 복수의 촬영화상을 입력화상으로서 이용하여 깊이 맵이나 전(全) 초점화상, 강조화상, 수정 강조화상의 생성·표시를 행하는 것에 주안점을 둔 처리를 도시·설명한다. 단, 종래의 스마트폰에 구비되어 있는 카메라기능과 같이, 초점거리를 변경하지 않고 팬 포커스인 화상을 촬상하여 표시하는 「통상 촬영모드」에서의 촬상을 행하는 것도 당연히 가능하지만, 이에 대한 처리에 대해서는 도시·설명을 생략한다.
맨 처음에, 처리부(10)는, 유저에 의해 입력부(20)를 통하여 선택된 모드를 판정한다(스텝 A1). 선택된 모드가 「촬영모드」인 경우는(스텝 A1; 촬영모드), 처리부(10)는, 유저의 셔터조작에 따라서, 동일 씬에 대해서 초점거리를 변경하여 복수 매의 화상의 촬상을 촬상부(50)에 행하게 하도록 제어한다(스텝 A3). 예컨대, 유저에 의한 1회의 셔터조작에 수반하여, 어떤 씬을 대상으로 한 하나의 화상데이터 세트(83)가 취득되는 것으로 한다.
그 후, 입력화상 축소부(101)가, 소정의 축소방법을 이용하여 복수의 입력화상을 각각 축소하는 입력화상 축소처리를 행한다(스텝 A5). 이 경우, 가능한 한 원래의 입력화상의 화상정보를 잃어버리지 않도록, 예컨대 가로 세로를 1/2n (n는 1 이상의 정수)로 축소한다. 입력화상의 축소는, 다운 샘플링 등의 공지의 수법에 의해서 실현할 수 있다. 축소 입력화상은, 축소 대상이 된 원래의 입력화상에 대응시켜서 기억된다.
그 후, 위치맞춤부(103)가, 기억부(80)에 기억된 복수의 축소 입력화상의 위치맞춤 처리를 행한다(스텝 A7).
유저에 의한 촬영이 스마트폰(1)을 고정한 상태 등의 안정된 상태에서의 촬영이 아니라, 촬영자가 손으로 든 상태로 행해진 경우, 입력화상 사이에서 위치 어긋남이 발생할 가능성이 높다. 위치 어긋남이 있으면, 포커싱·비포커싱으로서 출력하는 화소의 위치가 어긋나 버리고, 그 결과, 잘못된 깊이정보를 포함하는 깊이 맵을 생성해 버릴 우려가 있다. 여기서, 축소 입력화상의 위치맞춤을 행한다. 위치맞춤 처리에는, 여러 가지의 수법을 적용할 수 있는데, 예컨대 옵티컬 플로우를 이용한 공지의 위치맞춤 수법을 적용할 수 있다. 이 수법에는, 블록 매칭법이나 구배법 등의 수법이 포함된다.
다음에, 콘트라스트 보정부(105)가, 콘트라스트 보정처리를 행한다(스텝 A9). 후술하는 엣지검출처리에 있어서 엣지를 검출할 때에, 촬영 씬에 강한 광이 존재하는 것에 기인하여, 입력화상 사이에서 엣지가 어긋난다고 하는 문제가 있다. 여기서, 입력화상의 휘도에 대해서, 소정의 콘트라스트 보정의 연산식에 따르는 콘트라스트 보정을 행한다. 이 경우, 화상 전체에 콘트라스트 보정을 실시함으로써 해도 좋고, 화상 중의 일부분에 콘트라스트 보정을 실시함으로써 해도 좋다.
화상 중의 일부분에 콘트라스트 보정을 실시하는 경우에 있어서는, 하이라이트 클리핑(highlights clipping; blown out highlights)의 발생을 고려할 필요가 있다. 하이라이트 클리핑이란, 강한 광이 조사되고 있는 영역에 있어서 노출 오버가 발생하고, 해조(諧調)의 정보를 잃어버리게 되어 새하얗게 되어 버리는 것을 의미한다. 하이라이트 클리핑되어 있는 영역(이하, 「하이라이트 클리핑영역」이라 함)에서는, 해조가 전체적으로 둔해져 버리는 경우가 있어서, 엣지를 검출할 때에, 적절한 엣지가 검출되지 않게 될 우려가 있다.
여기서, 공지의 수법을 이용하여 하이라이트 클리핑영역을 검출하고, 상기 하이라이트 클리핑영역에 대해서, 바람직하게는 상기 하이라이트 클리핑영역을 포함하는 한 둘레 더 큰 영역에 대해서 국소적으로 콘트라스트를 낮추는 처리를 행한다. 이 처리에 의해, 뒷단의 엣지검출처리에서 하이라이트 클리핑영역의 경계에서 잘못된 위치에서의 엣지를 검출하지 않도록 할 수 있어서, 후술하는 심도추정 및 깊이 맵 생성에 있어서 엣지의 어긋남의 영향을 저감할 수 있다.
또한, 상기의 하이라이트 클리핑은, 복수의 노출로 동일 화상을 촬상하고, 1매의 화상으로 합성하는 HDR을 적용함에 의해서도 회피할 수 있다. 본원 출원인은, 노출변환 함수를 이용하여 하이라이트 클리핑을 회피하는 수법을 고안하고 있다. 자세한 것은, 국제공개 제2013/054446호 명세서에서 개시하고 있는데, 「y = a·xb」로 나타내는 노출변환 함수를 정의하고, 저노출의 입력화상의 화소값의 샘플 데이터를 이용한 최소이승법 등의 수법을 이용하여, 노출변환 함수에 포함되는(a, b)의 노출변환 파라미터의 값을 추정함으로써, 노출변환 함수를 구한다. 그리고, 구한 노출변환 함수를 이용하여 대상 화상의 해조값을 수정함으로써, 해조값의 둔함이 해소된 대상 화상을 생성한다. 이와 같이 하여 생성한 대상 화상에 대해서 엣지검출을 행함으로써, 후술하는 심도추정 및 깊이 맵 생성에 있어서 엣지의 어긋남의 영향을 저감할 수 있다.
다음으로, 엣지검출부(107)가, 콘트라스트 보정처리에서 얻어진 복수의 축소 입력화상 각각에 대응하는 콘트라스트 보정화상에 대해서 엣지검출처리를 행한다(스텝 A11). 본 실시예에서는, 입력화상의 특징으로서, 콘트라스트 보정화상 속의 엣지를 검출한다. 구체적으로는, 예컨대, 엣지검출처리로서, 라플라스 필터를 이용한 엣지검출을 행한다. 다만, 라플라스 필터를 이용하는 것이 아니라, 이외에도 Sobel 필터나 Roberts 필터, Forsen 필터, 레인지 필터 등의 엣지검출용의 필터를 이용해도 좋다. 또한, 콘트라스트 보정화상을 푸리에변환에 의해서 주파수영역으로 변환하고, 저주파성분을 제거함으로써, 고주파성분인 엣지를 검출하는 것으로 해도 좋다.
다음으로, 초점분리 판정부(109)가, 기억부(80)에 기억되어 있는 초점분리 판정 프로그램(811)에 따라서 초점분리 판정처리를 행한다(스텝 A13).
도 6은, 초점분리 판정처리의 흐름을 나타내는 플로우차트이다.
우선, 초점분리 판정부(109)는, 엣지화상간의 상관값을 산출한다(스텝 B1). 상관값은, 2개의 엣지화상을 구성하는 모든 화소에 대해서, 모든 화소끼리의 컨벌루션(convolution) 연산을 행하는 상관연산을 행함으로써 산출할 수 있다. 그리고, 초점분리 판정부(109)는, 각 엣지화상에 대해서, 엣지강도가 소정의 임계값 강도를 초과하는 화소수를 산출한다(스텝 B3).
그 후, 초점분리 판정부(109)는, 소정의 초점분리 조건을 만족하는 엣지화상을 판정한다(스텝 B5). 초점분리 조건은, 예컨대, 스텝 B1에서 산출한 상관값이 제1의 임계값에 도달하지 않고(제1의 임계값 조건), 또한, 스텝 B3에서 산출한 화소수가 제2의 임계값에 도달하고 있는(제2의 임계값 조건) 것으로서 정해 둘 수 있다. 즉, 상관값이 소정의 낮은 임계값 조건을 만족하고, 또한, 화소수가 소정의 높은 임계값을 만족하는 것을, 초점분리 조건으로서 정해 둔다.
다만, 엣지강도가 소정의 임계값 강도를 초과하는 화소수 대신에, 엣지강도가 소정의 임계값 강도를 초과하는 화소의 비율을 산출함으로써 해도 좋다. 이 경우는, 상관값이 제1의 임계값에 도달하지 않고(제1의 임계값 조건), 또한, 엣지강도가 소정의 임계값 강도를 초과하는 화소의 비율이 소정의 임계값에 도달하고 있는(제2의 임계값 조건) 것을 초점분리 조건으로서 정함으로써 하면 좋다. 즉, 상관값이 소정의 낮은 임계값 조건을 만족하고, 또한, 화소의 비율이 소정의 높은 임계값을 만족하는 것을, 초점분리 조건으로서 정해 두는 것으로 해도 좋다.
다음으로, 초점분리 판정부(109)는, 초점분리 조건을 만족한다고 판정한 엣지화상에 대응하는 입력화상을 심도추정에 이용할 입력화상으로 결정한다(스텝 B7). 그리고, 초점분리 판정부(109)는, 초점분리 조건을 만족하지 않는 입력화상을 소거한 후(스텝 B9), 초점분리 판정처리를 종료한다.
다만, 상기에 있어서, 초점분리 조건을 만족하지 않는 입력화상이 존재한 경우에 에러통지를 행하는 것으로 하여, 유저에게 다시 촬영을 재촉하도록 해도 좋다. 즉, 촬상부(50)에 초점거리를 변경하여, 동일 씬의 촬상을 다시 행하도록 해도 좋다.
도 4로 돌아와서, 초점분리 판정처리를 행한 후, 심도추정부(111)가, 기억부(80)에 기억되어 있는 심도추정 프로그램(813)에 따라서 심도추정처리를 행한다(스텝 A15).
도 7은, 심도추정처리의 흐름을 나타내는 플로우차트이다.
심도추정부(111)는, 축소 입력화상을 구성하는 각 라인에 대해서 루프 A의 처리를 행한다(스텝 C1 ~ C9). 루프 A의 처리에서는, 심도추정부(111)는, 상기 라인에 포함되는 화소에 대해서 에너지함수에 근거하는 적절해 연산처리를 실행한다(스텝 C3).
적절해 연산처리에서는, 복수의 입력화상별의 스코어값을, 상기 입력화상을 구성하는 화소에 대해서 연산하는 스코어값 연산처리를 실행한다. 구체적으로는, 에너지함수에 근거하여, 입력화상을 구성하는 화소별의 스코어값을 산출한다. 스코어값은, 대상화소에 대해서, 상기 대상화소의 대응하는 심도의 입력화상의 엣지강도에 대응하여 정해지는 코스트값과, 상기 대상화소에 대해서 포커싱되어 있다고 하는 제1의 입력화상과 상기 대상화소의 근방화소에 대해서 포커싱되어 있다고 하는 제2의 입력화상이 다른 경우의 패널티로서 정해지는 패널티값을 이용하여, 입력화상별의 스코어값을 연산한다. 그리고, 연산한 스코어값이 소정의 높은값 조건을 만족하는 입력화상을 포커싱되어 있는 입력화상으로 추정한다.
본 실시형태에서 이용하는 에너지함수에 대해서 설명한다.
본원발명자의 발견에 의하면, 엣지화상으로부터 구해지는 엣지의 강도(엣지강도)는, 그 초점거리에 있어서의 포커싱 정도와 상관이 있다. 그리고, 복수의 입력화상 중, 그 화소에 있어서 엣지가 가장 강한 입력화상이, 그 화소에 있어서의 가장 포커싱된 입력화상으로 말할 수 있다고 생각된다. 이 논리로부터, 엣지정보에 근거하여, 각 화소에 있어서의 깊이 적절해를 도출하고, 그 집합인 깊이 맵을 생성한다. 엣지화상으로부터 깊이 맵을 생성하는 것에 있어서는, 예컨대 다음 식 (1)에 나타내는 에너지함수를 이용한다.
Figure 112014104667801-pat00001
식 (1)에 있어서, 「p」 및 「q」는 화소(화소의 좌표값)이며, 「Np」는 화소 p의 근방의 소정범위를 나타낸다. 화소 q는, 화소 p의 근방의 소정범위 Np에 포함되는 화소이며, 화소 p의 근방화소이다.
「Rx」는 화소 x에 있어서의 심도이며, 예컨대 입력화상의 화상번호(833b)와 1대1로 대응한다. 화상번호(833b)는, 상술한 바와 같이, 소정의 룰(예컨대, 촬영시각이 나중이 될수록 초점거리가 길어지는 또는 짧아지는 룰)에 근거하여 1에서 차례로 할당된다. 이 경우, 화상번호(833b)는 초점거리의 오름차순 또는 내림차순으로 되어 있기 때문에, 입력화상의 깊이를 나타내고 있다고 말할 수 있다.
「C(p, Rx)」는 심도 Rx에 있어서의 화소 p의 코스트값이며, 이 코스트값은, 엣지강도의 역수(逆數)로서 산출된다. 즉, 엣지강도가 강할수록 코스트값은 작아진다. T[ ]는 괄호내의 조건이 만족되는 경우에 「1」, 만족되지 않는 경우에 「0」을 취하는 함수이다.
「P(p)」는 화소 p에 있어서의 패널티값이다. 「P1」는 심도가 1 변경된 경우의 패널티값인 제1의 패널티값이며, 「P2」는 심도가 2 이상 변경된 경우의 패널티값인 제2의 패널티값이다. 이 제1의 패널티값 및 제2의 패널티값은, 패널티값 테이블(89)의 「통상시」에 정해진 패널티값이다. 상술한 바와 같이, 「P1 < P2」이다.
식 (1)의 에너지함수는, 대상화소 p에 대해서, 복수의 입력화상 중 가장 포커싱된 입력화상의 정보를 가능한 한 선택하면서, 대상화소 p의 근방화소 q에 대해서는 가능한 한 초점이 가까운 입력화상이 선택되도록, 각 화소에 대하여, 복수의 입력화상 중 어느 입력화상의 화소값을 이용하면 좋은지를 선택하기 위한 적절해를 도출하는 것이다. 적절해인 경우에는 이 에너지함수의 값인 스코어값은 최대값을 취한다. 또한, 이 에너지함수의 내부에 있어서는, 엣지화상에 있어서의 화소값(휘도값)에 대응하여 그 스코어값이 결정되고, 최대의 화소값을 취하는 입력화상을 순차 선택해 나가면 에너지함수의 출력이 최대가 되도록 설계되어 있다. 이를 나타내고 있는 것이 식 (1)의 우변 제1항의 코스트값이다.
한편으로, 대상화소 p의 근방화소 q에 있어서 선택하는 입력화상을 변화시키는 경우는, 패널티값이 과해지는, 즉 소정의 값을 빼는 설정으로 되어 있다. 이를 나타내고 있는 것이, 식 (1)의 우변 제2항 및 제3항의 패널티항이다. 구체적으로는, 대상화소 p에 대해서 포커싱되어 있다고 하는 제1의 입력화상과 근방화소 q에 대해서 포커싱되어 있다고 하는 제2의 입력화상이 다른 경우에는, 소정의 패널티값(제1의 패널티값 및 제2의 패널티값)을 스코어값으로부터 감산한다.
또한, 상기와 같이, 제2의 패널티값이 제1의 패널티값보다도 큰 값이 정해져 있다(P1 < P2). 이는, 대상화소 p에 대해서 추정되는 심도 「Rp」과, 근방화소 q에 대해서 추정되는 심도 「Rq」의 차가 클수록, 보다 큰 패널티값을 스코어값으로부터 감산하는 것을 의미한다.
이상으로부터, 식 (1)의 에너지함수는, 가능한 한 최대의 화소값을 취하는 입력화상을 선택하면서, 근방의 화소에서는 가능한 한 입력화상을 변화시키지 않도록 하기 위하여, 억제가 가해지도록 구성되어 있다. 코스트값을 이용함으로써, 각 화소에 대해서 엣지가 강한 입력화상이 포커싱되어 있는 입력화상으로서 선택되기 쉬워지도록 하여, 엣지의 강도를 반영한 깊이 맵을 얻을 수 있다. 또한, 패널티값을 이용함으로써, 추정되는 심도에 요철이 생기지 않도록 제약하고, 매끄럽게 심도가 변화하는 평활적으로 된 깊이 맵을 얻을 수 있다.
다만, 촬상부(50)가 촬상한 입력화상은, 원칙적으로 초점거리를 변경하여 촬상된 다른 촬영화상이지만, 동일한 초점거리의 화상이 입력화상 중에 포함되어 있어도 문제는 없다. 이 경우, 동일한 초점거리의 입력화상에 대해서는, 패널티값을 「0」으로 하여 상기의 적절해 연산처리를 행하면 좋다.
본 실시형태에서는, 상기의 적절해 연산처리에 있어서의 스코어값의 연산을 용이화하기 위해서, 식 (1)의 에너지함수를 일차원화하고, 입력화상을 구성하는 라인마다, 스코어값을 연산하여, 깊이 적절해를 산출한다. 식 (1)을 일차원화하면, 다음 식 (2)와 같이 된다.
Figure 112014104667801-pat00002
식 (2)에 있어서, 「Lr」는 라인 r에 있어서의 패널티 함수이다. 「Lr(p, d)」는, 라인 r에 있어서의 화소 p에 있어서의 코스트값이다. 또한, 「C(p, r)」는, 화소 p에 있어서 심도가 r인 경우의 코스트값이다.
스텝 C3에서는, 식 (2)의 에너지함수에 근거하여 스코어값 산출처리를 실행하고, 상기 라인을 구성하는 화소 각각에 대해서 스코어값을 산출한다. 그리고, 심도추정부(111)는, 상기 라인에 포함되는 화소 각각에 대해서, 상기 화소 x에 대해서 스코어값이 최대가 된 심도 Rx를 판정한다(스텝 C5). 그리고, 심도추정부(111)는, 판정한 심도 Rx에 대응하는 화상번호(833b)의 입력화상을 상기 화소 x에 있어서의 포커싱되어 있는 입력화상으로 판정한 후(스텝 C7), 다음의 라인으로 처리를 이행한다.
입력화상을 구성하는 모든 라인에 대해서 스텝 C3 ~ C7의 처리를 행했다면, 심도추정부(111)는, 루프 A의 처리를 종료하고(스텝 C9), 심도추정처리를 종료한다.
도 4의 화상처리로 돌아와서, 심도추정처리를 행했다면, 깊이 맵 생성부(113)가, 축소 깊이 맵 생성처리를 행한다(스텝 A17). 구체적으로는, 심도추정처리의 결과에 근거하여, 축소 입력화상을 구성하는 각 화소에 대해서 추정된 심도에 대응한 비트값을 할당한 맵을 생성하고, 이를 축소 깊이 맵이라 한다. 다만, 생성하는 축소 깊이 맵은, 심도추정처리에서 이용한 입력화상의 수에 대응하여 비트수를 설정하면 좋다. 예컨대, 입력화상이 3 ~ 4매이면 2비트, 5 ~ 8매이면 3비트로 깊이 맵을 표현하면 좋다. 생성된 축소 깊이 맵은, 기억부(80)의 화상데이터 세트(83)에 복수의 입력화상과 대응시켜서 기억된다.
다음으로, 깊이 맵 복원부(115)가, 축소 깊이 맵 복원처리를 행한다(스텝 A19). 구체적으로는, 축소 깊이 맵을 소정의 복원방법을 이용하여 원래의 크기로 확대하고, 이를 복원 깊이 맵이라 한다.
다음으로, 깊이 맵 수정부(117)가, 깊이 맵 수정처리를 행한다(스텝 A21). 구체적으로는, 깊이 맵 수정부(117)는, 복수의 입력화상 중에서 선택한 하나의 입력화상을 수정용 화상으로서 이용하여 복원 깊이 맵을 수정한다. 이 경우는, 예컨대, 복수의 입력화상 중, 초점거리가 중간값에 가장 가까운 입력화상을 수정용 화상으로 하여 선택할 수 있다.
다만, 복수의 입력화상 중에서 선택한 2 이상의 입력화상을 합성한 합성화상을 수정용 화상으로서 이용하는 것으로 해도 좋다.
깊이 맵의 수정은, 수정용 화상의 화소값을 이용한 가중평균화 처리를 행함으로써 실현할 수 있다. 이 가중평균화 처리는, 다음 식 (3)으로 주어진다.
Figure 112014104667801-pat00003
식 (3)에 있어서, 「p」는 수정 대상화소이며, 「q」는 수정 대상화소의 근방에 위치하는 근방화소이다. 「G(p, q)」는 수정 대상화소 p와 근방화소 q의 사이의 거리가 가까울수록 값이 커지는 함수이며, 예컨대 가우스 함수로 주어진다. 또한, 「I(p)」는 수정용 화상의 수정 대상화소 p에 있어서의 휘도값이며, 「I(q)」는 수정용 화상의 근방화소 q에 있어서의 휘도값이다. 그리고, 「W(I(p), I(q))」는, 휘도값 「I(p)」와 「I(q)」가 가까운 값일수록 값이 커지는 함수이다. 「D(q)」는 깊이 맵에 있어서의 근방화소 q에 있어서의 값이며, 「D＇(p)」는 가중평균화로 얻어지는 깊이 맵의 수정 대상화소 p에 있어서의 수정값을 나타낸다. 이와 같이 하여 얻어진 수정 깊이 맵을, 이후의 처리에 있어서 깊이 맵으로서 이용한다.
여기서, 식 (3)의 가중평균화 처리의 처리부하를 경감하기 위하여, 상세한 원리 설명은 생략하지만, 양자화(量子化) 코드를 이용하여 다음 식 (4)에 따라서 가중평균화 처리를 행하도록 해도 좋다.
Figure 112014104667801-pat00004
다음으로, 전(全) 초점화상 생성부(119)가, 전 초점화상 생성처리를 행한다(스텝 A23). 구체적으로는, 스텝 A21에서 수정된 깊이 맵에 근거하여, 복수의 입력화상 중에서 선택해야 할 화소값을 추출하고, 모든 화소에 있어서 포커싱도가 높은 입력화상의 화소값으로 구성되는 전 초점화상을 생성한다. 생성된 전 초점화상 데이터(837)는, 기억부(80)의 화상데이터 세트(83)에 입력화상 데이터(833) 및 축소 깊이 맵(835)과 대응시켜서 기억된다.
도 5로 이동하여, 표시제어부(127)는, 전 초점화상을 표시부(30)에 표시시키도록 제어한다(스텝 A25). 그 후, 처리부(10)는, 유저에 의해서 입력부(20)를 통하여 「강조화상 생성모드」가 선택되었는지 아닌지를 판정하고(스텝 A27), 선택되었다고 판정했다면(스텝 A27; Yes), 강조화상 생성부(123)가, 기억부(80)에 기억되어 있는 강조화상 생성 프로그램(815)에 따라서 강조화상 생성처리를 행한다(스텝 A29).
도 8은, 강조화상 생성처리의 흐름을 나타내는 플로우차트이다.
강조화상 생성부(123)는, 유저 조작에 따라서 지정영역을 판정한다(스텝 D1). 구체적으로는, 터치패널(21) 중 탭 된 영역을 인식하고, 탭 된 영역을 지정영역으로 판정한다. 그 후, 강조화상 생성부(123)는, 지정영역 중에서 대표화소를 선택한다(스텝 D3).
유저의 손가락에 의해서 탭 되는 개소는 면적이 있기 때문에, 대응하는 좌표는 하나로 한정되지 않고, 복수의 좌표에 걸쳐지는 것이 된다. 이로 인하여, 복수의 화소값이 추출되게 되고, 강조하고 싶은(포커싱을 유지하는) 초점거리를 일의적으로 결정할 수 없다. 이로 인하여, 본 실시예에서는, 추출된 복수의 화소값으로 이루어지는 지정영역 중에서 하나의 화소를 대표화소로서 선택한다.
이 경우에 있어서의 대표화소의 선택방법으로서는, 예컨대, (1) 지정영역의 중심위치에 가장 가까운 화소, (2) 지정영역에 포함되는 화소 중 깊이 맵에 있어서 가장 심도가 깊은 또는 얕은 화소에 대응하는 심도, (3) 지정영역에 포함되는 화소의 화소값의 평균값에 화소값이 가장 가까운 화소, 중 어느 일방의 화소를 대표화소로서 선택하도록 할 수 있다.
그 후, 강조화상 생성부(123)는, 깊이 맵에 근거하여 대표화소의 심도를 선택한다(스텝 D5). 즉, 대표화소로서 선택한 화소가 깊이 맵에 있어서 어느 쪽의 심도에 대응시킬 수 있는지를 판정하고, 판정한 심도를 선택한다.
다만, 대표화소를 선택하여 그 대표화소의 심도를 선택하도록 하는 것이 아니라, 대표화소의 선택을 행하지 않고, 깊이 맵을 이용하여 하나의 심도를 선택하도록 하는 것도 가능하다. 구체적으로는, 스텝 D3를 생략하여, 스텝 D5에 있어서, 예컨대, (4) 지정영역 중 깊이 맵 상에 있어서 대응하는 심도의 화소가 차지하는 면적이 가장 큰 심도를 선택하도록 해도 좋다.
다음에, 강조화상 생성부(123)는, 깊이 맵에 근거하여, 스텝 D5에서 선택된 심도에 대응하는 화소를 특정한다(스텝 D7). 즉, 깊이 맵의 각 화소의 심도를 나타내는 비트값에 근거하여, 스텝 D5에서 판정된 심도의 화소가 어느 화소에 상당하는지를 판정한다.
그 후, 강조화상 생성부(123)는, 강조화상을 생성한다(스텝 D9). 구체적으로는, 셰이딩 필터를 이용하여, 소정의 셰이딩 정도로 전 초점화상의 전체를 셰이딩하는 처리를 행한다. 이 경우의 셰이딩 필터로서는, 예컨대, 가우시안 필터 등의 공지의 필터를 적용할 수 있다. 그리고, 셰이딩 처리의 결과로서 얻어지는 셰이딩 화상에, 스텝 D7에서 특정한 화소의 화소값을 합성하고, 그 처리결과를 강조화상(합성화상)으로 한다. 그리고, 표시제어부(127)는, 생성한 강조화상으로 표시부(30)의 표시를 갱신한다(스텝 D11).
전 초점화상에 대하여 일정하게 셰이딩 필터를 적용한 것에 강조해야 할 초점거리에 있는 화소를 합성한 경우, 포커싱과 비포커싱의 경계부근에 있어서 윤곽같은 부자연스러운 화소값이 되어 버리는 영역이 발생하는 현상이 생길 수 있다. 이 현상은, 촬영 씬 중의 물체의 경계부근에 있어서는, 강조 표시해야 할 초점거리가 아닌 화소임에도 불구하고, 강조 표시해야 할 초점거리에 있는 화소의 영향을 받게 되는 것으로부터 발생하는 것에 의한다. 이 현상을 회피하기 위해서, 강조 표시해야 할 화소가 아닌 부분에 가중치 부여를 하여 전 초점화상에 셰이딩 필터를 걸어서, 합성을 행한다. 구체적으로는, 전 초점화상 중, 스텝 D7에서 특정된 화소 이외의 화상부분에 대해서 셰이딩 정도를 상기의 소정의 셰이딩 정도보다 크게 하여 셰이딩 처리를 행한다.
다만, 상기 대신에, 스텝 D7에서 특정된 화소에 대해서는 셰이딩 정도를 상기의 소정의 셰이딩 정도보다 작게 하여 셰이딩 처리를 행함으로써 해도 좋다.
다음으로, 강조화상 생성부(123)는, 계속하여 유저 조작이 있었는지 아닌지를 판정한다(스텝 D13). 계속하여 유저 조작이 있었다고 판정했다면(스텝 D13; Yes), 강조화상 생성부(123)는, 스텝 D1로 처리를 되돌린다. 이는, 유저가 전혀 다른 위치를 탭 한 경우 외에, 유저가 한 번 탭 한 위치로부터 드래그 조작을 행한 경우도 포함한다. 즉, 유저에 의해 드래그 조작이 이루어진 경우는, 드래그 조작에 의해 지정영역이 순차 변화하는 것에 따라서 대표화소를 동적으로 선택하고, 깊이 맵에 근거하여 대표화소의 심도를 동적으로 판정한다. 그리고, 강조화상 생성부(123)는, 드래그 조작에 의해 지정영역이 변화하는 것에 따라서 동적으로 판정되는 심도에 근거하여, 상기 대표화소에 대응한 합성화상을 동적으로 생성하고, 표시제어부(129)가, 동적으로 생성되는 합성화상을 드래그 조작에 맞춰서 표시부(30)에 동적으로 표시시키는 제어를 행한다.
스텝 D13에 있어서 계속하여 유저 조작이 없었다고 판정했다면(스텝 D13; No), 강조화상 생성부(123)는, 유저 조작에 따라서 강조화상 생성모드를 종료할지 아닐지를 판정하고(스텝 D15), 종료하지 않는다고 판정한 경우는(스텝 D15; No), 스텝 D13로 처리를 되돌린다. 한편, 종료한다고 판정한 경우는(스텝 D15; Yes), 강조화상 생성처리를 종료한다.
도 5로 돌아와서, 강조화상 생성처리를 행한 후, 처리부(10)는, 강조화상이 표시부(30)에 표시중인지 아닌지를 판정하고(스텝 A31), 표시중이라고 판정했다면(스텝 A31; Yes), 유저에 의해서 입력부(20)를 통하여 「강조화상 수정모드」가 선택되었는지 아닌지를 판정한다(스텝 A33). 그리고, 선택되었다고 판정했다면(스텝 A33; Yes), 강조화상 수정부(125)가, 기억부(80)에 기억되어 있는 강조화상 수정 프로그램(817)에 따라서 강조화상 수정처리를 행한다(스텝 A35).
도 9는, 강조화상 수정처리의 흐름을 나타내는 플로우차트이다.
강조화상 수정부(125)는, 터치패널(21)을 통하여 유저에 의해 드래그된 영역을 지정영역으로 한다(스텝 E1). 그리고, 강조화상 수정부(125)는, 지정영역 중에서 대표화소를 선택한다(스텝 E3). 대표화소는, 도 8의 강조화상 생성처리의 스텝 D3에서 대표화소를 선택할 때와 동일한 수법으로 선택할 수 있다.
다음으로, 강조화상 수정부(125)는, 깊이 맵에 근거하여 대표화소의 심도를 선택한다(스텝 E5). 즉, 대표화소로서 선택한 화소가 깊이 맵에 있어서 어느 쪽의 심도에 대응시킬 수 있는지를 판정하고, 판정한 심도를 선택한다.
그 후, 강조화상 수정부(125)는, 유저에 의한 드래그방향과, 스텝 E5에서 선택한 심도의 입력화상 중의 지정영역에 포함되는 엣지의 방향과의 상대관계를 나타내는 지표값으로서 코사인 유사도를 산출한다(스텝 E6). 코사인 유사도는, 벡터 공간모델에 있어서의 유사도 계산수법의 하나이며, 벡터끼리가 이루는 각도와 가까움을 표현하는 지표값이다. 코사인 유사도는, 「1」에 가까우면 벡터끼리가 유사하고, 「0」에 가까우면 벡터끼리는 유사하지 않은 것을 의미한다. 다만, 코사인 유사도 대신에, 드래그방향과 엣지방향과의 코사인 거리를 산출하도록 해도 좋다.
강조화상 수정부(125)는, 스텝 E6에서 산출한 코사인 유사도에 근거하여, 지정영역 내의 화소에 대한 패널티값을 설정한다. 구체적으로는, 코사인 유사도가 소정의 임계값(예컨대 0.7)을 넘고 있는 경우에는, 드래그방향과 엣지방향이 근사조건을 만족하는 것으로 하여, 패널티값 테이블(89)에 정해진 패널티값(제1의 패널티값을 「P1-α」, 제2의 패널티값을 「P2-α」)를 설정한다. 또한, 코사인 유사도가 임계값 이하인 경우에는, 드래그방향과 엣지방향이 괴리조건을 만족하는 것으로 하여, 패널티값 테이블(89)에 정해진 패널티값(제1의 패널티값을 「P1+α」, 제2의 패널티값을 「P2+α」)를 설정한다.
그 결과, 드래그방향과 엣지방향이 근사조건을 만족하는 경우(예컨대, 드래그방향과 엣지방향이 평행한 경우)에는, 패널티값이 통상시와 비교해서 작아지기 때문에, 대상화소와 상기 대상화소의 근방의 화소의 심도차에 대한 패널티가 약해진다. 그 결과, 지정영역에 포함되는 화소에 대해서, 포커싱되어 있는 것으로 하여 선택하는 입력화상의 허용도가 커지고, 보다 넓은 깊이의 폭으로 입력화상이 선택될 가능성이 높아지기 때문에, 엣지 부분을 상대적으로 강하게 하는(강조하는) 작용이 생긴다.
한편, 드래그방향과 엣지방향이 괴리조건을 만족하는 경우(예컨대, 드래그방향과 엣지방향이 직교하는 경우)에는, 패널티값이 통상시와 비교해서 커지기 때문에, 대상화소와 상기 대상화소의 근방의 화소의 심도차에 대한 패널티가 강해진다. 그 결과, 지정영역에 포함되는 화소에 대해서, 포커싱되어 있는 것으로 하여 선택하는 입력화상에 대한 허용도가 작아지고, 입력화상을 선택하는 깊이의 폭에 강한 제약이 걸리는 것으로, 엣지 부분을 상대적으로 약하게 하는(소거하는) 작용이 생긴다.
다만, 상기에서는, 드래그방향과 엣지방향이 근사조건을 만족하는 경우에, 패널티값을 통상시와 비교해서 작게 했지만, 이에 비하여, 드래그방향과 엣지방향이 근사조건을 만족하는 경우에, 패널티값을 통상시와 동일한 값으로 하는 것으로 해도 좋다. 이 경우는, 통상시에 생성된 깊이 맵이 보존되고, 드래그방향과 근사하는 엣지정보가 보존되게 된다.
다음으로, 강조화상 수정부(125)는, 지정영역 내의 화소에 대해서 식 (1)의 에너지함수에 근거하는 스코어값 산출처리를 실행한다(스텝 E9). 그리고, 강조화상 수정부(125)는, 지정영역 내의 화소에 대해서 스코어값이 최대가 된 입력화상을 포커싱되어 있는 입력화상으로 판정한다(스텝 E11).
그 후, 강조화상 수정부(125)는, 수정 깊이 맵 생성처리를 행한다(스텝 E13). 구체적으로는, 스텝 E11의 판정결과에 근거하여, 입력화상을 구성하는 각 화소에 대해서 포커싱되어 있다고 판정된 입력화상에 대응한 비트값을 할당한 깊이 맵을 생성하고, 이를 수정 깊이 맵이라 한다.
그 후, 강조화상 수정부(125)는, 수정 강조화상 생성처리를 행한다(스텝 E15). 구체적으로는, 스텝 E13에서 생성된 수정 깊이 맵을 이용하여, 지정영역의 화소값을 수정한 강조화상을 생성한다.
다음으로, 강조화상 수정부(125)는, 유저에 의해 계속하여 드래그 조작이 이루어졌는지 아닌지를 판정하고(스텝 E17), 이루어졌다고 판정했다면(스텝 E17; Yes), 스텝 E1로 처리를 되돌린다. 한편, 이루어지지 않았다고 판정했다면(스텝 E17; No), 강조화상 수정부(125)는, 유저에 의해 강조화상 수정모드를 종료하는 조작이 이루어졌는지 아닌지를 판정한다(스텝 E19).
강조화상 수정모드를 종료하는 조작이 이루어지지 않았다고 판정했다면(스텝 E19; No), 강조화상 수정부(125)는, 스텝 E17로 처리를 되돌린다. 한편, 강조화상 수정모드를 종료하는 조작이 이루어졌다고 판정한 경우는(스텝 E19; Yes), 강조화상 수정처리를 종료한다.
도 5로 돌아와서, 강조화상 수정처리를 행했다면, 처리부(10)는, 입력부(20)를 통하여 유저에 의해 촬영모드 또는 화상열람모드가 선택되었는지 아닌지를 판정하고(스텝 A37), 선택되었다고 판정했다면(스텝 A37; Yes), 스텝 A1로 처리를 되돌린다. 한편, 선택되지 않았다고 판정했다면(스텝 A37; Yes), 처리부(10)는, 입력부(20)를 통하여 유저에 의해 카메라기능의 종료 조작이 이루어졌는지 아닌지를 판정한다(스텝 A39).
카메라기능의 종료 조작이 이루어지지 않았다고 판정했다면(스텝 A39; No), 처리부(10)는, 스텝 A27로 처리를 되돌린다. 한편, 카메라기능의 종료 조작이 이루어졌다고 판정했다면(스텝 A39; Yes), 처리부(10)는, 화상처리를 종료한다.
한편, 스텝 A1에 있어서 유저에 의해 「화상열람모드」가 선택되었다고 판정했다면(스텝 A1; 화상열람모드), 표시제어부(127)는, 기억부(80)의 화상데이터 세트(83)에 기억되어 있는 전 초점화상의 일람을 표시부(30)에 표시시키도록 제어한다(스텝 A41). 그리고, 처리부(10)는, 입력부(20)로부터의 유저 조작에 따라서, 일람표시시킨 전 초점화상 중에서 하나의 전 초점화상을 선택한다(스텝 A43).
다음으로, 처리부(10)는, 스텝 A43에서 선택한 전 초점화상에 대응시켜서 화상데이터 세트(83)에 기억되어 있는 축소 깊이 맵을 추출한다(스텝 A45). 그리고, 깊이 맵 복원부(115)가, 추출된 축소 깊이 맵을 복원하는 축소 깊이 맵 복원처리를 행한다(스텝 A47). 화상데이터 세트(83)에 기억된 축소 깊이 맵은, 축소되어 있는 것에 의해 그대로는 깊이 맵으로서 이용할 수 없기 때문에, 원래의 사이즈로 되돌리기 위하여 복원을 행한다.
여기서, 축소 깊이 맵을 복원하여 얻어진 복원 깊이 맵은, 그 복원에 의해, 전 초점화상에 있어서의 엣지 부분과의 어긋남이 생겨 버린다는 문제가 발생한다. 이 상태에서 상술한 강조화상 생성처리를 행하면, 강조 표시하고 싶은 피사체를 정확하게 반영할 수 없고, 배경의 일부를 포커싱 영역에 포함해 버리거나, 반대로 목적의 피사체의 일부를 비포커싱 영역으로 해버리거나 하게 된다. 따라서, 복원하여 얻어진 복원 깊이 맵 그대로는 깊이 맵으로서 이용하는 것은 부적절하다. 여기서, 깊이 맵 수정부(117)가, 복원 깊이 맵을 수정하는 복원 깊이 맵 수정처리를 행한다(스텝 A49).
구체적으로는, 깊이 맵 수정부(117)는, 스텝 A39에서 추출한 축소 깊이 맵에 대응시켜서 기억되어 있는 전 초점화상을 읽어내고, 이 전 초점화상을 수정용 화상으로서 이용한 가중평균화 처리를 행하여, 복원 깊이 맵을 수정한다. 이 경우의 가중평균화 처리는, 상술한 식 (3)과 동일한 식을 이용하여 실현할 수 있다.
이 경우, 식 (3)에 있어서, 「p」는 수정 대상화소이며, 「q」는 수정 대상화소의 근방에 위치하는 근방화소이다. 「G(p, q)」는 수정 대상화소 p와 근방화소 q의 사이의 거리가 가까울수록 값이 커지는 함수이며, 예컨대 가우스 함수로 주어진다. 또한, 「I(p)」는 전 초점화상의 수정 대상화소 p에 있어서의 휘도값이며, 「I(q)」는 전 초점화상의 근방화소 q에 있어서의 휘도값이다. 그리고, 「W(I(p), I(q))」는, 휘도값 「I(p)」와 「I(q)」가 가까운 값일수록 값이 커지는 함수이다. 「D(q)」는 깊이 맵에 있어서의 근방화소 q에 있어서의 값이며, 「D＇(p)」는 가중평균화로 얻어지는 깊이 맵의 수정 대상화소 p에 있어서의 수정값을 나타낸다. 이와 같이 하여 얻어진 수정 깊이 맵을, 이후의 처리에 있어서 깊이 맵으로서 이용한다.
다만, 전 초점화상을 수정용 화상으로서 이용하여 복원 깊이 맵을 수정하는 대신에, 복수의 입력화상 중에서 선택한 입력화상을 수정용 화상으로서 이용하여 복원 깊이 맵을 수정하는 것도 가능하다. 이 경우도, 예컨대, 복수의 입력화상 중, 초점거리가 중간값에 가장 가까운 입력화상을 수정용 화상으로서 선택할 수 있다. 또한, 복수의 입력화상 중에서 선택한 2 이상의 입력화상을 합성한 합성화상을 수정용 화상으로서 이용하여 복원 깊이 맵을 수정하는 것으로 해도 좋다.
스텝 A49에 있어서 복원 깊이 맵 수정처리를 행했다면, 처리부(10)는, 스텝 A25로 처리를 이행한다. 즉, 표시제어부(127)가, 스텝 A43에서 선택한 전 초점화상을 표시부(30)에 표시시키도록 제어한다. 이후의 처리는 동일하다.
2-1-2. 실험 결과
다음으로, 상기의 처리에 대해서, 실제로 화상을 이용하여 실험을 행한 결과를 나타낸다.
도 10은, 동일 씬에 대해서, 초점거리를 변경하여 촬상된 2매의 화상을 나타낸다.
도 10의 (1)은, 근경인 토끼의 인형 부분에 초점을 맞추어 촬상된 입력화상이며, 도 10의 (2)은, 배경인 나무 부분에 초점을 맞추어 촬상된 입력화상이다.
이들 입력화상에 대해서 위치맞춤 처리 및 콘트라스트 보정처리를 행하고, 그 후에 엣지검출처리를 행함으로써 얻어진 엣지화상이, 각각 도 10의 (3) 및 도 10의 (4)이다. 도 10의 (3)은, 도 10의 (1)의 입력화상에 대해서 엣지검출처리를 행함으로써 얻어진 엣지화상이며, 토끼의 인형 부분에 초점을 맞추고 촬상을 행했기 때문에, 토끼의 인형의 윤곽이 엣지로서 검출되고 있다. 이에 비하여, 도 10의 (4)는, 도 10의 (2)의 입력화상에 대해서 엣지검출처리를 행함으로써 얻어진 엣지화상이며, 배경의 나무 부분에 초점을 맞추고 촬상을 행했기 때문에, 배경인 나무의 부분의 엣지가 검출되고 있다.
도 11의 (1)은, 도 10의 (3), (4)에 나타낸 2매의 엣지화상을 이용하여 적절해 연산처리를 행하여 생성한 깊이 맵을 나타낸다. 입력화상이 2매이기 때문에, 1비트로 깊이 맵을 표현하고 있다. 이를 보면, 근경인 토끼의 인형의 부분과, 배경인 나무의 부분이 적절히 분리되어 있는 것을 알 수 있다.
도 11의 (2)은, 도 11의 (1)의 깊이 맵과 2매의 입력화상을 이용하여 생성한 전 초점화상을 나타낸다. 이를 보면, 근경인 토끼의 인형의 부분과, 배경인 나무의 부분과의 양쪽 모두가 포커싱된 상태의 전 초점화상이 생성되어 있는 것을 알 수 있다.
도 12의 (1)는, 깊이 맵 복원처리에서 복원된 깊이 맵을 나타내고 있고, 도 12의 (2)는, 깊이 맵 수정처리에서 생성된 수정 깊이 맵을 나타내고 있다. 이를 보면, 복원 깊이 맵을, 선택 입력화상을 이용하여 가중평균화 처리함으로써, 근경인 토끼의 인형 부분과, 배경인 나무의 부분과의 경계가 확실해진 수정 깊이 맵이 얻어지고 있는 것을 알 수 있다.
도 13은, 강조화상 생성처리에 있어서 강조화상을 생성한 결과를 나타내는 도이다. 도 13의 (1)은, 전 초점화상에 대해서 일정하게 셰이딩 처리를 실시한 결과를 나타내고, 도 13의 (2)는, 도 13의 (1)의 셰이딩 화상에 전경인 토끼의 인형 부분을 강조하기 위하여 합성한 결과를 나타낸다.
도 13의 (2)를 보면, 토끼의 인형의 주변에 윤곽같은 부자연스러운 표시가 된 영역이 발생하고 있다. 이 현상은, 토끼의 인형 부분과 배경의 나무의 부분과의 경계부근에 있어서는, 강조 표시해야 할 심도가 아닌 화소임에도 불구하고, 강조 표시해야 할 심도에 있는 화소의 영향을 받게 되는 것에 의한다. 여기서, 근경인 토끼의 인형의 부분에 대한 가중치를 작게 하여 전 초점화상에 셰이딩 처리를 행한 결과가 도 13의 (3)이다. 그리고, 이 도 13의 (3)의 셰이딩 화상에 전경인 토끼의 인형 부분을 강조하기 위하여 합성한 결과가, 도 13의 (4)이다. 이를 보면, 도 13의 (2)에서 볼 수 있는 토끼의 인형의 주변에 생기고 있던 윤곽같은 부자연스러운 표시가 해소되어 있는 것을 알 수 있다.
도 14의 (1)는, 강조화상 생성처리에 있어서 생성한 강조화상을 모식화하여 전경인 토끼의 인형 부분만을 도시한 것을 나타내고 있다. 토끼의 인형 부분이 유저에 의해 탭 됨으로써, 토끼의 인형 부분이 강조된 강조화상이 표시부(30)에 표시되어 있다. 이 도를 보면, 토끼의 오른쪽 귀의 일부가 내측으로 결손된 형상이 되고 있는 것을 알 수 있다. 이는, 도 12에 나타낸 깊이 맵에 있어서, 토끼의 인형의 오른쪽 귀의 부분에 있어서 적절히 심도가 추정되지 않고, 일부 정확하지 않은 깊이 맵이 생성되어 버린 것에 의한다.
상술의 에너지함수를 이용하여 포커싱도가 높은 입력화상을 선택하는 경우, 에너지함수에 있어서의 계수의 설정에 따라서는, 적절한 입력화상을 선택할 수 없는 경우가 있고, 그 결과, 표시된 화상 중에 대상의 초점거리에 있는 피사체 부분 이외의 화소가 셰이딩되지 않고 표시되어 버리는 경우가 있다.
여기서, 표시된 강조화상 중, 대상의 초점거리에 있는 피사체 부분 이외의 화소가 셰이딩되지 않고 표시되고 있는 것을 열람한 유저는, 강조화상 수정모드를 선택한다. 그리고, 강조화상 수정모드에 있어서, 수정하고 싶은 부분을 따라가도록 드래그 조작한다. 구체적으로는, 도 14의 (1)에 있어서 화상 중의 영역(R1)의 부분을 유저가 따라가도록 드래그 조작한다. 그러면, 처리부(10)는, 영역(R1)을 지정영역(R1)으로 하고, 지정영역(R1) 내의 화소에 대해서 에너지함수의 계수(보다 구체적으로는 패널티값)를 변화시켜서 재계산을 행하고, 재계산에 의해서 강조화상을 수정한다.
구체적으로는, 드래그방향과 엣지방향과의 코사인 유사도를 산출하고, 그 값에 대응하여 패널티값을 설정한다. 여기에서는, 코사인 유사도가 소정의 임계값 이하라고 판정되고, 드래그방향과 엣지방향이 근사조건을 만족한다고 판정된 결과, 제1의 패널티값을 「P1-α」로 하고, 제2의 패널티값을 「P2-α」로 하여 재계산을 한다. 즉, 패널티값을 통상시와 비교해서 낮게 설정하여 재계산을 한다. 그 결과, 상술한 바와 같이, 드래그방향에 대해서 상대적으로 엣지를 강조하는 작용이 생기고, 지정영역(R1)에 대해서, 통상시에 생성된 깊이 맵에 대해서 심도의 분포가 크게 수정된 깊이 맵이 얻어진다. 이 수정된 깊이 맵에 근거하여 합성화상을 수정함으로써, 결손된 토끼의 오른쪽 귀의 엣지 부분이 강조·보완되고, 도 14의 (2)에 나타내는 바와 같이, 지정영역(R1)에 있어서 토끼의 인형의 오른쪽 귀의 형상이 적절히 수정된 수정 강조화상이 표시화면에 표시된다.
2-1-3. 작용 효과
제1 실시예에 의하면, 스마트폰(1)에 있어서, 엣지검출수단(107)은, 복수의 입력화상으로부터 특징으로서 엣지를 검출하고, 검출된 엣지의 강도를 특징량으로서 검출한다. 그리고, 심도추정부(111)는, 엣지검출수단(107)에 의해 검출된 엣지의 강도를 이용하여, 대상화소에 대해서, 복수의 입력화상 중 어느 쪽의 입력화상에서 포커싱되어 있는지를 나타내는 정보인 심도를 추정한다. 그리고, 깊이 맵 생성부(113)는, 심도추정부(111)의 추정결과에 근거하여 깊이 맵을 생성한다.
보다 구체적으로는, 입력화상 축소부(101)가, 복수의 입력화상을 각각 축소하고, 축소한 입력화상으로부터 엣지를 검출한다. 그리고, 검출된 엣지의 강도를 이용한 적절해 연산처리를 행하여, 대상화소에 대해서 심도를 추정하고, 그 추정결과에 근거하여 깊이 맵을 생성한다.
심도의 추정에서는, 엣지검출부(107)의 검출결과로서 얻어지는 복수의 입력화상 각각에 대응하는 엣지검출 화상의 엣지강도에 근거하는 소정의 적절해 연산처리를 행하여 심도를 추정한다. 적절해 연산처리에서는, 스코어값 연산처리를 행한다. 이 스코어값 연산처리에서는, 대상화소에 대해서, 엣지강도를 이용하여 코스트값이 산출되어서 스코어값에 가산되고, 상기 대상화소의 근방화소에 대해서 선택하는 입력화상을 변화시키는 경우는, 패널티값이 스코어값으로부터 감산된다. 즉, 대상화소에 대해서는 가능한 한 강한 엣지강도의 입력화상을 선택하면서, 근방화소에서는 가능한 한 초점이 가까운 입력화상이 선택되도록 하기 위하여, 억제가 가해지도록 되어 있다. 이러한 스코어값 연산처리를 행하고, 스코어값이 소정의 높은값 조건을 만족하는 입력화상을 포커싱되어 있는 입력화상으로 판정함으로써, 심도를 바르게 추정하는 것이 가능해진다.
깊이 맵은, 각 좌표의 화소에 대해서, 어느 입력화상에서 포커싱되어 있는지(즉 심도)를 특정 가능하게 하는 정보임과 함께, 각 입력화상에 대해서 포커싱되어 있는 화소의 좌표(즉 포커싱되어 있는 영역)를 특정 가능하게 하는 정보이다. 본 실시형태에서는, 이와 같이 하여 생성한 깊이 맵과 복수의 입력화상을 이용하여 전 초점화상을 생성하고, 표시부(30)에 표시시킨다.
표시부(30)에 표시된 전 초점화상은, 유저 조작에 따라서 강조화상의 생성에 이용된다. 구체적으로는, 터치패널(21)에 대한 유저의 탭 조작이나 드래그 조작에 대응하여 하나의 심도를 선택한다. 그리고, 깊이 맵에 근거하여 선택한 심도의 화소를 특정하고, 강조화상을 생성한다. 구체적으로는, 전 초점화상에 대해서 소정의 셰이딩 정도로 셰이딩 처리를 행하고, 그 처리결과의 화상에, 특정된 화소의 대응하는 심도의 입력화상의 화소값을 합성한 강조화상을 생성하여, 표시부(30)에 표시한다. 이로써, 유저에 의해 지정된 부분에 초점이 맞은 강조화상을 생성하여, 유저에게 열람시키는 것이 가능해진다.
또한, 강조화상은, 유저 조작에 따라서 수정된다. 구체적으로는, 심도추정부(111)는, 유저 조작이 검지된 경우에, 유저에 의해 지정된 지정영역에 포함되는 화소에 대해 심도를 재추정한다. 그리고, 깊이 맵 생성부(113)는, 심도의 재추정의 결과에 근거하여 깊이 맵을 재생성하고, 이 재생성한 깊이 맵에 근거하여 수정 강조화상을 생성한다. 이로써, 강조화상 중의 유저에 의해 지정된 부분을 수정하여, 유저의 요구에 대응한 수정 강조화상을 제공하는 것이 가능해진다.
2-2. 제2 실시예
제1 실시예는, 초점거리를 변경하여 촬상된 복수의 입력화상을 축소하고, 그 축소한 입력화상에 대해서 심도추정처리를 행하여 축소 깊이 맵을 생성했다. 제2 실시예는, 복수의 입력화상을 축소하지 않고 그대로의 크기로 하고, 이 복수의 입력화상에 대해서 제1 실시예와 동일한 화상처리를 행하여, 깊이 맵을 생성하는 실시예이다.
도 15는, 처리부(10)가 도 4 및 도 5의 화상처리 대신에 실행하는 제2 화상처리 중, 화상처리의 도 4에 상당하는 부분을 나타낸 플로우차트이다. 다만, 화상처리와 동일한 스텝에 대해서는 동일한 부호를 부여하고 있다.
맨 처음에, 처리부(10)는, 유저에 의해 입력부(20)를 통하여 선택된 모드를 판정한다(스텝 A1). 선택된 모드가 「촬영모드」인 경우는, 처리부(10)는, 유저의 셔터조작에 따라서, 동일 씬에 대해서 초점거리를 변경하여 복수 매의 화상의 촬상을 촬상부(50)에 행하게 하도록 제어한다(스텝 A3). 복수의 입력화상은 화상데이터 세트(83)에 기억된다.
그 후, 콘트라스트 보정부(105)는, 화상데이터 세트(83)에 기억된 심도가 다른 복수의 입력화상 각각에 대하여 위치맞춤 처리(스텝 A7) 및 콘트라스트 보정처리를 행한다(스텝 A9). 그리고, 엣지검출부(107)가, 콘트라스트 보정처리에서 보정된 복수의 입력화상 각각에 대하여 엣지검출처리를 행한다(스텝 A11).
그 후, 초점분리 판정부(109)가, 엣지검출처리에서 얻어진 엣지화상 각각에 대하여 초점분리 판정처리를 행한다(스텝 A13). 그리고, 심도추정처리가, 초점분리 판정부(109)에 의해서 초점이 적절히 분리되어 있다고 판정한 엣지화상을 이용하여 심도추정처리를 행한다(스텝 A15).
그 후, 깊이 맵 생성부(113)가, 깊이 맵 생성처리를 행한다(스텝 F17). 구체적으로는, 심도추정처리의 결과에 근거하여, 입력화상을 구성하는 각 화소에 대해서 포커싱되어 있는 것으로 추정된 심도에 대응한 비트값을 할당한 맵을 생성하고, 이를 깊이 맵으로 한다. 다만, 생성하는 깊이 맵은, 심도추정처리에서 이용한 입력화상의 수에 대응하여 비트수를 설정하면 좋다. 예컨대, 입력화상이 3 ~ 4매이면 2비트, 5 ~ 8매이면 3비트로 깊이 맵을 표현하면 좋다.
그 후, 전 초점화상 생성부(119)가, 전 초점화상 생성처리를 행한다(스텝 F19). 구체적으로는, 깊이 맵 생성처리에서 얻어진 깊이 맵에 근거하여, 복수의 입력화상 중에서 선택해야 할 화소값을 추출하고, 모든 화소에 있어서 포커싱도가 높은 입력화상의 화소값으로 구성되는 전 초점화상을 생성한다. 생성된 전 초점화상은, 기억부(80)의 화상데이터 세트(83)에 복수의 입력화상과 대응시켜서 기억된다.
그 후, 깊이 맵 축소부(121)가, 깊이 맵 축소처리를 행한다(스텝 F21). 구체적으로는, 스텝 F17에서 생성된 깊이 맵을 소정의 축소방법을 이용하여 축소한다. 이 경우, 깊이 맵을 원래의 크기에 복원했을 때에 가능한 한 원래의 깊이 맵의 화상정보를 잃어버리지 않도록, 예컨대 가로 세로를 1/2n (n는 1 이상의 정수)로 축소한다. 입력화상의 축소는, 다운 샘플링 등의 공지의 수법에 의해서 실현할 수 있다. 생성된 축소 깊이 맵은, 기억부(80)의 화상데이터 세트(83)에 복수의 입력화상 및 전 초점화상과 대응시켜서 기억된다.
3. 제3 실시예
제3 실시예는, 상기의 제1 실시예 및 제2 실시예에서 설명한 수법과는 다른 수법으로 깊이 맵을 생성하는 실시예이다. 본 실시예에서는, 시차(視差)가 발생하도록 카메라의 위치를 변화시켜서 다른 시점(視点)에서 촬상된 복수의 촬영화상을 이용하여 깊이 맵을 생성한다. 이 시차가 발생한다. 이 시차가 발생하도록 카메라의 위치를 변화시켜서 다른 시점에서 화상을 촬상하는 방식을 「시차방식」으로 칭하여 설명한다.
3-1. 깊이 맵의 생성의 흐름
도 19는, 제3 실시예에 있어서, 처리부(10)가, 도 4 및 도 5의 화상처리 대신에 실행하는 제3의 화상처리 중, 도 4에 상당하는 부분을 발췌한 플로우차트이다. 다만, 화상처리와 동일한 스텝에 대해서는 동일한 부호를 부여하여, 반복된 설명을 생략한다.
스텝 A1에 있어서 모드가 촬영모드라고 판정했다면(스텝 A1; 촬영모드), 처리부(10)는, 카메라의 위치를 변경하여 다른 시점에서의 복수 매의 화상을 촬상부(50)에 촬상시키도록 제어한다(스텝 J3). 본 실시예의 수법에서는, 깊이 맵을 생성하기 위하여, 목적의 피사체를 촬상한 촬영화상에 시차가 발생하고 있는 것이 필요하다. 여기서, 유저에 대하여, 카메라의 위치를 변경하여, 복수의 시점으로부터 목적의 피사체를 촬영하는 것을 재촉하는 알림을 행하도록 하면 바람직하다.
다음으로, 처리부(10)는, 최초에 촬상된 촬영화상을 기준 입력화상으로서 입력한다(스텝 J5). 그리고, 처리부(10)는, 상기 기준 입력화상에 대해서 복수의 특징점을 검출하는 특징점 검출처리를 행한다(스텝 J7). 특징점의 검출 방법으로서는 여러 가지의 수법을 적용할 수 있는데, 예컨대, Harris, Stephens, Plessey의 코너 검출 알고리즘 등을 이용한 수법이나, 입력화상에 대해서 아핀 변환(affine transformation)을 실시하여 SIFT 특징을 검출하는 수법 등의 공지의 수법을 적용할 수 있다.
도 20의 (1)은, 기준 입력화상에 대해서 특징점을 검출한 결과를 나타내는 도이다.
이 기준 입력화상은, 테이블에 피사체로 하는 상자를 두고, 이 상자를 카메라로 정면 시점에서 촬상한 촬영화상이며, 화상 중에 나타나는 다수의 사각형의 마커가, 특징점 검출처리를 행함으로써 검출된 특징점을 나타내고 있다. 이를 보면, 기준 입력화상 속에서 다수의 특징점이 검출되고 있는 것을 알 수 있다.
다음으로, 처리부(10)는, 다음의 촬영화상을 입력화상으로서 입력한다(스텝 J9). 그리고, 처리부(10)는, 특징점 추적처리를 행한다(스텝 J11). 특징점의 추적은, 예컨대, 다중 해상도 해석을 이용한 수법을 적용할 수 있다. 구체적으로는, 기준 입력화상에 대해서 작성한 다중 해상도 화상과, 상기 입력화상에 대해서 작성한 다중 해상도 화상을 이용하여, 예컨대, 거친 해상도로부터 차례로 동일한 해상도 사이에서 특징점의 추적처리를 행한다. 그리고, 입력화상을 복수의 블록으로 분할한 블록 단위로 특징점의 이동량을 전파(傳搬)시킴으로써, 보다 안정적으로 특징점을 추적한다. 이때, 기준 입력화상에 있어서 검출된 각 특징점이, 상기 입력화상에 있어서, 어느 방향으로 어느 정도 이동했는지, 즉 특징점의 이동방향 및 이동량을 산출한다.
도 20의 (2)는, 입력화상에 대해서 특징점을 검출한 결과를 나타내는 도이다.
이 입력화상은, 도 20의 (1)과 동일하게, 테이블에 놓여진 피사체를 좌(左)시점에서 촬상한 촬영화상이다. 이 입력화상에 대해서 특징점의 추적을 행한 결과가 도 20의 (3)이다. 도 20의 (3)에 있어서, 각 선의 시작점과 종점이 각 화상에 있어서의 특징점의 위치를 나타내고, 선의 색은 각 특징점의 이동방향을 나타내고, 선의 길이는 각 특징점의 이동량을 나타낸다. 이 도를 보면, 다른 시점에서 촬상한 촬영화상에 대해서 대응하는 각 특징점이 이동하고 있는 상태를 알 수 있다.
다음으로, 처리부(10)는, 상기 입력화상을 기점(基点) 입력화상(키 프레임)으로서 추출할지 아닌지를 판정한다(스텝 J13). 기점 입력화상이란, 특징점의 추적에 성공한 화상이며, 예컨대, 상기 입력화상에 있어서 특징점의 이동량을 전파시킨 결과, 특징점의 총체적인 이동량이, 소정의 임계값인 제1의 임계값 이상(또는 제1의 임계값 초과)인 경우에, 상기 입력화상을 기점 입력화상으로서 추출한다.
상기 입력화상을 기점 입력화상으로서 추출한다고 판정했다면(스텝 J13; Yes), 처리부(10)는, 상기 기점 입력화상에 있어서의 특징점의 좌표값을 기억부(80)에 기억시킨다(스텝 J15). 또한, 상기 입력화상을 기점 입력화상으로서 추출하지 않는다고 판정했다면(스텝 J13; No), 처리부(10)는, 스텝 J17로 처리를 이행한다.
다음으로, 처리부(10)는, 기점 입력화상의 추출을 종료할지 아닐지를 판정한다(스텝 J17). 예컨대, 스텝 J13에 있어서, 특징점의 총체적인 이동량이, 제1의 임계값보다 큰 임계값인 제2의 임계값 이상(또는 제2의 임계값 초과)이 된 경우에, 기점 입력화상의 추출을 종료한다고 판정한다. 즉, 특징점의 총체적인 이동량이 어느 정도 커진 시점(時点)에서, 기점 입력화상의 추출을 종료한다. 기점 입력화상의 추출을 종료하지 않는다고 판정했다면(스텝 J17; No), 처리부(10)는, 스텝 J9로 처리를 되돌린다. 이로써, 복수의 입력화상이 기점 입력화상으로서 추출되게 된다.
기점 입력화상의 추출을 종료한다고 판정했다면(스텝 J17; Yes), 처리부(10)는, 기점 입력화상에 대해 스텝 J15에서 기억부(80)에 기억된 특징점의 좌표값을 이용하여, 기초행렬(Fundamental Matrix) F를 추정한다(스텝 J19). 기초행렬 F는, 에피폴라 기하(epipolar geometry)에 근거하여, 2개의 화상에 있어서의 투영점의 정규화 화상 좌표의 사이에서의 관계를 정의하는 기본행렬(Essential Matrix) E를 화상의 좌표계에 상사 변환(similarity transformation)한 행렬이다. 다만, 기초행렬 F 및 기본행렬 E 그 자체는 공지이기 때문에, 행렬의 요소에 대해서는 설명을 생략한다.
기초행렬 F는 3×3의 행렬로 나타내어지고, 그 요소의 수는 9개인데, 기초행렬 F의 프로베니우스놈(frobenius norm)을 "1"로 함으로써, 실질적인 미지수의 수는 8개가 된다. 따라서, 최저 8세트의 특징점의 대응점의 좌표값이 얻어지면, 기초행렬 F를 구할 수 있다. 여기서, 기점 입력화상의 조합에 대해서, 스텝 J15에서 기억부(80)에 기억된 8세트 이상의 특징점의 대응점의 좌표값을 이용하여, 기초행렬 F를 추정한다. 그리고, 예컨대, RANSAC(RANdom Sampling Consensus)의 알고리즘을 이용하여, 탈락값을 제외하면서, 적절한 기초행렬 F를 추정한다. 또한, RANSAC를 적용한 후, 일정 오차 이내의 특징점 모두를 샘플 데이터로 하고, 최소이승법을 이용하여, 보다 적절한 기초행렬 F를 추정한다.
다음으로, 처리부(10)는, 스텝 J19에서 추정한 기초행렬 F를 기본행렬 E로 변환한다(스텝 J21). 기본행렬 E는, 기초행렬 F에 대해서 카메라의 내부 파라미터를 작용시킴으로써 구할 수 있다. 다만, 본 실시예에서는, 카메라의 내부 파라미터는 이미 알려진 것으로 한다.
그 후, 처리부(10)는, 스텝 J21에서 구한 기본행렬 E를 이용하여, 카메라행렬을 산출한다(스텝 J23). 카메라행렬은, 기점 입력화상의 시점(視点)의 상대적인 위치관계를 나타내는 행렬이며, 카메라의 이동을 나타내는 회전행렬 및 병진이동벡터를 포함하는 행렬이다. 카메라행렬의 산출은, 기점 입력화상의 시점의 상대적인 위치관계의 산출이라고 말할 수 있다.
다음으로, 처리부(10)는, 번들조정처리를 행한다(스텝 J25). 번들조정이란, 입력화상으로부터, 기하학적인 3차원의 모델 파라미터를 추정하기 위한 수법이다. 번들조정처리에서는, 입력화상 사이의 각 특징점의 대응 관계에 근거하여, 각 특징점의 3차원 좌표를 산출한다. 그리고, 산출한 각 특징점의 3차원 좌표를 화상면에 재투영하고, 재투영점과 특징점과의 거리로서 산출되는 재투영 오차를 반복적으로 재추정해 나감으로써, 보다 정확한 특징점의 3차원 좌표값을 추정한다. 또한, 번들조정처리에서는, 스텝 J23에서 산출한 카메라행렬을 구성하는 파라미터값을, 상기와 동일한 처리를 행하여 추정함으로써, 카메라행렬을 구성하는 파라미터값을 조정한다.
도 21은, 특징점의 3차원 좌표를 추정하여, 동일한 특징점 군을 다른 시점에서 본 경우의 샘플 화상이다.
도 21의 (1)은, 정면 시점에서 특징점 군을 본 경우의 샘플 화상을, 도 21의 (2)는, 상(上)시점에서 특징점 군을 본 경우의 샘플 화상을, 도 21의 (3)은, 좌(左)시점에서 특징점 군을 본 경우의 샘플 화상을 각각 나타내고 있다. 이들의 샘플 화상을 보면, 특징점의 3차원 좌표가 바르게 추정되고, 그 특징점 군이 각각의 시점에 대응하여 다른 분포를 나타내고 있는 것을 알 수 있다.
그 후, 처리부(10)는, 스텝 J25의 번들조정처리의 결과를 이용하여, 깊이 맵을 생성한다(스텝 J27). 깊이 맵을 생성하기 위해서는, 각 화소 각각에 대해서, 3차원 공간에 있어서의 화소의 위치 좌표를 산출하는 것이 필요해진다. 여기서, 대상으로 하는 화소(이하, 「대상화소」라 함)에 대해서, 그 대상화소의 3차원 공간에 있어서의 위치(이하, 「대상화소위치」라 함)를 기점 입력화상 상에 투영한 위치(이하, 「투영 화소위치」라 함)와, 기점 입력화상을 촬상했을 때의 카메라 위치를 이용하여, 대상화소위치를 추정한다.
맨 먼저, 번들조정처리에서 파라미터값을 조정한 카메라행렬과, 기억부(80)에 미리 기억되어 있는 카메라의 초기위치를 이용하여, 각 기점 입력화상이 촬상된 카메라 위치를 추정한다. 초기위치는, 임의의 위치라도 좋고, 미리 정해진 3차원 좌표값이 초기위치의 좌표값으로서 기억부(80)에 기억되어 있다. 이 초기위치와 카메라행렬(회전행렬 및 병진이동벡터)을 이용하여, 초기위치를 기준으로 하여 각 기점 입력화상이 촬상된 카메라 위치를 산출한다.
다만, 초기위치는, 미리 소정위치를 기억부(80)에 기억하게 하는 것이 가능하지만, 이와 같이 하는 것이 아니라, GPS(Global Positioning System) 등의 측위(測位)용 신호를 이용하여 측위연산을 행하여 산출한 위치를 초기위치로 하여, 상기의 연산을 행함으로써 해도 좋다.
또한, 기점 입력화상의 조합에 대해서, 화소단위로 대응 관계를 산출한다. 구체적으로는, 기본행렬 E를 이용하여, 기점 입력화상 사이에서, 화상 상의 한 라인 상에만 대해서 대응점의 탐색을 행한다. 보다 구체적으로는, 기점 입력화상 사이에서, 기본적으로 색이 가깝고, 또한, 근방화소의 대응관계와 가깝게 되는 대상화소의 대응점의 위치를, 준광역 최적화(semi-global optimization)의 수법을 이용하여 산출한다.
이와 같이 하여 기점 입력화상의 조합에 대해서 산출한 대상화소의 대응점의 위치를 투영 화소위치로 한다. 그리고, 기점 입력화상의 조합에 대해서, 산출한 2개의 카메라 위치와, 산출한 2개의 투영 화소위치를 이용하여 대상화소위치를 추정하고, 시점에서 대상화소위치까지의 거리를 산출한다. 모든 화소를 대상화소로 하여 상기의 처리를 행하고, 각 화소 각각에 대해서 산출한 거리를 심도로 하는 깊이 맵을 생성한다.
도 31은, 깊이 맵의 생성의 원리의 설명도이다.
도 31에는, 기점 입력화상 A와 기점 입력화상 B와의 조합에 대해서, 각각의 기점 입력화상을 촬상했을 때의 카메라의 위치를 카메라 위치 A 및 카메라 위치 B로 하여, 각각 검은 동그라미로 나타내고 있다. 또한, 하나의 화소를 대상화소로 하고, 대상화소위치를 기점 입력화상 A에 투영한 위치를 투영 화소위치 A로 하고, 대상화소위치를 기점 입력화상 B에 투영한 위치를 투영 화소위치 B로 하여 각각 하얀 동그라미로 나타내고 있다.
도 31에 있어서, 카메라 위치 A 및 투영 화소위치 A를 연결하는 직선과, 카메라 위치 B 및 투영 화소위치 B를 연결하는 직선과의 교점을, 대상화소위치로서 추정한다. 대상화소위치가 구해지면, 시점에서 대상화소위치까지의 거리를 산출할 수 있기 때문에, 대상화소에 대한 심도가 구해진다. 모든 화소를 대상화소로 하여 상기와 같이 대상화소위치를 산출하고, 시점(視点)에서 대상화소위치까지의 거리를 산출하고, 이를 심도로 하는 깊이 맵을 생성한다.
상기와 같이 하여 깊이 맵을 생성한 후의 다음의 처리는, 상술한 제1 실시예 및 제2 실시예와 동일하다.
3-2. 가이드표시
상기의 깊이 맵의 생성 방법에서는, 시차(視差)를 얻기 위해서, 유저가 카메라를 이동시켜서 복수의 시점에서 화상을 촬상시키는 것이 필요하다. 이때, 단순하게 카메라를 이동시키는 것을 유저에게 시사하는 것만으로는, 어떻게 카메라를 작동시키면 좋은지 유저가 모르는 경우가 많고, 불편하다는 문제가 있다. 예컨대, 카메라를 1 개소에서 회전시키는 것만이라면, 시차가 발생하지 않고, 거리 정보를 얻을 수 없기 때문에, 이러한 조작을 하지 않도록 유저에게 촉구하는 것이 필요하다. 여기서, 다음과 같은 처리를 행하도록 해도 좋다.
처리부(10)는, 1매째의 촬영화상의 촬상 후에, 카메라의 표시화면에 있어서 목적의 피사체가 나타난 부분을 유저에게 탭 시키는 등 하여 피사체를 지정시킨다. 그리고, 처리부(10)는, 사람 검출이나 물건 검출을 행하여 피사체 영역을 검출하고, 검출한 피사체 영역을 시사한다. 예컨대, 피사체 영역을 포함하는 상기 피사체 영역보다 약간 큰 도형(이하, 「피사체 지정도형」이라 함)을 1매째의 촬영화상 상에 표시시킨다. 예컨대, 점선이나 파선의 사각형의 도형을 피사체 지정도형으로서 표시시키면 좋다.
다음으로, 표시제어부(127)는, 유저가 자기장치(카메라)를 이동시킬 방향(우방향, 좌방향, 상방향, 하방향의 어느 쪽으로 이동시킬지)이나, 유저가 자기장치를 이동시킬 거리(자기장치를 어느 정도 이동시키면 좋을지)를 가이드하기 위한 가이드표시를 표시부(30)에 표시시킨다. 구체적으로는, 어느 방향으로 자기장치를 이동시키면 좋은가를 나타내는 가이드용의 화살표(이하, 「가이드 화살표」라 함)나, 목적의 촬영위치에 유저를 유도하기 위한 가이드용의 도형(이하, 「가이드 도형」이라 함)을, 가이드표시로서 표시부(30)에 표시시킨다. 예컨대, 가이드 도형은, 확인화면과 공통의 형상 및 사이즈이며, 유저는 프리뷰 화면과 가이드 도형이 합치하도록 카메라를 이동시키는 조작이 필요한 것을 파악할 수 있다.
여기서, 확인화면이란, 카메라를 촬영모드로 기동했을 때에, 촬상부(50)(촬상 디바이스)로부터 출력되는 신호에 근거하여 표시부(30)에 나타나는 화면이며, 확인화면의 화상은 촬상 디바이스로부터의 출력신호에 대응하여 갱신된다. 즉, 확인화면에는 촬상대상의 화상이 표시되고, 실시간으로 갱신되고 있다. 촬영자는, 확인화면을 봄으로써, 피사체의 촬상 상태를 확인 가능하고, 촬영을 행할 때에, 목적의 피사체가 나타나고 있는지 어떤지를 확인하거나, 어느 위치나 어느 각도에서 촬영을 행할지를 결정할 수 있다.
여기서, 피사체를 움직여야 할 방향은, 시차(視差)를 발생하게 하는 방향이면 좋고, 예컨대, 수직 방향 혹은 수평 방향의 어느 쪽이라도 좋다. 그러나, 수직 방향으로 한 경우에는, 특히 피사체까지의 거리가 긴 경우(초점거리가 긴 경우)에, 적절히 시차를 발생하게 하는 것이 곤란하기 때문에, 일반적으로는 수평 방향으로 하는 것이 바람직하다. 또한, 초점거리가 소정 거리 이상인 경우에는, 수직 방향으로 이동시킬지 또는 수평 방향으로 이동시킬지를 유저가 선택 가능하게 하고, 초점거리가 소정 거리 미만인 경우에는, 수평 방향으로 이동시키도록 가이드를 행하도록 해도 좋다. 또한, 처리부(10)에 있어서의 수평 방향의 검출은, 관성센서(75)에 의한 중력 방향의 검출에 근거하여 가능하기 때문에, 카메라의 촬영 각도(확인화면의 표시 방향)에 의하지 않고, 수평 방향으로의 이동을 가이드할 수 있다.
1매째의 촬영화상 기억 후에, 처리부(10)는, 검출된 피사체 영역을 트래킹하여 피사체 지정도형을 상기 피사체 영역에 추종시킴과 함께, 자기장치의 이동에 대응하여 가이드표시의 표시를 변화시킨다. 여기서 자기장치의 이동에 대응하여, 당초의 촬영위치로부터의 자기장치의 이동거리 및 이동방향이 변화한다. 여기서, 자기장치의 이동 제량(諸量)으로서, 예컨대 자기장치의 이동거리 및 이동방향을 검출하고, 그 검출결과에 근거하여, 표시부(30)의 가이드표시의 표시를 변화시킨다.
관성센서(75)에는, 3축의 가속도센서 및 3축의 자이로센서가 포함되고, 센서를 기준으로 하는 로컬 좌표계에 있어서의 3축의 가속도 벡터 및 3축의 각속도 벡터가 처리부(10)에 출력된다. 처리부(10)는, 관성센서(75)로부터 출력되는 3축의 각속도 벡터를 적분하여 카메라의 자세를 산출하고, 산출한 자세에 근거하여, 로컬 좌표계에 있어서의 3축의 가속도 벡터를, 예컨대 지구를 기준으로 하는 절대 좌표계에 있어서의 3축의 가속도 벡터로 좌표 변환한다. 그리고, 처리부(10)는, 좌표 변환한 3축의 가속도 벡터를 적분하여 3축의 속도 벡터를 산출한다. 처리부(10)는, 이 처리를 소정의 시간 간격으로 행하고, 상기 시간 간격에 있어서 산출된 3축의 속도 벡터에 근거하여, 각 시간 간격에 있어서의 자기장치의 이동거리 및 이동방향을 산출한다.
처리부(10)는, 산출한 카메라의 이동방향에 근거하여, 표시화면의 가이드 도형을 어느 방향으로 이동시킬지(가이드 도형의 이동방향)를 판정한다. 또한, 처리부(10)는, 산출한 카메라의 이동거리에 근거하여, 표시화면의 가이드 도형을 얼마나 이동시킬지(가이드 도형의 이동량)를 판정한다. 그리고, 판정한 이동방향 및 이동량에 근거하여 가이드 도형의 표시를 변화시킨다.
여기서, 피사체상의 특정의 특징점을 대상으로 한 경우, 그 특징점에 대해서 일정한 시차를 발생하게 하기 위해서 필요한 이동거리는, 피사체까지의 거리(예컨대 초점거리)에 대응하여 길어진다. 이로 인하여, 피사체까지의 거리에 대응하여 가이드 도형의 갱신 조건을 다르게 하면 좋다. 예컨대, 초점거리가 소정 거리 이상인 경우에 있어서의 일정 거리 X의 이동에 근거하는 가이드 도형의 화면 상에서의 이동폭 A와, 초점거리가 소정 거리 미만인 경우에 있어서의 일정 거리 X의 이동에 근거하는 가이드 도형의 화면 상에서의 이동폭 B와의 관계에 있어서, A < B가 되도록, 가이드 도형의 이동폭을 다르게 하면 좋다.
도 22는, 이 경우에 있어서의 가이드표시의 일례를 나타내는 도이다.
도 22에는, 화상처리장치를 구비한 전자기기의 일례인 스마트폰(1)의 표시화면을 나타내고 있다. 외측 테두리로 둘러싸이는 영역 전체가 스마트폰(1)의 표시화면을 나타내고 있고, 표시화면의 중앙부에, 상술한 확인화면이 표시되어 있다.
도 22의 (1)은, 정면 시점에서 피사체가 촬상된 촬영화상을 나타내고 있다. 촬상부(50)에 의한 촬상이 종료하여 1매째의 촬영화상이 보존되면, 확인화면이 다시 표시된다. 이 확인화면에 있어서 유저가 피사체인 아이의 표시 부분을 탭 하면, 도 22의 (1)에 나타낸 바와 같이, 2명의 아이를 둘러싸는 파선의 사각형의 도형인 피사체 지정도형이 표시된다.
계속하여, 가이드표시로서, 예컨대 수평 방향(여기에서는 우측방향)으로 카메라를 이동시키는 것을 나타내는 사각형의 도형이 표시된 상태가 도 22의 (2)이다. 이 도를 보면, 유저가 봐서 우방향으로 카메라를 이동시키는 것을 나타내는 우측방향의 가이드 화살표가 표시되어 있다. 또한, 확인화면과 동일한 사이즈인 사각형의 가이드 도형이, 확인화면의 오른쪽 테두리 바깥에 삐져나오는 형태로 표시되어 있다. 유저는, 이 가이드 화살표 및 가이드 도형에 따라서, 피사체가 확인화면의 중앙에 유지되도록 주의하면서, 카메라를 가지고 우방향으로 이동한다.
그 후, 우방향으로 이동하면, 상기와 같이 처리부(10)에 의해서 가이드표시의 이동방향 및 이동량이 판정되고, 스마트폰(1)의 이동방향과는 반대 방향으로, 스마트폰(1)의 이동거리에 대응한 이동량만큼, 가이드 도형의 표시위치가 변경된다. 구체적으로는, 도 22의 (3)에 나타내는 바와 같이, 유저가 우방향으로 이동하는데 수반하여, 표시중의 가이드 도형이 화면 좌방향으로 이동해 간다.
최종적으로, 도 22의 (4)에 나타내는 바와 같이, 유저의 이동에 의해서 가이드 도형이 확인화면과 합치하면(가이드 화상의 윤곽이 확인화면의 윤곽과 합치했다고 판정되면), 처리부(10)는 유저의 이동이 완료되었다고 인식하고, 그 위치에서 자동적으로 촬상부(50)에 의해서 촬상이 행해지고, 1매째의 촬영화상과의 관계에서 시차를 가지는 2매째의 촬영화상이 취득된다.
다만, 도 1의 관성센서에 포함되는 가속도센서 및 자이로센서는, 가속도센서 및 자이로센서가 패키지화된 관성계측유닛(IMU)(Inertial Measurement Unit)이라도 좋다.
또한, 상기에서는, 관성센서나 관성계측유닛에 의해서 검출되는 가속도 벡터나 각속도 벡터에 근거하여 자기장치의 이동 제량을 검출했지만, 이 외에도, 예컨대 GPS 유닛 등의 측위용 위성으로부터 발신되는 측위용 신호를 이용하여 측위 연산을 행하는 유닛을 화상처리장치에 내장하고, 이 센서의 검출결과에 근거하여, 이동 제량을 검출해도 좋다. GPS에서는, GPS 위성으로부터 발신되는 GPS 위성 신호에 근거하여, 의사 거리(pseudo-range)나 도플러 주파수를 이용한 측위 연산(의사 거리 측위, 도플러 측위)을 행하여, 자기장치의 위치를 산출할 수 있다. 이 측위 연산으로 구한 측위 위치의 차분에 근거하여 자기장치의 이동 속도나 이동방향을 검출해도 좋다. 또한, GPS에서는, 도플러 주파수를 이용한 속도 벡터 연산을 행하여, 자기장치의 속도 벡터를 산출할 수도 있다. 이와 같이 하여 산출한 속도 벡터로부터, 자기장치의 이동거리 및 이동방향을 검출해도 좋다.
또한, 관성센서(75) 대신에, 관성항법 연산을 행하여 자립적으로 이동거리 및 이동방향을 검출하는 관성항법장치(INS)(Inertial Navigation System)를 화상처리장치에 구비해 두고, 이 관성항법장치에 의해서 화상처리장치의 이동거리 및 이동방향을 검출해도 좋다.
또한, 상기와 같이, 자기장치의 이동 제량(이동방향이나 이동거리)을 검출하고, 그 검출결과에 근거하여, 가이드표시의 표시를 변화시키는 것 외에, 예컨대, 제3의 화상처리(도 19 참조)의 스텝 J11에 있어서의 특징점 추적처리에서 특징점을 추적한 결과에 근거하여, 가이드표시의 표시를 변화시켜도 좋다. 즉, 특징점 추적처리에 있어서 특징점을 추적한 결과, 특징점이 어느 방향으로 얼마나 이동했는지(특징점의 이동방향 및 이동거리)를 판정하고, 그 판정결과에 근거하여, 표시화면의 가이드 도형을 어느 방향으로 얼마나 이동시킬지(가이드 도형의 이동방향 및 이동량)를 결정하고, 가이드 도형의 표시를 변화시켜도 좋다.
4. 제4 실시예
4-1. 유저 조작에 의한 디폴트 포커싱 위치의 설정
상기의 실시예에서는, 전 초점화상이 생성된 후에, 강조화상 생성모드에 있어서 실행되는 강조화상 생성처리에 있어서, 유저가 전 초점화상 중에서 강조시키는 영역을 지정하고, 그 지정영역에 포함되는 화소가 포커싱된 강조화상을 생성하는 것으로 하여 설명했다. 그러나, 이 방법에서는, 유저가 소망의 화상을 생성하기 위해서, 촬상부(50)에 의한 촬상 후에 유저가 그때마다, 강조시키고 싶은 영역을 지정하는 것이 필요하게 되어, 불편하다는 문제가 있다.
여기서, 촬상부(50)에 의한 촬상전에, 유저가 디폴트로 하는 포커싱 위치(이하, 「디폴트 포커싱 위치」라 함)를 지정 가능하게 해도 좋다. 구체적으로는, 확인화면에 있어서, 유저가, 표시화면을 탭 하는 탭 조작을 실시하는 등 하여, 디폴트 포커싱 위치를 지정하는 것을 가능하게 해도 좋다.
도 23은, 이 경우에, 처리부(10)가, 도 4 및 도 5의 화상처리 대신에 실행하는 제4의 화상처리 중, 화상처리의 도 4에 대응하는 부분을 취한 플로우차트이다. 또한, 화상처리와 동일한 스텝에 대해서는 동일한 부호를 부여하여, 반복 설명을 생략한다.
처리부(10)는, 모드가 촬영모드라고 판정했다면(스텝 A1), 탭 조작을 검지했는지 아닌지를 판정한다(스텝 G3). 탭 조작을 검지했다고 판정했다면(스텝 G3; Yes), 처리부(10)는, 지정영역에 근거하여 대표화소를 결정한다(스텝 G5). 지정영역은, 유저에 의해 탭 된 영역이며, 처리부(10)는, 상기의 실시예와 동일하게, 이 지정영역 중에서 하나의 화소를 대표화소로서 선택한다. 이 경우에 있어서의 대표화소의 선택 방법으로서는, 예컨대, 지정영역의 중심위치에 가장 가까운 화소나, 지정영역에 포함되는 화소의 화소값의 평균값에 화소값이 가장 가까운 화소를 대표화소로서 선택할 수 있다. 그리고, 처리부(10)는, 결정한 대표화소를 기억부(80)에 기억시킨다(스텝 G7).
다음으로, 처리부(10)는, 촬상조건이 성립했는지 아닌지를 판정한다(스텝 G9). 구체적으로는, (1) 스텝 G3에 있어서의 탭 조작을 검지한 것, (2) 스텝 G3에 있어서의 탭 조작을 검지한 후, 촬영버튼의 누름조작을 검지한 것, (3) 스텝 G3에 있어서의 탭 조작을 검지한 후, 그 탭 위치로부터 손가락을 떼지 않고 일정시간(예컨대 5초) 이상의 시간이 경과한 것(긴 누름조작의 검지), (4) 스텝 G3에 있어서의 탭 조작을 검지한 후, 동일 위치를 다시 탭 하는 조작을 검지한 것(더블 탭 조작의 검지) 등의 조건을 촬상조건으로 하고, 이들 촬상조건 중 어느 일방의 조건이 성립한 경우에, 촬상부(50)에 촬상을 실행시킨다.
촬상조건이 성립하지 않았다고 판정했다면(스텝 G9; No), 처리부(10)는, 스텝 G3로 처리를 되돌린다. 촬상조건이 성립했다고 판정했다면(스텝 G9; Yes), 처리부(10)는, 촬상부(50)에 초점거리를 변경하여 복수 매의 화상을 촬상시키는 촬상처리를 행한다(스텝 G11). 그리고, 처리부(10)는, 스텝 A5로 처리를 이행한다.
도 24는, 제4의 화상처리에 있어서, 처리부(10)가, 도 8의 강조화상 생성처리 대신에 실행하는 제3의 강조화상 생성처리의 흐름의 일례를 나타내는 플로우차트이다. 다만, 강조화상 생성처리와 동일한 스텝에 대해서는 동일한 부호를 부여하여, 반복 설명을 생략한다.
처리부(10)는, 스텝 G7에 있어서 기억시킨 대표화소를 기억부(80)으로부터 읽어낸다(스텝 J1). 그리고, 처리부(10)는, 기억부(80)에 기억되어 있는 깊이 맵에 근거하여, 읽어낸 대표화소의 심도를 판정한다(스텝 J3). 그리고, 처리부(10)는, 스텝 D7로 처리를 이행한다.
다만, 상기의 제4의 화상처리에 있어서, 유저가, 디폴트 포커싱 위치를 지정하는 경우에 있어서, 커서 등을 이용하여 화소단위로의 포커싱 위치의 지정을 행하는 것을 가능하게 해도 좋다. 또한, 유저가 손가락으로 피사체 전체를 둘러싸는 조작을 행함으로써, 피사체 단위로의 포커싱 위치의 지정을 가능하게 해도 좋다.
또한, 스텝 G5에 있어서 대표화소를 결정하는 처리를 행하는 것이 아니라, 예컨대, 최초에 유저 조작(예컨대 터치패널에 대한 탭 조작)에 따라서 지정영역을 결정하고 그 후에 촬상부(50)에 촬상을 행하게 하고, 촬상 후에, 최초에 결정해 둔 지정영역에 포함되는 화소(및 대응하는 심도)에 있어서, 가장 많이 포함되는 심도의 화소를 특정하고, 상기 심도에 대해서 특정한 화소를 포커싱으로 하는 강조화상을 생성함으로써 해도 좋다. 즉, 대표화소를 결정하지 않고, 유저에 의해서 지정된 지정영역으로부터 포커싱되는 심도를 결정함으로써 해도 좋다.
또한, 스텝 G11에 있어서의 촬상처리는, 제3 실시예에서 설명한 제3의 화상처리의 스텝 J3에 있어서의 촬상과 동일하게, 유저에게 카메라의 위치를 변화시켜서, 복수의 시점에서 목적의 피사체를 촬상부(50)에 촬상시키는 처리로 해도 좋다.
4-2. 얼굴 검출/인물 검출에 의한 디폴트 포커싱 위치의 설정
상기의 처리에 있어서, 디폴트 포커싱 위치를 설정할 때에, 확인화면에 있어서, 피사체로서 찍혀있는 인물이나 그 인물의 얼굴을 검출하고, 검출한 인물이나 얼굴을 디폴트의 포커싱 위치로 하여, 상기와 동일한 처리를 행하여, 강조화상을 생성하도록 해도 좋다. 또한, 화상의 촬상 후에 입력화상을 표시하는 입력화상 표시화면에 있어서, 피사체로서 찍혀있는 인물이나 그 인물의 얼굴을 검출하고, 검출한 인물이나 얼굴을 디폴트의 포커싱 위치로 하여, 상기와 동일한 처리를 행하여, 강조화상을 생성하도록 해도 좋다.
5. 제5 실시예
5-1. 도형에 의한 영역의 지정
상기의 실시예에서는, 목적의 피사체에 핀트를 맞추려고 한 경우에, 그 목적의 피사체와 동일 정도의 깊이 거리에 다른 피사체가 존재하면, 상기 피사체에 대해서도 핀트가 맞은 화상이 생성되어 버린다. 따라서, 목적의 피사체와 동일한 정도의 깊이 거리에 유저가 의도하지 않은 피사체의 혼입 촬상이 발생된 경우, 목적의 피사체에만 핀트를 맞추고 의도치 않게 혼입 촬상된 피사체에 대해서 셰이딩 처리로 셰이딩할 수 없게 된다는 문제가 있다.
여기서, 예컨대, 촬상 후의 입력화상을 프리뷰 표시한 표시화면에 있어서, 유저에 의해 탭 된 점을 중심으로 하는 원형이나 타원형, 사각형의 도형(이하, 「영역지정용 도형」라 함)을 표시하고, 이 영역지정용 도형의 크기를 동적으로 변화시킴으로써, 셰이딩 처리에 의해서 셰이딩되는 것을 희망하지 않는 영역을 유저가 지정 가능하게 해도 좋다.
도 25는, 이 경우에 있어서의 영역지정용 도형의 일례를 나타내는 도이다.
도 25에는, 입력화상으로서, 중앙부에 목적의 피사체인 머그컵이 표시된 화상을 나타내고 있다. 이 입력화상에는, 화상의 오른쪽 경계부에, 유저가 의도하지 않은 피사체인 종이컵의 일부가 찍혀있다. 유저는, 목적의 피사체인 머그컵의 화상부분을 강조시키고, 의도하지 않은 피사체인 종이컵의 화상부분을 셰이딩하기 위해서, 영역지정용 도형을 조작하여 머그컵의 화상부분을 지정한다.
구체적으로는, 도 25의 (1)에 나타내는 바와 같이, 유저에 의해 목적의 피사체인 머그컵의 화상부분이 탭 된 것을 검지하면, 표시제어부(127)는, 예컨대 타원형의 영역지정용 도형을 탭 위치에 표시시킨다. 이 경우에 표시시키는 영역지정용 도형의 사이즈는, 미리 규정된 사이즈로 하면 좋고, 도 25의 (1)에서는, 머그컵의 중앙부에 비교적 작은 사이즈의 영역지정용 도형이 표시된 상태를 나타내고 있다. 영역지정용 도형은, 2개의 손가락을 이용한 핀치조작에 의해서 그 사이즈를 변경 가능하게 하고, 핀치아웃 조작에 의해서 영역지정용 도형의 사이즈를 확대시키고, 핀치인 조작에 의해서 영역지정용 도형의 사이즈를 축소시킨다.
도 25의 (2)에 나타내는 바와 같이, 유저가 영역지정용 도형에 대해서 2개의 손가락으로 핀치아웃 조작을 행하면, 영역지정용 도형의 사이즈가 확대된다. 그리고, 유저는, 영역지정용 도형에 의해서 머그컵의 전체를 덮도록, 핀치아웃 조작에 의해서 영역지정용 도형의 사이즈나 형상을 조정한다. 그리고, 유저는, 확정버튼을 누르는 등의 확정조작을 행하여, 강조 표시시키는 영역을 확정시킨다.
이 경우, 처리부(10)는, 강조화상 생성처리에 있어서, 확정조작을 검지한 후, 영역지정용 도형으로 둘러싸인 영역을 지정영역으로 한다. 그리고, 상기 지정영역에 대해서, 예컨대, 상기 지정영역에 포함되는 각 화소의 심도 중, 가장 많은 화소가 속한 심도를 특정하고, 깊이 맵 상에 있어서 상기 특정한 심도(또는 상기 특정한 심도와 소정범위 내의 심도)에 속하는 화소에 대해서는 포커싱으로 하고, 다른 화소에 대해서는 셰이딩 처리를 행하여 비포커싱으로 한다. 또한, 지정영역에 포함되지 않는 영역에 대해서도, 동일하게 셰이딩 처리를 행하여 비포커싱으로 한다. 이 경우의 셰이딩 처리에서는, 예컨대, 셰이딩 처리를 실시하는 영역에 피사체가 혼입 촬상되어 있는 경우에는, 상기 피사체와 그 주위의 배경 영역의 깊이 거리가 거의 동일해지도록 깊이 맵의 심도를 다시 쓰고, 다시 쓴 깊이 맵에 근거하여, 셰이딩 처리를 실시하는 등 하면 좋다.
다만, 셰이딩 처리를 행하는 영역에 대해서, 상기의 포커싱 영역의 심도로부터의 심도의 차나, 유저에 의해 탭 된 위치로부터의 거리에 대응하여, 셰이딩 정도를 변경해도 좋다. 예컨대, 지정영역에 포함되지 않는 영역 중, 포커싱 영역으로부터 심도의 차가 큰 영역일수록, 셰이딩 정도를 높게 하여 셰이딩 처리를 행하도록 해도 좋다. 또한, 지정영역에 포함되지 않는 영역 중, 탭 위치로부터의 거리가 멀어진 영역일수록, 셰이딩 정도를 높게 하여 셰이딩 처리를 행하도록 해도 좋다. 이 경우, 포커싱 영역으로부터의 심도가 동일한 영역이나, 탭 위치의 중심위치로부터의 거리가 동일한 영역에 대해서는, 셰이딩 정도를 동일한 값으로 하여, 셰이딩 처리를 행하도록 해도 좋다.
또한, 영역지정용 도형의 조작방법은 상기에 한정되지 않고, 예컨대, 1회째의 탭 조작에서 영역지정용 도형을 표시시키고, 표시시킨 영역지정용 도형을 탭 하는 조작을 반복함으로써, 단계적으로 영역지정용 도형의 크기가 확대되도록 해도 좋다. 또한, 탭 조작을 행하고 나서 손가락을 떼지 않고 탭 조작이 계속하여 행해진 시간에 근거하여, 그 시간이 길어질수록, 영역지정용 도형의 크기가 확대되도록 해도 좋다.
또한, 유저에 의한 핀치조작(핀치아웃 조작/핀치인 조작)에 의해서, 영역지정용 도형의 사이즈를 확대/축소하는 것 외에, 예컨대, 유저에 의한 지정용 도형의 바깥 가장자리 부분을 탭 하고, 바깥 가장자리를 외측으로 넓히거나, 내측으로 좁히는 조작을 행함으로써, 영역지정용 도형의 형상을 변화시키는 것을 가능하게 해도 좋다.
또한, 영역지정용 도형의 중심으로부터의 거리나 면적에 대응하여, 셰이딩 처리에 있어서의 셰이딩 정도를 변경해도 좋다. 구체적으로는, 영역지정용 도형의 중심으로부터의 거리가 길어질수록, 또는, 영역지정용 도형의 면적이 커질수록, 셰이딩 정도를 크게 해도 좋다.
또한, 상기와 같이, 영역지정용 도형을 이용하여 강조하고 싶은 영역을 지정하는 것이 아니라, 도시는 생략하지만, 유저가 드래그 조작 & 드롭 조작에 의해서 소망의 영역을 채워넣기(fill in)하는 조작을 행하여, 셰이딩하고 싶지 않은 영역을 지정하도록 해도 좋다.
5-2. 유저 조작에 의한 셰이딩 정도의 변경
또한, 상기와 같이 강조하고 싶은 영역 이외의 영역에 대해서 셰이딩 처리를 실시하는 경우에 있어서, 대상으로 하는 영역을 셰이딩하는 정도가 유저 조작에 의해서 조정 가능하게 해도 좋다. 구체적으로는, 예컨대, 표시화면에 대한 핀치조작에 대응하여, 셰이딩 처리에 있어서의 셰이딩 정도를 변경하여, 셰이딩 처리를 실시하도록 해도 좋다.
구체적으로는, 예컨대, 전 초점화상이 표시된 표시화면에 있어서, 유저에게 강조 표시시킬 영역을 핀치조작에 의해서 지정시킨다. 이 경우, 예컨대, 핀치조작에 의해서 접촉한 2개의 손가락의 중심위치를 산출하고, 산출한 중심위치의 화소와 깊이 맵 상에 있어서 동일한 심도가 되는 화소로 이루어지는 영역을 포커싱 대상영역으로서 설정하고, 포커싱 대상영역 이외의 영역에는 셰이딩 처리의 대상으로 하는 셰이딩 대상영역으로서 설정하여, 상기 셰이딩 대상영역에 대해서 셰이딩 처리를 행하도록 해도 좋다.
이 경우, 유저의 핀치조작에 대응하여, 셰이딩 처리에 있어서의 셰이딩 정도를 변경하여, 셰이딩 대상영역에 대한 셰이딩 처리를 행한다. 구체적으로는, 핀치아웃 조작이 이루어진 경우는, 셰이딩 정도를 단계적으로 높게 하여, 셰이딩 대상영역에 대한 셰이딩 처리를 행한다. 또한, 핀치인 조작이 이루어진 경우에는, 그 핀치인 조작에 대응하여, 셰이딩 정도를 단계적으로 낮게 하여, 셰이딩 대상영역에 대한 셰이딩 처리를 행한다.
도 26은, 이 경우에 있어서의 셰이딩 처리의 일례를 나타내는 도이다.
도 26에는, 미니카나 인형을 포함하는 복수의 피사체가 찍힌 전 초점화상을 나타내고 있다. 이 화상에 있어서, 미니카를 목적의 피사체로 하고, 그 외의 피사체나 배경을 셰이딩하는 경우를 생각한다. 이 경우, 도 26의 (1)에 나타내는 바와 같이, 유저가 미니카의 화상 영역을 탭 하고, 2개의 손가락으로 핀치아웃 조작을 행하면, 처리부(10)는, 2개의 손가락의 간격(2개의 손가락이 접촉하고 있는 2점의 좌표 간격)이 넓어짐에 대응하여, 셰이딩 정도를 단계적으로 높게 하여, 미니카의 화상부분 이외의 화상 영역에 대한 셰이딩 처리를 행한다. 그 결과, 도 26의 (2)에 나타내는 바와 같이, 미니카의 화상 영역이 명료하게 표시되고, 그 외의 화상 영역이 셰이딩된 화상이 생성된다.
한편, 도 26의 (2)에 있어서, 유저가 미니카의 화상 영역에 대해서 2개의 손가락으로 핀치인 조작을 행하면, 처리부(10)는, 2개의 손가락의 간격(2개의 손가락이 접촉하고 있는 2점의 좌표 간격)의 좁아짐에 대응하여, 셰이딩 정도를 단계적으로 낮게 하여, 미니카 이외의 화상 영역에 대한 셰이딩 처리를 행한다. 그 결과, 서서히 도 26의 (1)의 표시상태로 돌아온다.
또한, 상기의 셰이딩 정도를 변경하는 경우에 있어서, 깊이 맵 상에서 동일한 심도에 있는 화소로 이루어지는 영역 단위로, 셰이딩 정도를 개별적으로 설정하여, 셰이딩 처리를 행하도록 해도 좋다. 구체적으로는, 핀치조작에서 화면에 접촉하고 있는 2개의 손가락의 중심위치의 심도를 기준심도로 하고, 기준심도에 있는 화소로 이루어지는 영역에 대해서는, 소정의 기준 셰이딩 정도로 셰이딩 처리를 행하거나, 또는, 상기 영역에 대해서는 셰이딩 처리를 행하지 않게 한다. 또한, 기준심도로부터 심도가 가까운 순서대로 영역을 설정하고, 기준심도로부터 멀어진 심도의 화소로 이루어지는 영역일수록, 상기의 기준 셰이딩 정도로부터 셰이딩 정도를 단계적으로 높게 하는 등 해도 좋다.
예컨대, 핀치아웃 조작에 의해서 셰이딩 정도를 높게 하는 경우에 있어서, 심도가 동일한 화소로 이루어지는 영역을, 초점거리가 가까운 순서대로, 영역 A ~ 영역 D로 한다. 이 경우, 핀치조작에서 화면에 접촉하고 있는 2개의 손가락의 중심위치의 화소가 영역 B에 포함되는 경우, 영역 B에 대해서는 셰이딩 정도를 20%로 설정하고, 영역 A 및 영역 C에 대해서는 셰이딩 정도를 50%로 설정하고, 영역 D에 대해서는 셰이딩 정도를 80%로 설정하여, 각 영역 각각에 대해서, 상기 영역에 포함되는 전(全) 화소에 대해서, 대응하는 셰이딩 정도로 셰이딩 처리를 행하도록 해도 좋다.
이는, 환언하면, 핀치아웃 조작에 의해서 셰이딩 정도를 약하게 하는 효과를 부여하고 있다고도 말할 수 있다. 예컨대, 디폴트로서 각 영역의 셰이딩 정도를 100%로 설정해 두는 경우, 상기의 경우, 영역 B에 대해서는 셰이딩 정도를 100%→20%로 함으로써 셰이딩의 정도를 크게 약하게 하고, 영역 A 및 영역 C에 대해서는 셰이딩 정도를 100%→50%로 함으로써 셰이딩의 정도를 절반으로 약하게 하고, 영역 D에 대해서는 셰이딩 정도를 100%→80%로 함으로써 셰이딩의 정도를 약간 약하게 하는 것이 되기 때문이다. 다만, 이 경우에 있어서, 영역 D에 대해서는 셰이딩 정도를 낮추지 않고 100%로 함으로써, 생성되는 강조화상에 콘트라스트가 나타나도록 해도 좋다.
다만, 상기와 같이, 목적의 피사체가 나타난 영역에 있어서 핀치인 조작이 행해진 경우에 셰이딩 정도를 단계적으로 낮게 하여 셰이딩 처리를 행하는 것에 한정하지 않고, 화상 중의 임의의 영역에 있어서 핀치인 조작이 이루어진 경우에, 셰이딩 정도를 단계적으로 낮게 하여 셰이딩 처리를 행하도록 해도 좋다. 또한, 화상 중의 임의의 영역에 있어서 핀치인 조작이 아니라 핀치아웃 조작이 이루어진 경우에, 셰이딩 정도를 단계적으로 낮게 하여 셰이딩 처리를 행하도록 해도 좋다.
6. 제6 실시예
임의의 초점거리 범위에 대해서 포커싱으로서 화상을 자유롭게 생성 가능하게 하기 위해서, 출력화상의 생성시 또는 출력화상의 생성 후의 편집화면에 있어서, 초점거리 범위를 유저가 지정하기 위한 초점거리 슬라이더를 출력화상 또는 출력화상의 외측에 표시시켜서, 유저가 임의의 초점거리 범위를 지정 가능하게 해도 좋다. 다만, 본 실시예에 있어서, 초점거리와 심도는 1대1로 대응하고 있다.
도 27은, 초점거리 슬라이더의 일례를 나타내는 도이다.
도 27에는, 토끼의 인형이 중심부에 전경으로서, 나무나 건물이 배경으로서 표시된 출력화상의 일례를 나타내고 있다. 또한, 출력화상의 좌하부에는, 횡방향의 바(bar)로 나타내는 초점거리 슬라이더(S1)가 표시되어 있다. 초점거리 슬라이더(S1)는, 좌측으로 갈수록 초점거리가 가깝고(near), 우측으로 갈수록 초점거리가 먼(far) 것을 의미하고 있다.
초점거리 슬라이더(S1)에는, 유저가 초점거리의 하한을 지정하기 위한 우향의 삼각형 형상의 하한지정용 아이콘과, 유저가 초점거리의 상한을 지정하기 위한 좌향의 삼각형 형상의 상한지정용 아이콘이 초점거리 슬라이더(S1)의 바 상에 표시되어 있고, 이들의 아이콘을 유저가 드래그 조작에 의해서 좌우에 이동시킴으로써, 유저는 임의의 초점거리 범위를 지정하는 것이 가능하게 구성되어 있다.
초점거리 범위를 변화시키면, 처리부(10)는, 기억부(80)에 기억되어 있는 깊이 맵을 참조하여, 지정된 초점거리 범위에 대응하는 심도의 화소를 특정한다. 그리고, 특정한 화소에 대해서는 포커싱으로 하고, 그 외의 화소에 대해서는 비포커싱으로 한 화상을 생성한다. 다만, 비포커싱으로 하는 화소에 대해서는, 상기 화소의 초점거리가 지정된 초점거리 범위로부터 멀수록, 셰이딩 정도를 높게 하여 셰이딩 처리를 행하는 등 하면 바람직하다. 이와 같이 함으로써, 지정된 초점거리 범위에 포함되지 않는 화소로 이루어지는 영역에 대해서는, 지정된 초점거리 범위로부터 초점거리가 멀어짐에 따라서 셰이딩의 정도가 강해진, 위화감이 없는 자연스러운 화상이 생성되게 된다.
도 27의 (1)에 나타내는 바와 같이, 초점거리 슬라이더(S1)의 초점거리 범위를 초점거리가 가까운 쪽(전경측)으로 변화시키면, 전경인 토끼의 인형이 강조되고, 배경인 나무나 건물이 셰이딩된 화상이 생성된다. 한편, 도 27의 (2)에 나타내는 바와 같이, 초점거리 슬라이더(S1)의 초점거리 범위를 초점거리가 먼 쪽(배경측)으로 변화시키면, 배경인 나무나 건물이 강조되고, 전경인 토끼의 인형이 셰이딩된 화상이 생성된다.
또한, 유저의 탭 조작을 검지한 경우에, 깊이 맵에 근거하여, 탭 위치의 근방의 소정범위에 포함되는 화소의 초점거리에 대응하는 심도를 판정하고, 판정한 심도를 초점거리 슬라이더(S1)에 있어서의 초점거리 범위에 반영시키는 것으로 해도 좋다.
예컨대, 도 27의 (3)에 나타내는 바와 같이, 유저에 의해서 배경인 나무의 부분이 탭 된 경우, 그 탭 위치를 중심으로 하는 소정의 반경의 원에 포함되는 화소를 근방범위 화소로 하고, 이 근방범위 화소의 심도 중 최소심도 및 최대심도를 판정한다. 그리고, 판정한 최소심도 및 최대심도에 대응시키도록, 초점거리 슬라이더(S1) 상의 하한지정용 아이콘 및 상한지정용 아이콘의 표시위치를 자동적으로 이동시키도록 해도 좋다.
또한, 강조화상 생성처리에 있어서, 유저가 화상 상의 임의의 위치를 탭 하여 그 위치와 동일한 초점거리에 있는 화소를 포커싱으로 하고, 다른 초점거리에 있는 화소를 비포커싱으로 한 강조화상을 생성할 때에, 어느 화소가 포커싱이 되는지(또는 비포커싱이 되는지)를 유저에게 나타낼 수 있도록, 탭 위치와 동일 초점거리에 있는 화소를, 다른 초점거리에 있는 화소와 구별하는 표시를 행함으로써 해도 좋다.
구체적으로는, 처리부(10)는, 유저에 의한 탭 위치에 포함되는 화소를 판정한다. 이 경우, 예컨대, 처리부(10)는, 탭 위치의 중심에 위치하는 화소를 특정하고, 이를 처리대상화소로 한다. 그리고, 처리부(10)는, 깊이 맵을 참조하여, 처리대상화소와 동일한 초점거리의 화소를 특정하고, 이들 화소를 플래시 표시하는 등 하여, 유저가 다른 화소와 구별할 수 있도록 한다.
도 28은, 이 경우에 있어서의 화상의 구별표시의 일례를 나타내는 도이며, 토끼의 인형이 중심부에 전경으로서, 나무나 건물이 배경으로서 표시된 출력화상의 일례를 나타내고 있다.
도 28의 (1)에 나타내는 바와 같이, 유저가 전경인 토끼의 인형의 동체 부분을 탭 하면, 탭 위치에 대응하는 화소가 판정되고, 동일한 초점거리에 있는 화소가 플래시 표시된다. 설명의 간명화를 위하여, 토끼의 인형을 구성하는 화소의 초점거리가 모두 동일하다고 하면, 도 28의 (1)에 나타내는 바와 같이, 토끼의 인형을 구성하는 화소가 구별표시의 대상이 되고, 토끼의 인형의 화상부분이 플래시 표시된다.
또한, 도 28의 (2)에 나타내는 바와 같이, 유저가 배경인 나무의 부분을 탭 하면, 탭 위치에 대응하는 화소가 판정되고, 동일한 초점거리에 있는 화소가 플래시 표시된다. 설명의 간명화를 위하여, 배경인 나무나 건물을 구성하는 화소의 초점거리가 모두 동일하다고 하면, 도 28의 (2)에 나타내는 바와 같이, 배경인 나무를 구성하는 화소가 구별표시의 대상이 되고, 배경의 화상부분이 플래시 표시된다.
다만, 상기의 구별표시로서, 동일한 초점거리에 있는 화소를, 그 외의 화소와는 다른 색으로 반투명으로 표시시키거나, 다른 색으로 채워넣기하여 표시시키거나, 소정의 모양이나 해칭을 실시하는 등 하여, 동일한 초점거리에 있는 화소의 구별표시를 실현해도 좋다.
7. 제7 실시예
상기의 실시예에 있어서, 촬상부(50)에 의해서 촬상이 행해진 후, 강조화상 생성처리에 있어서 강조화상이 생성될 때까지는 일정한 시간을 필요로 한다. 그 사이, 유저를 단지 기다리게 하는 것은 비효율적이기 때문에, 강조화상 생성처리에 있어서, 어느 화상부분을 포커싱/비포커싱으로 할지를 유저에게 지정시키는 처리를 사이에 두어도 좋다.
구체적으로는, 다른 초점거리에서 촬상된 복수의 촬영화상을 입력화상으로 하고, 이들의 입력화상의 특징으로서, 예컨대 엣지를 검출하는 처리를 행한다. 그리고, 각 입력화상 각각에 대하여, 상기 입력화상과 상기 입력화상에 대해서 생성된 엣지화상을 화소단위로 승산(乘算; 곱셈연산)함으로써 얻어지는 화상(이하, 「적 화상(積畵像)」이라 함)을 생성하고, 이 적 화상을 참조용 화상으로 하여 초점거리가 가까운 순서(또는 먼 순서)대로 순차적으로 표시한다. 일순(一巡) 했다면, 그 표시를 반복한다.
유저는, 순차적으로 표시되는 적 화상을 열람하고, 포커싱시키고 싶은 피사체가 명료하게 표시되고 있는 적 화상이 표시되었을 때에, 그 화상을 선택하기 위한 선택조작(예컨대 탭 조작)을 행한다. 이 경우, 유저의 선택조작에 의해서 선택된 적 화상에 대응하는 입력화상을 특정하고, 상기 입력화상의 초점거리에 있는 화소를 포커싱으로 하고, 그 외의 화소를 비포커싱으로 한 화상을 생성하여 표시한다.
도 29는, 이 경우에, 처리부(10)가, 도 8의 강조화상 생성처리 대신에 실행하는 제4의 강조화상 생성처리의 흐름의 일례를 나타내는 플로우차트이다.
맨 먼저, 처리부(10)는, 적 화상 생성처리를 행한다(스텝 K1). 구체적으로는, 복수의 입력화상 각각에 대하여, 상기 입력화상과, 스텝 A11의 엣지검출처리에 있어서 상기 입력화상에 대해서 얻어진 엣지화상과의 곱을 산출한 적 화상을 생성한다.
다만, 입력화상과 엣지화상과의 적 화상은 명도가 낮아지는 경우가 있기 때문에, 생성한 적 화상에 대해서 명도를 올리는 처리를 행하도록 하면 바람직하다.
다음으로, 표시제어부(127)는, 최초의 적 화상을 표시부(30)에 표시시키는 제어를 행한다(스텝 K3). 구체적으로는, 예컨대, 초점거리가 가장 짧은 입력화상에 대응하는 적 화상, 또는, 초점거리가 가장 긴 입력화상에 대응하는 적 화상을 표시부(30)에 표시시킨다.
그 후, 처리부(10)는, 터치패널(21)에 대한 탭 조작이 이루어졌는지 아닌지를 판정하고(스텝 K5), 이루어지지 않았다고 판정했다면(스텝 K5; No), 최초의 적 화상의 표시를 개시하고 나서 소정시간(예컨대 1분)이 경과했는지 아닌지를 판정한다(스텝 K7).
소정시간이 경과하고 있지 않다고 판정했다면(스텝 K7; No), 표시제어부(127)는, 다음의 적 화상을 표시부(30)에 표시시키도록 제어한다(스텝 K9). 그리고, 처리부(10)는, 스텝 K5로 처리를 되돌린다.
한편, 탭 조작이 이루어졌다고 판정했다면(스텝 K5; Yes), 처리부(10)는, 상기 적 화상에 대응하는 입력화상의 초점거리를 특정한다(스텝 K11). 그리고, 강조화상 생성부(123)가, 강조화상을 생성한다(스텝 K13). 구체적으로는, 깊이 맵이 생성된 기억부(80)에 기억이 완료된 상태인 경우는, 기억부(80)에 기억되어 있는 깊이 맵에 근거하여, 스텝 K11에서 특정한 초점거리에 대응하는 심도의 화소를 포커싱으로 하고, 그 외의 화소에 대해서는 셰이딩 처리를 실시하여 비포커싱으로 한 강조화상을 생성한다. 깊이 맵이 생성이 완료된 상태가 아닌 경우에는, 깊이 맵이 생성될 때까지 대기한다.
다음으로, 표시제어부(127)는, 생성된 강조화상을 표시부(30)에 표시시키도록 제어한다(스텝 K15). 그리고, 처리부(10)는, 제4의 강조화상 생성처리를 종료한다.
한편, 스텝 K7에 있어서 소정시간이 경과했다고 판정했다면(스텝 K7; Yes), 처리부(10)는, 디폴트 입력화상의 초점거리를 특정한다(스텝 K17). 여기서, 디폴트 입력화상은, 예컨대, 초점거리가 가장 짧은 입력화상이나, 초점거리가 가장 긴 입력화상으로 할 수 있다. 그리고, 처리부(10)는, 스텝 K13로 처리를 이행한다.
상기의 처리에 의하면, 어느 초점거리를 포커싱시킬지는 유저의 취향에 의하기 때문에, 포커싱시키는 위치를 자동적으로 결정하는 것은 곤란하지만, 강조화상 생성처리의 실행 중에 유저에게 포커싱시키는 위치를 지정시킴으로써, 이 문제를 해소할 수 있다. 또한, 강조화상 생성처리의 실행 중에 단순하게 유저를 기다리게 한다고 하는 비효율도 해소할 수 있다.
다만, 스텝 K1의 적 화상 생성처리를 생략하고, 스텝 K3에 있어서, 표시제어부(127)가, 예컨대, 촬상부(50)에 의해서 촬상된 복수의 입력화상을, 참조용 화상으로서 순차적으로 표시시키도록 해도 좋다. 또한, 촬상부(50)에 의해서 촬상된 복수의 입력화상에 대해서 각각 특징(예컨대 엣지)을 검출한 특징검출 화상이나, 복수의 입력화상에 대해서 각각 콘트라스트 보정을 행한 콘트라스트 보정화상 등의 화상을, 참조용 화상으로서 순차적으로 표시시키도록 해도 좋다.
8. 제8 실시예
제8 실시예는, 입력화상에 하이라이트 클리핑(시로토비)이 발생하고 있는 경우를 상정하고, 하이라이트 클리핑영역에 대해서 효과를 발휘하는 셰이딩 처리(이하, 「하이라이트 클리핑효과 셰이딩 처리」라 함)에 관한 실시예이다. 하이라이트 클리핑을 포함하는 영역에 있어서는, 광의 세기에 응하여 팽창하도록 셰이딩을 실시하는 것이 바람직하다. 그러나, 단순한 컨벌루션 연산(공간적인 가중평균)을 행하는 필터를 이용하여, 하이라이트 클리핑영역을 포함하는 입력화상에 대한 셰이딩 처리를 행한 경우, 현실의 세계와 괴리된 부자연스러운 셰이딩 결과의 화상이 얻어져버린다.
여기서, 통상의 셰이딩 처리는, 다음 식 (5)로 주어진다.
Figure 112014104667801-pat00005
단, "x"는 화소를, "I(x)"는 셰이딩 대상 화상의 화소 x의 화소값을, "I＇(x)"는 셰이딩 화상의 화소 x의 화소값을, "w(n)"은 공간적인 가중치(셰이딩 커널)을, "n"은 화소 x의 근방화소를 나타낸다.
하이라이트 클리핑영역에 대해서는, 본래의 광의 세기가 불명료하게 되어 버리고 있는 것이 문제이다. 8비트로 나타낸 해조값이 포화되어 버리는 것에 의해, 본래 해조값이 256 이상인 화소의 해조값이 255로 보정되어 버린다. 즉, "L(x)"를 화소 x에 있어서의 광의 강도로 한 경우, 「I(x) = min(L(x), 255)」로서 화소값이 산출되어 버린다. 이로 인하여, 식 (5)을 이용하여 셰이딩 처리를 행한 경우, 부당하게 낮게 가중평균되어 버린다. 그 결과, 하이라이트 클리핑영역에 팽창이 발생하지 않게 된다.
여기서, 본 실시예에서는, 다음 식 (6) 및 (7)에 따라서 셰이딩 처리를 행한다.
Figure 112014104667801-pat00006
Figure 112014104667801-pat00007
즉, 포화된 화소값을 이용하여 가중평균을 행하는 것이 아니라, 광의 강도에 대한 가중평균을 행하고, 이 가중평균으로 구해진 광의 강도를 이용하여 입력화상의 화소값을 수정함으로써, 셰이딩 결과의 화상의 화소값을 얻는다.
또한, 상기의 문제를 회피하기 위한 다른 수법으로서, 하이라이트 클리핑영역에 대해서 큰 가중치를 설정하여 화소값을 가중평균하는 것을 생각할 수 있다. 구체적으로는, 예컨대, 다음 식 (8)에 따라서 가중평균을 행한다.
Figure 112014104667801-pat00008
식 (8)에 있어서, "w2"는 하이라이트 클리핑영역에 대한 가중치이며, 하이라이트 클리핑영역에 포함되는 화소값만큼(클수록) 커지는 값을 설정해 둘 수 있다. 구체적으로는, 예컨대, 다음 식 (9) ~ (11)의 어느 일방에 따라서 가중치 "w2"를 산출하여 설정할 수 있다.
Figure 112014104667801-pat00009
Figure 112014104667801-pat00010
Figure 112014104667801-pat00011
단, 식 (11)에 있어서의 "s"는 적당한 파라미터값이다.
도 32는, 이 경우에, 처리부(10)가 실행하는 하이라이트 클리핑효과 셰이딩 처리의 흐름의 일례를 나타내는 플로우차트이다.
맨 먼저, 처리부(10)는, 처리대상으로 하는 화상인 처리대상 화상을 입력한다(스텝 L1). 그리고, 처리부(10)는, 입력한 처리대상 화상으로부터 하이라이트 클리핑영역을 검출하는 하이라이트 클리핑영역 검출처리를 행한다(스텝 L3).
다음으로, 처리부(10)는, 하이라이트 클리핑영역용의 가중치 "w2"를 화소단위로 설정한다(스텝 L5). 구체적으로는, 식 (9) ~ (11)의 어느 일방에 따라서, 각 화소 각각에 대해서, 하이라이트 클리핑영역용의 가중치 "w2"를 산출하여 설정한다.
다음으로, 처리부(10)는, 스텝 L5에서 설정한 하이라이트 클리핑영역용의 가중치 "w2"와, 처리대상화소의 화소값 "I"를 이용하여, 식 (8)에 따라서, 처리대상 화상의 화소값 "I"에 대한 가중평균 연산을 행하여, 수정된 화소값 "I′"로 구성되는 셰이딩 결과의 화상을 취득한다(스텝 L7). 그리고, 처리부(10)는, 하이라이트 클리핑효과 셰이딩 처리를 종료한다.
다만, 상기의 하이라이트 클리핑효과 셰이딩 처리에 있어서, 보다 현실적인 셰이딩을 행하기 위해서, 하이라이트 클리핑영역의 중앙일수록(가까울수록) 광의 강도가 커진다는 가정에 근거하는 모델을 적용하여, 셰이딩 처리를 행하도록 해도 좋다. 예컨대, 하이라이트 클리핑영역과 비하이라이트 클리핑영역과의 경계로부터의 거리에 대응하여, 하이라이트 클리핑영역용의 가중치 "w2"를 크게 설정해도 좋다. 구체적으로는, 공지의 경계 검출수법을 이용하여, 하이라이트 클리핑영역과 비하이라이트 클리핑영역과의 경계를 검출하는 처리를 행하고, 상기 하이라이트 클리핑영역에 포함되는 화소에 대해서, 검출한 경계로부터의 거리가 긴 위치에 존재하는 화소일수록, 하이라이트 클리핑영역용의 가중치 "w2"에 큰 값을 설정하여, 화소값 "I"에 대한 가중평균 연산을 행하도록 해도 좋다.
또한, 상기의 하이라이트 클리핑효과 셰이딩 처리 외에, 예컨대, 기준화상과 동일한 화각(angle of view)의 저노출 화상을 이용하여 하이라이트 클리핑영역의 진짜 화소값을 추정하고, 이 추정한 화소값 이용하여 셰이딩 처리를 행하도록 해도 좋다.
하이라이트 클리핑영역의 진짜 화소값의 추정에는, 여러 가지의 수법을 이용할 수 있다. 구체적으로는, 예컨대, 셰이딩의 기준으로 하는 기준화상과 저노광 화상의 2매의 화상의 대응하는 2점(단, 하이라이트 클리핑영역을 제외함)의 화소값을, 상술한 「y = a·xb」로 나타내는 노출변환 함수에 적용시키고, 최소이승법에 의해서, 노출변환 함수에 포함되는 (a, b)의 노출변환 파라미터의 값을 산출한다. 그리고, 산출한 노출변환 파라미터 (a, b)의 값을 이용하여, 저노광 화상의 화소값을 변환함으로써, 하이라이트 클리핑영역의 진짜 화소값을 추정한다.
상기의 하이라이트 클리핑을 고려한 각종 셰이딩 처리는, 예컨대, 제1 실시예나 제2 실시예에서 설명한 바와 같은 핀트 위치를 어긋나게 하여 복수 매의 화상을 취득하는 포커스 브래킷 방식에 의해서 촬상된 복수의 촬영화상(입력화상)이나, 제3 실시예에서 설명한 바와 같은 시차(視差) 방식에 의해서 촬상된 복수의 촬영화상(입력화상)을 처리대상 화상으로 하여 적용하는 것이 가능하다.
즉, 상기의 각종 실시예에서 설명한 화상처리를 실행하기 위한 화상처리 프로그램의 서브루틴으로서, 상기의 하이라이트 클리핑효과 셰이딩 처리를 실행하기 위한 하이라이트 클리핑효과 셰이딩 처리 프로그램을 기억부(80)에 기억하게 해두고, 처리부(10)가, 화상처리 프로그램에 따라서 실행하는 화상처리에 있어서, 하이라이트 클리핑효과 셰이딩 처리 프로그램을 읽어내서 실행함으로써, 각각의 방식으로 촬상된 화상에 대해서, 하이라이트 클리핑을 고려한 효과적인 셰이딩을 실현하는 것이 가능해진다.
9. 변형예
본 발명을 적용 가능한 실시예는, 상기의 실시예에 한정되지 않고, 본 발명의 취지를 일탈하지 않는 범위에서 적절하게 변경 가능하다는 것은 물론이다. 이하, 변형예에 대해서 설명하는데, 상기의 실시예와 동일한 구성에 대해서는 동일한 부호를 부여하고, 반복 설명을 생략한다.
9-1. 화상처리장치
상기의 실시형태에서는, 화상처리장치를 스마트폰으로 한 경우의 실시형태에 대해서 설명했지만, 화상처리장치로서 적용 가능한 전자기기는 스마트폰에 한정되는 것은 아니다. 예컨대, 카메라나 디지털카메라, 타블렛 단말, PDA 등의 전자기기를 화상처리장치로 하여 적용해도 좋은 것은 물론이다. 촬상부를 구비한 전자기기이면, 여러 가지의 전자기기에 본 발명의 화상처리장치를 적용하는 것이 가능하다.
또한, 예컨대, 화상처리장치에 있어서 표시부에 표시된 깊이 맵이나 전 초점화상에 근거하여 유저가 심도를 선택하고, 선택된 심도에 근거하여 생성한 강조화상을, 소정의 정보처리장치의 표시부에 표시시키도록 해도 좋다. 구체적으로는, 예컨대, 유저는, 손에 가지고 있는 스마트폰과 퍼스널컴퓨터를 통신 접속한다. 그리고, 유저는, 스마트폰의 디스플레이에 표시된 깊이 맵이나 전 초점화상에 근거하여 심도를 선택한다. 스마트폰은, 유저에 의해 선택된 심도에 근거하여 강조화상을 생성하고, 상기 강조화상을 퍼스널컴퓨터에 송신한다. 퍼스널컴퓨터는, 스마트폰으로부터 수신한 강조화상을 디스플레이에 표시시키고, 유저는 퍼스널컴퓨터의 표시화면에서 강조화상을 확인한다.
다만, 이 경우에 있어서, 스마트폰으로부터 화상데이터 일체를 퍼스널컴퓨터에 송신하도록 하고, 스마트폰 대신에 퍼스널컴퓨터가 강조화상을 생성하여, 퍼스널컴퓨터의 디스플레이에 표시시키도록 해도 좋다. 이 경우는, 스마트폰 및 퍼스널컴퓨터가, 본 발명에 있어서의 화상처리장치가 된다.
9-2. 특징량
상기의 실시형태에서는, 초점거리를 변경하여 촬상된 심도가 다른 복수의 입력화상으로부터 특징으로서 엣지를 검출하고, 그 엣지강도를 특징량으로서 이용하여 심도를 추정하는 경우를 예로 들어 설명했지만, 이에 한정되는 것은 아니다.
예컨대, 엣지강도와 동일하게 포커싱도와 정(플러스)의 상관이 있는 특징량으로서, 가우스 함수의 차로 나타내는 DoG(Difference of Gaussian)값을 특징량으로서 검출하는 것으로 해도 좋다. 이 경우는, 복수의 입력화상 각각에 대하여, 예컨대, 표준편차 σ(분산 σ2)가 다른 2개의 가우시안 필터를 이용한 필터처리를 실시함으로써, 표준편차 σ가 다른 2매의 평활화 화상을 얻는다. 그리고, 복수의 입력화상 각각에 대하여, 2매의 평활화 화상의 차분을 산출함으로써, DoG 화상을 얻는다. 이와 같이 하여 얻어진 DoG 화상의 각 화소의 화소값(DoG값)을 특징량으로서 이용하여, 상기의 실시형태와 동일한 적절해 연산처리를 행하여, 각 화소에 대해서 심도를 추정한다. 이 경우도, 각 화소에 대해서 포커싱도가 반영된 깊이 맵을 생성할 수 있다.
또한, 포커싱도 이외의 평가지표로서, 예컨대, 화상의 배경 정도(度合)를 특징량으로서 검출하고, 검출한 배경 정도를 특징량으로서 이용하여, 상기의 실시형태와 동일한 적절해 연산처리를 행하여, 각 화소에 대해 배경 정도가 반영된 맵을 얻는 것으로 해도 좋다. 이 경우는, 복수의 입력화상 중 배경이 나타나 있는 입력화상이 우선적으로 선택되고, 각 화소에 대해 배경 정도가 반영된 맵이 생성된다.
이들 외에는, 예컨대, 화상 중에서 사용되고 있는 대표색과 그 색의 비율, 색 분포 등의 색 특징을 특징량으로서 검출해도 좋다. 또한, 화상 중에 포함되는 규칙적인 패턴인 텍스쳐를 특징량으로서 검출해도 좋다. 또한, 화상 중의 오브젝트의 형상을 특징량으로서 검출해도 좋다. 또한, 방위선택성 필터를 이용하여 특정의 방위정보를 특징량으로서 검출해도 좋다. 어느 쪽이든, 특징량이 포커싱도의 지표라면, 포커싱도를 반영한 맵이 얻어지고, 특징량이 다른 평가지표이면, 상기 평가지표를 반영한 맵이 얻어지게 된다.
9-3. 적절해 연산처리
상기의 실시형태에서는, 적절해 연산처리로서, 식 (1)의 에너지함수를 이용하여 스코어값을 산출하고, 스코어값이 최대가 된 입력화상을 포커싱되어 있는 입력화상으로 판정함으로써 하여 설명했지만, 식 (1) 대신에 다음 식 (12)의 에너지함수를 이용하여 스코어값을 산출하고, 스코어값이 최소가 된 입력화상을 포커싱되어 있는 입력화상으로 판정함으로써 해도 좋다.
Figure 112014104667801-pat00012
식 (12)에서는, 식 (1)의 우변의 각 항이 마이너스가 아니라 플러스로 되어 있다. 이 식은, 대상화소에 대해서, 상기 대상화소의 대응하는 엣지화상의 엣지강도에 대응한 코스트값을 스코어값에 가산함과 함께, 상기 대상화소에 대해서 포커싱되어 있다고 하는 제1의 입력화상과 상기 대상화소의 근방화소에 대해서 포커싱되어 있다고 하는 제2의 입력화상이 다른 경우에는 패널티값을 스코어값에 가산하는 것을 의미하고 있다. 그리고, 스코어값이 소정의 낮은 값 조건을 만족하는 입력화상을 포커싱되어 있는 입력화상으로 판정한다.
식 (12)의 에너지함수를 1 차원으로 확장한 식 (2)에 대응하는 식은, 다음 식 (13)과 같이 나타낸다.
Figure 112014104667801-pat00013
또한, 식 (1)의 에너지함수를 이용하는 경우는, 스코어값이 최대가 되는 입력화상을 포커싱되어 있는 입력화상으로 판정했지만, 이 수법은 일례에 지나지 않는다. 예컨대, 입력화상의 수가 N개인 경우는, 예컨대, 스코어값이 큰 순서대로 소정비율(예컨대 3할)의 수의 스코어값을 특정하고, 그 중에서 스코어값을 하나 선택하여, 포커싱되어 있는 입력화상을 판정하는 것으로 해도 좋다. 즉, 스코어값이 최대인 것을 선택할 필요는 없고, 2번째나 3번째로 큰 스코어값을 선택하도록 해도 좋다. 이는, 스코어값이 소정의 높은 값 조건을 만족하는 입력화상을 포커싱되어 있는 입력화상으로 판정하는 것을 나타내는 일례이다.
동일하게 식 (12)의 에너지함수를 이용하는 경우에는, 스코어값이 작은 순서대로 소정비율(예컨대 3할)의 수의 스코어값을 특정하고, 그 중에서 스코어값을 하나 선택하도록 해도 좋다. 이는, 스코어값이 소정의 낮은 값 조건을 만족하는 입력화상을 포커싱되어 있는 입력화상으로 판정하는 것을 나타내는 일례이다.
9-4. 표시용 화상
상기의 실시형태에서는, 깊이 맵에 근거하여 생성한 전 초점화상을 표시용 화상으로서 표시부(30)에 표시시키는 것으로 하여 설명했지만, 반드시 전 초점화상을 표시부(30)에 표시시키지 않으면 안 되는 것은 아니다.
구체적으로는, 전 초점화상 대신에, 복수의 입력화상 중에서 선택한 대표화상을 표시용 화상으로서 표시부(30)에 표시하는 것으로 해도 좋다. 이 경우는, 예컨대, 가장 최초에 촬상된 입력화상이나, 가장 마지막에 촬상된 입력화상, 초점거리가 중간값에 가장 가까운 입력화상을 대표화상으로서 선택할 수 있다.
또한, 이 외에도, 깊이 맵을 표시용 화상으로서 표시부(30)에 표시시켜도 좋고, 복수의 입력화상 중 임의의 입력화상을 합성한 합성화상을 표시용 화상으로서 표시부(30)에 표시시키는 것으로 해도 좋다.
어느 쪽이든, 유저는, 표시부(30)에 표시된 상기의 표시용 화상을 열람하면서, 조작부(20)를 조작하여, 화상 중의 수정하고 싶은 부분을 선택하게 된다.
9-5. 심도선택창의 표시
표시제어부(127)가, 표시부(30)에 소정의 표시용 화상을 표시시키도록 제어하고, 그 표시화면의 소정위치에, 심도를 유저에게 선택시키기 위한 심도선택용 조작창을 표시시키는 제어를 행하는 것으로 해도 좋다. 이 경우, 유저는, 입력부(20)를 통하여 심도선택용 조작창으로부터 심도를 선택한다.
도 17은, 이 경우의 표시화면의 일례를 나타내는 도이며, 전 초점화상이 표시부(30)에 표시된 상태를 나타내고 있다. 다만, 전경인 토끼의 인형 부분만을 도시하고, 배경인 나무의 부분에 대해서는 도시를 생략하고 있다. 이 도를 보면, 표시화면의 좌하부에, 유저가 심도를 선택하기 위한 심도선택용 조작창(W1)이 표시되어 있다. 심도선택용 조작창(W1)은, 심도별로 나눠진 세로로 긴 게이지로 나타내고 있고, 유저는 게이지의 중앙부에 나타난 심도선택용 바 BAR를 탭 조작에 의해 상하로 움직여서, 심도를 선택 가능하게 구성되어 있다.
도 18은, 이 경우에 강조화상 생성부(123)가 실행하는 제2의 강조화상 생성처리의 흐름을 나타내는 플로우차트이다. 다만, 도 8에 나타낸 강조화상 생성처리와 동일한 스텝에 대해서는 동일한 부호를 부여하고, 반복 설명을 생략한다.
강조화상 생성부(123)는, 최초에 유저 조작을 판정한다(스텝 H1). 유저 조작이 표시화면 중의 화상의 탭 조작이라고 판정했다면(스텝 H1; 화상의 탭 조작), 강조화상 생성부(123)는, 탭 된 영역(탭 영역)을 지정영역으로 판정한다(스텝 H2). 그리고, 강조화상 생성부(123)는, 스텝 D3로 처리를 이행한다.
한편, 유저 조작이 심도선택용 조작창의 아이콘에 대한 조작이라고 판정했다면(스텝 H1; 심도선택용 조작창의 아이콘 조작), 강조화상 생성부(123)는, 아이콘의 이동목적지(移動先)의 심도(아이콘에 의해 선택된 심도)를 판정한다(스텝 H3). 그리고, 강조화상 생성부(123)는, 깊이 맵을 참조하여, 판정한 심도에 대응하는 화소를 특정한다(스텝 H5). 그리고, 강조화상 생성부(123)는, 특정한 화소에 근거하여 강조화상을 생성한다(스텝 H7). 구체적으로는, 셰이딩 필터를 이용하여, 제1의 셰이딩 정도로 전 초점화상의 전체를 셰이딩하는 처리를 행한다. 그리고, 셰이딩 처리의 결과로서 얻어지는 셰이딩 화상에, 스텝 H5에서 특정한 화소의 화소값을 합성함으로써, 강조화상을 생성한다.
9-6. 다시 셰이딩 처리
상기의 실시형태에서 설명한 강조화상 생성처리에 있어서, 유저 조작이 검지된 경우에, 유저에 의해 지정된 화상 상의 영역이 셰이딩 처리가 행해진 영역인지 아닌지를 판정하고, 그 판정결과가 긍정 판정인 경우에, 상기 영역의 셰이딩 정도를 소정의 셰이딩 정도와는 다른 셰이딩 정도로 하여 강조화상에 대해서 다시 셰이딩 처리를 행하도록 해도 좋다.
구체적으로는, 강조화상 생성처리에 있어서 셰이딩 처리가 된 부분 중, 소정의 부분을 유저가 터치패널(21)을 통하여 탭 하면, 처리부(10)는, 그 부분이 이미 셰이딩 처리가 행해진 부분(이하, 「셰이딩 완료부분」이라 칭함)인지 아닌지를 판정한다. 그리고, 셰이딩 완료부분이라고 판정했다면, 처리부(10)는, 그 셰이딩이 완료된 부분의 셰이딩 정도를 강하게 하거나, 아니면 약하게 하거나를 유저에게 확인하는 확인알림을 행한다. 셰이딩 정도를 약하게 하는 것이 유저에 의해 선택된 경우는, 처리부(10)는, 셰이딩이 완료된 부분에 대해서, 셰이딩 정도를 규정의 셰이딩 정도보다 작게 하여, 셰이딩 처리를 행한다. 한편, 셰이딩 정도를 강하게 하는 것이 유저에 의해 선택된 경우는, 처리부(10)는, 셰이딩이 완료된 부분에 대해서, 셰이딩 정도를 규정의 셰이딩 정도보다 크게 하여, 셰이딩 처리를 행한다. 그리고, 셰이딩 처리를 행한 결과의 강조화상을 표시부(20)에 표시시키도록 제어한다.
9-7. 유저 조작
상기의 실시형태에서는, 유저가 강조화상의 생성이나 강조화상의 수정을 행할 때의 조작을, 터치패널(21)에 대한 탭 조작이나 드래그 조작으로서 설명했지만, 반드시 터치패널(21)에 대한 유저 조작에 따라서 강조화상의 생성이나 강조화상의 수정을 행하지 않으면 안 되는 것은 아니다.
예컨대, 화상처리장치가 조작버튼(십자키를 포함함)을 구비하는 경우에는, 이 조작버튼의 조작에 따라서, 강조화상의 생성이나 강조화상의 수정을 행하는 것으로 해도 좋다. 이 경우는, 예컨대, 표시부(30)에 전 초점화상이 표시되고 있는 상태에서 화상 상의 위치를 지정시키기 위한 지정용 아이콘(예컨대 화살표의 아이콘)을 표시시키고, 유저가 조작버튼을 이용하여 이 지정용 아이콘을 움직여서, 표시용 화상 중의 강조하고 싶은 부분을 지정하도록 해도 좋다. 또한, 표시부(30)에 강조화상이 표시되고 있는 상태에서 화상 상의 위치를 지정시키기 위한 상기의 지정용 아이콘을 표시시키고, 유저가 조작버튼을 이용하여 이 지정용 아이콘을 움직여서, 강조화상 중의 수정하고 싶은 부분을 지정하도록 해도 좋다.
9-8. 강조화상의 생성
상기의 실시형태에서는, 전 초점화상에 근거하여 강조화상을 생성하는 것으로 하여 설명했다. 구체적으로는, 전 초점화상에 대해서 셰이딩 처리를 실시한 화상에, 강조하고 싶은 부분의 심도의 입력화상의 화소값을 합성함으로써 강조화상을 생성했다. 그러나, 전 초점화상을 생성하지 않고, 입력화상만을 이용하여 강조화상을 생성하는 것도 가능하다.
구체적으로는, 예컨대, 유저에 의해 조작입력이 이루어진 경우에, 깊이 맵에 근거하여, 그 조작입력에 의한 강조해야 할 심도에 있는 입력화상 중의 대상화소의 화소값에, 그 심도 이외의 입력화상에 있어서의 대상화소 이외의 화소에 대해서 셰이딩 처리를 행한 것을 합성하여, 강조화상을 생성하도록 해도 좋다. 또한, 유저 조작에 의해 지정된 지정영역 중에서 선택한 화소의 대응하는 심도의 입력화상의 화소값에, 그 외의 심도의 입력화상의 화소값을 합성하여, 강조화상을 생성함으로써 해도 좋다. 즉, 유저의 조작입력에 의한 강조해야 할 심도에 있는 입력화상 중의 대상화소의 화소값을, 그 심도 이외의 심도에 상당하는 입력화상에 합성하여, 강조화상을 생성함으로써 해도 좋다.
9-9. 강조화상 생성 타이밍
유저가 탭 조작이나 드래그 조작을 행한 경우에 강조화상을 생성하는 것이 아니라, 다른 어떠한 액션을 트리거로 하여, 강조화상을 생성하도록 해도 좋다. 구체적으로는, 예컨대, 표시부(30)에 강조화상 생성의 지시를 행하게 하기 위한 버튼을 표시시키고, 터치패널(21)을 통하여 이 버튼이 눌러진 것을 검지한 경우에, 강조화상을 생성하도록 해도 좋다. 또한, 조작버튼을 구비하는 화상처리장치라면, 이 조작버튼의 누름을 검지하여, 강조화상을 생성하도록 해도 좋다.
또한, 화상처리장치에 진동을 검지하기 위한 센서(예컨대 가속도센서나 자이로센서 등의 관성센서)를 내장하고, 유저에 의해 화상처리장치를 흔드는 조작이 이루어진 것을 검지한 경우에, 강조화상을 생성하는 것으로 해도 좋다.
또한, 화상처리장치에 집음부(集音部)로서 마이크를 마련하고, 이 마이크에 대해서 소정의 음성이 입력된 것을 검지한 경우에, 강조화상을 생성하도록 해도 좋다. 이 경우는, 강조화상 생성의 트리거로 하는 수 종류의 음성을 디지털화한 음성데이터를 화상처리장치에 기억하게 하고, 마이크로부터 입력된 음성과 기억하고 있는 음성데이터를 대조하는 음성인식 처리를 행하여, 강조화상의 생성이 유저에 의해 지시되었는지 아닌지를 판정하는 등 하면 좋다. 이들 경우는, 예컨대, 강조 표시하는 심도를, 입력화상의 심도가 얕은 쪽으로부터 깊은 쪽으로, 혹은, 입력화상의 심도의 깊은 쪽으로부터 얕은 쪽으로 차례로 변화시켜서, 순차적으로 강조화상을 생성하고, 생성한 강조화상을 차례로 표시시키는 등 할 수 있다.
9-10. 핀치조작
유저가 터치패널(21)에 대한 핀치조작을 행한 경우에, 그 핀치조작에 따라서 표시화상의 확대·축소나 회전을 행하는 것으로 해도 좋다. 구체적으로는, 유저가 2개의 손가락으로 터치패널(21)을 탭 하고, 그 탭 한 2점 사이의 거리를 크게 하는/작게 하는 조작이 이루어진 것을 검지한 경우에, 예컨대 그 탭 된 2점 사이의 중심좌표에 대응하는 깊이 맵 상의 화소를 특정하고, 그 특정한 화소를 기준으로 하여 표시화상의 전체를 확대/축소함으로써 해도 좋다. 또한, 유저에 의해 2점 사이를 연결하는 직선의 각도를 변화시키도록 손가락을 돌리는 조작이 이루어진 것을 검지한 경우에, 예컨대 그 탭 된 2점 사이의 중심좌표에 대응하는 깊이 맵 상의 화소를 특정하고, 그 특정한 화소를 기준으로 하여 표시화상의 전체를 회전시키는 것으로 해도 좋다.
9-11. 심도의 재추정
상기의 실시형태에서는, 도 9의 강조화상 수정처리에 있어서, 드래그방향과 엣지방향과의 코사인 유사도에 근거하여 패널티값을 변경하고, 지정영역 내의 화소에 대해서 스코어값 연산처리를 실행하여, 심도를 재추정했다. 즉, 지정영역 내의 화소에 대해서 제2종 파라미터값을 변경하여 스코어값 연산처리를 실행했다. 그러나, 이에 비하여, 지정영역 내의 화소에 대해 코스트값을 변경하여, 스코어값 연산처리를 실행해도 좋다. 즉, 지정영역 내의 화소에 대해서 제1종 파라미터값을 변경하여 스코어값 연산처리를 실행하는 것으로 해도 좋다.
강조화상 수정처리에서는, 유저에 의해 지정된 지정영역에 있어서 엣지를 강조한 수정화상을 생성할 필요가 있다. 엣지를 강조하기 위해서는, 지정영역 내의 대표화소의 심도에 가까운 깊이의 입력화상으로부터 엣지에 상당하는 화소가 선택되도록 할 필요가 있다. 코스트값은 엣지강도의 역수(逆數)로서 산출되기 때문에, 엣지강도가 강할수록 코스트값은 작아진다. 즉, 엣지강도가 강한 화상일수록, 코스트값은 작아진다. 따라서, 가까운 깊이의 입력화상으로부터 엣지에 상당하는 화소를 선택하기 위해서는, 지정영역 내의 대표화소의 심도에 가까운 깊이의 입력화상에 대한 코스트값을 작게 하면 좋다. 코스트값은 입력화상마다 독립적으로 변경할 수 있다. 이로 인하여, 한 입력화상만 코스트값을 작게 함으로써 상기 입력화상이 선택되기 쉬워지도록 하거나, 반대로, 한 입력화상만 코스트값을 크게 함으로써 상기 입력화상이 선택되기 어렵게 하는 것이 가능해진다.
또한, 코스트값과 패널티값의 어느 일방만을 변경하여 심도의 재추정을 행하는 것으로 해도 좋지만, 코스트값과 패널티값의 양쪽 모두를 변경하여 심도의 재추정을 행하는 것도 당연히 가능하다. 즉, 제1종 파라미터값 및 제2종 파라미터값의 적어도 일방을 변경하여 스코어값 연산처리를 행하여, 심도의 재추정을 행하는 것이 가능하다.
9-12. 패널티값
패널티값으로서 설정 가능한 값은, 제1의 패널티값과 제2의 패널티값의 2개로 한정되는 것은 아니다. 예컨대, 도 16의 패널티값 테이블(89)에 나타내는 바와 같이, 제1의 패널티값(893) 및 제2의 패널티값(895)에 더하여, 제3의 패널티값(897)을 설정하는 것으로 해도 좋다. 구체적으로는, 대상화소와 근방화소에서, 포커싱되어 있다고 하는 입력화상을 화상번호(833b)에서 「3 이상」 변화시키는 경우의 패널티값으로서, 제3의 패널티값(897)을 정해 두는 것으로 해도 좋다. 도 16의 패널티값 테이블(895)에서는, 종별(891)의 「통상시」에, 제3의 패널티값(897)으로서 「P3」이 정해져 있다. 단, 「P1 < P2 < P3」이다.
또한, 종별(891)의 「강조화상 수정시」에는, 유저에 의한 드래그방향과 엣지방향이 소정의 근사조건을 만족하는 경우와, 유저에 의한 드래그방향과 엣지방향이 소정의 괴리조건을 만족하는 경우에서, 다른 패널티값이 정해져 있다. 구체적으로는, 전자에 대해서는, 제3의 패널티값(897)으로서 「P3-β」가 정해져 있다. 또한, 후자에 대해서는, 제3의 패널티값(897)으로서 「P3+β」가 정해져 있다. 다만, 「β」의 값은 적절하게 설정 가능하고, 예컨대 「β = 1」이다.
또한, 유저의 드래그방향과 화상 중의 엣지방향과의 상대관계에 대응하여 패널티값을 변경하도록 해도 좋다. 구체적으로는, 예컨대, 드래그방향과 엣지방향과의 유사도에 대응하여 개별적으로 패널티값을 정해 두고(이하, 「방향 유사도별 패널티값」이라 함), 이 방향 유사도별 패널티값을 이용하여 적절해 연산처리를 행하도록 해도 좋다. 드래그방향과 엣지방향과의 유사도를 나타내는 지표값으로서는, 상기의 실시형태와 동일하게, 코사인 유사도나 코사인 거리를 적용할 수 있다.
구체적으로는, 상기의 실시형태에서 정의한 패널티값 P(p) 대신에, 방향 유사도별 패널티값 Pdir(p)를 정해 둔다. 예컨대, 코사인 유사도가 「1」(드래그방향과 엣지방향이 평행)인 경우의 방향 유사도별 패널티값으로서, 통상시의 패널티값과 동일한 값을 정해 둔다. 또한, 코사인 유사도가 작아짐에 따라서(드래그방향과 엣지방향이 괴리됨에 따라서), 통상시의 패널티값으로부터 값이 서서히 커지도록 패널티값을 정하고, 코사인 유사도가 「0」(드래그방향과 엣지방향이 직교)인 경우의 패널티값으로서 소정의 최대값을 정해 둔다. 그리고, 유저의 드래그방향과 엣지방향과의 코사인 유사도를 산출하고, 산출한 코사인 유사도에 대해서 정해진 방향 유사도별 패널티값을 이용하여 적절해 연산처리를 행한다.
이 방향 유사도별 패널티값은, 상기의 실시형태에서 설명한 심도의 재추정을 행할 때에 유용하다. 상술한 바와 같이, 본원발명은, 드래그방향과 엣지방향이 근사하고 있을수록 패널티값을 작게 하고, 반대로, 드래그방향과 엣지방향이 괴리되어 있을수록 패널티값을 크게 하는 것이 특징이다. 유저가 표시화상 중에 표시의 결함, 즉 심도의 연산 미스가 발생하고 있는 것을 발견한 경우는, 연산 미스가 발생하고 있는 개소를 드래그 조작으로 특정하여, 강조화상의 수정 요구를 행한다.
유저가 바르게 표시되어 있는 물체의 엣지방향을 따라가도록 드래그한 경우, 드래그방향과 엣지방향과의 코사인 유사도는 「1」에 가까운 값이 된다. 이 경우는, 코사인 유사도를 「1」로 하는 방향 유사도별 패널티값을 이용하여 적절해 연산처리를 행하는데, 이 경우의 패널티값은 통상시의 패널티값과 동일한 값이기 때문에, 바르게 표시되고 있는 물체에 대해서는, 통상시에 생성된 깊이 맵을 보존할 수 있다.
한편, 유저가 연산 미스가 생기고 있는 부분을 따라가도록 드래그한 경우, 연산 미스가 생기고 있는 부분의 엣지방향과 바르게 표시되고 있는 부분의 엣지방향이 동일하지 않은 한, 드래그방향과 엣지방향의 사이에 방향차가 생기고, 코사인 유사도는 「1」보다 작아진다. 예컨대, 드래그방향과 엣지방향이 직교하는 경우는, 코사인 유사도는 「0」이 된다. 이 경우는, 코사인 유사도가 「0」인 경우의 방향 유사도별 패널티값을 이용하여 적절해 연산처리를 행하는데, 이 경우의 패널티값으로서는 최대값이 정해져 있기 때문에, 패널티가 가장 강해진다. 그 결과, 연산 미스가 생기고 있는 부분에 대해서 심도를 보다 정확하게 나타낸 깊이 맵이 재생성된다. 이와 같이 하여 재생성된 깊이 맵을 이용하여 강조화상을 수정함으로써, 연산 미스가 생기고 있는 부분을 적절히 수정할 수 있다.
또한, 하나의 입력화상으로부터 다른 입력화상으로의 패널티값을 개별적으로 정하는 것으로 해도 좋다. 구체적으로는, 상기의 실시형태에서 정의한 패널티값 P(p) 대신에, 화상간 패널티값 Pij(p)를 설정하는 것으로 해도 좋다. 단, 「i」 및 「j」는 화상의 번호이다.
예컨대, 입력화상의 초점거리가 「f1 ~ f4」의 4개이며, 그 대소관계가 「f1<f2<<<<<f3<f4」이라고 한다. 이 경우, 「f1」와 「f2」는 그렇게 크게 괴리되어 있지 않기 때문에, 「f1」의 입력화상과 「f2」의 입력화상의 사이의 화상간 패널티값 P12(p)를 크게 하여, 「f1」의 입력화상과 「f2」의 입력화상이 포커싱되어 있는 입력화상으로서 상호 선택되기 쉬워지도록 한다. 동일하게 「f3」와 「f4」는 그렇게 크게 괴리되어 있지 않기 때문에, 「f3」의 입력화상과 「f4」의 입력화상의 사이의 화상간 패널티값 P34(p)를 크게 하여, 「f3」의 입력화상과 「f4」의 입력화상이 포커싱되어 있는 입력화상으로서 상호 선택되기 쉬워지도록 한다.
한편, 「f2」와 「f3」는 크게 괴리되어 있기 때문에, 「f2」의 입력화상과 「f3」의 입력화상의 사이의 화상간 패널티값 P23(p)를 작게 하여, 「f2」의 입력화상과 「f3」의 입력화상이 포커싱되어 있는 입력화상으로서 상호 선택되기 어려워지도록 한다. 이로써, 「f1」의 입력화상으로부터 「f2」의 입력화상이나, 「f3」의 입력화상으로부터 「f4」의 입력화상에 대해서는, 패널티를 높게 하여, 초점거리가 가까운 화상으로서 선택되기 쉽게 할 수 있고, 「f2」의 입력화상으로부터 「f3」의 입력화상에 대해서는, 패널티를 낮게 하여, 초점거리가 먼 화상으로서 선택되기 어려워지도록 할 수 있다.
9-13. 피사체 흔들림 대책
입력화상 중의 피사체 흔들림의 영역(이하, 「피사체 흔들림 영역」이라 함)을 검출하고, 상기 피사체 흔들림 영역에서는 추정되는 심도(포커싱되어 있는 것으로서 선택되는 입력화상)가 변경되기 어려워지도록, 코스트값 및 패널티값의 적어도 일방을 변경하도록 해도 좋다. 피사체 흔들림이란, 촬상시에 피사체가 움직이고, 그 움직임의 속도가 카메라의 셔터 스피드보다 빠른 것이어서, 화상 중의 피사체가 흔들려 버리는 것을 말한다. 피사체 흔들림 영역의 검출은, 종래 공지의 수법을 이용하여 실현할 수 있다.
피사체 흔들림 영역이 검출되었다면, 상기 피사체 흔들림 영역에 있어서의 패널티값 P(p)를 통상시의 패널티값보다도 큰 값으로 변경하여 스코어값 연산처리를 행하거나, 또는, 코스트값 C(p, Rp)를, 엣지강도를 이용하여 산출되는 코스트값보다도 작은 값으로 변경하여 스코어값 연산처리를 행한다. 이로써, 피사체 흔들림 영역에 대해서 적절히 심도가 추정된 깊이 맵을 생성할 수 있다.
9-14. 기록매체
상기의 실시예에서는, 화상처리에 대한 각종의 프로그램이나 데이터가, 화상처리장치의 기억부(80)에 기억되어 있고, 처리부(10)가 이들 프로그램을 읽어내서 실행함으로써, 상기의 각 실시예에 있어서의 화상처리를 실현하는 것으로 하여 설명했다. 이 경우, 기억부(80)는, ROM나 플래시ROM, 하드디스크, RAM 등의 내부 기억장치 외에, 메모리카드나 컴팩트플래시(CF) 카드, 메모리스틱, USB메모리, CD-RW(광학 디스크), MO(광학 자기 디스크) 등의 기록매체(기록미디어, 외부 기억장치)를 가지고 있어도 좋고, 이들 기록매체에 상기의 각종 프로그램이나 데이터를 기억시키는 것으로 해도 좋다.
도 30은, 이 경우에 있어서의 기록매체의 일례를 나타내는 도이다.
화상처리장치에는, 메모리카드(7)를 삽입하기 위한 카드슬롯(710)이 마련되어 있고, 카드슬롯(710)에 삽입된 메모리카드(7)에 기억된 정보를 읽어내는 또는 메모리카드(7)에 정보를 기입하기 위한 카드리더 라이터(R/W)(720)가 마련되어 있다. 카드리더 라이터(720)는, 처리부(10)의 제어에 따라서, 기억부(80)에 기록된 프로그램이나 데이터를 메모리카드(7)에 기입하는 동작을 행한다. 메모리카드(7)에 기록된 프로그램이나 데이터는, 화상처리장치 이외의 정보처리장치(예컨대 퍼스널컴퓨터)에서 읽어냄으로써, 상기 정보처리장치에 있어서, 상기의 실시예에 있어서의 화상처리를 실현하는 것이 가능하다.
1: 스마트폰
7: 메모리카드
10: 처리부
20: 입력부
21: 터치패널
30: 표시부
40: 통신부
50: 촬상부
55: 휴대전화용 안테나
60: 휴대전화용 무선통신회로부
70: 시계부
75: 관성센서
80: 기억부

Claims (22)

  1. 복수의 입력화상으로부터 소정의 특징을 검출하는 특징검출수단과,
    상기 특징검출수단의 검출결과에 근거하여 깊이 맵(depth map)을 생성하는 깊이 맵 생성수단
    을 구비하고,
    상기 특징검출수단은, 상기 복수의 입력화상으로부터 소정의 특징량을 검출하는 특징량 검출수단을 가지고,
    상기 특징량 검출수단에 의해 검출된 특징량을 이용하여, 대상화소에 대해서, 상기 복수의 입력화상 중 어느 하나의 입력화상에서 포커싱되어 있는지를 나타내는 정보인 심도를 추정하는 심도추정수단을 더 구비하고,
    상기 깊이 맵 생성수단은, 상기 심도추정수단의 추정결과에 근거하여 상기 깊이 맵을 생성하는, 화상처리장치.
  2. 청구항 1에 있어서,
    상기 심도추정수단은, 상기 특징량 검출수단에 의해 검출된 상기 복수의 입력화상 각각의 특징량을 이용하여, 상기 대상화소에 대해서, 상기 대상화소의 특징량에 대응하여 정해지는 제1종 파라미터값과, 상기 대상화소에 대해서 포커싱되어 있는 제1의 입력화상과 상기 대상화소의 근방화소에 대해서 포커싱되어 있는 제2의 입력화상이 다른 경우의 패널티로서 정해지는 제2종 파라미터값을 이용한 소정의 적절해(適切解) 연산처리를 행하여, 상기 대상화소에 대해서 포커싱되어 있는 입력화상을 판정하는, 화상처리장치.
  3. 청구항 1에 있어서,
    상기 복수의 입력화상의 초점이 적절히 분리되어 있는지를 판정하는 초점분리 판정수단을 더 구비하고,
    상기 심도추정수단은, 상기 초점분리 판정수단의 판정결과가 긍정판정이 된 입력화상을 이용하여, 상기 대상화소에 대해 상기 심도를 추정하는, 화상처리장치.
  4. 청구항 1에 있어서,
    상기 특징량 검출수단은, 상기 복수의 입력화상 또는 상기 복수의 입력화상을 축소한 축소 입력화상으로부터 상기 특징량을 검출하고,
    상기 깊이 맵 생성수단은, 상기 심도추정수단의 추정결과에 근거하여, 축소된 깊이 맵을 생성하는, 화상처리장치.
  5. 청구항 4에 있어서,
    상기 축소된 깊이 맵을 소정의 복원방법을 이용하여 복원하는 복원수단과,
    상기 복원수단에 의해 복원된 깊이 맵을, 소정의 수정용 화상을 이용하여 수정한 깊이 맵을 생성하는 수정수단
    을 더 구비한, 화상처리장치.
  6. 복수의 입력화상으로부터 소정의 특징을 검출하는 특징검출수단과,
    상기 특징검출수단의 검출결과에 근거하여 깊이 맵(depth map)을 생성하는 깊이 맵 생성수단
    을 구비하고,
    상기 특징검출수단은, 시차(視差)가 발생하는 복수의 시점(視点)에서 촬상된 촬영화상을 상기 복수의 입력화상으로 하여, 상기 입력화상으로부터 특징점을 검출하는 특징점 검출수단을 가지고,
    상기 특징점 검출수단에 의해서 검출된 특징점에 근거하여, 상기 복수의 입력화상 각각의 시점의 상대적인 위치관계를 추정하는 시점 위치관계 추정수단과,
    소정의 추정연산을 행하여, 상기 복수의 입력화상을 구성하는 화소의 3차원의 위치를 추정하는 화소위치 추정수단
    을 더 구비하고,
    상기 깊이 맵 생성수단은, 상기 시점 위치관계 추정수단의 추정결과와 상기 화소위치 추정수단의 추정결과에 근거하여, 상기 깊이 맵을 생성하는, 화상처리장치.
  7. 청구항 6에 있어서,
    표시수단과,
    상기 복수의 촬영화상에 시차를 발생시키기 위한 자기장치(自裝置)의 이동방법을 유저에게 가이드하기 위한 가이드표시를 상기 표시수단에 표시시키는 제어를 행하는 표시제어수단
    을 더 구비하는, 화상처리장치.
  8. 청구항 7에 있어서,
    자기장치의 이동 제량(諸量, amount)을 검출하는 이동 제량 검출수단을 더 구비하고,
    상기 표시제어수단은, 상기 이동 제량 검출수단의 검출결과에 근거하여, 상기 가이드표시의 표시를 변화시키는, 화상처리장치.
  9. 복수의 입력화상으로부터 소정의 특징을 검출하는 특징검출수단과,
    상기 특징검출수단의 검출결과에 근거하여 깊이 맵(depth map)을 생성하는 깊이 맵 생성수단
    을 구비하고,
    표시수단과,
    유저 조작을 접수하는 입력수단과,
    상기 입력수단에 대한 유저 조작에 대응하여, 상기 깊이 맵에 근거하여, 특정 심도에 상당하는 입력화상 중의 화소의 화소값을, 상기 특정 심도 이외의 심도에 상당하는 입력화상에 합성한 합성화상을 생성하는 합성화상 생성수단
    을 더 구비하고,
    상기 표시수단은, 상기 합성화상 생성수단에 의해서 생성된 합성화상을 표시하는, 화상처리장치.
  10. 복수의 입력화상으로부터 소정의 특징을 검출하는 특징검출수단과,
    상기 특징검출수단의 검출결과에 근거하여 깊이 맵(depth map)을 생성하는 깊이 맵 생성수단
    을 구비하고,
    표시수단과,
    유저 조작을 접수하는 입력수단과,
    상기 깊이 맵과 상기 복수의 입력화상을 이용하여 전(全) 초점화상을 생성하는 전 초점화상 생성수단과,
    상기 전 초점화상에 대해서 셰이딩 처리를 행하는 셰이딩 처리수단을 가지고, 상기 입력수단에 대한 유저 조작에 대응하여, 상기 깊이 맵에 근거하여, 특정 심도에 상당하는 입력화상 중의 화소의 화소값을 상기 셰이딩 처리의 결과의 화상에 합성한 합성화상을 생성하는 합성화상 생성수단
    을 더 구비하고,
    상기 표시수단은, 상기 합성화상 생성수단에 의해 생성된 합성화상을 표시하는, 화상처리장치.
  11. 삭제
  12. 복수의 입력화상으로부터 소정의 특징을 검출하는 특징검출수단과,
    상기 특징검출수단의 검출결과에 근거하여 깊이 맵(depth map)을 생성하는 깊이 맵 생성수단
    을 구비하고,
    상기 깊이 맵과 상기 복수의 입력화상을 이용하여 전(全) 초점화상을 생성하는 전 초점화상 생성수단과,
    상기 깊이 맵을 소정의 축소방법을 이용하여 축소하는 깊이 맵 축소수단과,
    상기 축소된 깊이 맵인 축소 깊이 맵을 상기 복수의 입력화상 또는 상기 전 초점화상 중 적어도 일방과 대응지어서 기억하는 기억수단
    을 더 가지는, 화상처리장치.
  13. 청구항 10에 있어서,
    상기 입력수단에 대한 유저 조작에 대응하여, 포커싱 대상으로 하는 영역인 포커싱 대상영역을 상기 유저가 지정하기 위한 지정용 도형을 상기 표시수단에 표시시키는 표시제어수단을 더 구비하고,
    상기 합성화상 생성수단은, 상기 깊이 맵에 근거하여, 상기 입력화상 중 상기 지정용 도형에 포함되는 화소의 심도를 상기 특정 심도로 하여, 상기 합성화상을 생성하는, 화상처리장치.
  14. 청구항 9에 있어서,
    상기 입력수단은, 상기 표시수단과 일체적으로 구성된 터치패널을 가지고,
    상기 표시수단은, 촬상대상을 확인 가능한 확인화면을 표시하고,
    상기 확인화면에 있어서의 상기 터치패널에 대한 탭 조작에 대응하여, 포커싱 대상으로 하는 확인화면 상의 위치인 포커싱 대상위치를 기억하는 기억수단과,
    상기 기억수단에 포커싱 대상위치가 기억된 후, 소정의 촬상조건의 성립에 대응하여 촬상을 행하는 촬상수단
    을 더 구비하고,
    상기 특징검출수단은, 상기 촬상수단에 의해서 촬상된 복수의 촬영화상을 상기 복수의 입력화상으로 하여 상기 특징을 검출하고,
    상기 합성화상 생성수단은, 상기 기억수단에 기억된 포커싱 대상위치에 대응하는 심도를 상기 특정 심도로 하여, 상기 합성화상을 생성하는, 화상처리장치.
  15. 청구항 9 항에 있어서,
    상기 입력수단은, 상기 표시수단과 일체적으로 구성된 터치패널을 가지고,
    상기 표시수단은, 소정의 표시용 화상을 표시하고,
    상기 표시용 화상이 표시된 표시화면에 있어서의 상기 터치패널에 대한 핀치조작에 대응하여, 포커싱 대상으로 하는 영역인 포커싱 대상영역을 설정하는 포커싱 대상영역 설정수단과,
    상기 포커싱 대상영역 설정수단에 의해서 설정된 포커싱 대상영역 이외의 영역에 대해서 소정의 셰이딩 정도로 셰이딩 처리를 행하는 셰이딩 처리수단
    을 더 구비하고,
    상기 셰이딩 처리수단은, 상기 포커싱 대상영역 설정수단에 의해서 설정된 포커싱 대상영역에 대한 핀치조작에 대응하여, 상기 셰이딩 정도를 변경하는 셰이딩 정도 변경수단을 가지는, 화상처리장치.
  16. 복수의 입력화상으로부터 소정의 특징을 검출하는 특징검출수단과,
    상기 특징검출수단의 검출결과에 근거하여 깊이 맵(depth map)을 생성하는 깊이 맵 생성수단
    을 구비하고,
    상기 복수의 입력화상은, 다른 초점거리에서 촬상된 복수의 촬영화상이며,
    표시수단과,
    유저 조작을 접수하는 입력수단과,
    상기 표시수단의 소정위치에, 초점거리 범위를 유저가 지정하기 위한 초점거리 범위지정용 화상을 표시시키는 제어를 행하는 표시제어수단과,
    상기 깊이 맵에 근거하여, 상기 초점거리 범위지정용 화상에 대한 유저 조작에 의해서 지정된 초점거리 범위에 대응하는 심도의 화소를 포커싱으로 하고, 그 외의 화소를 비포커싱으로 한 합성화상을 생성하는 합성화상 생성수단
    을 더 구비하고,
    상기 표시수단은, 상기 합성화상 생성수단에 의해서 생성된 합성화상을 표시하는, 화상처리장치.
  17. 복수의 입력화상으로부터 소정의 특징을 검출하는 특징검출수단과,
    상기 특징검출수단의 검출결과에 근거하여 깊이 맵(depth map)을 생성하는 깊이 맵 생성수단
    을 구비하고,
    상기 복수의 입력화상은, 다른 초점거리에서 촬상된 복수의 촬영화상이며,
    표시수단과,
    유저 조작을 접수하는 입력수단과,
    상기 복수의 입력화상에 근거하는 복수의 참조용 화상을 상기 표시수단에 순차적으로 표시시키는 제어를 행하는 표시제어수단과,
    상기 깊이 맵에 근거하여, 상기 참조용 화상 중, 유저에 의해서 지정된 참조용 화상에 대응하는 입력화상의 초점거리에 대응하는 심도의 화소를 포커싱으로 하고, 그 외의 화소를 비포커싱으로 한 합성화상을 생성하는 합성화상 생성수단
    을 더 구비하고,
    상기 표시수단은, 상기 합성화상 생성수단에 의해서 생성된 합성화상을 표시하는, 화상처리장치.
  18. 청구항 9에 있어서,
    상기 입력수단은, 상기 표시수단과 일체적으로 구성된 터치패널을 가지고,
    상기 합성화상 생성수단은, 상기 터치패널에 대한 드래그 조작에 근거하여, 상기 특정 심도를 동적으로 변경하여 상기 합성화상을 동적으로 생성하고,
    상기 표시수단은, 상기 합성화상 생성수단에 의해 동적으로 생성되는 합성화상을 상기 드래그 조작에 맞춰서 표시하는, 화상처리장치.
  19. 청구항 1에 있어서,
    유저 조작을 접수하는 입력수단을 더 구비하고,
    상기 심도추정수단은, 상기 유저 조작에 의해 지정된 지정영역에 포함되는 화소에 대해서 상기 심도를 재추정하는 심도 재추정수단을 가지고,
    상기 깊이 맵 생성수단은, 상기 심도 재추정수단에 의한 심도의 재추정의 결과에 근거하여 깊이 맵을 재생성하는 깊이 맵 재생성수단을 가지는, 화상처리장치.
  20. 청구항 2에 있어서,
    유저 조작을 접수하는 입력수단을 더 구비하고,
    상기 심도추정수단은, 상기 유저 조작에 의해 지정된 지정영역에 포함되는 화소에 대해서 상기 심도를 재추정하는 심도 재추정수단을 가지고,
    상기 깊이 맵 생성수단은, 상기 심도 재추정수단에 의한 심도의 재추정의 결과에 근거하여 깊이 맵을 재생성하는 깊이 맵 재생성수단을 가지고,
    상기 심도 재추정수단은, 상기 지정영역에 포함되는 화소에 대해서, 상기 제1종 파라미터값 및 상기 제2종 파라미터값의 적어도 일방을, 상기 심도추정수단이 당초의 심도추정에서 이용한 파라미터값과는 다른 값으로 변경하여 상기 적절해 연산처리를 행하여, 상기 심도를 재추정하는, 화상처리장치.
  21. 복수의 입력화상으로부터 소정의 특징을 검출하는 것과,
    상기 특징의 검출결과에 근거하여 깊이 맵을 생성하는 것과,
    상기 특징의 검출은, 상기 복수의 입력화상으로부터 소정의 특징량을 검출하는 것을 포함하고,
    상기 특징량의 검출에 의해 검출된 특징량을 이용하여, 대상화소에 대해서, 상기 복수의 입력화상 중 어느 하나의 입력화상에서 포커싱되어 있는지를 나타내는 정보인 심도를 추정하는 것을 더 포함하고,
    상기 깊이 맵의 생성은, 상기 심도의 추정결과에 근거하여 상기 깊이 맵을 생성하는 것
    을 포함하는 화상처리방법.
  22. 컴퓨터에,
    복수의 입력화상으로부터 소정의 특징을 검출하는 특징검출스텝과,
    상기 특징검출스텝의 검출결과에 근거하여 깊이 맵을 생성하는 깊이 맵 생성스텝과,
    상기 특징검출스텝은, 상기 복수의 입력화상으로부터 소정의 특징량을 검출하는 특징량 검출스텝을 가지고,
    상기 특징량 검출스텝에 의해 검출된 특징량을 이용하여, 대상화소에 대해서, 상기 복수의 입력화상 중 어느 하나의 입력화상에서 포커싱되어 있는지를 나타내는 정보인 심도를 추정하는 심도추정스텝을 더 포함하고,
    상기 깊이 맵 생성스텝은, 상기 심도추정스텝의 추정결과에 근거하여 상기 깊이 맵을 생성하는 것
    을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
KR1020140149293A 2013-10-30 2014-10-30 화상처리장치, 화상처리방법 및 프로그램 KR101709380B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013226045 2013-10-30
JPJP-P-2013-226045 2013-10-30

Publications (2)

Publication Number Publication Date
KR20150050486A KR20150050486A (ko) 2015-05-08
KR101709380B1 true KR101709380B1 (ko) 2017-02-22

Family

ID=52994878

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140149293A KR101709380B1 (ko) 2013-10-30 2014-10-30 화상처리장치, 화상처리방법 및 프로그램

Country Status (5)

Country Link
US (2) US9508173B2 (ko)
JP (1) JP6511247B2 (ko)
KR (1) KR101709380B1 (ko)
CN (2) CN104660900B (ko)
TW (1) TWI554936B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101741A (ko) * 2019-02-20 2020-08-28 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법

Families Citing this family (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734582B2 (en) * 2013-02-21 2017-08-15 Lg Electronics Inc. Remote pointing method
JP6179224B2 (ja) * 2013-07-02 2017-08-16 富士通株式会社 画像処理フィルタの作成装置及びその方法
US9734551B1 (en) * 2013-12-01 2017-08-15 Google Inc. Providing depth-of-field renderings
US9594893B2 (en) * 2014-01-15 2017-03-14 Lenovo (Singapore) Pte. Ltd. Multi-touch local device authentication
KR102326275B1 (ko) * 2014-02-25 2021-11-16 삼성전자주식회사 이미지 표시 방법 및 장치
KR102271853B1 (ko) * 2014-03-21 2021-07-01 삼성전자주식회사 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
JP6399437B2 (ja) * 2014-06-04 2018-10-03 パナソニックＩｐマネジメント株式会社 制御装置及びそれを用いた作業管理システム
CN104038699B (zh) * 2014-06-27 2016-04-06 努比亚技术有限公司 对焦状态的提示方法和拍摄装置
WO2016172619A1 (en) 2015-04-23 2016-10-27 Apple Inc. Digital viewfinder user interface for multiple cameras
WO2016202837A1 (en) * 2015-06-16 2016-12-22 Koninklijke Philips N.V. Method and apparatus for determining a depth map for an image
WO2016203282A1 (en) * 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
JP6614824B2 (ja) * 2015-06-26 2019-12-04 キヤノン株式会社 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
US20180225831A1 (en) * 2015-08-07 2018-08-09 Nec Corporation Image processing device, image restoring device, and image processing method
US10237473B2 (en) * 2015-09-04 2019-03-19 Apple Inc. Depth map calculation in a stereo camera system
US20170091905A1 (en) * 2015-09-24 2017-03-30 Dell Products L.P. Information Handling System Defocus Tracking Video
US10389804B2 (en) 2015-11-11 2019-08-20 Adobe Inc. Integration of content creation and sharing
US10198590B2 (en) * 2015-11-11 2019-02-05 Adobe Inc. Content sharing collections and navigation
US10249061B2 (en) 2015-11-11 2019-04-02 Adobe Inc. Integration of content creation and sharing
US10783431B2 (en) 2015-11-11 2020-09-22 Adobe Inc. Image search using emotions
US10516875B2 (en) * 2016-01-22 2019-12-24 Samsung Electronics Co., Ltd. Method and apparatus for obtaining depth image by using time-of-flight sensor
CN106997582A (zh) * 2016-01-22 2017-08-01 北京三星通信技术研究有限公司 飞行时间三维传感器的运动模糊消除方法和设备
KR102510821B1 (ko) * 2016-02-05 2023-03-16 삼성전자주식회사 영상 처리 방법, 장치 및 기록 매체
JP6482130B2 (ja) * 2016-02-25 2019-03-13 Kddi株式会社 幾何検証装置、プログラム及び方法
JP6765057B2 (ja) * 2016-03-18 2020-10-07 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法およびプログラム
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
JP6684168B2 (ja) * 2016-06-28 2020-04-22 キヤノン株式会社 画像処理装置および画像処理方法
US10574947B2 (en) * 2016-07-15 2020-02-25 Qualcomm Incorporated Object reconstruction in disparity maps using displaced shadow outlines
US10096097B2 (en) * 2016-08-01 2018-10-09 The United States Of America As Represented By The Secretary Of The Navy Content-aware bidirectional image edge highlighting
CN109565544B (zh) * 2016-08-09 2020-11-24 夏普株式会社 位置指定装置及位置指定方法
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法
TWI604417B (zh) * 2016-08-31 2017-11-01 國立交通大學 估算對極幾何模型的方法及其系統
KR102561099B1 (ko) * 2016-09-23 2023-07-28 삼성전자주식회사 ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
CN106570821A (zh) * 2016-10-29 2017-04-19 深圳市金立通信设备有限公司 一种图像处理方法及终端
JP7014175B2 (ja) * 2016-11-08 2022-02-15 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
KR101871937B1 (ko) * 2016-11-15 2018-07-02 주식회사 스트로크플레이 고속 영상 카메라를 이용한 비행물체의 비행데이터 측정 장치 및 방법 및 이를 수행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
JP6948787B2 (ja) * 2016-12-09 2021-10-13 キヤノン株式会社 情報処理装置、方法およびプログラム
WO2018112764A1 (zh) * 2016-12-20 2018-06-28 广东欧珀移动通信有限公司 图像处理方法与装置、控制方法与装置、成像与电子装置
US10389936B2 (en) * 2017-03-03 2019-08-20 Danylo Kozub Focus stacking of captured images
JP6911435B2 (ja) * 2017-03-23 2021-07-28 富士フイルムビジネスイノベーション株式会社 情報処理装置、表示システム、及びプログラム
KR102309297B1 (ko) * 2017-03-31 2021-10-06 엘지전자 주식회사 단말기 및 그 제어 방법
CN107170001A (zh) * 2017-04-25 2017-09-15 北京海致网聚信息技术有限公司 用于对图像进行配准的方法和装置
CN107368184B (zh) 2017-05-12 2020-04-14 阿里巴巴集团控股有限公司 一种虚拟现实场景中的密码输入方法和装置
CN110663246B (zh) * 2017-05-24 2021-08-06 深圳市大疆创新科技有限公司 用于处理图像的方法和系统
CN107038681B (zh) * 2017-05-31 2020-01-10 Oppo广东移动通信有限公司 图像虚化方法、装置、计算机可读存储介质和计算机设备
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
KR102434574B1 (ko) 2017-08-14 2022-08-22 삼성전자주식회사 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
WO2019058487A1 (ja) 2017-09-21 2019-03-28 オリンパス株式会社 ３次元復元画像処理装置、３次元復元画像処理方法及び３次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
JP6590899B2 (ja) * 2017-12-07 2019-10-16 キヤノン株式会社 撮像装置、撮像方法およびプログラム
CN108227919B (zh) * 2017-12-22 2021-07-09 潍坊歌尔电子有限公司 用户手指位置信息的确定方法及装置、投影仪、投影系统
US10733706B2 (en) * 2018-01-07 2020-08-04 Htc Corporation Mobile device, and image processing method for mobile device
US11893755B2 (en) 2018-01-19 2024-02-06 Interdigital Vc Holdings, Inc. Multi-focal planes with varying positions
JP6749510B2 (ja) 2018-01-29 2020-09-02 Eizo株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN111656776B (zh) * 2018-01-30 2022-08-09 索尼公司 图像处理器、图像处理方法和计算机可读记录介质
CN108279287B (zh) * 2018-02-01 2020-12-18 嘉兴市丰成五金材料股份有限公司 基于通信技术的烟雾快速散发系统
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
DE112019000869T5 (de) * 2018-02-19 2020-11-05 Murakami Corporation Bedienungsdetektionsvorrichtung und Bedienungsdetektionsverfahren
CN108550182B (zh) * 2018-03-15 2022-10-18 维沃移动通信有限公司 一种三维建模方法和终端
US11477434B2 (en) 2018-03-23 2022-10-18 Pcms Holdings, Inc. Multifocal plane based method to produce stereoscopic viewpoints in a DIBR system (MFP-DIBR)
EP3776456A4 (en) * 2018-04-11 2022-01-26 Nokia Technologies Oy METHOD AND DEVICE FOR SIGNALING AND STORAGE OF GROUPING TYPES IN AN IMAGE CONTAINER FILE
DK180130B1 (da) 2018-05-07 2020-06-02 Apple Inc. Multi-participant live communication user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
WO2020010018A1 (en) 2018-07-05 2020-01-09 Pcms Holdings, Inc. Method and system for near-eye focal plane overlays for 3d perception of content on 2d displays
JP7262940B2 (ja) 2018-07-30 2023-04-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
DE102018213052A1 (de) * 2018-08-03 2020-02-06 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln einer Erklärungskarte
CN109246354B (zh) * 2018-09-07 2020-04-24 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
DK201870623A1 (en) * 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10783649B2 (en) * 2018-09-17 2020-09-22 Adobe Inc. Aligning digital images by selectively applying pixel-adjusted-gyroscope alignment and feature-based alignment models
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) * 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
KR102562361B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
CN111275657A (zh) * 2018-11-20 2020-06-12 华为技术有限公司 虚焦检测方法、设备及计算机可读介质
CN109151329A (zh) * 2018-11-22 2019-01-04 Oppo广东移动通信有限公司 拍照方法、装置、终端及计算机可读存储介质
CN110008802B (zh) 2018-12-04 2023-08-29 创新先进技术有限公司 从多个脸部中选择目标脸部及脸部识别比对方法、装置
TWI678546B (zh) * 2018-12-12 2019-12-01 緯創資通股份有限公司 距離偵測方法、距離偵測系統與電腦程式產品
US10917516B1 (en) 2018-12-18 2021-02-09 United Services Automobile Association (Usaa) Data access system for representatives
CN109767466B (zh) * 2019-01-10 2021-07-13 深圳看到科技有限公司 画面渲染方法、装置、终端及对应的存储介质
US11405547B2 (en) * 2019-02-01 2022-08-02 Electronics And Telecommunications Research Institute Method and apparatus for generating all-in-focus image using multi-focus image
US10554890B1 (en) 2019-02-18 2020-02-04 Samsung Electronics Co., Ltd. Apparatus and method for generating low-light images with improved bokeh using mobile electronic device
CN113474809A (zh) * 2019-02-26 2021-10-01 株式会社索思未来 信息处理装置以及信息处理方法
CN109902695B (zh) * 2019-03-01 2022-12-20 辽宁工程技术大学 一种面向像对直线特征匹配的线特征矫正与提纯方法
WO2020200396A1 (en) * 2019-03-29 2020-10-08 Nokia Technologies Oy Apparatus for doppler shift compensation, corresponding method and computer program
US11949848B2 (en) 2019-04-01 2024-04-02 Google Llc Techniques to capture and edit dynamic depth images
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN111901479B (zh) * 2019-05-06 2021-05-25 苹果公司 一种用于显示相机用户界面的方法、电子设备和非暂态计算机可读存储介质
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
CN110567437B (zh) * 2019-06-28 2021-05-18 武汉理工大学 港口起重机械摄影测量方法
CN110324532B (zh) * 2019-07-05 2021-06-18 Oppo广东移动通信有限公司 一种图像虚化方法、装置、存储介质及电子设备
CN112446251A (zh) * 2019-08-30 2021-03-05 深圳云天励飞技术有限公司 图像处理方法及相关装置
CN110796649B (zh) * 2019-10-29 2022-08-30 北京市商汤科技开发有限公司 目标检测方法及装置、电子设备和存储介质
CN111140103A (zh) * 2019-12-28 2020-05-12 王体 办公柜锁孔封闭平台
KR102470250B1 (ko) * 2020-03-26 2022-11-24 박재현 광학적 부분 차단을 이용한 다이내믹 영상 생성방법
US11889044B2 (en) * 2020-04-16 2024-01-30 Eys3D Microelectronics, Co. Fusion method and fusion system for multiple depth information
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
CN111724381B (zh) * 2020-06-24 2022-11-01 武汉互创联合科技有限公司 基于多视图交叉验证的显微图像细胞计数与姿态识别方法
US20220005226A1 (en) * 2020-07-05 2022-01-06 Asensus Surgical Us, Inc. Camera calibration using measured motion
RU2745010C1 (ru) * 2020-08-25 2021-03-18 Самсунг Электроникс Ко., Лтд. Способы реконструкции карты глубины и электронное вычислительное устройство для их реализации
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US20220104887A1 (en) * 2020-10-06 2022-04-07 Asensus Surgical Us, Inc. Surgical record creation using computer recognition of surgical events
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
CN113076685A (zh) * 2021-03-04 2021-07-06 华为技术有限公司 图像重建模型的训练方法、图像重建方法及其装置
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11822761B2 (en) 2021-05-15 2023-11-21 Apple Inc. Shared-content session user interfaces
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
CN115063789B (zh) * 2022-05-24 2023-08-04 中国科学院自动化研究所 基于关键点匹配的3d目标检测方法及装置
US20240031540A1 (en) * 2022-07-21 2024-01-25 Apple Inc. Foveated down sampling of image data
CN115409845B (zh) * 2022-11-03 2023-02-03 成都新西旺自动化科技有限公司 一种异形高精度均衡对位方法及系统
US20240169494A1 (en) * 2022-11-21 2024-05-23 Varjo Technologies Oy Extended depth-of-field correction using reconstructed depth map
CN116679080A (zh) * 2023-05-30 2023-09-01 广州伏羲智能科技有限公司 一种河流表面流速确定方法、装置及电子设备
CN116740158B (zh) * 2023-08-14 2023-12-05 小米汽车科技有限公司 图像深度确定方法、装置和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007013914A (ja) * 2005-06-30 2007-01-18 Samsung Sdi Co Ltd 立体映像表示装置，および立体映像表示装置を用いた移動通信端末機
JP2011029763A (ja) 2009-07-22 2011-02-10 Casio Computer Co Ltd 画像処理装置及び方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4692878A (en) * 1985-03-29 1987-09-08 Ampower Technologies, Inc. Three-dimensional spatial image system
JP2001183133A (ja) * 1999-12-22 2001-07-06 Sony Corp ３次元形状計測装置および方法、並びに記録媒体
JP3624859B2 (ja) 2001-06-19 2005-03-02 カシオ計算機株式会社 撮像装置、ソフトフォーカス画像撮影方法
JP4230128B2 (ja) 2001-06-20 2009-02-25 富士フイルム株式会社 撮像装置およびその制御方法
CN100573231C (zh) * 2004-09-08 2009-12-23 日本电信电话株式会社 三维显示方法、装置
JP2006146455A (ja) * 2004-11-18 2006-06-08 Konica Minolta Photo Imaging Inc 電子機器、指標付画像の表示方法
KR101228304B1 (ko) 2006-06-16 2013-01-30 삼성전자주식회사 깊이 정보 맵 구성 장치 및 방법, 깊이 정보 맵을 이용한이미지 디스플레이 장치 및 방법
JP2008039491A (ja) * 2006-08-02 2008-02-21 Fuji Heavy Ind Ltd ステレオ画像処理装置
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US8497920B2 (en) 2008-06-11 2013-07-30 Nokia Corporation Method, apparatus, and computer program product for presenting burst images
US8279325B2 (en) * 2008-11-25 2012-10-02 Lytro, Inc. System and method for acquiring, editing, generating and outputting video data
KR101506926B1 (ko) * 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
CN102257827B (zh) 2008-12-19 2014-10-01 皇家飞利浦电子股份有限公司 从图像创建深度图
JP2010166247A (ja) * 2009-01-14 2010-07-29 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2011010194A (ja) * 2009-06-29 2011-01-13 Nikon Corp ボカシ画像形成装置及びそれを備えたカメラ
CN101930606A (zh) * 2010-05-14 2010-12-29 深圳市海量精密仪器设备有限公司 一种图像边缘检测的景深扩展方法
CN102472620B (zh) * 2010-06-17 2016-03-02 松下电器产业株式会社 图像处理装置及图像处理方法
US8705801B2 (en) * 2010-06-17 2014-04-22 Panasonic Corporation Distance estimation device, distance estimation method, integrated circuit, and computer program
JP5682203B2 (ja) * 2010-09-29 2015-03-11 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
CN102713513B (zh) * 2010-11-24 2015-08-12 松下电器产业株式会社 摄像装置、摄像方法、程序以及集成电路
KR101733131B1 (ko) * 2010-12-14 2017-05-10 한국전자통신연구원 3차원 제스처 처리 방법 및 장치
CN102812715B (zh) * 2011-01-27 2015-08-19 松下电器产业株式会社 三维图像摄影装置以及三维图像拍摄方法
JP5818514B2 (ja) * 2011-05-27 2015-11-18 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
JP5907368B2 (ja) * 2011-07-12 2016-04-26 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5720488B2 (ja) 2011-08-16 2015-05-20 リコーイメージング株式会社 撮像装置および距離情報取得方法
JP2014210670A (ja) * 2011-09-01 2014-11-13 旭硝子株式会社 強化ガラスパネルの製造方法
US9129414B2 (en) 2011-10-14 2015-09-08 Morpho, Inc. Image compositing apparatus, image compositing method, image compositing program, and recording medium
US20130176458A1 (en) 2012-01-11 2013-07-11 Edwin Van Dalen Flexible Burst Image Capture System
KR20150004397A (ko) * 2012-04-26 2015-01-12 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 시스템들, 방법들, 및 매체들
TWI489326B (zh) * 2012-06-05 2015-06-21 Wistron Corp 操作區的決定方法與系統
US9632574B2 (en) * 2012-10-31 2017-04-25 Sony Corporation Device and method for authenticating a user
US8760500B1 (en) * 2013-10-23 2014-06-24 Google Inc. Depth map generation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007013914A (ja) * 2005-06-30 2007-01-18 Samsung Sdi Co Ltd 立体映像表示装置，および立体映像表示装置を用いた移動通信端末機
JP2011029763A (ja) 2009-07-22 2011-02-10 Casio Computer Co Ltd 画像処理装置及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101741A (ko) * 2019-02-20 2020-08-28 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
KR102597518B1 (ko) 2019-02-20 2023-11-03 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
TWI554936B (zh) 2016-10-21
TW201516829A (zh) 2015-05-01
CN108107571A (zh) 2018-06-01
CN104660900A (zh) 2015-05-27
JP6511247B2 (ja) 2019-05-15
KR20150050486A (ko) 2015-05-08
CN104660900B (zh) 2018-03-02
US9508173B2 (en) 2016-11-29
US10127639B2 (en) 2018-11-13
CN108107571B (zh) 2021-06-01
JP2015111822A (ja) 2015-06-18
US20170039686A1 (en) 2017-02-09
US20150116353A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
KR101709380B1 (ko) 화상처리장치, 화상처리방법 및 프로그램
EP3457683B1 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
US9516214B2 (en) Information processing device and information processing method
CN104680501B (zh) 图像拼接的方法及装置
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
KR102407190B1 (ko) 영상 촬영 장치 및 그 동작 방법
JP6610535B2 (ja) 画像処理装置および画像処理方法
CN110324532A (zh) 一种图像虚化方法、装置、存储介质及电子设备
CN114071010B (zh) 一种拍摄方法及设备
US9171357B2 (en) Method, apparatus and computer-readable recording medium for refocusing photographed image
US20230290061A1 (en) Efficient texture mapping of a 3-d mesh
JP6068896B2 (ja) 画像処理装置およびプログラム
JP6068895B2 (ja) 画像処理装置およびプログラム
CN111083345B (zh) 独照生成装置和方法及其非易失性计算机可读媒体
CN111223192A (zh) 一种图像处理方法及其应用方法、装置及设备
CN114071009A (zh) 一种拍摄方法及设备
CN112188085B (zh) 一种图像处理方法及手持云台相机
CN110941974B (zh) 虚拟对象的控制方法和装置
JP2016103807A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6300547B2 (ja) 撮像装置
JP2014063290A (ja) 画像処理装置およびプログラム
KR20200029120A (ko) 듀얼 카메라를 이용한 배경 제거 사진 촬영 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 4