KR20200096869A - 라이팅 효과에 대한 후보를 결정하기 위한 정보 처리 장치, 정보 처리 방법, 및 저장 매체 - Google Patents

라이팅 효과에 대한 후보를 결정하기 위한 정보 처리 장치, 정보 처리 방법, 및 저장 매체 Download PDF

Info

Publication number
KR20200096869A
KR20200096869A KR1020200010331A KR20200010331A KR20200096869A KR 20200096869 A KR20200096869 A KR 20200096869A KR 1020200010331 A KR1020200010331 A KR 1020200010331A KR 20200010331 A KR20200010331 A KR 20200010331A KR 20200096869 A KR20200096869 A KR 20200096869A
Authority
KR
South Korea
Prior art keywords
image
distance
unit
precision
distance information
Prior art date
Application number
KR1020200010331A
Other languages
English (en)
Other versions
KR102565151B1 (ko
Inventor
유이치 나카다
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019184741A external-priority patent/JP7422454B2/ja
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20200096869A publication Critical patent/KR20200096869A/ko
Application granted granted Critical
Publication of KR102565151B1 publication Critical patent/KR102565151B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

정보 처리 장치는 화상을 나타내는 화상 데이터를 획득하도록 구성되는 제1 획득 유닛; 화상 데이터에 대응하는 거리 정보를 획득하도록 구성되는 제2 획득 유닛; 및 거리 정보의 정밀도에 기초하여, 화상에 거리 정보에 기초한 라이팅 효과를 적용할 때 화상에 적용가능한 라이팅 효과에 대한 후보를 결정하도록 구성되는 제1 결정 유닛을 포함한다.

Description

라이팅 효과에 대한 후보를 결정하기 위한 정보 처리 장치, 정보 처리 방법, 및 저장 매체{INFORMATION PROCESSING APPARATUS TO DETERMINE CANDIDATE FOR LIGHTING EFFECT, INFORMATION PROCESSING METHOD, AND STORAGE MEDIUM}
실시예들의 개시된 일 양태는 가상 광원에 기초한 효과를 화상에 적용하기 위한 정보 처리 기술에 관한 것이다.
화상 내의 피사체에 가상 광원으로부터 광이 조사되는 것과 같은 효과(이하, 라이팅 효과라고 칭한다)를 적용하기 위한 화상 처리 기술이 지금까지 알려져 있다. 일본 특허 출원 공개 제2017-117029호는 피사체에 관한 3차원 정보에 기초하여 라이팅 효과를 화상에 적용하는 기술을 개시하고 있다.
그러나, 일본 특허 출원 공개 제2017-117029호에 따르면, 피사체에 관한 거리 정보의 정밀도에 따라 원하는 라이팅 효과를 때때로 화상에 적용할 수 없다.
실시예들의 양태는 피사체에 관한 거리 정보에 기초하여 화상에 라이팅 효과를 적용하기 위해, 적합한 라이팅 효과의 후보들을 결정하기 위한 정보 처리를 제공하는 것에 관한 것이다.
실시예들의 양태에 따르면, 정보 처리 장치는 화상을 나타내는 화상 데이터를 획득하도록 구성되는 제1 획득 유닛, 화상 데이터에 대응하는 거리 정보를 획득하도록 구성되는 제2 획득 유닛, 및 화상에 거리 정보에 기초한 라이팅 효과를 적용할 때에 화상에 적용가능한 라이팅 효과의 후보를, 거리 정보의 정밀도에 기초하여 결정하도록 구성되는 제1 결정 유닛을 포함한다.
본 개시내용의 추가의 특징은 첨부된 도면들을 참조하여 예시적인 실시예에 대한 다음 설명으로부터 명백해질 것이다.
도 1a 및 도 1b는 정보 처리 장치들의 하드웨어 구성들을 도시하는 도면들이다.
도 2a 및 도 2b는 정보 처리 장치의 외관을 도시하는 도면들이다.
도 3은 정보 처리 장치의 논리 구성을 도시하는 도면이다.
도 4는 정보 처리 장치에 의해 수행되는 처리를 도시하는 흐름도이다.
도 5는 라이팅 효과 리스트를 설정하기 위한 처리를 도시하는 흐름도이다.
도 6a, 도 6b, 도 6c, 및 도 6d는 거리 정보의 정밀도를 결정하기 위한 처리의 개요를 도시하는 도면이다.
도 7은 라이팅 효과 리스트에 포함되는 라이팅 효과들의 예를 도시하는 도면이다.
도 8은 화상에 라이팅 효과를 추가하기 위한 처리를 도시하는 흐름도이다.
도 9a, 도 9b, 및 도 9c는 얼굴 거리 화상 데이터 및 법선 화상 데이터의 예들을 도시하는 도면들이다.
도 10은 라이팅 효과를 나타내는 아이콘들의 예들을 도시하는 도면이다.
도 11a, 도 11b, 및 도 11c는 화상에 라이팅 효과가 적용될 때의 표시 화상의 예들을 도시하는 도면들이다.
도 12a, 도 12b, 및 도 12c는 화상에 라이팅 효과가 적용될 때의 표시 화상의 예들을 도시하는 도면들이다.
도 13은 라이팅 효과 리스트를 설정하기 위한 처리를 도시하는 흐름도이다.
도 14는 라이팅 효과 리스트를 설정하기 위한 처리를 도시하는 흐름도이다.
도 15는 라이팅 효과 리스트를 설정하기 위한 처리를 도시하는 흐름도이다.
도 16은 개인 정보의 예들을 도시하는 도면이다.
도 17은 라이팅 효과 리스트를 설정하기 위한 처리를 도시하는 흐름도이다.
도 18은 정보 처리 장치에 의해 수행되는 처리를 도시하는 흐름도이다.
도 19a 및 도 19b는 화상에 라이팅 효과가 적용될 때의 표시 화상의 예들을 도시하는 도면들이다.
도 20은 정보 처리 장치의 논리 구성을 도시하는 도면이다.
도 21은 정보 처리 장치에 의해 수행되는 처리를 도시하는 흐름도이다.
도 22는 라이팅 파라미터들의 조정가능한 범위를 설정하기 위한 처리를 도시하는 흐름도이다.
도 23a 및 도 23b는 라이팅 파라미터들의 조정가능한 범위의 설정 예들을 도시하는 도면들이다.
도 24는 화상에 라이팅 효과를 적용하기 위한 처리를 도시하는 흐름도이다.
도 25a, 도 25b, 도 25c, 및 도 25d는 화상에 라이팅 효과가 적용될 때의 표시 화상의 예들을 도시하는 도면들이다.
도 26은 정보 처리 장치에 의해 수행되는 처리를 도시하는 흐름도이다.
도 27a 및 도 27b는 화상에 라이팅 효과가 적용될 때의 표시 화상의 예들을 도시하는 도면들이다.
도 28은 라이팅 효과 리스트를 설정하기 위한 처리를 도시하는 흐름도이다.
도 29a 및 도 29b는 화상에 라이팅 효과가 적용될 때의 표시 화상의 예들을 도시하는 도면들이다.
예시적인 실시예들은 도면들을 참조하여 이하에서 설명될 것이다. 다음의 예시적인 실시예들은 본 개시내용을 반드시 제한하는 것은 아니다. 예시적인 실시예들에서 설명된 특징들의 모든 조합은 본 개시내용의 해결 수단에 반드시 필수적인 것은 아니다.
<거리 정보에 기초한 화상에 대한 라이팅 효과의 적용>
본 개시내용의 제1 예시적인 실시예가 이하에서 설명될 것이다. 피사체에 관한 거리 정보에 기초하여 화상에 라이팅 효과를 적용할 때, 피사체와 배경 사이의 전후 관계를 식별하기에 충분한 정밀도를 갖는 거리 정보는 더 가까운 피사체들에 더 밝게 조사하는 라이팅 효과가 적용되도록 할 경우에 필요하다. 광원으로부터의 광이 각도에서 입사하는 것처럼 피사체가 나타나는 라이팅 효과를 적용하기 위해서는, 피사체의 얼굴 특징들을 식별하기에 충분한 정밀도를 갖는 거리 정보가 필요하다. 이러한 방식으로, 거리 정보는 라이팅 효과에 따라 특정 정밀도를 갖도록 요구된다. 거리 정보가 원하는 라이팅 효과를 적용하기에 충분한 정밀도를 갖지 않으면, 원하는 라이팅 효과는 획득불가능할 수 있다. 이러한 이유로, 본 예시적인 실시예에서는, 화상에 라이팅 효과를 적용하는데 사용되는 거리 정보의 정밀도에 기초하여, 화상에 적용되는 적절한 라이팅 효과에 대한 후보들이 사용자에게 제시된다. 이것은 사용자가 화상과 연관하여 획득된 거리 정보에 적절한 라이팅 효과를 선택할 수 있게 한다. 따라서, 본 예시적인 실시예에서는, 사용자가 의도하지 않은 라이팅 효과들이 사용자가 의도한 거리 정보 및 라이팅 효과의 정밀도에 기초하여 적용가능한 라이팅 효과들 간의 불일치로 인해 화상에 적용되는 것이 방지될 수 있다.
<정보 처리 장치(1)의 하드웨어 구성>
도 1a는 정보 처리 장치(1)의 하드웨어 구성의 예를 도시하는 도면이다. 정보 처리 장치(1)는 스마트폰 및 태블릿 개인용 컴퓨터(PC)와 같은 통신 기능 및 촬상 기능을 갖는 디바이스에 의해 구현된다. 정보 처리 장치(1)는 중앙 처리 장치(CPU)(101), 판독 전용 메모리(ROM)(102), 랜덤 액세스 메모리(RAM)(103), 입출력 인터페이스(I/F)(104), 터치 패널 디스플레이(105), 촬상 유닛(106), 및 통신 I/F(107)를 포함한다. CPU(101)는 RAM(103)을 작업 메모리로서 사용하여, ROM(102) 및 저장 디바이스(110)에 저장된 운영 체제(OS) 및 다양한 프로그램들을 실행한다. CPU(101)는 시스템 버스(108)를 통해 컴포넌트들을 제어한다. (후술하는) 흐름도들에 기초한 처리는 CPU(101)가 ROM(102) 및 저장 디바이스(110)에 저장된 프로그램 코드를 RAM(103)으로 로딩하고 프로그램 코드를 실행함으로써 구현된다. 저장 디바이스(110)는 직렬 버스(109)를 통해 입출력 I/F(104)에 접속된다. 저장 디바이스(110)는 하드 디스크 드라이브(HDD), 광학 드라이브, 플래시 저장 디바이스, 또는 임의의 다른 비휘발성 메모리, 대용량 또는 2차 저장 디바이스들이다. 터치 패널 디스플레이(105)는 화상을 표시하는 디스플레이 및 손가락과 같은 지시 부재에 의한 터치의 위치를 검출하는 터치 패널을 일체적으로 포함하는 입출력 유닛이다. 촬상 유닛(106)은 촬상 타겟의 화상을 획득한다.
도 2a 및 도 2b는 본 예시적인 실시예에 따른 정보 처리 장치(1)의 외관의 예를 도시한다. 도 2a는 터치 패널 디스플레이(105)가 위치하는 정보 처리 장치(1)의 면(이하, 디스플레이 면이라고 칭함)을 도시한다. 도 2b는 디스플레이 면으로부터의 정보 처리 장치(1)의 대향 면(이하, 후면이라고 칭함)을 도시한다. 본 예시적인 실시예에 따른 촬상 유닛(106)은 정보 처리 장치(1)의 후면 상의 메인 카메라(202) 및 정보 처리 장치(1)의 디스플레이 면의 전방 카메라(201)를 포함한다. 전방 카메라(201)는 전방 카메라(201)가 디스플레이(디스플레이 스크린)를 보는 사용자의 얼굴의 화상을 캡처할 수 있도록 위치 및 지향된다. 통신 I/F(107)는 다른 정보 처리 장치, 통신 디바이스, 또는 저장 디바이스와 유선 또는 무선 양방향 통신을 수행한다. 본 예시적인 실시예에 따른 통신 I/F(107)는 무선 근거리 통신망(LAN)을 통해 통신 파트너에/로부터 데이터를 송수신할 수 있다. 직접 통신 외에도, 통신 I/F(107)는 또한 중계 장치를 통해 다른 통신 디바이스와의 간접 통신을 수행할 수 있다.
<정보 처리 장치(1)의 논리 구성>
정보 처리 장치(1)의 논리 구성 예가 설명될 것이다. 도 3은 본 예시적인 실시예에 따른 정보 처리 장치(1)의 논리 구성을 도시하는 블록도이다. 정보 처리 장치(1)는 CPU(101)가 ROM(102)에 저장된 프로그램들을 RAM(103)을 작업 메모리로 하여 실행함으로써 도 3에 도시된 논리 구성으로서 기능한다. 후술하는 모든 처리는 반드시 CPU(101)에 의해 수행될 필요는 없다. 정보 처리 장치(1)는 CPU(101) 이외의 하나 또는 복수의 처리 회로에 의해 처리의 일부 또는 전부가 수행되도록 구성될 수 있다.
정보 처리 장치(1)는 화상 데이터 획득 유닛(301), 라이팅 효과 리스트 결정 유닛(302), 라이팅 효과 선택 유닛(303), 라이팅 처리 유닛(304), 화상 표시 제어 유닛(305), 및 라이팅 효과 표시 제어 유닛(306)을 포함한다. 화상 데이터 획득 유닛(301)은 입출력 유닛(309)으로부터 획득된 사용자의 명령어들에 기초하여 촬상 유닛(308) 또는 저장 유닛(307)으로부터 화상 데이터를 획득한다. 화상 데이터 획득 유닛(301)은 2가지 타입의 화상 데이터, 즉 라이팅 효과가 적용될 컬러 화상을 나타내는 컬러 화상 데이터 및 컬러 화상에 대응하는 거리 정보를 포함하는 거리 화상 데이터를 획득한다. 저장 유닛(307)의 기능들은 예를 들어, 저장 디바이스(110)에 의해 구현된다. 촬상 유닛(308)의 기능들은 촬상 유닛(106)에 의해 구현된다. 입출력 유닛(309)의 기능들은 터치 패널 디스플레이(105)에 의해 구현된다.
컬러 화상 데이터는 각각의 화소에 적색(R) 값, 녹색(G) 값, 및 청색(B) 값을 갖는 컬러 화상을 나타낸다. 컬러 화상 데이터는 촬상 유닛(308)을 사용하여, 피사체의 화상을 캡처함으로써 생성된다. 거리 화상 데이터는 각 화소에, 촬상 유닛(308)으로부터 촬상될 피사체까지의 거리 값을 갖는 거리 화상을 나타낸다. 복수의 상이한 위치로부터 피사체의 화상들을 캡처함으로써 획득된 복수의 컬러 화상 데이터에 기초하여 거리 화상 데이터가 생성된다. 예를 들어, 거리 화상 데이터는 서로 나란히 배열된 2개의 카메라를 사용하여 피사체의 화상들을 캡처함으로써 획득된 화상 데이터, 또는 카메라의 위치를 이동시키면서 피사체의 화상을 복수 회 캡처함으로써 획득된 화상 데이터에 기초하여 전형적인 스테레오 매칭을 사용하여 생성될 수 있다. 거리 화상 데이터는 적외선을 피사체에 조사하는 적외선 방출 유닛 및 피사체로부터 반사된 적외선을 수신하는 수광 유닛을 포함하는 거리 취득 장치를 사용하여 생성될 수 있다. 구체적으로, 적외선 방출 유닛으로부터 방출된 적외선 광이 피사체로부터 반사되고 수광 유닛에 의해 수신되는 시간에 기초하여 카메라로부터 피사체까지의 거리 값이 계산될 수 있다. 거리 화상 데이터와 같은 거리 정보를 생성하기 위한 방법은 전술한 것에 한정되지 않는다. 예를 들어, 피사체에 대응하는 3차원 모델 데이터를 컬러 화상 데이터에 기초하여 피팅함으로써 객체에 관한 거리 정보가 생성될 수 있다. 화상 데이터 획득 유닛(301)에 의해 획득된 각각의 화상 데이터가 나타내는 화상들은 동일한 화소 위치들에서의 화소 값들이 피사체 상의 동일한 위치에 대응하는 것으로 한다.
라이팅 효과 리스트 결정 유닛(302)은 거리 화상 데이터에 포함되는 거리 정보의 정밀도(이하, 거리 정밀도라고 칭함)를 결정하고, 거리 정밀도에 기초하여 유효 라이팅 효과를 포함하는 리스트(이하, 라이팅 효과 리스트라고 칭함)를 결정한다. 본 예시적인 실시예에서, 라이팅 효과 리스트 결정 유닛(302)은 사전에 적용가능한 라이팅 효과들로서 4개의 상이한 라이팅 효과를 갖는다. 그러나, 라이팅 효과들 중 일부는 거리 정보의 정밀도에 따라 구현되지 못할 수 있다. 따라서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도에 기초하여 미리 적용가능한 라이팅 효과들 중에서 처리될 화상에 효과적인 라이팅 효과들을 선택한다. 여기서, 라이팅 효과 리스트 결정 유닛(302)은 적어도 2개 및 최대 4개의 라이팅 효과를 선택함으로써 라이팅 효과 리스트를 생성한다. 라이팅 효과 선택 유닛(303)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 라이팅 효과 리스트에 포함된 라이팅 효과들 중 하나를 선택한다. 선택된 라이팅 효과를 컬러 화상에 적용하기 위해, 라이팅 처리 유닛(304)은 컬러 화상에 대해 라이팅 처리를 수행함으로써 컬러 화상을 보정한다. 라이팅 처리 유닛(304)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 라이팅 효과가 적용된 화상을 나타내는 화상 데이터를 저장 유닛(307)에 기록한다.
화상 표시 제어 유닛(305)은 입출력 유닛(309)을 표시 유닛으로서 사용하여 입출력 유닛(309) 상에 라이팅 효과가 적용된 화상을 표시한다. 라이팅 효과 표시 제어 유닛(306)은 라이팅 효과 리스트에 포함된 라이팅 효과에 대응하는 아이콘들을 입출력 유닛(309) 상에 표시한다.
<정보 처리 장치(1)에 의해 수행되는 처리>
도 4는 정보 처리 장치(1)에 의해 수행되는 처리를 도시하는 흐름도이다. 본 예시적인 실시예에서, 거리 화상 데이터에 기초하여 설정되는 거리 정밀도에 기초하여 컬러 화상에 적용가능한 라이팅 효과들이 제시된다. 이하, 단계들은 숫자 앞에 "S"가 표시될 것이다.
단계 S401에서, 화상 데이터 획득 유닛(301)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 저장 유닛(307)으로부터 컬러 화상 데이터 및 거리 화상 데이터를 획득한다. 여기서, 저장 유닛(307)은 전술한 방법을 통해 미리 생성된 컬러 화상 데이터 및 거리 화상 데이터를 포함한다. 단계 S402에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 화상 데이터에 기초하여 설정되는 거리 정밀도에 기초하여 유효 라이팅 효과들을 포함하는 라이팅 효과 리스트를 결정한다. 라이팅 효과 리스트를 결정하기 위한 처리의 세부 사항들이 이하에서 설명될 것이다.
단계 S403에서, 라이팅 효과 선택 유닛(303)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 라이팅 효과 리스트에 포함된 라이팅 효과들 중 하나를 선택한다. 라이팅 효과 선택 유닛(303)은 또한 사용자 동작들에 기초하여, 피사체에 광을 조사하기 위한 가상 광원의 방향을 포함하는 라이팅 파라미터들을 설정한다. 사용자 동작들에 의해 라이팅 효과가 선택되지 않으면, 라이팅 효과 선택 유닛(303)은 초기 상태로서 이전에 결정된 라이팅 효과를 선택한다. 단계 S404에서, 라이팅 처리 유닛(304)은 선택된 라이팅 효과에 기초하여 컬러 화상을 보정한다. 이하, 보정된 컬러 화상은 보정된 화상이라고 칭할 것이다. 보정된 화상을 나타내는 화상은 보정된 화상 데이터로서 지칭될 것이다. 컬러 화상을 보정하기 위한 처리의 세부 사항들이 후술될 것이다.
단계 S405에서, 화상 표시 제어 유닛(305)은 보정된 화상을 입출력 유닛(309) 상에 표시한다. 단계 S406에서, 라이팅 효과 표시 제어 유닛(306)은 라이팅 효과 리스트에 포함된 라이팅 효과들을 입출력 유닛(309) 상에 표시한다. 라이팅 효과들의 표시는 이하에서 상세히 설명될 것이다. 단계 S407에서, 라이팅 처리 유닛(304)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 보정된 화상 데이터를 저장 유닛(307)에 기록할지를 결정한다. 보정된 화상 데이터를 기록하는 동작이 검출되면(단계 S407에서 예), 처리는 단계 S409로 진행한다. 보정된 화상 데이터를 기록하는 동작이 검출되지 않으면(단계 S407에서 아니오), 처리는 단계 S408로 진행한다. 단계 S408에서, 라이팅 처리 유닛(304)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 라이팅 효과를 적용하는 컬러 화상을 변경할지를 결정한다. 컬러 화상을 변경하는 동작이 검출되면(단계 S408에서 예), 처리는 단계 S401로 진행한다. 컬러 화상을 변경하는 동작이 검출되지 않으면(단계 S408에서 아니오), 처리는 단계 S403으로 진행한다. 단계 S409에서, 라이팅 처리 유닛(304)은 보정된 화상 데이터를 저장 유닛(307)에 기록한다. 처리는 종료된다.
<라이팅 효과 리스트를 결정하기 위한 처리(단계 S402)>
단계 S402에서의 라이팅 효과 리스트를 결정하기 위한 처리가 설명될 것이다. 도 5는 라이팅 효과 리스트를 결정하기 위한 처리를 도시하는 흐름도이다. 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상에서 피사체의 얼굴에 대응하는 얼굴 영역을 추출하고, 거리 화상에서의 얼굴 영역에 대응하는 거리 값들에 기초하여 거리 정밀도를 설정한다. 라이팅 효과 리스트 결정 유닛(302)은 설정된 거리 정밀도에 기초하여 라이팅 효과 리스트에 포함될 라이팅 효과들을 결정한다.
단계 S501에서, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상으로부터 얼굴 영역을 추출한다. 도 6a는 얼굴 영역의 예를 도시한다. 얼굴 영역(601)은 템플릿 매칭 및 하르-유사(Haar-like) 특징량들을 사용하는 알고리즘과 같은 종래의 방법들을 사용하여 추출될 수 있다. 단계 S502에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 화상에서 얼굴 영역(601)에 대응하는 거리 정보의 정밀도를 결정한다. 구체적으로, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상에 대응하는 거리 화상으로부터 얼굴 영역(601)에서의 거리 값들을 획득한다. 얼굴 영역(601)이 미리 결정된 값보다 큰 거리 값을 갖는 미리 결정된 수 이상의 화소들을 포함하면, 거리 정밀도가 낮은 것으로 결정되고(단계 S502에서 예), 처리는 단계 S503으로 진행한다. 얼굴 영역(601)이 미리 결정된 값보다 큰 거리 값을 갖는 미리 결정된 수 미만의 화소들을 포함하면, 거리 정밀도는 높은 것으로 결정되고(단계 S502에서 아니오), 처리는 단계 S504로 진행한다. 본 예시적인 실시예에서, 미리 결정된 값보다 큰 거리 값을 갖는 화소들은 컬러 화상에서 배경에 대응하는 화소들로서 간주된다.
단계 S503에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "로우"로 설정한다. 도 6b는 거리 정밀도가 "로우"인 것으로 결정되는 거리 화상의 예를 도시한다. 도 6b의 거리 화상에서, 얼굴 영역(601) 내의 모든 화소는 배경을 나타내는 화소 값을 갖는다. 단계 S504에서, 라이팅 효과 리스트 결정 유닛(302)은 얼굴 영역(601)이 돌출 및 함몰을 포함하는지를 결정한다. 구체적으로, 라이팅 효과 리스트 결정 유닛(302)은 얼굴 영역(601) 내의 화소들의 거리 값들이 미리 결정된 값보다 작은 분산을 갖는지를 결정한다. 이러한 결정으로, 거리 정보의 정밀도는 거리 화상이 피사체의 얼굴에서의 미세한 돌출 및 함몰에 관한 정보를 포함하는지에 기초하여 결정될 수 있다. 얼굴 영역(601) 내의 화소들의 거리 값들이 미리 결정된 값보다 작은 분산(불균형)을 갖는 경우, 얼굴 영역(601)은 돌출 및 함몰을 포함하지 않는 것으로 결정되고(단계 S504에서 아니오), 처리는 단계 S505로 진행한다. 얼굴 영역(601) 내의 화소들의 거리 값들이 미리 결정된 값 이상인 분산을 갖는 경우, 얼굴 영역(601)은 돌출 및 함몰을 포함하도록 결정되고(단계 S504에서 예), 처리는 단계 S506으로 진행한다.
단계 S505에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "중간"으로 설정한다. 도 6c는 거리 정밀도가 "중간"인 것으로 결정되는 거리 화상의 예를 도시한다. 도 6c의 거리 화상에서, 얼굴 영역(601) 내의 모든 화소는 동일한 거리 값을 갖는다. 단계 S506에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "하이"로 설정한다. 도 6d는 거리 정밀도가 "하이"인 것으로 결정되는 거리 화상의 예를 도시한다. 도 6d의 거리 화상에서, 얼굴 영역(601) 내의 화소들은 피사체의 얼굴의 형상에 따라 다양한 거리 값들을 갖는다.
단계 S507에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도에 기초하여 라이팅 효과 리스트에 포함될 라이팅 효과들을 결정한다. 도 7은 거리 정밀도에 기초하여 라이팅 효과들을 설정하기 위한 방법의 예를 도시한다. 본 예시적인 실시예에서, 라이팅 효과 리스트에 포함될 라이팅 효과들은 거리 정밀도에 기초하여 4가지 타입의 라이팅 효과들 "off", "얼굴 강조", "피사체 강조", 및 "광원 위치 지정" 중에서 결정된다. 본 예시적인 실시예에서는, 거리 정밀도가 높을수록, 더 많은 라이팅 효과가 라이팅 효과 리스트에 포함된다. 구체적으로, 거리 정밀도는, 전경으로부터 배경을 구별하기에 충분한 정밀도를 갖는 거리 정보가 획득되지 않거나 전혀 거리 정보가 획득되지 않는 상황들에서 "로우"이다. 이러한 경우에, 전경과 배경 사이의 구별(미터 단위)이 필요한 라이팅 효과 "피사체 강조" 와 눈 및 코와 같은 돌출 및 함몰의 식별(센티미터 단위)이 필요한 라이팅 효과 "광원 위치 지정"은 적합하지 않다. 대조적으로, 라이팅 효과 "얼굴 강조"는 컬러 화상 상의 얼굴 검출에 의해 획득된 정보에 기초하여 구현될 수 있다. 따라서, 거리 정밀도가 "로우"인 경우, 라이팅 효과들 "off" 및 "얼굴 강조"는 효과적인 라이팅 효과들로서 라이팅 효과 리스트에 포함된다. 거리 정밀도는 눈 및 코와 같은 돌출 및 함몰의 식별(센티미터 단위)은 불가능하지 않지만 배경으로부터 전경의 구별(미터 단위)은 가능한 거리 정보가 획득되는 상황들에서 "중간"이다. 따라서, 거리 정밀도가 "중간"이면, "광원 위치 지정"을 제외한 라이팅 효과들 "off", "얼굴 강조", 및 "피사체 강조"는 라이팅 효과 리스트에 유효 라이팅 효과들로서 포함된다. 거리 정밀도는 눈 및 코와 같은 돌출 및 함몰을 식별(센티미터 단위)하기에 충분한 정밀도를 갖는 거리 정보가 획득되는 상황에서 "하이"이다. 이러한 경우에, 전술한 4가지 타입의 라이팅 효과들 모두 라이팅 효과 리스트에 포함된다. 요약하면, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도가 "로우"인 경우 라이팅 효과 리스트에 "off" 및 "얼굴 강조"를 포함한다. 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도가 "중간"인 경우 라이팅 효과 리스트에 "off", "얼굴 강조", 및 "피사체 강조"를 포함한다. 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도가 "하이"인 경우 라이팅 효과 리스트에 "off", "얼굴 강조", "피사체 강조", 및 "광원 위치 지정"을 포함한다. 컬러 화상에 적용될 라이팅 효과는 그러한 처리를 통해 거리 정밀도에 기초하여 결정된 유효 라이팅 효과들 중에서 선택될 수 있다.
<컬러 화상 보정 처리(단계 S404)>
단계 S404에서의 컬러 화상을 보정하는 처리가 설명될 것이다. 도 8은 컬러 화상을 보정하기 위한 처리를 도시하는 흐름도이다. 라이팅 처리 유닛(304)은 거리 화상 데이터에 기초하여 법선 화상 데이터를 생성한다. 라이팅 처리 유닛(304)은 거리 화상 데이터 및 법선 화상 데이터에 기초하여 컬러 화상을 보정한다.
단계 S801에서, 라이팅 처리 유닛(304)은 거리 화상 데이터에 기초하여 얼굴 거리 화상 데이터를 생성한다. 얼굴 거리 화상 데이터는 얼굴 영역(601)에 대응하는 영역이 전경 영역으로서 역할하고, 다른 영역들이 배경 영역으로서 역할하는 거리 화상 데이터이다. 본 예시적인 실시예에서, 라이팅 처리 유닛(304)은 거리 화상 데이터에 의해 나타나는 거리 화상에 상에 얼굴 영역(601)을 포함하는 타원형 영역을 설정한다. 그 다음, 라이팅 처리 유닛(304)은 얼굴 거리 화상 데이터로서, 설정된 타원형 영역 내부의 화소들이 전경을 나타내는 거리 값을 갖고 다른 화소들이 배경을 나타내는 거리 값을 갖는 거리 화상을 나타내는 거리 화상 데이터를 생성한다. 도 9a는 얼굴 거리 화상 데이터의 예를 도시한다. 단계 S802에서, 라이팅 처리 유닛(304)은 단계 S402에서 설정된 거리 정밀도가 "하이"인지를 결정한다. 거리 정밀도가 "하이"이면(단계 S802에서 예), 처리는 단계 S803으로 진행한다. 다른 경우에(단계 S802에서 아니오), 처리는 단계 S804로 진행한다.
단계 S803에서, 라이팅 처리 유닛(304)은 거리 화상 데이터에 기초하여 법선 화상 데이터를 생성한다. 법선 화상 데이터는 각 화소가 피사체의 표면에 대한 법선 벡터를 포함하는 법선 화상을 나타내는 화상 데이터이다. 구체적으로, 라이팅 처리 유닛(304)은 거리 화상에서의 화소의 2차원 좌표 값들 및 화소에 포함된 거리 값에 기초하여 각각의 화소의 3차원 좌표 값들을 계산한다. 라이팅 처리 유닛(304)은 계산된 3차원 좌표 값들에 기초하여 각각의 화소에 대응하는 법선 벡터를 계산한다. 법선 벡터는 3차원 좌표 값들로부터 계산된 기울기에 기초한 계산 방법 또는 각 화소에 평면을 적용하고 그에 수직한 것을 법선 벡터로서 결정하는 방법을 사용하여 계산될 수 있다.
본 예시적인 실시예에 따른 라이팅 처리 유닛(304)은 관심 화소의 이웃 영역에 대응하는 근사 평면을 계산하고, 근사 평면에 수직한 벡터를 관심 화소의 법선 벡터로서 계산한다. 이 절차는 아래에 설명될 것이다. 법선 벡터가 계산될 관심 화소의 3차원 좌표 값들 및 그의 이웃 화소들의 3차원 좌표 값들이 (x0, y0, z0), ..., (xn-1, yn-1, zn-1)라고 가정한다. x 좌표 값들은 거리 화상의 수평 2차원 좌표 값들에 기초하여 계산된다. y 좌표 값들은 거리 화상의 수직 2차원 좌표 값들에 기초하여 계산된다. z 좌표 값들은 거리 화상의 화소 값들에 기초하여 계산된다. 평면 ax+by+c=z는 관심 화소의 좌표 값들 및 그 이웃 화소들의 좌표 값들에 적용된다. 구체적으로, 수학식 (1)에 의해 주어지는 함수 E를 최소화하는 a, b, 및 c는 z축 방향의 거리 값들을 사용하여 계산된다:
Figure pat00001
a, b, 및 c는 수학식 (2)를 사용하여 계산된다:
Figure pat00002
평면 ax+by+c=z에 수직한 벡터 n=(nx, ny, nz)는 수학식 (3)을 사용함으로써 계산된다:
Figure pat00003
수학식 (3)을 사용하여 계산된 벡터 n=(nx, ny, nz)는 관심 화소에 대응하는 법선 벡터이다. 법선 화상 데이터는 거리 화상의 각 화소에 대해 유사한 처리를 수행함으로써 생성된다. 법선 화상 데이터는 화소들 (i, j)이 각각의 법선 벡터들 (nx(i, j), ny(i, j), nz(i, j))을 갖는 법선 화상을 나타내는 화상 데이터이다. 도 9b는 생성된 법선 화상 데이터에 의해 나타나는 법선 화상의 예를 도시한다.
단계 S804에서, 라이팅 처리 유닛(304)은 간략화된 방식으로 법선 화상 데이터를 생성한다. 본 예시적인 실시예에서, 라이팅 처리 유닛(304)은 모든 화소가 법선 벡터 n=(0, 0, 1)을 갖는 법선 화상을 나타내는 법선 화상 데이터를 생성한다. 도 9c는 간략화된 방식으로 생성된 법선 화상 데이터의 예를 도시한다. 라이팅 처리 유닛(304)은 저장 유닛(307)으로부터 미리 생성된 법선 화상 데이터를 획득할 수 있다. 단계 S805에서, 라이팅 처리 유닛(304)은 단계 S403에서 어느 라이팅 효과가 선택되는지를 결정한다. 선택된 라이팅 효과가 "off"인 경우(단계 S805에서 OFF), 처리는 단계 S806으로 진행한다. 선택된 라이팅 효과가 "얼굴 강조"(단계 S805에서 얼굴 강조)인 경우, 처리는 단계 S807로 진행한다. 선택된 라이팅 효과가 "피사체 강조"이면 (단계 S805에서 피사체 강조), 처리는 단계 S808로 진행한다. 선택된 라이팅 효과가 "광원 위치 지정"(단계 S805에서 광원 위치 지정)인 경우, 처리는 단계 S809로 진행한다.
단계 S806에서, 라이팅 처리 유닛(304)은 컬러 화상을 보정하지 않고 컬러 화상 데이터를 화상 표시 제어 유닛(305)에 출력한다. 출력 컬러 화상 데이터는 보정된 화상 데이터로서 취급된다. 단계 S807에서, 라이팅 처리 유닛(304)은 거리 화상 데이터 및 법선 화상 데이터에 기초하여 컬러 화상을 보정한다. 단계 S807에서, 라이팅 처리 유닛(304)은 (후술되는) 컬러 화상을 보정하기 위한 처리를 통해 컬러 화상에 얼굴을 강조하기 위한 라이팅 효과를 적용한다. 라이팅 처리 유닛(304)은 보정된 컬러 화상을 나타내는 보정된 화상 데이터를 화상 표시 제어 유닛(305)에 출력한다.
단계 S808에서, 라이팅 처리 유닛(304)은 거리 화상 데이터 및 법선 화상 데이터에 기초하여 컬러 화상을 보정한다. 단계 S808에서, 라이팅 처리 유닛(304)은 (후술하는) 컬러 화상을 보정하기 위한 처리를 통해 컬러 화상에 배경을 어둡게하여 전경의 피사체를 강조하기 위한 라이팅 효과를 적용한다. 라이팅 처리 유닛(304)은 보정된 컬러 화상을 나타내는 보정된 화상 데이터를 화상 표시 제어 유닛(305)에 출력한다. 단계 S809에서, 라이팅 처리 유닛(304)은 거리 화상 데이터 및 법선 화상 데이터에 기초하여 컬러 화상을 보정한다. 단계 S809에서, 라이팅 처리 유닛(304)은 (후술되는) 컬러 화상을 보정하기 위한 처리를 통해 사용자에 의해 지정된 광원 위치에 기초하여 라이팅 효과를 컬러 화상에 적용한다. 라이팅 처리 유닛(304)은 보정된 컬러 화상을 나타내는 보정된 화상 데이터를 화상 표시 제어 유닛(305)에 출력한다.
<컬러 화상을 보정하는 처리(단계 S807, S808, 및 S809)>
단계들 S807, S808 및 S809에서의 컬러 화상을 보정하기 위한 처리가 설명될 것이다. 라이팅 처리 유닛(304)은 컬러 화상에 적용될 라이팅 효과에 기초한 보정에 사용될 파라미터들을 스위칭한다. 따라서, 동일한 처리 절차를 통해, 원하는 방향으로 광이 조사되는 것처럼 피사체를 그늘지게 함으로써 3차원 외관을 강조하기 위한 라이팅 효과 및 배경을 어둡게 하여 전경의 피사체에 스포트라이트되는 것처럼 강조하는 라이팅 효과가 피사체에 적용될 수 있다. 이제, 특정 처리 절차의 예가 설명될 것이다. 처음에, 라이팅 처리 유닛(304)은 수학식 (4)에 따라 컬러 화상의 배경의 밝기를 보정한다:
Figure pat00004
여기서, I는 컬러 화상의 화소 값이고, I'는 배경의 밝기가 보정된 컬러 화상의 화소 값이다.
β는 배경의 어두움을 조정하기 위한 파라미터이다. D는 거리 화상의 화소 값(거리 값) d에 기초한 함수이다. 거리 값 d가 클수록, 함수 D의 값이 작다. D는 0 에서 1까지의 값들을 취한다. 구체적으로, D는 전경을 나타내는 거리 값들에 대해 더 큰 값들을 취하고, 배경을 나타내는 거리 값들에 대해 더 작은 값들을 취한다. β는 0 내지 1의 값으로 설정된다. 파라미터 β가 1에 가까울수록, 컬러 화상의 배경은 더 어둡게 보정된다. 수학식 (4)에 따라 컬러 화상을 보정함으로써, 거리 값 d가 크고 D가 1 미만인 화소들만이 파라미터 β에 기초하여 어둡게 될 수 있다.
다음으로, 라이팅 처리 유닛(304)은 수학식 (5)에 따라 밝기 보정된 배경을 갖는 컬러 화상에 대해 거리 화상 데이터 및 법선 화상 데이터에 기초하여 음영들을 추가한다:
Figure pat00005
여기서, I"는 음영 컬러 화상의 화소 값이다.
α는 가상 광원의 밝기를 조정하기 위한 파라미터이다. L은 피사체로부터 가상 광원으로의 방향을 표시하는 광원 벡터이다. H는 법선 화상의 화소 값(법선 벡터) n과 광원 벡터 L에 기초한 함수이다. 법선 벡터 n과 광원 벡터 L 사이에 형성된 각도가 작을수록, 함수 H의 값이 크다. H는 0에서 1까지의 값들을 취한다. 예를 들어, H는 수학식 (6)에 의해 주어질 수 있다:
Figure pat00006
단계들 S807, S808 및 S809에서, 전술한 파라미터들은 선택된 라이팅 효과에 기초하여 변경된다.
단계 S807에서, 라이팅 처리 유닛(304)은 얼굴 거리 화상의 거리 값들에 기초하여 D를 설정한다. 이것은 얼굴 영역의 강조를 가능하게 한다. 단계 S808에서, 라이팅 처리 유닛(304)은 거리 화상의 거리 값들에 기초하여 D를 설정한다. 라이팅 처리 유닛(304)은 또한 β를 1보다 작은 값으로 설정한다. 이러한 방식으로, 배경은 전경 상의 피사체를 강조하기 위해 어둡게 될 수 있다. 단계 S809에서, 라이팅 처리 유닛(304)은 거리 화상의 거리 값들에 기초하여 D를 설정한다. 라이팅 처리 유닛(304)은 또한 사용자 동작들에 기초하여 광원 벡터 L을 포함하는 파라미터들을 설정한다. 예를 들어, 광원 벡터 L은 사용자 동작들에 기초하여 피사체에 대해 설정된 수직 및 수평 회전 각도들에 기초하여 3차원 벡터를 계산함으로써 획득된다. 따라서, 사용자에 의해 지정된 광원 위치에 기초한 라이팅 효과가 컬러 화상에 적용될 수 있다.
<라이팅 효과들을 표시하기 위한 처리(단계 S406)>
단계 S406에서 라이팅 효과에 대한 후보들을 표시하기 위한 처리가 설명될 것이다. 도 10은 본 예시적인 실시예에 따른 라이팅 효과들("off", "얼굴 강조", "피사체 강조", 및 "광원 위치 지정")에 대응하는 아이콘의 예들을 도시한다. 라이팅 효과 표시 제어 유닛(306)은 라이팅 효과 리스트에 포함된 라이팅 효과들의 그룹에 기초하여 각자의 라이팅 효과들에 대응하는 아이콘들을 표시한다. 도 11a, 도 11b, 및 도 11c는 라이팅 효과들의 표시 예들을 도시한다. 라이팅 효과 표시 제어 유닛(306)은 적용가능한 라이팅 효과들에 대응하는 아이콘들을 표시한다. 거리 정밀도가 "로우"인 경우, 라이팅 효과 표시 제어 유닛(306)은 도 11a에 도시된 바와 같이 "off" 및 "얼굴 강조"에 대응하는 아이콘들을 표시한다. 거리 정밀도가 "중간"인 경우, 라이팅 효과 표시 제어 유닛(306)은 도 11b에 도시된 바와 같이, "off", "얼굴 강조", 및 "피사체 강조"에 대응하는 아이콘들을 표시한다. 거리 정밀도가 "하이"인 경우, 라이팅 효과 표시 제어 유닛(306)은 도 11c에 도시된 바와 같이, "off", "얼굴 강조", "피사체 강조", 및 "광원 위치 지정"에 대응하는 아이콘들을 표시한다. 선택된 라이팅 효과의 아이콘은 다른 미선택된 라이팅 효과들의 아이콘들로부터 구별을 위해 프레임 또는 상이한 컬러로 표시된다.
도 11a, 도 11b, 및 도 11c는 라이팅 효과 "off"가 선택되는 경우들의 예들을 도시한다. 도 12a, 도 12b, 및 도 12c는 상이한 라이팅 효과가 선택되는 경우들의 예들을 도시한다. 도 12a는 "얼굴 강조"가 선택되는 경우의 표시 화상의 예를 도시한다. 이러한 경우에, 얼굴 영역이 강조되는 보정된 화상이 표시된다. 도 12b는 "피사체 강조"가 선택되는 경우의 표시 화상의 예를 도시한다. 이러한 경우에, 배경이 어둡게 되어 피사체를 강조하는 보정된 화상이 표시된다. 도 12c는 "광원 위치 지정"이 선택되는 경우의 표시 화상의 예를 도시한다. 이러한 경우, 사용자에 의해 지정된 라이팅 파라미터들에 기초한 보정된 화상이 표시된다. 라이팅 파라미터들을 조정하기 위한 슬라이더들이 또한 중첩된 방식으로 보정된 화상 상에 표시된다. 본 예시적인 실시예에서, 가상 광원의 위치를 조정하기 위한 슬라이더 및 가상 광원의 밝기를 조정하기 위한 슬라이더가 표시된다. 여기서 표시된 슬라이더들은 사용자의 터치 동작들이 검출됨으로써 이동된다.
<제1 예시적인 실시예의 효과들>
전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 화상을 나타내는 화상 데이터와 화상 데이터에 대응하는 거리 정보를 획득한다. 정보 처리 장치(1)는 거리 정보의 정밀도에 기초하여, 화상에 거리 정보에 기초하여 라이팅 효과를 적용할 때에 화상에 적용할 수 있는 라이팅 효과에 대한 후보들을 결정한다. 따라서, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 화상에 라이팅 효과를 적용하기 위한 라이팅 효과에 대한 적절한 후보들을 결정할 수 있다. 라이팅 효과에 대한 결정된 후보들을 사용자에게 제시하는 것은 사용자에 의해 의도되지 않은 라이팅 효과들이 사용자에 의해 의도된 라이팅 효과와 거리 정보의 정밀도에 기초하여 적용가능한 라이팅 효과들 사이의 불일치 때문에 화상에 적용되는 것을 방지할 수 있다.
<변형들>
본 예시적인 실시예에서, 단계 S502에서, 얼굴 영역(601) 배경을 나타내는 거리 값을 갖는 미리 결정된 수 이상의 화소를 포함하는 경우, 거리 정밀도가 로우라고 결정된다. 그러나, 거리 정밀도는 또한 컬러 화상 데이터에 대응하는 거리 화상 데이터가 없다면 로우인 것으로 결정될 수 있다.
본 예시적인 실시예에 따른 정보 처리 장치(1)에서, 화상 표시 제어 유닛(305)은 화상 디스플레이를 제어하고, 라이팅 효과 표시 제어 유닛(306)은 유효 라이팅 효과들의 표시를 제어한다. 그러나, 정보 처리 장치(1)는 단일의 표시 제어 유닛을 포함할 수 있다. 이러한 경우에, 정보 처리 장치(1)에 포함되는 단일 표시 제어 유닛은 유효 라이팅 효과들의 표시 및 화상 표시를 모두 제어한다.
본 예시적인 실시예에서, 유효 라이팅 효과들은 사용자 프리젠테이션을 위해 입출력 유닛(309) 상에 표시된다. 그러나, 유효 라이팅 효과들을 제시하기 위한 방법은 전술한 예에 제한되지 않는다. 예를 들어, 유효 라이팅 효과들은 사운드를 사용하여 사용자에게 제시될 수 있다. 이러한 경우에, 도 10에 도시된 4개의 아이콘이 입출력 유닛(309) 상에 표시된다. 아이콘 상의 터치가 검출되고 터치된 아이콘이 라이팅 효과 리스트에 포함된 유효 라이팅 효과를 나타내지 않으면 경고 사운드가 출력될 수 있다.
본 예시적인 실시예에서는, 라이팅 효과 리스트를 결정하기 위한 처리에서, 거리 정밀도가 3개의 레벨로 설정된다. 그러나, 거리 정밀도는 2개의 레벨 또는 4개 이상의 레벨로 설정될 수 있다.
본 예시적인 실시예에서, 거리 정밀도는 얼굴 영역에서의 거리 값에 기초하여 결정된다. 그러나, 거리 정밀도는 얼굴 영역 이외의 거리 값에 기초하여 결정될 수 있다. 예를 들어, 거리 정밀도는 별도로 추출된 개인 영역에서의 거리 값들에 기초하여, 또는 얼굴 영역 아래의 영역에서의 거리 값들뿐만 아니라 얼굴 영역에서의 거리 값들에 기초하여 결정될 수 있다. 거리 정밀도를 결정하는데 사용되는 영역은 입출력 유닛(309)을 통해 사용자에 의해 지정될 수 있다.
본 개시내용의 제2 예시적인 실시예가 이하에서 설명될 것이다. 제1 예시적인 실시예에서, 거리 정밀도는 거리 화상 데이터에 기초하여 설정된다. 본 예시적인 실시예에서는, 화상 데이터에 부착된 촬상 디바이스 정보에 기초하여 태그 정보로서 거리 정밀도가 설정된다. 도 1b는 본 예시적인 실시예에 따른 정보 처리 장치(1) 의 하드웨어 구성을 도시한다. 구체적으로, 본 예시적인 실시예에서, 정보 처리 장치(1)는 내장된 촬상 유닛을 포함하지 않고, 외부로부터 화상 데이터를 획득한다. 정보 처리 장치(1)는 제1 예시적인 실시예와 유사한 논리 구성을 갖는다. 따라서, 그에 대한 설명은 생략될 것이다. 본 예시적인 실시예와 제1 예시적인 실시예 사이의 차이점들에 대해서는 주로 이하에서 설명될 것이다. 이하의 설명에서, 제1 예시적인 실시예와 유사한 컴포넌트들은 동일한 참조 번호들로 지정된다.
<정보 처리 장치(1)에 의해 수행되는 처리>
본 예시적인 실시예는 단계 S402에서의 라이팅 효과 리스트를 결정하기 위한 처리에서 제1 예시적인 실시예와 상이하다. 본 예시적인 실시예에 따른 라이팅 효과 리스트 결정 유닛(302)은 화상 데이터에 부착된 촬상 디바이스 정보에 기초하여 거리 정밀도를 결정한다. 촬상 디바이스 정보는 촬상 디바이스 명칭, 촬상 디바이스가 거리 정보를 획득할 수 있는지에 관한 정보, 및 거리 정보를 획득하기 위한 방법을 포함한다. 거리 정보를 획득하기 위해 피사체 상에 광을 투영하는 촬상 디바이스들은 다른 촬상 디바이스들에 비해, 가장 높은 정밀도로 거리 정보를 획득할 수 있다. 다른 방법들에 의해 거리 정보를 획득하는 촬상 디바이스들은 다음으로 가장 높은 정밀도에서 거리 정보를 획득할 수 있다. 거리 정보를 획득할 수 없는 촬상 디바이스들은 거리 정보의 가장 낮은 정밀도를 갖는다. 라이팅 효과 리스트를 결정하기 위한 처리의 세부 사항들이 이제 설명될 것이다.
<라이팅 효과 리스트를 결정하기 위한 처리(단계 S402)>
도 13은 라이팅 효과 리스트를 결정하기 위한 처리를 도시하는 흐름도이다. 단계 S1301에서, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 데이터에 부착된 태그 정보로부터 촬상 디바이스 정보를 획득한다. 촬상 디바이스 정보는 컬러 화상 데이터 및 거리 화상 데이터를 생성하는데 사용되는 촬상 디바이스(117)를 식별하기 위한 정보이다. 단계 S1302에서, 라이팅 효과 리스트 결정 유닛(302)은 촬상 디바이스(117)가 촬상 디바이스 정보에 기초하여 거리 정보를 획득할 수 있는지를 결정한다. 촬상 디바이스(117)가 거리 정보를 획득할 수 있는 경우(단계 S1302에서 예), 처리는 단계 S1304로 진행한다. 촬상 디바이스(117)가 거리 정보를 획득할 수 없는 경우(단계 S1302에서 아니오), 처리는 단계 S1303으로 진행한다.
단계 S1303에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "로우"로 설정한다. 단계 S1304에서, 라이팅 효과 리스트 결정 유닛(302)은 촬상 디바이스(117)가 거리 정보를 획득하기 위해 피사체 상에 광을 투영할지를 결정한다. 촬상 디바이스(117)가 피사체 상에 광을 투영하지 않는 경우(단계 S1304에서 아니오), 처리는 단계 S1305로 진행한다. 촬상 디바이스(117)가 피사체 상에 광을 투영하는 경우(단계 S1304에서 예), 처리는 단계 S1306으로 진행한다. 거리 정보를 획득하기 위해 피사체 상에 광을 투영하는 촬상 디바이스의 예들은 피사체 상에 투영되는 특정 패턴의 화상을 캡처하고, 패턴의 변화량에 기초하여 거리를 측정하는 카메라, 및 피사체 상에 투영되는 광의 비행 시간에 기초하여 거리를 측정하는 카메라를 포함한다. 거리 정보를 획득하기 위해 피사체 상에 광을 투사하지 않는 촬상 디바이스의 예들은 시차에 기초하여 거리 정보를 획득하는 카메라를 포함한다.
단계 S1305에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "중간"으로 설정한다. 단계 S1306에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "하이"로 설정한다. 단계 S1307에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도에 기초하여 라이팅 효과 리스트에 포함될 라이팅 효과들을 결정한다. 단계 S1307의 처리는 제1 예시적인 실시예에 따른 단계 S507의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다.
<제2 예시적인 실시예의 효과>
전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 화상 데이터에 대응하는 촬상 디바이스(117)가 거리 정보를 획득하는 기능을 가지고 있는지에 기초하여 거리 정보의 정밀도를 결정한다. 따라서, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 라이팅 효과를 화상에 적용하기 위한 라이팅 효과에 대한 적절한 후보들로 결정할 수 있다.
<변형들>
본 예시적인 실시예에서, 촬상 디바이스(117)가 피사체 상에 광을 투여하는지에 기초하여 거리 정밀도가 결정된다. 그러나, 거리 정밀도는 화상을 캡처하기 위해 복수의 카메라가 사용되는지에 기초하여 결정될 수 있다. 이러한 경우에, 단일 카메라가 화상을 캡처하는데 사용되는 경우보다, 복수의 카메라가 화상을 캡처하는데 사용되는 경우에 더 높은 거리 정밀도가 설정된다. 도 28은 라이팅 효과 리스트를 결정하기 위한 처리를 도시하는 흐름도이다. 도 13과의 차이점은 단계 S2804에 있다. 단계 S2801 내지 단계 S2803 및 단계 S2805 내지 단계 S2807은 각각 도 13의 단계 S1301 내지 단계 S1303 및 단계 S1305 내지 단계 S1307과 유사하므로, 설명하지 않는다. 단계 S2804에서, 라이팅 효과 리스트 결정 유닛(302)은 촬상 디바이스(117)가 피사체의 화상을 캡처하기 위해 복수의 카메라를 사용하는지를 결정한다. 단일 카메라가 화상을 캡처하는데 사용되는 경우(단계 S2804에서 아니오), 처리는 단계 S2805로 진행한다. 복수의 카메라가 화상을 캡처하는데 사용되는 경우(단계 S2804에서 예), 처리는 단계 S2806으로 진행한다. 단일 카메라가 화상을 캡처하는데 사용되는 경우, 거리 정보는 렌즈 블러(lens blur)의 크기에 기초한 방법 및 캡처된 화상에서의 피사체의 인식 결과에 기초한 방법과 같은 공지된 방법들에 의해 획득될 수 있다. 화상을 캡처하기 위해 복수의 카메라가 사용되는 경우, 블러의 크기 및 피사체의 인식 결과에 더하여, 상이한 카메라 위치들로 인한 시차 정보에 기초하여 거리 정보가 획득될 수 있다. 따라서, 복수의 카메라를 사용하여 화상을 캡처하는 것은 단일 카메라를 사용하는 것보다 더 정확한 거리 정보의 취득을 가능하게 한다.
본 예시적인 실시예에서는, 거리 정보가 획득될 수 있는지의 여부와 거리 정보를 획득하기 위한 방법에 기초하여 거리 정밀도를 설정한다. 그러나, 촬상 디바이스 명칭에 기초하여 거리 정밀도가 설정될 수 있다. 이러한 경우에, 촬상 디바이스 명칭과 거리 정밀도 간의 대응 관계를 저장하는 테이블이 미리 준비된다. 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 데이터에 대응하는 촬상 디바이스 명칭과 미리 준비된 테이블에 기초하여 거리 정밀도를 설정할 수 있다.
본 예시적인 실시예에서는, 정보 처리 장치(1)가 도 1b에 도시된 하드웨어 구성을 갖는 것으로 설명되어 있다. 그러나, 본 예시적인 실시예는 정보 처리 장치(1)가 도 1a에 도시된 하드웨어 구성을 갖는 경우에도 적용될 수 있다. 특히, 일부 정보 처리 장치(1)는 촬상 유닛(106)을 사용하여 복수의 계산 방법을 사용하여 복수의 상이한 거리 정보를 획득할 수 있다. 이러한 경우에, 거리 정보를 획득하는 방법이 태그 정보로서 화상 데이터에 저장되어, 라이팅 효과 리스트 결정 유닛(302)은 본 예시적인 실시예에서 설명된 바와 같이 라이팅 효과 리스트를 결정할 수 있다.
본 개시내용의 제3 예시적인 실시예가 후술될 것이다. 제1 예시적인 실시예에서, 거리 정밀도는 거리 화상 데이터에 기초하여 설정된다. 본 예시적인 실시예에서, 촬상 유닛(106)으로부터 촬상 동안의 포커싱된 피사체의 위치까지의 거리(이하, 피사체 거리라고 칭함)에 기초하여 거리 정밀도가 설정된다. 본 예시적인 실시예에 따른 정보 처리 장치(1)는 제1 예시적인 실시예와 유사한 하드웨어 구성 및 논리 구성을 갖는다. 따라서, 그에 대한 설명은 생략될 것이다. 본 예시적인 실시예와 제1 예시적인 실시예 사이의 차이점들에 대해서는 주로 이하에서 설명될 것이다. 이하의 설명에서, 제1 예시적인 실시예와 유사한 컴포넌트들은 동일한 참조 번호들로 지정된다.
<정보 처리 장치(1)에 의해 수행되는 처리>
본 예시적인 실시예는 단계 S402에서의 라이팅 효과 리스트를 결정하기 위한 처리에서 제1 예시적인 실시예와 다르다. 본 예시적인 실시예에 따른 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 데이터에 대응하는 피사체 거리 정보에 기초하여 거리 정밀도를 결정한다. 피사체 거리 정보는 촬상 유닛(106)으로부터 촬상 동안의 포커싱된 피사체의 위치까지의 거리 값(피사체 거리)을 표시한다. 피사체 거리가 작을수록, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도가 더 높다고 결정한다. 구체적으로, 라이팅 효과 리스트 결정 유닛(302)은 피사체 거리를 미리 결정된 값 L1 및 L2 (L1>L2)와 비교함으로써 거리 정밀도를 결정한다. 라이팅 효과 리스트를 결정하기 위한 처리의 세부 사항들이 이하에서 설명될 것이다.
<라이팅 효과 리스트를 결정하기 위한 처리(단계 S402)>
도 14는 라이팅 효과 리스트를 결정하기 위한 처리를 도시하는 흐름도이다. 단계 S1401에서, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 데이터에 부착된 태그 정보로부터 피사체 거리 정보를 획득한다. 단계 S1402에서, 라이팅 효과 리스트 결정 유닛(302)은 피사체 거리가 L1 이상인지를 결정한다. 라이팅 효과 리스트 결정 유닛(302)이 피사체 거리가 L1 이상인 것으로 결정하면(단계 S1402에서 예), 처리는 단계 S1403으로 진행한다. 라이팅 효과 리스트 결정 유닛(302)이 피사체 거리가 L1보다 작다고 결정하면(단계 S1402에서 아니오), 처리는 단계 S1404로 진행한다. 단계 S1403에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "로우"로 설정한다.
단계 S1404에서, 라이팅 효과 리스트 결정 유닛(302)은 피사체 거리가 L2 이상인지를 결정한다. 라이팅 효과 리스트 결정 유닛(302)이 피사체 거리가 L2 이상인 것으로 결정하면(단계 S1404에서 예), 처리는 단계 S1405로 진행한다. 라이팅 효과 리스트 결정 유닛(302)이 피사체 거리가 L2보다 작은 것으로 결정하면(단계 S1404에서 아니오), 처리는 단계 S1406으로 진행한다. 단계 S1405에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "중간"으로 설정한다. 단계 S1406에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "하이"로 결정한다. 단계 S1407에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도에 기초하여 라이팅 효과 리스트에 포함될 라이팅 효과들을 결정한다. 단계 S1407의 처리는 제1 예시적인 실시예에 따른 단계 S507의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다.
<제3 예시적인 실시예의 효과>
전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 화상 데이터에 대응하는 피사체 거리 정보에 기초하여 거리 정보의 정밀도를 결정한다. 따라서, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 화상에 라이팅 효과를 적용하기 위한 라이팅 효과에 대한 적절한 후보들을 결정할 수 있다.
본 개시내용의 제4 예시적인 실시예가 후술될 것이다. 제1 예시적인 실시예에서, 거리 정밀도는 거리 화상 데이터에 기초하여 설정된다. 본 예시적인 실시예에서, 거리 정밀도는 캡처된 장면에 기초하여 설정된다. 본 예시적인 실시예에 따른 정보 처리 장치(1)는 제1 예시적인 실시예와 유사한 하드웨어 구성 및 논리 구성을 갖는다. 따라서, 그에 대한 설명은 생략될 것이다. 본 예시적인 실시예와 제1 예시적인 실시예 사이의 차이점들에 대해서는 주로 이하에서 설명될 것이다. 이하의 설명에서, 제1 예시적인 실시예와 유사한 컴포넌트들은 동일한 참조 번호들로 지정된다.
<정보 처리 장치(1)에 의해 수행되는 처리>
본 예시적인 실시예는 단계 S402에서의 라이팅 효과 리스트를 결정하기 위한 처리에서 제1 예시적인 실시예와 상이하다. 본 예시적인 실시예에 따른 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 데이터를 획득하기 위해 화상을 캡처할 때 캡처된 장면에 기초하여 거리 정밀도를 결정한다. 라이팅 효과 리스트 결정 유닛(302)은 사람의 존재 또는 부재 및 움직임의 존재 또는 부재에 기초하여 캡처된 장면을 결정한다. 본 예시적인 실시예에서는, 라이팅 효과를 적용하는 타겟이 사람이다. 따라서, 사람을 포함하지 않는 장면들은 최저 거리 정밀도가 주어진다. 사람을 포함하는 움직임없는 장면들은 가장 높은 거리 정밀도를 갖는다. 사람을 포함하는 움직임이 있는 장면들은 다음으로 가장 높은 거리 정밀도를 갖는다. 라이팅 효과 리스트를 결정하기 위한 처리의 세부 사항들이 이하에서 설명될 것이다.
<라이팅 효과 리스트를 결정하기 위한 처리(단계 S402)>
도 15는 라이팅 효과 리스트를 결정하기 위한 처리를 도시하는 흐름도이다. 단계 S1501에서, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 데이터에 기초하여 캡처된 장면을 결정한다. 구체적으로, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상이 사람을 포함하는지 및 컬러 화상이 움직임이 있는 장면을 포함하는지를 결정한다. 사람의 존재 또는 부재는 컬러 화상에서 검출된 얼굴 영역들의 수에 기초하여 결정된다. 얼굴 영역들의 수가 하나 이상인 경우, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상이 한 사람 또는 사람들을 포함한다고 결정한다. 얼굴 영역이 검출되지 않는 경우, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상이 어떠한 사람도 포함하지 않는다고 결정한다. 얼굴 영역들은 제1 예시적인 실시예에 따른 단계 S501의 처리에서와 동일한 방법을 사용하여 검출된다. 움직임의 존재 또는 부재는 컬러 화상 내의 피사체에 대응하는 영역 내의 높은 주파수 성분들의 강도에 기초하여 결정된다. 고주파수 성분들의 강도가 미리 결정된 값 이상이면, 라이팅 효과 리스트 결정 유닛(302)은 장면에 움직임이 없다고 결정한다. 고주파수 성분들의 강도가 미리 결정된 값보다 작으면, 라이팅 효과 리스트 결정 유닛(302)은 장면에 움직임이 포함되어 있다고 결정한다. 고주파수 성분들의 강도는 라플라시안 필터와 같은 에지 추출 필터의 적용 후의 컬러 화상에서의 화소 값들의 절대값들의 총합을 지칭한다. 고주파수 성분들의 강도는 종래의 고속 푸리에 변환(FFT)을 컬러 화상에 적용함으로써 도출된 주파수 도메인에서의 파워 스펙트럼일 수 있다. 컬러 화상은 라이팅 효과가 적용되는 타겟 컬러 화상의 캡처 직전에 또는 직후에 캡처될 수 있고, 움직임의 존재 또는 부재는 타겟 컬러 화상과 직전 또는 직후에 캡처된 컬러 화상 사이의 차이의 크기에 기초하여 결정될 수 있다. 이러한 경우에, 라이팅 효과 리스트 결정 유닛(302)은 차이가 미리 결정된 값 이하인 경우 장면에 움직임이 없다고 결정한다. 라이팅 효과 리스트 결정 유닛(302)은 차이가 미리 결정된 값보다 큰 경우, 장면에 움직임이 포함되어 있다고 결정한다.
단계 S1502에서, 라이팅 효과 리스트 결정 유닛(302)은 사람의 존재 또는 부재에 관한 결정 결과를 획득한다. 라이팅 효과 리스트 결정 유닛(302)이 컬러 화상이 사람을 포함하지 않는다고 결정한 경우(단계 S1502에서 아니오), 처리는 단계 S1503으로 진행한다. 라이팅 효과 리스트 결정 유닛(302)이 컬러 화상이 사람을 포함한다고 결정한 경우(단계 S1502에서 예), 처리는 단계 S1504로 진행한다. 단계 S1503에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "로우"로 설정한다. 단계 S1504에서, 라이팅 효과 리스트 결정 유닛(302)은 움직임의 존재 또는 부재에 관한 결정 결과를 획득한다. 라이팅 효과 리스트 결정 유닛(302)이 컬러 화상이 움직임이 있는 장면을 포함한다고 결정하면(단계 S1504에서 예), 처리는 단계 S1505로 진행한다. 라이팅 효과 리스트 결정 유닛(302)이 컬러 화상이 움직임이 있는 장면을 포함하지 않는 것으로 결정하면(단계 S1504에서 아니오), 처리는 단계 S1506으로 진행한다.
단계 S1505에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "중간"으로 설정한다. 단계 S1506에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "하이"로 설정한다. 단계 S1507에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도에 기초하여 라이팅 효과 리스트에 포함될 라이팅 효과들을 결정한다. 단계 S1507의 처리는 제1 예시적인 실시예에 따른 단계 S507의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다.
<제4 예시적인 실시예의 효과>
전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 캡처된 장면에 기초하여 거리 정밀도를 설정한다. 구체적으로, 거리 정밀도는 컬러 화상이 사람을 포함하는지 및 컬러 화상이 움직이는 피사체의 일시적인 상태를 포함하는지에 기초하여 설정된다. 따라서, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 라이팅 효과를 화상에 적용하기 위한 라이팅 효과에 대한 적절한 후보들로 결정할 수 있다.
본 개시내용의 제5 예시적인 실시예가 후술될 것이다. 제1 예시적인 실시예에서, 거리 정밀도는 거리 화상 데이터에 기초하여 설정된다. 본 예시적인 실시예에서, 미리 설정된 개인 정보에 기초하여 거리 정밀도가 설정된다. 본 예시적인 실시예에 따른 정보 처리 장치(1)는 제1 예시적인 실시예와 유사한 하드웨어 구성 및 논리 구성을 갖는다. 따라서, 그에 대한 설명은 생략될 것이다. 본 예시적인 실시예와 제1 예시적인 실시예 사이의 차이점들에 대해서는 주로 이하에서 설명될 것이다. 이하의 설명에서, 제1 예시적인 실시예와 유사한 컴포넌트들은 동일한 참조 번호들로 지정된다.
<정보 처리 장치(1)에 의해 수행되는 처리>
본 예시적인 실시예는 단계 S402에서의 라이팅 효과 리스트를 결정하기 위한 처리에서 제1 예시적인 실시예와 상이하다. 본 예시적인 실시예에 따른 라이팅 효과 리스트 결정 유닛(302)은 거리 화상 데이터에 기초하여 거리 정밀도를 설정한 다음, 미리 설정된 개인 정보에 기초하여 거리 정밀도를 갱신한다. 개인 정보는 개인 이름, 개인 화상 데이터, 개인 거리 화상 데이터, 및 개인 거리 정밀도를 포함한다. 도 16은 개인 정보의 예를 도시한다. 개인 화상 데이터는 적어도 사람의 얼굴을 포함하는 화상을 나타내는 화상 데이터이다. 대응하는 사람의 얼굴 영역은 개인 화상 데이터에 설정된다. 개인 거리 화상 데이터는 개인 화상 데이터에 대응하는 거리 화상 데이터이다. 개인 거리 정밀도는 개인 거리 화상 데이터에 포함된 거리 정보의 정밀도를 표시한다. 전술한 거리 정밀도와 같이, 개인 거리 정밀도는 "하이", "중간", 및 "로우" 중 어느 하나로 설정된다. 각각의 복수의 사람에 대응하는 개인 정보가 미리 설정될 수 있다. 라이팅 효과 리스트를 결정하기 위한 처리의 세부 사항들이 이하에서 설명될 것이다.
<라이팅 효과 리스트를 결정하기 위한 처리(단계 S402)>
도 17은 라이팅 효과 리스트를 결정하기 위한 처리를 도시하는 흐름도이다. 단계 S1701에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 화상 데이터에 기초하여 거리 정밀도를 결정한다. 단계 S1701의 처리는 제1 예시적인 실시예에 따른 단계 S501 내지 단계 S506의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다.
단계 S1702에서, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상에 포함된 사람을 결정한다. 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상으로부터 얼굴 영역을 초기에 추출한다. 라이팅 효과 리스트 결정 유닛(302)은 추출된 얼굴 영역에서의 사람의 얼굴과 미리 설정된 개인 정보에 의해 표시된 사람의 얼굴들 사이의 유사도를 계산하고, 최고 유사도의 얼굴을 표시하는 개인 정보를 선택한다. 유사도들은 컬러 화상으로부터 추출된 얼굴 영역과 개인 화상 데이터에 의해 나타낸 개인 화상들에서의 얼굴 영역들 사이의 차이들에 기초하여 계산된다. 선택된 개인 정보의 유사도가 미리 결정된 값 이상인 경우, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 내의 피사체를 선택된 개인 정보와 연관시킨다. 선택된 개인 정보의 유사도가 미리 결정된 값보다 더 낮은 경우, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상에 피사체에 대응하는 개인 정보가 없다고 결정한다. 라이팅 효과 리스트 결정 유닛(302)은 또한 컬러 화상으로부터 어떠한 얼굴 영역도 추출되지 않으면 컬러 화상에 피사체에 대응하는 개인 정보가 없다고 결정한다.
단계 S1703에서, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 내의 피사체가 개인 정보와 연관되는지를 결정한다. 컬러 화상 내의 피사체가 개인 정보와 연관되면(단계 S1703에서 예), 처리는 단계 S1704로 진행한다. 컬러 화상 내의 피사체가 개인 정보와 연관되지 않으면(단계 S1703에서 아니오), 처리는 단계 S1708로 진행한다. 단계 S1704에서, 라이팅 효과 리스트 결정 유닛(302)은 개인 정보에 포함된 개인 거리 정밀도를 단계 S1701에서 설정된 거리 정밀도와 비교한다. 개인 거리 정밀도가 단계 S1701에서 설정된 거리 정밀도 이하인 경우(단계 S1704에서 아니오), 처리는 단계 S1705로 진행한다. 개인 거리 정밀도가 단계 S1701에서 설정된 거리 정밀도보다 높은 경우(단계 S1704에서 예), 처리는 단계 S1706으로 진행한다.
단계 S1705에서, 라이팅 효과 리스트 결정 유닛(302)은 개인 정보에 포함된 개인 화상 데이터, 개인 거리 화상 데이터, 및 개인 거리 정밀도를 갱신한다. 개인 화상 데이터는 컬러 화상 데이터에 기초하여 갱신된다. 컬러 화상은 얼굴 영역에 기초하여 개인 화상으로 변형되고, 변형된 컬러 화상을 나타내는 화상 데이터는 새로운 개인 화상 데이터라고 가정된다. 개인 거리 화상 데이터는 거리 화상 데이터에 기초하여 갱신된다. 거리 화상은 컬러 화상과 유사한 방식으로 변형되고, 변형된 거리 화상을 나타내는 화상 데이터는 새로운 개인 거리 화상 데이터라고 가정된다. 개인 거리 정밀도는 단계 S1701에서 설정된 거리 정밀도로 갱신된다. 개인 정보에 포함된 거리 정밀도는 전술한 바와 같이 개인 정보를 갱신함으로써 증가될 수 있다.
단계 S1706에서, 라이팅 효과 리스트 결정 유닛(302)은 개인 거리 화상 데이터에 기초하여 거리 화상 데이터를 보정한다. 라이팅 효과 리스트 결정 유닛(302)은 초기에 개인 화상을 컬러 화상으로 변형시키기 위한 파라미터들을 계산한다. 라이팅 효과 리스트 결정 유닛(302)은 계산된 파라미터들에 기초하여 개인 거리 화상을 거리 화상으로 변형시킨다. 여기서 계산될 파라미터들은 개인 화상 및 컬러 화상으로부터 추출된 특징점들에 기초한 투영 변환 파라미터들이다. 변형된 개인 거리 화상을 나타내는 화상 데이터는 새로운 거리 화상 데이터라고 가정된다. 단계 S1707에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 개인 거리 정밀도의 값으로 갱신한다. 단계 S1708에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도에 기초하여 라이팅 효과 리스트에 포함될 라이팅 효과들을 결정한다. 단계 S1708의 처리는 제1 예시적인 실시예에 따른 단계 S507의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다.
<제5 예시적인 실시예의 효과>
전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 미리 설정된 개인 정보에 기초하여 거리 정밀도를 설정한다. 따라서, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 라이팅 효과를 화상에 적용하기 위한 라이팅 효과에 대한 적절한 후보들로 결정할 수 있다.
<변형들>
본 예시적인 실시예에서, 개인 정보는 단계 S1705에서 갱신된다. 그러나, 단계 S1705의 처리는 생략될 수 있다.
본 예시적인 실시예에서는, 단계 S1706에서 개인 거리 화상이 변형되고 변형된 개인 거리 화상은 새로운 거리 화상이라고 가정된다. 그러나, 변형된 개인 거리 화상 및 거리 화상은 새로운 거리 화상으로 결합될 수 있다.
단계 S1706에서, 개인 거리 화상의 거리 값들은 개인 거리 화상의 변형 전의 거리 화상의 거리 값들에 기초하여 보정될 수 있다. 예를 들어, 개인 거리 화상의 거리 값들은 개인 거리 화상의 얼굴 영역에서의 평균 거리 값 및 거리 화상의 얼굴 영역에서의 평균 거리 값이 더 작은 차이를 갖거나 서로 일치하도록 보정될 수 있다.
본 개시내용의 제6 예시적인 실시예가 후술될 것이다. 본 예시적인 실시예에서는, 사용자 동작들에 기초하여 촬상 방법을 설정한다. 라이팅 효과 리스트는 설정된 촬상 방법에 기초하여 결정된다. 본 예시적인 실시예에 따른 정보 처리 장치(1)는 제1 예시적인 실시예와 유사한 하드웨어 구성 및 논리 구성을 갖는다. 따라서, 그에 대한 설명은 생략될 것이다. 본 예시적인 실시예와 제1 예시적인 실시예 사이의 차이점들에 대해서는 주로 이하에서 설명될 것이다. 이하의 설명에서, 제1 예시적인 실시예와 유사한 컴포넌트들은 동일한 참조 번호들로 지정된다.
<정보 처리 장치(1)에 의해 수행되는 처리>
본 예시적인 실시예에서, 컬러 화상 데이터를 획득하기 위한 화상을 캡처하는 촬상 방법에 기초하여 거리 정밀도가 설정된다. 도 18은 본 예시적인 실시예에 따른 정보 처리 장치(1)에 의해 수행되는 처리를 도시하는 흐름도이다. 단계 S1801에서, 화상 데이터 획득 유닛(301)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 화상 데이터를 획득하기 위한 촬상 방법을 설정한다. 본 예시적인 실시예에서, 사용자는 정보 처리 장치(1)의 디스플레이 면에 위치하는 전방 카메라(201) 또는 정보 처리 장치(1) 의 후면에 위치하는 메인 카메라(202) 중 어느 카메라를 촬상에 사용할지를 선택한다. 본 예시적인 실시예에서, 전방 카메라(201)는 거리 정보를 획득할 수 없는 단일 렌즈 카메라이다. 메인 카메라(202)는 시차 정보에 기초하여 거리 화상 데이터를 획득할 수 있는 카메라이다.
단계 S1802에서, 화상 데이터 획득 유닛(301)은 설정된 카메라로부터 화상 데이터를 획득한다. 단계 S1803에서, 라이팅 효과 리스트 결정 유닛(302)은 촬상 방법에 기초하여 거리 정밀도를 설정한다. 라이팅 효과 리스트 결정 유닛(302)은 또한 거리 정밀도에 기초하여 효과적인 라이팅 효과들을 포함하는 라이팅 효과 리스트를 결정한다. 거리 정밀도는 제2 예시적인 실시예에서 설명된 것과 유사한 방법을 사용하여 설정될 수 있다. 예를 들어, 전방 카메라(201)가 촬상에 사용될 카메라로서 설정되는 경우, 전방 카메라(201)가 거리 정보를 획득할 수 없기 때문에 거리 정밀도는 "로우"로 결정된다. 메인 카메라(202)가 촬상에 사용될 카메라로서 설정되는 경우, 메인 카메라(202)가 시차에 기초하여 거리 화상 데이터를 획득하기 때문에 거리 정밀도는 "중간"으로 결정된다.
단계 S1804에서, 라이팅 효과 선택 유닛(303)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 라이팅 효과 리스트에 포함된 라이팅 효과들 중 하나를 선택한다. 라이팅 효과의 선택 후에, 라이팅 효과 선택 유닛(303)은 사용자 동작들에 기초하여 가상 광원의 위치와 같은 파라미터들을 설정한다. 라이팅 효과가 사용자 동작들에 의해 선택되지 않는 경우, 라이팅 효과 선택 유닛(303)은 초기 상태인 것으로 이전에 결정된 라이팅 효과를 선택한다. 단계 S1805에서, 라이팅 처리 유닛(304)은 선택된 라이팅 효과를 컬러 화상에 적용한다. 라이팅 효과를 컬러 화상에 적용하기 위한 처리는 제1 예시적인 실시예에 따른 단계 S404의 처리와 유사하다.
단계 S1806에서, 화상 표시 제어 유닛(305)은 보정된 화상을 입출력 유닛(309) 상에 표시한다. 단계 S1807에서, 라이팅 효과 표시 제어 유닛(306)은 라이팅 효과 리스트에 포함된 라이팅 효과들을 입출력 유닛(309) 상에 표시한다. 도 19a 및 도 19b는 화상 표시 제어 유닛(305)에 의해 표시되는 표시 화상의 예들을 도시한다. 도 19a는 메인 카메라(202)가 촬상에 사용될 카메라로서 선택될 때의 표시 화상의 예를 도시한다. 이러한 경우에, 거리 정밀도 "중간"에 대응하는 아이콘들이 표시된다. 도 19b는 전방 카메라(201)가 촬상에 사용될 카메라로서 선택될 때의 표시 화상의 예를 도시한다. 이러한 경우에, 거리 정밀도 "로우"에 대응하는 아이콘들이 표시된다. 사용자는 카메라 스위치 동작을 나타내는 아이콘(1901)을 선택함으로써 촬상 방법을 변경할 수 있다.
단계 S1808에서, 라이팅 처리 유닛(304)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 저장 유닛(307)에 보정된 화상 데이터를 기록할지를 결정한다. 보정된 화상 데이터를 기록하기 위한 동작이 검출된다면(단계 S1808에서 예), 처리는 단계 S1810으로 진행한다. 보정된 화상 데이터를 기록하기 위한 동작이 검출되지 않으면(단계 S1808에서 아니오), 처리는 단계 S1809로 진행한다. 단계 S1809에서, 라이팅 처리 유닛(304)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 촬상 방법을 변경할지를 결정한다. 촬상 방법을 변경하는 동작이 검출되면(단계 S1809에서 예), 처리는 단계 S1801로 진행한다. 촬상 방법을 변경하는 동작이 검출되지 않으면(단계 S1809에서 아니오), 처리는 단계 S1802로 진행한다. 단계 S1810에서, 라이팅 처리 유닛(304)은 보정된 화상 데이터를 저장 유닛(307)에 기록한다. 처리는 종료된다.
<제6 예시적인 실시예의 효과>
전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 컬러 화상 데이터를 획득하기 위한 화상을 촬상하는 촬상 방법에 기초하여 거리 정밀도를 설정한다. 따라서, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 라이팅 효과를 화상에 적용하기 위한 라이팅 효과에 대한 적절한 후보들로 결정할 수 있다.
<변형들>
본 예시적인 실시예에서, 전방 카메라(201)는 거리 정보를 획득할 수 없는 카메라이고, 메인 카메라(202)는 시차 정보에 기초하여 거리 화상 데이터를 획득할 수 있는 카메라이다. 그러나, 카메라들의 조합은 이에 한정되지 않는다. 피사체 상에 광을 투영하여 거리 정보를 획득하는 카메라는 전방 카메라(201) 또는 메인 카메라(202)로서 사용될 수 있다. 대안적으로, 3개 이상의 카메라가 스위칭될 수 있다.
본 예시적인 실시예에서, 전방 카메라(201) 또는 메인 카메라(202) 중 어느 카메라가 촬상 방법에 사용될지에 기초하여 라이팅 효과 리스트가 결정된다. 그러나, 라이팅 효과 리스트는 메인 카메라(202)의 사용 동안의 촬상 모드에 기초하여 결정될 수 있다. 본 예시적인 실시예에서, 메인 카메라(202)는 시차 정보에 기초하여 거리 화상 데이터를 획득할 수 있는 카메라이며, 복수의 카메라를 포함한다. 본 예시적인 실시예에서, 메인 카메라(202)의 사용 동안 이용할 수 있는 촬상 모드들은 카메라들 중 하나가 화상을 캡처하고 거리 정보를 획득할 수 있는 단일 렌즈 촬상 모드, 및 복수의 카메라가 화상을 캡처하고 거리 정보를 획득할 수 있는 다중 렌즈 촬상 모드를 포함한다. 이러한 경우에, 단계 S1803에서, 라이팅 효과 리스트 결정 유닛(302)은 촬상 모드에 기초하여 거리 정밀도를 설정한다. 라이팅 효과 리스트 결정 유닛(302)은 또한 거리 정밀도에 기초하여 유효 라이팅 효과들을 포함하는 라이팅 효과 리스트를 결정한다. 거리 정밀도는 제2 예시적인 실시예에서 도 28을 참조하여 설명된 것과 유사한 방법을 사용하여 설정될 수 있다. 예를 들어, 촬상 모드가 단일 렌즈 촬상 모드인 경우, 거리 정보가 획득될 수 있지만 복수의 카메라가 촬상에 사용되지 않기 때문에 거리 정밀도가 "중간"으로 결정된다. 촬상 모드가 다중 렌즈 촬상 모드인 경우, 거리 정보가 획득될 수 있고 복수의 카메라가 촬상에 사용되기 때문에 거리 정밀도가 "하이"로 결정된다. 도 29a는 촬상 모드로서 단일 렌즈 촬상 모드가 선택될 때의 표시 화상의 예를 도시한다. 이러한 경우에, 거리 정밀도 "중간"에 대응하는 아이콘들이 표시된다. 도 29b는 촬상 모드로서 다중 렌즈 촬상 모드가 선택될 때의 표시 화상의 예를 도시한다. 이러한 경우에, 거리 정밀도 "하이"에 대응하는 아이콘들이 표시된다. 사용자는 카메라 스위치 동작을 나타내는 아이콘(2901)을 선택함으로써 촬상 방법을 변경할 수 있다. 사용자는 촬상 모드 스위치 동작을 나타내는 아이콘(2902)을 선택함으로써 촬상 모드를 변경할 수 있다. 본 예시적인 실시예에서, 전방 카메라(201)는 거리 정보를 획득할 수 없는 단일 렌즈 카메라인 것으로 설명되었다. 그러나, 메인 카메라(202)와 같이, 전방 카메라 (201)는 시차 정보에 기초하여 거리 화상 데이터를 획득할 수 있고 촬상 모드를 스위칭할 수 있는 카메라로서 구성될 수 있다. 촬상 모드들은 단일 카메라가 촬상에 사용되고 어떤 거리 정보도 획득하지 않는 것을 포함할 수 있다.
본 개시내용의 제7 예시적인 실시예가 후술될 것이다. 전술한 예시적인 실시예들에서, 라이팅 효과들은 사용자 동작들에 기초하여 선택된 라이팅 효과에 기초하여 컬러 화상에 적용된다. 본 예시적인 실시예에서, 컬러 화상에 라이팅 효과를 적용하기 위한 처리시 사용될 파라미터들(이하, 라이팅 파라미터들이라고 칭함)은 사용자 동작들에 기초하여 설정된다. 본 예시적인 실시예에 따른 정보 처리 장치(1)는 제1 예시적인 실시예와 유사한 하드웨어 구성을 갖는다. 따라서, 그에 대한 설명은 생략될 것이다. 본 예시적인 실시예와 제1 예시적인 실시예 사이의 차이점들에 대해서는 주로 이하에서 설명될 것이다. 이하의 설명에서, 제1 예시적인 실시예와 유사한 컴포넌트들은 동일한 참조 번호들로 지정된다.
<정보 처리 장치(1)의 논리 구성>
도 20은 본 예시적인 실시예에 따른 정보 처리 장치(1)의 논리 구성을 도시하는 블록도이다. 정보 처리 장치(1)는 CPU(101)가 ROM(102)에 저장된 프로그램을 RAM(103)을 작업 메모리로서 실행함으로써 도 20에 도시된 논리 구성으로서 기능한다. 후술하는 모든 처리는 반드시 CPU(101)에 의해 실행될 필요는 없다. 정보 처리 장치(1)는 CPU(101) 이외의 하나 또는 복수의 처리 회로에 의해 처리의 일부 또는 전부가 수행되도록 구성될 수 있다.
정보 처리 장치(1)는 화상 데이터 획득 유닛(2001), 파라미터 조정가능 범위 설정 유닛(2002), 라이팅 파라미터 설정 유닛(2003), 라이팅 처리 유닛(2004), 화상 표시 제어 유닛(2005), 및 인터페이스 표시 제어 유닛(2006)을 포함한다. 화상 데이터 획득 유닛(2001)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 촬상 유닛(2008) 또는 저장 유닛(2007)으로부터 컬러 화상 데이터 및 거리 화상 데이터를 획득한다. 예를 들어, 저장 유닛(2007)의 기능들은 저장 디바이스(110)에 의해 구현된다. 촬상 유닛(2008) 의 기능들은 촬상 유닛(106)에 의해 구현된다. 입출력 유닛(2009)의 기능들은 터치 패널 디스플레이(105)에 의해 구현된다. 파라미터 조정가능 범위 설정 유닛(2002)은 화상 데이터에 기초하여 결정된 거리 정밀도에 기초하여 조정가능한 라이팅 파라미터들을 설정한다.
라이팅 파라미터 설정 유닛(2003)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 라이팅 파라미터들을 설정한다. 라이팅 처리 유닛(2004)은 설정된 라이팅 파라미터들에 기초하여 컬러 화상에 라이팅 효과를 적용한다. 라이팅 처리 유닛(2004)은 또한 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 보정된 화상 데이터를 저장 유닛(2007)에 기록한다.
화상 표시 제어 유닛(2005)은 보정된 화상을 입출력 유닛(2009) 상에 표시한다. 인터페이스 표시 제어 유닛(2006)은 입출력 유닛(2009) 상에 라이팅 파라미터들을 조정하기 위한 슬라이더들 및 버튼을 포함하는 인터페이스를 표시한다.
<정보 처리 장치(1)에 의해 수행되는 처리>
본 예시적인 실시예에서, 라이팅 파라미터들의 조정가능한 범위는 거리 화상 데이터에 기초하여 설정된다. 또한, 라이팅 효과는 사용자 동작들에 기초하여 설정된 라이팅 파라미터들에 기초하여 컬러 화상에 적용된다. 도 21은 본 예시적인 실시예에 따른 정보 처리 장치(1)에 의해 수행되는 처리를 도시하는 흐름도이다.
단계 S2101에서, 화상 데이터 획득 유닛(2001)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 저장 유닛(2007)으로부터 컬러 화상 데이터 및 거리 화상 데이터를 획득한다. 단계 S2102에서, 파라미터 조정가능 범위 설정 유닛(2002)은 거리 화상 데이터에 기초하여 거리 정밀도를 설정한다. 파라미터 조정가능 범위 설정 유닛(2002)은 설정된 거리 정밀도에 기초하여 라이팅 파라미터들의 조정가능한 범위를 설정한다. 라이팅 파라미터들의 조정가능한 범위를 설정하기 위한 처리에 대한 세부 사항들이 후술될 것이다.
단계 S2103에서, 라이팅 파라미터 설정 유닛(2003)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 라이팅 파라미터들을 설정한다. 사용자 동작이 행해지지 않으면, 라이팅 파라미터 설정 유닛(2003)은 미리 결정된 값들을 라이팅 파라미터들로서 설정한다. 단계 S2104에서, 라이팅 처리 유닛(2004)은 설정된 라이팅 파라미터들에 기초하여 컬러 화상을 보정한다. 컬러 화상을 보정하기 위한 처리의 세부 사항들이 후술될 것이다.
단계 S2105에서, 화상 표시 제어 유닛(2005)은 보정된 화상을 입출력 유닛(2009) 상에 표시한다. 단계 S2106에서, 인터페이스 표시 제어 유닛(2006)은 입출력 유닛(2009) 상에 라이팅 파라미터들을 조정하기 위한 슬라이더들 및 버튼을 포함하는 인터페이스를 표시한다. 인터페이스의 표시는 이하에서 상세히 설명될 것이다. 단계 S2107에서, 라이팅 처리 유닛(2004)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 보정된 화상 데이터를 저장 유닛(2007)에 기록할지를 결정한다. 보정된 화상 데이터를 기록하는 동작이 검출되면(단계 S2107에서 예), 처리는 단계 S2109로 진행한다. 보정된 화상 데이터를 기록하는 동작이 검출되지 않으면(단계 S2107에서 아니오), 처리는 단계 S2108로 진행한다.
단계 S2108에서, 라이팅 처리 유닛(2004)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 라이팅 효과가 적용되는 컬러 화상을 변경할지를 결정한다. 컬러 화상을 변경하는 동작이 검출되면(단계 S2108에서 예), 처리는 단계 S2101로 진행한다. 컬러 화상을 변경하는 동작이 검출되지 않으면(단계 S2108에서 아니오), 처리는 단계 S2103으로 진행한다. 단계 S2109에서, 라이팅 처리 유닛(2004)은 보정된 화상 데이터를 저장 유닛(2007)에 기록한다. 처리는 종료된다.
<라이팅 파라미터들의 조정가능한 범위를 설정하기 위한 처리(단계 S2102)>
도 22는 라이팅 파라미터들의 조정가능한 범위를 설정하기 위한 처리를 도시하는 흐름도이다. 단계 S2201에서, 파라미터 조정가능 범위 설정 유닛(2002)은 거리 화상 데이터에 기초하여 거리 정밀도를 설정한다. 단계 S2201의 처리는 제1 예시적인 실시예에 따른 단계 S501 내지 단계 S506의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다.
단계 S2202에서, 파라미터 조정가능 범위 설정 유닛(2002)은 거리 정밀도에 기초하여 라이팅 파라미터들의 조정가능한 범위를 설정한다. 도 23a는 거리 정밀도에 기초하여 라이팅 파라미터들의 조정가능한 범위를 설정하기 위한 방법의 예를 도시한다. 본 예시적인 실시예에서, 라이팅 파라미터들은 ON/OFF에 대응하는 파라미터들, 가상 광원의 밝기, 및 가상 광원의 위치를 포함한다. 파라미터 ON/OFF는 라이팅 효과를 적용할지를 표시한다. 파라미터 조정가능 범위 설정 유닛(2002)은 거리 정밀도에 기초하여 라이팅 파라미터들의 사용자 조정 가능성을 설정한다. 구체적으로, 거리 정밀도가 높을수록, 사용자에 의해 더 많은 파라미터들이 조정가능하게 된다. 예를 들어, 거리 정밀도가 "로우"인 경우, ON/OFF만이 조정가능하게 된다. 거리 정밀도가 "중간"인 경우, ON/OFF 및 가상 광원의 밝기가 조정가능하게 된다. 거리 정밀도가 "하이"인 경우, ON/OFF, 가상 광원의 밝기, 및 가상 광원의 위치가 조정가능하게 된다.
<컬러 화상을 보정하기 위한 처리(단계 S2104)>
도 24는 컬러 화상을 보정하기 위한 처리를 도시하는 흐름도이다. 단계 S2401에서, 라이팅 처리 유닛(2004)은 단계 S2102에서 설정된 거리 정밀도를 결정한다. 거리 정밀도가 "하이"인 경우(단계 S2401에서 예), 처리는 단계 S2402로 진행한다. 거리 정밀도가 "중간" 또는 "로우"인 경우(단계 S2401에서 아니오), 처리는 단계 S2403으로 진행한다. 단계 S2402에서, 라이팅 처리 유닛(2004)은 거리 화상 데이터에 기초하여 법선 화상 데이터를 생성한다. 단계 S2402의 처리는 제1 예시적인 실시예에 따른 단계 S803의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다.
단계 S2403에서, 라이팅 처리 유닛(2004)은 간략화된 방식으로 법선 화상 데이터를 생성한다. 단계 S2403의 처리는 제1 예시적인 실시예에 따른 단계 S804의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다. 단계 S2404에서, 라이팅 처리 유닛(2004)은 단계 S2103에서 설정된 라이팅 파라미터(들)에 기초하여 컬러 화상을 보정한다. 라이팅 처리 유닛(2004)은 수학식 (7)에 따라 컬러 화상에 거리 화상 데이터 및 법선 화상 데이터에 기초한 음영들을 추가한다:
Figure pat00007
여기서, I는 컬러 화상의 화소 값이고, I"는 음영 컬러 화상의 화소 값이다.
w는 라이팅 효과가 ON 또는 OFF인지에 대응하는 파라미터이다. 라이팅 효과가 ON이면, w=1이다. 라이팅 효과가 OFF이면, w=0이다. α는 가상 광원의 밝기에 대응하는 파라미터이다. α의 값은 사용자 동작들에 기초하여 설정된다. L은 피사체로부터 가상 광원으로의 방향을 표시하는 광원 벡터에 대응하는 파라미터이다. L의 값은 가상 광원의 위치에 관련된 사용자 동작들에 기초하여 설정된다. D(d), H(n, L), 및 n은 제1 예시적인 실시예에서의 것들과 유사하다.
<인터페이스의 표시(단계 S2106)>
이제, 단계 S2106에서의 인터페이스의 표시에 대해서 설명할 것이다. 도 25a, 도 25b, 도 25c 및 도 25d는 인터페이스의 표시 예들을 도시한다. 본 예시적인 실시예에서, 인터페이스 표시 제어 유닛(2006)은 중첩된 방식으로 보정된 화상 상에 라이팅 파라미터들을 조정하기 위한 슬라이더들 및 버튼을 표시한다. 거리 정밀도가 "로우"인 경우, 인터페이스 표시 제어 유닛(2006)은 도 25a에 도시된 바와 같이, 라이팅 효과의 ON/OFF를 스위칭하기 위한 버튼을 표시한다. 거리 정밀도가 "중간"인 경우, 인터페이스 표시 제어 유닛(2006)은 도 25b에 도시된 바와 같이, ON/OFF 스위칭을 위한 버튼 및 가상 광원의 밝기를 조정하기 위한 슬라이더를 표시한다. 거리 정밀도가 "하이"인 경우, 인터페이스 표시 제어 유닛(2006)은 도 25c에 도시된 바와 같이, ON/OFF 스위칭을 위한 버튼, 밝기 조정용 슬라이더, 및 가상 광원의 위치를 조정하기 위한 슬라이더들을 표시한다. 라이팅 파라미터들은 입출력 유닛(2009) 상에 표시되는 인터페이스에 대한 사용자 동작들에 의해 조정될 수 있다.
<제7 예시적인 실시예의 효과>
전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 거리 정밀도에 기초하여 라이팅 파라미터들의 조정가능한 범위를 설정한다. 따라서, 거리 정밀도에 기초하여 라이팅 파라미터들의 조정가능한 범위를 제한함으로써, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 화상에 라이팅 효과를 적용하기 위해 라이팅 효과에 대한 적절한 후보들을 결정할 수 있다.
<변형들>
본 예시적인 실시예에서, 조정가능한 라이팅 파라미터들의 수는 거리 정밀도에 기초하여 변경된다. 그러나, 각각의 라이팅 파라미터들의 조정가능한 범위들은 거리 정밀도에 기초하여 변경될 수 있다. 예를 들어, 가상 광원의 위치의 조정가능한 범위는 거리 정밀도에 기초하여 스위칭될 수 있다. 도 23b는 거리 정밀도에 기초하여 라이팅 파라미터들의 조정가능한 범위들을 설정하기 위한 방법의 예를 도시한다. 도 25d는 거리 정밀도가 "중간"일 때의 표시 화상의 예를 도시한다. 이 예에서, 거리 정밀도가 "중간"인 경우, 가상 광원의 위치는 더 좁은 범위 내에서 조정가능하도록 설정된다. 거리 정밀도가 "중간"인 도 25d에 도시된 표시 화상에서, 가상 광원의 위치를 조정하는 슬라이더들의 이동 범위는 거리 정밀도가 "하이"인 도 25c에 도시된 표시 화상에서보다 좁다.
본 예시적인 실시예에서, 거리 화상 데이터에 기초하여 거리 정밀도가 결정된다. 그러나, 거리 정밀도는 전술한 예시적인 실시예들에서 설명된 다른 방법들을 사용하여 결정될 수 있다.
본 개시내용의 제8 예시적인 실시예가 후술될 것이다. 제7 예시적인 실시예에서, 라이팅 파라미터들의 조정가능한 범위는 거리 정밀도에 기초하여 설정된다. 본 예시적인 실시예에서, 라이팅 파라미터들의 조정가능한 범위는 촬상 방법에 기초하여 설정된다. 본 예시적인 실시예에 따른 정보 처리 장치(1)는 제7 예시적인 실시예와 유사한 하드웨어 구성 및 논리 구성을 갖는다. 따라서, 그에 대한 설명은 생략될 것이다. 본 예시적인 실시예와 제7 예시적인 실시예 사이의 차이점들에 대해서는 주로 이하에서 설명될 것이다. 이하의 설명에서, 제7 예시적인 실시예와 유사한 컴포넌트들은 동일한 참조 번호들로 지정된다.
<정보 처리 장치(1)에 의해 수행되는 처리>
도 26은 본 예시적인 실시예에 따른 정보 처리 장치(1)에 의해 수행되는 처리를 도시하는 흐름도이다. 단계 S2601에서, 화상 데이터 획득 유닛(2001)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 화상 데이터를 획득하기 위한 촬상 방법을 설정한다. 본 예시적인 실시예에서, 사용자는 정보 처리 장치(1)의 디스플레이 면에 위치하는 전방 카메라(201) 또는 정보 처리 장치(1) 의 후면에 위치하는 메인 카메라(202) 중 어느 카메라를 촬상에 사용할지를 선택한다. 본 예시적인 실시예에서, 전방 카메라(201)는 거리 정보를 획득할 수 없는 단일 렌즈 카메라이다. 메인 카메라(202)는 시차 정보에 기초하여 거리 화상 데이터를 획득할 수 있는 카메라이다.
단계 S2602에서, 화상 데이터 획득 유닛(2001)은 설정된 카메라로부터 화상 데이터를 획득한다. 단계 S2603에서, 파라미터 조정가능 범위 설정 유닛(2002)은 촬상 방법에 기초하여 거리 정밀도를 설정하고, 설정된 거리 정밀도에 기초하여 라이팅 파라미터들의 조정가능한 범위를 설정한다. 촬상 방법에 기초하여 거리 정밀도를 설정하는 방법은 제6 예시적인 실시예의 것과 유사하다. 따라서, 그에 대한 설명은 생략될 것이다. 라이팅 파라미터들의 조정가능한 범위를 설정하는 방법은 제7 예시적인 실시예의 것과 유사하다. 따라서, 그에 대한 설명은 생략될 것이다. 단계 S2604에서, 라이팅 파라미터 설정 유닛(2003)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 라이팅 파라미터들을 설정한다. 사용자 동작이 행해지지 않으면, 라이팅 파라미터 설정 유닛(2003)은 미리 결정된 값들을 라이팅 파라미터들로서 설정한다.
단계 S2605에서, 라이팅 처리 유닛(2004)은 설정된 라이팅 파라미터들에 기초하여 컬러 화상을 보정한다. 컬러 화상을 보정하는 처리는 제7 예시적인 실시예의 것과 유사하다. 따라서, 그에 대한 설명은 생략될 것이다. 단계 S2606에서, 화상 표시 제어 유닛(2005)은 보정된 화상을 입출력 유닛(2009) 상에 표시한다.
단계 S2607에서, 인터페이스 표시 제어 유닛(2006)은 라이팅 파라미터들을 조정하기 위한 인터페이스를 표시한다. 도 27a 및 도 27b는 표시 화상의 예들을 도시한다. 도 27a는 메인 카메라(202)가 촬상에 사용될 카메라로서 선택될 때의 표시 화상의 예를 도시한다. 이러한 경우, 인터페이스 표시 제어 유닛(2006)은 거리 정밀도 "중간"에 대응하는 인터페이스를 표시한다. 도 27b는 전방 카메라(201)가 촬상에 사용될 카메라로서 선택될 때의 표시 화상의 예를 도시한다. 이러한 경우, 인터페이스 표시 제어 유닛(2006)은 거리 정밀도 "로우"에 대응하는 인터페이스를 표시한다. 사용자는 카메라 스위치 동작을 나타내는 아이콘(2701)을 선택함으로써 촬상 방법을 변경한다.
단계 S2608에서, 라이팅 처리 유닛(2004)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 저장 유닛(2007)에 보정된 화상 데이터를 기록할지를 결정한다. 보정된 화상 데이터를 기록하기 위한 동작이 검출된다면(단계 S2608에서 예), 처리는 단계 S2610으로 진행한다. 보정된 화상 데이터를 기록하는 동작이 검출되지 않으면(단계 S2608에서 아니오), 처리는 단계 S2609로 진행한다. 단계 S2609에서, 라이팅 처리 유닛(2004)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 촬상 방법을 변경할지를 결정한다. 촬상 방법을 변경하는 동작이 검출되면(단계 S2609에서 예), 처리는 단계 S2601로 진행한다. 촬상 방법을 변경하는 동작이 검출되지 않으면(단계 S2609에서 아니오), 처리는 단계 S2602로 진행한다. 단계 S2610에서, 라이팅 처리 유닛(2004)은 보정된 화상 데이터를 저장 유닛(2007)에 기록한다. 처리는 종료된다.
<제8 예시적인 실시예의 효과>
전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 컬러 화상 데이터를 획득하기 위한 화상을 캡처하는 촬상 방법에 기초하여 라이팅 파라미터들의 조정가능한 범위를 설정한다. 따라서, 촬상 방법에 기초하여 라이팅 파라미터들의 조정가능한 범위를 제한함으로써, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 화상에 라이팅 효과를 적용하기 위해 라이팅 효과에 대한 적절한 후보들을 결정할 수 있다.
<변형들>
본 예시적인 실시예에서, 전방 카메라(201)는 거리 정보를 획득할 수 없는 카메라이고, 메인 카메라(202)는 시차 정보에 기초하여 거리 화상 데이터를 획득하는 카메라이다. 그러나, 카메라들의 조합은 이에 한정되지 않는다. 피사체 상에 광을 투영하여 거리 정보를 획득하는 카메라는 전방 카메라(201) 또는 메인 카메라(202)로서 사용될 수 있다. 대안적으로, 3개 이상의 카메라가 스위칭될 수 있다.
[다른 예시적인 실시예들]
제2 예시적인 실시예를 제외한 전술한 예시적인 실시예들에서, 정보 처리 장치(1)는 도 1a에 도시된 하드웨어 구성을 갖는다. 그러나, 정보 처리 장치(1)의 하드웨어 구성은 전술한 예들로 제한되지 않는다. 예를 들어, 정보 처리 장치(1)는 도 1b에 도시된 하드웨어 구성을 가질 수 있다. 정보 처리 장치(1)는 CPU(101), ROM(102), RAM(103), 비디오 카드(VC)(111), 범용 I/F(114), 및 직렬 고급 기술 결합(직렬 ATA 또는 SATA) I/F(118)를 포함한다. CPU(101)는 RAM(103)을 작업 메모리로서 사용하여 ROM(102) 및 저장 디바이스(110)에 저장된 OS 및 다양한 프로그램들을 실행한다. CPU(101)는 시스템 버스(108)를 통해 컴포넌트들을 제어한다. 마우스 및 키보드와 같은 입력 디바이스(116) 및 촬상 디바이스(117)는 직렬 버스(115)를 통해 범용 I/F(114)에 접속된다. 저장 디바이스(110)는 직렬 버스(119)를 통해 SATA I/F(118)에 접속된다. 디스플레이(113)는 직렬 버스(112)를 통해 VC(111)에 접속된다. CPU (101)는 디스플레이(113) 상의 프로그램에 의해 제공되는 사용자 인터페이스(UI)를 표시하고, 입력 디바이스(116)를 통해 획득된 사용자 명령어들을 표시하는 입력 정보를 수신한다. 예를 들어, 도 1b에 도시된 정보 처리 장치(1)는 데스크톱 PC에 의해 구현된다. 정보 처리 장치(1)는 또한 촬상 디바이스(117)와 통합된 디지털 카메라, 또는 디스플레이(113)와 통합된 PC에 의해 구현될 수 있다.
제2 예시적인 실시예를 제외한 전술한 예시적인 실시예들에서, 정보 처리 장치(1)는 촬상 유닛(106)으로서, 2개의 카메라, 또는 메인 카메라(202)와 전방 카메라(201)를 포함한다. 그러나, 촬상 유닛(106)은 전술한 예들로 한정되지 않는다. 예를 들어, 정보 처리 장치(1)는 메인 카메라(202)만을 포함할 수 있다.
전술한 예시적인 실시예에서, 라이팅 효과가 적용되는 타겟 화상은 컬러 화상이다. 그러나, 타겟 화상은 그레이스케일 화상일 수 있다.
전술한 예시적인 실시예들에서의 저장 디바이스(110)는 HDD이지만, 저장 디바이스(110)는 전술한 예들로 제한되지 않는다. 예를 들어, 저장 디바이스(110)는 SSD(solid state drive)일 수 있다. 저장 디바이스(110)는 매체(저장 매체) 및 매체에 액세스하기 위한 외부 저장 드라이브에 의해 또한 구현될 수 있다. 매체의 예들은 플렉시블 디스크(FD), 컴팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다기능 디스크(DVD), 범용 직렬 버스(USB) 메모리, 자기 광학(MO) 디스크, 및 플래시 메모리를 포함할 수 있다.
본 개시내용의 예시적인 실시예에 따르면, 라이팅 효과에 대한 적절한 후보들은 피사체에 관한 거리 정보에 기초하여 라이팅 효과를 화상에 적용하도록 결정될 수 있다.
다른 실시예들
본 개시내용의 실시예(들)은 또한, 상술한 실시예(들) 중 하나 이상의 기능들을 수행하기 위해 저장 매체(이것은 또한 더 완전하게는 '비일시적 컴퓨터 판독가능 저장 매체로 불림')에 기록된 컴퓨터 실행가능 명령어들(예를 들어, 하나 이상의 프로그램)을 판독하고 실행하는 및/또는 상술한 실시예(들) 중 하나 이상의 기능들을 수행하기 위한 하나 이상의 회로(예를 들어, ASIC(application specific integrated circuit))를 포함하는 시스템 또는 장치의 컴퓨터에 의해, 및 예를 들어 상술한 실시예(들) 중 하나 이상의 기능들을 수행하기 위해 저장 매체로부터 컴퓨터 실행가능 명령어들을 판독하고 실행함으로써 및/또는 상술한 실시예(들) 중 하나 이상의 기능들을 수행하기 위해 하나 이상의 회로를 제어함으로써 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 실현될 수 있다. 상기 컴퓨터는 하나 이상의 프로세서(예를 들면, CPU(central processing unit), MPU(micro processing unit))를 포함할 수 있을 것이며, 컴퓨터 실행가능 명령어를 판독하여 실행하기 위한 개별 컴퓨터 또는 개별 프로세서의 네트워크를 포함할 수도 있을 것이다. 컴퓨터 실행가능 명령어들은 예를 들어 네트워크 또는 저장 매체로부터 컴퓨터에 제공될 수 있다. 저장 매체는, 예컨대, RAM(random-access memory), ROM(read only memory), 분산된 연산 시스템들의 스토리지, (CD(compact disc), DVD(digital versatile disc) 또는 Blu-ray Disc (BD™과 같은) 광학 디스크, 플래시 메모리 디바이스, 메모리 카드 등 중 하나 이상을 포함할 수 있다.
(기타의 실시예)
본 발명은, 상기의 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실현가능하다.
또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
본 개시내용은 예시적인 실시예들을 참조하여 설명되었지만, 본 개시내용은 개시된 예시적인 실시예에 한정되지 않는다는 것을 이해할 것이다. 이하의 청구항의 범위는 이러한 모든 변형과 동등한 구조 및 기능을 포함하도록 최광의로 해석되어야 한다.

Claims (20)

  1. 정보 처리 장치로서,
    화상을 나타내는 화상 데이터를 획득하도록 구성되는 제1 획득 유닛;
    상기 화상 데이터에 대응하는 거리 정보를 획득하도록 구성되는 제2 획득 유닛; 및
    상기 거리 정보의 정밀도에 기초하여, 상기 화상에 상기 거리 정보에 기초한 라이팅 효과를 적용할 때 상기 화상에 적용가능한 라이팅 효과에 대한 후보를 결정하도록 구성되는 제1 결정 유닛을 포함하는 정보 처리 장치.
  2. 제1항에 있어서,
    상기 거리 정보의 정밀도를 결정하도록 구성되는 제2 결정 유닛을 추가로 포함하고,
    상기 제1 결정 유닛은 상기 제2 결정 유닛의 결정 결과에 기초하여 상기 화상에 적용가능한 상기 라이팅 효과에 대한 후보를 결정하도록 구성되는 정보 처리 장치.
  3. 제2항에 있어서,
    상기 제2 결정 유닛은 상기 거리 정보를 미리 결정된 값과 비교함으로써 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.
  4. 제2항에 있어서,
    상기 제2 결정 유닛은 상기 화상 내의 피사체에 대응하는 영역에 관한 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.
  5. 제4항에 있어서,
    상기 제2 결정 유닛은 상기 피사체의 얼굴에서의 돌출 및 함몰이 상기 화상으로부터 식별 가능한지에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.
  6. 제2항에 있어서,
    상기 제2 결정 유닛은 상기 거리 정보를 획득하는데 사용되는 촬상 유닛에 관한 정보에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.
  7. 제6항에 있어서,
    상기 제2 결정 유닛은 상기 거리 정보를 획득하도록 구성된 상기 촬상 유닛이 거리 정보를 획득하는 기능을 가지고 있는지에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.
  8. 제7항에 있어서,
    상기 기능은 피사체 상에 광을 투영함으로써 상기 거리 정보를 획득하는 기능인 정보 처리 장치.
  9. 제2항에 있어서,
    상기 제2 결정 유닛은 상기 화상 데이터를 획득하기 위해 화상을 캡처할 때의 초점 위치에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.
  10. 제2항에 있어서,
    상기 제2 결정 유닛은 상기 화상 데이터를 획득하기 위해 캡처된 장면에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.
  11. 제10항에 있어서,
    상기 제2 결정 유닛은 상기 장면이 사람을 포함하는지에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.
  12. 제10항에 있어서,
    상기 제2 결정 유닛은 상기 장면이 움직이는 피사체의 일시적인 상태를 포함하는지에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.
  13. 제2항에 있어서,
    상기 제2 결정 유닛은 상기 화상에 포함된 사람에 대응하는 정보에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.
  14. 제13항에 있어서,
    사람을 식별하는 개인 정보를 획득하도록 구성되는 제3 획득 유닛을 추가로 포함하고,
    상기 제2 결정 유닛은 상기 화상으로부터 사람의 얼굴에 대응하는 영역을 추출하고, 추출된 영역에서의 상기 얼굴과 상기 개인 정보에 의해 식별된 사람의 얼굴 사이의 유사도에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.
  15. 제1항에 있어서,
    상기 화상에 적용가능한 상기 라이팅 효과에 대한 후보를 제시하는 제시 유닛을 제어하도록 구성되는 제어 유닛을 추가로 포함하고,
    상기 제어 유닛은 상기 화상에 적용가능한 상기 라이팅 효과에 대한 후보를 나타내는 아이콘을 표시 유닛 상에 표시하도록 구성되는 정보 처리 장치.
  16. 제15항에 있어서,
    상기 제어 유닛은 상기 아이콘을 상기 표시 유닛 상에 표시하도록 구성되고, 상기 아이콘은 상기 라이팅 효과가 적용된 상기 화상에 중첩되는 정보 처리 장치.
  17. 제1항에 있어서,
    상기 화상에 적용가능한 상기 라이팅 효과에 대한 후보를 제시하는 제시 유닛을 제어하도록 구성되는 제어 유닛을 추가로 포함하고,
    상기 제어 유닛은 상기 라이팅 효과의 조정가능한 범위를 표시 유닛 상에 표시함으로써 상기 화상에 적용가능한 상기 라이팅 효과에 대한 후보를 제시하도록 구성되는 정보 처리 장치.
  18. 정보 처리 장치로서,
    피사체의 화상을 캡처하여 제1 화상을 생성하는 기능 및 상기 제1 화상에 대응하는 거리 정보를 획득하는 기능을 포함하는 제1 촬상 유닛;
    상기 피사체의 화상을 캡처하여 제2 화상을 생성하는 기능을 포함하지만 상기 제2 화상에 대응하는 거리 정보를 획득하는 기능을 갖지 않는 제2 촬상 유닛; 및
    상기 제1 화상과 상기 제2 화상을 스위칭하여 표시하도록 구성되는 표시 유닛을 포함하고,
    상기 표시 유닛이 상기 제1 화상을 표시하는 경우와 상기 표시 유닛이 상기 제2 화상을 표시하는 경우 사이에서 상기 표시 유닛에 표시되는 화상에 적용가능한 라이팅 효과들 중 적어도 하나는 상이한 정보 처리 장치.
  19. 정보 처리 방법으로서,
    화상을 나타내는 화상 데이터를 획득하는 단계;
    상기 화상 데이터에 대응하는 거리 정보를 획득하는 단계; 및
    상기 거리 정보의 정밀도에 기초하여, 상기 화상에 상기 거리 정보에 기초한 라이팅 효과를 적용할 때 상기 화상에 적용가능한 라이팅 효과에 대한 후보를 결정하는 단계를 포함하는 정보 처리 방법.
  20. 명령어들을 저장하는 비일시적 컴퓨터-판독가능 저장 매체로서,
    상기 명령어들은 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금:
    화상을 나타내는 화상 데이터를 획득하는 단계;
    상기 화상 데이터에 대응하는 거리 정보를 획득하는 단계; 및
    상기 거리 정보의 정밀도에 기초하여, 상기 화상에 상기 거리 정보에 기초한 라이팅 효과를 적용할 때 상기 화상에 적용가능한 라이팅 효과에 대한 후보를 결정하는 단계를 포함하는 방법을 수행하게 하는, 비일시적 컴퓨터-판독가능 저장 매체.
KR1020200010331A 2019-02-06 2020-01-29 라이팅 효과에 대한 후보를 결정하기 위한 정보 처리 장치, 정보 처리 방법, 및 저장 매체 KR102565151B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019020147 2019-02-06
JPJP-P-2019-020147 2019-02-06
JP2019184741A JP7422454B2 (ja) 2019-02-06 2019-10-07 情報処理装置、情報処理方法及びプログラム
JPJP-P-2019-184741 2019-10-07

Publications (2)

Publication Number Publication Date
KR20200096869A true KR20200096869A (ko) 2020-08-14
KR102565151B1 KR102565151B1 (ko) 2023-08-10

Family

ID=71837606

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200010331A KR102565151B1 (ko) 2019-02-06 2020-01-29 라이팅 효과에 대한 후보를 결정하기 위한 정보 처리 장치, 정보 처리 방법, 및 저장 매체

Country Status (3)

Country Link
US (1) US11210767B2 (ko)
KR (1) KR102565151B1 (ko)
CN (1) CN111541840B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11184967B2 (en) * 2018-05-07 2021-11-23 Zane Coleman Angularly varying light emitting device with an imager
WO2021236175A1 (en) * 2020-05-20 2021-11-25 Google Llc Learning illumination from diverse portraits
GB2598608B (en) * 2020-09-04 2024-05-08 Sony Interactive Entertainment Inc Content generation system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140184889A1 (en) * 2012-12-27 2014-07-03 Canon Kabushiki Kaisha Imaging apparatus and method for controlling the same
US20160330434A1 (en) * 2015-05-08 2016-11-10 Lite-On Electronics (Guangzhou) Limited Control method of a depth camera
US20170019651A1 (en) * 2014-06-18 2017-01-19 Canon Kabushiki Kaisha Image processing apparatus and image processing method thereof
US20180349008A1 (en) * 2017-06-04 2018-12-06 Apple Inc. User interface camera effects

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202120A1 (en) * 2002-04-05 2003-10-30 Mack Newton Eliot Virtual lighting system
JP4031509B1 (ja) * 2006-09-21 2008-01-09 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法及びプログラム
JP6646936B2 (ja) * 2014-03-31 2020-02-14 キヤノン株式会社 画像処理装置、その制御方法、およびプログラム
JP2017117029A (ja) 2015-12-22 2017-06-29 キヤノン株式会社 画像処理装置およびプログラムおよび記憶媒体および方法
JP6869652B2 (ja) * 2016-07-01 2021-05-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6797585B2 (ja) * 2016-07-14 2020-12-09 キヤノン株式会社 画像処理装置並びにその制御方法及びプログラム
US10816939B1 (en) * 2018-05-07 2020-10-27 Zane Coleman Method of illuminating an environment using an angularly varying light emitting device and an imager
CN110288692B (zh) * 2019-05-17 2021-05-11 腾讯科技（深圳）有限公司 光照渲染方法和装置、存储介质及电子装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140184889A1 (en) * 2012-12-27 2014-07-03 Canon Kabushiki Kaisha Imaging apparatus and method for controlling the same
US20170019651A1 (en) * 2014-06-18 2017-01-19 Canon Kabushiki Kaisha Image processing apparatus and image processing method thereof
US20160330434A1 (en) * 2015-05-08 2016-11-10 Lite-On Electronics (Guangzhou) Limited Control method of a depth camera
US20180349008A1 (en) * 2017-06-04 2018-12-06 Apple Inc. User interface camera effects

Also Published As

Publication number Publication date
US20200250799A1 (en) 2020-08-06
CN111541840B (zh) 2022-03-22
US11210767B2 (en) 2021-12-28
CN111541840A (zh) 2020-08-14
KR102565151B1 (ko) 2023-08-10

Similar Documents

Publication Publication Date Title
US11756223B2 (en) Depth-aware photo editing
KR102565151B1 (ko) 라이팅 효과에 대한 후보를 결정하기 위한 정보 처리 장치, 정보 처리 방법, 및 저장 매체
JP4879326B2 (ja) ３次元画像を合成するシステム及び方法
US10475237B2 (en) Image processing apparatus and control method thereof
US9760976B2 (en) Image processing apparatus and image processing method
Camplani et al. Depth-color fusion strategy for 3-D scene modeling with Kinect
US10139218B2 (en) Image processing apparatus and image processing method
KR101984496B1 (ko) 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법
CN109788215A (zh) 图像处理装置、计算机可读存储介质以及图像处理方法
CN109816766A (zh) 图像处理装置、图像处理方法及存储介质
KR20100095465A (ko) 이미지 데이터의 세그먼테이션
US10839529B2 (en) Image processing apparatus and image processing method, and storage medium
Přibyl et al. Feature point detection under extreme lighting conditions
US20190066734A1 (en) Image processing apparatus, image processing method, and storage medium
DE102015110955A1 (de) Informationsverarbeitungsvorrichtung zum Erfassen eines Objekts von einem Bild, Verfahren zum Steuern der Vorrichtung und Speichermedien
JP6922399B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20140198177A1 (en) Realtime photo retouching of live video
KR102459851B1 (ko) 이미지의 밝기를 조절하는 방법 및 장치
CN107430841B (zh) 信息处理设备、信息处理方法、程序以及图像显示系统
JP7422454B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10497103B2 (en) Information processing apparatus, information processing system, information processing method, and recording medium
US20220375162A1 (en) Systems and Methods for Generating and Applying Depth Keys at Individual Point Cloud Data Points
Smirnov Hand Tracking for Mobile Virtual Reality
KR20200095391A (ko) 화상에 부여되는 라이팅 효과를 설정하는 정보 처리 장치, 정보 처리 방법, 및 기억 매체
JP2022110885A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right