KR20200095391A - Information processing apparatus to set lighting effect applied to image, information processing method, and storage medium - Google Patents
Information processing apparatus to set lighting effect applied to image, information processing method, and storage medium Download PDFInfo
- Publication number
- KR20200095391A KR20200095391A KR1020200007793A KR20200007793A KR20200095391A KR 20200095391 A KR20200095391 A KR 20200095391A KR 1020200007793 A KR1020200007793 A KR 1020200007793A KR 20200007793 A KR20200007793 A KR 20200007793A KR 20200095391 A KR20200095391 A KR 20200095391A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- writing
- unit
- imaging
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Image Generation (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
Description
실시형태 중 하나의 개시된 양태는 가상 광원에 의해 제공되는 라이팅 효과를 화상에 부여하는 정보 처리 기술에 관한 것이다.One disclosed aspect of the embodiments relates to an information processing technique for imparting a lighting effect provided by a virtual light source to an image.
종래, 가상 광원을 설정함으로써 화상에 라이팅 효과를 부여하는 기술이 제공되어 있다. 일본 특허 출원 공개 제2017-117029호는 피사체의 삼차원 형상에 기초하여 라이팅 효과를 화상에 부여하는 기술을 개시하고 있다.Conventionally, a technique for imparting a lighting effect to an image by setting a virtual light source has been provided. Japanese Patent Application Laid-Open No. 2017-117029 discloses a technique for imparting a lighting effect to an image based on a three-dimensional shape of a subject.
그러나, 일본 특허 출원 공개 제2017-117029호에 개시된 기술에 따르면, 유저는 화상에 라이팅 효과를 부여하기 위해서 유저가 복수의 파라미터를 설정해야 한다. 따라서, 화상에 라이팅 효과를 부여하기 위한 유저 조작이 복잡해지는 경우가 있을 수 있다.However, according to the technique disclosed in Japanese Patent Application Laid-Open No. 2017-117029, the user needs to set a plurality of parameters in order to give a writing effect to an image. Therefore, there may be a case where a user operation for imparting a writing effect to an image becomes complicated.
실시형태 중 하나의 양태는 간단한 조작에 의해 화상에 라이팅 효과를 부여하는 처리에 관한 것이다.One aspect of the embodiments relates to a process of imparting a writing effect to an image by a simple operation.
본 개시내용에 따른 정보 처리 장치는 화상을 나타내는 화상 데이터를 취득하도록 구성되는 제1 취득 유닛, 상기 화상에 부여되는 라이팅 효과를 조정하기 위한 제1 물체의 위치 정보를 취득하도록 구성되는 제2 취득 유닛, 및 상기 위치 정보에 기초하여 상기 화상에 부여되는 라이팅 효과를 설정하도록 구성되는 설정 유닛을 포함한다.The information processing apparatus according to the present disclosure includes a first acquisition unit configured to acquire image data representing an image, and a second acquisition unit configured to acquire positional information of a first object for adjusting a lighting effect imparted to the image. And a setting unit, configured to set a lighting effect applied to the image based on the location information.
본 개시내용의 추가적인 특징은 첨부된 도면을 참고한 예시적인 실시예에 대한 이하의 설명으로부터 명확해질 것이다.Additional features of the present disclosure will become apparent from the following description of exemplary embodiments with reference to the accompanying drawings.
도 1a 및 도 1b는 정보 처리 장치의 하드웨어 구성을 도시하는 블록도이다.
도 2a 및 도 2b는 정보 처리 장치의 외관도의 예를 도시하는 도면이다.
도 3은 정보 처리 장치의 논리 구성을 도시하는 블록도이다.
도 4는 정보 처리 장치에 의해 실행되는 처리를 도시하는 흐름도이다.
도 5는 라이팅 설정 정보를 취득하는 처리를 도시하는 흐름도이다.
도 6a 및 도 6f는 라이팅 설정 정보를 취득하는 처리를 개략적으로 도시하는 도면이다.
도 7은 라이팅 효과를 설정하는 처리를 도시하는 흐름도이다.
도 8a 및 도 8f는 라이팅 효과를 설정하는 처리 및 표시 화상의 예를 개략적으로 도시하는 도면이다.
도 9a 내지 도 9d는 라이팅 효과를 설정하는 처리 및 표시 화상의 예를 개략적으로 도시하는 도면이다.
도 10a 내지 도 10d는 손 영역의 위치 정보 및 표시 화상의 예를 도시하는 도면이다.
도 11a 내지 도 11c는 손 영역의 위치 정보 및 표시 화상의 예를 도시하는 도면이다.
도 12a 내지 도 12c는 손 영역의 위치 정보 및 표시 화상의 예를 도시하는 도면이다.
도 13은 라이팅 설정 정보를 취득하는 처리를 도시하는 흐름도이다.
도 14a 및 도 14b는 라이팅 설정 정보를 취득하는 처리를 개략적으로 도시하는 도면이다.
도 15는 라이팅 효과를 설정하는 처리를 도시하는 흐름도이다.
도 16a 내지 도 16c는 배향 정보 및 표시 화상의 예를 도시하는 도면이다.
도 17은 라이팅 설정 정보를 취득하는 처리를 도시하는 흐름도이다.
도 18a 내지 도 18c는 라이팅 설정 정보 및 표시 화상의 예를 도시하는 도면이다.
도 19는 정보 처리 장치에 의해 실행되는 처리를 도시하는 흐름도이다.
도 20a 및 도 20b는 표시 화상의 예를 도시하는 도면이다.
도 21a 및 도 21b는 음영 모델 맵 및 음영 화상의 예를 도시하는 도면이다.1A and 1B are block diagrams showing a hardware configuration of an information processing apparatus.
2A and 2B are diagrams showing examples of external views of an information processing device.
3 is a block diagram showing a logical configuration of an information processing device.
4 is a flowchart showing processing executed by the information processing apparatus.
5 is a flowchart showing a process of acquiring writing setting information.
6A and 6F are diagrams schematically showing a process of acquiring writing setting information.
7 is a flowchart showing a process for setting a writing effect.
8A and 8F are diagrams schematically showing examples of display images and processing for setting the writing effect.
9A to 9D are diagrams schematically showing examples of display images and processing for setting lighting effects.
10A to 10D are diagrams showing examples of position information and display images of a hand area.
11A to 11C are diagrams showing examples of positional information and display images of the hand area.
12A to 12C are diagrams showing examples of position information and display images of a hand area.
13 is a flowchart showing a process of acquiring writing setting information.
14A and 14B are diagrams schematically showing a process of acquiring writing setting information.
15 is a flowchart showing a process of setting a writing effect.
16A to 16C are diagrams showing examples of orientation information and display images.
17 is a flowchart showing a process of acquiring writing setting information.
18A to 18C are diagrams showing examples of writing setting information and display images.
19 is a flowchart showing a process executed by the information processing device.
20A and 20B are diagrams showing examples of display images.
21A and 21B are diagrams showing examples of a shadow model map and a shadow image.
이하, 예시적인 실시형태에 대해서 첨부된 도면을 참조하여 설명한다. 또한, 이하에서 설명되는 실시형태는 본 개시내용을 한정하도록 의도되지 않는다. 또한, 예시적인 실시형태에서 설명되고 있는 특징의 조합 모두가 본 개시내용의 해결책으로서 필요한 것은 아니다.Hereinafter, exemplary embodiments will be described with reference to the accompanying drawings. Further, the embodiments described below are not intended to limit the present disclosure. In addition, not all combinations of features described in the exemplary embodiments are required as a solution to the present disclosure.
<정보 처리 장치(1)의 하드웨어 구성><Hardware configuration of the
도 1a는 정보 처리 장치(1)의 하드웨어 구성의 일례를 도시하는 블록도이다. 정보 처리 장치(1)는, 스마트폰 또는 태블릿 퍼스널 컴퓨터(PC) 등의 통신 기능 및 촬상 기능을 갖는 기기에 의해 실현된다. 정보 처리 장치(1)는, 중앙 처리 유닛(CPU)(101), 리드 온리 메모리(ROM)(102), 랜덤 액세스 메모리(RAM)(103), 입력/출력 인터페이스(I/F)(104), 터치 패널 디스플레이(105), 촬상 유닛(106), 통신 I/F(107), 및 배향 취득 유닛(108)을 포함한다. CPU(101)는, RAM(103)을 워크 메모리로서 사용하여, ROM(102) 및 기억 장치(111)에 저장된 오퍼레이팅 시스템(OS) 및 각종 프로그램을 실행한다. 또한, CPU(101)는 시스템 버스(109)를 통해서 내부의 구성요소를 제어한다. CPU(101)는 ROM(102) 또는 기억 장치(111)에 저장된 프로그램 코드를 RAM(103)에 로딩하고, 후술하는 흐름도에 도시된 처리를 실행한다. 입력/출력 I/F(104)에는, 시리얼 버스(110)를 통해서 기억 장치(111)가 접속된다. 기억 장치(111)는 하드 디스크 드라이브(HDD), 광학 디바이스, 플래시 기억 디바이스, 또는 임의의 다른 불휘발성 메모리, 대용량 또는 보조 기억 디바이스이다. 터치 패널 디스플레이(105)는, 화상을 표시하는 디스플레이와 손가락 등의 지시체에 의해 터치된 위치를 검출하는 터치 패널로 일체로 구성된 입력/출력 유닛이다. 촬상 유닛(106)은 촬상 대상의 화상을 취득한다.1A is a block diagram showing an example of a hardware configuration of the
도 2a 및 도 2b는 본 예시적인 실시형태에 따른 정보 처리 장치(1)의 외관도의 일례를 도시한다. 도 2a는 정보 처리 장치(1)의 터치 패널 디스플레이(105)를 갖는 면(이하, "디스플레이면"이라 칭함)을 도시하고, 도 2b는 정보 처리 장치(1)의 디스플레이면과 반대의 면(이하, "배면"이라 칭함)을 도시한다. 본 예시적인 실시형태에서의 촬상 유닛(106)은, 정보 처리 장치(1)의 배면에 배치되는 메인-카메라(202) 및 정보 처리 장치(1)의 디스플레이면에 배치되는 인-카메라(in-camera)(201)를 포함한다. 인-카메라(201)는, 디스플레이(표시 화면)를 보고 있는 유저의 얼굴을 촬상할 수 있는 위치 및 배향으로 배치되어 있다. 통신 I/F(107)는, 다른 정보 처리 장치, 통신 기기, 및 기억 장치와 유선 또는 무선에 의한 쌍방향 통신을 행한다. 본 예시적인 실시형태에서의 통신 I/F(107)는, 무선 로컬 에어리어 네트워크(LAN)를 통해서 통신 상대와 데이터를 송신 및 수신할 수 있다. 또한, 통신 I/F(107)는, 다른 통신 기기와의 사이에서는, 직접 통신 이외에 중계 장치를 통해 간접적인 통신도 행할 수 있다. 배향 취득 유닛(108)은, 관성 센서로부터, 정보 처리 장치(1)에 포함되는 터치 패널 디스플레이(105)의 배향을 나타내는 배향 정보를 취득한다.2A and 2B show an example of an external view of the
<정보 처리 장치(1)의 논리 구성><Logical configuration of the
정보 처리 장치(1)의 논리 구성의 예를 설명한다. 도 3은 본 예시적인 실시형태에 따른 정보 처리 장치(1)의 논리 구성을 도시하는 블록도이다. CPU(101)는, RAM(103)을 워크 메모리로서 사용하여 ROM(102)에 저장된 프로그램을 실행함으로써 정보 처리 장치(1)가 도 3에 도시되는 논리 구성으로서 기능하게 한다. 또한, 이하에서 설명되는 처리의 모두가 CPU(101)에 의해 실행되어야 하는 것은 아니고, 정보 처리 장치(1)는 처리의 일부 또는 모두가 CPU(101)와 상이한 1개 이상의 처리 회로에 의해 행해지도록 구성될 수 있다.An example of the logical configuration of the
정보 처리 장치(1)는, 화상 데이터 취득 유닛(301), 라이팅 설정 정보 취득 유닛(302), 라이팅 효과 설정 유닛(303), 라이팅 처리 유닛(304), 화상 표시 제어 유닛(305), 및 라이팅 효과 표시 제어 유닛(306)을 포함한다. 화상 데이터 취득 유닛(301)은, 입력/출력 유닛(309)에 의해 취득된 유저 지시에 기초하여, 촬상 유닛(308) 또는 기억 유닛(307)으로부터 화상 데이터를 취득한다. 화상 데이터 취득 유닛(301)은 3종류의 화상 데이터, 즉 라이팅 효과가 부여되는 대상으로서의 컬러 화상을 나타내는 컬러 화상 데이터, 컬러 화상 데이터에 대응하는 거리 화상 데이터, 및 컬러 화상 데이터에 대응하는 법선 화상 데이터를 취득한다. 기억 유닛(307)의 기능은 기억 장치(111)에 의해 실현되고, 촬상 유닛(308)의 기능은 촬상 유닛(106)에 의해 실현되며, 입력/출력 유닛(309)의 기능은 터치 패널 디스플레이(105)에 의해 실현된다.The
컬러 화상 데이터는, 각 화소가 R(레드) 값, G(그린) 값, 및 B(블루) 값을 갖는 화소들로 구성되는 컬러 화상을 나타내는 화상 데이터이다. 컬러 화상 데이터는 물체를 촬상하는 촬상 유닛(308)에 의해 생성된다. 거리 화상 데이터는, 각 화소가 촬상 유닛(308)으로부터 촬상 대상의 물체까지의 거리값을 갖는 화소들로 구성되는 거리 화상을 나타내는 화상 데이터이다. 거리 화상 데이터는, 상이한 위치로부터 물체를 촬상해서 취득되는 복수의 컬러 화상 데이터에 기초하여 생성된다. 예를 들어, 나란히 배치된 2개의 카메라를 통해서 물체를 촬상해서 얻어지는 화상 데이터 또는 상이한 위치로 이동하는 1개의 카메라를 통해 물체를 복수회 촬상해서 얻어지는 화상 데이터에 기초하여, 공지의 스테레오 매칭법에 의해 거리 화상 데이터를 생성할 수 있다. 또한, 거리 화상 데이터는 적외광을 물체에 조사하는 적외광 조사 유닛 및 물체에서 반사된 적외광을 수광하는 수광 유닛을 포함하는 거리 취득 장치에 의해 생성될 수 있다. 구체적으로는, 적외광 조사 유닛으로부터 조사되고 물체에서 반사된 적외광을 수광 유닛이 수광하는데 걸리는 시간에 기초하여 카메라로부터 물체까지의 거리값을 도출할 수 있다.The color image data is image data representing a color image in which each pixel is composed of pixels having an R (red) value, a G (green) value, and a B (blue) value. Color image data is generated by the
법선 화상 데이터는, 각 화소가 촬상 대상으로서의 물체의 표면의 법선 벡터를 갖는 화소들로 구성되는 법선 화상을 나타내는 화상 데이터이다. 법선 벡터는 물체의 표면의 배향(법선 방향)을 나타낸다. 법선 화상 데이터는 거리 화상 데이터에 기초하여 생성된다. 예를 들어, 거리 화상의 각 화소의 거리값에 기초하여 각 화소 위치에 대응하는 물체의 삼차원 좌표를 도출할 수 있고, 인접 화소의 삼차원 좌표의 구배에 기초하여 법선 벡터를 도출할 수 있다. 또한, 각 화소 위치에 대응하는 물체 상의 삼차원 좌표에 기초하여, 미리결정된 크기를 갖는 각 영역에 대해 근사 평면을 도출할 수 있고, 근사 평면의 수선을 법선 벡터로서 도출할 수 있다. 거리 화상 데이터 및 법선 화상 데이터 등의 삼차원 정보를 생성하는 방법은 상술한 방법으로 한정되지 않는다. 예를 들어, 물체에 대응하는 삼차원 모델 데이터를 컬러 화상 데이터에 기초하여 물체에 피팅함으로써, 물체의 삼차원 정보를 생성할 수 있다. 또한, 화상 데이터 취득 유닛(301)에 의해 취득되는 각 화상 데이터가 나타내는 화상의 위치의 화소값은 물체 상의 동일 위치에 대응한다.The normal image data is image data representing a normal image composed of pixels in which each pixel has a normal vector of the surface of an object as an object to be imaged. The normal vector represents the orientation (normal direction) of the surface of an object. Normal image data is generated based on distance image data. For example, the three-dimensional coordinates of an object corresponding to each pixel position may be derived based on the distance value of each pixel of the distance image, and the normal vector may be derived based on a gradient of the three-dimensional coordinates of adjacent pixels. In addition, based on the three-dimensional coordinates on the object corresponding to each pixel position, an approximate plane can be derived for each area having a predetermined size, and a perpendicular line of the approximate plane can be derived as a normal vector. The method of generating three-dimensional information such as distance image data and normal image data is not limited to the above-described method. For example, by fitting three-dimensional model data corresponding to an object to an object based on color image data, three-dimensional information of an object can be generated. Further, the pixel value of the position of the image indicated by each image data acquired by the image
라이팅 설정 정보 취득 유닛(302)은, 화상 데이터 취득 유닛(301)에 의해 취득되는 화상 데이터에 기초하여, 컬러 화상에 부여되는 라이팅 효과를 설정하기 위한 라이팅 설정 정보를 취득한다. 라이팅 설정 정보는 라이팅 효과를 부여하기 위한 유저 조작으로서 간주되는 정보이다. 본 예시적인 실시형태에서는, 라이팅 효과에 대한 지시가 주어지는 지시 물체에 관한 정보가 라이팅 설정 정보로서 사용된다. 라이팅 효과 설정 유닛(303)은, 라이팅 설정 정보 취득 유닛(302)에 의해 취득되는 라이팅 설정 정보에 기초하여, 복수의 라이팅 효과로부터 컬러 화상에 부여되는 라이팅 효과를 설정한다. 라이팅 처리 유닛(304)은, 라이팅 효과 설정 유닛(303)에 의해 설정되는 라이팅 효과를 컬러 화상에 부여한다. 또한, 라이팅 처리 유닛(304)은, 입력/출력 유닛(309)에 의해 취득되는 유저 조작에 기초하여, 기억 유닛(307)에 라이팅 효과가 부여된 화상을 나타내는 화상 데이터를 저장한다.The writing setting
화상 표시 제어 유닛(305)은, 입력/출력 유닛(309)을 표시 유닛으로서 사용하여, 라이팅 효과가 부여된 화상을 표시한다. 라이팅 효과 표시 제어 유닛(306)은, 라이팅 효과에 대응하는 아이콘을 입력/출력 유닛(309)에 표시한다.The image
<정보 처리 장치(1)에 의해 실행되는 처리><Processing executed by the
도 4는, 정보 처리 장치(1)에 의해 실행되는 처리를 도시하는 흐름도이다. 본 예시적인 실시형태에서는, 인-카메라(201)를 사용한 촬상을 통해 취득되는 지시 물체의 위치 정보에 기초하여 라이팅 효과를 선택하고, 선택된 라이팅 효과를 컬러 화상에 부여한다. 본 예시적인 실시형태에서, 라이팅 효과가 부여되는 컬러 화상은, 메인-카메라(202)에 의해 촬상 대상의 물체(이하, "피사체"라 칭함)를 촬상해서 취득되는 화상이다. 본 예시적인 실시형태에서는, 지시 물체로서, 인-카메라(201)에 의해 취득되는 촬상 화상에서의 유저의 손이 인식된다. 이하의 설명에서, 메인-카메라(202)를 사용한 촬상을 통해 취득되는 화상을 메인-카메라 화상이라 칭하는 반면에, 인-카메라(201)를 사용한 촬상에 의해 취득되는 화상을 인-카메라 화상이라 칭한다. 이하의 처리는 컬러 화상 및 라이팅 효과를 나타내는 아이콘이 입력/출력 유닛(309) 상에 표시된 상태에서 개시될 것이다.4 is a flowchart showing a process executed by the
단계 S401에서, 화상 데이터 취득 유닛(301)은, 입력/출력 유닛(309)으로부터 취득된 유저 조작에 기초하여, 기억 유닛(307)으로부터 메인-카메라 화상을 나타내는 메인-카메라 화상 데이터, 거리 화상 데이터, 법선 화상 데이터를 취득한다. 이 경우, 기억 유닛(307)은 상술한 방법을 통해 미리 생성된 메인-카메라 화상 데이터, 거리 화상 데이터, 및 법선 화상 데이터를 이미 저장하고 있다. 단계 S402에서, 라이팅 설정 정보 취득 유닛(302)은, 입력/출력 유닛(309)으로부터 취득된 유저 조작에 기초하여, 라이팅 설정 정보를 이용해서 라이팅 효과를 메인-카메라 화상에 부여할지의 여부를 판정한다. 라이팅 설정 정보를 이용하는 조작이 검출된 경우에는(단계 S402에서 예), 처리는 단계 S403으로 진행한다. 라이팅 설정 정보를 이용하는 조작이 검출되지 않은 경우에는(단계 S402에서 아니오), 처리는 단계 S404로 진행한다.In step S401, the image
단계 S403에서, 라이팅 설정 정보 취득 유닛(302)은, 인-카메라(201)를 사용한 촬상을 통해 취득되는 인-카메라 화상 데이터에 기초하여, 인-카메라 화상에서의 유저의 손에 대응하는 영역(이하, "손 영역"이라 칭함)의 위치를 나타내는 위치 정보를 취득한다. 본 예시적인 실시형태에서는, 인-카메라 화상에서의 손 영역의 위치 정보를 라이팅 설정 정보로서 사용한다. 라이팅 설정 정보를 취득하는 처리의 상세는 후술한다. 단계 S404에서, 라이팅 효과 설정 유닛(303)은, 라이팅 설정 정보에 기초하여, 메인-카메라 화상에 부여하는 라이팅 효과를 설정한다. 라이팅 효과를 설정하는 처리의 상세는 후술한다.In step S403, the writing setting
단계 S405에서, 라이팅 처리 유닛(304)은, 설정된 라이팅 효과에 기초하여, 메인-카메라 화상을 보정한다. 이하의 설명에서, 상술한 보정된 메인-카메라 화상을 보정 메인-카메라 화상이라 칭하고, 보정 메인-카메라 화상을 나타내는 화상 데이터를 보정 메인-카메라 화상 데이터라 칭한다. 메인-카메라 화상을 보정하는 처리의 상세는 후술한다. 단계 S406에서, 화상 표시 제어 유닛(305)은 보정 메인-카메라 화상을 입력/출력 유닛(309)에 표시한다. 단계 S407에서, 라이팅 효과 표시 제어 유닛(306)은 메인-카메라 화상에 부여된 라이팅 효과에 대응하는 아이콘을 입력/출력 유닛(309)에 표시한다. 단계 S408에서, 라이팅 처리 유닛(304)은, 입력/출력 유닛(309)에 의해 취득된 유저 조작에 기초하여, 보정 메인-카메라 화상 데이터를 기억 유닛(307)에 저장할지의 여부를 판정한다. 보정 메인-카메라 화상 데이터를 저장하는 조작이 검출된 경우에는(단계 S408에서 예), 처리는 단계 S410로 진행한다. 보정 메인-카메라 화상을 저장하는 조작이 검출되지 않은 경우에는(단계 S408에서 아니오), 처리는 단계 S409로 진행한다. 단계 S409에서, 라이팅 처리 유닛(304)은, 입력/출력 유닛(309)으로부터 취득된 유저 조작에 기초하여, 라이팅 효과를 부여하는 메인-카메라 화상을 변경할 것인지의 여부를 판정한다. 메인-카메라 화상을 변경하는 조작이 검출된 경우에는(단계 S409에서 예), 처리는 단계 S401로 진행한다. 메인-카메라 화상을 변경하는 조작이 검출되지 않은 경우에는(단계 S409에서 아니오), 처리는 단계 S402로 진행한다. 단계 S410에서, 라이팅 처리 유닛(304)은, 기억 유닛(307)에 보정 메인-카메라 화상 데이터를 저장하고, 처리를 종료한다.In step S405, the
<라이팅 설정 정보를 취득하는 처리(S403)><Process of acquiring writing setting information (S403)>
단계 S403에서 실행되는 라이팅 설정 정보를 취득하는 처리에 대해서 설명한다. 도 5는 라이팅 설정 정보를 취득하는 처리를 도시하는 흐름도이다. 라이팅 설정 정보 취득 유닛(302)은, 인-카메라 화상에서, 지시 물체로서의 유저의 손에 대응하는 손 영역을 검출한다. 라이팅 설정 정보 취득 유닛(302)은, 인-카메라 화상으로부터 검출된 손 영역의 위치 정보를, 라이팅 설정 정보로서 취득한다.A process of acquiring writing setting information executed in step S403 will be described. 5 is a flowchart showing a process of acquiring writing setting information. The writing setting
단계 S501에서, 라이팅 설정 정보 취득 유닛(302)은, 인-카메라(201)에 의해 유저의 손을 촬상함으로써 취득되는 인-카메라 화상 데이터를 취득한다. 본 예시적인 실시형태에서, 라이팅 설정 정보 취득 유닛(302)은 취득된 인-카메라 화상 데이터가 나타내는 인-카메라 화상을 수평으로 반전시키고, 반전된 인-카메라 화상을 이하에서 설명되는 처리에 이용한다. 따라서, 이하에서 설명되는 인-카메라 화상을 수평 반전된 인-카메라 화상이라 칭한다. 인-카메라 화상의 예를 도 6a에 나타낸다. 단계 S502에서, 라이팅 설정 정보 취득 유닛(302)은 인-카메라 화상에서 대상 물체가 검출되어 있는지의 여부를 판정한다. 더 구체적으로는, 라이팅 설정 정보 취득 유닛(302)은 대상 물체의 상태를 나타내는 변수를 참조함으로써 판정을 행한다. 대상 물체의 상태는 "미검출" 혹은 "검출" 중 어느 하나이며, 미검출 상태를 초기 상태로서 설정한다. 본 예시적인 실시형태에서, 대상 물체는 유저의 손이다. 유저의 손이 검출되지 않은 경우에는(단계 S502에서 아니오), 처리는 단계 S503으로 진행한다. 유저의 손이 검출된 경우에는(단계 S502에서 예), 처리는 단계 S506으로 진행한다.In step S501, the writing setting
단계 S503에서, 라이팅 설정 정보 취득 유닛(302)은 인-카메라 화상으로부터 지시 물체를 검출한다. 상술한 바와 같이, 라이팅 설정 정보 취득 유닛(302)은 인-카메라 화상에서 유저의 손에 대응하는 손 영역을 검출한다. 손 영역의 검출에는, 템플릿 매칭법 또는 콘볼루션 신경망(convolutional neural network)(CNN)을 사용한 방법 등의 공지의 방법을 이용할 수 있다. 본 예시적인 실시형태에서는, 템플릿 매칭법을 통해 인-카메라 화상에서 손 영역을 검출한다. 먼저, 라이팅 설정 정보 취득 유닛(302)은, 피부색의 화소로서 간주될 수 있는 화소를 피부색 화소로서 추출하며, 피부색 화소 이외의 화소를 배경 화소로서 추출한다. 피부색 화소는 미리결정된 값의 범위 내에 화소값이 포함되는지의 여부에 기초하여 추출된다. 라이팅 설정 정보 취득 유닛(302)은, 피부색 화소를 "1"의 값을 갖는 화소로서 및 배경 화소를 "0"의 값을 갖는 화소로서 규정함으로써 2치 화상을 나타내는 2치 화상 데이터를 생성한다. 2치 화상 데이터의 예가 도 6c에 도시된다. 템플릿 화상으로서는, 손의 실루엣을 2치화한 화상을 이용한다. 템플릿 화상의 예를 도 6b에 나타낸다. 라이팅 설정 정보 취득 유닛(302)은, 템플릿 화상으로 2치 화상을 주사하여 유사도를 도출한다. 최대 유사도 값이 미리결정된 값 이상인 경우에는, 손 영역의 상태가 "검출"인 것으로 판정된다. 또한, 최대 유사도 값이 도출되는 경우의 템플릿 화상의 중심에 대응하는 인-카메라 화상 상의 좌표를 손 영역의 위치(물체 위치)로서 지정한다. 라이팅 설정 정보 취득 유닛(302)은, 템플릿 화상을 물체 위치에 배치했을 때에 손의 실루엣을 포함하는 직사각형 영역을 인-카메라 화상으로부터 추출하고, 추출된 직사각형 영역을 추적용 템플릿 화상으로서 지정한다. 추적용 템플릿 화상 데이터의 예가 도 6d에 도시된다. 또한, 최대 유사도 값이 미리결정된 값 미만인 경우는, 손 영역의 상태가 "미검출"인 것으로 판정된다.In step S503, the writing setting
단계 S504에서, 라이팅 설정 정보 취득 유닛(302)은 손 영역이 검출되어 있는지의 여부를 판정한다. 손 영역이 검출된 경우에는(단계 S504에서 예), 처리는 단계 S505로 진행한다. 손 영역이 검출되지 않은 경우에는(단계 S504에서 아니오), 단계 S403의 처리는 종료된다. 단계 S505에서, 라이팅 설정 정보 취득 유닛(302)은 물체 위치에 기초하여 라이팅 설정 정보를 취득한다. 본 예시적인 실시형태에서는, 기준 위치로부터 물체 위치를 향하는 벡터를 손 영역의 위치 정보로서 지정하고, 이 위치 정보를 라이팅 설정 정보로서 취득한다. 기준 위치로부터 물체 위치를 향하는 벡터를 도 6e에 도시한다. 기준 위치로서 인-카메라 화상의 중심이 지정된다.In step S504, the writing setting
단계 S506에서, 라이팅 설정 정보 취득 유닛(302)은, 추적용 템플릿 화상에 기초하여, 손 영역을 추적한다. 이 경우, 라이팅 설정 정보 취득 유닛(302)은 저장된 추적용 템플릿 화상을 인-카메라 화상에 대하여 주사하여 유사도를 도출한다. 최대 유사도 값이 미리결정된 값 이상인 경우에는, 손 영역의 상태가 "검출"인 것으로 판정된다. 또한, 최대 유사도 값이 도출되는 경우의 템플릿 화상의 중심에 대응하는 인-카메라 화상 상의 좌표를 손 영역의 위치로서 판정한다. 라이팅 설정 정보 취득 유닛(302)은, 추적용 템플릿 화상에 대응하는 직사각형 영역을 인-카메라 화상으로부터 추출하고, 추출된 직사각형 영역을 새로운 추적용 템플릿 화상으로서 설정한다. 갱신된 추적용 템플릿 화상을 도 6f에 나타낸다. 또한, 최대 유사도 값이 미리결정된 값 미만인 경우, 손 영역의 상태가 "미검출"인 것으로 판정된다.In step S506, the writing setting
<라이팅 효과를 설정하는 처리(S404)><Processing for setting the lighting effect (S404)>
단계 S404에서 실행되는 라이팅 효과를 설정하는 처리에 대해서 설명한다. 도 7은 라이팅 효과를 설정하는 처리를 도시하는 흐름도이다. 라이팅 효과 설정 유닛(303)은, 취득된 라이팅 설정 정보에 기초하여, 복수의 라이팅 효과로부터 1개의 라이팅 효과를 선택한다.The processing of setting the lighting effect executed in step S404 will be described. 7 is a flowchart showing a process for setting a writing effect. The lighting
단계 S701에서, 라이팅 효과 설정 유닛(303)은, 라이팅 효과가 설정되어 있는지의 여부를 판정한다. 라이팅 효과가 설정되어 있지 않은 경우에는(단계 S701에서 아니오), 처리는 단계 S702로 진행한다. 라이팅 효과가 설정되어 있는 경우에는(단계 S701에서 예), 처리는 단계 S703으로 진행한다. 단계 S702에서, 라이팅 효과 설정 유닛(303)은 설정되어 있는 라이팅 효과를 초기화한다. 본 예시적인 실시형태에서는, 라이팅 효과를 "OFF"로 설정한다. 단계 S703에서, 라이팅 효과 설정 유닛(303)은, 손 영역이 검출되어 있는지의 여부를 판정한다. 손 영역이 검출되어 있는 경우(단계 S703에서 예), 처리는 단계 S704로 진행한다. 손 영역이 검출되지 않은 경우(단계 S703에서 아니오), 단계 S404의 처리를 종료한다.In step S701, the writing
단계 S704에서, 라이팅 효과 설정 유닛(303)은, 라이팅 설정 정보에 기초하여, 라이팅 효과의 설정을 갱신한다. 본 예시적인 실시형태에서는, 라이팅 설정 정보인 기준 위치로부터 물체 위치를 향하는 벡터를, 5개의 패턴 중 어느 하나로 분류한다. 벡터의 분류 방법이 도 8a에 도시된다. 도 8a에서는, 기준 위치로서 인-카메라 화상의 중심이 설정되며, A, B, C, D, 및 E의 5개의 영역이 설정된다. 기준 위치로부터 벡터의 양만큼 떨어진 영역에 따라, 라이팅 효과의 설정을 갱신한다. 본 예시적인 실시형태에서, 라이팅 효과의 설정으로서 4종류의 설정, 즉 "OFF", "정면", "좌측" 및 "우측"이 제공된다. 설정이 "OFF"인 경우에는 라이팅 효과는 부여되지 않으며, 설정이 "정면"인 경우에는 피사체의 정면에 배치된 가상 광원에 의해 제공되는 라이팅 효과가 부여된다. 설정이 "좌측"인 경우, 메인-카메라 화상의 좌측(즉, 피사체에서 우측)에 배치된 가상 광원에 의해 제공되는 라이팅 효과가 부여된다. 설정이 "우측"인 경우, 메인-카메라 화상의 우측(즉, 피사체의 좌측)에 배치된 가상 광원에 의해 제공되는 라이팅 효과가 부여된다. 라이팅 효과 설정 유닛(303)은, 손 영역의 위치를 나타내는 벡터가 A 영역을 나타내는 경우에는, 설정을 "OFF"로 갱신한다. 벡터가 B 영역을 향하는 경우에는, 설정은 "정면"으로 갱신된다. 벡터가 C 영역을 향하는 경우에는, 설정은 "좌측"으로 갱신된다. 벡터가 D 영역을 향하는 경우에는, 설정은 "우측"으로 갱신된다. 벡터가 E 영역을 향하는 경우에는, 설정은 갱신되지 않는다. 각 라이팅 효과를 나타내는 아이콘의 예가 도 8b에 도시된다.In step S704, the writing
<메인-카메라 화상을 보정하는 처리(S405)><Processing to correct the main-camera image (S405)>
단계 S405에 행해지는 메인-카메라 화상을 보정하는 처리에 대해서 설명한다. 라이팅 처리 유닛(304)은, 거리 화상 데이터 및 법선 화상 데이터에 기초하여 메인-카메라 화상을 보정함으로써, 메인-카메라 화상에 라이팅 효과를 부여한다. 설정되어 있는 라이팅 효과에 따라서 파라미터를 전환함으로써, 동일한 처리 수순을 통해 원하는 방향으로부터 광이 조사되는 것과 같이 라이팅 효과를 메인-카메라 화상에 부여할 수 있다. 이하, 구체적인 처리 수순의 예를 설명한다. 우선, 식 (1)에 따라 메인-카메라 화상의 배경의 밝기를 보정한다. 메인-카메라 화상의 화소값을 "I"로 표현하며, 배경의 밝기가 보정된 후의 메인-카메라 화상의 화소값을 "I'"로 표현한다.A process of correcting the main-camera image performed in step S405 will be described. The
I' = (1-β)I + βD(d)I ... (1)I'= (1-β)I + βD(d)I ... (1)
식 (1)에서, "β"는 배경의 어두움을 조정하기 위한 파라미터이며, "D"는 거리 화상의 화소값(거리값) "d"에 기초하는 함수이다. 함수 D에 의해 취득되는 값은 거리값(d)이 커질수록 작아지며, 값은 0 내지 1의 범위 내에 있다. 따라서, 함수 D는 전경을 나타내는 거리값에 대하여 큰 값을 돌려주고, 배경을 나타내는 거리값에 대하여 작은 값을 돌려준다. 파라미터 β에 0 내지 1의 값이 설정되며, 파라미터 β가 1에 가까울수록 메인-카메라 화상의 배경이 어두워지게 보정된다. 식 (1)을 따라 보정을 행함으로써, 거리값(d)이 크고 함수 D의 값이 1 미만일 때만 파라미터 β에 대응하여 화소를 어둡게 할 수 있다.In equation (1), "β" is a parameter for adjusting the darkness of the background, and "D" is a function based on the pixel value (distance value) "d" of the distance image. The value obtained by the function D decreases as the distance value d increases, and the value is in the range of 0 to 1. Therefore, function D returns a large value for the distance value representing the foreground and a small value for the distance value representing the background. A value of 0 to 1 is set for the parameter β, and the closer the parameter β is to 1, the darker the background of the main-camera image is corrected. By performing correction according to equation (1), it is possible to darken the pixel corresponding to the parameter β only when the distance value d is large and the value of the function D is less than 1.
계속해서, 식 (2)에 따라, 배경의 밝기가 보정된 후의 메인-카메라 화상에 대하여, 거리 화상 데이터 및 법선 화상 데이터에 대응하는 음영을 추가한다. 음영이 더해진 메인-카메라 화상의 화소값을 "I''"로 표현한다.Subsequently, according to equation (2), shadows corresponding to distance image data and normal image data are added to the main-camera image after the background brightness has been corrected. The pixel value of the main-camera image to which the shadow is added is expressed as "I".
I'' = I' + αD(d)H(n, L)I' ... (2)I'' = I'+ αD(d)H(n, L)I' ... (2)
식 (2)에서, "α"는 광원의 밝기를 조정하기 위한 파라미터이며, "L"은 피사체로부터 가상 광원으로의 방향을 나타내는 광원 벡터이다. 또한, "H"는 법선 화상의 화소값(법선 벡터) "n"과 광원 벡터(L)에 기초하는 함수이다. 함수 H에 의해 취득되는 값은 법선 벡터 "n"과 광원 벡터(L)에 의해 형성되는 각도가 작을수록 커지며, 값은 0 내지 1의 범위 내에 있다. 예를 들어, 함수 H는 식 (3)으로서 설정될 수 있다.In Equation (2), "α" is a parameter for adjusting the brightness of a light source, and "L" is a light source vector indicating the direction from the subject to the virtual light source. Further, "H" is a function based on the pixel value (normal vector) "n" of the normal image and the light source vector L. The value obtained by the function H increases as the angle formed by the normal vector "n" and the light source vector L decreases, and the value is in the range of 0 to 1. For example, the function H can be set as equation (3).
본 예시적인 실시형태에서는, 라이팅 처리 유닛(304)은 설정되어 있는 라이팅 효과에 따라서 파라미터를 전환한다. 라이팅 효과가 "OFF"로 설정되어 있는 경우에는, 파라미터 "α" 및 "β"의 양쪽 모두는 0이다(α=0, β=0). 라이팅 효과가 "정면"으로 설정되어 있는 경우에는, 광원 벡터(L)는 피사체에 대해 정면 방향으로 설정된다. 라이팅 효과가 "좌측"으로 설정되어 있는 경우에는, 광원 벡터(L)는 메인-카메라 화상에 대해 좌측 방향(즉, 피사체에 대해 우측 방향)으로 설정된다. 라이팅 효과가 "우측"으로 설정되어 있는 경우에는, 광원 벡터(L)는 메인-카메라 화상에 대해 우측 방향(즉, 피사체에 대해 좌측 방향)으로 설정된다.In this exemplary embodiment, the
각 라이팅 효과가 선택된 경우의 라이팅 설정 정보 및 표시 화상의 예를 도 8c 내지 도 8f에 도시한다. 도 8c는, 라이팅 효과가 "OFF"로 설정되어 있는 경우의 라이팅 설정 정보 및 표시 화상을 도시한다. 도 8d는, 라이팅 효과가 "정면"으로 설정되어 있는 경우의 라이팅 설정 정보 및 표시 화상을 도시한다. 도 8e는, 라이팅 효과가 "좌측"으로 설정되어 있는 경우의 라이팅 설정 정보 및 표시 화상을 도시한다. 도 8f는, 라이팅 효과가 "우측"으로 설정되어 있는 경우의 라이팅 설정 정보 및 표시 화상을 도시한다. 표시 화상은, 단계 S406에서 표시되는 보정 메인-카메라 화상과, 단계 S407에서 표시되는 라이팅 효과를 나타내는 아이콘을 포함하는 화상이다. 표시 화상의 우측에, 각 라이팅 효과를 나타내는 아이콘이 표시된다. 또한, 표시 화상의 좌측 하위 부분에는, 유저가 라이팅 설정 정보를 이용할지의 여부를 결정하도록 하는 버튼이 표시된다. 단계 S402에서, 라이팅 설정 정보 취득 유닛(302)은, 이 버튼에 대해 행해지는 유저 조작에 기초하여, 라이팅 설정 정보를 이용할지의 여부를 판정한다.Examples of lighting setting information and display images when each writing effect is selected are shown in Figs. 8C to 8F. 8C shows writing setting information and a display image when the writing effect is set to "OFF". 8D shows writing setting information and a display image when the writing effect is set to "front". 8E shows writing setting information and a display image when the writing effect is set to "left". Fig. 8F shows writing setting information and a display image when the writing effect is set to "right". The display image is an image including a corrected main-camera image displayed in step S406 and an icon representing a writing effect displayed in step S407. On the right side of the display image, icons representing each lighting effect are displayed. In addition, in the lower left part of the display image, a button is displayed that allows the user to determine whether to use the writing setting information. In step S402, the writing setting
<제1 예시적인 실시형태의 효과><Effect of the first exemplary embodiment>
이상 설명한 바와 같이, 본 예시적인 실시형태에 따른 정보 처리 장치는, 화상을 나타내는 화상 데이터를 취득하고, 화상에 부여되는 라이팅 효과를 조정하기 위한 지시 물체의 위치 정보를 취득한다. 위치 정보에 기초하여, 화상에 부여되는 라이팅 효과를 설정한다. 이러한 방식으로, 촬상 범위 내에서 손이나 얼굴 등의 지시 물체를 움직이게 하는 것 같은 간단한 조작에 의해 화상에 라이팅 효과를 부여할 수 있다.As described above, the information processing apparatus according to the present exemplary embodiment acquires image data representing an image, and acquires positional information of an instruction object for adjusting the lighting effect applied to the image. Based on the positional information, a lighting effect applied to the image is set. In this way, it is possible to impart a writing effect to an image by a simple operation such as moving a pointing object such as a hand or face within the imaging range.
<변형예><Modification>
본 예시적인 실시형태에서는, 도 8a 내지 도 8f에 도시되는 바와 같이, 수직 방향으로 A, B, C, 및 D 영역이 배치되고, 벡터가 분류된다. 그러나, 벡터를 분류하는 방법은 상술한 예로 한정되지 않는다. 예를 들어, 도 9a 내지 도 9d에 도시된 바와 같이, 각 라이팅 효과에 대응하는 광원 벡터의 방향에 합치하도록 A 내지 D 영역의 각각을 설정할 수 있다. 도 9a 내지 도 9d에 도시된 예에서는, 라이팅 효과 "좌측"에 대응하는 C 영역이 좌측 상위 부분에 배치되고, 라이팅 효과 "정면"에 대응하는 B 영역이 중앙 상위 부분에 배치되며, 라이팅 효과 "우측"에 대응하는 D 영역이 우측 상위 부분에 배치된다. 상술한 바와 같이 A 내지 D 영역을 설정함으로써, 손의 이동 방향이 광원 벡터의 방향(광원의 위치)에 합치하기 때문에, 유저는 더 직감적으로 라이팅 효과를 설정할 수 있다.In the present exemplary embodiment, as shown in Figs. 8A to 8F, regions A, B, C, and D are arranged in the vertical direction, and vectors are classified. However, a method of classifying a vector is not limited to the above-described example. For example, as shown in FIGS. 9A to 9D, each of regions A to D may be set to match the direction of a light source vector corresponding to each lighting effect. In the example shown in Figs. 9A to 9D, the area C corresponding to the lighting effect "left" is disposed in the upper left part, the area B corresponding to the lighting effect "front" is disposed in the upper center part, and the lighting effect " Area D corresponding to "right" is arranged in the upper right part. By setting the areas A to D as described above, since the movement direction of the hand matches the direction of the light source vector (the position of the light source), the user can more intuitively set the lighting effect.
또한, 본 예시적인 실시형태에서는, 인-카메라 화상에서의 손 영역의 위치 정보에 기초하여 라이팅 효과를 선택하지만, 인-카메라 화상에서의 손 영역의 위치 정보에 기초하여 광원 벡터(L)의 방향을 도출할 수 있다. 손 영역의 위치 정보에 기초하여 광원 벡터(L)의 방향을 도출하는 방법의 일례를 설명한다. 먼저, 라이팅 효과 설정 유닛(303)은, 인-카메라 화상에서의 기준 위치로부터 물체 위치를 향하는 벡터 S= (us, vs)에 기초하여, 광원 위치의 위도(θ) 및 경도(φ)를 식 (4)에 따라 도출한다.Further, in the present exemplary embodiment, the lighting effect is selected based on the positional information of the hand region in the in-camera image, but the direction of the light source vector L is based on the positional information of the hand region in the in-camera image. Can be derived. An example of a method of deriving the direction of the light source vector L based on the position information of the hand region will be described. First, the lighting
식 (4)에서, "φmax"는 최대 설정가능 경도이며, "θmax"는 최대 설정 가능 위도이다. "U"는 경도를 최대 설정가능 경도(φmax)가 되게 하는 수평 방향의 이동량이며, "V"는 위도를 최대 설정가능 위도(θmax)가 되게 하는 수직 방향의 이동량이다. 각각의 이동량 U 및 V는 인-카메라 화상의 크기에 기초하여 설정될 수 있다. 또한, 광원 위치의 위도(θ) 및 경도(φ)는 도 10a에 도시된 예를 따르는 것으로 한다. 도 10a에서, z-축의 정방향이 정면 방향이고, x-축의 정방향이 메인-카메라 화상의 우측 방향이며, y-축의 정방향이 메인-카메라 화상의 상위 방향이다.In equation (4), "φ max " is the maximum settable longitude, and "θ max " is the maximum settable latitude. "U" is the amount of movement in the horizontal direction that makes the longitude the maximum settable longitude (φ max ), and "V" is the amount of movement in the vertical direction that makes the latitude the maximum settable latitude (θ max ). Each movement amount U and V can be set based on the size of the in-camera image. In addition, it is assumed that the latitude (θ) and longitude (φ) of the light source position follow the example shown in FIG. 10A. In Fig. 10A, the positive direction of the z-axis is the front direction, the positive direction of the x-axis is the right direction of the main-camera image, and the positive direction of the y-axis is the upper direction of the main-camera image.
계속해서, 라이팅 효과 설정 유닛(303)은, 위도(θ) 및 경도(φ)에 기초하여, 광원 벡터 L= (xL, yL, zL)를 식 (5)에 따라 도출한다.Subsequently, the lighting
xL = cosθsinφx L = cosθsinφ
yL = sinθy L = sinθ
zL = cosθcosφ ... (5)z L = cosθcosφ ... (5)
상술한 바와 같이, 손의 이동에 기초하여 광원 벡터(L)를 설정함으로써, 손의 이동에 기초하여 광원의 위치를 변경할 수 있다. 도 10b 내지 도 10d는, 손의 이동에 따라서 광원의 위치를 변경하는 경우의 손 영역의 위치 정보 및 표시 화상의 예를 도시하는 도면이다. 도 10b는 손이 인-카메라에 대해 좌측 방향으로 이동될 때의 손 영역의 위치 정보 및 표시 화상의 예를 도시한다. 도 10c는 손이 인-카메라를 향하는 우측 방향으로 이동될 때의 손 영역의 위치 정보 및 표시 화상의 예를 도시한다. 도 10d는 손이 인-카메라를 향하는 상위 방향으로 이동될 때의 손 영역의 위치 정보 및 표시 화상의 예를 도시한다. 이 경우, 표시 화상 상에 광원을 나타내는 아이콘을 표시하고, 광원 벡터(L)에 따라서 아이콘의 표시 위치 또는 배향을 변경한다.As described above, by setting the light source vector L based on the movement of the hand, the position of the light source can be changed based on the movement of the hand. 10B to 10D are diagrams showing examples of position information and display images of a hand region when the position of a light source is changed according to the movement of the hand. 10B shows an example of a display image and position information of a hand area when the hand is moved in the left direction with respect to the in-camera. Fig. 10C shows an example of the position information and display image of the hand area when the hand is moved in the right direction toward the in-camera. Fig. 10D shows an example of the position information and display image of the hand area when the hand is moved in the upper direction toward the in-camera. In this case, an icon representing a light source is displayed on the display image, and the display position or orientation of the icon is changed according to the light source vector L.
식 (4)에 기초하여 벡터(S)의 각 성분(us, vs)에 비례하도록 광원 위치의 위도(θ) 및 경도(φ)를 도출했지만, 위도(θ) 및 경도(φ)의 도출 방법은 상술한 예에 한정되지 않는다. 예를 들어, us 및 vs 성분의 절대값이 클수록 광원 위치의 위도(θ) 및 경도(φ)의 변화량을 작게 할 수 있다. 이러한 방식으로, 광원 벡터의 방향이 정면 방향에 가까울 경우는 손의 이동에 대한 광원 벡터 방향의 변화량이 커지고, 광원 벡터의 방향이 정면 방향으로부터 멀 경우에는 손의 이동에 대한 광원 벡터의 방향의 변화량이 작아진다. 광원 벡터의 방향이 정면 방향에 가까울 경우에는, 광원 벡터의 방향의 변화에 의해 유발되는 피사체의 인상의 변화량이 작은 경우가 있을 수 있다. 상술한 바와 같이 광원 벡터의 방향을 제어함으로써, 손의 이동에 대한 피사체의 인상의 변화량을 평준화할 수 있다.Based on equation (4), the latitude (θ) and longitude (φ) of the light source position were derived in proportion to each component (u s , v s ) of the vector (S), but the latitude (θ) and longitude (φ) The derivation method is not limited to the above-described example. For example, as the absolute values of the u s and v s components increase, the amount of change in the latitude (θ) and longitude (φ) of the light source position can be reduced. In this way, when the direction of the light source vector is close to the front direction, the amount of change in the direction of the light source vector increases with respect to the hand movement, and when the direction of the light source vector is far from the front direction, the amount of change in the direction of the light source vector against the movement of the hand Becomes smaller. When the direction of the light source vector is close to the front direction, there may be a case where the amount of change in the impression of the subject caused by the change in the direction of the light source vector is small. As described above, by controlling the direction of the light source vector, the amount of change in the impression of the subject relative to the movement of the hand can be equalized.
또한, 본 예시적인 실시형태에서는, 인-카메라 화상에서의 손 영역의 위치 정보에 기초하여 라이팅 효과를 부여하기 위해 사용되는 파라미터가 설정된다. 그러나, 인-카메라 화상에서의 손 영역의 크기에 기초하여 파라미터를 설정할 수 있다. 예를 들어, 단계 S503 또는 S506에서, 추적용 템플릿 화상의 크기를 손 영역의 크기로서 취득한다. 메인-카메라 화상을 보정하는 처리에서, 손 영역의 크기에 기초하여 광원의 밝기를 조정하기 위한 파라미터(α)를 설정한다. 예를 들어, 손 영역이 클수록, 파라미터(α)가 커지도록 설정할 수 있다. 도 11a 내지 도 11c는, 손 영역의 크기에 기초하여 파라미터를 제어하는 경우의, 손 영역의 위치 정보 및 표시 화상의 예를 도시하는 도면이다. 도 11a에서의 손 영역의 크기가 가장 크고, 도 11b 및 도 11c의 순서로 그 크기가 작아진다. 이때, 파라미터(α)의 값에 기초하여 광원을 나타내는 아이콘의 크기가 변경된다.Further, in the present exemplary embodiment, a parameter used to impart a lighting effect is set based on the positional information of the hand region in the in-camera image. However, it is possible to set the parameter based on the size of the hand area in the in-camera image. For example, in step S503 or S506, the size of the tracking template image is acquired as the size of the hand area. In the process of correcting the main-camera image, a parameter α for adjusting the brightness of the light source is set based on the size of the hand region. For example, the larger the hand area, the larger the parameter α may be set. 11A to 11C are diagrams showing examples of position information and display images of the hand area when a parameter is controlled based on the size of the hand area. The size of the hand region in FIG. 11A is the largest, and the size decreases in the order of FIGS. 11B and 11C. At this time, the size of the icon representing the light source is changed based on the value of the parameter α.
또한, 본 예시적인 실시형태에서는, 라이팅 효과를 설정하기 위해서 이동되는 지시 물체로서 유저의 손이 이용된다. 그러나, 실공간에 존재하는 다른 물체도 지시 물체로서 이용될 수 있다. 예를 들어, 지시 물체로서 유저의 얼굴이 이용될 수 있다. 이 경우, 인-카메라 화상에서, 손 영역 대신 얼굴 영역을 검출하고, 인-카메라 화상에서의 얼굴 영역의 위치 정보를 라이팅 설정 정보로서 취득한다. 단계 S503에서, 라이팅 설정 정보 취득 유닛(302)은 인-카메라 화상에서 얼굴 영역을 검출한다. 얼굴 영역의 검출에는, 예를 들어 템플릿 매칭법 또는 Haar-Like 특징량을 사용하는 알고리즘 등의 공지의 방법을 이용할 수 있다. 도 12a 내지 도 12c는 얼굴 영역에 기초하여 광원 벡터의 방향이 변경되는 경우의 얼굴 영역의 위치 정보 및 표시 화상의 예를 도시하는 도면이다. 또한, 손이나 얼굴 대신에 유저가 파지하고 있는 물체가 지시 물체로서 또한 이용될 수 있다.In addition, in this exemplary embodiment, the user's hand is used as an instruction object to be moved in order to set the lighting effect. However, other objects existing in real space can also be used as indicator objects. For example, a user's face may be used as an indication object. In this case, in the in-camera image, a face area is detected instead of a hand area, and positional information of the face area in the in-camera image is acquired as writing setting information. In step S503, the writing setting
또한, 본 예시적인 실시형태에서는, 인-카메라 화상 데이터에 기초하여 라이팅 설정 정보를 취득한다. 그러나, 라이팅 설정 정보의 취득 방법은 이것으로 한정되지 않는다. 예를 들어, 거리 정보를 취득할 수 있는 카메라를 터치 패널 디스플레이(105)와 동일한 면에 배치하고, 카메라에 의해 취득된 거리 정보로부터 취득될 수 있는 물체의 이동 정보를 라이팅 설정 정보로서 취득할 수 있다.Further, in the present exemplary embodiment, writing setting information is acquired based on in-camera image data. However, the method of obtaining the writing setting information is not limited to this. For example, a camera capable of acquiring distance information is placed on the same surface as the
또한, 본 예시적인 실시형태에서는, 인-카메라 화상에서의 지시 물체의 위치 정보를 라이팅 설정 정보로서 취득하지만, 실공간에서의 지시 물체의 삼차원 위치 정보를 라이팅 설정 정보로서 취득할 수 있다. 예를 들어, 실공간에서의 지시 물체의 거리(심도) 정보를 인-카메라에 의해 취득할 수 있다. 거리(심도) 정보의 취득 방법으로서, 패턴을 물체에 조사하는 방법 같은 공지의 방법을 사용할 수 있다.Further, in the present exemplary embodiment, the positional information of the pointing object in the in-camera image is acquired as lighting setting information, but the three-dimensional positional information of the pointing object in real space can be obtained as the lighting setting information. For example, information on the distance (depth) of an indication object in real space can be acquired by an in-camera. As a method of obtaining distance (depth) information, a known method such as a method of irradiating a pattern onto an object can be used.
제1 예시적인 실시형태에서는, 손 영역의 위치 정보에 기초하여 라이팅 효과를 설정한다. 제2 예시적인 실시형태에서는, 터치 패널 디스플레이(105)의 배향을 나타내는 배향 정보에 기초하여 라이팅 효과를 설정한다. 또한, 본 예시적인 실시형태의 정보 처리 장치(1)의 하드웨어 구성 및 논리 구성은 제1 예시적인 실시형태에서 설명된 것과 마찬가지이기 때문에, 그에 대한 설명은 생략한다. 이하의 설명에서, 제1 예시적인 실시형태와는 상이한 부분을 주로 설명한다. 또한, 제1 예시적인 실시형태의 것과 마찬가지의 구성 요소에는 동일한 참조 부호를 부여한다.In the first exemplary embodiment, the writing effect is set based on the positional information of the hand region. In the second exemplary embodiment, the writing effect is set based on orientation information indicating the orientation of the
<정보 처리 장치(1)에 의해 실행되는 처리><Processing executed by the
본 예시적인 실시형태는 단계 S403에서 라이팅 설정 정보를 취득하는 처리와 단계 S404에서 라이팅 효과를 설정하는 처리에 있어서 제1 예시적인 실시형태와는 상이하다. 본 예시적인 실시형태의 라이팅 설정 정보 취득 유닛(302)은 터치 패널 디스플레이(105)의 배향 정보를 라이팅 설정 정보로서 취득한다. 본 예시적인 실시형태에서의 라이팅 효과 설정 유닛(303)은 터치 패널 디스플레이(105)의 배향 정보에 기초하여 라이팅 효과를 설정한다. 이하의 설명에서, 라이팅 설정 정보를 취득하는 처리와 라이팅 효과를 설정하는 처리에 대해서 상세하게 설명한다.This exemplary embodiment is different from the first exemplary embodiment in the processing of acquiring the writing setting information in step S403 and the processing of setting the writing effect in step S404. The writing setting
<라이팅 설정 정보를 취득하는 처리(S403)><Process of acquiring writing setting information (S403)>
도 13은 라이팅 설정 정보를 취득하는 처리를 나타내는 흐름도이다. 단계 S1301에서, 라이팅 설정 정보 취득 유닛(302)은 배향 취득 유닛(108)으로부터 터치 패널 디스플레이(105)의 배향 정보를 취득한다. 본 예시적인 실시형태에서는, 터치 패널 디스플레이(105)의 긴 변을 수평하게 배치한 상태에서 터치 패널 디스플레이가 보유지지될 때의 수평 방향(x-축), 수직 방향(y-축), 및 터치 패널 디스플레이(105)에 수직인 수직 방향(z-축)의 각 축 둘레의 회전각을 배향 정보로서 이용한다. 배향 정보로서 이용되는 회전각이 도 14a에 도시된다. 도 14a에서, x-축 회전각(요각)을 "Φ"로서 표현하고, y-축 회전각(피치각)을 "Θ"로서 표현하며, z-축 회전각(롤각)을 "Ψ"로서 표현한다.13 is a flowchart showing a process of acquiring writing setting information. In step S1301, the writing setting
단계 S1302에서, 라이팅 설정 정보 취득 유닛(302)은, 기준 배향이 설정되어 있는지의 여부를 판정한다. 기준 배향이 설정되지 않은 경우에는(단계 S1302에서 아니오), 처리는 단계 S1303으로 진행한다. 기준 배향이 설정되어 있는 경우에는(단계 S1302에서 예), 처리는 단계 S1304로 진행한다. 단계 S1303에서, 라이팅 설정 정보 취득 유닛(302)은 기준 배향을 설정한다. 구체적으로는, 취득된 배향 정보가 나타내는 피치각(Θ)을 기준 피치각(Θ0)으로서 설정한다.In step S1302, the writing setting
단계 S1304에서, 라이팅 설정 정보 취득 유닛(302)은 배향 정보에 기초하여 라이팅 설정 정보를 취득한다. 구체적으로는, 피치각(Θ)과 요각(Φ)에 기초하여, 식 (6)에 따라 배향 설정 정보(Θ' 및 Φ')를 도출한다.In step S1304, the writing setting
Θ' = Θ - Θ0 Θ'= Θ-Θ 0
Φ' = Φ ... (6)Φ'= Φ ... (6)
배향 설정 정보(Θ' 및 Φ')는 각각 기준 배향에 대하여 피치각 및 요각의 변화량을 나타낸다. 즉, 본 예시적인 실시형태에서, 라이팅 설정 정보는 터치 패널 디스플레이(105)의 기울기 방향 및 기울기 정도를 나타내는 정보이다. 또한, 단계 S1303에서, 기준 배향으로서 기준 요각(Φ0)을 설정할 수 있다. 도 14b에 도시된 예에서, 기준 요각(Φ0)이 기준 배향으로서 설정된다. 이 경우, 식 (7)에 따라 배향 설정 정보(Θ' 및 Φ')를 도출한다.The orientation setting information Θ'and Φ'represents the amount of change in pitch angle and yaw angle with respect to the reference orientation, respectively. That is, in the present exemplary embodiment, the writing setting information is information indicating a tilt direction and a tilt degree of the
Θ' = Θ - Φ0 Θ'= Θ-Φ 0
Φ' = Φ - Φ0 ... (7)Φ'= Φ-Φ 0 ... (7)
상술한 바와 같이 기준 배향을 설정함으로써, 유저가 터치 패널 디스플레이(105)를 용이하게 시청할 수 있는 배향을 기준 배향으로서 설정할 수 있다.By setting the reference orientation as described above, an orientation in which the user can easily view the
<라이팅 효과를 설정하는 처리(S404)><Processing for setting the lighting effect (S404)>
도 15는 라이팅 효과를 설정하는 처리를 나타내는 흐름도이다. 단계 S1501에서, 라이팅 효과 설정 유닛(303)은 라이팅 효과가 설정되어 있는지의 여부를 판정한다. 라이팅 효과가 설정되어 있지 않은 경우에는(단계 S1501에서 아니오), 처리는 단계 S1502로 진행한다. 라이팅 효과가 설정되어 있는 경우에는(단계 S1501에서 예), 처리는 단계 S1503로 진행한다. 단계 S1502에서, 라이팅 효과 설정 유닛(303)은 라이팅 효과의 설정을 초기화한다. 본 예시적인 실시형태에서는, 광원 벡터의 방향은 정면 방향이다(광원 위치의 위도(θ) 및 경도(φ)는 0이다(θ=0, φ=0)).15 is a flowchart showing a process for setting a writing effect. In step S1501, the writing
단계 S1503에서, 라이팅 효과 설정 유닛(303)은 라이팅 설정 정보에 기초하여 라이팅 효과의 설정을 갱신한다. 본 예시적인 실시형태에서, 라이팅 효과 설정 유닛(303)은, 배향 설정 정보(Θ' 및 Φ')에 기초하여, 식(8) 에 따라 광원 위치의 위도(θ) 및 경도(φ)를 도출한다.In step S1503, the lighting
상기 식 (8)에서, "θmax"는 최대 설정가능 위도이며, "φmax"는 최대 설정가능 경도이다. 배향 설정 정보(Θ')에 대한 계수는 "αΘ"로서 표현되며, 배향 설정 정보(Φ')에 대한 계수는 "αΦ"로서 표현된다. 계수(αΘ 및 αΦ)의 절대값을 증가시킴으로써, 터치 패널 디스플레이(105)의 기울기에 대한 광원 벡터 방향의 변화량이 커진다. 또한, 광원 위치의 위도(θ) 및 경도(φ)는 도 10a에 도시된 바와 같다. 계속해서, 라이팅 효과 설정 유닛(303)은, 위도(θ) 및 경도(φ)에 기초하여, 광원 벡터 L= (xL, yL, zL)를 식 (5)에 따라 도출한다.In the above equation (8), "θ max " is the maximum settable latitude, and "φ max " is the maximum settable longitude. The coefficient for the orientation setting information Θ'is expressed as "α Θ ", and the coefficient for the orientation setting information Φ'is expressed as "α Φ ". By increasing the absolute values of the coefficients α Θ and α Φ , the amount of change in the light source vector direction with respect to the inclination of the
<제2 예시적인 실시형태의 효과><Effect of the second exemplary embodiment>
이상 설명한 바와 같이, 본 예시적인 실시형태에 따른 정보 처리 장치(1)는 터치 패널 디스플레이(105)의 배향 정보에 기초하여 피사체를 라이팅하는 가상 광원의 위치를 설정한다. 이러한 방식으로, 터치-패널 디스플레이(105)를 기울이는 간단한 조작을 통해 화상에 라이팅 효과를 부여할 수 있다. 도 16a 내지 도 16c는, 광원 벡터의 방향이 변경되는 경우의 배향 정보 및 표시 화상의 예를 도시하는 도면이다. 도 16a는 터치 패널 디스플레이(105)를 좌측 방향으로 기울인 경우의 배향 정보 및 표시 화상의 예를 도시한다. 도 16b는 터치 패널 디스플레이(105)를 우측 방향으로 기울인 경우의 배향 정보 및 표시 화상의 예를 도시한다. 도 16c는 터치 패널 디스플레이(105)를 상위 방향으로 기울인 경우의 배향 정보 및 표시 화상의 예를 도시한다. 이들 예에서, 표시 화상 상에 광원을 나타내는 아이콘을 표시하고, 광원 벡터(L)에 따라서 아이콘의 표시 위치 및 배향을 변경한다.As described above, the
<변형예><Modification>
본 예시적인 실시형태에서는, 식 (8)에 따라 배향 설정 정보(Θ' 및 Φ')에 비례하도록 광원 위치의 위도(θ) 및 경도(φ)를 도출한다. 그러나, 위도(θ) 및 경도(φ)의 도출 방법은 상술한 예에 한정되지 않는다. 예를 들어, 배향 설정 정보(Θ' 및 Φ')의 절대값이 클수록 광원 위치의 위도(θ) 및 경도(φ)의 변화량은 작아질 수 있다. 이러한 방식으로, 광원 벡터의 방향이 정면 방향에 가까울수록 터치 패널 디스플레이(105)의 기울기에 대한 광원 벡터 방향의 변화량이 커지고, 광원 벡터의 방향이 정면 방향으로부터 멀수록 터치 패널 디스플레이(105)의 기울기에 대한 광원 벡터 방향의 변화량이 작아진다. 광원 벡터의 방향이 정면 방향에 가까울 경우에는, 광원 벡터 방향의 변화에 의해 유발되는 피사체의 인상의 변화량이 작은 경우가 있다. 상술한 바와 같이 광원 벡터의 방향을 제어함으로써, 터치 패널 디스플레이(105)의 기울기에 대한 피사체의 인상의 변화를 평준화할 수 있다.In this exemplary embodiment, the latitude (θ) and longitude (φ) of the light source position are derived in proportion to the orientation setting information Θ'and Φ'according to equation (8). However, the method of deriving the latitude (θ) and longitude (φ) is not limited to the above-described example. For example, as the absolute values of the orientation setting information Θ'and Φ'increase, the amount of change in the latitude θ and the longitude φ of the light source position may decrease. In this way, as the direction of the light source vector is closer to the front direction, the amount of change in the direction of the light source vector with respect to the inclination of the
또한, 본 예시적인 실시형태의 도 16a 내지 도 16c에서는, 계수(αΘ 및 αΦ)이 양의 값을 갖는 경우의 표시 화상의 예를 도시한다. 그러나, 계수(αΘ 및 αΦ)는 음의 값을 가질 수 있다. 이 경우, 광원의 위치는 터치 패널 디스플레이(105)의 배향에 대해 반대 방향으로 설정될 수 있다. 예를 들어, 터치 패널 디스플레이(105)가 좌측으로 기울어지는 경우에는 광원은 우측으로 이동되며, 터치 패널 디스플레이(105)가 상향으로 기울어지는 경우에는 광원은 하향으로 이동된다. 이러한 방식으로, 유저는 광원의 위치를 직감적으로 파악할 수 있다.In addition, in FIGS. 16A to 16C of the present exemplary embodiment, an example of a display image when the coefficients α Θ and α Φ have positive values is shown. However, the coefficients α Θ and α Φ may have negative values. In this case, the position of the light source may be set in a direction opposite to the orientation of the
또한, 제1 예시적인 실시형태의 경우와 마찬가지로, 배향 정보에 따라 라이팅 효과를 선택할 수 있다. 이 경우, 먼저, 배향 설정 정보(Θ' 및 Φ')에 기초하여 벡터 S= (us, vs)를 도출한다. 예를 들어, 배향 설정 정보(Φ')에 기초하여 us 성분을 도출하고, 배향 설정 정보(Θ')에 기초하여 vs 성분을 도출한다.Also, as in the case of the first exemplary embodiment, a writing effect can be selected according to the orientation information. In this case, first, a vector S= (u s , v s ) is derived based on the orientation setting information Θ'and Φ'. For example, a u s component is derived based on the orientation setting information Φ', and a v s component is derived based on the orientation setting information Θ'.
제1 예시적인 실시형태에서는, 손 영역의 위치 정보에 기초하여 라이팅 효과를 설정한다. 제2 예시적인 실시형태에서는, 터치 패널 디스플레이(105)의 배향 정보에 기초하여 라이팅 효과를 설정한다. 제3 예시적인 실시형태에서는, 손 영역의 크기를 나타내는 정보와 터치 패널 디스플레이(105)의 배향 정보에 기초하여 라이팅 효과를 설정한다. 또한, 본 예시적인 실시형태에 따른 정보 처리 장치(1)의 하드웨어 구성 및 논리 구성은 제1 예시적인 실시형태에 따라 설명된 것과 마찬가지이기 때문에, 그에 대한 설명은 생략한다. 이하의 설명에서, 제1 예시적인 실시형태의 것과는 상이한 부분을 주로 설명한다. 또한, 제1 예시적인 실시형태의 것과 마찬가지의 구성 요소에는 동일한 참조 부호를 부여한다.In the first exemplary embodiment, the writing effect is set based on the positional information of the hand region. In the second exemplary embodiment, the lighting effect is set based on the orientation information of the
<정보 처리 장치(1)에 의해 실행되는 처리><Processing executed by the
본 예시적인 실시형태는 단계 S403에서 라이팅 설정 정보를 취득하는 처리와 단계 S404에서 라이팅 효과를 설정하는 처리에 있어서 제1 예시적인 실시형태와는 상이하다. 본 예시적인 실시형태의 라이팅 설정 정보 취득 유닛(302)은, 인-카메라 화상에서의 손 영역의 크기를 나타내는 정보와 터치 패널 디스플레이(105)의 배향 정보를 라이팅 설정 정보로서 취득한다. 본 예시적인 실시형태에 따른 라이팅 효과 설정 유닛(303)은, 인-카메라 화상에서의 손 영역의 크기를 나타내는 정보와 터치 패널 디스플레이(105)의 배향 정보에 기초하여 라이팅 효과를 설정한다. 이하의 설명에서, 라이팅 설정 정보를 취득하는 처리와 라이팅 효과를 설정하는 처리에 대해서 상세하게 설명한다.This exemplary embodiment is different from the first exemplary embodiment in the processing of acquiring the writing setting information in step S403 and the processing of setting the writing effect in step S404. The writing setting
<라이팅 설정 정보를 취득하는 처리(S403)><Process of acquiring writing setting information (S403)>
도 17은 라이팅 설정 정보를 취득하는 처리를 도시하는 흐름도이다. 단계 S1701의 처리는 제2 예시적인 실시형태의 단계 S1301의 처리와 마찬가지이기 때문에, 그에 대한 설명은 생략한다. 또한, 단계 S1702, S1703, S1705, 및 S1707의 처리는 제1 예시적인 실시형태에서의 단계 S501, S502, S504, 및 S506의 처리와 마찬가지이기 때문에, 그에 대한 설명은 생략한다.17 is a flowchart showing a process of acquiring writing setting information. Since the processing in step S1701 is the same as the processing in step S1301 in the second exemplary embodiment, a description thereof will be omitted. In addition, since the processing of steps S1702, S1703, S1705, and S1707 is the same as the processing of steps S501, S502, S504, and S506 in the first exemplary embodiment, a description thereof will be omitted.
단계 S1704에서, 라이팅 설정 정보 취득 유닛(302)은 인-카메라 화상에서 지시 물체를 검출한다. 검출 방법은 제1 예시적인 실시형태에서 설명된 방법과 마찬가지이다. 또한, 라이팅 설정 정보 취득 유닛(302)은 추적용 템플릿 화상의 크기를 손 영역의 크기로서 취득한다. 단계 S1706에서, 라이팅 설정 정보 취득 유닛(302)은, 인-카메라 화상에서의 손 영역의 크기를 나타내는 정보 및 터치 패널 디스플레이(105)의 배향 정보를 라이팅 설정 정보로서 취득한다.In step S1704, the writing setting
<라이팅 효과를 설정하는 처리(S404)><Processing for setting the lighting effect (S404)>
본 예시적인 실시형태의 단계 S404의 처리는, 단계 S704에서 실행되는 라이팅 효과를 갱신하는 처리에 있어서 제1 예시적인 실시형태의 단계 S404의 처리와는 상이하다. 이하의 설명에서, 본 예시적인 실시형태의 단계 S704에서 행해지는 라이팅 효과를 갱신하는 처리에 대해서 설명한다. 단계 S704에서, 라이팅 처리 유닛(304)은, 배향 설정 정보(Θ' 및 Φ')에 기초하여 광원 벡터(L)의 방향을 설정하고, 인-카메라 화상에서의 손 영역의 크기를 나타내는 정보에 기초하여 광원의 밝기를 조정하기 위한 파라미터(α)를 설정한다. 광원 벡터(L)의 방향의 설정 방법은 제2 예시적인 실시형태에서 설명되는 방법과 마찬가지이다. 또한, 광원의 밝기를 조정하기 위한 파라미터(α)는 손 영역이 클수록 크게 설정된다.The processing of step S404 of the present exemplary embodiment is different from the processing of step S404 of the first exemplary embodiment in the processing of updating the writing effect executed in step S704. In the following description, a process of updating the writing effect performed in step S704 of the present exemplary embodiment will be described. In step S704, the
도 18a 내지 도 18c는, 인-카메라 화상에서의 손 영역의 크기를 나타내는 정보와 터치 패널 디스플레이(105)의 배향 정보를 라이팅 설정 정보로서 설정하는 경우의, 라이팅 설정 정보 및 표시 화상의 예를 도시하는 도면이다. 이들 예에서는, 터치 패널 디스플레이(105)를 우측 방향으로 기울인 상태에서 손 영역의 크기를 변화시킨 경우의 라이팅 설정 정보 및 표시 화상의 예를 나타낸다. 손 영역의 크기는 도 18a에서 가장 크고, 도 18b 및 도 18c의 순서로 그 크기가 작아진다. 도 18a 내지 도 18c에서는, 파라미터(α)의 값에 기초하여 광원을 나타내는 아이콘의 크기를 변경한다.18A to 18C show examples of writing setting information and display images when information indicating the size of a hand region in an in-camera image and orientation information of the
<제3 예시적인 실시형태의 효과><Effect of the third exemplary embodiment>
이상 설명한 바와 같이, 본 예시적인 실시형태에 따른 정보 처리 장치(1)는 손 영역의 크기 정보 및 터치 패널 디스플레이(105)의 배향 정보에 기초하여 라이팅 효과를 설정한다. 이러한 방식으로, 간단한 조작을 통해 화상에 라이팅 효과를 부여할 수 있다.As described above, the
상술한 예시적인 실시형태에서는, 미리 생성되어 기억 장치(111)에 저장되는 메인-카메라 화상 데이터가 나타내는 메인-카메라 화상에 대하여 라이팅 효과를 부여한다. 제4 예시적인 실시형태에서는, 촬상 유닛(106)을 사용하는 촬상 처리를 통해 취득되는 화상 데이터가 나타내는 화상에 대하여 라이팅 효과를 부여한다. 또한, 본 예시적인 실시형태에 따른 정보 처리 장치(1)의 하드웨어 구성 및 논리 구성은 제1 예시적인 실시형태에서 설명되는 것과 마찬가지이기 때문에, 그에 대한 설명은 생략한다. 이하의 설명에서, 제1 예시적인 실시형태의 것과는 상이한 부분을 주로 설명한다. 또한, 제1 예시적인 실시형태의 것과 마찬가지의 구성 요소에는 동일한 참조 부호를 부여한다.In the above-described exemplary embodiment, a writing effect is applied to the main-camera image represented by main-camera image data generated in advance and stored in the
<정보 처리 장치(1)에 의해 실행되는 처리><Processing executed by the
도 19는, 본 예시적인 실시형태에 따른 정보 처리 장치(1)가 실행하는 처리를 도시하는 흐름도이다. 단계 S1901에서, 화상 데이터 취득 유닛(301)은, 입력/출력 유닛(309)에 의해 취득된 유저 조작에 기초하여, 화상 데이터를 취득하기 위한 촬상 방법을 설정한다. 더 구체적으로, 화상 데이터 취득 유닛(301)은, 정보 처리 장치(1)의 디스플레이면에 배치되는 인-카메라(201) 또는 정보 처리 장치(1)의 배면에 배치되는 메인-카메라(202)를 사용해서 피사체를 촬상할지를 선택한다.19 is a flowchart showing processing executed by the
단계 S1902에서, 화상 데이터 취득 유닛(301)은, 선택된 카메라를 제어해서 피사체를 촬상하고, 촬상을 통해 촬상 화상 데이터를 취득한다. 또한, 화상 데이터 취득 유닛(301)은, 촬상 화상 데이터에 대응하는 거리 화상 데이터 및 법선 화상 데이터를 취득한다. 단계 S1903에서, 라이팅 설정 정보 취득 유닛(302)은, 새롭게 촬상되고 인-카메라(201)에 의해 취득되는 인-카메라 화상 데이터에 기초하여, 인-카메라 화상에서의 손 영역의 위치 정보를 취득한다. 단계 S1904에서, 라이팅 효과 설정 유닛(303)은, 라이팅 설정 정보 취득 유닛(302)으로부터 취득된 라이팅 설정 정보에 기초하여, 라이팅 효과를 설정한다.In step S1902, the image
단계 S1905에서, 라이팅 처리 유닛(304)은, 설정된 라이팅 효과에 기초하여, 촬상 화상 데이터가 나타내는 촬상 화상을 보정한다. 이하, 상기 처리를 통해 보정된 촬상 화상을 보정 촬상 화상이라 칭하고, 보정 촬상 화상을 나타내는 화상 데이터를 보정 촬상 화상 데이터라 칭한다. 단계 S1906에서, 화상 표시 제어 유닛(305)은 보정 촬상 화상을 입력/출력 유닛(309)에 표시한다. 단계 S1907에서, 라이팅 효과 표시 제어 유닛(306)은, 촬상 화상에 부여된 라이팅 효과에 대응하는 아이콘을 입력/출력 유닛(309)에 표시한다.In step S1905, the
단계 S1908에서, 라이팅 처리 유닛(304)은, 입력/출력 유닛(309)에 의해 취득된 유저 조작에 기초하여, 보정 촬상 화상 데이터를 기억 유닛(307)에 저장할지의 여부를 판정한다. 보정 촬상 화상 데이터를 저장하는 조작이 검출된 경우에는(단계 S1908에서 예), 처리는 단계 S1911로 진행한다. 보정 촬상 화상 데이터를 저장하는 조작이 검출되지 않은 경우에는(단계 S1908에서 아니오), 처리는 단계 S1909로 진행한다. 단계 S1909에서, 라이팅 처리 유닛(304)은, 입력/출력 유닛(309)에 의해 취득된 유저 조작에 기초하여, 라이팅 효과를 부여하는 촬상 화상을 변경할 것인지의 여부를 판정한다. 촬상 화상을 변경하는 조작이 검출된 경우에는(단계 S1909에서 예), 처리는 단계 S1910로 진행한다. 촬상 화상을 변경하는 조작이 검출되지 않은 경우에는(단계 S1909에서 아니오), 처리는 단계 S1903로 진행한다. 단계 S1910에서, 라이팅 처리 유닛(304)은, 입력/출력 유닛(309)에 의해 취득된 유저 조작에 기초하여, 촬상 화상을 취득하기 위한 촬상 방법을 변경할 것인지의 여부를 판정한다. 촬상 방법을 변경하는 조작이 검출된 경우에는(단계 S1910에서 예), 처리는 S1901로 진행한다. 촬상 방법을 변경하는 조작이 검출되지 않은 경우에는(단계 S1910에서 아니오), 처리는 단계 S1902로 진행한다. 단계 S1911에서, 라이팅 처리 유닛(304)은, 기억 유닛(307)에 보정 촬상 화상 데이터를 저장하고, 처리를 종료한다.In step S1908, the
본 예시적인 실시형태에서의 표시 화상의 예를 도 20a 및 도 20b에 도시한다. 도 20a는 촬상 방법으로서 메인-카메라(202)를 사용한 촬상이 선택되는 경우의 표시 화상의 예를 도시하는 도면이다. 도 20b는 촬상 방법으로서 인-카메라(201)를 사용한 촬상이 선택되는 경우의 표시 화상의 예를 도시하는 도면이다. 본 예시적인 실시형태에서는, 유저는 표시 화상의 좌측 상위 부분에 표시된 아이콘을 터치함으로써 촬상 방법을 전환한다.Examples of display images in this exemplary embodiment are shown in Figs. 20A and 20B. Fig. 20A is a diagram showing an example of a display image when imaging using the
<제4 예시적인 실시형태의 효과><Effects of the fourth exemplary embodiment>
위에서 설명한 바와 같이, 본 예시적인 실시형태에 따른 정보 처리 장치(1)는, 유저 조작에 의해 설정된 촬상 방법을 통해 라이팅 효과를 부여하는 대상 화상을 나타내는 화상 데이터를 취득한다. 이러한 방식으로, 간단한 조작을 통해 화상에 라이팅 효과를 부여할 수 있다.As described above, the
<변형예><Modification>
상술한 예시적인 실시형태에서, 정보 처리 장치(1)는 도 1a에 도시된 바와 같은 하드웨어 구성을 포함한다. 그러나, 정보 처리 장치(1)의 하드웨어 구성은 이것으로 한정되지 않는다. 예를 들어, 정보 처리 장치(1)는 도 1b에 도시되는 하드웨어 구성을 포함할 수 있다. 정보 처리 장치(1)는, CPU(101), ROM(102), RAM(103), 비디오 카드(VC)(121), 범용 I/F(114), 및 SATA(serial advanced technology attachment) I/F(119)를 포함한다. CPU(101)는, RAM(103)을 워크 메모리로서 사용하여, ROM(102) 및 기억 장치(111)에 저장된 OS 및 각종 프로그램을 실행한다. 또한, CPU(101)는 시스템 버스(109)를 통해서 각 구성 요소를 제어한다. 범용 I/F(114)에는, 시리얼 버스(115)를 통해서 마우스 및 키보드 등의 입력 디바이스(116), 촬상 장치(117), 및 배향 취득 장치(118)가 접속된다. SATA I/F(119)에는 시리얼 버스(120)를 통해서 기억 장치(111)가 접속된다. VC(121)에는 시리얼 버스(112)를 통해서 디스플레이(113)가 접속된다. CPU(101)는, 프로그램에 의해 제공되는 유저 인터페이스(UI)를 디스플레이(113)에 표시하고, 입력 디바이스(116)를 통해서 취득된 유저 지시를 나타내는 입력 정보를 수신한다. 예를 들어, 도 1b에 도시되는 정보 처리 장치(1)는 데스크탑 PC에 의해 실현될 수 있다. 또한, 정보 처리 장치(1)는, 촬상 장치(117)와 일체화된 디지털 카메라 또는 디스플레이(113)와 일체화된 PC에 의해 실현될 수 있다.In the above-described exemplary embodiment, the
또한, 상술한 예시적인 실시형태에서는, 라이팅 효과를 화상에 부여할 때에, 피사체의 형상에 관한 정보(즉, 거리 화상 데이터 및 법선 화상 데이터)를 이용한다. 그러나, 다른 데이터를 이용해서 라이팅 효과를 화상에 부여해도 된다. 예를 들어, 도 21a에 도시된 바와 같은 라이팅 효과에 대응하는 복수의 음영 모델 맵을 이용할 수 있다. 음영 모델 맵은, 라이팅 효과에 의해 더 밝아지는 영역에 대해 더 큰 화소값을 갖는 화상 데이터이다. 음영 모델 맵을 사용해서 라이팅 효과를 화상에 부여하는 경우, 정보 처리 장치(1)는 먼저 유저에 의해 지정된 라이팅 효과에 대응하는 음영 모델 맵을 선택한다. 라이팅 효과가 부여되는 대상 화상에서의 피사체에 음영 모델을 피팅함으로써, 정보 처리 장치(1)는 도 21b에 도시되는 바와 같은 음영 화상을 나타내는 음영 화상 데이터를 생성한다. 피팅 처리의 예로서는, 피사체의 얼굴 등의 특징점에 기초하여 음영 모델의 위치를 피사체의 위치로 조정하고, 피사체의 윤곽에 따라 음영 모델 맵을 변형시키는 방법이 제공된다. 식 (9)에 따라, 라이팅 효과를 부여하는 대상 화상에 음영 화상에 따른 음영을 첨가한다. 라이팅 효과를 부여하는 대상 화상의 화소값을 "I"로서 표현하고, 음영 화상의 화소값을 "W"로서 표현하며, 보정된 화상의 화소값을 "I''"로서 표현한다.In addition, in the exemplary embodiment described above, information on the shape of the subject (ie, distance image data and normal image data) is used when a writing effect is applied to an image. However, other data may be used to impart a writing effect to the image. For example, a plurality of shading model maps corresponding to the lighting effect as shown in FIG. 21A may be used. The shading model map is image data having a larger pixel value for an area brighter by the lighting effect. When a lighting effect is applied to an image using a shadow model map, the
I'' = I + αWI ... (9)I'' = I + αWI ... (9)
여기서, "α"은 광원의 밝기를 조정하기 위한 파라미터이며, 파라미터(α)는 라이팅 효과에 따라서 설정될 수 있다.Here, "α" is a parameter for adjusting the brightness of the light source, and the parameter α may be set according to the lighting effect.
또한, 상술한 예시적인 실시형태에서는, 정보 처리 장치(1)는 촬상 유닛(106)으로서 메인-카메라(202) 및 인-카메라(201)의 2개의 카메라를 포함한다. 그러나, 촬상 유닛(106)은 상술한 예로 한정되지 않는다. 예를 들어, 정보 처리 장치(1)는 메인-카메라(202)만을 포함할 수 있다.In addition, in the above-described exemplary embodiment, the
또한, 상술한 예시적인 실시형태에서는, 라이팅 효과를 부여하는 대상 화상의 예로서 컬러 화상을 사용한다. 그러나, 대상 화상은 그레이-스케일 화상일 수 있다.In addition, in the above-described exemplary embodiment, a color image is used as an example of a target image to which a writing effect is provided. However, the target image may be a gray-scale image.
또한, 상술한 예시적인 실시형태에서, HDD는 기억 장치(111)의 일례로서 사용된다. 그러나, 기억 장치(111)는 상술한 예로 한정되지 않는다. 예를 들어, 기억 장치(111)는 솔리드 스테이트 드라이브(SSD)일 수 있다. 또한, 기억 장치(111)는 매체(기억 매체) 및 당해 매체에 액세스하기 위한 외부 기억 드라이브에 의해서도 실현될 수 있다. 매체로서는, 플렉시블 디스크(FD), 콤팩트 디스크 리드 온리 메모리(CD-ROM), 디지털 다기능 디스크(DVD), 유니버셜 시리얼 버스(USB) 메모리, 자기-광학 디스크(MO), 및 플래시 메모리가 사용될 수 있다.Further, in the above-described exemplary embodiment, the HDD is used as an example of the
본 개시내용의 양태에 따르면, 간단한 조작을 통해 화상에 라이팅 효과를 부여할 수 있다.According to an aspect of the present disclosure, it is possible to impart a lighting effect to an image through a simple operation.
다른 실시형태Other embodiments
본 개시내용의 실시형태(들)는, 전술한 실시형태(들) 중 하나 이상의 기능을 실행하기 위해 저장 매체(보다 완전하게는 '비일시적 컴퓨터 판독가능 저장 매체'라 칭할수도 있음)에 기록된 컴퓨터 실행가능 명령어(예를 들어, 하나 이상의 프로그램)를 판독 및 실행하고 그리고/또는 전술한 실시형태(들) 중 하나 이상의 기능을 실행하는 하나 이상의 회로(예를 들어, 주문형 집적 회로(ASIC))를 포함하는 시스템 또는 장치의 컴퓨터에 의해, 그리고 예를 들어 전술한 실시형태(들) 중 하나 이상의 기능을 실행하기 위해 저장 매체로부터 컴퓨터 실행가능 명령어를 판독 및 실행함으로써 그리고/또는 전술한 실시형태(들) 중 하나 이상의 기능을 실행하기 위해 하나 이상의 회로를 제어함으로써 상기 시스템 또는 장치의 컴퓨터에 의해 실행되는 방법에 의해 실현될 수도 있다. 컴퓨터는 하나 이상의 프로세서(예를 들어, 중앙 처리 유닛(CPU), 마이크로 처리 유닛(MPU))를 포함할 수 있고 컴퓨터 실행가능 명령어를 판독 및 실행하기 위한 별도의 컴퓨터 또는 별도의 프로세서의 네트워크를 포함할 수 있다. 컴퓨터 실행가능 명령어는 예를 들어 네트워크 또는 저장 매체로부터 컴퓨터에 제공될 수 있다. 저장 매체는, 예를 들어 하드 디스크, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(예를 들어, 콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM), 플래시 메모리 디바이스, 메모리 카드 등 중 하나 이상을 포함할 수 있다.The embodiment(s) of the present disclosure are recorded in a storage medium (more fully may be referred to as a'non-transitory computer-readable storage medium') to perform one or more functions of the above-described embodiment(s). One or more circuits (e.g., application specific integrated circuits (ASICs)) that read and execute computer-executable instructions (e.g., one or more programs) and/or execute one or more functions of the embodiment(s) described above. By reading and executing computer-executable instructions from a storage medium, by a computer of a system or apparatus comprising, and/or from a storage medium, for example, to execute one or more functions of the above-described embodiment(s), and/or S) by controlling one or more circuits to execute one or more functions of the system or apparatus. A computer may include one or more processors (e.g., a central processing unit (CPU), a micro processing unit (MPU)) and include a separate computer or a network of separate processors for reading and executing computer-executable instructions. can do. Computer-executable instructions may be provided to a computer from, for example, a network or a storage medium. The storage medium is, for example, a hard disk, random access memory (RAM), read only memory (ROM), storage of a distributed computing system, optical disk (e.g., compact disk (CD), digital multifunction disk (DVD)) or Blu-ray disk (BD) TM ), a flash memory device, may include one or more of a memory card.
(기타의 실시예)(Other examples)
본 발명은, 상기의 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실현가능하다.In the present invention, a program that realizes one or more functions of the above embodiment is supplied to a system or device via a network or a storage medium, and one or more processors read and execute the program in the computer of the system or device. It is also possible to realize the processing.
또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.Also, it can be implemented by a circuit (eg, ASIC) that realizes one or more functions.
본 개시내용을 예시적인 실시형태를 참고하여 설명하였지만, 본 개시내용은 개시된 예시적인 실시형태로 한정되지 않음을 이해해야 한다. 이하의 청구항의 범위는 이러한 모든 변형과 동등한 구조 및 기능을 포함하도록 최광의로 해석되어야 한다.While the present disclosure has been described with reference to exemplary embodiments, it is to be understood that the present disclosure is not limited to the disclosed exemplary embodiments. The scope of the following claims is to be accorded the widest interpretation so as to cover all such modifications and equivalent structures and functions.
Claims (20)
화상을 나타내는 화상 데이터를 취득하도록 구성되는 제1 취득 유닛;
상기 화상에 부여되는 라이팅 효과를 조정하기 위한 제1 물체의 위치 정보를 취득하도록 구성되는 제2 취득 유닛; 및
상기 위치 정보에 기초하여 상기 화상에 부여되는 라이팅 효과를 설정하도록 구성되는 설정 유닛을 포함하는 정보 처리 장치.Is an information processing device,
A first acquisition unit configured to acquire image data representing an image;
A second acquisition unit, configured to acquire positional information of a first object for adjusting a lighting effect imparted to the image; And
And a setting unit configured to set a lighting effect applied to the image based on the positional information.
상기 위치 정보는 촬상 유닛의 촬상 범위 내에서의 상기 제1 물체의 위치를 나타내는 정보인 정보 처리 장치.The method of claim 1,
The positional information is information indicating a position of the first object within an imaging range of an imaging unit.
상기 위치 정보는 실공간에서의 상기 제1 물체의 위치를 나타내는 정보인 정보 처리 장치.The method of claim 1,
The location information is information indicating the location of the first object in real space.
상기 위치 정보는, 촬상 유닛이 상기 제1 물체를 촬상해서 취득하는 화상에서의 상기 제1 물체의 위치를 나타내는 정보인 정보 처리 장치.The method of claim 1,
The positional information is information indicating a position of the first object in an image acquired by an imaging unit by imaging the first object.
상기 제1 물체는 실공간에서의 물체인 정보 처리 장치.The method of claim 1,
The first object is an object in real space.
상기 제1 물체는 유저의 손인 정보 처리 장치.The method of claim 1,
The first object is the user's hand.
상기 제1 물체는 유저의 얼굴인 정보 처리 장치.The method of claim 1,
The first object is the user's face.
상기 제1 물체는 유저가 파지하는 물체인 정보 처리 장치.The method of claim 1,
The first object is an object gripped by a user.
상기 라이팅 효과가 부여되는 상기 화상과, 상기 라이팅 효과를 나타내는 아이콘을 동일한 표시 유닛에 표시하도록 구성되는 표시 제어 유닛을 더 포함하는 정보 처리 장치.The method of claim 1,
The information processing apparatus further comprises a display control unit configured to display the image to which the lighting effect is applied and an icon representing the lighting effect on a same display unit.
상기 설정된 라이팅 효과를 상기 화상에 부여하도록 구성되는 부여 유닛을 더 포함하는 정보 처리 장치.The method of claim 1,
The information processing apparatus further comprises an imparting unit configured to impart the set writing effect to the image.
상기 설정 유닛은, 상기 위치 정보에 기초하여, 복수의 미리결정된 설정으로부터 1개의 설정을 선택하는 정보 처리 장치.The method of claim 1,
The setting unit selects one setting from a plurality of predetermined settings based on the position information.
상기 설정 유닛은, 상기 위치 정보에 기초하여, 상기 제1 취득 유닛에 의해 취득되는 상기 화상 데이터가 나타내는 상기 화상에서, 제2 물체에 가상적으로 광을 조사하는 광원의 위치를 설정하는 정보 처리 장치.The method of claim 1,
The setting unit sets a position of a light source for virtually irradiating light to a second object in the image indicated by the image data acquired by the first acquisition unit, based on the position information.
상기 부여 유닛은, 제2 물체의 형상에 관한 정보에 기초하여, 상기 라이팅 효과를 부여하기 위한 파라미터를 변경하는 정보 처리 장치.The method of claim 10,
The information processing device that the imparting unit changes a parameter for imparting the writing effect based on information on the shape of the second object.
상기 부여 유닛은, 상기 위치 정보에 기초하여, 복수의 미리결정된 음영 모델로부터 1개의 음영 모델을 선택하고, 선택된 상기 음영 모델을 사용하여, 상기 제1 취득 유닛에 의해 취득되는 상기 화상 데이터가 나타내는 상기 화상에 라이팅 효과를 부여하는 정보 처리 장치.The method of claim 10,
The giving unit, based on the positional information, selects one shade model from a plurality of predetermined shade models, and uses the selected shade model to indicate the image data acquired by the first acquisition unit. An information processing device that imparts a lighting effect to an image.
상기 제2 취득 유닛은, 촬상 유닛이 상기 제1 물체를 촬상해서 취득하는 상기 화상에서의 상기 제1 물체의 크기를 나타내는 크기 정보를 더 취득하며,
상기 설정 유닛은, 상기 크기 정보에 기초하여, 상기 제1 취득 유닛에 의해 취득되는 상기 화상 데이터가 나타내는 상기 화상에서, 제2 물체에 가상적으로 광을 조사하는 광원의 밝기를 설정하는 정보 처리 장치.The method of claim 1,
The second acquisition unit further acquires size information indicating the size of the first object in the image acquired by the imaging unit by imaging the first object,
The setting unit sets the brightness of a light source for virtually irradiating light to a second object in the image indicated by the image data acquired by the first acquisition unit based on the size information.
제1 물체를 촬상하도록 구성되는 제1 촬상 유닛;
상기 제1 촬상 유닛과는 상이하며, 제2 물체를 촬상하도록 구성되는 제2 촬상 유닛; 및
상기 제2 물체를 촬상하는 상기 제2 촬상 유닛에 의해 취득되는 화상을 표시하도록 구성되는 표시 유닛을 포함하며,
상기 제1 촬상 유닛의 촬상 범위에서의 상기 제1 물체의 이동에 기초하여 상기 표시 유닛에 표시되는 상기 화상에 라이팅 효과가 부여되는 정보 처리 장치.Is an information processing device,
A first imaging unit configured to image a first object;
A second imaging unit different from the first imaging unit and configured to capture a second object; And
And a display unit configured to display an image acquired by the second imaging unit for imaging the second object,
An information processing apparatus in which a writing effect is applied to the image displayed on the display unit based on the movement of the first object in the imaging range of the first imaging unit.
화상을 나타내는 화상 데이터를 취득하는 단계;
상기 화상에 부여되는 라이팅 효과를 조정하기 위한 물체의 위치 정보를 취득하는 단계; 및
상기 위치 정보에 기초하여 상기 화상에 부여되는 라이팅 효과를 설정하는 단계를 포함하는 정보 처리 방법.Information processing method,
Acquiring image data representing an image;
Acquiring positional information of an object for adjusting a lighting effect applied to the image; And
And setting a lighting effect applied to the image based on the positional information.
제1 물체를 촬상하는 단계;
제2 물체를 촬상하는 단계; 및
상기 제2 물체를 촬상함으로써 취득되는 화상을 디스플레이에 표시하는 단계를 포함하며,
촬상 범위에서의 상기 제1 물체의 이동에 기초하여 상기 디스플레이에 표시되는 상기 화상에 라이팅 효과가 부여되는 정보 처리 방법.Information processing method,
Imaging a first object;
Imaging a second object; And
Displaying an image acquired by photographing the second object on a display,
An information processing method in which a writing effect is applied to the image displayed on the display based on the movement of the first object in an imaging range.
화상을 나타내는 화상 데이터를 취득하는 단계;
상기 화상에 부여되는 라이팅 효과를 조정하기 위한 물체의 위치 정보를 취득하는 단계; 및
상기 위치 정보에 기초하여 상기 화상에 부여되는 라이팅 효과를 설정하는 단계를 포함하는 비일시적 컴퓨터 판독가능 기억 매체.A non-transitory computer-readable storage medium storing instructions that, when executed by a computer, cause the computer to execute a method, the method comprising:
Acquiring image data representing an image;
Acquiring positional information of an object for adjusting a lighting effect applied to the image; And
A non-transitory computer-readable storage medium comprising the step of setting a writing effect to be applied to the image based on the positional information.
제1 물체를 촬상하는 단계;
제2 물체를 촬상하는 단계; 및
상기 제2 물체를 촬상함으로써 취득되는 화상을 디스플레이에 표시하는 단계를 포함하며,
촬상 범위에서의 상기 제1 물체의 이동에 기초하여 상기 디스플레이에 표시되는 상기 화상에 라이팅 효과가 부여되는 비일시적 컴퓨터 판독가능 저장 매체.A non-transitory computer-readable storage medium storing instructions that, when executed by a computer, cause the computer to execute a method, the method comprising:
Imaging a first object;
Imaging a second object; And
Displaying an image acquired by photographing the second object on a display,
A non-transitory computer-readable storage medium in which a writing effect is applied to the image displayed on the display based on the movement of the first object in an imaging range.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2019-016306 | 2019-01-31 | ||
JP2019016306A JP2020123281A (en) | 2019-01-31 | 2019-01-31 | Information processing device, information processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200095391A true KR20200095391A (en) | 2020-08-10 |
Family
ID=71837786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200007793A KR20200095391A (en) | 2019-01-31 | 2020-01-21 | Information processing apparatus to set lighting effect applied to image, information processing method, and storage medium |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200250883A1 (en) |
JP (1) | JP2020123281A (en) |
KR (1) | KR20200095391A (en) |
CN (1) | CN111510586A (en) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120326966A1 (en) * | 2011-06-21 | 2012-12-27 | Qualcomm Incorporated | Gesture-controlled technique to expand interaction radius in computer vision applications |
JP6479654B2 (en) * | 2012-06-11 | 2019-03-06 | フィリップス ライティング ホールディング ビー ヴィ | Method and apparatus for configuring a luminaire in a virtual environment |
US9615009B1 (en) * | 2015-02-26 | 2017-04-04 | Brian K. Buchheit | Dynamically adjusting a light source within a real world scene via a light map visualization manipulation |
KR102507567B1 (en) * | 2015-06-09 | 2023-03-09 | 삼성전자주식회사 | Electronic apparatus for processing image and mehotd for controlling thereof |
US20160366323A1 (en) * | 2015-06-15 | 2016-12-15 | Mediatek Inc. | Methods and systems for providing virtual lighting |
CN105915809B (en) * | 2016-03-30 | 2019-01-01 | 东斓视觉科技发展(北京)有限公司 | Method for imaging and device |
US9967390B2 (en) * | 2016-08-30 | 2018-05-08 | Google Llc | Device-orientation controlled settings |
CN107390880A (en) * | 2017-09-15 | 2017-11-24 | 西安建筑科技大学 | One kind is based on the contactless multi-angle input equipment of shadow and input method |
-
2019
- 2019-01-31 JP JP2019016306A patent/JP2020123281A/en active Pending
-
2020
- 2020-01-06 CN CN202010008556.0A patent/CN111510586A/en active Pending
- 2020-01-21 KR KR1020200007793A patent/KR20200095391A/en not_active Application Discontinuation
- 2020-01-24 US US16/751,965 patent/US20200250883A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
CN111510586A (en) | 2020-08-07 |
JP2020123281A (en) | 2020-08-13 |
US20200250883A1 (en) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6646936B2 (en) | Image processing apparatus, control method thereof, and program | |
JP6864449B2 (en) | Methods and devices for adjusting the brightness of the image | |
JP6685827B2 (en) | Image processing apparatus, image processing method and program | |
JP6201379B2 (en) | Position calculation system, position calculation program, and position calculation method | |
EP3213504B1 (en) | Image data segmentation | |
JP2014178968A (en) | Information process device and control method of the same | |
JP2014142737A (en) | Input program, input device, and input method | |
US11210767B2 (en) | Information processing apparatus to determine candidate for lighting effect, information processing method, and storage medium | |
JP6399840B2 (en) | Image processing apparatus, image processing method, and program | |
TW201630415A (en) | Image projection | |
US10073614B2 (en) | Information processing device, image projection apparatus, and information processing method | |
JP6229554B2 (en) | Detection apparatus and detection method | |
JP2018109899A (en) | Information processing apparatus, operation detecting method, and computer program | |
WO2015118756A1 (en) | Information processing device, information processing method, and program | |
CN115702443A (en) | Applying stored digital makeup enhancements to recognized faces in digital images | |
JP6632298B2 (en) | Information processing apparatus, information processing method and program | |
KR20200095391A (en) | Information processing apparatus to set lighting effect applied to image, information processing method, and storage medium | |
CN110941327A (en) | Virtual object display method and device | |
JP6452658B2 (en) | Information processing apparatus, control method thereof, and program | |
EP3962062A1 (en) | Photographing method and apparatus, electronic device, and storage medium | |
CN111147733B (en) | Information processing apparatus, information processing method, and storage medium | |
US20200167005A1 (en) | Recognition device and recognition method | |
JP2016139396A (en) | User interface device, method and program | |
JP7422454B2 (en) | Information processing device, information processing method and program | |
CN111103967A (en) | Control method and device of virtual object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
WITB | Written withdrawal of application |