KR102316143B1 - 정보처리장치, 프로그램 - Google Patents

정보처리장치, 프로그램 Download PDF

Info

Publication number
KR102316143B1
KR102316143B1 KR1020197027976A KR20197027976A KR102316143B1 KR 102316143 B1 KR102316143 B1 KR 102316143B1 KR 1020197027976 A KR1020197027976 A KR 1020197027976A KR 20197027976 A KR20197027976 A KR 20197027976A KR 102316143 B1 KR102316143 B1 KR 102316143B1
Authority
KR
South Korea
Prior art keywords
moving image
video data
user
correcting
luminance
Prior art date
Application number
KR1020197027976A
Other languages
English (en)
Other versions
KR20190122740A (ko
Inventor
마사키 하나하라
히로노부 요시카와
노도카 타카하시
마사토 코스케가와
Original Assignee
가부시키가이샤 시세이도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 시세이도 filed Critical 가부시키가이샤 시세이도
Publication of KR20190122740A publication Critical patent/KR20190122740A/ko
Application granted granted Critical
Publication of KR102316143B1 publication Critical patent/KR102316143B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

비디오 통화에 있어서의 동화상의 이용을 촉진한다. 정보처리장치는 카메라에 의해 취득된 제 1 비디오데이터의 휘도를 보정하는 수단을 구비하고, 휘도가 보정된 제 1 비디오데이터에 있어서, 유저의 얼굴의 적어도 일부를 포함하는 제 1 동화상과 얼굴을 포함하지 않는 제 2 동화상을 인식하는 수단을 구비하고, 인식된 제 2 동화상을 보정하는 수단을 구비하고, 휘도가 보정된 제 1 비디오데이터에 포함되는 제 1 동화상과, 보정된 제 2 동화상을 포함하는 제 2 비디오데이터를 생성하는 수단을 구비하고, 비디오 통화 애플리케이션에 제 2 비디오데이터를 제공하는 수단을 구비한다.

Description

정보처리장치, 프로그램
본 발명은 정보처리장치 및 프로그램에 관한 것이다.
최근, 비디오 통화의 이용 빈도가 증가하고 있다. 비디오 통화의 유저는 자신의 동화상을 상대편 유저에 제공함으로써, 커뮤니케이션의 질을 향상시킬 수 있다.
종래, 비디오 통화에서 사용하는 동화상을 가공하는 기술이 알려져 있다. 예를 들면 특허문헌 1은 유저의 동화상을 상대편 유저가 소망하는 포맷으로 제공하는 기술을 개시하고 있다.
일본 특허공개 2014-075779호 공보
유저는 자신의 동화상(예를 들면 얼굴의 화상 및 배경의 화상)의 제공에 저항을 느끼는 경우가 있다. 예를 들면 여성 유저는 자신의 동화상을 제공하지 않고, 음성만으로 비디오 통화에 참가하는 경향이 있다.
그러나, 특허문헌 1에서는, 상대편 유저에 제공되는 동화상은 상대편 유저가 임의로 결정한다. 즉, 유저는 상대편 유저에게 제공되는 동화상을 자신이 결정할 수는 없다. 따라서, 동화상의 제공에 대한 유저의 저항감을 없앨 수는 없다.
본 발명의 목적은 비디오 통화에 있어서의 동화상의 이용을 촉진하는 것이다.
본 발명의 일 형태는,
카메라에 의해 취득된 제 1 비디오데이터의 휘도를 보정하는 수단을 구비하고,
상기 휘도가 보정된 제 1 비디오데이터에 있어서, 유저의 얼굴의 적어도 일부를 포함하는 제 1 동화상과 상기 얼굴을 포함하지 않는 제 2 동화상을 인식하는 수단을 구비하고,
상기 인식된 제 2 동화상을 보정하는 수단을 구비하고,
상기 휘도가 보정된 제 1 비디오데이터에 포함되는 제 1 동화상과 상기 보정된 제 2 동화상을 포함하는 제 2 비디오데이터를 생성하는 수단을 구비하고,
비디오 통화 애플리케이션에 상기 제 2 비디오데이터를 제공하는 수단을 구비하는 정보처리장치이다.
본 발명에 의하면, 비디오 통화에 있어서의 동화상의 이용을 촉진할 수 있다.
도 1은 본 실시형태의 정보처리시스템의 구성을 나타내는 블럭도이다.
도 2는 도 1의 클라이언트 단말에 인스톨된 애플리케이션의 기능을 나타내는 도면이다.
도 3은 본 실시형태의 메이크업 패턴 데이터베이스의 데이터 구조를 나타내는 도면이다.
도 4는 본 실시형태의 정보처리의 플로우챠트이다.
도 5는 도 4의 제 2 비디오데이터의 생성의 상세한 플로우챠트이다.
도 6은 본 실시형태의 정보처리에 있어서 표시되는 화면예를 나타내는 도면이다.
도 7은 본 실시형태의 정보처리에 있어서 표시되는 화면예를 나타내는 도면이다.
도 8은 본 실시형태의 정보처리에 있어서 표시되는 화면예를 나타내는 도면이다.
도 9는 본 실시형태의 정보처리에 있어서 표시되는 화면예를 나타내는 도면이다.
도 10은 본 실시형태의 정보처리에 있어서 표시되는 화면예를 나타내는 도면이다.
도 11은 본 실시형태의 정보처리에 있어서 표시되는 화면예를 나타내는 도면이다.
도 12는 본 실시형태의 정보처리에 있어서 표시되는 화면예를 나타내는 도면이다.
도 13은 변형예 3의 메이크업 패턴 데이터베이스의 데이터 구조를 나타내는 도면이다.
도 14는 변형예 3의 정보처리에 있어서 표시되는 화면예를 나타내는 도면이다.
이하, 본 발명의 일 실시형태에 대해서, 도면에 의거하여 상세하게 설명한다. 또한, 실시형태를 설명하기 위한 도면에 있어서, 동일한 구성요소에는 원칙으로 동일한 부호를 붙이고, 그 반복 설명은 생략한다.
(1) 정보처리시스템의 구성
정보처리시스템의 구성에 대해서 설명한다. 도 1은 본 실시형태의 정보처리시스템의 구성을 나타내는 블럭도이다.
도 1에 나타나 있는 바와 같이, 정보처리시스템(1)은 클라이언트 단말(10)과 서버(30)를 구비한다.
클라이언트 단말(10) 및 서버(30)는 네트워크(예를 들면 인터넷 또는 인트라네트)(NW)를 통해서 접속된다.
클라이언트 단말(10)은 서버(30)에 리퀘스트를 송신하는 정보처리장치의 일례이다. 클라이언트 단말(10)은, 예를 들면 스마트폰, 태블릿 단말, 또는 퍼스널컴퓨터이다.
서버(30)는 리퀘스트에 따른 리스펀스를 클라이언트 단말(10)에 송신하는 정보처리장치의 일례이다. 서버(30)는, 예를 들면 웹서버이다.
(1-1) 클라이언트 단말의 구성
도 1을 참조하여, 클라이언트 단말(10)의 구성에 대해서 설명한다.
도 1에 나타나 있는 바와 같이, 클라이언트 단말(10)은 기억장치(11)와, CPU(Central Processing Unit)(12)와, 입출력 인터페이스(13)와, 통신 인터페이스(14), 카메라(15)와, 마이크(16)를 구비한다.
기억장치(11)는 프로그램 및 데이터를 기억하도록 구성된다. 기억장치(11)는 예를 들면 ROM(Read Only Memory), RAM(Random Access Memory), 및 스토리지(예를 들면 플래시메모리 또는 하드디스크)의 조합이다.
프로그램은, 예를 들면 OS(Operating System)의 프로그램 또는 정보처리를 실행하는 애플리케이션의 프로그램이다. 도 2에 나타나 있는 바와 같이, 애플리케이션은 가상 카메라 애플리케이션(120)과 비디오 통화 애플리케이션(121)을 포함한다.
데이터는, 예를 들면 이하의 데이터를 포함한다.
·정보처리에 있어서 참조되는 데이터
·화상처리 라이브러리(예를 들면 화상의 특징량에 의거하여 화상 중의 특정 부위를 인식하기 위한 화상 인식 알고리즘, 화상의 휘도를 최적화하기 위한 휘도 보정 파라미터, 및 화상에 적용해야 할 화상처리 필터)
·정보처리를 실행함으로써 얻어지는 데이터(즉, 정보처리의 실행 결과)
도 1의 CPU(12)는 기억장치(11)에 기억된 프로그램을 실행함으로써, 클라이언트 단말(10)의 기능을 실현하도록 구성된다. CPU(12)는 컴퓨터의 일례이다.
입출력 인터페이스(13)는 클라이언트 단말(10)에 접속되는 입력 디바이스로부터 유저의 지시를 접수하고, 또한 클라이언트 단말(10)에 접속되는 출력 디바이스에 정보를 출력하도록 구성된다.
입력 디바이스는, 예를 들면 키보드, 포인팅 디바이스, 터치패널, 또는 그들의 조합이다.
출력 디바이스는, 예를 들면 디스플레이이다.
통신 인터페이스(14)는 클라이언트 단말(10)과 서버(30) 간의 통신을 제어하도록 구성된다.
카메라(15)는 비디오데이터를 취득하도록 구성된다. 카메라(15)는 클라이언트 단말(10)의 유저의 얼굴의 적어도 일부의 동화상 (이하, 「제 1 동화상」이라고 함)을 촬상함으로써, 제 1 동화상을 포함하는 비디오데이터(이하, 「제 1 비디오데이터」라고 함)를 취득한다.
마이크(16)는 음성 데이터를 취득하도록 구성된다.
(1-2) 애플리케이션의 기능
클라이언트 단말(10)의 애플리케이션의 기능에 대해서 설명한다. 도 2는 도 1의 클라이언트 단말에 인스톨된 애플리케이션의 기능을 나타내는 도면이다.
도 2에 나타나 있는 바와 같이, CPU(12)는 가상 카메라 애플리케이션(120)의 기능과, 비디오 통화 애플리케이션(121)의 기능을 실현하는 프로세서이다.
가상 카메라 애플리케이션(120)은 제 1 비디오데이터를 보정함으로써 제 2 비디오데이터를 생성하고, 또한 제 2 비디오데이터를 비디오 통화 애플리케이션(121)에 제공하도록 구성된다. 가상 카메라 애플리케이션(120)의 기능은 비디오 통화 애플리케이션(121)의 기능과는 독립적인 기능이어도 좋고, 비디오 통화 애플리케이션(121)의 기능의 일부이어도 좋다.
비디오 통화 애플리케이션(121)은 비디오데이터를 통신 인터페이스(14) 경유로 서버(30)에 송신하도록 구성된다. 비디오데이터는 제 2 비디오데이터와 음성 데이터를 포함한다.
서버(30)는 비디오 통화 시퀸스를 제어하도록 구성된다. 비디오 통화 시퀸스에서는 복수의 클라이언트 단말(10) 사이에서 비디오데이터가 공유된다.
(2) 데이터베이스
본 실시형태의 데이터베이스에 대해서 설명한다. 도 3은 본 실시형태의 메이크업 패턴 데이터베이스의 데이터 구조를 나타내는 도면이다.
도 3에 나타나 있는 바와 같이, 메이크업 패턴 데이터베이스는 「패턴 ID」필드와, 「패턴명」필드와, 「보정 파라미터」필드를 포함한다. 각 필드는 서로 관련지어져 있다.
「보정 파라미터」필드는 얼굴의 부위마다의 화상 및 배경의 화상을 보정하기 위한 보정 파라미터를 포함한다. 구체적으로는, 「보정 파라미터」필드는 「입술」필드와, 「눈꺼풀」필드와, 「눈」 필드와, 「속눈썹」필드와, 「볼」필드와, 「배경」필드를 포함한다. 각 필드에는 보정 파라미터 ID 「CP1」∼「CP6」이 관련지어진다. 보정 파라미터 ID는 보정 파라미터를 식별하는 정보이다.
메이크업 패턴 데이터베이스는 기억장치(11)에 기억된다.
「패턴 ID」필드에는 패턴 ID가 격납된다. 패턴 ID는 메이크업 패턴을 식별하는 정보이다. 메이크업 패턴은 유저의 얼굴의 각 부위의 화상을 보정하기 위한 보정 파라미터의 조합이다.
「패턴명」필드에는 메이크업 패턴의 명칭을 나타내는 정보(예를 들면 텍스트)가 격납된다.
「보정 파라미터」필드에는 보정 파라미터가 격납된다.
구체적으로는, 「입술」필드에는 입술의 화상(예를 들면 립스틱의 농도, 광택감, 광택의 레벨, 및 펄감 중 적어도 1개)을 보정하기 위한 보정 파라미터가 격납된다.
「눈꺼풀」필드에는 눈꺼풀의 화상(예를 들면 아이섀도우의 농도, 광택감, 광택의 레벨, 및 펄감 중 적어도 1개)을 보정하기 위한 보정 파라미터가 격납된다.
「눈」 필드에는 눈의 화상(예를 들면 눈의 형상)을 보정하기 위한 보정 파라미터가 격납된다.
「속눈썹」필드에는 속눈썹의 화상(예를 들면 마스카라의 농도)을 보정하기 위한 보정 파라미터가 격납된다.
「볼」필드에는 볼의 화상(예를 들면 치크의 농도)을 보정하기 위한 보정 파라미터가 격납된다.
각 필드의 수치가 높을수록, 제 1 동화상의 각 부위에 실시되는 메이크업의 레벨(예를 들면 농도)이 높아진다.
「배경」필드에는 제 2 동화상을 보정하기 위한 보정 파라미터가 격납된다. 제 2 동화상을 보정하기 위한 보정 파라미터는, 예를 들면 이하의 적어도 1개를 포함한다.
·제 2 동화상의 블러 레벨을 보정하기 위한 보정 파라미터(예를 들면 블러 레벨이 높을수록 제 2 동화상의 시인성이 저하한다(즉, 유저에게는 보이지 않게 된다))
·제 2 동화상의 색을 변경하기 위한 보정 파라미터(예를 들면 그레이 스케일 또는 투명화의 레벨을 나타내는 값)
·제 2 동화상에 모자이크 처리를 적용하기 위한 보정 파라미터(예를 들면 모자이크 처리의 레벨을 나타내는 값)
·제 2 동화상에 다른 화상을 합성하기 위한 보정 파라미터(예를 들면 합성해야 할 화상의 비율을 나타내는 값)
(3) 정보처리의 플로우
본 실시형태의 정보처리의 플로우에 대해서 설명한다. 도 4는 본 실시형태의 정보처리의 플로우챠트이다. 도 5는 도 4의 제 2 비디오데이터의 생성의 상세한 플로우챠트이다. 도 6∼도 12는 본 실시형태의 정보처리에 있어서 표시되는 화면예를 나타내는 도면이다.
도 4 및 도 5의 각 스텝은 도 2의 가상 카메라 애플리케이션(120)의 기능이다.
도 4에 나타나 있는 바와 같이, 클라이언트 단말(10)은 제 1 비디오데이터의 취득(S100)을 실행한다.
구체적으로는, 유저가 가상 카메라 애플리케이션(120)의 기동을 지시하면, CPU(12)는 가상 카메라 애플리케이션(120)의 프로그램을 실행하고, 화면(P100)(도 6)을 디스플레이에 표시한다.
도 6A에 나타나 있는 바와 같이, 화면(P100)은 영역(A100)과 버튼(B100)을 포함한다.
영역(A100)에는 페이스 라인(L100)(도 6A) 및 화상(IMG100)(도 6B)이 표시된다. 화상(IMG100)은 카메라(15)가 취득하는 비디오데이터에 대응하는 프리뷰 화상이다.
버튼(B100)은 제 1 비디오데이터의 취득의 지시를 접수하기 위한 오브젝트이다. 유저가 자신의 얼굴의 윤곽을 페이스 라인(L100)에 맞춘 후, 버튼(B100)을 지정하면, CPU(12)는 영역(A100)에 표시된 화상(IMG100)(도 6B)에 대응하는 제 1 비디오데이터를 카메라(15)로부터 취득한다.
도 4에 나타나 있는 바와 같이, 클라이언트 단말(10)은 제 1 동화상 및 제 2 동화상의 인식(S101)을 실행한다.
구체적으로는, CPU(12)는 기억장치(11)에 기억된 화상인식 알고리즘을 이용하여, 스텝 S100에서 취득한 제 1 비디오데이터의 특징량에 의거하여 제 1 동화상과 제 2 동화상을 인식한다. 제 2 동화상이란, 제 1 비디오데이터에 있어서 제 1 동화상 이외의 동화상이다. 즉, 제 2 동화상은 유저의 얼굴을 포함하지 않는 동화상(예를 들면 유저의 배경을 포함하는 동화상)이다.
다음에, CPU(12)는 제 1 비디오데이터의 특징량에 의거하여 제 1 동화상에 포함되는 얼굴의 부위(예를 들면 입술, 눈꺼풀, 눈, 볼, 코, 헤어스타일, 윤곽, 눈섭 및 속눈썹)을 인식한다.
스텝 S101의 후, 클라이언트 단말(10)은 제 2 비디오데이터의 생성(S102)을 실행한다.
도 5에 나타나 있는 바와 같이, 클라이언트 단말(10)은 밝기 보정(S1020)을 실행한다.
구체적으로는, CPU(12)는 스텝 S101에서 인식된 제 1 동화상 중, 얼굴의 일부(예를 들면 볼)에 대응하는 화상의 휘도를 특정한다.
다음에, CPU(12)는 특정한 휘도가 소정 범위 내에 포함되도록, 제 1 동화상 및 제 2 동화상(즉, 제 1 비디오데이터 전체의 화상)의 휘도를 보정한다.
다음에, CPU(12)는 화면(P101)(도 7)을 디스플레이에 표시한다.
도 7에 나타나 있는 바와 같이, 화면(P101)은 영역(A101)과 버튼(B101a 및B10lb)을 포함한다.
버튼(B101a)은 제 1 동화상의 휘도 변경의 지시를 접수하기 위한 오브젝트이다. 유저가 버튼(B101a)을 +측 또는 -측으로 이동시키면, CPU(12)는 제 1 동화상의 휘도를 버튼(B101a)의 위치에 따른 값으로 변경한다. 유저는 버튼(B101a)을 이동시킴으로써, 제 1 비디오데이터 전체의 화상 밝기를 조정할 수 있다.
버튼(B10lb)은 제 1 동화상의 휘도 확정 지시를 접수하기 위한 오브젝트이다. 유저가 버튼(B10lb)을 지정하면, 스텝 S1020이 종료된다.
영역(A101)에는 화상(IMG101)이 표시된다. 화상(IMG101)은 휘도가 보정된 후의 제 1 동화상의 프리뷰 화상이다.
유저가 버튼(B10lb)(도 7)을 지정하면, 도 5에 나타나 있는 바와 같이, 클라이언트 단말(10)은 메이크업 패턴 보정(S1021)을 실행한다.
구체적으로는, CPU(12)는 화면(P102)(도 8)을 디스플레이에 표시한다.
도 8에 나타나 있는 바와 같이, 화면(P102)은 영역(A102)과 버튼(B102a∼B102h)을 포함한다.
영역(A102)에는 화상(IMG102)이 표시된다.
버튼(B102a∼B102e)은 메이크업 패턴의 지시를 접수하기 위한 오브젝트이다. 버튼(B102a∼B102e)에는 각각 패턴 ID 「MP001」∼「MP005」(도 3)가 할당된다. 유저가 버튼(B102a∼B102e) 중 어느 하나를 지정하면, CPU(12)는 유저가 지정한 버튼에 할당된 패턴 ID에 의해 식별되는 메이크업 패턴(즉, 유저가 지정한 버튼에 대응하는 보정 파라미터의 조합)을 선택한다. 다음에, CPU(12)는 선택한 메이크업 패턴을 이용하여, 제 1 동화상의 각 부위의 화상을 보정함으로써, 제 2 비디오데이터를 생성한다. 이 경우의 화상(IMG102)은 메이크업 보정 후의 제 1 동화상의 프리뷰 화상이다.
버튼(B102f)은 보정 파라미터의 변경(S1023)의 지시를 접수하기 위한 오브젝트이다.
버튼(B102g)은 메이크업 패턴 보정의 해제 지시를 접수하기 위한 오브젝트이다. 유저가 버튼(B102g)을 지정하면, CPU(12)는 메이크업 패턴 보정을 해제한다. 이 경우의 화상(IMG102)은 제 1 동화상의 프리뷰 화상(IMG101)(도 7)과 동일하다.
버튼(B102h)은 비디오 통화 애플리케이션(121)의 기동 지시를 접수하기 위한 오브젝트이다. 유저가 버튼(B102h)을 지정하면, CPU(12)는 비디오 통화 애플리케이션(121)의 프로그램을 실행한다.
유저가 버튼(B102h)(도 8)을 지정하면(S1022-NO), 도 5의 처리는 종료된다.
유저가 버튼(B102a∼B102e)(도 8) 중 어느 하나를 지정하고, 또한 버튼(B102f)(도 8)을 지정하면(S1022-YES), 도 5에 나타나 있는 바와 같이, 클라이언트 단말(10)은 보정 파라미터의 변경(S1023)을 실행한다.
구체적으로는, CPU(12)는 화면(P103)(도 8)을 디스플레이에 표시한다.
도 8에 나타나 있는 바와 같이, 화면(P103)은 버튼(B103a∼B103c)을 포함한다.
버튼(B103a)은 메이크업 패턴의 커스터마이즈(S1023a) 지시를 접수하기 위한 오브젝트이다.
버튼(B103b)은 필터 보정(S1023b)의 지시를 접수하기 위한 오브젝트이다.
버튼(B103c)은 배경 보정(S1023c)의 지시를 접수하기 위한 오브젝트이다. 유저가 버튼(B103c)을 지정하면, CPU(12)는 화면(P106)(도 11)을 디스플레이에 표시한다.
유저가 버튼(B103a)(도 8)을 지정하면, CPU(12)는 메이크업 패턴의 커스터마이즈(S1023a)를 실행한다.
구체적으로는, CPU(12)는 화면(P104)(도 9)을 디스플레이에 표시한다.
도 9에 나타나 있는 바와 같이, 화면(P104)은 영역(A104)과 버튼(B104a∼B104g)을 포함한다.
영역(A104)에는 화상(IMG104)이 표시된다. 화상(IMG104)은 변경 후의 보정 파라미터에 대응하는 제 1 동화상의 프리뷰 화상이다.
버튼(B104a∼B104e)은 변경 대상의 보정 파라미터의 지시를 접수하기 위한 오브젝트이다. 버튼(B104a∼B104e)에는 각각 도 3의 보정 파라미터 ID 「CP1」∼「CP5」가 할당된다. 유저가 버튼(B104a∼B104e) 중 어느 하나를 지정하면, CPU(12)는 변경 대상의 보정 파라미터를 특정한다. 변경 대상의 보정 파라미터는 유저가 지정한 버튼에 할당된 보정 파라미터 ID에 따라서 식별되는 보정 파라미터이다.
버튼(B104f)은 변경 후의 보정 파라미터의 값의 지시를 접수하기 위한 오브젝트이다. 유저가 버튼(B104f)을 +측 또는 -측으로 이동시키면, CPU(12)는 변경 대상의 보정 파라미터를 버튼(B104f)의 위치에 따른 값으로 변경한다. 유저는 버튼(B104f)을 이동시킴으로써, 변경 대상의 보정 파라미터를 조정할 수 있다.
버튼(B104g)은 변경 후의 보정 파라미터의 보존 지시를 접수하기 위한 오브젝트이다. 유저가 버튼(B104g)을 지정하면, CPU(12)는 변경 후의 보정 파라미터를 기억장치(11)에 기억한다.
일례로서, 유저가 버튼(B102a 및 B103a)(도 8)을 지정하고, 또한 버튼(B104a, B104f 및 B104g)(도 9)을 지정하면, CPU(12)는 도 3의 패턴 ID 「MP005」에 관련지어진 각 필드에 패턴 ID 「MP001」에 관련지어진 각 필드의 값을 복사한다.
다음에, CPU(12)는 버튼(B104f)의 위치에 따른 값을 이용하여, 패턴 ID 「MP005」에 관련지어진 「입술」필드를 갱신한다.
유저가 버튼(B103b)(도 8)을 지정하면, 도 5에 나타나 있는 바와 같이, 클라이언트 단말(10)은 필터 보정(S1023b)을 실행한다.
구체적으로는, CPU(12)는 화면(P105)(도 10)을 디스플레이에 표시한다.
도 10에 나타나 있는 바와 같이, 화면(P105)은 영역(A105)과 버튼(B105a∼B105e)을 포함한다.
영역(A105)에는 화상(IMG105)이 표시된다. 화상(IMG105)은 필터 보정 후의 제 1 동화상의 프리뷰 화상이다.
버튼(B105a)은 필터 보정의 해제의 지시를 접수하기 위한 오브젝트이다. 유저가 버튼(B105a)을 지정하면, CPU(12)는 필터 보정을 실행하지 않는다. 이 경우의 화상(IMG105)은 화상(IMG102)(도 8)과 동일하다.
버튼(B105b∼B105d)은 화상처리 필터의 지시를 접수하기 위한 오브젝트이다. 버튼(B105b∼B105d)에는 각각 화상처리 필터 「FILETR1」∼「FILTER3」가 할당된다.
화상처리 필터 「FILETR1」는 얼굴의 적어도 일부(예를 들면 볼)에 대응하는 화상의 콘트라스트가 소정 범위 내에 포함되도록, 제 1 동화상의 휘도, 콘트라스트, 채도 및 색조를 보정하기 위한 보정 파라미터를 포함한다.
화상처리 필터 「FILETR2」는 얼굴의 적어도 일부(예를 들면 볼)에 대응하는 화상의 색상이 소정 범위 내에 포함되도록, 제 1 동화상의 휘도, 콘트라스트, 채도 및 색조를 보정하기 위한 보정 파라미터를 포함한다.
화상처리 필터 「FILETR3」는 얼굴의 적어도 일부(예를 들면 볼)에 대응하는 화상의 색조가 소정 범위 내에 포함되도록, 제 1 동화상의 휘도, 콘트라스트, 채도 및 색조를 보정하기 위한 보정 파라미터를 포함한다.
유저가 버튼(B105b∼B105d) 중 어느 하나를 지정하면, CPU(12)는 유저가 지정한 버튼에 할당된 화상처리 필터를 제 1 동화상에 적용한다. 이 경우, 화상(IMG105)은 화상처리 필터가 적용된 후의 제 1 동화상의 프리뷰 화상이다.
버튼(B105e)은 필터 보정의 확정 지시를 접수하기 위한 오브젝트이다. 유저가 버튼(B105e)을 지정하면, CPU(12)는 필터 보정 후의 보정 파라미터를 패턴 ID 「MP005」(도 3)에 관련지어진 각 필드에 격납한다. 이것에 의해, 필터 보정 후의 메이크업 패턴이 보존된다.
일례로서, 유저가 버튼(B102a 및 B103b)(도 8)을 지정하고, 또한 버튼(B105b 및 B105e)(도 10)을 지정하면, CPU(12)는 버튼(B105b)에 할당된 화상처리 필터를 이용하여, 패턴 ID 「MP005」에 관련지어진 각 필드의 값을 변경한다.
도 5에 나타나 있는 바와 같이, 유저가 버튼(B103c)(도 8)을 지정하면, 클라이언트 단말(10)은 배경 보정(S1023c)을 실행한다.
구체적으로는, CPU(12)는 화면(P106)(도 11)을 디스플레이에 표시한다.
도 11에 나타나 있는 바와 같이, 화면(P106)은 영역(A106)과 버튼(B106a 및 B106b)을 포함한다.
버튼(B106a)은 제 2 동화상의 블러 레벨의 변경 지시를 접수하기 위한 오브젝트이다. 유저가 버튼(B106a)을 +측 또는 -측으로 이동시키면, CPU(12)는 제 2 동화상의 블러 레벨을 버튼(B106a)의 위치에 따른 값으로 변경한다. 유저는 버튼(B106a)을 이동시키킴으로써, 배경을 블러링할 수 있다.
영역(A106)에는 화상(IMG106a 및 IMG106b)이 표시된다.
화상(IMG106a)은 제 1 동화상의 프리뷰 화상이다. 화상(IMG106a)은 버튼(B106a)이 이동해도 변화되지 않는다.
화상(IMG106b)은 제 2 동화상의 프리뷰 화상이다. 화상(IMG106b)은 버튼(B106a)의 위치에 따라 블러 레벨이 변화한다.
버튼(B106b)은 블러 레벨의 확정 지시를 접수하기 위한 오브젝트이다. 유저가 버튼(B106b)을 지정하면, CPU(12)는 블러 레벨과 패턴 ID 「MP005」를 관련지어서 기억장치(11)에 기억한다.
일례로서, 유저가 버튼(B102a 및 B103c)(도 8)을 지정하고, 또한 버튼(B106a 및 B106b)(도 11)을 지정하면, CPU(12)는 버튼(B106a)의 위치에 따른 값을 이용하여, 도 3의 패턴 ID 「MP005」에 관련지어진 「배경」필드를 갱신한다.
유저가 버튼(B102h)(도 8)을 지정하면(S1022-NO), 클라이언트 단말(10)은 도 4의 제 2 비디오데이터의 제공(S103)을 실행한다.
구체적으로는, CPU(12)는 비디오 통화 애플리케이션(121)의 프로그램을 실행하고, 화면(P110)(도 12)을 디스플레이에 표시한다.
도 12에 나타나 있는 바와 같이, 화면(P110)은 영역(A110a 및 A110b)과 버튼(B110)을 포함한다.
영역(A110a)에는 화상(IMG110a 및 IMG110b)이 표시된다.
화상(IMG110a)은 스텝 S102(도 4)에서 얻어지는 제 1 동화상이다.
화상(IMG110b)은 스텝 S102에서 얻어지는 제 2 동화상이다.
영역(A110b)에는 비디오 통화 애플리케이션(121)에 미리 등록된 상대편 유저의 유저명이 표시된다. 예를 들면 유저가 상대편 유저 「USER1」 및 버튼(B110)을 지정하면, CPU(12)는 통신 인터페이스(14)를 통해서 비디오 통화 리퀘스트를 서버(30)에 송신한다.
버튼(B110)은 비디오 통화 시퀸스 개시의 리퀘스트(이하 「비디오 통화 리퀘스트」라고 함)의 지시를 접수하기 위한 오브젝트이다. 유저가 버튼(B110)을 지정하면, CPU(12)는 비디오 통화 리퀘스트를 서버(30)에 송신한다.
상대편 유저가 비디오 통화 리퀘스트에 응답하면, 서버(30)는 비디오 통화 시퀸스를 개시한다. 비디오 통화 시퀸스에서는 유저의 클라이언트 단말(10)과, 상대편 유저의 클라이언트 단말 사이에서 비디오데이터가 송수신된다. 클라이언트 단말(10)이 송신하는 비디오데이터는 영역(A110a)에 표시된 프리뷰 화상에 대응하는 제 2 비디오데이터를 포함한다.
비디오 통화 시퀸스가 개시되고 나서 비디오 통화 시퀸스가 종료될 때까지의 사이, 가상 카메라 애플리케이션(120)은 도 3의 처리를 실행함으로써, 제 2 비디오데이터를 비디오 통화 애플리케이션(121)에 계속해서 제공한다.
일례로서, 유저가 비디오 통화 중에 버튼(B101a)(도 7)을 이동시키면, 비디오 통화 중에 제 2 비디오데이터 전체의 화상 밝기를 변경할 수 있다.
유저가 비디오 통화 중에 버튼(B101a∼B102e)(도 8) 중 어느 하나를 지정하면, 비디오 통화 중에 메이크업 패턴을 변경할 수 있다.
또한, 스텝 S1020∼S1023은 랜덤순서이다.
스텝 S1020을 실행할 경우, 스텝 S1021은 생략 가능하다.
스텝 S1021을 실행할 경우, 스텝 S1020은 생략 가능하다.
스텝 S1023a∼S1023c 중 적어도 1개는 생략 가능하다.
(4) 변형예
본 실시형태의 변형예에 대해서 설명한다.
(4-1) 변형예 1
변형예 1에 대해서 설명한다.
변형예 1의 클라이언트 단말(10)은 배경 보정(S1023c)에 있어서, 유저의 지시의 유무에 관계없이, 소정 조건을 만족시키는 경우에 제 2 동화상을 보정한다.
일례로서, CPU(12)는 제 1 동화상에 대한 제 2 동화상의 비율이 소정값 이상인(즉, 배경이 소정 크기보다 많이 비추어짐) 경우, 상기 비율에 따라 제 2 동화상을 보정한다.
다른 예로서, CPU(12)는 제 1 동화상의 인식률이 소정값 이하일 경우, 상기 인식률에 따라 제 2 동화상을 보정한다.
변형예 1에 의하면, 커뮤니케이션의 질을 향상시키기에 충분한 얼굴의 동화상을 상대편 유저에 제공할 수 없는 경우, 배경의 동화상을 블러링할 수 있다. 이것에 의해, 배경의 동화상만이 상대편 유저에 제공되는 것을 회피할 수 있다.
(4-2) 변형예 2
변형예 2에 대해서 설명한다.
변형예 2의 클라이언트 단말(10)은 메이크업 패턴 보정(S1021)에 있어서, 유저가 지정한 메이크업 패턴이 아니라, 유저에 관한 정보(이하 「유저 정보」라고 함)에 따른 메이크업 패턴을 선택해도 좋다.
일례로서, 기억장치(11)에는 유저 정보가 기억된다. 유저 정보는, 예를 들면 이하의 정보 중 적어도 1개이다.
·유저의 프로필(예를 들면 유저명, 유저의 성별, 및 유저의 직업)에 관한 정보
·유저의 비디오 통화 이력(예를 들면 비디오 통화의 일시, 비디오 통화의 상대편 유저의 프로필, 비디오 통화의 목적(일례로서, 회의, 외국어의 레슨)에 관한 정보
·유저의 행동 로그(예를 들면 유저가 사용하고 있는 화장품 또는 양복, 유저가 구입한 화장품 또는 양복의 구입 이력에 관한 정보)
·유저의 심리 상태(예를 들면 스트레스 레벨)에 관한 정보
·스텝 S101에서 인식된 얼굴의 부위(예를 들면 윤곽)의 특징량을 나타내는 정보
패턴 ID에는 유저 정보가 관련지어진다.
CPU(12)는 메이크업 패턴 보정(S1021)에 있어서, 유저 정보에 관련지어진 패턴 ID에 의해 식별되는 메이크업 패턴을 선택한다.
변형예 2에 의하면, 유저에 대하여 해당 유저에 있어서 최적의 메이크업 패턴을 제안할 수 있다.
(4-3) 변형예 3
변형예 3에 대해서 설명한다.
변형예 3의 클라이언트 단말(10)은 도 5의 메이크업 패턴의 커스터마이즈(S1023a)에 있어서, 기억장치(11)에 기억된 메이크업 패턴 데이터베이스를 갱신하는 것은 아니고, 변경 후의 보정 파라미터를 포함하는 메이크업 패턴을 서버(30)의 기억장치에 기억한다.
도 13은 변형예 3의 메이크업 패턴 데이터베이스의 데이터 구조를 나타내는 도면이다. 도 14는 변형예 3의 정보처리에 있어서 표시되는 화면예를 나타내는 도면이다.
도 13에 나타나 있는 바와 같이, 메이크업 패턴 데이터베이스는 「유저 ID」필드와, 「유저명」필드와 「보정 파라미터」필드를 포함한다. 각 필드는 서로 관련지어져 있다. 「보정 파라미터」필드는 도 3과 같다.
「유저 ID」필드에는 유저 ID가 격납된다. 유저 ID는 유저를 식별하는 제법이다.
「유저명」필드에는 유저의 이름을 나타내는 정보(예를 들면 텍스트)가 격납된다.
유저(유저명 「USER1」)가 사용하는 클라이언트 단말(10a)의 CPU(12a)는 메이크업 패턴의 커스터마이즈(S1023a)에 있어서, 변경 후의 보정 파라미터를 포함하는 메이크업 패턴과, 유저 ID 「U001」와, 유저명 「USER1」을 서버(30)에 송신한다.
서버(30)는 클라이언트 단말(10a)로부터 송신된 메이크업 패턴과, 유저 ID와, 유저명을 관련지어서 기억한다.
스텝 S1021(도 5)에 있어서, 유저(유저명 「USER2」)가 사용하는 클라이언트 단말(10b)의 CPU(12b)는 화면(P200)(도 14)을 디스플레이에 표시한다.
도 14에 나타나 있는 바와 같이, 화면(P200)은 영역(A200a 및 A200b)과 버튼(B200a∼B200c)을 포함한다.
영역(A200a)에는 메이크업 패턴을 서버(30)에 보존한 유저의 유저명이 표시된다.
영역(A200b)에는 메이크업 패턴을 적용했을 경우의 유저(유저명 「USER2」)의 제 1 화상의 프리뷰 화상이 표시된다.
버튼(B200a 및 B200b)은 유저의 지시를 접수하기 위한 오브젝트이다. 버튼(B200a 및 B200b)에는 메이크업 패턴을 서버(30)에 보존한 유저를 식별하는 유저 ID(「U001」 및 「U003」)가 할당된다. 유저(유저명 「USER2」)가 버튼(B200a 및 B200b)을 지정하면, CPU(12b)는 유저(유저명 「USER2」)가 지정한 버튼에 할당된 유저 ID에 관련지어진 메이크업 패턴을 선택한다.
일례로서, 유저명(「USER2」)이 버튼(B200a 및 B200c)(도 14)을 지정하면, CPU(12b)는 도 13의 유저 ID 「U001」에 관련지어진 메이크업 패턴을 이용하여, 제 1 동화상의 각 부위의 화상을 보정함으로써, 제 2 비디오데이터를 생성한다.
변형예 3에 의하면, 유저는 다른 유저가 커스터마이즈한 메이크업 패턴을 사용할 수 있다.
(4-4) 변형예 4
변형예 4에 대해서 설명한다.
변형예 4의 메이크업 패턴은 도 3의 보정 파라미터에 추가해서, 이하의 부위 중 적어도 1개를 보정하기 위한 보정 파라미터를 포함한다.
·헤어스타일
·얼굴의 윤곽
·눈섭의 형상
·속눈썹의 형상
·코의 형상,
·입술의 형상
·파운데이션의 농도
(4-5) 변형예 5
변형예 5에 대해서 설명한다.
변형예 5의 클라이언트 단말(10)은 스텝 S101에 있어서 제 1 동화상의 인식에 실패했을 경우, 제 1 비디오데이터에 포함되는 제 1 동화상(즉, 메이크업이 실시되어 있지 않은 얼굴의 화상)이 상대편 유저에 제공되는 것을 회피한다. 인식에 실패했을 경우란, 예를 들면 제 1 동화상의 인식률이 소정의 역치 이하인 경우이다.
일례로서, CPU(12)는 스텝 S101에 있어서 제 1 동화상의 인식에 실패했을 경우, 스텝 S102 및 S103의 처리를 실행하지 않는다.
이것에 의해, 제 1 동화상의 인식에 실패했을 경우, 상대편 유저의 클라이언트 단말(10)에는 제 2 비디오데이터는 제공되지 않는다. 이 경우, 상대편 유저의 클라이언트 단말(10)의 디스플레이는 블랙아웃된다.
다른 예로서, CPU(12)는 스텝 S101에 있어서 제 1 동화상의 인식에 실패했을 경우, 스텝 S102의 처리를 실행하지 않고, 또한 스텝 S103에 있어서 제 1 동화상의 인식에 성공했을 때에 생성된 제 2 비디오데이터를 제공한다.
이것에 의해, 제 1 동화상의 인식에 실패했을 경우, 상대편 유저의 클라이언트 단말(10)의 디스플레이에는 제 1 동화상의 인식에 성공했을 때의 얼굴의 화상이 정지 화면과 같이 표시된다.
다른 예로서, CPU(12)는 스텝 S101에 있어서 제 1 동화상의 인식에 실패했을 경우, 스텝 S102에 있어서 제 1 동화상 및 제 2 동화상(즉, 제 1 비디오데이터의 전체의 화상)에 대해서, 이하의 적어도 1개의 보정 파라미터를 제 1 비디오데이터의 전체의 화상의 시인성이 저하하도록 변경한다.
·블러 레벨을 보정하기 위한 보정 파라미터
·색을 변경하기 위한 보정 파라미터(예를 들면 그레이 스케일로의 변환 또는 투명화의 레벨을 나타내는 값)
·모자이크 처리를 적용하기 위한 보정 파라미터(예를 들면 모자이크 처리의 레벨을 나타내는 값)
·다른 화상을 합성하기 위한 보정 파라미터(예를 들면 합성해야 할 화상의 비율을 나타내는 값)
이것에 의해, 제 1 동화상의 인식에 실패했을 경우, 상대편 유저의 클라이언트 단말(10)의 디스플레이에는 적어도 제 1 동화상의 시인성이 낮은 화상(예를 들면 블러 레벨을 보정하기 위한 보정 파라미터를 변경했을 경우, 제 1 비디오데이터의 전체가 블러링된 화상)이 표시된다.
변형예 5에 의하면, 스텝 S101에 있어서 제 1 동화상의 인식에 실패했을 경우, 메이크업이 실시되어 있지 않은 얼굴의 화상이 상대편 유저에 제공되는 것을 회피할 수 있다.
(4-6) 변형예 6
변형예 6에 대해서 설명한다. 변형예 6은 스텝 S1020에 있어서, 스텝 S101에서 인식된 제 1 동화상의 적어도 일부의 휘도를 보정하는 예이다.
일례로서, CPU(12)는 스텝 S101에서 인식된 제 1 동화상 중 얼굴의 일부(예를 들면 볼)에 대응하는 화상의 휘도를 특정한다.
다음에, CPU(12)는 특정한 휘도가 소정 범위 내에 포함되도록 제 1 동화상의 전체 휘도 또는 특정한 휘도를 보정한다.
(4-7) 변형예 7
변형예 7에 대해서 설명한다. 변형예 7은 가상 카메라 애플리케이션(120)이 카메라(15)의 설정값을 변경하는 예이다.
일례로서, 변형예 7의 CPU(12)는 도 5의 스텝 S1020에 있어서 얼굴의 일부(예를 들면 볼)에 대응하는 화소의 휘도를 특정한 후, 특정한 휘도가 소정 범위 내에 포함되도록 카메라(15)의 설정값을 변경한다.
다른 예로서, 스텝 S1023b에 있어서, 유저가 버튼(B105b)(도 10)을 지정하면, CPU(12)는 버튼(B105b)에 할당된 화상처리 필터 「FILTER1」에 포함되는 보정 파라미터에 의거하여 카메라(15)의 설정값을 변경한다.
변형예 7에 의하면, 카메라(15)가 휘도, 콘트라스트, 채도 및 색조 중 적어도 1개가 보정된 제 1 비디오데이터를 취득한다. CPU(12)는 제 1 비디오데이터에 대해서 휘도, 콘트라스트, 채도 및 색조 중 적어도 1개를 보정할 필요는 없다. 이것에 의해, CPU(12)의 처리량을 저감할 수 있다.
(5) 요약
본 실시형태를 요약한다.
본 실시형태의 제 1 형태는,
카메라(15)에 의해 취득된 제 1 비디오데이터에 있어서, 유저의 얼굴의 적어도 일부를 포함하는 제 1 동화상과 얼굴을 포함하지 않는 제 2 동화상을 인식하는 수단(S101)을 구비하고,
제 1 비디오데이터의 휘도를 보정하는 수단(S1020)을 구비하고,
인식된 제 2 동화상을 보정하는 수단(S1023c)을 구비하고,
휘도가 보정된 제 1 비디오데이터에 포함되는 제 1 동화상과 보정된 제 2 동화상을 포함하는 제 2 비디오데이터를 생성하는 수단(S102)을 구비하고,
비디오 통화 애플리케이션(121)에 제 2 비디오데이터를 제공하는 수단(S103)을 구비하는 정보처리장치(예를 들면 클라이언트 단말(10))이다.
본 실시형태의 제 2 형태는,
카메라(15)에 의해 취득된 제 1 비디오데이터에 있어서, 유저의 얼굴의 적어도 일부를 포함하는 제 1 동화상과 얼굴을 포함하지 않는 제 2 동화상을 인식하는 수단(S101)을 구비하고,
인식된 제 1 동화상의 휘도를 보정하는 수단(S1020)을 구비하고,
인식된 제 2 동화상을 보정하는 수단(S1023c)을 구비하고,
보정된 제 1 동화상과 보정된 제 2 동화상을 포함하는 제 2 비디오데이터를 생성하는 수단(S102)을 구비하고,
비디오 통화 애플리케이션에 제 2 비디오데이터를 제공하는 수단(S103)을 구비하는 정보처리장치(예를 들면 클라이언트 단말(10))이다.
이들 형태에 의하면, 유저는 비디오 통화에서 사용할 자신의 얼굴을 포함하는 동화상을 용이하게 가공할 수 있다. 이것에 의해, 비디오 통화에 있어서의 동화상의 이용을 촉진할 수 있다.
다른 형태에서는 휘도를 보정하는 수단(S1020)은 인식된 제 1 동화상의 휘도가 소정 범위에 포함되도록 휘도를 보정해도 좋다.
이 형태에 의하면, 유저는 비디오 통화에서 사용하는 자신의 얼굴의 화상의 인상을 용이하게 변경할 수 있다.
다른 형태에서는, 제 2 동화상을 보정하는 수단(S1023c)은 유저의 지시를 접수했을 경우, 제 1 비디오데이터에 있어서의 제 2 동화상의 비율이 소정의 역치 이상일 경우 및 제 1 동화상의 인식에 실패했을 경우 중 적어도 하나의 경우에, 제 2 동화상을 보정해도 좋다.
다른 형태에서는, 제 2 동화상을 보정하는 수단(S1023c)은 제 2 동화상의 시인성이 저하하도록 제 2 동화상을 보정해도 좋다.
이들 형태에 의하면, 유저는 배경(예를 들면 방에 배치되어 있는 가구)의 화상이 상대편 유저에 보여지는 것을 자동적으로 회피할 수 있다.
다른 형태에 의하면, 복수의 메이크업 패턴 중 어느 하나를 선택하는 수단(S1021)을 구비하고,
선택된 메이크업 패턴을 이용하여 제 1 동화상을 보정하는 수단(S1021)을 구비하고,
제 2 비디오데이터를 생성하는 수단(S102)은 보정된 제 1 동화상과 보정된 제 2 동화상을 포함하는 제 2 비디오데이터를 생성해도 좋다.
다른 형태에서는, 선택하는 수단(S1021)은 유저가 지정한 메이크업 패턴 또는 유저에 관한 유저 정보(예를 들면 프로필)에 따른 메이크업 패턴을 선택해도 좋다.
이들 형태에 의하면, 유저는 비디오 통화에서 사용하는 자신의 얼굴의 화상에 소망의 메이크업을 실시할 수 있다.
본 실시형태의 제 3 형태는,
카메라(15)에 의해 취득된 제 1 비디오데이터에 있어서, 유저의 얼굴의 적어도 일부를 포함하는 제 1 동화상과 얼굴을 포함하지 않는 제 2 동화상을 인식하는 수단(S101)을 구비하고,
복수의 메이크업 패턴 중 어느 하나를 선택하는 수단(S1021)을 구비하고,
선택된 메이크업 패턴을 이용하여 인식된 제 1 동화상을 보정하는 수단(S1021)을 구비하고,
보정된 제 1 동화상과 인식된 제 2 동화상을 포함하는 제 2 비디오데이터를 생성하는 수단(S102)을 구비하고,
비디오 통화 애플리케이션에 제 2 비디오데이터를 제공하는 수단(S103)을 구비하는 정보처리장치이다.
이 형태에 의하면, 유저는 비디오 통화에서 사용하는 자신의 얼굴을 포함하는 동화상을 용이하게 가공할 수 있다. 이것에 의해, 비디오 통화에 있어서의 동화상의 이용을 촉진할 수 있다.
다른 형태에서는, 유저의 지시에 따라 각 보정하는 수단의 보정 파라미터를 변경하는 수단(S1023)을 구비해도 좋다.
이 형태에 의하면, 유저는 소망의 메이크업이 실시된 동화상을 얻을 수 있다.
다른 형태에서는, 변경된 보정 파라미터를 유저를 식별하는 유저 ID와 관련지어서 기억장치(30)에 기억하는 수단(S1023)을 더 구비해도 좋다.
이 형태에 의하면, 유저는 다른 유저가 커스터마이즈한 메이크업 패턴을 사용할 수 있다.
다른 형태에서는, 제 2 비디오데이터를 제공하는 수단(S103)은 제 1 동화상의 인식에 실패했을 경우, 제 2 비디오데이터의 제공을 정지하거나 또는 제 1 동화상의 인식에 성공했을 때에 생성된 제 2 비디오데이터를 제공해도 좋다.
이 형태에 의하면, 얼굴의 화상 인식에 실패했을 경우, 메이크업이 실시되어 있지 않은 얼굴의 화상이 상대편 유저에 제공되는 것을 회피할 수 있다.
(6) 기타 변형예
기억장치(11)는 네트워크(NW)를 통해서 클라이언트 단말(10)과 접속되어도 좋다.
이상, 본 발명의 실시형태에 대해서 상세하게 설명했지만, 본 발명의 범위는 상기 실시형태에 한정되지 않는다. 또한, 상기 실시형태는 본 발명의 주지를 일탈하지 않는 범위에 있어서, 각종의 개량이나 변경이 가능하다. 또한, 상기 실시형태 및 변형예는 조합 가능하다.
1: 정보처리시스템
10: 클라이언트 단말
11: 기억장치
12: CPU
13: 입출력 인터페이스
14: 통신 인터페이스
15: 카메라
16: 마이크
30: 서버
120: 가상 카메라 애플리케이션
121: 비디오 통화 애플리케이션

Claims (12)

  1. 카메라에 의해 취득된 제 1 비디오데이터에 있어서, 유저의 얼굴의 적어도 일부를 포함하는 제 1 동화상과 상기 얼굴을 포함하지 않는 제 2 동화상을 인식하는 수단을 구비하고,
    상기 제 1 비디오데이터의 휘도를 보정하는 수단을 구비하고,
    상기 인식된 제 2 동화상을 보정하는 수단을 구비하고,
    상기 휘도가 보정된 제 1 비디오데이터에 포함되는 제 1 동화상과 상기 보정된 제 2 동화상을 포함하는 제 2 비디오데이터를 생성하는 수단을 구비하고,
    비디오 통화 애플리케이션에 상기 제 2 비디오데이터를 제공하는 수단을 구비하고,
    상기 제 2 동화상을 보정하는 수단은 상기 제 1 비디오데이터에 있어서의 상기 제 2 동화상의 비율이 소정의 역치 이상인 경우 또는 상기 제 1 동화상의 인식에 실패했을 경우 중 적어도 하나의 경우에, 상기 제 2 동화상을 보정하고,
    상기 휘도를 보정하는 수단은 상기 인식된 제 1 동화상의 휘도가 소정 범위에 포함되도록 상기 휘도를 보정하는 정보처리장치.
  2. 카메라에 의해 취득된 제 1 비디오데이터에 있어서, 유저의 얼굴의 적어도 일부를 포함하는 제 1 동화상과 상기 얼굴을 포함하지 않는 제 2 동화상을 인식하는 수단을 구비하고,
    상기 인식된 제 1 동화상의 휘도를 보정하는 수단을 구비하고,
    상기 인식된 제 2 동화상을 보정하는 수단을 구비하고,
    상기 보정된 제 1 동화상과 상기 보정된 제 2 동화상을 포함하는 제 2 비디오데이터를 생성하는 수단을 구비하고,
    비디오 통화 애플리케이션에 상기 제 2 비디오데이터를 제공하는 수단을 구비하고,
    상기 제 2 동화상을 보정하는 수단은 상기 제 1 비디오데이터에 있어서의 상기 제 2 동화상의 비율이 소정의 역치 이상인 경우 또는 상기 제 1 동화상의 인식에 실패했을 경우 중 적어도 하나의 경우에, 상기 제 2 동화상을 보정하고,
    상기 휘도를 보정하는 수단은 상기 인식된 제 1 동화상의 휘도가 소정 범위에 포함되도록 상기 휘도를 보정하는 정보처리장치.
  3. 삭제
  4. 삭제
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 제 2 동화상을 보정하는 수단은 상기 제 2 동화상의 시인성이 저하하도록 상기 제 2 동화상을 보정하는 정보처리장치.
  6. 제 1 항 또는 제 2 항에 있어서,
    복수의 메이크업 패턴 중 어느 하나를 선택하는 수단을 구비하고,
    상기 선택된 메이크업 패턴을 이용하여 상기 제 1 동화상을 보정하는 수단을 구비하고,
    상기 제 2 비디오데이터를 생성하는 수단은 메이크업 패턴을 이용하여 보정된 제 1 동화상과 상기 보정된 제 2 동화상을 포함하는 제 2 비디오데이터를 생성하는 정보처리장치.
  7. 제 6 항에 있어서,
    상기 선택하는 수단은 상기 유저가 지정한 메이크업 패턴 또는 상기 유저에 관한 유저 정보에 따른 메이크업 패턴을 선택하는 정보처리장치.
  8. 카메라에 의해 취득된 제 1 비디오데이터에 있어서, 유저의 얼굴의 적어도 일부를 포함하는 제 1 동화상과 상기 얼굴을 포함하지 않는 제 2 동화상을 인식하는 수단을 구비하고,
    복수의 메이크업 패턴 중 어느 하나를 선택하는 수단을 구비하고,
    상기 선택된 메이크업 패턴을 이용하여 상기 인식된 제 1 동화상을 보정하는 수단을 구비하고,
    상기 인식된 제 2 동화상을 보정하는 수단을 구비하고,
    상기 보정된 제 1 동화상과 보정된 제 2 동화상을 포함하는 제 2 비디오데이터를 생성하는 수단을 구비하고,
    비디오 통화 애플리케이션에 상기 제 2 비디오데이터를 제공하는 수단을 구비하고,
    상기 인식된 제 1 동화상의 휘도가 소정 범위에 포함되도록 상기 휘도를 보정하는 수단을 구비하고,
    상기 제 2 동화상을 보정하는 수단은 상기 제 1 비디오데이터에 있어서의 상기 제 2 동화상의 비율이 소정의 역치 이상인 경우 또는 상기 제 1 동화상의 인식에 실패했을 경우 중 적어도 하나의 경우에, 상기 제 2 동화상을 보정하는 정보처리장치.
  9. 제 1 항, 제 2 항 또는 제 8 항에 있어서,
    상기 유저의 지시에 따라, 휘도를 보정하는 수단, 상기 제 1 동화상을 보정하는 수단 및 상기 제 2 동화상을 보정하는 수단 중 적어도 하나의 보정 파라미터를 변경하는 수단을 구비하는 정보처리장치.
  10. 제 9 항에 있어서,
    상기 변경된 보정 파라미터를 상기 유저를 식별하는 유저 ID와 관련지어서 기억장치에 기억하는 수단을 구비하는 정보처리장치.
  11. 제 1 항, 제 2 항 또는 제 8 항에 있어서,
    상기 제 2 비디오데이터를 제공하는 수단은 상기 제 1 동화상의 인식에 실패했을 경우, 상기 제 2 비디오데이터의 제공을 정지하거나 또는 상기 제 1 동화상의 인식에 성공했을 때에 생성된 제 2 비디오데이터를 제공하는 정보처리장치.
  12. 컴퓨터를 제 1 항, 제 2 항 또는 제 8 항에 기재된 각 수단으로서 기능시키기 위해 컴퓨터로 읽을 수 있는 매체에 저장된 컴퓨터 프로그램.
KR1020197027976A 2017-03-09 2017-03-09 정보처리장치, 프로그램 KR102316143B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/009500 WO2018163356A1 (ja) 2017-03-09 2017-03-09 情報処理装置、プログラム

Publications (2)

Publication Number Publication Date
KR20190122740A KR20190122740A (ko) 2019-10-30
KR102316143B1 true KR102316143B1 (ko) 2021-10-22

Family

ID=63449050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197027976A KR102316143B1 (ko) 2017-03-09 2017-03-09 정보처리장치, 프로그램

Country Status (5)

Country Link
US (1) US11812183B2 (ko)
JP (1) JP6967065B2 (ko)
KR (1) KR102316143B1 (ko)
TW (1) TWI742173B (ko)
WO (1) WO2018163356A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7212766B2 (ja) * 2019-03-29 2023-01-25 本田技研工業株式会社 コミュニケーションロボットおよびその制御方法、情報処理サーバならびに情報処理方法
US11704851B2 (en) * 2020-05-27 2023-07-18 Snap Inc. Personalized videos using selfies and stock videos
US11659137B1 (en) * 2020-11-30 2023-05-23 Securus Technologies, Inc. Video display blurring on demand

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094917A (ja) * 2002-07-08 2004-03-25 Toshiba Corp 仮想化粧装置及びその方法
JP2009200900A (ja) * 2008-02-22 2009-09-03 Nikon Corp 撮像装置
JP2010529735A (ja) * 2007-05-30 2010-08-26 イーストマン コダック カンパニー 携帯型ビデオ通信システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3912834B2 (ja) * 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
US9129381B2 (en) * 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
JP2009246935A (ja) * 2008-03-14 2009-10-22 Sanyo Electric Co Ltd 画像処理装置およびそれを搭載した撮像装置
JP4770924B2 (ja) * 2008-12-17 2011-09-14 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP2012138823A (ja) * 2010-12-27 2012-07-19 Brother Ind Ltd テレビ会議装置、テレビ会議方法、およびテレビ会議プログラム
EP2693745A4 (en) * 2011-03-30 2015-04-01 Fujitsu Ltd INFORMATION PROCESSING DEVICE COMPRISING IMAGE TRANSMISSION CONTROL FUNCTION
TWI545947B (zh) * 2011-04-08 2016-08-11 南昌歐菲光電技術有限公司 具有影像擷取及分析模組之顯示裝置
US8687039B2 (en) * 2011-06-06 2014-04-01 Cisco Technology, Inc. Diminishing an appearance of a double chin in video communications
KR101394597B1 (ko) * 2012-05-09 2014-05-27 김명훈 얼굴검출 알고리즘을 이용한 영상보안장치와 영상보안시스템 및 얼굴검출 알고리즘을 이용한 영상보안방법
JP6155909B2 (ja) 2012-09-14 2017-07-05 株式会社リコー 会議端末およびサーバー
WO2014167831A1 (ja) 2013-04-08 2014-10-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム
JP6558935B2 (ja) * 2015-04-24 2019-08-14 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
US9996981B1 (en) * 2016-03-07 2018-06-12 Bao Tran Augmented reality system
TWI610571B (zh) * 2016-10-26 2018-01-01 緯創資通股份有限公司 顯示方法及其系統與電腦可讀取記錄媒體
JP7186128B2 (ja) * 2019-04-24 2022-12-08 株式会社日立製作所 物品認識システムおよび物品認識方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094917A (ja) * 2002-07-08 2004-03-25 Toshiba Corp 仮想化粧装置及びその方法
JP2010529735A (ja) * 2007-05-30 2010-08-26 イーストマン コダック カンパニー 携帯型ビデオ通信システム
JP2009200900A (ja) * 2008-02-22 2009-09-03 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
KR20190122740A (ko) 2019-10-30
JPWO2018163356A1 (ja) 2019-12-26
TWI742173B (zh) 2021-10-11
TW201834451A (zh) 2018-09-16
US20200169674A1 (en) 2020-05-28
US11812183B2 (en) 2023-11-07
JP6967065B2 (ja) 2021-11-17
WO2018163356A1 (ja) 2018-09-13

Similar Documents

Publication Publication Date Title
US10607372B2 (en) Cosmetic information providing system, cosmetic information providing apparatus, cosmetic information providing method, and program
CN111369644A (zh) 人脸图像的试妆处理方法、装置、计算机设备和存储介质
KR102316143B1 (ko) 정보처리장치, 프로그램
CN107862653B (zh) 图像显示方法、装置、存储介质和电子设备
CN109196856B (zh) 虚拟化妆装置和虚拟化妆方法
CN113099298A (zh) 虚拟形象的改变方法、装置和终端设备
US11461946B2 (en) Digital makeup artist
KR20200109634A (ko) 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법
CN111913630B (zh) 视频会话方法、装置和电子设备
WO2006052335A2 (en) A method for generating a composite image
CN113284229B (zh) 三维人脸模型生成方法、装置、设备及存储介质
US11657553B2 (en) Digital makeup artist
CN110750154A (zh) 显示器控制方法、系统、装置、设备和存储介质
CN110933354A (zh) 一种可定制的多风格多媒体处理方法及其终端
CN112184540A (zh) 图像处理方法、装置、电子设备和存储介质
CN113610723B (zh) 图像处理方法及相关装置
CN112785490B (zh) 图像处理方法、装置及电子设备
CN115334325A (zh) 基于可编辑三维虚拟形象生成直播视频流的方法和系统
CN113240760A (zh) 一种图像处理方法、装置、计算机设备和存储介质
CN112488965A (zh) 一种图像处理方法和装置
CN110798614A (zh) 一种照片拍摄方法、装置、设备及存储介质
KR102334622B1 (ko) 멀티미디어 디바이스 제어 방법 및 멀티미디어 디바이스
CN113177900B (zh) 图像处理方法、装置、设备及存储介质
US20230030170A1 (en) Providing video appearance adjustments within a video communication system
CN113450248A (zh) 基于图像的操作引导方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant