JP6684883B2 - カメラエフェクトを提供する方法およびシステム - Google Patents

カメラエフェクトを提供する方法およびシステム Download PDF

Info

Publication number
JP6684883B2
JP6684883B2 JP2018196434A JP2018196434A JP6684883B2 JP 6684883 B2 JP6684883 B2 JP 6684883B2 JP 2018196434 A JP2018196434 A JP 2018196434A JP 2018196434 A JP2018196434 A JP 2018196434A JP 6684883 B2 JP6684883 B2 JP 6684883B2
Authority
JP
Japan
Prior art keywords
effect
emotion
camera image
information
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018196434A
Other languages
English (en)
Other versions
JP2019075124A (ja
Inventor
ヒョンス キム
ヒョンス キム
ジヨン パク
ジヨン パク
ギョンウン イ
ギョンウン イ
ヨンオク チェー
ヨンオク チェー
ウンソル キム
ウンソル キム
ソンホ キム
ソンホ キム
ソンテク チョウ
ソンテク チョウ
ジョンミョン キム
ジョンミョン キム
ギス パク
ギス パク
ユソブ ソン
ユソブ ソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Publication of JP2019075124A publication Critical patent/JP2019075124A/ja
Application granted granted Critical
Publication of JP6684883B2 publication Critical patent/JP6684883B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2747—Remote storage of video programs received via the downstream path, e.g. from the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)

Description

以下の説明は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）カメラエフェクト（ｃａｍｅｒａ ｅｆｆｅｃｔ）を提供する技術に関する。
近年、スマートフォン、タブレット、ウェアラブルデバイスなどの個人情報端末を利用したモバイルデータ通信サービスが多く利用されている。
このようなモバイルデータ通信サービスのうちで最も脚光を浴びている分野の１つとして、各種コンテンツを個人情報端末に提供する無線放送サービス分野が挙げられる。
一例として、特許文献１には、撮影された撮影情報を、インターネット放送、無線放送または地上波放送を介してモバイル端末に提供する技術が開示されている。
韓国公開特許第１０−２００３−００２９５５６号公報
カメラ映像に対する感情に合ったカメラエフェクトを迅速に提供することができる方法およびシステムを提供する。
コンピュータによって実現される電子機器でのエフェクト提供方法であって、前記電子機器のカメラ映像に反映するエフェクトを選定するための基準として、前記カメラ映像に対する感情を決定する段階、および前記の決定された感情に基づき、該当の感情を示すエフェクトのうちからランダムに選定されたエフェクトを前記カメラ映像に直ちに反映する段階を含む、エフェクト提供方法を提供する。
一側面によると、前記決定する段階は、前記電子機器のユーザによって選択された感情をエフェクト選定基準として決定してよい。
他の側面によると、前記決定する段階は、前記カメラ映像の顔表情から認識された感情をエフェクト選定基準として決定してよい。
また他の側面によると、前記エフェクト提供方法は、前記電子機器のユーザと関連する状況情報（ｃｏｎｔｅｘｔ）を収集する段階をさらに含み、前記反映する段階は、前記の決定された感情に対応するエフェクトのうちから、前記状況情報にマッチングするエフェクトをランダムに選定する段階を含んでよい。
また他の側面によると、前記収集する段階は、前記カメラ映像と関連する時間情報、前記カメラ映像と関連する場所情報、前記カメラ映像と関連する色情報、前記カメラ映像と関連する撮影モード情報、前記ユーザが使用したエフェクトに対する履歴情報、前記カメラ映像に対するフィードバック情報、前記カメラ映像と関連するターゲット（ｔａｒｇｅｔ）情報、および前記カメラ映像から認識された表情情報のうちの少なくとも１つの状況情報を収集してよい。
また他の側面によると、前記選定する段階は、前記の決定された感情に対応するエフェクトに対して前記状況情報による加重値を付与し、前記加重値に基づいて前記カメラ映像に反映するエフェクトを選定してよい。
また他の側面によると、前記選定する段階は、前記の決定された感情に応じて互いに異なる状況情報を選択してエフェクト選定基準として利用してよい。
また他の側面によると、前記選定する段階は、前記の決定された感情に対応するエフェクトに対して、前記の決定された感情に応じて前記状況情報別に異なる加重値を付与し、前記加重値に基づいて前記カメラ映像に反映するエフェクトを選定してよい。
また他の側面によると、前記決定する段階は、複数の感情アイコンで構成された感情選択メニューを提供する段階、および前記感情選択メニューから選択された感情をエフェクト選定基準として決定する段階を含む。
さらに他の側面によると、前記反映する段階は、前記感情選択メニューに対するユーザジェスチャ類型に基づき、前記の決定された感情に対応するエフェクトのうちから前記カメラ映像に反映するエフェクト選定対象を異なるように選定してよい。
前記エフェクト提供方法をコンピュータに実行させるためのコンピュータプログラムを提供する。
前記コンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体を提供する。
コンピュータによって実現される電子機器でのエフェクト提供システムであって、コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、前記電子機器のカメラ映像に反映するエフェクトを選定するための基準として、前記カメラ映像に対する感情を決定する感情決定部、および前記の決定された感情に基づき、該当の感情を示すエフェクトのうちからランダムに選定されたエフェクトを前記カメラ映像に直ちに反映するエフェクト選定部を備える、エフェクト提供システムを提供する。
カメラ映像に対する感情に合ったカメラエフェクトを迅速に提供することができる。
本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示した図である。 本発明の一実施形態における、電子機器が実行することのできるエフェクト提供方法の例を示したフローチャートである。 本発明の一実施形態における、エフェクト選定基準として利用される状況情報を説明するための図である。 本発明の一実施形態における、感情に対応するエフェクトを提供する過程を説明するための例示図である。 本発明の一実施形態における、感情に対応するエフェクトを提供する過程を説明するための例示図である。 本発明の一実施形態における、感情に対応するエフェクトを提供する過程を説明するための例示図である。 本発明の一実施形態における、感情に対応するエフェクトを提供する過程を説明するための例示図である。 本発明の一実施形態における、感情に対応するエフェクトを提供する過程を説明するための例示図である。
以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。
本発明の実施形態は、カメラエフェクトを提供する技術に関し、より詳細には、カメラ映像に対する感情に合ったカメラエフェクトを迅速に提供することができる方法およびシステムに関する。
本明細書で具体的に開示される事項などを含む実施形態は、ビデオ映像撮影や生放送中にカメラエフェクトを迅速に提供することができ、これによって迅速性、効率性、多様性、娯楽要素などの側面において相当な長所を達成することができる。
図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。
複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話機、タブレット、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）などがある。一例として、第１電子機器１１０は、無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信してよい。
通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を活用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでもよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。
サーバ１５０、１６０それぞれは、電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。一例として、サーバ１６０は、ネットワーク１７０を介して接続した第１電子機器１１０にアプリケーションのインストールのためのファイルを提供してよい。この場合、第１電子機器１１０は、サーバ１６０から提供されたファイルを利用してアプリケーションをインストールしてよい。また、第１電子機器１１０が含むオペレーティングシステム（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や少なくとも１つのプログラム（一例として、ブラウザやインストールされたアプリケーション）の制御にしたがってサーバ１５０に接続し、サーバ１５０が提供するサービスやコンテンツの提供を受けてもよい。例えば、第１電子機器１１０がアプリケーションの制御にしたがってネットワーク１７０を介してサービス要求メッセージをサーバ１５０に送信すると、サーバ１５０はサービス要求メッセージに対応するコードを第１電子機器１１０に送信してよく、第１電子機器１１０は、アプリケーションの制御にしたがってコードに基づいた画面を構成して表示することにより、ユーザにコンテンツを提供してよい。
図２は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図２では、電子機器に対する例として第１電子機器１１０の内部構成を説明し、サーバに対する例としてサーバ１５０の内部構成を説明する。他の電子機器１２０、１３０、１４０やサーバ１６０も、同一または類似の内部構成を有してよい。
第１電子機器１１０およびサーバ１５０は、メモリ２１１、２２１、プロセッサ２１２、２２２、通信モジュール２１３、２２３、および入力／出力インタフェース２１４、２２４を含んでよい。メモリ２１１、２２１は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。また、メモリ２１１、２２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、第１電子機器１１０においてインストールされ実行されるアプリケーションなどのためのコード）が記録されてよい。このようなソフトウェア構成要素は、メモリ２１１、２２１とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール２１３、２２３を通じてメモリ２１１、２２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、上述したサーバ１６０）がネットワーク１７０を介して提供するファイルによってインストールされるプログラム（一例として、上述したアプリケーション）に基づいてメモリ２１１、２２１にロードされてよい。
プロセッサ２１２、２２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１１、２２１または通信モジュール２１３、２２３によって、プロセッサ２１２、２２２に提供されてよい。例えば、プロセッサ２１２、２２２は、メモリ２１１、２２１のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
通信モジュール２１３、２２３は、ネットワーク１７０を介して第１電子機器１１０とサーバ１５０とが互いに通信するための機能を提供してもよいし、他の電子機器（一例として、第２電子機器１２０）または他のサーバ（一例として、サーバ１６０）と通信するための機能を提供してもよい。一例として、第１電子機器１１０のプロセッサ２１２がメモリ２１１のような記録装置に記録されたプログラムコードにしたがって生成した要求（一例として、検索要求）が、通信モジュール２１３の制御にしたがってネットワーク１７０を介してサーバ１５０に伝達されてよい。これとは逆に、サーバ１５０のプロセッサ２２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール２２３とネットワーク１７０を経て第１電子機器１１０の通信モジュール２１３を通じて第１電子機器１１０に受信されてもよい。例えば、通信モジュール２１３を通じて受信したサーバ１５０の制御信号や命令などは、プロセッサ２１２やメモリ２１１に伝達されてよく、コンテンツやファイルなどは、第１電子機器１１０がさらに含むことのできる記録媒体に記録されてよい。
入力／出力インタフェース２１４は、入力／出力装置２１５とのインタフェースのための手段であってよい。例えば、入力装置は、キーボードまたはマウスなどの装置を含んでよく、出力装置は、アプリケーションの通信セッションを表示するためのディスプレイのような装置を含んでよい。他の例として、入力／出力インタフェース２１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。より具体的な例として、第１電子機器１１０のプロセッサ２１２がメモリ２１１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０や第２電子機器１２０が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース２１４を経てディスプレイに表示されてよい。入力／出力インタフェース２２４も同様に、サーバ１５０のプロセッサ２２２がメモリにロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０が提供するデータを利用して構成される情報を出力してよい。
また、他の実施形態において、第１電子機器１１０およびサーバ１５０は、図２の構成要素よりも多くの構成要素を含んでもよい。例えば、第１電子機器１１０は、上述した入力／出力装置２１５のうちの少なくとも一部を含むように構成されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、第１電子機器１１０がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラ、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が第１電子機器１１０にさらに含まれるように実現されてよいことが理解できるであろう。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。
図３は、本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示したブロック図であり、図４は、本発明の一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。
本実施形態に係る第１電子機器１１０には、コンピュータによって実現されたエフェクト提供システムが構成されてよい。エフェクト提供システムは、ＰＣ基盤のプログラムまたはモバイル端末専用のアプリケーションで構成されてよい。本実施形態におけるエフェクト提供システムは、独立的に動作するプログラム形態で実現されてもよいし、あるいは、特定のアプリケーション（例えば、カメラ機能など）のイン−アプリ（ｉｎ−ａｐｐ）形態で構成され、特定のアプリケーション上で動作が可能なように実現されてもよい。エフェクト提供システムは、第１電子機器１１０においてインストールされるアプリケーションの形態で実現され、サーバ１５０との連動による生放送中に感情に合ったランダムエフェクトをカメラ上に直ちに適用することができる。
例えば、第１電子機器１１０においてインストールされたアプリケーションが提供する命令に基づき、第１電子機器１１０に実現されたエフェクト提供システムは、エフェクト提供方法を実行してよい。図４に係るエフェクト提供方法を実行するために、第１電子機器１１０のプロセッサ２１２は、構成要素として、図３に示すように、感情決定部３１０、状況収集部３２０、およびエフェクト選定部３３０を備えてよい。実施形態によっては、プロセッサ２１２の構成要素は、選択的にプロセッサ２１２に含まれても、除外されてもよい。また、実施形態によっては、プロセッサ２１２の構成要素は、プロセッサ２１２の機能の表現のために分離されても、併合されてもよい。
このようなプロセッサ２１２およびプロセッサ２１２の構成要素は、図４のエフェクト提供方法が含む段階４１０〜４４０を実行するように第１電子機器１１０を制御してよい。例えば、プロセッサ２１２およびプロセッサ２１２の構成要素は、メモリ２１１が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードによる命令を実行するように実現されてよい。
ここで、プロセッサ２１２の構成要素は、第１電子機器１１０に記録されたプログラムコードが提供する命令（一例として、第１電子機器１１０において実行されるアプリケーションが提供する命令）にしたがってプロセッサ２１２によって実行される、プロセッサ２１２の互いに異なる機能の表現であってよい。例えば、第１電子機器１１０がカメラ映像に対する感情を決定するように、上述した命令にしたがって第１電子機器１１０を制御するプロセッサ２１２の機能的表現として感情決定部３１０が利用されてよい。
段階４１０で、プロセッサ２１２は、第１電子機器１１０の制御と関連する命令がロードされたメモリ２１１から必要な命令を読み取ってよい。この場合、読み取られた命令は、以下で説明される段階４２０〜４４０をプロセッサ２１２が実行するように制御するための命令を含んでよい。
本発明の実施形態は、生放送やインターネット電話（ＶｏＩＰ）などのように、第１電子機器１１０のカメラで撮影された映像を、インターネット回線を介してリアルタイムで送り出すストリーミング環境において、カメラ映像にＡＲイメージとして所定のエフェクトを合成して１つの映像として提供することができ、特に、カメラ映像に反映しようとするエフェクトを直接指定するのではなく、カメラ映像をリアルタイムで送り出す環境状況を考慮した上で、エフェクトを自動選定してより迅速に提供することを可能にする。上述したライブストリーミング環境はもちろん、ビデオ映像撮影環境などを含むカメラ映像に対してエフェクトを自動選定して提供してもよい。
段階４２０で、感情決定部３１０は、第１電子機器１１０のカメラ映像に反映するエフェクトを選定するための基準として、カメラ映像に対する感情を決定してよい。本明細書において、エフェクトとは、イメージオブジェクトで構成されたコンテンツであって、カメラ映像に合成可能なフィルタ、スタンプ、絵文字などをすべて包括したものを意味してよい。このとき、固定的な形態のオブジェクトはもちろん、フラッシュやアニメーションなどが適用された動くイメージオブジェクトでも実現可能である。このようなエフェクトは、感情情報を示すものであり、感情別に事前に分類されてよい。言い換えれば、複数の感情（例えば、６種類の感情：嬉しい、愛、悲しい、怒り、クール、クレイジー）が事前に定義され、各感情別に該当の感情を示すエフェクトがグループ化されて管理されてよい。一例として、感情決定部３１０は、第１電子機器１１０のユーザが事前に定義された複数の感情のうちのいずれか１つの特定の感情を選択可能とし、ユーザによって選択された感情としてカメラ映像に対する感情を決定してよい。他の例として、感情決定部３１０は、カメラ映像に基づいて顔表情から感情情報を抽出することによってカメラ映像に対する感情を決定してよい。顔表情は、眉毛、目、鼻、口、肌のような顔要素に変形が起こるときに発生する顔筋肉の収縮によって示され、顔表情の強度は、顔特徴の幾何学的変化または筋肉表現の密度によって決定されてよい。例えば、感情決定部３１０は、表情による特徴を抽出するための関心領域（例えば、目領域、眉毛領域、鼻領域、口領域など）を抽出した後、関心領域から特徴点を抽出し、特徴点を利用して一定の特徴値を決定してよい。特徴値とは、特徴点間の距離などによって人間の表情を示す特定の数値に該当する。感情決定部３１０は、決定した特徴値を感情反応値モデルに適用するために、映像に示された特徴値に対する数値の程度に応じて一定の強度値を決定し、予め用意しておいたマッピングテーブルを利用して各特定値の数値にマッチングする一定の強度値を決定する。マッピングテーブルは、感情反応値モデルに基づいて事前に用意される。感情決定部３１０は、感情反応値モデルと強度値をマッピングし、該当の強度値を感情反応値モデルに適用した結果に基づき、決定した感情の種類と強度を抽出してよい。上述した感情情報を抽出する技術は例示的なものに過ぎず、これに限定されることはなく、周知の他の技術を利用することも可能である。
したがって、感情決定部３１０は、ユーザによって選択された感情または映像から自動認識された感情を、カメラ映像に反映するエフェクトを選定するための基準のうちの１つとして決定してよい。
段階４３０で、状況収集部３２０は、第１電子機器１１０のユーザと関連する少なくとも１つの状況情報を収集してよい。言い換えれば、状況収集部３２０は、カメラ映像に反映するエフェクトを選定するための追加基準としてユーザの状況情報を収集してよい。一例として、状況収集部３２０は、カメラ映像と関連する時間情報を収集するものであって、映像撮影時点において第１電子機器１１０から取得した日付や時刻などを含む時間情報を収集してよい。他の例として、状況収集部３２０は、カメラ映像と関連する場所情報を収集するものであって、例えば、映像撮影時点において第１電子機器１１０からＧＰＳ座標のような位置情報などを収集してよい。また他の例として、状況収集部３３０は、カメラ映像と関連する色情報を収集するものであって、映像撮影時点においてカメラスクリーン内に含まれている色値を分析したり、カメラ映像内の顔の肌トーン、カメラ照明色などを認知したりすることによって色情報を収集してよい。また他の例として、状況収集部３３０は、カメラ映像と関連する撮影モード情報を収集するものであって、例えば、インカメラ撮影モード／アウトカメラ撮影モード、または人物撮影モード／背景撮影モードなどのような、映像が撮影されたモード情報を収集してよい。また他の例として、状況収集部３３０は、第１電子機器１１０のユーザが使用したエフェクトに対する履歴情報を収集するものであって、例えば、ユーザが普段よく使用するエフェクトや、このエフェクトと類似するエフェクトに関する情報を収集してよい。また他の例として、状況収集部３３０は、カメラ映像に対するビューア（ｖｉｅｗｅｒ）のフィードバック情報を収集するものであって、ユーザとビューアとの間でやり取りした対話、ビューアによって登録されたコメントや反応などのコンテキストを収集してよい。また他の例として、状況収集部３３０は、カメラ映像と関連するターゲット情報を収集するものであって、例えば、ユーザが特定のコミュニティを選択してカメラ映像を提供しようとする場合、コミュニティの名称やカテゴリなどのように該当のコミュニティに関する情報を収集してよい。さらに他の例として、状況収集部３３０は、カメラ映像から感情強度（程度）を含む表情情報を収集するものであって、カメラ映像内の顔表情から感情種類はもちろん、感情強度も共に収集してよい。感情の種類だけではなく、強度表現が可能なエフェクトも対象として映像内の実際の表情を把握し、エフェクト選定基準として利用してよい。
したがって、状況収集部３２０は、カメラ映像に反映するエフェクトを選定するための追加基準として、ユーザの状況、すなわち、時間情報、場所情報、色情報、撮影モード情報、履歴情報、フィードバック情報、ターゲット情報、および表情情報のうちの少なくとも１つを収集してよい。
段階４４０で、エフェクト選定部３３０は、段階４２０で決定された感情として分類された複数のエフェクトのうちからカメラ映像に反映するエフェクトをランダムに選定してよい。例えば、事前に定義された複数の感情（例えば、６種類の感情：嬉しい、愛、悲しい、怒り、クール、クレイジー）のうちからユーザが「嬉しい」を選択した場合、「嬉しい」に分類されたエフェクトグループ内から特定のエフェクトをランダムに選定してカメラ映像に直ちに適用してよい。したがって、ユーザが選択した感情に基づいて該当の感情のエフェクトをランダムに選定し、リアルタイムで送り出される映像に直ちに提供することができる。
さらに、エフェクト選定部３３０は、カメラ映像に反映するエフェクトとして、段階４２０で決定された感情に対応するエフェクトのうちから、段階４３０で収集された状況情報にマッチングするエフェクトをランダムに選定してよい。このようなランダムエフェクトは、時間情報、場所情報、色情報、撮影モード情報、履歴情報、フィードバック情報、ターゲット情報、および表情情報のうちの少なくとも１つの状況情報に基づく加重値モデリングを利用して選定されてよい。図５に示すように、エフェクト選定部３３０は、エフェクトを選定するための基準として、ユーザによって選択された感情または映像から自動認識された感情５０１を利用するようになるが、ユーザのコンテキストを考慮した状況情報（時間情報、場所情報、色情報、撮影モード情報、履歴情報、フィードバック情報、ターゲット情報、および表情情報のうちの少なくとも１つ）５０２を追加選定基準として利用してよい。それぞれのエフェクトは、該当のエフェクトと関連する属性情報として、メタデータや各種タグ、デザイン要素に関する情報などを含んでよい。これにより、エフェクト選定部３３０は、状況情報と属性情報を比較して、エフェクトに対して状況別に加重値を付与し、加重値として計算されたスコアが最も高いエフェクトを提供してもよいし、加重値として計算されたスコアが一定レベル以上のエフェクトのうちからランダムに選定されたエフェクトを提供してもよい。
状況別に加重値を付与する方法の一例として、エフェクト選定部３３０は、感情５０１とは関係なく、すべての状況情報５０２を追加選定基準として利用し、状況情報５０２別に加重値を付与してよい。他の例として、エフェクト選定部３３０は、感情５０１に応じて追加選定基準となる状況情報５０２を異なるように選択して利用してよい。例えば、「嬉しい」の場合には状況情報５０２のうちの時間情報および場所情報を追加選定基準として利用し、「悲しい」の場合には状況情報５０２のうちの場所情報を追加選定基準として利用してよい。また他の例として、エフェクト選定部３３０は、感情５０１に応じて状況情報５０２別に異なる加重値を付与してよい。例えば、「嬉しい」の場合には状況情報５０２のうちの時間情報および場所情報にさらに高い加重値を付与し、「悲しい」の場合には状況情報５０２のうちの場所情報にさらに高い加重値を付与してよい。
追加選定基準となる状況情報５０２のうちの時間情報の場合：ユーザの撮影日付または撮影時間帯に特化されたエフェクトに加重値を付与してよく、例えば、クリスマス、バレンタインデー、夜遅い時間帯などの特定された時間に特化されたエフェクトを選定してよい。
追加選定基準となる状況情報５０２のうちの場所情報の場合：ユーザの撮影場所またはカメラ映像から特定の場所を認知し、該当の場所に特化されたエフェクトに加重値を付与してよく、例えば、エッフェル塔、ナムサン、明洞などの特定された場所に特化されたエフェクトを選定してよい。
追加選定基準となる状況情報５０２のうちの色情報の場合：カメラスクリーン内に含まれている色値を分析したり、映像内の人物の肌トーンや照明色などを認知したりすることで、該当の色に適したエフェクトに加重値を付与してよく、例えば、カメラ内の全体的な背景色が極めて明るい場合には、類似の色を避け、対照となる色のカメラエフェクトを選定してよい。
追加選定基準となる状況情報５０２のうちの撮影モード情報の場合：インカメラ撮影モード／アウトカメラ撮影モード、または人物撮影モード／背景撮影モードなどの映像撮影モードを認識し、該当のモードに適したエフェクトに加重値を付与してよく、例えば、インカメラを利用したセルフ撮影モード時にはマスクを中心としたエフェクトを選定し、複数の人物を撮影する場合にはフェイススワップエフェクトなどのように複数の人物に適用可能な形態のカメラエフェクトを選定し、アウトカメラを利用した背景撮影モード時には背景場所に特化されたエフェクトを選定してよい。
追加選定基準となる状況情報５０２のうちの履歴情報の場合：ユーザが頻繁に使用するエフェクトまたはこれと類似するエフェクトに加重値を付与してよく、例えば、ユーザがここ最近使用したエフェクト、ここ最近の一定期間内に多く使用されたエフェクトなどを選定してよい。
追加選定基準となる状況情報５０２のうちのフィードバック情報の場合：ユーザとビューアとの間の対話、またはビューアの反応などのコンテキストを分析し、該当の内容とマッチングするエフェクトに加重値を付与してよく、例えば、ユーザとビューアとの間でやり取りした対話のタイトルに適したエフェクトなどを選定してよい。
追加選定基準となる状況情報５０２のうちのターゲット情報の場合：ユーザがカメラ映像を提供しようとするターゲット対象の特性に適したエフェクトに加重値を付与してよく、例えば、スキューバダイビング同好会コミュニティグループに生放送を提供する場合にはスキューバダイビングと関連するカメラエフェクトを選定し、愛犬コミュニティグループに生放送を提供する場合には動物に関するカメラエフェクトを選定してよい。
追加選定基準となる状況情報５０２のうちの表情情報の場合：映像内の顔表情に適したエフェクトに加重値を付与してよく、例えば、映像内の人物が笑っている場合は、笑顔の表情に特化されたエフェクトを選定してよい。他の例として、映像内の顔表情から感情強度を分析し、該当の強度に特化されたエフェクトを選定してもよい。例えば、ユーザが「嬉しい」を選択し、映像から感情強度「３」が認識された場合は、「嬉しい」グループに属するエフェクトのうち感情強度「３」に適したエフェクトを選定してよい。
図６〜図１０は、本発明の一実施形態における、感情に対応するエフェクトを提供する過程を説明するための例示図である。
図６は、生放送として提供されるカメラ映像画面６００を例示的に示した図である。カメラ映像画面６００には、複数の感情に分類されたエフェクトグループを選択するための感情選択メニュー６０１が含まれてよい。例えば、エフェクトグループは、６種類の感情、すなわち、嬉しい、愛、悲しい、怒り、クール、クレイジーに分類されてよく、エフェクト選定基準として感情を選択することができるように、６つの感情アイコンで構成された感情選択メニュー６０１がカメラ映像画面６００上に表示されてよい。
図７を参照すると、ユーザがカメラ映像画面６００上の感情選択メニュー６０１から「嬉しい」アイコンを選択した場合、「嬉しい」グループに属するエフェクトのうちからランダムにエフェクトを選定してカメラに直ちに適用することにより、感情「嬉しい」に適したエフェクト、例えば、ハートマークエフェクトが反映された映像７１０を生放送で提供することが可能となる。
一方、図８に示すように、ユーザがカメラ映像画面６００上の感情選択メニュー６０１から「悲しい」アイコンを選択した場合、「悲しい」グループに属するエフェクトのうちからランダムにエフェクトを選定してカメラに直ちに適用することにより、感情「悲しい」に適したエフェクト、例えば、涙マークエフェクトが反映された映像８１０を生放送で提供することが可能となる。
上述したように、エフェクトを選定するための基準として、ユーザによって選択された感情と共に、少なくとも１つの状況情報を追加で利用することにより、ユーザの状況に合ったランダムエフェクトを選定することが可能となる。したがって、ユーザが選択した感情グループに属するエフェクトのうちから、ユーザの実際の状況により適したエフェクトを選定して生放送で提供することができる。
また、感情選択メニュー６０１に対するユーザジェスチャ類型に応じてカメラに反映するエフェクト選定対象を異なるように適用してよい。例えば、感情選択メニュー６０１に対するユーザジェスチャを、シングルタップ、ダブルタップ、ロングタップに区分し、シングルタップの場合には特定の感情グループ内からランダムに選定されたエフェクトを提供し、ダブルタップの場合にはここ最近使用されたエフェクトを提供し、ロングタップの場合には所定の推薦基準によって推薦されたエフェクトリストからユーザが直接選択したエフェクトを提供してよい。
ユーザがカメラ映像画面６００上の感情選択メニュー６０１で「嬉しい」アイコンをシングルタップした場合、図７を参照して説明したように、「嬉しい」グループ内からランダムに選定されたエフェクト、例えば、ハートマークエフェクトが反映された映像７１０が生放送で提供されてよい。
「嬉しい」グループ内で星マークエフェクトがここ最近使用されたエフェクトであると仮定すると、図９に示すように、ユーザがカメラ映像画面６００上の感情選択メニュー６０１から「嬉しい」アイコンをダブルタップした場合、該当の感情グループ内から、ランダムエフェクトではなくここ最近使用されたエフェクトである星マークエフェクトをカメラ映像に直ちに適用することにより、「嬉しい」グループのエフェクトのうちここ最近使用されたエフェクトが反映された映像９１０が生放送で提供されるようになる。
図１０を参照すると、ユーザがカメラ映像画面６００上の感情選択メニュー６０１で「嬉しい」アイコンをロングタップした場合、「嬉しい」グループ内において、所定の条件に該当する一部のエフェクトを推薦エフェクトリスト１０１１として構成して提供してよい。一例として、推薦エフェクトは、エフェクトに対するユーザ履歴情報に基づいた基準によって選定されてよく、例えば、ユーザが頻繁に利用するエフェクトを推薦してよい。ユーザが「嬉しい」グループ内で頻繁に利用したエフェクトで構成された推薦エフェクトリスト１０１１からカメラ映像に反映するエフェクトを直接選択してよく、ランダムエフェクトではなく、ユーザによって直接選択されたエフェクト（例えば、くちびるマークエフェクト）が反映された映像１０１０が生放送で提供されてよい。
このように、本発明の実施形態によると、生放送状況を考慮し、放送の流れを切らずに迅速にカメラエフェクトを提供することができ、生放送中にユーザによって選択された感情や映像から自動認識された感情に合ったカメラエフェクトを提供することができる。また、本発明の実施形態によると、ユーザによって選択された感情や映像から自動認識された感情に合うカメラエフェクトのうちから、ユーザの状況を考慮した加重値モデリングを利用してカメラエフェクトを提供することにより、該当となる感情を極大化して表現することができるエフェクトを提供することができる。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータによって実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時的に記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよいが、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
２１２：プロセッサ
３１０：感情決定部
３２０：状況収集部
３３０：エフェクト選定部

Claims (14)

  1. コンピュータによって実現される電子機器におけるエフェクト提供方法であって、
    前記電子機器のカメラ映像に反映するエフェクトを選定するための基準として、前記カメラ映像に対応する感情を決定する決定段階、
    前記電子機器のユーザと関連する状況情報を収集する収集段階、および
    前記の決定された感情に基づき、該当の感情を示すエフェクトのうちからランダムに選定されたエフェクトを前記カメラ映像に直ちに反映する反映段階
    を含み、
    前記反映段階は、前記の決定された感情を示すエフェクトのうちから、前記の決定された感情に応じて前記状況情報別に異なる加重値を付与し、前記加重値に基づいて、前記カメラ映像に反映するエフェクトを選定する段階を含む、エフェクト提供方法。
  2. 前記決定する段階は、
    前記電子機器のユーザによって選択された感情をエフェクト選定基準として決定する、
    請求項１に記載のエフェクト提供方法。
  3. 前記決定する段階は、
    前記カメラ映像の顔表情から認識された感情をエフェクト選定基準として決定する、
    請求項１に記載のエフェクト提供方法。
  4. 前記状況情報は、
    前記カメラ映像と関連する時間情報、前記カメラ映像と関連する場所情報、前記カメラ映像と関連する色情報、前記カメラ映像と関連する撮影モード情報、前記ユーザが使用したエフェクトに対する履歴情報、前記カメラ映像に対するフィードバック情報、前記カメラ映像と関連するターゲット情報、および前記カメラ映像から認識された表情情報のうちの少なくとも１つを含む、
    請求項１に記載のエフェクト提供方法。
  5. 前記選定する段階は、
    前記の決定された感情に応じて互いに異なる状況情報を選択してエフェクト選定基準として利用する、
    請求項４に記載のエフェクト提供方法。
  6. 前記決定段階は、
    複数の感情アイコンで構成された感情選択メニューを提供する段階、および
    前記感情選択メニューから選択された感情をエフェクト選定基準として決定する段階
    を含む、請求項１に記載のエフェクト提供方法。
  7. 前記反映段階は、
    前記感情選択メニューに対するユーザジェスチャ類型に基づき、前記の決定された感情に対応するエフェクトのうちから前記カメラ映像に反映するエフェクト選定対象を異なるように選定する、
    請求項６に記載のエフェクト提供方法。
  8. 請求項１〜７のうちのいずれか一項に記載のエフェクト提供方法をコンピュータに実行させるためのコンピュータプログラム。
  9. 請求項８に記載のコンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体。
  10. コンピュータによって実現される電子機器でのエフェクト提供システムであって、
    コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
    を含み、
    前記少なくとも１つのプロセッサは、
    前記電子機器のカメラ映像に反映するエフェクトを選定するための基準として、前記カメラ映像に対応する感情を決定する感情決定部、
    前記電子機器のユーザと関連する状況情報を収集する状況収集部、および
    前記の決定された感情に基づき、該当の感情を示すエフェクトのうちからランダムに選定されたエフェクトを前記カメラ映像に直ちに反映するエフェクト選定部
    を備え、
    前記エフェクト選定部は、前記の決定された感情を示すエフェクトのうちから、前記の決定された感情に応じて前記状況情報別に異なる加重値を付与し、前記加重値に基づいて、前記カメラ映像に反映するエフェクトを選定する、エフェクト提供システム。
  11. 前記感情決定部は、
    前記電子機器のユーザによって選択された感情または前記カメラ映像の顔表情から認識された感情をエフェクト選定基準として決定する、
    請求項１０に記載のエフェクト提供システム。
  12. 前記状況情報は、
    前記カメラ映像と関連する時間情報、前記カメラ映像と関連する場所情報、前記カメラ映像と関連する色情報、前記カメラ映像と関連する撮影モード情報、前記ユーザが使用したエフェクトに対する履歴情報、前記カメラ映像に対するフィードバック情報、前記カメラ映像と関連するターゲット情報、および前記カメラ映像から認識された表情情報のうちの少なくとも１つを含む、
    請求項１０に記載のエフェクト提供システム。
  13. 前記エフェクト選定部は、
    前記の決定された感情に応じて互いに異なる状況情報を選択してエフェクト選定基準として利用する、
    請求項１２に記載のエフェクト提供システム。
  14. 前記感情決定部は、
    複数の感情アイコンで構成された感情選択メニューを提供し、前記感情選択メニューから選択された感情をエフェクト選定基準として決定し、
    前記エフェクト選定部は、
    前記感情選択メニューに対するユーザジェスチャ類型に基づき、前記の決定された感情に対応するエフェクトのうちから前記カメラ映像に反映するエフェクト選定対象を異なるように選定する、
    請求項１０に記載のエフェクト提供システム。
JP2018196434A 2017-10-18 2018-10-18 カメラエフェクトを提供する方法およびシステム Active JP6684883B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170135369A KR101968723B1 (ko) 2017-10-18 2017-10-18 카메라 이펙트를 제공하는 방법 및 시스템
KR10-2017-0135369 2017-10-18

Publications (2)

Publication Number Publication Date
JP2019075124A JP2019075124A (ja) 2019-05-16
JP6684883B2 true JP6684883B2 (ja) 2020-04-22

Family

ID=66097086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018196434A Active JP6684883B2 (ja) 2017-10-18 2018-10-18 カメラエフェクトを提供する方法およびシステム

Country Status (4)

Country Link
US (1) US10742900B2 (ja)
JP (1) JP6684883B2 (ja)
KR (1) KR101968723B1 (ja)
CN (1) CN109688451B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305317B (zh) * 2017-08-04 2020-03-17 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
DE112017008174B4 (de) * 2017-11-27 2022-02-17 Mitsubishi Electric Corporation Ausdruckserkennungseinrichtung
CN110233840B (zh) * 2019-06-06 2022-02-25 广州虎牙信息科技有限公司 一种业务处理方法、装置、设备和存储介质
JP7374430B2 (ja) * 2019-07-26 2023-11-07 株式会社オレンジテクラボ 動画像処理装置、動画像処理方法及び動画像処理プログラム
CN112307816A (zh) * 2019-07-29 2021-02-02 北京地平线机器人技术研发有限公司 车内图像获取方法、装置以及电子设备、存储介质
KR20190106850A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 Xr 컨텐츠 제공 방법 및 xr 컨텐츠 제공 디바이스
CN111144266B (zh) * 2019-12-20 2022-11-22 北京达佳互联信息技术有限公司 人脸表情的识别方法及装置
JP7316664B2 (ja) * 2020-02-03 2023-07-28 マルコムホールディングス株式会社 対話ユーザの感情情報の提供装置
CN113434223A (zh) * 2020-03-23 2021-09-24 北京字节跳动网络技术有限公司 特效处理方法及装置
US11604562B2 (en) 2020-06-10 2023-03-14 Snap Inc. Interface carousel for use with image processing software development kit
JP7385289B2 (ja) * 2021-08-03 2023-11-22 株式会社フロンティアチャンネル プログラム及び情報処理装置
US12015865B2 (en) * 2022-06-04 2024-06-18 Jeshurun de Rox System and methods for evoking authentic emotions from live photographic and video subjects
CN115439307B (zh) * 2022-08-08 2023-06-27 荣耀终端有限公司 风格转换方法、风格转换模型的生成方法和风格转换系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4291963B2 (ja) * 2000-04-13 2009-07-08 富士フイルム株式会社 画像処理方法
KR20030029556A (ko) 2003-03-11 2003-04-14 이상광 모바일 단말기를 이용한 방송컨텐츠 제공방법 및 그프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP4352380B2 (ja) * 2003-08-29 2009-10-28 株式会社セガ 動画像双方向通信端末、コンピュータプログラム及び通話制御方法
JP2005202854A (ja) * 2004-01-19 2005-07-28 Nec Corp 画像処理装置、画像処理方法及び画像処理プログラム
KR100628756B1 (ko) * 2004-09-07 2006-09-29 엘지전자 주식회사 이동단말기로 화상 통화시의 이펙트 화면 제공 장치 및방법
JP2010066844A (ja) 2008-09-09 2010-03-25 Fujifilm Corp 動画コンテンツの加工方法及び装置、並びに動画コンテンツの加工プログラム
JP4623200B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR101533065B1 (ko) * 2008-12-01 2015-07-01 삼성전자주식회사 화상통화 중 애니메이션 효과 제공 방법 및 장치
KR20110030223A (ko) * 2009-09-17 2011-03-23 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101649158B1 (ko) * 2010-03-03 2016-08-18 엘지전자 주식회사 감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치
US9747495B2 (en) * 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
JP6369073B2 (ja) * 2014-03-20 2018-08-08 フリュー株式会社 管理サーバ、写真シール作成装置、画像管理システム、画像管理方法、画像送信方法、プログラム、及び、記録媒体
US9277180B2 (en) * 2014-06-30 2016-03-01 International Business Machines Corporation Dynamic facial feature substitution for video conferencing
CN107005724B (zh) * 2014-12-03 2020-09-18 索尼公司 信息处理装置、信息处理方法和程序
CN105791692B (zh) * 2016-03-14 2020-04-07 腾讯科技（深圳）有限公司 一种信息处理方法、终端及存储介质
US10554908B2 (en) * 2016-12-05 2020-02-04 Facebook, Inc. Media effect application

Also Published As

Publication number Publication date
US10742900B2 (en) 2020-08-11
CN109688451A (zh) 2019-04-26
CN109688451B (zh) 2021-04-02
US20190116323A1 (en) 2019-04-18
JP2019075124A (ja) 2019-05-16
KR101968723B1 (ko) 2019-04-12

Similar Documents

Publication Publication Date Title
JP6684883B2 (ja) カメラエフェクトを提供する方法およびシステム
CN112738408B (zh) 图像修改器的选择性识别和排序
US20200412975A1 (en) Content capture with audio input feedback
US10606609B2 (en) Context-based discovery of applications
US11776256B2 (en) Shared augmented reality system
TWI617930B (zh) 空間物件搜尋排序方法、系統與電腦可讀取儲存裝置
US20200412864A1 (en) Modular camera interface
US11567638B2 (en) Method, system, and non-transitory computer-readable record medium for providing reputation badge for video chat
KR102199735B1 (ko) 영상을 위한 효과 공유 방법 및 시스템
JP5605725B2 (ja) 情報報知システム、情報報知方法、情報処理装置及びその制御方法と制御プログラム
WO2019017582A1 (ko) 클라우드 소싱 기반의 ar 컨텐츠 템플릿을 수집하여 ar 컨텐츠를 자동으로 생성하는 방법 및 시스템
JP2021520535A (ja) ニューラルネットワークを利用して状況を認知する拡張現実提供装置、提供方法、およびコンピュータプログラム
CN115066667A (zh) 使用深度学习来确定注视
JP7393487B2 (ja) プロフィール写真を推薦する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体
KR20180043866A (ko) 웨어러블 디바이스와의 연동을 통한 컨텐츠 소비 방법 및 시스템
JP2021152942A (ja) 服飾コーディネート方法及び装置、コンピューティングデバイス及び媒体
CN108052506B (zh) 自然语言处理方法、装置、存储介质及电子设备
KR20200076273A (ko) 얼굴 이미지와 메신저 계정의 연동에 기반한 이미지 관리 방법 및 시스템
CN111625101A (zh) 一种展示控制方法及装置
KR102485811B1 (ko) 이미지에서 추출된 키워드를 이용하여 이미지를 필터링하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
KR102147485B1 (ko) 촬영 가이드 방법 및 시스템
WO2024051467A1 (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200330

R150 Certificate of patent or registration of utility model

Ref document number: 6684883

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250