KR102491773B1 - 이미지 변형 제어 방법, 장치 및 하드웨어 장치 - Google Patents

이미지 변형 제어 방법, 장치 및 하드웨어 장치 Download PDF

Info

Publication number
KR102491773B1
KR102491773B1 KR1020217024178A KR20217024178A KR102491773B1 KR 102491773 B1 KR102491773 B1 KR 102491773B1 KR 1020217024178 A KR1020217024178 A KR 1020217024178A KR 20217024178 A KR20217024178 A KR 20217024178A KR 102491773 B1 KR102491773 B1 KR 102491773B1
Authority
KR
South Korea
Prior art keywords
image
deformation
audio file
obtaining
attribute value
Prior art date
Application number
KR1020217024178A
Other languages
English (en)
Other versions
KR20210110852A (ko
Inventor
이엔하오 쉔
슈 판
구앙야오 니
휘 양
Original Assignee
베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 filed Critical 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
Publication of KR20210110852A publication Critical patent/KR20210110852A/ko
Application granted granted Critical
Publication of KR102491773B1 publication Critical patent/KR102491773B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

본 발명은 이미지 변형 제어 방법, 장치 및 하드웨어 장치를 제공한다. 상기 이미지 변형 제어 방법은 처리 대기 이미지를 획득하는 스텝과, 오디오 파일을 획득하는 스텝과, 상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 스텝과, 상기 제1 속성값에 의해 상기 이미지의 변형 폭을 확정하는 스텝과, 상기 이미지의 변형 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 하는 스텝을 포함한다. 본 발명의 실시예에 따른 이미지 변형 제어 방법은 오디오 파일의 속성값에 의해 이미지의 변형 폭을 제어하는 것에 의해, 종래의 기술에 의해 변형의 특수효과를 용이하게 획득할 수 없는 문제를 해결할 수 있다.

Description

이미지 변형 제어 방법, 장치 및 하드웨어 장치
본 출원은 2019년 01월 25일에 중국 특허국 (특허청에 상당함)에 제출하고, 출원 번호가 201910073610.7이며, 발명의 명칭이 “이미지 변형 제어 방법, 장치 및 하드웨어 장치”인 중국 특허출원의 우선권을 출장하고, 이 중국 출원의 전문 내용을 본 출원에 도입한다.
본 발명은 이미지 처리의 기술분야에 속하고, 특히는 이미지 변형 제어 방법, 장치 및 하드웨어 장치에 관한 것이다.
컴퓨터 기술의 발전에 따라 인텔리전트 단말 (intelligent terminal)의 사용범위가 점점 넓어지고 있다. 예를 들면, 인텔리전트 단말에서 음악을 듣고, 게임을 하고, 온라인 채팅을 하고, 사진을 찍을 수 있다. 인텔리전트 단말의 카메라 기술의 발전에 따라, 이 카메라의 픽셀은 1000만 이상으로 되고, 높은 아티큘레이션을 획득하고, 프로페셔널 카메라과 필적할 수 있는 촬영 품질을 획득할 수 있다.
종래의 인텔리전트 단말 카메라로 사진을 찍을 때, 출하 시에 인텔리전트 단말에 인스톨된 촬영 소프트에 의해 일반 사진을 획득할 수 있고, 인터넷으로 다운로드한 애플리케이션 (Application, APP와 약칭), 예를 들면 다크 라이트 (dark light)을 검출하는 APP, 뷰티 플러스 (BeautyPlus)을 획득할 수 있는 APP, 슈퍼 픽셀 (Super pixel)을 획득하는 APP 등에 의해 사진의 품질을 더 향상시킬 수 있다. 인텔리전트 단말의 특수효과 기능은 통상, 피부의 색을 조절하고, 큰 눈을 획득하고, 얼굴의 슬림 효과를 획득하는 것을 포함하고, 이미지에서 검출한 얼굴에 대하여 일정한 특수효과처리 (뷰티 플러스)를 할 수 있다.
하지만, 종래의 기술에서 특수효과를 획득하기 위하여, 특수효과를 미리 설정한 후, 이 특수효과를 비디오 또는 이미지 중에 합성시킬 필요가 있다. 특수효과를 개정할 필요가 있을 경우, 특수효과를 다시 작성한 후, 이 특수효과를 비디오 또는 이미지 중에 다시 합성시킬 필요가 있으므로, 특수효과를 획득하는 편리성이 좋지 않다.
본 발명의 첫번째 목적은 하기 기술적 사항을 제공하는 것에 있다.
본 발명의 이미지 변형 제어 방법은 처리 대기 이미지를 획득하는 스텝과, 오디오 파일을 획득하는 스텝과, 상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 스텝과, 상기 제1 속성값에 의해 상기 이미지의 변형 폭을 확정하는 스텝과, 상기 이미지의 변형 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 하는 스텝을 포함한다.
본 발명의 실시예에 있어서, 상기 처리 대기 이미지를 획득하는 스텝은, 비디오 이미지를 획득한 후, 상기 비디오 이미지 중의 비디오 프레임 이미지를 처리 대기 이미지로 하는 스텝을 포함한다.
본 발명의 실시예에 있어서, 상기 오디오 파일을 획득하는 스텝은 상기 비디오 이미지에 포함된 오디오 파일을 획득하는 스텝을 포함한다.
본 발명의 실시예에 있어서, 상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 스텝은 상기 오디오 파일을 재생하는 스텝과, 상기 비디오 이미지가 현재 재생되고 있는 비디오 프레임 이미지를 획득하는 스텝과, 상기 비디오 프레임 이미지에 의해 현재의 타이밍을 계산하는 스텝과, 상기 현재의 타이밍에 의해 상기 오디오 파일의 제1 속성값을 획득하는 스텝을 포함한다.
본 발명의 실시예에 있어서, 상기 오디오 파일을 획득하는 스텝은 오디오 파일을 획득한 후 이 오디오 파일을 분석하는 것에 의해 상기 오디오 파일 중의 각 타이밍과 오디오 파일의 제1 속성값의 대응 관계표를 획득하는 스텝을 포함한다.
본 발명의 실시예에 있어서, 상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 스텝은 상기 오디오 파일을 재생하는 스텝과, 상기 오디오의 현재의 재생 타이밍을 획득하는 스텝과, 상기 대응 관계표에 의해 현재의 재생 타이밍에 대응하는 제1 속성값을 획득하는 스텝을 포함한다.
본 발명의 실시예에 있어서, 상기 제1 속성값에 의해 상기 이미지의 변형 폭을 확정하는 스텝은 제1 속성값과 상기 이미지의 변형 폭의 대응 관계를 획득하는 스텝과, 상기 제1 속성값과 상기 대응 관계에 의해 상기 이미지의 변형 폭을 계산하는 스텝을 포함한다.
본 발명의 실시예에 있어서, 상기 이미지의 변형 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 하는 스텝은 변형 타입을 획득하는 스텝과, 상기 이미지 변형 타입과 이미지의 변형 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 하는 스텝을 포함한다.
본 발명의 실시예에 있어서, 상기 변형 타입을 획득하는 스텝은 현재의 이미지의 상태 시리얼 넘버를 획득하는 스텝과, 상기 상태 시리얼 넘버에 의해 변형 타입을 획득하는 스텝을 포함한다.
본 발명의 실시예에 있어서, 상기 현재의 이미지 상태 시리얼 넘버를 획득하는 상기 스텝은 이미지의 변형 폭을 획득하는 스텝과, 상기 이미지의 변형 폭이 제1 한계값보다 클 때, 변형 위치의 값을 진실치로 설정하는 동시에 현재 이미지의 상태 시리얼 넘버를 획득하는 스텝과, 상기 이미지의 변형 폭이 제1 한계값보다 작고, 변형 위치의 값이 진실치일 때, 현재의 이미지의 상태 시리얼 넘버에 1을 더하는 것에 의해 제1 상태 시리얼 넘버를 획득하는 스텝과, 상기 제1 상태 시리얼 넘버를 상기 상태 시리얼 넘버의 총수로 나누어서 획득한 수치를 현재의 이미지의 상태 시리얼 넘버로 하는 스텝을 포함한다.
본 발명의 두 번째 목적은 하기 기술적 사항을 제공하는 것에 있다.
본 발명의 이미지 변형 제어장치는,
처리 대기 이미지를 획득하는 것에 사용되는 이미지 획득 모듈과,
오디오 파일을 획득하는 것에 사용되는 오디오 파일 획득 모듈과,
상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 것에 사용되는 제1 속성값 획득 모듈과,
상기 제1 속성값에 의해 상기 이미지의 변형 폭을 확정하는 것에 사용되는 변형 폭 획득 모듈과,
상기 이미지의 변형 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 하는 것에 사용되는 변형 처리 모듈을 포함한다.
본 발명의 실시예에 있어서, 상기 이미지 획득 모듈은 비디오 이미지 획득 모듈을 더 포함하고, 이 비디오 이미지 획득 모듈은 비디오 이미지를 획득하는 한편 상기 비디오 이미지 중의 비디오 프레임 이미지를 처리 대기 이미지로 하는 것에 사용된다.
본 발명의 실시예에 있어서, 상기 오디오 파일 획득 모듈은 상기 비디오 이미지에 포함된 오디오 파일을 획득하는 것에도 사용된다.
본 발명의 실시예에 있어서, 상기 제1 속성값 획득 모듈은,
상기 오디오 파일을 재생하는 것에 사용되는 제1 오디오 파일 재생 모듈과,
상기 비디오 이미지가 현재 재생되고 있는 비디오 프레임 이미지를 획득하는 것에 사용되는 비디오 프레임 이미지 획득 모듈과,
상기 비디오 프레임 이미지에 의해 현재의 타이밍을 계산하는 것에 사용되는 제1 타이밍 획득 모듈과,
상기 현재의 타이밍에 의해 상기 오디오 파일의 제1 제1 속성값을 획득하는 제1 속성값 획득 모듈을 포함한다.
본 발명의 실시예에 있어서, 상기 오디오 파일 획득 모듈은 오디오 파일 분석 모듈을 포함하고,
상기 오디오 파일 분석 모듈은 오디오 파일을 획득한 후 이 오디오 파일을 분석하는 것에 의해, 상기 오디오 파일 중의 각 타이밍과 오디오 파일의 제1 속성값의 대응 관계표를 획득하는 것에 사용된다.
본 발명의 실시예에 있어서, 상기 제1 속성값 획득 모듈은 상기 오디오 파일의 현재의 재생 타이밍을 계산하는 제2 타이밍 획득 모듈과, 상기 대응 관계표에 의해 현재의 재생 타이밍에 대응하는 제1 속성값을 획득하는 제2제1 속성값 획득 모듈을 포함한다.
본 발명의 실시예에 있어서, 상기 변형 폭 획득 모듈은 제1 속성값과 상기 이미지의 변형 폭의 대응 관계를 획득하는 대응 관계 획득 모듈과, 상기 제1 속성값과 상기 대응 관계에 의해 상기 이미지의 변형 폭을 계산하는 이미지 변형 폭 계산 모듈을 포함한다.
본 발명의 실시예에 있어서, 상기 변형 처리 모듈은 변형 타입을 획득하는 변형 타입 획득 모듈과, 상기 이미지 변형 타입과 이미지의 변형 폭에 의해 상기 처리 대기 이미지의 변형 처리를 하는 제1 변형 처리 모듈을 포함한다.
본 발명의 실시예에 있어서, 상기 변형 타입 획득 모듈은 처리 대기 이미지를 분할하는 것에 의해 처리를 기다리고 있는 목표대상의 윤곽 구역을 획득하는 상태 시리얼 넘버 획득 모듈과, 상기 상태 시리얼 넘버에 의해 변형 타입을 획득하는 변형 타입 획득 모듈을 포함한다.
본 발명의 실시예에 있어서, 상기 상태 시리얼 넘버 획득 모듈은,
상기 이미지의 변형 폭을 획득하는 제1 변형 폭 획득 모듈과,
상기 이미지의 변형 폭이 제1 한계값보다 클 때, 변형 위치의 값을 진실치로 설정하는 동시에 현재의 이미지의 상태 시리얼 넘버를 획득하는 제1 현재 상태 시리얼 넘버 획득 모듈과,
상기 이미지의 변형 폭이 제1 한계값보다 작고, 변형 위치의 값이 진실치일 때, 현재의 이미지의 상태 시리얼 넘버에 1을 더하는 것에 의해 제1 상태 시리얼 넘버를 획득하고, 상기 제1 상태 시리얼 넘버를 상기 상태 시리얼 넘버의 총수로 나누어서 획득한 수치를 현재의 이미지의 상태 시리얼 넘버로 하는 제2 현재 상태 시리얼 넘버 획득 모듈을 포함한다.
본 발명의 세 번째 목적은 하기 기술적 사항을 제공하는 것에 있다.
본 발명의 전자장치는 비과도성 컴퓨터 판독이 가능한 지령을 기억하는 기억장치와, 상기 컴퓨터 판독이 가능한 지령을 실행하는 것에 의해 상기 임의의 한항에 기재된 이미지 변형 제어 방법 중의 각 스텝을 실시하는 처리 장치를 포함한다.
본 발명의 네 번째 목적은 하기 기술적 사항을 제공하는 것에 있다.
본 발명의 컴퓨터 판독이 가능한 기억 매체는 비과도성 컴퓨터 판독이 가능한 지령을 기억하고, 상기 비과도성 컴퓨터 판독이 가능한 지령이 컴퓨터에 실행되는 것에 의해 상기 컴퓨터는 상기 임의의 한항에 기재된 이미지 변형 제어 방법 중의 각 스텝을 실시한다.
본 발명은 이미지 변형 제어 방법, 장치 및 하드웨어 장치를 공개한다. 상기 이미지 변형 제어 방법은 처리 대기 이미지를 획득하는 스텝과, 오디오 파일을 획득하는 스텝과, 상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 스텝과, 상기 제1 속성값에 의해 상기 이미지의 변형 폭을 확정하는 스텝과, 상기 이미지의 변형 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 하는 스텝을 포함한다. 본 발명의 실시예에 따른 이미지 변형 제어 방법은 오디오 파일의 속성값에 의해 이미지의 변형 폭을 제어하는 것에 의해, 종래의 기술에 의해 변형의 특수효과를 용이하게 획득할 수 없는 문제를 해결할 수 있다.
위에서, 본 발명의 기술적 사항을 간단히 설명해 왔다. 본 발명의 기술적 사항을 보다 상세하게 이해하고, 명세서의 내용 대로 실시하고, 본 발명의 상기 목적, 특징 및 발명의 효과를 보다 상세하게 이해하게 하기 위하여, 이하, 본 발명이 호적한 실시예와 도면에 의해 본 발명을 상세하게 설명한다.
본 발명의 실시예의 기술적 사항을 보다 상세하게 설명하기 위하여, 이하, 본 발명의 실시예에서 사용되는 도면을 간단히 설명한다. 주의 받고 싶은 것은, 하기 도면은 본 발명의 예시에 지나지 않는 것이고, 이 기술분야의 기술자는 하기 도면에 의해 창조적인 연구를 하지 않아도 다른 도면을 도출할 수 있고, 이러한 것들이 있어도 본 발명에 포함된 것은 물론이다.
도 1은 본 발명의 실시예에 따른 이미지 변형 제어 방법을 나타내는 플로차트이다.
도 2는 본 발명의 이미지 변형 제어 방법 중의 스텝 S10501의 구체적인 실시예를 나타내는 플로차트이다.
도 3은 본 발명의 이미지 변형 제어 방법 중의 스텝 S201의 구체적인 실시예를 나타내는 플로차트이다.
도 4는 본 발명의 이미지 변형 제어 방법 중의 상태 변환 방법의 구체적인 실시예를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 이미지 변형 제어장치 구조를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 이미지 변형 제어장치 중의 변형 타입 획득 모듈 50501의 구체적인 실시예의 구체적인 구조를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 전자장치의 구조를 나타내는 도면이다.
이하, 특정한 구체적인 실시예에 의해 본 발명의 실시형태를 설명하고, 이 기술분야의 기술자는 이 명세서가 공개한 사항에 의해 본 발명의 이점과 효과를 용이하게 이해할 수 있다. 주의 받고 싶은 것은, 하기 실시예는 본 발명의 일부분의 실시예를 나타내는 것이며, 본 발명의 모든 실시예를 나타내는 것은 아니다. 이 명세서에 기재되지 않은 다른 구체적인 실시형태에 의해 본 발명을 실시하거나 또는 사용할 수도 있다. 관점과 사용이 상이할 경우, 본 발명의 요지를 일탈하지 않는 범위 내에서 본 발명의 각 세부에 대하여 여러가지 변경 또는 개량을 할 수 있다. 주의 받고 싶은 것은 모순이 없을 경우 하기 실시예와 실시예 중의 특징을 소원 대로 조합시킬 수 있다. 본 발명의 실시예에 있어서, 본 기술분야의 기술자는 창조적인 연구를 하지 않아도 다른 실시예를 도출할 수 있고, 이러한 것들이 있어도 본 발명에 포함된 것은 물론이다.
주의 받고 싶은 것은, 하기 명세서에서 특허청구의 범위에 관한 실시예의 각 사항을 설명한다. 모두 알고 있는 바와 같이, 이 명세서에서 설명하는 사항을 여러가지 방면에 사용할 수 있고, 이 명세서에서 설명하는 임의의 특징과 / 또는 기능은 본 발명의 예시에밖에 지나치지 않는 것이다. 본 기술분야의 기술자는 본 발명의 사항에 의해 본 발명의 각 실시예를 각자로 실시하거나 또는 복수의 실시예 중의 2개 또는 2개 이상의 실시예를 조합시켜서 실시할 수 있다. 예를 들면, 본 발명이 임의의 수량의 실시예에 따른 장치와 / 또는 실시 방법을 자유롭게 사용할 수 있다. 본 발명에서 설명하는 하나 또는 복수개의 실시예에만 한정되는 것은 아니고, 다른 구조와 / 또는 기능을 사용하는 것에 의해 본 발명의 장치와 / 또는 실시 방법을 실시할 수도 있다.
주의 받고 싶은 것은, 본 발명의 실시예에서 제공하는 도면은 본 발명의 기본적 구성만을 나타내는 것이며, 도면에는 본 발명의 실시예에 따른 모듈이 기재되어 있지만, 이것들은 본 발명을 실시할 때의 실제 모듈의 수량, 형태 및 사이즈를 나타내는 것은 아니다. 본 발명을 실제로 실시할 때, 각 모듈의 형태, 수량 및 비례를 자유롭게 변화시키고, 각 모듈의 배치도 보다 복잡하게 할 수 있다.
하기 실시예에서 제공하는 구체적인 세부는 본 발명을 철저하게 이해하게 하기 위한 실례이다. 본 기술분야의 기술자는 하기 구체적인 세부가 없어도 본 발명을 실시할 수 있다.
본 발명의 실시예에 있어서, 이미지 변형 제어 방법을 제공한다. 본 실시예에 따른 상기 이미지 변형 제어 방법은 하나의 컴퓨터에 의해 실행되고, 상기 컴퓨터는 소프트웨어 또는 소프트웨어와 하드웨어의 조합에 의해 상기 이미지 변형 제어 방법을 실시할 수 있다. 상기 컴퓨터는 서버, 단말장치 등에 설치된다. 도 1에 표시된 바와 같이, 상기 이미지 변형 제어 방법은 주로 하기 스텝 S101 ~ 스텝 S105을 포함한다.
스텝 S101에 있어서, 처리 대기 이미지를 획득한다.
본 실시예에 있어서, 이미지 센서에 의해 처리 대기 이미지를 획득할 수 있다. 상기 이미지 센서는 이미지를 검출하는 여러가지 장치일 수 있고, 상용하는 이미지 센서는 비디오 카메라, 웹 캠, 카메라 등일 수 있다. 본 실시예에 있어서, 상기 이미지 센서는 단말장치에 설치된 웹 캠, 예를 들면 스마트폰에 설치된 전부 카메라 또는 후부 카메라일 수 있다. 웹 캠이 검출한 이미지는 스마트폰의 표시 패널에 직접 표시될 수 있다. 스텝 S101에 있어서, 이미지 센서가 검출한 비디오 이미지를 획득하는 동시에 이 비디오 이미지를 다음의 이미지 처리에 사용한다.
본 실시예에 있어서, 획득한 상기 처리 대기 이미지는 현재의 단말장치가 채집한 비디오의 현재의 이미지 프레임 (image frame)일 수 있다. 비디오는 복수의 이미지 프레임에서 구성되므로, 상기 스텝 S101에서 비디오 이미지를 획득한 후, 상기 비디오 이미지 중의 비디오 프레임 이미지를 처리 대기 이미지로 할 수 있다. 바람직하게는, 상기 비디오 이미지를 획득한 후, 상기 비디오 이미지 중의 비디오 프레임 이미지를 처리 대기 이미지로 하는 스텝은 상기 비디오 이미지에서 현재의 재생 타이밍에 대응하는 비디오 프레임 이미지를 획득하는 동시에 현재의 재생 타이밍에 대응하는 상기 비디오 프레임 이미지를 처리 대기 이미지로 하는 것을 포함한다. 본 실시예에 있어서, 현재의 타이밍이 상이한 것에 의해 비디오 이미지에서 다른 비디오 프레임 이미지를 획득하여 처리할 수 있다.
스텝 S102에 있어서, 오디오 파일을 획득한다.
스텝 S102에 있어서, 상기 오디오 파일은 현지의 기억장치에 기억된 오디오 파일이거나 또는 네트워크 스토리지 (network storage)에 기억된 오디오 파일이며, 상용하는 오디오 파일은 음악, 사람의 목소리 등일 수 있다.
본 발명의 실시예에 있어서, 오디오 파일을 획득하는 스텝은, 오디오 파일을 획득한 후 이 오디오 파일을 분석하는 것에 의해 상기 오디오 파일 중의 각 타이밍과 오디오 파일의 제1 속성값의 대응 관계표를 획득하는 것을 포함한다. 바람직하게는, 상기 오디오 파일과 처리 대기 이미지는 따로따로 존재하는 것이며, 상기 이미지는 움직이는 이미지 예를 들면 비디오 또는 동영상이거나 또는 정지하여 있는 이미지 예를 들면 사진일 수 있다. 사용하려고 하는 오디오 파일을 획득하는 동시에 이 오디오 파일에 대하여 미리 처리를 한다. 상기 미리 처리는 각 타이밍에서 오디오 파일에 대하여 분석을 하는 것이며, 상기 타이밍은 샘플링의 주파수에 의해 설정될 수 있다. 본 발명의 실시예에 있어서, 각 타이밍 사이의 간격을 10ms로 할 수 있다. 즉 10ms를 사이두고 타이밍을 하번씩 샘플링할 수 있다. 상기 타이밍에서 오디오 파일의 제1 속성값을 분석한다. 상기 오디오 파일의 제1 속성값은 오디오 파일이 임의의 속성, 예를 들면 음량, 음조, 음색, 렝스, 리듬 등일 수 있다. 본 실시예에 있어서, 오디오 파일의 제1 속성값이 리듬의 강도인 예에 있어서, 리듬의 강도를 5개의 수준으로 설정할 수 있다. 각 타이밍에 있어서, 오디오 파일을 분석하는 것에 의해 상기 타이밍에 대응하는 리듬의 강도 수준을 획득할 수 있다. 오디오 파일을 분석한 후, 타이밍과 이 타이밍에 대응하는 리듬 강도 수준의 대응 관계를 획득할 수 있다. 본 발명의 실시예에 있어서, 대응 관계표에 의해 상기 대응 관계를 보존할 수 있다. 하기 표에 표시된 바와 같이, 대응 관계표의 하나의 실시예는 다음과 같다.
Figure 112021087764762-pct00001
다른 실시예에 있어서, 상기 오디오 파일과 처리 대기 이미지를 관련시키고, 상기 이미지는 움직이는 이미지 예를 들면 비디오 또는 동영상이거나 또는 정지하여 있는 이미지 예를 들면 사진일 수 있다. 상용하는 관련 관계는 상기 오디오 파일과 처리 대기 이미지가 구비하는 대응 관계일 수 있다. 비디오를 재생하거나 또는 사진을 열 때, 상기 오디오 파일은 이것들과 같이 재생된다. 상용하는 상황은 상기 오디오 파일이 비디오 중의 오디오 파일이거나 또는 사진내의 오디오 파일일 수 있다. 본 실시예에 있어서, 사용되는 오디오 파일을 획득한 후, 이 오디오 파일에 대하여 미리 처리를 한다. 상기 미리 처리는 각 타이밍에 있어서 오디오 파일에 대하여 분석하는 것이며, 상기 타이밍은 샘플링의 주파수에 의해 설정될 수 있다. 본 발명의 실시예에 있어서, 샘플링의 주파수는 이미지의 속성에 관련되어 있다. 예를 들면 이미지가 비디오일 때, 매초의 비디오는 30 프레임의 비디오 프레임을 포함하고, 각 타이밍의 사이의 간격을 33ms로 할 수 있다. 즉 33ms를 사이두고 타이밍을 하나씩 샘플링할 수 있다. 이럴 경우, 타이밍은 비디오 프레임에 대응된다. 이미지가 동영상일 때, 이 동영상에는 복수의 프레임 사진이 포함되고, 각 프레임의 사진이 나타나는 시간을 타이밍으로 한다. 예를 들면 이미지가 정지 상태의 사진일 때, 타이밍을 임의로 설정할 수 있다. 이미지가 비디오 또는 동영상일 때도, 타이밍을 임의로 설정할 수 있다. 본 발명은 이것을 다시 설명하지 않는다. 상기 타이밍에 있어서 오디오 파일 속성 데이터를 분석하고, 상기 오디오 파일 속성 데이터는 오디오 파일의 임의의 속성, 예를 들면 음량, 음조, 음색, 렝스, 리듬 등일 수 있다. 본 실시예에 있어서, 오디오 파일 속성 데이터가 리듬 강도인 예에 있어서, 리듬의 강도를 5개의 수준으로 설정할 수 있다. 각 타이밍에 있어서, 오디오 파일을 분석하는 것에 의해 상기 타이밍에 대응하는 리듬 강도 수준을 획득할 수 있다. 오디오 파일을 분석한 후, 타이밍과 이 타이밍에 대응하는 리듬 강도 수준의 대응 관계를 획득할 수 있다. 본 발명의 실시예에 있어서, 대응 관계표에 의해 상기 대응 관계를 보존할 수 있다. 상기 선택이 가능한 실시예의 대응 관계표는 상기 선택이 가능한 실시예의 대응 관계표와 유사하므로, 여기에서 다시 설명하지 않는다. 상기 대응 관계표는 타이밍과 오디오 파일 속성의 값 대응 관계표일 수도 있고, 이것을 오디오 파일 속성의 값 수준에 직접 대응시킬 필요가 없다. 본 발명은 이것을 다시 설명하지 않는다.
대응 관계표의 실시예에 있어서, 상기 대응 관계표 중의 상기 타이밍은 타이밍 ID와 해당 타이밍 ID에 대응하는 오디오 파일 속성 데이터를 포함한다. 호적한 상기 타이밍 ID는 타이밍 어레이 중의 번호일 수 있다.
주의 받고 싶은 것은, 상기 실시예에 있어서, 오디오 파일을 미리 분석하는 방법을 설명해 왔지만, 상기 방법은 본 발명을 한정하는 것은 아니고, 종래의 임의의 분석 방법을 본 발명 사용할 수 있다. 상기 스텝에 있어서, 오디오 파일을 분석하지 않고, 오디오 파일을 획득할 수 있다. 오디오 파일을 미리 분석하지 않는 방법에 대해서 하기 명세서에서 설명하므로, 여기에서 다시 설명하지 않는다.
스텝 S103에 있어서, 상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득한다.
본 발명의 실시예에 있어서, 상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 스텝은 상기 오디오의 현재의 재생 타이밍을 획득하는 것과, 상기 대응 관계표에 의해 현재의 재생 타이밍에 대응하는 제1 속성값을 획득하는 것을 포함한다.
본 발명의 실시예에 있어서, 상기 오디오와 처리 대기 이미지는 따로따로 존재하는 것이며, 상기 오디오의 현재의 재생의 타이밍을 획득한다. 현재의 재생 시간이 소정된 타이밍에 위치하지 않을 경우, 현재의 재생 시간을 위 또는 아래로 조절하는 것에 의해 현재의 타이밍을 확정할 수 있다. 현재의 타이밍에 의해 스텝 S102에서 형성한 대응 관계표를 검출하고, 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 한편 이것을 오디오 파일의 제1 속성값에 표기한다. 호적한 실시예에 있어서, 상기 타이밍의 번호에 의해 상기 대응 관계표에서 상기 번호와 일치하는 타이밍에 대응하는 상기 오디오 파일의 속성값을 획득하는 한편 상기 오디오 파일의 속성값을 오디오 파일의 제1 속성값으로 할 수 있다.
본 발명의 다른 실시예에 있어서, 상기 오디오와 상기 처리 대기 이미지를 관련시킬 수 있다. 예를 들면 상기 오디오는 비디오 중의 오디오이며, 상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 스텝은 상기 오디오 파일을 재생하는 스텝과, 상기 비디오 이미지가 현재 재생되고 있는 비디오 프레임 이미지를 획득하는 스텝과, 상기 비디오 프레임 이미지에 의해 현재의 타이밍을 계산하는 스텝과, 상기 현재의 타이밍에 의해 상기 오디오 파일의 제1 속성값을 획득하는 스텝을 포함한다. 상기 스텝 S101의 샘플링 방법에 있어서, 비디오 프레임이 나타나는 주파수에 의해 오디오의 타이밍을 샘플링할 수 있다. 이 때, 비디오 프레임과 오디오의 타이밍은 대응 관계를 가지고 있고, 비디오 프레임의 번호와 오디오의 타이밍 번호는 하나씩 대응된다. 이 때 비디오 프레임에 의해 현재의 타이밍을 계산할 수 있다. 상기 현재의 타이밍 번호에 의해 대응 관계표에서 번호가 일치하는 타이밍에 대응하는 오디오 파일의 속성값을 검출하고, 이 오디오 파일의 속성값을 오디오 파일의 제1 속성값으로 한다.
본 발명의 실시예에 있어서, 스텝 S102에 있어서 상기 오디오를 미리 해독하지 않을 때, 상기 오디오를 재생하고, 현재의 재생 타이밍에 대응하는 오디오 파일의 제1 속성값을 확정하는 스텝은 상기 오디오를 재생하는 동시에 현재의 재생 타이밍의 오디오를 샘플링하는 것에 의해 샘플링 오디오를 획득하는 스텝과, 상기 샘플링 오디오를 해독하는 것에 의해 오디오 파일의 제1 속성값을 획득하는 스텝을 포함한다. 본 실시예에 있어서, 샘플링의 주파수를 미리 설정한 후 오디오를 재생할 때, 오디오를 수시로 샘플링 분석하는 것에 의해 오디오의 속성을 획득한다. 상기 속성은 상기 스텝 S102 중의 임의의 하나의 오디오 파일의 속성일 수 있다. 본 실시예에 있어서, 샘플링의 주파수, 오디오 파일의 속성 및 오디오 파일의 속성값에 대응하는 수준 만을 미리 설정하고, 타이밍과 오디오 속성의 수준 또는 오디오 속성값의 대응 관계표를 미리 설정할 필요가 없다.
스텝 S104에 있어서, 상기 제1 속성값에 의해 상기 이미지의 변형 폭을 확정한다.
본 발명의 실시예에 있어서, 상기 제1 속성값에 의해 상기 이미지의 변형 폭을 확정하는 스텝은 제1 속성값과 상기 이미지의 변형 폭의 대응 관계를 획득하는 스텝과, 상기 제1 속성값과 상기 대응 관계에 의해 상기 이미지의 변형 폭을 계산하는 스텝을 포함한다.
본 실시예에 있어서, 상기 제1 속성값과 상기 이미지의 변형 폭의 대응 관계를 획득하는 스텝은 제1 속성값과 상기 이미지의 변형 폭의 대응 관계를 획득하는 스텝일 수 있다. 본 실시예에 있어서, 제1 속성값과 상기 이미지의 변형 폭의 일대일 대응 관계를 미리 설정하고, 제1 속성값과 상기 이미지의 변형 폭의 대응 관계를 형성할 수 있다. 본 실시예에 있어서, 스텝 S102과 같이 상기 제1 속성값을 5개의 수준으로 나누고, 각 수준을 하나의 변형 폭에 대응시킬 수 있다. 본 실시예에 있어서, 상기 변형 폭은 검출에 의해 획득할 수 있으므로, 상기 제1 속성값과 상기 대응 관계에 의해 상기 이미지의 변형 폭을 계산하는 스텝은 상기 제1 속성값과 상기 이미지의 변형 폭의 대응 관계표에서 상기 제1 속성값을 검출하는 한편 상기 제1 속성값에 대응하는 이미지의 변형 폭을 획득하는 스텝을 포함한다.
본 실시예에 있어서, 상기 제1 속성값과 상기 이미지의 변형 폭의 대응 관계를 획득할 때, 제1 속성값에 의해 상기 이미지의 변형 폭을 계산하는 함수관계에 의해 획득할 수 있다. 상기 함수관계는 선형 함수관계이거나 또는 비선형 함수관계일 수 있고, 상기 함수관계에 의해 변형하는 여러가지 변형의 폭을 제공할 수 있다. 본 실시예에 있어서, 스텝 S102과 같이 상기 제1 속성값을 5개의 수준으로 나눌 수 있다. 다른 실시예에 있어서, 제1속성의 최초치를 직접 사용할 수 있다. 예를 들면, 음악 강도에 의해 이미지의 변형 폭을 계산할 수 있지만, 본 발명은 이것을 한정하지 않는다.
스텝 S105에 있어서, 상기 이미지의 변형 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 한다.
본 발명의 실시예에 있어서, 상기 이미지의 변형 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 할 때, 상기 이미지의 변형 폭을 변형 처리의 파라미터로 하는 것에 의해 변형 처리의 정도를 설정하고, 변형정도가 설정된 변형 처리에 의해 처리 대기 이미지에 대하여 변형 처리를 하는 것에 의해 변형 후의 이미지를 획득한다.
본 발명의 실시예에 있어서, 상기 이미지의 변형 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 하는 스텝은 변형 타입을 획득하는 스텝 S10501과, 상기 이미지 변형 타입과 이미지의 변형 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 하는 스텝 S10502을 포함한다. 본 발명의 실시예에 있어서, 변형 타입을 미리 설정할 수 있다. 본 실시예에 있어서, 미리 설정한 변형 타입과 스텝 S104에서 획득한 변형의 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 한다. 다른 실시예에 있어서, 변형 타입의 촉발 조건을 미리 설정할 수 있다. 예를 들면 사용자가 눈을 두번 깜빡하거나 또는 눈을 크게 뜨는 것을 검출하거나 또는 사용자가 손을 움지기는 것을 검출할 때, 이미지 중의 입을 축소할 수 있다. 본 실시예에 있어서, 촉발 조건과 변형 타입의 대응 관계를 미리 설정하는 동시에 이 대응 관계를 컨피그레이션 파일 (configuration file)에 기억시킬 수 있다. 촉발 조건이 검출될 때, 소정된 변형 타입을 획득한 후, 컨피그레이션에 의해 여러가지 변형 타입을 서로 대체할 수 있다.
본 발명의 실시예에 있어서, 상기 처리 대기 이미지는 사용자의 얼굴 이미지이며, 상기 변형은 얼굴 이미지의 오관 형상을 변형시키는 것이다. 본 실시예에 있어서, 변형에 대응하는 오관을 미리 설정할 수 있다. 오관의 변형에 있어서, 처리 대기 이미지에서 오관을 분할할 필요가 있다. 오관을 분할할 때, 먼저 얼굴를 검출한다. 이 때 임의의 하나의 이미지 또는 한조의 이미지 시리얼에 의해 얼굴를 검출한다. 소정된 수단을 통하여 검출을 하는 것에 의해 모든 얼굴의 위치와 구역을 확정하고, 여러가지 이미지 또는 이미지 시리얼에 얼굴가 존재하는 가를 확정하는 한편 얼굴의 수량과 공간의 배열을 확정한다. 얼굴를 검출하는 방법은 하기 4 가지가 있다. (1) 지식을 먼저 검출하는 방법, 이 방법은 상용하는 얼굴에 의해 규칙 베이스를 형성하는 동시에 얼굴에 번호를 첨부하고, 면부특징 사이의 관계에 의해 얼굴 위치를 결정한다. (2) 특징 불변 방법, 이 방법은 자세, 시각 또는 광선의 조건이 변화될 때 안정 상태로 되어 있는 특징을 검출하고, 이 특징들에 의해 얼굴를 확정한다. (3) 템플릿을 매칭하는 방법, 이 방법에는 복수의 표준적인 얼굴 모델이 기억되고, 이 표준적인 얼굴 모델들은 얼굴와 면부특징을 각각 나타낸다. 입력 이미지와 기억 모델 사이의 대응 관계를 계산하고, 이 대응 관계를 검출에 사용한다. (4) 외관에 의한 방법, 이 방법은 템플릿 매칭 방법과 상이하고, 훈련 이미지 집합에서 학습을 하는 것에 의해 모델을 획득한 후, 이 모델을 검출에 사용한다. 상기 4가지 방법 중의 임의의 한 방법에 의해 얼굴를 검출하는 과정에 있어서, 먼저, 특징을 검출하는 것에 의해 모드를 형성한다. 본 실시예에 있어서, Haar 특징을 얼굴를 판단하는 키포인트 특징으로 한다. Haar 특징은 간단한 구형특징이므로, 이것을 검출하는 속도가 빠르다. Haar 특징의 계산에 사용되는 특징 템플릿은 간단한 구형의 조합을 사용하고, 이 구형의 조합은 2개 또는 복수의 같은 구형으로 구성된다. 특징 템플릿에는 흑색과 백색의 구형이 포함되어 있다. 그 후, AdaBoost 계산 방법에 의해 대량의 Haar 특징에서 키포인트로 될 수 있는 일부분의 특징을 검출하고, 이 특징에 의해 유효한 분류 장치를 구성하고, 구성된 분류 장치에 의해 이미지 중의 얼굴를 검출한다.
얼굴를 검출한 후, 미리 정의한 키포인트에 의해 사용자의 오관을 분할한다. 상용하는 얼굴에서 108개의 키포인트에 의해 얼굴의 윤곽, 눈, 눈썹, 입, 코, 귀 등을 표기할 수 있고, 키포인트의 위치에 의해 오관이 상이한 이미지를 분할할 수 있다.
상기 구체적인 실시예는 본 발명의 예시에밖에 지나지 않는 것이며, 본 발명을 한정하는 것은 아니다. 이미지를 분할하는 방법은 많고， 사용자의 오관을 분할할 수 있는 방법이라면 모두 본 발명에 사용할 수 있고, 본 발명은 이것들을 하나씩 전부 설명하지 않는다.
사용자의 오관을 분할하고, 상기 방법에 의해 변형 타입과 소정된 오관을 획득한 후, 변형 폭과 소정된 오관에 의해 이미지에 대하여 변형 처리를 한다.
본 실시예에 있어서, 변형 폭은 오디오 파일에 관련되어 있으므로, 오디오 파일에 의해 이미지에 대하여 변형 처리를 자동적으로 할 수 있으므로, 이미지에 적합한 변형 처리 후의 이미지를 준비할 필요가 없다.
본 발명의 실시예에 있어서, 상기 처리 대기 이미지는 이미지 중의 목표대상이며, 상기 실시예의 오관에 있어서 상기 제1 속성값에 의해 상기 현재의 비디오 이미지 프레임 중의 목표대상에 대하여 변형 처리를 한다. 상기 현재의 비디오 이미지 프레임은 복수의 대상을 포함하고, 상기 실시예에 따른 처리 방법에 의해 이미지 프레임을 처리할 수 있다. 본 실시예에 있어서, 상기 처리 대기 이미지는 비디오이며, 비디오를 재생할 때, 각 프레임의 비디오 프레임의 목표대상의 형태가 변화될 경우가 있으므로, 각 프레임의 비디오 프레임을 처리하는 것은 오디오의 타이밍이 변화되는 것에 의해 변화되고, 비디오 프레임의 목표대상의 특수효과가 오디오의 변화에 의해 변화되는 효과를 획득할 수 있다.
본 발명의 제2 실시예에 있어서 이미지 변형 제어 방법을 제공한다. 본 실시예에 따른 상기 이미지 변형 제어 방법은 하나의 컴퓨터에 의해 실행되고, 상기 컴퓨터는 소프트웨어 또는 소프트웨어와 하드웨어의 조합에 의해 상기 이미지 변형 제어 방법을 실시할 수 있다. 상기 컴퓨터는 서버, 단말장치 등에 설치된다. 도 2에 표시된 바와 같이, 제2 실시예에 있어서, 상기 제1 실시예 중의 스텝 S10501은 현재의 이미지 상태 시리얼 넘버를 획득하는 스텝 S201과, 상기 상태 시리얼 넘버에 의해 변형 타입을 획득하는 스텝 S202을 포함한다.
본 실시예에 있어서, 상기 이미지는 상태 시리얼 넘버를 포함하고, 각 상태 시리얼 넘버는 하나의 변형의 목표대상과 변형 타입에 대응된다. 구체적으로, 상태 시리얼 넘버 1는 좌측 눈썹의 움직임에 대응하고, 상태 시리얼 넘버 2는 우측 눈썹의 움직임에 대응하고, 상태 시리얼 넘버 3는 좌우 눈썹의 움직임에 대응하고, 상태 시리얼 넘버 4은 좌측 눈썹의 움직임과 왼쪽 눈의 증대에 대응하도록 복수의 상태를 설정할 수 있다. 이럴 경우, 각 상태는 소정된 상태 시리얼 넘버를 구비하고, 현재의 상태 시리얼 넘버를 획득하는 것에 의해 변형 타입을 확정할 수 있다.
본 발명의 실시예에 있어서, 변형 처리를 할 때 이미지의 복수 상태 시리얼 넘버를 대체하는 것에 의해 복수의 상태 시리얼 넘버를 대체하는 효과를 실현할 수 있다. 구체적으로, 도 3에 표시된 바와 같이, 현재의 이미지의 상태 시리얼 넘버를 획득하는 상기 스텝 S201은,
이미지의 변형 폭을 획득하는 스텝 S301과,
상기 이미지의 변형 폭이 제1 한계값보다 클 때, 변형 위치의 값을 진실치 (truth value)로 설정하는 동시에 현재의 이미지의 상태 시리얼 넘버를 획득하는 스텝 S302과,
상기 이미지의 변형 폭이 제1 한계값보다 작고, 변형 위치의 값이 진실치일 때, 현재의 이미지의 상태 시리얼 넘버에 1을 더하는 것에 의해 제1 상태 시리얼 넘버를 획득하는 스텝 S303과,
상기 제1 상태 시리얼 넘버를 상기 상태 시리얼 넘버의 총수로 나누어서 획득한 수치를 현재의 이미지의 상태 시리얼 넘버로 하는 스텝 S304을 포함한다.
상기 실시예에 있어서, 현재의 상태 시리얼 넘버를 state로 설정하고, 디폴트 상태 시리얼 넘버를 1로 설정한다. 즉 이미지의 디폴트 상태를 1로 설정하고, state=1로 된다. 변형 폭을 획득하고, 상기 변형 폭을 intensity로 설정하고, 현재의 state값에 의해 변형 타입을 획득하고, 현재의 state에 대응하는 오관에 대하여 변형 처리를 한다. 시작할 때, state=1로 된다. 이 때, intensity가 제1 한계값보다 큰가를 판단하고, intensity가 제1 한계값보다 클 경우, 변형 위치를 진실치로 설정하고, 변형 위치를 flag로 설정하고, 변형 위치의 값을 true로 설정한다. intensity가 제1 한계값보다 작고, flag의 값이 ture일 때, state = (state+1) % max_state_num이다. 이 식에 있어서, max_state_num는 상태의 수량이며, %은 나눈 결과를 획득하는 계산 방법이다. 도 4에 표시된 바와 같이, 도 4는 상태를 대체하는 구체적인 실시예이며, 이 실시예는 12개의 상태를 포함하고, 상태는 1부터 시작된다. 획득한 변형 폭이 상기 제1 한계값보다 클 때, 변형 처리를 시작하고, flag=ture로 설정한다. 변형의 폭이 상기 제1 한계값보다 항상 클 때, 변형 처리는 항상 상태 1로 되고, 이것은 좌측 눈썹이 움직이는 것을 의미한다. 변형의 폭이 상기 제1 한계값보다 작거나 또는 같고, flag=ture일 때, (state+1) % max_state_num에 의해 현재의 state값을 계산한다. 본 실시예에 있어서, max_state_num=12, state+1=2이며, 나누어 얻은 수치가 2일 때, 상태를 상태 2로 대체한다. 이 때, 상태 시리얼 넘버는 2이며, 좌측 눈썹이 움직이는 변형 처리를 시작한다. 상기 처리를 중복하고, 상태가 12까지 될 때, state+1=13로 되고, 획득한 (state+1) % max_state_num은 1로 되고, 상태 1로 대체하여 제2회의 순환을 시작한다.
상기 실시예에 있어서, 음악의 리듬 강도가 한계값에 달하면, 이미지 중의 목표대상에 대하여 변형 처리를 한다. 목표대상과 변형 타입은 상태 시리얼 넘버에 의해 결정되고, 상태 시리얼 넘버는 소정된 규칙에 따라 변화되고, 상태 시리얼 넘버가 복수의 상태에서 대체되는 것에 의해 목표대상과 변형 처리의 타입을 변화시키고, 음악이 상이한 것에 의해 다른 순환 변형의 처리 효과를 획득할 수 있다.
본 발명은 이미지 변형 제어 방법, 장치 및 하드웨어 장치를 공개한다. 상기 이미지 변형 제어 방법은 처리 대기 이미지를 획득하는 스텝과, 오디오 파일을 획득하는 스텝과, 상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 스텝과, 상기 제1 속성값에 의해 상기 이미지의 변형 폭을 확정하는 스텝과, 상기 이미지의 변형 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 하는 스텝을 포함한다. 본 발명의 실시예에 따른 이미지 변형 제어 방법은 오디오 파일의 속성값에 의해 이미지의 변형 폭을 제어하는 것에 의해, 종래의 기술에 의해 변형의 특수효과를 용이하게 획득할 수 없는 문제를 해결할 수 있다.
위에서, 상기 순번에 따라 상기 방법에 따른 실시예의 각 스텝을 설명해 왔지만, 이 기술분야의 기술자가 알다시피, 상기 실시예의 각 스텝을 상기 차레로 실시하지 않아도 좋다. 예를 들면 반대 순번, 병행, 교차 등과 같은 방식으로 실시할 수도 있다. 본 발명은 상기 스텝만을 포함하는 것은 아니고, 이 기술분야의 기술자는 다른 스텝을 더 추가할 수도 있다. 이러한 실시예의 변형 또는 대체가 있어도 본 발명의 특허청구의 범위가 결정한 범위에 포함된 것은 물론이며, 본 발명은 이러한 실시예의 변형 또는 대체를 하나씩 전부 설명하지 않는다.
이하, 본 발명의 실시예에 따른 이미지 변형 제어장치를 설명한다. 본 발명의 실시예에 따른 이미지 변형 제어장치에 의해 상기 이미지 변형 제어 방법 중의 각 스텝을 실시할 수 있다. 설명을 간단하게 하기 위하여, 이하, 이미지 변형 제어장치에 관한 부분만을 설명하고, 설명되지 않는 기술적 사항은 상기 이미지 변형 제어 방법 중의 설명을 참조할 수 있다.
본 발명의 실시예에 있어서 이미지 변형 제어장치를 제공하고, 이 이미지 변형 제어장치에 의해 본 발명의 제1 실시예에 따른 상기 이미지 변형 제어 방법 중의 각 스텝을 실시할 수 있다. 도 5에 표시된 바와 같이, 상기 이미지 변형 제어장치 500는 이미지 획득 모듈 501, 오디오 파일 획득 모듈 502, 제1 속성값 획득 모듈 503, 변형 폭 획득 모듈 504 및 변형 처리 모듈 505을 포함한다.
이미지 획득 모듈 501은 처리 대기 이미지를 획득하는 것에 사용되고,
오디오 파일 획득 모듈 502은 오디오 파일을 획득하는 것에 사용되고,
제1 속성값 획득 모듈 503은 상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 것에 사용되고,
변형 폭 획득 모듈 504은 상기 제1 속성값에 의해 상기 이미지의 변형 폭을 확정하는 것에 사용되고,
변형 처리 모듈 505은 상기 이미지의 변형 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 하는 것에 사용된다.
상기 이미지 획득 모듈 501은 비디오 이미지 획득 모듈을 더 포함하고, 이 비디오 이미지 획득 모듈은 비디오 이미지를 획득하는 한편 상기 비디오 이미지 중의 비디오 프레임 이미지를 처리 대기 이미지로 하는 것에 사용된다.
상기 오디오 파일 획득 모듈 502은 상기 비디오 이미지에 포함된 오디오 파일을 획득하는 것에도 사용된다.
상기 제1 속성값 획득 모듈 503은, 상기 오디오 파일을 재생하는 것에 사용되는 제1 오디오 파일 재생 모듈과, 상기 비디오 이미지가 현재 재생되고 있는 비디오 프레임 이미지를 획득하는 것에 사용되는 비디오 프레임 이미지 획득 모듈과, 상기 비디오 프레임 이미지에 의해 현재의 타이밍을 계산하는 것에 사용되는 제1 타이밍 획득 모듈과, 상기 현재의 타이밍에 의해 상기 오디오 파일의 제1 제1 속성값을 획득하는 제1 속성값 획득 모듈을 포함한다.
상기 오디오 파일 획득 모듈 502은 오디오 파일 분석 모듈을 포함하고, 이 오디오 파일 분석 모듈은 오디오 파일을 획득한 후 이 오디오 파일을 분석하는 것에 의해 상기 오디오 파일 중의 각 타이밍과 오디오 파일의 제1 속성값의 대응 관계표를 획득하는 것에 사용된다.
상기 제1 속성값 획득 모듈 503은 상기 오디오 파일의 현재의 재생 타이밍을 계산하는 제2 타이밍 획득 모듈과, 상기 대응 관계표에 의해 현재의 재생 타이밍에 대응하는 제1 속성값을 획득하는 제2 제1 속성값 획득 모듈을 포함한다.
상기 변형 폭 획득 모듈 504은 제1 속성값과 상기 이미지의 변형 폭의 대응 관계를 획득하는 대응 관계 획득 모듈과, 상기 제1 속성값과 상기 대응 관계에 의해 상기 이미지의 변형 폭을 계산하는 이미지 변형 폭 계산 모듈을 포함한다.
상기 변형 처리 모듈 505은 변형 타입을 획득하는 변형 타입 획득 모듈 50501과, 상기 이미지 변형 타입과 이미지의 변형 폭에 의해 상기 처리 대기 이미지의 변형 처리를 하는 제1 변형 처리 모듈 50502을 포함한다.
도 5의 장치에 의해 도 1의 실시예에 표시된 방법을 실시할 수 있고, 본 실시예에 상세하게 기재되지 않고 있는 부분은 도 1의 실시예의 내용을 참조할 수 있다. 상기 기술적 사항을 실시하는 과정과 이것에 의한 발명의 효과는 도 1의 실시예의 내용을 참조할 수 있으므로, 여기에서 다시 설명하지 않는다.
본 발명의 실시예에 있어서 다른 이미지 변형 제어장치를 제공한다. 이 이미지 변형 제어장치에 의해 본 발명의 제2 실시예에 따른 상기 이미지 변형 제어 방법 중의 각 스텝을 실시할 수 있다. 상기 장치는 도 5에 표시된 이미지 변형 제어장치의 변형 타입 획득 모듈50501에 관련되어 있다. 도 6에 표시된 바와 같이, 상기 변형 타입 획득 모듈 50501은 처리 대기 이미지를 분할하는 것에 의해 처리를 기다리고 있는 목표대상의 윤곽 구역을 획득하는 상태 시리얼 넘버 획득 모듈 601과, 상기 상태 시리얼 넘버에 의해 변형 타입을 획득하는 변형 타입 획득 모듈 602을 포함한다.
상기 상태 시리얼 넘버 획득 모듈 601은 상기 이미지의 변형 폭을 획득하는 제1 변형 폭 획득 모듈과, 상기 이미지의 변형 폭이 제1 한계값보다 클 때, 변형 위치의 값을 진실치로 설정하는 동시에 현재의 이미지의 상태 시리얼 넘버를 획득하는 제1 현재 상태 시리얼 넘버 획득 모듈과, 상기 이미지의 변형 폭이 제1 한계값보다 작고, 변형 위치의 값이 진실치일 때, 현재의 이미지의 상태 시리얼 넘버에 1을 더하는 것에 의해 제1 상태 시리얼 넘버를 획득하고, 상기 제1 상태 시리얼 넘버를 상기 상태 시리얼 넘버의 총수로 나누어서 획득한 수치를 현재의 이미지의 상태 시리얼 넘버로 하는 제2 현재 상태 시리얼 넘버 획득 모듈을 포함한다.
도 6의 장치에 의해 도 2의 실시예에 표시된 방법을 실시할 수 있고, 본 실시예에 상세하게 기재되지 않고 있는 부분은 도 2의 실시예의 내용을 참조할 수 있다. 상기 기술적 사항을 실시하는 과정과 이것에 의한 발명의 효과는 도 2의 실시예의 내용을 참조할 수 있으므로, 여기에서 다시 설명하지 않는다.
도 7을 참조하면, 이 도면은 본 발명의 실시예에 적용하는 전자장치 700의 구조를 나타내는 도면이다. 본 발명의 실시예에 따른 전자장치는 예를 들면 휴대전화, 노트북 컴퓨터, 디지털 방송 수신기 (Digital broadcasting receiver), PDA (휴대정보단말, Personal Digital Assistant), PAD (태블릿), PMP (포터블 미디어 플레이어), 차용 단말장치 (예를 들면 네비게이션) 등 휴대식 단말장치와, 예를 들면 디지털 TV, desktop computer 등 비휴대식 단말장치를 포함할 수 있지만, 본 발명은 이것들에만 한정되는 것은 아니다. 도 7에 표시된 전자장치는 본 발명의 예시에밖에 지나지 않는 것이며, 본 발명의 실시예의 기능과 사용의 범위를 한정하는 것은 아니다.
도 7에 표시된 바와 같이, 전자장치 700는 처리 장치 (예를 들면 중앙 처리장치, 이미지 처리장치 등) 701를 포함하고, 처리 장치 701는 ROM (Read-Only Memory, 리드온리메모리) 702에 기억된 프로그램 또는 기억장치 708로부터 RAM (Random Access Memory, random access memory) 703에 송신된 프로그램에 의해 소정된 작업과 처리를 할 수 있다. RAM 703에는 전자장치 700의 조작에 필요한 여러가지 프로그램과 데이터가 더 기억되어 있다. 처리 장치 701, ROM 702 및 RAM 703는 버스 704에 의해 서로 접속된다. 입력/출력 (I/O) 인터페이스 705도 버스 704에 접속된다.
하기 장치들은 입력/출력 (I/O) 인터페이스 705에 접속될 수 있다. 이 장치는 예를 들면 터치 패널, 터치 기판, 키보드, 마우스, 이미지 센서, 마이크, 가속도계, 자이로스코프 등을 포함하는 입력장치 706와, 액정표시장치 (LCD), 스피커, 진동기 등을 포함하는 출력장치 707와, 테이프, 하드 디스크 등을 포함하는 기억장치 708와, 통신 장치 709일 수 있다. 통신 장치 709는 전자장치 700와 다른 장치가 무선 또는 유선으로 통신을 하도록 하고, 이것에 의해 데이터를 교환할 수 있다. 도 7에는 여러가지 장치를 구비하는 전자장치 700가 표시되어 있지만, 전자장치 700는 상기 여러가지 장치를 전부 구비하거나 또는 전부 사용할 필요는 없다. 즉 전자장치 700는 보다 많거나 또는 보다 적은 장치를 구비하거나 또는 사용할 수 있다.
특히는 본 발명의 실시예에 있어서, 상기 플로차트에 표시된 스텝은 컴퓨터 소프트웨어 프로그램에 의해 실시될 수 있다. 예를 들면, 본 발명의 실시예는 컴퓨터 프로그램 제품을 포함하고, 이 컴퓨터 프로그램 제품은 컴퓨터 판독이 가능한 매체에 기억된 컴퓨터 프로그램을 포함하고, 이 컴퓨터 프로그램은 상기 플로차트 중의 방법을 실시하는 프로그램 코드를 포함할 수 있다. 이 실시예에 있어서, 통신 장치 709에 의해 상기 컴퓨터 프로그램을 네트워크로에서 다운로드하는 동시에 인스톨하거나 또는, 기억장치 708에서 다운로드하는 동시에 인스톨하거나 또는, ROM 702에서 다운로드하는 동시에 인스톨할 수 있다. 상기 컴퓨터 프로그램이 처리 장치 701에 의해 실시될 때 상기 실시예에 따른 방법 중의 소정된 기능을 실시할 수 있다.
주의 받고 싶은 것은, 상기 컴퓨터 판독이 가능한 매체는, 컴퓨터 판독이 가능한 신호 매체, 컴퓨터 판독이 가능한 기억 매체 또는 이 둘의 조합일 수 있다. 컴퓨터 판독이 가능한 기억 매체는 전기, 자성, 빛, 전자, 적외선이거나 또는, 반도체의 시스템, 장치 또는 부품이거나 또는 그것들이 임의의 조합일 수 있다. 컴퓨터 판독이 가능한 기억 매체가 구체적인 예로서, 하나 또는 복수의 도선에 의해 접속되는 휴대폰식 컴퓨터 디스크, 하드 디스크, RAM (Random Access Memory), ROM (Read-Only Memory), EPROM (Erasable Programmable Read-Only Memory 또는 플래시 메모리), 광섬유, CD-ROM (Compact Disc Read Only Memory), 빛기억 부품, 자성기억 부품 또는 이것들의 임의의 조합을 포함할 수 있지만, 본 발명은 이것들에만 한정되는 것은 아니다. 본 발명의 실시예에 있어서, 컴퓨터 판독이 가능한 기억 매체는 프로그램을 포함하거나 또는 기억하는 실물 매체이며, 상기 프로그램은 지령 실행 시스템, 장치 또는 이것들의 조합에 사용될 수 있다. 본 발명의 실시예에 있어서, 컴퓨터 판독이 가능한 신호 매체는 기저 대역 (base band) 또는 캐리어의 일부분에 의해 전송되는 데이터 신호를 포함하고, 컴퓨터 판독이 가능한 신호 매체에는 컴퓨터 판독이 가능한 프로그램 코드가 기억된다. 이 방법에 의해 전송되는 데이터 신호는 여러가지 신호 예를 들면 전자 신호, 광선 신호 또는 이것들의 조합일 수 있지만, 이것들에만 한정되는 것은 아니다. 컴퓨터 판독이 가능한 신호 매체는 컴퓨터 판독이 가능한 기억 매체 이외의 임의의 컴퓨터 판독이 가능한 매체일 수 있다. 상기 컴퓨터 판독이 가능한 신호 매체는 지령 실행 시스템, 장치 또는 이것들의 조합에 사용되는 프로그램을 송신, 전파 또는 전송할 수 있다. 컴퓨터 판독이 가능한 매체에 포함된 프로그램 코드는 적당한 매체, 예를 들면 전선, 광케이블, RF (Radio Frequency) 등에 의해 전송되거나 또는 이것들의 조합에 의해 전송될 수 있다.
상기 컴퓨터 판독이 가능한 매체는 상기 전자장치에 설치되거나 또는 상기 전자장치에 설치되지 않고 상기 전자장치와 따로따로 존재하는 것일 수 있다.
상기 컴퓨터 판독이 가능한 매체는 하나 또는 복수의 프로그램을 기억하고, 하나 또는 복수의 프로그램이 상기 전자장치에 의해 실행될 때, 상기 전자장치는 처리 대기 이미지를 획득하고, 오디오 파일을 획득하고, 상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하고, 상기 제1 속성값에 의해 상기 이미지의 변형 폭을 확정하고, 상기 이미지의 변형 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 한다.
하나 또는 복수의 프로그래밍 언어 (programming language) 또는 이것들의 조합에 의해 본 발명의 실시예에 따른 방법을 실시하는 컴퓨터 프로그램 코드를 작성할 수 있다. 상기 프로그래밍 언어는 대상에 적합한 프로그래밍 언어, 예를 들면 Java, Smalltalk, C++을 포함하거나 또는 상용하는 과정식 프로그래밍 언어, 예를 들면 「C」 프로그래밍 언어 또는 이것과 유사한 프로그래밍 언어를 더 포함할 수 있다. 프로그램 코드는 사용자의 컴퓨터에 의해 실행되거나 또는, 일부분이 사용자의 컴퓨터에 의해 실행되거나 또는, 독립적인 소프트웨어 패키지에 의해 실행되거나 또는, 일부분이 사용자의 컴퓨터에 의해 실행되는 한편 일부분이 원격 컴퓨터 (remote computer)에 의해 실행되거나 또는, 원격 컴퓨터 또는 서버에 의해 실행될 수 있다. 원격 컴퓨터일 경우, 원격 컴퓨터는 임의의 네트워크, 예를 들면 LAN (local area network) 또는 WAN (Wide Area Network)에 의해 사용자의 컴퓨터에 접속되거나 또는 외부의 컴퓨터에 접속될 수 있다 (예를 들면 인터넷 서비스 프로바이더 (Internet Service Provider)가 제공하는 인터넷에 의해 외부의 컴퓨터에 접속된다).
도면 중의 플로차트와 블록 다이어그램 (block diagram)에는 본 발명의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램을 실시할 수 있는 시스템의 구조, 기능 및 사용방법이 기재되어 있다. 플로차트와 블록 다이어그램 중의 각 부분은 하나의 모듈, 프로그램의 일부분, 코드의 일부분을 나타내고, 상기 모듈, 프로그램의 일부분, 코드의 일부분은 소정된 기능을 실현하는 실행 가능한 지령을 포함할 수 있다. 주의 받고 싶은 것은, 다른 실시예에 있어서, 블록 다이어그램의 각 부분 중의 각 스텝은 도면에 표시된 차레로 실시되지 않아도 좋다. 예를 들면, 인접되여 있는 각 부분 중의 스텝은 통상, 병행 차레로 실시되지만, 실현하려고 하는 기능이 다른 것에 의해 반대 차레로 실시될 수도 있다. 주의 받고 싶은 것은, 블록 다이어그램과/또는 플로차트 중의 각 부분, 블록 다이어그램과/또는 플로차트 중의 각 부분의 조합은 소정된 기능을 획득하거나 또는 소정된 조작을 할 수 있는 하드웨어에 의해 실시되거나 또는 전용의 하드웨어와 컴퓨터 지령의 조합에 의해 실시될 수 있다.
본 발명의 실시예에 따른 유닛은 소프트웨어에 의해 실시되거나 또는 하드웨어에 의해 실시될 수 있다. 특별한 설명이 없을 경우, 유닛의 명칭은 이 유닛을 한정하는 것은 아니다.
이상, 본 발명이 호적한 실시예와 이것들에 사용되는 기술적 사항을 설명해 왔다. 본 기술분야의 기술자가 알다시피, 본 발명이 공개하는 범위는 상기 기술적 특징의 조합에 의해 구성되는 기술적 사항에만 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위 내에서 상기 기술적 특징 또는 유사한 기술적 특징의 조합에 의해 형성된 다른 기술적 사항을 더 포함할 수도 있다. 예를 들면, 상기 기술적 특징과 본 발명의 실시예에 공개된 유사한 기술적 특징 (이것에만 한정되는 것은 아니다)에 의해 형성된 기술적 사항을 더 포함할 수도 있다.
500: 이미지 변형 제어장치

Claims (13)

  1. 처리 대기 이미지를 획득하는 스텝과,
    오디오 파일을 획득하는 스텝과,
    상기 오디오 파일을 재생하고, 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 스텝과,
    상기 제1 속성값에 기초하여 상기 이미지의 변형 폭을 확정하는 스텝과, 및
    상기 이미지의 변형 폭에 기초하여 상기 처리 대기 이미지에 대하여 변형 처리를 수행하는 스텝을 포함하고,
    상기 변형 처리를 수행하는 스텝은,
    변형 타입을 획득하는 스텝과, 및
    상기 변형 타입 및 상기 변형 폭에 기초하여 상기 처리 대기 이미지에 대해 상기 변형 처리를 수행하는 스텝 - 상기 변형 타입은 현재 이미지의 상태 시리얼 번호를 획득하는 것에 기초하여 획득됨 -을 포함하고,
    상기 상태 시리얼 번호를 획득하는 스텝은,
    상기 이미지의 상기 변형 폭을 획득하는 스텝과,
    상기 이미지의 상기 변형 폭이 제1 한계값보다 크다고 결정한 것에 응답하여, 클 때, 변형 비트 값을 True로 설정하고 상기 현재 이미지의 상기 상태 시리얼 넘버를 획득하는 스텝과,
    상기 이미지의 상기 변형 폭이 상기 제1 한계값보다 작고 상기 변형 비트 값이 True인 것에 응답하여, 제1 상태 시리얼 넘버를 획득하도록 상기 이미지의 상기 상태 시리얼 넘버를 1만큼 증가시키는 스텝과, 및
    상기 제1 상태 시리얼 넘버를 상기 상태 시리얼 넘버의 총수로 나누어서 획득한 수치를 상기 현재 이미지의 상기 상태 시리얼 넘버로 결정하는 스텝
    을 포함하는, 이미지 변형 제어 방법.
  2. 제1항에 있어서,
    상기 처리 대기 이미지를 획득하는 스텝은,
    비디오 이미지를 획득한 후, 상기 비디오 이미지 중의 비디오 프레임 이미지를 처리 대기 이미지로 획득하는 스텝을 포함하는 것을 특징으로 하는 이미지 변형 제어 방법.
  3. 제2항에 있어서,
    상기 오디오 파일을 획득하는 스텝은,
    상기 비디오 이미지에 포함된 오디오 파일을 획득하는 스텝을 포함하는 것을 특징으로 하는 이미지 변형 제어 방법.
  4. 제3항에 있어서,
    상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 스텝은,
    상기 오디오 파일을 재생하는 스텝과,
    상기 비디오 이미지가 현재 재생되고 있는 비디오 프레임 이미지를 획득하는 스텝과,
    상기 비디오 프레임 이미지에 의해 현재의 타이밍을 계산하는 스텝과,
    상기 현재의 타이밍에 의해 상기 오디오 파일의 제1 속성값을 획득하는 스텝을 포함하는 것을 특징으로 하는 이미지 변형 제어 방법.
  5. 제1항에 있어서,
    상기 오디오 파일을 획득하는 스텝은,
    상기 오디오 파일을 획득한 후 상기 오디오 파일을 분석하는 것에 의해, 상기 오디오 파일 중의 각 타이밍과 상기 오디오 파일의 제1 속성값의 대응 관계표를 획득하는 스텝을 포함하는 것을 특징으로 하는 이미지 변형 제어 방법.
  6. 제5항에 있어서,
    상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 스텝은,
    상기 오디오 파일을 재생하는 스텝과,
    상기 오디오 파일의 현재의 재생 타이밍을 획득하는 스텝과,
    상기 대응 관계표에 의해 현재의 재생 타이밍에 대응하는 상기 제1 속성값을 획득하는 스텝을 포함하는 것을 특징으로 하는 이미지 변형 제어 방법.
  7. 제1항에 있어서,
    상기 제1 속성값에 의해 상기 이미지의 변형 폭을 확정하는 스텝은,
    제1 속성값과 상기 이미지의 변형 폭의 대응 관계를 획득하는 스텝과,
    상기 제1 속성값과 상기 대응 관계에 의해 상기 이미지의 변형 폭을 계산하는 스텝을 포함하는 것을 특징으로 하는 이미지 변형 제어 방법.
  8. 삭제
  9. 제1항에 있어서,
    상기 변형 타입을 획득하는 스텝은,
    상기 상태 시리얼 넘버에 기초하여 상기 변형 타입을 획득하는 스텝을 포함하는 것을 특징으로 하는 이미지 변형 제어 방법.
  10. 삭제
  11. 처리 대기 이미지를 획득하는 것에 사용되는 이미지 획득 모듈과,
    오디오 파일을 획득하는 것에 사용되는 오디오 파일 획득 모듈과,
    상기 오디오 파일을 재생하는 것에 의해 현재의 타이밍에 대응하는 상기 오디오 파일의 제1 속성값을 획득하는 것에 사용되는 제1 속성값 획득 모듈과,
    상기 제1 속성값에 의해 상기 이미지의 변형 폭을 확정하는 것에 사용되는 변형 폭 획득 모듈과, 및
    상기 이미지의 변형 폭에 의해 상기 처리 대기 이미지에 대하여 변형 처리를 하는 것에 사용되는 변형 처리 모듈을 포함하고,
    상기 변형 처리 모듈은,
    변형 타입을 획득하는 동작, 및
    상기 변형 타입 및 상기 변형 폭에 기초하여 상기 처리 대기 이미지에 대해 상기 변형 처리를 수행하는 동작 - 상기 변형 타입은 현재 이미지의 상태 시리얼 번호를 획득하는 것에 기초하여 획득됨 -을 수행하고,
    상기 상태 시리얼 번호는,
    상기 이미지의 상기 변형 폭을 획득하는 동작과,
    상기 이미지의 상기 변형 폭이 제1 한계값보다 크다고 결정한 것에 응답하여, 클 때, 변형 비트 값을 True로 설정하고 상기 현재 이미지의 상기 상태 시리얼 넘버를 획득하는 동작과,
    상기 이미지의 상기 변형 폭이 상기 제1 한계값보다 작고 상기 변형 비트 값이 True인 것에 응답하여, 제1 상태 시리얼 넘버를 획득하도록 상기 이미지의 상기 상태 시리얼 넘버를 1만큼 증가시키는 동작과, 및
    상기 제1 상태 시리얼 넘버를 상기 상태 시리얼 넘버의 총수로 나누어서 획득한 수치를 상기 현재 이미지의 상기 상태 시리얼 넘버로 결정하는 동작
    을 통해 획득되는 것을 특징으로 하는 이미지 변형 제어장치.
  12. 비과도성 컴퓨터 판독이 가능한 지령을 기억하는 기억장치와, 및
    상기 컴퓨터 판독이 가능한 지령을 실행하는 것에 의해 청구항 제1항 내지 제7항 및 제9항 중의 임의의 한항에 기재된 이미지 변형 제어 방법을 실시하는 처리 장치
    를 포함하는 것을 특징으로 하는 전자장치.
  13. 비과도성 컴퓨터 판독이 가능한 지령을 기억하고, 상기 비과도성 컴퓨터 판독이 가능한 지령이 컴퓨터에 실행되는 것에 의해,
    상기 컴퓨터는 청구항 제1항 내지 제7항 및 제9항 중의 임의의 한항에 기재된 이미지 변형 제어 방법을 실시하는 것을 특징으로 하는 컴퓨터 판독이 가능한 기억 매체.


KR1020217024178A 2019-01-25 2020-01-07 이미지 변형 제어 방법, 장치 및 하드웨어 장치 KR102491773B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910073610.7 2019-01-25
CN201910073610.7A CN110072047B (zh) 2019-01-25 2019-01-25 图像形变的控制方法、装置和硬件装置
PCT/CN2020/070729 WO2020151491A1 (zh) 2019-01-25 2020-01-07 图像形变的控制方法、装置和硬件装置

Publications (2)

Publication Number Publication Date
KR20210110852A KR20210110852A (ko) 2021-09-09
KR102491773B1 true KR102491773B1 (ko) 2023-01-26

Family

ID=67366108

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217024178A KR102491773B1 (ko) 2019-01-25 2020-01-07 이미지 변형 제어 방법, 장치 및 하드웨어 장치

Country Status (7)

Country Link
US (1) US11409794B2 (ko)
EP (1) EP3917131A4 (ko)
JP (1) JP7209851B2 (ko)
KR (1) KR102491773B1 (ko)
CN (1) CN110072047B (ko)
BR (1) BR112021014591A2 (ko)
WO (1) WO2020151491A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110072047B (zh) * 2019-01-25 2020-10-09 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置
CN113055738B (zh) * 2019-12-26 2022-07-29 北京字节跳动网络技术有限公司 视频特效处理方法及装置
CN111669497A (zh) * 2020-06-12 2020-09-15 杭州趣维科技有限公司 一种移动端自拍时音量驱动贴纸效果的方法
CN111833460A (zh) * 2020-07-10 2020-10-27 北京字节跳动网络技术有限公司 增强现实的图像处理方法、装置、电子设备及存储介质
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
US20230410396A1 (en) * 2022-06-17 2023-12-21 Lemon Inc. Audio or visual input interacting with video creation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180197578A1 (en) * 2017-01-10 2018-07-12 Adobe Systems Incorporated Facilitating synchronization of motion imagery and audio
CN108769535A (zh) * 2018-07-04 2018-11-06 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3384314B2 (ja) * 1997-12-02 2003-03-10 ヤマハ株式会社 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体
JP3645716B2 (ja) * 1998-07-31 2005-05-11 シャープ株式会社 アニメーション作成方法、アニメーション作成装置、及びアニメーション作成プログラムを記録したコンピュータ読み取り可能な記録媒体
CN1320497C (zh) * 2002-07-03 2007-06-06 中国科学院计算技术研究所 基于统计与规则结合的语音驱动人脸动画方法
CN100369469C (zh) * 2005-08-23 2008-02-13 王维国 语音驱动头部图像合成影音文件的方法
JP4775066B2 (ja) * 2006-03-28 2011-09-21 カシオ計算機株式会社 画像加工装置
US20090268039A1 (en) * 2008-04-29 2009-10-29 Man Hui Yi Apparatus and method for outputting multimedia and education apparatus by using camera
JP5428294B2 (ja) * 2008-10-31 2014-02-26 ブラザー工業株式会社 運動コンテンツ生成システム、出力端末、運動コンテンツ生成装置、コンテンツ生成方法及びコンテンツ生成プログラム
US20100118033A1 (en) * 2008-11-10 2010-05-13 Vistaprint Technologies Limited Synchronizing animation to a repetitive beat source
JP5639832B2 (ja) * 2010-09-30 2014-12-10 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理システム、及び情報処理装置
US20120179757A1 (en) * 2011-01-10 2012-07-12 Troy Allen Jones System and process for communication and promotion of audio within a social network
JP5434965B2 (ja) * 2011-06-03 2014-03-05 カシオ計算機株式会社 動画生成方法、動画生成装置及びプログラム
TWI554103B (zh) 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
JP2016208200A (ja) * 2015-04-21 2016-12-08 キヤノン株式会社 撮像装置
CN108989706A (zh) * 2017-06-02 2018-12-11 北京字节跳动网络技术有限公司 基于音乐节奏生成特效的方法及装置
CN108322802A (zh) * 2017-12-29 2018-07-24 广州市百果园信息技术有限公司 视频图像的贴图处理方法、计算机可读存储介质及终端
CN108334821B (zh) * 2018-01-18 2020-12-18 联想(北京)有限公司 一种图像处理方法及电子设备
CN109147825A (zh) * 2018-08-09 2019-01-04 湖南永爱生物科技有限公司 基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备
CN110072047B (zh) * 2019-01-25 2020-10-09 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180197578A1 (en) * 2017-01-10 2018-07-12 Adobe Systems Incorporated Facilitating synchronization of motion imagery and audio
CN108769535A (zh) * 2018-07-04 2018-11-06 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备

Also Published As

Publication number Publication date
EP3917131A4 (en) 2022-11-02
BR112021014591A2 (pt) 2021-10-05
CN110072047B (zh) 2020-10-09
WO2020151491A1 (zh) 2020-07-30
JP2022518520A (ja) 2022-03-15
US11409794B2 (en) 2022-08-09
KR20210110852A (ko) 2021-09-09
JP7209851B2 (ja) 2023-01-20
CN110072047A (zh) 2019-07-30
US20210406305A1 (en) 2021-12-30
EP3917131A1 (en) 2021-12-01

Similar Documents

Publication Publication Date Title
KR102491773B1 (ko) 이미지 변형 제어 방법, 장치 및 하드웨어 장치
US11354825B2 (en) Method, apparatus for generating special effect based on face, and electronic device
CN107831902B (zh) 一种运动控制方法及其设备、存储介质、终端
CN113099298B (zh) 虚拟形象的改变方法、装置和终端设备
US10970909B2 (en) Method and apparatus for eye movement synthesis
KR102045575B1 (ko) 스마트 미러 디스플레이 장치
US9437026B2 (en) Image creating device, image creating method and recording medium
JP7395070B1 (ja) ビデオ処理方法及び装置、電子設備及びコンピュータ読み取り可能な記憶媒体
US20240005466A1 (en) Animal face style image generation method and apparatus, model training method and apparatus, and device
JP2014048766A (ja) 画像生成装置、画像生成方法及びプログラム
CN112150594B (zh) 表情制作的方法、装置和电子设备
US20240129576A1 (en) Video processing method, apparatus, device and storage medium
WO2021232875A1 (zh) 一种驱动数字人的方法、装置及电子设备
WO2020052062A1 (zh) 检测方法和装置
JP2024506639A (ja) 画像表示方法、装置、機器及び媒体
WO2022237633A1 (zh) 一种图像处理方法、装置、设备及介质
KR102409103B1 (ko) 이미지 변형 방법
CN110059739B (zh) 图像合成方法、装置、电子设备和计算机可读存储介质
CN111506184A (zh) 化身呈现方法及电子设备
CN113453027A (zh) 直播视频、虚拟上妆的图像处理方法、装置及电子设备
CN112381709B (zh) 图像处理方法、模型训练方法、装置、设备和介质
CN111507139A (zh) 图像效果生成方法、装置和电子设备
CN111507142A (zh) 人脸表情图像处理方法、装置和电子设备
CN112449249A (zh) 视频流处理方法及装置、电子设备及存储介质
CN111489769B (zh) 图像处理方法、装置和硬件装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant