KR102443214B1 - 영상처리장치 및 그 제어방법 - Google Patents

영상처리장치 및 그 제어방법 Download PDF

Info

Publication number
KR102443214B1
KR102443214B1 KR1020160002840A KR20160002840A KR102443214B1 KR 102443214 B1 KR102443214 B1 KR 102443214B1 KR 1020160002840 A KR1020160002840 A KR 1020160002840A KR 20160002840 A KR20160002840 A KR 20160002840A KR 102443214 B1 KR102443214 B1 KR 102443214B1
Authority
KR
South Korea
Prior art keywords
boundary
person
image processing
image
processing apparatus
Prior art date
Application number
KR1020160002840A
Other languages
English (en)
Other versions
KR20170083415A (ko
Inventor
정하욱
김범수
김선정
김홍일
홍태화
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020160002840A priority Critical patent/KR102443214B1/ko
Priority to US15/397,992 priority patent/US10326928B2/en
Publication of KR20170083415A publication Critical patent/KR20170083415A/ko
Application granted granted Critical
Publication of KR102443214B1 publication Critical patent/KR102443214B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Abstract

본 발명은 영상처리장치에 관한 것으로서, 영상의 인물영역의 경계에 관한 모델정보를 저장하는 저장부와; 처리되는 영상에서 대상영역의 경계를 결정하고, 상기 저장부에 저장된 모델정보에 기초하여 상기 결정된 대상영역의 경계가 상기 인물영역의 경계에 대응하는 경우, 상기 대상영역에 대하여 상기 인물영역에 관한 영상처리가 수행되도록 제어하는 제어부를 포함한다. 이에 의하여, 상기 처리되는 영상으로부터 상기 대상영역을 용이하게 추출할 수 있다.

Description

영상처리장치 및 그 제어방법{IMAGE PROCESSING APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 인물영역의 경계를 학습하여 생성된 모델정보를 이용하여 입력 영상에 포함된 인물의 포즈를 결정하고, 결정된 인물의 포즈에 기초하여 입력 영상에서 인물영역을 추출하는 영상처리장치 및 영상처리장치의 제어방법에 관한 것이다.
DSLR(digital single-lens reflex) 카메라는, 카메라와 배경 간의 거리를 멀게 하거나 조리개 값을 낮게 설정함으로써 배경에 대해 블러링(blurring) 또는 아웃포커싱(out of focusing) 효과를 구현할 수 있다.
이러한 아웃포커싱 효과를 구현하기 위해서는, 카메라의 렌즈의 구경, CCD 크기, 조리개 수치, 렌즈의 초점거리 등의 하드웨어적인 요인에 의해 얕은 심도의 촬영이 가능해야 한다.
그러나, 스마트폰과 같은 소형 디지털 영상처리장치는 작은 이미지 센서, 작은 구경의 렌즈 등의 하드웨어적 한계로 인해 깊은 심도의 촬영만이 가능하다.
이러한 경우, 소형 디지털 영상처리장치는 깊이 맵을 이용함으로써 아웃포커싱을 구현하기도 하지만, 깊이 맵을 생성하기 위해서 적외선 센서나 스테레오 카메라를 추가적으로 사용해야 하는 문제점이 있다.
또한, 추가적인 센서를 사용하지 않는다면, 카메라가 움직이는 환경에서 여러 장을 연속 촬영한 후 깊이 맵을 계산하여 생성할 수도 있지만, 촬영과정과 촬영 인테페이스가 복잡하고, 깊이 맵을 계산하기 위해 상당한 연산량을 필요로 한다는 문제점이 있다.
따라서, 본 발명의 목적은, 1장의 입력 영상만을 가지고도 입력 영상에 포함된 인물의 포즈를 결정하고, 결정된 인물의 포즈에 기초하여 입력 영상에서 인물영역을 추출할 수 있는 영상처리장치 및 그 제어방법을 제공하는 것이다.
본 발명의 상기 목적은, 영상처리장치에 있어서, 영상의 인물영역의 경계에 관한 모델정보를 저장하는 저장부와; 처리되는 영상에서 대상영역의 경계를 결정하고, 상기 저장부에 저장된 모델정보에 기초하여 상기 결정된 대상영역의 경계가 상기 인물영역의 경계에 대응하는 경우, 상기 대상영역에 대하여 상기 인물영역에 관한 영상처리가 수행되도록 제어하는 제어부를 포함하는 영상처리장치에 의해서 달성될 수 있다.
여기서, 상기 모델정보는 상기 인물영역을 포함하는 복수의 표본 영상에 대한 학습을 통하여 유형 별로 그룹화되어 마련될 수 있다.
여기서, 상기 모델정보의 유형은 인물의 포즈를 포함할 수 있다.
여기서, 상기 모델정보는 상기 인물영역의 경계를 분할한 복수의 구간 별로 마련되며, 상기 대상영역의 경계는 상기 구간 별로 결정될 수 있다.
여기서, 상기 제어부는, 상기 대상영역의 경계의 특징에 기초하여 비교할 상기 모델정보의 유형을 결정할 수 있다.
여기서, 상기 제어부는, 상기 대상영역의 구간 별 경계 중에서 경계의 형상의 변화가 큰 구간의 경계를 우선적으로 판단할 수 있다.
여기서, 상기 제어부는 상기 경계의 형상의 변화가 큰 경계가 상기 인물영역의 경계와 대응되면, 상기 대상영역의 인물의 포즈를 결정할 수 있다.
여기서, 상기 제어부는 상기 결정된 대상영역의 인물의 포즈에 기초하여 상기 대상영역에 대한 확률맵을 생성하고, 상기 생성된 확률맵에 기초하여 상기 대상영역을 추출할 수 있다.
또한, 상기 영상처리장치는 영상을 표시하는 디스플레이부를 포함하고, 상기 제어부는, 상기 처리되는 영상에 포함된 복수의 상기 대상영역 중 적어도 하나를 선택하고, 상기 선택된 대상영역에 상기 인물영역에 관한 영상처리를 수행하기 위한 유저 인터페이스를 상기 디스플레이부에 표시할 수 있다.
본 발명의 상기 목적은, 영상처리장치를 제어하는 방법에 있어서, 영상의 인물영역의 경계에 관한 모델정보를 저장하는 단계와; 처리되는 영상에서 대상영역의 경계를 결정하는 단계와; 상기 저장된 모델정보에 기초하여 상기 결정된 대상영역의 경계가 상기 인물영역의 경계에 대응하는지를 판단하는 단계와; 및 상기 판단 결과에 따라 상기 대상영역에 대하여 상기 인물영역에 관한 영상처리를 수행하는 단계를 포함하는 영상처리장치의 제어방법에 의해서도 달성될 수 있다.
여기서, 상기 모델정보는 상기 인물영역을 포함하는 복수의 표본 영상에 대한 학습을 통하여 유형 별로 그룹화되어 마련될 수 있다.
여기서, 상기 모델정보의 유형은 인물의 포즈를 포함할 수 있다.
여기서, 상기 모델정보는 상기 인물영역의 경계를 분할한 복수의 구간 별로 마련되며, 상기 대상영역의 경계는 상기 구간 별로 결정될 수 있다.
여기서, 상기 결정하는 단계는, 상기 대상영역의 경계의 특징에 기초하여 비교할 상기 모델정보의 유형을 결정하는 단계를 포함할 수 있다.
여기서, 상기 판단하는 단계는, 상기 대상영역의 구간 별 경계 중에서 경계의 형상의 변화가 큰 구간의 경계를 우선적으로 판단하는 단계를 포함할 수 있다.
여기서, 상기 판단하는 단계는 상기 경계의 형상의 변화가 큰 경계가 상기 인물영역의 경계와 대응되면, 상기 대상영역의 인물의 포즈를 결정하는 단계를 포함할 수 있다.
또한, 상기 영상처리장치의 제어방법은, 상기 결정된 대상영역의 인물의 포즈에 기초하여 상기 대상영역에 대한 확률맵을 생성하는 단계와; 및 상기 생성된 확률맵에 기초하여 상기 대상영역을 추출하는 단계를 더 포함할 수 있다.
또한, 상기 영상처리장치의 제어방법은, 상기 처리되는 영상에 포함된 복수의 상기 대상영역 중 적어도 하나를 선택하는 단계와; 및 상기 선택된 대상영역에 상기 인물영역에 관한 영상처리를 수행하기 위한 유저 인터페이스를 표시하는 단계를 더 포함할 수 있다.
상기한 바와 같이, 본 발명에 의하면, 1장의 입력 영상만을 가지고도 입력 영상에 포함된 인물의 포즈를 결정하고, 결정된 인물의 포즈에 기초하여 입력 영상에서 인물영역을 추출할 수 있다.
도 1은 본 발명의 실시예에 따른 영상처리장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 영상처리장치를 나타내는 예시도이다.
도 3은 본 발명의 실시예에 따른 영상처리장치를 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 패치에 기반한 인물영역의 학습에 관한 예시도이다.
도 5는 본 발명의 실시예에 따른 인물영역의 경계의 학습에 관한 예시도이다.
도 6은 본 발명의 실시예에 따른 대상영역의 추출에 관한 예시도이다.
도 7은 본 발명의 실시예에 따른 영상처리장치에 관한 예시도이다.
도 8은 본 발명의 실시예 따른 영상처리장치에 관한 예시도이다.
도 9는 본 발명의 실시예 따른 영상처리장치에 관한 예시도이다.
도 10은 본 발명의 실시예 따른 영상처리장치에 관한 예시도이다.
도 11은 본 발명의 실시예 따른 영상처리장치에 관한 예시도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 이하 실시예에서는 본 발명의 사상과 직접적인 관련이 있는 구성들에 관해서만 설명하며, 그 외의 구성에 관해서는 설명을 생략한다. 그러나, 본 발명의 사상이 적용된 장치 또는 시스템을 구현함에 있어서, 이와 같이 설명이 생략된 구성이 불필요함을 의미하는 것이 아님을 밝힌다.
도 1은 본 발명의 실시예에 따른 영상처리장치를 나타내는 블록도이다.
영상처리장치(10)는, 휴대용 전자기기(portable electronic device)일 수 있으며, 휴대용 단말기(portable terminal), 이동 전화(mobile phone), 이동 패드(mobile pad), 미디어 플레이어(media player), 태블릿 컴퓨터(tablet computer), 스마트폰(smart phone) 또는 PDA(Personal Digital Assistant)와 같은 장치일 수 있다. 또한, 이러한 장치들 중 두 가지 이상의 기능을 결합한 장치를 포함하는 임의의 휴대용 전자기기일 수도 있다.
도 1을 참조하면, 영상처리장치(10)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 저장부(160), 인터페이스부(170), 전원 공급부(190), 신호처리부(180) 및 제어부(100)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.
무선 통신부(110)는 방송수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 및 GPS 모듈(115) 등을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및 방송 관련 정보 중 적어도 하나를 수신한다. 방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 저장부(160)에 저장될 수 있다.
이동 통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(113)은 영상처리장치(10)에 내장되거나 외장될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.
GPS(Global Position System) 모듈(115)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.
A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 제1 영상획득부(121), 제2 영상획득부(122)와 마이크(123) 등이 포함될 수 있다.
영상획득부(121, 122)는 화상 통화모드와 촬영모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이부(151)에 표시되거나, 저장부(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 영상획득부(121, 122)는 영상처리장치의 영상처리장치(10)의 전면에 마련되는 제1 영상획득부(121)와 후면에 마련되는 제2 영상획득부(122)로 구성될 수 있다.
마이크(123)는 통화모드와 녹음모드에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고, 통화모드인 경우 처리된 음성 데이터는 이동 통신 모듈(112)을 통하여 이동 통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크 (123)는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.
사용자 입력부(130)는 사용자가 영상처리장치(10)의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 디스플레이부(151)와 상호 레이어 구조를 이룰 경우, 이를 터치 스크린(touch screen)이라 부를 수 있다.
센싱부(140)는 영상처리장치(10)의 개폐 상태, 영상처리장치(10)의 위치와 자세 등과 같이 영상처리장치(10)의 현 상태를 감지하여 영상처리장치(10)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당할 수 있다.
센싱부(140)는 자이로센서(Gyro Sensor)(142) 또는 전자 나침반(143)을 포함할 수 있다. 자이로센서(142)는 자이로스코프를 이용하여 물체의 움직임을 감지하는 센서, 관성센서, 가속도센서를 포함하는 개념이다. 자이로스코프에는 기계식 자이로스코프, 고리형 레이저 자이로스코프, 광섬유 자이로스코프 등이 있다. 자이로센서(142)는 영상처리장치(10)의 움직임을 감지하여 감지한 방향을 전기신호로 출력할 수 있다. 또한, 전자 나침반(143)은 마그네틱 센서(magnetic sensor)에 의해서 지구자기장을 따라서 배위하여 방향을 감지할 수 있으므로, 영상처리장치(10)의 움직임을 감지하여 감지한 방향을 전기신호로 출력할 수 있다.
출력부(150)는 오디오 신호, 비디오 신호, 또는 알람(alarm) 신호의 출력을 위한 것으로서, 디스플레이부(151)와 음향출력부(153), 알람부(155), 진동부(157) 등이 포함될 수 있다.
디스플레이부(151)는 영상처리장치(10)에서 처리되는 정보를 표시 출력한다. 예를 들어, 영상처리장치(10)가 통화모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고, 영상처리장치(10)가 화상 통화모드 또는 촬영모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, 이와 관련된 UI 또는 GUI를 표시한다.
한편, 상기한 바와 같이, 디스플레이부(151)와 터치패드가 상호 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 만일, 디스플레이부(151)가 터치스크린으로 구성되는 경우, 터치 스크린 패널, 터치 스크린 패널 제어기 등을 포함할 수 있다.
또한, 디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 커브드 디스플레이(curved display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. 그리고, 영상처리장치(10)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수도 있다. 예를 들어, 영상처리장치(10)에 전면 디스플레이부와 후면 디스플레이부가 동시에 구비될 수 있다.
음향출력부(153)은 통화모드 또는 녹음모드 등에서 무선 통신부(110)로부터 수신되거나 저장부(160)에 저장된 음성 데이터를 출력할 수 있으며, 스피커(speaker), 버저(Buzzer) 등을 포함할 수 있다.
알람부(155)는 영상처리장치(10)의 이벤트 발생을 알리기 위한 신호를 출력한다. 진동부(157)는 제어부(100)가 전송하는 진동신호에 의하여 다양한 세기와 패턴의 진동을 발생할 수 있다.
저장부(160)는 제어부(100)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
저장부(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 영상처리장치(10)는 인터넷(internet) 상에서 저장부(160)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
인터페이스부(170)는 영상처리장치(10)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 영상처리장치(10)에 연결되는 외부기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리 카드(Memory card), SIM/UIM card 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오 I/O(Input/Output) 단자, 이어폰 등이 있다.
제어부(100)는 CPU 또는 프로세서(processor)를 포함할 수 있으며, 영상처리장치(10)의 각 구성의 동작을 제어할 수 있다.
신호처리부(180)는 데이터/신호에 대해 다양한 프로세스를 수행할 수 있다. 예를 들어, 신호처리부(180)는 무선 통신부(110), 영상획득부(121, 122) 및 인터페이스부(170)에 영상데이터가 수신되면, 영상데이터에 대해 영상처리 프로세스를 수행하고, 이러한 프로세스가 수행된 영상데이터를 디스플레이부(151)에 출력함으로써 디스플레이부(151)에 해당 영상데이터에 기초하는 영상이 표시되게 한다.
또한, 방송신호가 수신되는 경우에, 신호처리부(180)는 특정 채널로 튜닝된 방송신호로부터 영상, 음성 및 부가데이터를 추출하고, 추출된 영상의 화면 비를 조정하여 디스플레이부(151)에 표시되게 할 수도 있다.
신호처리부(180)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
신호처리부(180)는 데이터의 종류, 특성에 따라서 다양한 프로세스를 수행할 수 있으므로 신호처리부(180)가 수행 가능한 프로세스를 영상처리 프로세스로 한정할 수 없다. 신호처리부(180)는 제어부(100)와 통합되어 SOC 형태로 제공 될 수 있으나, 이에 제한 되지 않으며 다른 필요에 따라 다른 구성과 통합되거나 독립적인 형태로 제공 될 수 있다.
그리고, 전원 공급부(190)는 제어부(100)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
도 2는 본 발명의 실시예에 따른 영상처리장치를 나타내는 예시도이다.
도 2를 참조하면, 본 실시예에 따른 영상처리장치(10)는 전면 케이스(210)와 후면 케이스(215)를 포함하며, 전면 케이스(210)와 후면 케이스(215)는 영상처리장치(10)의 외관을 형성한다. 전면 및 후면 케이스(210, 215)의 내부에는 적어도 하나의 중간 케이스들이 추가로 배치될 수도 있다.
전면 케이스(210)에는 디스플레이부(151), 사용자 입력부(130), 음성수신부(123), 제1 음향출력부(250) 및 제1 영상획득부(121)가 배치될 수 있다. 후면 케이스(215)에는 제2 음향출력부(255) 및 제2 영상획득부(122)가 배치될 수 있다.
디스플레이부(151)는 정보를 시각적으로 표현하는 LCD, OLED 등을 포함한다. 디스플레이부(151)에는 터치패드가 레이어 구조로 중첩됨으로써, 디스플레이부(151)가 터치 스크린으로 동작하여, 사용자의 터치에 의한 사용자 입력이 가능하도록 구성할 수도 있다.
사용자 입력부(130)는 사용자가 촉각적인 느낌을 주면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다.
예를 들어, 사용자 입력부(130)는 사용자의 푸시 또는 터치 조작에 의해 명령 또는 정보를 입력받을 수 있는 돔 스위치 또는 터치 패드로 구현되거나, 키를 회전시키는 휠 또는 조그 방식이나 조이스틱과 같이 조작하는 방식 등으로도 구현될 수 있다.
사용자 입력부(130)는 영상처리장치(10)의 시작, 종료, 통화 등과 같은 명령을 입력하거나, 동작모드의 선택 등을 입력하거나, 영상처리장치(10) 내의 특수한 기능을 활성화하기 위한 핫 키(hot-key)로서 작동할 수 있다. 다만, 사용자 입력부(130)의 기능은 터치 스크린으로 동작하는 디스플레이부(151)를 통해서도 가능하다.
제1 영상획득부(121)는 영상처리장치(10)의 전면에 마련되어 전방 영상을 촬영할 수 있다. 반면에, 제2 영상획득부(122)는 영상처리장치(10)의 후면에 마련되어 후방 영상을 촬영할 수 있다. 제1 영상획득부(121) 및 제2 영상획득부(122)는 각각 렌즈, 이미지 센서 등을 포함할 수 있다. 제1 영상획득부(121) 및 제2 영상획득부(122)는 각각 렌즈를 통해 입력되는 영상신호를 제어부(100)로 출력한다.
음성수신부(123)는 사용자의 음성, 기타 소리 등을 입력받기에 적절한 형태로 구현될 수 있다.
도 3은 본 발명의 실시예에 따른 영상처리장치를 나타내는 블록도이다.
도 3를 참조하면, 본 실시예에 따른 영상처리장치(10)는 영상획득부(310), 제어부(100), 저장부(160), 및 디스플레이부(151)를 포함한다.
여기서, 제어부(100)는 패치 수신부(321), 제1 학습부(322), 제2 학습부(323), 경계추출부(324), 경계결정부(325), 포즈결정부(326), 확률맵생성부(327), 영역분리부(328), 및 영상효과부(329)를 더 포함할 수 있다.
영상획득부(310)는 렌즈를 포함할 수 있으며 외부로부터 입력되는 영상을 획득할 수 있다. 영상획득부(310)는 복수의 영상획득부(121, 122)로 구성될 수 있다.
패치 수신부(321)는 영상획득부(310)로부터 영상 또는 패치를 수신한다. 패치 수신부(321)가 영상을 수신하는 경우, 수신된 영상을 소정 영역 또는 그리드로 분할하여 패치를 생성할 수 있다. 여기서, 패치는 영상의 일부로서, 인물에 대응하는 인물영역 및 인물영역을 제외한 배경영역 중 적어도 하나를 포함하는 영상을 의미한다.
또한, 패치는 '사람', '인물'이란 단어에 대한 인터넷 검색 결과로부터 획득되거나 저장부(160)에 저장된 영상의 일부일 수 있다.
제1 학습부(322)는 CNN(Convolution Neural Networks) 또는 HOG(Histogram of Oriented Gradient)와 같은 다양한 영상인식 알고리즘을 사용하여 패치의 특징점을 검출할 수 있다.
제1 학습부(322)는 인물의 특징에 관한 제1 기준 정보(first reference information)를 사용하여 상기 검출된 특징점이 인물의 특징에 대응하는지에 따라 패치에 인물영역이 포함되었는지를 판단할 수 있다. 여기서, 제1 기준 정보는 저장부(160)에 미리 저장된 기준 정보일 수 있다.
예를 들어, 제1 학습부(322)는 인물의 얼굴 형상 및 얼굴 위치에 관한 제1 기준 정보를 사용하여 검출된 특징점으로부터 얼굴 형상 및 얼굴 위치를 추정할 수 있고, 추정된 얼굴 형상 및 얼굴 위치에 기초하여 패치에 인물영역이 포함되었는지를 판단할 수 있다.
제1 학습부(322)는 다수의 패치에 대해 인물영역의 포함여부를 판단함으로써, 인물의 특징에 대해 학습할 수 있다. 위의 사례에서, 제1 학습부(322)가 얼굴 형상 및 얼굴 위치에 관한 제1 기준 정보에 기초하여 패치에 인물영역이 포함된 것으로 판단한 경우에, 패치에 포함된 얼굴 형상 및 얼굴 위치에 대해 학습할 수 있고, 학습된 얼굴 형상 및 얼굴 위치는 다음 패치에 인물영역이 포함되었는지를 판단할 때, 인물의 특징에 관한 제1 기준 정보로 사용될 수 있다.
이와 같이, 제1 학습부(322)는 제1 기준 정보를 사용하여 패치로부터 인물의 특징을 학습할 수 있고, 학습된 결과에 따라 패치가 인물영역을 포함하고 있는지를 판단할 수 있다.
제1 학습부(322)는 학습 결과를 저장부(160)에 저장할 수 있다.
제2 학습부(323)는 다양한 영상인식 알고리즘을 사용하여 표본 영상으로부터 표본 경계를 추출할 수 있다. 여기서, 표본 영상은 인물의 일부에 관한 영상일 수 있으며, 표본 경계는 인물의 일부에 관한 경계일 수 있다. 또한, 표본 영상은 영상획득부(310)로부터 수신하거나 저장부(160)에 저장된 영상일 수 있으며, 인터넷 검색 결과로부터 획득한 영상일 수 있다.
제2 학습부(323)는 사용자에 의해 미리 결정된 제2 기준 정보를 사용하여 추출된 표본 경계를 그룹화할 수 있다.
여기서, 제2 기준 정보는 인물의 경계 중에서 일부 구간을 나타내는 기준 경계에 관한 정보일 수 있으며, 사용자에 의해 미리 결정되어 저장부(160)에 저장되거나 외부 장치로부터 획득될 수 있다.
여기서, 기준 경계는 인물의 경계 중에서 일부 구간을 나타내기 때문에, 신체의 일부 경계와 의복의 일부 경계일 수 있다. 예를 들어, 기준 경계는 인물의 두상 선, 턱 선, 목 선, 어깨 선 등 신체의 일부 경계를 포함할 수 있으며, 외투 선, 모자 선 등 의복의 일부 경계를 포함할 수 있다.
또한, 기준 경계는 인물의 포즈 별로 구분될 수 있다. 예를 들어, 기준 경계는 정면 포즈에서의 좌우 어깨 선과 비스듬한 포즈에서의 좌우 어깨 선으로 각각 구분되어 마련될 수 있다.
제2 학습부(323)는 포즈 별로 구분된 인물의 일부 구간에 따라 표준 경계를 그룹화함으로써, 포즈 별로 구분된 인물의 일부 구간에 대해 학습할 수 있다. 여기서, 경계 간의 대응여부는 소정 유사도에 기초하여 결정될 수 있으며, 소정 유사도는 경계의 직선 및 곡선 성분의 길이, 절곡 각도 등이 고려될 수 있다.
예를 들어, 좌우 어깨 선이 비스듬한 포즈에서의 좌우 어깨 선에 관한 기준 경계로 결정되고, 기준 경계에 관한 제2 기준 정보가 저장부(160)에 저장되었다고 가정한다. 제2 학습부(323)는 복수의 표본 영상으로부터 복수의 표본 경계를 추출하고, 제2 기준 정보에 기초하여 복수의 표본 경계 중에서 비스듬한 포즈에서의 좌우 어깨 선에 관한 기준 경계에 각각 대응되는 다수의 표본 경계를 그룹화함으로써, 비스듬한 포즈에서의 좌우 어깨 선에 대해 학습할 수 있다.
다만, 학습을 위한 그룹화의 유형은 상기한 바에 한정되지 않으므로, 제2 학습부(323)는 다양한 포즈에서의 신체의 일부 경계를 기준 경계로 결정할 수 있으며, 신체의 일부 경계뿐만 아니라 다양한 종류의 의복의 일부 경계를 기준 경계로 결정할 수 있다.
따라서, 제2 학습부(323)는 다양한 기준 경계와 대응여부에 따라 다양한 유형 별로 인물영역의 경계에 대해 학습할 수 있다.
여기서, 제2 학습부(323)는 인물영역의 경계에 대해 학습하기 위해서, LDA(Latent Dirichlet Allocation)와 같은 자연어 처리 알고리즘을 사용할 수 있다. 즉, 그룹화된 표본 경계들은 인물영역의 경계에 관한 확률 분포를 의미할 수 있다.
제2 학습부(323)는 학습된 인물영역의 경계에 기초하여 모델정보를 생성하고, 생성된 모델정보를 저장부(160)에 저장할 수 있다.
인물영역의 경계는 인물의 포즈, 신체의 일부, 의복의 종류 등에 따라 다양한 유형 별로 학습되므로, 모델정보도 다양한 유형 별로 마련될 수 있다.
이와 같이, 본 실시예에 따른 영상처리장치(10)는 제1 기준 정보에 기초하여 인물의 특징에 학습할 수 있고, 제2 기준 정보에 기초하여 인물영역의 경계에 관한 학습할 수 있다.
이하에서는, 외부로부터 임의의 입력 영상이 입력되는 경우에, 학습된 인물의 특징에 기초하여 인물영역의 포함여부를 결정하고, 학습된 인물영역의 경계에 기초하여 인물영역의 포즈를 결정하여, 입력 영상으로부터 인물영역을 추출하는 과정에 대해 자세히 설명한다.
경계추출부(324)는 영상획득부(310)로부터 임의의 입력 영상을 수신할 수 있고, 다양한 영상인식 알고리즘을 사용하여 입력 영상으로부터 경계를 추출할 수 있다.
경계추출부(324)는 인물의 특징에 관한 학습 결과를 사용하여 입력 영상에 인물이 포함되어 있는지를 판단할 수 있다. 즉, 경계추출부(324)는 입력 영상의 경계가 학습된 인물의 특징에 대응하는지 여부에 따라 입력 영상이 인물영역을 포함하고 있는지를 판단할 수 있다. 따라서, 경계추출부(324)는 인물영역을 포함하고 있는 영상과 인물영역을 포함하지 않은 영상을 구별할 수 있다.
경계결정부(325)는 복수의 입력 영상 중에서 경계추출부(324)에 의해 인물영역을 포함하는 영상으로 판단된 입력 영상을 수신할 수 있다. 경계결정부(325)는 입력 영상에서 추출된 경계 중에서 모델정보의 유형을 결정할 만한 경계를 결정할 수 있다. 이는, 입력 영상에서 인물영역(이하 '대상영역'이라 함.)을 추출하기 위해서는, 모델정보에 기초하여 대상영역의 경계와 학습된 인물영역의 경계를 대비해야 하는데, 모델정보가 각 포즈에서의 신체의 일부 경계에 관한 것이기 때문에, 입력 영상의 경계 중에서 모델정보의 유형을 결정할 수 있는 일부 경계인 대상영역의 경계를 결정할 필요가 있기 때문이다.
따라서, 경계결정부(325)는 입력 영상의 경계를 신체의 일부 구간 또는 의복의 일부 구간으로 분할하고, 분할된 경계를 대상영역의 경계로 결정할 수 있다. 예를 들어, 경계결정부(325)는 입력 영상의 경계를 두상 선, 어깨 선 등으로 분할하고, 분할된 경계 중에서 어깨 선을 대상영역의 경계로 결정할 수 있다.
특히, 경계결정부(325)는 분할된 복수의 경계 중에서 형상의 변화가 큰 경계를 대상영역의 경계로 결정할 수 있다. 이는 경계의 형상 변화가 클수록 다른 분할된 경계와의 구별이 용이할 뿐만 아니라, 대비 대상인 모델정보의 학습된 경계와의 대비가 용이하기 때문이다. 예를 들어, 입력 영상의 경계에 좌우 어깨 선이 포함된 경우에, 소정 축방향의 길이 변화가 더 큰 하나의 어깨 선을 대상영역의 경계로 결정할 수 있다.
포즈결정부(326)는 대상영역의 경계의 특징에 기초하여 비교할 대응되는 모델정보를 선택할 수 있다. 즉, 포즈결정부(326)는 대상영역의 경계의 직선 및 곡선 성분의 길이, 성분 간의 절곡 각도 등에 기초하여 대비될 만한 모델정보를 선택할 수 있다.
포즈결정부(326)는 선택된 모델정보에 기초하여 대상영역의 경계와 학습된 인물영역의 경계의 대응여부에 따라 대상영역의 포즈를 결정할 수 있다.
모델정보는 포즈에 따른 인물의 일부 경계가 그룹화된 것이므로, 포즈결정부(326)는 대상영역의 경계가 모델정보에 포함되는지 여부에 따라 대상영역의 경계와 학습된 인물영역의 경계의 대응여부를 판단할 수 있다.
특히, 포즈결정부(326)는 대상영역의 경계가 학습된 인물영역의 경계와 대응하는 경우에, 대상영역의 인물의 포즈를 결정할 수 있다. 위의 사례에서, 소정 축방향의 길이 변화가 더 큰 하나의 어깨 선이 대상영역의 경계일 때, 대상영역의 경계와 비스듬한 포즈에서 학습된 어깨 선이 대응된다면, 포즈결정부(326)는 대상영역의 인물의 포즈가 비스듬한 것으로 결정할 수 있다.
확률맵생성부(327)는, 대상영역의 인물의 포즈가 결정되면, 결정된 포즈에 기초하여 대상영역에 대한 확률맵을 생성한다.
영역분리부(328)는 결정된 대상영역의 경계와 확률맵에 기초하여 입력 영상으로부터 대상영역을 추출할 수 있다. 영역분리부(328)는 대상영역을 추출하는 경우에 Grab-Cut 또는 LMS(Least Mean Square) 알고리즘을 사용할 수 있다.
영상효과부(329)는 추출된 대상영역에 대해 인물영역에 관한 영상처리 기능을 수행할 수 있다. 예를 들면, 입력 영상의 대상영역을 제외한 영역에 아웃포커싱을 적용할 수 있다.
이와 같이, 본 실시예에 따른 영상처리장치(10)는 입력 영상에 포함된 인물의 포즈를 결정할 수 있으므로, 1장의 입력 영상만으로 입력 영상에 포함된 대상영역을 추출할 수 있고, 추출된 대상영역에 영상 효과를 적용하여 디스플레이부(151)에 표시할 수 있다.
도 4는 본 발명의 실시예에 따른 패치에 기반한 인물영역의 학습에 관한 예시도이다.
도 4를 참조하면, 본 실시예에 따른 제어부(100)는 복수의 패치를 수신하고, 수신된 패치로부터 특징점들을 검출할 수 있다(S401). 패치는 인물영역 및 배경영역 중 적어도 하나를 포함하는 영상의 일부를 의미할 수 있으며, 제어부(100)는 패치의 특징점들을 검출하기 위하여 다양한 영상인식 알고리즘을 사용할 수 있다.
제어부(100)는 인물의 특징에 관한 제1 기준 정보를 사용하여, 검출된 특징점들이 인물의 특징에 대응되는지에 따라, 패치에 인물영역의 포함여부를 판단하고, 인물의 특징에 대해 학습할 수 있다(S402). 여기서, 제1 기준 정보는 사용자에 의해 미리 결정되는 인물의 특징에 관한 정보일 수 있다.
예를 들어, 제어부(100)는 인물의 얼굴의 경계에 관한 제1 기준 정보를 활용하여 패치의 특징점들이 얼굴의 경계에 대응되는지를 판단할 수 있다. 제어부(100)가 다수의 패치로부터 검출된 특징점들이 얼굴의 경계에 대응하는지를 판단할 수 있고, 얼굴의 경계에 대응하는 것으로 판단된 다수의 특징점들에 대해 학습할 수 있다.
제어부(100)는 인물의 특징에 대한 학습 결과를 활용하여, 임의의 입력 영상이 입력될 때, 입력 영상에 인물이 포함되어 있는지 여부를 판단할 수 있다(S403).
도 5는 본 발명의 실시예에 따른 인물영역의 경계의 학습에 관한 예시도이다.
도 5를 참조하면, 본 실시예에 따른 제어부(100)는 복수의 표본 영상을 수신하고, 영상인식 알고리즘을 사용하여 표본 경계를 추출할 수 있다(S510). 여기서, 표본 영상은 인물의 일부를 포함하는 영상으로서, 저장부(160)에 저장된 영상이거나 외부 장치로부터 획득된 영상일 수 있으며, 표본 경계는 표본 영상으로부터 추출된 경계를 의미할 수 있다.
제어부(100)는 제2 기준 정보를 사용하여 복수의 표본 경계를 유형 별로 그룹화할 수 있다. 여기서, 제2 기준 정보는 인물의 포즈 별로 구분된 신체의 일부 경계를 나타내는 기준 경계에 관한 정보일 수 있으며, 인물영역의 일부에 대응하는 기준 경계일 수 있으며, 사용자에 의해 미리 결정되어 저장부(160)에 저장되거나 외부 장치로부터 획득될 수 있다.
제어부(100)는 표본 경계가 기준 경계에 대응되는지에 따라 표본 경계를 다양한 유형 별로 분류할 수 있다(S520).
예를 들어, 기준 경계가 비스듬한 포즈에서의 얼굴 선과 어깨 선으로 마련될 때, 제어부(100)는 표준 경계의 직선 및 곡선 성분의 길이, 절곡 각도 등이 기준 경계의 얼굴 선과 어깨 선과 유사한 지에 따라 다수의 표준 경계를 비스듬한 포즈에서의 얼굴 선 또는 어깨 선 등으로 각각 분류할 수 있다.
제어부(100)는 다양한 유형 별로 분류된 표본 경계를 유형 별로 그룹화함으로써 인물영역의 경계에 대해 학습할 수 있고, 학습된 인물영역의 경계에 관한 모델정보를 생성할 수 있다(S530).
위의 사례에서, 제어부(100)는 비스듬한 포즈에서의 어깨 선으로 분류된 다수의 표본 경계를 그룹화함으로써 비스듬한 포즈에서의 어깨 선에 대해 학습할 수 있다. 따라서, 그룹화된 표본 경계는 다수의 인물영역의 경계에 관한 확률 분포가 될 수 있다.
제어부(100)는 모델정보를 사용하여 임의의 입력 영상에 포함된 인물의 포즈를 결정할 수 있고, 결정된 포즈에 기초하여 인물영역을 추출할 수 있다.
이하, 도 6을 참조하여, 입력 영상에 인물영역이 포함되어 있는지를 판단하고, 인물영역을 포함하는 입력 영상에 대해서 모델정보를 사용하여 인물영역을 추출하는 과정에 대해 자세히 설명한다.
도 6은 본 발명의 실시예에 따른 대상영역의 추출에 관한 예시도이다.
도 6을 참조하면, 본 실시예에 따른 영상처리장치(10)는 적어도 하나의 대상영역이 포함된 입력 영상을 수신할 수 있다(S610). 여기서, 대상영역은 인물에 대응하는 영역을 의미할 수 있다. 제어부(100)는 인물의 특징에 관한 학습 결과에 기초하여, 임의의 입력 영상에 인물이 포함되어 있는지를 판단할 수 있다.
즉, 제어부(100)는 다양한 영상인식 알고리즘을 사용하여 입력 영상의 특징점들을 검출하고, 검출된 특징점들이 학습된 인물의 특징에 대응하는지에 따라 인물이 포함된 입력 영상만을 분리할 수 있다.
제어부(100)는 입력 영상으로부터 대상영역을 추출하기 위해 입력 영상으로부터 경계를 추출하고, 추출된 경계 중에서 모델정보의 유형을 선택하기 위한 대상영역의 경계를 결정한다(S620).
모델정보는 인물의 포즈 별로 인물의 일부의 경계에 관하여 학습된 것이므로, 모델정보의 유형을 선택하기 위해서는 대상영역의 경계도 인물의 일부의 경계에 관한 것일 수 있다. 따라서, 제어부(100)는 입력 영상의 경계 중에서 신체의 일부 경계 또는 의복의 일부 경계를 모델정보의 유형을 결정하기 위한 대상영역의 경계로 결정할 수 있다.
대상영역의 경계는 복수일 수 있으며, 제어부(100)는 대상영역의 경계 중에서 형상의 변화가 큰 경계와 대비할 만한 모델정보를 우선적으로 선택하고, 선택된 모델정보에 기초하여 대상영역의 경계가 학습된 인물영역의 경계와 대응되는지를 판단할 수 있다(S630). 제어부(100)는 대상영역의 경계가 학습된 인물영역의 경계와 대응되면, 대상영역의 인물의 포즈를 결정할 수 있다. 이는, 인물영역의 경계가 포즈 별로 인물의 일부 경계에 관하여 학습되었기 때문이다.
제어부(100)는 결정된 포즈에 기초하여 대상영역에 대한 확률맵을 생성한다(S640). 제어부(100)는 결정된 대상영역의 경계와 생성된 확률맵에 기초하여 입력 영상으로부터 대상영역을 추출할 수 있다(S650). 제어부(100)는 대상영역을 추출하는 경우에 Grab-Cut 또는 LMS 알고리즘을 사용할 수 있다.
제어부(100)는 추출된 대상영역에 대해 인물영역에 관한 소정 영상처리 기능을 수행할 수 있다(S660). 예를 들면, 대상영역을 제외한 입력 영상의 영역에 아웃포커싱을 적용할 수 있다.
이와 같이, 본 실시예에 따른 제어부(100)는 인물의 특징에 관한 학습 결과에 기초하여 임의의 입력 영상에 인물이 포함되어 있는지를 판단할 수 있고, 포즈 별로 학습된 인물영역의 경계에 기초하여 입력 영상의 인물의 포즈를 결정할 수 있다.
도 7은 본 발명의 실시예에 따른 영상처리장치에 관한 예시도이다.
도 7에 도시된 바와 같이, 영상처리장치(700)는 대상영역(720) 및 배경영역(730)을 포함하는 입력 영상을 디스플레이부(710)에 표시하고 있다. 또한, 영상처리장치(700)는 입력 영상으로부터 대상영역(720)을 추출하고, 대상영역(720)을 제외한 배경영역(730)에 대해 아웃포커싱을 적용하고 있다.
영상처리장치(700)의 제어부(100)는 배경영역(730)에 영상효과의 적용 여부 및 영상효과의 종류에 관한 UI를 디스플레이부(710)에 표시할 수 있다. 예를 들어, 영상처리장치(700)는 배경영역(730)에 영상효과를 온/오프할 수 있는 아이콘을 포함하는 UI(740) 및 그라데이션, 아웃포커싱 등과 같은 영상 효과의 종류에 관한 아이콘을 포함하는 UI(750)를 표시할 수 있다. 특히, 사용자 입력에 따라 아웃포커싱 아이콘(750)을 선택하면, 아웃포커싱의 적용 정도에 관한 아이콘을 포함하는 UI(760)를 표시할 수 있다.
예를 들어, 영상처리장치(700)는 대상영역(720)의 경계와의 거리에 따라 아웃포커싱의 정도를 다르게 적용하기 위한 슬로프 아이콘(760)와 대상영역(720)의 경계와의 거리와 무관하게 아웃포커싱의 정도를 적용하기 위한 리니어 아이콘(770)를 표시할 수 있다.
이와 같이, 영상처리장치(700)는 UI를 통한 사용자 입력에 따라 배경영역(730)에 영상효과를 적용 여부, 영상효과의 종류 및 영상효과의 정도를 선택적으로 적용할 수 있다.
도 8은 본 발명의 실시예 따른 영상처리장치에 관한 예시도이다.
영상처리장치(800)는 인물영역의 의복 착용에 따른 경계의 변이를 고려하여 인물영역의 경계를 학습한다. 즉, 영상처리장치(800)는 다수의 표본 영상으로부터 추출된 인물영역의 경계를 의복 착용 여부에 따라 분류하여 그룹화할 수 있고, 의복의 종류에 따라 인물영역의 경계를 분류하여 그룹화할 수 있다.
예를 들어, 영상처리장치(800)는 얇은 의복을 착용한 인물영역에 대한 경계와 두꺼운 의복을 착용한 인물영역에 대한 경계를 각각 분류하여 그룹화할 수 있다.
이와 같이, 영상처리장치(800)는 의복 착용 여부 및 의복의 종류 별로 인물영역의 경계에 대해 학습할 수 있고, 학습된 인물영역의 경계에 관한 모델정보를 생성하여 저장부에 저장한다. 따라서, 영상처리장치(800)는 대상영역의 인물이 다양한 종류의 의복을 착용한 경우라도, 모델정보에 기초하여 대상영역의 경계가 학습된 인물영역의 경계에 대응되는지를 판단할 수 있다.
도 8을 참조하면, 영상처리장치(800)는 입력 영상(810)을 수신하여 표시한다. 입력 영상(810)은 대상영역(811) 및 배경영역(812)을 포함한다.
영상처리장치(800)는 영상인식 알고리즘을 사용하여 대상영역(811)의 경계를 추출하고, 표본 영상에 기반하여 대상영역의 좌측 경계(813) 및 우측 경계(814)를 결정한다.
영상처리장치(800)는 모델정보에 기초하여 대상영역(811)의 결정된 좌측 경계(813) 및 우측 경계(814)가 학습된 인물영역의 경계에 대응되는지를 판단한다. 학습된 인물영역의 경계는 의복 착용 여부 및 의복의 종류에 따라 학습된 것이고, 모델정보는 학습된 인물영역에 관한 것이므로, 영상처리장치(800)는 좌측 경계(813) 및 우측 경계(814)가 두꺼운 의복을 착용한 경우로 학습된 인물영역의 경계에 대응하는지를 판단할 수 있다.
영상처리장치(800)는 좌측 경계(813) 및 우측 경계(814)가 학습된 인물영역의 경계와 대응하는 것으로 판단되면, 대상영역(821)의 포즈를 결정한다. 여기서, 좌측 경계(813) 및 우측 경계(814) 간의 소정 축방향 길이가 소정 문턱치 값 이내로 볼 수 있으므로, 대상영역(821)은 정면 포즈를 취하는 것으로 결정할 수 있다.
영상처리장치(800)는 대상영역(821)의 결정된 포즈에 기초하여 대상영역(821)에 관한 확률맵을 생성한다.
영상처리장치는 대상영역(811)의 경계와 확률맵에 기초하여 대상영역(821)을 추출하고, 추출된 대상영역(821)을 제외한 배경영역(822)에 아웃포커싱을 적용한 영상(820)을 표시할 수 있다.
도 9는 본 발명의 실시예 따른 영상처리장치에 관한 예시도이다.
영상처리장치(900)는 인물영역의 포즈에 따른 경계의 변이를 고려하여 인물영역의 경계를 학습한다. 즉, 영상처리장치(900)는 다수의 표본 영상으로부터 추출된 인물영역의 경계에 기초하여 포즈를 결정하고, 결정된 포즈에 따라 인물영역의 경계를 분류하여 그룹화할 수 있다.
예를 들어, 영상처리장치(900)는 인물영역에서 좌측의 턱 선과 우측의 목 선을 추출한 경우, 인물영역이 비스듬하게 돌아선 포즈를 취한 것으로 결정할 수 있고, 결정된 포즈 별로 인물영역의 경계를 분류하고 그룹화함으로써, 비스듬하게 돌아선 인물영역의 경계를 학습할 수 있다.
영상처리장치(900)는 학습된 인물영역의 경계에 관한 모델정보를 생성하여 저장한다.
도 9를 참조하면, 영상처리장치(900)는 입력 영상(910)을 수신하여 표시할 수 있다. 입력 영상은 대상영역(911) 및 배경영역(912)을 포함한다. 영상처리장치(900)는 영상인식 알고리즘을 사용하여 대상영역(911)의 경계를 추출하고, 표본 영상에 기반하여 대상영역의 좌측 경계(913) 및 우측 경계(914)를 결정한다.
대상영역(911)의 좌측 경계(913) 및 우측 경계(914)가 학습된 인물영역의 경계에 대응하는 것으로 판단되면, 영상처리장치(900)는 대상영역(911)의 포즈를 결정하고, 결정된 포즈에 기초하여 대상영역(911)에 대한 확률맵을 생성한다.
영상처리장치(900)는 추출된 대상영역(911)의 경계 및 생성된 확률맵에 기초하여 대상영역(921)을 추출한다.
영상처리장치(900)는 추출된 대상영역(921)에 대해 인물영역에 대응하는 기능을 수행할 수 있다. 예를 들면, 대상영역(921)을 제외한 배경영역(922)에 아웃포커싱을 적용한 영상(920)을 표시할 수 있다.
도 10은 본 발명의 실시예 따른 영상처리장치에 관한 예시도이다.
영상처리장치(1000)는 인물영역의 경계의 변이를 고려하여 인물영역의 경계를 학습한다. 즉, 영상처리장치(1000)는 다수의 표본 영상으로부터 추출된 인물영역의 경계를 그룹화할 수 있다.
이와 같이, 영상처리장치(1000)는 인물영역의 경계에 대해 학습할 수 있고, 학습된 인물영역의 경계에 관한 모델정보를 저장한다. 따라서, 영상처리장치(1000)는 모델정보 및 학습된 인물영역의 경계에 기초하여 대상영역의 경계가 학습된 인물영역의 경계에 대응되는지를 판단할 수 있다.
도 10을 참조하면, 영상처리장치(1000)는 입력 영상을 수신하여 표시한다. 입력 영상은 배경영역(1014)과 함께 제1 대상영역(1011), 제2 대상영역(1012) 및 제3 대상영역(1013)을 포함한다.
영상처리장치(1000)는 영상인식 알고리즘을 사용하여 복수의 대상영역의 경계를 각각 추출하고, 표본 영상에 기반한 모델정보에 기초하여 각 대상영역의 경계를 결정한다.
영상처리장치(1000)는 각 대상영역의 결정된 경계가 학습된 인물영역의 경계에 각각 대응되는지를 판단한다.
영상처리장치(1000)는 각 대상영역의 결정된 경계가 학습된 인물영역의 경계와 대응하는 것으로 판단되면, 각 대상영역에 관한 확률맵을 생성하고, 각 대상영역의 경계와 확률맵에 기초하여 각 대상영역(1011, 1012, 1013)을 추출한다.
영상처리장치(1000)는 추출된 각 대상영역(1011, 1012, 1013)을 제외한 배경영역(1014)에 아웃포커싱을 적용한 영상(1010)을 표시할 수 있다.
또한, 영상처리장치(1000)는 터치 입력을 통하여 사용자 입력을 수신할 수 있는 디스플레이부를 포함할 수 있으며, 사용자 입력에 따라 선택된 대상영역에 아웃포커싱을 적용하기 위한 UI를 디스플레이부에 표시할 수 있다.
따라서, 디스플레이부에 표시된 UI를 통하여 각 대상영역(1011, 1012, 1013) 중 어느 하나의 영역(1012)를 선택하는 사용자 입력(1030)이 수신되면, 영상처리장치(1000)는 선택된 대상영역(1022)에 대해서도 아웃포커싱을 적용한 영상(1020)을 표시할 수 있다.
도 11은 본 발명의 실시예 따른 영상처리장치에 관한 예시도이다.
도 11을 참조하면, 영상처리장치(1100)는 입력 영상을 수신하여 표시한다. 입력 영상은 배경영역과 함께 제1 대상영역 및 제2 대상영역을 포함한다.
영상처리장치(1100)는 영상인식 알고리즘을 사용하여 복수의 대상영역의 경계를 각각 추출하고, 표본 영상에 기반한 모델정보에 기초하여 각 대상영역의 경계를 결정한다.
영상처리장치(1100)는 각 대상영역의 결정된 경계가 학습된 인물영역의 경계에 각각 대응되는지를 판단한다.
영상처리장치(1100)는 각 대상영역의 결정된 경계가 학습된 인물영역의 경계와 대응하는 것으로 판단되면, 각 대상영역에 관한 확률맵을 생성하고, 각 대상영역의 경계와 확률맵에 기초하여 각 대상영역(1111, 1112)을 추출한다.
영상처리장치(1100)는 추출된 각 대상영역(1111, 1112)을 제외한 배경영역(1113)에 아웃포커싱을 적용한 영상(1110)을 표시할 수 있다.
또한, 영상처리장치(1100)는 아웃포커싱이 적용되는 대상영역을 변경하고 아웃포커싱의 적용 정도를 조절할 수 스크롤 바를 포함하는 UI를 디스플레이부에 표시할 수 있다.
예를 들어, 디스플레이부에 표시된 스크롤 바(1115)를 상방(1114)으로 드래그하면, 배경영역(1113)과 함께 제2 대상영역(1112)에 아웃포커싱을 적용하여 표시하고, 스크롤 바(1125)를 하방(1124)으로 드래그하면, 배경영역(1123)과 함께 제1 대상영역(1122)에 아웃포커싱을 적용하여 표시한다. 또한, 스크롤 바(1115, 1125)를 드래그하는 길이에 따라 아웃포커싱의 정도를 다르게 적용할 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
10: 디스플레이 장치
100: 제어부
110: 무선통신부
120: A/V입력부
130: 사용자 입력부
140: 센싱부
150: 출력부
160: 저장부
170: 인터페이스부
180: 신호처리부
190: 전원공급부

Claims (18)

  1. 영상처리장치에 있어서,
    인물영역에 포함되는 복수의 신체 중 적어도 하나의 신체를 표시하는 영상으로부터 상기 적어도 하나의 신체의 경계에 관한 모델정보를 획득하고,
    처리되는 영상에서 대상영역의 경계를 결정하고,
    상기 결정된 대상영역의 경계를 복수의 구간으로 분할하고,
    상기 분할된 복수의 구간 각각에 대한 형상의 변화를 식별하고,
    상기 분할된 복수의 구간 중 상기 식별된 형상의 변화가 큰 구간을 식별하고,
    상기 획득된 모델정보에 기초하여 상기 식별된 구간이 상기 적어도 하나의 신체의 경계에 대응하는 경우, 상기 대상영역에 대하여 상기 인물영역에 관한 영상처리가 수행되도록 제어하는 제어부를 포함하는 영상처리장치.
  2. 제1 항에 있어서,
    상기 모델정보는, 상기 적어도 하나의 신체를 표시하는 복수의 영상에 대한 학습을 통하여 유형 별로 그룹화되어 마련되는 영상처리장치.
  3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈
    제2 항에 있어서,
    상기 모델정보의 유형은, 인물의 포즈를 포함하는 영상처리장치.
  4. 제1 항에 있어서,
    상기 모델정보는, 상기 적어도 하나의 신체의 경계를 분할한 복수의 신체 구간 별로 마련되는 영상처리장치.
  5. 제2 항에 있어서,
    상기 제어부는, 상기 대상영역의 경계의 특징에 기초하여 비교할 상기 모델정보의 유형을 결정하는 영상처리장치.
  6. 삭제
  7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈
    제1 항에 있어서,
    상기 제어부는, 상기 식별된 구간이 상기 적어도 하나의 신체의 경계에 대응하면, 상기 대상영역의 인물의 포즈를 결정하는 영상처리장치.
  8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈
    제7 항에 있어서,
    상기 제어부는, 상기 결정된 대상영역의 인물의 포즈에 기초하여 상기 대상영역에 대한 확률맵을 생성하고, 상기 생성된 확률맵에 기초하여 상기 대상영역을 추출하는 영상처리장치.
  9. 제1 항에 있어서,
    영상을 표시하는 디스플레이부를 포함하고,
    상기 제어부는,
    상기 처리되는 영상에 포함된 복수의 상기 대상영역 중 적어도 하나를 선택하고,
    상기 선택된 대상영역에 상기 인물영역에 관한 영상처리를 수행하기 위한 유저 인터페이스를 상기 디스플레이부에 표시하는 영상처리장치.
  10. 영상처리장치를 제어하는 방법에 있어서,
    인물영역에 포함되는 복수의 신체 중 적어도 하나의 신체를 표시하는 영상으로부터 상기 적어도 하나의 신체의 경계에 관한 모델정보를 획득하는 단계;
    처리되는 영상에서 대상영역의 경계를 결정하는 단계;
    상기 결정된 대상영역의 경계를 복수의 구간으로 분할하는 단계;
    상기 분할된 복수의 구간 각각에 대한 형상의 변화를 식별하는 단계;
    상기 분할된 복수의 구간 중 상기 식별된 형상의 변화가 큰 구간을 식별하는 단계; 및
    상기 획득된 모델정보에 기초하여 상기 식별된 구간이 상기 적어도 하나의 신체의 경계에 대응하는 경우, 상기 대상영역에 대하여 상기 인물영역에 관한 영상처리를 수행하는 단계를 포함하는 영상처리장치의 제어방법.
  11. 제10 항에 있어서,
    상기 모델정보는, 상기 적어도 하나의 신체를 표시하는 복수의 영상에 대한 학습을 통하여 유형 별로 그룹화되어 마련되는 영상처리장치의 제어방법.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제11 항에 있어서,
    상기 모델정보의 유형은, 인물의 포즈를 포함하는 영상처리장치의 제어방법.
  13. 제10 항에 있어서,
    상기 모델정보는, 상기 적어도 하나의 신체의 경계를 분할한 복수의 구간 별로 마련되는 영상처리장치의 제어방법.
  14. 제11 항에 있어서,
    상기 대상영역의 경계를 결정하는 단계는, 상기 대상영역의 경계의 특징에 기초하여 비교할 상기 모델정보의 유형을 결정하는 단계를 포함하는 영상처리장치의 제어방법.
  15. 삭제
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제10 항에 있어서,
    상기 영상처리를 수행하는 단계는, 상기 식별된 구간이 상기 적어도 하나의 신체의 경계에 대응하면, 상기 대상영역의 인물의 포즈를 결정하는 단계를 포함하는 영상처리장치의 제어방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    제16 항에 있어서, 상기 영상처리장치의 제어방법은,
    상기 결정된 대상영역의 인물의 포즈에 기초하여 상기 대상영역에 대한 확률맵을 생성하는 단계; 및
    상기 생성된 확률맵에 기초하여 상기 대상영역을 추출하는 단계를 더 포함하는 영상처리장치의 제어방법.
  18. 제10 항에 있어서, 상기 영상처리장치의 제어방법은,
    상기 처리되는 영상에 포함된 복수의 상기 대상영역 중 적어도 하나를 선택하는 단계; 및
    상기 선택된 대상영역에 상기 인물영역에 관한 영상처리를 수행하기 위한 유저 인터페이스를 표시하는 단계를 더 포함하는 영상처리장치의 제어방법.
KR1020160002840A 2016-01-08 2016-01-08 영상처리장치 및 그 제어방법 KR102443214B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160002840A KR102443214B1 (ko) 2016-01-08 2016-01-08 영상처리장치 및 그 제어방법
US15/397,992 US10326928B2 (en) 2016-01-08 2017-01-04 Image processing apparatus for determining whether section of target area matches section of person area and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160002840A KR102443214B1 (ko) 2016-01-08 2016-01-08 영상처리장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20170083415A KR20170083415A (ko) 2017-07-18
KR102443214B1 true KR102443214B1 (ko) 2022-09-15

Family

ID=59275045

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160002840A KR102443214B1 (ko) 2016-01-08 2016-01-08 영상처리장치 및 그 제어방법

Country Status (2)

Country Link
US (1) US10326928B2 (ko)
KR (1) KR102443214B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102550528B1 (ko) * 2018-08-23 2023-07-04 주식회사 라이브콘티넨트 고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법
CN109522863B (zh) * 2018-11-28 2020-11-27 北京达佳互联信息技术有限公司 耳部关键点检测方法、装置及存储介质
CN109658355A (zh) * 2018-12-19 2019-04-19 维沃移动通信有限公司 一种图像处理方法和装置
KR20200084395A (ko) * 2018-12-20 2020-07-13 삼성전자주식회사 영상에서 오브젝트를 인식하는 전자 장치 및 그 동작 방법
KR20200117562A (ko) * 2019-04-04 2020-10-14 삼성전자주식회사 비디오 내에서 보케 효과를 제공하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
TWI730467B (zh) 2019-10-22 2021-06-11 財團法人工業技術研究院 影像轉換方法及影像轉換網路
CN113610840B (zh) * 2021-08-26 2022-05-10 数坤(北京)网络科技股份有限公司 图像处理方法、装置、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100086215A1 (en) * 2008-08-26 2010-04-08 Marian Steward Bartlett Automated Facial Action Coding System
US20110110594A1 (en) * 2009-11-11 2011-05-12 Yuichi Hasegawa Image processing system, image processing apparatus, image processing method, and program

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697502B2 (en) 2000-12-14 2004-02-24 Eastman Kodak Company Image processing method for detecting human figures in a digital image
KR100621595B1 (ko) * 2004-07-24 2006-09-14 삼성전자주식회사 다양한 포즈를 갖는 얼굴 영상을 인식하는 방법
WO2009078957A1 (en) 2007-12-14 2009-06-25 Flashfoto, Inc. Systems and methods for rule-based segmentation for objects with full or partial frontal view in color images
US8233676B2 (en) 2008-03-07 2012-07-31 The Chinese University Of Hong Kong Real-time body segmentation system
US8385609B2 (en) 2008-10-21 2013-02-26 Flashfoto, Inc. Image segmentation
US8885926B2 (en) 2009-04-15 2014-11-11 Massachusetts Institute Of Technology Image and data segmentation
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
JP5709367B2 (ja) * 2009-10-23 2015-04-30 キヤノン株式会社 画像処理装置、および画像処理方法
JP2011237907A (ja) 2010-05-07 2011-11-24 Sony Corp 画像処理装置、画像処理方法、およびプログラム
CN102521582B (zh) 2011-12-28 2013-09-25 浙江大学 一种适用于低对比度视频的人体上半身检测及分割的方法
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
US9349207B2 (en) 2012-05-31 2016-05-24 Samsung Electronics Co., Ltd. Apparatus and method for parsing human body image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100086215A1 (en) * 2008-08-26 2010-04-08 Marian Steward Bartlett Automated Facial Action Coding System
US20110110594A1 (en) * 2009-11-11 2011-05-12 Yuichi Hasegawa Image processing system, image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
US20170201676A1 (en) 2017-07-13
US10326928B2 (en) 2019-06-18
KR20170083415A (ko) 2017-07-18

Similar Documents

Publication Publication Date Title
KR102443214B1 (ko) 영상처리장치 및 그 제어방법
CN110189340B (zh) 图像分割方法、装置、电子设备及存储介质
KR102500760B1 (ko) 이미지 획득 장치 및 그의 제어 방법
US10373648B2 (en) Apparatus and method for editing content
CN110263213B (zh) 视频推送方法、装置、计算机设备及存储介质
CN108076290B (zh) 一种图像处理方法及移动终端
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN110135336B (zh) 行人生成模型的训练方法、装置及存储介质
CN110807361A (zh) 人体识别方法、装置、计算机设备及存储介质
US11574424B2 (en) Augmented reality map curation
CN109360222B (zh) 图像分割方法、装置及存储介质
CN111325699B (zh) 图像修复方法和图像修复模型的训练方法
CN110827195B (zh) 虚拟物品添加方法、装置、电子设备及存储介质
CN113395542A (zh) 基于人工智能的视频生成方法、装置、计算机设备及介质
CN111432245B (zh) 多媒体信息的播放控制方法、装置、设备及存储介质
KR102384878B1 (ko) 동영상을 필터링하는 방법 및 장치
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN110991445A (zh) 竖排文字识别方法、装置、设备及介质
CN110728167A (zh) 文本检测方法、装置及计算机可读存储介质
KR20190048630A (ko) 전자 장치 및 그 제어 방법
EP3879449A1 (en) Electronic device for recognizing object in image, and operation method thereof
KR20200094607A (ko) 영상 시퀀스에 대한 캡션 정보를 생성하는 전자 장치 및 그 동작 방법
CN110853124A (zh) 生成gif动态图的方法、装置、电子设备及介质
CN113192072B (zh) 图像分割方法、装置、设备及存储介质
CN113936240A (zh) 确定样本图像的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right