KR102173107B1 - 클라우드 서버 기반 영상 처리 방법, 단말 및 시스템 - Google Patents

클라우드 서버 기반 영상 처리 방법, 단말 및 시스템 Download PDF

Info

Publication number
KR102173107B1
KR102173107B1 KR1020130154103A KR20130154103A KR102173107B1 KR 102173107 B1 KR102173107 B1 KR 102173107B1 KR 1020130154103 A KR1020130154103 A KR 1020130154103A KR 20130154103 A KR20130154103 A KR 20130154103A KR 102173107 B1 KR102173107 B1 KR 102173107B1
Authority
KR
South Korea
Prior art keywords
function
image
terminal
server
image processing
Prior art date
Application number
KR1020130154103A
Other languages
English (en)
Other versions
KR20150068192A (ko
Inventor
장성규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130154103A priority Critical patent/KR102173107B1/ko
Priority to US14/542,738 priority patent/US9600853B2/en
Publication of KR20150068192A publication Critical patent/KR20150068192A/ko
Application granted granted Critical
Publication of KR102173107B1 publication Critical patent/KR102173107B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing

Abstract

본 발명은 실시 예에 따른 영상 처리 단말의 서버 기반 영상 처리 방법에 있어서, 상기 영상 처리 단말의 소정 동작 모드에서 수행되는 영상 처리 기능이, 상기 단말에 의해 처리될 기능인지, 상기 서버 기반으로 처리될 기능인지를 판단하는 단계; 상기 판단 결과에 따라 상기 단말 및 상기 서버 중 적어도 하나에 의해서 상기 기능을 수행하도록 제어하는 단계를 포함하고, 상기 서버 기반으로 처리될 기능이 수행되는 경우, 상기 기능에 관련된 데이터 및 요청 신호를 상기 서버로 전송하는 영상 처리 방법, 그 단말 및 시스템을 제공할 수 있다.

Description

클라우드 서버 기반 영상 처리 방법, 단말 및 시스템{METHED, DEVICE AND SYSTEM FOR PROCESSING IMAGE BASED ON CLOUD SERVER}
본 발명은 영상 처리 단말의 클라우드 서버 기반의 영상 처리 방법, 그 단말 및 시스템에 관한 것이다.
통신 기술이 발달함에 따라 영상 촬영 기능을 갖는 단말을 이용하여 촬영된 영상을 클라우드 서버로 업로드 하여 보관하는 것이 가능해지고 있다.
그러나, 기존에 제안된 기술은 단말에서 촬영된 영상을 단순히 클라우드 서버에 업로드하고, 업로드된 영상을 다운 로드하고 있어 촬영된 영상이 단말의 성능에 의해 결정되고 있다.
따라서, 성능이 낮은 단말을 이용하여 촬영된 영상은 클라우드 시스템을 이용하여 성능이 좋은 단말에 디스플레이 되더라도, 낮은 단말에 조건에 따라 디스플레이 된다.
또한, 성능이 높은 단말일수록 그 비용 측면에서 많은 제약이 따르게 되며, 기술발전 속도에 비출 때 단순히 고비용, 고성능의 프로세서를 보유한 영상 처리 단말을 생산하는 것은 비효율적일 수 있었다.
본 발명의 목적은 클라우드 서버와 연계되어 다양한 영상 처리가 수행된 영상을 제공할 수 있는 영상 처리 방법, 단말 및 시스템을 제공하는데 있다.
따라서, 처리 능력은 낮으나 실시간으로 구동 가능한 실제 단말과 네트워크를 통한 전송 속도의 한계가 있으나 처리 능력이 단말대비 우수한 클라우드 서버로 구성된 시스템을 하나의 가상 단말로써 구성할 수 있다. 또한, 가상 단말의 기능을 실제 단말과 클라우드 서버의 처리 가능 능력에 기초하여 분산처리 함으로써, 영상 촬영 또는 이를 확인 하는 동작을 효율적으로 수행할 수 있다.
물론, 본 발명의 기술적 과제들은 이상에서 언급한 특징으로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당해 기술분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명은, 일 실시예에 따른 영상 처리 단말의 서버 기반 영상 처리 방법에 있어서, 상기 영상 처리 단말의 소정 동작 모드에서 수행되는 영상 처리 기능이, 상기 단말에 의해 처리될 기능인지, 상기 서버 기반으로 처리될 기능인지를 판단하는 단계; 상기 판단 결과에 따라 상기 단말 및 상기 서버 중 적어도 하나에 의해서 상기 기능을 수행하도록 제어하는 단계를 포함하고, 상기 서버 기반으로 처리될 기능이 수행되는 경우, 상기 기능에 관련된 데이터 및 요청 신호를 상기 서버로 전송할 수 있다.
일 실시예에 따른 상기 판단하는 단계는 상기 단말의 처리 가능 성능을 판단하는 단계; 및 상기 판단된 단말의 처리 가능 성능에 기초하여 상기 영상 처리 기능이, 상기 단말에 의해 처리될 기능인지, 상기 서버 기반으로 처리될 기능인지를 판단하는 단계를 포함 할 수 있다.
일 실시예에 따른 상기 판단하는 단계는 상기 영상 처리 기능에 대한 단말의 처리 예상 시간과 네트워크로 연결된 상기 서버에서의 처리 예상 시간을 비교하는 단계; 및 상기 비교 결과에 따라 상기 영상 처리 기능이, 상기 단말에 의해 처리될 기능인지, 상기 서버 기반으로 처리될 기능인지를 판단하는 단계를 포함 할 수 있다.
일 실시예에 따른 상기 소정 동작 모드는 촬영 동작 모드이며, 상기 단말에 의해 처리될 기능은 소정 해상도의 영상을 처리하는 기능이며, 상기 서버기반으로 처리 되는 기능은 상기 단말에 의해 처리되는 소정 해상도의 영상 보다 높은 해상도의 영상을 처리하는 기능일 수 있다.
일 실시예에 따른 상기 서버 기반으로 처리 되는 기능은 다양한 해상도를 갖는 적어도 하나의 영상을 생성하는 기능일 수 있다.
일 실시예에 따른 상기 요청 신호는 상기 서버기반으로 처리 가능한 기능이 실시간으로 수행되어야 하는지 여부에 대한 정보를 포함 할 수 있다.
일 실시예에 따른 상기 서버기반으로 처리 가능한 기능에 관련된 데이터에는 풀 해상도 원본(Full resolution RAW) 영상 데이터 또는 관심 영역(ROI: Region Of Interest) 데이터가 포함될 수 있다.
일 실시예에 따른 상기 소정 동작 모드는 플레이백(play back) 동작 모드이며, 상기 단말에 의해 처리될 기능은 스크린-네일(screen-nail) 영상을 디스플레이하는 기능이며, 상기 서버기반으로 처리될 기능은 상기 디스플레이된 스크린-네일(screen-nail) 영상의 줌(zoom) 동작에 대응하는 영상을 상기 단말로 전송하는 기능일 수 있다.
일 실시예에 따른 상기 영상 처리 방법은, 상기 서버기반으로 처리될 기능이 수행된 데이터를 수신하는 단계를 더 포함 할 수 있다.
일 실시예에 따른 상기 소정 동작 모드는 공유 동작 모드이며, 상기 단말에 의해 처리될 기능은 상기 단말에 저장된 영상을 타 장치로 공유하는 기능이며, 상기 서버기반으로 처리될 기능은 상기 단말에 저장된 영상에 대응되는 상기 서버에 저장된 영상을 타 장치로 공유하는 기능일 수 있다.
일 실시예에 따른 상기 제어하는 단계는 상기 타 장치가 상기 단말에 저장된 영상 보다 높은 해상도의 영상의 공유를 요청할 때, 상기 서버기반으로 처리될 기능을 수행하도록 제어 할 수 있다.
일 실시예에 따른 상기 소정 동작 모드는 동영상 촬영 모드이며, 상기 제어하는 단계는 시간적(Temporal) 또는 공간적(spatial) 확장(scalability) 방식을 이용하여 동영상을 분상기 단말 및 상기 서버에서 부호화 하도록 제어하는 단계를 포함 할 수 있다.
일 실시예에 따른 상기 단말에 의해 처리될 기능은 상기 서버 기반으로 처리될 기능보다 낮은 해상도의 정보량을 부호화 할 수 있다.
일 실시예에 따른 상기 소정 동작 모드는 플레이백(play back) 동작 모드이며, 상기 제어하는 단계는 시간적(Temporal) 또는 공간적(spatial) 확장(scalability) 방식을 이용하여 상기 단말 및 상기 서버에서 부호화 된 동영상을 복호화 하도록 제어하는 단계를 포함 할 수 있다.
본 발명은, 일 실시예에 따른 서버 기반 영상 처리 단말에 있어서, 상기 영상 처리 단말의 소정 동작 모드에서 수행되는 영상 처리 기능이, 상기 단말에 의해 처리될 기능인지, 상기 서버 기반으로 처리될 기능인지를 판단하는 판단부; 및 상기 판단 결과에 따라 상기 단말 및 상기 서버 중 적어도 하나에 의해서 상기 기능을 수행하도록 제어하는 제어부를 포함하고, 상기 제어부는 상기 서버 기반으로 처리될 기능이 수행되는 경우, 상기 기능에 관련된 데이터 및 요청 신호를 상기 서버로 전송 할 수 있다.
일 실시예에 따른 상기 판단부는, 상기 단말의 처리 가능 성능을 판단하고, 상기 판단된 단말의 처리 가능 성능에 기초하여 상기 영상 처리 기능이, 상기 단말에 의해 처리될 기능인지, 상기 서버 기반으로 처리될 기능인지를 판단 할 수 있다.
일 실시예에 따른 상기 판단부는, 상기 영상 처리 기능에 대한 단말의 처리 예상 시간과 네트워크로 연결된 상기 서버에서의 처리 예상 시간을 비교하고, 상기 비교 결과에 따라 상기 영상 처리 기능이, 상기 단말에 의해 처리될 기능인지, 상기 서버 기반으로 처리될 기능인지를 판단 할 수 있다.
일 실시예에 따른 상기 소정 동작 모드는 촬영 동작 모드이며, 상기 단말에 의해 처리될 기능은 소정 해상도의 영상을 처리하는 기능이며, 상기 서버기반으로 처리 되는 기능은 상기 단말에 의해 처리되는 소정 해상도의 영상 보다 높은 해상도의 영상을 처리하는 기능일 수 있다.
본 발명은, 일 실시예에 따른 서버 기반 영상 처리 시스템에 있어서, 영상 처리 단말의 소정 동작 모드에서 수행되는 영상 처리 기능이, 상기 단말에 의해 처리될 기능인지, 상기 서버 기반으로 처리될 기능인지를 판단하는 판단부, 및 상기 판단 결과에 따라 상기 서버 기반으로 처리될 기능이 수행되는 경우, 상기 기능에 관련된 데이터 및 요청 신호를 상기 서버로 전송 하도록 제어하는 제어부를 포함하는 영상 처리 단말; 및 상기 데이터 및 상기 요청 신호를 수신하여, 상기 서버 기반으로 처리될 기능을 수행하는 클라우드 서버를 포함 할 수 있다.이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
도 1은 일 실시 예에 따른 서버 기반 영상 처리 시스템을 개략적으로 나타낸다.
도 2는 일 실시 예에 따른 서버 기반 영상 처리 방법의 일 예를 설명하기 위한 도이다.
도 3은 일 실시 예에 따른 서버 기반 영상 처리 단말의 구조를 설명하기 위한 블록도 이다.
도 4는 일 실시 예에 따른 서버 기반 영상 처리 방법을 설명하기 위한 흐름도 이다.
도 5는 일 실시 예에 따른 영상 촬영 모드에서 서버 기반 영상 처리 방법을 설명하기 위한 흐름도 이다.
도 6은 일 실시 예에 따른 영상 촬영 모드에서 서버 기반 영상 처리 방법의 일 예를 설명하기 위한 블럭도 이다.
도 7은 일 실시 예에 따른 영상 촬영 모드에서 서버 기반 영상 처리 방법의 다른 예를 설명하기 위한 블럭도 이다.
도 8은 일 실시 예에 따른 연속 촬영 모드에서 서버 기반 영상 처리 방법의 일 예를 설명하기 위한 블럭도 이다.
도 9는 일 실시 예에 따른 동영상 촬영 모드에서 서버 기반 영상 처리 방법의 일 예를 설명하기 위한 블럭도 이다.
도 10은 일 실시 예에 따라 단말 처리 시간을 고려하는 서버 기반 영상 처리 방법의 일 예를 설명하기 위한 블럭도 이다.
도 11은 일 실시 예에 따른 영상 확인(Play back) 모드에서 서버 기반 영상 처리 방법을 설명하기 위한 흐름도 이다.
도 12는 일 실시 예에 따른 영상 확인 모드에서 서버 기반 영상 처리 방법을 설명하기 위한 일 예를 나타낸다.
도 13은 일 실시 예에 따른 영상 확인 모드에서 서버 기반 영상 처리 방법을 설명하기 위한 다른 예를 나타낸다.
도 14는 일 실시 예에 따른 영상 공유 모드에서 서버 기반 영상 처리 방법을 설명하기 위한 일 예를 나타낸다.
이하, 본 발명을 제조하고 사용하는 방법이 상세하게 설명된다. 본 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서 본 발명의 원리의 "일 실시예" 또는 "실시예"라는 것은 본 발명의 원리의 적어도 하나의 실시 예에 포함되는 실시예와 함께 설명된 특별한 특성, 구조, 특징 등을 의미하는 것이다. 그러므로, 본 명세서 전반에 걸쳐 다양한 곳에 등장하는 "일 실시 예에서" 또는 "실시 예에서"라는 어구의 등장은 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
또한, 일 실시예들에서 사용되는 용어는 일 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 일 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 일 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 일 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
일 실시 예에서 “통신”, “통신망” 및 “네트워크”는 동일한 의미로 사용될 수 있다. 상기 세 용어들은, 소정 데이터를 영상 처리 단말 및 클라우드 서버 사이에서 송수신할 수 있는 유무선의 근거리 및 광역 데이터 송수신망을 의미한다.
일 실시 예에서 “클라우드 서버”란 클라우드 컴퓨팅 서비스(이하, 클라우드 서비스)를 제공받기 위해 클라이언트가 접속하게 되는 서버 컴퓨터를 의미한다. 여기서 클라우드 서비스란, 소정 정보가 인터넷 상의 서버에 영구적으로 저장되고, 디지털 촬영 장치, 태블릿, 컴퓨터, 노트북, 넷북, 스마트폰 등의 IT 기기 등과 같은 클라이언트에는 일시적으로 보관되는 컴퓨터 환경을 뜻한다. 즉 이용자의 모든 정보를 인터넷 상의 서버에 저장하고, 이 정보를 각종 IT 기기를 통하여 언제 어디서든 이용할 수 있다는 개념이다. 다시 말하면 구름(cloud)과 같이 무형의 형태로 존재하는 하드웨어·소프트웨어 등의 컴퓨팅 자원을 자신이 필요한 만큼 빌려 쓰고 이에 대한 사용요금을 지급하는 방식의 컴퓨팅 서비스로, 서로 다른 물리적인 위치에 존재하는 컴퓨팅 자원을 가상화 기술로 통합해 제공하는 기술을 의미한다.
일 실시 예에서 영상 처리 단말은 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 영상 처리 단말에는 디지털 카메라, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 따른 nM(n Megapixel)해상도 영상에서 n은 각 영상의 사이즈에 대응하는 값으로, 영상의 전체 픽셀수를 나타낼 수 있다. 예를 들면 2M해상도는 1920X1080급 해상도를 나타내며, 4M해상도는 2560X1440급 해상도, 8M해상도는 UHD(Ultra High Definition: 3840X2160)급 해상도를 나타낸다. 한편, 여기서 2M, 4M 및 8M는 각 해상도 영상의 전체 화소수와 근사하게 대응하는 값으로, 따라서 본 발명이 속하는 기술분야의 통상의 기술자는 2M해상도, 8M해상도 또는 nM해상도 등은 상술한 가로세로 크기의 조합에 반드시 한정되는 용어는 아니며 임의의 가로세로 크기 조합의 해상도에서 가로 크기에 대응될 수 있는 용어임을 이해할 수 있을 것이다.
아래에서는 첨부한 도면을 참고하여 바람직한 실시 예들에 대하여 당 업계의 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 바람직한 실시 예들은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들로 한정되지 않는다. 그리고 도면에서 바람직한 실시 예들을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시 예에 따른 서버 기반 영상 처리 시스템(10)을 개략적으로 나타낸다.
도 1을 참조하면 일 실시 예에 따른 서버 기반 영상 처리 시스템(10) 영상 처리단말(100), 클라우드 서버(102) 및 영상 처리 단말(100)과 클라우드 서버가 통신할 수 있도록 하는 유무선 네트워크(101)를 포함할 수 있다. 또한, 영상 처리 단말(100)은 영상 신호 처리를 위한 영상 신호 처리부(140) 및 영상 신호 처리된 데이터를 저장하기 위한 저장부(150)를 더 구비할 수 있다. 또한, 클라우드 서버(102)도 서버기반 영상 처리를 위한 영상 신호 처리부(142) 및 DB(152)를 더 포함할 수 있다.
도 1을 참조하면, 일 실시 예에 따라 처리 능력은 낮으나 사용자 입력에 대응하여 실시간으로 영상 처리 동작을 구동 가능한 영상 처리 단말(이하, 단말(100))과 네트워크(101)를 통해 데이터가 전송 되므로 전송 속도의 한계가 있으나 처리 능력이 단말(100) 대비 높은 클라우드 서버(102)로 구성된 시스템(10)을 하나의 가상 단말로써 구성할 수 있다. 따라서, 일 실시 예에 따른 가상 단말은 이미지 처리 기능을 단말(100)과 클라우드 서버(102)가 분산처리 함으로써 단말(100)보다 효율 적으로 정지 영상, 동영상 등 각종 영상을 촬영하고 이를 확인 하는 동작을 수행할 수 있다.
즉, 단말(100) 및 클라우드 서버(102)와 같이 별도의 영상 처리 장치를 구분하여 동작 시키지 않고 가상적인 하나의 단말로써 기존에 단말이 독립적으로 수행하는 영상 처리 동작을 기능별로 분해하여 단말(100) 및 클라우드 서버(102)에 최적으로 맵핑(mapping)함으로써 단말의 성능을 극대화 할 수 있다. 예를 들어 단말에서 처리할 수 있는 영상의 해상도를 8M 이하로 제한 한다면, 단말의 복잡도 및 비용을 크게 낮출 수 있다. 하지만, 실제 사용자는 클라우드 서버(102)를 통해 16M 또는 32M 해상도의 영상 등 단말(100)에서 처리할 수 있는 해상도 영상보다 고해상도 영상에 대한 처리가 가능하므로 사용에 불편함 없이 원하는 결과물을 얻을 수 있다.
도 2는 일 실시 예에 따른 서버 기반 영상 처리 방법의 일 예를 설명하기 위한 개념도이다.
도 2를 참조하면, 일 실시 예에 따른 단말(100)은 영상을 촬영(201)하고, 촬영된 영상에 대해 영상 신호 처리부(140)에 의한 영상 신호 처리(202)를 수행하여, 소정 해상도의 영상 데이터를 생성할 수 있다. 여기서, 영상 신호 처리는 촬영된 원본 영상 데이터에 대한 화질 개선 및 특수 효과 제공을 위한 영상 신호 처리 및 소정 압축 표준에 따라 압축된 형태(예를 들면, JPEG)의 영상 데이터를 생성하기 위한 일련의 동작을 의미할 수 있다.
구체적으로, 사용자가 라이브 뷰에서 피사체를 타겟팅(targeting) 한 후 반 셔터(반셔터가 없는 기기도 있을 수 있다)를 누르거나 터치 입력 수행하면, 이에 대응하여 단말(100)은 3A(AE/AWB/AF: Auto Exposure, Auto White Balance, Auto Focus)를 조절하는 동작을 수행 할 수 있다. 그 이후 단말(100)은 셔터 입력에 대응하여 영상을 촬영 하고 풀 해상도 영상을 입력 받을 수 있다. (s201)
다음으로, 입력된 풀 해상도 영상에 대해 영상 신호 처리가 수행 된 후(s202) 이를 소정 해상도의 영상으로 압축 함으로써 썸네일 영상을 생성할 수 있다(s203). 생성된 썸네일 영상은 우선적으로 단말의 디스플레이부에 퀵뷰(quick view) 될 수 있다(s204). 여기서 퀵뷰 시에는 빠른 영상 처리가 필요하기 때문에, 풀 해상도 영상보다 작은 해상도를 가진 영상이 썸네일 이미지로 생성된다.
한편, 일반적으로 클라우드 서버(102)에 연결되지 않은 단말(100)은 퀵뷰 영상을 디스플레이 하고 있는 도중에 풀 해상도 영상 또는 퀵뷰 영상 보다 높은 해상도 영상을 처리 하게 된다. 또한, 이렇게 처리된 결과 영상은 다시 디스플레이 되지 않고 JPEG 형태나 기타 압축 이미지 영상 형태로 저장된다.
그러데, 높은 해상도의 영상으로 압축할수록 단말(100)에서의 처리 시간이 많이 소용될 수 있다. 심지어 단말(100)의 하드웨어 성능에 따라서 소정 해상도(예컨대 8M 해상도) 이상의 영상 압축을 처리하지 못할 수도 있다.
따라서, 일 실시 예에 따른 단말(100)의 영상 신호 처리부(140)는 썸네일 이미지 해상도(예를 들면, 2M 해상도)의 영상만을 처리하고, 풀 해상도 원본 데이터는 클라우드 서버(102)로 전송하여(s206), 서버(102)가 풀 해상도 영상을 처리(s206) 할 수 있다. 다른 예로 단말(100)은 썸네일 이미지 및 풀 해상도 영상을 처리하고, 서버(102)가 기타 해상도의 영상을 처리할 수도 있다. 즉, 클라우드 서버(102)는 풀 해상도 원본 데이터를 수신하여 적어도 하나 이상의 해상도를 갖는 압축 영상을 생성할 수 있다. 특히, 서버(102)의 동작은 단말 리소스의 영향을 받지 않으므로, 예를 들면, 2M, 8M, 16M 또는 32M 해상도의 영상을 각각 처리하여 압축된 영상 데이터를 생성 할 수 있다.
한편, 촬영된 영상을 단말(100)의 디스플레이부를 통해서 관찰하는 확인(Play back) 모드에서는 일반적으로 단말(100)은 저장부에 압축 또는 비압축 형태로 저장된 영상을 읽어와 복호화 하는 등의 영상 처리 동작 수행 후 디스플레이를 하게 된다. 이때, 영상을 복호화 하는 동작 등이 수행될 영상의 해상도가 높을 수록 많은 처리시간이 소요되므로 일반적으로 영상 처리 단말(100)은 촬영 단계에서 원본 영상에 비해 낮은 해상도를 갖는 스크린 네일(screen-nail) 이미지를 별도로 생성하여 저장할 수 있다. 여기서 스크린 네일 이미지는 상술한 썸네일 이미지와 동일한 이미지 일 수 있다. 물론, 반드시 이러한 구성에 한정되는 것은 아니다.
따라서, 일 실시 예에 따른 단말(100)은 상술한 바와같이 촬영된 영상의 스크린 네일 이미지만을 로컬 저장부에 보관함으로써(s207), 확인(Play Back) 모드에서도 저장된 스크린 네일 이미지를 속도 저하 없이 디스플레이 할 수 있다.(s208)
한편, 사용자가 확인중인 스크린 네일 이미지의 일부분을 줌 영역으로 설정하여 확대하고자 하는 경우, 단순히 썸네일 이미지를 확대하게 되면 화질 저하가 많이 발생할 수 있다. 따라서 일 실시 예에 따라 사용자 입력에 의해 줌 영역이 설정되면(s209) 서버(102)는 확대된 영역에 대응되는 높은 해상도의 영상 영역을 단말(100)로 전송해 줄 수 있다(s210).
따라서, 단말(102)은 서버(100)로부터 수신한 확대영상을 디스플레이 함으로써(s211) 실제 고 해상도의 영상을 저장부(150)에 보관하지 않더라도 확인 모드에서 화질 열화 없이 신속하게 확대된 영상을 사용자에게 디스플레이 할 수 있다.
한편, 일 실시 예에 따라 클라우드 서버(102)의 DB(152)에 풀 해상도 원본 영상이 저장되므로, 클라우드 서버(102)에 연결된 여러 장치 및 시스템에 상기 원본 영상이 전송(s212) 될 수 있다. 예를 들어, 전송된 원본 영상의 해상도에 대응하는 영상이 TV에 디스플레이 되거나(s213) 또는 프린터를 통해 출력 될 수 있다(s214).
이하, 도 3 내지 도 14를 참조하여 일 실시 예에 따른 영상 처리 단말의 클라우드 서버 기반의 영상 처리 방법을 구체적으로 설명한다.
도 3은 일 실시 예에 따른 서버 기반 영상 처리 단말(300)의 구조를 설명하기 위한 블록도 이다.
도 3을 참조하면, 일 실시 예에 따른 서버 기반 영상 처리 단말(300)(이하, 단말(300))은 사용자 입력부(310), 판단부(320), 제어부(330), 영상 신호 처리부(340), 저장부(350), 송수신부(360) 및 디스플레이부(370)를 포함할 수 있다.
도 3에 도시된 단말(300)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 또한, 도 3에 도시된 단말(300)은 도 1에 도시된 단말 (100)에 대응될 수 있으며 따라서 클라우드 서버(이하, 서버(102))에 네트워크로 연결될 수 있다.
일 실시 예에 따른 사용자 입력부(310)는 터치 패널, 키(key) 버튼 등을 포함하며, 사용자 입력에 기초하여 단말(300)을 조작할 수 있는 각종 입력 장치를 포함할 수 있다. 예를 들면, 사용자는 사용자 입력부(310)를 통해서 단말(300)의 동작 모드를 일반 촬영 모드, 동영상 촬영 모드, 확인(Play Back) 모드 또는 공유 모드 등으로 설정 할 수 있다. 또한, 확인 모드에서 디스플레이 되는 줌하는 동작을 수행하는 신호를 입력 받을 수 있다.
일 실시 예에 따른 판단부(320)는 영상 처리 단말(300)의 소정 동작 모드에서 수행되는 영상 처리 기능이, 상기 단말(300)에 의해 처리될 기능인지, 또는 서버(102) 기반으로 처리될 기능인지를 판단할 수 있다. 예를 들어, 촬영 모드 또는 확인 모드에서 수행되는 영상 처리기능의 일 예는 영상 신호 처리부(330)의 동작에 대한 설명에서 후술한다.
일 실시 예에 따라 판단부(320)는 단말(300)의 처리 가능 성능을 판단하고, 판단된 단말(300)의 처리 가능 성능에 기초하여 상기 영상 처리 기능이, 상기 단말(300)에 의해 처리될 기능인지, 서버(102) 기반으로 처리될 기능인지를 판단 할 수 있다. 이하, 단말(300)의 처리 가능 성능을 바탕으로 단말(300)에 의해 처리될 기능인지, 서버(102) 기반으로 처리될 기능인지를 판단하는 일 예는 도 6 내지 도 9를 참조하여 후술한다.
다른 실시 예에 따라 판단부(320)는 영상 처리 기능이 단말(300)의 처리 예상 시간과 네트워크로 연결된 서버(102)에서의 처리 예상 시간을 비교하고, 상기 비교 결과에 따라 상기 영상 처리 기능이, 상기 단말(300)에 의해 처리될 기능인지, 상기 서버(102) 기반으로 처리될 기능인지를 판단 할 수 있다. 여기서 네트워크 연결된 서버(102)에서의 처리 예상 시간에는 서버(102)의 처리 속도뿐 아니라 네트워크로 데이터를 송수신하는 시간도 함께 고려될 수 있다. 이하, 네트워크 및 단말(300)의 처리 속도를 바탕으로 단말(300)에 의해 처리될 기능인지, 상기 서버(102) 기반으로 처리될 기능인지를 판단하는 일 예를 도 10을 참조하여 후술한다.
일 실시 예에 따른 제어부(330)는 판단부(320)의 판단 결과에 따라 단말(300) 및 서버(102) 중 적어도 하나에 의해서 상기 기능을 수행하도록 제어할 수 있다.
구체적으로, 제어부(330)는 단말(300) 기반으로 처리될 기능이 영상 신호 처리부(340)에 의해 수행 되도록 제어할 수 있다. 또한, 제어부(330)는 서버(102) 기반으로 처리될 기능이 수행되는 경우, 상기 기능에 관련된 데이터 및 요청 신호를 서버(102)로 전송할 수 있다. 여기서, 상기 서버(102) 기반으로 처리될 기능은 단말(300)에 의해 처리될 기능보다 높은 하드웨어 성능 또는 많은 연산량을 요구할 수 있다.
따라서, 상기 단말(300)에 의해 처리될 기능은 소정 해상도의 영상을 처리하는 기능이며, 서버 기반으로 처리 되는 기능은 단말(300)에 의해 처리되는 소정 해상도의 영상 보다 높은 해상도의 영상을 처리하는 기능일 수 있다. 예를 들면, 제어부(330)는 단말(300)이 썸네일 이미지 해상도(예를 들면, 2M 해상도)의 영상만을 처리하고, 풀 해상도 원본(Full resolution RAW) 데이터는 서버(102)로 전송하여, 서버(102)가 풀 해상도 영상을 처리하도록 제어할 수 있다. 여기서, 단말(300)에 의해 썸네일 이미지 해상도의 영상을 처리하는 기능은 라이브뷰, AE, AWB, AF 및 퀵뷰 기능 등이 있을 수 있다.
다른 예로 단말(300)은 썸네일 이미지 및 풀 해상도 영상을 처리하고, 서버(102)가 기타 해상도의 영상을 처리하도록 제어할 수도 있다. 즉, 서버(102)는 보다 높은 성능 또는 많은 처리 시간이 요구되는 높은 해상도의 영상을 처리하고, 단말(300)은 신속한 영상 처리가 가능한 해상도의 영상만을 처리할 수 있다.
나아가, 서버(102)의 동작은 단말(300)의 처리 상황에 영향을 받지 않으므로, 예를 들면, 2M, 8M, 16M 또는 32M 해상도의 영상을 각각 처리하여 압축된 영상 데이터를 생성 할 수 있다.
또한, 일 실시 예에 따른 요청 신호는 서버(102) 기반으로 처리 가능한 기능이 실시간으로 수행되어야 하는지 여부에 대한 정보를 포함할 수 있다. 예를 들면, 단말(300)에서 퀵뷰로 썸네일 영상만을 디스플레이 하는 경우 풀 해상도 영상에 대한 노이즈 제거를 수행하거나 압축 하는 등의 영상 처리 동작은 비 실시간으로 서버(102)에서 수행될 수 있다. 따라서, 이렇게 비 실시간으로 서버(102)에서 수행 가능한 동작은 네트워크의 속도를 고려하지 않고 서버(102)에서 수행할 기능으로 판단 될 수 있다.
나아가, 일 실시 예에 따른 제어부(330)는 단말(300)이 서버 기반 영상 처리를 수행할 수 있도록, 파일 사용자 입력부(310), 판단부(320), 영상 신호 처리부(340), 저장부(350), 송수신부(360) 및 디스플레이부(370) 를 제어할 수 있다.
일 실시 예에 따른 영상 신호 처리부(340)는 아날로그 신호 처리부(121)에서 처리된 영상 데이터 신호에 대해 특수기능을 처리하기 위한 신호 처리부이다. 예를 들면, 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 화이트 밸런스 조절, 휘도의 평활화 및 칼라 쉐이딩(color shading) 등의 화질 개선 및 특수 효과 제공을 위한 영상 신호 처리를 수행할 수 있다. 영상 신호 처리부(340)는 입력된 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상에 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다.
영상 신호 처리부(340)는 동영상 파일을 생성할 수도 있다. 영상 신호 처리부(340)는 촬영을 통해 동영상 파일에 포함될 프레임들을 생성하고, 상기 프레임들을 예를 들면, MPEG4(Moving Picture Experts Group 4), H.264/AVC, WMV(windows media video) 등의 표준에 따라 코딩되어, 동영상 압축된 후, 압축된 동영상을 이용하여 동영상 파일을 생성할 수 있다. 동영상 파일은 mpg, mp4, 3gpp, avi, asf, mov 등 다양한 형식으로 생성될 수 있다.
또한, 영상 신호 처리부(340)는 입력된 영상 데이터에 대해 불선명 처리, 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 한편, 이러한 불선명 처리, 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등에는 다소 오랜 시간이 걸리거나 높은 영상 신호 처리부(340)의 성능이 요구된다면, 일 실시 예에 따라 관련된 영상데이터를 서버(102)로 전송하여 서버에서 영상 처리를 수행할 수 있다.
아울러, 영상 신호 처리부(340)는 표시부(164)에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.
일 실시 예에 따른 저장부(350)는 이미지 파일을 저장할 수 있다. 여기서, 저장부(350)는 하드 디스크 드라이브(HDD: Hard Disk Drive)나 플래시 메모리 등 디지털 데이터를 저장하는 비 휘발성 저장매체를 이용하여 구성될 수 있다. 예를 들면 저장부(350)에는 영상 신호 처리부(340)에 의해 압축된 영상 및 동영상 또는 원본 영상 및 동영상이 저장될 수 있다.
일 실시 예에 따른 송수신부(360)는 네트워크 인터페이스 카드(NIC: Network Interface Card)나 모뎀 등을 포함하여 이루어 질 수 있으며, 영상 처리 단말(300)이 클라우드 서버(102)와 소정 데이터를 송수신 할 수 있도록 할 수 있다.
일 실시 예에 따른 디스플레이부(370)는 LCD, LED 모듈 등 화면을 시각적으로 디스플레이 하기 위한 수단을 포함할 수 있다. 디스플레이부(370)에는 제어부(170)의 제어에 따라 퀵뷰 및 스크린 네일 영상이 디스플레이 될 수 있다. 또한 디스플레이부(370)가 터치패널로 구성된 경우 사용자 입력부(310)에서 수행하는 동작을 함께 수행할 수도 있다.
도 4는 일 실시 예에 따른 서버 기반 영상 처리 방법을 설명하기 위한 흐름도 이다.
도 4를 참조하면, 영상 처리 단말(100, 300)의 서버(102) 기반 영상 처리 방법은 도 1 및 도 3에 도시된 영상 처리 시스템(10) 또는 영상 처리 단말(100,300)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 및 도 3에 도시된 영상 처리 시스템(10) 또는 영상 처리 단말(100,300)에 관하여 이상에서 기술된 내용은 도 4에 도시된 방법에도 적용됨을 알 수 있다.
단계 410에서, 일 실시 예에 따라 사용자의 조작 입력에 대응하여 단말(300)의 동작 모드를 촬영 모드, 동영상 촬영 모드, 확인(Play Back) 모드 또는 공유 모드 등으로 설정 할 수 있다. 예를 들면, 촬영 모드는 단말(300)을 온(On)하는 동작에 대응하여 설정될 수 있다.
단계 420에서, 일 실시 예에 따른 판단부(320)는 영상 처리 단말(300)의 소정 동작 모드에서 수행되는 영상 처리 기능이, 상기 단말(300)에 의해 처리될 기능인지, 또는 서버(102) 기반으로 처리될 기능인지를 판단할 수 있다.
일 실시 예에 따라 판단부(320)는 단말(300)의 처리 가능 성능을 판단하고, 판단된 단말(300)의 처리 가능 성능에 기초하여 상기 영상 처리 기능이, 상기 단말(300)에 의해 처리될 기능인지, 서버(102) 기반으로 처리될 기능인지를 판단 할 수 있다. 이하, 단말(300)의 처리 가능 성능을 바탕으로 단말(300)에 의해 처리될 기능인지, 서버(102) 기반으로 처리될 기능인지를 판단하는 일 예는 도 6 내지 도 9를 참조하여 후술한다.
다른 실시 예에 따라 판단부(320)는 영상 처리 기능에 대한 단말(300)의 처리 예상 시간과 네트워크로 연결된 서버(102)에서의 처리 예상 시간을 비교하고, 상기 비교 결과에 따라 상기 영상 처리 기능이, 상기 단말(300)에 의해 처리될 기능인지, 상기 서버(102) 기반으로 처리될 기능인지를 판단 할 수 있다. 여기서 네트워크 연결된 서버(102)에서의 처리 예상 시간에는 서버(102)의 처리 속도뿐 아니라 네트워크로 데이터를 송수신하는 시간도 함께 고려될 수 있다. 이하, 네트워크 및 단말(300)의 처리 속도를 바탕으로 단말(300)에 의해 처리될 기능인지, 상기 서버(102) 기반으로 처리될 기능인지를 판단하는 일 예를 도 10을 참조하여 후술한다.
단계 430에서, 일 실시예에 따른 제어부(330)는 제어부(330)는 판단부(320)의 판단 결과에 따라 단말(300) 및 서버(102) 중 적어도 하나에 의해서 상기 기능을 수행하도록 제어할 수 있다. 제어부(330)는 단말(300) 기반으로 처리될 기능이 영상 신호 처리부(340)에 의해 수행 되도록 제어할 수 있다. 또한, 제어부(330)는 서버(102) 기반으로 처리될 기능이 수행되는 경우, 상기 기능에 관련된 데이터 및 요청 신호를 서버(102)로 전송할 수 있다.
이하, 도 5 내지 도 10을 참조하여 영상 촬영 모드에서 서버 기반 영상 처리 방법을 설명한다.
도 5 내지 도 10을 참조하면, 영상 처리 단말(500)의 서버(502) 기반 영상 처리 방법은 도 1 및 도 3에 도시된 영상 처리 시스템(10), 영상 처리 단말(100,300) 또는 클라우드 서버(102)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 및 도 3에 도시된 영상 처리 시스템(10), 영상 처리 단말(100,300) 또는 클라우드 서버(102)에 관하여 이상에서 기술된 내용은 도 5 내지 도 10에 도시된 방법에 선택적으로 적용 가능함을 알 수 있다.
도 5는 일 실시 예에 따른 영상 처리 단말(500)의 영상 촬영 모드에서 클라우드 서버(502) 기반 영상 처리 방법을 설명하기 위한 흐름도 이다.
단계 s510에서 일 실시 예에 따른 영상 처리 단말(500)은 사용자의 조작 입력에 대응하여 단말(500)의 동작 모드를 촬영 모드로 설정할 수 있다. 또는 연속 촬영 모드나 동영상 촬영 모드가 설정될 수 있다.
단계 s520에서 일 실시 예에 따른 영상 처리 단말(500)은 소정 동작 모드에서 수행되는 영상 처리 기능이, 영상 처리 단말(500)에 의해 처리될 기능인지, 또는 클라우드 서버(502) 기반으로 처리될 기능인지를 판단할 수 있다.
한편, 단말(500)에 의해 처리될 기능인지 서버(502) 기반으로 처리될 기능인지를 단말(500)의 처리 가능 성능을 바탕으로 판단하는 일 예는 도 6 내지 도 9에, 네트워크 및 단말(500)의 처리 속도를 바탕으로 판단하는 일 예는 도 10을 참조하여 설명한다.
단계 s530에서 판단 결과에 따라 영상 처리 단말(500)에서 처리될 기능이 수행될 수 있다.
단계 s540에서 상기 판단 결과에 따라 서버기반으로 처리될 기능을 수행하기 위해 서버기반 처리되는 기능에 관련된 데이터 및 요청 신호를 전송 할 수 있다. 여기서 데이터는 풀 해상도 원본 영상일 수 있으며, 요청 신호는 실시간 처리 여부 및 서버기반 처리되는 기능의 종류가 포함될 수 있다.
단계 s550에서 일 실시예에 따른 서버(502)는 서버기반 처리되는 기능에 관련된 데이터 및 요청 신호를 수신하고 이에 따라 서버기반 처리되는 기능을 수행할 수 있다.
한편, 단계 s530 내지 단계 s550은 반드시 상술한 순서대로 진행되는 것은 아니며, 실시간 처리가 필요한지 여부에 따라 다른 순서대로 수행될 수도 있다.
예를 들면, 영상 처리 단말(500)이 촬영된 영상에 대해 썸네일 사이즈의 영상을 처리하여 퀵뷰를 수행하는 경우, 풀 해상도 원본 영상에 대한 압축 처리는 동시에 수행될 필요가 없기 때문에 비 실시간으로 서버에서 영상 처리될 수 있다. 즉, 퀵뷰를 수행한 후 영상 처리 단말(500)이 풀 해상도 영상을 압축하는 동작을 수행하기 위해서는 단말(500)의 많은 리소스를 추가로 사용해야 하므로 풀 해상도 원본 영상을 서버로 전송하여 서버에서 소정의 압축 처리를 수행할 수 있다. 나아가, 단말(500)이 소정 해상도 이하의(예를 들면 8M 해상도 이하) 해상도 영상을 압축하는 기능만을 제공하더라도, 풀 해상도 원본 영상을 서버로 전송하여 다양한 해상도의 영상을 각각 압축하여 저장할 수 있다.
또한, 풀 해상도 영상을 네트워크를 통해 클라우드 서버(502)로 업로드 하는 것이 부담이 된다면 특정 ROI(Region of Interest) 영역(예를 들면 얼굴 영역)만을 업로드 할 수 있다. 이때, ROI 영역은 굳이 하나로 한정되는 것은 아니며 다수개가 업로드 하는 것도 가능하다.
또한, 풀 해상도 영상과 썸네일 해상도 영상이 아닌 임의의 해상도의 영상을 별도로 클라우드 서버(502)로 업로드하여 영상 처리 및 영상 파일을 관리할 수 있다. 예를 들어 영상 처리 단말(500)이 20M의 해상도를 풀해상도로 하는 영상을 촬영 가능한 경우 단말(500)에서는 퀵뷰를 위해 2M 해상도 영상 및 저장을 위한 20M 해상도 영상을 처리하고, 8M 해상도 영상은 클라우드 서버(502)에 업로드 하여 처리할 수도 있다.
도 6은 일 실시 예에 따른 영상 촬영 모드에서 서버 기반 영상 처리 방법의 일 예를 설명하기 위한 블럭도 이다.
도 6을 참조하면, 단계 s601에서 풀 해상도 영상이 영상 처리 단말(500)에 의해 입력 될 수 있다. 예를 들면, 풀 해상도 영상은 32M 해상도 영상 일 수 있으며, 촬영 모드에서 32M 해상도 영상이 촬영을 통해 입력될 수 있다.
단계 s602에서 단말(500)은 단말의 처리 가능 성능을 판단하여 단말에서 처리될 기능 및 서버 기반으로 처리될 기능을 판단할 수 있다. 예를 들면, 단말 처리 가능 성능이 6M 해상도 영상이라면, 단계 s603에서 단말(500)은 2M 해상도 영상 또는 기타 6M 해상도 이하의 영상을 현상할 수 있다. 또한 단계 s604에서 32M 해상도 원본 영상은 서버(502)로 전송되어 서버에 의해 현상 동작이 수행될 수 있다. 즉, 단말(500)은 퀵뷰를 위한 낮은 해상도의 영상만을 현상하고, 서버(502)는 높은 해상도의 영상을 현상할 수 있다.
도 7은 일 실시 예에 따른 영상 촬영 모드에서 서버 기반 영상 처리 방법의 다른 예를 설명하기 위한 블럭도 이다.
도 7을 참조하면, 단계 s701에서 풀 해상도 영상이 영상 처리 단말(500)에 의해 입력 될 수 있다. 예를 들면, 풀 해상도 영상은 16M 해상도 영상 일 수 있으며, 촬영을 통해 입력되거나 또는 저장된 영상이 입력될 수 있다. 이때 사용자 입력에 따라 소정의 영상처리 기능이 수행되도록 설정 될 수 있다. 예를 들면, 영상 처리 단말(500)은 촬영모드에 있어서, 광학 보정, 초 해상도 영상(super resolution) 처리, 고감도 노이즈 저감 동작 등이 수행되도록 설정될 수 있다. 그런데 이러한 동작들은 높은 하드웨어 성능을 요구하며, 그 처리 시간이 길어 단말(500)이 수행 가능하지 않을 수 있다.
예를 들면, 사용자가 광학 보정 기능을 ON한 상태에서, 광학 보정이 단말 처리 가능 성능에 포함되지 않는다면, 단계 s703에서 단말(500)은 광학 보정이 OFF된 결과물을 처리할 수 있다. 또한 단계 s704에서 16M 해상도 원본 영상은 클라우드 서버(502)로 전송되어 클라우드 서버(502)에 의해 광학 보정 기능이 수행될 수 있다. 물론 이러한 구성에 한정되는 것은 아니며 높은 하드웨어 성능을 요구하는 초 해상도 영상(super resolution) 처리, 고감도 노이즈 저감 동작 등이 수행될 수 있다.
도 8은 일 실시 예에 따른 연속 촬영 모드에서 서버 기반 영상 처리 방법의 일 예를 설명하기 위한 블럭도 이다.
도 8을 참조하면, 단계 s801에서 풀 해상도 영상이 영상 처리 단말(500)에 의해 초당 60연사의 속도로 촬영될 수 있다.
단계 s802에서 단말(500)은 단말의 처리 가능 성능을 판단하여 단말에서 처리될 기능 및 서버 기반으로 처리될 기능을 판단할 수 있다. 예를 들면, 단말 처리 가능 성능이 풀 해상도(32M) 10연사 미만 영상이라면, 단계 s803에서 단말(500)은 32M 해상도 영상을 처리할 수 있다. 또한 단계 s804에서 32M 해상도 원본 영상은 서버(502)로 전송되어 서버에 의해 풀 해상도(32M) 60연사 수행될 수 있다. 즉, 단말(500)은 보다 서버(502)는 많은 수의 영상을 현상할 수 있다.
도 9는 일 실시 예에 따른 동영상 촬영 모드에서 서버 기반 영상 처리 방법의 일 예를 설명하기 위한 블럭도 이다.
도 9를 참조하면, 단계 s901에서 해상도 UHD(8M), 프레임 속도 30Hz의 동영상이 이 영상 처리 단말(500)에 의해 촬영될 수 있다.
단계 s902에서 단말(500)은 단말의 처리 가능 성능을 판단하여 단말에서 처리될 기능 및 서버 기반으로 처리될 기능을 판단할 수 있다. 예를 들면, 단말 처리 가능 성능이 소정 해상도(2M) 및 소정 프레임 속도(30Hz) 이하의 영상이라면, 단계 s903에서 단말(500)은 2M 해상도 30Hz 동영상을 처리할 수 있다. 또한 단계 s904에서 8M 해상도 원본 영상은 서버(502)로 전송되어 서버(502)에 의해 풀 해상도(8M) 30Hz 영상에 대한 처리가 수행될 수 있다. 즉, 동영상 촬영에 있어서도 정지 영상 촬영과 동일한 처리가 가능하다. 즉, 단말(500)에서 처리되어 디스플레이 되는 영상의 해상도와 서버(502)에서 처리되어 저장되는 영상의 해상도가 다를 수 있다. 또한, 단말(500) 및 서버(502)가 영상을 처리하는 시점이 다를 수 있다. 다만, 동영상의 경우 단말(500)내에서의 저장 공간의 한계로 인해 클라우드 서버(502)로 전송하여 별도로 처리하기 위해 저장 되어야할 데이터량에 한계가 있을 수 있다. 또 저장된 데이터를 네트워크를 통해 바로 서버(502)로 전송해야 한다면 전송해야할 데이터 량이 매우 큰 문제가 발생할 수 있다. 따라서 를 일부 완화하기 위해서는 시간적(temporal)/공간적(spatial) 확장(scalability)의 개념을 단말(500) 및 서버(502) 사이에 적용해 볼 수도 있다. 즉, 표준/비표준 방식을 적용할 수 있다. 예를 들어 UHD(8M해상도) 30Hz의 입력 영상을 입력 받을 수 있다고 가정해 보자. 이때 단말(500)은 단지 HD (2M) 30 Hz의 영상만 H.264 표준으로 처리가 가능하다. 이렇게 될 경우 공간적 확장(spatial scalability)을 사용하여 2M와 8M 영상의 정보량의 차분 (일 예로 2M를 확대해서 8M에서 빼는 방식이 이용될 수 있다)만 별도로 압축하여 (여기서 압축된 영상 파일은 JPEG 형식 일 수 있으며, 기타 다른 압축 방식일 수도 있다. 가장 쉬은 DPCM (differential pulse code modulation) 형태의 압축 가능하다.), 이 차분의 정보만 영상 처리 단말에 저장하고 있다가, 추후 네트워크 대역(network bandwidth)이 확보된 공간(예를 들어 가정집 내에서 wi-fi환경)에서 차분 영상을 다시 복호 후 원영상과 합쳐서 UHD 30Hz의 동영상을 생성할 수 있다. 비슷한 개념으로 시간적 확장(temporal scalability)을 사용하여 단말(500)에서는 15Hz만 복호화하고, 나머지 데이터는 간단한 압축 후 보존하고 있다가 cloud 등에서 온전한 30Hz로 인코딩도 가능하다.
나아가, 상술한 바를 동영상 표준 방식에도 적용해 보면 단말에서는 H.264로 압축하고 클라우드 서버(502)에서 트랜스코딩(transcoding) 후 H.265 (HEVC)로 재 압축하여 다른 표시 장치로 전송하는 것도 가능하다.
도 10은 일 실시 예에 따라 단말 처리 시간을 고려하는 서버 기반 영상 처리 방법의 일 예를 설명하기 위한 블럭도 이다.
도 10을 참조하면, 단계 s1001에서 풀 해상도 영상이 영상 처리 단말(500)에 의해 입력 될 수 있다. 예를 들면, 풀 해상도 영상은 32M 해상도 영상 일 수 있으며, 촬영 모드에서 32M 해상도 영상이 촬영을 통해 입력될 수 있다.
단계 s1002에서 단말(500)은 단말의 처리 예상 시간과 네트워크로 연결된 서버(102)에서의 처리 예상 시간을 비교하고, 상기 비교 결과에 따라 상기 영상 처리 기능이, 상기 단말(500)에 의해 처리될 기능인지, 상기 서버(502) 기반으로 처리될 기능인지를 판단 할 수 있다. 여기서 네트워크 연결된 서버(502)에서의 처리 예상 시간에는 서버(502)의 처리 속도뿐 아니라 네트워크로 데이터를 송수신하는 시간도 함께 고려될 수 있다.
예를 들어, 단말(500)에서 서버(502) 기반으로 소정 기능을 처리하는 걸리는 예상시간이 단말(500)에서 소정 기능을 처리하는데 걸리는 예상 시간보다 짧더라도, 네트워크를 통해 서버(502)와 데이터를 송수신하는 시간까지 고려했을 때 단말(500)에서 처리하는 것이 빠르다면, 단계 s1003에서 단말(500)이 소정 기능을 처리할 수 있다. 반대로 동일한 기능에 대해 네트워크의 속도가 빨라져 소정 기능을 서버(502)에서 수행하는 것이 빠르다면, 단계 s1004에서 서버(502)가 소정 기능을 수행할 수 있다.
특히, 높은 해상도의 영상을 단말(500)에서 서버(502)로 전송하는 경우 다소 오랜 시간이 걸릴 것이므로, 높은 해상도 영상(예를 들면 20M 해상도 영상)의 기본 영상 처리(영상 압축, AE, AW)는 단말(500)에서 수행하고 낮은 해상도 영상(예를 들면 4M 해상도 영상)의 높은 성능이 요구되는 영상 처리(노이즈 저감 등)는 서버(502)에서 수행될 수 있다.
다만, 도 10에서 상술한 실시예는 실시간 처리를 요하는 경우에 해당하며, 도6 내지 도 9에서 상술한 바와 같이 단말(500)에서는 퀵뷰 영상을 디스플레이 하고 서버(502)에서는 퀵뷰 영상보다 높은 해상도의 영상을 저장하는 경우와 같이 비 실시간으로 단말(500) 및 서버(502)의 기능이 각각 수행하는 경우, 그 처리 예상시간을 고려하지 않을 수도 있다.
이하, 네트워크 및 단말(300)의 처리 속도를 바탕으로 단말(300)에 의해 처리될 기능인지, 상기 서버(102) 기반으로 처리될 기능인지를 판단
도 11은 일 실시 예에 따른 영상 확인(Play back) 모드에서 서버 기반 영상 처리 방법을 설명하기 위한 흐름도 이다.
도 11을 참조하면, 상 확인(Play back) 모드에서 서버(1102) 기반 영상 처리 방법은 도 1 및 도 3에 도시된 영상 처리 시스템(10) 또는 영상 처리 단말(100,300)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 및 도 3에 도시된 영상 처리 시스템(10) 또는 영상 처리 단말(100,300)에 관하여 이상에서 기술된 내용은 도 11에 도시된 방법에도 적용됨을 알 수 있다.
단계 s1110에서, 일 실시 예에 따른 영상 처리 단말(1100)은 사용자의 조작 입력에 대응하여 단말(1100)의 동작 모드를 확인 모드로 설정할 수 있다.
촬영된 영상을 단말(1100)의 디스플레이부를 통해서 관찰하는 확인(Play back) 모드에서는 일반적으로 단말(1100)은 저장부에 압축 또는 비압축 형태로 저장된 영상을 읽어와 복호화 하는 등의 영상 처리 동작 수행 후 디스플레이를 하게 된다. 이때, 영상을 복호화 하는 동작 등이 수행될 영상의 해상도가 높을 수록 많은 처리시간이 소요되므로 일반적으로 영상 처리 단말(1100)은 촬영 단계에서 원본 영상에 비해 낮은 해상도를 갖는 스크린 네일(screen-nail) 이미지를 별도로 생성하여 저장할 수 있다..
따라서, 일 실시 예에 따른 단말(1100)은 상술한 바와같이 촬영된 영상의 스크린 네일 이미지만을 로컬 저장부에 보관함으로써, 확인(Play Back) 모드에서도 저장된 스크린 네일 이미지를 속도 저하 없이 디스플레이 할 수 있다.
그런데, 단순히 해상도가 낮은 스크린 네일 이미지를 확대하게 되면 화질 저하가 많이 발생할 수 있다. 따라서, 사용자가 확인중인 스크린 네일 이미지의 일부분을 줌 영역으로 설정하여 확대하고자 하는 경우, 줌 영역에 필요한 데이터만을 추가로 수신하여 디스플레이 할 수 있다. 이때 줌에 필용한 영역 데이터를 단말(1100)자체에서 읽어 오거나 클라우드 서버(1102)에서 수신할 수 있다.
단계 s1120에서 일 실시 예에 따른 영상 처리 단말(1100)은 확인 모드에서 수행되는 영상 처리 기능이, 영상 처리 단말(1100)에 의해 처리될 기능인지, 또는 클라우드 서버(1102) 기반으로 처리될 기능인지를 판단할 수 있다. 예를 들어 스크린 네일 해상도의 영상을 디스플레이 하는 동작은 단말(1100)에서 수행될 수 있다. 하지만, 풀 해상도 영상 또는 단말(1100)에 저장된 영상보다 고 해상도의 영상이 디스플레이 될 필요가 있는 경우 서버(1102)에 저장된 영상을 수신할 수 있다. 특히, 단말(1100)에 디스플레이 된 영상에 대해 줌 동작을 수행하는 경우 서버(1102)에 저장된 영상을 수신하여 디스플레이 함으로써 화질 열화를 방지할 수 있다.
한편, 단말(500)에 의해 처리될 기능인지 서버(502) 기반으로 처리될 기능인지를 단말(500)의 처리 가능 성능을 바탕으로 판단하는 일 예는 도 6 내지 도 9에, 네트워크 및 단말(500)의 처리 속도를 바탕으로 판단하는 일 예는 도 10을 참조하여 상술했다.
단계 s1130에서 판단 결과에 따라 서버에서 수행될 기능을 수행하는 경우, 기능에 관련된 데이터 및 요청 신호를 전송하고, 단계 s1140에서 서버(1102)로부터 단말(1100)에 저장된 영상보다 고 해상도의 영상 또는 ROI(region of interest) 영상을 수신할 수 있다. 여기서 ROI 영상을 수신하는 것은 네트워크를 통해 고해상도 영상을 수신하기 위해서는 다소 시간이 걸리므로 소정 줌 동작에 있어서 ROI 영상을 수행하여 데이터를 송수신 하는 속도를 줄일 수 있다.
단계 s1150에서는 판단 결과에 따라 클라우드 서버(1102)를 기반으로 영상 처리 단말(1100)에서 처리될 기능이 수행될 수 있다. 예를 들면, 촬영된 영상 확인 모드에서 줌 동작이 수행될 수 있다.
도 12는 일 실시 예에 따른 영상 확인 모드에서 서버 기반 영상 처리 방법을 설명하기 위한 일 예를 나타낸다.
도 12를 참조하면,
단계 s1210에서 영상 처리 단말(1200)의 확인 모드에서 소정 영상이 디스플레이 될 수 있다.
단계 s1220에서 사용자 입력에 기초하여 줌 동작이 수행될 수 있다.
단계 s1230에서 단말(1200)은 줌 동작에 필요한 영역의 데이터를 클라우드 서버(1202)로부터 수신할 필요가 있는 경우, 클라우드 서버에 줌 영역 데이터를 요청 할 수 있다.
단계 s1240에서 서버(1202)는 단말의 줌 영역에 필요한 데이터를 판단 할 수 있다. 예를 들어 단말(1200)에 저장된 영상의 해상도보다 높은 해상도의 영상을 검색할 수 있다. 또한 높은 해상도의 영상에서 줌 영역에 필요한 데이터를 전송할 수 있다.
단계 s1250에서는 줌 영역에 필요한 데이터를 클라우드 서버(1202)로부터 수신할 수 있다. 이때, 영상 처리 단말(1200)은 줌 영역에 필요한 데이터(ROI)만을 클라우드 서버(1202)로부터 수신할 수 있다.
도 13은 일 실시 예에 따른 영상 확인 모드에서 서버 기반 영상 처리 방법을 설명하기 위한 다른 예를 나타낸다.
도 13을 참조하면, 일 실시예에 따라 클라우드 서버(1302)는 풀 해상도 영상뿐 아니라 다수의 영상처리가 수행된 적어도 하나 이상의 해상도를 갖는 영상(1310, 1320, 1330, 1340)을 미리 생성해 놓을 수 있다. 특히, 각각의 영상(1310, 1320, 1330, 1340)은 서로 다른 해상도와 서로 다른 영상 처리가 수행되어 있을 수 있다. 예를 들어, 제1 해상도 영상은 8M 해상도 영상, 제2 해상도 영상은 16M 해상도 영상 또는 제3 해상도 영상은 32M 해상도 영상 일 수 있다. 또, 제1 처리는 노이즈 저감 처리, 제2 처리는 손떨림 보정 처리 일수 있다.
따라서, 영상 처리 단말(1300)이 요청한 소정 해상도의 소정 영상처리가 수행된 영상을 요청하는 경우, 클라우드 서버(1302)에서 추가적인 영상 처리 시간 필요 없이 네트워크를 통해 바로 단말(1300)로 전송 가능할 수 있다.
한편, 분산 처리된 정보를 관찰함에 있어서, 단말(1300) 내부나 서버(1302)에 복수개의 영상 포멧, 크기, ROI 영역 정보, 상이한 처리를 적용한 영상 셋을 보유하여 현재 사용자 선택에 대응하는 최적의 영상 정보를 제공할 수 있다.
또한, 출력할 디스플레이 크기의 정보나 색공간 정보 등을 사전에 단말(1300) 또는 서버(1302)에서 받아서 해당정보를 가지고 있다가, 최적의 영상을 단말(1300)에서 선택할 수 있다.
도 14는 일 실시 예에 따른 영상 공유 모드에서 서버 기반 영상 처리 방법을 설명하기 위한 일 예를 나타낸다.
도 14를 참조하면, 일 실시예에 따른 가상 영상 처리 단말(14)은 적어도 하나의 영상 처리 단말(1400) 및 이와 네트워크로 연결된 클라우드 서버(1402)를 포함할 수 있다.
또한, 가상 영상 처리 단말(14)은 다른 영상 처리 단말(1401)과 네트워크로 연결되어 영상 데이터를 공유할 수 있다. 이때, 일 실시예에 따른 가상 영상 처리 단말(14)은 다양한 영상 데이터를 영상 처리 단말(1400) 또는 클라우드 서버(1402)에 분산 보관 하고 있을 수 있다. 따라서, 일 실시예에 따라 다른 영상 처리 단말(1401)이 소정 영상을 요청하는 경우 가상 이미지 처리 단말(14)은 요청된 영상을 영상 처리 단말(1400) 또는 클라우드 서버(1402)에서 검색하여 다른 이미지 처리 단말(1401)에 효율적으로 공유할 수 있다. 예를 들어, 단말(1400)이 비교적 적은 해상도의 영상을 근처에 있는 타 단말(1401)로 공유하는 경우 단말(1400) 내에 저장된 영상을 바로 전송 할 수 있다. 그러나 대용량의 해상도가 큰 영상을 타 단말(1401)이 요구하는 경우 클라우드 서버(1402) 상에 저장된 영상물을 확인하여 처리할 수 있다.
한편, 일 실시 예에 따른 공유에 대한 여러 가지 조합이 있을 수 있다. 예를 들어, 푸시(push) 개념 및 풀(pull) 개념의 조합 관점에서 보면 상대방이 내것을 가지고 가거나(pull) 내가 상대방에서 넘겨 줄 때(push)에 영상의 크기, 해상도, 상이하게 처리된 방식의 영상처리가 수행된 영상에 대해, 다양한 위치(단말(1400), 서버(1402))에서 최적의 영상을 사용하게 할 수 있다.
이상에서 상술한 바에 따라서, 일 실시 예에 따른 영상 처리 단말의 클라우드 기반의 영상 처리 방법은 처리 능력은 낮으나 실시간으로 구동가능한 실제 단말과 전송 속도의 한계가 있으나 처리 능력이 단말대비 높은 클라우드 서버로 구성된 시스템을 하나의 가상 단말로써 구성할 수 있다.
따라서, 가상 단말의 기능을 실제 단말과 클라우드 서버의 처리 가능 능력에 기초하여 분산처리 함으로써, 영상 촬영 또는 이를 확인 하는 동작을 효율적으로 수행할 수 있다. 또한, 클라우드 서버의 처리 기능을 바탕으로 사용자에게 고성능의 그리고 다양한 기능을 제공하면서도, 단말의 복잡도를 높이지 않을 수 있다.
특히, 일 실시 예에 따른 클라우드 서버는 단말로부터 취득되는 여러 정보를 바탕으로 개인 취향(preference) 등을 학습할 수 있기 때문에 이를 통해 보다 다양한 영상 처리를 지원할 수도 있다.
본 발명의 일 실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 영상 처리 단말의 서버 기반 영상 처리 방법에 있어서,
    상기 영상 처리 단말의 소정 동작 모드에서 수행되는 영상 처리 기능이, 실시간으로 수행되어야 하는지 여부를 판단하는 단계;
    상기 영상 처리 기능이 실시간으로 수행되어야 하는 경우, 상기 영상 처리 기능에 대해, 상기 영상 처리 단말의 기대 처리 시간 및 상기 서버의 기대 처리 시간을 비교하는 단계;
    상기 영상 처리 기능이 실시간으로 수행되지 않는 경우, 상기 영상 처리 장치의 처리 성능을 결정하는 단계;
    상기 영상 처리 기능이 실시간으로 수행되어야 하는지 여부에 기초하고, 상기 기대 처리 시간의 비교 결과와 상기 영상 처리 단말의 처리 성능 중 적어도 하나에 기초하여, 상기 영상 처리 기능이 상기 단말에 의해 처리될 기능인지, 서버 기반으로 처리될 기능인지를 판단하는 단계; 및
    상기 판단 결과에 따라 상기 단말 및 상기 서버 중 적어도 하나에 의해서 상기 기능을 수행하도록 제어하는 단계를 포함하고,
    상기 서버 기반으로 처리될 기능이 수행되는 경우, 상기 기능에 관련된 데이터 및 요청 신호를 상기 서버로 전송하는 영상 처리 방법.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서, 상기 소정 동작 모드는 촬영 동작 모드이며,
    상기 단말에 의해 처리될 기능은 소정 해상도의 영상을 처리하는 기능이며,
    상기 서버 기반으로 처리 되는 기능은 상기 단말에 의해 처리되는 소정 해상도의 영상 보다 높은 해상도의 영상을 처리하는 기능인 것을 특징으로 하는 영상 처리 방법.
  5. 제 4항에 있어서,
    상기 서버 기반으로 처리 되는 기능은 다양한 해상도를 갖는 적어도 하나의 영상을 생성하는 기능인 것을 특징으로 하는 영상 처리 방법.
  6. 제 1항에 있어서, 상기 요청 신호는 상기 서버 기반으로 처리 가능한 기능이 실시간으로 수행되어야 하는지 여부에 대한 정보를 포함하는 것을 특징으로 하는 영상 처리 방법.
  7. 제 1항에 있어서, 상기 서버 기반으로 처리 가능한 기능에 관련된 데이터에는 풀 해상도 원본(Full resolution RAW) 영상 데이터 또는 관심 영역(ROI: Region Of Interest) 데이터가 포함되는 것을 특징으로 하는 영상 처리 방법.
  8. 제 1항에 있어서, 상기 소정 동작 모드는 플레이백(play back) 동작 모드이며,
    상기 단말에 의해 처리될 기능은 스크린-네일(screen-nail) 영상을 디스플레이하는 기능이며,
    상기 서버 기반으로 처리될 기능은 상기 디스플레이된 스크린-네일(screen-nail) 영상의 줌(zoom) 동작에 대응하는 영상을 상기 단말로 전송하는 기능인 것을 특징으로 하는 영상 처리 방법.
  9. 제 1항에 있어서, 상기 영상 처리 방법은,
    상기 서버 기반으로 처리될 기능이 수행된 데이터를 수신하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  10. 제 1항에 있어서, 상기 소정 동작 모드는 공유 동작 모드이며,
    상기 단말에 의해 처리될 기능은 상기 단말에 저장된 영상을 타 장치로 공유하는 기능이며,
    상기 서버 기반으로 처리될 기능은 상기 단말에 저장된 영상에 대응되는 상기 서버에 저장된 영상을 타 장치로 공유하는 기능인 것을 특징으로 하는 영상 처리 방법.
  11. 제 10항에 있어서, 상기 제어하는 단계는
    상기 타 장치가 상기 단말에 저장된 영상 보다 높은 해상도의 영상의 공유를 요청할 때, 상기 서버 기반으로 처리될 기능을 수행하도록 제어하는 것을 특징으로 하는 영상 처리 방법.
  12. 제 1항에 있어서,
    상기 소정 동작 모드는 동영상 촬영 모드이며,
    상기 제어하는 단계는
    시간적(Temporal) 또는 공간적(spatial) 확장(scalability) 방식을 이용하여 동영상을 분상기 단말 및 상기 서버에서 부호화 하도록 제어하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  13. 제 12항에 있어서,
    상기 단말에 의해 처리될 기능은 상기 서버 기반으로 처리될 기능보다 낮은 해상도의 정보량을 부호화 하는 것을 특징으로 하는 영상 처리 방법.
  14. 제 12항에 있어서, 상기 소정 동작 모드는 플레이백(play back) 동작 모드이며,
    상기 제어하는 단계는
    시간적(Temporal) 또는 공간적(spatial) 확장(scalability) 방식을 이용하여 상기 단말 및 상기 서버에서 부호화 된 동영상을 복호화 하도록 제어하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  15. 서버 기반 영상 처리 단말에 있어서,
    상기 영상 처리 단말의 소정 동작 모드에서 수행되는 영상 처리 기능이, 실시간으로 수행되어야 하는지 여부를 판단하고, 상기 영상 처리 기능이 실시간으로 수행되어야 하는 경우, 상기 영상 처리 기능에 대해, 상기 영상 처리 단말의 기대 처리 시간 및 상기 서버의 기대 처리 시간을 비교하고, 상기 영상 처리 기능이 실시간으로 수행되지 않는 경우, 상기 영상 처리 장치의 처리 성능을 결정하고, 상기 영상 처리 기능이 실시간으로 수행되어야 하는지 여부에 기초하고, 상기 기대 처리 시간의 비교 결과와 상기 영상 처리 단말의 처리 성능 중 적어도 하나에 기초하여 상기 영상 처리 기능이, 상기 단말에 의해 처리될 기능인지, 상기 서버 기반으로 처리될 기능인지를 판단하는 판단부; 및
    상기 판단 결과에 따라 상기 단말 및 상기 서버 중 적어도 하나에 의해서 상기 기능을 수행하도록 제어하는 제어부를 포함하고,
    상기 제어부는 상기 서버 기반으로 처리될 기능이 수행되는 경우, 상기 기능에 관련된 데이터 및 요청 신호를 상기 서버로 전송하는 영상 처리 단말.
  16. 삭제
  17. 삭제
  18. 제 15항에 있어서, 상기 소정 동작 모드는 촬영 동작 모드이며,
    상기 단말에 의해 처리될 기능은 소정 해상도의 영상을 처리하는 기능이며,
    상기 서버 기반으로 처리 되는 기능은 상기 단말에 의해 처리되는 소정 해상도의 영상 보다 높은 해상도의 영상을 처리하는 기능인 것을 특징으로 하는 영상 처리 단말.
  19. 서버 기반 영상 처리 시스템에 있어서,
    상기 영상 처리 단말의 소정 동작 모드에서 수행되는 영상 처리 기능이, 실시간으로 수행되어야 하는지 여부를 판단하고, 상기 영상 처리 기능이 실시간으로 수행되어야 하는 경우, 상기 영상 처리 기능에 대해, 상기 영상 처리 단말의 기대 처리 시간 및 상기 서버의 기대 처리 시간을 비교하고, 상기 영상 처리 기능이 실시간으로 수행되지 않는 경우, 상기 영상 처리 장치의 처리 성능을 결정하고, 상기 영상 처리 기능이 실시간으로 수행되어야 하는지 여부에 기초하고, 상기 기대 처리 시간의 비교 결과와 상기 영상 처리 단말의 처리 성능 중 적어도 하나에 기초하여 상기 영상 처리 기능이, 상기 단말에 의해 처리될 기능인지, 서버 기반으로 처리될 기능인지를 판단하는 판단부, 및 상기 판단 결과에 따라 상기 서버 기반으로 처리될 기능이 수행되는 경우, 상기 기능에 관련된 데이터 및 요청 신호를 상기 서버로 전송 하도록 제어하는 제어부를 포함하는 영상 처리 단말; 및
    상기 데이터 및 상기 요청 신호를 수신하여, 상기 서버 기반으로 처리될 기능을 수행하는 클라우드 서버를 포함하는 영상 처리 시스템.
  20. 제 1항 및 제4항 내지 제 14항 중 어느 한 항의 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020130154103A 2013-12-11 2013-12-11 클라우드 서버 기반 영상 처리 방법, 단말 및 시스템 KR102173107B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130154103A KR102173107B1 (ko) 2013-12-11 2013-12-11 클라우드 서버 기반 영상 처리 방법, 단말 및 시스템
US14/542,738 US9600853B2 (en) 2013-12-11 2014-11-17 Method, terminal and system for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130154103A KR102173107B1 (ko) 2013-12-11 2013-12-11 클라우드 서버 기반 영상 처리 방법, 단말 및 시스템

Publications (2)

Publication Number Publication Date
KR20150068192A KR20150068192A (ko) 2015-06-19
KR102173107B1 true KR102173107B1 (ko) 2020-11-02

Family

ID=53271679

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130154103A KR102173107B1 (ko) 2013-12-11 2013-12-11 클라우드 서버 기반 영상 처리 방법, 단말 및 시스템

Country Status (2)

Country Link
US (1) US9600853B2 (ko)
KR (1) KR102173107B1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791906A (zh) * 2014-12-15 2016-07-20 深圳Tcl数字技术有限公司 信息推送的方法和系统
US10291494B2 (en) 2016-04-20 2019-05-14 Cisco Technology, Inc. Distributing data analytics in a hierarchical network based on computational complexity
KR102495753B1 (ko) * 2017-10-10 2023-02-03 삼성전자주식회사 카메라를 이용하여 획득한 원시 이미지를 외부 전자 장치를 이용하여 처리하는 방법 및 전자 장치
CN107566532A (zh) * 2017-10-19 2018-01-09 杰克缝纫机股份有限公司 基于云平台的衣片图像处理方法、系统、控制终端及云平台
KR20190096748A (ko) * 2018-02-09 2019-08-20 삼성전자주식회사 외부 전자 장치를 이용한 이미지 보정 방법 및 전자 장치
KR102495763B1 (ko) * 2018-02-23 2023-02-06 삼성전자주식회사 제1 이미지 처리 방식으로 보정된 이미지를 제2 이미지 처리 방식을 이용하여 외부 전자 장치에서 보정하기 위한 전자 장치 및 방법
WO2020003764A1 (ja) * 2018-06-25 2020-01-02 ソニー株式会社 画像処理装置、移動装置、および方法、並びにプログラム
CN109684940B (zh) * 2018-12-06 2021-06-04 武汉腾云慧城科技有限公司 一种基于三层分布式动态调度的人脸识别方法及系统
CN110069445A (zh) * 2019-03-12 2019-07-30 深圳壹账通智能科技有限公司 人脸图像处理方法、服务器及计算机可读存储介质
KR102416709B1 (ko) * 2019-03-15 2022-07-05 주식회사 앨리스헬스케어 클라우드 서버 기반의 기계학습 관절정보 추출 시스템 및 그 방법
KR102608127B1 (ko) * 2019-04-08 2023-12-01 삼성전자주식회사 이미지 프로세싱을 수행하는 전자 장치 및 방법
DE102019206923B3 (de) * 2019-05-13 2020-08-13 Volkswagen Aktiengesellschaft Verfahren zum Ausführen einer Anwendung auf einer verteilten Systemarchitektur
CN112449099B (zh) * 2019-08-30 2022-08-19 华为技术有限公司 一种图像处理方法、电子设备及云服务器
JP7403279B2 (ja) * 2019-10-31 2023-12-22 キヤノン株式会社 画像処理装置および画像処理方法
KR20210079956A (ko) * 2019-12-20 2021-06-30 삼성전자주식회사 네트워크를 통해 영상 처리 서비스를 제공하는 전자 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058837A (ja) * 2010-09-06 2012-03-22 Sony Corp 端末装置、情報処理システム、依頼先選択方法、及びプログラム
KR101304480B1 (ko) * 2005-07-20 2013-09-05 한국과학기술원 멀티미디어 컨텐츠 부호화방법 및 장치와, 부호화된멀티미디어 컨텐츠 응용방법 및 시스템

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003024094A1 (fr) * 2001-09-10 2003-03-20 Nikon Corporation Systeme d'appareil photo numerique, appareil de stockage d'images et appareil photo numerique
US20060210057A1 (en) 2005-01-25 2006-09-21 Linear Technology Corporation Supplying power over four pairs of conductors in communication cable
JP4926601B2 (ja) * 2005-10-28 2012-05-09 キヤノン株式会社 映像配信システム、クライアント端末及びその制御方法
JP4890880B2 (ja) 2006-02-16 2012-03-07 キヤノン株式会社 画像送信装置，画像送信方法，プログラム，および記憶媒体
JP5495879B2 (ja) 2009-04-30 2014-05-21 キヤノン株式会社 画像処理システム
JP2012048540A (ja) 2010-08-27 2012-03-08 Canon Inc 画像処理装置及びその制御方法、情報処理システム、並びにプログラム
US20120150881A1 (en) 2010-12-09 2012-06-14 Seong Hyeon Cho Cloud-hosted multi-media application server
JP5664289B2 (ja) 2011-01-31 2015-02-04 富士通株式会社 情報処理装置、画像送信プログラムおよび画像表示方法
JP2012195901A (ja) 2011-03-18 2012-10-11 Buffalo Inc 画像転送装置および画像転送方法
KR101300873B1 (ko) 2011-10-11 2013-08-27 서울시립대학교 산학협력단 클라우드 컴퓨팅 기반의 영상 코딩 방법 및 장치
JP5958106B2 (ja) * 2012-06-15 2016-07-27 富士通株式会社 情報共有方法、情報処理装置、及び情報共有プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101304480B1 (ko) * 2005-07-20 2013-09-05 한국과학기술원 멀티미디어 컨텐츠 부호화방법 및 장치와, 부호화된멀티미디어 컨텐츠 응용방법 및 시스템
JP2012058837A (ja) * 2010-09-06 2012-03-22 Sony Corp 端末装置、情報処理システム、依頼先選択方法、及びプログラム

Also Published As

Publication number Publication date
KR20150068192A (ko) 2015-06-19
US20150161755A1 (en) 2015-06-11
US9600853B2 (en) 2017-03-21

Similar Documents

Publication Publication Date Title
KR102173107B1 (ko) 클라우드 서버 기반 영상 처리 방법, 단말 및 시스템
US10652506B2 (en) High quality multimedia transmission from a mobile device for live and on-demand viewing
US10021302B2 (en) Video recording method and device
US10582196B2 (en) Generating heat maps using dynamic vision sensor events
US20150208103A1 (en) System and Method for Enabling User Control of Live Video Stream(s)
WO2019001108A1 (zh) 视频处理的方法和装置
WO2018010662A1 (zh) 视频文件的转码方法，装置及存储介质
US10623735B2 (en) Method and system for layer based view optimization encoding of 360-degree video
JP7151004B2 (ja) 中断可能な映像トランスコーディング
CN114363649B (zh) 视频处理方法、装置、设备及存储介质
WO2023169297A1 (zh) 动画特效生成方法、装置、设备及介质
US20210409763A1 (en) Video decoding method and apparatus, video encoding method and apparatus, storage medium, and electronic device
RU2655662C1 (ru) Устройство обработки изображений и способ обработки изображений
KR102232899B1 (ko) 클라우드 스트리밍 서비스 시스템, 이미지 타입에 따른 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
WO2023273535A1 (zh) 视频码流的处理方法、介质、程序产品和电子设备
US20190349414A1 (en) Client side data stream processing
KR20230031620A (ko) 객체를 추적하는 서버, 방법 및 컴퓨터 프로그램
WO2020181540A1 (zh) 一种视频处理方法、装置、编码设备及解码设备
CN115379251A (zh) 一种视频直播流的转码方法、装置、系统及可读存储介质
JP2013168809A (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
Skvorc et al. Performance evaluation of matrix-and EXIF-based video rotation methods in MJPEG-based live video encoder
KR101521890B1 (ko) 다시점 비디오 스트리밍 시스템 및 그 제공방법
WO2024097135A1 (en) High dynamic range video formats with low dynamic range compatibility
CN116980637A (zh) 直播数据的处理系统、电子设备、存储介质及程序产品
JP2015159406A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant