KR20190118926A - 이미지 처리 장치 및 방법 - Google Patents

이미지 처리 장치 및 방법 Download PDF

Info

Publication number
KR20190118926A
KR20190118926A KR1020180042423A KR20180042423A KR20190118926A KR 20190118926 A KR20190118926 A KR 20190118926A KR 1020180042423 A KR1020180042423 A KR 1020180042423A KR 20180042423 A KR20180042423 A KR 20180042423A KR 20190118926 A KR20190118926 A KR 20190118926A
Authority
KR
South Korea
Prior art keywords
content
present disclosure
pictures
component
processing
Prior art date
Application number
KR1020180042423A
Other languages
English (en)
Other versions
KR102503743B1 (ko
Inventor
오영호
유성열
우지환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180042423A priority Critical patent/KR102503743B1/ko
Priority to EP19786196.6A priority patent/EP3767959B1/en
Priority to US16/981,021 priority patent/US11328453B2/en
Priority to PCT/KR2019/004377 priority patent/WO2019199087A1/ko
Publication of KR20190118926A publication Critical patent/KR20190118926A/ko
Application granted granted Critical
Publication of KR102503743B1 publication Critical patent/KR102503743B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/005—Statistical coding, e.g. Huffman, run length coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시의 다양한 실시 예들은 전자장치에서 이미지를 처리하기 위한 장치 및 방법에 관한 것이다.
이를 위해 제안된 실시 예에 따른 단계 별로 이미지를 처리하는 방법은, 다수의 픽쳐들을 소정의 조건을 기반으로 적어도 두 개의 그룹들로 분류하는 과정과, 상기 적어도 두 개의 그룹들을 고려하여 단계 별로 이미지를 처리하는 과정을 포함할 수 있다.

Description

이미지 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING PICTURE}
본 개시의 다양한 실시 예들은 전자장치에서 이미지를 처리하기 위한 장치 및 방법에 관한 것이다.
멀티미디어 서비스의 효율적인 제공을 위해서는 정보량을 줄일 수 있는 콘텐트의 처리 방안 마련이 반드시 필요하다고 할 것이다.
본 개시의 한 실시 예에 따르면, 다수의 픽쳐들을 그룹핑하여 처리하는 이미지 처리 장치 및 방법을 제공할 수 있다.
본 개시의 다양한 실시 예에 따른 단계 별로 이미지를 처리하는 방법은, 다수의 픽쳐들을 소정의 조건을 기반으로 적어도 두 개의 그룹들로 분류하는 과정과, 상기 적어도 두 개의 그룹들을 고려하여 단계 별로 이미지를 처리하는 과정을 포함할 수 있다.
도 1은 제안된 다양한 실시 예들에 따른 콘텐트를 변환하는 구조의 일 예를 도시한 도면이다.
도 2는 본 개시에서 제안된 다양한 실시 예들 중 하나의 실시 예에 따라 픽쳐들을 처리하는 예를 도시한 도면이다.
도 3은 본 개시에서 제안된 다양한 실시 예들 중 하나의 실시 예에 따라 픽쳐들을 처리하는 예를 도시한 도면이다.
도 4는 본 개시에서 제안된 다양한 실시 예들 중 하나의 실시 예에 따라 픽쳐들을 처리하는 예를 도시한 도면이다.
도 5는 본 개시에서 제안된 다양한 실시 예들 중 하나의 실시 예에 따라 픽쳐들을 처리하는 예를 도시한 도면이다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시 예의 다양한 변경 (modifications), 균등물 (equivalents), 및/또는 대체물 (alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징 (예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소 (예: 제1 구성요소)가 다른 구성요소 (예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어 ((operatively or communicatively) coupled with/to)" 있다거나 "접속되어 (connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 또 다른 구성요소 (예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소 (예: 제1 구성요소)가 다른 구성요소 (예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 또 다른 구성요소 (예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된 (또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한 (suitable for)", "~하는 능력을 가지는 (having the capacity to)", "~하도록 설계된 (designed to)", "~하도록 변경된 (adapted to)", "~하도록 만들어진 (made to)", 또는 "~를 할 수 있는 (capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된 (또는 설정된)"은 하드웨어적으로 "특별히 설계된 (specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된 (또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서 (예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서 (generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥 상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자장치는, 예를 들면, 스마트 폰 (smart phone), 태블릿 PC (tablet personal computer), 이동전화기 (mobile phone), 영상 전화기, 전자책 리더기 (e-book reader), 데스크탑 PC (desktop personal computer), 랩탑 PC (laptop personal computer), 넷북 컴퓨터 (netbook computer), 워크스테이션 (workstation), 서버, PDA (personal digital assistant), PMP (portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라 (camera), 또는 웨어러블 장치 (wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에 따르면, 웨어러블 장치는 액세서리형 (예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치 (head-mounted-device(HMD)), 직물 또는 의류 일체형 (예: 전자의복), 신체 부착형 (예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 (예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자장치는 가전제품 (home appliance)일 수 있다. 가전제품은, 예를 들면, 텔레비전, DVD (digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기청정기, 셋톱박스 (set-top box), 홈 오토매이션 컨트롤 패널 (home automation control panel), 보안 컨트롤 패널 (security control panel), TV 박스 (예: 삼성 HomeSyncTM, 애플 TVTM 또는 구글 TVTM), 게임콘솔 (예: XboxTM, PlayStationTM), 전자사전, 전자키, 캠코더 (camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자장치는, 각종의료기기 (예: 각종 휴대용 의료측정기기 (혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA (magnetic resonance angiography), MRI (magnetic resonance imaging), CT (computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 (navigation) 장치, GPS 수신기 (global positioning system receiver), EDR (event data recorder), FDR (flight data recorder), 자동차 인포테인먼트 (infotainment) 장치, 선박용 전자장비 (예:선박용 항법장치, 자이로콤파스 등), 항공전자기기 (avionics), 보안기기, 차량용 헤드 유닛 (head unit), 산업용 또는 가정용 로봇, 금융기관의 ATM (automatic teller's machine), 상점의 POS (point of sales), 또는 사물 인터넷 장치 (internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기 (thermostat), 가로등, 토스터 (toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자장치는 가구 (furniture) 또는 건물/구조물의 일부, 전자 보드 (electronic board), 전자 사인 수신 장치 (electronic signature receiving device), 프로젝터 (projector), 또는 각종 계측기기 (예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자장치는 플렉서블 전자장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자장치를 포함할 수 있다.
이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
또한, 하기 설명에서는 구체적인 특정 사항들이 나타내고 있는데, 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.
도 1은 제안된 다양한 실시 예들에 따른 콘텐트를 변환하는 구조의 일 예를 도시한 도면이다.
도 1을 참조하면, 소스 데이터에 해당하는 제1 콘텐트(a)는 2차원 또는 3차원의 좌표계를 갖는 영상 및 그 좌표계를 포함하는 콘텐트가 될 수 있다 (Ex: Point cloud).
제1 장치(110)는 제1 콘텐트(a)를 제2 장치(120)가 다룰 수 있는 형태인 제2 콘텐트(b)로 변환하는 기능을 수행할 수 있다 (Ex: TMC2). 예컨대, 제1 장치(110)는 제1 콘텐트(a)에 대한 패킹 (packing) 또는 패킹 및 패딩 (packing + padding) 처리하여 제2 콘텐트(b)로 변환할 수 있다.
제2 장치(120)는 입력된 제2 콘텐트를 손실 또는 비손실되는 제3 콘텐트(c)의 형태로의 변환을 수행할 수 있다. 예컨대, 상기 제2 장치(120)에서는 결과적으로 보다 적은 크기로 압축하는 기능이 주로 수행될 수 있다 (Ex: HEVC encoder, Entropy encoder). 상기 제2 장치(120)는 압축 장치가 될 수 있다.
제3 장치(130)는 상기 제2 장치(120)에서 생성된 제3 콘텐트(c)를 제4 콘텐트(d)의 형태로 재변환하는 기능을 수행할 수 있다 (Ex: HEVC decoder). 상기 제3 장치(130)는 압축 해제 장치가 될 수 있다. 상기 제3 장치(130)에 의해 재변환된 제4 콘텐트(d)는 상기 제1 장치(110)에 의해 생성된 제2 콘텐트(b)에 대응할 수 있다.
제 4 장치(140)는 상기 제3 장치(13)에서 생성된 제4 콘텐트(d)를 제5 콘텐트(e)의 형태로 재변환하는 기능을 수행할 수 있다 (Ex: PC renderer). 상기 제4 장치(140)에 의해 재변환된 제5 콘텐트(e)는 상기 제1 장치(110)로 입력되는 소스 데이터인 제1 콘텐트(a)에 대응할 수 있다.
도 1에서는 제1 콘텐트(a) 또는 제2 콘텐트(b)가 제3 장치 (130) 또는 제 4 장치(140)에서 사용되는 내용과 사용되지 않는 내용으로 구성되는 경우를 개시하고 있다.
상술한 구조에 있어서, 제1 콘텐트(a)를 제2 콘텐트(b)로 변환하는 과정에서, 제3 장치(130) 또는 제4 장치(140)가 사용하지 않는 내용에 대해, 제2 콘텐트(b)의 전체 또는 일부를 0 또는 임의의 값으로 채우는 방법이 존재할 수 있다.
다른 예로 제1 콘텐트(a)를 제2 콘텐트(b)로 변환하는 과정에서, 제3 장치(130) 또는 제4 장치(140)가 사용하지 않는 내용에 대해, 제2 콘텐트(b)의 전체 또는 일부를 사용하는 내용으로부터 도출하여 채우는 방법이 존재할 수 있다 (Dilation).
또 따른 예로써, 다른 픽처들과의 독립적으로 해당 픽처에서 상기 “사용하는 내용으로부터 도출”되어 “사용하지 않는 내용”을 채우는 정보가 제2 콘텐트(b) 구성상의 x축 또는 가로축의 방향으로 왼쪽 또는 오른쪽으로 이어져 다음 “사용하는 내용” 직전까지 유지되는 방법이 있을 수 있다.
여기서, "사용하는 내용으로부터 도출”한 결과로 제2 콘텐트(b)의 전체 또는 일부를 채우는 것에 따른 주효한 효과는 제2 장치(120)로 하여금 신호대 잡음비 (SNR)와 같은 성능 열화를 완화시키거나 더 작은 크기의 제3 콘텐트(c)를 만들 수 있게 하는데 있다.
상기 "사용하는 내용으로부터 도출”한 결과로 제2 콘텐트(b)의 전체 또는 일부를 채우는 것에 따른 주효한 효과는 제2 장치(120)로 하여금 압축시 발생하는 SNR과 같은 성능 열화를 억제시키거나 더 작은 크기의 제3 콘텐트(c)를 만들 수 있게 하는데 있다.
도 2는 본 개시에서 제안된 다양한 실시 예들 중 하나의 실시 예에 따라 픽쳐들을 처리하는 예를 도시한 도면이다.
도 2를 참조하면, 제2 콘텐트(b)에서 “사용하는 내용으로부터 도출”되어 “사용하지 않는 내용”을 채우기 위해 사용된 정보는, 동일한 제2 콘텐트(b) 내의 “사용하는 내용”으로부터 도출되는 특징을 가질 수 있다.
하나의 실시 예로써, 제2 콘텐트(b)의 “사용하지 않는 내용”을 제2 콘텐트(b)의 내용 중에서 시간적 또는 공간적으로 다른 하나 또는 두 개 이상의 제2 콘텐트(b) 내용들로부터 도출하는 것을 특징으로 할 수 있다.
하나의 실시 예로써, “도출”은 복제, 평균값, Median 값, 최대값, 최소값 등의 예들을 포함할 수 있으며, 이에 해당하지 않는 방법이라 하더라도 제2 콘텐트(b) 자신이 아닌 다른 하나 또는 두 개 이상의 제2 콘텐트(b)로부터 도출하는 방법을 모두 포함할 수 있다.
도 2에서의 제2 콘텐트(b)는 HEVC의 입력으로 사용되는 동영상 파일처럼 구성될 수 있다. 이때 각 픽쳐들(프레임 #0에 포함된 픽쳐들(210, 212, 214, 216, 218), 프레임 #1에 포함된 픽쳐들(220, 222))은 제1장치(110) 내에서 제1 콘텐트(a)를 변환하여 생성될 수 있다.
다음과 같은 순서로 제안된 방법을 적용할 수 있다.
1. 사용하지 않는 영역에 대해서 각각 픽쳐 단위로 “사용하지 않는 내용”을 채우는 Dilation을 수행
2. 적용할 그룹에 포함될 하나 또는 다수의 픽쳐들을 선정
3. 그룹에 포함된 하나 또는 다수의 픽쳐들의 “사용되지 않는 내용”의 영역이 모두 동일한 경우에 제안된 실시 예를 적용
4. 단계 3에서 제안된 실시 예가 적용되는 경우에 이 때 도출될 값은 각 ㅍ픽쳐의 동일한 위치의 값으로부터 복제, 평균값, Median 값, 최대값, 최소값 등의 방법으로 계산될 수 있다.
5. 도출된 값을 각 픽쳐의 동일한 위치에 적용할 수 있다.
제2실시 예
도 3은 본 개시에서 제안된 다양한 실시 예들 중 하나의 실시 예에 따라 픽쳐들을 처리하는 예를 도시한 도면이다.
도 3을 참조하면, 픽쳐들(312, 314, 322, 324) 중에 동일한 시간 정보 (T0 또는 T1)를 갖는 픽쳐 그룹(310, 320)끼리 제안 방법 적용 그룹으로 그룹화하여 “사용하지 않는 내용”에 사용할 값을 그룹(310 또는 320) 내 각 픽쳐 (312, 314 또는 322, 324) 내의 정보를 바탕으로 도출할 수 있다. 이 경우, 그룹 내의 각 ㅍ피픽쳐들은 도출된 값을 동일하게 사용할 수 있다.
이때 제안된 방법에 의해 “사용하지 않는 내용”을 각각의 픽쳐에서 동일한 값으로 사용하는 그룹에 속해 있는 각각의 픽쳐가 가지고 있는 “사용하지 않는 내용”의 영역이 각 픽쳐 사이에 다른 경우에는 그룹 내의 모든 픽쳐들의 “사용하지 않는 내용”의 영역이 겹치는 영역 내에서만 제안된 방법을 사용할 수 있다.
제3실시 예
상술한 제2 실시 예에서 제안된 방법을 적용하는 그룹은 동일한 시간 정보에 관계없이 임의의 그룹으로 그룹화하여 제안된 방법을 적용할 수 있다.
제4실시 예
도 4는 본 개시에서 제안된 다양한 실시 예들 중 하나의 실시 예에 따라 픽쳐들을 처리하는 예를 도시한 도면이다.
도 4에 도시된 바와 같이 제안된 방법을 적용하는 그룹을 정하는 픽쳐들의 순서를 제2장치의 입력 순서를 기반으로 정의할 수도 있다.
제5실시 예
도 5는 본 개시에서 제안된 다양한 실시 예들 중 하나의 실시 예에 따라 픽쳐들을 처리하는 예를 도시한 도면이다.
도 5에 도시된 바와 같이 제안된 방법을 적용하는 그룹에 포함되는 픽쳐들의 수를 단계적으로 적용하여 그룹화되는 픽쳐들의 수를 증가시킬 수 있다. 단 각 단계에서 제안 방법을 적용한 그룹에 포함되는 모든 픽쳐들의 “사용하지 않는 내용”의 영역이 모두 일치하는 영역에 대해서만 제안된 방법을 사용할 수 있다.
제안된 다양한 실시 예에 따르면, 더 작은 크기의 제3 콘텐트로 변환하는 것이 가능할 수 있다.
제안된 다양한 실시 예에 따르면, 제2 장치가 제3 콘텐트의 생성을 위해 정보량을 할당해야 할 영역과 그렇지 않은 영역을 비지시적(implicit)으로 제어하는 것이 가능할 수 있다. 비지시적인 제어가 이루어짐에 따라, 기존의 모든 제2 장치들은 제안된 다양한 실시 예에 따른 동작을 수행하는 것이 가능할 수 있다.
한편, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시에서 제안한 다양한 실시 예에 따른 범위에서 벗어나지 않는 한도 내에서 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 가지 변형에 의한 실시할 수 있음은 물론이다. 그러므로 본 개시에 따른 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐만 아니라, 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다. 그뿐만 아니라, 이러한 변형 실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (1)

  1. 단계 별로 이미지를 처리하는 방법에 있어서,
    다수의 픽쳐들을 소정의 조건을 기반으로 적어도 두 개의 그룹들로 분류하는 과정과,
    상기 적어도 두 개의 그룹들을 고려하여 단계 별로 이미지를 처리하는 과정을 포함하는 단계 별 이미지 처리방법.
KR1020180042423A 2018-04-11 2018-04-11 이미지 처리 장치 및 방법 KR102503743B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180042423A KR102503743B1 (ko) 2018-04-11 2018-04-11 이미지 처리 장치 및 방법
EP19786196.6A EP3767959B1 (en) 2018-04-11 2019-04-11 Device and method for image processing
US16/981,021 US11328453B2 (en) 2018-04-11 2019-04-11 Device and method for image processing
PCT/KR2019/004377 WO2019199087A1 (ko) 2018-04-11 2019-04-11 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180042423A KR102503743B1 (ko) 2018-04-11 2018-04-11 이미지 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190118926A true KR20190118926A (ko) 2019-10-21
KR102503743B1 KR102503743B1 (ko) 2023-02-28

Family

ID=68163736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180042423A KR102503743B1 (ko) 2018-04-11 2018-04-11 이미지 처리 장치 및 방법

Country Status (4)

Country Link
US (1) US11328453B2 (ko)
EP (1) EP3767959B1 (ko)
KR (1) KR102503743B1 (ko)
WO (1) WO2019199087A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100636785B1 (ko) * 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
KR101350597B1 (ko) * 2006-01-09 2014-01-14 톰슨 라이센싱 멀티 뷰 비디오 코딩을 위한 방법 및 장치
JP2016015766A (ja) * 2015-09-16 2016-01-28 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
KR101669524B1 (ko) * 2012-02-01 2016-11-09 노키아 테크놀로지스 오와이 비디오 코딩을 위한 방법 및 장치
US9584794B2 (en) * 2012-04-05 2017-02-28 Koninklijke Philips N.V. Depth helper data
KR20170065578A (ko) * 2014-10-24 2017-06-13 주식회사 소니 인터랙티브 엔터테인먼트 화상 생성 장치, 화상 추출 장치, 화상 생성 방법, 및 화상 추출 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0706407B1 (pt) 2006-01-09 2019-09-03 Interdigital Madison Patent Holdings método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de vídeo de múltiplas visualizações e mídia de armazenamento tendo dados codificados de sinal de vídeo
US9514523B2 (en) 2014-11-18 2016-12-06 Intel Corporation Method and apparatus for filling images captured by array cameras
CN104574311B (zh) 2015-01-06 2017-08-11 华为技术有限公司 图像处理方法和装置
US20170230668A1 (en) * 2016-02-05 2017-08-10 Mediatek Inc. Method and Apparatus of Mode Information Reference for 360-Degree VR Video
KR20180000279A (ko) * 2016-06-21 2018-01-02 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
EP3287947A1 (en) 2016-08-25 2018-02-28 Dolby Laboratories Licensing Corp. Automatic video framing of conference participants
US20180098090A1 (en) * 2016-10-04 2018-04-05 Mediatek Inc. Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100636785B1 (ko) * 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
KR101350597B1 (ko) * 2006-01-09 2014-01-14 톰슨 라이센싱 멀티 뷰 비디오 코딩을 위한 방법 및 장치
KR101669524B1 (ko) * 2012-02-01 2016-11-09 노키아 테크놀로지스 오와이 비디오 코딩을 위한 방법 및 장치
US9584794B2 (en) * 2012-04-05 2017-02-28 Koninklijke Philips N.V. Depth helper data
KR20170065578A (ko) * 2014-10-24 2017-06-13 주식회사 소니 인터랙티브 엔터테인먼트 화상 생성 장치, 화상 추출 장치, 화상 생성 방법, 및 화상 추출 방법
JP2016015766A (ja) * 2015-09-16 2016-01-28 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置

Also Published As

Publication number Publication date
KR102503743B1 (ko) 2023-02-28
EP3767959A1 (en) 2021-01-20
US11328453B2 (en) 2022-05-10
EP3767959A4 (en) 2021-01-27
US20210074030A1 (en) 2021-03-11
WO2019199087A1 (ko) 2019-10-17
EP3767959B1 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
KR102422353B1 (ko) 스크린 미러링 서비스 제공장치 및 방법
US10331208B2 (en) Method for outputting image and electronic device supporting the same
KR102529120B1 (ko) 영상을 획득하는 방법, 디바이스 및 기록매체
US10649534B2 (en) Apparatus and method for providing haptic feedback through wearable device
KR102313485B1 (ko) 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
KR102649197B1 (ko) 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
US10832411B2 (en) Electronic apparatus and method of controlling the same
US10416720B2 (en) Electronic device comprising transparent display and method for controlling transparent display thereof
US9767360B2 (en) Image processing method and electronic device implementing the same
US10852944B2 (en) Method for displaying soft key and electronic device thereof
KR20210063223A (ko) 멀티태스크 융합 신경망 아키텍처
US20180176632A1 (en) Screen control method and electronic device supporting the same
US20210312419A1 (en) Using Augmented Reality for Secure Transactions
US11974838B2 (en) Electronic device for acquiring biometrics using PPG sensor, and method therefor
US20160277750A1 (en) Method of processing image and electronic device thereof
KR20190118926A (ko) 이미지 처리 장치 및 방법
US20220303495A1 (en) Pixel blending for synthesizing video frames with occlusion and watermark handling
KR102355760B1 (ko) 악성 코드 실행 여부를 판단하는 전자 장치 및 그 제어 방법
KR102443218B1 (ko) 전자 장치 및 그의 동작 방법
KR102405385B1 (ko) 3d 컨텐츠를 위한 여러 오브젝트를 생성하는 방법 및 시스템
García Sánchez et al. Implementation of a Low‐Cost Mobile Devices to Support Medical Diagnosis
KR102203232B1 (ko) 그리드 패턴 노이즈 제거 방법 및 그 전자 장치
CN113112613B (zh) 模型显示方法、装置、电子设备和存储介质
KR102491939B1 (ko) 전방향 이미지를 프로세싱하기 위한 방법 및 장치
US20200241924A1 (en) Server and control method for providing accelerated computing environments

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant