KR20140030473A - 멀티 뷰 영상 처리 방법 및 이를 수행하는 장치 - Google Patents

멀티 뷰 영상 처리 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR20140030473A
KR20140030473A KR1020120095404A KR20120095404A KR20140030473A KR 20140030473 A KR20140030473 A KR 20140030473A KR 1020120095404 A KR1020120095404 A KR 1020120095404A KR 20120095404 A KR20120095404 A KR 20120095404A KR 20140030473 A KR20140030473 A KR 20140030473A
Authority
KR
South Korea
Prior art keywords
signal
image
video
video codec
processing
Prior art date
Application number
KR1020120095404A
Other languages
English (en)
Inventor
노성호
전준식
김태현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120095404A priority Critical patent/KR20140030473A/ko
Priority to CN201310389664.7A priority patent/CN103686191A/zh
Priority to US14/014,928 priority patent/US20140063183A1/en
Publication of KR20140030473A publication Critical patent/KR20140030473A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

멀티 뷰 영상 처리 방법 및 이를 수행하는 장치가 개시된다. 본 발명의 멀티뷰 영상 처리 장치는, 제1 영상 소스로부터 제공된 제1 영상 신호 신호를 처리하여 제1 영상 처리 데이터를 출력하며, 미리 정해진 시점마다 동기 정보를 출력하는 제1 비디오 코덱 모듈; 및 상기 동기 정보에 따라 상기 제1 영상 처리 데이터의 일부를 이용하여 상기 제2 영상 소스로부터 제공된 제2 영상 신호 신호를 처리하여 제2 영상 처리 데이터를 출력하는 제2 비디오 코덱 모듈을 포함하며, 상기 제1 영상 처리 데이터와 상기 제2 영상 처리 데이터가 결합되어 멀티 뷰 영상으로 출력된다.

Description

멀티 뷰 영상 처리 방법 및 이를 수행하는 장치{Method For Processing Multi-view Image, and Apparatus For Executing The Same}
본 발명은 영상 처리 방법에 관한 것으로, 좀 더 구체적으로는 복수(2 이상)의 비디오 코덱 모듈을 이용하여 멀티뷰(multi-view, 다시점) 영상 처리를 수행하는 방법 및 이를 수행하는 장치들-예컨대, 시스템 온칩 및 이를 포함하는 영상 처리 시스템-에 관한 것이다.
멀티뷰 비디오 코딩은, 두 대 이상의 카메라를 통해 촬영된 영상물을 기하학적으로 교정하고 공간적으로 합성하여 여러 방향의 시점을 사용자에게 제공하는 3차원 영상처리 기술의 일종으로, 다시점 비디오 코딩 또는 3차원(3D) 비디오 코딩이라 칭해지기도 한다.
종래기술은 1개의 비디오 코덱 모듈을 이용하여 복수의 시점(point of view)을 갖는 영상 소스 데이터나 비디오 스트림을 처리한다. 즉, 제1 시점(view-0)의 첫 번째 데이터를 처리한 후, 제2 시점(view-1)의 첫 번째 데이터를 처리한다. 모든 시점(즉, 제1 및 제2 시점)의 첫 번째 데이터를 처리한 후, 제1 시점(view-0)의 두 번째 데이터 처리, 제2 시점(view-1)의 두 번째 데이터 처리 등을 순차적으로 반복한다. 즉, 하나의 비디오 코덱 모듈이 복수의 시점의 데이터를 처리하기 위해서는, 각 시점의 첫 번째 데이터를 순차적으로 처리한 후, 각 시점의 두 번째 데이터를 순차적으로 처리할 수 밖에 없다.
상술한 종래 기술에 따르면, 초당 60 프레임(frame)을 처리할 수 있는 비디오 코덱 모듈 하나를 이용하여 2개 시점의 데이터를 처리해야 할 경우, 하나의 시점 당 30 프레임을 처리할 수밖에 없다. 각 시점당 처리 능력이 반으로 떨어져 다음과 같은 문제점이 발생할 수 있다.
인코더의 경우 입력 소스가 각 시점에 초당 60-프레임이 들어올 경우, 총 처리해야 하는 데이터량은 초당 120-프레임이 된다. 초당 60-프레임을 처리할 수 있는 모듈로는 처리가 불가능하다. 이것을 해결하기 위해서는 각 시점에 초당 30-프레임으로 다운 스케일된 입력 소스를 사용하여 프레임 레이트를 낮추어야 한다.
디코더의 경우 입력 데이터 스트림이 각 시점(view)에 초당 60-프레임이 들어올 경우, 총 처리해야 하는 데이터양은 초당 120-프레임이 된다. 인코더인 경우와 마찬가지로 초당 60-프레임을 처리할 수 있는 모듈로는 처리가 불가능하다. 그러나, 인코더와 달리 디코더의 경우 입력 데이터 양을 1/2로 다운 스케일(down scale)시킬 수 없다. 디코더는 초당 60-프레임으로 처리하고 2배 느리게 디스플레이할 수밖에 없다.
따라서 본 발명이 이루고자 하는 기술적인 과제는 멀티 비디오 코덱 모듈을 이용하여 다시점(m 비디오 데이터를 병렬 처리함으로써 멀티 뷰 영상의 처리 성능을 향상시킬 수 있는 멀티뷰 영상 처리 방법, 및 이를 수행하는 장치를 제공하는 것이다.
상술한 기술적 과제를 달성하기 위하여, 제1 및 제2 비디오 코덱 모듈을 포함하는 영상 처리 장치 및 상기 영상 처리 장치에서의 멀티 뷰 영상 처리 방법이 제공된다.
본 발명의 일 실시예에 따른 제1 및 제2 비디오 코덱 모듈을 포함하는 영상 처리 장치에서의 멀티 뷰 영상 처리 방법은 상기 제1 비디오 코덱 모듈이 제1 영상 신호의 제1프레임 이미지를 처리하고, 동기 정보를 호스트로 제공하는 단계; 및 상기 제2 비디오 코덱 모듈이 상기 제1 영상 신호의 제1 프레임 이미지의 처리된 데이터를 참조하여 제2 영상 신호의 제1 프레임 이미지를 처리하는 단계를 포함하며, 상기 제2 비디오 코덱 모듈이 상기 제2 영상 신호의 제1 프레임 이미지의 처리를 시작하는 시점은 상기 동기 정보에 의해 결정되고, 상기 제1 및 제2 비디오 코덱 모듈에 의해 상기 제1 및 제2 영상 신호는 병렬 처리된다.
일 실시예에서, 상기 제1 영상 신호는 제1 영상 소스로부터 제공되고, 상기 제2 영상 신호는 상기 제1 영상 소스와 다른 제2 영상 소스로부터 제공될 수 있다.
다른 실시예에서, 상기 제1 영상 신호 및 상기 제2 영상 신호는 동일한 영상 소스로부터 제공될 수 있다.
상기 방법은 상기 제1 비디오 코덱 모듈이 상기 제1 영상 신호의 제 i 프레임 이미지의 이전 프레임들 중 적어도 한 프레임의 처리된 데이터를 참조하여 제i 프레임 이미지를 처리하고, 상기 동기 정보를 상기 호스트에 제공하는 단계; 및 상기 호스트의 제어에 따라 상기 제2 비디오 코덱 모듈이 상기 제1 영상 신호의 제i 프레임 이미지의 처리된 데이터를 참조하여 제2 영상 신호의 제i 프레임 이미지를 처리하는 단계를 더 포함하며, 상기 i는 2이상의 정수일 수 있다.
상기 동기 정보는 프레임 동기 정보일 수 있다.
본 발명의 다른 실시예에 따른 제1 및 제2 비디오 코덱 모듈을 포함하는 영상 처리 장치에서의 멀티 뷰 영상 처리 방법은 상기 제1 비디오 코덱 모듈이 제1 영상 신호의 제1프레임 이미지의 일정 단위의 데이터를 처리할 때마다 동기 정보를 발생하는 단계; 상기 제2 비디오 코덱 모듈이 상기 동기 정보에 따라 상기 제1 영상 신호의 제1 프레임 이미지의 참조 블록의 처리가 완료되었는지 판단하는 단계; 및 상기 제2 비디오 코덱 모듈이 상기 제1 프레임 이미지의 참조 블록의 처리 데이터를 참조하여 제2 영상 신호의 제1 프레임 이미지를 처리하는 단계를 포함할 수 있다.
일 실시예에서, 상기 일정 단위는 열(row) 단위이고, 상기 동기 정보는 열 동기 정보일 수 있다.
상기 방법은 상기 제1 비디오 코덱 모듈이 상기 제1 영상 신호의 제 i 프레임 이미지의 이전 프레임들 중 적어도 한 프레임의 처리된 데이터를 참조하여 제i 프레임 이미지를 처리하고, 상기 제i 프레임 이미지의 각 열(row) 데이터가 처리될 때마다 상기 동기 정보를 상기 제2 비디오 코덱 모듈에 제공하는 단계; 상기 제2 비디오 코덱 모듈이 상기 동기 정보에 따라 상기 제1 영상 신호의 제i 프레임 이미지의 참조 블록의 처리가 완료되었는지 판단하는 단계; 및 상기 제2 비디오 코덱 모듈이 상기 제i 프레임 이미지의 참조 블록의 처리 데이터를 참조하여 제2 영상 신호의 제i 프레임 이미지를 처리하는 단계를 더 포함하며, 상기 i는 2이상의 정수일 수 있다.
다른 실시에에서, 상기 일정 단위는 블록(block) 단위이고, 상기 동기 정보는 비트맵 메모리에 저장될 수 있다.
상기 방법은 상기 제1 비디오 코덱 모듈이 상기 제1 영상 신호의 제 i 프레임 이미지의 이전 프레임들 중 적어도 한 프레임의 처리된 데이터를 참조하여 제i 프레임 이미지를 처리하고, 상기 제i 프레임 이미지의 각 블록 데이터가 처리될 때마다 상기 비트맵 메모리의 해당 비트를 설정하는 단계; 상기 제2 비디오 코덱 모듈이 상기 비트맵 메모리를 독출하고, 상기 비트맵 메모리의 값에 따라 상기 제1 영상 신호의 제i 프레임 이미지의 참조 블록의 처리가 완료되었는지 판단하는 단계; 상기 제2 비디오 코덱 모듈이 상기 제i 프레임 이미지의 참조 블록의 처리 데이터를 참조하여 제2 영상 신호의 제i 프레임 이미지를 처리하는 단계; 및 상기 제1 영상 신호의 상기 제i 프레임 이미지의 처리된 데이터와 상기 제2 영상 신호의 제i 프레임 이미지의 처리된 데이터를 결합하여 멀티 뷰 영상으로 출력하는 단계를 더 포함하며, 상기 i는 2이상의 정수일 수 있다.
본 발명의 일 실시예에 따른 멀티 뷰 영상 처리 장치는 제1 영상 소스로부터 제공된 제1 영상 신호 신호를 처리하여 제1 영상 처리 데이터를 출력하며, 미리 정해진 시점마다 동기 정보를 발생하는 제1 비디오 코덱 모듈; 및 상기 동기 정보에 따라 상기 제1 영상 처리 데이터의 일부를 이용하여 상기 제2 영상 소스로부터 제공된 제2 영상 신호 신호를 처리하여 제2 영상 처리 데이터를 출력하는 제2 비디오 코덱 모듈을 포함하며, 상기 제1 영상 처리 데이터와 상기 제2 영상 처리 데이터가 결합되어 멀티 뷰 영상으로 출력된다.
일 실시예에서, 상기 제1 영상 신호 신호와 상기 제2 영상 신호 신호는 각각 복수의 프레임을 포함하고, 상기 동기 정보는 상기 제1 비디오 코덱 모듈이 상기 제1 영상 신호 신호의 각 프레임을 처리할 때마다 발생할 수 있다.
다른 실시예에서, 상기 제1 영상 신호 신호와 상기 제2 영상 신호 신호는 각각 복수의 프레임을 포함하고, 상기 복수의 프레임들 각각은 복수의 열(row)들을 포함하며, 상기 제1 비디오 코덱 모듈은 상기 제1 영상 신호 신호의 각 프레임의 각 열 데이터를 처리할 때마다 상기 동기 정보를 발생하는 동기 신호 송수신기를 포함하고, 상기 제2 비디오 코덱 모듈은 상기 제1 비디오 코덱 모듈로부터 상기 동기 정보를 수신하는 동기 신호 송수신기를 포함할 수 있다.
또 다른 실시예에서, 상기 복수의 프레임들 각각은 복수의 블록들로 구성되며, 상기 제2 비디오 코덱 모듈의 상기 동기 신호 송수신기는 상기 동기 정보를 이용하여 상기 제2 영상 신호 신호의 블록 처리시 참조하는 상기 제1 영상 신호 신호의 참조 블록의 처리가 완료되었는지 여부를 판단할 수 있다.
상기 제1 및 제2 비디오 코덱 모듈 각각은 입력되는 신호를 인코딩하기 위한 인코더; 및 입력되는 신호를 디코딩하기 위한 디코더를 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 제1 비디오 코덱 모듈은 상기 동기 정보를 호스트로 보내고, 상기 제2 비디오 코덱 모듈은 상기 호스트로부터 상기 동기 정보를 받을 수 있다.
다른 실시예에서, 상기 제1 비디오 코덱 모듈은 상기 동기 정보를 상기 제2 비디오 코덱 모듈로 전송하기 위한 동기 신호 송수신기를 포함하고, 상기 제2 비디오 코덱 모듈은 상기 제1 비디오 코덱 모듈로부터 상기 동기 정보를 수신하기 위한 동기 신호 송수신기를 포함할 수 있다.
또 다른 실시예에서, 상기 제1 비디오 코덱 모듈은 상기 동기 정보를 메모리에 저장하고, 상기 제2 비디오 코덱 모듈은 상기 메모리로부터 상기 동기 정보를 읽을 수 있다.
상기 제1 비디오 코덱 모듈 및 상기 제2 비디오 코덱 모듈은 하나의 하드웨어 모듈로 구현될 수 있다.
본 발명의 또 다른 실시예에 따른 제1 및 제2 비디오 코덱 모듈을 포함하는 영상 처리 장치에서의 멀티 뷰 영상 처리 방법은 상기 제1 비디오 코덱 모듈이 제1 영상 신호의 복수의 프레임 이미지를 순차적으로 수신하여 처리하는 단계; 상기 제2 비디오 코덱 모듈이 제2 영상 신호의 복수의 프레임 이미지를 순차적으로 수신하여 처리하는 단계; 및 상기 제1 영상 신호의 각 프레임 이미지의 처리된 데이터와 상기 제2 영상 신호의 상응하는 프레임 이미지의 처리된 데이터를 결합하여 멀티 뷰 영상으로 출력하는 단계를 포함하며, 상기 제2 비디오 코덱 모듈은 상기 제1 비디오 코덱 모듈이 발생하는 동기 정보에 따라 상기 제1 영상 신호의 각 프레임의 처리된 데이터의 적어도 일부를 이용하여 상기 제2 영상 신호의 각 프레임 이미지를 처리할 수 있다.
상기 동기 정보는 상기 제1 비디오 코덱 모듈이 상기 제1 영상 신호의 각 프레임을 처리할 때마다 발생할 수 있다.
상기 제1 및 제2 영상 신호의 복수의 프레임들 각각은 복수의 열(row)들을 포함하고, 상기 동기 정보는 상기 제1 비디오 코덱 모듈이 상기 제1 영상 신호의 각 프레임의 각 열 데이터를 처리할 때마다 발생할 수 있다.
상기 방법은 상기 제2 비디오 코덱 모듈이 상기 동기 정보에 따라 상기 제1 영상 신호의 제1 프레임 이미지의 참조 블록의 처리가 완료되었는지 판단하는 단계를 더 포함할 수 있다.
상기 제1 및 제2 영상 신호의 복수의 프레임들 각각은 복수의 블록을 포함하고, 상기 동기 정보는 상기 제1 비디오 코덱 모듈이 상기 제1 영상 신호의 각 프레임의 각 블록 데이터를 처리할 때마다 발생할 수 있다.
상기 방법은 상기 제1 영상 신호의 각 프레임의 각 블록의 처리 여부를 나타내는 비트맵 데이터를 포함하는 상기 동기 정보를 메모리에 저장하는 단계; 및 상기 제2 비디오 코덱 모듈은 상기 메모리로부터 상기 비트맵 데이터를 독출하는 단계를 더 포함할 수 있다.
상기 방법은 상기 제2 비디오 코덱 모듈이 상기 비트맵 데이터에 따라 상기 제1 영상 신호의 제1 프레임 이미지의 참조 블록의 처리가 완료되었는지 판단하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 제1 및 제2 비디오 코덱 모듈을 포함하는 영상 처리 장치에서의 멀티 뷰 영상 처리 방법은, 상기 제1 비디오 코덱 모듈이 제1 영상 신호의 제1프레임 이미지의 각 블록 데이터를 처리하고, 각 블록 데이터를 처리할 때마다 비트맵 메모리의 해당 비트를 설정하는 단계; 상기 제2 비디오 코덱 모듈이 상기 비트맵 메모리를 독출하고, 상기 비트맵 메모리의 값에 따라 상기 제1 영상 신호의 제1 프레임 이미지의 참조 블록의 처리가 완료되었는지 판단하는 단계; 및 상기 제2 비디오 코덱 모듈이 상기 제1 프레임 이미지의 참조 블록의 처리 데이터를 참조하여 제2 영상 신호의 제1 프레임 이미지를 처리하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따르면, 멀티-코어(Multi-Core), 즉 복수(2이상)의 비디오 코덱 모듈을 사용하여 성능저하 없이 멀티 뷰 영상 데이터를 병렬 처리할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 영상 처리 시스템의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 제1 및 제2 비디오 코덱 모듈의 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따른 멀티 뷰 영상 처리 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시 예에 따른 제1 및 제2 비디오 코덱 모듈의 기능 블록도이다.
도 5는 제1 및 제2 영상 신호의 프레임 구조를 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 멀티 뷰 영상 처리 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 또 다른 실시 예에 따른 제1 및 제2 비디오 코덱 모듈의 기능 블록도이다.
도 8은 제1 및 제2 영상 신호의 프레임 구조를 설명하기 위한 도면이다.
도 9는 비트맵 메모리의 일 예를 나타내기 위한 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른 멀티 뷰 영상 처리 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 멀티 뷰 영상 처리 방법을 나타내는 플로우 차트이다.
도 12는 본 발명의 다른 실시예에 따른 멀티 뷰 영상 처리 방법을 나타내는 플로우 차트이다.
도 13a, 도 13b, 도 14a, 도 14b, 도 15a, 및 도 15b는 각각 본 발명의 또 다른 실시예에 따른 제1 및 제2 비디오 코덱 모듈의 구성 블록도이다.
도 16 내지 도 18은 각각 본 발명의 또 다른 실시예에 따른 제1 및 제2 비디오 코덱 모듈의 구성 블록도이다.
도 19는 본 발명의 다른 실시예에 따른 영상 처리 시스템의 구성 블록도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 실시 예들에 따른 영상 처리 시스템의 블럭도이다. 도 1을 참조하면, 영상 처리 시스템(1)은 영상처리 장치(10), 외부 메모리 장치(20), 디스플레이 디바이스(30) 및 카메라 모듈(40)을 포함할 수 있다.
영상처리 장치(10)는 시스템 온 칩 (SoC: system on chip)으로 구현될 수 있으며, 애플리케이션 프로세서(Application Processor)일 수 있다.
영상 처리 장치(10)는 CPU(110), 코덱 모듈(115), 디스플레이 컨트롤러(140), ROM(read only memory; 150), 임베디드 메모리(170), 메모리 컨트롤러(160), 인터페이스 모듈(180) 및 버스(190)를 포함할 수 있다. 그러나, 영상 처리 장치(10)의 구성요소는 실시예에 따라 가감될 수 있다. 즉, 영상 처리 장치(10)는 도시된 구성요소 중 일부를 구비하지 않을 수도 있고, 구성요소 외에도 다른 구성요소, 예컨대, 전원 관리 모듈(power management module), TV 프로세서, 클럭 모듈, 그래픽 프로세서(GPU) 등을 더 구비할 수도 있다.
CPU(110)는 메모리(150, 170 또는 20)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다.
CPU(110)는 멀티-코어 프로세서(multi-core processor)로 구현될 수 있다. 상기 멀티-코어 프로세서는 두 개 또는 그 이상의 독립적인 실질적인 프로세서들('코어들(cores)'이라고 불림)을 갖는 하나의 컴퓨팅 컴포넌트(computing component)이고, 상기 프로세서들 각각은 프로그램 명령들(program instructions)을 읽고 실행할 수 있다. 상기 멀티-코어 프로세서는 다수의 가속기를 동시에 구동할 수 있으므로, 상기 멀티-코어 프로세서를 포함하는 데이터 처리 시스템은 멀티-가속(multi-acceleration)을 수행할 수 있다.
코덱 모듈(115)은 멀티 뷰 영상 신호를 처리하기 위한 모듈로서, 제1 및 제2 비디오 코덱 모듈(120, 130)을 포함할 수 있다.
제1 비디오 코덱 모듈(120)은 멀티 뷰 영상 신호 중 제1 영상 신호를 인코딩 또는 디코딩할 수 있고, 제2 비디오 코덱 모듈(130)은 멀티 뷰 영상 신호 중 제2 영상 신호를 인코딩 또는 디코딩할 수 있다. 본 실시예에서는, 제1 및 제2 비디오 코덱 모듈(120, 130)만 도시되나, 비디오 코덱 모듈의 수는 3이상일 수도 있다.
이와 같이, 본 발명의 실시예에서는, 복수(2이상)의 비디오 코덱 모듈을 구비하여 멀티 뷰 영상 신호를 병렬 처리할 수 있다. 제1 및 제2 비디오 코덱 모듈(120, 130)의 구성 및 동작에 대해서는 후술한다.
ROM(150)은 영구적인 프로그램들 및/또는 데이터를 저장할 수 있다. ROM(150)은 EPROM(erasable programmable read-only memory) 또는 EEPROM(electrically erasable programmable read-only memory)으로 구현될 수 있다.
임베디드 메모리(170)는 SoC로 구현되는 영상처리 장치(10) 내에 내장되는 메모리로서, 프로그램들, 데이터, 또는 명령들(instructions)을 저장할 수 있다.
임베디드 메모리(170)는 제1 및 제2 비디오 코덱 모듈(120, 130)에서 처리할 영상 신호, 즉 제1 및 제2 비디오 코덱 모듈(120, 130)로 입력되는 데이터를 저장할 수 있고, 또한 제1 및 제2 비디오 코덱 모듈(120, 130)에서 처리한 영상 신호, 즉 제1 및 제2 비디오 코덱 모듈(120, 130)로부터 출력되는 데이터를 저장할 수 있다.
임베디드 메모리(170)는 휘발성 메모리 및/또는 비휘발성 메모리로 구현될 수 있다.
메모리 컨트롤러(160)는 외부 메모리 장치(20)와 인터페이스하기 위한 블록이다. 메모리 컨트롤러(160)는 외부 메모리 장치(20)의 동작을 전반적으로 제어하며, 또한 마스터 장치와 메모리 장치(20)간의 제반 데이터 교환을 제어한다.
마스터 장치는 CPU(110), 디스플레이 컨트롤러(140)와 같은 장치일 수 있다.
외부 메모리 장치(20)는 데이터를 저장하기 위한 저장 장소로서, OS(Operating System), 각종 프로그램들, 및 각종 데이터를 저장할 수 있다. 메모리 장치(20)는 DRAM 일수 있으나, 이에 한정되는 것은 아니다. 예컨대, 메모리 장치(20)는 비휘발성 메모리 장치(플래시 메모리, PRAM, MRAM, ReRAM, 또는 FeRAM 장치)일 수도 있다.
외부 메모리 장치(20)는 제1 및 제2 비디오 코덱 모듈(120, 130)에서 처리할 영상 신호, 즉 제1 및 제2 비디오 코덱 모듈(120, 130)로 입력되는 데이터를 저장할 수 있고, 또한 제1 및 제2 비디오 코덱 모듈(120, 130)에서 처리한 영상 신호, 즉 제1 및 제2 비디오 코덱 모듈(120, 130)로부터 출력되는 데이터를 저장할 수 있다.
각 구성 요소는 시스템 버스(190)를 통하여 서로 통신할 수 있다.
디스플레이 디바이스(30)는 멀티 뷰 영상 신호를 디스플레이할 수 있다. 본 실시 예에서 디스플레이 디바이스(30)는 LCD 디바이스일 수 있지만, 본 발명의 실시 예가 이에 한정되는 것은 아니다. 예컨대, 디스플레이 디바이스는 LED, OLED 디바이스, 혹은 다른 종류의 디바이스일 수 있다.
디스플레이 디바이스 컨트롤러(130)는 디스플레이 디바이스(230)의 동작을 제어한다.
카메라 모듈(40)은 광학 이미지를 전기적인 이미지로 변환할 수 있는 모듈을 의미한다. 자세히 도시되지는 않았지만, 카메라 모듈(40)은 복수(2이상)의 카메라, 예컨대, 제1 및 제2 카메라를 포함할 수 있다. 제1 카메라는 멀티 뷰 영상 신호 중 제1 시점에 해당하는 제1 영상 신호를 생성할 수 있고, 제2 카메라는 멀티 뷰 영상 신호 중 제2 시점에 해당하는 제2 영상 신호를 생성할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 제1 및 제2 비디오 코덱 모듈(120, 130)의 기능 블록도이다.
제1 비디오 코덱 모듈(120)은 인코더(121), 디코더(122) 및 펌웨어(123)를 포함한다. 제2 비디오 코덱 모듈(130) 역시 제1 비디오 코덱 모듈(120)과 마찬가지로, 인코더(131), 디코더(132) 및 펌웨어(133)를 포함한다.
호스트(110)는 도 1에 도시된 CPU(110)일 수 있으며, 제1 및 제2 비디오 코덱 모듈(120, 130)의 동작을 제어한다.
제1 비디오 코덱 모듈(120)은 멀티 뷰 영상 신호 중 제1 영상 신호를 처리하여 제1 영상 처리 데이터를 출력하며, 동기 정보(Sync_f)를 출력한다. 제1 영상 신호는 제1 시점의 영상 신호로서, 예컨대, 제1 카메라에 의해 촬상된 영상 신호일 수 있다.
제1 영상 신호가 인코딩될 신호인 경우, 인코더(121)는 제1 영상 신호를 인코딩하여 출력하고, 제1 영상 신호가 디코딩될 신호인 경우, 디코더(122)는 제1 영상 신호를 디코딩하여 출력한다.
동기 정보(Sync_f)는 제1 영상 신호의 매 프레임의 처리(예컨대, 인코딩 또는 디코딩)가 완료될 때마다 발생하는 프레임 동기 정보일 수 있다.
제2 비디오 코덱 모듈(130)은 멀티뷰 영상 신호 중 제2 영상 신호를 처리하여 제2 영상 처리 데이터를 출력한다. 이 때, 제2 비디오 코덱 모듈(130)은 제1 비디오 코덱 모듈(120)에서 출력되는 동기 정보(Sync_f)에 따라 제1 영상 처리 데이터의 일부를 이용하여 제2 영상 신호를 처리할 수 있다. 제2 영상 신호는 제2 시점의 영상 신호로서, 예컨대, 제2 카메라에 의해 촬상된 영상 신호일 수 있다.
영상 처리 장치(10)는 제1 영상 처리 데이터와 제2 영상 처리 데이터를 결합하여 디스플레이 장치(도 1의 30)를 통해 멀티 뷰 영상으로 출력할 수 있다.
영상 처리 장치(10)는 시스템 온 칩(SOC: system on chip)으로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 멀티 뷰 영상 처리 방법을 설명하기 위한 도면이다. 도 3의 멀티 뷰 영상 처리 방법은 도 2에 도시된 제1 및 제2 비디오 코덱 모듈(120, 130)을 포함하는 영상 처리 장치(10a)에 의해 수행될 수 있다.
도 2 및 도 3을 참조하면, 둘 이상의 영상 소스(예컨대, 카메라)로부터 멀티 뷰 영상 신호(view-0, view-1)가 입력될 수 있다. 본 실시예에서는 영상 소스가 두 개이고, 멀티뷰는 2-뷰인 것으로 가정하나, 이에 한정되는 것은 아니다. 본 발명의 다른 실시예에서는, 멀티 뷰 영상 신호(view-0, view-1)는 하나의 영상 소스로부터 입력될 수도 있다.
첫 번째 뷰(view-0)의 영상 신호를 제1 영상 신호라 한다. 제1 영상 신호는 미리 정해진 속도로 제1 비디오 코덱 모듈(120)로 입력될 수 있다. 여기서, 속도는 단위 시간당 프레임 수(fps: frame per second)로 표현될 수 있다. 예컨대, 제1 영상 신호는 60fps로 입력될 수 있다.
두 번째 뷰(view-1)의 영상 신호를 제2 영상 신호이라 한다. 제2 영상 신호 역시 제1 영상 신호와 동일한 속도(예컨대, 60fps)로 제2 비디오 코덱 모듈(130)로 입력될 수 있다.
제1 및 제2 영상 신호는 인코딩될 신호일 수도 있고, 디코딩될 신호일 수도 있다. 예컨대, 제1 및 제2 영상 신호가 카메라로부터 생성되어 입력되는 신호이면, 제1 및 제2 비디오 코덱 모듈(120, 130)의 인코더들(121, 131)에 의하여 인코딩되어, 메모리(도 1의 170 또는 20)에 저장될 수 있다. 예컨대, 제1 및 제2 영상 신호가 이미 인코딩되어 메모리(도 1의 170 또는 20)에 저장되어 있는 신호이면, 제1 및 제2 비디오 코덱 모듈(120, 130)의 디코더들(122, 132)에 의하여 디코딩되어, 디스플레이 장치(도 1의 30)에 디스플레이될 수 있다.
제1 비디오 코덱 모듈(120)은 제1 영상 신호의 복수의 프레임들(I11~I19)을 순차적으로 입력받아 순차적으로 처리하고, 각 프레임의 처리가 완료될 때마다 동기 신호(Sync_f)를 발생할 수 있다. 제1 비디오 코덱 모듈(120)은 제1 영상 신호의 현 프레임(제i 프레임)을 처리할 때 이전 프레임들 중 적어도 하나의 프레임(예컨대, 제(i-1) 프레임 내지 제(i-16) 프레임들 중 적어도 한 프레임)의 처리된 데이터를 참조할 수 있다.
예컨대, 제1 영상 신호가 인코딩될 신호인 경우, 제1 비디오 코덱 모듈(120)의 인코더(121)는 제1 영상 신호의 제1 내지 제9 프레임 이미지(I11~I19)를 순차적으로 인코딩하여 인코딩된 데이터(O11~O19)를 출력하고, 제1 비디오 코덱 모듈(120)의 펌웨어(123)는 프레임 이미지(I11~I19)의 인코딩이 완료될 때마다 동기 정보(Sync_f)를 호스트(110)로 제공한다.
제1 영상 신호가 디코딩될 신호인 경우, 제1 비디오 코덱 모듈(120)의 디코더(122)는 제1 영상 신호의 제1 내지 제9 프레임 이미지(I11~I19)를 순차적으로 디코딩하여 디코딩된 데이터(O11~O19)를 출력하고, 제1 비디오 코덱 모듈(120)의 펌웨어(123)는 제1 내지 제9 프레임 이미지(I11~I19)의 디코딩이 완료될 때마다 동기 정보(Sync_f)를 호스트(110)로 제공한다.
호스트(110)는 동기 정보(Sync_f)에 따라 제2 비디오 코덱 모듈(130)의 동작을 제어할 수 있다.
제2 비디오 코덱 모듈(130)은 제2 영상 신호의 복수의 프레임들(I21~I29)을 순차적으로 입력받아 순차적으로 처리한다. 그런데, 제2 비디오 코덱 모듈(130)은 제2 영상 신호의 각 프레임의 처리시 제1 영상 신호의 해당 프레임의 처리된 데이터를 참조하여야 한다. 따라서, 제2 비디오 코덱 모듈(130)은 제1 영상 신호의 해당 프레임의 처리가 완료될 때까지 대기한다.
제1 영상 신호의 해당 프레임의 처리가 완료되어 제1 비디오 코덱 모듈(120)로부터 동기 신호(Sync_f)가 발생되면, 이에 응답하여 제2 비디오 코덱 모듈(130)은 제1 영상 신호의 해당 프레임의 처리된 데이터를 참조하여 제2 영상 신호의 각 프레임을 처리한다. 예컨대, 제2 비디오 코덱 모듈(130)은 제1 영상 신호의 제1 프레임 이미지의 처리된 데이터(O11)를 참조하여 제2 영상 신호의 제1 프레임 이미지(I21)를 처리한다.
구체적으로는, 제2 영상 신호가 인코딩될 신호인 경우, 제2 비디오 코덱 모듈(130)의 인코더(131)는 제1 영상 신호의 해당 프레임의 인코딩된 데이터를 참조하여 제2 영상 신호의 제1 내지 제9 프레임 이미지(I21~I29)를 순차적으로 인코딩하고 인코딩된 데이터(O21~O29)를 출력할 수 있다.
만약 제2 영상 신호가 디코딩될 신호인 경우, 제2 비디오 코덱 모듈(130)의 디코더(132)는 제1 영상 신호의 해당 프레임의 디코딩된 데이터를 참조하여 제2 영상 신호의 제1 내지 제9 프레임 이미지(I21~I29)를 순차적으로 디코딩하고, 디코딩된 데이터(O21~O29)를 출력할 수 있다.
따라서, 제1 및 제2 영상 신호의 제1프레임 이미지(I11, I21)가 입력되는 시점부터 제1프레임 이미지(I11, I21)의 처리가 완료되기까지의 초기 지연 시간(Initial delay)은 도 3에 도시된 바와 같다.
또한, 제2 비디오 코덱 모듈(130)은 제2 영상 신호의 현 프레임(제i 프레임)을 처리할 때 제1 영상 신호의 처리 데이터를 참조할 뿐한 아니라, 제2 영상 신호의 이전 프레임들 중 적어도 하나의 프레임의 처리된 데이터를 참조할 수도 있다. 참조할 수 있는 이전 프레임들의 최대 수는 16일 수 있으나, 이에 한정되는 것은 아니다.
제1 영상 신호의 각 프레임의 처리된 데이터(O11~O19)와 제2 영상 신호의 해당 프레임의 처리된 데이터(O21~O29)는 메모리(도 1의 170 또는 20)에 저장될 수 있고, 또한 네트워크(network)를 통해 전송될 수도 있다.
또한, 제1 영상 신호의 각 프레임의 처리된 데이터(O11~O19)와 제2 영상 신호의 해당 프레임의 처리된 데이터(O21~O29)는 결합되어 멀티 뷰 영상으로 출력될 수 있다.
도 4는 본 발명의 다른 실시 예에 따른 제1 및 제2 비디오 코덱 모듈(210, 220)의 구성 블록도이다. 도 5는 제1 및 제2 영상 신호의 프레임 구조를 설명하기 위한 도면이다. 도 6은 본 발명의 일 실시예에 따른 멀티 뷰 영상 처리 방법을 설명하기 위한 도면이다. 도 6의 멀티 뷰 영상 처리 방법은 도 4에 도시된 제1 및 제2 비디오 코덱 모듈(210, 220)을 포함하는 영상 처리 장치(10b)에 의해 수행될 수 있다.
도 4 내지 도 6을 참조하면, 제1 비디오 코덱 모듈(210)은 인코더(211), 디코더(212), 펌웨어(213) 및 동기 신호 송수신기(sync transceiver, 214)를 포함한다. 제2 비디오 코덱 모듈(220)은 인코더(221), 디코더(222), 펌웨어(223) 및 동기 신호 송수신기(224)를 포함한다.
제1 비디오 코덱 모듈(210)은 멀티 뷰 영상 신호 중 제1 영상 신호(view-0)를 처리하여 제1 영상 처리 데이터(O11~O16)를 출력하며, 동기 정보(Sync_r)를 출력한다. 동기 정보(Sync_r)는 각 프레임의 열(row) 단위로 출력된다. 제1 영상 신호(view-0)는 순차적으로 입력되는 복수의 프레임들(I11~I16)로 구성되고, 각 프레임은 복수의 열(row)들로 구성된다. 제1 비디오 코덱 모듈(210)은 각 프레임의 매 열 데이터를 처리할 때마다, 동기 정보(Sync_r)를 제2 비디오 코덱 모듈(220)로 출력할 수 있다.
제2 비디오 코덱 모듈(220)은 멀티뷰 영상 신호 중 제2 영상 신호(view-1)를 처리하여 제2 영상 처리 데이터(O21~O26)를 출력한다. 이 때, 제2 비디오 코덱 모듈(220)은 제1 비디오 코덱 모듈(210)에서 출력되는 동기 정보(Sync_r)에 따라 제1 영상 처리 데이터(O11~O16)의 일부를 이용하여 제2 영상 신호(view-1)를 처리할 수 있다.
도 4에 도시된 제1 및 제2 비디오 코덱 모듈(210, 220)은 도 2에 도시된 제1 및 제2 비디오 코덱 모듈(110, 120)에 비하여 동기 신호 송수신기(214, 224)를 더 포함한다.
동기 신호 송수신기(214)는 상술한 열 단위 동기 정보를 발생한다. 예컨대, 제1 비디오 코덱 모듈(210)의 인코더(211)는 제1 영상 신호(view-0)의 각 프레임의 열 데이터를 인코딩할 때마다, 이를 동기 신호 송수신기(214)에 알리고, 이에 응답하여 동기 신호 송수신기(214)는 동기 정보(Sync_r)를 출력한다.
또한, 제1 비디오 코덱 모듈(210)의 디코더(212)는 제1 영상 신호(view-0)의 각 프레임의 열 데이터를 디코딩할 때마다, 이를 동기 신호 송수신기(214)에 알리고, 이에 응답하여 동기 신호 송수신기(214)는 동기 정보(Sync_r)를 출력할 수 있다.
동기 신호 송수신기(224)는 제1 비디오 코덱 모듈(210)로부터 동기 정보를 수신한다.
동기 신호 송수신기(224)는 동기 정보(Sync_r)를 이용하여 제2 영상 신호(view-1)의 각 블록 처리시 참조하는 제1 영상 신호(view-0)의 참조 블록의 처리가 완료되었는지 여부를 판단한다.
동기 신호 송수신기(224)는 제1 영상 신호(view-0)의 참조 블록의 처리가 완료되었다면, 제2 영상 신호(view-1)의 해당 블록의 처리를 시작시키는 제어신호를 제2 비디오 코덱 모듈(220)의 인코더(221) 또는 디코더(222)로 출력할 수 있다.
동기 신호 송수신기(214, 224)는 동기 신호 송신 및 수신 기능을 모두 수행할 수 있다. 예컨대, 동기 신호 송수신기(214, 224)는 동기 신호 송신 및 수신 기능을 모두 포함하되, 필요에 따라 어느 하나의 기능(예컨대, 동기 신호 송신 또는 동기 신호 수신)만을 인에이블하여 사용될 수 있다.
도 4 내지 도 6을 참조하여, 멀티 뷰 영상 신호(view-0, view-1)가 입력될 때의 처리 과정을 좀 더 자세히 기술하면 다음과 같다. 둘 이상의 영상 소스(예컨대, 카메라)로부터 멀티 뷰 영상 신호(view-0, view-1)가 입력될 수 있다. 본 실시예에서는 영상 소스가 두 개이고, 멀티뷰는 2-뷰인 것으로 가정하나, 이에 한정되는 것은 아니다.
첫 번째 뷰의 영상 신호(view-0)를 제1 영상 신호이라 한다. 제1 영상 신호(view-0)은 미리 정해진 속도로 제1 비디오 코덱 모듈(210)로 입력될 수 있다. 여기서, 속도는 단위 시간당 프레임 수(fps: frame per second)로 표현될 수 있다. 예컨대, 제1 영상 신호는 60fps로 입력될 수 있다.
두 번째 뷰(view-1)의 영상 신호(view-1)를 제2 영상 신호이라 한다. 제2 영상 신호(view-1) 역시 제1 영상 신호(view-0)과 동일한 속도(예컨대, 60fps)로 제2 비디오 코덱 모듈(220)로 입력될 수 있다.
제1 비디오 코덱 모듈(210)은 제1 영상 신호(view-0)의 복수의 프레임들(I11~I16)을 순차적으로 입력받아 순차적으로 처리하고, 각 프레임의 각 열 데이터의 처리가 완료될 때마다 동기 신호(Sync_r)를 발생할 수 있다.
도 5에 도시된 바와 같이, 각 프레임은 복수의 매크로 블록들로 구성된다. 각 프레임은 m*n 매크로 블록들로 나뉘어 질 수 있다. 여기서, m과 n은 각각 2이상의 정수로서 동일한 값일 수 있다, 도 5에서는, 프레임은 6*6 매크로 블록들로 구성되는 것으로 도시되나, 이에 한정되는 것은 아니다. 예컨대, 프레임은 8*8, 16*16, 또는 32*32 매크로 블록들로 구성될 수 있다.
프레임은 화면 한장을 말하며 각 프레임 안에는 복수의 픽셀들이 있다. 예를들어 100만화소급의 카메라로 촬상한 프레임에는 1000x1000개의 픽셀이 있다. 본 발명의 실시예에 따른 영상 처리 장치는 통상의 영상 처리와 마찬가지로 복수의 픽셀들(예컨대, 1000x1000 픽셀들)을 NxM 픽셀들로 그룹핑한 매크로 블록 단위로 영상 신호를 처리할 수 있다. 여기서, N, M은 각각 2이상의 정수로서 동일한 값일 수 있다. 예컨대, NxM 은 8x8, 16x16, 32x32 등일 수 있으나, 이에 한정되는 것은 아니다. 즉, 각 매크로 블록에는 NxM 픽셀들이 있다.
만약 1000x1000개의 픽셀들로 구성된 프레임을 8x8픽셀(64개의 pixel)로 매크로블록을 구성한다면 그 프레임은 125x125개의 매크로블록으로 나눠지게 된다. 본 발명의 실시예에 따른 영상 처리 장치는 IxJ(I, J는 1 이상의 정수)개의 매크로블록으로 그룹핑된 타일(tile) 단위로 영상 신호를 처리할 수 있다. 만약 125x125개의 매크로블록으로 구성되는 프레임을 5x25(125개의 매크로블록)로 타일을 구성한다면 그 프레임은 25x5개의 타일로 나눠지게 된다.
제2 비디오 코덱 모듈(220)은 제2 영상 신호의 복수(view-0)의 프레임들(I21~I26)을 순차적으로 입력받아 순차적으로 처리한다. 제2 비디오 코덱 모듈(220)은 제2 영상 신호(view-1)의 각 프레임의 처리시 제1 영상 신호(view-0)의 해당 프레임의 처리된 데이터의 일부를 참조한다. 따라서, 제2 비디오 코덱 모듈(220)은 제1 영상 신호(view-0)에서 참조할 매크로 블록의 처리가 완료될 때까지 대기한다.
제1 영상 신호(view-0)의 각 프레임의 각 열 데이터의 처리가 완료되어 제1 비디오 코덱 모듈(210)의 동기 신호 송수신기(214)로부터 동기 신호(Sync_r)가 발생되면, 제2 비디오 코덱 모듈(220)의 동기 신호 송수신기(224)은 참조할 매크로 블록을 포함하는 열 데이터의 처리가 완료되었는지 판단한다.
예컨대, 제2 영상 신호(view-1)의 각 프레임의 (1,1) 매크로 블록을 처리하기 위해서 제1 영상 신호(view-0)의 해당 프레임의 (1,1) 매크로 블록과 (1,1) 매크로 블록의 이웃 블록들(예컨대, (1,2), (1,3), (2,1), (2,2), (2,3), (3,1), (3,2), 및 (3,3) 매크로 블록들)을 참조한다고 가정한다. 이 경우, 제2 영상 신호(view-1)의 제1 프레임의 (1,1) 매크로 블록을 처리하기 위해서는 제1 영상 신호(view-0)의 제1 프레임의 (3,1), (3,2) 및 (3,3) 매크로 블록의 마지막 열 데이터(예컨대, 30번째 열)의 처리가 완료되어야 한다.
따라서, 제1 영상 신호(view-0)의 제1 프레임의 30번째 열 데이터의 처리가 완료되었을 때 제1 비디오 코덱 모듈(210)로부터 발생하는 동기 정보(Sync_r)에 응답하여, 제2 비디오 코덱 모듈(220)은 제2 영상 신호(view-1)의 제1 프레임의 (1, 1) 매크로 블록을 처리하기 시작한다.
또한, 제2 영상 신호(view-1))의 각 프레임의 (3,1) 매크로 블록을 처리하기 위해서 제1 영상 신호(view-0)의 해당 프레임의 (3,1) 매크로 블록과 (3,1) 매크로 블록의 이웃 블록들(예컨대, (1,1), (1,2) (1,3), (2,1), (2,2), (2,3), (3,2), (3,3), (4,1), (4,2) (4,3), (5,1), (5,2) 및 (5,3) 매크로 블록들)을 참조해야 한다고 가정한다. 이 경우, 제2 영상 신호(view-1)의 제1 프레임의 (3,1) 매크로 블록을 처리하기 위해서는 제1 영상 신호(view-0)의 제1 프레임의 (5,1), (5,2) 및 (5,3) 매크로 블록의 마지막 열 데이터(예컨대, 50번째 열)의 처리가 완료되어야 한다.
따라서, 제1 영상 신호(view-0)의 제1 프레임의 50번째 열 데이터의 처리가 완료되었을 때 제1 비디오 코덱 모듈(210)로부터 발생하는 동기 정보(Sync_r)에 응답하여, 제2 비디오 코덱 모듈(220)은 제2 영상 신호(view-1)의 제1 프레임의 (3, 1) 매크로 블록을 처리하기 시작한다.
일 실시예에서, 동기 신호 송수신기(224)는 동기 정보(Sync_r)를 카운팅함으로써 몇 번째 열 데이터까지 처리되었는지를 판단할 수 있다. 동기 신호 송수신기(224)의 카운팅 수는 매 프레임마다 초기값(예컨대, 0)으로 리셋될 수 있다.
제2 영상 신호(view-1)의 처리시 참조해야 할 최대 탐색 범위(maximum search range)는 영상 신호의 처리에 사용되는 코덱 규격에 따라 다를 수 있다.
이러한 탐색 범위는 제2 비디오 코덱 모듈(220)이 알고 있으며, 제2 비디오 코덱 모듈(220)은 최대 탐색 범위에 따라 각 매크로 블록의 처리시 참조해야 할 매크로 블록을 알 수 있다.
이에 따라, 제2 비디오 코덱 모듈(220)은 제1 영상 신호(view-0)의 참조 매크로 블록의 처리된 데이터를 참조하여 제2 영상 신호(view-1)의 각 매크로 블록을 처리한다.
따라서, 도 4 및 도 6의 실시예에서의 제1 및 제2 영상 신호의 제1프레임 이미지(I11, I21)가 입력되는 시점부터 제1프레임 이미지(I11, I21)의 처리가 완료되기까지의 초기 지연 시간(Initial delay)은 도 6에 도시된 바와 같으며, 도 3에 도시된 초기 지연 시간(Initial delay)보다 짧다.
제1 영상 신호(view-0)의 각 프레임의 처리된 데이터와 제2 영상 신호(view-1)의 해당 프레임의 처리된 데이터는 메모리(도 1의 170 또는 20)에 저장될 수 있고, 또한 네트워크(network)를 통해 전송될 수도 있다.
또한, 제1 영상 신호의 각 프레임의 처리된 데이터(O11~O19)와 제2 영상 신호의 해당 프레임의 처리된 데이터(O21~O29)는 결합되어 멀티 뷰 영상으로 출력될 수 있다.
도 7은 본 발명의 또 다른 실시 예에 따른 제1 및 제2 비디오 코덱 모듈(310, 320)의 기능 블록도이다.
이를 참조하면, 제1 및 제2 비디오 코덱 모듈(310, 320)은 비트맵 메모리(330)에 접속된다.
제1 비디오 코덱 모듈(310)은 인코더(311), 디코더(312), 펌웨어(313) 및 동기 신호 제어부(314)를 포함한다. 제2 비디오 코덱 모듈(320) 역시 제1 비디오 코덱 모듈(310)과 마찬가지로, 인코더(321), 디코더(322), 펌웨어(323) 및 동기 신호 제어부(324)를 포함한다.
도 7에 도시된 제1 및 제2 비디오 코덱 모듈(310, 320)은 도 2에 도시된 제1 및 제2 비디오 코덱 모듈(110, 120)에 비하여 동기 신호 제어부(314, 324)를 더 포함한다.
동기 신호 제어부(314, 324)는 비트맵 메모리(330)를 제어한다.
비트맵 메모리(330)는 제1 영상 신호(도 10의 view-0)의 각 프레임의 각 매크로블록의 처리 여부를 나타내는 정보(이하, 블록 처리 정보)를 저장한다.
비트맵 메모리(330)는 제1 또는 제2 비디오 코덱 모듈(310, 320) 내의 임베디드 메모리(미도시) 또는 SoC 안의 메모리(예컨대, 도 1의 170) 또는 SoC와 연동된 외부 메모리(예컨대, 도 1의 20)가 될 수 있다.
도 8은 제1 및 제2 영상 신호의 프레임 구조를 설명하기 위한 도면이다. 도 9는 비트맵 메모리의 일 예를 나타내기 위한 도면이다. 도 10은 본 발명의 또 다른 일 실시예에 따른 멀티 뷰 영상 처리 방법을 설명하기 위한 도면이다. 도 10의 멀티 뷰 영상 처리 방법은 도 7에 도시된 제1 및 제2 비디오 코덱 모듈(310, 320)을 포함하는 영상 처리 장치(10c)에 의해 수행될 수 있다.
도 7 내지 도 10을 참조하면, 둘 이상의 영상 소스(예컨대, 카메라)로부터 멀티 뷰 영상 신호(view-0, view-1)가 입력될 수 있다. 본 실시예에서는 영상 소스가 두 개이고, 멀티뷰는 2-뷰인 것으로 가정하나, 이에 한정되는 것은 아니다.
첫 번째 뷰(view-0)의 영상 신호를 제1 영상 신호이라 한다. 제1 영상 신호(view-0)은 미리 정해진 속도로 제1 비디오 코덱 모듈(310)로 입력될 수 있다. 여기서, 속도는 단위 시간당 프레임 수(fps: frame per second)로 표현될 수 있다. 예컨대, 제1 영상 신호는 60fps로 입력될 수 있다.
두 번째 뷰(view-1)의 영상 신호를 제2 영상 신호이라 한다. 제2 영상 신호(view-1) 역시 제1 영상 신호(view-0)과 동일한 속도(예컨대, 60fps)로 제2 비디오 코덱 모듈(320)로 입력될 수 있다.
도 8에 도시된 바와 같이, 각 프레임은 복수의 매크로 블록들로 구성된다.
제1 비디오 코덱 모듈(310)은 제1 영상 신호(view-0)의 복수의 프레임들(I11~I16)을 순차적으로 입력받아 순차적으로 처리한다. 제1 비디오 코덱 모듈(310)의 동기 신호 제어부(314)는 제1 영상 신호(view-0)의 각 프레임의 매크로 블록 각각이 처리될 때마다 비트맵 메모리(330)의 해당 비트를 설정한다.
예컨대, 비트맵 메모리(330)의 각 비트들이 "0"으로 리셋되어 있는 상태(S1)에서, 제1 프레임의 (1,1) 매크로블록이 처리되면, 동기 신호 제어부(314)는 비트맵 메모리(330)의 해당 비트(예컨대 첫 번째 비트)를 "1"로 설정한다(S2), 다음으로 제1 프레임의 (1,2) 매크로블록이 처리되면 동기 신호 제어부(314)는 비트맵 메모리(330)의 해당 비트(두 번째 비트)를 "1"로 설정한다(S3). 이와 같은 방법으로 동기 신호 제어부(314)는 각 매크로 블록이 처리될 때마다 비트맵 메모리(330)의 해당 비트를 설정한다.
제2 비디오 코덱 모듈(320)의 동기 신호 제어부(324)는 비트맵 메모리(330)의 각 비트 값을 읽는다. 예컨대, 제2 비디오 코덱 모듈(320)의 동기 신호 제어부(324)는 주기적으로 비트맵 메모리(330)를 읽을 수 있다.
제2 비디오 코덱 모듈(320)은 제2 영상 신호(view-1)의 복수의 프레임들(I21~I26)을 순차적으로 입력받아 순차적으로 처리한다. 그런데, 제2 비디오 코덱 모듈(320)은 제2 영상 신호(view-1)의 각 프레임의 처리시 제1 영상 신호(view-0)의 해당 프레임의 처리된 데이터의 일부를 참조한다. 따라서, 제2 비디오 코덱 모듈(320)은 제1 영상 신호(view-0)에서 참조할 매크로 블록의 처리가 완료될 때까지 대기한다.
참조할 매크로 블록이 처리되었는지 여부는 제2 비디오 코덱 모듈(320)의 동기 신호 제어부(324)가 비트맵 메모리(330)를 독출함으로써 알 수 있다.
예컨대, 제2 영상 신호(view-1)의 각 프레임의 (1,1) 매크로 블록을 처리하기 위해서 제1 영상 신호(view-0)의 해당 프레임의 (1,1) 매크로 블록과 (1,1) 매크로 블록의 이웃 블록들(예컨대, (1,2), (1,3), (2,1), (2,2), (2,3), (3,1), (3,2), 및 (3,3) 매크로 블록들)을 참조해야 한다고 가정한다. 이 경우, 제2 비디오 코덱 모듈(320)의 동기 신호 제어부(324)는 비트맵 메모리(330)를 읽어, (1,1) 매크로 블록과 (1,1) 매크로 블록의 이웃 블록들(예컨대, (1,2), (1,3), (2,1), (2,2), (2,3), (3,1), (3,2), 및 (3,3) 매크로 블록들)에 해당하는 비트들이 "1"로 설정되어 있는지 판단한다.
참조해야할 매크로 블록에 해당하는 비트가 모두 "1"로 설정되어 있다면, 제2 비디오 코덱 모듈(320)은 제1 영상 신호(view-0)의 제1 프레임의 참조 매크로 블록들의 처리된 데이터를 참조하여, 제2 영상 신호(view-1)의 제1 프레임의 (1,1) 매크로 블록을 처리하기 시작한다.
또한, 제2 영상 신호(view-1)의 각 프레임의 (3,1) 매크로 블록을 처리하기 위해서 제1 영상 신호(view-0)의 해당 프레임의 (3,1) 매크로 블록과 (3,1) 매크로 블록의 이웃 블록들(예컨대, (1,1), (1,2) (1,3), (2,1), (2,2), (2,3), (3,2), (3,3), (4,1), (4,2) (4,3), (5,1), (5,2) 및 (5,3) 매크로 블록들)을 참조해야 한다고 가정한다. 이 경우, 제2 비디오 코덱 모듈(320)의 동기 신호 제어부(324)는 비트맵 메모리(330)를 읽어, (3,1) 매크로 블록과 (3,1) 매크로 블록의 이웃 블록들(예컨대, (1,1), (1,2) (1,3), (2,1), (2,2), (2,3), (3,2), (3,3), (4,1), (4,2) (4,3), (5,1), (5,2) 및 (5,3) 매크로 블록들)에 해당하는 비트들이 "1"로 설정되어 있는지 판단한다.
참조해야 할 매크로 블록에 해당하는 비트가 모두 "1"로 설정되어 있다면, 제2 비디오 코덱 모듈(320)은 제1 영상 신호(view-0)의 제1 프레임의 참조 매크로 블록들의 처리된 데이터를 참조하여, 제2 영상 신호(view-1)의 제1 프레임의 (3,1) 매크로 블록을 처리하기 시작한다.
제1 영상 신호의 각 프레임의 처리된 데이터와 제2 영상 신호의 해당 프레임의 처리된 데이터는 메모리(도 1의 170 또는 20)에 저장될 수 있고, 네트워크(network)를 통해 전송될 수도 있으며, 결합되어 멀티 뷰 영상으로 출력될 수도 있다.
도 11은 본 발명의 일 실시예에 따른 멀티 뷰 영상 처리 방법을 나타내는 플로우 차트이다. 도 11에 도시된 멀티 뷰 영상 처리 방법은 도 2에 도시된 영상 처리 장치(10a)에 의해서 수행될 수 있다.
도 2 및 도 11을 참조하면, 제1 비디오 코덱 모듈(CODEC1)이 제1 영상 신호의 제i 프레임 이미지(예컨대, 제1 프레임 이미지)를 처리한다(S110). 여기서, i는 1이상의 정수이다.
S110 단계 이전에 i는 "1"로 초기화될 수 있다.
제i 프레임 이미지의 처리를 완료하면, 제1 비디오 코덱 모듈(CODEC1)이 동기 정보를 제2 비디오 코덱 모듈(CODEC2)로 제공할 수 있다(S112). 또한, 제1 비디오 코덱 모듈(CODEC1)은 제i 프레임 이미지의 처리 데이터를 메모리에 저장할 수 있다(S114).
그리고 제1 비디오 코덱 모듈(CODEC1)은 다음 프레임 이미지를 처리하기 시작한다(S116, S110). 즉, i를 "1"만큼 증가시킨 후 제i 프레임 이미지(예컨대, 제2 프레임 이미지)을 처리한다.
제2 비디오 코덱 모듈(CODEC2)은 동기 정보에 응답하여, 제2 영상 신호의 제i프레임 이미지(예컨대, 제1 프레임 이미지)를 처리한다(S120). 제1 비디오 코덱 모듈(CODEC1)에서 발생한 동기 정보는 제2 비디오 코덱 모듈(CODEC2)로 직접 제공될 수도 있지만, 호스트로 제공되어 호스트가 동기 정보에 따라 제2 비디오 코덱 모듈(CODEC2)을 제어할 수도 있다.
따라서 제1 비디오 코덱 모듈(CODEC1)의 제2 프레임 이미지 처리와 제2 비디오 코덱 모듈(CODEC2)의 제1 프레임 이미지 처리는 동시에 수행된다.
이와 같은 방식으로 제1 비디오 코덱 모듈(CODEC1)은 제1 영상 신호의 마지막 프레임 이미지까지 처리하며 매 프레임 이미지가 처리될 때마다 동기 신호를 출력하고, 제2 비디오 코덱 모듈(CODEC2)은 동기 신호에 따라 매 프레임 이미지를 처리한다.
제2 비디오 코덱 모듈(CODEC2)은 또한 제i 프레임 이미지를 처리하면 처리 데이터를 메모리에 저장할 수 있다(S122).
메모리(도 1의 170 또는 20)에 저장된 제1 영상 신호의 각 프레임 이미지의 처리 데이터와 제2 영상 신호의 해당 프레임 이미지의 처리 데이터는 네크워크를 통해 전송될 수 있고, 호스트나 디스플레이 컨트롤러(도 1의 140)에 의해 독출되고 결합되어 멀티 뷰 영상으로 디스플레이 장치(30)를 통해 디스플레이될 수 있다.
도 12는 본 발명의 다른 일 실시예에 따른 멀티 뷰 영상 처리 방법을 나타내는 플로우 차트이다. 도 12에 도시된 멀티 뷰 영상 처리 방법은 도 7에 도시된 영상 처리 장치(10c)에 의해서 수행될 수 있다.
도 7 및 도 12를 참조하면, 제1 비디오 코덱 모듈(CODEC1)이 제1 영상 신호의 제i 프레임 이미지(예컨대, 제1 프레임 이미지)의 제j 블록을 처리한다(S210). 여기서, i 및 j는 각각 1이상의 정수이다.
S210 단계 이전에 i 및 j는 각각 "1"로 초기화될 수 있다.
제i 프레임 이미지의 제j 블록의 처리를 완료하면, 제1 비디오 코덱 모듈(CODEC1)은 비트맵 메모리에서 제j 블록에 해당하는 비트를 설정한다(S212). 예컨대, 제1 프레임 이미지의 제1 블록의 처리를 완료하면 도 8의 S2에 도시된 바와 같이 비트맵 메모리의 해당 비트를 "1"로 설정할 수 있다.
제1 비디오 코덱 모듈(CODEC1)은 제1 영상 신호의 제i 프레임 이미지(예컨대, 제1 프레임 이미지)의 처리가 완료될 때까지 j를 "1"만큼 증가시켜 다음 매크로 블록(예컨대, 제2 프레임 이미지)을 처리한다(S214, S216).
즉, 제1 영상 신호의 제i 프레임 이미지(예컨대, 제1 프레임 이미지)의 처리가 완료될 때까지 S210, S212, S214, 및 S216 단계들을 반복한다.
제1 비디오 코덱 모듈(CODEC1)은 제i 프레임 이미지의 처리 데이터를 메모리에 저장할 수 있다(S218).
제2 비디오 코덱 모듈(CODEC2)은 주기적 또는 비주기적으로 비트맵 메모리를 독출한다(S220). 독출한 비트맵 메모리의 값을 이용하여 제i 프레임 이미지의 제k 블록의 참조 블록의 처리가 완료되었는지 판단한다(S222). 여기서, k는 1이상의 정수로, S212 단계 이전에 k는 "1"로 초기화될 수 있다. 참조 블록이란, 제2 비디오 코덱 모듈(CODEC2)이 제2 영상 신호의 제i 프레임 이미지의 제k 블록을 처리하기 위하여 참조하여야 하는 제1 영상 신호의 매크로 블록을 말한다.
판단 결과, 제i 프레임 이미지에서 참조해야할 블록의 처리가 완료되었다면(S222에서 YES) 제2 비디오 코덱 모듈(CODEC2)은 제1 영상 신호의 참조 블록의 처리 데이터를 이용하여 제2 영상 신호의 제i 프레임 이미지의 제k 블록을 처리한다.
판단 결과, 제i 프레임 이미지의 제k 블록의 참조 블록의 처리가 완료되지 않았다면(S222에서 NO), 비트맵 메모리를 독출하는 단계(S220)로 돌아가서, 제i 프레임 이미지의 제k 블록의 참조 블록의 처리가 완료될 때까지 기다린다.
제2 비디오 코덱 모듈(CODEC2)은 제2 영상 신호의 제i 프레임 이미지(예컨대, 제1 프레임 이미지)의 처리가 완료될 때까지 k를 "1"만큼 증가시켜 다음 매크로 블록을 처리한다(S226, S228).
즉, 제1 영상 신호의 제i 프레임 이미지(예컨대, 제1 프레임 이미지)의 처리가 완료될 때까지 S220, S222, S224, S226 및 S228 단계들을 반복한다.
제2 비디오 코덱 모듈(CODEC2)은 제i 프레임 이미지의 처리 데이터를 메모리에 저장할 수 있다(S230).
이와 같은 방식으로 제1 비디오 코덱 모듈(CODEC1)은 제1 영상 신호의 마지막 프레임 이미지까지 처리하며 매 프레임의 매 블록이 처리될 때마다 비트맵 메모리의 해당 비트를 설정하고, 제2 비디오 코덱 모듈(CODEC2)은 주기적 또는 비주기적으로 비트맵 메모리를 독출하고 제1 영상 신호의 참조 블록의 처리 데이터를 참조하여 제2 영상 신호의 마지막 프레임 이미지까지 처리한다.
호스트는 제1 영상 신호의 각 프레임 이미지의 처리 데이터를 제2 영상 신호의 해당 프레임 이미지의 처리 데이터와 결합하여 멀티 뷰 영상으로 디스플레이한다(S130).
도 13a, 도 13b, 도 14a, 도 14b, 도 15a, 및 도 15b는 각각 본 발명의 또 다른 실시예에 따른 제1 및 제2 비디오 코덱 모듈의 구성 블록도이다.
먼저 도 13a를 참조하면, 도 13a에 도시된 제1 및 제2 비디오 코덱 모듈(120d, 130d)는 도 2에 도시된 제1 및 제2 비디오 코덱 모듈(120, 130)의 구성과 유사하므로, 설명의 중복을 피하기 위하여 차이점을 위주로 기술한다.
도 2에 도시된 제1 및 제2 비디오 코덱 모듈(120, 130)은 각각 인코더 및 디코더를 모두 구비하는데 비하여, 도 13a에 도시된 제1 및 제2 비디오 코덱 모듈(120d, 130d)은 각각 디코더를 구비하지 않는다. 즉, 제1 및 제2 비디오 코덱 모듈(120d, 130d)은 디코딩 기능 없이 인코딩만 수행하도록 구현될 수 있다.
도 13b를 참조하면, 도 13b에 도시된 제1 및 제2 비디오 코덱 모듈(120e, 130e)는 도 2에 도시된 제1 및 제2 비디오 코덱 모듈(120, 130)의 구성과 유사하므로, 설명의 중복을 피하기 위하여 차이점을 위주로 기술한다.
도 2에 도시된 제1 및 제2 비디오 코덱 모듈(120, 130)은 각각 인코더 및 디코더를 모두 구비하는데 비하여, 도 13b에 도시된 제1 및 제2 비디오 코덱 모듈(120e, 130e)은 각각 인코더를 구비하지 않는다. 즉, 제1 및 제2 비디오 코덱 모듈(120e, 130e)은 인코딩 기능 없이 디코딩만 수행하도록 구현될 수 있다.
도 14a에 도시된 제1 및 제2 비디오 코덱 모듈(210f, 220f)는 도 4에 도시된 제1 및 제2 비디오 코덱 모듈(210, 220)에서 디코더(212, 222)가 제거된 구성을 가진다. 반면, 도 14ㅠ에 도시된 제1 및 제2 비디오 코덱 모듈(210g, 220g)는 도 4에 도시된 제1 및 제2 비디오 코덱 모듈(210, 220)에서 인코더(211, 221)가 제거된 구성을 가진다.
도 15a에 도시된 제1 및 제2 비디오 코덱 모듈(310h, 320h)는 도 7에 도시된 제1 및 제2 비디오 코덱 모듈(310, 320)에서 디코더(312, 322)가 제거된 구성을 가진다. 반면, 도 15b에 도시된 제1 및 제2 비디오 코덱 모듈(310i, 320i)는 도 7에 도시된 제1 및 제2 비디오 코덱 모듈(310, 320)에서 인코더(311, 321)가 제거된 구성을 가진다.
상술한 바와 같이, 본 발명의 실시예에 따른 코덱 모듈(115)는 멀티 뷰 영상 신호를 처리하기 위하여 각각이 인코딩 및 디코딩 기능을 갖는 복수(2이상)의 비디오 코덱 모듈을 포함하여 구성될 수도 있고, 인코딩과 디코딩 중 어느 한쪽 기능만을 갖는 복수의 비디오 코덱 모듈을 포함하여 구성될 수도 있다.
도 16 내지 도 18은 각각 본 발명의 또 다른 실시예에 따른 제1 및 제2 비디오 코덱 모듈의 구성 블록도이다.
먼저, 도 16을 참조하면, 도 16에 도시된 제1 및 제2 비디오 코덱 모듈(120', 130')는 도 2에 도시된 제1 및 제2 비디오 코덱 모듈(120, 130)의 구성과 유사하므로, 설명의 중복을 피하기 위하여 차이점을 위주로 기술한다.
도 16에 도시된 제1 비디오 코덱 모듈(120')의 펌웨어(123')는 동기 신호(Sync)를 호스트(110)로 송신하고, 제1 비디오 코덱 모듈(130')의 펌웨어(133')는 호스트(110)로부터 동기 신호(Sync)를 수신할 수 있다.
이 때, 동기 신호(Sync)는 도 4를 참조하여 상술한 열 동기 정보(Sync_r), 또는 도 7을 참조하여 상술한 블록 처리 정보일 수 있으나, 이에 한정되는 것은 아니다. 예컨대, 제1 비디오 코덱 모듈(120')의 인코더(121) 및 디코더(122)가 제1 영상 신호(view-0)의 각 프레임의 열 데이터를 처리할 때마다, 펌웨어(123')는 이를 호스트(110)에 알릴 수 있다. 또는 제1 비디오 코덱 모듈(120')의 인코더(121) 및 디코더(122)가 제1 영상 신호(view-0)의 각 프레임의 매크로 블록을 처리할 때마다, 펌웨어(123')는 이를 호스트(110)에 알릴 수 있다.
도 17을 참조하면, 도 17에 도시된 제1 및 제2 비디오 코덱 모듈(210', 220')는 도 4에 도시된 제1 및 제2 비디오 코덱 모듈(210, 220)의 구성과 유사하므로, 설명의 중복을 피하기 위하여 차이점을 위주로 기술한다.
도 17에 도시된 제1 비디오 코덱 모듈(210')의 동기 신호 송수신기(214')는 동기 신호(Sync)를 제2 비디오 코덱 모듈(220')의 동기 신호 송수신기(224')로 전송할 수 있다.
이 때, 동기 신호(Sync)는 도 2를 참조하여 상술한 프레임 동기 정보(Sync_f), 또는 도 7을 참조하여 상술한 블록 처리 정보일 수 있으나, 이에 한정되는 것은 아니다. 예컨대, 제1 비디오 코덱 모듈(210')의 인코더(211) 및 디코더(212)가 제1 영상 신호(view-0)의 각 프레임을 처리할 때마다, 동기 신호 송수신기(214')는 동기 신호(Sync)를 제2 비디오 코덱 모듈(220')의 동기 신호 송수신기(224')로 전송할 수 있다. 또는 제1 비디오 코덱 모듈(210')의 인코더(211) 및 디코더(212)가 제1 영상 신호(view-0)의 각 프레임의 매크로 블록을 처리할 때마다, 동기 신호 송수신기(214')는 동기 신호(Sync)를 제2 비디오 코덱 모듈(220')의 동기 신호 송수신기(224')로 전송할 수 있다.
도 18을 참조하면, 도 18에 도시된 제1 및 제2 비디오 코덱 모듈(310', 320')는 도 7에 도시된 제1 및 제2 비디오 코덱 모듈(310, 320)의 구성과 유사하므로, 설명의 중복을 피하기 위하여 차이점을 위주로 기술한다.
도 18에 도시된 제1 비디오 코덱 모듈(310')의 동기 신호 제어부(314')는 동기 신호(Sync)를 비트맵 메모리(330)에 저장하고, 제2 비디오 코덱 모듈(320')의 동기 신호 제어부(324')는 비트맵 메모리(330)의 각 비트값을 읽을 수 있다.
이 때, 동기 신호(Sync)는 도 2를 참조하여 상술한 프레임 동기 정보(Sync_f), 또는 도 4를 참조하여 상술한 열 동기 정보(Sync_r)일 수 있으나, 이에 한정되는 것은 아니다. 예컨대, 제1 비디오 코덱 모듈(310')의 인코더(311) 및 디코더(312)가 제1 영상 신호(view-0)의 각 프레임을 처리할 때마다, 동기 신호 제어부(314')는 비트맵 메모리(330)의 해당 비트를 설정할 수 있다. 또는 제1 비디오 코덱 모듈(210')의 인코더(211) 및 디코더(212)가 제1 영상 신호(view-0)의 각 프레임의 열(row) 데이터를 처리할 때마다, 동기 신호 제어부(314')는 비트맵 메모리(330)의 해당 비트를 설정할 수 있다.
본 발명의 다른 실시예에서는, 도 16 내지 도 18에 도시된 각 제1 및 제2 비디오 코덱 모듈에서 인코더나 디코더가 생략될 수도 있다.
본 발명의 실시예에 따른 제1 비디오 코덱 모듈 및 제2 비디오 코덱 모듈은 동일한 사양(예컨대, 동일한 hardware specification)으로 구현될 수 있다.
도 19는 본 발명의 다른 실시예에 따른 영상 처리 시스템의 구성 블록도이다. 이를 참조하면, 영상 처리 시스템(400)은 PC(personal computer) 또는 데이터 서버로 구현될 수 있다. 영상 처리 시스템(400)은 또한 휴대용 장치로 구현될 수 있다. 휴대용 장치는 이동 전화기, 스마트 폰(smart phone), 태블릿 (tablet) PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라 (digital still camera), 디지털 비디오 카메라 (digital video camera), PMP (portable multimedia player), PDN(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), 또는 e-북(e-book)으로 구현될 수 있다.
영상 처리 시스템(400)은 프로세서(100), 파워 소스(410), 저장 장치(420), 메모리(430), 입출력 포트들(440), 확장 카드(450), 네트워크 장치(460), 및 디스플레이(470)를 포함한다. 실시 예에 따라. 영상 처리 시스템(400)은 카메라 모듈(480)을 더 포함할 수 있다.
프로세서(100)는 본 발명의 실시예에 따른 영상 처리 장치(10)일 수 있다.
프로세서(100)는 구성 요소들(elements; 100, 및 410~480) 중에서 적어도 하나의 동작을 제어할 수 있다.
파워 소스(410)는 구성 요소들(100, 및 410~480) 중에서 적어도 하나로 동작 전압을 공급할 수 있다.
저장 장치(420)는 하드디스크 드라이브(hard disk drive) 또는 SSD(solid state drive)로 구현될 수 있다.
메모리(430)는 휘발성 메모리 또는 불휘발성 메모리로 구현될 수 있으며, 도 6의 메모리 장치(330)에 해당할 수 있다. 실시 예에 따라, 메모리(430)에 대한 데이터 액세스 동작, 예컨대, 리드 동작, 라이트 동작(또는 프로그램 동작), 또는 이레이즈 동작을 제어할 수 있는 메모리 컨트롤러는 프로세서(100)에 집적 또는 내장될 수 있다. 다른 실시 예에 따라, 상기 메모리 컨트롤러는 프로세서(100)와 메모리(430) 사이에 구현될 수 있다.
입출력 포트들(440)은 영상 처리 시스템(400)으로 데이터를 전송하거나 또는 영상 처리 시스템(400)으로부터 출력된 데이터를 외부 장치로 전송할 수 있는 포트들을 의미한다. 예컨대, 입출력 포트들(440)은 컴퓨터 마우스와 같은 포인팅 장치 (pointing device)를 접속하기 위한 포트, 프린터를 접속하기 위한 포트, 또는 USB 드라이브를 접속하기 위한 포트일 수 있다.
확장 카드(450)는 SD(secure digital) 카드 또는 MMC(multimedia card)로 구현될 수 있다. 실시 예에 따라, 확장 카드(450)는 SIM(Subscriber Identification Module) 카드 또는 USIM(Universal Subscriber Identity Module) 카드일 수 있다.
네트워크 장치(460)는 영상 처리 시스템(400)을 유선 네트워크 또는 무선 네트워크에 접속시킬 수 있는 장치를 의미한다.
디스플레이(470)는 저장 장치(420), 메모리(430), 입출력 포트들(440), 확장 카드(450), 또는 네트워크 장치(460)로부터 출력된 데이터를 디스플레이할 수 있다.
카메라 모듈(480)은 광학 이미지를 전기적인 이미지로 변환할 수 있는 모듈을 의미한다. 따라서, 카메라 모듈(480)로부터 출력된 전기적인 이미지는 저장 장치(420), 메모리(430), 또는 확장 카드(450)에 저장될 수 있다. 또한, 카메라 모듈(480)로부터 출력된 전기적인 이미지는 디스플레이(470)를 통하여 디스플레이될 수 있다.
또한 본 발명의 실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
영상 처리 장치: 10, 10a, 10b, 10c
호스트: 110
비디오 코덱 모듈: 120, 130, 210, 220, 310, 320
인코더: 121, 211, 221, 311, 321
디코더: 122, 212, 222, 312, 322
메모리: 20, 170, 330
영상 처리 시스템: 1, 400

Claims (20)

  1. 제1 및 제2 비디오 코덱 모듈을 포함하는 영상 처리 장치에서의 멀티 뷰 영상 처리 방법에 있어서,
    상기 제1 비디오 코덱 모듈이 제1 영상 신호의 제1프레임 이미지를 처리하고, 동기 정보를 호스트로 제공하는 단계; 및
    상기 제2 비디오 코덱 모듈이 상기 제1 영상 신호의 제1 프레임 이미지의 처리된 데이터를 참조하여 제2 영상 신호의 제1 프레임 이미지를 처리하는 단계를 포함하며,
    상기 제2 비디오 코덱 모듈이 상기 제2 영상 신호의 제1 프레임 이미지의 처리를 시작하는 시점은 상기 동기 정보에 의해 결정되고,
    상기 제1 및 제2 비디오 코덱 모듈에 의해 상기 제1 및 제2 영상 신호는 병렬 처리되는 멀티 뷰 영상 처리 방법.
  2. 제1항에 있어서,
    상기 제1 영상 신호는 제1 영상 소스로부터 제공되고,
    상기 제2 영상 신호는 상기 제1 영상 소스와 다른 제2 영상 소스로부터 제공되는 멀티 뷰 영상 처리 방법.
  3. 제1항에 있어서,
    상기 제1 영상 신호 및 상기 제2 영상 신호는 동일한 영상 소스로부터 제공되는 멀티 뷰 영상 처리 방법.
  4. 제1항에 있어서, 상기 방법은
    상기 제1 비디오 코덱 모듈이 상기 제1 영상 신호의 제 i 프레임 이미지의 이전 프레임들 중 적어도 한 프레임의 처리된 데이터를 참조하여 제i 프레임 이미지를 처리하고, 상기 동기 정보를 상기 호스트에 제공하는 단계; 및
    상기 호스트의 제어에 따라 상기 제2 비디오 코덱 모듈이 상기 제1 영상 신호의 제i 프레임 이미지의 처리된 데이터를 참조하여 제2 영상 신호의 제i 프레임 이미지를 처리하는 단계를 더 포함하며,
    상기 i는 2이상의 정수인 멀티 뷰 영상 처리 방법.
  5. 제1항에 있어서, 상기 동기 정보는
    프레임 동기 정보인 멀티 뷰 영상 처리 방법.
  6. 제1 및 제2 비디오 코덱 모듈을 포함하는 영상 처리 장치에서의 멀티 뷰 영상 처리 방법에 있어서,
    상기 제1 비디오 코덱 모듈이 제1 영상 신호의 제1프레임 이미지의 일정 단위의 데이터를 처리할 때마다 동기 정보를 발생하는 단계;
    상기 제2 비디오 코덱 모듈이 상기 동기 정보에 따라 상기 제1 영상 신호의 제1 프레임 이미지의 참조 블록의 처리가 완료되었는지 판단하는 단계; 및
    상기 제2 비디오 코덱 모듈이 상기 제1 프레임 이미지의 참조 블록의 처리 데이터를 참조하여 제2 영상 신호의 제1 프레임 이미지를 처리하는 단계를 포함하는 멀티 뷰 영상 처리 방법.
  7. 제6항에 있어서,
    상기 일정 단위는 열(row) 단위이고,
    상기 동기 정보는 열 동기 정보인 멀티 뷰 영상 처리 방법.
  8. 제7항에 있어서, 상기 방법은
    상기 제1 비디오 코덱 모듈이 상기 제1 영상 신호의 제 i 프레임 이미지의 이전 프레임들 중 적어도 한 프레임의 처리된 데이터를 참조하여 제i 프레임 이미지를 처리하고, 상기 제i 프레임 이미지의 각 열(row) 데이터가 처리될 때마다 상기 동기 정보를 상기 제2 비디오 코덱 모듈에 제공하는 단계;
    상기 제2 비디오 코덱 모듈이 상기 동기 정보에 따라 상기 제1 영상 신호의 제i 프레임 이미지의 참조 블록의 처리가 완료되었는지 판단하는 단계; 및
    상기 제2 비디오 코덱 모듈이 상기 제i 프레임 이미지의 참조 블록의 처리 데이터를 참조하여 제2 영상 신호의 제i 프레임 이미지를 처리하는 단계를 더 포함하며,
    상기 i는 2이상의 정수인 멀티 뷰 영상 처리 방법.
  9. 제6항에 있어서,
    상기 일정 단위는 블록(block) 단위이고,
    상기 동기 정보는 비트맵 메모리에 저장되는 멀티 뷰 영상 처리 방법.
  10. 제9항에 있어서, 상기 방법은
    상기 제1 비디오 코덱 모듈이 상기 제1 영상 신호의 제 i 프레임 이미지의 이전 프레임들 중 적어도 한 프레임의 처리된 데이터를 참조하여 제i 프레임 이미지를 처리하고, 상기 제i 프레임 이미지의 각 블록 데이터가 처리될 때마다 상기 비트맵 메모리의 해당 비트를 설정하는 단계;
    상기 제2 비디오 코덱 모듈이 상기 비트맵 메모리를 독출하고, 상기 비트맵 메모리의 값에 따라 상기 제1 영상 신호의 제i 프레임 이미지의 참조 블록의 처리가 완료되었는지 판단하는 단계;
    상기 제2 비디오 코덱 모듈이 상기 제i 프레임 이미지의 참조 블록의 처리 데이터를 참조하여 제2 영상 신호의 제i 프레임 이미지를 처리하는 단계; 및
    상기 제1 영상 신호의 상기 제i 프레임 이미지의 처리된 데이터와 상기 제2 영상 신호의 제i 프레임 이미지의 처리된 데이터를 결합하여 멀티 뷰 영상으로 출력하는 단계를 더 포함하며,
    상기 i는 2이상의 정수인 멀티 뷰 영상 처리 방법.
  11. 제9항에 있어서, 상기 비트맵 메모리는
    상기 제1 영상 신호의 각 프레임 이미지의 각 블록의 처리 여부를 나타내는 비트 정보를 저장하는 멀티 뷰 영상 처리 방법.
  12. 제1 영상 소스로부터 제공된 제1 영상 신호 신호를 처리하여 제1 영상 처리 데이터를 출력하며, 미리 정해진 시점마다 동기 정보를 발생하는 제1 비디오 코덱 모듈; 및
    상기 동기 정보에 따라 상기 제1 영상 처리 데이터의 일부를 이용하여 상기 제2 영상 소스로부터 제공된 제2 영상 신호 신호를 처리하여 제2 영상 처리 데이터를 출력하는 제2 비디오 코덱 모듈을 포함하며,
    상기 제1 영상 처리 데이터와 상기 제2 영상 처리 데이터가 결합되어 멀티 뷰 영상으로 출력되는 멀티 뷰 영상 처리 장치.
  13. 제12항에 있어서,
    상기 제1 영상 신호 신호와 상기 제2 영상 신호 신호는 각각 복수의 프레임을 포함하고,
    상기 동기 정보는 상기 제1 비디오 코덱 모듈이 상기 제1 영상 신호 신호의 각 프레임을 처리할 때마다 발생하는 멀티 뷰 영상 처리 장치.
  14. 제12항에 있어서,
    상기 제1 영상 신호 신호와 상기 제2 영상 신호 신호는 각각 복수의 프레임을 포함하고,
    상기 복수의 프레임들 각각은 복수의 열(row)들을 포함하며,
    상기 제1 비디오 코덱 모듈은
    상기 제1 영상 신호 신호의 각 프레임의 각 열 데이터를 처리할 때마다 상기 동기 정보를 발생하는 동기 신호 송수신기를 포함하고,
    상기 제2 비디오 코덱 모듈은
    상기 제1 비디오 코덱 모듈로부터 상기 동기 정보를 수신하는 동기 신호 송수신기를 포함하는 멀티 뷰 영상 처리 장치.
  15. 제14항에 있어서, 상기 복수의 프레임들 각각은
    복수의 블록들로 구성되며,
    상기 제2 비디오 코덱 모듈의 상기 동기 신호 송수신기는
    상기 동기 정보를 이용하여 상기 제2 영상 신호 신호의 블록 처리시 참조하는 상기 제1 영상 신호 신호의 참조 블록의 처리가 완료되었는지 여부를 판단하는 멀티 뷰 영상 처리 장치.
  16. 제15항에 있어서, 상기 제1 및 제2 비디오 코덱 모듈 각각은
    입력되는 신호를 인코딩하기 위한 인코더; 및
    입력되는 신호를 디코딩하기 위한 디코더를 중 적어도 하나를 포함하며,
    상기 제2 비디오 코덱 모듈의 상기 동기 신호 송수신기는
    상기 제1 영상 신호 신호의 참조 블록의 처리가 완료되었다면, 상기 제2 영상 신호 신호의 해당 블록의 처리를 시작시키는 제어신호를 상기 제2 비디오 코덱 모듈의 인코더 또는 디코더로 출력하는 멀티 뷰 영상 처리 장치.
  17. 제12항에 있어서,
    상기 제1 영상 신호 신호와 상기 제2 영상 신호 신호는 각각 복수의 프레임을 포함하고,
    상기 복수의 프레임들 각각은 복수의 블록을 포함하고,
    상기 동기 정보는
    상기 제1 영상 신호의 각 프레임의 각 블록의 처리 여부를 나타내는 비트맵 데이터를 포함하는 멀티 뷰 영상 처리 장치.
  18. 제17항에 있어서,
    상기 제1 비디오 코덱 모듈은
    상기 제1 영상 신호의 각 프레임의 각 블록의 처리가 완료될 때마다 상기 비트맵 데이터의 해당 비트를 설정하여 메모리에 저장하는 비트맵 컨트롤러를 포함하고,
    상기 제2 비디오 코덱 모듈은
    상기 메모리로부터 상기 비트맵 데이터를 독출하는 비트맵 컨트롤러를 포함하는 멀티 뷰 영상 처리 장치.
  19. 제18항에 있어서, 상기 제2 비디오 코덱 모듈은
    상기 메모리로부터 상기 비트맵 데이터를 이용하여 상기 제2 영상 신호 신호의 블록 처리시 참조하는 상기 제1 영상 신호 신호의 참조 블록의 처리가 완료되었는지 여부를 판단하는 멀티 뷰 영상 처리 장치.
  20. 제19항에 있어서, 상기 제1 및 제2 비디오 코덱 모듈 각각은
    입력되는 신호를 인코딩하기 위한 인코더; 및
    입력되는 신호를 디코딩하기 위한 디코더 중 적어도 하나를 포함하며
    상기 제2 비디오 코덱 모듈의 상기 비트맵 컨트롤러는
    상기 제1 영상 신호 신호의 참조 블록의 처리가 완료되었다면, 상기 제2 영상 신호 신호의 해당 블록의 처리를 시작시키는 제어신호를 상기 제2 비디오 코덱 모듈의 인코더 또는 디코더로 출력하는 멀티 뷰 영상 처리 장치.
KR1020120095404A 2012-08-30 2012-08-30 멀티 뷰 영상 처리 방법 및 이를 수행하는 장치 KR20140030473A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120095404A KR20140030473A (ko) 2012-08-30 2012-08-30 멀티 뷰 영상 처리 방법 및 이를 수행하는 장치
CN201310389664.7A CN103686191A (zh) 2012-08-30 2013-08-30 处理多视点图像的方法以及用于执行所述方法的设备
US14/014,928 US20140063183A1 (en) 2012-08-30 2013-08-30 Method of processing multi-view image and apparatus for executing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120095404A KR20140030473A (ko) 2012-08-30 2012-08-30 멀티 뷰 영상 처리 방법 및 이를 수행하는 장치

Publications (1)

Publication Number Publication Date
KR20140030473A true KR20140030473A (ko) 2014-03-12

Family

ID=50187006

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120095404A KR20140030473A (ko) 2012-08-30 2012-08-30 멀티 뷰 영상 처리 방법 및 이를 수행하는 장치

Country Status (3)

Country Link
US (1) US20140063183A1 (ko)
KR (1) KR20140030473A (ko)
CN (1) CN103686191A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016027970A1 (ko) * 2014-08-18 2016-02-25 고포디 테크놀로지 엘엘씨 비디오 스트림을 사이드 바이 사이드 형태로 디스플레이에 표시하는 방법 및 그 방법으로 비디오 스트림을 디스플레이에 표시하는 휴대용 전자 장치
KR20160047375A (ko) * 2014-10-22 2016-05-02 삼성전자주식회사 실시간으로 인-루프 필터링을 수행할 수 있는 애플리케이션 프로세서, 이의 작동 방법, 및 이를 포함하는 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469228A (zh) * 2014-04-04 2015-03-25 西安交通大学 一种兼容2d与多视点裸眼3d的视频数据存储读写方法
US10277913B2 (en) * 2014-10-22 2019-04-30 Samsung Electronics Co., Ltd. Application processor for performing real time in-loop filtering, method thereof and system including the same
CN104539931A (zh) * 2014-12-05 2015-04-22 北京格灵深瞳信息技术有限公司 一种多目相机系统、装置及同步方法
KR102509939B1 (ko) * 2015-10-13 2023-03-15 삼성전자 주식회사 전자 장치 및 전자 장치의 영상 인코딩 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4998249A (en) * 1988-10-28 1991-03-05 Executone Information Systems, Inc. Method and system for multiplexing telephone line circuits to highway lines
FR2691568B1 (fr) * 1992-05-21 1996-12-13 Commissariat Energie Atomique Procede d'affichage de differents niveaux de gris et systeme de mise en óoeuvre de ce procede.
US6128317A (en) * 1997-12-22 2000-10-03 Motorola, Inc. Transmitter and receiver supporting differing speed codecs over single links
US6101599A (en) * 1998-06-29 2000-08-08 Cisco Technology, Inc. System for context switching between processing elements in a pipeline of processing elements
US7054029B1 (en) * 1999-03-09 2006-05-30 Canon Kabushiki Kaisha Image processing apparatus and method, and storage medium
JP2002064821A (ja) * 2000-06-06 2002-02-28 Office Noa:Kk 動画像情報の圧縮方法およびそのシステム
US7231409B1 (en) * 2003-03-21 2007-06-12 Network Appliance, Inc. System and method for reallocating blocks in checkpointing bitmap-based file systems
US8594203B2 (en) * 2006-10-16 2013-11-26 Nokia Corporation System and method for using parallelly decodable slices for multi-view video coding
US20090138656A1 (en) * 2007-11-26 2009-05-28 Inventec Corporation Method of skipping synchronization process for initialization of RAID1 device
US8489972B2 (en) * 2008-12-02 2013-07-16 Nec Corporation Decoding method and decoding device
KR20110043503A (ko) * 2009-10-20 2011-04-27 삼성전자주식회사 스트림 생성 방법 및 장치와, 스트림 처리 방법 및 장치
EP2625853A1 (en) * 2010-10-05 2013-08-14 Telefonaktiebolaget L M Ericsson (PUBL) Multi-view encoding and decoding technique based on single-view video codecs
US8502816B2 (en) * 2010-12-02 2013-08-06 Microsoft Corporation Tabletop display providing multiple views to users

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016027970A1 (ko) * 2014-08-18 2016-02-25 고포디 테크놀로지 엘엘씨 비디오 스트림을 사이드 바이 사이드 형태로 디스플레이에 표시하는 방법 및 그 방법으로 비디오 스트림을 디스플레이에 표시하는 휴대용 전자 장치
KR20160021687A (ko) * 2014-08-18 2016-02-26 고포디 테크놀로지 코포레이션 비디오 스트림을 사이드 바이 사이드 형태로 디스플레이에 표시하는 방법 및 그 방법으로 비디오 스트림을 디스플레이에 표시하는 휴대용 전자 장치
KR20160047375A (ko) * 2014-10-22 2016-05-02 삼성전자주식회사 실시간으로 인-루프 필터링을 수행할 수 있는 애플리케이션 프로세서, 이의 작동 방법, 및 이를 포함하는 시스템

Also Published As

Publication number Publication date
CN103686191A (zh) 2014-03-26
US20140063183A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
US11775247B2 (en) Real-time screen sharing
KR20140030473A (ko) 멀티 뷰 영상 처리 방법 및 이를 수행하는 장치
KR100990565B1 (ko) 하나의 비디오 파일에서 비디오 데이터의 다중 투사를처리하는 시스템 및 방법
US9918094B2 (en) Compressing and representing multi-view video
US10397612B2 (en) Three-dimensional video encoding method, three-dimensional video decoding method, and related apparatus
WO2017041551A1 (zh) 基于spice协议的图像传输方法及装置
RU2573213C2 (ru) Схемы многопланового видеокодирования
KR102274747B1 (ko) 코덱과 이를 포함하는 시스템 온 칩, 및 상기 시스템 온 칩을 포함하는 데이터 처리 시스템
KR101350915B1 (ko) 다시점 비디오 스트리밍 시스템 및 그 제공방법
US20170195617A1 (en) Image processing method and electronic device
US10051276B2 (en) Image encoding apparatus, method and imaging apparatus
US11483561B2 (en) Transform method in picture block encoding, inverse transform method in picture block decoding, and apparatus
CN102364945A (zh) 多画面图像解码显示的方法及其视频监控终端
CN104904206A (zh) 用于三维视频编解码中直接和跳跃模式的空间运动矢量预测推导方法和装置
CN103843352A (zh) 用于在编码的比特流之间动态切换的技术
US10554953B2 (en) Distortion of video for seek in 360 degree video
KR20140102605A (ko) 화상 처리 장치
US10616551B2 (en) Method and system for constructing view from multiple video streams
WO2018040427A1 (zh) 屏幕界面共享方法和系统
US20170155967A1 (en) Method and apparatus for facilitaing live virtual reality streaming
US20170171553A1 (en) Method of operating decoder and method of operating application processor including the decoder
US20130336381A1 (en) Video transmission system and transmitting device and receiving device thereof
WO2021093882A1 (zh) 一种视频会议方法、会议终端、服务器及存储介质
US20130235924A1 (en) Electronic apparatus and method for encoding
WO2014209366A1 (en) Frame division into subframes

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid