KR101414669B1 - 적응형 비디오 표현을 위한 방법 및 디바이스 - Google Patents

적응형 비디오 표현을 위한 방법 및 디바이스 Download PDF

Info

Publication number
KR101414669B1
KR101414669B1 KR1020097004095A KR20097004095A KR101414669B1 KR 101414669 B1 KR101414669 B1 KR 101414669B1 KR 1020097004095 A KR1020097004095 A KR 1020097004095A KR 20097004095 A KR20097004095 A KR 20097004095A KR 101414669 B1 KR101414669 B1 KR 101414669B1
Authority
KR
South Korea
Prior art keywords
size
significant
group
display
video
Prior art date
Application number
KR1020097004095A
Other languages
English (en)
Other versions
KR20090045288A (ko
Inventor
지뽀 첸
시아오똥 꾸
추칭 첸
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20090045288A publication Critical patent/KR20090045288A/ko
Application granted granted Critical
Publication of KR101414669B1 publication Critical patent/KR101414669B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

제한된 스크린 사이즈를 갖는 더 작은 디스플레이 상에 비디오의 콘텐츠 분석에 기초하여 스트림이 임베딩된 정보을 갖는 비디오를 자동적으로 표현하기 위한 적응형 비디오 표현 방법이 제공된다. 이 방법은, 상기 비디오의 각 프레임에 대하여 매크로블록의 인지적 중요도 값(interest value)에 기초하여 적어도 하나의 현저한 대상을 포함하는 현저한 대상 그룹을 결정하는 단계와, 비디오 장면에 대하여 현저한 대상 그룹을 포함하는 최소 사이즈를 갖는 창을 추출하는 단계를 포함하되, 더 작은 디스플레이 사이즈와 추출된 창의 사이즈를 비교하는 단계와, 비디오 장면에 대하여 상이한 모션 모드를 위해 비교 단계의 결과에 기초하여 상이한 동작 모드로 더 작은 디스플레이 상에 장면을 위해 현저한 대상 그룹의 적어도 일부를 포함하는 추출된 창의 적어도 선택된 영역을 표현하는 단계를 추가로 포함하는 것을 특징으로 한다.
디스플레이, 스크린, 비디오, 디코더, 인코더

Description

적응형 비디오 표현을 위한 방법 및 디바이스{METHOD AND DEVICE FOR ADAPTIVE VIDEO PRESENTATION}
본 발명은 비디오 표현을 위한 방법 및 디바이스에 관한 것으로서, 더 상세하게는 작은 디스플레이 상에서의 적응형 비디오 표현을 위한 방법 및 디바이스에 대한 것이다.
멀티미디어 응용 영역에서, 포켓 PC, 스마트폰, SPOT 시계, 타블렛 PC, 개인 휴대 정보 디바이스(Personal Digital Assistant device) 등과 같은 다양한 새로운 이동 디바이스는 사람들의 일상 생활속에서 점점 더 대중화되고 있다. 이들 디바이스는 수치 계산 및 데이터 저장 둘 다에서 점점 더 강력해 지고 있다. 더욱이, 사람들은 이들 이동 디바이스를 통하여 비디오를 보는 것에 열광하고 있다.
그러나, 낮은 대역폭 연결과 작은 디스플레이는 여전히 사람들의 일상 생활속에서 이들 디바이스의 유용성을 손상시키고 있는 2가지 심각한 장해물이다. 비록 원도우즈 미디어 플레이어 및 포켓 TV와 같은 몇몇 상업적인 비디오 플레이어가 개발되어 사용자로 하여금 소형 인수 디바이스로부터 비디오를 브라우징하는 것을 가능하게 할지라도, 제한된 대역폭과 작은 창 사이즈는 2개의 결정적인 방해물인 채로 남아 있다. 2.5G 및 3G 무선 네트워크의 급속하고 성공적인 개발에 따라, 대역 폭 인자는 가까운 장래에 제약이 덜할 것으로 기대된다. 그러나 동시에 디스플레이 사이즈에 대한 한계는 일정 시간 동안 변하지 않은 채로 남아 있을 것 같다.
이동 디바이스 상에 디스플레이하는 이미지의 토픽에 집중하는 몇 가지 기존의 작업이 있다. 이들 작업은 인간의 시각 반응을 자극하기 위해 이미지 주목 모델(image attention model)에 기초하여 최적 이미지 시청 경로를 계산하고 이 경로를 제공할 수 있다. 대부분의 귀중한 정보가 비디오에 의해 표현되므로, 작은 디스플레이 상에서 비디오 시청의 경험을 개선시키는 것은 이들 이동 디바이스의 능력을 개선시키기 위해 매우 중요하다.
제한된 그리고 이종의 스크린 사이즈 상에서 비디오를 시청하기 위해 사용자에게 더 좋은 경험을 제공하는 한 가지 솔루션이 X. Fan 등의 "Looking into Video Frames on Small Displays", ACM MM'03, 2003)에서 제안되었는데, 이는 3가지 브라우징 모드를 소개한다. 즉, 수동 브라우징 방법, 완전 자동 브라우징 방법 및 반자동 브라우징 방법이다.
그러나, 제안된 완전 자동 브라우징 방법에서, 방향 및 줌 제어 둘 다는 불가능하게 되어 있다. 결과로서 발생하는 비디오 스트림은 다른 부분을 잘라내면서 주목 받는 영역(attention-getting region)을 디스플레이하기 위해 더 많은 스크린 공간을 사용한다. 이러한 접근 방식은 비디오 프레임이 많은 별도 포커스를 갖고 있는 경우 종래의 다운 샘플링 방식과 별로 차이가 없을 것이다.
반자동 브라우징 방법에서, 인간 상호작용은 여전히 하나 보다 많은 중요한 주목 대상(AO)이 있는 경우 브라우징 포커스를 스위칭하도록 요구된다. 그러므로, 디스플레이 포커스는 사용자가 제어 버튼을 누른 이후에 계산되었고, 포커스가 변경된 경우 결점이 나타날 것이다.
그러므로, 현재의 방식은 특히 복수의 포커스 경우에서 작은 디스플레이 사이즈를 갖는 디바이스 상에서 비디오를 자동적으로 브라우징하고 비디오 디스플레이 품질과, 디스플레이 사이즈 제약 사이에서 더 좋은 절충을 유지하기 위한 우수한 솔루션을 제공할 수 없다.
본 발명은 사용자에게 최적의 비디오 시청 경험을 제공하기 위해 콘텐츠 분석에 기초하여 메타 데이터 정보에 따라 작은 사이즈를 갖는 디스플레이 디바이스 상에 비디오를 완전 자동으로 표현하기 위한 적응형 비디오 표현 솔루션을 제공한다.
본 발명의 제 1 측면에 따르면, 제 1 사이즈보다 더 작은 제 2 사이즈의 디스플레이 상에 제 1 사이즈의 비디오를 자동적으로 표현하기 위한 적응형 비디오 표현 방법이 제공되며, 이 방법은, 비디오 장면의 각 프레임에 대하여 적어도 하나의 현저한 대상을 포함하는 현저한(sailent) 대상 그룹을 결정하는 단계와, 결정된 현저한 대상 그룹과 관련된 사이즈와 제 2 사이즈 사이의 함수에 따라 제 2 사이즈의 더 작은 디스플레이 상에 결정된 현저한 대상 그룹 내에 있는 적어도 하나의 현저한 대상을 디스플레이하는 단계를 포함한다.
일실시예에 있어서, 프레임에 대하여, 현저한 대상 그룹에 관련된 사이즈는 이 프레임에서 현저한 대상 그룹을 커버하는 직사각형 사이즈이다.
또 다른 실시예에 있어서, 상기 더 작은 디스플레이 상에 적어도 하나의 현저한 대상 그룹을 표현하는 단계는 프레임 내의 모든 매크로블록의 모션 벡터를 추가로 따른다.
삭제
유리하게는, 이 프레임 내의 매크로블록의 모션 벡터의 평균 길이가 제 1 임계치보다 작은 경우 저속 모션 모드에서 제 2 사이즈의 더 작은 디스플레이 상에 현저한 대상 그룹이 디스플레이되고, 그렇지 않으면 상기 고속 모션 모드에서 상기 현저한 대상 그룹이 디스플레이된다.
바람직하게는, 상기 현저한 대상 그룹을 포함하는 프레임 내의 매크로블록의 모션 벡터의 평균 길이를 계산하는 경우, 상기 프레임의 현저한 대상 및 다른 부분에 있는 매크로블록의 모션 벡터 길이는 상이한 가중치를 갖는다.
일실시예에 있어서, 상기 장면 내에 있는 모든 프레임의 중심점의 평균점이 상기 고속 모션 모드 동안 제 2 사이즈의 디스플레이의 중심점으로 되어 있는 채로 제 2 사이즈의 더 작은 디스플레이 상에 현저한 대상 그룹이 디스플레이된다.
유리하게는, 상기 장면 내에 있는 모든 프레임의 모든 중심점은 상기 평균점을 계산할 때 가중된다.
또 다른 측면에 있어서, 상기 고속 모션 모드 동안, 만일 상기 현저한 그룹의 사이즈가 제 2 임계치 보다 작으면, 줌 인(zoom-in) 동작으로 상기 더 작은 디스플레이 상에 현저한 대상 그룹이 표현되고, 그렇지 않고, 만일 상기 현저한 그룹의 사이즈가 제 3 임계치 보다 크다면, 상기 현저한 대상 그룹은 줌 아웃(zoom-out) 동작으로 상기 더 작은 디스플레이 상에 디스플레이된다.
바람직하게는, 상기 제 2 임계치는 상기 더 작은 디스플레이의 사이즈 반과 같고, 상기 제 3 임계치는 상기 더 작은 디스플레이의 사이즈의 2배와 같다.
덧붙여, 한 장면 내에 있는 모든 프레임의 중심점은, 비디오 콘텐츠 모드, 지정된 의미론적 정보(semantic information), 및 사용자의 경험 중 적어도 하나에 의존한다.
상기 저속 모션 모드 동안, 만일 상기 현저한 그룹의 사이즈가 제 4 임계치보다 작으면, 상기 현저한 대상 그룹은 줌 인 동작으로 상기 더 작은 디스플레이 상에 디스플레이된다.
또 다른 측면에 있어서, 상기 저속 모션 모드 동안, 만일 현저한 대상 그룹의 사이즈가 상기 제 4 임계치 이상이고 제 5 임계치보다는 작으면, 상기 현저한 대상 그룹의 사이즈가 직접 디스플레이되고, 그렇지 않고 만일 상기 원래 장면의 길이가 제 6 임계치 이상이면, 상기 더 작은 디스플레이의 중심점이 상기 현저한 대상 그룹의 중심점의 이동에 따른 채로 팬 동작이 상기 현저한 대상 그룹 내에 있는 현저한 대상에 대하여 수행되고, 만일 원래 장면의 길이가 제 6 임계치보다 작고 현저한 대상 그룹 내에 하나의 현저한 대상만이 있다면, 제 2 사이즈의 디스플레이의 중심점은 줌 아웃 동작으로 현저한 대상 그룹의 중심점 이동에 따른다.
상기 저속 모션 모드 동안, 만일 상기 장면의 길이가 제 7 임계치보다 크다면, 줌 아웃 동작이 상기 현저한 대상 그룹에 수행된다.
일실시예에 있어서, 상기 저속 모션 모드 동안, 만일 상기 장면의 길이가 상기 제 6 임계치 보다 작고 상기 현저한 그룹 내에 하나의 현저한 대상만이 있다면, 상기 더 작은 디스플레이의 중심점은 줌 아웃 동작으로 상기 현저한 대상 그룹의 중심점 이동에 따르고, 그렇지 않으면, 상기 현저한 대상 그룹이 상기 더 작은 디스플레이 상에 직접 디스플레이된다.
바람직하게는, 상기 제 4 임계치는 상기 더 작은 디스플레이의 사이즈 반과 같고, 상기 제 5 임계치는 상기 더 작은 디스플레이의 사이즈와 같다.
추가 실시예에 있어서, 2개의 이웃하는 프레임 간의 중심점 허용 오차는 상기 더 작은 디스플레이의 중심점이 상기 현저한 대상 그룹의 중심점의 이동에 따르는 경우 디더링(dithering)을 제거하기 위해 사용된다. 상기 중심점의 변화에 대한 허용오차는 수평 방향 및 수직 방향에서 사용될 수 있다.
더 작은 디스플레이 상에 원래 큰 사이즈의 비디오를 자동적으로 표현하기 위한 장치가 제공된다. 이 장치는, 대상 그룹 분류 모듈을 포함하되, 상기 대상 그룹 분류 모듈은, 비디오 장면의 각 프레임에 대하여 적어도 하나의 현저한 대상을 포함하는 현저한 대상 그룹을 결정하여, 결정된 현저한 대상 그룹과 관련된 사이즈와 제 2 사이즈 사이의 함수에 따라 상기 더 작은 디스플레이 상에 현저한 대상 그룹을 디스플레이한다.
일실시예에 있어서, 상기 원래 비디오의 프레임으로부터 현저한 대상을 추출하기 위한 콘텐츠 분류 모듈을 추가로 포함한다.
또 다른 실시예에 있어서, 이 장치는, 각 프레임의 중심점, 한 장면 내에 있는 모든 프레임의 중심점의 가중치, 한 프레임 내에 있는 모든 매크로블록의 모션 벡터 가중치를 계산하는 성질 계산 모듈을 포함한다.
또 다른 실시예에 있어서, 이 장치는, 더 작은 디스플레이 상에 디스플레이될 영역을 결정하는 정지 포커스 모듈을 포함한다.
추가 실시예에 있어서, 이 장치는, 상기 이미지의 결함을 부드럽게 하고 제거하는 공간-시간적 처리 모듈을 포함한다.
본 발명의 이들 및 다른 측면, 특징 그리고 이점이 바람직한 실시예의 이하 상세한 설명으로부터 기술되거나 명백하게 될 것이며, 이는 첨부된 도면과 관련되어 읽어져야 할 것이다.
도 1은 본 발명에 따른 방법을 사용하는 시스템 프레임 워크의 제 1 실시예에 대한 개략도.
도 2는 본 발명에 따른 방법을 사용하는 시스템 프레임 워크의 제 2 실시예에 대한 개략도.
도 3은 본 발명에 따른 방법을 사용하는 시스템 프레임 워크의 제 3 실시예에 대한 개략도.
도 4는 하나의 프레임 내의 현저한 대상의 개략도.
도 5는 하나의 프레임 내의 현저한 대상 그룹의 개략도.
도 6은 적응형 비디오 표현 샘플 솔루션의 흐름도.
본 발명은 콘텐츠 분석 정보에 기초하여 스트림 임베딩된 메타 데이터를 이용하여 더 좋은 시청 경험을 하도록 하기 위한 적응형 비디오 표현(AVP: Adaptive Video Presentation)의 방법 및 디바이스에 관한 것이다.
1. AVP 의 기본 프레임 워크의 소개
도 1 내지 도 3에 도시된 바와 같이, 큰 해상도를 가지는 비디오는 사전 분류 모듈(11a), 대상 그룹 분류(OGC: Object Group Classification) 모듈(13a), 성질 계산(PC: Property Calculation) 모듈(12a), 정지 초점 결정(SFD: Still Focus Decision) 모듈(14a), 및 공간-시간적 처리 모듈(15a)에 의해 처리되며, 이후 이 처리된 비디오는 더 작은 디스플레이 상에 디스플레이된다.
본 발명에 따르면, 3가지 타입의 AVP 프레임 워크, 즉 각각 도 1 내지 도 3에 도시된 바와 같이, 디코더 엔드 솔루션(decoder end solution), 결합식 인코더-디코더 엔드 솔루션(joint encoder-decoder end solution), 및 인코더 엔드 솔루션이 제안된다.
도 1을 참조하면, 제 1 타입의 AVP 프레임워크 솔루션은 인코더 엔드(10a)에는 사전 분류 모듈(11a)만을 두고 있고, 반면에 디코더 엔드(20a)에는 다른 4개 기능 블록이 두고 있다. 사전 분류 모듈(11a)은 장면 변화 검출, 주목 영역 추출 및 콘텐츠/모션 분석의 동작을 포함한다. 이 콘텐츠/모션 분석은 현저한 대상 분석과 모션 활동성 분석 또는 다른 의미론적 분석을 포함한다. 다른 4개의 기능 블록은 사전 분류 모듈(11a)으로부터 장면과 주목 마스크 정보에 기초하여 대상/대상그룹을 분류하는 대상 그룹 분석(OGC) 모듈(12a)과, 각 현저한 대상/대상그룹의 통계학적 성질(예를 들면, 현저한 대상/대상그룹의 중심점, 의미론적 가중치를 들 수 있으나, 이에 한정되지는 않음)을 계산하는 성질 계산(PC) 모듈(13a)과, PC 모듈로부터 도출된 통계학적 정보(예를 들면, 중심점) 및 사전 분류 모듈(11)로부터 도출된 다른 메타 데이터 정보에 기초하여 특정 이미지 내에 있는 후보 초점 영역을 결정하는 정지 초점 결정(SFD) 모듈(14a)과, 비디오가 부드럽게 되고 용인할 수 있으며 결함을 제거하는 것을 보장하도록 공간-시간적 처리를 수행하는 공간-시간적 처리 모듈(15a)을 포함한다. 공간-시간적 처리 모듈(15a)의 동작은 이하 문단에서 소개될 중심 유동(gravity flowing), 직접 디스플레이(direct display), 현저한 구동 팬 또는 트루 모션 표시(motion exhibition)를 고려하여 더 작은 디스플레이 상에 디스플레이될 최근의 디스플레이 영역 결정을 포함한다.
우선, 큰 디스플레이 상에 디스플레이된 비디오는 사전 분류 모듈(11a)에 의해 처리되어 비디오의 각 프레임 내에 있는 현저한 대상을 추출하며, 이후 이 추출된 현저한 대상은 대상 분류(OGC) 모듈(12a)에 의해 적어도 하나의 현저한 대상 그룹으로 그룹화된다. 성질 계산(PC) 모듈(13a)은 한 비디오 장면 내에 있는 각 프레임의 중심점, 각 프레임의 중심점의 가중치, 한 프레임 내에 있는 모든 매크로블록의 모션 벡터의 가중치 등을 계산한다. 정지 초점 결정(SFD) 모듈(14a)은 더 작은 디스플레이 상에 디스플레이될 영역을 결정한다.
유사하게는, 도 2에 예시된 제 2 타입의 AVP 프레임 워크 솔루션에서, 사전 분석 모듈(11b), 대상 그룹 분류 모듈(12b), 성질 계산 모듈(13b) 및 정지 초점 결정 모듈(14b)이 후보 초점 영역을 생성하기 위해 인코더 엔드(10b) 내에 포함되고, 공간/시간적 처리 모듈(15b)이 디코더 엔드(20b) 내에 포함되어 시간적 및 공간적 품질 절충을 고려하여 후보 초점 영역에 기초하여 최적으로 디스플레한다.
도 3에 예시된 바와 같이 제 3 타입의 AVP 프레임 워크 솔루션에서, 사전 분류 모듈(11c), 대상 그룹 분류 모듈(12c), 성질 계산 모듈(13c), 정지 초점 결정 모듈(14c) 및 공간/시간적 처리 모듈(15c)이 모두 인코더 엔드(10c) 내에 포함되어 비디오 시퀀스 내에 있는 각 프레임의 최근 디스플레이 영역을 생성하고, 각 프레임의 적합한 디스플레이 영역을 설명하는 메타 데이터가 임베딩된 메타 데이터로서 디코더 엔드(20c)에 전송되어 적응형 디스플레이를 직접적으로 도울 수 있다.
2. 적응형 비디오 표현을 위한 기본 정의 소개
작은 사이즈의 디스플레이 창을 이용하여 디스플레이 상에서 사용자의 시청 경험을 최적화하기 위해, 비디오 프레임 내에 있는 주목 영역 블록 세트가 우선 디스플레이되는 것으로 고려되어야 하는데, 왜냐하면 관련 정보는 사용자의 시청 경험에 더 긍정적인 기여를 하기 때문이다. AVP를 위한 일부 기본 정의가 아래에 기술된다.
A. 현저한 대상
현저한 대상은 도 4의 MB의 그레이 영역에 의해 도시된 바와 같이, 서로 연 결된 주목 영역 매크로블록(MB: MacroBlock) 세트이다. 현저한 대상은 비주목 MB에 의해 분리되는데, 비주목 MB는 백색 MB에 의해 표기된다.
현저한 대상 Oi(i=1, 2, 3, ..., N)은 다음 파라메터에 의해 기술된다.
명칭 약어 설명
사이즈 SZi 현저한 대상 Oi 내에 포함된 주목 MB의 개수
윤곽선 COi 현저한 대상 Oi를 포함하는 최소 직사각형
대상의 직사각형
사이즈		 RZO 도 4의 음역 영역에 의해 도시된 바와 같이, 현저한 대상 Oi를 포함하는 최소 직사각형 내에 포함된 매크로블록의 개수
대상
점유율		 OOR (SZi/RZO)x 100%
B. 현저한 대상 그룹
현저한 대상 그룹은 적어도 하나의 현저한 대상을 포함한다. 한 프레임 내에 수개의 현저한 대상 그룹이 있을 수 있다. 이는 다음 파라메터에 의해 기술될 수 있다.
명칭 약어 설명
사이즈 SZG 현저한 대상 그룹 내에 포함된 주목 MB의 개수
윤곽선 COG 현저한 대상 그룹을 포함하는 최소 직사각형
대상 그룹의 직사각형
사이즈		 RZG 도 5의 음역 영역에 의해 도시된 바와 같이, 현저한 대상 그룹을 포함하는 최소 직사각형 내에 포함된 매크로블록의 개수
대상
점유율		 OOR (SZi/RZO)x 100%
C. 장면
샷(shot)은 단일 카메라 동작에서 기록된 일련의 프레임이다. 장면은 대상, 사람, 공간 및 시간에 있어서 의미론적 유사성을 갖는 연속적 샷의 모음이다. 또한 이는 2 프레임 사이에서 현저한 대상의 스위치를 구별하기 위해 정의된다. 한 장면 내에서의 디스플레이 방식은 명확해야 하고, 보통 일관성(consistent)이 있다.
장면을 위해 정의된 하나의 파라메터는 다음과 같다.
명칭 약어 설명
장면 길이 LOS 한 장면 내에 있는 프레임 개수
3. 구성 파라메터와 동작 세트의 소개
구성 파라메터는 디스플레이 하기 또는 하지 않기, 스케일링 다운하기 또는 하지 않기, 요약하기 또는 하지 않기 등과 같은, 적응형 디스플레이 모드 선택 결정을 하도록 돕기 위한 필수적인 파라메터이다. 비디오 시청 경로 프로그램밍을 지원하기 위해 정의된 4개 조건이 있다.
Figure 112009012073208-pct00001
최소 인식 시간(MPT: Minimum Perceptual Time)
MPT는 현저한 대상을 시청하는 동안 고정을 위한 임계치로서 사용된다. 만일 현저한 대상이 MPT 임계치 MPTso보다 더 길게 스크린 상에 머물러 있지 않는다면, 이는 사용자로 하여금 정보를 파악하도록 하기에 충분히 인식가능하지 않을 수 있다. 만일 장면이 임계치 MPTsc 보다 더 길게 지속되지 않는다면, 그 안의 가장 중요한 부분만이 충분히 인식 가능할 수 있다. MPTso와 MPTsc는 다른 응용 시나리오 및 인간의 시각적 성질에 따라 선택될 수 있으며, 이들은 보통 실제 응용에 있어서 1/3초 및 2초로 설정된다.
Figure 112009012073208-pct00002
최소 인식 사이즈(MPS: Minimum Perceptual Size)
MPS는 현저한 대상의 최소 공간 영역의 임계치로서 사용된다. 보통, 만일 현저한 대상 SOi의 사이즈가 임계치 MPTso 보다 작다면, 현저한 대상 Oi는 비주목 대상으로서 마킹되어야 하거나 그 이웃하는 현저한 대상으로 병합되어야 한다. 그러나, MPS 임계치는 항상 정확하지 않은데, 왜냐하면 더 작은 공간 영역을 갖는 현저한 대상이 가장 중요한 정보를 수반할 수 있고 이 대상은 병합되지 않거나 마킹되지 않을 수 있기 때문이다. 따라서, 일부 다른 의미론적 정보는 가중치 정보의 추가적인 구성 파라메터, 예를 들면 축구, 얼굴 등으로서 사용될 것이다. 보통 MPTso는 5개 매크로블록으로 설정되거나 가장 큰 현저한 대상 사이즈의 5%-10%로 설정될 수 있다.
Figure 112009012073208-pct00003
현저한 대상의 가중치(WSO: Weight of Sailent Object)
이 파라메터는 가장 의미론적인 중요한 정보를 수반하는 현저한 대상을 예약하기 위해 사용되며, 병합되지 않거나 또는 마킹되지 않을 수 있다. 보통, 각 현저한 대상의 가중치 값은 1로 설정된다. 만일 현저한 대상이 한 장면 내에 현재 프레임과 다음 프레임(프레임의 개수는 임계치 Tweight보다 커야 하며, 보통 Tweight=10이다) 내에서 가장 중요한 정보를 획득한다면, 그 사이즈는 다음식과 같이 재계산된다.
Figure 112009012073208-pct00004
여기서, WSOi는 각 현저한 대상의 의미론적 중요성에 의해 정의될 수 있으며, 이 의미론적 중요성은 콘텐츠 모드, 제 3 자의 지정된 의미론적 정보, 특히 사용자의 경험 등에 의존한다. 더욱이, 현저한 대상 그룹의 중심은 재계산된다.
Figure 112009012073208-pct00005
중심 변화의 허용 오차(TGC: Tolerance of Gravity Change)
한 프레임의 현저한 대상 또는 현저한 대상 그룹의 중심점을 더 작은 디스플레이의 중심점으로서 이용하는 경우, 2개의 이웃하는 프레임 사이의 현저한 대상 또는 현저한 대상 그룹의 중심점의 미소한 변화에 의해 야기된 디스플레이의 디더링 효과를 회피하기 위해, 중심 변화의 허용 오차(TGC) 파라미터가 도입되어 중심점의 위치의 작은 변화(매크로블럭 단위로)가 더 작은 디스플레이의 중심점의 변화를 야기하지 않음을 보장한다. 2 종류의 임계치 TGCH(수평 방향에서의 중심 변화의 허용 오차) 및 TGCV(수직 방향에서의 중심 변화의 허용 오차)는 더 작은 디스플레이 스크린과 비디오 프레임 사이즈 사이의 관계에 따라 정의될 수 있다. 중심점의 변화(매크로블록 단위로)는 수평과 수직 방향에서 개별적으로 2 종류의 임계치 TGCH와 TGCV 보다 작은 경우, 디스플레이의 중심점은 디더링 효과를 피하기 위해 변화되지 않을 수 있다.
표 1은 적응형 비디오 표현의 요구조건을 위해 필요한 일부 동작을 보여준다.
적응형 비디오 표현을 위한 동작 세트
동작 예시


저속 모션 표시(Low Motion Exhibition)
(MVact<Tmotion)

 직접
디스플레이		 현저한 대상 또는 현저한 대상 그룹은 더 작은 디스플레이 스크린 상이 직접적으로 놓이게 된다.
중심
유동
쇼(Gravity Flowing Show)		 DA(Display Area)의 이동은 OG(Object Group)의 중심점 이동을 따라 제어되어야 하고, 보통 TGC(Tolerance of Gravity Change) 파라메터는 부드러운 디스플레이 전략을 유지하기 위해 사용되어야 한다
현저한 구동 팬(Saliency Driving Pan) 특히 큰 현저한 대상 또는 복수의 현저한 대상의 존재의 경우, 더 작은 디스플레이 창에 이 현저한 대상을 디스플레이하기 위해 현저한 분포를 고려하여 팬 동작
트루 모션 표시(True Motion Exhibition)
(MVact>=Tmotion)
 더 작은 디스플레이의 정지 초점 중심으로서 가중된 평균 중심점을 이용하여 비디오 장면을 위해 모든 현저한 대상 그룹을 표현
본 발명에 따르면, 적응형 비디오 표현 동작은 2가지 카테고리, 즉 저속 모션 모드와 고속 모션 모드에 각기 대응하는 저속 모션 표시 및 트루 모션 표시로 분류화될 수 있는데, 이들 모드들은 하나의 프레임 내에 있는 모든 매크로블록의 가중된 평균 모션 벡터 길이 MVact에 의해 구별될 수 있다. 보통 임계치 TMOTION은 이러한 분류를 하기 위해 선택될 수 있으며, 만일 MVACT가 TMOTION보다 작으면, 저속 모션 모드가 결정되고, 그렇지 않으면, 고속 모션 모드가 결정된다.
저속 모션 모드에 있어서, 적어도 3가지 다른 표시 동작, 즉 직접 디스플레이, 중심 유동 쇼 및 현저한 구동 팬이 사용될 수 있다. 이들 3가지 동작 중에서, 특히 큰 현저한 대상 또는 복수의 현저한 대상이 존재하는 경우, 직접 디스플레이는 현저한 대상 또는 현저한 대상 그룹을 즉시 더 작은 디스플레이 상에 디스플레이하는 것이고, 중심 유동 쇼는 현저한 대상 그룹의 중심점의 이동을 따름으로써 더 작은 디스플레이의 디스플레이 영역의 이동을 제어하며, 보통 중심 변화의 허용 오차(TGC: Tolerance of Gravity Change) 파라메터는 부드러운 디스플레이 전략을 유지하도록 사용되며, 현저한 구동 팬은 기본적으로 더 작은 디스플레이 창 상에 현저한 영역을 디스플레이하기 위해 현저한 분포를 고려한 팬 동작이다.
고속 모션 모드에 있어서, 트루 모션 표시는 현저한 대상 또는 현저한 대상 그룹을 디스플레이하기 위해 도입된다. 시청자는 OG가 더 작은 디스플레이 창 상에서 앞뒤로 이동하는 것을 볼 수 있다. 비디오 장면의 경우, 이 장면 내에 있는 각 프레임의 중심점은 급속하게 이동하고, 이후 비디오 장면 내에 있는 모든 프레임의 가중된 평균 중심점은 더 작은 디스플레이의 정지 초점 중심으로서 결정될 것이다. 따라서, 시청자는 OG가 더 작은 디스플레이 창의 한쪽 면으로부터 다른 쪽면으로 이동하는 것을 볼 수 있다. 예를 들면, 만일 장면내에 있는 모든 프레임의 중심점 좌표가 (x1, y1), (x2, y2)...로서 기록된다면, 이들 중심점의 평균은 x=평균(x1, x2...), y=평균(y1, y2...)이어야만 한다.
4. 적응형 비디오 표현 동작의 결정
비디오는 정보 중심점 유동 평면으로서 다루어 질 수 있으며, 이 경우 상이한 현저한 대상은 정보의 중요성에 대해 다른 가중치를 가지며, MB는 각 현저한 대상 내에서 동일한 특성을 갖는다. 그러므로, 현저한 대상 또는 그룹의 중심점이 아니라 중심정이 더 작은 디스플레이의 중심이 되어야 한다.
비디오 콘텐츠를 위한 밀도 분포 종류가 존재하는 것이 상상될 수 있을 것이다. 더 작은 디스플레이는 그룹 또는 현저한 대상의 중심점에 의해 중앙화된 영역에 초점이 맞추어져야 하고, 또는 순차적으로 패닝(panning) 동작을 사용함으로써 이 영역을 디스플레이해야 하며, 이 패닝 동작은 정보의 밀도 분포에 의존한다.
STP(Spatial-Temporal Processing) 모듈은 AVP 프레임 워크에서 가장 중요한 모듈이다. 최적 공간-시간적 동작은 부드럽고 수용가능한 비디오 시청 경험을 보장하기 위해 모듈 내에서 취해질 것이다.
표2는 AVP 동작의 결정 샘플을 예시하며, 물론 실제 응용의 상세한 요구 조건으로 인해 다른 타입의 조합이 고려될 수 있다. 표2에서, DS는 대응하는 더 작은 디스플레이 디바이스의 디스플레이 사이즈를 의미한다.
AVP 동작의 결정 샘플


조건


 AVP 동작
저속 모션 모드

(MVACT< TMOTION)		 고속 모션 모드

(MVACT>=TMOTION)
RZG=<DS/n
(예를 들면, n=2,3,...)


 직접 디스플레이(Direct Display)
+ 줌인(Zoom in)		 트루 모션 표시(True Motion Exhibition) +
줌인
DS/n<RZG=<DS
(예를 들면, n=2,3,...)
 직접 디스플레이 트루 모션 표시
RZG>=DS

 줌아웃 트루 모션 표시 + 줌 아웃


LOS<MPT

하나의 현저한
대상
 중심 유동 쇼(TGC 제한을 가짐) + 줌 아웃
복수의 현저한
대상
 직접 디스플레이( 팬(pan)은 금지됨)
LOS>m*MPT
(예를 들면, m=2, 3...)
 중심 유동 쇼(TGC 제한을 가짐) + 현저한 구동 팬 + 줌 아웃
그 밖에 중심 유동 쇼(TGC 제한을 가짐) + 현저한 구동 팬
도 6은 본 발명에 따른 적응형 비디오 표현 솔루션의 결정을 위한 하나의 예시적 방식의 흐름도를 예시한다.
비디오 장면을 위해, 현저한 대상이 먼저 추출되어야만 한다. 종래 기술에서 이러한 작업을 하기 위해 많은 방법이 있으나, 여기에서는 기술되지 않을 것이다. 이후, 적어도 하나의 현저한 대상 그룹이 결정된다. 현저한 대상 그룹은 적어도 하나의 현저한 대상을 포함한다.
단계(100)에서, 비디오 장면의 모션 모드는 프레임을 위해 가중된 평균 모션 벡터 길이 MVACT와 사전 정의된 임계치 TMOTION을 비교함으로써 결정된다. MVACT가 사전 정의된 임계치 TMOTION보다 작은 경우, 다음 단계는 단계(200)로 가고, 그렇지 않으면 단계(400)로 간다. 단계(200)에서, 이는 현저한 대상 그룹을 커버하는 최소 사각형 RGZ의 사이즈가 DS/n(여기서, n=2,3...이고 바람직하게는 n=2가 됨) 이하인지를 결정할 것이다. 만일 단계(200)에서 RZG가 DS/n 이하인 것으로 결정되면, 프로세스는 단계(210)로 진행하고, 여기서 RZG을 갖는 추출된 창은 즉시 적합한 줌 인 동작으로 더 작은 디스플레이 상에 디스플레이된다. 만일 RZG가 DS 이상이면, 단계(220)에서, 이는 RZG가 DS 이상인지를 결정할 것이며, 만일 RZG가 DS보다는 작으나 DS/n보다는 크다면, 단계(230)에서 RZG를 갖는 추출된 창은 더 작은 디스플레이 상에 직접 디스플레이될 것이며, 만일 RZG가 DS보다 더 크면, 단계(240)에서 이는 장면 길이 LOS(Length Of Scence)가 최소 인지 시간 MPT 보다 작은지를 결정할 것이다. 이후, 단계(250)에서, 이는 현저한 대상 그룹이 하나의 현저한 대상만을 포함하는 지를 결정할 것이다. 하나의 현저한 대상만이 존재하고 LOS가 MPT보다 작은 조건에서, 비디오는 단계(260)에서 적합한 줌 아웃 동작을 이용하여 중심 유동 쇼 동작으로 더 작은 디스플레이 상에 표현될 것이다. 단계(270)에서, 복수의 현저한 대상이 존재하고 LOS는 MPT보다 작으며, 비디오는 더 작은 디스플레이 상에 직접 디스플레이될 것인데, 왜냐하면 이 조건에서 시청 경험을 부드럽게 하기 위해 표현 동작을 빈번하게 변경하는 것을 피하기 위해 팬 동작이 금지되기 때문이다. 단계(280)에서, 이는 LOS가 MPT의 m배(여기서, m=2,3...임)보다 큰지를 결정할 것이다. 만일 LOS가 MPT의 m배 보다 크면, 단계(290)에서처럼, 비디오는, 현저한 구동 팬 동작과 적합한 줌 아웃 동작과 함께 중심 유동 쇼로 더 작은 디스플레이상에 표현될 것이다. 만일 LOS가 MPT보다는 크지만 MPT의 m배 보다는 크지 않으면, 비디오는 줌 아웃 없이 현저한 구동 팬 동작과 함께 중심 유동 쇼 동작으로 표현될 것이다.
단계(100)에서 MVACT가 사전 정의된 임계치 TMOTION 이상으로 결정되는 경우, 프로세스는 단계(400)로 진행한다. 단계(400)에서, RZG가 임계치 DS/2 미만인지가 결정된다. 만일 이 결정이 '예'이면, 프로세스는 단계(410)로 진행하고, 여기서 트루 모션 표시는 줌 인 동작으로 행하여진다. 반면에 만일 단계(400)의 결정이 '아니오'이면, 프로세스는 단계(420)로 진행하고, 여기서 RZG가 2DS보다 큰지가 결정된다. 만일 이 결정이 단계(420)에서 '예'이면, 프로세스는 단계(430)로 진행하고, 여기서 트루 모션 표시는 줌 아웃 동작으로 행하여진다. 만일 단계(430)의 결정이 '아니오'이면, 프로세스는 단계(440)로 진행하고, 여기서 트루 모션 표시가 행하여진다.
비록 본 발명의 교지를 병합한 본 실시예가 여기에 도시되고 상세하게 설명되었을 지라도, 당업자라면 이들 교지를 여전히 병합하는 많은 다른 다양한 실시예를 쉽게 발명할 수 있다. 개조 및 변형예가 위 교지를 비추어 만들어질 수 있음이 주목된다. 그러므로, 첨부된 청구항에 의해 개설된 본 발명의 범위 및 기술 사상 내에 있는 개시된 본 발명의 특정 실시예 내에서 변경이 이루어질 수 있음을 이해해야 할 것이다.
본 발명은 비디오 표현을 위한 방법 및 디바이스에 이용 가능하다. 더 상세하게는 작은 디스플레이 상에서의 적응형 비디오 표현을 위한 방법 및 디바이스에 이용 가능하다. 이 경우, 이 방법은, 원래 큰 사이즈의 비디오 장면의 각 프레임에 대하여 적어도 하나의 현저한 대상을 포함하는 적어도 하나의 현저한 대상 그룹을 결정하는 단계와, 적어도 하나의 현저한 대상 그룹과 관련된 사이즈와 더 작은 디스플레이의 사이즈 사이의 함수에 따라 더 작은 디스플레이 상에 결정된 적어도 하나의 현저한 대상 그룹을 표현하는 단계를 포함한다.

Claims (22)

  1. 제 1 사이즈보다 더 작은 제 2 사이즈의 디스플레이 상에 제 1 사이즈의 비디오를 표현하기 위한 적응형 비디오 표현 방법으로서,
    비디오 장면의 각 프레임에 대하여 적어도 하나의 현저한 대상을 포함하는 현저한 대상 그룹을 결정하는 단계와,
    결정된 현저한 대상 그룹과 관련된 사이즈와 제 2 사이즈 사이의 함수에 따라 제 2 사이즈의 디스플레이 상에 결정된 현저한 대상 그룹 내의 적어도 하나의 현저한 대상을 디스플레이하는 단계를 포함하고,
    현저한 대상 그룹을 포함하는 프레임 내의 매크로블록의 모션 벡터의 평균 길이가 제 1 임계치보다 작은 경우, 저속 모션 모드에서 제 2 사이즈의 디스플레이 상에 현저한 대상 그룹을 디스플레이하고, 그렇지 않으면 고속 모션 모드에서 대상 그룹을 디스플레이하며,
    현저한 대상 그룹을 포함하는 프레임 내의 매크로블록의 모션 벡터의 평균 길이를 계산하는 경우, 프레임의 현저한 대상 및 다른 부분에 있는 매크로블록의 모션 벡터의 길이는 상이한 가중치를 갖는, 적응형 비디오 표현 방법.
  2. 제 1 항에 있어서,
    한 프레임에 대하여, 현저한 대상 그룹에 관련된 사이즈는 프레임에서 현저한 대상 그룹을 커버하는 직사각형 사이즈인, 적응형 비디오 표현 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    더 작은 디스플레이 상에 현저한 대상 그룹을 표현하는 것은 프레임 내의 모든 매크로블록의 모션 벡터를 추가로 따르는, 적응형 비디오 표현 방법.
  4. 삭제
  5. 삭제
  6. 제 1 항 또는 제 2 항에 있어서,
    고속 모션 모드 동안, 장면 내에 있는 모든 프레임의 중심점의 평균점이 제 2 사이즈의 디스플레이의 중심점으로 되어 있는 채로 제 2 사이즈의 디스플레이 상에 현저한 대상 그룹을 디스플레이하는, 적응형 비디오 표현 방법.
  7. 제 6 항에 있어서,
    고속 모션 모드 동안, 만일 현저한 대상 그룹의 사이즈가 제 2 임계치보다 작으면, 줌 인 동작으로 제 2 사이즈의 디스플레이 상에 현저한 대상 그룹이 디스플레이되고,
    그렇지 않고, 만일 현저한 대상 그룹의 사이즈가 제 3 임계치보다 크다면, 현저한 대상 그룹은 줌 아웃 동작으로 제 2 사이즈의 디스플레이 상에 디스플레이되는, 적응형 비디오 표현 방법.
  8. 제 7 항에 있어서,
    제 2 임계치는 제 2 사이즈의 절반과 같고, 제 3 임계치는 제 2 사이즈의 2배와 같은, 적응형 비디오 표현 방법.
  9. 제 6 항에 있어서,
    한 장면 내에 있는 모든 프레임의 중심점은, 비디오 콘텐츠 모드, 지정된 의미론적 정보, 및 사용자의 경험 중 적어도 하나에 의존하는, 적응형 비디오 표현 방법.
  10. 제 1 항 또는 제 2 항에 있어서,
    저속 모션 모드 동안, 만일 현저한 대상 그룹의 사이즈가 제 4 임계치보다 작으면, 현저한 대상 그룹이 줌 인 동작으로 제 2 사이즈의 디스플레이 상에 디스플레이되는, 적응형 비디오 표현 방법.
  11. 제 10 항에 있어서,
    저속 모션 모드 동안, 만일 현저한 대상 그룹의 사이즈가 제 4 임계치 이상이고 제 5 임계치보다는 작으면, 현저한 대상 그룹이 제 2 사이즈의 디스플레이 상에 직접 디스플레이되고, 그렇지 않고 만일 제 1 사이즈의 비디오 장면의 길이가 제 6 임계치 이상이면, 제 2 사이즈의 디스플레이의 중심점이 현저한 대상 그룹의 중심점의 이동에 따른 채로 팬 동작이 현저한 대상 그룹 내에 있는 현저한 대상에 대하여 수행되고,
    만일 제 1 사이즈의 비디오 장면의 길이가 제 6 임계치 보다 작고 현저한 대상 그룹 내에 하나의 현저한 대상만이 있다면, 제 2 사이즈의 디스플레이의 중심점은 줌 아웃 동작으로 현저한 대상 그룹의 중심점 이동에 따르는, 적응형 비디오 표현 방법.
  12. 제 11 항에 있어서,
    저속 모션 모드 동안, 만일 장면의 길이가 제 7 임계치보다 크다면, 줌 아웃 동작이 현저한 대상 그룹에 수행되는, 적응형 비디오 표현 방법.
  13. 제 11 항에 있어서,
    저속 모션 모드 동안, 만일 장면의 길이가 제 6 임계치 보다 작고 현저한 대상 그룹 내에 하나의 현저한 대상만이 있다면, 제 2 사이즈의 디스플레이의 중심점은 줌 아웃 동작으로 현저한 대상 그룹의 중심점 이동에 따르고, 그렇지 않으면, 현저한 대상 그룹이 제 2 사이즈의 디스플레이 상에 직접 디스플레이되는, 적응형 비디오 표현 방법.
  14. 제 11 항에 있어서,
    제 4 임계치는 제 2 사이즈의 절반과 같고, 제 5 임계치는 제 2 사이즈와 같은, 적응형 비디오 표현 방법.
  15. 제 10 항에 있어서,
    2개의 이웃하는 프레임 간의 중심점 허용 오차는, 제 2 사이즈의 디스플레이의 중심점이 현저한 대상 그룹의 중심점의 이동에 따르는 경우, 디더링(dithering)을 제거하기 위해 사용되는, 적응형 비디오 표현 방법.
  16. 제 15 항에 있어서,
    중심점의 변화에 대한 허용오차는 수평 방향 및 수직 방향에서 사용될 수 있는, 적응형 비디오 표현 방법.
  17. 제 1 사이즈보다 더 작은 제 2 사이즈의 디스플레이 상에 제 1 사이즈의 비디오를 표현하기 위한 장치로서,
    대상 그룹 분류 모듈로서, 비디오 장면의 각 프레임에 대하여 적어도 하나의 현저한 대상을 포함하는 현저한 대상 그룹을 결정하여, 결정된 현저한 대상 그룹과 관련된 사이즈와 제 2 사이즈 사이의 함수에 따라 제 2 사이즈의 디스플레이 상에 현저한 대상 그룹을 디스플레이하는, 대상 그룹 분류 모듈과,
    한 장면 내의 각 프레임에 대한 중심점, 현저한 대상 그룹의 중심점, 한 장면 내에 있는 모든 프레임의 중심점의 가중치, 한 프레임 내에 있는 모든 매크로블록의 모션 벡터의 가중치를 계산하는 성질 계산 모듈을 포함하고,
    성질 계산 모듈은, 현저한 대상 그룹을 포함하는 프레임 내의 매크로블록의 모션 벡터의 가중된 평균 길이를 계산하고, 프레임의 현저한 대상 및 다른 부분에 있는 매크로블록의 모션 벡터의 길이는 상이한 가중치를 갖고, 현저한 대상 그룹을 포함하는 프레임 내의 매크로블록의 모션 벡터의 가중된 평균 길이가 제 1 임계치보다 작은 경우, 저속 모션 모드에서 제 2 사이즈의 디스플레이 상에 현저한 대상 그룹을 디스플레이하고, 그렇지 않으면 고속 모션 모드에서 대상 그룹을 디스플레이하는, 비디오 표현 장치.
  18. 제 17 항에 있어서,
    제 1 사이즈의 비디오의 프레임으로부터 현저한 대상을 추출하기 위한 콘텐츠 분석 모듈을 추가로 포함하는, 비디오 표현 장치.
  19. 삭제
  20. 제 17 항에 있어서,
    제 2 사이즈의 디스플레이 상에 디스플레이될 영역을 결정하는 정지 포커스 모듈을 추가로 포함하는, 비디오 표현 장치.
  21. 제 20 항에 있어서,
    비디오의 결함을 부드럽게 하고 제거하는 공간-시간적 처리 모듈을 추가로 포함하는, 비디오 표현 장치.
  22. 삭제
KR1020097004095A 2006-09-01 2007-09-03 적응형 비디오 표현을 위한 방법 및 디바이스 KR101414669B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2006/002261 WO2008028334A1 (en) 2006-09-01 2006-09-01 Method and device for adaptive video presentation
CNPCT/CN2006/002261 2006-09-01
PCT/CN2007/002632 WO2008040150A1 (en) 2006-09-01 2007-09-03 Method and device for adaptive video presentation

Publications (2)

Publication Number Publication Date
KR20090045288A KR20090045288A (ko) 2009-05-07
KR101414669B1 true KR101414669B1 (ko) 2014-07-03

Family

ID=39156807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097004095A KR101414669B1 (ko) 2006-09-01 2007-09-03 적응형 비디오 표현을 위한 방법 및 디바이스

Country Status (6)

Country Link
US (1) US8605113B2 (ko)
EP (1) EP2057531A4 (ko)
JP (2) JP2010503006A (ko)
KR (1) KR101414669B1 (ko)
CN (1) CN101535941B (ko)
WO (2) WO2008028334A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009066783A1 (en) * 2007-11-22 2009-05-28 Semiconductor Energy Laboratory Co., Ltd. Image processing method, image display system, and computer program
JP5182202B2 (ja) * 2009-04-14 2013-04-17 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP5489557B2 (ja) * 2009-07-01 2014-05-14 パナソニック株式会社 画像符号化装置及び画像符号化方法
JP5421727B2 (ja) * 2009-10-20 2014-02-19 キヤノン株式会社 画像処理装置およびその制御方法
US8520975B2 (en) * 2009-10-30 2013-08-27 Adobe Systems Incorporated Methods and apparatus for chatter reduction in video object segmentation using optical flow assisted gaussholding
EP2530642A1 (en) * 2011-05-31 2012-12-05 Thomson Licensing Method of cropping a 3D content
US9300933B2 (en) * 2013-06-07 2016-03-29 Nvidia Corporation Predictive enhancement of a portion of video data rendered on a display unit associated with a data processing device
KR101724555B1 (ko) * 2014-12-22 2017-04-18 삼성전자주식회사 부호화 방법 및 장치와 복호화 방법 및 장치
US11115666B2 (en) 2017-08-03 2021-09-07 At&T Intellectual Property I, L.P. Semantic video encoding
JP2019149785A (ja) * 2018-02-28 2019-09-05 日本放送協会 映像変換装置及びプログラム
US11244450B2 (en) * 2019-08-19 2022-02-08 The Penn State Research Foundation Systems and methods utilizing artificial intelligence for placental assessment and examination
CN110602527B (zh) * 2019-09-12 2022-04-08 北京小米移动软件有限公司 视频处理方法、装置及存储介质
US11640714B2 (en) * 2020-04-20 2023-05-02 Adobe Inc. Video panoptic segmentation
CN113535105B (zh) * 2021-06-30 2023-03-21 北京字跳网络技术有限公司 媒体文件处理方法、装置、设备、可读存储介质及产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199102A (ja) 2001-12-25 2003-07-11 Matsushita Electric Ind Co Ltd 映像符号化装置
JP2006196960A (ja) 2005-01-11 2006-07-27 Canon Inc 動画データ受信装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5960126A (en) * 1996-05-22 1999-09-28 Sun Microsystems, Inc. Method and system for providing relevance-enhanced image reduction in computer systems
US6108041A (en) * 1997-10-10 2000-08-22 Faroudja Laboratories, Inc. High-definition television signal processing for transmitting and receiving a television signal in a manner compatible with the present system
GB2371459B (en) * 2001-01-19 2005-05-04 Pixelfusion Ltd Image scaling
GB2382940A (en) 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
US7263660B2 (en) * 2002-03-29 2007-08-28 Microsoft Corporation System and method for producing a video skim
US7035435B2 (en) * 2002-05-07 2006-04-25 Hewlett-Packard Development Company, L.P. Scalable video summarization and navigation system and method
AU2003228063A1 (en) * 2002-06-03 2003-12-19 Koninklijke Philips Electronics N.V. Adaptive scaling of video signals
US6928186B2 (en) 2002-06-21 2005-08-09 Seiko Epson Corporation Semantic downscaling and cropping (SEDOC) of digital images
JP2004140670A (ja) * 2002-10-18 2004-05-13 Sony Corp 画像処理装置および方法、画像表示装置および方法、画像配信装置および方法、並びにプログラム
KR20050119689A (ko) * 2003-04-10 2005-12-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간 이미지 변환
CN1233161C (zh) * 2003-09-29 2005-12-21 上海交通大学 用于视频图像格式转换的运动自适应模块实现方法
JP2005269016A (ja) * 2004-03-17 2005-09-29 Tama Tlo Kk 選択的解像度変換装置
JP2005292691A (ja) * 2004-04-05 2005-10-20 Matsushita Electric Ind Co Ltd 動画像表示装置および動画像表示方法
US7696988B2 (en) * 2004-04-09 2010-04-13 Genesis Microchip Inc. Selective use of LCD overdrive for reducing motion artifacts in an LCD device
US7542613B2 (en) * 2004-09-21 2009-06-02 Sanyo Electric Co., Ltd. Image processing apparatus
US7505051B2 (en) * 2004-12-16 2009-03-17 Corel Tw Corp. Method for generating a slide show of an image
US20060227153A1 (en) * 2005-04-08 2006-10-12 Picsel Research Limited System and method for dynamically zooming and rearranging display items

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199102A (ja) 2001-12-25 2003-07-11 Matsushita Electric Ind Co Ltd 映像符号化装置
JP2006196960A (ja) 2005-01-11 2006-07-27 Canon Inc 動画データ受信装置

Also Published As

Publication number Publication date
JP2014139681A (ja) 2014-07-31
US20090244093A1 (en) 2009-10-01
WO2008028334A1 (en) 2008-03-13
EP2057531A1 (en) 2009-05-13
CN101535941B (zh) 2013-07-03
CN101535941A (zh) 2009-09-16
KR20090045288A (ko) 2009-05-07
US8605113B2 (en) 2013-12-10
EP2057531A4 (en) 2017-10-25
JP2010503006A (ja) 2010-01-28
WO2008040150A1 (en) 2008-04-10

Similar Documents

Publication Publication Date Title
KR101414669B1 (ko) 적응형 비디오 표현을 위한 방법 및 디바이스
JP2010503006A5 (ko)
EP2413597B1 (en) Thumbnail generation device and method of generating thumbnail
US7715475B1 (en) Content adaptive video encoder
US6930687B2 (en) Method of displaying a digital image
US8064656B2 (en) Image processing apparatus, imaging apparatus, image processing method, and computer program
US9602699B2 (en) System and method of filtering noise
JP5305557B2 (ja) 受信器で視聴覚的記録を見る方法及びそのような記録を見るための受信器
CN101114343A (zh) 图像处理装置和方法以及程序
KR100866201B1 (ko) 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출방법
JP2006525755A (ja) ビデオコンテンツを閲覧する方法及びシステム
EP2577663A2 (en) Method for determining key video frames
KR20070120403A (ko) 영상 편집장치 및 방법
JPH0993588A (ja) 動画像処理方法
JP3329408B2 (ja) 動画像処理方法および装置
JP2003061038A (ja) 映像コンテンツ編集支援装置および映像コンテンツ編集支援方法
CN111615008B (zh) 基于多设备体验的智能摘要生成和字幕阅读系统
CN113365130B (zh) 直播显示方法、直播视频获取方法及相关装置
JP2004080156A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム
Elliot Multiple views of digital video
JP2003143546A (ja) フットボールビデオ処理方法
JP2005191770A (ja) ハイライト静止画生成・配信装置
KR101481689B1 (ko) 숫자정보를 이용한 멀티미디어 컨텐츠 탐색방법 및 장치
WO2009024966A2 (en) Method for adapting media for viewing on small display screens
JP2009246829A (ja) 動画像シーン分割装置および動画像シーン分割方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 5