KR20060029137A

KR20060029137A - 미디어 데이터 표시 장치, 미디어 데이터 표시 방법 및미디어 데이터 표시 프로그램

Info

Publication number: KR20060029137A
Application number: KR1020057023741A
Authority: KR
Inventors: 다다마사 도마; 요시노리 마츠이
Original assignee: 마쯔시다덴기산교 가부시키가이샤
Priority date: 2003-07-11
Filing date: 2004-06-23
Publication date: 2006-04-04
Also published as: JP2005049834A; CN1823368A; EP1647968A4; EP1647968A1; US20060139379A1; WO2005006305A1

Abstract

본 발명은, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 다양한 표시 방법으로 표시 화면에 표시하는 미디어 데이터 표시 장치, 미디어 데이터 표시 방법 및 미디어 데이터 표시 프로그램을 제공하는 것이다. 미디어 데이터 표시 장치(85)는, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 장치로서, 스케일링 판정부(87)와, 스케일링부(89)와, 표시부(19)를 구비하고 있다. 스케일링 판정부(87)는, 동화상을 화상 사이즈를 변경하여 표시할지, 화상 사이즈를 변경하지 않고 표시할지의 판정을 행한다. 스케일링부(89)와 표시부(19)는, 멀티미디어 데이터를 표시하는 수단으로서, 스케일링 판정부(87)의 판정 결과에 기초하여, 스케일링을 행하는지 아닌지를 전환하여 표시한다.

Description

미디어 데이터 표시 장치, 미디어 데이터 표시 방법 및 미디어 데이터 표시 프로그램{MEDIUM DATA DISPLAY DEVICE, MEDIUM DATA DISPLAY METHOD, AND MEDIUM DATA DISPLAY PROGRAM}

본 발명은, 미디어 데이터 표시 장치, 미디어 데이터 표시 방법 및 미디어 데이터 표시 프로그램, 특히, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 장치, 미디어 데이터 표시 방법 및 미디어 데이터 표시 프로그램에 관한 것이다.

최근, 인터넷 등의 통신망을 통해서, 비디오, 오디오 혹은 텍스트 데이터 등을 배송하는 기술의 개발이 행해지고 있다. 예를 들면, 디지털화된 비디오, 오디오 혹은 텍스트 데이터 등을 RTP(Real time Transport Protocol), HTTP/TCP(Hyper Text Transport Protocool, Transmission Control Protocol) 등의 통신 프로토콜에 따라서 패킷화하여 전송하는 방식이다. 영상 음성의 부호화 방식으로서 MPEG-4를 이용하고, 파일 형식으로서 MP4(ISO/IEC 14496-1 : 2001) 파일을 이용한 비디오, 오디오 혹은 텍스트 데이터 등의 배송에 대한 종래 기술(예를 들면, 일본국 특개 2002-199370호 공보(제6페이지) 참조)이 알려져 있다. 또한, RTP이나 TS(Transport Stream, 디지털 방송에서 사용)의 경우에는 MP4 파일은 그대로 전송 되지 않고 부호화 데이터 그 자체가 패킷화되어 전송되지만, HTTP/TCP의 경우에는 MP4 파일이 그대로 전송된다.

종래, MP4 파일에 다중화된 비디오를 표시할 때에는, MP4 파일이 갖는 비디오의 표시 영역 사이즈와 비디오의 화상 사이즈에 기초하여 표시가 행해진다. 즉, 비디오의 표시 영역 사이즈와 비디오의 화상 사이즈가 다른 경우에, 비디오의 화상 사이즈를 비디오의 표시 영역 사이즈로 스케일링하여 표시하는 것이 필요해지고 있다.

도 29∼도 32를 이용하여, MP4 파일의 구조에 대해서 설명하면서, 비디오의 표시 영역 사이즈와 비디오의 화상 사이즈에 대해서 설명을 더한다.

도 29는, MP4 파일의 파일 구조를 설명하는 설명도이다. MP4 파일은, Box라고 불리는 오브젝트의 집합체이다. Box는, 계층적으로 배치되고(도 29(a) 참조), 각각의 Box는, [size], [type] 및 [데이터]로 구성된다(도 29도(b) 참조). [size]는, Box의 데이터 사이즈를 나타낸다. [type]은, Box를 식별하는 알파벳 4문자(예를 들면, 후술하는 'moov' 혹은 'trak' 등)를 격납한다. [데이터]는, [type]에 대응한 데이터를 격납한다. 또, 대부분의 Box에서는, 또한 [version] 및 [flags]를 격납하고 있다(도 29(c) 참조). 이 데이터 구조에 의해, 인식할 수 없는 [type]의 Box가 취득되어도, 그 Box를 무시하고 스킵하여, 처리를 진행시키는 것이 가능해지고 있다.

도 30은, MP4 파일의 데이터 격납 방법을 설명하는 설명도이다. MP4 파일은, File Type Box(이하, 'ftyp'라고 한다), Movie Box(이하, 'moov'라고 한다) 및 Media Data Box(이하, 'mdat'라고 한다)를 구비하고 있다.

'ftyp'는, MP4 파일의 선두에 배치되어, MP4 파일이 준거하는 스펙을 나타내는 식별자([major_brand] 혹은 [compatible_brand] 등)를 나타낸다. 예를 들면, 3GPP(Third Generation Partnership Project) 규격 준거의 경우에는, [3gp4] 혹은 [3gp5]가 사용된다. 'moov'는, 헤더 정보를 격납하여, MP4 파일에 1개 구비된다. 구체적으로는, 'moov'는, MP4 파일에 포함되는 미디어의 재생에 관계된 정보(타임 스케일, 듀레이션 등)를 격납한 Movie Header Box(이하, 'mvhd'라고 한다)(도시하지 않음)와, 미디어마다의 헤더 정보(프레임 사이즈, 프레임 듀레이션, 초기화 정보, 데이터 격납 장소 등)를 격납한 Track Box(이하, 'trak'라고 한다)를 갖고 있다. 예를 들면, 오디오와 비디오를 포함하는 MP4 파일에서는, 오디오용, 비디오용가 같은 미디어마다 독립한 'trak'가 존재한다. 'mdat'는, 각 미디어의 데이터를 샘플이라고 불리는 미디어의 재생 단위(예를 들면, 비디오이면 프레임 등)로 격납한다. 'mdat' 내에서의 샘플의 격납 위치는, 'moov'에 의해 지정된다. 이하에서는, 각 미디어의 헤더 정보는 모두 'moov'에 격납되는 구조를 갖는 MP4 파일에 대해서 설명한다. 또한, MP4에서는, 미디어 데이터를 복수의 구간으로 분할하고, 분할한 단위마다 헤더 정보를 부가해 가는 구조(프래그먼트라고 불린다)도 정의되어 있지만, 여기에서는 설명을 생략한다.

도 31은, 'trak'의 구조를 설명하는 설명도이다. 'trak'는, Track Header Box(이하, 'tkhd'라고 한다) 및 Media Box(이하, 'mdia'라고 한다)를 갖고 있다.

'tkhd'는, 비디오이면 비디오 표시 영역의 사이즈(Wp, Hp)를 구비하고 있고, 텍스트이면 비디오 표시 영역의 좌측 위쪽의 점을 기준으로 하여 표현한, 텍스트 표시 영역의 좌측 위쪽의 점의 좌표(Tx, Ty) 및 텍스트 표시 영역의 사이즈(Wt, Ht)를 구비하고 있다. 여기에서, 도 32에, 비디오 표시 영역(300)과 텍스트 표시 영역(301)의 위치 관계를 도시한다. 표시 화면(302) 중에, 비디오 표시 영역(300)이 설정되어 있다. 비디오 표시 영역(300)은, 사이즈(Wp, Hp)를 갖고 있다. 텍스트 표시 영역(301)은, 비디오 표시 영역(300)의 좌측 위쪽의 점을 기준으로 한 좌표(Tx, Ty)에서, 사이즈(Wt, Ht)를 갖고 있다.

'mdia'(도 31 참조)는, media Header Box(이하, 'mdhd'라고 한다)(도시하지 않음), Handler Reference Box(이하, 'hdlr'라고 한다) 및 Medai Information Box(이하, 'minf'라고 한다)를 갖고 있다. 'mdhd'는, 'trak'에 격납되는 미디어의 재생에 관계된 정보(타임 스케일, 듀레이션 등)를 격납한다. 'hdlr'는 'trak'에 격납되는 미디어의 종류를 나타내는 식별자(비디오[vide], 오디오[soun], 텍스트[text] 등의 handler_type)를 격납한다. MP4 파일의 재생시에는, 'hdlr'를 참조함으로써, 'trak'에 격납되는 미디어의 종류를 판별한다.

'minf'는, Video Media Header Box(이하, 'vmhd'라고 한다)(도시하지 않음), Data Information Box(이하, 'dinf'라고 한다)(도시하지 않음) 및 Sample Table Box(이하, 'stbl'라고 한다) 등을 격납하고 있다. 'vmhd'는, 비디오의 표시에 관계된 기본적인 정보를 갖고 있다. 'dinf'는, 'trak'에 격납되는 미디어의 정보의 격납 위치를 나타내는 Data Reference Box(이하, 'dref'라고 한다)(도시하지 않음) 등을 갖고 있다.

'stbl'는, Sample Size Box(이하, 'stsz'라고 한다), Decoding Time to Sample Box(이하, 'stts'라고 한다), Sample Description Box.(이하, 'stsd'라고 하다), Sample To Chunk Box(이하, 'stsc'라고 한다)(도시하지 않음) 및 Chunk Offset Box(이하, 'stco'라고 한다)(도시하지 않음) 등을 갖고 있다.

'stsz'는, 샘플마다의 사이즈를 격납하고 있다. 'stts'는, 샘플마다의 재생 시간 길이를 격납하고 있다. 'stsd'는, 비디오이면, Visual Sample Entry라고 불리는 샘플의 재생 정보를 격납하고 있다. Visual Sample Entry는, 예를 들면, 비디오의 화상 사이즈(Wv, Hv) 등을 격납하고 있다. 'stsc'는, Visual Sample Entry와 각 샘플을 관련시키는 정보를 격납하고 있다.

도 33에, 상기에서 설명한 MP4 파일의 데이터 구조를 정리하여 도시한다. 비디오의 표시 영역 사이즈(Wp, Hp)와 비디오의 화상 사이즈(Wv, Hv)는, 각각 'tkhd' 및 'stsd'의 [데이터]로서 격납되어 있다.

도 34 및 도 35를 이용하여, 종래의 비디오의 스케일링 표시에 대해서 설명한다.

도 34는, 종래의 MP4 파일의 미디어 데이터 표시 장치(10)의 구조를 설명하는 블록도이다. 미디어 데이터 표시 장치(10)는, 예를 들면, 서버에 축적된 MP4 파일을 HTTP에 의해 다운로드하여 재생하는 장치나, SD 카드 등의 기록 매체에 축적된 MP4 파일을 재생하는 장치로서, 텔레비전, 퍼스널 컴퓨터(PC), 휴대전화, 혹은 그 밖의 화상 신호를 표시 가능한 장치에서 구비되어 있다. 미디어 데이터 표시 장치(10)는, 데이터 취득부(11)와 헤더 분리부(12)와 샘플 정보 취득부(13)와 샘플 취득부(14)와 복호부(15)와 프레임 메모리(16)와 기본 표시 정보 취득부(17)와 스케일링부(18)와 표시부(19)를 구비하고 있다.

데이터 취득부(11)는, MP4 파일을 취득한다. 헤더 분리부(12)는, MP4 파일로부터, 'stts', 'stsc', 'stsz' 및 'stco' 등의 샘플에 관한 정보와, 'tkhd' 및 'stsd' 등의 표시에 관한 정보를 분리한다. 샘플 정보 취득부(13)는, 'stts', 'stsc', 'stsz' 및 'stco' 등의 샘플에 관한 정보를 취득한다. 샘플 취득부(14)는, 샘플 정보 취득부(13)가 취득한 샘플에 관한 정보로부터, 샘플의 사이즈, 격납 위치, 복호·표시 시간 등을 취득한다. 또한, 샘플 정보 취득부(13)에서 취득한 정보에 기초하여, 데이터 취득부(11)에 샘플의 데이터를 요구한다. 복호부(15)는, 샘플 취득부(14)가 취득한 샘플의 데이터를 샘플마다 복호화한다. 프레임 메모리(16)는, 복호화된 샘플의 데이터를, 예를 들면, 프레임마다 기억한다. 기본 표시 정보 취득부(17)는, 'tkhd' 및 'stsd' 등의 표시에 관한 정보를 취득한다. 여기에서, 'tkhd'에는, 비디오의 표시 영역 사이즈(Wp, Hp)가 포함되어 있고, 'stsd'에는, 비디오의 화상 사이즈(Wv, Hv)가 포함되어 있다.

스케일링부(18)는, 기본 표시 정보 취득부(17)로부터 비디오의 표시 영역 사이즈(Wp, Hp) 및 비디오의 화상 사이즈(Wv, Hv)를 취득한다. 또한, 프레임 메모리(16)가 기억하는 화상 사이즈(Wv, Hv)의 프레임 데이터를 표시 영역 사이즈(Wp, Hp)로 fill 모드로 스케일링한다. 표시부(19)는, 스케일링부(18)로부터 비디오의 표시 영역 사이즈(Wp, Hp) 및 스케일링 후의 프레임 데이터를 취득하여, 비디오의 표시용 데이터를 표시용 메모리(도시하지 않음) 등에 기입한다.

도 35는, 스케일링에 대해서 설명하는 설명도이다. 프레임 메모리(16)가 기억하는 프레임 데이터(305)의 화상 사이즈(Wv, Hv)와 기본 표시 정보 취득부(17)가 취득하는 표시 영역 사이즈(Wp, Hp)가 다른 경우에, 프레임 데이터(305)는, 비디오 표시 영역(300)에 fill 모드로 스케일링된다.

종래의 미디어 데이터 표시 장치(10)에서는, 비디오는, 'tkhd'로 표시되는 비디오의 표시 영역 사이즈(Wp, Hp)로 스케일링되어 표시된다. 이 때문에, 표시가 획일적으로 되어, 다양한 표시 방법을 실현하는 것이 어렵다. 또, 종래의 미디어 데이터 표시 장치(10)에서는, 비디오의 표시시에, 1초당 수∼수십회의 스케일링이 필요해져, CPU로의 부하가 높고, 전력 소비도 높으며, 특히, 저소비 전력, 저처리량이 요구되는 휴대 단말에서는 문제가 된다.

본 발명의 과제는, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 다양한 표시 방법으로 표시 화면에 표시하는 미디어 데이터 표시 장치, 미디어 데이터 표시 방법 및 미디어 데이터 표시 프로그램을 제공하는 것을 과제로 한다.

본 발명의 다른 과제는, 단말의 능력, 사용시 등의 조건에 따라서 표시 방법을 전환하는 미디어 데이터 표시 장치, 미디어 데이터 표시 방법 및 미디어 데이터 표시 프로그램을 제공하는 것을 과제로 한다.

청구항 1에 기재된 미디어 데이터 표시 장치는, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 장치로서, 스케일링 판정 수단과, 미디어 데이터 표시 수단을 구비하고 있다. 스케일링 판정 수단은, 동화상을 화상 사이즈를 변경하여 표시할지, 화상 사이즈를 변경하지 않고 표시할지의 판정을 행한다. 미디어 데이터 표시 수단은, 멀티미디어 데이터를 표시하는 수단으로서, 스케일링 판정 수단의 판정 결과에 기초하여, 스케일링을 행하는지 아닌지를 전환하여 표시한다.

여기에서, 멀티미디어 데이터란, 예를 들면, 비디오, 오디오, 텍스트 혹은 정지화상 등을 다중하여 격납하는 MP4 파일 등이다(이하, 이 란에서 동일).

본 발명의 미디어 데이터 표시 장치에서는, 스케일링 판정 수단이 스케일링 표시할지의 여부의 판정을 행하기 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것이 아니라, 멀티미디어 데이터의 작성자가 의도하는 사이즈로 표시된다. 또, 스케일링 표시하지 않고 동화상의 표시를 행하는 것도 가능하고, 그 경우에는 장치로의 처리 부하가 경감된다.

청구항 2에 기재된 미디어 데이터 표시 장치는, 청구항 1에 기재된 미디어 데이터 표시 장치로서, 스케일링 판정 수단은, 멀티미디어 데이터가 갖는 스케일링 판정 정보에 기초하여, 판정을 행한다.

본 발명의 미디어 데이터 표시 장치에서는, 스케일링 판정 정보에 기초하여, 스케일링 판정 수단이 스케일링의 유무를 결정한다. 여기에서, 스케일링 판정 정보에는, 멀티미디어 데이터의 작성자의 스케일링 표시에 대한 의도가 나타나 있기 때문에, 동화상은 멀티미디어 데이터의 작성자의 의도를 반영하여 표시된다.

청구항 3에 기재된 미디어 데이터 표시 장치는, 청구항 2에 기재된 미디어 데이터 표시 장치로서, 스케일링 판정 정보는, 스케일링을 행하는지 아닌지를 나타내는 플래그 정보이다.

본 발명의 미디어 데이터 표시 장치에서는, 플래그 정보에 기초하여, 스케일링 판정 수단이 스케일링의 유무를 결정한다.

청구항 4에 기재된 미디어 데이터 표시 장치는, 청구항 1에 기재된 미디어 데이터 표시 장치로서, 스케일링 판정 수단은, 탑재된 배터리의 잔량에 기초하여, 판정을 행한다. 스케일링 판정 수단은, 예를 들면, 배터리 잔량이 적은 경우, 스케일링 표시를 행하지 않는다.

본 발명의 미디어 데이터 표시 장치에서는, 배터리 잔량에 따라서, 스케일링 표시를 행하는지 아닌지를 판정하기 때문에, 예를 들면, 배터리 잔량이 적은 경우에 스케일링 표시를 행하지 않는다고 하면, 전력의 소비를 억제할 수 있어, 그 결과 미디어 데이터 표시 장치의 사용 시간을 연장시키는 것이 가능해진다.

청구항 5에 기재된 미디어 데이터 표시 장치는, 청구항 1에 기재된 미디어 데이터 표시 장치로서, 스케일링 판정 수단은, 동화상을 화상 사이즈를 변경하여 표시할지, 화상 사이즈를 변경하지 않고 표시할지를 설정시키는 스케일링 설정 수단을 갖고 있다. 여기에서, 스케일링 설정 수단은, 예를 들면, 스케일링의 유무를 직접 지정시키는 것이어도 되고, 미디어 데이터 표시 장치의 동작 설정을 행하게 하여, 간접적으로 스케일링의 유무를 지정시키는 것이어도 된다.

본 발명의 미디어 데이터 표시 장치에서는, 스케일링 설정 수단에 대한 사용자의 설정에 따라서, 스케일링 판정 수단이 스케일링 표시를 행하는지 아닌지를 판정하기 때문에, 동화상은 사용자의 스케일링에 대한 의도를 반영하여 표시된다.

청구항 6에 기재된 미디어 데이터 표시 장치는, 청구항 1에 기재된 미디어 데이터 표시 장치로서, 스케일링 판정 수단은, 동화상의 속성에 기초하여, 판정을 행한다. 여기에서, 동화상의 속성이란, 예를 들면, 동화상의 화상 사이즈나 프레임 레이트 등이다.

본 발명의 미디어 데이터 표시 장치에서는, 예를 들면, 프레임 레이트가 높은 것 등, 미디어 데이터 표시 장치의 처리 부하가 높은 경우에, 스케일링 판정 수단이 스케일링을 행하지 않는다고 결정한다. 이것에 의해, 미디어 데이터 표시 장치에 과잉의 처리 부하가 걸리는 것이 방지된다.

청구항 7에 기재된 미디어 데이터 표시 장치는, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 장치로서, 스케일링 수단과, 미디어 데이터 표시 수단을 구비하고 있다. 스케일링 수단은, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역에 대해서 동화상을 스케일링하는 방식을 지정하는 스케일링 지정 정보에 기초하여, 동화상의 스케일링을 행한다. 미디어 데이터 표시 수단은, 멀티미디어 데이터를 표시하는 수단으로서, 스케일링 수단에 의해 스케일링된 동화상을 동화상 표시 영역 내에 표시한다.

본 발명의 미디어 데이터 표시 장치에서는, 지정된 스케일링 방식에 의해 스케일링 수단이 동화상의 스케일링을 행하기 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것이 아니라, 다양한 방식으로 스케일링 표시된다.

청구항 8에 기재된 미디어 데이터 표시 장치는, 청구항 7에 기재된 미디어 데이터 표시 장치로서, 스케일링 수단은, 멀티미디어 데이터로부터 스케일링 지정 정보를 취득한다.

여기에서, 스케일링 지정 정보란, 예를 들면, 채용되는 스케일링의 방식을 나타내는 플래그 정보나, 채용되는 스케일링의 방식을 나타내는 번호 정보 등이다.

본 발명의 미디어 데이터 표시 장치에서는, 스케일링 수단이 멀티미디어 데이터로부터 스케일링 지정 정보를 취득하기 때문에, 동화상은 멀티미디어 데이터의 작성자의 의도를 반영하여 스케일링 표시된다.

청구항 9에 기재된 미디어 데이터 표시 장치는, 청구항 7 또는 8에서, 동화상을 화상 사이즈를 변경하여 표시할지, 화상 사이즈를 변경하지 않고 표시할지의 판정을 행하는 스케일링 판정 수단을 더 구비하고 있다. 미디어 데이터 표시 수단은, 스케일링 판정 수단의 판정 결과에 기초하여, 스케일링을 행하는지 아닌지를 전환하여 표시한다.

청구항 10에 기재된 미디어 데이터 표시 장치는, 청구항 7에 기재된 미디어 데이터 표시 장치로서, 스케일링 지정 정보를 설정시키는 스케일링 방식 설정 수단을 더 구비한다.

본 발명의 미디어 데이터 표시 장치에서는, 스케일링 방식 설정 수단에 의해 스케일링 방식이 설정되기 때문에, 동화상은, 미디어 데이터 표시 장치의 사용자의 의도를 반영하여 스케일링 표시된다.

청구항 11에 기재된 미디어 데이터 표시 방법은, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법으로서, 스케일링 판정 단계와, 미디어 데이터 표시 단계를 구비하고 있다. 스케일링 판정 단계는, 동화상을 화상 사이즈를 변경하여 표시할지, 화상 사이즈를 변경하지 않고 표시할지의 판정을 행한다. 미디어 데이터 표시 단계는, 멀티미디어 데이터를 표시하는 단계로서, 스케일링 판정 단계의 판정 결과에 기초하여, 동화상을 표시한다.

본 발명의 미디어 데이터 표시 방법에서는, 스케일링 판정 단계에서 스케일링 표시할지의 여부의 판정을 행하기 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것은 아니라, 멀티미디어 데이터의 작성자가 의도하는 사이즈로 표시된다. 또, 스케일링하지 않고 동화상의 표시를 행하는 것도 가능하고, 그 경우에는 처리 부하가 경감된다.

청구항 12에 기재된 미디어 데이터 표시 방법은, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법으로서, 스케일링 단계와, 미디어 데이터 표시 단계를 구비하고 있다. 스케일링 단계는, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역에 대해서 동화상을 스케일링하는 방식을 지정하는 스케일링 지정 정보에 기초하여, 동화상의 스케일링을 행한다. 미디어 데이터 표시 단계는, 멀티미디어 데이터를 표시하는 단계로서, 스케일링 단계에 의해 스케일링된 동화상을 동화상 표시 영역 내에 표시한다.

본 발명의 미디어 데이터 표시 방법에서는, 지정된 스케일링 방식에 의해 스케일링 단계에서 동화상의 스케일링을 행한다. 이 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것이 아니라, 다양한 방식으로 스케일링 표시된다.

청구항 13에 기재된 미디어 데이터 표시 프로그램은, 컴퓨터에 의해, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법을 행하기 위한 미디어 데이터 표시 프로그램으로서, 미디어 데이터 표시 프로그램은, 컴퓨터에, 스케일링 판정 단계와, 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법을 행하게 한다. 스케일링 판정 단계는, 동화상을 화상 사이즈를 변경하여 표시할지, 화상 사이즈를 변경하지 않고 표시할지의 판정을 행한다. 미디어 데이터 표시 단계는, 멀티미디어 데이터를 표시하는 단계로서, 스케일링 판정 단계의 판정 결과에 기초하여, 동화상을 표시한다.

본 발명의 미디어 데이터 표시 프로그램에서는, 스케일링 판정 단계에서 스케일링 표시할지의 여부의 판정을 행하기 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것이 아니라, 멀티미디어 데이터의 작성자가 의도하는 사이즈로 표시된다. 또, 스케일링하지 않고 동화상의 표시를 행하는 것도 가능하고, 그 경우에는 처리 부하가 경감된다.

청구항 14에 기재된 미디어 데이터 표시 프로그램은, 컴퓨터에 의해, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법을 행하기 위한 미디어 데이터 표시 프로그램으로서, 미디어 데이터 표시 프로그램은, 컴퓨터에, 스케일링 단계와, 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법을 행하게 한다. 스케일링 단계는, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역에 대해서 동화상을 스케일링하는 방식을 지정하는 스케일링 지정 정보에 기초하여, 동화상의 스케일링을 행한다. 미디어 데이터 표시 단계는, 멀티미디어 데이터를 표시하는 단계로서, 스케일링 단계에 의해 스케일링된 동화상을 동화상 표시 영역 내에 표시한다.

본 발명의 미디어 데이터 표시 프로그램에서는, 지정된 스케일링 방식에 의해 스케일링 단계에서 동화상의 스케일링을 행한다. 이 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것이 아니라, 다양한 방식으로 스케일링 표시된다.

이상에 기재된 본 발명에 의해, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 다양한 표시 방법으로 표시 화면에 표시하는 미디어 데이터 표시 장치, 미디어 데이터 표시 방법 및 미디어 데이터 표시 프로그램이 제공된다.

또, 이상에 기재된 본 발명에 의해, 단말의 능력, 사용시 등의 조건에 따라서 표시 방법을 전환하는 미디어 데이터 표시 장치, 미디어 데이터 표시 방법 및 미디어 데이터 표시 프로그램이 제공된다.

도 1은, 본 발명에 따른 제1 실시 형태로서의 미디어 데이터 표시 장치의 블록 구성도이다.

도 2는, 표시용 데이터에 있어서의 프레임 데이터와 비디오 표시 영역의 관계를 도시하는 도면이다(제1 실시 형태).

도 3은, 미디어 데이터 표시 방법을 도시하는 흐름도이다(제1 실시 형태).

도 4는, 본 발명에 따른 제2 실시 형태로서의 미디어 데이터 표시 장치의 블록 구성도이다.

도 5는, 'stdc'의 신택스를 나타내는 도면이다(제2 실시 형태).

도 6은, 표시용 데이터에 있어서의 프레임 데이터와 비디오 표시 영역의 관계를 도시하는 도면이다(제2 실시 형태).

도 7은, 미디어 데이터 표시 방법을 도시하는 흐름도이다(제2 실시 형태).

도 8은, 표시용 데이터에 있어서의 프레임 데이터와 비디오 표시 영역의 관계를 도시하는 도면이다(제2 실시 형태).

도 9는, 표시용 데이터에 있어서의 프레임 데이터와 비디오 표시 영역의 관계를 도시하는 도면이다(제2 실시 형태).

도 10은, 제2 실시 형태의 변형예로서의 미디어 데이터 표시 장치의 블록 구성도이다.

도 11은, 표시용 데이터에 있어서의 프레임 데이터와 비디오 표시 영역의 관 계를 도시하는 도면이다(제2 실시 형태의 변형예).

도 12는, 제2 실시 형태의 변형예로서의 미디어 데이터 표시 장치의 블록 구성도이다(제2 실시 형태의 변형예).

도 13은, 표시용 데이터에 있어서의 프레임 데이터와 비디오 표시 영역의 관계를 도시하는 도면이다(제2 실시 형태의 변형예).

도 14는, 본 발명에 따른 제3 실시 형태로서의 미디어 데이터 표시 장치의 블록 구성도이다.

도 15는, 'stsl'의 신택스를 도시하는 도면이다(제3 실시 형태).

도 16은, 각종 스케일링 방법을 도시하는 도면이다(제3 실시 형태).

도 17은, 스케일링부의 동작을 설명하기 위한 도면이다(제3 실시 형태).

도 18은, 스케일링부의 동작을 설명하기 위한 도면이다(제3 실시 형태).

도 19는, 미디어 데이터 표시 방법을 도시하는 흐름도이다(제3 실시 형태).

도 20은, 'stsl'의 신택스를 도시하는 도면이다(제3 실시 형태).

도 21은, 제3 실시 형태의 변형예로서의 미디어 데이터 표시 장치의 블록 구성도이다.

도 22는, 'stsl'의 신택스를 도시하는 도면이다(제3 실시 형태).

도 23은, 콘텐츠 공급 시스템의 전체 구성을 도시하는 블록도이다(제4 실시 형태).

도 24는, 동화상 부호화 방법, 동화상 복호화 방법을 이용한 휴대전화의 예이다(제4 실시 형태).

도 25는, 휴대전화의 블록도이다(제4 실시 형태).

도 26은, 디지털 방송용 시스템의 예이다(제4 실시 형태).

도 27은, 'stsl'의 신택스를 도시하는 도면이다(기타).

도 28은, Visual Sample Entry로부터 표시 관련 정보를 취득하는 방법에 대해서 설명하는 설명도이다(기타).

도 29는, 종래 기술로서의 MP4 파일 구조이다.

도 30은, MP4 파일의 데이터 격납 방법이다(종래 기술).

도 31은, Track Box의 구조이다(종래 기술).

도 32는, 비디오 표시 영역과 텍스트 표시 영역의 위치 관계를 도시하는 도면이다(종래 기술).

도 33은, MP4 파일의 데이터 구조이다(종래 기술).

도 34는, 종래의 미디어 데이터 표시 장치의 블록 구성도이다(종래 기술).

도 35는, 스케일링을 설명하는 도면이다(종래 기술).

이하의 각 실시 형태에서는, 미디어 데이터 표시 장치에 의한 미디어 데이터 표시 방법을 설명한다. 또한, 이하의 각 실시 형태에서는 비디오를 예로 표시 방법의 설명을 행하지만, JPEG(Joint Photographic Experts Group) 등의 정지화상에 대해서도 동일한 표시 방법을 적용할 수 있다.

[제1 실시 형태]

도 1∼도 3을 이용하여, 본 발명의 제1 실시 형태에 대해서 설명한다.

도 1은, 본 발명의 제1 실시 형태로서의 미디어 데이터 표시 장치(20)의 구조를 설명하는 블록도이다. 미디어 데이터 표시 장치(20)는, 예를 들면, 서버에 축적된 MP4 파일(도 29∼도 33 참조. 이하,「발명의 실시 형태」에서 동일)을 HTTP에 의해 다운로드하여 재생하는 장치나 SD 카드 등의 기록 매체에 축적된 MP4 파일을 재생하는 장치로서, 텔레비전, 퍼스널 컴퓨터(PC), 휴대전화, 혹은 그 밖의 화상 신호를 표시 가능한 장치에서 구비되어 있다.

종래의 미디어 데이터 표시 장치(10)에서는, MP4 파일이 갖는 비디오는, 'stsd'가 격납하는 화상 사이즈(Wv, Hv)에 관계없이, 'tkhd'가 격납하는 표시 영역 사이즈(Wp, Hp)로 스케일링하여 표시된다. 한편, 미디어 데이터 표시 장치(20)는, 스케일링부(18)(도 34 참조)를 구비하지 않으며, MP4 파일이 갖는 비디오를 스케일링하지 않고 표시한다.

여기에서, MP4 파일은, 비디오 표시 영역의 사이즈를 미디어 데이터 표시 장치(20)에서 자유롭게 설정시키는 경우에는, 'tkhd'가 격납하는 표시 영역 사이즈(Wp, Hp)에 특별한 값(예를 들면, (Wp, Hp)=(0, 0) 등)을 격납하는 것으로 한다. 즉, MP4 파일이 표시 영역 사이즈(Wp, Hp)에 특별한 값을 갖는 경우에는, 비디오 표시 영역의 사이즈는, MP4 파일 중에서는 지정되지 않은 것을 나타내고 있다.

(1) 미디어 데이터 표시 장치(20)의 구성

도 1에 도시하는 본 발명의 미디어 데이터 표시 장치(20)에 있어서, 도 34에 도시하는 종래의 미디어 데이터 표시 장치(10)와 상위한 부분에 대해서 설명한다. 또한, 종래의 미디어 데이터 표시 장치(10)와 동일한 동작을 행하는 부분에 대해서 는, 같은 부호를 붙여, 설명을 생략한다.

미디어 데이터 표시 장치(20)는, 표시 영역 변환부(21)와 단말 표시 화면 사이즈 취득부(22)를 구비하고 있는 점에서 미디어 데이터 표시 장치(10)와 상위하다. 단말 표시 화면 사이즈 취득부(22)는, 표시부(19)가 출력하는 비디오의 표시용 데이터를 표시하는 표시 화면(도시하지 않음)의 표시 화면 사이즈(Wd, Hd)를 취득한다. 표시 영역 변환부(21)는, 기본 표시 정보 취득부(17)로부터, 'tkhd'가 격납하는 표시 영역 사이즈(Wp, Hp)를 취득한다. 또한, 표시 영역 변환부(21)는, 표시 영역 사이즈(Wp, Hp)의 값과, 표시 화면 사이즈(Wd, Hd)의 값에 기초하여, 비디오 표시 영역의 설정을 행한다. 표시부(19)는, 프레임 메모리(16)가 기억하는 비디오의 프레임 데이터를, 표시 영역 변환부(21)가 설정하는 비디오 표시 영역에서 표시하도록 표시용 데이터를 출력한다.

(2) 표시 영역 변환부(21)의 동작

표시 영역 변환부(21)의 비디오 표시 영역의 설정에 대해서, 더욱 상세하게 설명을 더한다.

표시 영역 변환부(21)는, 기본 표시 정보 취득부(17)에서 취득한 표시 영역 사이즈(Wp, Hp)가 특별한 값(0, 0)을 나타내지 않는 경우, 취득한 표시 영역 사이즈(Wp, Hp)를 비디오 표시 영역의 사이즈로서 설정한다.

한편, 표시 영역 변환부(21)는, 기본 표시 정보 취득부(17)에서 취득한 표시 영역 사이즈(Wp, Hp)가 특별한 값(0, 0)을 나타내는 경우, 표시 화면 사이즈(Wd, Hd)를 비디오 표시 영역의 사이즈로서 설정한다.

도 2를 이용하여, 표시용 데이터에 있어서의 프레임 데이터와 비디오 표시 영역의 관계에 대해서 설명한다. 프레임 데이터(24)는, 화상 사이즈(Wv, Hv)를 갖고 있고, 비디오 표시 영역(25)에서, 스케일링되지 않고 표시된다. 비디오 표시 영역(25)의 사이즈는, 표시 영역 변환부(21)에 의해 표시 영역 사이즈(Wp, Hp) 혹은 표시 화면 사이즈(Wd, Hd) 중 어느 하나로 설정되어 있다.

도 2에서는, 프레임 데이터(24)는 비디오 표시 영역(25)에 센터링되어 표시되어 있다. 여기에서, 프레임 데이터(24)의 비디오 표시 영역(25)에 대한 위치는, 표시부(19)에 의해 결정되어 있다.

(3) 미디어 데이터 표시 장치(20)에서의 미디어 데이터 표시 방법

도 3을 이용하여, 미디어 데이터 표시 장치(20)에서의 미디어 데이터 표시 방법에 대해서 설명한다.

표시 영역 변환부(21)는, 단말 표시 화면 사이즈 취득부(22)로부터 표시 화면 사이즈(Wd, Hd)를 취득한다(단계 S26). 또한, 표시 영역 변환부(21)는, 기본 표시 정보 취득부(17)로부터, 'tkhd'가 격납하는 표시 영역 사이즈(Wp, Hp)를 취득한다(단계 S27).

표시 영역 변환부(21)는, 기본 표시 정보 취득부(17)에서 취득한 표시 영역 사이즈(Wp, Hp)가 특별한 값(0, 0)을 나타내지 않는 경우(단계 S28), 취득한 표시 영역 사이즈(Wp, Hp)를 비디오 표시 영역의 사이즈로서 설정한다(단계 S29). 한편, 표시 영역 변환부(21)는, 기본 표시 정보 취득부(17)에서 취득한 표시 영역 사이즈(Wp, Hp)가 특별한 값(0, 0)을 나타내는 경우(단계 S28), 표시 화면 사이즈 (Wd, Hd)를 비디오 표시 영역의 사이즈로서 설정한다(단계 S30).

표시부(19)는, 프레임 메모리(16)가 기억하는 프레임 데이터를 스케일링하지 않고 비디오 표시 영역에 표시하도록 표시용 데이터를 출력한다(단계 S31).

(4) 미디어 데이터 표시 장치(20)의 효과

종래의 미디어 데이터 표시 장치(10)에서는, 비디오의 표시시에, 1초당 수∼수십회의 스케일링이 필요해져, CPU로의 부하가 높고, 전력 소비도 높다. 한편, 본원 발명의 실시 형태로서의 미디어 데이터 표시 장치(20)에서는, 스케일링을 필요로 하지 않고, 처리량의 저감 및 소비 전력의 저감이 실현 가능해진다. 이것은, 미디어 데이터 표시 장치(20)가 휴대 단말 등에서 구비되는 경우에 특히 유효한 효과가 된다.

또, 취득한 표시 영역 사이즈(Wp, Hp)가 특별한 값을 나타내는 경우에, 미디어 데이터 표시 장치(20)에서는, 비디오 표시 영역의 사이즈를 표시 화면의 크기에 따라서 설정하는 것이 가능해진다. 이 때문에, 적절한 크기로 비디오의 표시를 행하는 것이 가능해진다.

또, MPEG-4 AVC(Advanced Video Coding)에서는, 비디오의 도중에 프레임 데이터의 화상 사이즈(Wv, Hv)가 변화한다. 이와 같은 비디오를 표시할 때에, 미디어 데이터 표시 장치(20)에서는, 반드시 (Wp, Hp)에 스케일링할 필요가 없기 때문에, 프레임 데이터의 화상 사이즈(Wv, Hv)에 따른 표시를 행하는 것이 가능해진다.

(5) 미디어 데이터 표시 장치(20)의 변형예

본 발명은 상기 실시 형태에 한정되는 것이 아니라, 그 요지를 일탈하지 않 는 범위에서 여러 가지의 변형이 가능하다.

(5-1) 표시 영역 변환부(21)의 제1 변형예

(5-1-1)

기본 표시 정보 취득부(17)에서 취득한 표시 영역 사이즈(Wp, Hp)가 특별한 값(0, 0)을 나타내는 경우, 표시 영역 변환부(21)는, 표시 화면 사이즈(Wd, Hd)와 텍스트나 정지화상 등의 'trak'가 갖는 표시 영역 사이즈를 취득하여, 비디오 표시 영역의 사이즈를 설정하는 것이어도 된다.

이 경우, 다른 미디어의 표시 영역을 고려하여 비디오 표시 영역을 설정하는 것이 가능해진다.

(5-1-2)

기본 표시 정보 취득부(17)에서 취득한 표시 영역 사이즈(Wp, Hp)가 특별한 값(0, 0)을 나타내는 경우, 표시 영역 변환부(21)는, 미디어 데이터 표시 장치(20)의 처리 능력(CPU의 주파수, 메모리량, 데이터 전송 속도, 버스 속도)에 따라서, 비디오 표시 영역의 사이즈를 설정하는 것이어도 된다.

이 경우, 처리 능력에 여유가 있으면, 보다 넓은 영역에서 비디오의 표시를 행하는 것이 가능해진다.

(5-1-3)

기본 표시 정보 취득부(17)에서 취득한 표시 영역 사이즈(Wp, Hp)가 특별한 값(0, 0)을 나타내는 경우, 표시 영역 변환부(21)는, 미리 설정된 사이즈로 비디오 표시 영역을 설정하는 것이어도 된다. 구체적으로는, 미디어 데이터 표시 장치 (20)는, 유저에게 비디오 표시 영역의 사이즈를 설정시키는 사이즈 설정부를 더 구비하여, 설정된 사이즈로 비디오 표시 영역을 설정하거나, 혹은, 전력 절약 모드 등과 같은 미디어 데이터 표시 장치(20)의 동작 상황에 따라서 설정된 사이즈로 비디오 표시 영역을 설정하는 것이어도 된다.

이 경우, 유저가 의도하는 비디오의 표시를 행하는 것이 가능해진다.

(5-2) 표시 영역 변환부(21)의 제2 변형예

기본 표시 정보 취득부(17)에서 취득한 표시 영역 사이즈(Wp, Hp)가 특별한 값(0, 0)을 나타내지 않는 경우로서, 표시 영역 사이즈(Wp, Hp)와 표시 화면 사이즈(Wd, Hd)가 다른 사이즈인 경우에, 표시 영역 변환부(21)는, 표시 화면 사이즈(Wd, Hd)로 비디오 표시 영역의 사이즈를 설정하는 것이어도 된다.

이 경우, 항상 표시 화면에 대해서 적절한 사이즈로 비디오의 표시를 행하는 것이 가능해진다.

(5-3) 표시부(19)의 변형예

도 2의 설명에서, 「프레임 데이터(24)는, 비디오 표시 영역(25)에 센터링되어 표시되어 있다」라고 기재하였다. 여기에서, 반드시 센터링하여 표시할 필요는 없다.

또, 도 2의 설명에서,「프레임 데이터(24)의 비디오 표시 영역(25)에 대한 위치는, 표시부(19)에 의해 결정된다」라고 기재하였다. 여기에서, 미디어 데이터 표시 장치(20)는, 프레임 데이터(24)의 표시 위치를 결정하는 표시 위치 결정부를 구비하고 있어도 된다. 이 때, 표시부(19)는, 표시 위치 결정부로부터 표시 위치 를 취득하여, 표시용 데이터를 출력한다.

[제2 실시 형태]

도 4∼도 13을 이용하여, 본 발명의 제2 실시 형태에 대해서 설명한다.

도 4는, 본 발명의 제2 실시 형태로서의 미디어 데이터 표시 장치(35)의 구조를 설명하는 블록도이다. 미디어 데이터 표시 장치(35)는, 예를 들면, 서버에 축적된 MP4 파일을 HTTP에 의해 다운로드하여 재생하는 장치나 SD 카드 등의 기록 매체에 축적된 MP4 파일을 재생하는 장치로서, 텔레비전, 퍼스널 컴퓨터(PC), 휴대전화, 혹은 그 밖의 화상 신호를 표시 가능한 장치에서 구비되어 있다.

미디어 데이터 표시 장치(35)는, 도 1을 이용하여 설명한 미디어 데이터 표시 장치(20)와 동일하게, 스케일링부(18)(도 34 참조)를 구비하지 않으며, MP4 파일이 갖는 비디오를 스케일링하지 않고 표시한다.

여기에서, 미디어 데이터 표시 장치(35)가 취득하는 MP4 파일은, 비디오의 프레임 데이터마다 우선적으로 표시하는 영역을 지정하는 Sample Display Center Box(이하, 'stdc'라고 한다)를 'stbl'에 격납하고 있는 것으로 한다.

도 5에 'stdc'의 신택스 예를 도시한다. 'stdc'는, 도 29(b)를 이용하여 설명한 Box와 동일한 구조를 갖고 있다. 여기에서, [entry_count]는, 'stdc'에 포함되는 엔트리 수를 나타내고 있다. [sample_count]는, [display_center_x] 및 [display_center_y]의 값이 동일한, 연속하는 샘플의 수를 나타내고 있다. [display_center_x] 및 [display_center_y]는, 각각의 샘플마다(예를 들면, 프레임 데이터마다) 우선적으로 표시하는 영역의 중심의 X좌표 및 Y좌표를 나타내고 있다. 이하, (display_center_x, display_center_y)로 나타내는 좌표를 우선 표시 좌표라고 하고, (dcx, dcy)로 기재한다. 또한, 우선 영역의 지정 방법은 본 방법에 제한되는 것이 아니라, 예를 들면, 동일 대각선 상에 있는 2정점의 좌표를 나타내는 것으로 해도 된다. 또, 우선도를 순위 매겨서 지정하는 것으로 해도 된다. 또한, 우선도 이외의 지표에 의해 화상 영역을 분류하는 것으로 해도 되고, 우선 영역의 지정을 더 큰 단위, 예를 들면, 복수의 샘플의 그룹인 청크 단위나 트랙 단위로 행하는 것으로 해도 된다.

(1) 미디어 데이터 표시 장치(35)의 구성

도 4에 도시하는 본 발명의 미디어 데이터 표시 장치(35)에서, 도 34에 도시하는 종래의 미디어 데이터 표시 장치(10)와 상위한 부분에 대해서 설명한다. 또한, 종래의 미디어 데이터 표시 장치(10)와 동일한 동작을 행하는 부분에 대해서는, 같은 부호를 붙여, 설명을 생략한다.

미디어 데이터 표시 장치(20)는, 확장 표시 정보 취득부(37)와 표시 위치 결정부(38)를 구비하고 있는 점에서 미디어 데이터 표시 장치(10)와 상위하다. 또한, 헤더 분리부(36)는, MP4 파일이 갖는 'stdc'를 인식하여, 분리하는 것이 가능하다.

확장 표시 정보 취득부(37)는, 헤더 분리부(36)가 분리하는 'stdc'를 취득하여, 프레임 데이터마다의 우선 표시 좌표(dcx, dcy)를 출력한다. 표시 위치 결정부(38)는, 기본 표시 정보 취득부(17)로부터, 'tkhd'가 격납하는 표시 영역 사이즈(Wp, Hp) 및 'stsd'가 격납하는 화상 사이즈(Wv, Hv)를 취득하여, 확장 표시 정보 취득부(37)로부터, 우선 표시 좌표(dcx, dcy)를 취득한다. 표시 위치 결정부(38)는, 화상 사이즈(Wv, Hv)의 프레임 데이터의 우선 표시 좌표(dcx, dcy)와 표시 영역 사이즈(Wp, Hp)의 비디오 표시 영역의 중심이 일치하도록, 비디오 표시 영역에서의 프레임 데이터의 표시 위치를 결정한다. 표시부(19)는, 프레임 메모리(16)가 기억하는 프레임 데이터를, 표시 위치 결정부(38)가 결정하는 표시 위치에서 표시하도록 표시용 데이터를 출력한다.

도 6을 이용하여, 표시용 데이터에서의 프레임 데이터(45)와 비디오 표시 영역(46)의 관계에 대해서 설명한다. 또한, 도 6은 표시 영역 사이즈(Wp, Hp)가 화상 사이즈(Wv, Hv)보다 크고, 따라서 동화상의 전체가 표시되어 있다. 프레임 데이터(45)는, 화상 사이즈(Wv, Hv)를 갖고 있고, 비디오 표시 영역(46)에서, 스케일링되지 않고 표시된다. 비디오 표시 영역(46)은, 표시 영역 사이즈(Wp, Hp)를 갖고 있다. 프레임 데이터(45)의 표시 위치는, 우선 표시 좌표(dcx, dcy)와 비디오 표시 영역의 중심점이 일치하도록 결정된다.

(2) 미디어 데이터 표시 장치(35)에서의 미디어 데이터 표시 방법

도 7을 이용하여, 미디어 데이터 표시 장치(35)에서의 미디어 데이터 표시 방법에 대해서 설명한다.

헤더 분리부(36)는, MP4 파일로부터 'tkhd', 'stsd' 및 'stdc'를 분리한다(단계 S48). 표시 위치 결정부(38)는, 기본 표시 정보 취득부(17)에서, 'tkhd'가 격납하는 표시 영역 사이즈(Wp, Hp)와 'stsd'가 격납하는 화상 사이즈(Wv, Hv)를 취득하여, 확장 표시 정보 취득부(37)로부터, 'stdc'가 격납하는 우선 표시 좌표 (dcx, dcy)를 취득한다(단계 S49). 또한, 표시 위치 결정부(38)는, 취득한 표시 영역 사이즈(Wp, Hp)와 화상 사이즈(Wv, Hv)와 우선 표시 좌표(dcx, dcy)에 기초하여, 비디오 표시 영역에서의 프레임 데이터의 표시 위치를 결정한다(단계 S50). 표시부(19)는, 프레임 메모리(16)가 기억하는 프레임 데이터를, 표시 위치 결정부(38)가 결정하는 표시 위치에서, 스케일링하지 않고 표시하도록 표시용 데이터를 출력한다(단계 S51).

(3) 미디어 데이터 표시 장치(35)의 효과

종래의 미디어 데이터 표시 장치(10)에서는, 비디오의 표시시, 1초당 수∼수십회의 스케일링이 필요해져, CPU로의 부하가 높고, 전력 소비도 높다. 한편, 본원 발명의 실시 형태로서의 미디어 데이터 표시 장치(35)에서는, 스케일링을 필요로 하지 않고, 처리량의 저감 및 소비 전력의 저감이 실현 가능해진다. 이것은, 미디어 데이터 표시 장치(35)가 휴대 단말 등에서 구비되는 경우에 유효한 효과가 된다.

미디어 데이터 표시 장치(35)에서는, 표시 위치 결정부(38)가 동화상 표시 위치를 결정하기 때문에, 표시부(19)가 동화상을 적절한 위치로 표시할 수 있다.

또한, 미디어 데이터 표시 장치(35)에서는, 샘플마다(프레임 데이터마다) 중요한 부분을 우선적으로 표시시키는 것이 가능해진다. 특히, 표시 영역 사이즈(Wp, Hp)가 화상 사이즈(Wv, Hv)보다도 작은 경우에, 샘플마다 우선적으로 표시하는 영역을 전환함으로써, 콘텐츠 제공자의 의도를 반영한 시각적 효과가 높은 표시가 가능해진다. 또한, 이 효과는, 우선 영역의 지정이 더 큰 단위, 예를 들면, 복 수의 샘플의 그룹인 청크 단위나 트랙 단위로 행해지는 경우에도 동일하다. 또한, 우선 영역의 지정을 청크 단위나 트랙 단위로 행하는 경우에는, 샘플마다 행하는 경우에 비해서, 처리 부하를 삭감하는 것이 가능해진다.

또, MPEG-4 AVC(Advanced Video Coding)에서는, 비디오의 도중에 프레임 데이터의 화상 사이즈(Wv, Hv)가 변화한다. 이와 같은 비디오를 표시할 때에, 미디어 데이터 표시 장치(35)에서는, 프레임 데이터의 화상 사이즈(Wv, Hv)에 따른 표시를 행하는 것이 가능해진다.

본 발명의 전제가 되는 MP4 파일에서는, 새롭게 정의된 'stdc'를 갖고 있다. 이 때문에, 'stdc'에 대응하지 않는 종래의 미디어 데이터 표시 장치(10)에서, 'stdc'를 갖는 MP4 파일을 취득한 경우, 'stdc'는 인식되지 않고, 스킵된다. 즉, 종래의 미디어 데이터 표시 장치(10)의 표시에는 영향을 주지 않고, 'stdc'를 인식 가능한 장치에는, 새로운 기능을 실현시키는 MP4 파일의 데이터 구조가 제공되어 있다.

(4) 미디어 데이터 표시 장치(35)의 변형예

(4-1) 표시 위치 결정부(38)의 변형예

(4-1-1)

표시 위치 결정부(38)는, 화상 사이즈(Wv, Hv)가 표시 영역 사이즈(Wp, Hp)보다도 작을 때에는, 우선 표시 좌표(dcx, dcy)와 비디오 표시 영역의 중심이 일치하도록 표시 위치를 결정한 경우에, 비디오 표시 영역에 여유가 있으면, 결정한 표시 위치를 자동적으로 조정하는 것이어도 된다.

도 8을 이용하여, 프레임 데이터(52)와 비디오 표시 영역(53)의 관계에 대해서 설명한다. 도 8(a)에, 프레임 데이터(52)의 우선 표시 좌표(dcx, dcy)와 비디오 표시 영역(53)의 중심이 일치하도록 표시 위치를 결정한 경우의 프레임 데이터(52)와 비디오 표시 영역(53)의 위치 관계를 나타낸다. 이 경우, 비디오 표시 영역(53)에는, 표시 여유(54)가 있고, 프레임 데이터(52)에는, 비표시 영역(55)이 있다.

그래서, 우선 표시 좌표(dcx, dcy)를 비디오 표시 영역(53) 내에 포함하고, 또한, 프레임 데이터(52)의 될 수 있는 한 넓은 영역이 표시되도록, 프레임 데이터(52)의 표시 위치를 조정한다. 도 8(b)에 조정 후의 프레임 데이터(52)와 비디오 표시 영역(53)의 위치 관계를 나타낸다.

도 9를 이용하여, 프레임 데이터(52')와 비디오 표시 영역(53')의 관계의 다른 예에 대해서 설명한다. 또한, 도 8의 예에서는 화상 사이즈(Wv, Hv)가 표시 영역 사이즈(Wp, Hp)보다도 작았지만, 이 예에서는 화상 사이즈(Wv, Hv)가 표시 영역 사이즈(Wp, Hp)보다도 크다. 도 9(a)에, 프레임 데이터(52')의 우선 표시 좌표(dcx, dcy)와 비디오 표시 영역(53')의 중심이 일치하도록 표시 위치를 결정한 경우의 프레임 데이터(52')와 비디오 표시 영역(53')의 위치 관계를 나타낸다. 이 경우, 비디오 표시 영역(53')에는, 표시 여유(54')가 있고, 프레임 데이터(52')에는, 비표시 영역(55')이 있다.

그래서, 우선 표시 좌표(dcx, dcy)를 비디오 표시 영역(53') 내에 포함하고, 또한, 프레임 데이터(52')의 될 수 있는 한 넓은 영역이 표시되도록, 프레임 데이 터(52')의 표시 위치를 조정한다. 도 9(b)에 조정 후의 프레임 데이터(52')와 비디오 표시 영역(53')의 위치 관계를 도시한다. 이 경우에는, 프레임 데이터(52')의 모두는 표시되지 않지만, 우선 표시 영역이 확실하게 표시되고, 또한, 회색의 영역(56')이 표시된다.

이것에 의해, 콘텐츠 제공자의 의도를 반영한 시각적 효과가 높은 표시가 가능해지는 것에 더하여, 비디오 표시 영역을 유효하게 이용하여, 보다 많은 정보를 표시하는 것이 가능해진다.

(4-1-2)

표시 위치 결정부(38)는, 기본 표시 정보 취득부(17)로부터, 'tkhd'가 격납하는 표시 영역 사이즈(Wp, Hp)와 'stsd'가 격납하는 화상 사이즈(Wv, Hv)를 취득하여, 표시 영역 사이즈(Wp, Hp)가 화상 사이즈(Wv, Hv)보다도 큰 경우에는, 'stdc'를 스킵하는 것이어도 된다. 그 경우에는, 하기의 (4-2)의 동작에 따라서 표시를 행한다.

(4-2) 'stdc'를 이용하지 않는 경우의 표시 위치 결정에 대해서

MP4 파일이 'stdc'를 구비하지 않는 경우, 혹은 미디어 데이터 표시 장치가 'stdc'를 인식할 수 없는 장치인 경우에도, 비디오 표시 영역에서의 비디오의 표시 위치를 결정하는 것이 필요하다.

(4-2-1)

MP4 파일이 'stdc'를 구비하지 않는 경우의 미디어 데이터 표시 장치(35)의 동작에 대해서 설명한다.

표시 위치 결정부(38)는, 확장 표시 정보 취득부(37)로부터 프레임 데이터마다 우선 표시 좌표(dcx, dcy)를 취득할 수 없는 경우, 비디오 표시 영역의 소정의 점(좌측 위쪽, 우측 위쪽, 좌측 아래쪽, 우측 아래쪽 혹은 중심 등)과, 프레임 데이터의 소정의 점(좌측 위쪽, 우측 위쪽, 좌측 아래쪽, 우측 아래쪽 혹은 중심 등)이 일치하도록 프레임 데이터의 표시 위치를 결정한다.

이것에 의해, MP4 파일이 'stdc'를 구비하지 않은 경우에도, 프레임 데이터의 표시 위치를 결정하는 것이 가능해진다.

(4-2-2)

또한, 미디어 데이터 표시 장치는, 'stdc'를 해석할 수 없는 경우에는, 유저의 지정에 의해 프레임 데이터의 표시 위치를 결정해도 된다.

<1>

도 10은, 제2 실시 형태의 변형예로서의 미디어 데이터 표시 장치(56)의 구조를 설명하는 블록도이다. 미디어 데이터 표시 장치(56)는, 도 1을 이용하여 설명한 미디어 데이터 표시 장치(20)와 동일하게, 스케일링부(18)(도 34 참조)를 구비하지 않으며, MP4 파일이 갖는 비디오를 스케일링하지 않고 표시한다.

도 10에 도시하는 미디어 데이터 표시 장치(56)에서의, 도 34에 도시하는 종래의 미디어 데이터 표시 장치(10)와 상위한 부분에 대해서 설명한다. 또한, 종래의 미디어 데이터 표시 장치(10)와 동일한 동작을 행하는 부분에 대해서는, 같은 부호를 붙여, 설명을 생략한다

미디어 데이터 표시 장치(56)는, 표시 위치 설정부(57)와 표시 위치 결정부 (58)를 구비하고 있는 점에서 미디어 데이터 표시 장치(10)와 상위하다.

표시 위치 설정부(57)는, 유저에 프레임 데이터의 표시 위치를 설정시킨다. 예를 들면, 표시 위치를 [중앙, 상측 정렬, 하측 정렬, 우측 정렬, 좌측 정렬] 등의 중에서 선택시킨다. 표시 위치 결정부(58)는, 기본 표시 정보 취득부(17)로부터, 'tkhd'가 격납하는 표시 영역 사이즈(Wp, Hp)와 'stsd'가 격납하는 화상 사이즈(Wv, Hv)를 취득한다. 또한, 표시 위치 설정부(57)의 설정에 기초하여, 비디오 표시 영역에서의 프레임 데이터의 표시 위치를 결정한다. 표시부(19)는, 프레임 메모리(16)가 기억하는 프레임 데이터를, 표시 위치 결정부(58)가 결정하는 표시 위치에서 표시하도록 표시용 데이터를 출력한다.

<2>

도 11(a)를 이용하여, 표시용 데이터에서의 프레임 데이터(61)와 비디오 표시 영역(62)의 관계에 대해서 설명한다. 프레임 데이터(61)는, 화상 사이즈(Wv, Hv)를 갖고 있고, 비디오 표시 영역(62)에서, 스케일링되지 않고 표시된다. 비디오 표시 영역(62)은, 표시 영역 사이즈(Wp, Hp)를 갖고 있다. 프레임 데이터(61)의 표시 위치는, 표시 위치 설정부(57)에 의해 [상측 정렬]이 선택된 경우, 프레임 데이터(61)의 위쪽 변과 비디오 표시 영역의 위쪽 변이 일치하도록 표시 위치가 결정된다. 또, 좌우의 위치는, 비디오 표시 영역(62)에 대해서, 프레임 데이터(61)가 센터링되도록 결정된다.

또한, 도 11(a)는, 표시 영역 사이즈(Wp, Hp)가 화상 사이즈(Wv, Hv)보다도 큰 경우에 대해서 도시하고 있다. 표시 영역 사이즈(Wp, Hp)가 화상 사이즈(Wv, Hv)보다도 작은 경우, 프레임 데이터(63) 중 비디오 표시 영역(64)에 포함되는 부분만이 표시된다. 도 11(b)는, 표시 위치 설정부(57)에 의해 [상측 정렬]이 선택된 경우의 프레임 데이터(63)와 비디오 표시 영역(64)의 관계에 대해서 도시하고 있다.

<3>

이 미디어 데이터 표시 장치(56)에서는, 유저의 의도를 반영한 보다 효과적인 표시를 행하는 것이 가능해진다.

<4>

또한, 표시 위치 설정부(57)는, 유저에게 표시 위치를 [중앙, 상측 정렬, 하측 정렬, 우측 정렬, 좌측 정렬] 등의 중에서 선택시킬 뿐만 아니라, 표시 위치의 데이터(레이아웃 및 사이즈 등)를 입력시키는 것이어도 된다.

(4-2-3)

미디어 데이터 표시 장치는, MP4 파일이 갖는 비디오 이외의 미디어(텍스트, 정지화상 등)의 표시 위치에 기초하여 프레임 데이터의 표시 위치를 결정해도 된다.

또한, 미디어 데이터 표시 장치가 'stdc'를 해석할 수 있을 때에도, 유저 설정이나 미리 정해진 표시 방법에 따라서 표시하는 것으로 해도 된다.

<1>

도 12는, 제2 실시 형태의 변형예로서의 미디어 데이터 표시 장치(70)의 구조를 설명하는 블록도이다. 미디어 데이터 표시 장치(70)는, 도 1을 이용하여 설 명한 미디어 데이터 표시 장치(20)와 동일하게, 스케일링부(18)(도 34 참조)를 구비하지 않으며, MP4 파일이 갖는 비디오를 스케일링하지 않고 표시한다.

도 12에 도시하는 미디어 데이터 표시 장치(70)에서, 도 34에 도시하는 종래의 미디어 데이터 표시 장치(10)와 상위한 부분에 대해서 설명한다. 또한, 종래의 미디어 데이터 표시 장치(10)와 동일한 동작을 행하는 부분에 대해서는, 같은 부호를 붙여, 설명을 생략한다.

미디어 데이터 표시 장치(70)는, 표시 위치 결정부(71)를 구비하고 있는 점에서 미디어 데이터 표시 장치(10)와 상위하다.

표시 위치 결정부(71)는, 기본 표시 정보 취득부(17)로부터, 비디오의 'tkhd'가 격납하는 표시 영역 사이즈(Wp, Hp)와 'stsd'가 격납하는 화상 사이즈(Wv, Hv)를 취득한다. 또한, 텍스트의 'tkhd'가 격납하는 텍스트 표시 영역의 표시 위치(Tx, Ty)와 텍스트 표시 영역의 표시 영역 사이즈(Wt, Ht)를 취득한다. 또한, 표시 위치 결정부(71)는, 취득한 정보에도 기초하여, 비디오 표시 영역에서의 프레임 데이터의 표시 위치를 결정한다. 구체적으로는, 텍스트 표시 영역의 상단과 프레임 데이터의 하단을 일치시키도록 상하 방향의 위치를 결정하여, 텍스트 표시 영역의 중심과 프레임 데이터의 중심을 일치시키도록 좌우 방향의 위치를 결정한다. 표시부(19)는, 프레임 메모리(16)가 기억하는 프레임 데이터를, 표시 위치 결정부(71)가 결정하는 비디오의 표시 위치에서 표시하도록 표시용 데이터를 출력한다.

도 13을 이용하여, 표시용 데이터에서의 프레임 데이터(76)와 비디오 표시 영역(77)과 텍스트 표시 영역(78)의 위치 관계를 설명한다. 표시 화면(79)에서, 표시 영역 사이즈(Wp, Hp)를 갖는 비디오 표시 영역(77)이 설정되어 있다. 또한, 비디오 표시 영역(77)의 좌측 위쪽의 점을 기준으로 하여, 좌표(Tx, Ty)에서, 표시 영역 사이즈(Wt, Ht)를 갖는 텍스트 표시 영역(78)이 설정되어 있다.

여기에서, 화상 사이즈(Wv, Hv)를 갖는 프레임 데이터(76)의 상하 방향의 표시 위치는, 텍스트 표시 영역(78)의 위쪽 방향에 인접하도록 결정된다. 또, 프레임 데이터(76)의 좌우 방향의 표시 위치는, 프레임 데이터(76)의 중심과 텍스트 표시 영역(78)의 중심의 좌우 방향의 위치가 일치하도록 결정된다.

<2>

이 미디어 데이터 표시 장치(70)에서는, 프레임 데이터의 표시 위치는, MP4 파일이 갖는 비디오 이외의 미디어(텍스트, 정지화상 등)의 표시 위치에 기초하여 결정된다. 이 때문에, 각각의 미디어가 적절한 위치에 표시되어, 정보 표시의 시인성이 향상한다.

또한, 프레임 데이터는, 텍스트 표시 영역의 위쪽 방향에 인접하도록 표시된다고 기재하였지만, 본 발명의 효과는, 특히 위쪽 방향에 한정되는 것이 아니라, 아래쪽 방향이어도, 그 밖의 방향이어도 된다.

또, 텍스트의 'tkhd'가 격납하는 텍스트 표시 영역의 표시 위치(Tx, Ty)와 텍스트 표시 영역의 표시 영역 사이즈(Wt, Ht) 뿐만 아니라, 텍스트 표시 영역 중에서의 텍스트 샘플의 표시 위치에 기초하여 프레임 데이터의 표시 위치를 결정하는 것이어도 된다.

[제3 실시 형태]

도 14∼도 22를 이용하여, 본 발명의 제3 실시 형태에 대해서 설명한다.

도 14는, 본 발명의 제3 실시 형태로서의 미디어 데이터 표시 장치(85)의 구조를 설명하는 블록도이다. 미디어 데이터 표시 장치(85)는, 예를 들면, 서버에 축적된 MP4 파일을 HTTP에 의해 다운로드하여 재생하는 장치나 SD 카드 등의 기록 매체에 축적된 MP4 파일을 재생하는 장치로서, 텔레비전, 퍼스널 컴퓨터(PC), 휴대전화, 혹은 그 밖의 화상 신호를 표시 가능한 장치에서 구비되어 있다.

미디어 데이터 표시 장치(85)는, MP4 파일로부터 취득되는 정보에 기초하여, 비디오의 프레임 데이터를 스케일링할지의 여부를 결정한다.

여기에서, 미디어 데이터 표시 장치(85)가 취득하는 MP4 파일은, [제2 실시 형태]에서 도 5를 이용하여 설명한 'stdc'를 구비하는 경우가 있는 것으로 한다. 또한 미디어 데이터 표시 장치(85)가 취득하는 MP4 파일은, 샘플마다(프레임 데이터마다) 스케일링 방법을 지정하는 Sample Scale Box(이하, 'stsl'라고 한다)를 'stbl'에 구비하는 경우가 있는 것으로 한다. 또한, 스케일링 방법의 지정은 샘플마다 한정되는 것이 아니라, 더 큰 단위, 예를 들면, 복수의 샘플의 그룹인 청크 단위나 트랙 단위로 지정하는 것으로 해도 된다. 이 경우, 샘플마다 스케일링 방법을 지정하는 경우에 비해서, 처리 부하를 삭감하는 것이 가능해진다.

도 15에 'stsl'의 신택스 예를 도시한다. 'stsl'는, 도 29(b)를 이용하여 설명한 Box와 동일한 구조를 갖고 있다. 여기에서, [fill_flag]가 세트되어 있는 경우에는, fill 모드에서의 스케일링을 지정한다. [hidden_flag]가 세트되어 있는 경우에는, hidden 모드에서의 스케일링을 지정한다. [meet_flag]가 세트되어 있는 경우에는, meet 모드에서의 스케일링을 지정한다. [slice_x_flag]가 세트되어 있는 경우에는, X축(화면 좌우 방향)으로 slice 모드에서의 스케일링을 지정한다. [slice_y_flag]가 세트되어 있는 경우에는, Y축(화면 상하 방향)으로 slice 모드에서의 스케일링을 지정한다. 또한, 'stsl'에서는, [fill_flag], [hidden_flag], [meet_x_flag], [meet_y_flag], [slice_x_flag], [slice_y_flag] 중에서 최대 1개의 플래그가 반드시 세트되어 있다.

도 16을 이용하여, 각각의 스케일링 방법에 대해서 설명을 더한다.

fill 모드는, 화상 사이즈(Wv, Hv)의 프레임 데이터(도 16(a) 참조)를 표시 영역 사이즈(Wp, Hp)로 스케일링하여 표시하는 모드이다(도 16(b) 참조).

hidden 모드는, 화상 사이즈(Wv, Hv)의 프레임 데이터(도 16(a) 참조)의 스케일링은 행하지 않고, 표시 영역 사이즈(Wp, Hp)의 비디오 표시 영역의 범위에서 표시할 수 있는 부분을 표시하는 모드이다(도 16(c) 참조). 보다 상세하게는, (Wv<Wp) 또는 (Hv<Hp)인 경우에는, 비디오 표시 영역에서 프레임 데이터가 표시되지 않은 영역에는, 특정한 배경색이 표시된다. 한편, (Wv>Wp) 또는 (Hv>Hp)인 경우에는, (Wp, Hp)로부터 밀려 나오는 프레임 데이터는 클립된다.

meet 모드는, 프레임 데이터의 애스펙트비(화상의 세로·가로 사이즈의 비, [Wv : Hv])를 유지한 채로, 세로/가로 사이즈 중 어느 한쪽이, 비디오 표시 영역과 같아질 때까지 스케일링하여 표시하는 모드이다. 비디오 표시 영역에서 프레임 데이터가 표시되지 않은 경우에는, 특정한 배경색이 표시된다. 이 모드에서는, 프레 임 데이터는 클립되지 않는다.

slice 모드는, 프레임 데이터의 애스펙트비(화상의 세로·가로 사이즈의 비, [Wv : Hv])를 유지한 채로, 세로, 혹은 가로 사이즈가, 비디오 표시 영역과 같아질 때까지 스케일링하여 표시한다. 비디오 표시 영역에서 프레임 데이터가 표시되지 않은 영역에는, 특정한 배경색이 표시된다. 이 모드에서는, 프레임 데이터는 클립되는 경우가 있다.

(1) 미디어 데이터 표시 장치(85)의 구성

도 14에 도시하는 본 발명의 미디어 데이터 표시 장치(85)에서, 도 34에 도시하는 종래의 미디어 데이터 표시 장치(10)와 상위한 부분에 대해서 설명한다. 또한, 종래의 미디어 데이터 표시 장치(10)와 동일한 동작을 행하는 부분에 대해서는, 같은 부호를 붙여, 설명을 생략한다.

미디어 데이터 표시 장치(85)는, 확장 표시 정보 취득부(86)와 스케일링 판정부(87)를 구비하고 있는 점에서 미디어 데이터 표시 장치(10)와 상위하다. 또한, 헤더 분리부(88)는, MP4 파일이 갖는 'stdc' 및 'stsl'를 인식하여, 분리하는 것이 가능하다. 또, 스케일링부(89)는, 스케일링 판정부(87)의 판정 결과에 기초하여, 스케일링을 행하는 것이 가능하다.

확장 표시 정보 취득부(86)는, 헤더 분리부(88)가 분리하는 'stdc' 및 'stsl'를 취득한다. 스케일링 판정부(87)는, 확장 표시 정보 취득부(86)가 'stsl'를 취득한 경우에, 스케일링을 행한다고 판정한다. 스케일링부(89)는, 기본 표시 정보 취득부(17)로부터, 'tkhd'가 격납하는 표시 영역 사이즈(Wp, Hp) 및 'stsd'가 격납하는 화상 사이즈(Wv, Hv)를 취득하여, 확장 표시 정보 취득부(37)로부터, 'stdc'가 격납하는 우선 표시 좌표(dcx, dcy)(도 5 참조) 및 'stsl'가 격납하는 스케일링 방법을 취득한다. 또한, 스케일링부(89)는, 스케일링 판정부(87)의 판정 결과를 취득하여, 판정 결과가 긍정적이면, 스케일링을 실행한다. 스케일링된 프레임 데이터는, 프레임 데이터의 표시 영역 사이즈(Wp, Hp)와 함께 표시부(19)에 출력된다.

(2) 스케일링부(89)의 동작

스케일링부(89)의 스케일링 동작에 대해서 설명을 더한다. 스케일링부(89)는, 'stdc'가 격납하는 우선 표시 영역의 정보에 기초하여, 스케일링을 행한다. 구체적으로는, 'stdc'는, 우선 표시 영역의 중심점의 좌표인 우선 표시 좌표(dcx, dcy)를 격납하고 있다. 그래서, 스케일링부(89)는, 우선 표시 좌표(dcx, dcy)로부터, 우선 표시 영역을 어림잡아, 우선 표시 영역이 표시 영역 사이즈(Wp, Hp)의 비디오 표시 영역에 표시되도록 자동적으로 표시 위치를 조절한다. 더욱 구체적으로는, 스케일링부(89)는, 우선 영역이 결여되지 않는 것과 같은 적절한 스케일링 방법을 선택한다.

도 17을 이용하여, 더욱 구체적으로 설명한다. 화상 사이즈(Wv, Hv)의 프레임 데이터(90)에 대해서, 우선 표시 좌표(dcx, dcy)가 취득되어 있는 것으로 한다(도 17(a) 참조). 스케일링부(89)는, 우선 표시 좌표(dcx, dcy)를 중심으로 하는 영역 중, 프레임 데이터(90) 내에서의 최대 영역을 우선 표시 영역(91)으로 한다(도 17(b) 참조). 이 경우, 우선 표시 영역(91)은 프레임 데이터(90)의 좌측 아래 쪽 부분이다. 스케일링부(89)가 취득한 스케일링 방법이 fill 모드인 경우, 스케일링부(89)는, 우선 표시 영역(91)을 예를 들면 x방향으로 slice 모드로 스케일링하여, 표시 영역 사이즈(Wp, Hp)와 같은 사이즈로 한다(도 17(c) 참조). 그 결과, 우선 표시 영역(91)이 표시된다.

또한, 도 18을 이용하여, 다른 실시예에 대해서 설명한다. 화상 사이즈(Wv, Hv)의 프레임 데이터(90')에 대해서, 우선 표시 좌표(dcx, dcy)가 취득되어 있는 것으로 한다(도 18(a) 참조). 스케일링부(89)는, 우선 표시 좌표(dcx, dcy)를 중심으로 하는 영역 중, 프레임 데이터(90') 중에서의 최대 영역을 우선 표시 영역(91')으로 한다(도 18(b) 참조). 이 경우에는, 우선 표시 영역(91')은 프레임 데이터(90')의 좌측 위쪽이다. 이 실시예에서는, 화상 사이즈(Wv, Hv)의 종횡비가 표시 영역 사이즈(Wp, Hp)의 종횡비와 다르고(상기 실시예에 비해서 Hv에 대해서 Wv가 짧다), 또한 우선 표시 영역(91')이 프레임 데이터(90')의 좌측 위쪽에 위치하고 있다. 따라서, 이 실시 형태에서 slice 모드를 채용하여, x방향으로 slice 모드로 스케일링하면, 우선 표시 영역(91')이 결여되어 표시되어 버린다.

그래서, 스케일링 방법으로서 fill 모드가 선택되고, 그 결과, 스케일링부(89)는, 우선 표시 영역(91')을 fill 모드로 스케일링하여, 표시 영역 사이즈(Wp, Hp)와 같은 사이즈로 한다(도 18(c) 참조). 이와 같이, 스케일링부(89)가 우선 표시 좌표(dcx, dcy)로부터 우선 표시 영역을 어림잡아, 우선 표시 영역(91')이 표시 영역 사이즈(Wp, Hp)의 비디오 표시 영역에 표시되도록 적절한 스케일링 방법을 선택하기 때문에, 우선 표시 영역(91')이 확실하게 표시된다.

또한, 'stdc'가 존재하지 않는 경우에는, 화상의 좌측 위쪽과 표시 영역의 좌측 위쪽을 일치시킨 상태를 기준으로 하여 스케일링을 행한다. 여기에서, 화상의 좌측 아래쪽, 우측 위쪽, 우측 아래쪽, 혹은 중심과, 표시 영역의 좌측 아래쪽, 우측 위쪽, 우측 아래쪽 혹은 중심을 일치시킨 상태를 스케일링의 기준으로 하는 것으로 해도 되고, 기준 상태를 유저가 설정하는 것으로 해도 된다.

(3) 미디어 데이터 표시 장치(85)에서의 미디어 데이터 표시 방법

도 19를 이용하여, 미디어 데이터 표시 장치(85)에서의 미디어 데이터 표시 방법에 대해서 설명한다.

헤더 분리부(88)는, MP4 파일로부터 'tkhd', 'stsd', 'stdc' 및 'stsl'를 분리한다(단계 S95). 스케일링부(89)는, 기본 표시 정보 취득부(17)로부터, 'tkhd'가 격납하는 표시 영역 사이즈(Wp, Hp) 및 'stsd'가 격납하는 화상 사이즈(Wv, Hv)를 취득하여, 확장 표시 정보 취득부(37)로부터, 'stdc'가 격납하는 우선 표시 좌표(dcx, dcy) 및 ' stsl'가 격납하는 스케일링 방법을 취득한다(단계 S96). 스케일링 판정부(87)는, 확장 표시 정보 취득부(86)가 'stsl'를 취득한 경우에, 스케일링을 행한다고 판정한다(단계 S97). 스케일링을 행한다고 판정된 경우, 스케일링부(89)는, 프레임 메모리(16)가 기억하는 프레임 데이터의 우선 표시 영역을 표시 영역 사이즈(Wp, Hp)로 스케일링하여 출력한다(단계 S98). 스케일링을 행하지 않는다고 판정된 경우, 스케일링부(89)는, 프레임 메모리(16)가 기억하는 프레임 데이터의 우선 표시 영역을 스케일링하지 않고 출력한다(단계 S99).

여기에서, 'stsl'가 존재할 때에도, 스케일링 모드로서 hidden 모드가 설정 되어 있을 때에는 스케일링은 행해지지 않는다. 또, MP4 파일 내에 'stsl'가 존재하지만, 단말이 'stsl'를 해석할 수 없는 경우에는, 'tkhd'에 표시되는 표시 영역 사이즈(Wp, Hp)로 fill 모드로 스케일링하는 것으로 해도 된다.

이상에서는, 'stsl'가 존재할 때에는, 반드시 'stsl'에 표시되는 스케일링 동작에 따라서 스케일링하여 표시하는 것으로 하였지만, 'stsl'의 스케일링 동작에 따르는지의 여부를 단말측에서 선택할 수 있도록 하기 위한 정보를 추가하는 것으로 해도 된다. 이 정보를 'stsl' 내에서 설정할 때의 신택스 예를 도 20에 도시한다. 여기에서, [constraint_flag]가 세트되어 있을 때에는, 반드시 'stsl'에 표시되는 스케일링 동작에 따라서 스케일링하는 것을 나타내고, 세트되어 있지 않으면, 스케일링할지의 여부를 단말에서 선택할 수 있는 것을 나타낸다. 따라서, [constraint_flag]가 세트되어 있지 않으면, 단말의 배터리 잔량, 혹은 유저 설정 내용 등의 정보를 기초로, 스케일링할지의 여부를 판정하는 것으로 해도 된다.

또한, 'stsl'가 존재하지 않는 경우에는 반드시 표시 영역 사이즈(Wp, Hp)로 fill 모드로 스케일링하는 것으로 하면, 'stdc'는 'stsl'가 존재하는 경우에만 사용된다. 이 때문에, 미디어 데이터 표시 장치(85)가 취득하는 MP4 파일은, 'stsl'가 존재하는 경우에만, 'stdc'를 격납할 수 있는 것으로 해도 된다.

이와 같이 동작함으로써, 종래의 MP4 파일을 재생할 때의 표시 동작과 후방 호환성을 유지하면서, 'stsl' 및 'stdc'를 해석할 수 있는 단말에 대해서는 표시 동작에 관한 확장 기능을 제공할 수 있다.

(4) 미디어 데이터 표시 장치(85)의 효과

미디어 데이터 표시 장치(85)에서는, 스케일링의 유무를 'stsl'에 기초하여 판단하는 것이 가능해진다. 여기에서, 'stsl'는, 스케일링 방법을 나타내는 Box이다. 이 때문에, 'stsl'가 있으면, MP4 파일의 제공자는 프레임 데이터가 스케일링 표시되는 것을 의도하고 있다고 생각된다. 즉, MP4 파일의 제공자의 의도를 반영한 표시가 가능해진다.

종래의 미디어 데이터 표시 장치(10)에서는, 비디오의 표시시에, 1초당 수∼수십회의 스케일링이 필요해져, CPU로의 부하가 높고, 전력 소비도 높다. 한편, 미디어 데이터 표시 장치(85)에서는, 반드시 스케일링을 필요로 하지 않고, 처리량의 저감 및 소비 전력의 저감이 실현 가능해진다. 이것은, 미디어 데이터 표시 장치(85)가 휴대 단말 등에서 구비되는 경우에 특히 유효한 효과가 된다.

또한, 본 발명의 전제가 되는 MP4 파일에서는, 새롭게 정의된 'stsl'를 갖고 있다. 이 때문에, 'stsl'에 대응하지 않는 종래의 미디어 데이터 표시 장치(10)에서, 'stsl'를 갖는 MP4 파일을 취득한 경우, 'stsl'는 인식되지 않고, 스킵된다. 즉, 종래의 미디어 데이터 표시 장치(10)의 표시에는 영향을 주지 않고, 'stsl'를 인식 가능한 장치에는, 새로운 기능을 실현시키는, MP4 파일의 데이터 구조가 제공되어 있다.

(5) 미디어 데이터 표시 장치(85)의 변형예

(5-1) 미디어 데이터 표시 장치(85)의 변형예

(5-1-1)

미디어 데이터 표시 장치(85)는, 스케일링 판정부(87)를 구비하지 않고, 항 상 스케일링 표시를 행하는 것이어도 된다. 여기에서는, 스케일링부는, 스케일링 표시를 행한다고 판정된 스케일링부(89)와 동일한 동작을 항상 행하게 된다.

또, 확장 표시 정보 취득부(86)가 'stsl' 및 'stdc'를 취득하지 않은 경우에, 스케일링부(89)는, fill 모드가 아니라, meet 모드 혹은 slice 모드로 스케일링을 행하는 것이어도 된다.

또한, fill 모드, meet 모드 혹은 slice 모드로 스케일링을 행하는 경우에는, 1/2, 1/4, 2, 3배 등 정수 배율로만 스케일링하는 것이어도 된다.

예를 들면, 1/2배로 스케일링할 때에는, 인접하는 2화소마다 순서대로 처리할 수 있는 등, 스케일링시의 처리가 간단화되어, 결과적으로 전력이 절약된다.

(5-1-2)

미디어 데이터 표시 장치(85)는, 확장 표시 정보 취득부(86) 및 스케일링 판정부(87)를 구비하지 않고, 유저의 지정에 의해 스케일링의 유무 및 스케일링의 방법을 결정하는 것이어도 된다.

도 21은, 제3 실시 형태의 변형예로서의 미디어 데이터 표시 장치(100)의 구조를 설명하는 블록도이다. 도 21에 도시하는 미디어 데이터 표시 장치(100)에서, 도 14에 도시하는 미디어 데이터 표시 장치(85)와 상위한 부분에 대해서 설명한다. 또한, 미디어 데이터 표시 장치(85)와 동일한 동작을 행하는 부분에 대해서는, 같은 부호를 붙여, 설명을 생략한다.

미디어 데이터 표시 장치(100)는, 미디어 데이터 표시 장치(85)가 구비하는 확장 표시 정보 취득부(86)와 스케일링 판정부(87)를 구비하지 않은 점, 및 스케일 링 방법 설정부(101)를 구비하고 있는 점에서, 미디어 데이터 표시 장치(85)와 상위하다. 스케일링 방법 설정부(101)는, 유저에 스케일링 방법(fill 모드, meet 모드 혹은 slice 모드 등)을 설정시킨다. 또, 스케일링부(102)는, 스케일링 방법 설정부(101)가 설정한 스케일링 방법에 의해, 프레임 메모리(16)가 기억하는 화상 사이즈(Wv, Hv)의 프레임 데이터를 표시 영역 사이즈(Wp, Hp)의 비디오 표시 영역에 스케일링한다.

이것에 의해, 스케일링의 유무 및 스케일링 방법에 대해서, 유저의 의지를 반영하는 것이 가능해진다.

(5-2) 스케일링 판정부(87)의 변형예

(5-2-1)

스케일링 판정부(87)는, 확장 표시 정보 취득부(86)가 'stsl'를 취득한 것에 의한 스케일링의 유무의 판정 대신에, 혹은 덧붙여, 탑재된 배터리의 잔량에 따라서 스케일링의 유무를 판정하는 것이어도 된다. 즉, 스케일링 판정부(87)는, 도시하지 않은 배터리 관리부로부터 배터리 잔량을 취득하여, 스케일링의 유무를 판정하게 된다.

배터리의 잔량이 적은 경우에, 배터리의 잔량에 의한 스케일링의 유무의 판정을 우선시킴으로써, 스케일링에 의한 전력 소비를 억제하여, 미디어 데이터 표시 장치(85)의 사용 가능 시간을 연장시키는 것이 가능해진다.

또, 배터리의 잔량이 많은 경우에는, 'stsl'의 취득의 유무에 관계없이, 스케일링 표시하는 것도 가능하다.

(5-2-2)

스케일링 판정부(87)는, 확장 표시 정보 취득부(86)가 'stsl'를 취득한 것에 의한 스케일링의 유무의 판정 대신에, 혹은 덧붙여, 유저의 설정에 따라서 스케일링의 유무를 전환해도 된다. 즉, 스케일링 판정부(87)는, 도시하지 않은 스케일링 설정부로부터의 설정에 의해, 스케일링의 유무를 전환하게 된다.

구체적으로는, 유저는, 미디어 데이터 표시 장치를 탑재하는 휴대 단말 등의 메뉴 화면에서의「스케일링」메뉴로 스케일링의 유무를 지정하는 것으로 해도 되고, 「전력 절약 설정」메뉴에서, 전력 절약 모드가 선택된 경우에 스케일링하지 않는 것으로 해도 된다.

또, 'stsl'의 취득의 유무에 관계없이, 유저의 설정을 항상 우선시켜도 된다.

(5-2-3)

스케일링 판정부(87)는, MP4 파일로부터 취득되는 'stsl' 이외의 정보로부터 스케일링의 유무를 판정해도 된다.

<1>

스케일링 판정부(87)는, 확장 표시 정보 취득부(86)가 'stdc'를 취득하고, 또한 'stsl'를 취득하지 않은 경우에는, 스케일링을 행하지 않는 것이어도 된다.

<2>

스케일링 판정부(87)는, 기본 표시 정보 취득부(17)가 취득하는 'ftyp'에 기초하여, 스케일링의 유무를 판정해도 된다. 예를 들면, 어느 특정한 스펙을 나타 내는 식별자([major_brand] 혹은 [compatible brand] 등)가 포함되어 있는지의 여부에 따라, 스케일링의 유무를 판정해도 된다.

<3>

스케일링 판정부(87)는, 기본 표시 정보 취득부(17)가 취득하는 'mvhd' 혹은 'tkhd'에 기초하여, 스케일링의 유무를 판정해도 된다.

예를 들면, 'tkhd'의 듀레이션, 및 'stsz' 등 'stbl' 내의 Box로부터 얻어지는 트랙 내의 총 샘플수, 혹은 'stts'에 표시되는 샘플의 듀레이션에 기초하여, 프레임 데이터의 프레임 레이트를 판단하여, 프레임 레이트가 어느 설정값 이하(예를 들면, 설정값 1frame/s에 대해서, 프레임 레이트가 0.5frame/s)인 경우에, 스케일링을 행하는 것이어도 된다.

또, 미디어 데이터 표시 장치(85)가, 1프레임의 복호·표시 처리에 할당 가능한 시간(예를 들면 15frame/s인 경우, 1/15초)에 대해서, 복호에 요하는 시간과 스케일링에 요하는 시간이 할당 가능한 시간 이하가 되는 경우에, 스케일링을 행하는 것이어도 된다.

이 경우, 미디어 데이터 표시 장치(85)의 처리량에 따라서, 스케일링의 유무를 전환하는 것이 가능해진다.

(6) 기타

(6-1)

MP4 파일에서, 'stsl'는, 'stbl'에 격납되어 샘플마다 스케일링 방법을 지정한다고 기재하였다. 여기에서, 'stsl'는, 'trak'에 격납되어, 트랙마다 동일한 스 케일링 방법을 지정하는 것이어도 된다. 또한, 트랙 단위로 스케일링 방법을 나타낼 때의 신택스 예를 도 22에 도시한다. 이 때, 'stsl'는 'trak' 직하에 배치되는 것이 바람직하다. 또, 복수의 샘플의 그룹인 청크 단위로 스케일링의 방법이 지정되어도 상관없다.

(6-2)

상기 실시 형태에서 설명한 'stdc'와 'stsl'는, 같은 Box에 포함되는 정보이어도 된다. 예를 들면, 미디어 데이터 표시 장치(85)가 취득하는 MP4 파일에서, 'stdc'가 격납하는 우선 영역의 정보 등은, 'stsl'에 포함되어 있어도 된다. 또, 그 반대도 동일하다.

(6-3)

도 15나 도 20에 도시한 신택스에서는, 스케일링 방법은, 플래그 정보로서 지정된다.

여기에서, 스케일링 방법은, 예를 들면, 8비트로 표시되는 [scale_method]의 값에 의해 지정되어도 된다. 보다 구체적으로는, fill 모드, hidden 모드, meet 모드, X축(화면 좌우 방향)의 slice 모드, Y축(화면 상하 방향)의 slice 모드의 각각 대해서, [1]∼[5] 중 어느 하나의 값이 부여된다.

또, 이들에 한정되지 않고, 스케일링 방법을 특정하기 위한 정보이면, 어떠한 형식이 이용되어도 된다.

또한, 이 경우, [scale_method]의 나머지의 값, 예를 들면 128∼255의 값은, 유저 지정 영역으로서, 이하와 같이 이용하는 것이 가능하다.

(6-3-1)

유저 지정 영역은, 상기 실시 형태에서 설명한 스케일링 방법이나 우선 영역의 정보 이외의, 스케일링 방법이나 우선 영역의 정보를 나타내기 위해서 이용되어도 된다.

<1>

예를 들면, 3GPP(3rd Generation Partnership Project) 등의 표준 규격, 혹은 서비스 사업자의 운용 규격에 의해 정해진 스케일링 방법이나 우선 영역의 정보를 나타내기 위해서 이용되어도 된다. 이 경우, 표준 규격, 혹은 운용 규격에 할당된 고유의 번호가 유저 지정 영역에 격납된다.

<2>

또, 예를 들면, 트랙의 화상을 표시할 때의 우선 순위를 나타내기 위해서 이용되어도 된다. 구체적으로는, [scale_method]의 특정 비트(상위 3비트 등)를 이용하여 우선 순위가 표시된다. 이것에 의해, 예를 들면, 텍스트 트랙의 우선도가 2, 비디오 트랙의 우선도가 1일 때에는, 오버레이하는 등으로 하여 텍스트를 우선적으로 표시하는 등의 동작이 가능해진다.

<3>

또, 예를 들면, TV 방송, 혹은 다운로드/스트리밍 콘텐츠 등의 메인 콘텐츠의 보조 데이터로서 MP4 파일을 송신할 때에, 보조 데이터인 것을 나타내기 위해서 이용되어도 된다. 구체적으로는, 보조 데이터는 미리 정해진 방법으로 표시하는 등, 보조 데이터와 메인 콘텐츠로 표시 방법을 전환하는 것이 가능해진다.

(6-3-2)

유저 지정 영역은, 이하와 같은 정보를 나타내기 위해서 이용되어도 된다.

<1>

예를 들면, 스크롤에 관한 정보를 나타내기 위해서 이용되어도 된다. 스크롤에 관한 정보란, 구체적으로는, 디폴트(스크롤하지 않은 상태)의 표시 영역을 나타내는 정보나, 단말이 스크롤 기능을 갖고, 또한 화상의 전체 영역을 한번에 표시할 수 없는 경우에는, 스크롤 기능을 유효하게 해야 하는지의 여부를 나타내는 플래그 정보 등을 포함하는 정보이다. 이것에 의해, 예를 들면, 스크롤에 의해 표시해야 할 화상이 스케일링되어, 부적절하게 표시되는 것이 방지된다. 바꿔 말하면, 스크롤에 의해 표시해야 할 화상을 적절하게 표시하는 것이 가능해진다.

<2>

또, 예를 들면, 멀티미디어 데이터의 표시를 행하는 단말의 능력에 관련된 복수의 표시 관련 정보를 나타내기 위해서 이용되어도 된다. 여기에서, 표시 관련 정보란, 샘플의 표시에 관련되는 정보이고, 예를 들면, 'stbl'에 격납되는 정보 등이다. 보다 상세하게는, 표시 관련 정보는, Visual Sample Entry에 포함되는 정보나, 상기한 'stsl'에 포함되는 정보나, 'stdc'에 포함되는 정보 등이다.

이 유저 지정 영역은, 예를 들면, 단말의 능력에 관련된 복수의 'stsl'에 의해 복수의 표시 관련 정보를 나타내는 것이어도 되고, 'stsl'에 복수의 엔트리를 가짐으로써 단말의 능력에 관련된 복수의 표시 관련 정보를 나타내는 것이어도 된다. 복수의 'stsl'를 사용할 때에는, 각각 1개의 'stsl'를 격납한 Visual Sample Entry를 복수개 갖는 것으로 해도 된다.

표시 관련 정보와 단말의 능력의 관련성은, 예를 들면, 표시 관련 정보마다, High, Medium, Low 등 단말의 능력의 식별자를 부가함으로써 행해진다. 표시를 행하는 단말에서는, 능력이 높은 경우에는, High에 상당하는 정보, 능력이 낮은 경우에는, Low에 상당하는 정보에 기초하여 표시가 행해진다.

이것에 의해, 단말의 능력에 따른 표시 관련 정보를 취득하는 것이 가능해져, 예를 들면, 멀티미디어 데이터의 표시를 행하는 수신 단말의 능력에 따라서, 최적의 표시 방법에 의해 표시를 행하는 것이 가능해진다.

또, 동일 MP4 파일을 복수 단말로 동시에 시청하는 것과 같은 경우에, 가장 능력이 낮은 단말에 대응하는 표시 관련 정보에 기초하여 표시가 행해진다. 이 경우, 능력이 다른 복수의 단말 모두에서, 동일한 표시를 행하는 것이 가능해진다. 또한, 각각의 단말의 능력은, 미리 정해진 단말간의 통신에 의해 교환된다.

<3>

또, 예를 들면, 메인 콘텐츠와 보조 데이터(상기 (6-3-1) <3> 참조)를 동시에 표시할 때의 위치 관계, 레이어, 스케일링 방법 등을 지정하는 정보를 나타내기 위해서 이용되어도 된다.

[제4 실시 형태]

본 발명의 제4 실시 형태로서, 미디어 데이터 표시 장치, 미디어 데이터 표시 방법 및 미디어 데이터 표시 프로그램의 응용예와, 그것을 이용한 시스템을 도 23∼도 26을 이용하여 설명한다.

도 23은, 콘텐츠 배송 서비스를 실현하는 콘텐츠 공급 시스템(ex100)의 전체 구성을 도시하는 블록도이다. 통신 서비스의 제공 영역을 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.

이 콘텐츠 공급 시스템(ex100)은, 예를 들면, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104) 및 기지국(ex107∼ex110)을 통해서, 컴퓨터(ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대전화(ex114), 카메라가 부착된 휴대전화(ex115) 등의 각 기기가 접속된다.

그러나, 콘텐츠 공급 시스템(ex100)은 도 23과 같은 조합에 한정되지 않고, 어느 하나를 조합하여 접속하도록 해도 된다. 또, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다.

카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또, 휴대전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 혹은 GSM(Global System for Mobile Communications) 방식의 휴대전화기, 또는 PHS(Personal Handyphone System) 등이고, 어느 것이어도 상관없다.

또, 스트리밍 서버(ex103)는, 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해서 접속되어 있고, 카메라(ex113)에서 받아 들인 부호화 데이터를 MP4 파일로서 축적해 두고, 그 파일을 전송한다. 또, 카메라가 부착된 휴대전화로 찰영한 동화상을 부호화하고 다중화하여, 다중화 데이터를 서버(ex103)에 송신하는 것도 가능하다. 또한, 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행해도, 데이터의 송신 처리를 하는 서버 등으로 행해도 된다. 또, 카메라(116)로 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해서 스트리밍 서버(ex103)에 송신되어도 된다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라(ex116)로 행해도 컴퓨터(ex111)로 행해도 어느 쪽이어도 된다. 또, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또한, 화상 부호화·복호화용의 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 기록 매체인 어떠한 축적 미디어(CD-ROM, 플렉시블 디스크, 하드 디스크 등)에 장착해도 된다. 또한, 카메라가 부착된 휴대전화(ex115)로 동화상 데이터를 송신해도 된다. 이 때의 동화상 데이터는 휴대전화(ex115)가 갖는 LSI로 부호화 처리된 데이터이다. 이와 같이, 본 발명이 배송 시스템에 적용되는 경우에는, 미리 축적된 MP4 파일을 HTTP용 스트리밍 서버로부터 배송한다. 요컨대, 부호화 데이터 그 자체를 패킷화하여 배송하는 것이 아니라, MP4 파일 그 자체를 전송한다.

또, 스트리밍 서버(ex103)는, 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해서 접속되어 있고, 카메라(ex113)를 이용하여 유저가 송신하는 부호화 처리된 데이터에 기초한 라이브 배송 등이 가능해진다. 또한, 이상에 서술한 바와 같이 라이브 배송을 행하기 위해서는, MP4 파일을 실시간으로 작성하는 것이 필요해져, 프래그먼트화한 MP4 파일을 이용하게 된다. 그리고, 프래그먼트화한 MP4를 이용하면, HTTP/TCP를 이용한, 라이브 배송에 가까운 저지연의 배송이 가능하다.

이 콘텐츠 공급 시스템(ex100)에서는, 유저가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 콘텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편, 스트리밍 서버(ex103)는 요구가 있었던 클라이언트에 대해서 상기 콘텐츠 데이터를 스트림 배송한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대전화(ex114) 등이 있다. 이와 같이 함으로써 콘텐츠 공급 시스템(ex100)은 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 실시간으로 수신하고 복호화하여, 재생함으로써, 개인 방송도 실현 가능해지는 시스템이다. 또, 콘텐츠의 재생시에는, 상기 실시 형태의 미디어 데이터 표시 장치, 미디어 데이터 표시 방법 및 미디어 데이터 표시 방법을 컴퓨터에 실현하는 미디어 데이터 표시 프로그램을 이용해도 된다. 예를 들면, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대전화(ex114) 등은, 상기 실시 형태에서 나타낸 미디어 데이터 표시 방법을 실현하는 미디어 데이터 표시 프로그램을 구비하고 있어도 된다.

일례로서 휴대전화에 대해서 설명한다.

도 24는, 상기 실시 형태의 미디어 데이터 표시 장치를 이용한 휴대전화(ex115)를 도시하는 도면이다. 휴대전화(ex115)는 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)에서 촬영한 영상, 안테나(ex201)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부 (ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 또는 정지화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 보존하기 위한 기록 미디어(ex207), 휴대전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기록 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 개서나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 격납한 것이다.

또한, 휴대전화(ex115)에 대해서 도 25를 이용하여 설명한다. 휴대전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각 부를 통괄적으로 제어하도록 이루어진 주 제어부(ex311)에 대해서, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해서 서로 접속되어 있다.

전원 회로부(ex310)는, 유저의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 베터리 팩으로부터 각 부에 대해서 전력을 공급함으로써 카메라가 부착된 디지털 휴대전화(ex115)를 동작 가능한 상태로 기동한다.

휴대전화(ex115)는, CPU, ROM 및 RAM 등으로 이루어지는 주 제어부(ex311)의 제어에 기초하여, 음성 통화 모드시에 음성 입력부(ex205)에서 집음한 음성 신호를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해서 송신한다. 또 휴대전화(ex115)는 음성 통화 모드시에 안테나(ex201)에서 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하여, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 음성 처리부(ex305)에 의해서 아날로그 음성 신호로 변환한 후, 이것을 음성 출력부(ex208)를 통해서 출력한다.

또한, 데이터 통신 모드시에 전자 메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부 (ex304)를 통해서 주 제어부(ex311)에 송출된다. 주 제어부(ex311)는 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해서 기지국(ex110)으로 송신한다.

데이터 통신 모드시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬상된 화상 데이터를 카메라 인터페이스부(ex303)를 통해서 화상 부호화부(ex312)에 공급한다. 또, 화상 데이터를 송신하지 않은 경우에는, 카메라부(ex203)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해서 표시부(ex202)에 직접 표시하는 것도 가능하다.

화상 부호화부(ex312)는, 카메라부(ex203)에서 공급된 화상 데이터를 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이것을 다중 분리부(ex308)에 송출한다. 또, 이 때 동시에 휴대전화(ex115)는 카메라부(ex203)에서 촬상 중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통해서 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다.

다중 분리부(ex308)는 화상 부호화부(ex312)에서 공급된 부호화 화상 데이터와 음성 처리부(ex305)에서 공급된 음성 데이터를 소정의 방식으로 다중화하여, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해서 송신한다.

데이터 통신 모드시에 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해서 기지국(ex110)으로부터 수신한 수신 신호를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.

또, 안테나(ex201)를 통해서 수신된 다중화 데이터를 복호화하기 위해서는, 다중 분리부(ex308)는 다중화 데이터를 분리함으로써 화상 데이터의 부호화 비트 스트림과 음성 데이터의 부호화 비트 스트림으로 나누어, 동기 버스(ex313)를 통해서 당해 부호화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 당해 음성 데이터를 음성 처리부(ex305)에 공급한다.

다음에, 화상 복호화부(ex309)는, 화상 데이터의 부호화 비트 스트림을 복호함으로써 재생 동화상 데이터를 생성하고, 이것을 LCD 제어부(ex302)를 통해서 표 시부(ex202)에 공급하여, 이것에 의해, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다.

또, 화상 복호화부(ex309)는, 상기 실시 형태의 미디어 데이터 표시 장치로서의 역할을 한다.

이 때 동시에 음성 처리부(ex305)는, 음성 데이터를 아날로그 음성 신호로 변환한 후, 이것을 음성 출력부(ex208)에 공급하고, 이것에 의해, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.

또한, 상기 실시 형태의 미디어 데이터 표시 방법을 실현하는 미디어 데이터 표시 프로그램을 구비하고 있어도 된다. 도 26에 도시하는 바와 같이, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 부호화 비트 스트림의 다중화 데이터를 판독하여, 복호화하는 재생 장치(ex403)에도 상기 실시 형태의 미디어 데이터 표시 장치, 미디어 데이터 표시 방법 및 미디어 데이터 표시 방법을 실현하는 미디어 데이터 표시 프로그램을 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또, 케이블 텔레비전용의 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋탑 박스(ex407) 내에 상기 실시 형태의 미디어 데이터 표시 장치를 실장하여, 이것을 텔레비전의 모니터(ex408)로 재생하는 구성도 생각할 수 있다. 이 때 셋탑 박스가 아니라, 텔레비전 내에 미디어 데이터 표시 장치를 장착해도 된다. 또, 안테나(ex411)를 갖는 차(ex415)로 방송 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하여, 차(ex412)가 갖는 카 네비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.

또한, 화상 신호를 부호화하고 다중화하여, 기록 매체에 기록할 수도 있다. 구체적으로는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 리코더나, 하드 디스크에 기록하는 디스크 리코더 등의 리코더(ex420)가 있다. 또한 SD 카드(ex422)에 기록할 수도 있다. 리코더(ex420)가 상기 실시 형태의 미디어 데이터 표시 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)에 표시할 수 있다.

또, 카 네비게이션(ex413)의 구성은 예를 들면 도 25에 도시하는 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성을 생각할 수 있고, 동일한 것을 컴퓨터(ex111)나 텔레비전(수신기)(ex401) 등에서도 생각할 수 있다.

또, 상기 휴대전화(ex114) 등의 단말은, 부호화기·복호화기를 양쪽 갖는 송수신형의 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3종류의 실장 형식을 생각할 수 있다.

이와 같이, 상기 실시 형태의 미디어 데이터 표시 장치, 미디어 데이터 표시 방법 및 미디어 데이터 표시 방법을 실현하는 미디어 데이터 표시 프로그램을 상술한 모든 기기·시스템에 이용하는 것은 가능하고, 상기 실시 형태에서 설명한 효과를 얻을 수 있다.

[기타]

상기 [제1 실시 형태]∼[제4 실시 형태]에 각각 기재한 내용은, 그 요지를 일탈하지 않는 범위에서 여러 가지의 변형, 조합이 가능하다.

(1)

[제1 실시 형태]에서 도 1을 이용하여 설명한 표시 영역 변환부(21) 및 단말 표시 화면 사이즈 취득부(22)는, [제2 실시 형태]에서 도 4를 이용하여 설명한 미디어 데이터 표시 장치(35)에서 구비되어 있어도 된다.

이 경우, 표시 위치 결정부(38)는, 표시 영역 변환부(21)가 설정하는 비디오 표시 영역에서, 우선 표시 영역을 표시하게 된다.

(2)

[제1 실시 형태]에서 도 1을 이용하여 설명한 표시 영역 변환부(21) 및 단말 표시 화면 사이즈 취득부(22)는, [제3 실시 형태]에서 도 14 혹은 도 21을 이용하여 설명한 미디어 데이터 표시 장치(85) 혹은 미디어 데이터 표시 장치(100)에서 구비되고 있어도 된다. 이 경우, 스케일링부(89) 혹은 스케일링부(102)는, 표시 영역 변환부(21)가 설정하는 비디오 표시 영역에 대해서, 프레임 데이터를 스케일링하게 된다. 그 때문에 동화상 표시 영역 설정 기능과 스케일링 기능의 양쪽이 실현된다. 그리고, 스케일링부가 스케일링 판정 수단으로부터의 판정 결과에 기초하여 스케일링을 행하지 않는 경우에는 제1 실시 형태와 동일한 효과가 얻어진다.

또, [제2 실시 형태]에서 도 4를 이용하여 설명한 표시 위치 결정부(38)를 더 구비하고, 스케일링하지 않는 경우에는, 표시 위치를 결정하여 표시시키는 것으로 해도 된다.

(3)

MP4 파일은, 비디오, 오디오, 혹은 텍스트 데이터를 다중하여 기록하는 것에 이용되는 경우도 있다. 예를 들면, 휴대전화 등의 카메라에 의해 촬영한 비디오, 오디오를 MP4 파일로서 기록하는 것과 같은 용도로 이용된다.

상기 실시 형태에서 기재한 'stdc' 및 'stsl'는, MP4 파일의 기록시에, MP4 파일의 작성자에 의해 미리 설정되는 것이 가능하다. 또, 비디오 표시 영역의 표시 영역 사이즈(Wp, Hp)에 대해서도, 비디오의 기록 중에 설정되는 것이 가능하다. 여기에서, 기록되는 비디오의 화상 사이즈(Wv, Hv)가 변화하는 경우에는, 화상 사이즈(Wv, Hv)의 최대값을 표시 영역 사이즈(Wp, Hp)로서 설정하는 것도 가능하다.

이것에 의해, 비디오의 표시시에, 미디어 데이터 표시 장치에 여유가 있는 표시 영역 사이즈(Wp, Hp)를 설정하는 것이 가능해진다.

(4)

MPEG-2 Video의 Pan-scan과 'stdc'를 이용한 우선 표시 영역의 표시를 조합하여 사용해도 된다.

MPEG-2 Video의 Pan-scan에서는, 비디오 화상의 중심과 디스플레이의 중심의 차분값을 설정함으로써, 표시해야 할 영역을 지정한다.

여기에서, Pan-scan은, 복호한 화상 프레임 중, 지정된 영역만을 잘라내어 표시하기 위해서 이용된다. 즉, 비디오 표시 영역에 여유가 있는 경우에도 지정 영역 이외의 비디오를 표시하지 않는다.

한편, 'stdc'에서는, 표시 화면이 작고, 또한 스케일링 기능을 갖지 않는 장치에서, 우선하여 표시되어야 하는 영역의 중심을 나타냄으로써 효과적인 표시를 행하는 것을 목적으로 하고 있다. 즉, 표시하는 범위를 제한하고 있는 것이 아니 라, 비디오 표시 영역에 여유가 있는 경우에는, 비디오 표시 영역 전체에 비디오를 표시하는 것이 가능하다.

그래서, Pan-scan과 'stdc'를 이용한 우선 표시 영역의 표시를 조합하여, Pan-scan에서 잘라낸 지정 영역이, 표시 화면보다도 큰 사이즈인 경우에, 잘라낸 영역의 어디에 우선도가 있는지를 설정하여, 그곳을 중심으로 표시하는 것이 가능해진다.

(5)

상기 각 실시 형태에서는, 프래그먼트를 사용하지 않는 MP4 파일에 대해서 서술하였지만, 프래그먼트화한 MP4 파일에서도 동일한 표시 동작이 가능하다. 또한, 프래그먼트화한 MP4 파일에서 샘플마다 표시 정보를 설정할 때에는, 표시 정보는 각 프래그먼트 내에서 설정되게 된다.

(6)

상기 각 실시 형태에서는, 표시 관련 정보로서 우선 영역, 혹은 스케일링 정보를 사용하였지만, 다른 표시 관련 정보의 사용을 제한하는 것은 아니다. 또, 표시 효과의 설정 등 다른 표시 관련 정보와 조합하는 것으로 해도 된다.

(7)

상기 각 실시 형태에서는, 우선 영역의 지정이나 스케일링 방법의 지정은, 청크 단위로 행해져도 된다고 기재하였다.

도 27∼도 28을 이용하여, 이들의 지정을 청크 단위로 행하는 경우에 대해서 상세하게 설명을 행한다.

'mdat' 내에 격납되어 있는 샘플은, 1이상의 샘플마다 청크라고 불리는 단위로 그룹화되어 있고, 청크와 샘플 엔트리를 관련지음으로써, 청크 단위의 정보가 표시된다. 여기에서, 샘플 엔트리란, 'stsd' 내의 엔트리이고, 예를 들면, 샘플을 복호화할 때의 초기화 정보가 격납된다. 특히, 비디오 트랙용의 샘플 엔트리는, Visual Sample Entry라고 불린다. 또, 청크와 샘플 엔트리의 관련성은, 'stsc' 내에 기재되어 있다.

상기 실시 형태에서 설명한 우선 영역이나 스케일링 방법을 지정하는 정보('stdc', 'stsl' 등)는, 'stbl'의 직하가 아니라, 'stsd'의 Visual Sample Entry 내에 격납되어 있어도 된다. 이것에 의해, 청크마다 'stsc'를 참조함으로써, 'stdc', 'stsl' 등의 표시 관련 정보를 청크 단위로 전환하는 것이 가능해진다.

여기에서, 도 27을 이용하여, 'stsd'의 Visual Sample Entry 내에 격납되는 'stsl'의 신택스를 도시한다. 도 27에 도시하는 'stsl'는 도 29(b)를 이용하여 설명한 Box와 동일한 구조를 갖고 있고, 우선 영역이나 스케일링 방법을 지정하는 정보가 같은 Box에 포함되어 있는 점에 특징을 갖고 있다. 이하, 신택스의 내용에 대해서 설명을 더한다.

[constraint_flag]는, 'stsl'가 포함하는 스케일링 방법에 따른 표시를 행하는지 아닌지에 대해서 나타내기 위한 정보이고, 상기 실시 형태에서 도 20을 이용하여 설명한 것과 동일하다. 예를 들면, 플래그 ON의 경우(예를 들면, 비트가 값 [1]을 나타내는 경우), 후술하는 [scale_method]에 표시되는 방법에 의해 스케일링이 행해진다. 또 예를 들면, 플래그 OFF의 경우(예를 들면, 비트가 값 [0]을 나타 내는 경우), 스케일링 동작은, 단말측이 선택할 수 있어, 스케일링하지 않고 표시를 행해도 된다. 또, 스케일링하여 표시를 행하는 경우에도, 반드시 [scale_method]에 표시되는 방법에 따르지 않아도 된다.

[scale_method]는, 스케일링 방법을 나타내기 위한 정보이고, 값에 따라 스케일링 방법이 할당되어 있다. 할당의 일례를 이하에 나타낸다. 예를 들면, 값 [1]에 의해 'fill' 모드가 지정된다. 값 [2]에 의해 'hidden' 모드가 지정된다. 값 [3]에 의해, 'meet' 모드가 지정된다. 값 [4]에 의해 'silce_x' 모드가 지정된다. 값 [5]에 의해 'slice_y' 모드가 지정된다.

여기에서, [scale_method]에 대해서는 8비트의 영역이 할당되어 있다. 이 경우에, 예를 들면, 값 [128∼255]를 유저 지정 영역으로서 이용하는 것이 가능한 점은, 상기 실시 형태에서 설명한 것과 동일하다.

[display_center_x] 및 [display_center_y]는, 상기 실시 형태와 동일한 정보이고, 우선 영역을 지정하기 위한 정보이다. 각각의 정보는, 디폴트값으로서 값 [0]을 격납한다.

도 28에서는, 1-30, 31-120, 121-180번째의 샘플이 각각 1, 2, 3번째의 청크에 격납되어 있다. 또한, 각 청크는, 각각 1, 2, 3번째의 샘플 엔트리를 참조한다. 각 샘플 엔트리에서는, 다른 우선 영역의 중심 좌표, 혹은 다른 스케일링 방법을 격납하고 있고, 청크마다 그것들을 전환하여 표시를 행하는 것이 가능해진다.

또한, 상기 설명에서, 'stdc', 'stsl' 등은, 'stsd'의 Visual Sample Entry 내에 격납되어 있다고 기재하였다. 여기에서, 'stdc', 'stsl' 등은 'stbl'의 직하 에 배치되어 있어도 된다. 이 경우, 각각의 'stdc', 'stsl' 등과, 각각의 청크를 관련시키는 정보가, 별도 격납된다. 또, ISO Base Format(ISO/IEC 14496-12)의 Amendment1, 혹은 AVC File Format(ISO/IEC 14496-15)에서 규격화된 Sample to Group Box('sbgp')와 Sample Group Description Box('sgpd')를 이용하여, 'stdc', 'stsl' 등과 청크를 관련지어도 된다. 이 때, 'stdc', 'stsl' 등의 정보를 격납하는 Visual Sample Group Entry의 타입이 신규로 정의된다.

[부기]

상기 실시 형태에 기재된 발명은, 다음과 같이 표현하는 것도 가능하다.

<부기의 내용>

(부기 1)

동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 장치로서,

상기 동화상의 표시 위치인 동화상 표시 위치를 결정하는 동화상 표시 위치 결정 수단과,

상기 멀티미디어 데이터를 표시하는 수단으로서, 상기 동화상 표시 위치 결정 수단에 의해 결정된 상기 동화상 표시 위치에서, 상기 동화상을 화상 사이즈를 변경하지 않고 표시하는 미디어 데이터 표시 수단을 구비하는 미디어 데이터 표시 장치.

(부기 2)

상기 멀티미디어 데이터는, 상기 표시 화면에서의 상기 동화상 이외의 미디 어의 표시 위치를 나타내는 미디어 표시 위치 정보를 갖고,

상기 동화상 표시 위치 결정 수단은, 상기 미디어 표시 위치 정보에 따라서, 상기 동화상 표시 위치를 결정하는 부기 1에 기재된 미디어 데이터 표시 장치.

(부기 3)

상기 동화상 표시 위치를 설정 가능한 동화상 표시 위치 설정 수단을 더 구비하고,

상기 동화상 표시 위치 결정 수단은, 상기 동화상 위치 설정 수단의 설정에 기초하여, 상기 동화상 표시 위치를 결정하는 부기 1에 기재된 미디어 데이터 표시 장치.

(부기 4)

상기 멀티미디어 데이터는, 상기 동화상에서 우선적으로 표시되는 영역인 우선 표시 영역을 나타내는 우선 표시 영역 정보를 갖고,

상기 동화상 표시 위치 결정 수단은, 상기 우선 표시 영역 정보에 기초하여, 상기 동화상 표시 위치를 결정하는 부기 1에 기재된 미디어 데이터 표시 장치.

(부기 5)

상기 멀티미디어 데이터는, 상기 표시 화면 중에서 상기 동화상을 표시 가능한 동화상 표시 영역을 나타내는 동화상 표시 영역 정보를 갖고,

상기 우선 표시 영역 정보는, 상기 우선 표시 영역의 중심을 나타내는 정보이며,

상기 동화상 표시 위치 결정 수단은, 상기 동화상 표시 영역 정보와 상기 우 선 표시 영역 정보에 기초하여, 상기 동화상 표시 영역의 중심과 상기 우선 표시 영역의 중심이 일치하도록 상기 동화상 표시 위치를 결정하는 부기 4에 기재된 미디어 데이터 표시 장치.

(부기 6)

상기 동화상 표시 위치 결정 수단은, 상기 우선 표시 영역을 포함하고, 또한, 될 수 있는 한 넓은 영역의 동화상이 표시되도록 상기 동화상 표시 위치를 결정하는 부기 4 또는 5에 기재된 미디어 데이터 표시 장치.

(부기 7)

상기 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보로부터, 상기 표시 화면 중에서 상기 동화상을 표시 가능한 동화상 표시 영역이 임의의 사이즈라고 판단되는 경우에, 상기 동화상 표시 영역을 소정의 사이즈로 설정하는 동화상 표시 영역 설정 수단과,

상기 멀티미디어 데이터를 표시하는 수단으로서, 상기 동화상 표시 영역 설정 수단에 의해 설정된 상기 소정의 사이즈의 상기 동화상 표시 영역에서, 상기 동화상을 화상 사이즈를 변경하지 않고 표시하는 미디어 데이터 표시 수단을 구비하는 미디어 데이터 표시 장치.

(부기 8)

상기 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보에 기초하여, 상기 표시 화면 중에서 상기 동화상을 표시 가능한 동화상 표시 영역이 소정의 사이즈와 다르다고 판단되는 경우에, 상기 동화상 표시 영역을 상기 소정의 사이즈로 설정하는 동화상 표시 영역 설정 수단과,

상기 멀티미디어 데이터를 표시하는 수단으로서, 상기 동화상 표시 영역 수단에 의해 설정된 상기 소정의 사이즈의 상기 동화상 표시 영역에서, 상기 동화상을 화상 사이즈를 변경하지 않고 표시하는 미디어 데이터 표시 수단을 구비하는 미디어 데이터 표시 장치.

(부기 9)

상기 동화상 표시 영역 설정 수단에 의해 설정된 상기 소정의 사이즈의 상기 동화상 표시 영역에 대해서, 상기 동화상을 스케일링하는 방식을 지정하는 스케일 링 지정 정보에 기초하여, 상기 동화상의 스케일링을 행하는 스케일링 수단과,

상기 멀티미디어 데이터를 표시하는 수단으로서, 상기 스케일링 수단에 의해 스케일링된 상기 동화상을 상기 동화상 표시 영역 내에 표시하는 미디어 데이터 표시 수단을 구비하는 미디어 데이터 표시 장치.

(부기 10)

상기 동화상 표시 영역 설정 수단에 의해 설정된 상기 소정의 사이즈의 상기 동화상 표시 영역에 대해서, 상기 동화상을 스케일링하는 방식을 지정하는 스케일링 지정 정보에 기초하여, 상기 동화상의 스케일링을 행하는 스케일링 수단과,

(부기 11)

동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법으로서,

상기 동화상의 표시 위치인 동화상 표시 위치를 결정하는 동화상 표시 위치 결정 단계와,

상기 멀티미디어 데이터를 표시하는 단계로서, 상기 동화상 표시 위치 결정 단계에 의해 결정된 상기 동화상 표시 위치에서, 상기 동화상을 화상 사이즈를 변경하지 않고 표시하는 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법.

(부기 12)

상기 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보로부터, 상기 표시 화면 중에서 상기 동화상을 표시 가능한 동화상 표시 영역이 임의의 사이즈라고 판단되는 경우에, 상기 동화상 표시 영역을 소정의 사이즈로 설정하는 동화상 표시 영역 설정 단계와,

상기 멀티미디어 데이터를 표시하는 단계로서, 상기 동화상 표시 영역 설정 단계에 의해 설정된 상기 소정의 사이즈의 상기 동화상 표시 영역에서, 상기 동화상을 화상 사이즈를 변경하지 않고 표시하는 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법.

(부기 13)

상기 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보에 기초하여, 상기 표시 화면 중에서 상기 동화상을 표시 가능한 동화상 표시 영역이 소정의 사이즈와 다르다고 판단되는 경우에, 상기 동화상 표시 영역을 상기 소정의 사이즈로 설정하는 동화상 표시 영역 설정 단계와,

(부기 14)

상기 동화상 표시 영역 설정 단계에 의해 설정된 상기 소정의 사이즈의 상기 동화상 표시 영역에 대해서, 상기 동화상을 스케일링하는 방식을 지정하는 스케일링 지정 정보에 기초하여, 상기 동화상의 스케일링을 행하는 스케일링 단계와,

상기 멀티미디어 데이터를 표시하는 단계로서, 상기 스케일링 단계에 의해 스케일링된 상기 동화상을 상기 동화상 표시 영역 내에 표시하는 미디어 데이터 표 시 단계를 구비하는 미디어 데이터 표시 방법.

(부기 15)

상기 멀티미디어 데이터를 표시하는 단계로서, 상기 스케일링 단계에 의해 스케일링된 상기 동화상을 상기 동화상 표시 영역 내에 표시하는 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법.

(부기 16)

컴퓨터에 의해, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법을 행하기 위한 미디어 데이터 표시 프로그램으로서,

상기 미디어 데이터 표시 프로그램은, 컴퓨터에,

상기 멀티미디어 데이터를 표시하는 단계로서, 상기 동화상 표시 위치 결정 단계에 의해 결정된 상기 동화상 표시 위치에서, 상기 동화상을 화상 사이즈를 변경하지 않고 표시하는 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법을 행하게 하는 것인 미디어 데이터 표시 프로그램.

(부기 17)

상기 미디어 데이터 표시 프로그램은, 컴퓨터에,

상기 멀티미디어 데이터를 표시하는 단계로서, 상기 동화상 표시 영역 설정 단계에 의해 설정된 상기 소정의 사이즈의 상기 동화상 표시 영역에서, 상기 동화상을 화상 사이즈를 변경하지 않고 표시하는 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법을 행하게 하는 것인 미디어 데이터 표시 프로그램.

(부기 18)

컴퓨터에 의해, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데 이터를 표시 화면에 표시하는 미디어 데이터 표시 방법을 행하기 위한 미디어 데이터 표시 프로그램으로서,

상기 미디어 데이터 표시 프로그램은, 컴퓨터에,

(부기 19)

상기 미디어 데이터 표시 프로그램은, 컴퓨터에,

상기 멀티미디어 데이터를 표시하는 단계로서, 상기 스케일링 단계에 의해 스케일링된 상기 동화상을 상기 동화상 표시 영역 내에 표시하는 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법을 행하게 하는 것인 미디어 데이터 표시 프로그램.

(부기 20)

상기 미디어 데이터 표시 프로그램은, 컴퓨터에,

<부기의 설명>

부기 1에 기재된 미디어 데이터 표시 장치는, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 장치로서, 동화상 표시 위치 결정 수단과, 미디어 데이터 표시 수단을 구비하고 있다. 동화상 표시 위치 결정 수단은, 동화상의 표시 위치인 동화상 표시 위치를 결정한다. 미디어 데이터 표시 수단은, 멀티미디어 데이터를 표시하는 수단로서, 동화상 표시 위치 결정 수단에 의해 결정된 동화상 표시 위치에서, 동화상을 화상 사이즈를 변경하지 않고 표시한다.

여기에서, 표시 위치란, 예를 들면, 동화상의 전체가 표시되는 경우에는, 표시 화면 내에서의 위치를 의미하고, 동화상의 일부가 표시되는 경우에는, 동화상 내에서의 표시 부위의 위치를 의미하고 있다(이하, 이 란에서 동일). 또, 멀티미디어 데이터란, 예를 들면, 비디오, 오디오, 텍스트 혹은 정지화상 등을 다중하여 격납하는 MP4 파일 등이다(이하, 이 란에서 동일).

본 발명의 미디어 데이터 표시 장치에서는, 미디어 데이터 표시 수단이 화상 사이즈를 변경하지 않고 동화상을 표시하기 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것이 아니라, 멀티미디어 데이터의 작성자가 의도하는 사이즈로 표시된다. 또, 스케일링하지 않고 동화상의 표시를 행함으로써, 장치 로의 처리 부하가 경감된다. 또한, 이 미디어 데이터 표시 장치에서는, 동화상 표시 위치 결정 수단이 동화상 표시 위치를 결정하기 때문에, 동화상은 적절한 위치에 표시된다.

부기 2에 기재된 미디어 데이터 표시 장치는, 부기 1에 기재된 미디어 데이터 표시 장치로서, 멀티미디어 데이터는, 표시 화면에서의 동화상 이외의 미디어의 표시 위치를 나타내는 미디어 표시 위치 정보를 갖고 있다. 동화상 표시 위치 결정 수단은, 미디어 표시 위치 정보에 따라서, 동화상 표시 위치를 결정한다. 여기에서, 동화상 이외의 미디어란, 예를 들면, 텍스트나 정지화상 등이다.

본 발명의 미디어 데이터 표시 장치에서는, 동화상 이외의 미디어의 표시 위치에 기초하여 동화상의 표시 위치를 결정하기 때문에, 동화상은, 동화상 이외의 미디어의 표시 위치와의 관계에서 적절한 위치에 표시된다.

부기 3에 기재된 미디어 데이터 표시 장치는, 부기 1에 기재된 미디어 데이터 표시 장치로서, 동화상 표시 위치를 설정 가능한 동화상 표시 위치 설정 수단을 더 구비하고 있다. 동화상 표시 위치 결정 수단은, 동화상 위치 설정 수단의 설정에 기초하여, 동화상 표시 위치를 결정한다.

본 발명의 미디어 데이터 표시 장치에서는, 동화상 표시 위치를 설정 가능한 동화상 표시 위치 설정 수단을 더 구비하고 있고, 동화상 표시 위치 결정 수단은 동화상 위치 설정 수단의 설정에 기초하여 동화상 표시 위치를 결정하기 때문에, 예를 들면, 유저가 동화상 표시 위치 결정 수단을 설정하면, 동화상은 유저가 의도하는 표시 위치에 표시된다.

부기 4에 기재된 미디어 데이터 표시 장치는, 부기 1에 기재된 미디어 데이터 표시 장치로서, 멀티미디어 데이터는, 동화상에서 우선적으로 표시되는 영역인 우선 표시 영역을 나타내는 우선 표시 영역 정보를 갖고 있다. 동화상 표시 위치 결정 수단은, 우선 표시 영역 정보에 기초하여, 동화상 표시 위치를 결정한다. 여기에서, 우선 표시 영역 정보는, 예를 들면, 우선 표시 영역의 중심의 좌표를 지정한다.

본 발명의 미디어 데이터 표시 장치에서는, 멀티미디어 데이터는 우선 표시 영역 정보를 갖고 있고, 동화상 표시 위치 결정 수단은 우선 표시 영역 정보에 기초하여 동화상 표시 위치를 결정하기 때문에, 동화상의 중요도가 높다고 생각되는 영역이 표시된다.

부기 5에 기재된 미디어 데이터 표시 장치는, 부기 4에 기재된 미디어 데이터 표시 장치로서, 멀티미디어 데이터는, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역을 나타내는 동화상 표시 영역 정보를 갖고 있다. 우선 표시 영역 정보는, 우선 표시 영역의 중심을 나타내는 정보이다. 동화상 표시 위치 결정 수단은, 동화상 표시 영역 정보와 우선 표시 영역 정보에 기초하여, 동화상 표시 영역의 중심과 우선 표시 영역의 중심이 일치하도록 동화상 표시 위치를 결정한다.

본 발명의 미디어 데이터 표시 장치에서는, 우선 표시 영역 정보는 우선 표시 영역의 중심을 나타내는 정보이고, 동화상 표시 위치 결정 수단은 동화상 표시 영역의 중심과 우선 표시 영역의 중심이 일치하도록 동화상 표시 위치를 결정하기 때문에, 동화상의 중요도가 높다고 생각되는 영역이 적절히 표시된다.

부기 6에 기재된 미디어 데이터 표시 장치는, 부기 4 또는 5에 기재된 미디어 데이터 표시 장치로서, 멀티미디어 데이터는, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역을 나타내는 동화상 표시 영역 정보를 갖고 있다. 동화상 표시 위치 결정 수단은, 우선 표시 영역을 포함하고, 또한, 될 수 있는 한 넓은 영역의 동화상이 표시되도록 동화상 표시 위치를 결정한다.

본 발명의 미디어 데이터 표시 장치에서는, 동화상 표시 위치 결정 수단은, 우선 표시 영역을 포함하고, 또한, 될 수 있는 한 넓은 영역의 동화상이 표시되도록 동화상 표시 위치를 결정하기 때문에, 동화상은, 멀티미디어 데이터의 작성자의 의도를 반영하면서, 동화상 표시 영역을 유효하게 이용하여 표시된다.

부기 7에 기재된 미디어 데이터 표시 장치는, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 장치로서, 동화상 표시 영역 설정 수단과, 미디어 데이터 표시 수단을 구비하고 있다. 동화상 표시 영역 설정 수단은, 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보로부터, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 임의의 사이즈라고 판단되는 경우에, 동화상 표시 영역을 소정의 사이즈로 설정한다. 미디어 데이터 표시 수단은, 멀티미디어 데이터를 표시하는 수단으로서, 동화상 표시 영역 설정 수단에 의해 설정된 소정의 사이즈의 동화상 표시 영역에서, 동화상을 화상 사이즈를 변경하지 않고 표시한다. 또한, 본원 발명은, 스케일링 수단을 갖고, 스케일링을 한다/하지 않는다를 선택할 수 있는 장치에도 적용할 수 있다.

본 발명의 미디어 데이터 표시 장치에서는, 미디어 데이터 표시 수단이 화상 사이즈를 변경하지 않고 동화상을 표시하기 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것이 아니라, 멀티미디어 데이터의 작성자가 의도하는 사이즈로 표시된다. 또, 스케일링하지 않고 동화상의 표시를 행함으로써, 장치로의 처리 부하가 경감된다. 또한, 동화상 표시 영역 설정 수단이 소정의 경우에 동화상 표시 영역을 소정의 사이즈로 설정하기 때문에, 동화상은 미디어 데이터 표시 장치에 있어서 적절한 동화상 표시 영역에서 표시된다.

부기 8에 기재된 미디어 데이터 표시 장치는, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 장치로서, 동화상 표시 영역 설정 수단과, 미디어 데이터 표시 수단을 구비하고 있다. 동화상 표시 영역 설정 수단은, 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보에 기초하여, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 소정의 사이즈와 다르다고 판단되는 경우에, 동화상 표시 영역을 소정의 사이즈로 설정한다. 미디어 데이터 표시 수단은, 멀티미디어 데이터를 표시하는 수단으로서, 동화상 표시 영역 설정 수단에 의해 설정된 소정의 사이즈의 동화상 표시 영역에서, 동화상을 화상 사이즈를 변경하지 않고 표시한다. 또한, 본원 발명은, 스케일링 수단을 갖고, 스케일링을 한다/하지 않는다를 선택할 수 있는 장치에도 적용할 수 있다.

본 발명의 미디어 데이터 표시 장치에서는, 미디어 데이터 표시 수단이 화상 사이즈를 변경하지 않고 동화상을 표시하기 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것이 아니라, 멀티미디어 데이터의 작성자가 의도하 는 사이즈로 표시된다. 또, 스케일링하지 않고 동화상의 표시를 행함으로써, 장치로의 처리 부하가 경감된다. 또한, 동화상 표시 영역 설정 수단이 동화상 표시 영역을 소정의 사이즈로 설정하기 때문에, 동화상은 유저가 이용하는 동화상 표시 영역에서 적절히 표시된다.

부기 9에 기재된 미디어 데이터 표시 장치는, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 장치로서, 동화상 표시 영역 설정 수단과, 스케일링 수단과, 미디어 데이터 표시 수단을 구비하고 있다. 동화상 표시 영역 설정 수단은, 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보로부터, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 임의의 사이즈라고 판단되는 경우에, 동화상 표시 영역을 소정의 사이즈로 설정한다. 스케일링 수단은, 동화상 표시 영역 설정 수단에 의해 설정된 소정의 사이즈의 동화상 표시 영역에 대해서, 동화상을 스케일링하는 방식을 지정하는 스케일링 지정 정보에 기초하여, 동화상의 스케일링을 행한다. 미디어 데이터 표시 수단은, 멀티미디어 데이터를 표시하는 수단으로서, 스케일링 수단에 의해 스케일링된 동화상을 동화상 표시 영역 내에 표시한다.

본 발명의 미디어 데이터 표시 장치에서는, 동화상 표시 영역 설정 수단이 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보로부터 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 임의의 사이즈라고 판단되는 경우에 동화상 표시 영역을 소정의 사이즈로 설정하고, 다음에 스케일링 수단이 동화상 표시 영역에 대해서 동화상의 스케일링을 행한다. 이와 같이 동화상 표시 영역 설정 수 단이 동화상 표시 영역을 소정의 사이즈로 설정하기 때문에, 동화상은 유저가 이용하는 동화상 표시 영역에서 적절히 표시된다.

부기 10에 기재된 미디어 데이터 표시 장치는, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 장치로서, 동화상 표시 영역 설정 수단과, 스케일링 수단과, 미디어 데이터 표시 수단을 구비하고 있다. 동화상 표시 영역 설정 수단은, 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보에 기초하여, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 소정의 사이즈와 다르다고 판단되는 경우에, 동화상 표시 영역을 소정의 사이즈로 설정한다. 스케일링 수단은, 동화상 표시 영역 설정 수단에 의해 설정된 소정의 사이즈의 동화상 표시 영역에 대해서, 동화상을 스케일링하는 방식을 지정하는 스케일링 지정 정보에 기초하여, 동화상의 스케일링을 행한다. 미디어 데이터 표시 수단은, 멀티미디어 데이터를 표시하는 수단으로서, 스케일링 수단에 의해 스케일링된 동화상을 동화상 표시 영역 내에 표시한다.

본 발명의 미디어 데이터 표시 장치에서는, 동화상 표시 영역 설정 수단이 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보로부터 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 소정의 사이즈와 다르다고 판단되는 경우에 동화상 표시 영역을 소정의 사이즈로 설정하고, 다음에 스케일링 수단이 동화상 표시 영역에 대해서 동화상의 스케일링을 행한다. 이와 같이 동화상 표시 영역 설정 수단이 동화상 표시 영역을 소정의 사이즈로 설정하기 때문에, 동화상은 유저가 이용하는 동화상 표시 영역에서 적절히 표시된다.

부기 11에 기재된 미디어 데이터 표시 방법은, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법으로서, 동화상 표시 위치 결정 단계와, 미디어 데이터 표시 단계를 구비하고 있다. 동화상 표시 위치 결정 단계는, 동화상의 표시 위치인 동화상 표시 위치를 결정한다. 미디어 데이터 표시 단계는, 멀티미디어 데이터를 표시하는 단계로서, 동화상 표시 위치 결정 단계에 의해 결정된 동화상 표시 위치에서, 동화상을 화상 사이즈를 변경하지 않고 표시한다.

본 발명의 미디어 데이터 표시 방법에서는, 미디어 데이터 표시 단계에서 화상 사이즈를 변경하지 않고 동화상을 표시하기 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것이 아니라, 멀티미디어 데이터의 작성자가 의도하는 사이즈로 표시된다. 또, 스케일링하지 않고 동화상의 표시를 행함으로써, 처리 부하가 경감된다. 또한, 이 미디어 데이터 표시 방법에서는, 동화상 표시 위치 결정 단계에서 동화상 표시 위치를 결정하기 때문에, 동화상은 적절한 위치로 표시된다.

부기 12에 기재된 미디어 데이터 표시 방법은, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법으로서, 동화상 표시 영역 설정 단계와, 미디어 데이터 표시 단계를 구비하고 있다. 동화상 표시 영역 설정 단계는, 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보로부터, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 임의의 사이즈라고 판단되는 경우에, 동화상 표시 영역을 소정의 사이즈로 설정한다. 미디어 데이터 표시 단계는, 멀티미디어 데이터를 표시하는 단계로서, 동화상 표시 영역 설정 단계에 의해 설정된 소정의 사이즈의 동화상 표시 영역에서, 동화상을 화상 사이즈를 변경하지 않고 표시한다.

본 발명의 미디어 데이터 표시 방법에서는, 미디어 데이터 표시 단계에서 화상 사이즈를 변경하지 않고 동화상을 표시하기 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것이 아니라, 멀티미디어 데이터의 작성자가 의도하는 사이즈로 표시된다. 또, 스케일링하지 않고 동화상의 표시를 행함으로써, 처리 부하가 경감된다. 또한, 동화상 표시 영역 설정 단계에서 소정의 경우 동화상 표시 영역을 소정의 사이즈로 설정하기 때문에, 동화상은 적절한 동화상 표시 영역에서 표시된다.

부기 13에 기재된 미디어 데이터 표시 방법은, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법으로서, 동화상 표시 영역 설정 단계와, 미디어 데이터 표시 단계를 구비하고 있다. 동화상 표시 영역 설정 단계는, 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보에 기초하여, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 소정의 사이즈와 다르다고 판단되는 경우에, 동화상 표시 영역을 소정의 사이즈로 설정한다. 미디어 데이터 표시 단계는, 멀티미디어 데이터를 표시하는 단계로서, 동화상 표시 영역 설정 단계에 의해 설정된 소정의 사이즈의 동화상 표시 영역에서, 동화상을 화상 사이즈를 변경하지 않고 표시한다.

본 발명의 미디어 데이터 표시 방법에서는, 미디어 데이터 표시 단계에서 화 상 사이즈를 변경하지 않고 동화상을 표시하기 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것이 아니라, 멀티미디어 데이터의 작성자가 의도하는 사이즈로 표시된다. 또, 스케일링하지 않고 동화상의 표시를 행함으로써, 처리 부하를 경감하는 것이 가능해진다. 또한, 동화상 표시 영역 설정 단계에서 동화상 표시 영역을 소정의 사이즈로 설정하기 때문에, 동화상은 유저가 이용하는 장치의 동화상 표시 영역에서 적절히 표시된다.

부기 14에 기재된 미디어 데이터 표시 방법은, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법으로서, 동화상 표시 영역 설정 단계와, 스케일링 단계와, 미디어 데이터 표시 단계를 구비하고 있다. 동화상 표시 영역 설정 단계는, 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보로부터, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 임의의 사이즈라고 판단되는 경우에, 동화상 표시 영역을 소정의 사이즈로 설정한다. 스케일링 단계는, 동화상 표시 영역 설정 단계에 의해 설정된 소정의 사이즈의 동화상 표시 영역에 대해서, 동화상을 스케일링하는 방식을 지정하는 스케일링 지정 정보에 기초하여, 동화상의 스케일링을 행한다. 미디어 데이터 표시 단계는, 멀티미디어 데이터를 표시하는 단계로서, 스케일링 단계에 의해 스케일링된 동화상을 상기 동화상 표시 영역 내에 표시한다.

본 발명의 미디어 데이터 표시 방법에서는, 동화상 표시 영역 설정 단계가 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보로부터 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 임의의 사이즈라고 판단되는 경우에 동화 상 표시 영역을 소정의 사이즈로 설정하고, 다음에 스케일링 단계가 동화상 표시 영역에 대해서 동화상의 스케일링을 행한다. 이와 같이 동화상 표시 영역 설정 단계가 동화상 표시 영역을 소정의 사이즈로 설정하기 때문에, 동화상은 유저가 이용하는 동화상 표시 영역에서 적절히 표시된다.

부기 15에 기재된 미디어 데이터 표시 방법은, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 방법으로서, 동화상 표시 영역 설정 단계와, 스케일링 단계와, 미디어 데이터 표시 단계를 구비하고 있다. 동화상 표시 영역 설정 단계는, 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보에 기초하여, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 소정의 사이즈와 다르다고 판단되는 경우에, 동화상 표시 영역을 소정의 사이즈로 설정한다. 스케일링 단계는, 동화상 표시 영역 설정 단계에 의해 설정된 소정의 사이즈의 동화상 표시 영역에 대해서, 동화상을 스케일링하는 방식을 지정하는 스케일링 지정 정보에 기초하여, 동화상의 스케일링을 행한다. 미디어 데이터 표시 단계는, 멀티미디어 데이터를 표시하는 단계로서, 스케일링 단계에 의해 스케일링된 동화상을 동화상 표시 영역 내에 표시한다.

본 발명의 미디어 데이터 표시 방법에서는, 동화상 표시 영역 설정 단계가 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보로부터 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 소정의 사이즈와 다르다고 판단되는 경우에 동화상 표시 영역을 소정의 사이즈로 설정하고, 다음에 스케일링 단계가 동화상 표시 영역에 대해서 동화상의 스케일링을 행한다. 이와 같이 동화상 표시 영역 설 정 단계가 동화상 표시 영역을 소정의 사이즈로 설정하기 때문에, 동화상은 유저가 이용하는 동화상 표시 영역에서 적절히 표시된다.

부기 16에 기재된 미디어 데이터 표시 프로그램은, 컴퓨터에 의해, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법을 행하기 위한 미디어 데이터 표시 프로그램으로서, 미디어 데이터 표시 프로그램은, 컴퓨터에, 동화상 표시 위치 결정 단계와, 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법을 행하게 한다. 동화상 표시 위치 결정 단계는, 동화상의 표시 위치인 동화상 표시 위치를 결정한다. 미디어 데이터 표시 단계는, 멀티미디어 데이터를 표시하는 단계로서, 동화상 표시 위치 결정 단계에 의해 결정된 동화상 표시 위치에서, 동화상을 화상 사이즈를 변경하지 않고 표시한다.

본 발명의 미디어 데이터 표시 프로그램에서는, 미디어 데이터 표시 단계에서 화상 사이즈를 변경하지 않고 동화상을 표시하기 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것이 아니라, 멀티미디어 데이터의 작성자가 의도하는 사이즈로 표시된다. 또, 스케일링하지 않고 동화상의 표시를 행함으로써, 처리 부하가 경감된다. 또한, 이 미디어 데이터 표시 프로그램에서는, 동화상 표시 위치 결정 단계에서 동화상 표시 위치를 결정하기 때문에, 동화상은 적절한 위치에 표시된다.

부기 17에 기재된 미디어 데이터 표시 프로그램은, 컴퓨터에 의해, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미 디어 데이터 표시 방법을 행하기 위한 미디어 데이터 표시 프로그램으로서, 미디어 데이터 표시 프로그램은, 컴퓨터에, 동화상 표시 영역 설정 단계와, 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법을 행하게 한다. 동화상 표시 영역 설정 단계는, 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보로부터, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 임의의 사이즈라고 판단되는 경우에, 동화상 표시 영역을 소정의 사이즈로 설정한다. 미디어 데이터 표시 단계는, 멀티미디어 데이터를 표시하는 단계로서, 동화상 표시 영역 설정 단계에 의해 설정된 소정의 사이즈의 동화상 표시 영역에서, 동화상을 화상 사이즈를 변경하지 않고 표시한다.

본 발명의 미디어 데이터 표시 프로그램에서는, 미디어 데이터 표시 단계에서 화상 사이즈를 변경하지 않고 동화상을 표시하기 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것이 아니라, 멀티미디어 데이터의 작성자가 의도하는 사이즈로 동화상이 표시된다. 또, 스케일링하지 않고 동화상의 표시를 행함으로써, 처리 부하가 경감된다. 또한, 동화상 표시 영역 설정 단계에서 소정의 경우에 동화상 표시 영역을 소정의 사이즈로 설정하기 때문에, 동화상은 적절한 동화상 표시 영역에서 표시된다.

부기 18에 기재된 미디어 데이터 표시 프로그램은, 컴퓨터에 의해, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법을 행하기 위한 미디어 데이터 표시 프로그램으로서, 미디어 데이터 표시 프로그램은, 컴퓨터에, 동화상 표시 영역 설정 단계와, 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법을 행하게 한다. 동화상 표시 영역 설정 단계는, 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보에 기초하여, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 소정의 사이즈와 다르다고 판단되는 경우에, 동화상 표시 영역을 소정의 사이즈로 설정한다. 미디어 데이터 표시 단계는, 멀티미디어 데이터를 표시하는 단계로서, 동화상 표시 영역 설정 단계에 의해 설정된 소정의 사이즈의 동화상 표시 영역에서, 동화상을 화상 사이즈를 변경하지 않고 표시한다.

본 발명의 미디어 데이터 표시 프로그램에서는, 미디어 데이터 표시 단계에서 화상 사이즈를 변경하지 않고 동화상을 표시하기 때문에, 동화상은, 어느 일정한 영역에 획일적으로 스케일링 표시되는 것이 아니라, 멀티미디어 데이터의 작성자가 의도하는 사이즈로 동화상이 표시된다. 또, 스케일링하지 않고 동화상의 표시를 행함으로써, 처리 부하가 경감된다. 또한, 동화상 표시 영역 설정 단계에서 동화상 표시 영역을 소정의 사이즈로 설정하기 때문에, 동화상은, 유저가 이용하는 장치의 동화상 표시 영역에서 적절히 표시된다.

부기 19에 기재된 미디어 데이터 표시 프로그램은, 컴퓨터에 의해, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법을 행하기 위한 미디어 데이터 표시 프로그램으로서, 미디어 데이터 표시 프로그램은, 컴퓨터에, 동화상 표시 영역 설정 단계와, 스케일링 단계와, 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법을 행하게 한다. 동화상 표시 영역 설정 단계는, 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보로부터, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 임의의 사이즈라고 판단되는 경우에, 동화상 표시 영역을 소정의 사이즈로 설정한다. 스케일링 단계는, 동화상 표시 영역 설정 단계에 의해 설정된 소정의 사이즈의 동화상 표시 영역에 대해서, 동화상을 스케일링하는 방식을 지정하는 스케일링 지정 정보에 기초하여, 동화상의 스케일링을 행한다. 미디어 데이터 표시 단계는, 멀티미디어 데이터를 표시하는 단계로서, 스케일링 단계에 의해 스케일링된 동화상을 상기 동화상 표시 영역 내에 표시한다.

본 발명의 미디어 데이터 표시 프로그램에서는, 동화상 표시 영역 설정 단계가 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보로부터 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 임의의 사이즈라고 판단되는 경우에 동화상 표시 영역을 소정의 사이즈로 설정하고, 다음에 스케일링 단계가 동화상 표시 영역에 대해서 동화상의 스케일링을 행한다. 이와 같이 동화상 표시 영역 설정 단계가 동화상 표시 영역을 소정의 사이즈로 설정하기 때문에, 동화상은 유저가 이용하는 동화상 표시 영역에서 적절히 표시된다.

부기 20에 기재된 미디어 데이터 표시 프로그램은, 컴퓨터에 의해, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법을 행하기 위한 미디어 데이터 표시 프로그램으로서, 미디어 데이터 표시 프로그램은, 컴퓨터에, 동화상 표시 영역 설정 단계와, 스케일링 단계와, 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법을 행하게 한다. 동화상 표시 영역 설정 단계는, 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보에 기초하여, 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 소정의 사이즈와 다르다고 판단되는 경우에, 동화상 표시 영역을 소정의 사이즈로 설정한다. 스케일링 단계는, 동화상 표시 영역 설정 단계에 의해 설정된 소정의 사이즈의 동화상 표시 영역에 대해서, 동화상을 스케일링하는 방식을 지정하는 스케일링 지정 정보에 기초하여, 동화상의 스케일링을 행한다. 미디어 데이터 표시 단계는, 멀티미디어 데이터를 표시하는 단계로서, 스케일링 단계에 의해 스케일링된 동화상을 동화상 표시 영역 내에 표시한다.

본 발명의 미디어 데이터 표시 프로그램에서는, 동화상 표시 영역 설정 단계가 멀티미디어 데이터에서 취득된 동화상 표시 영역 정보로부터 표시 화면 중에서 동화상을 표시 가능한 동화상 표시 영역이 소정의 사이즈와 다르다고 판단되는 경우에 동화상 표시 영역을 소정의 사이즈로 설정하고, 다음에 스케일링 단계가 동화상 표시 영역에 대해서 동화상의 스케일링을 행한다. 이와 같이 동화상 표시 영역 설정 수단이 동화상 표시 영역을 소정의 사이즈로 설정하기 때문에, 동화상은 유저가 이용하는 동화상 표시 영역에서 적절히 표시된다.

본 발명에 따른 미디어 데이터 표시 장치, 미디어 데이터 표시 방법 및 미디어 데이터 표시 프로그램은, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 다양한 표시 방법으로 표시 화면에 표시할 수 있고, 상기 분야에서 유용하다.

Claims

동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 장치로서,

상기 동화상을 화상 사이즈를 변경하여 표시할지, 화상 사이즈를 변경하지 않고 표시할지의 판정을 행하는 스케일링 판정 수단과,

상기 멀티미디어 데이터를 표시하는 수단으로서, 상기 스케일링 판정 수단의 판정 결과에 기초하여, 스케일링을 행하는지 아닌지를 전환하여 표시하는 미디어 데이터 표시 수단을 구비하는 미디어 데이터 표시 장치.
제1항에 있어서, 상기 스케일링 판정 수단은, 상기 멀티미디어 데이터가 갖는 스케일링 판정 정보에 기초하여, 상기 판정을 행하는 미디어 데이터 표시 장치.
제2항에 있어서, 상기 스케일링 판정 정보는, 스케일링을 행하는지 아닌지를 나타내는 플래그 정보인 미디어 데이터 표시 장치.
제1항에 있어서, 상기 스케일링 판정 수단은, 탑재된 배터리의 잔량에 기초하여, 상기 판정을 행하는 미디어 데이터 표시 장치.
제1항에 있어서, 상기 스케일링 판정 수단은, 상기 동화상을 화상 사이즈를 변경하여 표시할지, 화상 사이즈를 변경하지 않고 표시할지를 설정시키는 스케일링 설정 수단을 갖고 있는 미디어 데이터 표시 장치.
제1항에 있어서, 상기 스케일링 판정 수단은, 상기 동화상의 속성에 기초하여, 상기 판정을 행하는 미디어 데이터 표시 장치.
동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 장치로서,

상기 표시 화면 중에서 상기 동화상을 표시 가능한 동화상 표시 영역에 대해서 상기 동화상을 스케일링하는 방식을 지정하는 스케일링 지정 정보에 기초하여, 상기 동화상의 스케일링을 행하는 스케일링 수단과,

상기 멀티미디어 데이터를 표시하는 수단으로서, 상기 스케일링 수단에 의해 스케일링된 상기 동화상을 상기 동화상 표시 영역 내에 표시하는 미디어 데이터 표시 수단을 구비하는 미디어 데이터 표시 장치.
제7항에 있어서, 상기 스케일링 수단은, 상기 멀티미디어 데이터로부터 상기 스케일링 지정 정보를 취득하는 미디어 데이터 표시 장치.
제7항 또는 제8항에 있어서, 상기 동화상을 화상 사이즈를 변경하여 표시할지, 화상 사이즈를 변경하지 않고 표시할지의 판정을 행하는 스케일링 판정 수단을 더 구비하고 있고,

상기 미디어 데이터 표시 수단은, 상기 스케일링 판정 수단의 판정 결과에 기초하여, 스케일링을 행하는지 아닌지를 전환하여 표시하는 미디어 데이터 표시 장치.
제7항에 있어서, 상기 스케일링 지정 정보를 설정시키는 스케일링 방식 설정 수단을 더 구비하는 미디어 데이터 표시 장치.
동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법으로서,

상기 동화상을 화상 사이즈를 변경하여 표시할지, 화상 사이즈를 변경하지 않고 표시할지의 판정을 행하는 스케일링 판정 단계와,

상기 멀티미디어 데이터를 표시하는 단계로서, 상기 스케일링 판정 단계의 판정 결과에 기초하여, 상기 동화상을 표시하는 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법.
동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법으로서,

상기 표시 화면 중에서 상기 동화상을 표시 가능한 동화상 표시 영역에 대해서 상기 동화상을 스케일링하는 방식을 지정하는 스케일링 지정 정보에 기초하여, 상기 동화상의 스케일링을 행하는 스케일링 단계와,

상기 멀티미디어 데이터를 표시하는 단계로서, 상기 스케일링 단계에 의해 스케일링된 상기 동화상을 상기 동화상 표시 영역 내에 표시하는 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법.
컴퓨터에 의해, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법을 행하기 위한 미디어 데이터 표시 프로그램으로서,

상기 미디어 데이터 표시 프로그램은, 컴퓨터에,

상기 동화상을 화상 사이즈를 변경하여 표시할지, 화상 사이즈를 변경하지 않고 표시할지의 판정을 행하는 스케일링 판정 단계와,

상기 멀티미디어 데이터를 표시하는 단계로서, 상기 스케일링 판정 단계의 판정 결과에 기초하여, 상기 동화상을 표시하는 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법을 행하게 하는 것인 미디어 데이터 표시 프로그램.
컴퓨터에 의해, 동화상을 포함하는 복수 미디어로 이루어지는 멀티미디어 데이터를 표시 화면에 표시하는 미디어 데이터 표시 방법을 행하기 위한 미디어 데이터 표시 프로그램으로서,

상기 미디어 데이터 표시 프로그램은, 컴퓨터에,

상기 표시 화면 중에서 상기 동화상을 표시 가능한 동화상 표시 영역에 대해 서 상기 동화상을 스케일링하는 방식을 지정하는 스케일링 지정 정보에 기초하여, 상기 동화상의 스케일링을 행하는 스케일링 단계와,

상기 멀티미디어 데이터를 표시하는 단계로서, 상기 스케일링 단계에 의해 스케일링된 상기 동화상을 상기 동화상 표시 영역 내에 표시하는 미디어 데이터 표시 단계를 구비하는 미디어 데이터 표시 방법을 행하게 하는 것인 미디어 데이터 표시 프로그램.