JP5802953B2

JP5802953B2 - Video reproduction processing method and portable information terminal employing the method

Info

Publication number: JP5802953B2
Application number: JP2012083404A
Authority: JP
Inventors: 一樹客野
Original assignee: Axell Corp
Current assignee: Axell Corp
Priority date: 2012-03-31
Filing date: 2012-03-31
Publication date: 2015-11-04
Anticipated expiration: 2032-03-31
Also published as: JP2013214842A

Description

本発明は、動画再生処理方法及びその方法を採用した携帯情報端末に関し、特に、１つのみのハードウェアデコーダを有するという制約を受ける携帯情報端末における動画再生処理方法に関する。 The present invention relates to a moving image reproduction processing method and a portable information terminal that employs the method, and more particularly to a moving image reproduction processing method in a portable information terminal that is restricted by having only one hardware decoder.

特許文献１は、元のフルバージョンよりも低ビットレート及び低解像度で符号化することにより、１つ又は複数の小さい代替ビデオ画像（サムネイルビデオ画像）を生成するビデオ画像ミニチュアライザーなるものを開示している（［００１９］、図１のビデオ画像縮小化システム１００、図６のコンテンツ配信システム）。更に、そのビデオ画像ミニチュアライザーが生成した複数のサムネイルビデオ画像を１つの画面に表示する縮小ビデオ画像ＵＩプロデューサを開示しており（［００３９］、図３，４Ａ，及び４Ｂ）、次に、例えば、当該文献の図３において、サムネイルビデオ画像の１つが選択されると、対応するフルスケールビデオ画像が全画面で表示される（つなぎとしてサムネイルビデオ画像が全画面で表示される）ことが開示されている（［００４６］、［００４７］）。なお、これらの画像はすべて動画像である（［００３９］）。 Patent Document 1 discloses a video image miniaturizer that generates one or more small alternative video images (thumbnail video images) by encoding at a lower bit rate and lower resolution than the original full version. ([0019], the video image reduction system 100 in FIG. 1, the content distribution system in FIG. 6). In addition, a reduced video image UI producer is disclosed ([0039], FIGS. 3, 4A, and 4B) that displays a plurality of thumbnail video images generated by the video image miniatureizer on a single screen. FIG. 3 of the document discloses that when one of the thumbnail video images is selected, the corresponding full-scale video image is displayed on the full screen (the thumbnail video image is displayed on the full screen as a connection). ([0046], [0047]). These images are all moving images ([0039]).

ところで、最近、従来の携帯電話の発展形として、多様な機能を装備可能な携帯情報端末（例えば、いわゆるスマートフォン）が急速に台頭してきている。その機能としては、携帯電話機能、インターネット機能、データ記憶機能、メディア再生機能、ゲーム機能などがある。 By the way, recently, portable information terminals (for example, so-called smartphones) that can be equipped with various functions are rapidly emerging as a development of conventional mobile phones. Such functions include a mobile phone function, an Internet function, a data storage function, a media playback function, and a game function.

特開２００５−１１０２８６号公報Japanese Patent Laying-Open No. 2005-110286

上述の携帯情報端末においては、ハードウェア上の制約から、１つのハードウェアデコーダのみを備え、動画再生については、その１つのハードウェアデコーダを動作させて、表示画面の全画面で行うことが一般的である。すなわち、その１つのハードウェアデコーダが表示画面の全画面に対応しているため、そのハードウェアデコーダを使用する限り、表示画面の一部分領域において動画を再生させることはできない。つまり、例えば、一表示画面に複数の動画を同時再生させることはできない。また、一表示画面に、ウェブのコンテンツの表示と、動画再生とを並列的に行うことはできないので、ウェブブラウザ内の一部に動画広告を配信するというような態様にも対応できていない。特に、一表示画面に複数の動画を同時再生させることに関して、複数のハードウェアデコーダを設けることは、携帯情報端末のＯＳ（オペレーティングシステム）からの制約などの設計上の観点からも得策でなく、また、特に、コスト高の要因となって得策ではない。 In the above-described portable information terminal, only one hardware decoder is provided due to hardware restrictions, and moving image playback is generally performed on the entire display screen by operating the one hardware decoder. Is. That is, since the one hardware decoder corresponds to the entire screen of the display screen, the moving image cannot be reproduced in a partial area of the display screen as long as the hardware decoder is used. That is, for example, a plurality of moving images cannot be reproduced simultaneously on one display screen. Moreover, since it is not possible to display web content and play a video in parallel on one display screen, it is not possible to cope with a mode in which a video advertisement is distributed to a part of a web browser. In particular, regarding the simultaneous playback of a plurality of moving images on one display screen, providing a plurality of hardware decoders is not a good idea from the viewpoint of design such as restrictions from the OS (Operating System) of the portable information terminal, In particular, it is not a good idea due to high cost.

一方、ソフトウェアデコーダを利用すれば、表示画面の一部分領域において動画を再生させることは可能であるが、ハードウェアデコーダによる場合よりも処理が遅く、高解像度の動画を復号できないという欠点がある。また、音声との同期が困難である。更に、複数のソフトウェアデコーダを同時に動作させれば、複数の動画を並列的に表示することも可能であるが、この場合、消費電力が非常に高くなるため、現実的でなく、行われていない。 On the other hand, if a software decoder is used, it is possible to reproduce a moving image in a partial area of the display screen. Also, synchronization with voice is difficult. Furthermore, if a plurality of software decoders are operated at the same time, it is possible to display a plurality of moving images in parallel. However, in this case, since power consumption becomes very high, it is not practical and is not performed. .

なお、特許文献１においては、携帯情報端末は想定されておらず、従って、ハードウェア上の制約や消費電力の観点については、何ら考慮の対象となっていない。 In Patent Document 1, a portable information terminal is not assumed, and therefore no consideration is given to hardware constraints and power consumption viewpoints.

本発明は上述のような事情から為されたものであり、本発明の目的は、携帯情報端末において、ハードウェア上の制約や消費電力の制約をこれまでと同様に満たしつつ、ソフトウェアデコーダにより復号化された動画の表示から、ハードウェアデコーダの復号化による当該動画の表示に切り替えて表示できる動画再生処理方法及びその方法を採用した携帯情報端末を提供することにある。 The present invention has been made for the above-mentioned circumstances, and an object of the present invention is to perform decoding by a software decoder while satisfying hardware restrictions and power consumption restrictions as before in portable information terminals. An object of the present invention is to provide a moving image reproduction processing method capable of switching from displaying a converted moving image to displaying the moving image by decoding by a hardware decoder, and a portable information terminal employing the method.

上記目的を達成するため、本発明の動画再生処理方法は、携帯情報端末における動画再生処理方法であって、ネットワークを介して配信元からストリーム配信されてくる、符号化された解像度の低い動画情報を、ソフトウェアデコーダにより復号化し、その復号化に基づく動画を表示部に縮小表示し、操作者による前記縮小表示された動画に対する指示に基づき、前記配信元にその指示の旨を伝え、その後は、前記配信元から配信される符号化された解像度の高い動画情報を、ハードウェアデコーダにより復号化し、その復号化に基づく動画を前記表示部に全画面表示することを要旨とする。 In order to achieve the above object, a moving image reproduction processing method of the present invention is a moving image reproduction processing method in a portable information terminal, which is stream-distributed from a distribution source via a network and encoded low-resolution moving image information and decrypts the software decoder, and thumbnail video based on the decoded display unit, based on the instruction for the reduced display moving image by the operator, convey the purport of the instruction to the distribution source, then the high video information of the encoded resolution is distributed from the distribution source decodes Ri by the hardware decoder, the gist that full screen video based on the decoding on the display unit.

複数のソフトウェアデコーダによる復号化に基づく複数の動画を前記表示部に同時表示し、前記操作者による指示は、その複数の動画のうちの１つに対する選択操作であることが好適である。特に、この複数のソフトウェアデコーダによる復号化処理において、それらのソフトウェアデコーダを制御する制御部の命令群に合わせて最適化した復号化手法を採用すれば、効果的である。また、前記複数の動画の情報は、前記配信元からマルチストリーム配信されてくることが典型である。 Simultaneous displays a plurality of videos based on the decoding by a plurality of software decoders on the display unit, an instruction by the operator, it is preferable that a selection operation on the one of the plurality of video. In particular, it is effective to employ a decoding method optimized in accordance with the instruction group of the control unit that controls the software decoders in the decoding process by the plurality of software decoders. Further, the information of the plurality of video, it is typical to come is multi streamed from the distribution source.

ここで、前記複数の動画をストリーム再生し、前記選択操作があると、その選択に係る動画を、連続的に、前記ハードウェアデコーダによりストリーム再生してもよい。特に、そのとき、前記操作者により指示のあった時点の再生時刻情報を前記配信元に送ることにより、前記連続的にストリーム再生することが効果的である。 Here, when the plurality of moving images are stream-reproduced and the selection operation is performed, the moving image relating to the selection may be continuously stream-reproduced by the hardware decoder. In particular, at that time, it is effective to perform the continuous stream reproduction by sending reproduction time information at the time point instructed by the operator to the distribution source.

あるいは、前記複数の動画をストリーム再生し、前記選択操作があると、その選択に係る動画の高解像度の全情報を、前記配信元から受信して一旦動画情報格納部に格納し、その後、前記ハードウェアデコーダにより頭から再生してもよい。 Alternatively, when the plurality of videos are stream-reproduced and the selection operation is performed , all the high-resolution information of the videos related to the selection is received from the distribution source and temporarily stored in the video information storage unit. You may reproduce from the head by a hardware decoder.

一方、ウェブコンテンツと、それに関連した動画として、前記ソフトウェアデコーダによる復号化に基づく動画を前記表示部に重ね合わせ表示し、前記操作者による指示が行われると、前記ハードウェアデコーダによる復号化に基づく動画を、前記全画面表示することも可能である。このとき、前記動画に係る情報にアルファチャンネルの情報を含ませ、前記ウェブコンテンツとの重ね合わせ表示において、アルファブレンド表示を行うことが好適である。 On the other hand, as a web content and a moving image related thereto, a moving image based on the decoding by the software decoder is superimposed on the display unit, and when the instruction is given by the operator, the moving image is based on the decoding by the hardware decoder. It is also possible to display the moving image on the full screen. At this time, it is preferable to include alpha channel information in the information related to the moving image and perform alpha blend display in the overlay display with the web content.

また、上記目的を達成するため、本発明の携帯情報端末は、ネットワークを介して配信元との間で情報の送受信を行う通信処理部と、端末全体の制御処理を行うためのＣＰＵと、符号化された動画情報を復号化するためのハードウェアデコーダと、表示のための描画処理を行う描画処理部と、復号化された動画情報に係る動画が表示される表示部と、を備えた携帯情報端末であって、前記通信処理部は、ネットワークを介して配信元からストリーム配信されてくる、符号化された解像度の低い動画情報を受信し、前記ＣＰＵは、前記通信処理部により受信された、符号化された解像度の低い動画情報を、ソフトウェアデコーダにより復号化し、前記描画処理部は、その復号化に基づく動画を前記表示部に縮小表示し、前記ＣＰＵは、操作者による、前記縮小表示された動画に対する指示に基づき、前記通信処理部を介して前記配信元にその指示の旨を伝え、前記ハードウェアデコーダは、その後、前記配信元から配信される解像度の高い動画情報を復号化し、前記描画処理部は、その復号化に基づく動画を前記表示部に全画面表示することを要旨とする。 In order to achieve the above object, a portable information terminal of the present invention includes a communication processing unit that transmits and receives information to and from a distribution source via a network, a CPU that performs control processing for the entire terminal, A mobile device comprising: a hardware decoder for decoding the converted video information; a drawing processing unit for performing a drawing process for display; and a display unit for displaying a video related to the decoded video information An information terminal, wherein the communication processing unit receives encoded low-resolution video information that is stream-distributed from a distribution source via a network, and the CPU is received by the communication processing unit the low video information of the encoded resolution decoded by software decoder, the rendering processing section thumbnail videos based on the decoding on the display unit, wherein the CPU, the operator That, on the basis of the instruction for the reduced display moving image conveys the purport of that instruction to the distribution source via the communication processing unit, the hardware decoder, then a high resolution video to be distributed from the distribution source The gist is to decode the information, and the drawing processing unit displays a moving image based on the decoding on the display unit in a full screen .

前記ＣＰＵは、符号化された複数の動画情報をソフトウェアデコーダにより並列的に復号化し、前記描画処理部は、その復号化に基づく複数の動画を前記表示部に複数同時に縮小表示し、前記ＣＰＵは、前記操作者による、前記縮小表示された複数の動画のうちの一に対する選択指示に基づき、前記通信処理部を介して前記配信元にその選択の旨を伝える。このとき、前記通信処理部は、前記配信元からマルチストリーム配信されてくる前記符号化された複数の動画情報を受信する。 Wherein the CPU, a plurality of video information encoded in parallel and decoded by software decoder, the rendering processing unit, Zoom out multiple simultaneous on the display unit a plurality of videos based on the decoding, the CPU is due to the operator, based on the selection instruction for one of the plurality of videos that have been the reduced appear and the convey effect of the selected said distribution source via the communication processing unit. In this case, the communication processing unit, it receives a plurality of video information the encoded incoming is multi streamed from the distribution source.

一方、前記ＣＰＵは、ウェブコンテンツと、それに関連した動画として、前記ソフトウェアデコーダによる復号化に基づく動画を前記表示部に重ね合わせ表示し、前記操作者による指示が行われると、前記ハードウェアデコーダによる復号化に基づく動画を、前記全画面表示することも可能である。 On the other hand, the CPU superimposes and displays on the display unit a moving image based on the decoding by the software decoder as a web content and a moving image related thereto, and when the instruction is given by the operator, It is also possible to display the moving picture based on the decoding on the full screen.

また、前記携帯情報端末は片手で把持できる大きさであり、縦長状態で把持する際に、前記ＣＰＵは、前記ソフトウェアデコーダによる復号化に基づく動画を縦方向に順次送り出して新たな動画を表示し、その横方向の列の数は２以内であることが典型である。 Further, the portable information terminal is sized to grip with one hand, when gripped in the portrait orientation, the CPU sequentially feeding in a new video before the video based on the decoding by Kiso shift ware decoder longitudinally Typically, the number of horizontal columns displayed is within two.

このとき、前記ＣＰＵは、前記ソフトウェアデコーダによる復号化に基づく動画の上部又は下部に少なくとも当該動画を他の動画と区別するための付加情報を表示することも可能である。 At this time, the CPU can also display additional information for distinguishing at least the moving image from other moving images on the upper or lower portion of the moving image based on the decoding by the software decoder.

前記横方向の列の数は１であってもよい。 The number of horizontal columns may be one.

また、前記携帯情報端末は片手で把持できる大きさであり、横長状態で把持する際に、前記ＣＰＵは、前記ソフトウェアデコーダによる復号化に基づく動画を横方向に順次送り出して新たな動画を表示し、その縦方向の列の数は４以内であることが典型である。 Further, the portable information terminal is sized to grip with one hand, when gripped in the landscape orientation, the CPU sequentially feeding in a new video before the video based on the decoding by Kiso shift ware decoder laterally Typically, the number of columns displayed is 4 or less.

前記縦方向の列の数は３であってもよい。 The number of columns in the vertical direction may be three.

あるいは、前記縦方向の列の数は２であり、前記ＣＰＵは、前記ソフトウェアデコーダによる復号化に基づく動画の上部又は下部に少なくとも当該動画を他の動画と区別するための付加情報を表示することも可能である。
また、上記目的を達成するため、本発明の動画再生処理方法は、携帯情報端末における動画再生処理方法として、上記携帯情報端末で、複数の動画の同時表示のためのソフトウェアデコーダと、選択された動画の拡大表示のためのハードウェアデコーダを切り替える機能を持ち、ソフトウェアデコーダによって、符号化された動画情報を復号化して、その動画の情報に関連の動画を表示部に表示し、操作者による指示に基づいて、前記動画情報の処理を、前記ソフトウェアデコーダによる復号化処理からハードウェアデコーダによる復号化処理に移行して、前記表示部に前記動画を表示し、上記のソフトウェアデコーダによって復号化される前記符号化された動画情報は、上記のハードウェアデコーダによって復号化される前記動画情報よりも低解像度の情報であり、上記のソフトウェアデコーダによる復号化に基づく動画を上記表示部に縮小表示して、上記のハードウェアデコーダによる復号化に基づく動画を上記表示部の画面全体に表示または拡大表示して、Webコンテンツと、それに関連した動画として、上記のソフトウェアデコーダによる復号化に基づく動画を上記表示部に重畳させて表示して、前記操作者による指示が行われると、上記のハードウェアデコーダによる復号化に基づく動画を、上記全画面に表示または拡大表示することを要旨とする。
また、上記目的を達成するため、本発明の携帯情報端末は、端末全体の制御処理を行うためのCPU（Central Processing Unit）と、符号化された動画情報を復号化するためのハードウェアデコーダと、復号化された動画情報と関連している動画が表示される表示部を備えた携帯情報端末として、上記CPUは、複数の動画の同時表示のためのソフトウェアデコーダと、選択された動画の拡大表示のためのハードウェアデコーダを切り替える機能を持ち、上記符号化された動画情報をソフトウェアデコーダによって復号化して前記表示部に表示して、操作者によって指示があれば、上記の動画情報の処理を、前記ソフトウェアデコーダによる復号化処理から前記ハードウェアデコーダによる復号化処理切り替えて、前記表示部に表示し、上記のソフトウェアデコーダによって復号化される前記符号化された動画情報は、上記のハードウェアデコーダによって復号化される前記動画情報よりも低解像度の情報であり、上記CPUは、上記のソフトウェアデコーダによる復号化に基づく動画を上記表示部に縮小表示して、上記のハードウェアデコーダによる復号化に基づく動画上を前記表示部の画面全体に表示または拡大表示し、また、上記CPUは、ウェブコンテンツと、それに関連した動画として、上記のソフトウェアデコーダによる復号化に基づく動画を上記表示部に重畳させて表示して、上記操作者による指示が行われると、前記ハードウェアデコーダによる復号化に基づく動画を、上記全画面に表示または拡大表示することを要旨とする。
Alternatively, the number of columns in the vertical direction is 2, and the CPU displays at least additional information for distinguishing the moving image from other moving images on the upper or lower portion of the moving image based on the decoding by the software decoder. Is also possible.
In order to achieve the above object, the moving image reproduction processing method of the present invention is selected as a moving image reproduction processing method in a portable information terminal and a software decoder for simultaneously displaying a plurality of moving images in the portable information terminal. It has a function to switch the hardware decoder for the enlarged display of the moving image, the encoded moving image information is decoded by the software decoder, the moving image related to the moving image information is displayed on the display unit, and an instruction from the operator The moving image information processing is shifted from the decoding processing by the software decoder to the decoding processing by the hardware decoder, the moving image is displayed on the display unit, and is decoded by the software decoder. The encoded moving image information is obtained from the moving image information decoded by the hardware decoder. This is low-resolution information. The video based on the decoding by the software decoder is reduced and displayed on the display unit, and the video based on the decoding by the hardware decoder is displayed or enlarged on the entire screen of the display unit. Then, as a web content and a moving image related thereto, a moving image based on the decoding by the software decoder is displayed superimposed on the display unit, and when the instruction is given by the operator, the hardware decoder The gist is to display or enlarge the moving image based on the decryption by the above-mentioned full screen.
In order to achieve the above object, the portable information terminal of the present invention includes a CPU (Central Processing Unit) for performing control processing for the entire terminal, a hardware decoder for decoding encoded video information, As a portable information terminal having a display unit for displaying a moving image related to the decoded moving image information, the CPU includes a software decoder for simultaneously displaying a plurality of moving images, and enlargement of the selected moving image. It has a function of switching a hardware decoder for display, decodes the encoded moving picture information by a software decoder, displays it on the display unit, and processes the moving picture information when instructed by an operator. Switching from the decoding process by the software decoder to the decoding process by the hardware decoder, and displaying the software on the display unit The encoded moving image information decoded by the coder is lower resolution information than the moving image information decoded by the hardware decoder, and the CPU is based on the decoding by the software decoder. The video is reduced and displayed on the display unit, and the video based on the decoding by the hardware decoder is displayed or enlarged on the entire screen of the display unit, and the CPU is configured to display the web content and the related content. As a moving image, a moving image based on decoding by the software decoder is displayed superimposed on the display unit, and when an instruction is given by the operator, the moving image based on decoding by the hardware decoder is displayed on the full screen. The main point is to display or enlarge the display.

本発明の動画再生処理方法及びその方法を採用した携帯情報端末によれば、携帯情報端末において、ハードウェア上の制約や消費電力の制約をこれまでと同様に満たしつつ、ソフトウェアデコーダにより符号化された動画の表示から、ハードウェアデコーダの復号化による当該動画の表示に切り替えて表示できる。 According to the moving image reproduction processing method of the present invention and the portable information terminal adopting the method, the portable information terminal is encoded by the software decoder while satisfying hardware restrictions and power consumption restrictions as before. It is possible to switch from displaying a moving image to displaying the moving image by decoding by a hardware decoder.

特に、符号化された低解像度の動画情報をソフトウェアデコーダによって復号化して表示すれば、処理速度は低下せず、また、消費電力も過多とはならない。また、ハードウェアデコーダによる復号化の後は、高解像度で全画面表示できる。 In particular, if encoded low-resolution moving picture information is decoded and displayed by a software decoder, the processing speed does not decrease and the power consumption does not become excessive. In addition, after decoding by the hardware decoder, the full screen can be displayed with high resolution.

更に、並列的に複数同時表示して、全画面表示する画像を選択するような態様でも、選択には時間をさほど要しないのが通常であることから、消費電力過多の問題も生じない。 Furthermore, even in an aspect in which a plurality of images are displayed simultaneously in parallel and an image to be displayed on the full screen is selected, it usually does not take much time to select, so that the problem of excessive power consumption does not occur.

また、ウェブコンテンツと、それに関連する動画を同時に表示するに際し、アルファチャンネルが採用できるソフトウェアデコーダによりαチャンネルの情報を併せて処理することにより、重ね合わせて表示することができる。 In addition, when simultaneously displaying web content and a moving image related to the web content, the alpha channel information is processed together by a software decoder that can employ the alpha channel, so that the web content can be displayed in an overlapping manner.

本発明の携帯情報端末の第１実施形態の構成ブロック図である。It is a block diagram of the first embodiment of the portable information terminal of the present invention. 本発明の動画再生処理方法の第１実施形態の手順を示すフローチャートであり、同図（ａ）は、選択された動画を引き続きストリーム再生する場合、同図（ｂ）は、選択された動画に係る情報をダウンロードした後に改めて再生する場合のフローチャートである。It is a flowchart which shows the procedure of 1st Embodiment of the moving image reproduction | regeneration processing method of this invention, The figure (a) shows the case where the same animation (b) becomes the selected animation when continuing the stream reproduction | regeneration of the selected animation. It is a flowchart in the case of reproducing again after downloading the information concerned. 第１実施形態の動画再生処理方法に係る表示部の表示の具体例を示す図である。It is a figure which shows the specific example of the display of the display part which concerns on the moving image reproduction | regeneration processing method of 1st Embodiment. 第１実施形態の動画再生処理方法に係る携帯情報端末の外観の具体例を示す図である。It is a figure which shows the specific example of the external appearance of the portable information terminal which concerns on the moving image reproduction processing method of 1st Embodiment. 本発明の携帯情報端末の第２実施形態の構成ブロック図である。It is a block diagram of the configuration of the second embodiment of the portable information terminal of the present invention. 本発明の動画再生処理方法の第２実施形態の手順を示すフローチャートである。It is a flowchart which shows the procedure of 2nd Embodiment of the moving image reproduction | regeneration processing method of this invention. 第２実施形態の動画再生処理方法に係る表示部の表示の具体例を示す図である。It is a figure which shows the specific example of the display of the display part which concerns on the moving image reproduction | regeneration processing method of 2nd Embodiment.

以下、図面を参照して、本発明の実施の形態について詳細に説明する。
＜第１実施形態＞
図１は、本発明の携帯情報端末の第１実施形態の構成ブロック図である。図１に示すように、本発明の第１実施形態に係る携帯情報端末１Ａは、処理の進行や端末内の各部の制御を司るＣＰＵ（Central Processing Unit）１１と、端末における各種処理を行うためのプログラムが予め記憶されたプログラムＲＯＭ（Read Only Memory）１２と、実行中のプログラムや処理の実行に伴う一時的データが格納されるＲＡＭ（Random Access Memory）１３と、端末が各種ネットワークとの通信を行うべく、受信データ及び送信データに対して、変調及び復調等の各種の処理を行う通信処理部１４と、複数の動画情報を格納することが可能な動画情報格納部１５と、符号化された動画情報を復号化するためのものであって、ハードウェアで構成されたハードウェアデコーダ１７と、ビデオメモリを含み、復号化された動画情報に対して各種処理を行うと共に、表示できる情報として編成するための描画処理部１８Ａと、その描画処理部１８Ａからの動画情報が表示される表示部１９と、その表示部１９に対して物理的に積層配設され、操作者が指等で触れることにより、その触れた位置の位置情報がＣＰＵ１１に送られるタッチパネル２０と、を備えている。また、符号化された動画情報をソフトウェアにより復号化する場合、その実行中には、ソフトウェアデコーダ１６_１〜１６_４（例えば、並行して４つの動画を復号化する場合）がＲＡＭ１３にロードされる。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<First Embodiment>
FIG. 1 is a configuration block diagram of a first embodiment of the portable information terminal of the present invention. As shown in FIG. 1, the portable information terminal 1A according to the first embodiment of the present invention performs a process (CPU) 11 that controls the progress of processing and control of each unit in the terminal, and performs various processes in the terminal. A program ROM (Read Only Memory) 12 in which the program is stored in advance, a RAM (Random Access Memory) 13 in which temporary data associated with the execution of the program being executed and the process is stored, and the terminal communicate with various networks. Are encoded with a communication processing unit 14 that performs various processes such as modulation and demodulation on received data and transmission data, and a moving image information storage unit 15 that can store a plurality of pieces of moving image information. For decoding the moving image information, including a hardware decoder 17 configured by hardware and a video memory, and various processes for the decoded moving image information A drawing processing unit 18A for organizing as displayable information, a display unit 19 for displaying moving image information from the drawing processing unit 18A, and a physical stacking arrangement for the display unit 19, And a touch panel 20 in which position information of the touched position is sent to the CPU 11 when the operator touches with a finger or the like. When the encoded moving image information is decoded by software, software decoders 16 _{1 to} 16 ₄ (for example, when decoding four moving images in parallel) are loaded into the RAM 13 during execution. .

図２は、本発明の動画再生処理方法の第１実施形態の手順を示すフローチャートであり、同図（ａ）は、選択された動画を引き続きストリーム再生する場合、同図（ｂ）は、選択された動画に係る情報をダウンロードした後に改めて再生する場合のフローチャートである。図３は、第１実施形態の動画再生処理方法に係る表示部１９の表示の具体例を示す図である。図４は、第１実施形態の動画再生処理方法に係る携帯情報端末１Ａの外観の具体例を示す図である。 FIG. 2 is a flowchart showing the procedure of the first embodiment of the moving image reproduction processing method of the present invention. FIG. 2A shows the case where the selected moving image is continuously reproduced, and FIG. 10 is a flowchart in the case of reproducing again after downloading the information related to the moving image. FIG. 3 is a diagram illustrating a specific example of display on the display unit 19 according to the moving image reproduction processing method of the first embodiment. FIG. 4 is a diagram illustrating a specific example of the appearance of the portable information terminal 1A according to the moving image reproduction processing method of the first embodiment.

図２（ａ）を参照しつつ、選択された動画を引き続きストリーム再生する場合について説明する。そこで、まず、携帯情報端末１Ａは、所望のネットワークからマルチストリーム配信された複数の動画情報を、ソフトウェアデコーダ１６により実時間で復号化し、表示部１９の分割された領域にサムネイル動画（解像度の比較的低い縮小動画）として表示する（ステップＳ１）。なお、この段階でマルチストリーム配信されてくる動画情報は、解像度の低い動画情報を符号化した情報であるので、通信経路の容量も圧迫せず、またソフトウェアデコーダ１６による復号化においても、消費電力が過多とはならない。 With reference to FIG. 2A, a case where the selected moving image is continuously played back as a stream will be described. Therefore, the mobile information terminal 1A first decodes a plurality of pieces of moving picture information distributed in a multi-stream from a desired network by the software decoder 16 in real time, and displays thumbnail moving pictures (resolution comparison) in the divided area of the display unit 19. Display a reduced video image (step S1). Note that the moving image information distributed in multi-stream at this stage is information obtained by encoding moving image information with a low resolution, so that the capacity of the communication path is not compressed and power consumption is also achieved in the decoding by the software decoder 16. Is not excessive.

更に具体的には、例えばマルチストリーム配信されている４つの動画情報から１つの動画を選択する場合、通信処理部１４を介してロードされた４つの動画情報は、ＣＰＵ１１の制御のもと、それぞれ、ソフトウェアデコーダ１６_１〜１６_４により復号化され、描画処理部１８Ａで所定の処理が施された後、表示部１９に、図３の上図に示すように動画［１］〜動画［４］として表示される。なお、表示部１９の表示領域の分割の仕方は様々考えられ、図３の上図に示した例とは限らず、例えば、それぞれが等面積である必要はなく、またその形状も特に限定する必要もなく、図３に示したような長方形だけでなく、円形であっても楕円形であってもよい。 More specifically, for example, when one moving image is selected from the four moving image information distributed in multi-stream, the four moving image information loaded via the communication processing unit 14 is controlled under the control of the CPU 11. After being decoded by the software decoders 16 _{1 to} 16 ₄ and subjected to predetermined processing by the drawing processing unit 18A, the display unit 19 displays the moving image [1] to moving image [4] as shown in the upper diagram of FIG. Is displayed. There are various ways to divide the display area of the display unit 19, and the display area 19 is not limited to the example shown in the upper diagram of FIG. It is not necessary, and it may be not only a rectangle as shown in FIG.

ここで、複数のソフトウェアデコーダ１６による処理において、ＣＰＵ１１の命令群に合わせて最適化した復号化手法を採用すれば、より消費電力は軽減される。 Here, in the processing by the plurality of software decoders 16, power consumption can be further reduced if a decoding method optimized according to the instruction group of the CPU 11 is employed.

次に、ＣＰＵ１１は、タッチパネル２０からの信号に基づき、操作者が、タッチパネル２０をタップすることにより、所望の動画を選択したか否かを判定する（ステップＳ２）。選択されていないと判定されている間は、操作者によるタップを待つ。一方、操作者によりタッチパネル２０がタップされたと認識した場合には、ＣＰＵ１１は、タッチパネル２０からの信号に基づき、そのタップされた位置を認識し、更に、その位置に対応する表示動画を認識することにより、操作者により選択された動画を認識する。 Next, based on the signal from the touch panel 20, the CPU 11 determines whether the operator has selected a desired moving image by tapping the touch panel 20 (step S2). While it is determined that it is not selected, the operator waits for a tap. On the other hand, when the operator recognizes that the touch panel 20 has been tapped, the CPU 11 recognizes the tapped position based on a signal from the touch panel 20 and further recognizes a display moving image corresponding to the position. Thus, the moving image selected by the operator is recognized.

操作者によりいずれかの動画が選択されたと認識した場合、ＣＰＵ１１は、ソフトウェアデコーダ１６による４つの動画情報の復号化とその同時分割表示を終了し（ステップＳ３）、選択された１つの動画に係る高解像度情報に対するハードウェアデコーダ１７による復号化に切り替えると共に、表示部１９の全画面表示に切り替える（ステップＳ４）。詳細には、ＣＰＵ１１は、タッチパネル２０から信号を入力した時点において、選択された動画の再生時刻情報を取得し、ネットワークを介して配信元にその情報を送る。配信元は、その再生時刻以降の高解像度の動画情報を符号化した情報を送信し、ＣＰＵ１１は、ハードウェアデコーダ１７に対して、その引き続き送られてきた、高解像度の動画情報を符号化した情報を復号化するように命ずる。これにより、表示部１９には、その再生時刻情報に対応した時点から、選択された動画の高解像度での全画面表示が継続される。従って、見かけ上、シームレスな表示が可能となる。なお、図３は、操作者により動画［３］が選択された場合を示している。 When the CPU 11 recognizes that one of the moving images has been selected by the operator, the CPU 11 finishes the decoding of the four moving image information by the software decoder 16 and the simultaneous division display (step S3), and relates to the selected one moving image. While switching to decoding by the hardware decoder 17 with respect to high resolution information, it switches to the full screen display of the display part 19 (step S4). Specifically, the CPU 11 acquires the reproduction time information of the selected moving image at the time when a signal is input from the touch panel 20, and sends the information to the distribution source via the network. The distribution source transmits information obtained by encoding high-resolution moving image information after the reproduction time, and the CPU 11 encodes the high-resolution moving image information that has been continuously sent to the hardware decoder 17. Order to decrypt the information. As a result, the full-screen display of the selected moving image at a high resolution is continued on the display unit 19 from the time corresponding to the reproduction time information. Therefore, apparently seamless display is possible. FIG. 3 shows a case where the moving image [3] is selected by the operator.

図４は、携帯情報端末１Ａの全体の外観図により、表示部１９の画面の推移の例を示す図である。同図には、携帯情報端末１Ａの正面が示されており、その正面には、表示部１９と共にホームボタン３１及びイヤーピース３２が表れている。同図においては、ソフトウェアデコーダ１６による複数動画の同時表示時には、動画［１］〜動画［１２］が表示されており、その状態で操作者により動画［８］が選択された場合が示されている。 FIG. 4 is a diagram showing an example of transition of the screen of the display unit 19 based on the overall appearance of the portable information terminal 1A. In the figure, the front of the portable information terminal 1A is shown, and the home button 31 and the earpiece 32 appear together with the display unit 19 on the front. In the figure, when a plurality of moving images are simultaneously displayed by the software decoder 16, moving images [1] to [12] are displayed, and the case where the operator selects moving image [8] is shown. Yes.

なお、図４の上図に示した動画複数再生表示の状態において、操作者がタッチパネル２０をなぞることにより、動画表示枠を移動させることなく、再生表示している複数の動画を枠間で移動させることができる。これは、タッチパネル２０からの信号を認識したＣＰＵ１１が、描画処理部１８Ａに指示することにより実現できる。例えば、図４の上図に示された状態において、指で左右方向になぞると、「動画［１］、動画［５］、動画［９］」、「動画［２］、動画［６］、動画［１０］」、「動画［３］、動画［７］、動画［１１］」、及び「動画［４］、動画［８］、動画［１２］」の各ブロックが揃って左又は右の動画表示枠に移動する。また、同様に、指で上下方向になぞると、「動画［１］、動画［２］、動画［３］、動画［４］」、「動画［５］、動画［６］、動画［７］、動画［８］」、及び「動画［９］、動画［１０］、動画［１１］、動画［１２］」の各ブロックが揃って上又は下の動画表示枠に移動する。なお、同図においては、携帯情報端末１Ａを横長にした状態（端末の長手方向が、操作者の左右両眼を連ねた方向と一致）で、３行４列（縦方向に３列、横方向に４列（以下、縦３列、横４列とも称す））に動画を表示している場合を例示しているが、もちろんこれに限定するものではない。 In the state of the multiple video playback display shown in the upper diagram of FIG. 4, the operator can move the multiple videos that are being played back and displayed between the frames without moving the video display frame by tracing the touch panel 20. Can be made. This can be realized by the CPU 11 that has recognized the signal from the touch panel 20 instructing the drawing processing unit 18A. For example, in the state shown in the upper diagram of FIG. 4, if a finger is traced in the left-right direction, “movie [1], movie [5], movie [9]”, “movie [2], movie [6], Each block of “Movie [10]”, “Movie [3], Movie [7], Movie [11]”, and “Movie [4], Movie [8], Movie [12]” is aligned to the left or right. Move to the video display frame. Similarly, when the finger is traced up and down, “movie [1], movie [2], movie [3], movie [4]”, “movie [5], movie [6], movie [7] , “Movie [8]”, and “Movie [9], Movie [10], Movie [11], Movie [12]” are all moved to the upper or lower movie display frame. In the figure, in the state where the portable information terminal 1A is horizontally long (the longitudinal direction of the terminal coincides with the direction in which the left and right eyes of the operator are connected), 3 rows and 4 columns (3 columns vertically, horizontally) Although the case where a moving image is displayed in four columns in the direction (hereinafter also referred to as three vertical columns and four horizontal columns) is illustrated, of course, the present invention is not limited to this.

また、携帯情報端末１Ａの大きさが手に把持できる程度であり、通常は縦長状態（端末の長手方向が、操作者の左右両眼を連ねた方向に垂直）で把持したまま指先を用いて、所望のキー操作又は動画の表示枠に渡る移動を行うので、この場合に表示される動画の最適数は、動画サイズ及び縦横の比率と、携帯情報端末１Ａの表示画面のサイズによって決められ、複数の動画から所望のものを選択しやすいように、以下のように決定される。 In addition, the size of the portable information terminal 1A is such that it can be grasped by a hand, and is normally held in a vertically long state (the longitudinal direction of the terminal is perpendicular to the direction in which the left and right eyes of the operator are connected). In this case, the optimal number of moving images to be displayed is determined by the moving image size and the aspect ratio, and the size of the display screen of the portable information terminal 1A. In order to easily select a desired one from a plurality of moving images, the determination is made as follows.

携帯情報端末１Ａを縦長状態で把持する際には、その横方向の列の数は２以内であることが好ましい。１列の場合には、縦方向に早く新たな動画を順次送り出して選択できるとともに、動画の画像サイズももっとも大きい状態で所望画像を選択できる。但し、個々の動画の表示サイズが小さくなって見にくくなるが、所望の動画を選択する短時間での使用でもあるので、３列にすることもできる。 When the portable information terminal 1A is held in a vertically long state, the number of rows in the horizontal direction is preferably 2 or less. In the case of one row, new moving images can be sent out and selected quickly in the vertical direction, and a desired image can be selected with the largest moving image size. However, although the display size of each moving image becomes small and difficult to see, since it is also used in a short time to select a desired moving image, it can be arranged in three rows.

ここで、複数の動画から所望のものを選択するのに、動画そのものだけからの判断だけでなく、動画の上部又は下部（あるいは右隣又は左隣）に少なくとも当該動画を他の動画と区別するための付加情報を設けることで、その選択を容易にすることができる。付加情報としては、例えば、動画コンテンツのタイトルとかジャンルなどを文字化又は記号化して表示することが考えられる。 Here, in order to select a desired one from a plurality of moving images, not only a determination based on the moving image itself, but also at least the moving image is distinguished from other moving images at the top or bottom (or right or left adjacent) of the moving image. By providing additional information for this purpose, the selection can be facilitated. As the additional information, for example, it is conceivable to display the title or genre of the moving image content as characters or symbols.

一方、図４で例示したように携帯情報端末１Ａを横長状態で把持する場合には、動画形状が一般的には横長であるので、それに対応して携帯情報端末１Ａも横長状態で把持するので、画面に表示できる動画数を、上述した縦長状態で把持する場合に比べてより多く表示でき、多くの動画から短時間で所望動画を選択するのには便宜である。この場合には、新たな動画の送り出しは、上下又は左右に動けばいいが、特に左右方向に送り出す方が、一般的である。個々の動画の視認性の関係では、動画の列の数は、縦方向に４以内にすることが好ましく、図面に示したように３列にすることで、目視により縦一列の動画を同時に視認してからの選択動作を考えると、より実際的であり選択効率も良いものである。また、縦方向に２列にしておき、動画の上部又は下部に上述したように当該動画を他の動画と区別するための付加情報を設けることで、選択動作を一層簡便に、かつ早く行うことができるようになる。 On the other hand, as illustrated in FIG. 4, when the portable information terminal 1A is held in the horizontally long state, the moving image shape is generally horizontally long, and accordingly, the portable information terminal 1A is also held in the horizontally long state. Thus, the number of moving images that can be displayed on the screen can be displayed more than in the case of gripping in the above-described vertically long state, which is convenient for selecting a desired moving image from many moving images in a short time. In this case, the new moving image can be sent up and down or left and right, but it is generally more common to send it out in the left and right direction. In terms of the visibility of individual videos, the number of video columns is preferably within 4 in the vertical direction, and as shown in the drawing, a single vertical video can be viewed at the same time by visualizing 3 columns. Considering the selection operation after that, it is more practical and the selection efficiency is good. Also, the selection operation can be performed more easily and quickly by providing two columns in the vertical direction and providing additional information for distinguishing the moving image from other moving images at the top or bottom of the moving image as described above. Will be able to.

また、縦長状態または横長状態のいずれかに把持した場合でも、その把持状態に応じて上述したような最適な動画配列に切り換えられる構成でもある。つまり、幾つの動画を縦横にそれぞれ表示するようにするかは、適宜変更できるようにも画面のタッチ操作によって切換えするようにも構成することもできる。 In addition, even when gripped in either the vertically long state or the horizontally long state, the optimum moving image arrangement as described above can be switched according to the gripped state. That is, the number of moving images to be displayed vertically and horizontally can be changed as appropriate, or can be switched by a touch operation on the screen.

次に、図２（ｂ）を参照して、選択された動画に係る情報をダウンロードした後に改めて再生する場合について説明する。そこで、まず、図２（ａ）の場合と同様に、携帯情報端末１Ａは、所望のネットワークからマルチストリーム配信された複数の動画情報を、ソフトウェアデコーダ１６により実時間で復号化し、表示部１９の分割された領域にサムネイル動画（解像度の比較的低い縮小動画）として表示する（ステップＳ１１）。なお、この段階でマルチストリーム配信されてくる動画情報は、解像度の低い動画情報を符号化した情報であるので、通信経路の容量も圧迫せず、またソフトウェアデコーダ１６による復号化においても、消費電力が過多とはならない。 Next, with reference to FIG. 2 (b), a case will be described in which information relating to the selected moving image is downloaded and reproduced again. Therefore, as in the case of FIG. 2A, the portable information terminal 1A first decodes a plurality of pieces of video information distributed in a multi-stream from a desired network by the software decoder 16 in real time, A thumbnail video (a reduced video with a relatively low resolution) is displayed in the divided area (step S11). Note that the moving image information distributed in multi-stream at this stage is information obtained by encoding moving image information with a low resolution, so that the capacity of the communication path is not compressed and power consumption is also achieved in the decoding by the software decoder 16. Is not excessive.

次に、図２（ａ）の場合と同様に、ＣＰＵ１１は、タッチパネル２０からの信号に基づき、操作者が、タッチパネル２０をタップすることにより、所望の動画を選択したか否かを判定する（ステップＳ１２）。選択されていないと判定されている間は、操作者によるタップを待つ。一方、操作者によりタッチパネル２０がタップされたと認識した場合には、ＣＰＵ１１は、タッチパネル２０からの信号に基づき、そのタップされた位置を認識し、更に、その位置に対応する表示動画を認識することにより、操作者により選択された動画を認識する。 Next, as in the case of FIG. 2A, the CPU 11 determines whether or not the operator has selected a desired moving image by tapping the touch panel 20 based on a signal from the touch panel 20 ( Step S12). While it is determined that it is not selected, the operator waits for a tap. On the other hand, when the operator recognizes that the touch panel 20 has been tapped, the CPU 11 recognizes the tapped position based on a signal from the touch panel 20 and further recognizes a display moving image corresponding to the position. Thus, the moving image selected by the operator is recognized.

操作者によりいずれかの動画が選択されたと認識した場合、ＣＰＵ１１は、ソフトウェアデコーダ１６による４つの動画情報の復号化とその同時分割表示を終了すると共に（ステップＳ１３）、選択された動画に係る高解像度の全情報をダウンロードし、動画情報格納部１５に一旦格納する（ステップＳ１４）。そして、ＣＰＵ１１による指示に基づき、ハードウェアデコーダ１７は、動画情報格納部１５に格納された、選択された動画に係る高解像度の動画情報を順次読み出して復号化し、描画処理部１８Ａを介して表示部１９に全画面表示を行う（ステップＳ１５）。なお、図２（ｂ）の場合は、選択された動画の先頭から再生することが前提であり、かつ、改めてネットワーク等に対して要求することなく複数回再生することが可能である。また、この場合、ソフトウェアデコーダ１６により復号化されて再生される動画と、ダウンロードしてハードウェアデコーダ１７により符号化されて生成される動画とは、異なっていてもよい。すなわち、典型的には、ソフトウェアデコーダ１６により復号化されて再生される動画は、ダウンロードしてハードウェアデコーダ１７により復号化されて生成される動画のインデックス的又はプロモーション的な動画であってもよい。 When the CPU 11 recognizes that one of the moving images has been selected by the operator, the CPU 11 ends the decoding of the four moving image information by the software decoder 16 and its simultaneous division display (step S13), and the high-speed related to the selected moving image. All the resolution information is downloaded and temporarily stored in the moving image information storage unit 15 (step S14). Then, based on the instruction from the CPU 11, the hardware decoder 17 sequentially reads out and decodes the high-resolution moving image information related to the selected moving image stored in the moving image information storage unit 15 and displays it via the drawing processing unit 18A. Full screen display is performed on the unit 19 (step S15). In the case of FIG. 2B, it is assumed that the selected moving image is reproduced from the beginning, and can be reproduced a plurality of times without requesting the network or the like again. In this case, the moving image decoded and reproduced by the software decoder 16 may be different from the moving image that is downloaded and encoded by the hardware decoder 17. That is, typically, the moving image decoded and reproduced by the software decoder 16 may be an indexed or promotional moving image of a moving image that is downloaded and decoded by the hardware decoder 17. .

なお、上述の実施形態においては、複数の動画情報がネットワーク等からマルチストリーム配信される場合を説明したが、動画情報格納部１５に予め格納された複数の動画情報から、１つの動画を選択して再生するような場合でもよい。更に、外部から配信されるか、予め内部に格納しておくかに拘わらず、動画情報としては、ゲームの動画情報、映画メディアの動画情報がある。 In the above-described embodiment, a case has been described in which a plurality of pieces of moving image information are distributed in a multistream from a network or the like. However, one moving image is selected from a plurality of pieces of moving image information stored in advance in the moving image information storage unit 15. It is also possible to play it. Furthermore, regardless of whether the information is distributed from the outside or stored in advance, the moving image information includes moving image information of a game and moving image information of a movie media.

以上のように、上述の第１実施形態によれば、操作者の選択を促すものとして、複数の動画を同時再生し、選択後は、選択された動画を表示するに際し、ハードウェアの余計な追加はなく、かつ、複数の動画再生にソフトウェアデコーダを使用するにしても、低解像度の動画情報に対する処理であり、処理速度の問題も生ぜず、また、選択には時間をさほど要しないのが通常であることから、消費電力過多の問題も生ぜず、かつ、選択後は、処理速度の速いハードウェアデコーダにより、高解像度で全画面表示を行える。 As described above, according to the first embodiment described above, a plurality of moving images are played back simultaneously to prompt the operator to select, and after the selection, extra hardware is required to display the selected moving images. There is no addition, and even if a software decoder is used for playback of multiple videos, it is processing for low resolution video information, it does not cause processing speed problems, and it does not take much time for selection. Since it is normal, the problem of excessive power consumption does not occur, and after selection, a full-screen display can be performed at a high resolution by a hardware decoder having a high processing speed.

＜第２実施形態＞
次に、例えば、携帯情報端末で走るアプリケーションにおいて、表示されるウェブコンテンツに重ねて動画を一部表示し、動画が選択されると、その動画を全画面表示するような場合について説明する。 Second Embodiment
Next, for example, in an application running on a portable information terminal, a case will be described in which a moving image is partially displayed over the displayed web content, and when the moving image is selected, the moving image is displayed on a full screen.

図５は、本発明の携帯情報端末の第２実施形態の構成ブロック図である。図５示すように、本発明の第２実施形態に係る携帯情報端末１Ｂは、処理の進行や端末内の各部の制御を司るＣＰＵ１１と、端末における各種処理を行うためのプログラムが予め記憶されたプログラムＲＯＭ１２と、実行中のプログラムや処理の実行に伴う一時的データが格納されるＲＡＭ１３と、端末が各種ネットワークとの通信をおこなうべく、受信データ及び送信データに対して、変調及び復調等の各種の処理を行う通信処理部１４と、複数の動画情報を格納することが可能な動画情報格納部１５と、符号化された動画情報を復号化するためのものであって、ハードウェアで構成されたハードウェアデコーダ１７と、ビデオメモリを含み、復号化された動画情報に対して、特にアルファ（α）ブレンド処理を含めた各種処理を行うと共に、表示できる情報として編成するための描画処理部１８Ｂと、その描画処理部１８Ｂからの動画情報が表示される表示部１９と、その表示部１９に対して物理的に積層配設され、操作者が指等で触れることにより、その触れた位置の位置情報がＣＰＵ１１に送られるタッチパネル２０と、を備えている。また、符号化された動画情報をソフトウェアにより復号化する場合、その実行中には、ソフトウェアデコーダ１６がＲＡＭ１３にロードされる。 FIG. 5 is a configuration block diagram of the second embodiment of the portable information terminal of the present invention. As shown in FIG. 5, the portable information terminal 1B according to the second embodiment of the present invention stores in advance a CPU 11 that controls processing and control of each unit in the terminal, and programs for performing various processes in the terminal. The program ROM 12, the RAM 13 in which the program being executed and the temporary data associated with the execution of the processing are stored, and various types of modulation and demodulation for received data and transmitted data for the terminal to communicate with various networks The communication processing unit 14 for performing the above process, the moving image information storage unit 15 capable of storing a plurality of moving image information, and for decoding the encoded moving image information, is configured by hardware. The hardware decoder 17 and a video memory are included, and various processes including an alpha (α) blend process are performed on the decoded video information. A drawing processing unit 18B for organizing information that can be displayed, a display unit 19 for displaying moving picture information from the drawing processing unit 18B, and a physical layered arrangement on the display unit 19 for the operator. Is touched with a finger or the like, and is provided with a touch panel 20 that transmits position information of the touched position to the CPU 11. When the encoded moving image information is decoded by software, the software decoder 16 is loaded into the RAM 13 during the execution.

図６は、本発明の動画再生処理方法の第２実施形態の手順を示すフローチャートである。図７は、第２実施形態の動画再生処理方法に係る表示部１９の表示の具体例を示す図である。 FIG. 6 is a flowchart showing the procedure of the second embodiment of the moving image reproduction processing method of the present invention. FIG. 7 is a diagram illustrating a specific example of display on the display unit 19 according to the moving image reproduction processing method of the second embodiment.

携帯情報端末１Ｂは、あるアプリケーションプログラムにおける処理として、図７の上図に示すように、表示部１９に、ウェブコンテンツと、それに重ね合わせて、関連したサブネイル動画（解像度の比較的低い縮小動画）を表示する（ステップＳ２１）。詳細には、ＣＰＵ１１は、通信処理部１４に対して、ウェブコンテンツと、それに関連した低解像度の動画をダウンロードするように指示し、ダウンロードした動画情報は、ソフトウェアデコーダ１６により復号化され、ウェブコンテンツに重ね合わせて表示部１９に表示される。 As shown in the upper diagram of FIG. 7, the mobile information terminal 1 </ b> B performs processing related to a certain application program on the display unit 19 with web content and a related sub-nail video (a reduced video with a relatively low resolution) superimposed on the web content. Is displayed (step S21). More specifically, the CPU 11 instructs the communication processing unit 14 to download web content and a low-resolution video associated therewith, and the downloaded video information is decrypted by the software decoder 16 to obtain the web content. And is displayed on the display unit 19.

ここで、この重ね合わせ表示について説明する。すなわち、一般にハードウェアデコーダは、アルファチャンネルに対応していないが、ソフトウェアデコーダによる場合は、各画素ごとに、Ｒ，Ｇ，Ｂの情報に加えて、アルファチャンネルの情報（例えば、１〜２５５の値を有するα値）を付加させることが可能であり、このα値に可変設定する、言い換えれば、ブレンド率を可変設定することにより、動画をコンテンツに重ね合わせる際の見え方を変えることができる。例えば、動画情報に対してα値２５５を設定すれば不透明となり、動画のみが表示されることとなり、また、例えばα値１２７を設定すれば半透明となり、動画とウェブコンテンツが同等に表示されることとなる。 Here, the superimposed display will be described. That is, in general, a hardware decoder does not support an alpha channel, but in the case of a software decoder, in addition to R, G, and B information for each pixel, alpha channel information (for example, 1 to 255) (Α value having a value) can be added, and by variably setting this α value, in other words, by variably setting the blend rate, it is possible to change the appearance when the moving image is superimposed on the content. . For example, if the α value 255 is set for the moving image information, it becomes opaque and only the moving image is displayed, and if the α value 127 is set, for example, it becomes translucent and the moving image and the web content are displayed equally. It will be.

次に、ＣＰＵ１１は、タッチパネル２０からの信号に基づき、操作者が、タッチパネル２０をタップすることにより、再生中の動画がタップされたか否かを判定する（ステップＳ２２）。未だタップされていないと判定されている間は、操作者によるタップを待つ。 Next, based on the signal from the touch panel 20, the CPU 11 determines whether or not the moving image being played has been tapped by tapping the touch panel 20 (step S22). While it is determined that it has not been tapped yet, the operator waits for a tap.

一方、タッチパネル２０からの信号に基づき、再生中の動画が操作者によりタップされたと認識した場合、ＣＰＵ１１は、ソフトウェアデコーダ１６によるその動画情報の復号化とそのサムネイル表示を終了し（ステップＳ２３）、表示された動画に係る高解像度情報に対するハードウェアデコーダ１７による符号化に切り替えると共に、表示部１９の全画面表示に切り替える（ステップＳ２４）。 On the other hand, when the CPU 11 recognizes that the moving image being played has been tapped by the operator based on the signal from the touch panel 20, the CPU 11 ends the decoding of the moving image information and the thumbnail display by the software decoder 16 (step S23). While switching to encoding by the hardware decoder 17 with respect to the high-resolution information regarding the displayed moving image, it switches to the full screen display of the display part 19 (step S24).

なお、サムネイル動画から、ハードウェアデコーダ１７による全画面表示へのシームレスは表示の手法については、第１実施形態と同様である。 The seamless display method from the thumbnail video to the full screen display by the hardware decoder 17 is the same as that of the first embodiment.

以上のように、上述の第２実施形態によれば、ウェブコンテンツと、それに関連する動画を同時に表示するに際し、アルファチャンネルが採用できるソフトウェアデコーダによりαチャンネルの情報を併せて処理することにより、重ね合わせて表示することができる。その結果、例えば、ウェブコンテンツとそれに関連した動画広告も同時に表示できる。この重ね合わせにより、両者を同時に参照できて、情報の迅速正確な取得が可能となる。このとき、ハードウェアの余計な追加はなく、かつ、ソフトウェアデコーダによる低解像度の画像情報に対する処理であり、処理速度の問題も生ぜず、また、消費電力過多の問題も生じない。特に、重ね合わせて双方表示する場合のブレンド率を調整すれば（例えば、操作者がハードウェアボタンにより調整）、自由に注目したい対象を選定できる。一方、動画を全画面表示させる際には、処理速度の速いハードウェアデコーダにより、高解像度で表示できる。 As described above, according to the above-described second embodiment, when simultaneously displaying web content and a moving image related to the web content, the alpha channel information is processed together by the software decoder that can adopt the alpha channel. Can be displayed together. As a result, for example, web contents and associated video advertisements can be displayed simultaneously. By this superposition, both can be referred to at the same time, and information can be acquired quickly and accurately. At this time, no additional hardware is added, and the processing is performed on the low-resolution image information by the software decoder, so that the problem of processing speed does not occur and the problem of excessive power consumption does not occur. In particular, if the blending ratio in the case of displaying both images in an overlapping manner is adjusted (for example, the operator adjusts with a hardware button), it is possible to select an object to be freely focused on. On the other hand, when a moving image is displayed on the full screen, it can be displayed at a high resolution by a hardware decoder having a high processing speed.

なお、上述の第２実施形態の説明においては、ウェブコンテンツに関連した１つの動画を表示させるようにしたが、第１実施形態のように複数の関連する動画を表示して、選択するような態様でもよい。 In the above description of the second embodiment, one video related to web content is displayed. However, a plurality of related videos are displayed and selected as in the first embodiment. An aspect may be sufficient.

本発明の動画再生処理方法は、携帯電話機能、インターネット機能、データ記憶機能、メディア再生機能、ゲーム機能などの複合機能を有する携帯情報端末に適用できる。 The moving image reproduction processing method of the present invention can be applied to a portable information terminal having a composite function such as a cellular phone function, an Internet function, a data storage function, a media reproduction function, and a game function.

１Ａ、１Ｂ携帯情報端末
１１ＣＰＵ
１２プログラムＲＯＭ
１３ＲＡＭ
１４通信処理部
１５動画情報格納部
１６ソフトウェアデコーダ
１７ハードウェアデコーダ
１８Ａ、１８Ｂ描画処理部
１９表示部
２０タッチパネル
３１ホームボタン
３２イヤーピース
1A, 1B portable information terminal 11 CPU
12 Program ROM
13 RAM
14 communication processing unit 15 moving image information storage unit 16 software decoder 17 hardware decoders 18A and 18B drawing processing unit 19 display unit 20 touch panel 31 home button 32 earpiece

Claims

A video playback processing method in a portable information terminal,
The encoded low resolution video information that is streamed from the distribution source via the network is decoded by the software decoder ,
The video based on the decryption is reduced and displayed on the display unit,
Based on the instruction for the reduced-size video by the operator, the distribution source is informed of the instruction,
Thereafter, the high video information of the encoded resolution is distributed from the distribution source decodes Ri by the hardware decoder,
A moving image reproduction processing method , wherein a moving image based on the decoding is displayed on the display unit in a full screen .

Claim simultaneous displays a plurality of videos based on the decoding by a plurality of software decoders on the display unit, an instruction by the operator, which is a selecting operation for one of the plurality of video video playback method according to 1.

3. The moving image reproduction processing method according to claim 2, wherein in the decoding process by the plurality of software decoders, a decoding method optimized in accordance with an instruction group of a control unit that controls the software decoders is adopted. .

3. The moving image reproduction processing method according to claim 2 , wherein the information on the plurality of moving images is distributed in a multi-stream manner from the distribution source .

5. The moving image reproduction processing method according to claim 4 , wherein when the plurality of moving images are stream-reproduced and the selection operation is performed, the moving image according to the selection is continuously stream-reproduced by the hardware decoder. .

6. The moving image reproduction processing method according to claim 5, wherein the continuous stream reproduction is performed by sending reproduction time information at a time point instructed by the operator to the distribution source.

When the plurality of videos are stream-reproduced and the selection operation is performed , all the high-resolution information of the videos related to the selection is received from the distribution source, temporarily stored in the video information storage unit, and then the hardware 5. The moving image reproduction processing method according to claim 4 , wherein the reproduction is performed from the head by a decoder.

As a web content and a moving image related thereto, a moving image based on the decoding by the software decoder is superimposed on the display unit, and when an instruction is given by the operator, the moving image based on the decoding by the hardware decoder is displayed. the moving image reproduction processing method according to claim 1, characterized in that the full-screen display.

9. The moving image reproduction processing method according to claim 8, wherein information related to the moving image includes alpha channel information, and alpha blending display is performed in a superimposed display with the web content.

A communication processing unit that transmits and receives information to and from a distribution source via a network;
A CPU for controlling the entire terminal;
A hardware decoder for decoding the encoded video information;
A drawing processing unit for performing a drawing process for display;
A mobile information terminal comprising: a display unit on which a video related to the decoded video information is displayed;
The communication processing unit receives encoded video information with low resolution that is stream-distributed from a distribution source via a network,
The CPU decodes the encoded low-resolution moving image information received by the communication processing unit by a software decoder ,
The drawing processing unit displays a reduced video on the display unit based on the decryption ,
Wherein the CPU, Ru good the operator, based on the instruction for the reduced display moving image conveys the purport of that instruction to the distribution source via the communication processing unit,
The hardware decoder then decodes the high-resolution video information distributed from the distribution source,
The said drawing process part displays the moving image based on the decoding on the said display part on a full screen, The portable information terminal characterized by the above-mentioned.

The CPU decodes a plurality of encoded video information in parallel by a software decoder ,
The drawing processing section collapse the plurality of videos based on the decoding multiple simultaneous on the display unit,
Wherein the CPU, by the operator, based on the selection instruction for one of the plurality of videos that have been the reduced display, characterized Rukoto convey the purport of the selected said distribution source via the communication processing unit The portable information terminal according to claim 10 .

The communication processing unit, the portable information terminal according to claim 1 1, wherein the benzalkonium to receive the plurality of video information the encoded coming is multi streamed from the distribution source.

The CPU superimposes and displays on the display unit video based on the decoding by the software decoder as web content and a video related thereto, and when the instruction is given by the operator, the CPU decodes the video content. The mobile information terminal according to claim 10 , wherein a moving image based on the video is displayed on the full screen.

Said portable information terminal is sized to grip with one hand, when gripped in the portrait orientation, wherein the CPU, before successively feeding to display a new video videos based on decoding by Kiso shift ware decoder longitudinally 11. The portable information terminal according to claim 10, wherein the number of rows in the horizontal direction is two or less.

Wherein the CPU, the portable information terminal according to claim 1 4, characterized in that displaying the additional information to distinguish at least the video and other videos to the top or bottom of the video based on decoding by the software decoder .

Portable information terminal according to claim 1 4, characterized in that the number of transverse rows is 1.

Said portable information terminal is sized to grip with one hand, when gripped in the horizontally long state, the CPU of the previous sequential delivery by displaying a new video videos based on decoding by Kiso shift ware decoder laterally 11. The portable information terminal according to claim 10, wherein the number of columns in the vertical direction is 4 or less.

The portable information terminal according to claim 17 , wherein the number of columns in the vertical direction is three.

The number of columns in the vertical direction is 2, and the CPU displays at least additional information for distinguishing the moving image from other moving images on the upper or lower portion of the moving image based on the decoding by the software decoder. The portable information terminal according to claim 17 .

As a video playback processing method on a portable information terminal,
The mobile information terminal has a function of switching between a software decoder for simultaneous display of a plurality of videos and a hardware decoder for enlarged display of selected videos,
The encoded video information is decoded by the software decoder, and the video related to the video information is displayed on the display unit.
Based on the instruction from the operator, the processing of the moving image information is shifted from the decoding processing by the software decoder to the decoding processing by the hardware decoder, and the moving image is displayed on the display unit.
The encoded moving image information decoded by the software decoder is lower resolution information than the moving image information decoded by the hardware decoder,
The video based on the decoding by the software decoder is reduced and displayed on the display unit, and the video based on the decoding by the hardware decoder is displayed or enlarged on the entire screen of the display unit,
A video based on the decoding by the software decoder is displayed as a web content and a moving image related thereto, and is superimposed on the display unit, and when the instruction is given by the operator, the decoding by the hardware decoder is performed. A moving image reproduction processing method characterized in that a moving image based on the above is displayed or enlarged on the full screen.

A CPU (Central Processing Unit) for controlling the entire device,
A hardware decoder for decoding the encoded video information;
As a portable information terminal with a display unit that displays videos related to the decoded video information,
The CPU has a function of switching between a software decoder for simultaneous display of a plurality of videos and a hardware decoder for enlarged display of selected videos.
The encoded video information is decoded by a software decoder and displayed on the display unit,
If there is an instruction from the operator, the processing of the moving image information is switched from the decoding processing by the software decoder to the decoding processing by the hardware decoder, and displayed on the display unit,
The encoded moving image information decoded by the software decoder is lower resolution information than the moving image information decoded by the hardware decoder,
The CPU displays the video based on the decoding by the software decoder on the display unit in a reduced size, and displays or enlarges the video on the video based on the decoding by the hardware decoder on the entire display unit, Also,
The CPU displays a video based on the decoding by the software decoder as a web content and a video related to the web content, and superimposes the video on the display unit. When the instruction is given by the operator, the hardware decoder A mobile information terminal, wherein a moving image based on decryption is displayed or enlarged on the full screen.