JP5693109B2 - Video processing apparatus and control method thereof - Google Patents
Video processing apparatus and control method thereof Download PDFInfo
- Publication number
- JP5693109B2 JP5693109B2 JP2010204435A JP2010204435A JP5693109B2 JP 5693109 B2 JP5693109 B2 JP 5693109B2 JP 2010204435 A JP2010204435 A JP 2010204435A JP 2010204435 A JP2010204435 A JP 2010204435A JP 5693109 B2 JP5693109 B2 JP 5693109B2
- Authority
- JP
- Japan
- Prior art keywords
- angle
- view
- video
- video data
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、映像の画角変更機能を有する映像処理装置およびその制御方法に関する。 The present invention relates to a video processing apparatus having a video angle-of-view changing function and a control method thereof.
デジタル放送では1920x1080画素のハイビジョン(以下、HDとも記す)映像が一般的となっている。また、高度衛星デジタル放送では、さらに高解像度の映像や22.2chのマルチチャンネル音声を送る方式が検討されている。例えば、デジタルシネマの映像サイズは4k x 2k画素であり、スーパーハイビジョン(以下、SHVとも記す)の映像サイズは8k
x 4k画素である。従来よりも高解像度の映像の放送システムにて、受信装置の能力や機能に応じた表示を行うことも併せて検討されている。例えば、SHV放送を、既に普及しているHD受信装置で視聴するニーズが考えられる。
In digital broadcasting, high-definition (hereinafter also referred to as HD) video with 1920 × 1080 pixels is common. In advanced satellite digital broadcasting, methods for sending higher resolution video and 22.2ch multi-channel audio are being studied. For example, the video size of digital cinema is 4k x 2k pixels, and the video size of Super Hi-Vision (hereinafter also referred to as SHV) is 8k.
x 4k pixels. It has also been studied to perform display in accordance with the capability and function of the receiving device in a higher-resolution video broadcasting system than before. For example, there may be a need to view SHV broadcasts with HD receivers that are already in widespread use.
この場合の視聴形態には、元映像全体を縮小して表示した映像を視聴する形態(以下、ダウンコンバート視聴という)と、元映像の一部を受信装置側で切り出して表示した映像を視聴する形態(以下、トリミング視聴という)が挙げられる。
ダウンコンバート視聴では、ユーザは映像全体を視ることができるが、縮小により解像度が落ちた表示となるために精細感がなく、迫力ある映像効果を享受できない。一方、トリミング視聴では解像度が元映像のままであるため、精細感は損なわれないが、切り出し領域以外の映像が表示されないため、ユーザは映像全体を把握できない。どちらの形態を選択すべきかについては、ユーザの嗜好、コンテンツの種類、視聴中のシーン内容などに依る。
The viewing mode in this case includes a mode in which the entire original video is reduced and viewed (hereinafter referred to as down-conversion viewing) and a video in which a part of the original video is cut out and displayed on the receiving device side. The form (hereinafter referred to as trimming viewing) is mentioned.
In down-conversion viewing, the user can view the entire video, but since the display is reduced in resolution due to the reduction, there is no sense of detail and a powerful video effect cannot be enjoyed. On the other hand, in trimming viewing, the resolution remains the same as the original video, so the fineness is not impaired, but since the video other than the cut-out area is not displayed, the user cannot grasp the entire video. Which form should be selected depends on the user's preference, content type, scene content being viewed, and the like.
トリミング視聴時に、受信装置側でユーザが元映像から画像を切り出す位置やサイズを指定し、指定領域を拡大する技術が知られている(特許文献1参照)。また、切り出し位置やサイズなどを放送局から指定することも想定される。番組付加情報をメタデータとし、PSI/SIデータ内に各種テーブルとして埋め込み、放送局から送出することは、デジタル放送の規格上可能である。画像の切り出し位置やサイズなどの、放送局指定の画角情報をテーブル情報として埋め込んで送出し、該情報を受信装置で取り出すことが考えられる。メタデータを用いた番組付加情報の送出方法を用いれば、放送局から受信装置へ画角情報を送出可能である。 A technique for enlarging a designated area by specifying a position and a size at which a user cuts out an image from an original video on the receiving device side during trimming viewing is known (see Patent Document 1). It is also assumed that the cutout position and size are designated from the broadcasting station. It is possible to embed program additional information as metadata, embed it as various tables in PSI / SI data, and send it from a broadcasting station in accordance with digital broadcasting standards. It is conceivable that angle-of-view information specified by a broadcasting station, such as an image cut-out position and size, is embedded and transmitted as table information, and the information is extracted by a receiving device. If the program additional information transmission method using metadata is used, the angle of view information can be transmitted from the broadcast station to the receiving device.
上記のようにダウンコンバート視聴とトリミング視聴には一長一短があるため、ユーザが同一コンテンツの視聴中にこれらの視聴形態を任意に選択し、画角を適宜に変更しながら視聴することが想定される。この場合、視聴中の映像は時々刻々と変化し、それに伴いユーザが視聴を望む映像の画角も変化していく。よって、ユーザは視聴中、映像に応じて画角変更操作を行うことになるが、ユーザが意図する画角に切り替える操作や受信装置の動作が追随できないと、所望の画角でのシーンを見逃してしまう可能性がある。見逃しを防止するには、一時停止や巻き戻しなどにより、ユーザが所望の再生開始時刻を設定して再生を再開させる必要がある。しかし、シーン及び画角の切り替えに応じて、ユーザがその都度再生時刻を指定しながら視聴するのでは操作が煩雑になる。つまり、画角切り替えと再生時刻の操作が煩雑になると視聴環境が損なわれてしまうという課題があった。
そこで本発明は、画角変更の際にユーザが煩雑な操作を必要とせずに映像を再生することで快適な視聴環境を提供することを目的とする。
As described above, since down-conversion viewing and trimming viewing have merits and demerits, it is assumed that the user arbitrarily selects these viewing modes while viewing the same content, and views while appropriately changing the angle of view. . In this case, the video being viewed changes from moment to moment, and the angle of view of the video that the user wants to view changes accordingly. Therefore, the user performs an angle-of-view changing operation according to the video during viewing. There is a possibility that. In order to prevent oversight, it is necessary for the user to resume reproduction by setting a desired reproduction start time by pausing or rewinding. However, the operation becomes complicated if the user views while specifying the playback time each time the scene and the angle of view are switched. That is, there is a problem that the viewing environment is impaired when the angle of view switching and the operation of the reproduction time are complicated.
Accordingly, an object of the present invention is to provide a comfortable viewing environment by reproducing a video without requiring a complicated operation by the user when changing the angle of view.
本発明の一実施形態の映像処理装置は、出力映像の画角を変更することが可能な映像処理装置であって、映像データを保存する保存手段と、前記保存手段に保存された映像データを出力する映像出力制御手段と、出力映像の画角変更の指示を入力する指示入力手段と、前記画角変更の指示に従って出力映像の画角を制御する画角制御手段と、を備える。前記画角制御手段は、映像データに付加された、映像に対する切り出し位置の座標情報を保持する座標情報保持手段を有しており、前記座標情報保持手段から前記座標情報を取得して出力画角を選択し、前記映像出力制御手段は、前記保存手段に保存された映像データを出力しているときに前記画角制御手段から画角変更の指示を受けた場合、前記出力画角の選択に連動して再生開始時刻を決定し、前記画角変更の指示を受けた再生位置よりも前の再生位置から、画角変更後の映像データを出力する。
A video processing apparatus according to an embodiment of the present invention is a video processing apparatus capable of changing an angle of view of an output video, and includes a storage unit that stores video data, and video data stored in the storage unit. Video output control means for outputting; instruction input means for inputting an instruction to change the angle of view of the output video; and an angle of view control means for controlling the angle of view of the output video in accordance with the instruction to change the angle of view. The angle-of-view control means includes coordinate information holding means for holding coordinate information of a cut-out position with respect to the video, which is added to the video data, and obtains the coordinate information from the coordinate information holding means and outputs an output angle of view. select the image output control means, when receiving an instruction of angle change from the angle control means when outputting image data stored in the storage means, the selection of the output angle In conjunction with this, the playback start time is determined, and the video data after the change of the angle of view is output from the playback position before the playback position that received the instruction to change the angle of view.
本発明によれば、画角変更の際にユーザが煩雑な操作を必要とせずに映像を再生することで快適な視聴環境を提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the comfortable viewing environment can be provided by reproducing | regenerating an image | video, without a user requiring complicated operation in the case of a view angle change.
以下、本発明の各実施形態について図面を参照して説明する。
図1は、本発明の一実施形態に係る映像処理装置の適用例としてデジタル放送受信装置の構成を示すブロック図である。デジタル放送受信装置は入力映像の画角変更機能をもち、ユーザの画角変更指示に応じた画角で映像を表示する。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a digital broadcast receiving apparatus as an application example of a video processing apparatus according to an embodiment of the present invention. The digital broadcast receiving device has a function of changing the angle of view of the input video, and displays the video at the angle of view according to the user's angle of view change instruction.
デジタル放送信号はアンテナ101に入力され、装置内で処理された映像信号と音声信号はモニタ113とスピーカ119にそれぞれ出力される。ユーザはモニタ113の表示映像やスピーカ119の出力音声により、デジタル放送コンテンツを視聴する。本例に示すモニタ113はHD解像度の映像表示能力をもつ。
The digital broadcast signal is input to the
受信部102はデジタル放送波の選局、復調、誤り訂正処理を行い、MPEG2−TSデータを得る。MPEG2規格の正式名称は“Generic coding of moving pictures and associated audio information”であり、TSは“Transport Stream”の略号である。MPEG2−TSデータは多重化されており、信号分離部103は、ユーザが選局操作を行った番組のパケットIDに従って、映像および音声データとメタデータを分離する。映像および音声データはデコード部104に送られ、ここでデスクランブル処理と、MPEG2またはH.264圧縮データの復号が行われ、視聴可能な映像および音声データとなる。なお、H.264は、2003年5月に国際電気通信連合によって勧告された、動画データの圧縮符号化方式の標準の一つである。
The
デコード部104の出力する映像データは、視聴映像データバス124を通して映像表示制御部112に送られた後、モニタ113で映像が表示される。信号分離部103が分離したメタデータは、電子番組表などの番組情報や、元映像に対する切り出し位置の座標情報(以下、トリミング情報という)を含む。信号分離部103で抽出されたトリミング情報は、画角情報保持部106が保持し、画角の選択や決定時に使用される。
The video data output from the
画角制御部105は、ユーザ操作指示に従い、SHV放送の表示方法と出力画角を決定する。出力画角とは出力映像の画角であり、元映像に対して処理後の映像出力範囲を意味する。ユーザ操作指示はリモートコントローラ(以下、リモコンという)121からリモコン及びキー入力部117に送信され、入力制御部116を介してシステム制御部118に送られる。ユーザはリモコン121を使って画角変更操作や画角指定操作などを行う。システム制御部118は制御バス120を介して、ユーザ操作指示の内容に応じた画角制御情報を画角選択部107に送る。画角選択部107はダウンコンバート視聴またはトリミング視聴の選択判定を行う。トリミング視聴が選択された場合、画角情報保持部106に保持されたトリミング情報が使用される。またダウンコンバート視聴が選択された場合、SHV画像を受信装置の画面サイズに応じて縮小する際の縮小率が使用される。これらの画角制御情報は、画角選択部107から画角決定部108に送られ、画角決定部108は出力画角を決定する。
The angle-of-
システム制御部118は、CPU(中央演算処理装置)や、制御プログラムを記憶した不揮発性メモリ、RAM(Random Access Memory)などの揮発性メモリを用いて構成される。システム制御部118は制御プログラムを実行することで、主にソフトウェアによって行われる制御に従って各種の処理を行う。制御バス120は、各種データやコマンドの送受信に使用され、各種機能の連動および制御を実現するバスである。各処理部や制御部は制御バス120を介して相互に接続され、システム制御部118により制御される。
The
映像保存処理部115は、録画時のデータ処理や、タイムシフト再生時の映像の一時保存処理を行う。映像データはデコード部104から録画映像データバス122を通り、映像保存処理部115を介して映像データ保存部114に保存される。映像保存処理部115は録画データの再生制御も担っており、タイムシフト再生時に映像データを映像データ保存部114から読み出し、再生映像データバス123を介してデコード部104へ送る。
The video
映像出力制御部109は、映像再生時の時間制御と、トリミング情報に基づいた出力画角の制御を行う。再生開始時刻決定部110は、画角選択部107からの画角切り替え情報に応じて再生開始時刻を決定する。決定した再生開始時刻情報は再生時刻制御部111に送られ、該制御部はコンテンツの再生制御を行う。再生時刻制御部111の再生制御情報は制御バス120を介して映像保存処理部115に送られる。映像保存処理部115は再生制御情報に従って、映像データ保存部114内にある再生対象の映像データ、再生開始時刻などを映像データ保存部114に指定する。映像データ保存部114は指定された時刻の映像データを出力する。この映像データは、再生映像データバス123を通ってデコード部104に送られ、さらに映像表示制御部112に送られる。映像表示制御部112は、画角決定部108が決定した画角情報を受けて、映像データの表示画角制御を行う。具体的には、映像表示制御部112は視聴映像データバス124からの入力映像データに対して、ダウンコンバート処理や切り出し処理を行って映像信号を生成してモニタ113に出力する。
The video
次に、本実施形態に係る映像処理について、図2に示す映像コンテンツ例を用いて説明する。図2(A)はSHV映像201と、その一部を切り出した映像(HD切り出し映像)202を例示する。SHV映像201のサイズは7680x4320画素であり、その一部である1920x1080画素のHD映像を切り出して表示する場合を想定する。切り出し処理には、SHV映像上の座標、サイズなどのトリミング情報が必要となる。このトリミング情報によって指定される映像部分を、HD切り出し映像202として破線枠で示す。なお、トリミング情報は、切り出し位置の開始座標情報(X1,Y1)と終了座標情報(X2,Y2)を含む。 Next, video processing according to the present embodiment will be described using the video content example shown in FIG. FIG. 2A illustrates an SHV video 201 and a video (HD cut-out video) 202 cut out of a part thereof. The size of the SHV video 201 is 7680 × 4320 pixels, and it is assumed that a 1920 × 1080 pixel HD video that is a part of the SHV video 201 is cut out and displayed. The cropping process requires trimming information such as coordinates and size on the SHV video. A video portion designated by this trimming information is indicated by a dashed frame as an HD cut-out video 202. The trimming information includes start coordinate information (X1, Y1) and end coordinate information (X2, Y2) of the cutout position.
放送局がトリミング情報を送出して受信装置が取得する放送形態の場合、トリミング情報はメタデータとして送出可能である。メタデータのような付加情報はPSI/SI(Program Specific Information/Service Information)データ内に各種テーブル情報として埋め込まれる。番組名、放送時刻、番組説明などの番組に関する情報を送るEIT(Event Information Table)には、拡張形式イベント記述子が挿入できる。この拡張形式イベント記述子はテーブルとして各種データを設定できる構造をもち、放送局はここにトリミング情報を埋め込んで放送波として送出する。放送局はコンテンツを送出する際、トリミング情報を含むメタデータをEITに多重化して送出する。受信装置は多重化されたメタデータを受信し、EITの拡張形式イベント記述子からトリミング情報を抽出する。抽出したトリミング情報を用いて、図2(A)に示すHD切り出し映像202が決定される。 In the case of a broadcast form in which a broadcasting station sends trimming information and is acquired by a receiving device, the trimming information can be sent as metadata. Additional information such as metadata is embedded as various table information in PSI / SI (Program Specific Information / Service Information) data. An extended event descriptor can be inserted into an EIT (Event Information Table) that sends information about the program such as the program name, broadcast time, and program description. This extended format event descriptor has a structure in which various data can be set as a table, and the broadcasting station embeds trimming information here and transmits it as a broadcast wave. When a broadcast station sends out content, metadata including trimming information is multiplexed with the EIT and sent out. The receiving device receives the multiplexed metadata and extracts trimming information from the EIT extended format event descriptor. Using the extracted trimming information, the HD cut-out video 202 shown in FIG. 2A is determined.
図2(B)は、ダウンコンバート視聴時に図2(A)のSHV映像201をHD受信装置に縮小表示させたモニタ画面301の例である。表示範囲は図2(A)のSHV映像201と同一であるが、SHV映像201よりも縮小されて画面表示され、本例では解像度が元映像の約1/4となる。図2(C)は、トリミング視聴時に図2(A)のHD切り出し映像202をHD受信装置に表示させたモニタ画面401の例である。解像度は元映像であるSHV映像201と同一であるが、表示範囲は放送局が指定したトリミング情報に従う。
FIG. 2B is an example of a
図2(B)および(C)に示す映像は動画であり、その様子を概念図として、図3(A)および(B)に示す。図3(A)はダウンコンバート視聴時の映像変化を示す。時間軸の向きは右方であり、10秒毎の映像501乃至504を例示する。左端に示す映像501の時刻を基点として、10秒後の映像502、20秒後の映像503、30秒後の映像504を例示する。図3(B)は、図3(A)と同じコンテンツのトリミング視聴時の映像変化を示す。図3(A)と同様、10秒毎の映像の変化を左から映像601乃至604に例示する。時間軸に示す時刻0乃至30秒は、コンテンツ内での時刻を表し、図3(A)の時刻と対応している。図3(A)ではユーザが映像全体を把握できるが精細感のない映像となり、図3(B)では解像度が元映像の場合と同じであるが映像全体をユーザは把握できない。したがって、ユーザは図3(A)と図3(B)に示す視聴形態を切り替えるために画角指定操作を行うことになる。
The video shown in FIGS. 2B and 2C is a moving image, and the state is shown in FIGS. 3A and 3B as a conceptual diagram. FIG. 3A shows a video change at the time of down-conversion viewing. The direction of the time axis is rightward, and
図4は映像再生時間と画角の変化を示した概念図であり、上段に表示シーンの推移を示し、中段にコンテンツ内での時刻を示し、下段に視聴時刻を示す。時間軸の向きは右方であり、時刻20秒でユーザが画角切り替え操作を行った例を示す。まずダウンコンバート視聴にて、ユーザは映像501乃至503を視る。そして、トリミング視聴に切り替えるためにユーザは画角切り替え操作を行う。受信装置は、ユーザによる画角切り替え操作を検出すると、画角制御部105にて画角を選択して決定する。その際、再生開始時刻決定部110は画角切り替え操作の検出時点から所定時間、例えば10秒前の時刻を再生開始時刻に設定する。すなわち、自動で10秒前の映像に戻してトリミング視聴に切り替える処理が行われる。そして、ユーザは映像602乃至604を視る。なお、上記の例では映像処理を主に説明したが、音声処理についても同様であるので、その説明は省略する。
FIG. 4 is a conceptual diagram showing changes in video playback time and angle of view. The upper part shows the transition of the display scene, the middle part shows the time in the content, and the lower part shows the viewing time. The direction of the time axis is rightward, and an example is shown in which the user performs an angle-of-view switching operation at time 20 seconds. First, the user views the
[第1実施形態]
次に本発明の第1実施形態に係る受信装置の動作について、図5のフローチャートを用いて説明する。ユーザが最初にダウンコンバート視聴を行っている場合を想定する。この時、画角制御部105の画角決定部108はダウンコンバート視聴用の制御信号を映像表示制御部112に送信する。映像表示制御部112はSHVサイズの映像をHDサイズに縮小する制御を行い、ダウンコンバート後の映像を出力している。具体的には、視聴映像データバス124からの映像データの画素を一部間引くことにより、元映像全体の概観を保ちつつ解像度を落とすことで縮小映像データが生成される。
[First Embodiment]
Next, the operation of the receiving apparatus according to the first embodiment of the present invention will be described using the flowchart of FIG. Assume that the user first performs down-conversion viewing. At this time, the view
コンテンツの視聴が開始すると、タイムシフト再生に備えてS801にて映像データが保存される。デコード部104はSHVサイズの映像をデコードし、SHVサイズの映像データは録画映像データバス122と映像保存処理部115を介して、映像データ保存部114に蓄積される。S802で信号分離部103は放送波に多重化されたトリミング情報を抽出し、該情報を画角情報保持部106が保持する。S803でシステム制御部118はユーザによる画角切り替え操作が行われたか否かを判定する。画角切り替え操作が行われた場合、S804に進む。また画角切り替え操作が行われなかった場合にはS808に進み、映像が出力されて処理が終了する。
When content viewing starts, video data is stored in S801 in preparation for time-shifted playback. The
S803におけるユーザからの画角切り替え操作については、具体的にはユーザがリモコン121の画角切り替え指示用のスイッチを押すなどして、受信装置に指示される。ダウンコンバート視聴からトリミング視聴への画角切り替え操作が検出されると、画角選択部107は画角選択制御を行う。画角選択は、画角情報保持部106に保持されたトリミング情報の中から、該当する映像フレームのトリミング情報を読み出すことで行われる。この画角選択に連動して、再生開始時刻を決定する処理に進む。S804では現在視聴中のコンテンツについて再生時刻の取得処理が行われる。再生開始時刻決定部110は画角切り替え操作が検出された時点におけるコンテンツの再生時刻を取得する。次にS805で再生開始時刻決定部110は、S804で取得した再生時刻から所定時間、例えば10秒を減ずる。つまり、次に再生を開始する時刻が、画角切り替え操作の検出時の再生時刻よりも10秒前の時点に設定される。
Regarding the angle of view switching operation from the user in S803, specifically, the user instructs the receiving apparatus by pressing a view angle switching instruction switch of the remote controller 121 or the like. When a view angle switching operation from down-conversion viewing to trimming viewing is detected, the view
画角選択と再生開始時刻の設定が完了すると、S806において画角切り替え処理が実行される。この処理では、画角決定部108が画角選択部107から読み出したトリミング情報を用いて、元のSHV映像中で放送局から指定されたHD映像部分を決定する。画角決定部108はトリミング視聴に係る制御信号を映像表示制御部112に送信する。次のS807でタイムシフト再生が開始する。映像保存処理部115は再生開始時刻決定部110により設定された再生開始時刻から映像再生を開始させる。この時、リアルタイム視聴とは異なり、実際の時間から過去に遡った映像をユーザが視ることになり、映像データ保存部114に保持しておいた映像データを再生して出力するタイムシフト再生となる。タイムシフト再生時の制御を説明すると、まず再生時刻制御部111は映像保存処理部115に再生開始時刻情報を送信する。映像保存処理部115は再生開始時刻情報に従って、映像データ保存部114内に保持された映像データの再生を開始する。映像データ保存部114から読み出された映像データは再生映像データバス123を通って、デコード部104に送られる。これに合わせて再生時刻制御部111は、リアルタイム視聴からタイムシフト再生に切り替える制御信号をデコード部104に送出する。デコード部104は、映像データを再生映像データバス123から視聴映像データバス124に出力するパスに切り替えて再生映像データを映像表示制御部112に送り、過去の時刻に遡って映像を再生する。なお、この時に受信した放送波に対応する映像データは、録画映像データバス122から映像保存処理部115を介して映像データ保存部114に記憶されることで、再生と並行して記録が行われる。これにより一定時間だけ過去の時点に遡った映像を再現するタイムシフト再生が実現される。
When the selection of the angle of view and the setting of the reproduction start time are completed, an angle of view switching process is executed in S806. In this process, the angle-of-
S807からS808に進んだ場合、ユーザはトリミング視聴を行う。この映像信号の生成は映像表示制御部112が行う。具体的には、映像表示制御部112はトリミング情報に従って、入力映像信号のうちで切り出し開始座標から切り出し終了座標までの範囲に亘る映像信号のみを出力することでHDサイズの映像信号を生成する。HD切り出し映像の信号はモニタ113に出力される。
When the process proceeds from S807 to S808, the user performs trimming viewing. The video
第1実施形態では、ユーザによる画角変更操作に従って再生時刻の制御を受信装置が自動で行うので、ユーザは煩雑な操作が不要となる。よって、ユーザが表示映像の画角を切り替えながら視聴する形態において利便性が向上する。
なお、前記の例では戻し時間を10秒に設定したが、ユーザ操作指示による初期設定が可能な構成とし、戻し時間を任意に設定できるようにしてもよい。この場合、ユーザは、例えばリモコン121を用いて戻し時間の設定機能を呼び出し、設定画面を表示させて戻し時間を所望の値に設定する。つまり、図1にて戻し時間設定値保持部を設けることで、ユーザ操作指示に従って戻し時間の設定値を保持できる。ユーザ操作指示に従って所望の戻し時間を設定している場合、図5のS805で再生開始時刻決定部110は、戻し時間の設定値を戻し時間設定値保持部から取得する。画角変更操作の検出時刻から、保持された戻し時間の設定値を減じることで再生開始時刻が決定される。これにより画角変更時に、所望の設定時間分だけ遡った映像から視聴が再開する。
また、本実施形態ではダウンコンバート視聴からトリミング視聴への画角変更時の動作例を説明したが、逆の場合、すなわちトリミング視聴からダウンコンバート視聴の場合も前記と同様の処理を適用すればよい。
In the first embodiment, since the receiving device automatically controls the playback time according to the view angle changing operation by the user, the user does not need a complicated operation. Therefore, convenience is improved in a mode in which the user views while switching the angle of view of the display video.
In the above example, the return time is set to 10 seconds. However, the return time may be set arbitrarily by adopting a configuration in which an initial setting can be made by a user operation instruction. In this case, the user calls a return time setting function using the remote controller 121, for example, displays a setting screen, and sets the return time to a desired value. That is, by providing the return time setting value holding unit in FIG. 1, the return time setting value can be held in accordance with a user operation instruction. When the desired return time is set according to the user operation instruction, the reproduction start
Further, in this embodiment, the operation example at the time of changing the angle of view from down-conversion viewing to trimming viewing has been described. .
[第2実施形態]
次に、本発明に係る第2実施形態を説明する。第1実施形態ではトリミング視聴時の画角設定が、放送局からの指定情報を用いて行われる。これに対して第2実施形態では、ユーザがトリミングの位置やサイズを指定してトリミング視聴を行うことができる。トリミングの画角設定時にユーザが視聴を一時停止して、映像を見ながら画角を決定できる機能を装置にもたせると有用である。画角決定後に、ユーザ指定の画角にて視聴を開始する場合においても、画角切り替え時にシーンの見逃しを防止するため、一定時間だけ過去に遡った映像から再生が行われる。なお、第2実施形態に係る装置の基本構成は図1に示す構成と同様であるため、各構成要素に使用した符号を用いることにより、それらの詳細な説明を省略し、以下では相違点を説明する。
[Second Embodiment]
Next, a second embodiment according to the present invention will be described. In the first embodiment, the angle of view for trimming viewing is set using designation information from a broadcasting station. On the other hand, in the second embodiment, the user can perform trimming viewing by specifying the trimming position and size. It is useful if the user has a function that allows the user to temporarily stop viewing and set the angle of view while watching the video when setting the angle of view for trimming. Even when viewing is started at a user-specified angle of view after the angle of view is determined, playback is performed from a video that has been traced back in the past for a certain period of time in order to prevent a scene from being missed when the angle of view is switched. Since the basic configuration of the apparatus according to the second embodiment is the same as the configuration shown in FIG. 1, the detailed description is omitted by using the reference numerals used for each component, and the differences are described below. explain.
図6は、第2実施形態における映像再生時間と画角の変化を示した概念図である。図4との相違点は、視聴時間軸上の時刻30秒にてユーザ指定の画角設定が行われることである。ユーザは映像501乃至503をダウンコンバート視聴し、時刻20秒で画角切り替え操作を行う。この画角切り替え操作が検出された時点で映像が一時停止し、映像の戻し処理が行われる。視聴時間軸上の時刻30秒でユーザが画角を指定すると、画角決定後に、画角切り替え操作の発生時刻よりも10秒前の映像からトリミング視聴が再開する。ユーザは指定した画角で映像602、603を視る。
FIG. 6 is a conceptual diagram showing changes in video playback time and angle of view in the second embodiment. The difference from FIG. 4 is that the angle of view specified by the user is set at 30 seconds on the viewing time axis. The user views the
以下、図7のフローチャートを用いて、第2実施形態に係る受信装置の動作を説明する。図5との相違点は、S802に続くS1003乃至1005であり、これらの処理を説明する。 Hereinafter, the operation of the receiving apparatus according to the second embodiment will be described with reference to the flowchart of FIG. The difference from FIG. 5 is S1003 to S1005 following S802, and these processes will be described.
S1003でシステム制御部118は、ユーザ指定の画角切り替え操作が行われたか否かを判定する。該操作が行われた場合、S1004に進み、該操作が行われない場合、S807に進む。S1004にてシステム制御部118は映像再生を一時停止させる。このとき再生開始時刻決定部110は、視聴中のコンテンツについて画角切り替え操作が行われたときの時刻を保持する。続いて、S1005にてユーザは画角指定操作を行う。該操作は一時停止中の画面上でトリミングのサイズ、位置をユーザが指定することによって行われる。具体的には、一時停止中の画面上にトリミング位置を指定するためのカーソルが表示されるので、ユーザは所望のトリミング開始位置(X1,Y1)とトリミング終了位置(X2,Y2)へ順にカーソルを移動させて、決定ボタンを押すことにより指定する。画角指定後、ユーザが画角決定ボタンを押すなどして、ユーザ指定画角が確定する。画角選択部107がこれらの処理を担当し、決定したトリミング情報は画角選択部107内に保持される。そしてS805に進み、以降、第1実施形態と同様に、画角変更処理とタイムシフト再生が行われる。画角変更時のトリミング情報にはS1005で設定した座標値を用いる。タイムシフト再生の開始時刻は、画角切り替え操作を開始した時刻の10秒前からとなり、図6に示すように映像602から再生が開始する。
In step S1003, the
第2実施形態によれば、トリミング情報をユーザが指定する場合であっても、ユーザは簡単な操作で画角変更前の映像から所望の画角で視聴できる。 According to the second embodiment, even when the user designates the trimming information, the user can view the desired angle of view from the video before changing the angle of view with a simple operation.
[第3実施形態]
次に本発明の第3実施形態を説明する。前記の実施形態では、画角変更操作の検出時点から所定時間だけ遡った時点の映像まで戻して再生を開始する例を示した。これに対して、第3実施形態では画角変更時に、視聴中のシーンの先頭まで自動的に戻って再生を開始させる。シーン先頭時刻を示す情報については、放送局がメタデータに番組情報とともにチャプタ情報(各シーンの開始時刻と終了時刻)を含めて送出する。受信装置は受信したメタデータからシーン開始時刻の情報を取得する。あるいは受信装置がシーンの切れ目を検出する検出部と、シーン開始時刻を映像から判断してシーン開始時刻の情報を自動で生成する情報生成部を有する構成でもよい。
[Third Embodiment]
Next, a third embodiment of the present invention will be described. In the above-described embodiment, an example is shown in which playback is started by returning to a video at a time point that is a predetermined time after the detection time of the view angle changing operation. On the other hand, in the third embodiment, when the angle of view is changed, playback automatically starts to the beginning of the scene being viewed. Information indicating the scene start time is transmitted by the broadcast station including the program information and the chapter information (start time and end time of each scene) in the metadata. The receiving device acquires scene start time information from the received metadata. Alternatively, the receiving apparatus may include a detection unit that detects a scene break and an information generation unit that automatically determines scene start time information by determining the scene start time from the video.
図8は、第3実施形態における映像再生時間と画角の変化を示した概念図である。図4との相違点は、コンテンツ時間軸上の時刻20秒で画角切り替え操作が行われると、シーン開始時刻が先頭時刻(0秒)に戻って再生が開始することである。つまり、ユーザは映像501乃至503をダウンコンバート視聴した時点で画角切り替え操作を行う。シーンの区切り目に相当するコンテンツの時刻は映像601の時刻であり、この時刻情報はメタデータとして放送局から送出されて受信装置が抽出し、図1に示すチャプタ情報保持部110aが保持している。画角切り替え操作が検出されると、視聴中のコンテンツに係るシーン先頭の映像601まで戻って画角切り替え動作が行われ、トリミング視聴に移行する。
FIG. 8 is a conceptual diagram showing changes in video playback time and angle of view in the third embodiment. The difference from FIG. 4 is that when the angle-of-view switching operation is performed at time 20 seconds on the content time axis, the scene start time returns to the start time (0 seconds) and playback starts. That is, the user performs an angle-of-view switching operation when the
以下、図9のフローチャートを用いて第3実施形態に係る受信装置の動作を説明する。図5との相違点は、S801に続くS1202、S803に続くS1204及びS1205、S806に続くS1207であり、よってこれらの処理を説明する。
S1202にて、信号分離部103は放送波に多重化されたメタデータを抽出する。その際、トリミング情報とともに、シーンの区切り目を示すチャプタ情報も併せて抽出される。再生開始時刻決定部110内のチャプタ情報保持部110aは、抽出されたチャプタ情報を保持する。S803にて、ユーザによる画角切り替え操作が行われた場合、S1204に進み、再生開始時刻決定部110は再生開始時刻を決定する。S1202で保持しておいたチャプタ情報と画角切り替え操作が検出されたときの時刻から、現在のシーンの先頭時刻が取得される。続いてS1205にて再生開始時刻がシーンの先頭時刻に設定される。そしてS806に進み、以降、第1実施形態と同様に画角切り替えが行われ、S1207で再生が開始してS808に進む。再生開始時刻は、ユーザが画角切り替え操作を行ったシーンの先頭時刻となり、図8で示すように映像601から再生が開始する。
The operation of the receiving apparatus according to the third embodiment will be described below using the flowchart of FIG. The difference from FIG. 5 is S1202 following S801, S1204 following S803, and S1207 following S1205 and S806. Therefore, these processes will be described.
In S1202, the
第3実施形態によれば、画角変更操作が検出された際、シーンの先頭に自動で戻って再生が行われるので、ユーザは煩雑な操作を行わずとも、所望の画角でシーン先頭から映像を見逃すことなく視聴できる。 According to the third embodiment, when a view angle changing operation is detected, playback is automatically performed after returning to the beginning of the scene, so that the user can perform a desired view angle from the beginning of the scene without performing complicated operations. You can watch without missing the video.
105 画角制御部
109 映像出力制御部
110a チャプタ情報保持部
114 映像データ保存部
115 映像保存処理部
116 入力制御部
117 リモコン及びキー入力部
118 システム制御部
121 リモコン
105 View
Claims (12)
映像データを保存する保存手段と、
前記保存手段に保存された映像データを出力する映像出力制御手段と、
出力映像の画角変更の指示を入力する指示入力手段と、
前記画角変更の指示に従って出力映像の画角を制御する画角制御手段と、を備え、
前記画角制御手段は、映像データに付加された、映像に対する切り出し位置の座標情報を保持する座標情報保持手段を有しており、前記座標情報保持手段から前記座標情報を取得して出力画角を選択し、
前記映像出力制御手段は、前記保存手段に保存された映像データを出力しているときに前記画角制御手段から画角変更の指示を受けた場合、前記出力画角の選択に連動して再生開始時刻を決定し、前記画角変更の指示を受けた再生位置よりも前の再生位置から、画角変更後の映像データを出力することを特徴とする映像処理装置。 A video processing device capable of changing the angle of view of an output video,
Storage means for storing video data;
Video output control means for outputting video data stored in the storage means;
Instruction input means for inputting an instruction to change the angle of view of the output video;
An angle of view control means for controlling the angle of view of the output video according to the instruction to change the angle of view,
The angle-of-view control means includes coordinate information holding means for holding coordinate information of a cut-out position with respect to the video, which is added to the video data, and obtains the coordinate information from the coordinate information holding means to output an angle of view. Select
When the video output control means receives an instruction to change the view angle from the view angle control means while outputting the video data stored in the storage means, the video output control means reproduces in conjunction with the selection of the output view angle. A video processing apparatus , comprising: determining a start time, and outputting video data after changing the angle of view from a playback position before the playback position receiving the instruction to change the angle of view.
前記映像出力制御手段は、前記保存手段に保存された映像データを出力しているときに前記画角制御手段から画角変更の指示を受けた場合、前記情報保持手段に保持された情報を用いて、前記画角変更の指示を受けた再生位置を含むシーンの先頭から、画角変更後の映像データを出力することを特徴とする請求項1に記載の映像処理装置。 Further comprising information holding means for holding information indicating a break between scenes related to the video data;
The video output control means uses the information held in the information holding means when receiving an instruction to change the angle of view from the angle of view control means while outputting the video data saved in the saving means. The video processing apparatus according to claim 1, wherein the video data after the change of the angle of view is output from the head of the scene including the reproduction position in response to the instruction to change the angle of view.
前記映像出力制御手段は、前記保存手段に保存された映像データを出力しているときに前記画角制御手段から画角変更の指示を受けた場合、前記取得された前記シーンの開始時刻を示す情報を用いて、前記画角変更の指示を受けた再生位置を含むシーンの先頭から、画角変更後の映像データを出力することを特徴とする請求項1に記載の映像処理装置。 An acquisition means for acquiring information indicating a start time of a scene related to the video data, attached to the video data;
The video output control means indicates the start time of the acquired scene when receiving an instruction to change the angle of view from the angle of view control means while outputting the video data stored in the storage means. The video processing apparatus according to claim 1, wherein the video data after the change of the angle of view is output from the head of the scene including the reproduction position where the instruction to change the angle of view is received using the information.
前記映像出力制御手段は、画角変更後の映像データを前記表示手段に出力することを特徴とする請求項1から4のいずれか1項に記載の映像処理装置。 It further comprises display means for displaying video according to the video data,
5. The video processing apparatus according to claim 1, wherein the video output control unit outputs the video data after changing the angle of view to the display unit . 6.
前記保存手段は、前記受信手段が受信した映像データを保存し、前記映像出力制御手段は、前記保存手段に保存された映像データを再生して出力することを特徴とする請求項1から5のいずれか1項に記載の映像処理装置。 Further comprising receiving means for receiving video data via a broadcast signal;
6. The storage device according to claim 1, wherein the storage unit stores the video data received by the reception unit, and the video output control unit reproduces and outputs the video data stored in the storage unit. The video processing device according to any one of claims .
映像データを保存手段が保存する保存ステップと、
前記保存ステップで前記保存手段に保存された映像データを映像出力制御手段が出力する映像出力制御ステップと、
出力映像の画角変更の指示を指示入力手段により入力する指示入力ステップと、
前記画角変更の指示に従って出力映像の画角を画角制御手段が制御する画角制御ステップと、を有し、
前記画角制御ステップにて前記画角制御手段は、
映像データに付加された、映像に対する切り出し位置の座標情報を座標情報保持手段に保持する座標情報保持ステップと、
前記座標情報保持ステップで前記座標情報保持手段に保持された前記座標情報を取得して出力画角を選択する選択ステップと、を実行し、
前記映像出力制御ステップにて映像出力制御手段は、前記保存ステップで前記保存手段に保存された映像データを出力しているときに前記画角制御ステップで前記画角変更の指示にしたがって前記出力映像の画角が制御される場合、前記出力画角の選択に連動して再生開始時刻を決定し、前記画角変更の指示を受けた再生位置よりも前の再生位置から、画角変更後の映像データを出力することを特徴とする映像処理装置の制御方法。 A control method executed by a video processing apparatus capable of changing the angle of view of an output video,
A storage step in which the storage means stores the video data;
A video output control step in which the video output control means outputs the video data stored in the storage means in the storage step;
An instruction input step of inputting an instruction to change the angle of view of the output video by an instruction input means ;
An angle-of-view control step in which an angle-of- view control unit controls the angle of view of the output video in accordance with the instruction to change the angle of view ;
In the view angle control step, the view angle control means is
A coordinate information holding step for holding, in the coordinate information holding means, the coordinate information of the cutout position for the video added to the video data;
Performing the selection step of acquiring the coordinate information held in the coordinate information holding means in the coordinate information holding step and selecting an output angle of view;
In the video output control step, the video output control means outputs the output video according to the view angle change instruction in the view angle control step when outputting the video data stored in the storage means in the storage step. When the angle of view is controlled, the playback start time is determined in conjunction with the selection of the output angle of view, and the angle of view after the angle of view is changed from the playback position before the playback position that received the instruction to change the angle of view A method for controlling a video processing apparatus, characterized by outputting video data.
前記映像出力制御ステップにて前記映像出力制御手段は、前記保存ステップで前記保存手段に保存された映像データを出力しているときに前記画角制御ステップで前記画角変更の指示にしたがって前記出力映像の画角が制御される場合、前記情報保持ステップで前記情報保持手段に保持された情報を用いて、前記画角変更の指示を受けた再生位置を含むシーンの先頭から、画角変更後の映像データを出力することを特徴とする請求項7に記載の映像処理装置の制御方法。 An information holding step in which information holding means holds information indicating scene breaks related to the video data;
In the video output control step, the video output control means outputs the video data stored in the storage means in the storage step according to the view angle change instruction in the view angle control step. When the angle of view of the video is controlled, the information held in the information holding unit in the information holding step is used to change the angle of view from the beginning of the scene including the playback position that received the view angle change instruction. The video processing apparatus control method according to claim 7 , wherein the video data is output.
前記映像出力制御ステップにて前記映像出力制御手段は、前記保存ステップで前記保存手段に保存された映像データを出力しているときに前記画角制御ステップで前記画角変更の指示にしたがって前記出力映像の画角が制御される場合、前記取得された前記シーンの開始時刻を示す情報を用いて、前記画角変更の指示を受けた再生位置を含むシーンの先頭から、画角変更後の映像データを出力することを特徴とする請求項7に記載の映像処理装置の制御方法。 An acquisition step of acquiring information indicating a start time of a scene related to the video data, which is added to the video data by the acquisition unit ;
In the video output control step, the video output control means outputs the video data stored in the storage means in the storage step according to the view angle change instruction in the view angle control step. When the angle of view of the image is controlled, the image after changing the angle of view from the beginning of the scene including the playback position where the instruction to change the angle of view is received using the acquired information indicating the start time of the scene 8. The method of controlling a video processing apparatus according to claim 7 , wherein data is output.
前記映像出力制御ステップにて前記映像出力制御手段は、画角変更後の映像データを前記表示手段に出力することを特徴とする請求項7から10のいずれか1項に記載の映像処理装置の制御方法。11. The video processing apparatus according to claim 7, wherein in the video output control step, the video output control means outputs the video data after changing the angle of view to the display means. Control method.
前記保存ステップにて前記保存手段は、前記受信手段が受信した映像データを保存し、In the storing step, the storing means stores the video data received by the receiving means,
前記映像出力制御ステップにて前記映像出力制御手段は、前記保存手段に保存された映像データを再生して出力することを特徴とする請求項7から11のいずれか1項に記載の映像処理装置の制御方法。12. The video processing apparatus according to claim 7, wherein in the video output control step, the video output control means reproduces and outputs the video data stored in the storage means. Control method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010204435A JP5693109B2 (en) | 2010-09-13 | 2010-09-13 | Video processing apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010204435A JP5693109B2 (en) | 2010-09-13 | 2010-09-13 | Video processing apparatus and control method thereof |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012060575A JP2012060575A (en) | 2012-03-22 |
JP2012060575A5 JP2012060575A5 (en) | 2013-10-17 |
JP5693109B2 true JP5693109B2 (en) | 2015-04-01 |
Family
ID=46057083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010204435A Expired - Fee Related JP5693109B2 (en) | 2010-09-13 | 2010-09-13 | Video processing apparatus and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5693109B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014038522A1 (en) * | 2012-09-07 | 2014-03-13 | ソニー株式会社 | Transmitting device, transmitting method, receiving device and receiving method |
CN115209186A (en) | 2014-10-10 | 2022-10-18 | 索尼公司 | Reproducing apparatus and reproducing method |
KR102113667B1 (en) * | 2018-11-06 | 2020-05-20 | 주식회사 와이젯 | Wireless connecting apparatus for controlling image and wireless |
JP7484729B2 (en) * | 2019-02-08 | 2024-05-16 | ソニーグループ株式会社 | Playback device, playback method, and program |
JP2020184662A (en) * | 2019-05-01 | 2020-11-12 | 登 舟久保 | Video conversion method for 2K TV |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3775611B2 (en) * | 1996-11-29 | 2006-05-17 | ソニー株式会社 | Editing system |
JP2006067200A (en) * | 2004-07-28 | 2006-03-09 | Keiichi Kato | Television receiver |
JP4586683B2 (en) * | 2005-08-31 | 2010-11-24 | ソニー株式会社 | Recording / reproducing apparatus, content signal utilization method, and content signal utilization program |
JP4956216B2 (en) * | 2007-02-14 | 2012-06-20 | 日本放送協会 | Digital broadcast program display device and digital broadcast program display program |
JP2009016934A (en) * | 2007-06-29 | 2009-01-22 | Toshiba Corp | Video reproducing device |
JP4724725B2 (en) * | 2008-02-18 | 2011-07-13 | キヤノン株式会社 | Image display apparatus and control method thereof |
JP5361429B2 (en) * | 2009-02-10 | 2013-12-04 | キヤノン株式会社 | Video playback apparatus and control method thereof |
-
2010
- 2010-09-13 JP JP2010204435A patent/JP5693109B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012060575A (en) | 2012-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7903953B2 (en) | Image recording and reproducing apparatus and method | |
JP5693109B2 (en) | Video processing apparatus and control method thereof | |
MXPA04010504A (en) | Live picture presentation while digital video recording. | |
JP2002112237A (en) | Digital broadcast receiver | |
KR20090059281A (en) | The image device of processing a plurality of images and the method thereof | |
JP5675141B2 (en) | Playback apparatus and playback method | |
EP1924087A2 (en) | Image device and still image capturing method thereof | |
US20070150925A1 (en) | Av system, av unit and image signal output method | |
JP2007104679A (en) | Dmb terminal and method for regenerating dmb data in dmb service | |
KR100763385B1 (en) | Method and apparatus of outputting broadcasting signal | |
JP5078710B2 (en) | Receiving apparatus and control method thereof | |
JP3548113B2 (en) | Receiver and image reproducing method | |
US8130316B2 (en) | Image output device for outputting moving images in a plurality of display modes | |
KR100848495B1 (en) | Searching System Of Video Contents And Method Thereof | |
KR100536679B1 (en) | Apparatus and method for controlling recording operation of vcr having digital turner | |
JP2008167251A (en) | Content reproduction device and content guide method | |
JP5476179B2 (en) | Tuner switching device, tuner switching system, and method for controlling tuner switching device | |
JP4937715B2 (en) | Portable television terminal device and time shift reproduction method | |
JP3857979B2 (en) | Content receiving device | |
JP2004236074A (en) | Device and method for video recording and reproducing | |
JP2003274361A (en) | Broadcast viewing, recording and reproducing device | |
JP2005203834A (en) | Digital broadcast receiving and recording apparatus | |
JP2006180318A (en) | Stream video recording and playback apparatus, and method for generating thumbnail image data | |
JP2006180067A (en) | Digital broadcast receiver, digital broadcast receiving method, and digital broadcast reception program | |
JP2008125015A (en) | Video/audio recording and reproducing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130904 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150203 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5693109 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |