JP6736726B2

JP6736726B2 - Method and apparatus for constructing and displaying an integrated image file in which image streams of different image quality are continuously recorded

Info

Publication number: JP6736726B2
Application number: JP2019100380A
Authority: JP
Inventors: ヒョンチョル・イム; テユン・イ; ドンチャン・ユン
Original assignee: Pittasoft Co Ltd
Current assignee: Pittasoft Co Ltd
Priority date: 2018-09-19
Filing date: 2019-05-29
Publication date: 2020-08-05
Anticipated expiration: 2039-05-29
Also published as: KR102129462B1; KR20200032973A; JP2020048182A

Description

本発明は、異なる画質の画像ストリームを1つの永久記憶媒体に連続的に記録して1つの統合画像ファイルを構成する方法およびこうして記録された統合画像ファイルをディスプレイ装置で表示する方法また、これらの統合画像ファイルを表示する装置に関するものである。 The present invention provides a method of continuously recording image streams of different image quality on one permanent storage medium to form one integrated image file, a method of displaying the thus-recorded integrated image file on a display device, and The present invention relates to a device for displaying an integrated image file.

Background technology of the invention

最近では、ブラックボックスのような車両用画像録画装置は、4K UHDの高解像度、高ビットレート、高フレームレートの高画質画像を録画することができる。これによって、録画された高画質画像をディスプレイ装置で確認するためには、これを再生することができる特定の高スペックの装置（例えば、PC、スマートフォン、タブレットなど）が必要になる。 Recently, a vehicle image recording device such as a black box can record high quality images of 4K UHD with high resolution, high bit rate and high frame rate. Therefore, in order to confirm the recorded high-quality image on the display device, a specific high-spec device (for example, PC, smartphone, tablet, etc.) capable of reproducing the high-quality image is required.

また、このよう特定の高スペックの装置で高画質画像を再生するためには、車両用画像録画装置で録画した高画質画像を特定の前記高スペック装置に送信するべきなのに、そのためには、大容量の高画質画像を伝送するための、ネットワークの使用コストと転送時間が要求される。 Further, in order to reproduce a high-quality image with a device having a specific high-spec as described above, a high-quality image recorded by a vehicle image recording device should be transmitted to the specific high-spec device. The use cost and transfer time of the network are required to transmit a high quality image having a large capacity.

したがって、格納された高画質画像を車載用画像録画装置の自体に内蔵された表示面で表示しようとする要求がある。 Therefore, there is a demand to display the stored high-quality image on the display surface built in the in-vehicle image recording device itself.

しかし、車両用画像録画装置は、比較的低スペックであり、撮像された画像を録画する機能にハードウェア/ソフトウェアのパワーが集中していて、高画質画像を録画するには問題がないが、高画質で録画された画像を表示面に表示するためのデコード処理は円滑でないことがあります。したがって、表示される画像が途切れたり、遅くなる問題点があった。 However, the image recording device for a vehicle has a relatively low specification, and the power of the hardware/software is concentrated on the function of recording the captured image, so there is no problem in recording a high quality image, The decoding process for displaying high quality recorded images on the display surface may not be smooth. Therefore, there is a problem that the displayed image is interrupted or delayed.

さらに、最近の車両用画像録画装置は、複数のチャンネル（例えば、前方撮像チャンネルと後方撮像チャンネル）からそれぞれの画像を入力受けてそれぞれ別々の画像ファイルとして格納する機能を提供する。 Furthermore, recent vehicle image recording apparatuses provide a function of receiving images from a plurality of channels (for example, a front imaging channel and a rear imaging channel) and storing them as separate image files.

したがって、1つの画像録画装置の表示面に複数のチャンネルの画像を同時に表示しようとするときには、画像が途切れたり、遅くなる問題がさらに深刻に現われることができ、さらには、表示されている複数のチャンネルのそれぞれの画像のシンクが合わなく表示されることもできる。 Therefore, when trying to simultaneously display images of a plurality of channels on the display surface of one image recording device, the problem that the images are interrupted or delayed may be more serious, and moreover, a plurality of displayed images may be displayed. It is also possible that the sync of each image of the channel is displayed inconsistently.

韓国公開特許第１０−１９９５−００１３２６８号公報Korean Published Patent No. 10-995-0013268 韓国公開特許第１０−２０１１−００７００６７号公報Korean Published Patent No. 10-2011-0070067 特開２０００−３１２３４０号公報JP, 2000-321340, A 韓国公開特許第１０−２０１２−００９７０４６号公報Korean Published Patent No. 10-2012-097046

Challenges to be solved

本発明は、前記した問題点を解決するためのものであり、録画された画像を、比較的低スペックの車両用画像録画装置でスムーズに表示できるようにする。 The present invention is to solve the above-mentioned problems, and enables a recorded image to be smoothly displayed on a vehicle image recording device having a relatively low specification.

さらに、本発明は、複数のチャンネルの画像を1つの車両用画像録画装置で同時にスムーズに表示できるようにする。 Furthermore, the present invention enables images of a plurality of channels to be simultaneously and smoothly displayed on one vehicle image recording device.

Means for solving the problem

上記の課題を解決するために、本発明に係る、異なる画質の画像ストリームが連続的に記録された統合画像ファイルを構成する方法は、(i）前方を撮像した画像から、第1の画質の第1の画像ストリームを生成する手順と、（ii）前記画像または前記第1の画像ストリームを加工して第2の画質の第2の画像ストリームを生成する手順と、（iii）所定の第1の時間を周期で、前記第1の画像ストリームに第1のメタデータを結合させて第1のサブファイルを構成し、また前記第2の画像ストリームに第2のメタデータを結合させて第2のサブファイルを構成する手順と、（iv）前記第1のサブファイルの末端に前記第2のサブファイルを連結して記録することにより統合画像ファイルを構成する手順とを含むことを特徴とする。 In order to solve the above problems, a method of configuring an integrated image file in which image streams of different image quality are continuously recorded according to the present invention is (i) A step of generating a first image stream; (ii) a step of processing the image or the first image stream to generate a second image stream of a second image quality; (iii) a predetermined first And a second sub-file by combining first metadata with the first image stream to form a first subfile, and by combining second metadata with the second image stream. And a step of configuring an integrated image file by concatenating and recording the second subfile at the end of the first subfile. ..

また、前記方法は、前記第1のメタデータは、少なくとも、前記第1の画像ストリームの末端又は前記第1のサブファイルの末端を示す情報を含み、前記第2のメタデータは、少なくとも、前記第2のサブファイルが前記第2の画質の第2の画像ストリームであることを表示する情報を含むことを特徴とするものである。 Further, the method, the first metadata, at least, including information indicating the end of the first image stream or the end of the first sub-file, the second metadata, at least, the The second subfile includes information indicating that the second sub-file is the second image stream of the second image quality.

また、前記方法は、前記第2の画質が、前記第1の画質よりも低い画質であることを特徴とするものである。 Further, the method is characterized in that the second image quality is lower than the first image quality.

また、前記方法は、前記（i）手順が：前記第1の画像ストリームをバッファメモリに記録すること、永久記憶媒体で、前記第1のサブファイルを開始し、前記第1の時間よりも短い所定の第2の時間ごとに前記バッファメモリに記録されている前記第1の画像ストリームを前記永久記憶媒体の前記第1のサブファイルに連続的に記録することをさらに含み;前記（iii）の手順が：前記第1の時間で、第1のサブファイルを前記の永久記憶媒体内で終了して、また、前記第2のファイルを前記バッファメモリ内で終了することをさらに含み;前記（iv）の手順が：前記永久記憶媒体内の前記第1のサブファイルの末端に、前記バッファメモリ内で終了された前記第2のサブファイルを連結して記録した後、前記第1のサブファイルの先頭から開始して前記第2のサブファイルの末端で終わる前記統合画像ファイルを構成することをさらに含むことを特徴とするものである。 The method also includes the step (i): recording the first image stream in a buffer memory, starting the first subfile on a permanent storage medium, and shorter than the first time. Further comprising continuously recording the first image stream recorded in the buffer memory at predetermined second time intervals in the first subfile of the permanent storage medium; and (iii) above. The procedure further includes: at the first time, terminating a first subfile in the permanent storage medium and terminating the second file in the buffer memory; ) The procedure is as follows: after the second subfile terminated in the buffer memory is linked and recorded at the end of the first subfile in the permanent storage medium, the second subfile of the first subfile is recorded. It further comprises configuring the integrated image file starting from the beginning and ending at the end of the second sub-file.

また、本発明に係る、異なる画質の画像ストリームが連続的に記録された統合画像ファイルを構成する装置は、前方を撮像した画像を受信する画像受信部と、受信した前記画像から第1の画質の第1の画像ストリームを構成し、前記画像または前記第1の画像ストリームを加工して第2の画質の第2の画像ストリームを構成するストリーム拡張部と、所定の第1の時間の周期で、前記第1の画像ストリームに第1のメタデータを結合させて第1のサブファイルを構成し、また、前記第2の画像ストリームに第2のメタデータを結合させて第2のサブファイルを構成し、前記第1のサブファイルの末端に前記第2のサブファイルを連続的に連結して統合画像ファイルを構成するファイル生成部とを含むことを特徴とする。 Further, according to the present invention, an apparatus forming an integrated image file in which image streams of different image quality are continuously recorded is provided with an image receiving unit that receives an image of a front image, and a first image quality from the received image. A first image stream, and a stream expansion unit that processes the image or the first image stream to form a second image stream of a second image quality, and at a predetermined first time period. , A first sub-file is formed by combining the first metadata with the first image stream, and a second sub-file is formed by combining the second metadata with the second metadata. And a file generation unit configured to continuously connect the second subfile to the end of the first subfile to form an integrated image file.

また、前記装置は：前記第1の及び第2の画像ストリームを格納するバッファメモリと、前記統合画像ファイルが格納される永久記憶媒体とをさらに含み、前記ファイル生成部が、前記永久記憶媒体に前記第1のサブファイルを生成し、前記第1の時間よりも短い所定の第2の時間ごとに前記バッファメモリに記録されている前記第1の画像ストリームを前記永久記憶媒体の前記第1のサブファイルとして記録し、前記第1の時間で、第1のサブファイルを前記の永久記憶媒体内で終了し、そして、前記バッファメモリ内で前記第2のサブファイルを終了し、前記永久記憶媒体内の前記第1のサブファイルの末端に連続的に前記バッファメモリ内で終了された前記第2のサブファイルを記録することにより前記統合画像ファイルを構成することを特徴とするものである。 Further, the apparatus further includes: a buffer memory for storing the first and second image streams, and a permanent storage medium in which the integrated image file is stored, wherein the file generation unit stores in the permanent storage medium. The first sub-file is generated, and the first image stream recorded in the buffer memory is recorded at a predetermined second time shorter than the first time, and the first image stream recorded in the buffer memory is stored in the first storage medium. Recording as a subfile, ending the first subfile in the permanent storage medium at the first time, and ending the second subfile in the buffer memory, the permanent storage medium The integrated image file is configured by continuously recording the second subfile ended in the buffer memory at the end of the first subfile in the.

また、前記装置は：前記第2の画質が、前記第1の画質よりも低い画質であり、また、前記第1のメタデータが、前記第1の画像ストリームの末端又は前記第1のサブファイルの末端を示す情報を含み、前記第2のメタデータが、少なくとも、前記第2のサブファイルが前記第2の画質の第2の画像ストリームであることを表示する情報を含むことを特徴とするものである。 Also, the apparatus is: the second image quality is lower than the first image quality, and the first metadata is an end of the first image stream or the first sub-file. The second metadata includes at least information indicating that the second sub-file is the second image stream of the second image quality. It is a thing.

また、本発明に係る、異なる画質の画像ストリームが連続的に記録された統合画像ファイルを表示する装置は、前方を撮像した画像が第1の画質の第1の画像ストリームとして記録された第1のサブファイルと、前記第1の画像が第2の画質の第2の画像ストリームとして記録された第2のサブファイルが、互いに連続的に連結されて構成された統合画像ファイルを入力受けるファイル取得部と、前記入力された統合画像ファイルに前記第2のサブファイルが含まれているかどうか調査するファイル解析部と、前記ファイル解析部で前記第2のサブファイルが識別されると、ディスプレイ装置の表示面に前記第2のサブファイルの前記第2の画像ストリームを表示する画像表示部とを含むことを特徴とする。 Further, according to the present invention, in a device for displaying an integrated image file in which image streams of different image quality are continuously recorded, a first captured image of the front is recorded as a first image stream of a first image quality. And a sub-file of the first image recorded as a second image stream of a second image quality, and a second sub-file in which the first image is recorded as a second image stream are continuously connected to each other Section, a file analysis section that investigates whether the input integrated image file includes the second subfile, and the file analysis section identifies the second subfile, An image display unit for displaying the second image stream of the second sub-file on a display surface.

また、前記装置は：前記第1のサブファイルが、前記第1の画像ストリームの末端又は前記第1のサブファイルの末端を示す第1のメタデータを含み、前記第2のサブファイルが、少なくとも、前記第2のサブファイルが前記第2の画質の第2の画像ストリームであることを表示する第2のメタデータを含み、前記ファイル解析部が、前記統合画像ファイルの前記第1のメタデータに基づいて、前記第1のサブファイルの末端を識別し、前記第1のサブファイルの末端で前記第2のサブファイルが開始しているかどうかを調査し、また、前記第2のサブファイルの前記第2のメタデータを読み出して前記第2の画像ストリームを識別することを特徴とするものである。 Also, the apparatus is: the first subfile includes first metadata indicating an end of the first image stream or an end of the first subfile, and the second subfile is at least , The second sub-file includes second metadata indicating that the second image stream of the second image quality, the file analysis unit, the first metadata of the integrated image file Based on, to identify the end of the first subfile, investigate whether the second subfile starts at the end of the first subfile, and also the second subfile It is characterized in that the second metadata is read to identify the second image stream.

また、本発明に係る、異なる画質の画像ストリームが連続的に記録された統合画像ファイルを表示する方法は、第1のチャンネルからの第1の画像が第1の画質の第1の画像ストリームとして記録された第1のサブファイルと前記第1の画像が第2の画質の第2の画像ストリームとして記録された第2のサブファイルが互いに連続的に連結されて構成された統合画像ファイルおよび第2のチャネルからの第2の画像が記録された任意の画像ファイルを1つのディスプレイ装置で同時に表示する方法であって、(i）ディスプレイ装置の表示面に、メイン領域とサブ領域を設定する手順と、（ii）前記の任意の画像ファイルに含まれている画像ストリームを前記メイン領域に表示する手順と、（iii）前記サブ領域に表示する画像ファイルとして前記統合画像ファイルを選択し、前記統合画像ファイルを調査して前記第2のサブファイルが検出された場合には、前記第2の画像ストリームを前記サブ領域に表示する手順を含むことを特徴とする。 Further, according to the present invention, a method for displaying an integrated image file in which image streams of different image quality are continuously recorded is such that the first image from the first channel is used as the first image stream of the first image quality. An integrated image file and a first sub-file recorded and a second sub-file in which the first image is recorded as a second image stream of a second image quality are continuously connected to each other and a first A method of simultaneously displaying an arbitrary image file in which a second image from the second channel is recorded on one display device, the method comprising: (i) setting a main area and a sub area on the display surface of the display device. And (ii) a procedure for displaying an image stream included in the arbitrary image file in the main area, and (iii) selecting the integrated image file as an image file to be displayed in the sub area, and performing the integration. The method is characterized by including the step of displaying the second image stream in the sub-region when the image file is examined and the second sub-file is detected.

また、前記方法は：前記第1のメタデータが、前記第1の画像ストリームの末端又は前記第1のサブファイルの末端を示す情報を含み、前記第2のメタデータが、少なくとも、前記第2のサブファイルが前記第2の画質の第2の画像ストリームであることを表示する情報を含み;前記（iii）の手順が：前記統合画像ファイルの前記第1のメタデータに基づいて、前記第1のサブファイルの末端を検出し、前記第1のサブファイルの末端で前記第2のサブファイルが開始しているかどうかを調査し、前記第2のサブファイルの前記第2のメタデータを読み出して前記第2の画像ストリームを識別し、前記第2の画像ストリームを前記サブ領域に表示することを含むことを特徴とするものである。 The method may also include: the first metadata includes information indicating an end of the first image stream or an end of the first subfile, and the second metadata is at least the second Sub-file of the second image stream of the second image quality of the second image stream; the step (iii) is: based on the first metadata of the integrated image file Detecting the end of one subfile, checking whether the second subfile starts at the end of the first subfile, and reading the second metadata of the second subfile And identifying the second image stream and displaying the second image stream in the sub-region.

また、前記方法は：前記第2の画質が、前記第1の画質よりも低い画質であり、前記サブ領域が、前記メイン領域にPIP方式で具備されていることを特徴とするものである。 Further, the method is characterized in that: the second image quality is lower than the first image quality, and the sub region is provided in the main region by a PIP method.

また、前記方法は：前記統合画像ファイルが、（a）前方を撮像した前記第1の画像から第1の画質の前記第1の画像ストリームを生成してバッファメモリに記録し、（b）前記第1の画像又は前記第1の画像ストリームを加工して第2の画質の前記第2の画像ストリームを生成してバッファメモリに記録し、（c）永久記憶媒体内に前記第1のサブファイルを生成し、所定の第2の時間ごとに前記バッファメモリに記録されている前記第1の画像ストリームを前記永久記憶媒体の前記第1のサブファイルに記録し、（d）前記第2の時間よりも長い所定の第1の時間の周期で、前記永久記憶媒体内の前記第1の画像ストリームに第1のメタデータを結合させて第1のサブファイルを構成し、また、前記バッファメモリ内の前記第2の画像ストリームに第2のメタデータを結合させて前記バッファメモリ内で第2のサブファイルを終了し、（e）前記永久記憶媒体内の前記第1のサブファイルの末端に前記バッファメモリ内で終了した第2のサブファイルを連続的に記録することにより、構成されていることを特徴とするものである。 The method also includes: (a) the integrated image file generates (a) the first image stream of a first image quality from the first image captured in the front direction and records the first image stream in a buffer memory; The first image or the first image stream is processed to generate the second image stream of the second image quality, and the second image stream is recorded in a buffer memory, and (c) the first subfile is stored in a permanent storage medium. And recording the first image stream recorded in the buffer memory at a predetermined second time in the first subfile of the permanent storage medium, and (d) at the second time. A first sub-file by combining first metadata with the first image stream in the permanent storage medium at a longer predetermined first time period, and in the buffer memory. Terminating the second subfile in the buffer memory by combining second metadata with the second image stream of, and (e) at the end of the first subfile in the permanent storage medium. It is characterized in that it is configured by continuously recording the second subfile that has ended in the buffer memory.

また、本発明に係る、異なる画質の画像ストリームが連続的に記録された統合画像ファイルを表示する装置は、第1のチャンネルからの第1の画像が第1の画質の第1の画像ストリームとして記録された第1のサブファイルと前記第1の画像が第2の画質の第2の画像ストリームとして記録された第2のサブファイルが互いに連続的に連結されて構成された統合画像ファイル、そして、第2のチャンネルからの第2の画像が記録された任意の画像ファイルを入力受けるファイル取得部と、前記サブ領域に表示する画像ファイルとして前記統合画像ファイルを選択し、前記選択された統合画像ファイルに第2のサブファイルが含まれているかどうか調査しているファイル解析部と、前記ファイル解析部で前記第2のサブファイルが識別されると、ディスプレイ装置の表示面にメイン領域とサブ領域とを設定し、前記メイン領域に前記任意の画像ファイルに含まれている画像ストリームを表示し、前記サブ領域に前記第2のサブファイルの前記第2の画像ストリームを表示する画像表示部とを含むことを特徴とする。 Further, according to the present invention, in the device for displaying an integrated image file in which image streams of different image quality are continuously recorded, the first image from the first channel is used as the first image stream of the first image quality. An integrated image file composed of a recorded first sub-file and a second sub-file in which the first image is recorded as a second image stream of a second image quality, which are continuously connected to each other, and A file acquisition unit for receiving an arbitrary image file in which the second image from the second channel is recorded, and selecting the integrated image file as an image file to be displayed in the sub area, and selecting the selected integrated image A file analysis unit that is investigating whether or not the file includes a second sub-file, and when the file analysis unit identifies the second sub-file, the main area and the sub-area are displayed on the display surface of the display device. And an image display unit that displays the image stream included in the arbitrary image file in the main area and displays the second image stream of the second subfile in the sub area. It is characterized by including.

また、前記装置は：前記第1のサブファイルが、前記第1の画像ストリームの末端又は前記第1のサブファイルの末端を示す第1のメタデータを含み、前記第2のサブファイルが、少なくとも、前記第2のサブファイルが前記第2の画質の第2の画像ストリームであることを表示する第2のメタデータを含み;前記ファイル解析部が、前記統合画像ファイルの前記第1のメタデータに基づいて前記第1のサブファイルの末端を検出し、前記第1のサブファイルの末端で前記第2のサブファイルが開始しているかどうかを調査し、前記第2のサブファイルの前記第2のメタデータを読み出して前記第2の画像ストリームを識別することを特徴とするものである。 Also, the apparatus is: the first subfile includes first metadata indicating an end of the first image stream or an end of the first subfile, and the second subfile is at least , The second sub-file includes second metadata indicating that the second image stream is the second image stream of the second image quality; the file analysis unit, the first metadata of the integrated image file Detects the end of the first subfile based on the, to investigate whether the second subfile starts at the end of the first subfile, the second of the second subfile And reading the metadata to identify the second image stream.

前記のような構成による本発明によれば、撮像されて生成された画像を高画質のストリームと低画質のストリームそれぞれに作り、これらを1つのファイルにまとめて格納して、格納された前記ファイルを後で再生時には、高解像度のストリームと低画質のストリームの中からいずれか1つのストリームを選択して表示することができ、低スペックの装置でも画像がスムーズに表示されることができる。 According to the present invention having the above-described configuration, the image generated by being captured is created into a high-quality stream and a low-quality stream, respectively, and these are collectively stored in one file, and the stored file is stored. When playing back later, one of the high-resolution stream and the low-quality stream can be selected and displayed, and the image can be smoothly displayed even on a low-spec device.

また、複数のチャンネルのそれぞれの画像を1つの表示面で一緒に表示する際にも、少なくとも1つの画像は低画質のストリームに表示することで、低スペックの装置でも画像がスムーズに表示されることができる。 Also, when displaying images of multiple channels together on a single display surface, displaying at least one image in a low-quality stream allows images to be displayed smoothly even on low-spec devices. be able to.

図1は、本発明の画像録画装置を車に使用する方法を概略的に示す図である。FIG. 1 is a diagram schematically showing a method of using the image recording device of the present invention in a vehicle. 図2aは、統合画像ファイルを構成する方法を説明する図である。FIG. 2a is a diagram illustrating a method of forming an integrated image file. 図2bは、MP4ファイル形式で具現された統合画像ファイルの構成を示す図である。FIG. 2b is a diagram showing the structure of an integrated image file embodied in the MP4 file format. 図3は、本発明の一実施形態による、統合画像ファイルを構成する装置の主要部を概略的に示すブロック図である。FIG. 3 is a block diagram schematically showing a main part of an apparatus forming an integrated image file according to an embodiment of the present invention. 図4は、本発明のもう1つの実施形態による、統合画像ファイルを含む複数のチャンネルの画像ファイルを1つの表示面に表示することができる装置の主要部と複数のチャンネルの画像をPIP方式で表示する例を示す図である。FIG. 4 is a view illustrating a main part of an apparatus capable of displaying an image file of a plurality of channels including an integrated image file on one display surface according to another embodiment of the present invention and an image of the plurality of channels by a PIP method. It is a figure which shows the example displayed. 図5は、統合画像ファイルを含む複数のチャンネルの画像ファイルを1つの表示面に表示する方法のフローチャートである。FIG. 5 is a flowchart of a method for displaying image files of a plurality of channels including an integrated image file on one display surface. 図6は、図5の方法において、第2の画像ストリームの有無を調べる方法のフローチャートである。FIG. 6 is a flowchart of a method for checking the presence or absence of the second image stream in the method of FIG.

Specific contents for carrying out the invention

以下、添付された図面を参照して、本発明による、異なる画質の画像ストリームを1つの永久記憶媒体に連続的に記録して1つの統合画像ファイルを構成する方法およびこうして記録された統合画像ファイルをディスプレイ装置で表示する方法と、これらの統合画像ファイルを表示する装置の好適な実施形態を説明する。ちなみに、本発明の各構成要素を指す用語は、その機能を考慮して、例示的に命名されたものなので、用語自体によって、本発明の技術内容を予測したり限定して理解するのはならない。 Hereinafter, with reference to the accompanying drawings, a method of continuously recording image streams of different image quality in one permanent storage medium to form one integrated image file according to the present invention, and the integrated image file thus recorded. A preferred embodiment of a method for displaying the image on a display device and a device for displaying these integrated image files will be described. By the way, the terms that refer to the respective constituent elements of the present invention are given by way of example in consideration of their functions, and therefore the technical content of the present invention should not be predicted or limited by the terms themselves. ..

まず、本発明の1つの実施形態による画像録画装置を車で使用する方式、すなわち、ブラックボックスとして使用する例を図1を参照して説明する。一方、一般的なブラックボックスは、それ自体で画像表示手段を備えることができ、録画されて格納された画像をデコードして視覚的に表示することができる。従って、本発明で提示する異なる画質の画像ストリームを1つの永久記憶媒体に連続的に記録して1つの統合画像ファイルを構成する装置とこうして記録された統合画像ファイルを表示する装置とは、以下で"車両用ブラックボックス"または"ブラックボックス"と記載されることができる。また、別の画質の画像ストリームを1つの永久記憶媒体に連続的に記録して1つの統合画像ファイルを構成する方法およびこうして記録された統合画像ファイルをディスプレイ装置で表示する方法も車両用ブラックボックスで実行されているものと理解することができる。 First, a method of using an image recording device according to an embodiment of the present invention in a vehicle, that is, an example of using it as a black box will be described with reference to FIG. On the other hand, a general black box may include an image display unit by itself, and a recorded and stored image can be decoded and visually displayed. Therefore, the device for continuously recording the image streams of different image quality presented in the present invention in one permanent storage medium to form one integrated image file and the device for displaying the thus-recorded integrated image file are as follows. Can be described as "vehicle black box" or "black box". In addition, a method of continuously recording image streams of different image quality in one permanent storage medium to form one integrated image file and a method of displaying the recorded integrated image file on a display device are also a black box for vehicles. Can be understood as running in.

図面を参照すれば、ブラックボックスは本体（101）と追加のカメラ（102）で構成されることができる。 Referring to the drawings, the black box may include a body (101) and an additional camera (102).

ブラックボックス本体（101）は、例えば、車両（C）の前方に配置され、前方を眺める前方カメラ（図示せず）を含むことができる。前方カメラで撮像された画像は、本体（101）内で処理されてデジタル画像ストリームを構成し、これらの画像ストリームは、所定の時間単位に分割されて（例えば、60秒周期）本体（101）内に、または外部に具備することができる永久記憶媒体（130）に画像ファイルとして記録されて格納されることができる。本体（101）は、また表示面（D）を備えることができ、撮像された画像をリアルタイムで表示したり、または永久記憶媒体（130）に格納された任意の画像ファイルを再生して画像を表示することができる。 The black box body (101) may include, for example, a front camera (not shown) arranged in front of the vehicle (C) and looking forward. The images captured by the front camera are processed in the body (101) to form a digital image stream, and these image streams are divided into predetermined time units (for example, 60-second cycle) body (101). It can be recorded and stored as an image file in a permanent storage medium (130) which can be provided internally or externally. The main body (101) can also be provided with a display surface (D) for displaying a captured image in real time or reproducing an arbitrary image file stored in the permanent storage medium (130) to display the image. Can be displayed.

このとき、ブラックボックス本体（101）に備えられた表示面（D）は、比較的小さなサイズであり、画素数も比較的少ない（例えば、CGA、VGA、SVGAなど）低性能で実現することができる。したがって、比較的に高画質（例えば、HD、FHDなど）にエンコードされた画像をここに表示するには、むしろ画質を下げるための画像処理が必要になる。ブラックボックスは、撮像された画像を格納することを主な目的として設計されているため、撮像された画像をエンコードして格納する機能を実行することができる最小限のハードウェア/ソフトウェアの処理能力を備えることである。したがって、画像を表示するための処理、特に画質を下げるための画像変換処理を実行しながら、同時に表示面（D）に表示する処理を実行するには、それ自体の処理能力が多少足りない。 At this time, the display surface (D) provided in the black box body (101) has a relatively small size and a relatively small number of pixels (for example, CGA, VGA, SVGA, etc.) and can be realized with low performance. it can. Therefore, in order to display an image encoded in a relatively high image quality (for example, HD, FHD, etc.) here, image processing for lowering the image quality is required. Black boxes are designed primarily to store captured images, so the minimum hardware/software processing power that can perform the function of encoding and storing captured images. Is to prepare. Therefore, the processing capacity of itself is somewhat insufficient to execute the processing for displaying an image, particularly the image conversion processing for lowering the image quality, while simultaneously executing the processing for displaying on the display surface (D).

したがって、本発明では、撮像された画像を格納するとき、高画質の画像を格納して1つの画像ファイル（例えば、第1のサブファイル）を構成して、前記撮像された画像を追加で低画質の画像に変換してまた1つの画像ファイル（例えば、第2のサブファイル）を構成した後、これらを1つのファイルに結合して格納する方法を使用する。これにより、格納された画像ファイルを自体の表示面に表示するとき、低画質の画像を利用すると、画像処理の負担が少なくなり、スムーズに画像を表示することができるようになる。また、低画質の画像を利用することで、画像の区間探索や高速再生などもスムーズに対応できるようになる。 Therefore, according to the present invention, when a captured image is stored, a high-quality image is stored to form one image file (for example, a first sub file), and the captured image is additionally stored. A method is used in which the images are converted into high-quality images and another image file (for example, the second sub-file) is constructed, and then these are combined into one file and stored. As a result, when the stored image file is displayed on its own display surface, if a low-quality image is used, the load of image processing is reduced and the image can be displayed smoothly. Further, by using a low-quality image, it becomes possible to smoothly cope with section search and high-speed reproduction of the image.

これらの機能の具現のために、本発明によるブラックボックス本体（101）は、撮像された画像に基づいて、異なる画質の個々の画像ファイルを構成し、このように構成された別の画質の画像を連結させて1つの統合画像ファイルを構成する機能を具現することができなければならない。また、必要に応じて、本発明によるブラックボックス本体（101）は、、こんなに構成された単一の統合画像ファイルのいずれかの画像ファイル（例えば、低画質の画像ファイル）を選択して、選択された画像ファイルの画像ストリームを表示面に表示する機能を具現することができなければならない。 In order to realize these functions, the black box body (101) according to the present invention constitutes individual image files of different image quality based on the captured image, and the image of different image quality thus configured. It must be possible to embody the function of concatenating and composing one integrated image file. Further, if necessary, the black box body (101) according to the present invention selects one of the image files (for example, a low-quality image file) of the single integrated image file thus configured, and selects it. It must be possible to implement the function of displaying the image stream of the generated image file on the display surface.

一方、本発明によるブラックボックスは前方カメラが見ている方向以外の方向に向かうもう1つのカメラ（102）を含むことができる。 Meanwhile, the black box according to the present invention may include another camera (102) pointing in a direction other than the direction viewed by the front camera.

前方カメラによって撮像された画像から構成された画像ファイルと追加のカメラ（102）によって撮像された画像から構成された画像ファイルは、同じ永久記憶媒体（130）に一緒に格納されることができる。 The image file composed of the images captured by the front camera and the image file composed of the images captured by the additional camera (102) may be stored together on the same permanent storage medium (130).

このとき、ブラックボックス（101）は、前方カメラによって撮像された画像（例えば、第1のチャンネルの画像、すなわち、第1の画像または前方画像）を高画質と低画質の画像ストリームに構成し、高画質画像ストリームのサブファイルと低画質の画像ストリームのサブファイルを統合して1つの統合画像ファイルとして格納することができる。また、ブラックボックス（101）は、後方カメラ（102）によって撮像された画像（例えば、第2のチャンネルの画像、すなわち、第2の画像または後方画像）を高画質と低画質の画像ストリームに構成し、高画質画像ストリームのサブファイルと低画質の画像ストリームのサブファイルを統合して、もう1つの統合画像ファイルとして格納することができる。 At this time, the black box (101) configures the image captured by the front camera (for example, the image of the first channel, that is, the first image or the front image) into a high-quality and low-quality image stream, The high-quality image stream subfile and the low-quality image stream subfile can be integrated and stored as a single integrated image file. The black box (101) configures an image captured by the rear camera (102) (for example, an image of the second channel, that is, the second image or the rear image) into a high-quality and low-quality image stream. However, the sub-file of the high-quality image stream and the sub-file of the low-quality image stream can be integrated and stored as another integrated image file.

そして、1つの表示面（D）で第1のチャンネルの画像と第2のチャンネルの画像を同時に表示しようとするときには、表示面（D）にPIP方式でメイン領域（M）とサブ領域（S）とを構成して、メイン領域（M）に表示するチャンネルの画像は、高画質画像で表示し、サブ領域（S）に表示するチャンネルの画像は低画質の画像で表示することができる。 Then, when the image of the first channel and the image of the second channel are simultaneously displayed on one display surface (D), the main area (M) and the sub area (S) are displayed on the display surface (D) by the PIP method. ) And a channel image displayed in the main area (M) can be displayed as a high quality image, and a channel image displayed in the sub area (S) can be displayed as a low quality image.

これにより、高画質画像に最小限の画像処理を施した後、表示面（D）の大部分を占めるメイン領域（M）に表示することができ、低画質の画像に最小限の画像処理を施した後、表示面の小さな部分であるサブ領域（S）に表示することができるので、ブラックボックス（101）の画像処理の負担が減り、2チャンネルのそれぞれの画像を同時にスムーズに表示することができるようになる。 As a result, after performing the minimum image processing on the high quality image, it can be displayed on the main area (M) that occupies most of the display surface (D), and the minimum image processing can be performed on the low quality image. After applying, it can be displayed in the sub area (S), which is a small part of the display surface, reducing the image processing burden of the black box (101) and displaying each of the two channels smoothly at the same time. Will be able to.

これらの機能の具現のために、本発明のブラックボックス（101）は、、表示面（D）をPIP方式で分割し、メイン領域（M）には、画像ファイルに格納された高画質画像ストリームを表示し、サブ領域（S）には、統合画像ファイル内で低画質で格納された画像ストリームを選択し、これを表示する機能を実現することができなければならない。 In order to realize these functions, the black box (101) of the present invention divides the display surface (D) by the PIP method, and the main area (M) has a high quality image stream stored in an image file. , And it is necessary to be able to realize the function of selecting an image stream stored in the integrated image file with low image quality and displaying it in the sub-region (S).

一方、他の方式では、メイン領域とサブ領域の両方の低画質の画像を利用して表示することもできる。 On the other hand, in other methods, low-quality images in both the main area and the sub area can be used for display.

図2aは、本発明の統合画像ファイルを構成する方法を説明する図である。 FIG. 2a is a diagram illustrating a method of constructing an integrated image file of the present invention.

本発明で提示する統合画像ファイルは、それぞれ独立して機能することができる第1のサブファイルと第2のサブファイルとが互いに連続的に連結された形で構成されている。 The integrated image file presented in the present invention is configured such that the first sub-file and the second sub-file that can function independently of each other are continuously connected to each other.

第1のサブファイルは、撮像された画像を高画質画像にエンコードして格納する部分であり、それ自体のヘッダ（Header）（または、第1のメタデータ）と、高画質画像のフレームが連結された第1の画像ストリーム（Video st1＃1 frame、Video st1＃2 frame、...、Video st1 #N frame）を含んでいる。第1のサブファイルも、それ自体で1つの完全な画像ファイルとして機能することができる。 The first sub-file is the part that encodes the captured image into a high-quality image and stores it. The header (or first metadata) of itself is linked to the frame of the high-quality image. 1st video stream (Video st1 # 1 frame, Video st1 # 2 frame, ..., Video st1 #N frame). The first subfile can itself also act as one complete image file.

同様に、第2のサブファイルは、撮像された画像を低画質の画像にエンコードして格納する部分であり、それ自体のヘッダ（Header）（例えば、第2のメタデータ）と、低画質画像のフレームが連結された第2の画像ストリーム（Video st2＃1 frame、Video st2＃2 frame、...、Video st2 #N frame）とを含んでいる。第2のサブファイルも、それ自体で1つの完全な画像ファイルとして機能することができる。 Similarly, the second sub-file is the part that encodes the captured image into a low-quality image and stores it, and includes its own header (for example, second metadata) and the low-quality image. , A second image stream (Video st2 # 1 frame, Video st2 # 2 frame, ..., Video st2 #N frame) concatenated with each other. The second subfile can also act as one complete image file by itself.

図2bは、MP4ファイル形式で具現された統合画像ファイルの構成を示す図である。本発明での画像ファイルは、図2bに示すように、MPEG-4（または、MP4）ファイルタイプを使用することを例に挙げている。MP4ファイルタイプは、複数のボックス（box）で構成され、基本的にFTYP、MOOV、MDATボックスを持つことができる。各ボックスは、ボックスのサイズと種類を表示する部分と、データまたはサブボックスのデータを記録する部分で構成されている。 FIG. 2b is a diagram showing the structure of an integrated image file embodied in the MP4 file format. The image file according to the present invention exemplifies using the MPEG-4 (or MP4) file type as shown in FIG. 2b. The MP4 file type is made up of multiple boxes and can basically have FTYP, MOOV, and MDAT boxes. Each box is composed of a part for displaying the size and type of the box and a part for recording data or data of the sub-box.

ここで、画像を再生するためのデータ、例えば、画像ストリームは、MDATボックスに記録される。FTYPボックスは、ファイルの先頭に常に優先的に配置する必要があり、ファイルの互換性を確認することができる情報が記録されている。MOOVボックスは、MP4画像ファイルに記録された画像ストリームに関連したすべての情報が記録されている。さらに、USERボックスが具備されてもよいが、本発明では、ないものとみなして説明する。 Here, data for reproducing an image, for example, an image stream is recorded in the MDAT box. The FTYP box must always be preferentially placed at the beginning of the file, and information that can confirm the compatibility of the file is recorded. The MOOV box records all the information related to the image stream recorded in the MP4 image file. Further, although a USER box may be provided, the present invention will be described assuming that it is not provided.

図2aでヘッダと表示され部分は、例えば、図2bのFTYPボックス、MOOVボックスに該当する。また、一連のVideo frameはMDATボックスに含まれている実際の画像フレームに対応する。 The part indicated as the header in FIG. 2a corresponds to, for example, the FTYP box and MOOV box in FIG. 2b. Also, the series of Video frames corresponds to the actual image frames contained in the MDAT box.

このように、本発明で提示する統合画像ファイルは、異なる画質の個々の2つの画像ファイルが連続的に連結されている形態で構成されている。したがって、ブラックボックスは、連続した2つのサブファイルのいずれかを選択して、選択されたサブファイルの画像ストリームをそのまま使用することができるようになる。 As described above, the integrated image file presented in the present invention is configured such that two individual image files of different image quality are continuously connected. Therefore, the black box can select any one of two consecutive sub files and use the image stream of the selected sub file as it is.

ちなみに比較すると、従来の画像ファイルでも、1つのMDATボックスに異なる画質の画像を同時に格納する方法が存在する。しかし、この従来の方式では、完全な画像ストリームを連続させるのではなく、フレーム単位で交互に格納している。つまり、高画質の画像フレーム＃1-低画質の画像フレーム＃1-高画質の画像フレーム＃2-低画質の画像フレーム＃2…のようにフレームユニットを交互に配置して格納している。したがって、ブラックボックスで、所望の画質の画像を活用するためには、画像フレームを一つずつスキップして抽出する処理が必要なので、処理能力に負担となった。 By comparison, even with conventional image files, there is a method to store images of different image quality in one MDAT box at the same time. However, in this conventional method, the complete image stream is not stored in succession but is stored alternately in frame units. That is, frame units are alternately arranged and stored, such as high-quality image frame #1-low-quality image frame #1-high-quality image frame #2-low-quality image frame #2. Therefore, in order to utilize an image of a desired image quality in a black box, it is necessary to skip and extract image frames one by one, which imposes a burden on the processing capability.

これに比べ、本発明の前記した方法で構成された統合画像ファイルによると、同じ画質の画像フレームは連続的に連結されて、完全な単一の画像ストリームを構成しており、これらの完全な単一の画像ストリームに単一のサブファイルが構成され、これらのサブファイルが連結されて単一の統合画像ファイルが構成されているので、ブラックボックスは、統合画像ファイル内で所望のサブファイルを選択して、画像ストリームをそのまま使用できるようになる。 In contrast, according to the integrated image file constructed by the above-described method of the present invention, image frames of the same quality are concatenated consecutively to form a complete single image stream. Since a single sub-file is composed in a single image stream, and these sub-files are concatenated to form a single integrated image file, the black box creates the desired sub-file in the integrated image file. You can select and use the image stream as is.

これらの機能を具現するためには、各メタデータは、画像ストリームの末端の位置および/またはそこまでの長さ（または、各サブファイルの末端の位置および/またはそこまでの長さ）を表示する情報を含んでなければならない。 In order to implement these functions, each metadata indicates the end position and/or the length of the image stream (or the end position and/or the length of each subfile). Must contain the information to

また、少なくとも、第2のサブファイルのメタデータには、第2のサブファイルが第1のサブファイルに関連付けられたサブファイルであることを表示する情報を含まなければならない。 In addition, at least the metadata of the second subfile must include information indicating that the second subfile is a subfile associated with the first subfile.

そして、ブラックボックスでは、統合画像ファイルの開始部分に存在するメタデータを調査して（ファイルの前方に配置される第1のサブファイルの第1のメタデータが調査される）、第1のサブファイルの末端を調査し、その末端にあるもう1つの画像ファイルのメタデータ（例えば、FTYPボックス）を調査して、調査されるメタデータが前記第1のサブファイルに依存している第2のサブファイルであるかを識別することができなければならない。 Then, in the black box, the metadata existing in the start portion of the integrated image file is examined (the first metadata of the first sub file arranged in front of the file is examined), and the first sub file is examined. Examine the end of the file and inspect the metadata (eg FTYP box) of another image file at the end of the second subfile where the inspected metadata depends on the first subfile. It must be possible to identify if it is a subfile.

本明細書で、第1のサブファイルと第2のサブファイルとが1つの統合画像ファイルを構成するものとして説明したが、これらが1つの統合ファイルを構成していると統合画像ファイルの自体内に明示的に表示される必要はない。すなわち、永久記憶媒体の論理（または、物理）アドレスが互いに連続するように第1のサブファイルと第2のサブファイルとを記録し、第2のサブファイルが第1のサブファイルに関連付けられたサブファイルであることを表示する情報を第2のサブファイルの第2のメタデータに記録しておけば、後でブラックボックスでいずれかのサブファイルを読み出したときにすぐに次の論理/物理アドレスを調査し、関連する第2のサブファイルが存在していることが確認された場合、先に読み取ったサブファイルとそれに連結された第2のサブファイルとを1つの統合画像ファイルと判断することもできる。 In the present specification, the first sub-file and the second sub-file have been described as constituting one integrated image file. However, if they constitute one integrated file, the integrated image file itself Need not be explicitly displayed in. That is, the first subfile and the second subfile are recorded so that the logical (or physical) addresses of the permanent storage medium are contiguous with each other, and the second subfile is associated with the first subfile. By recording the information indicating that it is a subfile in the second metadata of the second subfile, the next logical/physical file will be read immediately when one of the subfiles is read by the black box later. If the address is checked and it is confirmed that the related second subfile exists, the previously read subfile and the second subfile concatenated with it are determined to be one integrated image file. You can also

したがって、本明細書で、「統合画像ファイルを構成する」というのは、第1のサブファイルの第1のメタデータまたは別々のボックスに、関連する第2のサブファイルが存在することを明示的に記録することもあり、または記録していないこともある。 Therefore, as used herein, "constituting an integrated image file" means explicitly that the associated second subfile exists in the first metadata of the first subfile or in a separate box. May or may not be recorded.

次に、図3を参照して、本発明の一実施形態による、統合画像ファイルを構成する画像録画装置の主要部を概略的に説明する。画像録画装置（101）は、ブラックボックスの一部になることができる。画像録画装置（101）は、、撮像部（110）と、システム部（120）と永久記憶媒体（130）とを含むことができる。 Next, with reference to FIG. 3, a main part of an image recording device forming an integrated image file according to an embodiment of the present invention will be schematically described. The image recording device (101) can be part of a black box. The image recording device (101) can include an imaging unit (110), a system unit (120), and a permanent storage medium (130).

撮像部（110）は、、カメラを含んで、前方を撮像する。撮像された画像は、フレーム単位で出力されることができる。 The imaging unit (110) includes a camera and images the front. The captured image can be output in frame units.

永久記憶媒体（130）は、、不揮発性データ記憶装置を総称するものであり、SDメモリ、SSD、HDDなどを含むことができる。もちろん、永久記憶媒体（130）は、揮発性メモリを使用して具現されることもできる。 The permanent storage medium (130) is a general term for non-volatile data storage devices, and may include SD memory, SSD, HDD and the like. Of course, the permanent storage medium (130) may be implemented using volatile memory.

システム部（120）は、撮像部（110）で撮像された画像をエンコードしてデジタル画像データに変換して永久記憶媒体（130）に記録する機能を実行する。 The system section (120) performs a function of encoding the image captured by the image capturing section (110), converting the image into digital image data, and recording the digital image data in the permanent storage medium (130).

画像獲得部（121）は、撮像部（110）から出力される画像を受信する。 An image acquisition unit (121) receives the image output from the imaging unit (110).

ストリーム拡張部（122）は、受信された画像を利用して、2つのストリームを作る。つまり、受信した画像を、第1の画質（または、高解像度の画質）の画像に変換して第1の画像ストリームを生成し、受信した画像を、第2の画質（または、低解像度の画質）の画像に変換して第2の画像ストリームを生成する。 A stream expansion section (122) uses the received image to create two streams. That is, the received image is converted to a first image quality (or high resolution image quality) to generate a first image stream, and the received image is converted to a second image quality (or low resolution image quality). ) Image to generate a second image stream.

エンコード部（123）は、各画像ストリームを画像ファイルとして格納するための形式にエンコードする。例えば、MP4ファイル形式にエンコードすることができる。 An encoding unit (123) encodes each image stream into a format for storing it as an image file. For example, it can be encoded in the MP4 file format.

バッファメモリ（124）は、、リアルタイムで撮像されて生成された画像ストリームを一時的に格納するバッファを提供する。 The buffer memory (124) provides a buffer for temporarily storing the image stream generated by capturing in real time.

ファイル生成部（125）は、、画像録画装置（101）が画像の録画を開始すると、第1の画像ストリームを格納する第1のサブファイルを生成することができる。本発明で、第1のサブファイルは、永久記憶媒体（130）内にすぐに生成することができる。このとき、第1のサブファイルは、例えば、第1の時間（例えば、60秒）ごとに終了するので、永久記憶媒体（130）に生成された第1のサブファイルは、第1のメタデータの一部が記録されてMDATボックスに画像ストリームが追加されることができる状態で生成することができる。 When the image recording device (101) starts recording an image, the file generation unit (125) can generate a first subfile that stores the first image stream. With the present invention, the first subfile can be immediately created in the permanent storage medium (130). At this time, since the first subfile ends, for example, every first time (for example, 60 seconds), the first subfile generated in the permanent storage medium (130) has the first metadata. A part of it can be recorded and generated with the image stream added to the MDAT box.

そしてファイル生成部（125）は、第1の画像ストリームを第2の時間周期（例えば、1秒）毎にバッファメモリ（124）から取得してMDATボックスに追加で記録して、第1のサブファイルを記録する。 Then, the file generation unit (125) acquires the first image stream from the buffer memory (124) every second time period (for example, 1 second), additionally records the same in the MDAT box, and then outputs the first sub stream. Record the file.

一方、ファイル生成部（125）は、永久記憶媒体内にまだ第2のサブファイルを生成しませず、第2の画像ストリームは、ただバッファメモリ（124）内で追加されている状態である。 On the other hand, the file generation unit (125) has not yet generated the second subfile in the permanent storage medium, and the second image stream is just being added in the buffer memory (124).

以後、第1の時間の間に記録が行われた後（すなわち、第1の画像ストリームは、永久記憶媒体内に第2の時間周期毎にフレームが追加されていて、第2の画像ストリームは、バッファメモリ内でフレームが追加されている状態である）、ファイル生成部（125）は、永久記憶媒体（130）の第1のサブファイルのMDATボックスを終了して、第1のメタデータを終了して、第1のサブファイルを終了する。一方、ファイル生成部（125）は、第1時間の間に生成された第2の画像ストリームをバッファメモリ（124）から取得し、第2のメタデータを設定して第2のサブファイルを生成し、生成された第2のサブファイルを永久記憶媒体（130）の第1サブファイルの末端の論理的/物理的アドレスに連続して記録を開始する。 After that, after recording is performed during the first time (that is, the first image stream has a frame added to the permanent storage medium every second time period, and the second image stream has , The frame is added in the buffer memory), the file generation unit (125) terminates the MDAT box of the first subfile of the permanent storage medium (130), and outputs the first metadata. Exit and exit the first subfile. On the other hand, the file generation unit (125) acquires the second image stream generated during the first time from the buffer memory (124), sets the second metadata, and generates the second subfile. Then, recording of the generated second subfile is continuously started at the logical/physical address at the end of the first subfile of the permanent storage medium (130).

このように、第1のサブファイルに依存している第2のサブファイルは、第1のサブファイルの末端の論理的(または、物理的)アドレスに連続して位置するので、いずれかのサブファイルを読み出したときに、連続した次の場所にあるサブファイルのメタデータを調査すれば、次の場所にあるサブファイルがすぐ前のサブファイルに依存している第2のサブファイルであるかどうかをすぐに判断できるようになる。 In this way, the second subfile that depends on the first subfile is located consecutively at the logical (or physical) address at the end of the first subfile, so that any subfile When you read the file, you can inspect the metadata of the subfile at the next consecutive location to see if the subfile at the next location is the second subfile that depends on the previous subfile. You will soon be able to judge.

次に、前記したように構成された統合画像ファイル、つまり、異なる画質の画像ストリームの個々のサブファイルが連続して記録された統合画像ファイルを表示面に表示することができる装置について説明する。このように、統合され画像ファイルを表示面に表示することができる画像表示装置、例えば、表示面を備えたブラックボックスは、ファイル取得部、ファイル解析部、デコード部、画像表示部を含むことができる。本実施形態のブラックボックスの構成は、図4のブロック図を参考することができる。 Next, an apparatus capable of displaying an integrated image file configured as described above, that is, an integrated image file in which individual subfiles of image streams of different image quality are continuously recorded, will be described. As described above, an image display device capable of displaying an integrated image file on the display surface, for example, a black box having a display surface may include a file acquisition unit, a file analysis unit, a decoding unit, and an image display unit. it can. For the configuration of the black box of this embodiment, the block diagram of FIG. 4 can be referred to.

ファイル取得部は、前方を撮像した画像が第1の画質の第1の画像ストリームとして記録された第1のサブファイルと前記第1の画像が第2の画質の第2の画像ストリームとして記録された第2のサブファイルとが互いに連続的に連結されて構成された統合画像ファイルを入力される。つまり、ファイル取得部は永久記憶媒体にアクセスして格納された画像ファイルを読み出すことができる。 The file acquisition unit records a front captured image as a first subfile in which a first image stream having a first image quality is recorded and the first image is recorded as a second image stream in a second image quality. The integrated image file configured by continuously connecting the second sub-file and the second sub-file is input. That is, the file acquisition unit can access the permanent storage medium and read the stored image file.

ファイル解析部は、入力された画像ファイルに第2のサブファイルが含まれているかどうか調査する。つまり、ファイル解析部は、表示するのいずれかの画像ファイルを読み出したときには、その画像ファイルのメタデータを読み出して画像ファイルの末端を識別し、識別された末端位置にもう1つの画像ファイルが開始していることを確認して、確認された画像ファイルのメタデータを調査して、当該ファイルがすぐ前に位置する画像ファイルに依存している第2のサブファイルであるかどうかを識別することができる。 The file analysis unit checks whether the input image file includes the second sub file. In other words, when any of the image files to be displayed is read, the file analysis unit reads the metadata of the image file to identify the end of the image file, and another image file starts at the identified end position. And verify the identified image file's metadata to identify whether the file is a second subfile that depends on the immediately preceding image file. You can

デコード部は、各画像ファイルの画像ストリームを読み出して、視覚的に表示するようにデコードする。 The decoding unit reads the image stream of each image file and decodes it so as to be visually displayed.

画像表示部は、デコードされた画像ストリームを表示面に視覚的に表示する。このとき、ファイル解析部において、前記第2のサブファイルが識別されたら、画像表示部は、第2のサブファイルの第2の画像ストリームを表示面に表示することができる。 The image display unit visually displays the decoded image stream on the display surface. At this time, when the file analysis unit identifies the second subfile, the image display unit can display the second image stream of the second subfile on the display surface.

これらの画像表示装置は、前方を撮像した同じ画像でありながら、互いに画質が異なる2つの画像ストリームの中から所望の画質の画像ストリームを選択して表示することができますが、低画質の画像ストリームを選択して表示する場合には、第2のサブファイルを選択して、すでに連続に格納された一連の画像ストリームをそのまま使用することができますので、画像フレームを抽出して表示する処理能力が不足しても画像をスムーズに表示することができるようになる。また、低画質のフレームが一列に連続して構成された画像ストリームを使用することになるので、区間探索時の遅延がほとんどなく、高速再生などもスムーズに対応できるようになる。 These image display devices can select and display the image stream of the desired image quality from two image streams of different image quality, even though they are the same image captured from the front side. When selecting and displaying a stream, you can select the second subfile and use a series of image streams that have already been stored in series, so the process of extracting and displaying image frames Even if the ability is insufficient, the image can be displayed smoothly. In addition, since an image stream in which low-quality frames are continuously formed in a row is used, there is almost no delay in section search, and high-speed reproduction can be smoothly handled.

図4は、本発明のもう1つの実施形態による、統合画像ファイルを含む複数のチャンネルの画像ファイルを1つの表示面に表示することができる装置の要部と複数のチャンネルの画像をPIP方式で表示する例とを示す図である。 FIG. 4 illustrates a PIP method for a main part of an apparatus capable of displaying image files of a plurality of channels including an integrated image file on a single display surface according to another embodiment of the present invention and images of a plurality of channels. It is a figure which shows the example displayed.

図4の（a）を参照すると、統合画像ファイルを含む複数のチャンネルの画像ファイルを1つの表示面に表示することができる装置（201）は、やはりブラックボックスであることができ、画像ファイル取得部（210）、ファイル解析部（220）、デコード部（230）、画像表示部（240）を含むことができる。 Referring to FIG. 4(a), the device (201) capable of displaying the image files of the multiple channels including the integrated image file on one display surface may be a black box, and the image file acquisition may be performed. A unit (210), a file analysis unit (220), a decoding unit (230), and an image display unit (240) can be included.

ここでは、例えば、車両の任意の方向を撮像して生成された第1の画像が第1のチャネルとして出力され、前記第1の画像を第1の画質の第1の画像ストリームとして記録して第1のサブファイルを構成し、前記第1のチャンネルの第1の画像が第2の画質に変換され第2の画像ストリームとして記録された第2のサブファイルを構成し、第1のサブファイルと第2のサブファイルとが互いに連続的に連結されて1つの統合画像ファイルが構成されていることを想定する。 Here, for example, a first image generated by imaging an arbitrary direction of the vehicle is output as a first channel, and the first image is recorded as a first image stream of a first image quality. Forming a first subfile, forming a second subfile in which the first image of the first channel is converted to a second image quality and recorded as a second image stream, and the first subfile It is assumed that and the second sub-file are continuously connected to each other to form one integrated image file.

また、例えば、車両の他の方向を撮像して生成された第2の画像が第2のチャネルとして出力され、前記第2の画像を任意の画質で記録したもう1つの画像ファイルが構成されていることを想定する。ここで、前記もう1つの画像ファイルも、第2の画像が第1の画質の第1の画像ストリームとして記録された第1のサブファイルと第2の画質の第2の画像ストリームとして記録された第2のサブファイルとを含むこともできる。 Further, for example, the second image generated by imaging the other direction of the vehicle is output as the second channel, and another image file in which the second image is recorded with an arbitrary image quality is configured. I assume that you are. Here, the other image file is also recorded as a first sub-file in which a second image is recorded as a first image stream of a first image quality and a second image stream of a second image quality. It can also include a second subfile.

画像ファイル取得部（210）は、、例えば、永久記憶媒体（130）からチャンネル別画像ファイルを読み出して取得することができる。 The image file acquisition unit (210) can read and acquire the channel-specific image file from the permanent storage medium (130), for example.

ファイル解析部（220）は、ブラックボックス（101）の表示面（D）に表示する第1のチャンネルの画像ファイルと第2のチャンネルの画像ファイルとを選択して、選択されたファイルが第2のサブファイルを含む統合画像ファイルであるか解析する。統合画像ファイルであるかの解析は、選択された画像ファイルのメタデータから画像ストリームの末端または画像ファイルの末端を検出し、（統合画像ファイルである場合には、第1のサブファイルの末端になるものである）、前記末端からまた1つの画像ファイルが開始しているかどうか調査し、開始しているもう1つの画像ファイルのメタデータを調査して、この画像ファイルがすぐ前の画像ファイルに依存している第2のサブファイルと表示されているかどうかの識別することにより、行うことができる。 The file analysis unit (220) selects the image file of the first channel and the image file of the second channel to be displayed on the display surface (D) of the black box (101), and the selected file is the second file. Analyze whether it is an integrated image file including the sub file of. The analysis of whether it is an integrated image file detects the end of the image stream or the end of the image file from the metadata of the selected image file, and (when it is the integrated image file, the end of the first subfile is Then, check if another image file starts from the end, check the metadata of the other starting image file, and this image file becomes the immediately previous image file. This can be done by identifying if it is listed as a dependent second subfile.

画像表示部（240）は、第1のチャンネルの第1の画像と第2のチャンネルの第2の画像とを1つの表示面に同時に表示するコマンドを受信すると、表示面（D）を2つの領域に分割し、各領域にそれぞれの画像を表示することができる。特に、本発明では、1つの表示面をPIP方式で、メイン領域（M）とサブ領域（S）に分割することができる。 When the image display unit (240) receives a command for simultaneously displaying the first image of the first channel and the second image of the second channel on one display surface, the image display unit (240) displays two images on the display surface (D). It can be divided into regions and each image can be displayed in each region. Particularly, in the present invention, one display surface can be divided into a main area (M) and a sub area (S) by the PIP method.

画像表示部（240）は、ファイル解析部（220）で前記第2のサブファイルが識別されると、表示面（D）内にメイン領域（M）とサブ領域（S）とを設定し、前記メイン領域（M）には前記の任意の画像ファイルに含まれている画像ストリームを表示し、前記サブ領域（S）には前記第2のサブファイルの前記第2の画像ストリームを表示することができる。 When the file analysis unit (220) identifies the second subfile, the image display unit (240) sets a main area (M) and a subarea (S) in the display surface (D), The main area (M) displays an image stream included in the arbitrary image file, and the sub area (S) displays the second image stream of the second subfile. You can

つまり、表示面（D）の小さな部分であるサブ領域（S）に表示する画像は、統合画像ファイルの低画質で格納された第2の画像ストリームであることが望ましい。 That is, it is desirable that the image displayed in the sub-region (S), which is a small portion of the display surface (D), is the second image stream stored with the low image quality of the integrated image file.

このように、小さなサブ領域に低画質の画像ストリームを表示すれば、画像のサイズをサブ領域に合わせて変換するための画像処理の負担が少なく、メイン領域（M）の画像とサブ領域（S）の画像とが互いに同期を失うことなく、スムーズに表示されることができる。 In this way, by displaying a low-quality image stream in a small sub-region, the image processing load for converting the size of the image to match the sub-region is reduced, and the image in the main region (M) and the sub-region (S ) Images can be displayed smoothly without losing sync with each other.

図4の（b）は、PIP方式で分割された表示面（D）を示す。メイン領域（M）には、ユーザーが詳細に見たい前方を撮像した画像が大きく表示されており、サブ領域（S）には、ユーザーが参考で見ようとする後方を撮像した画像が小さく表示されている。ここで、後方を撮像した画像は、低画質で格納された画像ストリームが表示されることができ、これにより、2つのチャンネルの画像が1つの表示面（D）で同時にスムーズに表示されることができる。 FIG. 4B shows the display surface (D) divided by the PIP method. The main area (M) shows a large image of the front image that the user wants to see in detail, and the sub area (S) shows a small image of the rear image that the user wants to see for reference. ing. Here, the image captured in the rear can be displayed as an image stream stored in low image quality, which allows images of two channels to be displayed smoothly on one display surface (D) at the same time. You can

図5は、前記図4を参照して説明されたような統合画像ファイルを含む複数のチャンネルの画像ファイルを1つの表示面に表示する装置で実行されることができる、統合画像ファイルを含む複数のチャンネルの画像ファイルを1つの表示面に一緒に表示する方法を説明するフローチャートである。 FIG. 5 shows a plurality of integrated image files that can be executed by a device that displays image files of a plurality of channels including the integrated image files as described with reference to FIG. 4 on one display surface. 7 is a flowchart illustrating a method of displaying image files of channels on a single display surface together.

ユーザーによって表示する画像が選択されることができる（S10）。例えば、ユーザーは前方を撮像して生成された第1のチャンネルからの画像（または、前方画像）と後方を撮像して生成された第2のチャンネルからの画像（または、後方画像）を1つの表示面に同時に一緒に表示するために選択することができる。 The image to be displayed can be selected by the user (S10). For example, the user may have an image from the first channel (or front image) generated by capturing the front and an image from the second channel (or rear image) generated by capturing the rear as one image. It can be selected for simultaneous display on the display surface.

そして、ユーザーは、メイン領域におよび/またはサブ領域に表示される画像を選択することができる（S12）。例えば、ユーザーは、前方を撮像した画像をメイン領域に大きく表示して、後方を撮像して生成された画像をサブ領域に小さく表示することができる。 Then, the user can select an image to be displayed in the main area and/or the sub area (S12). For example, the user can display a front image in a large size in the main area and display a rear image in a small size in the sub area.

各領域ごとに表示される画像が選択されると、メイン領域に表示されるように選択されたチャンネルの画像ファイルから、画像ファイルに格納された画像ストリームがそのまま選択されて（S18）メイン領域に表示することができる（S19）。もし第1のサブファイルと第2のサブファイルとを備えた統合画像ファイルがメイン領域に表示されるように選択された場合には、統合画像ファイルの先頭にあるサブファイルの画像をそのまま表示するように具現されるか、第1の画像ストリームと第2の画像ストリームとの画像の中から任意の画像ストリームを選択して表示するように具現されることもできる。 When the image displayed in each area is selected, the image stream stored in the image file is selected as it is from the image file of the channel selected to be displayed in the main area (S18) Can be displayed (S19). If an integrated image file having a first subfile and a second subfile is selected to be displayed in the main area, the image of the subfile at the beginning of the integrated image file is displayed as is. Alternatively, it may be embodied as described above, or may be embodied so as to select and display an arbitrary image stream from the images of the first image stream and the second image stream.

一方、サブ領域に表示するように選択されたチャンネルの画像ファイルには、低画質で格納されたサブファイルが存在するか確認することができる（S13）。つまり、画像ファイルに第2の画像ストリームが存在するか確認する。このような調査は、画像ファイルのメタデータを調査し、画像ファイルの末端を調査し、ファイルの末端に連結されたもう1つの画像ファイルのメタデータを調査し、当該画像ファイルがすぐ前の画像ファイルに依存している第2のサブファイルであることを表しているか調査する方法で行われます。 On the other hand, it is possible to confirm whether or not the image file of the channel selected to be displayed in the sub area includes a sub file stored with low image quality (S13). That is, it is confirmed whether the second image stream exists in the image file. Such a survey examines the image file's metadata, examines the end of the image file, examines the metadata of another image file concatenated to the end of the file, and the image file immediately preceding it. This is done by investigating whether it represents a second subfile that depends on the file.

ここで、もし、サブ領域に表示するように選択されたチャンネルの画像ファイルに第2のサブファイルの第2の画像ストリームが存在する場合には、第2の画像ストリームを選択してデコードして（S14）表示面のサブ領域に画像を表示するようにされている（S15）。 Here, if the image file of the channel selected to be displayed in the sub area includes the second image stream of the second sub file, the second image stream is selected and decoded. (S14) The image is displayed in the sub area of the display surface (S15).

一方、サブ領域に表示するように選択されたチャンネルの画像ファイルに第2のサブファイルが存在していないことを確認すると、画像ファイルに含まれている画像ストリームをそのまま使用して（S16）、当該画像ストリームをサブ領域のサイズに合わせてデコードした後（S17）、それをサブ領域に表示することができる（S15）。 On the other hand, if it is confirmed that the second sub file does not exist in the image file of the channel selected to be displayed in the sub area, the image stream included in the image file is used as it is (S16), After the image stream is decoded according to the size of the sub area (S17), it can be displayed in the sub area (S15).

このように、メイン領域には、別々の選択するための手続きを経ておらず、備えた画像ストリームをそのまま使用して表示することができ、サブ領域には低画質で格納された第2の画像ストリームが存在する場合、その第2の画像ストリームを使用して表示することができる。 In this way, the main area does not go through a separate selection procedure, and the provided image stream can be used as it is for display, while the sub-area contains the second image stored with low image quality. If a stream exists, it can be displayed using its second image stream.

次に、図5の方法の手順の中で、第2の画像ストリームの第2のサブファイルが存在するか調べる方法について、図6を参照して説明する。 Next, in the procedure of the method of FIG. 5, a method of checking whether or not the second subfile of the second image stream exists will be described with reference to FIG.

まず、任意の画像ファイル（例えば、第1のサブファイル）が選択されると、画像ファイルのメタデータ（第1のメタデータ）を調査して画像ストリーム（第1の画像ストリーム）の大きさまたは当該画像ファイル（第1のサブファイル）のサイズを把握する（S21）。第1の画像ストリームのサイズが把握されると、第1の画像ストリームの末端にもう1つの画像ファイルが連結されているかどうか確認する（S22）。 First, when an arbitrary image file (for example, the first subfile) is selected, the metadata of the image file (first metadata) is examined to determine the size of the image stream (first image stream) or The size of the image file (first sub file) is grasped (S21). When the size of the first image stream is known, it is confirmed whether another image file is connected to the end of the first image stream (S22).

連結されたもう1つの画像ファイルが存在すれば、前記画像ファイルのメタデータを調査する（S23）。前記画像ファイルがメタデータを持っていながら（S24の「有」）この画像ファイルがもしすぐ前の画像ファイル（すなわち、第1のサブファイル）に関連している第2のサブファイルと表示している場合は、前記第1のサブファイルと前記第2のサブファイルとは、単一の統合画像ファイルと見なされることができる。 If there is another linked image file, the metadata of the image file is examined (S23). While the image file has metadata (“yes” in S24), this image file is displayed as a second subfile that is related to the immediately previous image file (ie, the first subfile). If so, the first sub-file and the second sub-file can be considered as a single integrated image file.

一方、続いて、第2のサブファイルで第2のメタデータを調査して、第2の画像ストリームのサイズを把握する（S25）。そして把握されたサイズを参考にして、第2の画像ストリームが完全に存在していることを確認した後（S26）、第2の画像ストリームを読み出して（S27）、サブ領域に表示されるように、第2の画像ストリームが選択されることができる（S28）。 On the other hand, subsequently, the second metadata is examined in the second sub-file to grasp the size of the second image stream (S25). Then, referring to the grasped size, after confirming that the second image stream is completely present (S26), the second image stream is read (S27) and displayed in the sub area. Then, the second image stream can be selected (S28).

一方、第2の画像ストリームが不完全または存在しない場合には、第2のサブファイルの選択がキャンセルされ、第1のサブファイルの第1の画像ストリームが表示されるように選択することができる（S29）。 On the other hand, if the second image stream is incomplete or does not exist, the selection of the second subfile may be canceled and the first image stream of the first subfile may be selected for display. (S29).

以上で説明された本発明の実施形態は、本発明の技術思想を例示的に示したものに過ぎず、本発明の保護範囲は、以下の特許請求の範囲によって解釈されるべきである。また、本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲で様々な修正や変形が可能であることがわかりので、本発明の均等な範囲内にあるすべての技術思想は、本発明の権利範囲に含まれるものと解釈されるべきである。 The embodiments of the present invention described above are merely illustrative of the technical idea of the present invention, and the protection scope of the present invention should be construed according to the following claims. Further, it is understood that a person having ordinary knowledge in the technical field to which the present invention pertains can make various modifications and variations without departing from the essential characteristics of the present invention. All technical ideas within the scope should be construed as being included in the scope of right of the present invention.

Claims

(I) a procedure of generating a first image stream of a first image quality from a front image captured,
(Ii) a step of processing the image or the first image stream to generate a second image stream of a second image quality;
(Iii) A first sub-file is formed by combining first metadata with the first image stream at a predetermined first time period, and a second meta file is added to the second image stream. A procedure to combine the data to form a second subfile,
And (iv) a step of constructing an integrated image file by concatenating and recording the second subfile at the end of the first subfile, and image streams of different image quality are continuously recorded. How to configure integrated image files.

The first metadata includes at least information indicating the end of the first image stream or the end of the first sub-file,
The method of claim 1, wherein the second metadata includes at least information indicating that the second subfile is a second image stream of the second image quality. ..

The method of claim 1, wherein the second image quality is lower than the first image quality.

The above (i) procedure is:
Recording the first image stream in a buffer memory,
In the permanent storage medium, the first sub-file is started, and the first image stream recorded in the buffer memory is recorded at the predetermined second time shorter than the first time. Further comprising continuously recording in the first sub-file of
The procedure of (iii) above is:
Further comprising terminating a first subfile in the permanent storage medium at the first time and terminating the second file in the buffer memory,
The procedure of (iv) above is:
At the end of the first subfile in the permanent storage medium, after the second subfile ended in the buffer memory is linked and recorded, starting from the beginning of the first subfile The method of claim 1, further comprising configuring the integrated image file ending at the end of the second subfile.

An image receiving unit that receives an image of the front,
A stream expansion unit that forms a first image stream of a first image quality from the received image, and processes the image or the first image stream to form a second image stream of a second image quality,
In a predetermined first time period, a first sub-file is formed by combining the first metadata with the first image stream, and the second metadata is added to the second image stream. A second sub-file is combined to form a second sub-file, and a file generation unit configured to continuously connect the second sub-file to the end of the first sub-file to form an integrated image file. A device that forms an integrated image file in which image streams are continuously recorded.

The device is:
A buffer memory for storing the first and second image streams,
And a permanent storage medium in which the integrated image file is stored,
The file generator is
Creating the first subfile on the permanent storage medium,
Recording the first image stream recorded in the buffer memory at every predetermined second time shorter than the first time as the first subfile of the permanent storage medium,
Terminating the first subfile in the permanent storage medium at the first time and terminating the second subfile in the buffer memory,
The integrated image file is configured by continuously recording the second subfile ended in the buffer memory at the end of the first subfile in the permanent storage medium, The device according to claim 5.

The second image quality is lower than the first image quality, and
The first metadata includes information indicating the end of the first image stream or the end of the first sub-file,
The apparatus of claim 5, wherein the second metadata includes at least information indicating that the second subfile is a second image stream of the second image quality. ..

A first subfile in which the image captured in the front is recorded as a first image stream of a first image quality, and a second subfile in which the first image is recorded as a second image stream of a second image quality A sub-file is a file acquisition unit that receives an integrated image file that is continuously connected to each other, and
A file analysis unit that investigates whether the input integrated image file includes the second subfile,
When the second subfile is identified by the file analysis unit, an image of different image quality including an image display unit that displays the second image stream of the second subfile on the display surface of the display device. A device that displays an integrated image file in which a stream is continuously recorded.

The first subfile includes first metadata indicating the end of the first image stream or the end of the first subfile,
The second sub-file includes at least second metadata indicating that the second sub-file is the second image stream of the second image quality,
The file analysis unit is
Based on the first metadata of the integrated image file, identify the end of the first subfile and investigate whether the second subfile starts at the end of the first subfile. 9. The apparatus of claim 8, further comprising: reading the second metadata of the second subfile to identify the second image stream.

A first sub-file in which a first image from a first channel is recorded as a first image stream of a first image quality and the first image is recorded as a second image stream of a second image quality. A method for simultaneously displaying on a single display device an integrated image file composed of continuously connected second sub-files and an arbitrary image file recorded with a second image from the second channel. There
(I) A procedure for setting a main area and a sub area on the display surface of the display device,
(Ii) a procedure of displaying an image stream included in the arbitrary image file in the main area,
(Iii) When the integrated image file is selected as an image file to be displayed in the sub area, and the integrated image file is examined to detect the second sub file, the second image stream is set to the above A method of displaying an integrated image file in which image streams of different image quality are continuously recorded, including a step of displaying in a sub area.

The first metadata includes information indicating the end of the first image stream or the end of the first sub-file,
The second metadata includes at least information indicating that the second sub-file is a second image stream of the second image quality,
The procedure of (iii) above is:
Detecting the end of the first subfile based on the first metadata of the integrated image file and investigating whether the second subfile starts at the end of the first subfile And reading the second metadata of the second sub-file to identify the second image stream and displaying the second image stream in the sub-region. The method described in.

The second image quality is lower than the first image quality,
The method of claim 10, wherein the sub area is provided in the main area by a PIP method.

The integrated image file is
(A) generates the first image stream of the first image quality from the first image captured in the front and records the first image stream in a buffer memory,
(B) processing the first image or the first image stream to generate the second image stream of a second image quality and recording it in a buffer memory,
(C) The first subfile is generated in the permanent storage medium, and the first image stream recorded in the buffer memory is generated at the predetermined second time, and the first image stream recorded in the buffer memory is used as the first substream. Record it in a subfile,
(D) Combining first metadata with the first image stream in the permanent storage medium to form a first subfile at a predetermined first time period longer than the second time. And also terminating a second subfile in the buffer memory by combining second metadata with the second image stream in the buffer memory,
(E) It is configured by continuously recording a second subfile ended in the buffer memory at an end of the first subfile in the permanent storage medium, The method according to item 10.

A first sub-file in which a first image from a first channel is recorded as a first image stream of a first image quality and the first image is recorded as a second image stream of a second image quality. An integrated image file configured by continuously connecting the second sub-files to each other, and a file acquisition unit that receives an arbitrary image file in which the second image from the second channel is recorded,
A file analysis unit that selects the integrated image file as an image file to be displayed in the sub area, and is investigating whether the selected integrated image file includes a second sub file,
When the second sub-file is identified by the file analysis unit, a main area and a sub-area are set on the display surface of the display device, and the image stream included in the arbitrary image file is set in the main area. An apparatus for displaying and displaying an integrated image file in which image streams of different image quality are continuously recorded, including an image display unit for displaying the second image stream of the second sub-file in the sub-area.

The first subfile includes first metadata indicating the end of the first image stream or the end of the first subfile,
The second sub-file includes at least second metadata indicating that the second sub-file is the second image stream of the second image quality,
The file analysis unit is
Detecting the end of the first subfile based on the first metadata of the integrated image file and investigating whether the second subfile starts at the end of the first subfile. 15. The apparatus of claim 14, wherein the second metadata of the second sub-file is read to identify the second image stream.