JP6799092B2 - Imaging device and imaging method - Google Patents
Imaging device and imaging method Download PDFInfo
- Publication number
- JP6799092B2 JP6799092B2 JP2019005164A JP2019005164A JP6799092B2 JP 6799092 B2 JP6799092 B2 JP 6799092B2 JP 2019005164 A JP2019005164 A JP 2019005164A JP 2019005164 A JP2019005164 A JP 2019005164A JP 6799092 B2 JP6799092 B2 JP 6799092B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- wireless communication
- image data
- data
- external device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims 90
- 238000004891 communication Methods 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 20
- 238000001454 recorded image Methods 0.000 claims 4
- 230000004913 activation Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000006837 decompression Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、位置情報を示す画像とユーザの撮影画像を1つの動画像として記録・再生するシステム及び方法に関するものである。 The present invention relates to a system and a method for recording / reproducing an image showing position information and an image taken by a user as one moving image.
近年、スチルカメラやビデオカメラのデジタル化が進み、ユーザが非常に手軽に撮影・記録をすることが可能になり、たくさんの映像情報を記録できるようになった。このため、例えば、長行程の旅行などに出かけた場合、旅行が終わった後で撮影した映像を見たとき、どの映像をどこで撮影したのかが分からなくなった場合などが生じることが考えられる。このとき、ひとつの映像データに地図情報と撮影した映像が一緒になっていると、後から見たり整理したりする場合に非常に便利である。また、複数箇所に設置している監視用途ビデオカメラで撮影したデータでも、ひとつの映像データに位置情報を示す画像と撮影した映像が一緒になっていると、非常に便利である。 In recent years, the digitization of still cameras and video cameras has progressed, and it has become possible for users to shoot and record very easily, and it has become possible to record a large amount of video information. For this reason, for example, when going on a long-distance trip, when the video taken after the trip is viewed, it may be difficult to know which video was shot and where. At this time, if the map information and the captured video are combined in one video data, it is very convenient for viewing and organizing later. In addition, even for data captured by surveillance video cameras installed at a plurality of locations, it is very convenient if the image showing the position information and the captured video are combined in one video data.
これに近い技術として、近年タクシーなどに搭載され始めている、ドライビングレコーダの技術がある。ドライビングレコーダは自動的に撮影タイミングを決定して、位置情報を含めた状況データと撮影データを記録するものである。自動的に撮影タイミングを決定するため、場合によっては必要のないデータを多量に記録するため、それを防ぐ技術が発明されている。例えば、特許文献1では、記録データの取捨選択に学習機能を用いており、撮影した際に、ユーザが後から要/不要情報を入力することで撮影の要否を学習する。 As a technology close to this, there is a driving recorder technology that has begun to be installed in taxis in recent years. The driving recorder automatically determines the shooting timing and records the situation data including the position information and the shooting data. In order to automatically determine the shooting timing, in some cases, a large amount of unnecessary data is recorded, and a technique for preventing this has been invented. For example, in Patent Document 1, a learning function is used for selecting recorded data, and when shooting, the user learns the necessity of shooting by inputting necessary / unnecessary information later.
しかしながら、自動的に撮影するため、完全にユーザの要否に合わせられるかというと、合わない可能性もあり、ユーザが好みの映像を地図情報とともに自由に撮影することにはそぐわない。 However, since it is automatically shot, it may not be completely matched to the user's necessity, and it is not suitable for the user to freely shoot a favorite image together with map information.
本発明は、上記のような課題を鑑みてなされたものであり、複雑な処理を行うことなく、位置情報を示す画像とユーザの撮影画像を1つの動画像として記録・再生するシステム及び方法を提供する。 The present invention has been made in view of the above problems, and provides a system and a method for recording and reproducing an image showing position information and an image taken by a user as one moving image without performing complicated processing. provide.
ビデオカメラに、通常の撮影画像を入力する手段のほかに、別の映像入力源から画像を入力する手段を設け、さらに、これら2つの入力手段からの映像データを調停して取り込み、メモリに格納する画像入力調停部を設ける。これにより、上記別の映像入力源を、カーナビゲーションの映像出力端子とすることで、カーナビゲーションの画面(地図情報)と、ユーザが撮影した画像を合わせてメモリ内に取り込める。また、監視用途ビデオカメラなどにおいては、地図画像データをあらかじめ保存している媒体、例えばUSBフラッシュメモリやSDカードなどと該媒体から地図画像データを読み出す読み出し手段を別の映像入力源とすることで、同様にメモリ内に取り込める。このメモリ内のデータを動画像として圧縮・符号化処理することで、位置情報を示す画像とユーザの撮影画像を1つの動画像として処理できる。 In addition to the means for inputting a normal captured image, the video camera is provided with a means for inputting an image from another video input source, and further, the video data from these two input means is arbitrated, captured, and stored in the memory. An image input arbitration unit is provided. As a result, by using the other video input source as the car navigation video output terminal, the car navigation screen (map information) and the image taken by the user can be captured in the memory together. Further, in a video camera for surveillance use, a medium in which map image data is stored in advance, for example, a USB flash memory or an SD card, and a reading means for reading the map image data from the medium are used as different video input sources. , Can be imported into memory as well. By compressing and encoding the data in the memory as a moving image, the image showing the position information and the image taken by the user can be processed as one moving image.
本発明によれば、複雑な処理を行うことなく、位置情報を示す画像とユーザの撮影画像を1つの動画像として記録・再生できる。 According to the present invention, an image showing position information and an image taken by a user can be recorded and reproduced as one moving image without performing complicated processing.
本発明を実施するための最良の形態を説明する。 The best mode for carrying out the present invention will be described.
以下、本発明の画像記録・再生システム及び方法の実施例について、図面を用いて説明する。 Hereinafter, examples of the image recording / reproduction system and method of the present invention will be described with reference to the drawings.
実施例1を説明する。本実施例において、ユーザが撮影指示を出してから撮影が行われるまでの動作を図1乃至3を用いて説明する。図1は本発明の第1の実施例での画像記録・再生システムを図示したものであり、ビデオカメラ1はユーザが撮影指示を始めとする各種指示を直接入力する、例えばボタンやタッチパネルなどのような操作入力部11、撮影に関する各部の制御を行う制御部12、ユーザが撮影を行う対象画像を入力し、デジタル化を行って撮影画像データを出力する撮影画像入力部13、後述のナビゲーションシステム2からの映像を入力する外部映像入力部14、撮影画像入力部13から入力される該撮影画像データおよび外部画像入力部14から入力されるナビゲーション画像データの順番を調停し、出力する画像入力調停部15、画像入力調停部15から出力されるデータを一時保持する画像メモリ部16、画像メモリ部16から画像データを読み出し、MPEG2やH.264などの方式で画像圧縮・符号化を行い、符号化画像データを出力する画像エンコード部17、ユーザが撮影を行う対象の音声を入力し、デジタル化を行って音声データを出力する音声入力部18、音声入力部18が出力する音声データを、AC3やDolbyDigitalなどの方式で音声圧縮を行い、符号化音声データを出力する音声エンコード部19、該符号化画像データ、および該符号化音声データを多重化してストリームデータを出力するデータ生成部1A、該ストリームデータを後述の記録媒体に記録するデータ記録部1B、及びDVDやBlu−ray(登録商標)、ハードディスク、半導体メモリなどの記録媒体1Cを有する。ビデオカメラ1は、AVケーブル3を介してナビゲーション2と接続される。ナビゲーション2は、ナビゲーション本体部21、ナビゲーション表示部22を有し、ナビゲーション本体部21はナビゲーション映像を出力するナビゲーション画像出力部211を有する。ナビゲーション211は、ナビゲーション表示部22に映像信号を常時出力しているのと同様に、外部映像端子(図示せず)などに接続したAVケーブル3へも信号を出力する。
The first embodiment will be described. In this embodiment, the operation from the user issuing the shooting instruction to the shooting is described with reference to FIGS. 1 to 3. FIG. 1 illustrates the image recording / playback system according to the first embodiment of the present invention. In the video camera 1, the user directly inputs various instructions such as shooting instructions, for example, a button or a touch panel. Such an
図2は実施例1での各部の動作フローを示している。 FIG. 2 shows the operation flow of each part in the first embodiment.
実施例1の画像記録・再生システムにおける撮影手順について説明する。ユーザは、ビデオカメラ1のボタンやスイッチなどにより操作入力部11に撮影指示を出す。操作入力部11は制御部12へ撮影開始指示を出す。制御部12は撮影画像入力部13、音声入力部18、および外部画像入力部14に起動指示を出す。外部画像入力部14は、ナビゲーション2の外部映像端子などから常時出力されている映像信号を、該起動指示によりAVケーブル3を介して取り込み、ナビゲーション画像データを生成して画像入力調停部15へ出力する。撮影画像入力部13はユーザが撮影を行う対象の画像を入力し、デジタル化を行って撮影画像データを生成し、画像入力調停部15へ出力する。音声入力部18はユーザが撮影を行う対象の音声を入力し、デジタル化を行って音声データを生成し、音声エンコード部19へ出力する。画像入力調停部15に入力された該ナビゲーション画像データおよび該撮影画像データは、この順番で符号化されるように定められた、画像メモリ16の領域に一時保持する。つまり、後段の画像エンコード部17が1枚目の画像データを処理する際に読み出す画像メモリ部16のある領域に該ナビゲーション画像データを、2枚目以降の画像データを処理する際に読み出す画像メモリ部16の別の領域に該撮影画像データを一時保持する。画像メモリ部16に一時保持した該ナビゲーション画像データおよび該撮影画像データはこの順番で画像エンコード部17に画像データとして読み出される。画像エンコード部17は該画像データの画像圧縮、符号化を行う。ここで、画像エンコード部17は最初の画像であるナビゲーション画像データを1画面内のデータのみで圧縮・符号化を行う例えばH.264のIピクチャとして圧縮・符号化を行う。該ナビゲーション画像データに続く該撮影画像データを、該撮影画像データの最初の1画面分の画像データを同様にIピクチャとして圧縮・符号化を行い。それ以降の画像は、例えば前方向や後方向の画像から予測して圧縮・符号化を行う例えばPピクチャやBピクチャ、または1画面内のデータのみで圧縮・符号化を行う例えばIピクチャ、またはそれらの混在データとして圧縮・符号化を行い、符号化画像データを生成し、データ生成部1Aに出力する。また、画像エンコード部17は圧縮・符号化処理をリアルタイム動作に近づけるために、例えば符号量を少なくして処理を軽くするために量子化を粗くして処理したり、一時的にクロック周波数を上げるなどして、処理速度を変える。一方、音声エンコード部19に入力された該音声データは、音声エンコード部19により圧縮・符号化を行い、符号化音声データを生成し、データ生成部1Aに出力する。データ生成部1Aは該符号化画像データおよび該符号化音声データを多重化して動画像のストリームデータを生成する。ストリームデータの概略図(一例)を図3に示す。図3では、ストリームデータを復号・伸張処理を行った画像の順番で上から順に示している。最初の画像はナビゲーション画面を示しており、Iピクチャとして圧縮・符号化され、音声データがないように多重化しており、2番目、3番目、4番目の画像は撮影画像データを示しており、2番目の画像はIピクチャ、3番目の画像はBピクチャ、4番目の画像はPピクチャとして圧縮・符号化され、音声データは該符号化音声データを使用して多重化している。データ生成部1Aで生成された該ストリームデータはデータ記録部1Bに出力され、データ記録部1Bは該ストリームデータを記録媒体1Cに記録する。
The shooting procedure in the image recording / playback system of the first embodiment will be described. The user issues a shooting instruction to the
このように記録した該ストリームデータをビデオカメラ1で再生するためには、ストリームデータのピクチャタイプを解析する、図示していないピクチャ解析部を設け、Iピクチャが2枚以上連続するストリームデータであれば、最初のIピクチャを図示していないビデオカメラ1の表示部に出力したのち、あらかじめ設定しておいた時間同じ画像を表示し、その後次のIピクチャを該表示部に出力する。続くピクチャがIピクチャでなければ、通常のビデオデータの再生のように、次々に該表示部に出力する。なお、Iピクチャが2枚以上連続するストリームデータであれば、最初のIピクチャを図示していないビデオカメラ1の表示部に出力したのち、あらかじめ設定しておいた時間同じ画像を表示する、としたが、例えばユーザが再生ボタンを押すなどの操作をするまで同じ画像を表示する、といったユーザ操作を起点にして次の画像を表示しても良い。 In order to reproduce the stream data recorded in this way on the video camera 1, a picture analysis unit (not shown) for analyzing the picture type of the stream data is provided, and the stream data may have two or more consecutive I pictures. For example, after outputting the first I picture to the display unit of the video camera 1 (not shown), the same image is displayed for a preset time, and then the next I picture is output to the display unit. If the subsequent picture is not an I picture, it is output to the display unit one after another as in normal video data reproduction. If the I-pictures are two or more continuous stream data, the first I-picture is output to the display unit of the video camera 1 (not shown), and then the same image is displayed for a preset time. However, the next image may be displayed starting from a user operation such as displaying the same image until the user presses a play button or the like.
また、例えばDVD−Video規格のStillコマンドのようにストリーム再生を停止するためのデータをストリーム内に埋め込む仕組みがある動画像圧縮・符号化方式では、ナビゲーション画面のピクチャと2画面目以降の撮影画像のピクチャとで例えばVOBU(Video Object Unit)を分けてVOBU Stillコマンドをデータ生成部1Aで挿入することで、ビデオカメラ1以外の機器での再生に対応させても良い。
Further, in the moving image compression / encoding method in which data for stopping stream playback is embedded in the stream, for example, the Still command of the DVD-Video standard, the picture on the navigation screen and the captured image on the second and subsequent screens are used. For example, the VOBU (Video Object Unit) may be separated from the picture of the above and the VOBU Stream command may be inserted by the
以上のように、ビデオカメラに通常の撮影画像を入力する手段のほかに、別の映像入力源から画像を入力する手段を設け、さらに、これら2つの入力手段からの映像データを調停して取り込み、メモリに格納する画像入力調停部を設け、上記別の映像入力源を、カーナビゲーションの映像出力端子とすることで、カーナビゲーションの画面(地図情報)と、ユーザが撮影した画像を合わせてメモリ内に取り込める。このメモリ内のデータを動画像として圧縮・符号化処理することで、地図情報とユーザの撮影画像を1つの動画像として処理できる効果が得られる。 As described above, in addition to the means for inputting a normal captured image to the video camera, a means for inputting an image from another video input source is provided, and further, video data from these two input means is arbitrated and captured. By providing an image input arbitration unit to be stored in the memory and using the above-mentioned other video input source as the video output terminal of the car navigation, the car navigation screen (map information) and the image taken by the user are combined and stored in the memory. Can be taken in. By compressing and encoding the data in the memory as a moving image, it is possible to obtain an effect that the map information and the image taken by the user can be processed as one moving image.
また、本実施例ではビデオカメラ1の外部にナビゲーション2が接続されているとしたが、ビデオカメラ1とナビゲーション2がひとつの機器となっていても同様の効果が得られる。 Further, in the present embodiment, it is assumed that the navigation 2 is connected to the outside of the video camera 1, but the same effect can be obtained even if the video camera 1 and the navigation 2 are one device.
また、記録媒体1Cに記録したストリームデータは、街中に設置されている無線LAN環境(ホットスポット)などを経由して、ネットワーク上のサーバなどに自動的に転送しても良い。図8はホットスポットの環境下で該ストリームデータをサーバに転送するシステムの概略図を示している。ビデオカメラ1は記録媒体1Cから該ストリームデータを読み出すデータ読み出し部1E、該ストリームデータを無線でネットワーク4に送信する無線通信部1Fを有する。無線通信部1Fから出力された該ストリームデータはネットワーク4に接続されているサーバ5に転送される。
Further, the stream data recorded on the
また、本実施例ではデータ生成部1Aは単にストリームデータを生成するとしたが、ナビゲーション2からナビゲーション画像データとは別に、現在位置情報を受け取り、該現在位置情報と関連付けてストリームデータを生成し、データ記録部1Bに出力し、記録媒体1Cに記録しても良い。このとき、記録媒体1Cに記録されているストリームデータのサムネール画面を生成するとき、該現在位置情報を手がかりに、図9のように地図画面と組み合わせてサムネール表示画面を構成してもよい。図9の例では、該ストリームデータに関連付けられている位置情報に相当する地図上の位置を丸印で示し、該ストリームデータの撮影画像の最初の1枚目の画像を丸印に関連付けて表示している。また、複数の記録媒体をビデオカメラ1が有しているとき、例えばハードディスクとDVDを有しているとき、ビデオカメラ1の通常使用時はハードディスクに記録し、それらのストリームデータをユーザが選択・編集してDVDに記録するときなど、図9の画面のようなタイトル画面を自動的に作成し、DVDに記録しても良い。
Further, in this embodiment, the
また、本実施例ではユーザがビデオカメラ1のボタンやスイッチなどを操作して操作入力部11から撮影指示を出すとしたが、ナビゲーション2とビデオカメラ1にUSBやBlutoothや無線LANなどの通信手段を設け、ユーザがナビゲーション2に対してあらかじめ撮影したい地点を設定しておき、設定した地点に移動したときにナビゲーション2からビデオカメラ1の操作入力部11に対して撮影指示を出力し、操作入力部11が制御部12に撮影開始指示を出力することで撮影の開始を行っても良い。
Further, in this embodiment, the user operates a button or switch of the video camera 1 to issue a shooting instruction from the
また、ナビゲーション2とAVケーブル3の代わりに、地図画像データをあらかじめ保存している媒体、例えばUSBフラッシュメモリやSDカードなどと該媒体から地図画像データを読み出す読み出し装置に置き換えること、および図8に示しているようにホットスポット環境下でネットワーク上のサーバにデータを転送すること、および記録媒体に記録された圧縮画像データを読み出し、ユーザによって設定された所定のタイミングで該圧縮画像データをパケット化してネットワークに送出する送出手段を有することで複数箇所に設置している監視用途などのビデオカメラにおいても同様の効果が得られる。このとき、無線通信部1Fは有線LANで通信する機能と置き換えても良い。
Further, instead of the navigation 2 and the
実施例2を説明する。図4は本発明の第2の実施例での画像記録・再生システムを図示したものである。本実施例において、実施例1と構成上異なるのは、ビデオカメラ1が図1の構成に加え、ナビゲーションシステム2からの音声を入力する外部音声入力部181、音声入力部18から入力される音声データおよび外部音声入力部181から入力されるナビゲーション音声データの順番を調停し、出力する音声入力調停部182、音声入力調停部182から出力されるデータを一時保持する音声メモリ部183、ナビゲーション2へ音声を起動するように音声起動指示を例えば赤外線通信などでナビゲーション2へ送信する音声起動部1Dを有している点、およびナビゲーション2のナビゲーション本体部21が図1の構成に加え、ビデオカメラ1の音声起動部1Dから音声起動指示を赤外線通信などで受信し、ナビゲーションの音声を出力するように起動指示を出すナビゲーション音声起動部213、および該起動指示によりナビゲーション音声を出力するナビゲーション音声出力部212を有している点である。
The second embodiment will be described. FIG. 4 illustrates the image recording / reproduction system according to the second embodiment of the present invention. In this embodiment, the configuration is different from that of the first embodiment, in addition to the configuration shown in FIG. 1, the audio input from the external
図5は実施例2での各部の動作フローを示している。 FIG. 5 shows the operation flow of each part in the second embodiment.
実施例2の画像記録・再生システムにおける撮影手順について説明する。ユーザは、ビデオカメラ1の操作入力部11に撮影指示を出す。この撮影指示は、例えばナビゲーションの「現在地」ボタンを押す操作など、ナビゲーション2から位置情報などを示す音声を起動するための操作でも良い。操作入力部11は制御部12へ撮影開始指示を出す。また、操作入力部11は音声起動部1Dに音声起動指示を出す。制御部12は撮影画像入力部13、音声入力部18、外部画像入力部14、および外部音声入力部181に起動指示を出す。外部画像入力部14は、ナビゲーション2から外部映像端子などから常時出力されている映像信号を、該起動指示により取り込み、ナビゲーション画像データを生成して画像入力調停部15へ出力する。この場合のナビゲーション画像データは、あらかじめユーザなどにより設定された一定時間分の、1ピクチャ以上のデータである。撮影画像入力部13はユーザが撮影を行う対象の画像を入力し、デジタル化を行って撮影画像データを生成し、画像入力調停部15へ出力する。一方、操作入力部11によって音声起動部1Dに出された音声起動指示により、音声起動部1Dは、赤外線通信などによりナビゲーション2のナビゲーション音声起動部213に音声起動指示を出す。この音声起動指示は、一般的にナビゲーションの機能として有している、ナビゲーションに付属の図示していないリモコンなどの「現在地」ボタンなどを押したときのリモコンからナビゲーション2に対して出力される信号と同じものを音声起動部から出力しても良い。ナビゲーション音声起動部213は該音声起動指示を受信すると、ナビゲーション音声出力部212に起動指示を出す。ナビゲーション音声出力部は該起動指示により、例えば「現在地は横浜市戸塚区吉田町付近です。」などといった音声を出力し、外部音声端子などから出力する。外部音声入力部181は、ナビゲーション2から外部音声端子などから出力されているナビゲーション音声を、制御部12からの該起動指示により取り込み、ナビゲーション音声データを生成して音声入力調停部15へ出力する。この場合のナビゲーション音声データは、あらかじめユーザなどにより設定された一定時間分のデータである。この設定された時間は、外部画像入力部14が取り込むときの時間と同じでも良い。また音声入力部18はユーザが撮影を行う対象の音声を入力し、デジタル化を行って音声データを生成し、音声エンコード部19へ出力する。画像入力調停部15に入力された該ナビゲーション画像データおよび該撮影画像データは、この順番で符号化されるように定められた、画像メモリ16の領域に一時保持する。つまり、後段の画像エンコード部17が1枚目の画像データを処理する際に読み出す画像メモリ部16のある領域に該ナビゲーション画像データを、2枚目以降の画像データを処理する際に読み出す画像メモリ部16の別の領域に該撮影画像データを一時保持する。画像メモリ部16に一時保持した該ナビゲーション画像データおよび該撮影画像データはこの順番で画像エンコード部17に画像データとして読み出される。画像エンコード部17は該画像データの画像圧縮、符号化を行う。ここで、画像エンコード部17は最初の画像であるナビゲーション画像データを1画面内のデータのみで圧縮・符号化を行う例えばH.264のIピクチャとして圧縮・符号化を行う。該ナビゲーション画像データに続く該撮影画像データを、該撮影画像データの最初の1画面分の画像データを同様にIピクチャとして圧縮・符号化を行い。それ以降の画像は、例えば前方向や後方向の画像から予測して圧縮・符号化を行う例えばPピクチャやBピクチャ、または1画面内のデータのみで圧縮・符号化を行う例えばIピクチャ、またはそれらの混在データとして圧縮・符号化を行い、符号化画像データを生成し、データ生成部1Aに出力する。一方、音声入力調停部182に入力された該ナビゲーション音声データおよび該音声データは、この順番で符号化されるように定められた、音声メモリ183の領域に一時保持する。音声メモリ部183に一時保持した該ナビゲーション音声データおよび該音声データはこの順番で音声エンコード部19に混在音声データとして読み出される。音声エンコード部19に入力された該混在音声データは、音声エンコード部19により圧縮・符号化を行い、符号化音声データを生成し、データ生成部1Aに出力する。データ生成部1Aは該符号化画像データおよび該符号化音声データを多重化して動画像のストリームデータを生成する。ストリームデータの概略図(一例)を図6に示す。図6では、ストリームデータを復号・伸張処理を行った画像の順番で上から順に示している。上部3枚の画像はナビゲーション画面を示しており、上から順にI、B、Pピクチャとして圧縮・符号化され、音声データは該符号化音声データの外部音声データに相当するデータを多重化している。また下部3枚の画像は撮影画像データを示しており、上から4番目の画像から順にI、B、Pピクチャとして圧縮・符号化され、音声データは該符号化音声データの音声データに相当するデータを使用して多重化している。なお、図6において上部3枚は同じ画像になっているが、夫々異なるナビゲーション画像であってもよい。データ生成部1Aで生成された該ストリームデータはデータ記録部1Bに出力され、データ記録部1Bは該ストリームデータを記録媒体1Cに記録する。
The shooting procedure in the image recording / playback system of the second embodiment will be described. The user issues a shooting instruction to the
以上の処理により、実施例1と同様の効果が得られる。 By the above processing, the same effect as in Example 1 can be obtained.
また、本実施例では該ナビゲーション画像データは、あらかじめユーザなどにより設定された一定時間分のデータとするとしたが、ナビゲーション2とビデオカメラ1にUSBやBlutoothや無線LANなどの通信手段を設け、ナビゲーション音声が終わったらナビゲーション2からビデオカメラ1の外部音声入力部181にナビゲーション音声終了通知を出力し、外部音声入力部181は該終了通知によりデータの終わりを判断するようにしても良い。
Further, in this embodiment, the navigation image data is assumed to be data for a certain period of time set in advance by a user or the like, but the navigation 2 and the video camera 1 are provided with communication means such as USB, Bluetooth, and wireless LAN for navigation. When the voice is finished, the navigation 2 may output the navigation voice end notification to the external
実施例3を説明する。実施例1と異なるのは、実施例1ではビデオカメラ1とナビゲーション2がAVケーブル3で接続されていたところが、ビデオカメラ1にはC側無線通信手段32、ナビゲーション2にはN側無線通信手段31が接続している点である。C側無線通信手段32とN側無線通信手段31は赤外線通信や無線LAN、Bluetooth(登録商標)などの無線の通信プロトコルを用いて互いに通信してデータのやり取りを行う。
The third embodiment will be described. The difference from the first embodiment is that in the first embodiment, the video camera 1 and the navigation 2 are connected by the
実施例3の画像記録・再生システムにおける撮影手順は、実施例1でナビゲーション画像出力部211から外部画像入力部14へナビゲーション画像がAVケーブルでやり取りされていたところが、N側無線通信手段31、およびC側無線通信手段32によりナビゲーション画像をやり取りする点が異なること以外は実施例1と同様である。
In the shooting procedure in the image recording / playback system of the third embodiment, the navigation image was exchanged from the navigation
以上の処理により、実施例1と同様の効果が得られる。 By the above processing, the same effect as in Example 1 can be obtained.
1 ビデオカメラ
11 操作入力部
12 制御部
13 撮影画像入力部
14 外部画像入力部
15 画像入力調停部
16 画像メモリ部
18 音声入力部
181 外部音声入力部
182 音声入力調停部
183 音声メモリ部
1D 音声起動部
2 ナビゲーション
21 ナビゲーション本体部
211 ナビゲーション画像出力部
212 ナビゲーション音声出力部
213 ナビゲーション音声起動部
22 ナビゲーション表示部
3 AVケーブル
1
Claims (26)
前記撮像装置と無線で互いに接続された外部装置から、前記外部装置により取得された前記外部装置の現在位置情報を無線で取得する第一の無線通信手段と、
前記撮像装置と無線で互いに接続された前記外部装置からの撮影指示に関する情報に基づいて撮影処理を行う撮像手段と、
前記撮影指示に関する情報に基づいて撮影処理を行うことにより前記撮像手段により取得された画像データと、前記第一の無線通信手段により取得された前記外部装置の現在位置情報と、を関連付けて記録する記録手段と、
前記画像データのサムネイルを無線で外部に出力する、前記第一の無線通信手段とは異なる第二の無線通信手段と、
を備え、
前記撮像装置から前記第二の無線通信手段により外部へデータを出力可能な環境下において、前記撮影指示に関する情報を取得し、前記取得した撮影指示に関する情報に基づいて撮影処理を行うことにより前記撮像手段により取得された画像データが前記外部装置の現在位置情報と関連付けて記録される際に、前記記録される画像データのサムネイルと前記サムネイルに関連するデータを前記第二の無線通信手段により外部に自動的に出力する第一の制御モードと、
前記撮像装置から前記第二の無線通信手段により外部へデータを送信可能な環境下において、ユーザにより設定されたタイミングで、前記外部装置の現在位置情報と関連付けて記録された前記画像データのサムネイルと前記サムネイルに関連するデータを前記第二の無線通信手段により外部に出力する第二の制御モードと、
を有し、
前記サムネイルに関連するデータは、前記画像データを含むストリームデータであることを特徴とする撮像装置。 It is an imaging device
A first wireless communication means that wirelessly acquires the current position information of the external device acquired by the external device from an external device wirelessly connected to the imaging device.
An imaging means that performs imaging processing based on information related to imaging instructions from the external device wirelessly connected to the imaging device.
The image data acquired by the imaging means by performing the photographing process based on the information related to the photographing instruction and the current position information of the external device acquired by the first wireless communication means are recorded in association with each other. Recording means and
A second wireless communication means different from the first wireless communication means, which wirelessly outputs thumbnails of the image data to the outside,
With
In an environment where data can be output from the image pickup device to the outside by the second wireless communication means, information on the shooting instruction is acquired, and shooting processing is performed based on the acquired information on the shooting instruction to perform the imaging. When the image data acquired by the means is recorded in association with the current position information of the external device, the thumbnail of the recorded image data and the data related to the thumbnail are sent to the outside by the second wireless communication means. The first control mode that automatically outputs and
In an environment where data can be transmitted from the image pickup device to the outside by the second wireless communication means, a thumbnail of the image data recorded in association with the current position information of the external device at a timing set by the user. A second control mode that outputs data related to the thumbnail to the outside by the second wireless communication means, and
Have,
An imaging device characterized in that the data related to the thumbnail is stream data including the image data.
前記外部装置から撮影指示に関する情報を取得する際に、前記外部装置の現在位置情報を取得することを特徴とする撮像装置。An imaging device characterized by acquiring the current position information of the external device when acquiring information related to a shooting instruction from the external device.
前記第二の無線通信手段は、前記第一の制御モードにおいて、前記画像データのサムネイルと前記サムネイルに関連するデータをネットワーク上のサーバに転送するように外部に出力することを特徴とする撮像装置。The second wireless communication means is an imaging device characterized in that, in the first control mode, a thumbnail of the image data and data related to the thumbnail are output to the outside so as to be transferred to a server on the network. ..
前記第二の無線通信手段は、前記第二の制御モードにおいて、前記画像データのサムネイルと前記サムネイルに関連するデータをネットワーク上のサーバに転送するように外部に出力することを特徴とする撮像装置。The second wireless communication means is an imaging device characterized in that, in the second control mode, a thumbnail of the image data and data related to the thumbnail are output to the outside so as to be transferred to a server on the network. ..
前記画像データは動画のデータであることを特徴とする撮像装置。An imaging device characterized in that the image data is moving image data.
前記第一の無線通信手段は、Bluetooth通信を行う手段であることを特徴とする撮像装置。The first wireless communication means is an imaging device characterized in that it is a means for performing Bluetooth communication.
前記撮像装置と無線で互いに接続された外部装置から、前記外部装置により取得された前記外部装置の現在位置情報を無線で取得する第一の無線通信手段と、
前記撮像装置と無線で互いに接続された前記外部装置からの撮影指示に関する情報に基づいて撮影処理を行う撮像手段と、
前記撮影指示に関する情報に基づいて撮影処理を行うことにより前記撮像手段により取得された画像データと、前記第一の無線通信手段により取得された前記外部装置の現在位置情報と、を関連付けて記録する記録手段と、
前記画像データを無線で外部に出力する、前記第一の無線通信手段とは異なる第二の無線通信手段と、
を備え、
前記撮像装置から前記第二の無線通信手段により外部へデータを送信可能な環境下において、前記撮影指示に関する情報を取得し、前記取得した撮影指示に関する情報に基づいて撮影処理を行うことにより前記撮像手段により取得された画像データが前記外部装置の現在位置情報と関連付けて記録される際に、前記記録される画像データを前記第二の無線通信手段により外部に自動的に出力する第一の制御モードと、
前記撮像装置から前記第二の無線通信手段により外部へデータを送信可能な環境下において、ユーザにより設定されたタイミングで、前記外部装置の現在位置情報と関連付けて記録された前記画像データを前記第二の無線通信手段により外部に出力する第二の制御モードと、
を有することを特徴とする撮像装置。 It is an imaging device
A first wireless communication means that wirelessly acquires the current position information of the external device acquired by the external device from an external device wirelessly connected to the imaging device.
An imaging means that performs imaging processing based on information related to imaging instructions from the external device wirelessly connected to the imaging device.
The image data acquired by the imaging means by performing the photographing process based on the information related to the photographing instruction and the current position information of the external device acquired by the first wireless communication means are recorded in association with each other. Recording means and
A second wireless communication means different from the first wireless communication means, which wirelessly outputs the image data to the outside,
With
In an environment where data can be transmitted from the imaging device to the outside by the second wireless communication means, the imaging is performed by acquiring information on the shooting instruction and performing a shooting process based on the acquired information on the shooting instruction. When the image data acquired by the means is recorded in association with the current position information of the external device, the first control for automatically outputting the recorded image data to the outside by the second wireless communication means. Mode and
In an environment where data can be transmitted from the image pickup device to the outside by the second wireless communication means, the image data recorded in association with the current position information of the external device at a timing set by the user is used as the first image data. A second control mode that outputs to the outside by the second wireless communication means,
An imaging device characterized by having.
前記外部装置から撮影指示に関する情報を取得する際に、前記外部装置の現在位置情報を取得することを特徴とする撮像装置。 In the imaging device according to claim 7 ,
An imaging device characterized by acquiring the current position information of the external device when acquiring information related to a shooting instruction from the external device.
前記第二の無線通信手段は、前記第一の制御モードにおいて、前記画像データをネットワーク上のサーバに転送するように外部に出力することを特徴とする撮像装置。 In the imaging device according to claim 7 or 8 .
The second wireless communication means is an image pickup apparatus characterized in that, in the first control mode, the image data is output to the outside so as to be transferred to a server on a network.
前記第二の無線通信手段は、前記第二の制御モードにおいて、前記画像データをネットワーク上のサーバに転送するように外部に出力することを特徴とする撮像装置。 In the imaging device according to any one of claims 7 to 9 .
The second wireless communication means is an imaging device characterized in that, in the second control mode, the image data is output to the outside so as to be transferred to a server on a network.
前記画像データは動画のデータであることを特徴とする撮像装置。 In the imaging device according to any one of claims 7 to 10 .
An imaging device characterized in that the image data is moving image data.
前記第一の無線通信手段は、Bluetooth通信を行う手段であることを特徴とする撮像装置。 In the imaging device according to any one of claims 7 to 11 .
The first wireless communication means is an imaging device characterized in that it is a means for performing Bluetooth communication.
前記第二の無線通信手段は、前記第一の制御モード及び第二の制御モードにおいて、前記画像データを前記画像データのサムネイルと共に外部に出力することを特徴とする撮像装置。 In the imaging device according to any one of claims 7 to 12 ,
The second wireless communication means is an image pickup apparatus characterized in that, in the first control mode and the second control mode, the image data is output to the outside together with a thumbnail of the image data.
前記撮像装置と無線で互いに接続された外部装置から、前記外部装置により取得された前記外部装置の現在位置情報を無線で取得する第一の無線通信ステップと、
前記撮像装置と無線で互いに接続された前記外部装置からの撮影指示に関する情報に基づいて撮影処理を行う撮像ステップと、
前記撮影指示に関する情報に基づいて撮影処理を行うことにより前記撮像ステップにより取得された画像データと、前記第一の無線通信ステップにより取得された前記外部装置の現在位置情報と、を関連付けて記録する記録ステップと、
前記画像データのサムネイルを無線で外部に出力する、前記第一の無線通信ステップとは異なる第二の無線通信ステップと、
を備え、
前記撮像装置から前記第二の無線通信ステップにより外部へデータを出力可能な環境下において、前記撮影指示に関する情報を取得し、前記取得した撮影指示に関する情報に基づいて撮影処理を行うことにより前記撮像ステップにより取得された画像データが前記外部装置の現在位置情報と関連付けて記録される際に、前記記録される画像データのサムネイルと前記サムネイルに関連するデータを前記第二の無線通信ステップにより外部に自動的に出力する第一の制御モードと、
前記撮像装置から前記第二の無線通信ステップにより外部へデータを送信可能な環境下において、ユーザにより設定されたタイミングで、前記外部装置の現在位置情報と関連付けて記録された前記画像データのサムネイルと前記サムネイルに関連するデータを前記第二の無線通信ステップにより外部に出力する第二の制御モードと、
を有し、
前記サムネイルに関連するデータは、前記画像データを含むストリームデータであることを特徴とする撮像方法。 It is an imaging method using an imaging device.
A first wireless communication step of wirelessly acquiring the current position information of the external device acquired by the external device from an external device wirelessly connected to the imaging device.
An imaging step in which an imaging process is performed based on information regarding an imaging instruction from the external device wirelessly connected to the imaging device,
The image data acquired by the imaging step by performing the imaging process based on the information related to the imaging instruction and the current position information of the external device acquired by the first wireless communication step are recorded in association with each other. Recording steps and
A second wireless communication step different from the first wireless communication step, which wirelessly outputs a thumbnail of the image data to the outside,
With
In an environment where data can be output from the image pickup device to the outside by the second wireless communication step, information on the shooting instruction is acquired, and shooting processing is performed based on the acquired information on the shooting instruction to perform the imaging. When the image data acquired in the step is recorded in association with the current position information of the external device, the thumbnail of the recorded image data and the data related to the thumbnail are sent to the outside by the second wireless communication step. The first control mode that automatically outputs and
In an environment where data can be transmitted from the imaging device to the outside by the second wireless communication step, a thumbnail of the image data recorded in association with the current position information of the external device at a timing set by the user. A second control mode that outputs data related to the thumbnail to the outside by the second wireless communication step, and
Have,
An imaging method characterized in that the data related to the thumbnail is stream data including the image data.
前記外部装置から撮影指示に関する情報を取得する際に、前記外部装置の現在位置情報を取得することを特徴とする撮像方法。An imaging method comprising acquiring the current position information of the external device when acquiring information related to a shooting instruction from the external device.
前記第二の無線通信ステップは、前記第一の制御モードにおいて、前記画像データのサムネイルと前記サムネイルに関連するデータをネットワーク上のサーバに転送するように外部に出力することを特徴とする撮像方法。The second wireless communication step is an imaging method characterized in that, in the first control mode, a thumbnail of the image data and data related to the thumbnail are output to the outside so as to be transferred to a server on the network. ..
前記第二の無線通信ステップは、前記第二の制御モードにおいて、前記画像データのサムネイルと前記サムネイルに関連するデータをネットワーク上のサーバに転送するように外部に出力することを特徴とする撮像方法。The second wireless communication step is an imaging method characterized in that, in the second control mode, a thumbnail of the image data and data related to the thumbnail are output to the outside so as to be transferred to a server on the network. ..
前記画像データは動画のデータであることを特徴とする撮像方法。An imaging method characterized in that the image data is moving image data.
前記第一の無線通信ステップは、Bluetooth通信を行うステップであることを特徴とする撮像方法。The first wireless communication step is an imaging method characterized in that it is a step of performing Bluetooth communication.
前記撮像装置と無線で互いに接続された外部装置から、前記外部装置により取得された前記外部装置の現在位置情報を無線で取得する第一の無線通信ステップと、
前記撮像装置と無線で互いに接続された前記外部装置からの撮影指示に関する情報に基づいて撮影処理を行う撮像ステップと、
前記撮影指示に関する情報に基づいて撮影処理を行うことにより前記撮像ステップにより取得された画像データと、前記第一の無線通信ステップにより取得された前記外部装置の現在位置情報と、を関連付けて記録する記録ステップと、
前記画像データを無線で外部に出力する、前記第一の無線通信ステップとは異なる第二の無線通信ステップと、
を備え、
前記撮像装置から前記第二の無線通信ステップにより外部へデータを送信可能な環境下において、前記撮影指示に関する情報を取得し、前記取得した撮影指示に関する情報に基づいて撮影処理を行うことにより前記撮像ステップにより取得された画像データが前記外部装置の現在位置情報と関連付けて記録される際に、前記記録される画像データを前記第二の無線通信ステップにより外部に自動的に出力する第一の制御モードと、
前記撮像装置から前記第二の無線通信ステップにより外部へデータを送信可能な環境下において、ユーザにより設定されたタイミングで、前記外部装置の現在位置情報と関連付けて記録された前記画像データを前記第二の無線通信ステップにより外部に出力する第二の制御モードと、
を有することを特徴とする撮像方法。 It is an imaging method using an imaging device.
A first wireless communication step of wirelessly acquiring the current position information of the external device acquired by the external device from an external device wirelessly connected to the imaging device.
An imaging step in which an imaging process is performed based on information regarding an imaging instruction from the external device wirelessly connected to the imaging device,
The image data acquired by the imaging step by performing the imaging process based on the information related to the imaging instruction and the current position information of the external device acquired by the first wireless communication step are recorded in association with each other. Recording steps and
A second wireless communication step different from the first wireless communication step, which wirelessly outputs the image data to the outside,
With
In an environment where data can be transmitted from the imaging device to the outside by the second wireless communication step, information on the shooting instruction is acquired, and shooting processing is performed based on the acquired information on the shooting instruction to perform the imaging. When the image data acquired in the step is recorded in association with the current position information of the external device, the first control for automatically outputting the recorded image data to the outside by the second wireless communication step. Mode and
In an environment in which data can be transmitted from the imaging device to the outside by the second wireless communication step, the image data recorded in association with the current position information of the external device at a timing set by the user is used as the first image data. A second control mode that outputs to the outside by the second wireless communication step,
An imaging method characterized by having.
前記外部装置から撮影指示に関する情報を取得する際に、前記外部装置の現在位置情報を取得することを特徴とする撮像方法。 In the imaging method according to claim 20 ,
An imaging method comprising acquiring the current position information of the external device when acquiring information related to a shooting instruction from the external device.
前記第二の無線通信ステップは、前記第一の制御モードにおいて、前記画像データをネットワーク上のサーバに転送するように外部に出力することを特徴とする撮像方法。 In the imaging method according to claim 20 or 21 ,
The second wireless communication step is an imaging method characterized in that, in the first control mode, the image data is output to the outside so as to be transferred to a server on a network.
前記第二の無線通信ステップは、前記第二の制御モードにおいて、前記画像データをネットワーク上のサーバに転送するように外部に出力することを特徴とする撮像方法。 In the imaging method according to any one of claims 20 to 22 ,
The second wireless communication step is an imaging method characterized in that, in the second control mode, the image data is output to the outside so as to be transferred to a server on a network.
前記画像データは動画のデータであることを特徴とする撮像方法。 In the imaging method according to any one of claims 20 to 23 ,
An imaging method characterized in that the image data is moving image data.
前記第一の無線通信ステップは、Bluetooth通信を行うステップであることを特徴とする撮像方法。 In the imaging method according to any one of claims 20 to 24 ,
The first wireless communication step is an imaging method characterized in that it is a step of performing Bluetooth communication.
前記第二の無線通信ステップは、前記第一の制御モード及び第二の制御モードにおいて、前記画像データを前記画像データのサムネイルと共に外部に出力することを特徴とする撮像方法。 In the imaging method according to any one of claims 20 to 25 ,
The second wireless communication step is an imaging method characterized in that, in the first control mode and the second control mode, the image data is output to the outside together with a thumbnail of the image data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019005164A JP6799092B2 (en) | 2019-01-16 | 2019-01-16 | Imaging device and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019005164A JP6799092B2 (en) | 2019-01-16 | 2019-01-16 | Imaging device and imaging method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017142523A Division JP6469772B2 (en) | 2017-07-24 | 2017-07-24 | Imaging device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020192260A Division JP7137287B2 (en) | 2020-11-19 | 2020-11-19 | Image processing device and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019110537A JP2019110537A (en) | 2019-07-04 |
JP6799092B2 true JP6799092B2 (en) | 2020-12-09 |
Family
ID=67180320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019005164A Active JP6799092B2 (en) | 2019-01-16 | 2019-01-16 | Imaging device and imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6799092B2 (en) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030002848A1 (en) * | 2000-06-28 | 2003-01-02 | Yoshiki Kawaoka | Delivery-medium producing apparatus |
JP2002232763A (en) * | 2001-02-02 | 2002-08-16 | Olympus Optical Co Ltd | Electronic camera, imaging system and imaging method |
JP4114350B2 (en) * | 2001-12-10 | 2008-07-09 | 株式会社ニコン | Electronic camera, electronic device, image transmission system, and image transmission method |
JP2004096165A (en) * | 2002-08-29 | 2004-03-25 | Nikon Corp | Electronic camera and electronic camera system |
JP4508596B2 (en) * | 2002-11-06 | 2010-07-21 | キヤノン株式会社 | COMMUNICATION DEVICE, IMAGE STORAGE DEVICE, AND CONTROL METHOD THEREOF |
JP2006197089A (en) * | 2005-01-12 | 2006-07-27 | Canon Inc | Image processing system, and control method, control program and storage medium therefor |
JP2006222719A (en) * | 2005-02-10 | 2006-08-24 | Canon Inc | Imaging system, and imaging apparatus and communication method thereof |
JP2006287741A (en) * | 2005-04-01 | 2006-10-19 | Fujitsu Ten Ltd | Cooperation system of navigation device and photography device and navigation device |
-
2019
- 2019-01-16 JP JP2019005164A patent/JP6799092B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019110537A (en) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4978324B2 (en) | Image recording apparatus, image recording system, and image reproducing method | |
US8515237B2 (en) | Imaging device and image processing apparatus | |
JP2006262135A (en) | Photographing device, moving picture reproducing device, and moving picture recording/reproduction program | |
JP5082973B2 (en) | Video recording system and imaging apparatus | |
JP2005312022A (en) | Audio-visual recording/reproducing apparatus and digital video camera | |
JP2011041154A (en) | Image processing apparatus and image processing method | |
JP4946935B2 (en) | Imaging device | |
JP6799092B2 (en) | Imaging device and imaging method | |
JP6248314B2 (en) | Imaging apparatus, captured image processing method, and imaging system | |
JP7420886B2 (en) | Image processing device and method | |
JP6469772B2 (en) | Imaging device | |
JP5509159B2 (en) | Image processing device | |
JP2017112455A (en) | Information processing unit | |
JP2006092681A (en) | Image management method, image management device and image management system | |
JP2014099870A (en) | Image processing device | |
JP2009159314A (en) | Recording apparatus, playback apparatus, recording method, playback method and program | |
JP2020170998A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP2007151023A (en) | Recording apparatus | |
JP6263002B2 (en) | Imaging apparatus, control method therefor, and program | |
JP2005012378A (en) | Apparatus and method for recording image | |
JP2000333125A (en) | Editing device and recording device | |
JP2015159387A (en) | Video recorder | |
JP2017121001A (en) | Image processing device, image processing method and program | |
JP2003264772A (en) | Information recorder | |
JP2005175525A (en) | Image reproducing apparatus, image reproducing method, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201020 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6799092 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |