JP7452620B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7452620B2 JP7452620B2 JP2022503117A JP2022503117A JP7452620B2 JP 7452620 B2 JP7452620 B2 JP 7452620B2 JP 2022503117 A JP2022503117 A JP 2022503117A JP 2022503117 A JP2022503117 A JP 2022503117A JP 7452620 B2 JP7452620 B2 JP 7452620B2
- Authority
- JP
- Japan
- Prior art keywords
- still image
- image data
- image processing
- quality
- still
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 262
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Description
本開示は画像処理装置、撮影装置、画像処理システム、画像処理方法、及びプログラムに関する。
近年、ロボットが自律的に移動することを前提としたサービスが普及している。ロボットが自律的に移動するには、ロボットが、周囲の環境を認識し、自己の位置を高精度に推定することが必要となる。そこで、ロボットが撮影した映像から、周囲の環境の地図を作成し、自己位置の推定を同時に実行するVSLAM（Visual Simultaneous Localization and Mapping）が検討されている。一般的なVSLAMでは、複数の映像に撮影された同一地点を特徴点として認識し、その特徴点の画像間の差異から撮影したカメラの位置を推定し、カメラの位置をロボットの位置として認識するということが行われる。このようなVSLAMでは、即時的な処理が必要とされるため、詳細な計算を実施する時間的な余裕がなく、実際のロボットの位置とVSLAMで推定した位置との間に誤差が生じ、この誤差は蓄積誤差として時間が経過する毎に蓄積され、より大きな誤差となる。また、一般的なVSLAMでは、初期に入力される映像の中の特徴点の動きからカメラ位置が相対的に推定される。そのため、推定されたカメラ位置の動きの距離と実際のカメラ位置の動きの距離との比(スケール)は一定とならず、VSLAMでの位置と実際の位置との間にもずれが発生する。ここで、スケールが不定であり、かつ、蓄積誤差を持つVSLAMでのカメラ位置を補正するための仕組みとして、予め生成されたマップを併用した仕組みが用いられる。特許文献1では、予め構築されたマップの特徴点と、現在の画像の特徴点とのマッチングを行い、現在の画像の相対姿勢を算出する。このような画像から予めマップを生成する手段として、SfM（Structure from Motion）が利用される。SfMでは、一連の既に獲得された2次元画像（もしくはフレーム）の全ての特徴点を算出し、時間的に前後する複数の画像から、マッチングする特徴点を推定する。さらに、SfMでは、各特徴点が現れたフレームにおける2次元平面上の位置の差異に基づいて各フレームを撮影したカメラの3次元位置を精度高く推定する。
一般的にSfMを実行する場合の処理時間は、処理画像の枚数に依存する。具体的には、処理時間は、処理画像の増加枚数のおおよそ２乗に比例して長くなる。そのため、SfMを実行する場合に、処理画像の枚数を減少させることが望まれている。ただし、前記したように特徴点の3次元位置は複数の画像に撮影され、なおかつ、その特徴点が各画像で移動している場合にのみ推定できるため、ある程度以上に減少させると3次元位置を推定できなくなる。
特許文献２には、カメラを用いて撮影された複数の画像の中から、3次元データの生成に適切な画像を選択する情報処理装置の構成が開示されている。特許文献２の情報処理装置は、画像に含まれる特徴点の数、特徴点の位置等を用いた評価を実施し、評価結果に応じて画像を選択する。
特許文献２における画像の選択処理においては、SfMに用いられる画像が選択される前の複数の画像において、特徴点の検出処理、特徴点の3次元位置に関する計算処理、カメラの位置及び姿勢に関する計算処理等が実行される。さらに、特許文献１における画像の選択処理においては、複数のフレームに共通する特徴点を追跡して、特徴点の軌跡を特定する処理も実行される。このような処理は、特徴点の解析処理を含むため、実質的には、SfMにおいて実行される処理と同等の負荷がかかる。そのため、複数の画像の中から、SfMにおいて用いられる画像を選択し、SfMにおいて用いられる画像を減少させたとしても、画像の選択処理における処理負荷が増加する。その結果、特許文献１における画像の選択処理を用いても、実質的にSfMに関する処理負荷が軽減されないという問題がある。
本開示の目的は、SfMに関する処理負荷を軽減させることを目的とする画像処理装置、撮影装置、画像処理システム、画像処理方法、及びプログラムを提供することにある。
本開示の第１の態様にかかる画像処理装置は、撮影装置において生成された動画データを複数の静止画データへ変換する変換部と、前記複数の静止画データが表す個々の静止画の画質を算出する画質算出部と、前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択する選択部と、を備え、前記選択部は、前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影装置の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択する。
本開示の第２の態様にかかる撮影装置は、動画データを生成する撮影部と、回転情報を測定するセンサと、前記回転情報が関連付けられた前記動画データを、前記動画データから変換された複数の静止画のうち所定の条件に従って画像処理に用いられる画像処理用静止画データを選択する画像処理装置へ送信する送信部と、を備える。
本開示の第３の態様にかかる画像処理システムは、動画データを生成する撮影手段と、前記動画データを複数の静止画データへ変換する変換手段と、前記複数の静止画データが表す個々の静止画の画質を算出する画質算出手段と、前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択する選択手段と、を備え、前記選択手段は、前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影手段の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択する。
本開示の第４の態様にかかる画像処理方法は、撮影装置において生成された動画データを複数の静止画データへ変換し、前記複数の静止画データが表す個々の静止画の画質を算出し、前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択し、前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影装置の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択する。
本開示の第５の態様にかかるプログラムは、撮影装置において生成された動画データを複数の静止画データへ変換し、前記複数の静止画データが表す個々の静止画の画質を算出し、前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択し、前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影装置の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択することをコンピュータに実行させる。
本開示により、SfMに関する処理負荷を軽減させることを目的とする画像処理装置、撮影装置、画像処理システム、画像処理方法、及びプログラムを提供することができる。
（実施の形態１）
以下、図面を参照して本開示の実施の形態について説明する。図１を用いて実施の形態１にかかる画像処理装置１０の構成例について説明する。画像処理装置１０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。画像処理装置１０は、例えば、サーバ装置であってもよい。
以下、図面を参照して本開示の実施の形態について説明する。図１を用いて実施の形態１にかかる画像処理装置１０の構成例について説明する。画像処理装置１０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。画像処理装置１０は、例えば、サーバ装置であってもよい。
画像処理装置１０は、変換部１１、画質算出部１２、及び選択部１３を有している。変換部１１、画質算出部１２、及び選択部１３等の画像処理装置１０の構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、画像処理装置１０の構成要素は、回路もしくはチップ等のハードウェアであってもよい。
変換部１１は、撮影装置１５において生成された動画データを複数の静止画データ（換言すれば、例えば、係る動画データを構成する複数のフレーム画像などの、複数の静止画を表すデータセット、或いはデータレコード）へ変換する。なお、以下の説明において、フレーム画像は、単にフレームとも称する。撮影装置１５は、カメラ等の撮像装置であってもよく、カメラを内蔵したコンピュータ装置であってもよい。撮影装置１５は、画像処理装置１０に内蔵されていてもよい。図１においては、撮影装置１５が、画像処理装置１０と異なる装置である例を示している。
カメラを内蔵したコンピュータ装置は、例えば、スマートフォン端末、タブレット端末等であってもよい。例えば、画像処理装置１０は、スマートフォン端末のユーザが、移動しながらスマートフォン端末を用いて撮影した動画データを用いて、スマートフォン端末の周囲の環境地図作成し、スマートフォン端末の自己位置を推定してもよい。
また、撮影装置１５は、AGV（Automated Guided Vehicle）であってもよい。画像処理装置１０は、例えば、工場内等の狭い範囲において、AGVから取得した動画データを用いて、AGVの移動の軌跡及び工場内の構造物の特徴点を含む地図を作成してもよい。
画像処理装置１０の変換部１１は、撮影装置１５からネットワーク（通信ネットワーク）を介して動画データを取得してもよい。ネットワークは、例えば、モバイルネットワークであってもよく、固定通信ネットワークであってもよい。また、変換部１１は、無線回線もしくは有線回線を介して動画データを取得してもよい。もしくは、画像処理装置１０は、取り外すことが可能な記録媒体を介して、動画データを取得してもよい。または、撮影装置１５が、画像処理装置１０に内蔵されているカメラ等である場合、変換部１１は、画像処理装置１０に内蔵されているカメラから、動画データを取得してもよい。
動画データは、例えば、N（Nは１以上の整数）fps（frames per second）のように、フレームレートを用いて示されてもよい。変換部１１は、動画データに含まれるフレームを静止画データとして抽出してもよい。フレームは、静止画像もしくは単に画像と称されてもよい。動画データを複数の静止画データへ変換するとは、動画データから複数の静止画データを抽出すると言い換えられてもよい。
画質算出部１２は、変換部１１において得られた複数の静止画データが表す個々の画像の画質を算出する。静止画データが表す個々の画像の画質を算出するとは、例えば、静止画データに対応する画像の品質を評価することであってもよい。画質算出部１２は、例えば、ブラー検出を行うことによって画質を算出してもよい。また、画質を算出するとは、画質を推定すると言い換えられてもよい。なお、以下の説明では、記載表現の便宜上、“静止画データが表す画像の画質”を、“静止画データの画質”とも称する。
選択部１３は、複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、画質に基づいて選択する。画像処理は、例えば、静止画データを用いた画像解析処理であってもよい。画像処理は、例えば、撮影装置１５の位置を推定し、撮影装置１５の周囲の環境地図を作成するSfM処理等であってもよい。例えば、選択部１３は、フレームレートがN fpsであり、M（Mは0より大きい実数）秒の動画データに含まれるN×M(N×Mは1以上の整数)枚のフレームの中から、N×M枚より少ないフレームを選択する。
例えば、選択部１３は、複数の静止画データに含まれる第１の静止画データが撮影された際の撮影装置１５の回転角度が指定角度を上回ったと判定した場合に、画像処理用静止画データを選択する。第１の静止画データは、例えば、前回選択された画像処理用静止画データが撮影された時刻以降に撮影された静止画データである。選択部１３は、撮影された時間順に並べられた複数の静止画データのうち、前回選択された画像処理用静止画データから、第１の静止画データまでに含まれる静止画データまでの中から、少なくとも１以上の静止画データを選択する。この場合、選択部１３は、基準品質を満たす静止画データを画像処理用静止画データとして選択する。
回転角度及び指定角度は、3次元空間上に定められた軸を中心とした撮影装置１５の回転量であってもよい。指定角度は、閾値として用いられる。例えば、選択部１３は、前回選択した画像処理用静止画データが撮影された際の撮影装置１５の傾きもしくは位置を基準として、第１の静止画データが撮影された際の撮影装置１５の回転角度を算出もしくは推定してもよい。
基準品質を満たす静止画データは、例えば、静止画データの画質が、基準品質以上の静止画データと言い換えられてもよい。選択部１３は、基準品質を満たす静止画データが複数存在する場合、基準品質を満たす静止画データをすべて画像処理用静止画データとして選択してもよい。もしくは、選択部１３は、基準品質を満たす複数の静止画データのうち、任意の１以上の静止画データを画像処理用静止画データとして選択してもよい。基準品質は、例えば、ブラー検出において推定されるブラーレベル、ブラー値等が用いられてもよい。
以上説明したように、画像処理装置１０は、複数の静止画データに含まれる第１の静止画データが撮影された際の撮影装置１５の回転角度が指定角度を上回っている場合に画像処理用静止画データを選択することができる。
これより、画像処理装置１０におけるSfM等の画像処理において用いられる静止画データは、動画データに含まれるすべてのフレームを用いる場合と比較して減少する。そのため、画像処理装置１０において選択された静止画データを用いた画像処理は、動画データに含まれるすべてのフレームを用いた場合と比較して、処理負荷が軽減される。
また、選択された複数の静止画データに、同じ特徴点が含まれていない場合、撮影装置１５の位置の推定等の画像処理を有効に行えない場合がある。これに対して、画像処理装置１０は、撮影装置１５の回転角度が指定角度を上回ったタイミングの近傍のタイミングに撮影された静止画データを選択することができる。これにより、画像処理装置１０は、画像処理装置１０の回転角度が大きく変動した期間においても、同じ特徴点が含まれる静止画データを選択する可能性を向上させることができる。
（実施の形態２）
続いて、図２を用いて実施の形態２にかかる撮影装置２０の構成例について説明する。撮影装置２０は、実施の形態１にかかる撮影装置１５に相当する。撮影装置２０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。
続いて、図２を用いて実施の形態２にかかる撮影装置２０の構成例について説明する。撮影装置２０は、実施の形態１にかかる撮影装置１５に相当する。撮影装置２０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。
撮影装置２０は、タイマ２１、撮影部２２、センサ２３、動画生成部２４、及び送信部２５を有している。撮影部２２、動画生成部２４、及び送信部２５は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、撮影部２２、動画生成部２４、及び送信部２５は、回路もしくはチップ等のハードウェアであってもよい。
タイマ２１は、撮影装置２０の構成要素に対して、時刻を提供する。タイマ２１は、例えば、ソフトウェアであってもよく、カウンタ回路等を用いたハードウェアであってもよい。
撮影部２２は、撮影装置２０の周辺を撮影し、撮影したデータを動画生成部２４へ出力する。
センサ２３は、撮影装置２０の回転（回動）に関する情報（例えば、撮影装置２０の傾き状態、回転態様、回転前後の姿勢を直接的あるいは間接的に表す情報：以下、回転情報と称する）を検出するセンサである。センサ２３は、例えば、加速度センサ及び角速度センサ（ジャイロセンサ）を含んでもよく、IMU（Inertial Measurement Unit）センサであってもよい。従って、回転情報は、回転角度を算出もしくは推定するために用いられる情報であり、具体的には、角速度及び３次元空間上の軸を基準とした撮影装置２０の傾きを示す値の少なくとも一方を含む情報であってもよい。撮影装置２０の傾きは、例えば、加速度センサもしくはIMUセンサ等の出力に基づいて算出されてもよい。センサ２３は、検出した回転情報を動画生成部２４へ送信する。
動画生成部２４は、撮影部２２から受け取ったデータを用いて、所定のフレームレートを有する動画データを生成する。動画生成部２４は、タイマ２１から提供された時刻情報と、動画データとを関連付ける。具体的には、動画生成部２４は、動画データに含まれるそれぞれのフレームと、そのフレームが撮影された時刻とを関連付けてもよい。
さらに、動画生成部２４は、動画データと、センサ２３から受け取った回転情報とを関連付ける。具体的には、動画生成部２４は、動画データに含まれるそれぞれのフレームと、そのフレームが撮影された際の撮影装置２０の角速度及び撮影装置２０の傾きの少なくとも一方と、を関連付けてもよい。
送信部２５は、動画生成部２４において生成された、時刻情報及び回転情報が関連付けられた動画データを画像処理装置３０へ送信する。送信部２５は、無線回線を介して動画データを送信してもよく、有線回線を介して動画データを送信してもよい。
続いて、図３を用いて実施の形態２にかかる画像処理装置３０の構成例について説明する。画像処理装置３０は、図１の画像処理装置１０に通信部３１及び画像処理部３２が追加された構成を有する。以下の画像処理装置３０の説明においては、画像処理装置１０と重複する処理、機能等の説明を省略する。
通信部３１は、撮影装置２０から送信された動画データを受信する。通信部３１が受信した動画データには、時刻情報及び回転情報が関連付けられている。
変換部１１は、動画データから変換された複数の静止画データを、時間順（時系列）に並べる。言い換えると、変換部１１は、複数の静止画データを、撮影された時刻が古い静止画データから、撮影された時刻が新しい静止画データへ順に並べる。
もしくは、変換部１１は、動画データから変換された複数の静止画データを画質算出部１２へ出力し、画質算出部１２が、複数の静止画データを時間順に並べてもよい。
選択部１３は、初めに、撮影された時刻が一番古い静止画データを画像処理用静止画データとして選択する。もしくは、選択部１３は、初めに、撮影された時刻が古い静止画データから順に確認し、最低品質を満たす最初の静止画データを画像処理用静止画データとして選択してもよい。最低品質は、例えば、SfM処理に用いることができる静止画データが最低限満たすべき品質であってもよい。もしくは、選択部１３は、初めに、撮影された時刻が古い静止画データから順に確認し、指定品質を満たす最初の静止画データを選択してもよい。指定品質は、SfM処理を効率的に実施するために満たすべき品質であってもよい。指定品質は、最低品質よりも高い品質である。
選択部１３は、初めに画像処理用静止画データを選択した後、次の画像処理用静止画データを選択する際には、静止画データに関連付けられた時刻情報もしくは回転情報に基づいて画像処理用静止画データを選択する。
選択部１３は、前回選択した画像処理用静止画データの撮影時刻から、指定された期間経過した時刻までの間に撮影された静止画データの中から、画像処理用静止画データを選択してもよい。
もしくは、選択部１３は、複数の静止画データに含まれる第１の静止画データが撮影された際の撮影装置２０の回転角度が指定角度を上回ったと判定した場合、所定の範囲の静止画データの中から、画像処理用静止画データを選択してもよい。所定の範囲の静止画データは、前回選択した画像処理用静止画データから、第１の静止画データまでであってもよい。選択部１３は、静止画データを選択する際に、画像処理用静止画データとして、指定品質を満たす静止画データを少なくとも１つ選択してもよい。
例えば、選択部１３は、前回選択した静止画データに関連付けられた撮影装置２０の傾きと、第１の静止画データに関連付けられた撮影装置２０の傾きとの差分に基づいて回転角度を算出してもよい。もしくは、選択部１３は、前回選択した静止画データから、第１の静止画データまでのそれぞれの静止画データに関連付けられた角速度を積分することによって、撮影装置２０の回転角度を算出してもよい。
画像処理部３２は、選択部１３において選択された複数の画像処理用静止画データを用いて、SfM等の画僧処理を行う。
続いて、図４を用いて、実施の形態２にかかる撮影装置２０における動画データ送信処理の流れについて説明する。はじめに、動画生成部２４は、タイマ２１から、現在時刻を取得する（Ｓ１１）。次に、動画生成部２４は、センサ２３から、回転情報を取得する（Ｓ１２）。次に、動画生成部２４は、撮影部２２から、動画データを取得する（Ｓ１３）。ステップＳ１１乃至Ｓ１３における処理は、図４に示される順番に制限されず、任意の順番にて実行されてもよい。もしくは、ステップＳ１１乃至Ｓ１３における処理は、並列に処理されてもよい。
次に、送信部２５は、時刻情報及び回転情報が関連付けられた動画データを画像処理装置３０へ送信する（Ｓ１４）。
続いて、図５乃至７を用いて、画像処理装置３０における、画像の選択処理の流れについて説明する。はじめに、通信部３１は、時刻情報及び回転情報が関連付けられた動画データを受信する（Ｓ２１）。
次に、変換部１１は、動画データを複数の静止画データへ変換する（Ｓ２２）。次に、画質算出部１２は、複数の静止画データの画質を算出する（Ｓ２３）。例えば、画質算出部１２は、ブラー検出を行うことによってそれぞれの静止画データの画質を算出する。
次に、変換部１１もしくは画質算出部１２は、複数の静止画データを、撮影された時刻が古い静止画データから、撮影された時刻が新しい静止画データへ順に並べる（Ｓ２４）。ステップＳ２４の処理は、ステップＳ２３の前に行われてもよい。
次に、選択部１３は、画像処理用静止画データとして、任意の静止画データを選択する（Ｓ２５）。例えば、選択部１３は、撮影された時刻が一番古い静止画データを選択してもよい。もしくは、選択部１３は、撮影された時刻が古い静止画データから順に確認し、最低品質を満たす最初の静止画データを選択してもよい。もしくは、選択部１３は、撮影された時刻が古い静止画データから順に確認し、指定品質を満たす最初の静止画データを選択してもよい。
次に、選択部１３は、ステップＳ２５において選択した静止画データの次に撮影された静止画データを抽出する（Ｓ２６）。
次に、選択部１３は、出力推奨フラグをＯＦＦに設定する（Ｓ２７）。出力推奨フラグは、ステップＳ２６において抽出された静止画データが、最低品質を満たす静止画データであるか否かを判定する処理を実施するか否かを決定するために用いられる。
次に、選択部１３は、ステップＳ２６において抽出された現在の静止画データに関連付けられた時刻が、画像処理用静止画データとして、前回選択された静止画データに関連付けられた時刻から、指定期間経過しているか否かを判定する（Ｓ２８）。指定期間は、予め定められた値であり、画像処理装置３０内のメモリ等に保存されていてもよい。指定期間は、例えば、画像処理装置３０の管理者等によって定められる期間であってもよい。
選択部１３は、指定期間経過していないと判定した場合、ステップＳ２６において抽出された現在の静止画データが撮影された際の撮影装置２０の回転角度が、指定角度を上回るか否かを判定する（Ｓ２９）。
選択部１３は、ステップＳ２６において抽出された現在の静止画データが撮影された際の撮影装置２０の回転角度が、指定角度を上回ると判定した場合、ステップＳ３０の処理を実行する。ステップＳ３０において、選択部１３は、前回選択した静止画データから、ステップＳ２６において抽出された現在の静止画データの中に、指定品質を満たす静止画データが存在するか否かを判定する（Ｓ３０）。ステップＳ２８において、選択部１３は、指定期間経過したと判定した場合も、ステップＳ３０の処理を実行する。
選択部１３は、ステップＳ３０において、前回選択した静止画データから、ステップＳ２６において抽出された現在の静止画データの中に、指定品質を満たす静止画データが存在すると判定した場合、ステップＳ３４の処理を実行する。ステップＳ３４において、選択部１３は、指定品質を満たす静止画データの中から最も新しい静止画データを選択する（Ｓ３４）。最も新しい静止画データは、撮影された時刻が最も新しい静止画データである。
選択部１３は、ステップ３０において、前回選択した静止画データから、ステップＳ２６において抽出された現在の静止画データの中に、指定品質を満たす静止画データが存在しないと判定した場合、ステップＳ３１の処理を実行する。ステップＳ３１において、選択部１３は、ステップＳ２６において選択した現在の静止画データが、最低品質を満たすか否かを判定する（Ｓ３１）。選択部１３は、ステップＳ２６において選択した現在の静止画データが、最低品質を満たすと判定した場合、画像処理用静止画データとして現在の静止画データを選択する（Ｓ３３）。選択部１３は、ステップＳ２６において選択した現在の静止画データが、最低品質を満たさないと判定した場合、出力推奨フラグをＯＮに設定する（Ｓ３２）。
選択部１３は、ステップＳ３２乃至３４の後に、ステップＳ３５の処理を実行する。さらに、選択部１３は、ステップＳ２９において、回転角度の差が、指定角度を上回らないと判定した場合も、ステップＳ３５の処理を実行する。
ステップＳ３５において、選択部１３は、すべての静止画データを抽出したか否かを判定する（Ｓ３５）。すべての静止画データとは、ステップＳ２２において動画データから変換されたすべての静止画データである。
選択部１３がすべての静止画データを抽出したとは、選択部１３が、ステップＳ２６において、時間順に並べられた静止画データのうち、最後の静止画データを抽出したことである。
ステップＳ３５において、選択部１３がすべての静止画データを抽出したと判定した場合、画像処理部３２は、画像処理用静止画データとして選択されたすべてのデータを用いて画像処理を実施する（Ｓ３７）。ステップＳ３５において、選択部１３は、すべての静止画データを抽出していないと判定した場合、ステップＳ２６において抽出した静止画データの次に古い静止画データを抽出する（Ｓ３６）。ステップＳ２６において抽出した静止画データの次に古い静止画データは、時間順に並べられた静止画データの中において、ステップＳ２６において抽出した静止画データの次の静止画データである。つまり、選択部１３は、ステップＳ２６において抽出した静止画データの次に撮影された静止画データを抽出する。
次に、選択部１３は、現在の出力推奨フラグがＯＮに設定されているか否かを判定する（Ｓ３８）。選択部１３は、現在の出力推奨フラグがＯＮに設定されていると判定した場合、ステップＳ３１以降の処理を繰り返す。選択部１３は、現在の出力推奨フラグがＯＦＦに設定されていると判定した場合、ステップＳ２８以降の処理を繰り返す。
以上説明したように、画像処理装置３０は、指定期間を経過した際に、前回選択された静止画データから、現在抽出された静止画データまでの間の指定品質もしくは最低品質を満たす静止画データを選択することができる。画像処理装置３０は、指定品質もしくは最低品質を満たす静止画データを選択することによって、特徴点がクリアに表示されている静止画データをSfM処理に用いることができる。また、指定品質もしくは最低品質を満たさない静止画データが選択された場合、静止画データ間の細かな差異が認識されず、際立つ特徴のみを用いてSfM処理が行われることになる。この場合、SfM処理の精度が低下することとなる。これに対して、画像処理装置３０は、指定品質もしくは最低品質を満たす静止画データを選択することによって、静止画データ間の細かな差異を認識することができるため、SfM処理の精度を向上させることができる。
さらに、画像処理装置３０は、定期的に静止画データを選択することによって、複数の静止画データに同じ特徴点が含まれている可能性を向上させることができる。指定期間が長すぎる場合、定期的に選択される静止画データに同じ特徴点が含まれる可能性を低下させてしまうため、指定期間は、同じ特徴点が含まれる静止画データを選択することが可能な程度の期間を設定する必要がある。このように画像処理装置３０は、定期的に静止画データを選択することによって、撮影装置２０がカメラを揺らさずに直進し、指定角度を上回るほど回転していない場合であっても、同じ特徴点が含まれる静止画データを選択することができる。
さらに、画像処理装置３０は、指定期間を経過する前であっても、撮影装置２０が指定角度を上回るほど回転した場合、静止画データを選択することができる。例えば、撮影装置２０が、指定期間内に素早く方向転換した場合について説明する。この場合、画像処理装置３０は、指定期間を経過するタイミングに静止画データを選択すると、撮影装置２０が方向転換する前の静止画データと、方向転換した後の静止画データとにおいて、同じ特徴点が含まれなくなる。一方、画像処理装置３０が、指定期間を経過する前であっても、撮影装置２０の回転角度が指定角度を上回った場合に静止画データを選択することによって、方向転換中の静止画データを選択することができる。その結果、選択された複数の静止画データに、同じ特徴点が含まれる可能性を向上させることができる。
（実施の形態３）
続いて、実施の形態３にかかる画像の選択処理について説明する。実施の形態３においては、時刻情報の代わりに、撮影装置２０の移動速度や移動態様などの移動状態を直接的にあるいは間接的に表す、撮影装置２０の移動に関する情報（以下、移動情報と称する）が用いられる。つまり、実施の形態３においては、選択部１３は、静止画データに関連付けられた移動情報もしくは回転情報に基づいて静止画データを選択する。選択部１３は、移動情報に基づいて撮影装置２０の移動距離を測定してもよい。選択部１３は、撮影装置２０の移動距離が予め定められた指定距離を超えた場合に、前回選択した静止画データから、撮影装置２０が指定距離離れた位置に移動するまでの間に撮影された静止画データの中から、静止画データを選択する。
続いて、実施の形態３にかかる画像の選択処理について説明する。実施の形態３においては、時刻情報の代わりに、撮影装置２０の移動速度や移動態様などの移動状態を直接的にあるいは間接的に表す、撮影装置２０の移動に関する情報（以下、移動情報と称する）が用いられる。つまり、実施の形態３においては、選択部１３は、静止画データに関連付けられた移動情報もしくは回転情報に基づいて静止画データを選択する。選択部１３は、移動情報に基づいて撮影装置２０の移動距離を測定してもよい。選択部１３は、撮影装置２０の移動距離が予め定められた指定距離を超えた場合に、前回選択した静止画データから、撮影装置２０が指定距離離れた位置に移動するまでの間に撮影された静止画データの中から、静止画データを選択する。
もしくは、選択部１３は、移動情報に基づいて撮影装置２０の速度を測定してもよい。選択部１３は、撮影装置２０の速度が指定速度を超えた場合に、前回選択した静止画データから、撮影装置２０が指定速度を超えるまでの間に撮影された静止画データの中から、静止画データを選択してもよい。
移動情報は、例えば、撮影装置２０のセンサ２３において検出する加速度であってもよい。例えば、撮影装置２０の動画生成部２４は、動画データに含まれるそれぞれのフレームと、そのフレームが撮影された際の撮影装置２０の加速度とを関連付けてもよい。撮影装置２０は、加速度が関連付けられた動画データを画像処理装置３０へ送信する。
選択部１３は、時間順に並べられた静止画データに関連付けられた加速度を積分することによって、撮影装置２０の移動距離もしくは速度を測定してもよい。
ここで、図８を用いて、実施の形態３にかかる撮影装置２０における動画データ送信処理の流れについて説明する。図８のステップＳ４１及びＳ４３は、図４のステップＳ１１及びＳ１３と同様であるため詳細な説明を省略する。ステップＳ４１の次に、動画生成部２４は、センサ２３から、時間情報及び移動情報を取得する（Ｓ４２）。さらに、ステップＳ４３の次に、送信部２５は、時間情報、移動情報及び回転情報が関連付けられた動画データを画像処理装置３０へ送信する（Ｓ４４）。
続いて、図９を用いて、実施の形態３にかかる画像の選択処理の流れについて説明する。はじめに、通信部３１は、時間情報、移動情報及び回転情報が関連付けられた動画データを受信する（Ｓ５１）。ステップＳ５２乃至Ｓ５７は、図５のステップＳ２２乃至Ｓ２７と同様であるため詳細な説明を省略する。
次に、選択部１３は、前回選択された静止画データが撮影されてからステップＳ５６において抽出された現在の静止画データが撮影されるまでの間に撮影装置２０が移動した距離が、指定距離を超えているか否かを判定する（Ｓ５８）。ステップＳ５８以降の処理は、図６及び図７と同様であるため詳細な説明を省略する。ステップＳ５８において、選択部１３は、前回選択された静止画データが撮影されてからステップＳ５６において抽出された現在の静止画データが撮影されるまでの間に撮影装置２０の移動速度が、指定速度を超えているか否かを判定してもよい。
以上説明したように、実施の形態３においては、画像処理装置３０は、指定期間を経過する前であっても、撮影装置２０が指定距離を上回るほど移動した場合、画像処理用静止画データとして静止画データを選択することができる。もしくは、画像処理装置３０は、撮影装置２０が指定速度を上回る速度にて移動した場合、画像処理用静止画データとして静止画データを選択することができる。
例えば、撮影装置２０が、指定期間内に指定距離以上に移動した場合、指定期間を経過するタイミングを開けて２枚分の静止画データが選択されると、当該２枚分の静止画データが表す個々の画像間の物理空間における距離が離れすぎてしまう（ここで、係る物理空間は、撮影装置２０が存在する物理空間である）。この場合、選択された複数の静止画データに、同じ特徴点が含まれなくなる。一方、画像処理装置３０が、指定期間を経過する前であっても、撮影装置２０が指定距離に達した場合に、静止画データを選択することによって、指定距離以内の距離において撮影された静止画データを選択することができる。その結果、選択した複数の静止画データに、同じ特徴点が含まれる可能性を向上させることができる。
画像処理装置３０が、指定速度を上回る速度にて移動した場合にも、指定距離に基づいて静止画データを選択した場合と同様の効果を得ることができる。
また、実施の形態３にかかる静止画データの選択処理は、実施の形態２にかかる静止画データの選択処理と組み合わされてもよい。例えば、図５のステップＳ２８において、選択部１３が、指定期間経過していないと判定した場合、図９のステップＳ５８の処理以降の処理が実施されてもよい。
もしくは、図５のステップＳ２７の後に、図９のステップＳ５８の処理が実行されてもよい。この場合、ステップＳ５８において、選択部１３が、撮影装置２０の移動距離が指定距離を超えていないと判定した場合、図５のステップＳ２８以降の処理が実施されてもよい。
もしくは、図６のステップＳ２９において、選択部１３が、撮影装置２０の回転角度の差が、指定角度を上回っていないと判定した場合、図９のステップＳ５８の処理が実行されてもよい。この場合、ステップＳ５８において、選択部１３が、撮影装置２０の移動距離が指定距離を超えていないと判定した場合、図７のステップＳ３５以降の処理が実施されてもよい。さらに、ステップＳ５８において、選択部１３が、移動距離が指定距離を超えていると判定した場合、図６のステップＳ３０以降の処理が実施されてもよい。
（実施の形態４）
続いて、実施の形態４にかかる指定期間、指定角度、指定距離、もしくは指定速度の決定方法について説明する。実施の形態１乃至３においては、指定期間、指定角度、指定距離、もしくは指定速度として、予め定められた値もしくは管理者等が入力する値が用いられることを説明した。
続いて、実施の形態４にかかる指定期間、指定角度、指定距離、もしくは指定速度の決定方法について説明する。実施の形態１乃至３においては、指定期間、指定角度、指定距離、もしくは指定速度として、予め定められた値もしくは管理者等が入力する値が用いられることを説明した。
実施の形態４においては、指定期間、指定角度、指定距離、もしくは指定速度が、静止画データの品質に応じて選択することについて説明する。
具体的には、選択した静止画データの品質が、指定品質よりも高い場合、指定期間、指定角度、指定距離、もしくは指定速度の値を現在の値よりも大きくしてもよい。さらに、選択した静止画データの品質が、指定品質よりも低い場合、指定期間、指定角度、指定距離、もしくは指定速度の値を現在の値よりも小さくしてもよい。
例えば、静止画データの品質を数値で表せる場合であって、数値が高いほど品質が高い場合について説明する。この場合、現在の指定期間の値に、選択した静止画データの品質／指定品質、を乗算して、新たな指定期間の値を算出してもよい。選択した静止画データの品質／指定品質は、選択した静止画データの品質を指定品質にて除算したことを示している。指定角度、指定距離、もしくは指定速度についても同様に、現在の値に、選択した静止画データの品質／指定品質、を乗算して新たな値を算出してもよい。
以上説明したように、実施の形態４においては、選択した静止画データの品質に応じて、指定期間、指定角度、指定距離、もしくは指定速度の値を最適化することができる。これにより、品質が高い静止画データを選択している間は、静止画データを選択する期間を延ばすことができる。この場合、品質の高い静止画データを選択し続けているため、SfMにおいても、精度の高い自己位置推定等を行うことができる。また、品質が低い静止画データを選択している間は、静止画データを選択する期間を狭めることができる。この場合、SfMに用いられる静止画データを増加させることによって、自己位置推定等の精度を維持することができる。
また、指定期間、指定角度、指定距離、もしくは指定速度について、新たな値を算出する際に、重みづけを考慮してもよい。例えば、指定期間、指定角度、指定距離、もしくは指定速度について、それぞれの新しい値に、それぞれ異なる値が乗算されてもよい。例えば、算出された新しい値に、大きい値が乗算されるほど、静止画データを選択する期間を延ばすことができる。
図１０は、画像処理装置１０、撮影装置２０、及び画像処理装置３０（以下、画像処理装置１０等と称する）の構成例を示すブロック図である。図１０を参照すると、画像処理装置１０等は、ネットワークインタフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワークインタフェース１２０１は、ネットワークノード（e.g., eNB、MME、P-GW、）と通信するために使用される。ネットワークインタフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインタフェースカード（NIC）を含んでもよい。ここで、eNBはevolved Node B、MMEはMobility Management Entity、P-GWはPacket Data Network Gatewayを表す。IEEEは、Institute of Electrical and Electronics Engineersを表す。
プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートを用いて説明された画像処理装置１０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU、又はCPUであってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。
メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/O（Input/Output）インタフェースを介してメモリ１２０３にアクセスしてもよい。
図１０の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された画像処理装置１０等の処理を行うことができる。
図１０を用いて説明したように、上述の実施形態における画像処理装置１０等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
撮影装置において生成された動画データを複数の静止画データへ変換する変換部と、
前記複数の静止画データが表す個々の静止画の画質を算出する画質算出部と、
前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択する選択部と、を備え、
前記選択部は、
前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影装置の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択する、画像処理装置。
（付記２）
前記選択部は、
前記撮影装置に内蔵されたセンサによって測定された前記撮影装置の回転に関する回転情報を取得し、前記回転情報に基づいて前記回転角度を特定する、付記１に記載の画像処理装置。
（付記３）
前記回転情報は、
前記撮影装置の角速度及び所定の軸を基準とした前記撮影装置の傾きを示す角度のうち少なくとも一方を用いる、付記２に記載の画像処理装置。
（付記４）
前記指定角度は、
前回選択された前記画像処理用静止画データが表す静止画の画質に基づいて算出される、付記１乃至３のいずれか１項に記載の画像処理装置。
（付記５）
前記指定角度は、
前回選択された前記画像処理用静止画データが表す静止画の画質が所定の画質よりも良い場合、前回選択された前記画像処理用静止画データが表す静止画の画質が前記所定の画質よりも悪い場合と比較して大きい角度が設定される、付記４に記載の画像処理装置。
（付記６）
前記選択部は、
前回選択された前記画像処理用静止画データが撮影されたタイミングから第１の期間が経過した場合に、前記第１の期間内に撮影された前記静止画データの中から、前記基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択する、付記１乃至５のいずれか１項に記載の画像処理装置。
（付記７）
前記第１の期間は、
前回選択された前記画像処理用静止画データが表す静止画の画質に基づいて算出される、付記６に記載の画像処理装置。
（付記８）
前記第１の期間は、
前回選択された前記画像処理用静止画データが表す静止画の画質が所定の画質よりも良い場合、前回選択された前記画像処理用静止画データが表す静止画の画質が前記所定の画質よりも悪い場合と比較して長い期間が設定される、付記７に記載の画像処理装置。
（付記９）
前記選択部は、
前記複数の静止画データに含まれる第２の静止画データが撮影された際の前記撮影装置の移動距離が指定距離を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第２の静止画データまでに含まれる静止画データの中から、基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択する、付記１乃至８のいずれか１項に記載の画像処理装置。
（付記１０）
前記選択部は、
前記撮影装置に内蔵されたセンサによって測定された加速度を取得し、前記加速度に基づいて前記移動距離を特定する、付記９に記載の画像処理装置。
（付記１１）
前記指定距離は、
前回選択された前記画像処理用静止画データが表す静止画の画質に基づいて算出される、付記１０に記載の画像処理装置。
（付記１２）
前記指定距離は、
前回選択された前記画像処理用静止画データの画質が所定の画質よりも良い場合、前回選択された前記画像処理用静止画データが表す静止画の画質が前記所定の画質よりも悪い場合と比較して長い距離が設定される、付記１１に記載の画像処理装置。
（付記１３）
前記基準品質は、
指定品質及び前記指定品質よりも品質が劣る最低品質を含み、
前記選択部は、
指定品質を満たす少なくとも１以上の静止画データを選択し、前記指定品質を満たす静止画データが存在しない場合、前記最低品質を満たす少なくとも１以上の静止画データを選択する、付記１乃至１２のいずれか１項に記載の画像処理装置。
（付記１４）
動画データを生成する撮影部と、
前記撮影部の回転に関する回転情報を測定するセンサと、
前記回転情報が関連付けられた前記動画データを、前記動画データから変換された複数の静止画のうち所定の条件に従って画像処理に用いられる画像処理用静止画データを選択する画像処理装置へ送信する送信部と、を備える撮影装置。
（付記１５）
前記送信部は、
前記回転情報とともに、さらに、前記動画データを撮影した時刻を示すタイマ情報及び前記撮影装置の移動距離の少なくとも一方が関連付けられた前記動画データを、前記画像処理装置へ送信する、付記１４に記載の撮影装置。
（付記１６）
動画データを生成する撮影手段と、
前記動画データを複数の静止画データへ変換する変換手段と、
前記複数の静止画データが表す個々の静止画の画質を算出する画質算出手段と、
前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択する選択手段と、を備え、
前記選択手段は、
前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影手段の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択する、画像処理システム。
（付記１７）
前記選択手段は、
センサによって測定された前記撮影手段の回転に関する回転情報に基づいて前記回転角度を特定する、付記１６に記載の画像処理システム。
（付記１８）
撮影装置において生成された動画データを複数の静止画データへ変換し、
前記複数の静止画データが表す個々の静止画の画質を算出し、
前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択し、
前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影装置の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択する、画像処理方法。
（付記１９）
撮影装置において生成された動画データを複数の静止画データへ変換し、
前記複数の静止画データが表す個々の静止画の画質を算出し、
前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択し、
前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影装置の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択することをコンピュータに実行させるプログラム。
（付記１）
撮影装置において生成された動画データを複数の静止画データへ変換する変換部と、
前記複数の静止画データが表す個々の静止画の画質を算出する画質算出部と、
前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択する選択部と、を備え、
前記選択部は、
前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影装置の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択する、画像処理装置。
（付記２）
前記選択部は、
前記撮影装置に内蔵されたセンサによって測定された前記撮影装置の回転に関する回転情報を取得し、前記回転情報に基づいて前記回転角度を特定する、付記１に記載の画像処理装置。
（付記３）
前記回転情報は、
前記撮影装置の角速度及び所定の軸を基準とした前記撮影装置の傾きを示す角度のうち少なくとも一方を用いる、付記２に記載の画像処理装置。
（付記４）
前記指定角度は、
前回選択された前記画像処理用静止画データが表す静止画の画質に基づいて算出される、付記１乃至３のいずれか１項に記載の画像処理装置。
（付記５）
前記指定角度は、
前回選択された前記画像処理用静止画データが表す静止画の画質が所定の画質よりも良い場合、前回選択された前記画像処理用静止画データが表す静止画の画質が前記所定の画質よりも悪い場合と比較して大きい角度が設定される、付記４に記載の画像処理装置。
（付記６）
前記選択部は、
前回選択された前記画像処理用静止画データが撮影されたタイミングから第１の期間が経過した場合に、前記第１の期間内に撮影された前記静止画データの中から、前記基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択する、付記１乃至５のいずれか１項に記載の画像処理装置。
（付記７）
前記第１の期間は、
前回選択された前記画像処理用静止画データが表す静止画の画質に基づいて算出される、付記６に記載の画像処理装置。
（付記８）
前記第１の期間は、
前回選択された前記画像処理用静止画データが表す静止画の画質が所定の画質よりも良い場合、前回選択された前記画像処理用静止画データが表す静止画の画質が前記所定の画質よりも悪い場合と比較して長い期間が設定される、付記７に記載の画像処理装置。
（付記９）
前記選択部は、
前記複数の静止画データに含まれる第２の静止画データが撮影された際の前記撮影装置の移動距離が指定距離を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第２の静止画データまでに含まれる静止画データの中から、基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択する、付記１乃至８のいずれか１項に記載の画像処理装置。
（付記１０）
前記選択部は、
前記撮影装置に内蔵されたセンサによって測定された加速度を取得し、前記加速度に基づいて前記移動距離を特定する、付記９に記載の画像処理装置。
（付記１１）
前記指定距離は、
前回選択された前記画像処理用静止画データが表す静止画の画質に基づいて算出される、付記１０に記載の画像処理装置。
（付記１２）
前記指定距離は、
前回選択された前記画像処理用静止画データの画質が所定の画質よりも良い場合、前回選択された前記画像処理用静止画データが表す静止画の画質が前記所定の画質よりも悪い場合と比較して長い距離が設定される、付記１１に記載の画像処理装置。
（付記１３）
前記基準品質は、
指定品質及び前記指定品質よりも品質が劣る最低品質を含み、
前記選択部は、
指定品質を満たす少なくとも１以上の静止画データを選択し、前記指定品質を満たす静止画データが存在しない場合、前記最低品質を満たす少なくとも１以上の静止画データを選択する、付記１乃至１２のいずれか１項に記載の画像処理装置。
（付記１４）
動画データを生成する撮影部と、
前記撮影部の回転に関する回転情報を測定するセンサと、
前記回転情報が関連付けられた前記動画データを、前記動画データから変換された複数の静止画のうち所定の条件に従って画像処理に用いられる画像処理用静止画データを選択する画像処理装置へ送信する送信部と、を備える撮影装置。
（付記１５）
前記送信部は、
前記回転情報とともに、さらに、前記動画データを撮影した時刻を示すタイマ情報及び前記撮影装置の移動距離の少なくとも一方が関連付けられた前記動画データを、前記画像処理装置へ送信する、付記１４に記載の撮影装置。
（付記１６）
動画データを生成する撮影手段と、
前記動画データを複数の静止画データへ変換する変換手段と、
前記複数の静止画データが表す個々の静止画の画質を算出する画質算出手段と、
前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択する選択手段と、を備え、
前記選択手段は、
前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影手段の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択する、画像処理システム。
（付記１７）
前記選択手段は、
センサによって測定された前記撮影手段の回転に関する回転情報に基づいて前記回転角度を特定する、付記１６に記載の画像処理システム。
（付記１８）
撮影装置において生成された動画データを複数の静止画データへ変換し、
前記複数の静止画データが表す個々の静止画の画質を算出し、
前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択し、
前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影装置の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択する、画像処理方法。
（付記１９）
撮影装置において生成された動画データを複数の静止画データへ変換し、
前記複数の静止画データが表す個々の静止画の画質を算出し、
前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択し、
前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影装置の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、基準品質を満たす少なくとも１以上の静止画データを前記画像処理用静止画データとして選択することをコンピュータに実行させるプログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０２０年２月２６日に出願された日本出願特願２０２０－０３０４５１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０ 画像処理装置
１１ 変換部
１２ 画質算出部
１３ 選択部
１５ 撮影装置
２０ 撮影装置
２１ タイマ
２２ 撮影部
２３ センサ
２４ 動画生成部
２５ 送信部
３０ 画像処理装置
３１ 通信部
３２ 画像処理部
１１ 変換部
１２ 画質算出部
１３ 選択部
１５ 撮影装置
２０ 撮影装置
２１ タイマ
２２ 撮影部
２３ センサ
２４ 動画生成部
２５ 送信部
３０ 画像処理装置
３１ 通信部
３２ 画像処理部
Claims (10)
- 撮影装置において生成された動画データを複数の静止画データへ変換する変換手段と、
前記複数の静止画データが表す個々の静止画の画質を算出する画質算出手段と、
前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択する選択手段と、を備え、
前記選択手段は、
前記画像処理用静止画データが最低限満たすべき最低品質値と、前記最低品質値よりも高い品質である指定品質値と、を保持し、前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影装置の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、前記指定品質値を満たす静止画データが少なくとも１以上あれば、前記指定品質値を満たす静止画データの中から最新の静止画データを前記画像処理用静止画データとして選択し、前記指定品質値を満たす静止画データがなければ、前記最低品質値を満たす静止画データが少なくとも１以上あれば、前記最低品質値を満たす静止画データの中から最新の静止画データを前記画像処理用静止画データとして選択する、画像処理装置。 - 前記選択手段は、
前記撮影装置に内蔵されたセンサによって測定された前記撮影装置の回転に関する回転情報を取得し、前記回転情報に基づいて前記回転角度を推定する、請求項１に記載の画像処理装置。 - 前記回転情報は、
前記撮影装置の角速度及び所定の軸を基準とした前記撮影装置の傾きを示す角度のうち少なくとも一方を用いる、請求項２に記載の画像処理装置。 - 前記指定角度は、
前回選択された前記画像処理用静止画データが表す静止画の画質に基づいて算出される、請求項１乃至３のいずれか１項に記載の画像処理装置。 - 前記指定角度は、
前回選択された前記画像処理用静止画データが表す静止画の画質が所定の画質よりも良い場合、前回選択された前記画像処理用静止画データが表す静止画の画質が前記所定の画質よりも悪い場合と比較して大きい角度が設定される、請求項４に記載の画像処理装置。 - 前記選択手段は、
前回選択された前記画像処理用静止画データが撮影されたタイミングから第１の期間が経過した場合に、前記第１の期間内に撮影された前記静止画データの中から、前記指定品質値を満たす静止画データが少なくとも１以上あれば、前記指定品質値を満たす静止画データの中から最新の静止画データを前記画像処理用静止画データとして選択し、前記指定品質値を満たす静止画データがなければ、前記最低品質値を満たす満たす静止画データが少なくとも１以上あれば、前記最低品質値を満たす静止画データの中から最新の静止画データを前記画像処理用静止画データとして選択する、請求項１乃至３のいずれか１項に記載の画像処理装置。 - 前記第１の期間は、
前回選択された前記画像処理用静止画データが表す静止画の画質に基づいて算出される、請求項６に記載の画像処理装置。 - 前記第１の期間は、
前回選択された前記画像処理用静止画データが表す静止画の画質が所定の画質よりも良い場合、前回選択された前記画像処理用静止画データが表す静止画の画質が前記所定の画質よりも悪い場合と比較して長い期間が設定される、請求項７に記載の画像処理装置。 - 撮影装置において生成された動画データを複数の静止画データへ変換し、
前記複数の静止画データが表す個々の静止画の画質を算出し、
前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択し、
前記画像処理用静止画データが最低限満たすべき最低品質値と、前記最低品質値よりも高い品質である指定品質値と、を保持し、前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影装置の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、前記指定品質値を満たす静止画データが少なくとも１以上あれば前記指定品質値を満たす静止画データの中から最新の静止画データを前記画像処理用静止画データとし、前記指定品質値を満たす静止画データがなければ、前記最低品質値を満たす静止画データが少なくとも１以上あれば、前記最低品質値を満たす静止画データの中から最新の静止画データを前記画像処理用静止画データとして選択する、画像処理方法。 - 撮影装置において生成された動画データを複数の静止画データへ変換し、
前記複数の静止画データが表す個々の静止画の画質を算出し、
前記複数の静止画データのうち、画像処理に用いられる画像処理用静止画データを、前記画質に基づいて選択し、
前記画像処理用静止画データが最低限満たすべき最低品質値と、前記最低品質値よりも高い品質である指定品質値と、を保持し、前記複数の静止画データに含まれる第１の静止画データが撮影された際の前記撮影装置の回転角度が指定角度を上回ったと判定した場合に、撮影された時間順に並べられた前記複数の静止画データのうち、前回選択された前記画像処理用静止画データから、前記第１の静止画データまでに含まれる静止画データの中から、前記指定品質値を満たす静止画データが少なくとも１以上あれば前記指定品質値を満たす静止画データの中から最新の静止画データを前記画像処理用静止画データとし、前記指定品質値を満たす静止画データがなければ、前記最低品質値を満たす静止画データが少なくとも１以上あれば、前記最低品質値を満たす静止画データの中から最新の静止画データを前記画像処理用静止画データとして選択することをコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020030451 | 2020-02-26 | ||
| JP2020030451 | 2020-02-26 | ||
| PCT/JP2020/048076 WO2021171763A1 (ja) | 2020-02-26 | 2020-12-23 | 画像処理装置、撮影装置、画像処理システム、画像処理方法、及び非一時的なコンピュータ可読媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2021171763A1 JPWO2021171763A1 (ja) | 2021-09-02 |
| JPWO2021171763A5 JPWO2021171763A5 (ja) | 2022-10-03 |
| JP7452620B2 true JP7452620B2 (ja) | 2024-03-19 |
Family
ID=77490863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022503117A Active JP7452620B2 (ja) | 2020-02-26 | 2020-12-23 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230069018A1 (ja) |
| JP (1) | JP7452620B2 (ja) |
| WO (1) | WO2021171763A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210404834A1 (en) * | 2020-06-30 | 2021-12-30 | Lyft, Inc. | Localization Based on Multi-Collect Fusion |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006344215A (ja) | 2005-06-08 | 2006-12-21 | Xerox Corp | デジタル画像のコレクションの組み立て方法 |
| JP2007134771A (ja) | 2005-11-08 | 2007-05-31 | Sony Corp | 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP2009237846A (ja) | 2008-03-27 | 2009-10-15 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP2012216918A (ja) | 2011-03-31 | 2012-11-08 | Jvc Kenwood Corp | 撮像装置、画像処理方法及びプログラム |
| US20150049170A1 (en) | 2013-08-16 | 2015-02-19 | Indiana University Research And Technology Corp. | Method and apparatus for virtual 3d model generation and navigation using opportunistically captured images |
| JP2017049052A (ja) | 2015-08-31 | 2017-03-09 | 日本ユニシス株式会社 | 対象物の３次元画像データを生成するためのシステム、方法、プログラム |
| US20190005719A1 (en) | 2017-06-29 | 2019-01-03 | Open Space Labs, Inc. | Automated spatial indexing of images based on floorplan features |
| US20190019327A1 (en) | 2017-07-14 | 2019-01-17 | Cappasity Inc. | Systems and methods for creating and displaying interactive 3d representations of real objects |
| JP2020513127A (ja) | 2017-05-19 | 2020-04-30 | グーグル エルエルシー | 環境センサデータを用いる効率的な画像解析 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102078198B1 (ko) * | 2013-06-04 | 2020-04-07 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 3차원 모델링을 위한 촬영방법 |
| JP6102648B2 (ja) * | 2013-09-13 | 2017-03-29 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
-
2020
- 2020-12-23 JP JP2022503117A patent/JP7452620B2/ja active Active
- 2020-12-23 WO PCT/JP2020/048076 patent/WO2021171763A1/ja active Application Filing
- 2020-12-23 US US17/798,381 patent/US20230069018A1/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006344215A (ja) | 2005-06-08 | 2006-12-21 | Xerox Corp | デジタル画像のコレクションの組み立て方法 |
| JP2007134771A (ja) | 2005-11-08 | 2007-05-31 | Sony Corp | 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP2009237846A (ja) | 2008-03-27 | 2009-10-15 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP2012216918A (ja) | 2011-03-31 | 2012-11-08 | Jvc Kenwood Corp | 撮像装置、画像処理方法及びプログラム |
| US20150049170A1 (en) | 2013-08-16 | 2015-02-19 | Indiana University Research And Technology Corp. | Method and apparatus for virtual 3d model generation and navigation using opportunistically captured images |
| JP2017049052A (ja) | 2015-08-31 | 2017-03-09 | 日本ユニシス株式会社 | 対象物の３次元画像データを生成するためのシステム、方法、プログラム |
| JP2020513127A (ja) | 2017-05-19 | 2020-04-30 | グーグル エルエルシー | 環境センサデータを用いる効率的な画像解析 |
| US20190005719A1 (en) | 2017-06-29 | 2019-01-03 | Open Space Labs, Inc. | Automated spatial indexing of images based on floorplan features |
| US20190019327A1 (en) | 2017-07-14 | 2019-01-17 | Cappasity Inc. | Systems and methods for creating and displaying interactive 3d representations of real objects |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230069018A1 (en) | 2023-03-02 |
| WO2021171763A1 (ja) | 2021-09-02 |
| JPWO2021171763A1 (ja) | 2021-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10755428B2 (en) | Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model | |
| JP6198230B2 (ja) | 深度カメラを使用した頭部姿勢トラッキング | |
| JP6534664B2 (ja) | カメラ動き予測及び修正のための方法 | |
| JP6734940B2 (ja) | 三次元計測装置 | |
| KR20190098003A (ko) | 장치의 자세 추정 방법 및 그 장치 | |
| US8391542B2 (en) | Method for estimating the pose of a PTZ camera | |
| KR101950359B1 (ko) | 하이브리드 모션캡쳐 시스템의 위치 추정 방법 | |
| JP5012615B2 (ja) | 情報処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
| KR101856947B1 (ko) | 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체 | |
| CN110880189A (zh) | 联合标定方法及其联合标定装置和电子设备 | |
| CN108827341A (zh) | 用于确定图像采集装置的惯性测量单元中的偏差的方法 | |
| CN111507132A (zh) | 一种定位方法、装置及设备 | |
| JP7452620B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN113438409B (zh) | 延迟校准方法、装置、计算机设备和存储介质 | |
| US11210846B2 (en) | Three-dimensional model processing method and three-dimensional model processing apparatus | |
| CN107945166B (zh) | 基于双目视觉的待测物体三维振动轨迹的测量方法 | |
| JP5267100B2 (ja) | 運動推定装置及びプログラム | |
| KR101783990B1 (ko) | 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법 | |
| CN111882494A (zh) | 位姿图处理方法、装置、计算机设备和存储介质 | |
| JP6154759B2 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム | |
| US9245343B1 (en) | Real-time image geo-registration processing | |
| JP6602089B2 (ja) | 画像処理装置及びその制御方法 | |
| US20170076154A1 (en) | Device and method for video generation | |
| US10891805B2 (en) | 3D model establishing device and calibration method applying to the same | |
| CN115037869A (zh) | 自动对焦方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220801 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240219 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7452620 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |