JP7251474B2 - 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム - Google Patents
情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム Download PDFInfo
- Publication number
- JP7251474B2 JP7251474B2 JP2019515165A JP2019515165A JP7251474B2 JP 7251474 B2 JP7251474 B2 JP 7251474B2 JP 2019515165 A JP2019515165 A JP 2019515165A JP 2019515165 A JP2019515165 A JP 2019515165A JP 7251474 B2 JP7251474 B2 JP 7251474B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- imaging device
- imaging
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/24—Details of cameras or camera bodies; Accessories therefor with means for separately producing marks on the film, e.g. title, time of exposure
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
- H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Description
<1.第1の実施の形態>
[1-1.画像処理システムの構成]
[1-2.移動体の構成]
[1-3.撮像装置の構成]
[1-4.センサ装置の構成]
[1-5.端末装置およびクラウドの構成]
[1-6.画像処理システムにより行なわれる処理]
[1-7.撮像およびセンサ情報対応付け処理]
[1-8.合成画像作成処理]
<2.第2の実施の形態>
[2-1.第2の実施の形態における合成画像作成の概要]
[2-2.第2の実施の形態における全体処理]
[2-3.合成画像作成処理]
<3.変形例>
[1-1.画像処理システムの構成]
まず図1を参照して画像処理システム1000の構成について説明する。画像処理システム1000は、移動体100、撮像装置200、センサ装置300、端末装置400およびクラウド500から構成されている。
図2および図3を参照して移動体100の構成について説明する。図2Aは移動体100の平面図であり、図2Bは移動体100の正面図である。中心部としての例えば円筒状または角筒状の胴体部1と、胴体部1の上部に固定された支持軸2a~2fとから機体が構成される。一例として、胴体部1が6角筒状とされ、胴体部1の中心から6本の支持軸2a~2fが等角間隔で放射状に延びるようになされている。胴体部1および支持軸2a~2fは、軽量で強度の高い材料から構成されている。
Bus)通信などの有線通信、Wi-Fiなどの無線LAN(Local Area Network)、Bluetooth(登録商標)、ZigBeeなどの無線通信どちらであってもよい。また通信部106は、地上から移動体100を制御するため機器(ベースステーションと称する)として機能する外部機器(パーソナルコンピュータ、タブレット端末、スマートフォンなど)との通信も行うものである。移動体100は通信部106による通信を介して飛行中の移動体100の状態をベースステーションに送信する。また、ベースステーションからの指示などを受信する。移動体100は空中を飛行する飛行体であるため、ベースステーションとの通信は無線通信により行われる。
Experts Group)などの規格に基づいて圧縮された状態または非圧縮の状態で保存される。また、保存された画像に関する情報、撮像位置を示す撮像位置情報、撮像日時を示す撮像時刻情報などの付加情報を含むEXIF(Exchangeable Image File Format)データもその画像に対応付けられて保存される。また、IMUモジュール209に得られるIMUデータはXMP(Extensible Metadata Platform)として画像に対応付けられる。画像は情報処理部250によりセンサ情報がメタデータとして対応付けられた状態で記憶部207に保存される。
図5のブロック図を参照してセンサ装置300の構成について説明する。センサ装置300は、制御部301、GPSモジュール302、IMUモジュール303、高度計304、方位計305、照度センサ306および通信部307を備えている。
端末装置400は、パーソナルコンピュータなどであり、撮像装置200により撮像された画像およびセンサ情報を用いて合成画像作成処理を行うものである。撮像装置200が撮像した画像とセンサ情報は撮像装置200の記憶部207からUSBフラッシュメモリ、SDメモリカードなどの携帯型記憶媒体を介して撮像装置200から端末装置400に転送される。なお、撮像装置200が記憶部207を介さずに直接携帯型記憶媒体に画像およびセンサ情報を保存するようにしてもよい。また、撮像装置200の通信部208と端末装置400間の通信により画像が転送されてもよい。端末装置400はノートパソコン、据え置き型パソコンであってもよいし、十分な処理能力を備え、合成画像作成処理を実行することができるものであれば、タブレット端末、スマートフォン、ゲーム機などでもよい。端末装置400など、合成画像作成処理を行う装置または処理部が特許請求の範囲の画像処理装置に相当するものである。
次に、図6のフローチャートを参照して画像処理システム1000により行なわれる処理の概要について説明する。まず、ステップS11で予めプログラミングされた飛行計画が移動体100の制御部101にアップロードされるとともに、予めプログラミングされた撮像計画が撮像装置200の制御部201にアップロードされる。このアップロードは例えばユーザの操作入力やベースステーションからの自動転送などにより行なわれる。次にステップS12で、移動体100の飛行が開始される。次にステップS13で、移動体100の飛行中に撮像装置200による撮像が行なわれる。また、撮像装置200による撮像と並行してセンサ装置300によるセンサ情報の取得が行われる。次にステップS14で、撮像された画像はセンサ情報と対応付けられて撮像装置200の記憶部207に保存される。
次に図7乃至図10を参照して本実施の形態における撮像およびセンサ情報対応付け処理について説明する。図7は、移動体100の飛行ルートおよび撮像位置を説明するための図である。
次に撮像装置200により撮像された複数の画像から合成画像を作成する処理について説明する。合成画像作成処理は外部の端末装置400および/またはクラウド500において行なわれる。ただし、撮像装置200の情報処理部250が合成画像作成処理を実行するのに十分な処理能力を有している場合には撮像装置200により行なわれてもよい。
[2-1.第2の実施の形態における合成画像作成の概要]
次に本技術の第2の実施の形態について説明する。第2の実施の形態は撮像範囲の地表面の標高を用いることで高精度な合成画像作成を行うものである。標高とは、基準となる海(日本においては東京湾)の平均海面を0mの基準面とした場合の、その基準面からの地表面の高さのことである。まず、図14および図15を参照して第2の実施の形態における合成画像作成の概要について説明する。
次に第2の実施の形態における移動体100の飛行、撮像装置200による撮像から画像合成処理までの全体処理の概要を説明する。画像処理システム1000を構成する、移動体100、撮像装置200、センサ装置300、端末装置400およびクラウド500は第1の実施の形態と同様であるため、その説明を省略する。
hground=ZGPS-dLcosθ
次に、図21のフローチャートを参照して合成画像作成処理の詳細について説明する。合成画像作成処理は、地表面の標高データを地図データから取得した場合、LiDARで取得した場合どちらにおいても同様である。
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
(1)
移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
前記撮像指示に応じて前記撮像装置から送信される信号に応じて、センサ装置から前記移動体の位置情報を含むセンサ情報を取得し、
取得した前記画像に、取得した前記センサ情報を対応づける
情報処理装置。
(2)
前記センサ情報は、前記移動体の高度情報をさらに含む(1)記載の情報処理装置。
(3)
前記センサ情報は、前記移動体の傾き情報をさらに含む(1)または(2)に記載の情報処理装置。
(4)
前記信号は、前記撮像装置による画像の撮像に関連した露光タイミングを示すものである(1)から(3)のいずれかに記載の情報処理装置。
(5)
前記センサ情報は、前記露光タイミングの時点における最新のセンサ情報である
(1)から(4)のいずれかに記載の情報処理装置。
(6)
複数の前記センサ情報から新たなセンサ情報を算出し、
前記画像に、前記新たなセンサ情報を対応づける(1)から(5)のいずれかに記載の情報処理装置。
(7)
前記露光タイミングは、前記撮像装置が前記画像を撮像するために行った露光の終了のタイミングである(4)に記載の情報処理装置。
(8)
前記露光タイミングは、前記撮像装置が前記画像を撮像するために行った露光の開始のタイミングである(4)に記載の情報処理装置。
(9)
前記露光タイミングは、前記撮像装置が前記画像を撮像するための撮像指示が行われたタイミングである(4)に記載の情報処理装置。
(10)
複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する(1)から(9)のいずれかに記載の情報処理装置。
(11)
複数の前記画像を前記センサ情報に基づいて位置を補正して配置する(10)に記載の情報処理装置。
(12)
前記センサ情報は、前記移動体の高度情報をさらに含み、
前記画像を前記高度情報に基づいて拡大または縮小して配置する(10)に記載の情報処理装置。
(13)
前記センサ情報は、前記移動体の傾き情報をさらに含み、
前記画像を前記傾き情報に基づいて台形補正および/または切り出し処理を施して配置する(10)に記載の情報処理装置。
(14)
前記撮像装置により撮像される地表面の標高を示す標高データを取得し、該標高データを前記センサ情報に含まれる情報に対応付ける
(1)から(13)のいずれかに記載の情報処理装置。
(15)
前記標高データを前記画像に対応付ける(14)に記載の情報処理装置。
(16)
前記標高データは、前記移動体の前記位置情報に基づいて、位置および標高の情報を有する地図データから取得される(14)または(15)に記載の情報処理装置。
(17)
前記標高データは、前記移動体に搭載された測距センサにより取得される距離情報に基づき取得される(14)または(15)に記載の情報処理装置。
(18)
前記撮像指示に応じて前記撮像装置から送信される信号に応じて、前記測距センサにより標高データを取得し、取得した前記標高データを前記センサ情報に含まれる情報に対応づける(17)に記載の情報処理装置。
(19)
移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
前記撮像指示に応じて前記撮像装置から送信される信号に応じて、センサ装置から前記移動体の位置情報を含むセンサ情報を取得し、
取得した前記画像に、取得した前記センサ情報を対応づける
情報処理方法。
(20)
移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
前記撮像指示に応じて前記撮像装置から送信される信号に応じて、センサ装置から前記移動体の位置情報を含むセンサ情報を取得し、
取得した前記画像に、取得した前記センサ情報を対応づける
情報処理方法をコンピュータに実行させる
情報処理プログラム。
(21)
撮像指示に応じて撮像装置から送信される信号に応じて取得された移動体の位置情報を含むセンサ情報が対応付けられた複数の画像の供給を受けて、複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する
画像処理装置。
(22)
さらに、前記撮像装置により撮像された地表面の標高を示す標高データに基づいて、複数の前記画像を配置することにより前記合成画像を作成する(21)に記載の画像処理装置。
(23)
前記移動体の移動に伴う前記撮像装置の撮像範囲に対応した第1の座標系と、前記画像を配置する面に対応した第2の座標系を定義し、
前記センサ情報と前記標高データとに基づき、前記画像の前記地表面への投影位置を前記第1の座標系で算出し、
前記投影位置を前記第2の座標系に変換することにより前記画像の配置を行う(22)に記載の画像処理装置。
(24)
前記画像の前記投影位置は、四角形状の前記画像の四隅のそれぞれについて算出される(23)に記載の画像処理装置。
(25)
前記画像の四隅の前記投影位置を前記第2の座標系に変換することにより、前記画像の配置を行う(24)に記載の画像処理装置。
(26)
前記標高データは、位置および標高の情報を有する地図データから取得される(22)から(25)のいずれかに記載の画像処理装置。
(27)
前記標高データは、前記移動体の前記位置情報に基づいて、位置および標高の情報を有する地図データを参照することにより取得される(26)に記載の画像処理装置。
(28)
前記標高データは、前記移動体に搭載された測距センサにより取得される(22)から(25)のいずれかに記載の画像処理装置。
(29)
移動体と、
前記移動体に搭載された撮像装置と、
前記移動体に搭載され、前記移動体の位置情報を含むセンサ情報を検出するセンサ装置と、
前記撮像装置により撮像された画像に前記センサ情報を対応付ける情報処理装置と
からなる画像処理システム。
(30)
前記情報処理装置は、複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する(29)に記載の画像処理システム。
(31)
前記撮像装置により撮像され、前記センサ情報が対応付けられた複数の前記画像の供給を受けて、複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する画像処理装置を備える(29)または(30)に記載の画像処理システム。
200・・・撮像装置
300・・・センサ装置
250・・・情報処理部
1000・・画像処理システム
Claims (28)
- 移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
前記撮像指示に応じて前記撮像装置から送信される前記撮像装置における露光タイミングを示す信号に応じて、前記移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報をセンサ装置から取得し、
前記センサ情報と、前記撮像装置により撮像された地表面の標高を示す標高データと、に基づいて複数の前記画像を配置することにより合成画像を作成するために前記画像に前記センサ情報を対応づける
情報処理装置。 - 前記センサ情報は、前記移動体の高度情報をさらに含む
請求項1に記載の情報処理装置。 - 前記センサ情報は、前記移動体の傾き情報をさらに含む
請求項1に記載の情報処理装置。 - 複数の前記センサ情報から新たなセンサ情報を算出し、前記画像に、前記新たなセンサ情報を対応づける
請求項1に記載の情報処理装置。 - 前記露光タイミングは、前記撮像装置が前記画像を撮像するために行った露光の終了のタイミングである
請求項1に記載の情報処理装置。 - 前記露光タイミングは、前記撮像装置が前記画像を撮像するために行った露光の開始のタイミングである
請求項1に記載の情報処理装置。 - 前記露光タイミングは、前記撮像装置が前記画像を撮像するための撮像指示が行われたタイミングである
請求項1に記載の情報処理装置。 - 複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する
請求項1に記載の情報処理装置。 - 複数の前記画像を前記センサ情報に基づいて位置を補正して配置する
請求項8に記載の情報処理装置。 - 前記センサ情報は、前記移動体の高度情報をさらに含み、
前記画像を前記高度情報に基づいて拡大または縮小して配置する
請求項8に記載の情報処理装置。 - 前記センサ情報は、前記移動体の傾き情報をさらに含み、
前記画像を前記傾き情報に基づいて台形補正および/または切り出し処理を施して配置する
請求項8に記載の情報処理装置。 - 前記撮像装置により撮像される地表面の標高を示す標高データを取得し、該標高データを前記センサ情報に含まれる情報に対応付ける
請求項1に記載の情報処理装置。 - 前記標高データを前記画像に対応付ける
請求項12に記載の情報処理装置。 - 前記標高データは、前記移動体の前記位置情報に基づいて、位置および標高の情報を有する地図データから取得される
請求項12に記載の情報処理装置。 - 前記標高データは、前記移動体に搭載された測距センサにより取得される距離情報に基づき取得される
請求項12に記載の情報処理装置。 - 前記撮像指示に応じて前記撮像装置から送信される信号に応じて、前記測距センサにより標高データを取得し、取得した前記標高データを前記センサ情報に含まれる情報に対応づける
請求項15に記載の情報処理装置。 - 移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
前記撮像指示に応じて前記撮像装置から送信される前記撮像装置における露光タイミングを示す信号に応じて、前記移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報をセンサ装置から取得し、
前記センサ情報と、前記撮像装置により撮像された地表面の標高を示す標高データと、に基づいて複数の前記画像を配置することにより合成画像を作成するために前記画像に前記センサ情報を対応づける
情報処理方法。 - 移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
前記撮像指示に応じて前記撮像装置から送信される前記撮像装置における露光タイミングを示す信号に応じて、前記移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報をセンサ装置から取得し、
前記センサ情報と、前記撮像装置により撮像された地表面の標高を示す標高データと、に基づいて複数の前記画像を配置することにより合成画像を作成するために前記画像に前記センサ情報を対応づける
情報処理方法をコンピュータに実行させる情報処理プログラム。 - 撮像指示に応じて撮像装置から送信される前記撮像装置における露光タイミングを示す信号に応じて取得された移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報が対応付けられた複数の画像の供給を受けて、複数の前記画像を前記センサ情報と前記撮像装置により撮像された地表面の標高を示す標高データとに基づいて配置することにより合成画像を作成する
画像処理装置。 - 前記移動体の移動に伴う前記撮像装置の撮像範囲に対応した第1の座標系と、前記画像を配置する面に対応した第2の座標系を定義し、
前記センサ情報と前記標高データとに基づき、前記画像の前記地表面への投影位置を前記第1の座標系で算出し、
前記投影位置を前記第2の座標系に変換することにより前記画像の配置を行う
請求項19に記載の画像処理装置。 - 前記画像の前記投影位置は、四角形状の前記画像の四隅のそれぞれについて算出される
請求項20に記載の画像処理装置。 - 前記画像の四隅の前記投影位置を前記第2の座標系に変換することにより、前記画像の配置を行う
請求項21に記載の画像処理装置。 - 前記標高データは、位置および標高の情報を有する地図データから取得される
請求項19に記載の画像処理装置。 - 前記標高データは、前記移動体の前記位置情報に基づいて、位置および標高の情報を有する地図データを参照することにより取得される
請求項23に記載の画像処理装置。 - 前記標高データは、前記移動体に搭載された測距センサにより取得される
請求項19に記載の画像処理装置。 - 移動体と、
前記移動体に搭載された撮像装置と、
前記移動体に搭載され、撮像指示に応じて前記撮像装置から送信される前記撮像装置における露光タイミングを示す信号に応じて、前記移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報を検出するセンサ装置と、
前記センサ情報と、前記撮像装置により撮像された地表面の標高を示す標高データと、に基づいて前記撮像装置により撮像された複数の画像を配置することにより合成画像を作成するために前記画像に前記センサ情報を対応付ける情報処理装置と
からなる画像処理システム。 - 前記情報処理装置は、複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する
請求項26に記載の画像処理システム。 - 前記撮像装置により撮像され、前記センサ情報が対応付けられた複数の前記画像の供給を受けて、複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する画像処理装置を備える
請求項26に記載の画像処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022198842A JP2023039993A (ja) | 2017-04-28 | 2022-12-13 | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017090763 | 2017-04-28 | ||
JP2017090763 | 2017-04-28 | ||
JP2018024840 | 2018-02-15 | ||
JP2018024840 | 2018-02-15 | ||
PCT/JP2018/012289 WO2018198634A1 (ja) | 2017-04-28 | 2018-03-27 | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022198842A Division JP2023039993A (ja) | 2017-04-28 | 2022-12-13 | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018198634A1 JPWO2018198634A1 (ja) | 2020-03-05 |
JP7251474B2 true JP7251474B2 (ja) | 2023-04-04 |
Family
ID=63918279
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019515165A Active JP7251474B2 (ja) | 2017-04-28 | 2018-03-27 | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム |
JP2022198842A Pending JP2023039993A (ja) | 2017-04-28 | 2022-12-13 | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022198842A Pending JP2023039993A (ja) | 2017-04-28 | 2022-12-13 | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム |
Country Status (6)
Country | Link |
---|---|
US (3) | US11341608B2 (ja) |
EP (1) | EP3618417B1 (ja) |
JP (2) | JP7251474B2 (ja) |
CN (2) | CN115361482A (ja) |
AU (1) | AU2018259895B2 (ja) |
WO (1) | WO2018198634A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7251474B2 (ja) * | 2017-04-28 | 2023-04-04 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム |
TWI688502B (zh) * | 2018-02-14 | 2020-03-21 | 先進光電科技股份有限公司 | 用於警告車輛障礙物的設備 |
JP2020088821A (ja) * | 2018-11-30 | 2020-06-04 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 画像生成装置、画像生成方法、プログラム、及び記録媒体 |
JP7288632B2 (ja) * | 2019-08-06 | 2023-06-08 | ヤンマーパワーテクノロジー株式会社 | 生育値算出方法、および生育値算出システム |
WO2021038733A1 (ja) * | 2019-08-27 | 2021-03-04 | 日本電信電話株式会社 | 画像処理システム、画像処理装置、画像処理方法、およびプログラム |
US11544899B2 (en) * | 2019-10-15 | 2023-01-03 | Toyota Research Institute, Inc. | System and method for generating terrain maps |
US20230077169A1 (en) * | 2020-01-27 | 2023-03-09 | Sony Group Corporation | Imaging control device and imaging control method |
WO2023149963A1 (en) | 2022-02-01 | 2023-08-10 | Landscan Llc | Systems and methods for multispectral landscape mapping |
WO2023175833A1 (ja) * | 2022-03-17 | 2023-09-21 | 日本電気株式会社 | 画像処理装置、システム、方法、及びコンピュータ可読媒体 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008304260A (ja) | 2007-06-06 | 2008-12-18 | Mitsubishi Electric Corp | 画像処理装置 |
US20100328499A1 (en) | 2009-06-26 | 2010-12-30 | Flight Landata, Inc. | Dual-Swath Imaging System |
JP2014006148A (ja) | 2012-06-25 | 2014-01-16 | Topcon Corp | 航空写真撮像方法及び航空写真撮像システム |
US20140168420A1 (en) | 2011-04-26 | 2014-06-19 | Eads Deutschland Gmbh | Method and System for Inspecting a Surface Area for Material Defects |
WO2015163107A1 (ja) | 2014-04-25 | 2015-10-29 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
WO2016033754A1 (zh) | 2014-09-03 | 2016-03-10 | 深圳市大疆创新科技有限公司 | Uav及其清洁墙体的方法、采用该uav的墙体清洁系统 |
US20160093212A1 (en) | 2014-08-22 | 2016-03-31 | Verizon Patent And Licensing Inc. | Using aerial imaging to provide supplemental information about a location |
JP2016085100A (ja) | 2014-10-24 | 2016-05-19 | 株式会社amuse oneself | 測量システム、設定装置、設定プログラム及び記録媒体 |
US20160179096A1 (en) | 2014-05-23 | 2016-06-23 | Lily Robotics, Inc. | Launching unmanned aerial copter from mid-air |
WO2016131005A1 (en) | 2015-02-13 | 2016-08-18 | Unmanned Innovation, Inc. | Unmanned aerial vehicle sensor activation and correlation |
US20160286175A1 (en) | 2013-12-02 | 2016-09-29 | David Robert Dvorak | System to control camera triggering and visualize aerial imaging missions |
JP2016223935A (ja) | 2015-06-01 | 2016-12-28 | 株式会社Nttファシリティーズ | 画像処理システム、画像処理方法及びプログラム |
WO2017026337A1 (ja) | 2015-08-07 | 2017-02-16 | 株式会社プロドローン | 飛行制御装置およびこれを備える無人航空機 |
JP2017059861A (ja) | 2015-09-14 | 2017-03-23 | オリンパス株式会社 | 情報処理装置、情報処理装置の制御方法、及び情報処理プログラム |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2791151A (en) * | 1953-05-06 | 1957-05-07 | John T Pennington | Method of and apparatus for aerotriangulation with convergent photography |
US3251283A (en) * | 1964-02-11 | 1966-05-17 | Itek Corp | Photographic system |
US3992707A (en) * | 1974-09-13 | 1976-11-16 | Vereinigte Flugtechnische Werke-Fokker Gesellschaft Mit Beschrankter Haftung | Reproduction of a field of view as scanned by a remote controlled aircraft |
JP3541855B2 (ja) | 1994-12-01 | 2004-07-14 | 朝日航洋株式会社 | 3次元データ抽出方法及び装置 |
JP2947171B2 (ja) * | 1996-05-08 | 1999-09-13 | 日本電気株式会社 | 航空写真作成装置 |
CA2484422A1 (en) * | 2004-10-08 | 2006-04-08 | Furgro Airborne Surveys | Unmanned airborne vehicle for geophysical surveying |
US7725257B2 (en) * | 2006-09-05 | 2010-05-25 | Honeywell International Inc. | Method and system for navigation of an ummanned aerial vehicle in an urban environment |
US20100026822A1 (en) * | 2008-07-31 | 2010-02-04 | Itt Manufacturing Enterprises, Inc. | Multiplexing Imaging System for Area Coverage and Point Targets |
JP2010136302A (ja) * | 2008-12-08 | 2010-06-17 | Sony Corp | 撮像装置、撮像方法、およびプログラム |
US8624959B1 (en) * | 2009-09-11 | 2014-01-07 | The Boeing Company | Stereo video movies |
EP2423871B1 (en) * | 2010-08-25 | 2014-06-18 | Lakeside Labs GmbH | Apparatus and method for generating an overview image of a plurality of images using an accuracy information |
CN102255259A (zh) | 2011-03-29 | 2011-11-23 | 山东鲁能智能技术有限公司 | 适合于无人飞行器的输电线路巡检装置 |
EP2527787B1 (en) | 2011-05-23 | 2019-09-11 | Kabushiki Kaisha TOPCON | Aerial photograph image pickup method and aerial photograph image pickup apparatus |
US8913784B2 (en) * | 2011-08-29 | 2014-12-16 | Raytheon Company | Noise reduction in light detection and ranging based imaging |
US9426451B2 (en) * | 2013-03-15 | 2016-08-23 | Digimarc Corporation | Cooperative photography |
WO2015075700A1 (en) * | 2013-11-25 | 2015-05-28 | First Resource Management Group Inc. | Apparatus for and method of forest-inventory management |
US20150187390A1 (en) * | 2013-12-30 | 2015-07-02 | Lyve Minds, Inc. | Video metadata |
US9052571B1 (en) * | 2014-06-20 | 2015-06-09 | nearmap australia pty ltd. | Wide-area aerial camera systems |
US10915673B2 (en) * | 2014-07-01 | 2021-02-09 | Scanifly, LLC | Device, method, apparatus, and computer-readable medium for solar site assessment |
US9876954B2 (en) * | 2014-10-10 | 2018-01-23 | Iec Infrared Systems, Llc | Calibrating panoramic imaging system in multiple dimensions |
US10752378B2 (en) * | 2014-12-18 | 2020-08-25 | The Boeing Company | Mobile apparatus for pest detection and engagement |
JP6494386B2 (ja) * | 2015-04-10 | 2019-04-03 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US9576373B2 (en) * | 2015-04-30 | 2017-02-21 | Harris Corporation | Geospatial imaging system providing segmentation and classification features and related methods |
CN104853112B (zh) * | 2015-05-06 | 2018-01-09 | 青岛海信移动通信技术股份有限公司 | 一种控制长曝光时间的方法及装置 |
CN104853113A (zh) * | 2015-05-15 | 2015-08-19 | 零度智控(北京)智能科技有限公司 | 自适应调节相机曝光时间的装置及方法 |
JP6326009B2 (ja) * | 2015-06-29 | 2018-05-16 | 株式会社オプティム | 無線航空機、位置情報出力方法及び無線航空機用プログラム。 |
JP6594180B2 (ja) * | 2015-11-25 | 2019-10-23 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
US10217283B2 (en) * | 2015-12-17 | 2019-02-26 | Google Llc | Navigation through multidimensional images spaces |
US10565789B2 (en) * | 2016-01-13 | 2020-02-18 | Vito Nv | Method and system for geometric referencing of multi-spectral data |
JP6733267B2 (ja) * | 2016-03-31 | 2020-07-29 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
US20170294002A1 (en) * | 2016-04-07 | 2017-10-12 | Qualcomm Incorporated | Systems and methods for adjusting an image |
US11453494B2 (en) * | 2016-05-20 | 2022-09-27 | Skydio, Inc. | Unmanned aerial vehicle area surveying |
KR102345886B1 (ko) * | 2016-06-20 | 2022-01-03 | 코그넥스코오포레이션 | 알려진 이동 중에 이동하는 물체의 3차원 측정을 위한 방법 |
US9911189B1 (en) * | 2016-06-30 | 2018-03-06 | Kitty Hawk Corporation | Navigation based on downward facing sensors |
WO2018022864A1 (en) * | 2016-07-28 | 2018-02-01 | The Texas A&M University System | Method and apparatus for radiometric calibration and mosaicking of aerial images |
US10926875B2 (en) * | 2016-12-14 | 2021-02-23 | Sanmina Corporation | Devices and methods for facilitating capture of unmanned aerial vehicles |
JP7251474B2 (ja) * | 2017-04-28 | 2023-04-04 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム |
JP7152137B2 (ja) * | 2017-08-28 | 2022-10-12 | 株式会社トプコン | 写真測量システム及び写真測量方法 |
US10364027B2 (en) * | 2017-10-24 | 2019-07-30 | Loveland Innovations, LLC | Crisscross boustrophedonic flight patterns for UAV scanning and imaging |
-
2018
- 2018-03-27 JP JP2019515165A patent/JP7251474B2/ja active Active
- 2018-03-27 US US16/607,006 patent/US11341608B2/en active Active
- 2018-03-27 CN CN202210934986.4A patent/CN115361482A/zh active Pending
- 2018-03-27 EP EP18790277.0A patent/EP3618417B1/en active Active
- 2018-03-27 WO PCT/JP2018/012289 patent/WO2018198634A1/ja active Application Filing
- 2018-03-27 CN CN201880026201.5A patent/CN110537365B/zh active Active
- 2018-03-27 AU AU2018259895A patent/AU2018259895B2/en active Active
-
2022
- 2022-04-19 US US17/724,181 patent/US11756158B2/en active Active
- 2022-12-13 JP JP2022198842A patent/JP2023039993A/ja active Pending
-
2023
- 2023-07-31 US US18/362,466 patent/US20230419445A1/en active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008304260A (ja) | 2007-06-06 | 2008-12-18 | Mitsubishi Electric Corp | 画像処理装置 |
US20100328499A1 (en) | 2009-06-26 | 2010-12-30 | Flight Landata, Inc. | Dual-Swath Imaging System |
US20140168420A1 (en) | 2011-04-26 | 2014-06-19 | Eads Deutschland Gmbh | Method and System for Inspecting a Surface Area for Material Defects |
JP2014006148A (ja) | 2012-06-25 | 2014-01-16 | Topcon Corp | 航空写真撮像方法及び航空写真撮像システム |
US20160286175A1 (en) | 2013-12-02 | 2016-09-29 | David Robert Dvorak | System to control camera triggering and visualize aerial imaging missions |
WO2015163107A1 (ja) | 2014-04-25 | 2015-10-29 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
US20160179096A1 (en) | 2014-05-23 | 2016-06-23 | Lily Robotics, Inc. | Launching unmanned aerial copter from mid-air |
US20160093212A1 (en) | 2014-08-22 | 2016-03-31 | Verizon Patent And Licensing Inc. | Using aerial imaging to provide supplemental information about a location |
WO2016033754A1 (zh) | 2014-09-03 | 2016-03-10 | 深圳市大疆创新科技有限公司 | Uav及其清洁墙体的方法、采用该uav的墙体清洁系统 |
JP2016085100A (ja) | 2014-10-24 | 2016-05-19 | 株式会社amuse oneself | 測量システム、設定装置、設定プログラム及び記録媒体 |
WO2016131005A1 (en) | 2015-02-13 | 2016-08-18 | Unmanned Innovation, Inc. | Unmanned aerial vehicle sensor activation and correlation |
JP2016223935A (ja) | 2015-06-01 | 2016-12-28 | 株式会社Nttファシリティーズ | 画像処理システム、画像処理方法及びプログラム |
WO2017026337A1 (ja) | 2015-08-07 | 2017-02-16 | 株式会社プロドローン | 飛行制御装置およびこれを備える無人航空機 |
JP2017059861A (ja) | 2015-09-14 | 2017-03-23 | オリンパス株式会社 | 情報処理装置、情報処理装置の制御方法、及び情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
AU2018259895B2 (en) | 2021-05-06 |
AU2018259895A1 (en) | 2019-08-15 |
US20230419445A1 (en) | 2023-12-28 |
US11341608B2 (en) | 2022-05-24 |
US11756158B2 (en) | 2023-09-12 |
CN110537365B (zh) | 2022-09-02 |
US20200134783A1 (en) | 2020-04-30 |
US20220237738A1 (en) | 2022-07-28 |
CN110537365A (zh) | 2019-12-03 |
EP3618417A1 (en) | 2020-03-04 |
EP3618417A4 (en) | 2020-05-06 |
JP2023039993A (ja) | 2023-03-22 |
EP3618417B1 (en) | 2023-12-13 |
JPWO2018198634A1 (ja) | 2020-03-05 |
CN115361482A (zh) | 2022-11-18 |
WO2018198634A1 (ja) | 2018-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7251474B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム | |
CN107504957B (zh) | 利用无人机多视角摄像快速进行三维地形模型构建的方法 | |
JP6803919B2 (ja) | 飛行経路生成方法、飛行経路生成システム、飛行体、プログラム、及び記録媒体 | |
US9007461B2 (en) | Aerial photograph image pickup method and aerial photograph image pickup apparatus | |
JP6878567B2 (ja) | 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体 | |
JP6765512B2 (ja) | 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体 | |
Kim et al. | Feasibility of employing a smartphone as the payload in a photogrammetric UAV system | |
JP5748561B2 (ja) | 航空写真撮像方法及び航空写真撮像装置 | |
Roca et al. | Lidar-equipped uav for building information modelling | |
WO2015106462A1 (zh) | 一种无人机载成像高光谱几何校正的方法及系统 | |
JP6138326B1 (ja) | 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置 | |
KR101550780B1 (ko) | 무인 항공기를 이용한 영상 데이터 수집 시스템 및 방법 | |
CN112113542A (zh) | 一种无人机航摄建设用地土地专项数据验收的方法 | |
WO2019100219A1 (zh) | 输出影像生成方法、设备及无人机 | |
US11122209B2 (en) | Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium | |
CN106043723A (zh) | 一种固定翼无人机摇摆式倾斜摄影系统及方法 | |
JP2017201261A (ja) | 形状情報生成システム | |
JP2016223934A (ja) | 位置補正システム、位置補正方法、および位置補正プログラム | |
Saifizi et al. | UAV based image acquisition data for 3D model application | |
Reich et al. | Filling the Holes: potential of UAV-based photogrammetric façade modelling | |
Pagliari et al. | Use of fisheye parrot bebop 2 images for 3d modelling using commercial photogrammetric software | |
Darwin et al. | Light weight rotarywing UAV for large scale mapping applications | |
Udin et al. | Large scale mapping using digital aerial imagery of unmanned aerial vehicle | |
TWI819569B (zh) | 架構於無人機群飛之零時差巨幅空照圖拍攝裝置 | |
정호현 | Development and Accuracy Evaluation of Customized UAV for Photogrammetry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220511 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221212 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221212 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221220 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230306 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7251474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |