JP7060157B2 - データ圧縮装置、データ圧縮方法、及びプログラム - Google Patents

データ圧縮装置、データ圧縮方法、及びプログラム Download PDF

Info

Publication number
JP7060157B2
JP7060157B2 JP2021505525A JP2021505525A JP7060157B2 JP 7060157 B2 JP7060157 B2 JP 7060157B2 JP 2021505525 A JP2021505525 A JP 2021505525A JP 2021505525 A JP2021505525 A JP 2021505525A JP 7060157 B2 JP7060157 B2 JP 7060157B2
Authority
JP
Japan
Prior art keywords
data
image
point cloud
compression
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021505525A
Other languages
English (en)
Other versions
JPWO2020183839A1 (ja
Inventor
雅 高木
和哉 松尾
リドウィナ アユ アンダリニ
純 塩田
亮太 中田
航哉 森
知洋 井上
雅裕 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2020183839A1 publication Critical patent/JPWO2020183839A1/ja
Application granted granted Critical
Publication of JP7060157B2 publication Critical patent/JP7060157B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)

Description

本発明の態様は、測距センサから出力される点群データを圧縮する技術に関する。
自動車やロボットの自律運転において、周囲の三次元空間を正確に計測する技術は必要不可欠であり、用途に応じて種々のセンサデバイスが利用される。とりわけ、全方位をカバーできる広い視野角を持ち、個々の障害物までの距離を正確に計測できるLiDAR(Light Detection and Ranging:ライダー)は有効性が高い。LiDARは、光を用いたリモートセンシング技術の一種であり、パルス状のレーザ光線を放射状に照射し、その反射光が届くまでの時間差から対象物までの距離を推定するものである。LiDARの原理はレーダーと類似しているが、レーダーの電波より波長の短い光を用いることで、分解能を向上させている。これにより、半径数十メートル以内に存在する対象物との相対距離を数センチメートル程度の誤差で測定できる(例えば非特許文献1を参照)。
現行のLiDAR機器では、一秒間に数十万点から数百万点の測距が可能であるが、今後は測距可能な点数の増加が見込まれる。これに伴い、LiDAR機器から出力されるデータ容量も、現状の一秒当たり数メガバイトより増加すると考えられる。
Velodyne LiDAR, Inc., "Puck REAL-TIME 3D LiDAR SENSOR,"[online], [平成31年1月23日検索], April 2018, インターネット(URL:https://velodynelidar.com/vlp-16.html). Shea Hagstrom, et al., "Estimating sampling completeness of lidar datasets using voxel-based geometry,"Proc. of SPIE Vol. 9080, June 2014.
LiDAR機器から出力される点群データは、一般的に、レーザ光線の照射方向と反射地点までの距離との組を羅列したバイナリ形式の生データである。しかしながら、この点群データは、そのままでは取扱いが煩雑なため、通常はLiDAR機器を原点とした三次元直交座標に変換した上で利用されることが多い。従来は、変換により得られた三次元座標値をプレーンテキストで羅列したデータ形式が広く利用されているが、バイナリ形式の生データと比較してファイルサイズが大きくなるという問題がある。さらに、三次元座標値をプレーンテキストで羅列したデータ形式は三次元空間を直接的に表現したデータ形式ではないため、隣り合う点同士の位置関係など、点群データの時空間的な連続性をデータ圧縮に利用することが難しい。
これに対して、LiDAR機器を中心とした三次元メッシュに空間を区切り、全てのメッシュについてメッシュ内の点の有無を集計することで、三次元空間を直接的に表現するデータ形式も提案されている(例えば非特許文献2を参照)。しかしながら、全ての点を内包する広大な領域をカバーするには、膨大な数のメッシュを用意する必要があり、ファイルサイズが著しく肥大化しやすい。領域が確定すれば点の個数によらず、ファイルサイズが一定になる特徴はあるが、メッシュ粒度を細かくすると、粒度の三乗に比例してファイルサイズが爆発的に増大するのが難点である。
一方で、自動車に搭載したLiDAR機器から出力される点群データは、現実世界を忠実に再現した三次元地図を作成するために非常に有用であり、リアルタイムで収集することが望ましい。移動体である自動車から点群データを送信するには携帯電話網を用いる必要があり、送信するデータ容量が通信費に直結するため、可能な限りファイルサイズを削減することが望ましい。また、通信網の負荷低減の観点でも、データ圧縮は重要な技術課題である。
本発明は、上記の事情に着目してなされたものであり、その目的は、測距センサから出力される点群データを効果的に圧縮することができる技術を提供することである。
本発明の一態様では、データ圧縮装置は、測距センサから、複数組の方向及び距離を含む点群データを取得するデータ取得部と、前記複数組の方向及び距離に基づいて、ビットマップ画像を生成する画像生成部と、前記ビットマップ画像に対して所定の画像圧縮技術を適用する画像圧縮部と、を備える。
本発明の一態様によれば、測距センサから出力される点群データを効果的に圧縮することができる技術を提供することができる。
図1は、本発明の一実施形態に係る測距装置を例示するブロック図である。 図2は、図1に示したデータ変換部の処理内容を説明する図である。 図3は、図1に示したデータ整理部の処理内容を説明する図である。 図4は、図1に示したデータ圧縮装置のハードウェア構成を例示するブロック図である。 図5は、図1に示したデータ圧縮装置の動作例を説明するフローチャートである。 図6は、図1に示したデータ圧縮装置及び従来技術による点群データの圧縮結果を示す図である。 図7は、図1に示したデータ圧縮装置による圧縮率パラメータに応じた点群データの圧縮結果を示す図である。 図8は、本発明の一実施形態に係るデータ圧縮装置の動作例を説明するフローチャートである。
以下、図面を参照しながら本発明の実施形態を説明する。
<一実施形態>
[構成]
図1は、本発明の一実施形態に係る測距装置10を概略的に示している。図1に示すように、測距装置10は、LiDAR機器11及びデータ圧縮装置12を備える。測距装置10は、例えば、自動車又はロボットに適用される。測距装置10が自動車に搭載される場合、LiDAR機器11は例えば自動車の屋根に配置され、データ圧縮装置12はLiDAR機器11から出力される点群データに圧縮処理を施して自動車のECU(Electronic Control Unit)へ出力する。
LiDAR機器11は、レーザ光線を用いて周囲の三次元空間をスキャンし、それにより、光線の照射方向と照射方向に存在する物体までの距離との組を複数含む点群データを生成する。各組の照射方向及び距離が、レーザ光線が反射された地点(位置)を示す。点群データは周囲状況を認識することを可能にする。
LiDAR機器11は、パルス状のレーザ光線を発する光源及びその反射光を検出する検出器を備える。LiDAR機器11は、レーザ光線を二次元的に走査するために二軸周りに回転可能に静止部により支持されるミラーをさらに備える。ミラーは、LiDAR機器11が360度の視野を有するように回転軸周りに回転するとともに、LiDAR機器11が所定角度(例えば30度)の視野を有するように回転軸に垂直な軸周りに回転する。
LiDAR機器11から出力される点群データでは、各点は極座標で表現される。レーザ光線の照射方向は、2つの角度座標、例えば回転角(円周角ともいう)及び仰俯角、で表される。回転角は回転軸周りの角度を示し、仰俯角は回転軸に垂直な平面に対する角度を示す。回転角及び仰俯角はレーザ光線を照射したときのミラーの向きに対応する。距離は、レーザ光線を照射してその反射光が戻るまでの時間差から算出される。
LiDAR機器11は、点群データをデータ圧縮装置12へ出力する。LiDAR機器11は、スキャンを連続的に行い、すなわち、複数周にわたって回転軸周りに回転しながらスキャンを行う。
LiDAR機器11の構成は上述した例に限定されない。例えば、LiDAR機器11は複数の光源を備えてよい。LiDAR機器11が多数の光源を備える場合、LiDAR機器11は回転型のものでなくてもよい。上述したLiDAR機器11は、周囲の三次元空間をスキャンすることにより、複数組の方向及び距離を含む点群データを生成する測距センサの非限定的な例である。
データ圧縮装置12は、データ取得部121、データ変換部122、画像生成部123、及び画像圧縮部124を備える。データ圧縮装置12は、ハードウェアプロセッサを備えるコンピュータシステムにより実現される。このコンピュータシステムは、LiDAR機器11を制御するコントローラであり得る。
データ取得部121は、LiDAR機器11から点群データを取得する。LiDAR機器11から出力される点群データは、レーザ光線の照射方向と距離との複数の組を含むバイナリ形式の生データである。データ圧縮装置12は、一周分の点群データ、すなわち、LiDAR11が回転軸周りに一回転する間にLiDAR機器11により得られる点群データを単位として処理を行う。データ圧縮装置12は、一周分の点群データを処理し、次の一周分の点群データを処理し、さらに次の一周分の点群データを処理するなどといったように、一周分の点群データを処理する動作を繰り返す。以下の説明において、点群データとの記載は、基本的に、一周分の点群データを指すものとする。
データ変換部122は、点群データに含まれる複数組の照射方向及び距離を複数の色信号にそれぞれ変換する。本実施形態では、データ変換部122は、各組の照射方向及び距離を三次元座標値に変換し、これを同じく三つの数値で色を表現するRGB値(光の三原色である赤、緑、青の強度)とみなすことにより、複数組の照射方向及び距離を複数の色信号に変換する。ここで、三次元座標値は各々、三次元直交座標系の3つの座標値、例えば、x座標値、y座標値、及びz座標値を有する。すなわち、データ変換部122は、極座標から三次元直交座標への変換を行う。データ変換部122は、全ての座標値が0以上の値となるように、三次元直交座標系の原点を決定する。これは、後段の画像生成部123で負の数を扱えないという事情があるためである。ここでの処理内容は、図2に示すように、点群データに対応する全ての点を内包するような直方体を用意し、直方体のいずれかの頂点を原点として、その頂点から伸びる三辺の方向をx軸、y軸、z軸とすることに相当する。
図1を再び参照すると、画像生成部123は、点群データに含まれる複数組の照射方向及び距離に基づいてビットマップ画像を生成する。本実施形態では、画像生成部123は、点群データに含まれる照射方向に従って、データ変換部122で得られた複数の色信号を二次元のデータ構造にマッピングすることにより、ビットマップ画像を生成する。具体的には、画像生成部123は、データ整理部1231及び画像変換部1232を備える。
本実施形態では、LiDAR機器11がレーザ光線を二次元的に走査して測距を行うことに着目する。データ整理部1231は、照射方向に従って、具体的には仰俯角の大きさ及び回転角の大きさに従って、複数の三次元座標値を二次元データ構造にマッピングすなわち整理する。
LiDAR機器11は、所定角度刻みで仰俯角を変更しながら距離計測を行う操作を行い、所定角度だけ回転角を変更した上で同じ操作を行う。LiDAR機器11は、この動作を繰り返すことで点群データを生成する。具体的には、図3に示すように、LiDAR機器11は、上記操作を行うことにより点P~Pに関するデータを順に取得する。続いて、LiDAR機器11は、所定角度だけ回転角を変更して上記操作を行うことにより、点P~P(図3において点P~Pは図示されない)に関するデータを順に取得する。さらに、LiDAR機器11は、所定角度だけ回転角を変更して上記操作を行うことにより、点P~P12(図3において点P10~P12は図示されない)に関するデータを順に取得する。図3において、点Pの横に記載される(x,y,z)は、データ変換部122により得られた点Pに対応する三次元座標値を示す。また、方向Aが仰俯角方向を示し、方向Bが回転角方向を示す。
ここでは、説明のために、仰俯角方向に関して4回距離計測を行い、回転角方向に関する所定角度を15度とし、二次元データ構造をai,j(i=0,1,・・・,23、j=0,1,・・・,3)と表すこととする。仰俯角方向に並ぶ点P~Pはそれぞれa0,0、a0,1、a0,2、a0,3にマッピングされる。回転角方向に並ぶ点P、P、P、P13、P17はそれぞれa0,0、a1,0、a2,0、a3,0、a ,0にマッピングされる。このようにして、一周分の点群データがパノラマ写真状に二次元データ構造にマッピングされる。これにより、隣り合う点(要素)同士の空間的な位置関係が近くなり、全体として色信号が連続的に変化するようになる。このため、点群データの持つ空間的な連続性をデータ圧縮に利用することが可能となる。
図1を再び参照すると、画像変換部1232は、データ整理部1231の処理結果に従って、データ変換部122から出力された各点に対応する色信号をビットマップ形式の画像ファイルに埋め込む。図3に関して説明した例を引き続き参照すると、二次元データ構造に対応する24画素×4画素のビットマップ画像が用意される。ビットマップ画像内の左上の画素を原点とすると、点Pに対応する色信号が座標(0,0)の画素に書き込まれる。言い換えると、点Pに対応する座標値x、y、zが座標(0,0)の画素のR値、G値、B値として扱われる。同様にして、点Pに対応する色信号が座標(0,1)の画素に書き込まれ、点Pに対応する色信号が座標(1,0)の画素に書き込まれる。このようにして、点群データがビットマップ形式の画像ファイルに埋め込まれる。バイナリ形式の生データである点群データをビットマップ画像のデータに変換することにより、JPEGやPNGなどの既存の画像圧縮技術を適用することが可能になる。
画像圧縮部124は、ビットマップ画像に対して所定の画像圧縮技術を適用する。所定の画像圧縮技術として、JPEGやPNGなどの既存の画像圧縮技術を使用することができる。例えばJPEGを使用する場合、画像圧縮部124はJPEG形式のファイルを点群データとして出力する。データ圧縮装置12から出力される点群データでは、各点は三次元直交座標で表現される。
図4は、データ圧縮装置12のハードウェア構成の一例を概略的に示している。図4に示すように、データ圧縮装置12は、ハードウェアとして、CPU(Central Processing
Unit)41、プログラムメモリ42、RAM(Random Access Memory)43、及び入出力インタフェース44を備え、これらはバス45に接続される。CPU41は、バス45を通じてプログラムメモリ42、RAM43、及び入出力インタフェース44と通信する。
CPU41は、汎用プロセッサの一例である。プログラムメモリ42は、データ圧縮プログラムなどのプログラムを記憶する。プログラムメモリ42としては、例えば、ROM(Read-Only Memory)又はフラッシュメモリを使用することができる。RAM43はワーキングメモリとしてCPU41に使用される。RAM43としては、例えば、SRAM(Static RAM)又はDRAM(Dynamic RAM)を使用することができる。
データ圧縮装置12の機能、例えば、データ取得部121、データ変換部122、画像生成部123、及び画像圧縮部124は、CPU41がデータ圧縮プログラムをRAM43に展開して実行することにより実現される。すなわち、CPU41は、データ圧縮プログラムに従って、データ取得部121、データ変換部122、画像生成部123、及び画像圧縮部124として機能する。
なお、データ圧縮装置12の機能の一部又は全部は、ASIC(Application Specific
Integrated Circuit)又はFPGA(Field Programmable Gate Array)などの専用プロセッサにより実現されてもよい。ハードウェアプロセッサは、汎用プロセッサ、専用プロセッサ、又は汎用プロセッサと専用プロセッサの組み合わせを含む。ハードウェアプロセッサは、データ取得部121、データ変換部122、画像生成部123、及び画像圧縮部124による処理を行うように構成される。
入出力インタフェース44は、外部機器と通信するためのインタフェースである。CPU41は、入出力インタフェース44を介してLiDAR11から点群データを受け取る。CPU41は、入出力インタフェース44を介して出力先(例えば自動車のECU)に、圧縮処理を施した点群データを送る。
[動作]
次に、データ圧縮装置12の動作例を説明する。
図5は、データ圧縮装置12の処理手順の一例を概略的に示している。図5のステップS501では、データ取得部121は、LiDAR11から、複数組の照射方向及び距離を含む点群データを取得する。ここでは、点群データは、一周分の点群データである。
ステップS502では、データ変換部122は、データ取得部121により取得された点群データに含まれる複数組の照射方向及び距離を複数の色信号にそれぞれ変換する。例えば、データ変換部122は、複数組の照射方向及び距離を複数の三次元座標値に変換し、得られた複数の三次元座標値を複数の色信号として使用する。ここで、複数組の方向及び距離を複数の三次元座標値に変換する中間処理を行う場合、三次元座標値は各々、三次元直交座標系の座標値のセットである。全ての座標値はゼロ以上の値であり得る。
ステップS503では、画像生成部123は、データ取得部121により取得された点群データに含まれる照射方向に従って、複数の色信号を二次元データ構造にマッピングすることにより、ビットマップ画像を生成する。例えば、照射方向は回転角及び仰俯角で表され、画像生成部123は、回転角の大きさ及び仰俯角の大きさに従って複数の色信号を二次元データ構造にマッピングし、ビットマップ画像を生成する。
ステップS504では、画像圧縮部124は、ビットマップ画像に対して所定の画像圧縮技術を適用する。画像圧縮技術として、例えば、JPEGを使用することができる。
次の点群データがある場合(ステップS505;Yes)、その点群データに対してステップS501からS504の処理が実行される。次の点群データがない場合(ステップS506;No)、処理が終了となる。
[効果]
本実施形態に係るデータ圧縮装置12は、照射方向と距離との組を色信号に変換し、照射方向に従って複数の色信号を二次元のデータ構造にマッピングすることにより、ビットマップ画像を生成し、ビットマップ画像に対して画像圧縮技術を適用する。これにより、ビットマップ画像には点群データに暗に含まれる三次元空間の構造的な特徴が反映され、点群データのもつ空間的な連続性をデータ圧縮に利用することが可能になる。このため、JPEGなどの静止画像用の画像圧縮技術を適用することで、各点が三次元直交座標で表現される点群データのファイルサイズを効果的に削減することができる。
データ変換部122において、照射方向と距離との組を三次元座標値に変換する中間処理を行う場合は、全ての座標値がゼロ以上の値となるように三次元直交座標へ変換される。これにより、変換により得られた三次元座標値をそのまま色信号として扱うことが可能となり、ビットマップ画像を生成する処理が容易になる。さらに、一周分の点群データを単位として点群データを圧縮処理することにより、回転型であるLiDAR機器11から出力される点群データを効果的に圧縮することができる。
図6及び図7を参照して本実施形態に係る技術の利点について説明する。
図6は、Velodyne社のLiDAR機器であるVLP-16を用いて600rpmの設定で取得された一周(0.1秒)分の点群データを、各種のデータ形式に格納したときのファイルサイズ及び座標値の平均誤差を示す。なお、VLP-16の測距上限は131.7mであり、VLP-16は、円周角方向に約0.2度刻みで360度分、仰俯角方向に2度刻みで30度分の画角について点群データを得ることができる。従って、点群データは28,800個の点についてのデータを含み、これらの点は、x軸方向が138m、y軸方向が234m、z軸(鉛直)方向が27mの直方体に収まる。ここで、座標値の平均誤差とは、各種のデータ形式で表現された各点のx、y、z座標値と生データに記載された真のx、y、z座標値との間のユークリッド距離の平均値である。
従来技術(1)は、点群がレーザ光線の照射方向と距離との組で表される点群データをZIP形式で圧縮するものである。従来技術(1)では、三次元座標値は劣化しないが、ファイルサイズの削減率は32%に留まる。従来技術(2)は、極座標から三次元直交座標への変換を行い、変換により得られた三次元座標値をプレーンテキストで羅列した点群データを生成するものである。従来技術(2)+(1)は、従来技術(2)により生成された点群データをZIP形式で圧縮するものである。従来技術(2)及び(2)+1では、三次元座標値は劣化しないが、ファイルサイズが増大する。
従来技術(1)又は従来技術(2)+(1)のように、バイナリデータにZIPやLZHといった汎用のデータ圧縮処理を施す場合、点群データに暗に含まれる三次元空間の構造的な特徴を利用することができず、バイナリレベルでの冗長性しか利用できない。バイナリデータは一次元のデータ構造を有し、より高次元のデータ構造と比較すると、圧縮処理において利用可能な情報量が少ない。汎用のデータ圧縮技術は、データ形式や内容を問わず汎用的に利用できる反面、特定のデータ形式に特化したデータ圧縮技術と比較すると、達成可能な圧縮効率の面で劣る。
従来技術(3)は、LiDAR機器を中心とした三次元メッシュに空間を区切り、全てのメッシュについてメッシュ内の点の有無を集計するものである。従来技術(3)では、メッシュの粒度に応じてファイルサイズが変化する。屋外での自動車の自動運転用途で実用的な10cm以下の粒度設定では、生データよりもファイルサイズが大幅に増大する。従来技術(3)及び従来技術(1)を併用することも理論上は可能であるが、数百MBから数百GBという巨大なファイルを、自動車やロボットなどに搭載された小型計算機で扱うことは現実的でない。
一方、本実施形態に係る技術では、LiDAR機器11からの点群データを二次元データ構造に整理することで、二次元平面において隣り合うデータ間の数値の連続性を圧縮に利用可能となる。これにより、JPEGなどの既存の画像圧縮技術を利用して高い圧縮効率を実現できる。この結果、圧縮率と表現精度を両立させることが可能である。具体的には、ファイルサイズを52%削減しつつ、平均誤差を4.7cmに抑えることができる。また、後述するように、圧縮率を優先した場合には、ファイルサイズの削減率は最大87%に達する。
従来技術(1)又は従来技術(2)+(1)では、バイナリデータを取り扱うため、非可逆圧縮方式を採用できない。バイナリレベルでデータを取り扱う可逆圧縮方式では、データの圧縮に伴う内容の劣化を生じない反面、用途により要求レベルが異なる測定精度に応じて圧縮率を調整することが原理的に不可能である。
一方、本実施形態に係る技術では、JPEGなどの非可逆圧縮方式に基づく画像圧縮技術を適用することが可能である。非可逆圧縮方式に基づく画像圧縮技術では、圧縮率のパラメータを指定できるため、座標データの表現精度を犠牲にしてファイルサイズを抑えることも可能である。
図7は、前述のVLP-16からの点群データを本実施形態に係る技術で圧縮する際に、JPEGの品質パラメータを変化させたときのファイルサイズ及び座標値の平均誤差を示す。なお、JPEGの品質パラメータは1から100までの整数値で指定できる。品質パラメータに最大値の100を指定した場合には、平均誤差を0.5cmと非常に小さく抑えることができる。また、品質パラメータに最小値の1を指定した場合には、ファイルサイズを87%削減することができる。このように、用途に応じて表現精度をファイルサイズのバランスを調整できることは、従来の汎用的な圧縮技術にはない特色である。
<他の実施形態>
なお、この発明は上記実施形態に限定されるものではない。
一実施形態では、データ変換部122は、点群データに含まれる距離をグレースケールの輝度値(色の明るさ)に変換してよい。例えば、データ変換部122は、距離に適当な定数を乗算することで得られた値を輝度値として使用する。距離は負の値を取ることがないため、後段の画像生成部123で負の数を扱えない問題に支障をきたさない。この場合、画像生成部123は、点群データに含まれる照射方向に従って、データ変換部122により得られた輝度値を二次元のデータ構造にマッピングすることにより、ビットマップ画像を生成する。この実施形態では、照射方向は画素の位置で管理される。図3の例を再び参照すると、画素(i,j)での回転角及び仰俯角をそれぞれθ及びθとすると、θ=15×i、θ=7.5-5×jと表すことができる(i=0,1,・・・,23、j=0,1,・・・,3)。データ圧縮装置12から出力される点群データでは、各点は極座標(具体的には方向と距離の組)で表現される。
図8を参照して、この実施形態に係るデータ圧縮装置の動作例を説明する。図8のステップS801、S804、S805の処理は、図5に示したステップS501、S504、S505の処理と同じであるため、これらの処理についての説明を省略する。
図8のステップS802では、データ変換部122は、データ取得部121により取得された点群データに含まれる複数の距離を複数の輝度値にそれぞれ変換する。例えば、データ変換部122は、各距離に定数を乗算することにより、複数の距離を複数の輝度値に変換する。
ステップS803では、画像生成部123は、データ取得部121により取得された点群データに含まれる照射方向に従って、複数の輝度値を二次元データ構造にマッピングすることにより、ビットマップ画像を生成する。例えば、照射方向は回転角及び仰俯角で表され、画像生成部123は、回転角の大きさ及び仰俯角の大きさに従って複数の輝度値を二次元データ構造にマッピングし、ビットマップ画像を生成する。
上記の構成によれば、点群データの空間的な連続性を輝度値に反映させることが可能となる。その結果、ビットマップ画像全体の輝度の変化が滑らかとなり、画像圧縮技術により生じる色の劣化を効果的に抑制することができる。既存の画像圧縮技術は色味より輝度を忠実に再現しようとするため、距離の誤差を抑えやすいという利点がある。
通常のビットマップ画像では、RGBの各要素に8ビットずつしか割り当てられず、2=256階調の数値しか表現できない。例えば、色信号を8ビットずつに分割して個別のビットマップ画像に埋め込むことで、色信号が16ビット精度(216=65536階調)又は24ビット精度(224=16777216階調)で表現される場合にも上述した実施形態に係る技術を適用することができる。例えば、色信号(三次元座標値)が16ビットで表される場合、画像生成部123は、色信号の上位8ビットに基づいて、第1のビットマップ画像を生成し、色信号の下位8ビットに基づいて、第2のビットマップ画像を生成する。また、輝度値が16ビットで表される場合、画像生成部123は、輝度値の上位8ビットに基づいて、第1のビットマップ画像を生成し、輝度値の下位8ビットに基づいて、第2のビットマップ画像を生成する。
画像圧縮部124は、第1のビットマップ画像及び第2のビットマップ画像に対して異なる画像圧縮技術を適用してよい。例えば、画像圧縮部124は、色の変化が少なくノイズに弱い第1のビットマップ画像に対して、単調な画像を得意とするPNG形式で可逆圧縮を行い、色の変化が多くノイズに強い第2のビットマップ画像に対して、複雑な画像を得意とし圧縮率を調整可能なJPEG形式で非可逆圧縮を行う。これにより、座標データの表現精度を保ちつつファイルサイズを効果的に削減することができる。なお、画像圧縮部124は、第1のビットマップ画像及び第2のビットマップ画像に対して同じ画像圧縮技術を適用してもよい。
さらに、点群の時系列データに対しては、LiDAR機器11が一周ごとに全く同じ方向を観測することに着目し、一周分の点群データから生成したビットマップ画像を1フレームと見なして、動画ファイルの形式に点群データを収めてよい。具体的には、画像生成部123は、複数周分の点群データにそれぞれ対応する複数のビットマップ画像を生成し、複数のビットマップ画像をフレームとした動画像を生成してよい。この場合、画像圧縮部124は、画像生成部123により生成された動画像に対して動画像用の画像圧縮技術を適用する。動画像用の画像圧縮技術としては、例えば、MPEGなど、フレーム間予測を用いた画像圧縮技術を使用することができる。
このようにして生成された動画像では、同じ方向を観測したデータが各フレームの同じ位置に現れる。このため、点群データの持つ時間的な連続性をデータ圧縮に利用することが可能となる。従って、MPEGなどのフレーム間予測を用いた画像圧縮技術を適用することにより、点群データの時間的な連続性を生かした高効率なデータ圧縮を実現することが可能になる。
データ圧縮プログラムなどのプログラムは、コンピュータで読み取り可能な記憶媒体に記憶された状態でデータ圧縮装置12に提供されてよい。この場合、例えば、データ圧縮装置12は、記憶媒体からデータを読み出すドライブを備え、記憶媒体からプログラムを取得する。記憶媒体の例は、磁気ディスク、光ディスク(CD-ROM、CD-R、DVD-ROM、DVD-Rなど)、光磁気ディスク(MOなど)、半導体メモリを含む。また、プログラムを通信ネットワーク上のサーバに格納し、データ圧縮装置12がサーバからプログラムをダウンロードするようにしてもよい。
本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
上記の実施形態の一部又は全部は、以下のようにも記載され得るが、以下に限られるものではない。
本発明の第1の態様では、データ圧縮装置は、測距センサから、複数組の方向及び距離を含む点群データを取得するデータ取得部と、前記複数組の方向及び距離に基づいて、ビットマップ画像を生成する画像生成部と、前記ビットマップ画像に対して所定の画像圧縮技術を適用する画像圧縮部と、を備える。
本発明の第1の態様によれば、点群データの空間的な連続性をデータ圧縮に利用することが可能となる。その結果、点群データのファイルサイズを効果的に削減することができる。
本発明の第2の態様では、前記データ圧縮装置は、前記複数組の方向及び距離を複数の色信号に変換するデータ変換部をさらに備え、前記画像生成部は、前記方向に従って前記複数の色信号を二次元のデータ構造にマッピングすることにより、前記ビットマップ画像を生成する。
本発明の第2の態様によれば、点群データの空間的な連続性を色信号に反映させることが可能となる。その結果、ビットマップ画像全体の色の変化が滑らかとなり、画像圧縮技術でファイルサイズを効果的に削減することができる。
本発明の第3の態様では、前記データ変換部は、各組の方向及び距離を三次元座標値に変換し、前記三次元座標値を三つの数値で色を表現するRGB値とみなすことにより、前記複数組の方向及び距離を前記複数の色信号に変換する。
本発明の第3の態様によれば、各点の位置が三次元直交座標で表現される。その結果、その後の処理において点群データを容易に取り扱えるようになる。
本発明の第4の態様では、前記三次元座標値は、ゼロ以上の値である3つの座標値を有する。
本発明の第4の態様によれば、三次元座標値をそのまま色信号とみなすことが可能となり、ビットマップ画像を生成する処理が容易になる。
本発明の第5の態様では、前記データ圧縮装置は、前記距離をグレースケールの輝度値に変換するデータ変換部をさらに備え、前記データ変換部は、前記方向に従って前記輝度値を二次元のデータ構造にマッピングすることにより、前記ビットマップ画像を生成する。
本発明の第5の態様によれば、点群データの空間的な連続性を輝度値に反映させることが可能となる。その結果、ビットマップ画像全体の輝度の変化が滑らかとなり、画像圧縮技術により生じるデータの劣化を効果的に抑制することができる。
本発明の第6の態様では、前記測距センサは、回転型測距センサであり、前記点群データは、前記測距センサが一回転する間に前記測距センサにより得られる点群データである。
本発明の第6の態様によれば、回転型測距センサから出力される点群データのファイルサイズを効果的に削減することが可能となる。
本発明の第7の態様では、前記所定の画像圧縮技術は非可逆圧縮に基づく画像処理技術を含む。
本発明の第7の態様によれば、ファイルサイズをより効果的に削減すること及び/又は圧縮率を調整することが可能となる。
本発明の第8の態様では、前記画像生成部は、前記複数の色信号の上位ビットに基づいて、第1のビットマップ画像を生成し、前記複数の色信号の下位ビットに基づいて、第2のビットマップ画像を生成し、前記所定の画像圧縮技術は、第1の画像圧縮技術及び前記第1の画像圧縮技術とは異なる第2の画像圧縮技術を含み、前記画像圧縮部は、前記第1のビットマップ画像に対して前記第1の画像圧縮技術を適用し、前記第2のビットマップ画像に対して前記第2の画像圧縮技術を適用する。
本発明の第8の態様によれば、座標の表現精度を保ちつつ、ファイルサイズを効果的に削減することが可能となる。
本発明の第9の態様では、前記データ取得部は、複数の前記点群データを取得し、前記画像生成部は、複数の前記点群データに対応する複数の前記ビットマップ画像を生成し、複数の前記ビットマップ画像をフレームとした動画像を生成し、前記画像圧縮部は、前記動画像に対してフレーム間予測を用いた画像圧縮技術を適用する。
本発明の第9の態様によれば、点群データの時間的な連続性をデータ圧縮に利用することが可能となる。その結果、ファイルサイズを効果的に削減することができる。
本発明の第10の態様では、データ圧縮方法は、コンピュータが実行するものであって、測距センサから、複数組の方向及び距離を含む点群データを取得する工程と、前記複数組の方向及び距離に基づいて、ビットマップ画像を生成する工程と、前記ビットマップ画像に対して所定の画像圧縮技術を適用する工程と、を備える。
本発明の第10の態様によれば、第1の態様に係るデータ圧縮装置と同様の効果が得られる。
本発明の第11の態様では、プログラムは、第1から第9の態様のいずれかに係るデータ圧縮装置が備える各部としてコンピュータを機能させるためのものである。
本発明の第11の態様によれば、第1乃至9の態様のいずれかの態様に係るデータ圧縮装置と同様の効果が得られる。
10…測距装置
11…LiDAR機器
12…データ圧縮装置
121…データ取得部
122…データ変換部
123…画像生成部
1231…データ整理部
1232…画像変換部
124…画像圧縮部
41…CPU
42…プログラムメモリ
43…RAM
44…入出力インタフェース
45…バス

Claims (9)

  1. 測距センサから、複数組の方向及び距離を含む点群データを取得するデータ取得部と、
    各組の方向及び距離を三次元座標値に変換し、前記三次元座標値を三つの数値で色を表現するRGB値とみなすことにより、前記複数組の方向及び距離を複数の色信号に変換するデータ変換部と、
    前記複数の色信号を含むビットマップ画像を生成する画像生成部と、
    前記ビットマップ画像に対して所定の画像圧縮技術を適用する画像圧縮部と、
    を備えるデータ圧縮装置。
  2. 記画像生成部は、前記方向に従って前記複数の色信号を二次元のデータ構造にマッピングすることにより、前記ビットマップ画像を生成する、請求項1に記載のデータ圧縮装置。
  3. 前記三次元座標値は、ゼロ以上の値である3つの座標値を有する、請求項に記載のデータ圧縮装置。
  4. 前記測距センサは、回転型測距センサであり、
    前記点群データは、前記測距センサが一回転する間に前記測距センサにより得られる点群データである、請求項1乃至のいずれか1項に記載のデータ圧縮装置。
  5. 前記所定の画像圧縮技術は非可逆圧縮に基づく画像圧縮技術を含む、請求項1乃至のいずれか1項に記載のデータ圧縮装置。
  6. 前記画像生成部は、前記複数の色信号の上位ビットに基づいて、第1のビットマップ画像を生成し、前記複数の色信号の下位ビットに基づいて、第2のビットマップ画像を生成し、
    前記所定の画像圧縮技術は、第1の画像圧縮技術及び前記第1の画像圧縮技術とは異なる第2の画像圧縮技術を含み、
    前記画像圧縮部は、前記第1のビットマップ画像に対して前記第1の画像圧縮技術を適用し、前記第2のビットマップ画像に対して前記第2の画像圧縮技術を適用する、請求項乃至のいずれか1項に記載のデータ圧縮装置。
  7. 前記データ取得部は、複数の前記点群データを取得し、
    前記画像生成部は、複数の前記点群データに対応する複数の前記ビットマップ画像を生成し、複数の前記ビットマップ画像をフレームとした動画像を生成し、
    前記画像圧縮部は、前記動画像に対してフレーム間予測を用いた画像圧縮技術を適用する、請求項1乃至のいずれか1項に記載のデータ圧縮装置。
  8. コンピュータが実行するデータ圧縮方法であって、
    測距センサから、複数組の方向及び距離を含む点群データを取得する工程と、
    各組の方向及び距離を三次元座標値に変換し、前記三次元座標値を三つの数値で色を表現するRGB値とみなすことにより、前記複数組の方向及び距離を複数の色信号に変換する工程と、
    前記複数の色信号を含むビットマップ画像を生成する工程と、
    前記ビットマップ画像に対して所定の画像圧縮技術を適用する工程と、
    を備えるデータ圧縮方法。
  9. 請求項1乃至のいずれか1項に記載のデータ圧縮装置が備える各部としてコンピュータを機能させるためのプログラム。
JP2021505525A 2019-03-14 2019-12-17 データ圧縮装置、データ圧縮方法、及びプログラム Active JP7060157B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019046833 2019-03-14
JP2019046833 2019-03-14
PCT/JP2019/049407 WO2020183839A1 (ja) 2019-03-14 2019-12-17 データ圧縮装置、データ圧縮方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020183839A1 JPWO2020183839A1 (ja) 2021-10-21
JP7060157B2 true JP7060157B2 (ja) 2022-04-26

Family

ID=72427970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021505525A Active JP7060157B2 (ja) 2019-03-14 2019-12-17 データ圧縮装置、データ圧縮方法、及びプログラム

Country Status (3)

Country Link
US (1) US11818361B2 (ja)
JP (1) JP7060157B2 (ja)
WO (1) WO2020183839A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022185377A1 (ja) * 2021-03-01 2022-09-09
WO2023202136A1 (zh) * 2022-04-22 2023-10-26 上海禾赛科技有限公司 用于激光雷达的数据处理方法、数据处理装置及激光雷达系统
CN115586541A (zh) * 2022-10-25 2023-01-10 上海易澳科技有限公司 激光点云数据的处理方法、装置、存储介质及设备
CN115695393B (zh) * 2022-12-28 2023-03-21 山东矩阵软件工程股份有限公司 一种雷达点云数据的格式转换方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053059A (ja) 2007-08-27 2009-03-12 Mitsubishi Electric Corp 対象特定装置、対象特定方法および対象特定プログラム
JP2011113364A (ja) 2009-11-27 2011-06-09 Fujitsu Ltd 周辺環境推定装置、周辺環境推定プログラムおよび周辺環境推定システム
JP2013161133A (ja) 2012-02-01 2013-08-19 Toshiba Plant Systems & Services Corp 三次元データ処理装置、三次元データ処理プログラムおよび三次元データ処理方法
WO2018123801A1 (ja) 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
JP2018116004A (ja) 2017-01-20 2018-07-26 パイオニア株式会社 データ圧縮装置、制御方法、プログラム及び記憶媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787691B2 (en) * 2006-04-11 2010-08-31 Telefonaktiebolaget Lm Ericsson (Publ) High quality image processing
CN101459854B (zh) * 2007-12-13 2011-11-16 鸿富锦精密工业(深圳)有限公司 图像压缩编码/解码装置及图像压缩编码/解码方法
US8155436B2 (en) * 2008-03-31 2012-04-10 Konica Minolta Laboratory U.S.A., Inc. Systems and methods for color data compression
KR20110097140A (ko) * 2010-02-24 2011-08-31 삼성전자주식회사 이동 로봇의 위치 추정 장치 및 방법
US8553997B1 (en) * 2011-08-16 2013-10-08 Google Inc. Depthmap compression
US9175975B2 (en) * 2012-07-30 2015-11-03 RaayonNova LLC Systems and methods for navigation
US20150172669A1 (en) * 2013-03-15 2015-06-18 KASAH Technology, Inc. System and method for processing compressed images and video for improved data communication
US9875427B2 (en) * 2015-07-28 2018-01-23 GM Global Technology Operations LLC Method for object localization and pose estimation for an object of interest
EP4303624A3 (de) * 2016-11-10 2024-04-10 Leica Geosystems Ag Laserscanner
WO2018126067A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Vector data encoding of high definition map data for autonomous vehicles
JP7070435B2 (ja) * 2017-01-26 2022-05-18 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053059A (ja) 2007-08-27 2009-03-12 Mitsubishi Electric Corp 対象特定装置、対象特定方法および対象特定プログラム
JP2011113364A (ja) 2009-11-27 2011-06-09 Fujitsu Ltd 周辺環境推定装置、周辺環境推定プログラムおよび周辺環境推定システム
JP2013161133A (ja) 2012-02-01 2013-08-19 Toshiba Plant Systems & Services Corp 三次元データ処理装置、三次元データ処理プログラムおよび三次元データ処理方法
WO2018123801A1 (ja) 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
JP2018116004A (ja) 2017-01-20 2018-07-26 パイオニア株式会社 データ圧縮装置、制御方法、プログラム及び記憶媒体

Also Published As

Publication number Publication date
JPWO2020183839A1 (ja) 2021-10-21
US20220191511A1 (en) 2022-06-16
WO2020183839A1 (ja) 2020-09-17
US11818361B2 (en) 2023-11-14

Similar Documents

Publication Publication Date Title
JP7060157B2 (ja) データ圧縮装置、データ圧縮方法、及びプログラム
US20210343076A1 (en) Satellite sar artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations
US10438408B2 (en) Resolution adaptive mesh for performing 3-D metrology of an object
CN107861920B (zh) 点云数据配准方法
JP2016099346A (ja) シーンを再構成するシステムおよび方法
EP4206739A1 (en) Artificial panorama image production and in-painting for occluded areas in images
US20140300941A1 (en) Method and apparatus for generating hologram based on multi-view image
US20230328285A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20230290007A1 (en) Point Cloud Encoding and Decoding Method and Device Based on Two-Dimensional Regularization Plane Projection
KR102025113B1 (ko) LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치
CN113421217A (zh) 可行驶区域检测方法和装置
Jaiswal et al. 3D object modeling with a Kinect camera
CN109917385A (zh) 旋臂扫描地基sar的远距频域快速成像方法及装置
JP6863634B1 (ja) モデル生成装置、学習器生成装置、モデル生成方法、及び、学習器生成方法
EP4009079A1 (en) Multi-band attribute blending in three-dimensional space
WO2021014799A1 (ja) 信号処理装置、信号処理方法
Wong et al. A study of different unwarping methods for omnidirectional imaging
KR102433632B1 (ko) 라이다 깊이 이미지 채움 장치 및 방법
CN114998150A (zh) 超声图像的三维重建方法及装置
EP4172941A1 (en) Sorted laser angles for geometry-based point cloud compression (g-pcc)
Agarwal et al. Three dimensional image reconstruction using interpolation of distance and image registration
CN113570673B (zh) 三维人体和物体的渲染方法及其应用方法
KR20210157846A (ko) 압축 가이드를 이용한 비행 시간 다운-업 샘플링
JP2021189478A (ja) モデル生成装置、及び、モデル生成方法
US20240144543A1 (en) Predictive geometry coding of point cloud

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211224

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220328

R150 Certificate of patent or registration of utility model

Ref document number: 7060157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150