JP6338242B2 - 距離画像生成装置 - Google Patents
距離画像生成装置 Download PDFInfo
- Publication number
- JP6338242B2 JP6338242B2 JP2014081980A JP2014081980A JP6338242B2 JP 6338242 B2 JP6338242 B2 JP 6338242B2 JP 2014081980 A JP2014081980 A JP 2014081980A JP 2014081980 A JP2014081980 A JP 2014081980A JP 6338242 B2 JP6338242 B2 JP 6338242B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye stereo
- unit
- circular vibration
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、距離画像生成装置に関する。
従来、距離画像生成や三次元形状計測は、レーザレーダ、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）距離センサ、格子投影法、光切断法、両眼ステレオ法等により行われていた。しかし、両眼ステレオ法以外は、対象に能動的に特定の光を照射する必要のため応用法が限定され、両眼ステレオ法やその拡張法の多眼ステレオ法では十分な密度と精度と頑健性をもった距離画像の生成は困難であり、なおかつ膨大な計算が必要なため処理が低速であった。
たとえば、両眼ステレオ法による距離画像生成は特許文献１に、レーザレーダによる距離計測は特許文献２に開示されている。
たとえば、両眼ステレオ法による距離画像生成は特許文献１に、レーザレーダによる距離計測は特許文献２に開示されている。
特許文献１や特許文献２など従来の発明では、受動光のみで高密度、高精度、高信頼性な距離画像を高速に生成することができない。
請求項１に記載の距離画像生成装置は、計測対象からの光を受光し円振動眼ステレオ瞬時画像の信号を生成する円振動眼ステレオ瞬時画像信号生成部と、円振動眼ステレオ瞬時画像の信号を荷重積分して円振動眼ステレオ瞬時画像の各画素に対応する３種類以上の円周方向フーリエ係数を算出する円周方向フーリエ係数算出部と、３種類以上の円周方向フーリエ係数を、円振動ステレオ偏微分方程式を荷重積分した行列方程式の係数に代入して行列方程式を解くことにより円振動眼ステレオ瞬時画像の各画素に対応する画像円振動速度半径を算出する画像円振動速度半径算出部と、円振動眼ステレオ瞬時画像信号生成部の幾何学配置により定義される演算式および画像円振動速度半径から円振動眼ステレオ瞬時画像の各画素に対応する距離を算出する距離算出部とを備える。
請求項８に記載の距離画像生成装置は、計測対象からの光を円周上に配置した複数の受光部で受光し、複眼ステレオ画像の信号を生成する複眼ステレオ画像信号生成部と、複眼ステレオ画像の信号を荷重積分して複眼ステレオ画像の各画素に対応する３種類以上の円周方向フーリエ係数を算出する円周方向フーリエ係数算出部と、３種類以上の円周方向フーリエ係数を、円振動ステレオ偏微分方程式を荷重積分した行列方程式の係数に代入して行列方程式を解くことにより複眼ステレオ画像の各画素に対応する画像円振動速度半径を算出する画像円振動速度半径算出部と、複眼ステレオ画像信号生成部の幾何学配置により定義される演算式および画像円振動速度半径から複眼ステレオ画像の各画素に対応する距離を算出する距離算出部とを備える。
請求項８に記載の距離画像生成装置は、計測対象からの光を円周上に配置した複数の受光部で受光し、複眼ステレオ画像の信号を生成する複眼ステレオ画像信号生成部と、複眼ステレオ画像の信号を荷重積分して複眼ステレオ画像の各画素に対応する３種類以上の円周方向フーリエ係数を算出する円周方向フーリエ係数算出部と、３種類以上の円周方向フーリエ係数を、円振動ステレオ偏微分方程式を荷重積分した行列方程式の係数に代入して行列方程式を解くことにより複眼ステレオ画像の各画素に対応する画像円振動速度半径を算出する画像円振動速度半径算出部と、複眼ステレオ画像信号生成部の幾何学配置により定義される演算式および画像円振動速度半径から複眼ステレオ画像の各画素に対応する距離を算出する距離算出部とを備える。
本発明によれば、受動光のみで高密度、高精度、高信頼性な距離画像を高速に生成することができる。
（概要）
本発明は、計測対象からの光を受光して得られた画像を用いて、各画素に対応する距離を算出し、それら複数の距離情報を距離画像として生成するものであり、受動光しか使用しないが高密度、高精度、高信頼性であり、さらに処理が高速という特徴を有する。
図１は、本発明の実施の形態の概要を示すものである。計測対象からの光を光学系を通して、複数の撮像素子により受光して、撮影画像信号を生成する。円周方向フーリエ係数算出部は、撮影画像信号と参照信号との積を一定時間にわたり蓄積、すなわち荷重積分することにより円周方向フーリエ係数を算出する。
画像振動速度半径算出部は、円周方向フーリエ係数を後述する数式３８の係数に代入して画像円振動速度半径を算出する。距離算出部は、光学系およびイメージセンサの幾何学配置により定義される、後述する数式４２または数式４７から撮影画像の各画素に対応する距離を算出し、距離画像を生成する。
本発明は、計測対象からの光を受光して得られた画像を用いて、各画素に対応する距離を算出し、それら複数の距離情報を距離画像として生成するものであり、受動光しか使用しないが高密度、高精度、高信頼性であり、さらに処理が高速という特徴を有する。
図１は、本発明の実施の形態の概要を示すものである。計測対象からの光を光学系を通して、複数の撮像素子により受光して、撮影画像信号を生成する。円周方向フーリエ係数算出部は、撮影画像信号と参照信号との積を一定時間にわたり蓄積、すなわち荷重積分することにより円周方向フーリエ係数を算出する。
画像振動速度半径算出部は、円周方向フーリエ係数を後述する数式３８の係数に代入して画像円振動速度半径を算出する。距離算出部は、光学系およびイメージセンサの幾何学配置により定義される、後述する数式４２または数式４７から撮影画像の各画素に対応する距離を算出し、距離画像を生成する。
計測対象からの光を受光して、円周方向のフーリエ係数を算出するまでの態様は、以下の実施の形態および変形例のように複数存在するが、画像円振動速度半径および距離の算出手法は共通する。次に説明するそれぞれの実施の形態においては具体的な処理手順を説明し、その後に使用する数式について説明する。
本発明による距離画像生成は、計測対象が静止している場合だけでなく移動している場合にも適用することができるが、以下の実施の形態においては計測対象が静止している場合を対象とし、計測対象が移動している場合の計算式は後の数式の説明の項目において示す。
本発明による距離画像生成は、計測対象が静止している場合だけでなく移動している場合にも適用することができるが、以下の実施の形態においては計測対象が静止している場合を対象とし、計測対象が移動している場合の計算式は後の数式の説明の項目において示す。
（定義）
本明細書において「距離画像」とは、複数の距離情報を色情報に変換した画像をいう。たとえば、算出された複数の距離を正規化して０〜２５５の輝度に変換し、距離の変化を輝度の違いとして表現したモノクロ画像である。色情報は輝度に限定されず、彩度、明度、色彩などを用いてもよい。なお、距離画像は、ある基準面からの奥行き方向の深度を表すとも考えることができることから、デプスマップ（Ｄｅｐｔｈ Ｍａｐ）とも呼ばれる。
本明細書において「平行型円振動眼ステレオ瞬時画像」とは、光学系による光路の変動を考慮しない場合に、ある円周上を移動する撮像面に到来する光の分布であって、その撮像面はその円を含む面と平行な画像をいう。本明細書において「輻輳型円振動眼ステレオ瞬時画像」とは、光学系による光路の変動を考慮しない場合に、ある円周上を移動する撮像面に到来する光の分布であって、その撮像面の光軸がその円を含む面と一定の角度をなす画像、またはレンズの光軸が撮像面の光軸からシフトした画像をいう。なお、平行型円振動眼ステレオ瞬時画像と輻輳型円振動眼ステレオ瞬時画像とを特に区別する必要がない場合は、両者をまとめて「円振動眼ステレオ瞬時画像」という。円振動眼ステレオ瞬時画像とはたとえば、Ａ）受光部を光軸と垂直な面内で公転運動をさせて撮影した画像、Ｂ）光路を所定距離シフトさせるプリズムを回転させてそのプリズムにより反射された被写体からの光を撮影して得られる画像である。
本明細書において「距離画像」とは、複数の距離情報を色情報に変換した画像をいう。たとえば、算出された複数の距離を正規化して０〜２５５の輝度に変換し、距離の変化を輝度の違いとして表現したモノクロ画像である。色情報は輝度に限定されず、彩度、明度、色彩などを用いてもよい。なお、距離画像は、ある基準面からの奥行き方向の深度を表すとも考えることができることから、デプスマップ（Ｄｅｐｔｈ Ｍａｐ）とも呼ばれる。
本明細書において「平行型円振動眼ステレオ瞬時画像」とは、光学系による光路の変動を考慮しない場合に、ある円周上を移動する撮像面に到来する光の分布であって、その撮像面はその円を含む面と平行な画像をいう。本明細書において「輻輳型円振動眼ステレオ瞬時画像」とは、光学系による光路の変動を考慮しない場合に、ある円周上を移動する撮像面に到来する光の分布であって、その撮像面の光軸がその円を含む面と一定の角度をなす画像、またはレンズの光軸が撮像面の光軸からシフトした画像をいう。なお、平行型円振動眼ステレオ瞬時画像と輻輳型円振動眼ステレオ瞬時画像とを特に区別する必要がない場合は、両者をまとめて「円振動眼ステレオ瞬時画像」という。円振動眼ステレオ瞬時画像とはたとえば、Ａ）受光部を光軸と垂直な面内で公転運動をさせて撮影した画像、Ｂ）光路を所定距離シフトさせるプリズムを回転させてそのプリズムにより反射された被写体からの光を撮影して得られる画像である。
本明細書において「平行型複眼ステレオ画像」とは、ある円の周上に配置した複数の撮像面に到来する光の分布をある一定の時間にわたって蓄積して得られる画像であって、その撮像面がその円を含む平面に平行な画像をいう。本明細書において「輻輳型複眼ステレオ画像」とは、ある円の周上に配置した複数の撮像面に到来する光の分布をある一定の時間にわたって蓄積して得られる画像であって、その撮像面の光軸がその円を含む面と一定の角度をなす画像、またはレンズの光軸が撮像面の光軸からシフトした画像をいう。なお、平行型複眼ステレオ画像と輻輳型複眼ステレオ画像とを特に区別する必要がない場合は、両者をまとめて「複眼ステレオ画像」という。複眼ステレオ画像とはたとえば、Ｃ）受光部を円周上に所定の角度ピッチで配置して撮影して得られた画像、などである。本明細書において「要素画像」とは、複眼ステレオ画像を構成する画像をいう。すなわち、前述のように複眼ステレオ画像は複数の撮像面により得られた画像であり、そのうちの１つの撮像面から得られる画像が要素画像である。
本明細書において「物理円振動半径」とは、円振動眼ステレオ瞬時画像を撮影する際の物理的な円振動の半径、または複眼ステレオ画像を撮影する際に受光部が配置される周をなす円の半径をいう。物理円振動半径とはたとえば、Ａの例における公転の半径、Ｂの例における光軸のシフト量、Ｃの例における受光部が配置される円周を構成する円の半径である。
本明細書において「１周分の円振動眼ステレオ画像」とは、特定の期間に撮影された１または複数の円振動眼ステレオ画像をいう。たとえば、Ａの例における公転運動を１周する間に撮影した円振動眼ステレオ画像、Ｂの例におけるプリズムが一回転する間に撮影した円振動眼ステレオ画像、である。
本明細書において「１周分の複眼ステレオ画像」とは、円周上に配置された所定の複数の受光部から撮影された複眼ステレオ画像をいう。たとえば、Ｃの例における全ての受光部から撮影された複眼ステレオ画像である。
本明細書において「１周分の円振動眼ステレオ画像」とは、特定の期間に撮影された１または複数の円振動眼ステレオ画像をいう。たとえば、Ａの例における公転運動を１周する間に撮影した円振動眼ステレオ画像、Ｂの例におけるプリズムが一回転する間に撮影した円振動眼ステレオ画像、である。
本明細書において「１周分の複眼ステレオ画像」とは、円周上に配置された所定の複数の受光部から撮影された複眼ステレオ画像をいう。たとえば、Ｃの例における全ての受光部から撮影された複眼ステレオ画像である。
本明細書において「画像円振動半径」とは、１または複数の円振動眼ステレオ瞬時画像において被写体のある一点の光が円振動により描く円軌道の半径である。または、「画像円振動半径」とは、複数の複眼ステレオ画像から把握される、被写体のある一点の光が描く円軌道の半径をいう。
本明細書において「画像円振動速度半径」とは、円振動眼ステレオ瞬時画像のある座標の近傍おけるパターンの円振動速度ベクトルの終点が描く軌跡の半径をいう。
本明細書において「複素円振動速度半径」とは、上記「画像円振動速度半径」を絶対値とし、その基準時刻での円上の角度からの当該カメラの角度を位相で表したものをいう。
本明細書において「画像円振動速度半径」とは、円振動眼ステレオ瞬時画像のある座標の近傍おけるパターンの円振動速度ベクトルの終点が描く軌跡の半径をいう。
本明細書において「複素円振動速度半径」とは、上記「画像円振動速度半径」を絶対値とし、その基準時刻での円上の角度からの当該カメラの角度を位相で表したものをいう。
本明細書において「円周方向フーリエ係数」とは、円振動眼ステレオ瞬時画像または複眼ステレオ画像を形成する光を撮像素子において変換した信号と、数式１に示す参照信号との積を、１周分の円振動眼ステレオ瞬時画像または複眼ステレオ画像について積分して求められる係数である。
ただし、数式１においてｊは虚数、ｍは０以上の整数、Δωｔは時間とともに変化する受光部の位相を表し、Δωｔは実施の形態により受光部の位相θとも表される。
（第１の実施の形態）
図２〜４を参照して、本発明にかかる第１の実施の形態を説明する。図２は第１の実施の形態にかかる距離画像生成装置１の構成を示す図である。距離画像生成装置１は、時間相関カメラ２０と、中空モータ２１と、ロンボイドプリズム２２と、演算処理装置２３と、偏光フィルタ２４と、シェード２５と、台座２６と、撮像レンズ２７とを備える。中空モータ２１は、ロンボイドプリズム２２を所定の角速度で回転させる。図２の左側から到来する計測対象からの光は、偏光フィルタ２４により円偏光され、ロンボイドプリズム２２により反射され、中空モータ２１の中空部と撮像レンズ２７を通過し、時間相関カメラ２０の受光素子１５１に到達する。
図２〜４を参照して、本発明にかかる第１の実施の形態を説明する。図２は第１の実施の形態にかかる距離画像生成装置１の構成を示す図である。距離画像生成装置１は、時間相関カメラ２０と、中空モータ２１と、ロンボイドプリズム２２と、演算処理装置２３と、偏光フィルタ２４と、シェード２５と、台座２６と、撮像レンズ２７とを備える。中空モータ２１は、ロンボイドプリズム２２を所定の角速度で回転させる。図２の左側から到来する計測対象からの光は、偏光フィルタ２４により円偏光され、ロンボイドプリズム２２により反射され、中空モータ２１の中空部と撮像レンズ２７を通過し、時間相関カメラ２０の受光素子１５１に到達する。
時間相関カメラ２０の基本構造の要点は、（１）入射フォトンを光電流（被乗数）に変換するフォトダイオードＰＤと、（２）全画素に共通な参照信号Ｖ１〜Ｖ３を供給する参照信号生成器１０７と、（３）光電流と参照信号との間の積に比例する電流を生成するトランジスタＴ１〜Ｔ３と、（４）上述した積に比例する電流を時間積分して相関値として蓄積するコンデンサＣ１〜Ｃ３（積分手段）とを備え、（５）相関値を走査して画像信号として出力することにある。すなわち、時間相関カメラ２０は、入射光強度と、各画素共通の外部参照信号との時間相関を各画素ごとに生成して画像として出力するデバイスであり、既知のイメージセンサである（特開平１０−２８１８６８号公報参照）。
時間相関カメラ２０および演算処理装置２３のブロック図を図３に示す。時間相関カメラ２０は、複数の受光素子１５１からなる撮像素子１５０と、画像生成部１０３と、参照信号生成器１０７とを備える。ただし、図３では、時間相関カメラ２０が備える複数の受光素子１５１のうちの１つの撮像素子の構成を示しており、他の受光素子１５１の構成も同様である。
時間相関カメラ２０および演算処理装置２３のブロック図を図３に示す。時間相関カメラ２０は、複数の受光素子１５１からなる撮像素子１５０と、画像生成部１０３と、参照信号生成器１０７とを備える。ただし、図３では、時間相関カメラ２０が備える複数の受光素子１５１のうちの１つの撮像素子の構成を示しており、他の受光素子１５１の構成も同様である。
受光素子１５１は、光を光電流に変換するフォトダイオードＰＤと、トランジスタＴ１〜Ｔ３と、コンデンサＣ１〜Ｃ３と、スイッチ素子ＳＸ１〜３、ＳＹ１〜３、およびＡ／Ｄ変換器１０２とを備える。各コンデンサＣ１〜Ｃ３には、フォトダイオードＰＤで変換された光電流と参照信号Ｖ１〜Ｖ３との間の積に比例する電流の電荷が蓄積される。Ａ／Ｄ変換器１０２は、フレーム周期ごとにスイッチ素子ＳＸ１〜３，ＳＹ１〜３をオンにして、コンデンサＣ１〜Ｃ３に蓄えられている電荷を読み出し、デジタル信号に変換してデジタル信号Ｄ１〜Ｄ３として画像生成部１０３に出力する。画像生成部１０３は、複数の受光素子１５１から出力されたデジタル信号Ｄ１〜Ｄ３から画像を生成する。たとえば、デジタル信号Ｄ１から強度画像ｇ０を、デジタル信号Ｄ２〜Ｄ３から相関画像ｇ１、ｇ２を生成する。
ここで、強度画像ｇ０および相関画像ｇ１、ｇ２を数式で表すために、時間相関カメラ２０のフレーム周期をＴ、フレーム周波数Δω＝２π／Ｔ、中空モータの回転周波数をω＝ｍΔωとおく。また、時間相関カメラに入力する３つの参照信号Ｖ１〜Ｖ３の周波数をｎ０Δω、ｎ１Δω、ｎ２Δωとする。ｍ＝１、ｎ０＝０、ｎ１＝１、ｎ２＝２とおき、時刻ｔに撮像レンズ２７を通過して時間相関カメラ２０の撮像素子１５０の座標（ｘ、ｙ）に位置する受光素子１５１に入力される光をｆ（ｘ、ｙ、ｔ）とおくと、強度画像ｇ０、および相関画像ｇ１、ｇ２は以下の数式２〜４により表される。
すなわち、参照信号生成器１０７の生成する参照信号Ｖ１〜Ｖ３の周波数と、中空モータ２１の回転周波数は、順に０倍、ｍ倍、２ｍ倍の関係にあるので、中空モータ２１の初期位相が明らかであれば、参照信号生成器１０７の生成する参照信号Ｖ１〜Ｖ３は、中空モータ２１の回転位相に応じた信号となっている。
演算処理装置２３は、時間相関カメラ２０と信号線で接続されており、画像円振動速度半径算出部１０４と、距離算出部１０５と、距離画像保存部１０６を備える。
画像円振動速度半径算出部１０４は、強度画像ｇ０、および相関画像ｇ１、ｇ２を以下の数式５に代入して画像円振動速度半径ａを算出し、距離算出部１０５に出力する。ただし、数式５ではｇ０、ｇ１、ｇ２、およびａについて（ｘ、ｙ）を省略している。また、数式５に使用している算術記号の定義は数式６のとおりである。以後、数式６の右項のようにコンジゲート（指数部の＊）は共役な複素数を表すこととする。
画像円振動速度半径算出部１０４は、強度画像ｇ０、および相関画像ｇ１、ｇ２を以下の数式５に代入して画像円振動速度半径ａを算出し、距離算出部１０５に出力する。ただし、数式５ではｇ０、ｇ１、ｇ２、およびａについて（ｘ、ｙ）を省略している。また、数式５に使用している算術記号の定義は数式６のとおりである。以後、数式６の右項のようにコンジゲート（指数部の＊）は共役な複素数を表すこととする。
距離算出部１０５は、中空モータ２１の同期信号からその位相φ＝∠ａを求め、数式７により撮像レンズ２７から測定対象までの距離Ｚを算出し、距離画像保存部１０６に保存する。ただし、Ｆは撮像レンズ２７の焦点距離、すなわち撮像レンズ２７と撮像素子１５０との距離であり、Ｒは図４に示すロンボイドプリズムによりシフトされるシフト量、すなわち本明細書の定義における物理円振動半径であり、いずれも既知である。また、ｍは上述のとおり本実施の形態では１と置いた。なお距離算出部１０５は、距離画像保存部１０６に保存する際に、距離の値を０〜２５５に正規化して保存してもよい。
中空モータ２１は、台座２６に固定され、所定の回転周波数でロンボイドプリズム２２を回転させる。中空モータの回転周波数をω、時間相関カメラ２０のフレーム周波数をΔωとおくと、ω＝ｍΔωの関係にあり、本実施の形態ではｍ＝１とする。中空モータ２１の回転位相、およびＺ相の信号は、不図示のケーブルにより演算処理装置２３に伝達される。
ロンボイドプリズム２２は、光の光路を平行にシフトさせるプリズムであり、図４は第１の実施の形態に用いる、光路を距離Ｒだけシフトさせる平行型のロンボイドプリズムを示している。図中のハッチング部は回転時のダイナミックバランスのためのダミーであり、ハッチング部には光は入射しない。測定対象からの光は、図４に示すようにロンボイドプリズム２２の内部で２回反射するので、光路はシフトされるが上下や左右の反転のない像が時間相関カメラ２０に出射される。中空モータ２１が一回転すると、ある点光源から発せられてロンボイドプリズム２２を通過する光は、ロンボイドプリズム２２の回転にあわせて円の軌跡を描く。すなわち、回転するロンボイドプリズム２２を通過した光を受光する時間相関カメラ２０には、回転運動を伴う計測対象からの光が入射する。
偏光フィルタ２４は、シェード２５の先端に取り付けられている。光路をシフトさせる光学素子、すなわちロンボイドプリズム２２が、入射光の変更の影響でその透過率が変化することを防止するために、あらかじめ入射光の中の特定の直線偏光成分のみを取り出し、その円偏光化を行う。
偏光フィルタ２４は、シェード２５の先端に取り付けられている。光路をシフトさせる光学素子、すなわちロンボイドプリズム２２が、入射光の変更の影響でその透過率が変化することを防止するために、あらかじめ入射光の中の特定の直線偏光成分のみを取り出し、その円偏光化を行う。
シェード２５は、測定対象からの光以外の光、すなわち外乱光がロンボイドプリズム２２に入光することを防ぐ。
台座２６は、時間相関カメラ２０、中空モータ２１、およびシェード２５を固定する。
撮像レンズ２７は、時間相関カメラ２０のマウント部に固定されており、ロンボイドプリズム２２で反射された測定対象からの光を、時間相関カメラ２０の撮像素子１５０の表面に結像させる。
台座２６は、時間相関カメラ２０、中空モータ２１、およびシェード２５を固定する。
撮像レンズ２７は、時間相関カメラ２０のマウント部に固定されており、ロンボイドプリズム２２で反射された測定対象からの光を、時間相関カメラ２０の撮像素子１５０の表面に結像させる。
第１の実施の形態において、距離画像生成装置１は以下の動作を行う。中空モータ２１は、所定の周波数でロンボイドプリズム２２を回転させる。測定対象からの光は、ロンボイドプリズム２２の内部で２回反射されて光軸が平行にシフトされ、ロンボイドプリズム２２の回転とともに回転して時間相関カメラ２０に入射する。時間相関カメラ２０の撮像素子１５０を構成する複数の受光素子１５１は、フォトダイオードＰＤの出力する電流と参照信号Ｖ１〜Ｖ３との積に比例する電流をコンデンサＣ１〜Ｃ３に蓄積する。そして、時間相関カメラ２０のフレーム周期Ｔごとに、コンデンサＣ１〜Ｃ３に蓄積された電荷をＡ／Ｄ変換器１０２によりデジタル信号Ｄ１〜Ｄ３に変換して画像生成部１０３へ出力する。画像生成部１０３は、デジタル信号Ｄ１〜Ｄ３から強度画像ｇ０、相関画像ｇ１、ｇ２を生成し、演算処理装置２３に出力する。演算処理装置２３は、強度画像ｇ０、相関画像ｇ１、ｇ２を数式５に代入して画像円振動速度半径ａを算出し、算出した画像円振動速度半径ａを数式７に代入して距離を算出する。
上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）距離画像生成装置１は、中空モータ２１、ロンボイドプリズム２２、および時間相関カメラ２０のフォトダイオードとにより構成されて計測対象からの光を受光し円振動眼ステレオ瞬時画像の信号を繰り返し生成する円振動眼ステレオ瞬時画像信号生成部と、トランジスタＴ１〜Ｔ３、コンデンサＣ１〜Ｃ３、およびＡ／Ｄ変換器１０２とにより構成されて円振動眼ステレオ瞬時画像の信号を荷重積分して円振動眼ステレオ瞬時画像の各画素に対応する円周方向フーリエ係数ｇ０、ｇ１、ｇ２を算出する円周方向フーリエ係数算出部と、画像円振動速度半径算出部１０４と、距離算出部１０５とを備える。画像円振動速度半径算出部１０４は、円周方向フーリエ係数ｇ０、ｇ１、ｇ２を、円振動ステレオ偏微分方程式を荷重積分した行列方程式（数式５）の係数に代入して行列方程式（数式５）を解くことにより円振動眼ステレオ瞬時画像の各画素に対応する画像円振動速度半径ａを算出する。距離算出部１０５は、円振動眼ステレオ瞬時画像信号生成部の幾何学配置により定義される演算式（数式７）および画像円振動速度半径ａから円振動眼ステレオ瞬時画像の各画素に対応する距離を算出する。
数式５に示すように、本発明においては数学的に厳密な閉形式により測定対象の距離を算出することができるので、従来の両眼ステレオ法のような多大な計算が不要なだけでなく、計算手法には誤差要因がない。そのため、受動光のみで高密度、高精度、高信頼性な距離画像を高速に生成することができる。また、能動的な電磁波の照射を行わないので非侵襲で計測をすることができる。
（１）距離画像生成装置１は、中空モータ２１、ロンボイドプリズム２２、および時間相関カメラ２０のフォトダイオードとにより構成されて計測対象からの光を受光し円振動眼ステレオ瞬時画像の信号を繰り返し生成する円振動眼ステレオ瞬時画像信号生成部と、トランジスタＴ１〜Ｔ３、コンデンサＣ１〜Ｃ３、およびＡ／Ｄ変換器１０２とにより構成されて円振動眼ステレオ瞬時画像の信号を荷重積分して円振動眼ステレオ瞬時画像の各画素に対応する円周方向フーリエ係数ｇ０、ｇ１、ｇ２を算出する円周方向フーリエ係数算出部と、画像円振動速度半径算出部１０４と、距離算出部１０５とを備える。画像円振動速度半径算出部１０４は、円周方向フーリエ係数ｇ０、ｇ１、ｇ２を、円振動ステレオ偏微分方程式を荷重積分した行列方程式（数式５）の係数に代入して行列方程式（数式５）を解くことにより円振動眼ステレオ瞬時画像の各画素に対応する画像円振動速度半径ａを算出する。距離算出部１０５は、円振動眼ステレオ瞬時画像信号生成部の幾何学配置により定義される演算式（数式７）および画像円振動速度半径ａから円振動眼ステレオ瞬時画像の各画素に対応する距離を算出する。
数式５に示すように、本発明においては数学的に厳密な閉形式により測定対象の距離を算出することができるので、従来の両眼ステレオ法のような多大な計算が不要なだけでなく、計算手法には誤差要因がない。そのため、受動光のみで高密度、高精度、高信頼性な距離画像を高速に生成することができる。また、能動的な電磁波の照射を行わないので非侵襲で計測をすることができる。
（２）円振動眼ステレオ瞬時画像信号生成部は、計測対象からの光を受光するフォトダイオードＰＤと、フォトダイオードＰＤの入射光路中に配置した光学素子、本実施の形態ではロンボイドプリズム２２を回転させて計測対象からの光を受光部上に円振動させる中空モータ２１とを含む。ロンボイドプリズム２２と中空モータ２１は、光学装置を構成する。
そのため、円振動させる対象が小型のロンボイドプリズム２２なので、光路をシフトさせる回転速度、すなわち中空モータ２１の回転数を容易に上げることができる。
そのため、円振動させる対象が小型のロンボイドプリズム２２なので、光路をシフトさせる回転速度、すなわち中空モータ２１の回転数を容易に上げることができる。
（３）受光部は、アナログ信号である円振動眼ステレオ瞬時画像の信号を生成するフォトダイオードＰＤである。時間相関カメラ２０の受光素子１５１からフォトダイオードＰＤを除いた部分、すなわち円周方向フーリエ係数算出部は、トランジスタＴ１〜Ｔ３と、コンデンサＣ１〜Ｃ３と、Ａ／Ｄ変換器１０２とを含む。トランジスタＴ１〜Ｔ３、すなわち乗算手段は、円振動眼ステレオ瞬時画像のアナログ信号と当該円振動眼ステレオ瞬時画像のアナログ信号が生成された際の光学装置の回転位相に応じた３種類以上の参照信号との積に比例するアナログ信号を生成する。コンデンサＣ１〜Ｃ３、すなわち積分手段は、乗算手段の出力するアナログ信号を蓄積する。Ａ／Ｄ変換器１０２は、時間相関カメラ２０の１フレーム周期ごとに、積分手段に蓄積されたアナログ信号をデジタル信号に変換し、円周方向フーリエ係数として出力する。フォトダイオードＰＤとトランジスタＴ１〜Ｔ３とコンデンサＣ１〜Ｃ３とＡ／Ｄ変換器１０２とが１つの素子に実装されている。
そのため、荷重積分演算がＡＤ変換前のアナログ信号の領域で行われることになり、センサのサンプリング周波数、すなわち時間相関カメラ２０のフレーム周波数を超える周波数の信号情報も有効に利用することができる。
そのため、荷重積分演算がＡＤ変換前のアナログ信号の領域で行われることになり、センサのサンプリング周波数、すなわち時間相関カメラ２０のフレーム周波数を超える周波数の信号情報も有効に利用することができる。
（変形例１）
第１の実施の形態において、測定対象からの光をシフトさせるために、平行型のロンボイドプリズム２２を用いたが、輻輳型のロンボイドプリズム２２ａを用いてもよい。輻輳型のロンボイドプリズム２２ａは、入射光と出射光が平行ではなく、回転する輻輳型のロンボイドプリズム２２ａを通過した光を撮影しても、撮像レンズ２７から奥行きＨの面（以後、この面を「基準面」と呼ぶ）で円振動が生じない。
図５は、輻輳型のロンボイドプリズム２２ａを示す図である。平行型のロンボイドプリズム２２とはギャップを設けている点が異なり、ギャップの厚さを調整することにより、輻輳の基準面の位置を変更することができる。
輻輳型の場合は、数式７に代えて数式８を使用することにより、測定対象までの距離を算出することができる。
第１の実施の形態において、測定対象からの光をシフトさせるために、平行型のロンボイドプリズム２２を用いたが、輻輳型のロンボイドプリズム２２ａを用いてもよい。輻輳型のロンボイドプリズム２２ａは、入射光と出射光が平行ではなく、回転する輻輳型のロンボイドプリズム２２ａを通過した光を撮影しても、撮像レンズ２７から奥行きＨの面（以後、この面を「基準面」と呼ぶ）で円振動が生じない。
図５は、輻輳型のロンボイドプリズム２２ａを示す図である。平行型のロンボイドプリズム２２とはギャップを設けている点が異なり、ギャップの厚さを調整することにより、輻輳の基準面の位置を変更することができる。
輻輳型の場合は、数式７に代えて数式８を使用することにより、測定対象までの距離を算出することができる。
この変形例１によれば、基準面からの距離の変化を高精度に測定することができる。平行型のロンボイドプリズム２２は、基準面が無限遠にあることと同じであり、それに比較すれば、測定対象が近距離であるほど、輻輳型を使用することによる精度の向上が大きい。
また、基準面付近にある計測対象の像は、ロンボイドプリズム２２ａが回転しても円振動が生じないため、鮮明な像が得られる。
また、基準面付近にある計測対象の像は、ロンボイドプリズム２２ａが回転しても円振動が生じないため、鮮明な像が得られる。
（変形例２）
第１の実施の形態において、中空モータ２１は測定対象からの光を円振動させるためにロンボイドプリズム２２を回転させたが、ロンボイドプリズム２２の代わりに傾斜平面ガラス３１を回転させてもよい。
図６は、ロンボイドプリズム２２の代わりに傾斜平面ガラス３１を使用する場合の、測定対象からの光の光路を示す図である。また、傾斜平面ガラス３１の入出射平面を非平行とすることにより、輻輳型として用いることができる。
この変形例２によれば、距離画像生成装置１を安価に作成することができる。
第１の実施の形態において、中空モータ２１は測定対象からの光を円振動させるためにロンボイドプリズム２２を回転させたが、ロンボイドプリズム２２の代わりに傾斜平面ガラス３１を回転させてもよい。
図６は、ロンボイドプリズム２２の代わりに傾斜平面ガラス３１を使用する場合の、測定対象からの光の光路を示す図である。また、傾斜平面ガラス３１の入出射平面を非平行とすることにより、輻輳型として用いることができる。
この変形例２によれば、距離画像生成装置１を安価に作成することができる。
（変形例３）
第１の実施の形態において、測定対象からの光を円振動させるために、中空モータ２１を用いてロンボイドプリズム２２を回転させたが、カセグレン光学系またはニュートン光学系および斜角振動鏡により中空モータ２１を用いずに測定対象からの光を円振動させてもよい。
図７は、カセグレン光学系３２の構成を示している。カセグレン光学系３２は、補償レンズ３２ａと、球面鏡３２ｂと、斜角振動鏡３２ｃとから構成される。測定対象からの光は、補償レンズ３２ａを通過して球面鏡３２ｂで反射され、斜角振動鏡３２ｃで反射されて時間相関カメラ２０に入射する。斜角振動鏡３２ｃがその中心軸を中心にすりこぎ運動をすることにより、測定対象からの光を回転させることができる。
この変形例３によれば、中空モータ２１が不要なため距離画像生成装置１を安価に作成することができる。また大口径の中空モータは入手が困難であるが、中空モータが不要なため大口径の距離画像生成装置１を作成することができる。
第１の実施の形態において、測定対象からの光を円振動させるために、中空モータ２１を用いてロンボイドプリズム２２を回転させたが、カセグレン光学系またはニュートン光学系および斜角振動鏡により中空モータ２１を用いずに測定対象からの光を円振動させてもよい。
図７は、カセグレン光学系３２の構成を示している。カセグレン光学系３２は、補償レンズ３２ａと、球面鏡３２ｂと、斜角振動鏡３２ｃとから構成される。測定対象からの光は、補償レンズ３２ａを通過して球面鏡３２ｂで反射され、斜角振動鏡３２ｃで反射されて時間相関カメラ２０に入射する。斜角振動鏡３２ｃがその中心軸を中心にすりこぎ運動をすることにより、測定対象からの光を回転させることができる。
この変形例３によれば、中空モータ２１が不要なため距離画像生成装置１を安価に作成することができる。また大口径の中空モータは入手が困難であるが、中空モータが不要なため大口径の距離画像生成装置１を作成することができる。
（第２の実施の形態）
図８を参照して、本発明による距離画像生成装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、光学素子すなわちロンボイドプリズム２２を回転させるのではなく時間相関カメラ２０が円振動を行う点で、第１の実施の形態と異なる。
図８は、第２の実施の形態にかかる距離画像生成装置１ｂの構成を示す図である。距離画像生成装置１ｂは、時間相関カメラ２０と、距離画像生成用の演算処理装置２３と、時間相関カメラ２０を公転させる公転装置３３とを備える。測定対象は図８の手前側に位置しており、時間相関カメラ２０は紙面の手前側を撮影する。
図８を参照して、本発明による距離画像生成装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、光学素子すなわちロンボイドプリズム２２を回転させるのではなく時間相関カメラ２０が円振動を行う点で、第１の実施の形態と異なる。
図８は、第２の実施の形態にかかる距離画像生成装置１ｂの構成を示す図である。距離画像生成装置１ｂは、時間相関カメラ２０と、距離画像生成用の演算処理装置２３と、時間相関カメラ２０を公転させる公転装置３３とを備える。測定対象は図８の手前側に位置しており、時間相関カメラ２０は紙面の手前側を撮影する。
時間相関カメラ２０は、公転装置３３により測定対象と対向する面内において、同一の姿勢を保持したまま半径Ｒ２の円周上をその姿勢を一定に保ったまま移動して円軌跡を描く。そのため、時間相関カメラ２０が公転装置３３により回転されて得られる入射光は、第１の実施の形態において回転するロンボイドプリズム２２により反射された入射光と同一の性質を有する。第２の実施の形態の距離画像生成装置１ｂでは、たとえば、時間相関カメラ２０が円軌道を１周する間に１フレームの撮影を行い、円振動眼ステレオ瞬時画像を得る。この画像の信号は演算処理装置２３に入力される。
時間相関カメラ２０を公転させる公転装置３３による公転の周波数ω２は、第１の実施の形態における中空モータ２１の回転周波数ωに相当する。そのため、第１の実施の形態における中空モータ２１の回転周波数ωを公転装置３３による公転の周波数ω２におきかえることにより、同一の計算手法により測定対象の距離を測定することができる。
時間相関カメラ２０を公転させる公転装置３３による公転の周波数ω２は、第１の実施の形態における中空モータ２１の回転周波数ωに相当する。そのため、第１の実施の形態における中空モータ２１の回転周波数ωを公転装置３３による公転の周波数ω２におきかえることにより、同一の計算手法により測定対象の距離を測定することができる。
上述した第２の実施の形態によれば、次の作用効果が得られる。
（１）円振動眼ステレオ瞬時画像信号生成部は、計測対象からの光を受光するフォトダイオードＰＤすなわち受光部と、フォトダイオードＰＤを含む時間相関カメラ２０を計測対象と対向する面内で公転運動させる公転装置３３とを含む。
そのため、中空モータ２１が不要であり、距離画像生成装置１を安価に作成することができる。また大口径の中空モータは入手が困難であるが、中空モータが不要なため大口径の距離画像生成装置１ｂを作成することができる。
（１）円振動眼ステレオ瞬時画像信号生成部は、計測対象からの光を受光するフォトダイオードＰＤすなわち受光部と、フォトダイオードＰＤを含む時間相関カメラ２０を計測対象と対向する面内で公転運動させる公転装置３３とを含む。
そのため、中空モータ２１が不要であり、距離画像生成装置１を安価に作成することができる。また大口径の中空モータは入手が困難であるが、中空モータが不要なため大口径の距離画像生成装置１ｂを作成することができる。
（変形例４）
第１の実施の形態および第２の実施の形態において、時間相関カメラ２０により測定対象からの光を撮影したが、ハイスピードカメラにより撮影してもよい。
図９は、ハイスピードカメラを用いる距離画像生成装置１ｃのブロック図である。距離画像生成装置１ｃは、第１の実施の形態で説明したように中空モータ２１により回転する光学素子であるロンボイドプリズム２２を有する光学装置４１と、ハイスピードカメラ４０と、演算装置４３とを備える。また、第２の実施の形態と同様に、光学装置４１の代わりにハイスピードカメラ４０を公転運動させる公転装置３３を用いてもよい。
第１の実施の形態および第２の実施の形態において、時間相関カメラ２０により測定対象からの光を撮影したが、ハイスピードカメラにより撮影してもよい。
図９は、ハイスピードカメラを用いる距離画像生成装置１ｃのブロック図である。距離画像生成装置１ｃは、第１の実施の形態で説明したように中空モータ２１により回転する光学素子であるロンボイドプリズム２２を有する光学装置４１と、ハイスピードカメラ４０と、演算装置４３とを備える。また、第２の実施の形態と同様に、光学装置４１の代わりにハイスピードカメラ４０を公転運動させる公転装置３３を用いてもよい。
ハイスピードカメラ４０は、複数の画素である受光素子１６１を有する撮像素子１６０と、Ａ／Ｄ変換器１１１と、撮像信号データバッファ１１２と、ファイル保存部１１３とを備える。それぞれの受光素子１６１は、入射フォトンを光電流に変換するフォトダイオードと、光電流を蓄積するコンデンサを備える。図９では、ハイスピードカメラ４０が備える複数の撮像素子のうちの１つの受光素子１６１について模式的に示している。
Ａ／Ｄ変換器１１１は、一定時間ごとに各受光素子１６１のコンデンサに蓄積された電荷を順次取り込み、デジタル信号として撮像信号データバッファ１１２に出力する。
撮像信号データバッファ１１２は、Ａ／Ｄ変換器１１１から順次出力されたデジタル信号を、それぞれの受光素子１６１の物理的な配置に基づき整列させて円振動眼ステレオ瞬時画像ファイルを生成し、ファイル保存部１１３に出力する。ただし、円振動眼ステレオ瞬時画像ファイルのファイル名には通し番号を付加しており、ファイル名により撮影開始から何枚目の画像であるかが判断できる。ファイル保存部１１３は、フラッシュメモリにより構成され、撮像信号データバッファ１１２から出力された円振動眼ステレオ瞬時画像ファイルを保存し、演算装置４３からの要求に応じて円振動眼ステレオ瞬時画像ファイルを出力する。
Ａ／Ｄ変換器１１１は、一定時間ごとに各受光素子１６１のコンデンサに蓄積された電荷を順次取り込み、デジタル信号として撮像信号データバッファ１１２に出力する。
撮像信号データバッファ１１２は、Ａ／Ｄ変換器１１１から順次出力されたデジタル信号を、それぞれの受光素子１６１の物理的な配置に基づき整列させて円振動眼ステレオ瞬時画像ファイルを生成し、ファイル保存部１１３に出力する。ただし、円振動眼ステレオ瞬時画像ファイルのファイル名には通し番号を付加しており、ファイル名により撮影開始から何枚目の画像であるかが判断できる。ファイル保存部１１３は、フラッシュメモリにより構成され、撮像信号データバッファ１１２から出力された円振動眼ステレオ瞬時画像ファイルを保存し、演算装置４３からの要求に応じて円振動眼ステレオ瞬時画像ファイルを出力する。
演算装置４３は、たとえばＣＰＵ、ＦＰＧＡ、またはＡＳＩＣで実現され、データ読み出し部１１４と、荷重積分演算部１１５と、画像円振動速度半径算出部１０４と、距離算出部１０５、距離画像保存部１０６とを備える。
データ読み出し部１１４は、ハイスピードカメラ４０のファイル保存部１１３から円振動眼ステレオ瞬時画像ファイルを読み出し、荷重積分演算部１１５に出力する。
荷重積分演算部１１５は、データ読み出し部１１４から出力された円振動眼ステレオ瞬時画像に対して以下の数式１０〜１２に示す処理を行い、生成した強度画像ｇ０および相関画像ｇ１、ｇ２を画像円振動速度半径算出部１０４に出力する。なお、荷重積分演算部１１５により生成される強度画像ｇ０および相関画像ｇ１、ｇ２は、第１の実施の形態とは受光した信号の処理は異なるが、その後の処理は第１の実施の形態と同様である。
画像円振動速度半径算出部１０４と、距離算出部１０５と、距離画像保存部１０６は、第１の実施の形態と同様の処理を行う。
データ読み出し部１１４は、ハイスピードカメラ４０のファイル保存部１１３から円振動眼ステレオ瞬時画像ファイルを読み出し、荷重積分演算部１１５に出力する。
荷重積分演算部１１５は、データ読み出し部１１４から出力された円振動眼ステレオ瞬時画像に対して以下の数式１０〜１２に示す処理を行い、生成した強度画像ｇ０および相関画像ｇ１、ｇ２を画像円振動速度半径算出部１０４に出力する。なお、荷重積分演算部１１５により生成される強度画像ｇ０および相関画像ｇ１、ｇ２は、第１の実施の形態とは受光した信号の処理は異なるが、その後の処理は第１の実施の形態と同様である。
画像円振動速度半径算出部１０４と、距離算出部１０５と、距離画像保存部１０６は、第１の実施の形態と同様の処理を行う。
第１の実施の形態と同様に、荷重積分演算部１１５において生成される強度画像ｇ０および相関画像ｇ１、ｇ２を数式で表す。時間相関カメラ２０のフレーム周期をＴ、ハイスピードカメラ４０のフレーム周期を時間相関カメラ２０の１／ｎとする。このとき、時刻ｔに撮像レンズ２７を通過してハイスピードカメラ４０の撮像素子の座標（ｘ、ｙ）に入力される光を第１の実施の形態と同様にｆ（ｘ、ｙ、ｔ）とおくと、時刻ｔ＝０からハイスピードカメラ４０で撮影したある円振動眼ステレオ瞬時画像ｐｔ＝０（ｘ、ｙ）は数式９により表される。
荷重積分演算部１１５は、データ読み出し部１１４から出力された円振動眼ステレオ瞬時画像に対して以下の数式１０、数式１１、数式１２を適用し、強度画像ｇ０および相関画像ｇ１、ｇ２を算出する。算出された強度画像ｇ０および相関画像ｇ１、ｇ２は、第１の実施の形態と同様に、以下同様に画像円振動速度半径算出部１０４、距離算出部１０５、および距離画像保存部１０６で処理される。
上述した変形例４によれば、次の作用効果が得られる。
（１）受光部は、アナログ信号を生成するフォトダイオードと、フォトダイオードの生成するアナログ信号を蓄積するコンデンサとが実装された受光素子１６１である。円振動眼ステレオ瞬時画像信号生成部は、受光部のコンデンサの蓄積したアナログ信号をデジタル信号に変換することにより円振動眼ステレオ瞬時画像の信号を生成するＡ／Ｄ変換器１１１を有する。円周方向フーリエ係数算出部は、中空モータ２１が１回転する期間、または公転装置３３の１公転周期の期間に出力された複数の円振動眼ステレオ瞬時画像の信号と、変数ｋで表される当該円振動眼ステレオ瞬時画像の撮影開始からの枚数に応じた参照信号との積を積算し、強度画像ｇ０および相関画像ｇ１、ｇ２、すなわち円周方向フーリエ係数として出力する。
そのため、市販の撮影装置であるハイスピードカメラを用いて、距離画像生成装置を作成することができる。こうしてハイスピードカメラの撮影画像から作成された強度画像および相関画像は、フレーム周波数が当該ハイスピードカメラのｎ倍、参照信号の周波数が回転周波数のｍ倍の時間相関カメラから得られる強度画像および相関画像と似た特徴を有するが、時間情報が離散的なので精度が劣る。なお、撮影対象の動作が十分に低速であり、かつ距離画像の更新周期が長くてもよい場合には、ハイスピードカメラの代わりに通常のカメラを用いてもよい。
（１）受光部は、アナログ信号を生成するフォトダイオードと、フォトダイオードの生成するアナログ信号を蓄積するコンデンサとが実装された受光素子１６１である。円振動眼ステレオ瞬時画像信号生成部は、受光部のコンデンサの蓄積したアナログ信号をデジタル信号に変換することにより円振動眼ステレオ瞬時画像の信号を生成するＡ／Ｄ変換器１１１を有する。円周方向フーリエ係数算出部は、中空モータ２１が１回転する期間、または公転装置３３の１公転周期の期間に出力された複数の円振動眼ステレオ瞬時画像の信号と、変数ｋで表される当該円振動眼ステレオ瞬時画像の撮影開始からの枚数に応じた参照信号との積を積算し、強度画像ｇ０および相関画像ｇ１、ｇ２、すなわち円周方向フーリエ係数として出力する。
そのため、市販の撮影装置であるハイスピードカメラを用いて、距離画像生成装置を作成することができる。こうしてハイスピードカメラの撮影画像から作成された強度画像および相関画像は、フレーム周波数が当該ハイスピードカメラのｎ倍、参照信号の周波数が回転周波数のｍ倍の時間相関カメラから得られる強度画像および相関画像と似た特徴を有するが、時間情報が離散的なので精度が劣る。なお、撮影対象の動作が十分に低速であり、かつ距離画像の更新周期が長くてもよい場合には、ハイスピードカメラの代わりに通常のカメラを用いてもよい。
（第３の実施の形態）
図１０を参照して、本発明による距離画像生成装置の第３の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、複数の撮像装置を用いて測定対象からの光を撮影し円振動眼ステレオ瞬時画像を生成する点で、第１の実施の形態と異なる。
図１０は、第３の実施の形態にかかる距離画像生成装置１ｄの構成を示す図である。距離画像生成装置１ｄは、半径Ｒ３の円周上に等しい角度ピッチで配置されたＮ個の撮像装置５０と、演算装置４３ａとを備える。測定対象は図１０の手前側に位置しており、撮像装置５０は紙面の手前側を撮影する。撮像装置５０は、複数の受光素子１６１を有する撮像素子１６０と、Ａ／Ｄ変換器とを備える。
図１０を参照して、本発明による距離画像生成装置の第３の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、複数の撮像装置を用いて測定対象からの光を撮影し円振動眼ステレオ瞬時画像を生成する点で、第１の実施の形態と異なる。
図１０は、第３の実施の形態にかかる距離画像生成装置１ｄの構成を示す図である。距離画像生成装置１ｄは、半径Ｒ３の円周上に等しい角度ピッチで配置されたＮ個の撮像装置５０と、演算装置４３ａとを備える。測定対象は図１０の手前側に位置しており、撮像装置５０は紙面の手前側を撮影する。撮像装置５０は、複数の受光素子１６１を有する撮像素子１６０と、Ａ／Ｄ変換器とを備える。
撮像装置５０は、演算装置４３ａからのリモート撮影の信号に基づき撮影を行う、たとえばリモート撮影機能付きデジタルカメラである。撮像装置５０は、複数の受光素子１７１から構成される撮像素子１７０を有する。撮像装置５０の光軸は、撮像装置５０が配置されている円を含む面に直角であり、互いに平行である。１つの撮像装置５０により撮影されて得られた、複眼ステレオ画像を構成する要素画像は、撮像装置５０の内部に保存され、演算装置４３ａから読み出される。
演算装置４３ａは、変形例４における演算装置４３の機能に加えて、撮像装置５０に対してリモート撮影の信号を送信する撮影指令部１２１を有する。データ読み出し部１１４ａは、各撮像装置５０から要素画像を読み出して、複眼ステレオ画像を得る。そのため、演算装置４３ａは各撮像装置５０にリモート撮影の信号およびデータ読み出しを順次行うこともできるし、全ての撮像装置５０に同時にリモート撮影の信号を送信してデータ読み出しを順次行うこともできる。
演算装置４３ａは、変形例４における演算装置４３の機能に加えて、撮像装置５０に対してリモート撮影の信号を送信する撮影指令部１２１を有する。データ読み出し部１１４ａは、各撮像装置５０から要素画像を読み出して、複眼ステレオ画像を得る。そのため、演算装置４３ａは各撮像装置５０にリモート撮影の信号およびデータ読み出しを順次行うこともできるし、全ての撮像装置５０に同時にリモート撮影の信号を送信してデータ読み出しを順次行うこともできる。
荷重積分演算部１１５ａは、撮像装置５０により撮影して得られた複眼ステレオ画像を、Ｃ0〜Ｃn-1とすると、強度画像ｇ０および相関画像ｇ１、ｇ２は以下のように算出し、画像円振動速度半径算出部１０４に出力する。ただし、撮像装置５０が円周上に並んでいる順番に番号を割り当てることとする。すなわち、以下の数式１３、数式１４、数式１５に示すように、要素画像を撮影した撮像装置５０が配置されている円周上の位相に応じて、要素画像に掛けあわせる参照信号を変化させる。
画像円振動速度半径算出部１０４と、距離算出部１０５、距離画像保存部１０６は、第１の実施の形態と同様の処理を行う。
以上説明した第３の実施の形態は以下の作用効果を奏する。
（１）距離画像生成装置１ｄは、計測対象からの光を円周上に配置されて要素画像、すなわち複眼ステレオ画像を構成する信号を生成する複数の撮像装置５０と、荷重積分演算部１１５ａと、画像円振動速度半径算出部１０４と、距離算出部１０５とを備える。荷重積分演算部１１５ａは、複眼ステレオ画像の信号を荷重積分して複眼ステレオ画像の各画素に対応する円周方向フーリエ係数ｇ０、ｇ１、ｇ２を算出する。画像円振動速度半径算出部１０４は、円周方向フーリエ係数ｇ０、ｇ１、ｇ２を、円振動ステレオ偏微分方程式を荷重積分した行列方程式（数式５）の係数に代入して行列方程式（数式５）を解くことにより複眼ステレオ画像の各画素に対応する画像円振動速度半径ａを算出する。距離算出部１０５は、複眼ステレオ画像信号生成部の幾何学配置により定義される演算式（数式７）および画像円振動速度半径ａから複眼ステレオ画像の各画素に対応する距離を算出する。
第３の実施の形態の距離画像生成装置１ｄにおいても、可動部を備えていないため故障が起きにくく、回転動作などに起因した不具合の恐れがなく寿命、信頼性が高い。また、撮像装置５０は市販品で足りるため安価に距離画像生成装置１ｄを製作することができる。
（１）距離画像生成装置１ｄは、計測対象からの光を円周上に配置されて要素画像、すなわち複眼ステレオ画像を構成する信号を生成する複数の撮像装置５０と、荷重積分演算部１１５ａと、画像円振動速度半径算出部１０４と、距離算出部１０５とを備える。荷重積分演算部１１５ａは、複眼ステレオ画像の信号を荷重積分して複眼ステレオ画像の各画素に対応する円周方向フーリエ係数ｇ０、ｇ１、ｇ２を算出する。画像円振動速度半径算出部１０４は、円周方向フーリエ係数ｇ０、ｇ１、ｇ２を、円振動ステレオ偏微分方程式を荷重積分した行列方程式（数式５）の係数に代入して行列方程式（数式５）を解くことにより複眼ステレオ画像の各画素に対応する画像円振動速度半径ａを算出する。距離算出部１０５は、複眼ステレオ画像信号生成部の幾何学配置により定義される演算式（数式７）および画像円振動速度半径ａから複眼ステレオ画像の各画素に対応する距離を算出する。
第３の実施の形態の距離画像生成装置１ｄにおいても、可動部を備えていないため故障が起きにくく、回転動作などに起因した不具合の恐れがなく寿命、信頼性が高い。また、撮像装置５０は市販品で足りるため安価に距離画像生成装置１ｄを製作することができる。
（２）撮像装置５０は、複数の受光素子１７１からそれぞれ出力されるアナログ信号をフレーム周期だけ蓄積してデジタル信号に変換し、複眼ステレオ画像を構成する要素画像を出力する。荷重積分演算部１１５ａすなわち円周方向フーリエ係数算出部は、円振動眼ステレオ瞬時画像の信号と当該複眼ステレオ画像を撮影した撮像装置５０が配置された円周方向の位相に応じた参照信号との積を各画素について積算し、強度画像ｇ０および相関画像ｇ１、ｇ２、すなわち円周方向フーリエ係数として出力する。
（３）距離画像生成装置１ｄは、複数の撮像装置５０に同時にリモート撮影の信号を送信し、複数の撮像装置５０に測定対象からの光を受光させる撮影指令部１２１を備える。そのため、複数の撮像装置５０に同時にリモート撮影の信号を送信することにより、測定対象が動きを有する場合に動きの影響を低減させることができる。
（３）距離画像生成装置１ｄは、複数の撮像装置５０に同時にリモート撮影の信号を送信し、複数の撮像装置５０に測定対象からの光を受光させる撮影指令部１２１を備える。そのため、複数の撮像装置５０に同時にリモート撮影の信号を送信することにより、測定対象が動きを有する場合に動きの影響を低減させることができる。
（変形例５）
第３の実施の形態では、円周上に複数の撮像装置５０を配置したが、撮像装置５０の代わりにカメラモジュール５０ａを配置してもよい。カメラモジュール５０ａは、撮像装置５０からファイル保存機能を省略した、たとえば携帯電話用カメラモジュールである。
この変形例５においては、演算装置４３ａの撮影指令部１２１が複数のカメラモジュール５０ａに次々に撮影指令を出力し、カメラモジュール５０ａから受信する撮像信号を荷重積分演算部１１５ａにおいて処理する。それ以後の処理は第３の実施の形態と同様である。
この変形例５によれば、カメラモジュール５０ａは撮像装置５０よりも小型で安価であるため、距離画像生成装置１ｄの製作が容易である。
第３の実施の形態では、円周上に複数の撮像装置５０を配置したが、撮像装置５０の代わりにカメラモジュール５０ａを配置してもよい。カメラモジュール５０ａは、撮像装置５０からファイル保存機能を省略した、たとえば携帯電話用カメラモジュールである。
この変形例５においては、演算装置４３ａの撮影指令部１２１が複数のカメラモジュール５０ａに次々に撮影指令を出力し、カメラモジュール５０ａから受信する撮像信号を荷重積分演算部１１５ａにおいて処理する。それ以後の処理は第３の実施の形態と同様である。
この変形例５によれば、カメラモジュール５０ａは撮像装置５０よりも小型で安価であるため、距離画像生成装置１ｄの製作が容易である。
（変形例６）
第３の実施の形態では、円周上に配置された全ての撮像装置５０の光軸は互いに平行で、撮像装置５０が配置されている円を含む面に直角であったが、撮像装置５０の配置はこれに限定されない。撮像装置５０の光軸が、撮像装置５０が配置された円を含む面と一定の角度をなし、複数の撮像装置５０により輻輳型複眼ステレオ画像を撮影してもよい。
第３の実施の形態では、円周上に配置された全ての撮像装置５０の光軸は互いに平行で、撮像装置５０が配置されている円を含む面に直角であったが、撮像装置５０の配置はこれに限定されない。撮像装置５０の光軸が、撮像装置５０が配置された円を含む面と一定の角度をなし、複数の撮像装置５０により輻輳型複眼ステレオ画像を撮影してもよい。
（変形例７）
上述した実施の形態、および変形例では、平行型円振動眼ステレオ瞬時画像と輻輳型円振動眼ステレオ瞬時画像を得るための物理的な構成が異なっていた。しかし、演算によって以下のように、平行型円振動眼ステレオ瞬時画像から輻輳型円振動眼ステレオ瞬時画像を作成する、輻輳画像生成部を距離画像生成装置に設けてもよい。そして、輻輳画像生成部が生成した画像を、荷重積分演算部１１５以下が第１の実施の形態と同様に処理する。
たとえば、撮影して得られた平行型円振動眼ステレオ瞬時画像のサイズが横ｓピクセル、縦ｔピクセルの場合に、シフト量をｕピクセルとする。このとき、それらの平行型円振動眼ステレオ瞬時画像から、以下のように横（ｓ−２ｕ）ピクセル、縦（ｔ−２ｕ）ピクセルの領域を抜き出して補間処理を行うことにより、輻輳型円振動眼ステレオ瞬時画像を作成することができる。
上述した実施の形態、および変形例では、平行型円振動眼ステレオ瞬時画像と輻輳型円振動眼ステレオ瞬時画像を得るための物理的な構成が異なっていた。しかし、演算によって以下のように、平行型円振動眼ステレオ瞬時画像から輻輳型円振動眼ステレオ瞬時画像を作成する、輻輳画像生成部を距離画像生成装置に設けてもよい。そして、輻輳画像生成部が生成した画像を、荷重積分演算部１１５以下が第１の実施の形態と同様に処理する。
たとえば、撮影して得られた平行型円振動眼ステレオ瞬時画像のサイズが横ｓピクセル、縦ｔピクセルの場合に、シフト量をｕピクセルとする。このとき、それらの平行型円振動眼ステレオ瞬時画像から、以下のように横（ｓ−２ｕ）ピクセル、縦（ｔ−２ｕ）ピクセルの領域を抜き出して補間処理を行うことにより、輻輳型円振動眼ステレオ瞬時画像を作成することができる。
測定対象からの光を受光部が受光した際の、受光部の円周上の位相φに応じて、平行型円振動眼ステレオ瞬時画像から抜き出す領域の中心位置を決定する。抜き出す領域の中心位置を、もとの画像の中心位置から数式１６に示す複素形式の量だけシフトさせる。また、シフト量が整数でない場合には近傍の画素値から補間処理を行う。
また、同様に平行型複眼ステレオ画像から輻輳型複眼ステレオ画像を作成してもよい。
図１１は、円周上に配置されたＮ個のカメラにより撮影された平行型複眼ステレオ画像から、輻輳型複眼ステレオ画像を作成する処理のイメージを示した図である。図１１では、撮影した平行型複眼ステレオ画像の中心位置から、抜き出す領域の中心位置へ向かって矢印を記載している。その矢印の向きは、Ｎ個のカメラが配置されている円の中心から、当該平行型複眼ステレオ画像が撮影されたカメラへ向かう向きと同一である。なお、図１１では抜き出す領域の中心位置が変化することを明確にするためにシフト量を画像サイズの４分の１程度としているが、実際の処理では数画素とする。
この変形例７によれば、作成が容易な平行型の構成により輻輳型の算出を行うことができる。また、ハイスピードカメラ４０のように撮影した円振動眼ステレオ瞬時画像が保存されている場合には、撮影後にシフト量ｕを任意に複数変更させて基準面の異なる複数の輻輳型の距離画像を得ることができる。
この変形例７によれば、作成が容易な平行型の構成により輻輳型の算出を行うことができる。また、ハイスピードカメラ４０のように撮影した円振動眼ステレオ瞬時画像が保存されている場合には、撮影後にシフト量ｕを任意に複数変更させて基準面の異なる複数の輻輳型の距離画像を得ることができる。
（変形例８）
第３の実施の形態では、円周上に配置した撮像装置５０から得られた複眼ステレオ画像Ｃ0〜Ｃn-1を用いて数式１３〜１５、および第１の実施の形態において説明した数式５〜７を用いて距離画像を生成した。ここで処理を終了させず、複眼ステレオ画像Ｃ0〜Ｃn-1を多眼ステレオの入力画像とし、得られた距離画像の情報を多眼ステレオの初期値として与え、ここからさらに複眼画像を用いた多眼ステレオのアルゴリズムにより距離画像や形状情報の高精度化を行ってもよい。
本発明では、複眼ステレオ画像の入射光の強度情報は用いるが、その幾何情報は用いていない。そのため、円振動半径の中で奥行きが変化する場合であっても、円振動半径の中で奥行きが変化しないとして距離を算出している。そこで、本発明による手法により算出した距離情報を初期値とし、たとえば幾何情報を考慮して、検出したエッジが円振動半径と交差する場合には別の処理を行うなど、複雑な条件を考慮に入れた多眼ステレオのアルゴリズムを導入し、距離推定の精度をさらに向上することができる。
多眼ステレオでは、適切な初期値を与えなければ、複雑な条件を設定するためのアルゴリズムが複雑になりすぎ、計算が膨大になって現実的に実現不可能となってしまう。本発明による計算を前処理として用いることで、複雑な条件の設定が可能になり、距離推定の精度も向上させることができる。
第３の実施の形態では、円周上に配置した撮像装置５０から得られた複眼ステレオ画像Ｃ0〜Ｃn-1を用いて数式１３〜１５、および第１の実施の形態において説明した数式５〜７を用いて距離画像を生成した。ここで処理を終了させず、複眼ステレオ画像Ｃ0〜Ｃn-1を多眼ステレオの入力画像とし、得られた距離画像の情報を多眼ステレオの初期値として与え、ここからさらに複眼画像を用いた多眼ステレオのアルゴリズムにより距離画像や形状情報の高精度化を行ってもよい。
本発明では、複眼ステレオ画像の入射光の強度情報は用いるが、その幾何情報は用いていない。そのため、円振動半径の中で奥行きが変化する場合であっても、円振動半径の中で奥行きが変化しないとして距離を算出している。そこで、本発明による手法により算出した距離情報を初期値とし、たとえば幾何情報を考慮して、検出したエッジが円振動半径と交差する場合には別の処理を行うなど、複雑な条件を考慮に入れた多眼ステレオのアルゴリズムを導入し、距離推定の精度をさらに向上することができる。
多眼ステレオでは、適切な初期値を与えなければ、複雑な条件を設定するためのアルゴリズムが複雑になりすぎ、計算が膨大になって現実的に実現不可能となってしまう。本発明による計算を前処理として用いることで、複雑な条件の設定が可能になり、距離推定の精度も向上させることができる。
（変形例９）
上述した実施の形態、および変形例では、距離画像生成装置は距離画像を生成したが、生成物はこれに限定されない。算出した距離情報を、対応する撮像素子の並んでいた順番で、一定のフォーマットに従って出力してもよい。たとえば、ＣＳＶファイルとして出力してもよい。
上述した実施の形態、および変形例では、距離画像生成装置は距離画像を生成したが、生成物はこれに限定されない。算出した距離情報を、対応する撮像素子の並んでいた順番で、一定のフォーマットに従って出力してもよい。たとえば、ＣＳＶファイルとして出力してもよい。
（計算式）
これまで使用した数式を、平行型、輻輳型、の順に説明する。その後に、上述する実施の形態では説明しなかった、測定対象が移動している場合の算出式を説明する。
図１２は、平行型の幾何構成を示すモデル図である。図１２の下方向、すなわちＺ軸の＋方向に存在する測定対象からの光を撮影するカメラ２００を、Ｚ＝０を通りＺ軸に直行するＸＹ平面内で物理円振動半径Ｒの円振動をさせた場合に、ある点Ｐから発せられた光が撮影される様子を示す図である。撮像レンズ２７の焦点距離をＦ、カメラ２００の画素（ｘ、ｙ）に結像する測定対象の、撮像レンズ２７から対象表面までの距離をＺ（ｘ、ｙ）と置くと，撮影画像における振動半径ｒは，数式１７により表される。
これまで使用した数式を、平行型、輻輳型、の順に説明する。その後に、上述する実施の形態では説明しなかった、測定対象が移動している場合の算出式を説明する。
図１２は、平行型の幾何構成を示すモデル図である。図１２の下方向、すなわちＺ軸の＋方向に存在する測定対象からの光を撮影するカメラ２００を、Ｚ＝０を通りＺ軸に直行するＸＹ平面内で物理円振動半径Ｒの円振動をさせた場合に、ある点Ｐから発せられた光が撮影される様子を示す図である。撮像レンズ２７の焦点距離をＦ、カメラ２００の画素（ｘ、ｙ）に結像する測定対象の、撮像レンズ２７から対象表面までの距離をＺ（ｘ、ｙ）と置くと，撮影画像における振動半径ｒは，数式１７により表される。
一般に世界座標からカメラ中心座標への変換式（平行移動後回転）は，座標回転を表す回転行列をΘ，平行移動ベクトルを（ｔＸ，ｔＹ、ｔＺ）とすると，平行移動前の空間座標（Ｘ，Ｙ，Ｚ）と、平行移動後の空間座標（Ｘｃ、Ｙｃ、Ｚｃ）との関係は数式１８により表される。
また、カメラ中心座標から像面座標への投資変換は、焦点距離をＦとすると、数式１９により表される。
軸平行方式ではΘは単位行列なので、世界座標の原点をカメラの回転中心に置き，カメラ中心位置を世界座標で（−Ｒｃｏｓ（ωｔ）、−Ｒ ｓｉｎ（ωｔ）、０）とすると，時刻ｔにおいてカメラ２００の画素（ｘ、ｙ）に対応する物体点の世界座標（Ｘ（ｘ、ｙ、ｔ）、Ｙ（ｘ、ｙ、ｔ）、Ｚ（ｘ、ｙ、ｔ））は、数式２０に示す関係を有する。
数式２０をＸ（ｘ、ｙ、ｔ）、Ｙ（ｘ、ｙ、ｔ）について解くと、数式２１および数式２２が得られる。
そのため、撮影画像上の強度ｐ（ｘ、ｙ）と物体点上の明度Ｐ（ｘ、ｙ）対応を数式２３とおくと、カメラ２００により撮影される画像は数式２４により表される。
さらに、撮像系の回転振動中に捉えられる対象表面の奥行きが変化しない、すなわちＺ（ｘ、ｙ、ｔ）がカメラ２００の像面座標（ｘ、ｙ）のみの関数とすると，上記の数式２４はさらに数式２５のように表すことができる。ただし、数式２６は回転振動中心で観察される対象表面の画像を意味する。
物理円振動半径ＲがＺ（ｘ、ｙ）が一定と見なせる程度に十分小さいと仮定し、かつｐ（ｘ、ｙ）の空間変化すなわち撮影対象のテクスチャの明暗変化に対してＺ（ｘ、ｙ）の空間変化を無視すると、その時間微分、ｘ微分、ｙ微分は、数式２７および数式２８により表される。なお、数式２７および数式２８ではＺ（ｘ、ｙ）の「ｘ、ｙ」を省略して「Ｚ（ ）」と記す。
そのため、ｆ（ｘ、ｙ、ｔ）は数式２９に示す偏微分方程式を満たす。この偏微分方程式は，Ｚ（ｘ、ｙ）が一定の拡がりの中では，画像円振動半径が複数画素にまたがる場合であっても、撮影対象のテクスチャパターンが画像円振動速度半径よりも細かい場合であっても成立する。
時間相関カメラのフレーム周期をＴ、フレーム周波数Δω＝２π／Ｔ、中空モータの回転周波数をω＝ｍΔωとおき、円振動眼ステレオ瞬時画像の各画素における時間変化、すなわち速度を複素形式で数式３０と表し、複素微分演算子とその共役を数式３１と表す。ただし、以下の数式において、ｖ（ｔ）、Ｚ、ａについて（ｘ、ｙ）は省略する。
このとき一般に数式３２に示す変形が可能なので、前述の数式２９は数式３３に変形される。
数式３３の左辺を数式３４に示す荷重関数により、時刻０からフレーム周期Ｔにわたり荷重積分すると数式３５が得られる。ただし、数式３５において数式３６は参照信号周波数ｍΔωにおける相関画像を表し、数式３７はフレームの前端と後端の明度の差、すなわち積分強化位置項（画像）である。また、これ以後はｇｍ（ｘ、ｙ）などについて（ｘ、ｙ）を省略する。
撮影した際の撮影対象の物理的な移動が無視できる場合、すなわち撮影対象がほぼ静止している場合には、円振動眼ステレオ瞬時画像に記録されている強度の変化は、たとえばプリズムの円振動やカメラの公転運動などの周期運動なので、積分境界項Ｆ０（ｘ、ｙ）は零である。このため、荷重積分方程式は、最終的に数式３８により表される。
ここで、具体的に参照信号周波数と振動周波数が等しい、すなわちｎ＝ｍを選択すると、数式３９および数式４０が成り立つ。
よって、近傍画素の連立により数式４１が導かれる。
数式４１において演算記号＜＞は、用いる近傍画素全体にわたる平均を表す。また、数式３１に示したように、指数部に記したアスタリスクは、共役な複素数を表す。数式４１に数値的な空間微分演算を行うことにより、代数的に画像円振動速度半径ａを求めることができる。なお、１以上の整数であるｍを大きく選ぶことにより、対象の動きによるオプティカルフローの影響を受けにくくできる。
そして、本発明の目的である距離Ｚ（ｘ、ｙ）を算出するために、円振動の同期信号、たとえば第１の実施の形態における中空モータ２１のＺ相の信号からその振動位相φ＝∠ａを求め、数式４１を解いて得られた画像円振動速度半径ａを数式４２に代入する。
なお、上述した実施の形態においては、ｍ＝ｎ＝１とおいたが、数式３８は任意の整数ｍおよびｎについて成立するため、他の値を使用しても、複数の異なる値の式を連立して使用してもよい。
そして、本発明の目的である距離Ｚ（ｘ、ｙ）を算出するために、円振動の同期信号、たとえば第１の実施の形態における中空モータ２１のＺ相の信号からその振動位相φ＝∠ａを求め、数式４１を解いて得られた画像円振動速度半径ａを数式４２に代入する。
（輻輳型の数式）
次に輻輳型の数式を説明する。
図１３は、輻輳角を有するカメラ２００ａをＺ＝０を通りＺ軸に直行するＸＹ平面内で物理円振動半径Ｒの円振動をさせた場合に、ある点Ｐから発せられた光が撮影される様子を示す図である。カメラ２００ａは、回転の際に奥行きＨの面（基準面）で円振動が生じないように像面の原点を円振動に連動して回転させる。このときにレンズ中心が基準面の原点を見込む角が輻輳角となる。このときの画像円振動速度半径は、数式４３に示すように奥行きＨの基準面に対する相対的な高さに比例するものとなる。
次に輻輳型の数式を説明する。
図１３は、輻輳角を有するカメラ２００ａをＺ＝０を通りＺ軸に直行するＸＹ平面内で物理円振動半径Ｒの円振動をさせた場合に、ある点Ｐから発せられた光が撮影される様子を示す図である。カメラ２００ａは、回転の際に奥行きＨの面（基準面）で円振動が生じないように像面の原点を円振動に連動して回転させる。このときにレンズ中心が基準面の原点を見込む角が輻輳角となる。このときの画像円振動速度半径は、数式４３に示すように奥行きＨの基準面に対する相対的な高さに比例するものとなる。
基準面は対象の奥行き分布のほぼ中心に置くように調整する。また、これにより基準面付近では円振動による画像のぼけも生じなくなる。このときの円振動ステレオ偏微分方程式は、数式４４により表される。
上記数式４４は、数式４５のようにおくことにより数式４６に変形できる。
荷重積分方程式の形は軸平行型の場合と同様に数式３８により表される。複素形式の画像円振動速度半径ａから距離Ｚ（ｘ、ｙ）を算出するには、数式４７を用いる。
（測定対象が動く場合の数式）
上述した実施の形態においては、測定対象が静止していると仮定して数式を算出したが、以下の数式を用いることにより測定対象が運動している場合に測定対象までの距離および運動速度を同時に算出することができる。
測定対象の運動速度を数式４８のように定義し、数式３０の前提と同様に、中空モータの回転周波数をω、時間相関カメラ２０のフレーム周波数をΔωとおき、ω＝ｍΔωの関係にあり画像円振動速度半径をａとすると、これらの合成運動の複素表示は数式４９で表される。
上述した実施の形態においては、測定対象が静止していると仮定して数式を算出したが、以下の数式を用いることにより測定対象が運動している場合に測定対象までの距離および運動速度を同時に算出することができる。
測定対象の運動速度を数式４８のように定義し、数式３０の前提と同様に、中空モータの回転周波数をω、時間相関カメラ２０のフレーム周波数をΔωとおき、ω＝ｍΔωの関係にあり画像円振動速度半径をａとすると、これらの合成運動の複素表示は数式４９で表される。
すなわち、数式４９は測定対象が運動しない場合の数式３０に対応するので、数式３２以下を同様に計算すると、荷重周波数ｎの荷重関数により、数式３８に対応する数式５０が得られる。
数式５０においてｎ＝０とおくと、数式５１が導かれる。
数式５０と数式５１の差をとることによりＦ０が消去されて数式５２が得られる。
数式５２においてｎ＝ｍ＝１とおくと数式５３が得られる。
数式５３において、未知数は数式５４に示される変数である運動速度と画像円振動速度半径ａであり、それらは複素数なので実数相当の未知数は４つである。
着目領域に十分な空間変動があれば、空間方向の連立によりｇ０、ｇ１、ｇ２の３つの荷重積分量のみで解くことができる。たとえば、数値計算法や単一画素解法により解くことができる。
（数値計算法）
表記を簡略化するために、数式５５のように変数を定義すると、方程式は行列形式で数式５６のように表現できる。
複数画素の連立で解くことにすると、最小二乗法の正規方程式は数式５７により表され、代数的に解くことができる。
表記を簡略化するために、数式５５のように変数を定義すると、方程式は行列形式で数式５６のように表現できる。
（単一画素解法）
数式５０において、荷重周波数をｎではなくｎ＋１にすると数式５８が得られる。
数式５８から数式５０を差し引くことにより数式５９が得られる。
数式５９において、ｎ＝ｍ＝１とおくと数式６０が得られる。
数式６０を数式５３と連立させることにより、単一画素におけるｇ０、ｇ１、ｇ２、ｇ３の４つの荷重積分量で解くことができる。
数式５０において、荷重周波数をｎではなくｎ＋１にすると数式５８が得られる。
（複眼ステレオ画像への適用）
これまでの説明では、図１２および図１３に示したように、運動する受光部が撮影した円振動眼ステレオ瞬時画像を対象にしていたが、円周上に配置された複数の受光部により撮影された複眼ステレオ画像にも同様に適用することができる。対象が静止している場合、数式６１に示す変数変換により数式６２に示す関係により、時間相関演算による円周方向フーリエ係数の計算を角度領域の積分に置き換えることができる。
対象が運動している場合には、数式６３に示す関係から、θに応じて撮影時刻がｔ＝θ／Δωとなる画像を積分計算に導入することで、本来の定義に相当する円周方向フーリエ係数を求めることができる。
上記の角度に応じた撮像時刻のシフトは、カメラに供給する同期信号のシフトにより容易に実現可能である。そのため、複眼ステレオ画像を円振動眼ステレオ瞬時画像と同様に上記計算式に適用することができる。
これまでの説明では、図１２および図１３に示したように、運動する受光部が撮影した円振動眼ステレオ瞬時画像を対象にしていたが、円周上に配置された複数の受光部により撮影された複眼ステレオ画像にも同様に適用することができる。対象が静止している場合、数式６１に示す変数変換により数式６２に示す関係により、時間相関演算による円周方向フーリエ係数の計算を角度領域の積分に置き換えることができる。
（適用例）
本発明は、上述した実施の形態および変形例に示したとおり実施することができる。さらに、たとえば次のような適用も可能である。
図１４は、本発明を体内用検査機に適用する場合の構成図である。体内用検査機３１０は、複数のレンズ３１１と、受像部３１２と、挿入部３１３と、ライト口３１４と、演算装置４３ａとを備える。
挿入部３１３は伸縮性のチューブであり、挿入部３１３の中には複数の光ファイバがあり、複数のレンズ３１１と受像部３１２および、不図示の光源とライト口３１４とを接続する。受像部３１２はレンズと同じ数の撮像素子を備えており、複数のレンズ３１１を通過した光は受像部３１２においてそれぞれの撮像素子で受光され、別々の画像ファイルが生成される。これらの画像ファイルは演算装置４３ａにおいて、第３の実施の形態と同様に処理され、体内の三次元形状が距離画像として生成される。
本発明は、上述した実施の形態および変形例に示したとおり実施することができる。さらに、たとえば次のような適用も可能である。
図１４は、本発明を体内用検査機に適用する場合の構成図である。体内用検査機３１０は、複数のレンズ３１１と、受像部３１２と、挿入部３１３と、ライト口３１４と、演算装置４３ａとを備える。
挿入部３１３は伸縮性のチューブであり、挿入部３１３の中には複数の光ファイバがあり、複数のレンズ３１１と受像部３１２および、不図示の光源とライト口３１４とを接続する。受像部３１２はレンズと同じ数の撮像素子を備えており、複数のレンズ３１１を通過した光は受像部３１２においてそれぞれの撮像素子で受光され、別々の画像ファイルが生成される。これらの画像ファイルは演算装置４３ａにおいて、第３の実施の形態と同様に処理され、体内の三次元形状が距離画像として生成される。
図１５は、図１４とは異なる体内検査機に適用する場合の構成図である。体内検査機３２０は、レンズ３２１と、不図示のライト口と、ロンボイドプリズム２２と、中空モータ２１と、受像部３２４と、演算装置４３とを備える。ロンボイドプリズム２２は、第１の実施の形態と同様に中空モータ２１により回転されている。
挿入部３１３の内部にはレンズ３２１からの光を受像部３１２に導く光ファイバと、不図示の光源からの光を不図示のライト口に導く光ファイバが収められている。レンズ３２１から入った光は光ファイバを通過して、回転するロンボイドプリズム２２により光路をシフトされて受像部３１２において画像ファイルが生成される。受像部３１２において生成された画像ファイルは、演算装置４３において変形例４と同様に処理され、体内の三次元形状が距離画像として生成される。
挿入部３１３の内部にはレンズ３２１からの光を受像部３１２に導く光ファイバと、不図示の光源からの光を不図示のライト口に導く光ファイバが収められている。レンズ３２１から入った光は光ファイバを通過して、回転するロンボイドプリズム２２により光路をシフトされて受像部３１２において画像ファイルが生成される。受像部３１２において生成された画像ファイルは、演算装置４３において変形例４と同様に処理され、体内の三次元形状が距離画像として生成される。
図１６は、本発明を天文分野に適用する場合の概念図である。太陽５０１の周囲を公転する地球５０２から、固有運動、すなわち宇宙空間を等速直線運動をしている恒星５０４を撮影する。この構成は第２の実施の形態に類似しており、公転装置３３の代わりに太陽５０１の引力により地球５０２が公転運動を行う。測定対象が動きを有する場合の数式を適用することにより、地球５０２から恒星５０４までの距離および恒星５０４の運動を測定することができる。そのため、継続的に撮影を行うことにより、恒星５０４の固有運動を測定することができる。
なお、年周視差を利用した恒星までの距離測定方法が知られているが、撮影して得られた画像から対応点を探索して距離を算出するものであり、算出手法として本来的に誤差要因を含む。本発明は、年周視差により距離測定では用いられていない、測定対象の明暗変化の情報を用いる。そして、上記の数式で示したように数学的に厳密な閉形式により計算手法として誤差を含まずに、測定対象までの距離および測定対象の動きを算出することができる。
なお、年周視差を利用した恒星までの距離測定方法が知られているが、撮影して得られた画像から対応点を探索して距離を算出するものであり、算出手法として本来的に誤差要因を含む。本発明は、年周視差により距離測定では用いられていない、測定対象の明暗変化の情報を用いる。そして、上記の数式で示したように数学的に厳密な閉形式により計算手法として誤差を含まずに、測定対象までの距離および測定対象の動きを算出することができる。
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
１ … 距離画像生成装置
２０ … 時間相関カメラ
２１ … 中空モータ
２２ … ロンボイドプリズム
２３ … 演算処理装置
２４ … 偏光フィルタ
２５ … シェード
２６ … 台座
２７ … 撮像レンズ
３１ … 傾斜平面ガラス
３２ … カセグレン光学系
３３ … 公転装置
４０ … ハイスピードカメラ
５０ … 撮像装置
１０２ … Ａ／Ｄ変換器
１０３ … 画像生成部
１０４ … 画像円振動速度半径算出部
１０５ … 距離算出部
１０６ … 距離画像保存部
１０７ … 参照信号生成器
１１１ … Ａ／Ｄ変換器
１１２ … 撮像信号データバッファ
１１３ … ファイル保存部
１１４ … データ読み出し部
１１５ … 荷重積分演算部
１２１ … 撮影指令部
１５０ … 撮像素子
１５１ … 受光素子
１６０ … 撮像素子
１６１ … 受光素子
１７０ … 撮像素子
１７１ … 受光素子
２０ … 時間相関カメラ
２１ … 中空モータ
２２ … ロンボイドプリズム
２３ … 演算処理装置
２４ … 偏光フィルタ
２５ … シェード
２６ … 台座
２７ … 撮像レンズ
３１ … 傾斜平面ガラス
３２ … カセグレン光学系
３３ … 公転装置
４０ … ハイスピードカメラ
５０ … 撮像装置
１０２ … Ａ／Ｄ変換器
１０３ … 画像生成部
１０４ … 画像円振動速度半径算出部
１０５ … 距離算出部
１０６ … 距離画像保存部
１０７ … 参照信号生成器
１１１ … Ａ／Ｄ変換器
１１２ … 撮像信号データバッファ
１１３ … ファイル保存部
１１４ … データ読み出し部
１１５ … 荷重積分演算部
１２１ … 撮影指令部
１５０ … 撮像素子
１５１ … 受光素子
１６０ … 撮像素子
１６１ … 受光素子
１７０ … 撮像素子
１７１ … 受光素子
Claims (12)
- 計測対象からの光を受光し円振動眼ステレオ瞬時画像の信号を生成する円振動眼ステレオ瞬時画像信号生成部と、
前記円振動眼ステレオ瞬時画像の信号を荷重積分して前記円振動眼ステレオ瞬時画像の各画素に対応する３種類以上の円周方向フーリエ係数を算出する円周方向フーリエ係数算出部と、
前記３種類以上の円周方向フーリエ係数を、円振動ステレオ偏微分方程式を荷重積分した行列方程式の係数に代入して前記行列方程式を解くことにより前記円振動眼ステレオ瞬時画像の各画素に対応する画像円振動速度半径を算出する画像円振動速度半径算出部と、
前記円振動眼ステレオ瞬時画像信号生成部の幾何学配置により定義される演算式および前記画像円振動速度半径から前記円振動眼ステレオ瞬時画像の各画素に対応する距離を算出する距離算出部とを備える距離画像生成装置。 - 請求項１に記載の距離画像生成装置において、
前記円振動眼ステレオ瞬時画像信号生成部は、
前記計測対象からの光を受光する受光部と、
前記受光部の入射光路中に配置した光学素子を運動させて前記計測対象からの光を前記受光部の上に円振動させる光学装置とを含む距離画像生成装置。 - 請求項２に記載の距離画像生成装置において、
前記受光部は、アナログ信号である前記円振動眼ステレオ瞬時画像の信号を出力する光電変換部であり、
前記円周方向フーリエ係数算出部は、前記円振動眼ステレオ瞬時画像のアナログ信号と当該円振動眼ステレオ瞬時画像のアナログ信号が生成された際の前記光学装置の回転位相に応じた３種類以上の参照信号との積に比例するアナログ信号を生成する乗算手段と、前記乗算手段の出力するアナログ信号を蓄積する積分手段と、前記円振動の振動周期に応じた時間間隔ごとに、前記積分手段に蓄積されたアナログ信号を前記円周方向フーリエ係数として出力する読み出し手段とを含み、
前記光電変換部と前記乗算手段と前記積分手段と前記読み出し手段とが１つの素子に実装されている距離画像生成装置。 - 請求項２に記載の距離画像生成装置において、
前記受光部はアナログ信号を生成する光電変換部と、前記光電変換部の生成するアナログ信号を蓄積する積分手段とを１つの素子に実装して成り、
前記円振動眼ステレオ瞬時画像信号生成部は、前記受光部の蓄積したアナログ信号をデジタル信号に変換することにより前記円振動眼ステレオ瞬時画像の信号を生成するＡ／Ｄ変換器を有し、
前記円周方向フーリエ係数算出部は、前記円振動の振動周期に応じた期間に出力された複数の前記円振動眼ステレオ瞬時画像の信号と当該円振動眼ステレオ瞬時画像の信号が生成された際の前記光学装置の振動位相に応じた３種類以上の参照信号との積を積算し、前記円周方向フーリエ係数として出力する距離画像生成装置。 - 請求項１に記載の距離画像生成装置において、
前記円振動眼ステレオ瞬時画像信号生成部は、
前記計測対象からの光を受光する受光部と、
前記受光部を前記計測対象と対向する面内で公転運動させる公転装置とを含む距離画像生成装置。 - 請求項５に記載の距離画像生成装置において、
前記受光部は、アナログ信号である前記円振動眼ステレオ瞬時画像の信号を生成する光電変換部であり、
前記円周方向フーリエ係数算出部は、前記円振動眼ステレオ瞬時画像のアナログ信号と当該円振動眼ステレオ瞬時画像のアナログ信号が生成された際の前記公転装置の公転運動の位相に応じた３種類以上の参照信号との積に比例するアナログ信号を生成する乗算手段と、前記乗算手段の出力するアナログ信号を蓄積する積分手段と、前記公転運動の公転周期に応じた時間間隔ごとに、前記積分手段に蓄積されたアナログ信号を前記円周方向フーリエ係数として出力する読み出し手段とを含み、
前記光電変換部と前記乗算手段と前記積分手段と前記読み出し手段とが１つの素子に実装される距離画像生成装置。 - 請求項５に記載の距離画像生成装置において、
前記受光部はアナログ信号を生成する光電変換部と、前記光電変換部の出力するアナログ信号を所定のフレームレートで蓄積する積分手段とを１つの素子に実装して成り、
前記円振動眼ステレオ瞬時画像信号生成部は、前記受光部の蓄積したアナログ信号をデジタル信号に変換することにより前記円振動眼ステレオ瞬時画像の信号を生成するＡ／Ｄ変換器を有し、
前記円周方向フーリエ係数算出部は、前記公転運動の公転周期に応じた期間に出力された複数の前記円振動眼ステレオ瞬時画像の信号と当該円振動眼ステレオ瞬時画像の信号が生成された際の前記公転装置の公転運動の位相に応じた３種類以上の参照信号との積を積算し、前記円周方向フーリエ係数として出力する距離画像生成装置。 - 計測対象からの光を円周上に配置した複数の受光部で受光し、複眼ステレオ画像の信号を生成する複眼ステレオ画像信号生成部と、
前記複眼ステレオ画像の信号を荷重積分して前記複眼ステレオ画像の各画素に対応する３種類以上の円周方向フーリエ係数を算出する円周方向フーリエ係数算出部と、
前記３種類以上の円周方向フーリエ係数を、円振動ステレオ偏微分方程式を荷重積分した行列方程式の係数に代入して前記行列方程式を解くことにより前記複眼ステレオ画像の各画素に対応する画像円振動速度半径を算出する画像円振動速度半径算出部と、
前記複眼ステレオ画像信号生成部の幾何学配置により定義される演算式および前記画像円振動速度半径から前記複眼ステレオ画像の各画素に対応する距離を算出する距離算出部とを備える距離画像生成装置。 - 請求項８に記載の距離画像生成装置において、
前記複眼ステレオ画像信号生成部は、前記複数の受光部からそれぞれ出力されるアナログ信号を所定のフレーム周期だけ蓄積してデジタル信号に変換し、前記複眼ステレオ画像の信号として出力し、
前記円周方向フーリエ係数算出部は、前記複眼ステレオ画像の信号と前記複数の受光部が配置された円周方向の位相に応じた３種類以上の参照信号との積を、互いに対応する画素について積算し前記円周方向フーリエ係数として出力する距離画像生成装置。 - 請求項２乃至４のいずれか１項に記載の距離画像生成装置において、
前記円振動眼ステレオ瞬時画像信号生成部は、前記受光部に入射する前記計測対象からの光に輻輳を与える輻輳角付与手段を含む距離画像生成装置。 - 請求項５乃至７のいずれか１項に記載の距離画像生成装置において、
前記円振動眼ステレオ瞬時画像信号生成部の出力する前記円振動眼ステレオ瞬時画像の信号を、前記公転運動の位相に応じてシフトさせて前記円周方向フーリエ係数算出部に出力する輻輳画像生成部をさらに備える距離画像生成装置。 - 請求項８または９に記載の距離画像生成装置において、
前記複眼ステレオ画像信号生成部の出力する前記複眼ステレオ画像の信号を前記複数の受光部が配置された円周方向の位相に応じてシフトさせて前記円周方向フーリエ係数算出部に出力する輻輳画像生成部をさらに備える距離画像生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014081980A JP6338242B2 (ja) | 2014-04-11 | 2014-04-11 | 距離画像生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014081980A JP6338242B2 (ja) | 2014-04-11 | 2014-04-11 | 距離画像生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015203594A JP2015203594A (ja) | 2015-11-16 |
| JP6338242B2 true JP6338242B2 (ja) | 2018-06-06 |
Family
ID=54597119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014081980A Active JP6338242B2 (ja) | 2014-04-11 | 2014-04-11 | 距離画像生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6338242B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10451740B2 (en) * | 2016-04-26 | 2019-10-22 | Cepton Technologies, Inc. | Scanning lidar systems for three-dimensional sensing |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003262510A (ja) * | 2002-03-08 | 2003-09-19 | Center For Advanced Science & Technology Incubation Ltd | 三次元形状測定方法及び三次元スキャナ |
| JP5007069B2 (ja) * | 2006-05-15 | 2012-08-22 | 繁 安藤 | 移動体情報取得装置 |
| JP5441204B2 (ja) * | 2006-10-16 | 2014-03-12 | シャープ株式会社 | 時間相関検出型イメージセンサおよび画像解析装置 |
-
2014
- 2014-04-11 JP JP2014081980A patent/JP6338242B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015203594A (ja) | 2015-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10735706B2 (en) | Motion blur compensation | |
| EP2751521B1 (en) | Method and system for alignment of a pattern on a spatial coded slide image | |
| JP5997645B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
| EP2990757B1 (en) | Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program | |
| JP2009300268A (ja) | ３次元情報検出装置 | |
| CN102184566A (zh) | 基于微型投影仪手机平台的便携式三维扫描系统及方法 | |
| CN107241592A (zh) | 一种投射单元及包括该单元的拍摄装置、处理器、成像设备 | |
| JP2024052755A (ja) | 三次元変位計測方法及び三次元変位計測装置 | |
| JP6338242B2 (ja) | 距離画像生成装置 | |
| Ovrén et al. | Why would I want a gyroscope on my RGB-D sensor? | |
| Rodríguez-Ramos et al. | 3D imaging and wavefront sensing with a plenoptic objective | |
| JP2011130290A (ja) | カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置 | |
| WO2017094122A1 (ja) | 撮像装置、内視鏡装置及び撮像方法 | |
| JP2017059998A (ja) | 画像処理装置およびその方法、並びに、撮像装置 | |
| US20190268546A1 (en) | Image processing device, image processing method, and program | |
| CN108961378A (zh) | 一种多目点云三维重建方法、装置及其设备 | |
| KR20220078447A (ko) | 저밀도 영역을 복원하는 이미지 복원 장치의 동작 방법 | |
| JP2004193947A (ja) | 三次元撮像装置および方法 | |
| JP2012227700A (ja) | 情報処理装置およびプログラム | |
| JP5243359B2 (ja) | 立体画像生成システムおよびプログラム | |
| JP2020086651A (ja) | 画像処理装置および画像処理方法 | |
| US20100253802A1 (en) | Enhanced microscan apparatus and methods | |
| JP2019114143A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2019095376A (ja) | 画像処理システム | |
| JP2018050147A (ja) | 撮像装置、撮像方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180322 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180502 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6338242 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |