JP7196949B2 - 撮像装置、撮像システム - Google Patents

撮像装置、撮像システム Download PDF

Info

Publication number
JP7196949B2
JP7196949B2 JP2021075475A JP2021075475A JP7196949B2 JP 7196949 B2 JP7196949 B2 JP 7196949B2 JP 2021075475 A JP2021075475 A JP 2021075475A JP 2021075475 A JP2021075475 A JP 2021075475A JP 7196949 B2 JP7196949 B2 JP 7196949B2
Authority
JP
Japan
Prior art keywords
microphones
imaging
imaging optical
optical system
sound collecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021075475A
Other languages
English (en)
Other versions
JP2021121121A (ja
Inventor
良太 加賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2021075475A priority Critical patent/JP7196949B2/ja
Publication of JP2021121121A publication Critical patent/JP2021121121A/ja
Priority to JP2022199877A priority patent/JP2023026477A/ja
Application granted granted Critical
Publication of JP7196949B2 publication Critical patent/JP7196949B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/027Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)
  • Stereophonic Arrangements (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Description

本発明は、撮像装置、撮像システムに関する。
近年、カメラで撮影した画像に基づいて、全天球画像や全天球動画を生成する技術が知られている。
特に全天球動画を再生する場合、臨場感を再現することが望まれている。
例えば、特開2001-298733号公報(特許文献1)では、レンズで半天球および全天球を平面変換したものを、カメラで撮影し、投影機でスクリーンに投影すると共に、音響に関しては立体配置の少なくとも5個のマイクロフォン11で収音する技術が開示されている。
しかしながら、特許文献1では、カメラに対するマイクロフォンの具体的な配置が開示されていないので、臨場感を再現するために簡便な構成が明らかになっていなかった。
本発明は、上記従来技術における課題に鑑みてなされたものであり、簡便に臨場感を再現可能な撮像装置、撮像システムを提供することを目的とする。
すなわち、本発明によれば、
複数の広角レンズを含む結像光学系と、
撮像素子と、を備え、
4以上の収音装置が、三角錐形状の各頂点に対応する位置にそれぞれ配置されていることを特徴とする撮像装置が提供される。
上述したように、本発明によれば、簡便に臨場感を再現可能な撮像装置、撮像システムが提供される。
本実施形態の全天球カメラの内部構造を例示する断面図。 本実施形態の全天球カメラによって撮影される画像の例を示す図。 本実施形態の全天球カメラのハードウェア構成図。 マイクロフォンの数と配置を説明する図。 本実施形態の全天球カメラのマイクロフォンの配置の例を示す図。 第1の実施例において立体音響を取得するマイクロフォンの配置の例を示す図。 第2の実施例において立体音響を取得するマイクロフォンの配置の例を示す図。 5つのマイクロフォンで立体音響を取得する配置例を説明する図。
以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。また、以下の明細書において、音声とは、人が発する声に限らず、音楽、機械音、動作音、その他空気の振動によって伝搬する音を総称したものとして参照する。
図1は本実施形態の撮像装置の一例として全天球カメラ100の内部構造を例示する断面図である。図1に示す全天球カメラ100は、少なくとも撮像体12と、筐体14と、シャッター・ボタン16およびマイクロフォン142A~Dを備える。
撮像体12は、少なくとも2つの結像光学系20A,20Bと、2つの撮像素子22A,22Bを含み構成される。結像光学系20A,20Bは、光学素子として、前群レンズ、プリズム、後群レンズ、フィルタおよび開口絞りなどが含まれる。例えば、光学素子として構成される広角レンズや魚眼レンズは、180度(=360度/n;光学系数n=2)より大きい全画角を有し、好適には、185度以上の画角を有し、より好適には、190度以上の画角を有する。撮像素子22A,22Bは、結像光学系20A,20Bにより集光された光を画像信号に変換する。撮像素子22A,22Bは、例えばCCD(Charge Coupled Device)センサ、CMOS(Complementary Metal Oxide Semiconductor)センサを含む。広角な結像光学系と撮像素子とを1個ずつ組み合わせたものを広角撮像光学系と参照する。
結像光学系20A,20Bの光学素子は、撮像素子22A,22Bに対して位置関係が定められる。より具体的には、結像光学系20A,20Bの光学素子の光軸が、対応する撮像素子22の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。
結像光学系20A,20Bは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子22A,22Bは、結像光学系20A,20Bからそれぞれ受光した光分布を画像信号に変換し、コントローラ上の画像処理手段に順次、画像フレームを出力する。
結像光学系20A,20Bにより撮像される画像は、それぞれ撮像素子22A,22Bの受光領域上に結像する。撮像素子22A,22Bでそれぞれ撮像された画像を合成処理することにより、全天球画像が生成される。例えば図2に示す半球画像を合成することにより、全天球画像が生成される。全天球画像は、全天球カメラ100の全周囲の立体角4πステラジアンの画像を撮影した画像である。また、全天球画像の連続するフレームに基づいて、全天球動画が生成される。
筐体14は、撮像体12、コントローラおよびバッテリなどの部品を保持する。筐体14は、結像光学系20A,20Bのレンズを露出する開口が設けられ、筐体14の一部の面から結像光学系20A,20Bのレンズが突出している。また、筐体14は、シャッター・ボタン16が備えられている。シャッター・ボタン16は、全天球カメラ100に撮影開始を指示するボタンである。
マイクロフォン142A~Dは、全天球カメラ100の周囲の音を取得し、音の信号を出力する。マイクロフォン142A~Dは、指向性マイクロフォンであってもよいし、無指向性マイクロフォンであってもよい。指向性マイクロフォンを用いた場合には、特定の方向の音を取得することができる。無指向性マイクロフォンを用いた場合には、各マイクロフォンのキャリブレーションを容易に行うことができる。さらに、マイクロフォン142A~Dは、指向性マイクロフォンと無指向性マイクロフォンとを組み合わせて用いてもよい。マイクロフォン142A~Dのうち少なくとも1つが無指向性であると、キャリブレーションを容易に行うことができると共に、安価で、個体ばらつきが少なくなる。
次に、全天球カメラ100のハードウェア構成について説明する。図3は、本実施形態の全天球カメラ100のハードウェア構成図である。全天球カメラ100は、CPU(Central Processing Unit)112と、ROM(Read Only Memory)114と、動画圧縮ブロック116と、画像処理ブロック120と、音声信号処理ブロック122と、DRAM(Dynamic Random Access Memory)インタフェース124とを含み構成される。
CPU112は、全天球カメラ100の各部の動作および全体動作を制御する。ROM114は、CPU112が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。動画圧縮ブロック116は、MPEG-4 AVC/H.264などの動画圧縮および伸張を行うコーデック・ブロックである。
画像処理ブロック120は、2つの撮像素子140A,140B(図1における撮像素子22A,22Bに対応する。)と接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック120は、ISP(Image Signal Processor)などを含み構成され、2つの撮像素子140A,140Bから入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。
音声信号処理ブロック122は、マイクロフォンなどの収音装置が取得する音声信号に対して各種処理を行う。音声信号処理ブロック122は、筐体14内に収められた少なくとも4つのマイクロフォン142A~Dと接続され、マイクロフォン142A~Dが取得した音声信号がそれぞれ入力される。音声信号処理ブロック122は、プリアンプ、ADC(Analog to Digital Converter)、各種フィルタ、コンプレッサなどを含み構成され、マイクロフォン142A~Dから入力された音声信号に対して、信号増幅、AD変換、周波数分離などの各種処理を行う。また、音声信号処理ブロック122では、取得した音声を立体音響として再生可能なデータを出力できる。立体音響は、4以上のマイクロフォンで取得した音声を、音源に対する3次元的な方向を反映した音声として複数のスピーカから再生でき、視聴者に臨場感を与えることができる。
DRAM(Dynamic Random Access Memory)インタフェース124には、DRAM144が接続される。DRAM144は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。
全天球カメラ100は、さらに、外部ストレージインタフェース126と、外部センサインタフェース128と、USB(Universal Serial Bus)インタフェース130と、シリアルブロック132とを含み構成されてもよい。
外部ストレージインタフェース126は、外部ストレージ146が接続される。外部ストレージインタフェース126は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ146に対する読み書きを制御する。外部センサインタフェース128には、加速度センサ148が接続される。加速度センサ148は、3軸の加速度成分を検出し、検出された加速度成分は、鉛直方向を検出して全天球画像の天頂補正を施すために用いられる。
USBインタフェース130は、USBコネクタ150が接続される。USBインタフェース130は、USBコネクタ150を介して接続されるパーソナル・コンピュータなどの外部機器とのUSB通信を制御する。シリアルブロック132は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線NIC(Network Interface Card)154が接続される。
電源スイッチの操作によって電源がオン状態になると、ROM114に格納されている制御プログラムがメインメモリにロードされる。CPU112は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御すると共に、制御に必要なデータをメモリ上に一時的に保存する。その後、シャッター・ボタン16の押下によって、2つの撮像素子140A,140Bおよびマイクロフォン142A~Dを制御し、画像および音声を取得する。各種ハードウェアが、取得した画像および音声を合わせる処理を行うことで、立体音響の再生が可能な全天球動画を生成する。全天球動画は、映像出力インタフェース118を介して、再生装置に出力される。なお、全天球動画は、USBコネクタ150や無線NIC154などを介して接続される外部機器に出力されてもよい。
ここまで、本実施形態の少なくとも4つのマイクロフォンが含まれる全天球カメラ100の構成について説明した。もちろん、撮像装置、マイクロフォンおよび各種処理部がそれぞれ分離した撮像システムであってもよい。
次に、マイクロフォンの数に応じた音響について説明する。図4(a)~(d)は、マイクロフォンの数と配置を説明する図である。図4(a)~(d)に示される黒丸は、マイクロフォンを示す。図4(a)~(d)は、それぞれマイクロフォンの数が1~4つの場合について、それぞれ示している。
まず、図4(a)について説明する。マイクロフォンが1つの場合、全周囲からの音声または特定の方向の音源からの音声を取得することができる。しかしながら、マイクロフォンが1つの場合では、音源の方向を反映して音声を再生することはできず、モノラル再生となる。
次に、図4(b)について説明する。マイクロフォンが2つの場合、1次元の差異を反映した音声を取得でき、音源の方向を判別できる音声として再生できる。すなわち、各マイクロフォンが取得した音声を、各マイクロフォンに対応する2つのスピーカで再生することで、音源の方向を再現したステレオ音声として再生できる。
次に、図4(c)について説明する。3つのマイクロフォン全てが同一直線上にないように配置されている場合には、3つのマイクロフォンによって平面を定義できる。例えば、図4(c)では、3つのマイクロフォンによってx-y平面を定義でき、3つのマイクロフォンがそれぞれ三角形の各頂点に配置されている。このように配置されている場合には、2次元の差異を反映した音声を取得でき、x-y平面上における音源に対する方向を判別できる音声として再生できる。例えば、2つのスピーカで再生する場合には、音量の強弱が加味され、平面上における音源に対する方向を再現した音声を合成できる。
最後に、図4(d)について説明する。4つのマイクロフォンがxyz空間内に配置されている場合には、4つのマイクロフォンによって空間を定義できる。例えば、図4(d)では、4つのマイクロフォン全てが同一平面上になく、4つのマイクロフォンが三角錐の各頂点に配置されている。このように配置されている場合には、3次元の差異を反映した音声を取得でき、空間内における音源に対する方向を判別できる音声として再生できる。したがって、立体音響として再生できる。例えば、ヘッドマウントディスプレイのような装置で映像を再生する場合には、ユーザの視線の方向に合わせた音声を再生できる。
なお、本実施形態の全天球カメラ100は、臨場感を再現するために、マイクロフォンを5つ以上含んでいてもよい。マイクロフォンが5つ以上ある場合でも、マイクロフォンが4つの場合と同様に、臨場感を再現できる。
次に、図4(d)に関するマイクロフォン142A~Dの具体的な配置について、図5~7を以て説明する。図5は、本実施形態の全天球カメラ100のマイクロフォン142A~Dの配置の例を示す図である。図5(a)は、全天球カメラ100の軸の定義を説明する図である。x軸は、全天球カメラ100の結像光学系20A,20Bの光学素子の前群の光軸と平行な軸とする。z軸は、全天球カメラ100の結像光学系20A,20Bの光学素子の後群の光軸と平行な軸とする。y軸は、x軸およびz軸に垂直な軸とする。
図5(b)には、4つのマイクロフォン142A~Dが、座標a,b,c,dに配置されている。一例として、各座標は次のように示される。
座標a=(α,0,0)
座標b=(-α,0,0)
座標c=(0,α,β)
座標d=(0,-α,β)
但し、αおよびβは0より大きい実数。
座標aおよびbは、x軸上の点であり、座標cおよびdは、y-z平面上のy軸に平行となる位置に配置された点である。したがって、座標a,b,c,dの4つは全てが同一平面上には存在せず、三角錐形状を形成する。
すなわち、図5(b)に示す座標a,b,c,dにマイクロフォン142を配置することで空間を定義できる。これによって、3次元の差異を反映した立体音響を取得し、再生することができる。
図5(c)には、4つのマイクロフォン142A~Dが、座標e,f,g,hに配置されている。一例として、各座標は次のように示される。
座標e=(0,0,α)
座標f=(-β,-γ,0)
座標g=(α’,0,0)
座標h=(-β’,γ’,0)
但し、α、β、γ、α’、β’およびγ’は0より大きい実数。
座標eは、z軸上の点である。座標f,g,hの3つは、x-y平面上において全てが同一直線上にならない位置に配置された点である。したがって、座標e,f,g,hも、図5(b)の配置と同様に、三角錐形状を形成する。
すなわち、図5(c)に示す座標e,f,g,hにマイクロフォン142を配置することで空間を定義できる。これによって、3次元の差異を反映した立体音響を取得し、再生することができる。
次に、各マイクロフォン間の距離については特に制限はないが、隣接するマイクロフォン間の距離が与える影響について説明する。
例えば、マイクロフォン間の距離が極端に小さい場合には、各マイクロフォンが取得する低域の音声信号に差異が出にくいため、立体音響の合成時に低域のノイズが発生する場合がある。また、マイクロフォン間の距離が極端に大きい場合には、高域側で位相が回り、音声信号に差異が出ないことから、立体音響の指向性を好適に形成できない。
さらに、マイクロフォンの特性の個体差を考慮して配置する場合には、隣接するマイクロフォン間の距離は等距離であることが好ましい。したがって、4つのマイクロフォン142A~Dの理想的な配置は、4つのマイクロフォン142A~Dを頂点とした正四面体形状となる。
次に、全天球カメラ100に含まれる撮像体12とマイクロフォン142A~Dの配置の例を説明する。第1の実施例として、図5(b)の座標a,b,c,dのようにマイクロフォンが配置される構成について、図6を用いて説明する。図6(a)、(b)、(c)には、撮像体12とマイクロフォン142A~Dの配置の斜視図、正面図、側面図がそれぞれ示されている。
図6(a)、(b)、(c)では、撮像体12を構成する結像光学系20A,20Bの上下に、4つのマイクロフォン142A~Dが基板に配置されている。なお、基板だけでなく、筐体14に固定させる、筐体14にケーブルを接続させるなどの配置がある。より具体的には、結像光学系20A,20Bの下部に、それぞれ2つのマイクロフォン142A,142Bがそれぞれ全天球カメラ100のx軸に沿って配置されている。マイクロフォン142A及び142Bは、結像光学系20A,20Bの光学素子の前群の光軸と平行になるように配置されている。また、結像光学系20A,20Bの上部には、2つのマイクロフォン142C,142Dがそれぞれ全天球カメラ100のy軸に沿って配置されている。マイクロフォン142C及び142Dは、結像光学系20A,20Bの光学素子の前群の光軸及び後群の光軸に対して垂直になるように配置されている。すなわち、マイクロフォン142A~Dは4つ全てが同一平面上には存在していない。マイクロフォン142A~Dは、三角錐形状の各頂点に対応する位置にそれぞれ配置されている。
なお、マイクロフォン142Aと142Cの間の距離、マイクロフォン142Aと142Dの間の距離、マイクロフォン142Bと142Cの間の距離およびマイクロフォン142Bと142Dの間の距離は、それぞれ等しいことが好ましい。また、マイクロフォン142Aと142Bの間の距離およびマイクロフォン142Cと142Dの間の距離は等しいことが好ましい。
図6(b)に示されるようにマイクロフォン142Aは、結像光学系20Aの後群の光軸を通るz軸と平行な軸上に配置されていることが好ましい。同様に、マイクロフォン142Bは、結像光学系20Bの後群の光軸を通るz軸と平行な軸上に配置されていることが好ましい。さらに、マイクロフォン142Cおよびマイクロフォン142Dは、結像光学系20A、20Bの前群の光軸を通るz軸上を境とした場合のy軸方向の距離が等距離になるように配置されていることが好ましい。
図6(c)に示されるようにマイクロフォン142A~Dは、レンズを露出するための筐体14の開口面上の直線A-A’、直線B-B’よりも内側に配置されていることが好ましい。マイクロフォン142A~Dは、結像光学系20A,20Bよりも内側である基板の側面上に配置されていることが好ましい。マイクロフォン142A~Dは、結像光学系20A,20Bの筐体14から突出している部分より内側に配置されていることが好ましい。マイクロフォン142A~Dは、結像光学系20A,20Bの筐体14から突出している部分より外側に配置されている場合、142A~Dが画像に映りこんでしまうからである。
次に、第2の実施例として、図5(c)の座標e,f,g,hのようにマイクロフォンが配置される構成について、図7を用いて説明する。図7(a)、(b)、(c)は、撮像体12とマイクロフォン142A~Dの配置の斜視図、正面図、側面図がそれぞれ示されている。
図7(a)、(b)、(c)では、撮像体12を構成する結像光学系20A,20Bの上部に4つのマイクロフォン142A~Dが配置されている。より具体的には、2つのマイクロフォン142A,142Bは、全天球カメラ100のx軸に沿って結像光学系20A,20Bの上部に配置されている。2つのマイクロフォン142C,142Dは、全天球カメラ100のy軸に沿って結像光学系20A,20Bの上部に配置されている。すなわち、マイクロフォン142A~Dは4つ全てが同一平面上には存在していない。マイクロフォン142A~Dは、三角錐形状の各頂点に対応する位置にそれぞれ配置されている。また、第2の実施例では、マイクロフォン142A~Dの各マイクロフォン間の距離は、等距離で配置されている。したがって、マイクロフォン142A~Dは正四面体形状を形成している。
第1の実施例と同様に、第2の実施例もマイクロフォン142A~Dは、結像光学系20A,20Bの筐体14から突出している部分より内側に配置されていることが好ましい。マイクロフォン142A~Dは、結像光学系20A,20Bの筐体14から突出している部分より外側に配置されている場合、142A~Dが画像に映りこんでしまうからである。
次にマイクロフォン数が5以上の場合について説明する。図8は、5つのマイクロフォンが配置される例を説明する図である。図8(a)は、四角錐形状(いわゆるピラミッド形状)にマイクロフォンが配置された例である。図8(b)は、双三角錐形状にマイクロフォンが配置された例である。なお、マイクロフォンの数が5より多い場合であっても同様である。
図8(a)では、x-y平面上の座標a,b,c,dと、z軸上の座標eにそれぞれマイクロフォンが配置されている。座標a~dに配置されたマイクロフォンは、同一平面上に配置されている。
図8(b)では、x-y平面上の座標a,b,cと、z軸上の座標d,eにそれぞれマイクロフォンが配置されている。図8(b)に示す配置では、5つのマイクロフォンのうち、4つを任意に選択した場合には、いずれの組み合わせであっても同一平面上の配置にはなっていない。
また、マイクロフォン数が4の場合では、隣接するマイクロフォン間の距離を等距離として、正四面体形状の各頂点に対応する位置にそれぞれ配置することで、4つのマイクロフォンからの音を処理することが単純化できる。
本実施形態では、各マイクロフォンの特性の個体差の影響をさらに軽減するために、マイクロフォンを仮想的な球体の表面に配置することができる。具体的には、マイクロフォンが成す多面体が外接球を持つように配置することで、個体差による影響を軽減できる。なお、マイクロフォン数が4の場合には、マイクロフォン間の距離が等距離であれば正四面体形状となることから、必然的に外接球を持つ多面体となる。マイクロフォン数が5以上の場合には、外接球を持つ多面体形状であって、各辺の長さが等しくなるように配置することで、個体差による影響を効果的に軽減できる。
以上、説明した本発明の実施形態によれば、臨場感を再現可能な撮像装置、撮像システムを提供することができる。
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
12…撮像体、14…筐体、16…シャッター・ボタン、20…結像光学系、22…撮像素子、100…全天球カメラ、112…CPU、114…ROM、116…動画圧縮ブロック、118…映像出力インタフェース、120…画像処理ブロック、122…音声信号処理ブロック、124…DRAMインタフェース、126…外部ストレージインタフェース、128…外部センサインタフェース、130…USBインタフェース、132…シリアルブロック、140…撮像素子、142…マイクロフォン、144…DRAM、146…外部ストレージ、148…加速度センサ、150…USBコネクタ、152…無線NIC
特開2001-298733号公報

Claims (10)

  1. 筐体と、
    全天球画像を構成する画像を撮像する、結像光学系と撮像素子を有する撮像光学系と、
    4つの収音装置と、を備え、
    前記筐体は、少なくとも前記結像光学系の一部が突出する2つの面を有し、
    前記4つの収音装置が、前記撮像光学系の上部および下部のそれぞれに一対ずつ配置され、
    一方の対の収音装置は、それぞれ前記結像光学系の一部が突出する前記面の側に配置され、
    他方の対の収音装置は、それぞれ前記一方の対の各収音装置の配置方向と交差する方向に、かつ、前記面以外の面の側に配置される、
    撮像装置。
  2. 前記結像光学系の一部が突出する前記2つの面のうち1つの面の側にシャッタボタンを有し、
    前記一方の対の収音装置は、前記撮像光学系の下部であって前記撮像光学系と前記シャッタボタンの間となる位置に配置され、
    前記他方の対の収音装置は、前記撮像光学系の上部に配置される、
    請求項1に記載の撮像装置。
  3. 前記撮像光学系により撮像された画像および、前記収音装置から収音された音声により全天球動画を生成する、請求項1または2に記載の撮像装置。
  4. 前記結像光学系は、180度より大きい画角を有する、請求項1~3のいずれか1項に記載の撮像装置。
  5. 前記4つの収音装置は、すべてが指向性マイクロフォンであるか、すべてが無指向性マイクロフォンであるか、または、指向性マイクロフォンと無指向性マイクロフォンとを少なくとも1つずつ含む構成である、請求項1~4のいずれか1項に記載の撮像装置。
  6. 筐体と、
    全天球画像を構成する画像を撮像する、結像光学系と撮像素子を有する撮像光学系と、
    4つの収音装置と、を備え、
    前記筐体は、少なくとも前記結像光学系の一部が突出する2つの面を有し、
    前記4つの収音装置が、前記撮像光学系の上部および下部のそれぞれに一対ずつ配置され、
    一方の対の収音装置は、それぞれ前記結像光学系の一部が突出する前記面の側に配置され、
    他方の対の収音装置は、それぞれ前記一方の対の各収音装置の配置方向と交差する方向に、かつ、前記面以外の面の側に配置される、
    撮像システム。
  7. 前記結像光学系の一部が突出する前記2つの面のうち1つの面の側にシャッタボタンを有し、
    前記一方の対の収音装置は、前記撮像光学系の下部であって前記撮像光学系と前記シャッタボタンの間となる位置に配置され、
    前記他方の対の収音装置は、前記撮像光学系の上部に配置される、
    請求項6に記載の撮像システム。
  8. 前記撮像光学系により撮像された画像および、前記収音装置から収音された音声により全天球動画を生成する、請求項6または7に記載の撮像システム。
  9. 前記結像光学系は、180度より大きい画角を有する、請求項6~8のいずれか1項に記載の撮像システム。
  10. 前記4つの収音装置は、すべてが指向性マイクロフォンであるか、すべてが無指向性マイクロフォンであるか、または、指向性マイクロフォンと無指向性マイクロフォンとを少なくとも1つずつ含む構成である、請求項6~9のいずれか1項に記載の撮像システム。
JP2021075475A 2017-03-16 2021-04-28 撮像装置、撮像システム Active JP7196949B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021075475A JP7196949B2 (ja) 2017-03-16 2021-04-28 撮像装置、撮像システム
JP2022199877A JP2023026477A (ja) 2017-03-16 2022-12-15 撮像装置、撮像システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017050712A JP6878974B2 (ja) 2017-03-16 2017-03-16 撮像装置、撮像システム
JP2021075475A JP7196949B2 (ja) 2017-03-16 2021-04-28 撮像装置、撮像システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017050712A Division JP6878974B2 (ja) 2017-03-16 2017-03-16 撮像装置、撮像システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022199877A Division JP2023026477A (ja) 2017-03-16 2022-12-15 撮像装置、撮像システム

Publications (2)

Publication Number Publication Date
JP2021121121A JP2021121121A (ja) 2021-08-19
JP7196949B2 true JP7196949B2 (ja) 2022-12-27

Family

ID=61764069

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017050712A Active JP6878974B2 (ja) 2017-03-16 2017-03-16 撮像装置、撮像システム
JP2021075475A Active JP7196949B2 (ja) 2017-03-16 2021-04-28 撮像装置、撮像システム
JP2022199877A Pending JP2023026477A (ja) 2017-03-16 2022-12-15 撮像装置、撮像システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017050712A Active JP6878974B2 (ja) 2017-03-16 2017-03-16 撮像装置、撮像システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022199877A Pending JP2023026477A (ja) 2017-03-16 2022-12-15 撮像装置、撮像システム

Country Status (5)

Country Link
US (1) US11228708B2 (ja)
EP (1) EP3596916B1 (ja)
JP (3) JP6878974B2 (ja)
CN (1) CN110268705B (ja)
WO (1) WO2018168652A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10966017B2 (en) * 2019-01-04 2021-03-30 Gopro, Inc. Microphone pattern based on selected image of dual lens image capture device
EP3840399A1 (en) * 2019-12-20 2021-06-23 GN Audio A/S Loudspeaker and soundbar

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016010021A (ja) 2014-06-25 2016-01-18 株式会社リコー 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム
WO2017022467A1 (ja) 2015-08-06 2017-02-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2017041205A (ja) 2015-08-21 2017-02-23 株式会社リコー 画像管理システム、画像通信システム、画像管理方法、及びプログラム
US20170311080A1 (en) 2015-10-30 2017-10-26 Essential Products, Inc. Microphone array for generating virtual sound field

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE8509965U1 (de) * 1985-04-03 1985-06-20 Woywod, Gerhard, 4330 Mülheim Elektroakustische Anordnung für richtungsorientiertes, räumliches Hören
JPH06101875B2 (ja) 1990-06-19 1994-12-12 ヤマハ株式会社 音響空間再生方法及び音響記録装置並びに音響記録体
JP2001298733A (ja) 2000-04-12 2001-10-26 Iwao Yuasa パノラマ再現装置
KR100628569B1 (ko) * 2002-02-09 2006-09-26 삼성전자주식회사 복수의 음향취득장치가 결합 가능한 캠코더
US7852369B2 (en) 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
JP4934968B2 (ja) * 2005-02-09 2012-05-23 カシオ計算機株式会社 カメラ装置、カメラ制御プログラム及び記録音声制御方法
US20110012003A1 (en) * 2005-04-19 2011-01-20 Geo Systems, Inc. Apparatus and methods for providing a retractible mast
KR101121030B1 (ko) * 2007-12-12 2012-03-16 캐논 가부시끼가이샤 촬상장치
JP4753978B2 (ja) 2008-07-08 2011-08-24 株式会社ズーム ステレオ収録用マイクロホンユニット
US9445193B2 (en) * 2008-07-31 2016-09-13 Nokia Technologies Oy Electronic device directional audio capture
US10904658B2 (en) * 2008-07-31 2021-01-26 Nokia Technologies Oy Electronic device directional audio-video capture
US8401178B2 (en) * 2008-09-30 2013-03-19 Apple Inc. Multiple microphone switching and configuration
JP5365470B2 (ja) 2008-11-26 2013-12-11 株式会社リコー カメラボディ、撮像ユニット、撮像システム、その撮像ユニットのカメラボディに対する着脱方法、その撮像ユニットのカメラボディに対する装着方法、その撮像ユニットのカメラボディに対する抜き取り方法
JP4781440B2 (ja) * 2009-02-05 2011-09-28 ソニー エリクソン モバイル コミュニケーションズ, エービー 画像撮影装置、画像撮影装置の制御方法及び制御プログラム
WO2010095759A1 (en) 2009-02-19 2010-08-26 Ricoh Company, Ltd. Camera body, imaging unit mounted/removed on/from the camera body and imaging apparatus
JP5201093B2 (ja) * 2009-06-26 2013-06-05 株式会社ニコン 撮像装置
JP5445038B2 (ja) 2009-09-14 2014-03-19 株式会社リコー カメラボディ及びこのカメラボディに着脱される撮像ユニット及び撮像装置
JP5413133B2 (ja) 2009-11-05 2014-02-12 株式会社リコー カメラボディ及びこのカメラボディに着脱される撮像ユニット及び撮像装置
JP5454089B2 (ja) 2009-11-09 2014-03-26 株式会社リコー カメラボディおよび撮像装置
JP5948825B2 (ja) 2011-12-01 2016-07-06 株式会社リコー 開閉蓋装置、電子機器
JP5892797B2 (ja) * 2012-01-20 2016-03-23 日本放送協会 送受信システム及び送受信方法、受信装置及び受信方法
JP5910485B2 (ja) 2012-03-16 2016-04-27 株式会社リコー 撮像システム
JP2016114953A (ja) 2012-03-16 2016-06-23 株式会社リコー 撮像システム
JP5935432B2 (ja) 2012-03-22 2016-06-15 株式会社リコー 画像処理装置、画像処理方法及び撮像装置
US9473841B2 (en) * 2012-03-26 2016-10-18 University Of Surrey Acoustic source separation
KR102172718B1 (ko) 2013-04-29 2020-11-02 유니버시티 오브 서레이 음원 분리를 위한 마이크로폰 어레이
US10368011B2 (en) 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
JP2016046699A (ja) 2014-08-25 2016-04-04 株式会社 ゼネテック 画像音声入出力システム
JP5920507B1 (ja) 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
EP3190780A1 (en) * 2016-01-05 2017-07-12 Giroptic Two-lens spherical camera
WO2017119555A1 (en) * 2016-01-08 2017-07-13 Lg Electronics Inc. Portable camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016010021A (ja) 2014-06-25 2016-01-18 株式会社リコー 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム
WO2017022467A1 (ja) 2015-08-06 2017-02-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2017041205A (ja) 2015-08-21 2017-02-23 株式会社リコー 画像管理システム、画像通信システム、画像管理方法、及びプログラム
US20170311080A1 (en) 2015-10-30 2017-10-26 Essential Products, Inc. Microphone array for generating virtual sound field

Also Published As

Publication number Publication date
JP6878974B2 (ja) 2021-06-02
US20190342495A1 (en) 2019-11-07
JP2021121121A (ja) 2021-08-19
US11228708B2 (en) 2022-01-18
EP3596916A1 (en) 2020-01-22
JP2018155820A (ja) 2018-10-04
JP2023026477A (ja) 2023-02-24
CN110268705B (zh) 2021-09-21
CN110268705A (zh) 2019-09-20
WO2018168652A1 (en) 2018-09-20
EP3596916B1 (en) 2023-07-26

Similar Documents

Publication Publication Date Title
JP2023026477A (ja) 撮像装置、撮像システム
JP6927382B2 (ja) 撮像システム、方法、プログラム、動画表示装置および画像処理装置。
JP5920507B1 (ja) 画像処理システム、画像処理方法およびプログラム
KR101888470B1 (ko) 촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템
CN109309796A (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
JP7173236B2 (ja) 音声取得装置およびシステム
JP7196399B2 (ja) 音響装置、音響システム、方法およびプログラム
CN111970625B (zh) 录音方法和装置、终端和存储介质
JP7205386B2 (ja) 撮像装置、画像処理方法、プログラム
KR20200087816A (ko) 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기록 매체
KR102330264B1 (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
JP6256513B2 (ja) 撮像システム、撮像装置、方法およびプログラム
JP6724659B2 (ja) 撮影装置、方法およびプログラム
JP2018157314A (ja) 情報処理システム、情報処理方法及びプログラム
JP2020174363A (ja) 撮影システム、方法およびプログラム
JP4158344B2 (ja) 画像入力装置
JP2018182518A (ja) 全天球カメラ装置
JP2001258050A (ja) 立体映像撮像装置
JP7234802B2 (ja) 撮像システム、端末及びプログラム
JP2010160182A (ja) カメラ及びレンズ鏡筒
JP6888810B2 (ja) 全天球カメラ及び音声処理方法
JP2021124526A (ja) 記録装置、記録システム、ファイル生成方法およびプログラム
JP2020078065A (ja) 撮像装置、情報処理装置、補正量設定方法およびプログラム
JP2019169762A (ja) 情報処理装置
JP2019062448A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R151 Written notification of patent or utility model registration

Ref document number: 7196949

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151