JP4156893B2 - 画像処理装置、方法及びプログラム - Google Patents
画像処理装置、方法及びプログラム Download PDFInfo
- Publication number
- JP4156893B2 JP4156893B2 JP2002283818A JP2002283818A JP4156893B2 JP 4156893 B2 JP4156893 B2 JP 4156893B2 JP 2002283818 A JP2002283818 A JP 2002283818A JP 2002283818 A JP2002283818 A JP 2002283818A JP 4156893 B2 JP4156893 B2 JP 4156893B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- pair
- difference
- binocular parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 103
- 238000000034 method Methods 0.000 title claims description 35
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 238000003672 processing method Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 description 37
- 230000015654 memory Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 24
- 230000009467 reduction Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 12
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 9
- 230000006837 decompression Effects 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 230000007547 defect Effects 0.000 description 6
- 230000001629 suppression Effects 0.000 description 6
- 230000002950 deficient Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置、方法及びプログラムに係り、特に、両眼視差に相当する相違が生ずるように生成された一対の画像の画質を向上させる画像処理方法、該画像処理方法が適用された画像処理装置、及び、コンピュータを前記画像処理装置として機能させるためのプログラムに関する。
【０００２】
【従来の技術】
立体視が可能なステレオ画像（ステレオ写真、立体写真ともいう）は、両眼視差に相当する相違が生じるように撮影された一対の画像（静止画像又は動画像）から成り、裸眼、或いはビューア等の器具を用いることで立体感を楽しむことができる。ステレオ画像は、例えば人間の両眼の間隔（瞳孔間隔）と略同一又はそれ以上の距離を隔てた２点において、同一の被写体を各々撮影することで得ることができるが、ステレオ画像の撮影は、専用のカメラを用いる以外に、通常のカメラを２台並べる等の低コストかつ簡易的な方法でも実現可能であり、現時点では一部のユーザに普及している程度であるが、今後は広範に普及する可能性もある。
【０００３】
一方、光学像を撮像素子により光電変換し、該光電変換によって得られた画像信号をデジタルデータへ変換することで得られるデジタル画像のノイズ低減としては、従来より種々の手法が知られており、例えば原画像を複数の小ブロックに分割し、各小ブロック毎に、ブロック内の画像データの特徴を代表的に表すテンプレートプロファイルを算出し、算出したテンプレートプロファイルを用いて当該ブロック内の元の画像データプロファイルを近似し、該近似によって得られた元の画像データを置換することで画像データのノイズを除去する手法がある（例えば特許文献１参照）。
【０００４】
また、例えば原画像データに対して平滑化・エッジ検出を行い、平滑化画像データから被写体のエッジとノイズが混在する混在画像データを求め、エッジ検出で求めたエッジ強度データからノイズの重み付け係数を求め、ノイズの重み付け係数と混在画像データからノイズデータを求める一方、ノイズ抑制の広がりを表すノイズ抑制分布関数を設定し、この関数とノイズデータとの畳み込み積分を行ってノイズ抑制分布を算出し、ノイズデータにノイズ抑制分布を乗じてノイズ抑制成分を求め、このノイズ抑制成分を変倍して画像データから減算することでノイズを抑制する手法もある（例えば特許文献２参照）。
【０００５】
更に、例えばフィルム原稿を光電的に読み取って得られた入力画像信号を高周波成分とそれ以外の成分に分解し、高周波成分を強調すると共に、フィルム原稿がアンダーネガ又は高感度フィルムの少なくとも一方である場合には、最も低い周波数成分の帯域がより狭くなるように、高周波成分以外の成分を２以上の成分に分解し、高周波成分及び最も低い周波数成分以外の周波数成分を抑制することで粒状（ノイズ）を抑制する手法もある（例えば特許文献３参照）。
【０００６】
【特許文献１】
特開２００１−１４４９６４公報
【特許文献２】
特開平２００１−２８５６４０公報
【特許文献３】
特開平１１−２７５３５０号公報
【０００７】
【発明が解決しようとする課題】
本願発明者等は、２台のデジタルスチルカメラ（ＤＳＣ）を用いてステレオ画像を撮影し、撮影したステレオ画像をフィルム等の記録材料に記録し、立体視して画質を評価する実験を行った。その結果、ステレオ画像の左右の画像に両眼視差に相当する相違以外の相違が生じている場合、当該ステレオ画像を立体視すると、前記両眼視差に相当する相違以外の相違が、非常に顕著な画質欠陥として視認されることが明らかになった。
【０００８】
例えばＤＳＣによって撮影された画像は、撮像素子として内蔵されているＣＣＤの特性により、特に高濃度の部分（撮影したシーン全体のうち撮影時の入射光量の低い部分）に視認可能なノイズが生ずる。このノイズは単一の画像を目視している限りはそれ程目立たないが、ランダムなノイズであるため、ステレオ画像の左右の画像に異なるパターンのノイズとして現れることになり、このようなノイズが生じているステレオ画像を立体視すると、鑑賞者には、ノイズのパターンが空間上に浮いており、且つちらついているように見え、単一の画像を目視している場合と比較してノイズが顕著に視認されることになる。
【０００９】
上記の現象は、人間の視覚が、両眼で知覚した左右像のうちの相違している部分に感度が高い特性を有しており、左右像のうちの相違している部分を認識した鑑賞者の脳が、過去の経験から金属等の光沢と解釈して処理することが原因ではないかと推察される。
【００１０】
これに対し、先に述べたデジタル画像のノイズ低減の手法は、何れも単一の画像を対象としたものであり、各手法をステレオ画像の個々の画像に適用したとしても、ステレオ画像を立体視する場合に顕著に視認される画質欠陥を軽減又は解消することは困難であった。
【００１１】
本発明は上記事実を考慮して成されたもので、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる画像処理装置、画像処理方法及びプログラムを得ることが目的である。
【００１２】
【課題を解決するための手段】
上記目的を達成するために請求項１記載の発明に係る画像処理装置は、両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識する認識手段と、前記一対の画像を各々部分領域に分割し、前記認識手段によって認識された一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行う処理手段と、を含んで構成されている。
【００１３】
本発明に係る一対の画像（両眼視差に相当する相違が生ずるように生成された一対の画像）としては、例えばカメラ等の撮影手段を用い、人間の両眼の間隔と略同一又はそれ以上の距離を隔てた２点で同一の被写体を各々撮影することで生成された画像が挙げられ、例えば請求項４に記載したように、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像を適用することができるが、両眼視差に相当する相違が生ずるようにＣＧ（Computer Graphics）によって生成された画像であってもよい。また、前記一対の画像は、両眼視差に相当する相違が生ずるように生成された一対の動画像から各々取り出した静止画像であってもよい。
【００１４】
本発明に係る一対の画像は両眼視差に相当する相違が生ずるように生成されているので、本発明に係る一対の画像には両眼視差に相当する像構造の幾何学的な相違が生じている。これを考慮し、請求項１記載の発明に係る認識手段は、両眼視差に相当する相違が生ずるように生成された一対の画像における両眼視差に相当する像構造の幾何学的な相違を認識する。なお、認識手段による像構造の幾何学的な相違の認識は、具体的には、例えば請求項２に記載したように、一対の画像のマッチングを行うことによって実現できる。上記のマッチングには、例えば一対の画像上の対応する点対を求めるポイントパターン・マッチングや、一対の画像上の対応する線セグメント対を求めるラインパターン・マッチング等を適用できる。これにより、一対の画像における両眼視差に相当する像構造の幾何学的な相違を精度良く認識することができる。
【００１５】
また、本発明に係る一対の画像において、像構造の幾何学的な相違以外の相違を生じさせるノイズ成分の重畳には、詳しくは、一対の画像のうちの一方の画像にのみノイズ成分が重畳される場合と、一対の画像に相互に異なるノイズ成分が重畳される場合がある。例えば、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンを各々撮影することで一対の画像を生成する態様において、特定撮像素子の画素欠陥や、特定撮像素子の入射光学系への塵埃の付着等があれば、一対の画像のうちの一方の画像にのみノイズ成分（明瞭に視認可能な欠陥部として現れることも多い）が重畳されることで一対の画像に相違が生じ、個々の撮像素子でランダムなノイズが発生される等の場合には、一対の画像に相互に異なるノイズ成分が各々重畳されることで一対の画像に相違が生ずる。
【００１６】
上記に基づき請求項１記載の発明に係る処理手段は、一対の画像を各々部分領域に分割し、認識手段によって認識された一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、一対の画像において像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断する。これにより、一対の画像における両眼視差に相当する像構造の幾何学的な相違の影響を排除して、一対の画像に顕著な画質欠陥として認識される相違を生じさせているノイズ成分（一方の画像にのみ重畳しているノイズ成分や、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分）を正確に判断することができる。
【００１７】
そして、請求項１記載の発明に係る処理手段は、一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を一方の画像から除去する処理、及び、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方（望ましくは両方）を行う。これにより、両眼視差に相当する相違が生ずるように生成された一対の画像における、両眼視差に相当する像構造の幾何学的な相違以外の相違を生じさせているノイズ成分、すなわち一対の画像を立体視した場合に顕著な画質欠陥として認識されるノイズ成分が減少されるので、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる。
【００２１】
また、一対の画像上の対応する領域に相互に異なるノイズ成分が各々重畳している場合、重畳されているノイズ成分を一対の画像から各々除去するようにしてもよいが、ノイズ成分を完全に除去すると逆に不自然な画像に感じられることがある。上記を考慮すると、請求項１記載の発明において、処理手段は、例えば請求項３に記載したように、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することが好ましい。これにより、一対の画像に各々重畳されたノイズ成分の相違が小さくされることで、一対の画像を立体視した場合の画質を向上させることができると共に、不自然な画像に感じられることも回避することができる。
【００２２】
請求項５記載の発明に係る画像処理方法は、両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識し、前記一対の画像を各々部分領域に分割し、前記認識した一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行うので、請求項１記載の発明と同様に、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる。
なお、請求項５記載の発明において、例えば請求項６に記載したように、両眼視差に相当する像構造の幾何学的な相違を、一対の画像のマッチングを行うことで認識することが好ましい。
また、請求項５記載の発明において、例えば請求項７に記載したように、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することが好ましい。
また、請求項５記載の発明において、一対の画像としては、例えば請求項８に記載したように、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像を適用することができる。
【００２３】
請求項９記載の発明に係るプログラムは、コンピュータを、両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識する認識手段、及び、前記一対の画像を各々部分領域に分割し、前記認識手段によって認識された一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行う処理手段として機能させるので、請求項９記載の発明に係るプログラムをコンピュータが実行することで、当該コンピュータを請求項１記載の発明に係る画像処理装置として機能させることができる。従って、請求項１記載の発明と同様に、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる。
なお、請求項９記載の発明において、認識手段は、例えば請求項１０に記載したように、前記前記両眼視差に相当する像構造の幾何学的な相違を、前記一対の画像のマッチングを行うことで認識することが好ましい。
また、請求項９記載の発明において、処理手段は、例えば請求項１１に記載したように、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することが好ましい。
また、請求項９記載の発明において、一対の画像としては、例えば請求項１２に記載したように、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像を適用することができる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１には、本発明に係る画像処理装置としての機能を備えたデジタル双眼鏡１０が示されている。デジタル双眼鏡１０は、人間の両眼の間隔と略同じ距離を隔てて軸線が互いに平行となるように配置された２個の筒体１２Ａ，１２Ｂが連結されると共に、正面から見て左側に、本体の把持を容易とするための突起（把持部）１２Ｃが形成された形状とされている。なお、筒体１２Ａ，１２Ｂの間隔を調整可能とする機構（眼幅調整機構）が設けられていてもよい。
【００２５】
筒体１２Ａ，１２Ｂの上方には、低照度での撮影等の場合に補助光を発するためのストロボ１４が取付けられており、デジタル双眼鏡１０本体の上面には、別体のストロボを取り付けるためのブラケット１６が設けられている。また、把持部１２Ｃの上面にはシャッタボタン１８が各々設けられており、図示は省略するが、把持部１２Ｃの側面には、スマートメディア(Ｒ)、コンパクトフラッシュ(Ｒ)、メモリスティック(Ｒ)等の各種記録メディアの何れかを装填可能なスロットが設けられている。
【００２６】
なお、以下では筒体１２Ａ，１２Ｂ内に収納された光学系、及び該光学系に対応して設けられた電気系の構成を順に説明するが、筒体１２Ａ，１２Ｂ内に収納された光学系は同一の構成であり、これらの光学系に対応して各々設けられた電気回路も同一の構成とされている。このため、以下では筒体１２Ａに対応する光学系及び電気系と、筒体１２Ｂに対応する光学系及び電気系を区別せずに説明するが、必要に応じて、筒体１２Ａに対応する光学系及び電気系の構成要素には符号「Ａ」、筒体１２Ａに対応する光学系及び電気系の構成要素には符号「Ｂ」を付して区別する。
【００２７】
筒体１２Ａ，１２Ｂには筒体の正面側の開口を閉止するように対物レンズ２０Ａ，２０Ｂが各々取付けられている。図２には筒体１２Ａ，１２Ｂ内に設けられた光学系の構成を示す。なお、筒体１２Ａ，１２Ｂ内に設けられた光学系は互いに同一の構成であるので、図２は筒体１２Ａ，１２Ｂの一方に設けられた光学系のみを示す。図２にも示すように、対物レンズ２０は、詳しくは複数枚のレンズから成るズームレンズ（焦点距離可変レンズ）であり、オートフォーカス（ＡＦ）機構を備えている。対物レンズ２０の光学倍率（ズーム倍率）は、筒体１２Ａ，１２Ｂの外周に設けられた操作リング１３を回動させることで調節可能とされている。なお、モータの駆動力で光学倍率（ズーム倍率）を調節する構成を採用してもよい。また、対物レンズ２０としてＡＦ機構のみを備えた焦点距離固定レンズを用いてもよい。
【００２８】
対物レンズ２０の光射出側には第１プリズム２２、第２プリズム２４、接眼レンズ２６が順に設けられている。なお、図２では接眼レンズ２６を単一枚のレンズとして示しているが、実際には複数枚のレンズから成り、左右の接眼レンズ２６Ａ，２６Ｂには視度調節機構が各々設けられている。また、第１プリズム２２に入射された光が反射面２２Ａで射出されたときの射出方向下流側には、レンズ２８、エリアＣＣＤ等から成る撮像素子３０が順に配置されている。第１プリズム２２は、対物レンズ２０を介して入射された光を撮像素子３０側及び第２プリズム２４側の少なくとも一方へ射出すると共に、撮像素子３０側及び第２プリズム２４側への光の射出割合を変更可能とされている。
【００２９】
また、第２プリズム２４の側方にはレンズ３２、表示デバイス３４が順に配置されている。なお、表示デバイス３４はカラー画像を所定値以上の輝度で表示可能な表示デバイスであればよく、例えばバックライト付きのカラーＬＣＤや、Ｒ，Ｇ，Ｂ各色のＬＥＤがマトリクス状に配置されて成るＬＥＤディスプレイ等で構成することができる。
【００３０】
表示デバイス３４及びレンズ３２は、表示デバイス３４から射出された光がレンズ３２を介して第２プリズム２４へ入射され、反射面２４Ａで反射された場合には接眼レンズ２６側へ射出されるように配置位置が調整されている。第２プリズム２４は、表示デバイス３４からの光及び第１プリズム２４からの光の少なくとも一方を接眼レンズ２６へ射出すると共に、表示デバイス３４からの光及び第１プリズム２４からの光を接眼レンズ２６へ射出する割合を変更可能とされている。
【００３１】
なお、接眼レンズ２６を凸レンズで構成すると共に、対物レンズ２０と第１プリズム２２の間、或いは第１プリズム２２と第２プリズム２４の間にポロプリズム等のプリズムを設けることで、対物レンズ２０Ａ．２０Ｂの光軸の間隔を人間の両眼の間隔（瞳孔間隔）よりも広くしてもよい。これにより、対物レンズ２０及び接眼レンズ２６によって形成された被写体の光学像を目視した際の被写体の遠近感を更に拡大することができる。
【００３２】
次に、デジタル双眼鏡１０の電気系の構成について図３を参照して説明する。デジタル双眼鏡１０は駆動回路３６を備えており、対物レンズ２０のＡＦ機構及びズーム機構は駆動回路３６によって駆動される。また、撮像素子３０は、詳しくは対物レンズ２０及びレンズ２８から成る光学系の焦点位置に相当する位置に配置されており、第１プリズム２２が入射光の一部又は全部を撮像素子３０側へ反射する状態に制御されている場合、被写体を反射して対物レンズ２０に入射された光は、第１プリズム２２の反射面２２Ａで反射され、レンズ２８を介して撮像素子３０の受光面に結像される。撮像素子３０は、駆動回路３６が内蔵しているタイミング発生回路（図示省略）によって発生されたタイミング信号に同期したタイミングで駆動され、画像信号（受光面上にマトリクス状に配列された多数個の光電変換セルの各々における受光量を表す信号）を所定周期で出力する。
【００３３】
レンズ２８と撮像素子３０との間にはシャッタ／絞り３８が配置されている。シャッタ及び絞りも駆動回路３６によって駆動される。シャッタは撮像素子３０から画像信号が出力されるときに、撮像素子３０の受光面に光が入射することでスミアが発生することを防止するためのものであり、撮像素子３０の構成によっては省略可能である。また絞りは、絞り量を連続的に変更可能な単一の絞りで構成してもよいし、絞り量が異なる複数の絞りを切替える構成であってもよい。
【００３４】
また、デジタル双眼鏡１０はストロボ駆動回路３８を備えており、ストロボ駆動回路３８はストロボ１４に接続されている。ストロボ１４は、低照度であることが検出された場合や、ユーザによって発光が指示された場合に、ストロボ駆動回路３８によって発光される。
【００３５】
撮像素子３０の信号出力端にはアナログ信号処理部４０、Ａ／Ｄ変換器４２、デジタル信号処理部４４、メモリ４６、内蔵メモリ４８が順に接続されている。アナログ信号処理部４０は、撮像素子３０から出力された画像信号を増幅すると共に、増幅した画像信号に対してホワイトバランス等の補正を行う。アナログ信号処理部４０から出力された画像信号は、Ａ／Ｄ変換器４２によってデジタルの画像データに変換されてデジタル信号処理部４４へ入力される。デジタル信号処理部４４では、入力された画像データに対して色補正・γ補正・Ｙ／Ｃ変換等の各種処理を行う。デジタル信号処理部４４から出力された画像データは、ＲＡＭ等で構成されたメモリ４６に一時記憶される。
【００３６】
また、メモリ４６にはＦＩＦＯ(First In First Out)メモリから成り複数フレーム分の画像データを記憶可能な記憶容量を有する内蔵メモリ４８が接続されている。被写体からの光が対物レンズ２０、第１プリズム２２及びレンズ２８を介して撮像素子３０に入射されている間、撮像素子３０からは所定周期で画像信号が出力されるので、メモリ４６にも所定周期で画像データが入力され、メモリ４６に一時記憶される画像データは所定周期で更新されると共に、メモリ４６に一時記憶された画像データは順次内蔵メモリ４８に記憶される。従って、内蔵メモリ４８には、常に最新の複数フレーム分の画像データが記憶される。
【００３７】
また、メモリ４６には表示デバイス３４が接続されている。表示デバイス３４には、入力された画像データを、該画像データが表す画像を表示デバイス３４に表示させるための表示制御信号へ変換する信号処理回路と、信号処理回路によって生成された表示制御信号に応じて表示デバイス３４を駆動することで、入力された画像データが表す画像を表示デバイス３４に表示させる駆動回路が付加されており、メモリ４６に記憶された画像データは表示デバイス３４にも出力され、表示デバイス３４に画像（動画像）として表示される。
【００３８】
駆動回路３６、ストロボ駆動回路３８，アナログ信号処理部４０、Ａ／Ｄ変換器４２、デジタル信号処理部４４、メモリ４６、内蔵メモリ４８及び圧縮伸張部５０（後述）はバス５２に接続されており、このバス５２には、ＣＰＵ５４が接続されている。図示は省略するが、ＣＰＵ５４はＲＯＭ、ＲＡＭ、不揮発性メモリ（記憶内容を書替え可能なメモリ：例えばＥＥＰＲＯＭ等）、入出力ポート等の周辺回路を含んで構成されており、ＲＯＭには、後述するノイズ低減処理を行うためのノイズ低減プログラムが予め書き込まれている。なお、このノイズ低減プログラムは本発明に係るプログラムに対応している。
【００３９】
またバス５２には、各種のスイッチ類（例えば電源スイッチや動作モード切替スイッチ等：図１では図示省略）から成る操作スイッチ５６、シャッタボタン１８が操作されることでオンオフされるシャッタスイッチ５８、ジャイロセンサ等から成りデジタル双眼鏡１０の姿勢変化を検出する姿勢角センサ６０が各々接続されており、第１プリズム２２及び第２プリズム２４も接続されている。第１プリズム２２及び第２プリズム２４の光の射出割合はＣＰＵ５４によって制御される。
【００４０】
また、圧縮伸張部５０Ａ，５０Ｂにはスロットに装填された記録メディア６２が接続される。シャッタボタン１８が操作されてシャッタスイッチ５８がオンされた等により、スロットに装填された記録メディア６２への画像データの書き込みが指示されると、ＣＰＵ５４は内蔵メモリ４８Ａ，４８Ｂから画像データを読み出して圧縮伸張部５０Ａ，５０Ｂへ転送する。これにより、圧縮伸張部５０Ａ，５０Ｂへ転送された画像データは、圧縮伸張部５０Ａ，５０Ｂで圧縮された後に所定の形式（例えばＥＸＩＦ形式）の画像ファイルとして記録メディア６２に書き込まれる。
【００４１】
なお、記録メディア６２へ書き込まれる画像データの画素数は、記録画素数の設定に応じて相違すると共に、画像データに対する圧縮率も画質モードとして予め設定されたモードによって相違しており、画質モードによっては画像データが圧縮されることなく記録メディア６２に書き込まれる場合もある。
【００４２】
また、スロットに装填された記録メディア６２に格納されている画像データが表す画像の再生（表示）が指示された場合には、記録メディア６２から画像データが読み出され、読み出された画像データが圧縮されて格納されていた場合には、該被圧縮画像データが圧縮伸張部５０Ａ，５０Ｂで伸張（解凍）された後にメモリ４６Ａ，４６Ｂへ転送される。そして、メモリ４６Ａ，４６Ｂに一時記憶された画像データを用いて表示デバイス３４Ａ，３４Ｂへの画像の表示（再生）が行われる。
【００４３】
次に本実施形態の作用を説明する。本実施形態に係るデジタル双眼鏡１０には、動作モードとして、対物レンズ２０及び接眼レンズ２６によって形成された被写体の光学像を目視するための光学像目視モード、撮像素子３０によって撮影され表示デバイス３４に表示された画像を目視するための撮影画像目視モード、及び、対物レンズ２０及び接眼レンズ２６によって形成された被写体の光学像に、表示デバイス３４Ａ，３４Ｂに表示された画像が合成された画像を目視するための合成画像目視モードが設けられている。これらの動作モードの選択は、デジタル双眼鏡１０本体に設けられた動作モード切替スイッチ（図示省略）を操作することでユーザが選択可能とされている。
【００４４】
動作モードとして光学像目視モードが選択された場合、ＣＰＵ５４は、対物レンズ２０を介して第１プリズム２２に入射された光が第２プリズム２４側へのみ射出されるように第１プリズム２２からの光の射出割合を変更すると共に、第１プリズム２４から第２プリズム２４へ入射された光のみが接眼レンズ２６へ射出されるように第２プリズム２４からの光の射出割合を変更する。これにより、通常の双眼鏡と同様に、接眼レンズ２６Ａ，２６Ｂを両眼で覗いたユーザに、対物レンズ２０及び接眼レンズ２６によって形成された被写体の光学像が視認（立体視）されることになる。
【００４５】
この光学像目視モードでは、ユーザが操作リング１３を回動操作することで、対物レンズ２０の光学倍率（ズーム倍率）を調節することも可能とされている。なお、光学像目視モードにおけるピント調節については、例えばユーザが操作可能なピント調節機構を設けておき、このピント調節機構をユーザに操作させることでユーザに行わせるようにしてもよいが、これに代えて、対物レンズ２０を介して第１プリズム２２に入射された光が撮像素子３０側へも射出されるように第１プリズム２２からの光の射出割合を変更し、撮像素子３０による撮影によって得られた画像に基づき、駆動回路３６Ａ，３６Ｂを介して対物レンズ２０Ａ，２０ＢのＡＦ機構を駆動する（例えば画像の鮮鋭度を演算し鮮鋭度が最大となるようにＡＦ機構を駆動する等）ことで自動的に行うようにしてもよい。
【００４６】
また、動作モードとして撮影画像目視モードが選択された場合には、ＣＰＵ５４は、対物レンズ２０を介して第１プリズム２２に入射された光が撮像素子３０側へのみ射出されるように第１プリズム２２からの光の射出割合を変更すると共に、表示デバイス３４から第２プリズム２４へ入射された光のみが接眼レンズ２６へ射出されるように第２プリズム２４からの光の射出割合を変更し、更に、撮像素子３０Ａによる撮影によって得られた画像を表示デバイス３４Ａに表示させ、撮像素子３０Ｂによる撮影によって得られた画像を表示デバイス３４Ｂに表示させる。
【００４７】
これにより、接眼レンズ２６Ａ，２６Ｂを両眼で覗いたユーザに、表示デバイス３４Ａ，３４Ｂに表示された画像が視認されることになる。撮像素子３０Ａ，３０Ｂは、被写体から人間の両眼の間隔と略同じ距離だけ光軸が隔てられた対物レンズ２０Ａ，２０Ｃを介して入射された光を光電変換するので、撮像素子３０Ａ，３０Ｂによる撮影によって得られる一対の画像には、少なくとも両眼視差に相当する像構造の幾何学的な相違が生じている（ステレオ画像）。従って、表示デバイス３４Ａ，３４Ｂに表示された前記一対の画像を接眼レンズ２６Ａ，２６Ｂを介して両眼で視認したユーザが被写体を立体的に認識することができる（所謂立体視）。
【００４８】
また、上記の撮影画像目視モードのように撮像素子３０Ａ，３０Ｂによって撮影が行われている間、デジタル双眼鏡１０では以下で説明する画像処理が行われる。
【００４９】
すなわち、本実施形態ではデジタル双眼鏡１０に搭載される撮像素子３０Ａ，３０Ｂの感度特性（入射光量−出力特性）が個々の画素を単位として事前に測定され、測定された感度特性に基づいて、Ａ／Ｄ変換器４２Ａ，４２Ｂから入力される画像データを、均一な感度特性の一対の撮像素子で撮像したに等しい画像データへ補正するための補正データが撮像素子３０Ａ，３０Ｂの個々の画素を単位として設定されている。デジタル信号処理部４４Ａ，４４Ｂには上記の補正データが記憶されており、デジタル信号処理部４４Ａ，４４Ｂは記憶されている補正データに基づき、個々の画素を単位として画像データの補正を行う。これにより、撮像素子３０Ａ，３０Ｂの感度特性のばらつきを補正することができる。
【００５０】
表示デバイス３４Ａ，３４Ｂには撮像素子３０Ａ，３０Ｂの感度特性のばらつきが補正された画像（動画像）が表示されるので、表示デバイス３４Ａ，３４Ｂに表示された前記一対の画像を接眼レンズ２６Ａ，２６Ｂを介して両眼で視認したユーザに、撮像素子３０Ａ，３０Ｂの感度特性のばらつきが顕著な画質欠陥として認識されることを防止することができる。
【００５１】
また、本実施形態に係るデジタル双眼鏡１０では、Ａ／Ｄ変換器４２Ａ，４２Ｂから入力された画像データから、デジタル信号処理部４４Ａ，４４Ｂにより、前記画像データが表す画像のうち所定サイズの部分領域に相当する画像データが切り出され、該部分領域の画像データが表示デバイス３４Ａ，３４Ｂへの画像の表示等に用いられるようになっている。撮像素子３０Ａ，３０Ｂによる撮影が行われている間、ＣＰＵ５４は姿勢角センサ６０によって検出されるデジタル双眼鏡１０の姿勢変化を監視し、デジタル双眼鏡１０の姿勢が変化した場合に、デジタル双眼鏡１０の姿勢変化に伴う撮像素子３０Ａ，３０Ｂによる全撮影範囲の変化に拘らず前記部分領域に対応する撮影範囲の変化が抑制されるように、デジタル双眼鏡１０の姿勢変化に応じて部分領域の新たな切り出し位置を演算し、演算した切り出し位置をデジタル信号処理部４４Ａ，４４Ｂへ通知することを繰り返す。
【００５２】
また、デジタル信号処理部４４Ａ，４４Ｂは、ＣＰＵ５４から通知された切り出し位置に応じて、Ａ／Ｄ変換器４２から入力された画像データが表す画像上での部分領域の位置が変化するように、前記画像データからの部分領域に相当する画像データの切り出しを行う。これにより、デジタル双眼鏡１０を把持しているユーザの手振れ等により撮像素子３０Ａ，３０Ｂによる全撮影範囲が一時的に変動した場合にも、部分領域に対応する撮影範囲の変動を抑制することができる。そして、表示デバイス３４Ａ，３４Ｂには上記の手振れ補正が行われた画像（動画像）が表示されるので、接眼レンズ２６Ａ，２６Ｂを介してユーザに視認される画像が、ユーザの手振れ等により撮影範囲が変動する見苦しい画像となることを防止することができる。
【００５３】
また、ＣＰＵ５４は撮像素子３０Ａ，３０Ｂによって撮影が行われている間、ＲＯＭに書き込まれているノイズ低減プログラムを実行することで、デジタル信号処理部４４Ａ，４４Ｂにおける各種の処理を経てメモリ４６Ａ，４６Ｂに記憶された画像（データ）を対象としてノイズ低減処理を行う。以下、このノイズ低減処理について、図４のフローチャートを参照して説明する。
【００５４】
このノイズ低減処理は本発明に係る画像処理方法が適用された処理であり、ノイズ低減プログラムを実行するＣＰＵ５４は本発明に係る画像処理装置として機能する。なお、以下では便宜的に、メモリ４６Ａに記憶された画像を左チャンネルの画像、メモリ４６Ｂに記憶された画像を右チャンネルの画像と称する。この左右チャンネルの画像は、請求項４等に記載の「両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されることで得られるデジタル画像」に対応している。
【００５５】
ステップ１００では、左チャンネルの画像と右チャンネルの画像の像構造の幾何学的な相違を認識するために、左右チャンネルの画像のマッチング処理を行う。このマッチング処理としては、例えば左右チャンネルの画像における対応する点である可能性のある候補（対応点候補）を左右チャンネルの画像から各々抽出し、弛緩法により対応点を決定する処理を適用することができる。
【００５６】
具体的には、対応点候補としては、全ての方向で濃淡レベルの大きな変化が生じている点であることが望ましく、また、対応点候補が密に存在していると対応点の決定が困難となる。このため、まず対応点候補の抽出対象の画像ｇ(x,y)の各画素について水平・垂直・右斜め・左斜め方向の濃淡レベルの変動ｇ'1，ｇ'2，ｇ'3，ｇ'4を次式に従って求める。
【００５７】
ｇ'1(x,y)＝[２・ｇ(x,y)−(ｇ(x-1,y)＋ｇ(x+1,y))]2
ｇ'2(x,y)＝[２・ｇ(x,y)−(ｇ(x,y-1)＋ｇ(x,y+1))]2
ｇ'3(x,y)＝[２・ｇ(x,y)−(ｇ(x+1,y-1)＋ｇ(x-1,y+1))]2
ｇ'4(x,y)＝[２・ｇ(x,y)−(ｇ(x-1,y-1)＋ｇ(x+1,y+1))]2
次に、適当な大きさのウインドウＷを１画素ずつ動かしながら、ウインドウの中心画素(x,y)の値として、次式のオペレータ出力値ｇ”を求める。
【００５８】
【数１】
【００５９】
続いて、画素(x,y)を中心とする(２ｗ＋１)×(２ｗ＋１)画素の大きさの局所領域毎にオペレータ出力値ｇ”の最大値ｇ＊を抽出する。そして、画像中の最大のｇ＊から順次大きなｇ＊をもつ画素をｎ個抽出し、これを対応点候補とする。上記処理を左右チャンネルの画像に対して各々行うことで、例えば図５（Ａ）に示す左チャンネルの画像からは例として図５（Ｃ）に示すような対応点候補が抽出され、例えば図５（Ｂ）に示す右チャンネルの画像からは例として図５（Ｄ）に示すような対応点候補が抽出されることになる。
【００６０】
次に、抽出された対応点候補に基づいて対応点を決定する。左チャンネルの画像から抽出された対応点候補の集合をＬ＝[Ｌ1,Ｌ2,…,Ｌn]、右チャンネルの画像から抽出された対応点候補の集合をＲ＝[Ｒ1,Ｒ2,…,Ｒn]とし、左チャンネルの画像から抽出された対応点候補Ｌi(ｉ＝1,2,…,ｎ)に対し、Ｌiを中心とする(２ｒ＋１)×(２ｒ＋１)画素の大きさの矩形領域内に存在する右チャンネルの画像の対応点候補Ｒiを対応点対候補とする。ここで、Ｌiを始点としＲiを終点とするベクトルを相違ベクトルと称する。
【００６１】
対応点の決定は、対応点候補Ｌiに対して得られている対応点対候補（相違ベクトル候補）と、対応点候補Ｌj(ｉ≠ｊ)に対して得られている対応点対候補（相違ベクトル候補）が互いに矛盾しないように候補を絞っていくことにより成され、具体的には弛緩法（対象Ｌiに局所的矛盾が少なくなるようにラベルλｋを与える）を適用し、ラベルλｋとして相違ベクトルのx,y方向の成分Δｘ,Δｙを用いることで実現できる。これにより、例として図５（Ｅ）に示すようなマッチング結果（対応点対及び相違ベクトル）が得られ、左チャンネルの画像と右チャンネルの画像の像構造の幾何学的な相違を認識することができる。なお、上述したステップ１００は請求項１に記載の認識手段（詳しくは請求項２に記載の認識手段）に対応している。
【００６２】
次のステップ１０２以降では、左右チャンネルの画像における像構造の幾何学的な相違以外の相違を減少させる処理が行われる。次のステップ１０２以降の処理は本発明に係る処理手段に対応している。
【００６３】
すなわち、ステップ１０２では、ステップ１００におけるマッチング処理の結果に基づき、左右チャンネルの画像の互いに対応する位置（例えば対応点対の存在している位置）を境界として、左右チャンネルの画像を各々多数個の処理ブロックに分割する。なお、この多数個の処理ブロックへの分割は、一方のチャンネルの画像の特定の処理ブロックに対応する他方のチャンネルの画像の処理ブロックが判別可能に分割できればよく、他の分割方法を適用してもよい。また、処理ブロックの形状も矩形状に限られるものではない。上記の処理ブロックは請求項１等に記載の部分領域に対応している。
【００６４】
ステップ１０４では、左チャンネルの画像から未処理の処理ブロックのデータを取り出し、次のステップ１０６では、左チャンネルの画像から取り出した処理ブロック（：処理ブロックＬ）に対応する右チャンネルの画像の処理ブロックを認識し、認識した処理ブロック（：処理ブロックＲ）のデータを取り出す。そしてステップ１０８では、左右チャンネルの画像から取り出した処理ブロックＬ，Ｒのデータに基づき、処理ブロックＬ，Ｒ内の全ての画素列ｊ（ｊ＝1,2,…,ｊmax）を対象として、左右チャンネルの画像の平均データ関数ｆave(j)を次式に従って演算する。
【００６５】
【数２】
【００６６】
但し、dataL(i,j)：処理ブロックＬ内のｉ行目ｊ列目の画素
dataR(i,j)：処理ブロックＲ内のｉ行目ｊ列目の画素
ｎ：処理ブロックＬ，Ｒ内の画素の行の総数
【００６７】
なお、上記の平均データ関数ｆave(j)は左右チャンネルの画像の平均に相当するデータ関数であるので、左右チャンネルの画像上の対応する領域に各々重畳しているランダムなノイズも平均化される。従って、平均データ関数ｆave(j)は請求項３等に記載の「平均化したノイズ成分」に対応している。
【００６８】
ステップ１１０では変数ｉに１を代入する。ステップ１１２では、処理ブロックＬのｉ行目のデータ関数を
ｆLi(j)＝dataL(i,j)
と表したときに、このデータ関数ｆLi(j)とｆave(j)+ｋLiとの残差が最小になるときの定数ｋLiを最小自乗法により演算する。そしてステップ１１４では、処理ブロックＬのｉ行目のデータ関数を次式により設定する。
ｆLi(j)←ｆave(j)+ｋLi
【００６９】
また、ステップ１１６では、処理ブロックＲのｉ行目のデータ関数を
ｆRi(j)＝dataR(i,j)
と表したときに、このデータ関数ｆRi(j)とｆave(j)+ｋRiとの残差が最小になるときの定数ｋRiを最小自乗法により演算する。そしてステップ１１８において、処理ブロックＲのｉ行目のデータ関数を次式により設定する。
ｆRi(j)←ｆave(j)+ｋRi
【００７０】
次のステップ１２０では、変数ｉが処理ブロックＬ，Ｒ内の画素の行の総数ｎに一致しているか否か判定する。判定が否定された場合にはステップ１２２へ移行し、変数ｉを１だけインクリメントしてステップ１２２へ戻る。これにより、ステップ１０４，１０６で取り出した処理ブロックＬ，Ｒの全ての画素の行について、ステップ１１２〜ステップ１１８の処理が各々行われることになる。
【００７１】
ステップ１２０の判定が肯定されるとステップ１２４へ移行し、左右チャンネルの画像の全ての処理ブロックに対してステップ１０４以降の処理を行ったか否か判定する。判定が否定された場合にはステップ１０４に戻る。これにより、左右チャンネルの画像の全ての処理ブロックに対してステップ１０４以降の処理が行われることになる。ステップ１２４の判定が肯定されるとノイズ低減処理を終了する。
【００７２】
上記のノイズ低減処理では、左右チャンネルの画像を同一の平均データ関数ｆave(j)に基づいて補正しているので、左右チャンネルの画像のうち、ステップ１００で認識した像構造の幾何学的な相違以外の相違、詳しくは撮像素子３０Ａ，３０Ｂ等を原因として左右チャンネルの画像に各々重畳されているランダムなノイズの相違が減少されることになる。なお、上記では平均データ関数ｆave(j)として、左右チャンネルの画像の平均に相当するデータ関数を用いていたが、これに代えて左右チャンネルの画像のうちの何れか一方の画像の平均に相当するデータ関数を用いてもよい。
【００７３】
上記のノイズ低減処理は、所定周期でメモリ４６に入力・記憶される画像データに対して各々行われ、表示デバイス３４Ａ，３４Ｂには、ノイズ低減処理が行われた画像（動画像）が表示されるので、表示デバイス３４Ａ，３４Ｂに表示された前記一対の画像を接眼レンズ２６Ａ，２６Ｂを介して両眼で視認したユーザに、左右チャンネルの画像に重畳されているランダムなノイズが顕著な画質欠陥として認識されることを防止することができる。
【００７４】
また、撮影画像目視モードにおいて、表示デバイス３４Ａ，３４Ｂに表示されている動画像を接眼レンズ２６Ａ，２６Ｂを介して両眼で視認しているユーザが、視認している画像を静止画像として保存することを所望した場合には、シャッタボタン１８が操作されることで、スロットに装填された記録メディア６２への画像データの書き込みが指示される。シャッタスイッチ５８がオンすることで、シャッタボタン１８が操作されたことを検知すると、ＣＰＵ５４は、内蔵メモリ４８Ａ，４８Ｂから画像データを読み出して圧縮伸張部５０Ａ，５０Ｂへ転送する。
【００７５】
詳しくは、シャッタボタン１８が操作されてから、シャッタスイッチ５８がオンしたことを検知して画像データを読み出す迄に若干の時間がかかることを考慮し、ＣＰＵ５４は、内蔵メモリ４８Ａ，４８Ｂに最新の複数フレーム分の画像データが記憶されていることを利用して、内蔵メモリ４８Ａ，４８Ｂからの画像データの読み出し時に、撮像素子３０Ａ，３０Ｂによって前記時間差分だけ前に撮像された画像データを読み出して圧縮伸張部５０Ａ，５０Ｂへ転送する。これにより、シャッタボタン１８が操作されたタイミングと略同一のタイミングで撮像された画像データを記録メディア６２に書き込むことができる。
【００７６】
一方、動作モードとして合成画像目視モードが選択された場合には、ＣＰＵ５４は、対物レンズ２０を介して第１プリズム２２に入射された光が第２プリズム２４側及び撮像素子３０側へ各々所定の射出割合で射出されるように第１プリズム２２からの光の射出割合を変更すると共に、第１プリズム２２から第２プリズム２４へ入射された光及び表示デバイス３４から第２プリズム２４へ入射された光が各々所定の射出割合で接眼レンズ２６へ射出されるように第２プリズム２４からの光の射出割合を変更し、更に、表示デバイス３４Ａ，３４Ｂに各々画像を表示させる。これにより、対物レンズ２０及び接眼レンズ２６によって形成された被写体の光学像に、表示デバイス３４Ａ，３４Ｂに表示された画像が合成された合成画像が、接眼レンズ２６Ａ，２６Ｂを両眼で覗いたユーザに視認（立体視）されることになる。
【００７７】
合成画像目視モードにおいて、表示デバイス３４Ａ，３４Ｂには任意の画像を表示可能であり、例えば撮像素子３０Ａ，３０Ｂによる撮像によって得られた画像を解析して画像中の動体等を認識し、認識した動体等を指し示したり、或いは強調する図形を生成して表示デバイス３４Ａ，３４Ｂに表示することで、被写体の光学像に前記図形を合成した画像をユーザに視認させるようにしてもよい。
【００７８】
なお、この態様においては、対物レンズ２０及び接眼レンズ２６によって形成された被写体の光学像と、表示デバイス３４Ａ，３４Ｂに表示された画像の位置ずれを回避するために、前述の手振れ補正（部分領域の切り出し位置を変更することによる手振れ補正）の実行を停止するか、或いは、前述の手振れ補正に代えて、第１プリズム２２よりも被写体側の光路上に、バリアングルプリズム等の角度を変更可能なプリズムを設けておき、姿勢角センサ６０によって検出されたデジタル双眼鏡１０の姿勢変化に基づき、該姿勢変化を打ち消すようにプリズムの光軸を制御することで手振れ補正を行うことが好ましい。
【００７９】
また、合成画像目視モードにおいて、被写体の光学像に合成する画像は、例えばＣＧ(Computer Graphics)等の技術を用いて生成した架空の世界の画像（仮想現実画像）であってもよい。この仮想現実画像はデジタル双眼鏡１０に予め画像データとして記憶しておくようにしてもよいが、無線等の通信手段を介して外部（例えばインターネット等）と通信する機能をデジタル双眼鏡１０に搭載しておき、インターネットに接続されたサーバから受信するようにしてもよい。上記のように、光学像に合成する画像が被写体と無関係な画像（撮像素子３０Ａ，３０Ｂによる撮像によって得られた画像を利用せずに生成された画像）である場合には、撮像素子３０Ａ，３０Ｂによって撮像を行う必要がなくなるので、対物レンズ２０を介して第１プリズム２２に入射された光が第２プリズム２４側へのみ射出されるように第１プリズム２２からの光の射出割合を変更するようにしてもよい。また、撮像素子３０Ａ，３０Ｂによる撮像によって得られた画像、或いは姿勢角センサ６０による検出結果に基づいて、デジタル双眼鏡１０の姿勢角（視野方向）の変化を認識し、認識した姿勢角（視野方向）の変化に応じて、表示デバイス３４に表示する仮想現実画像を変化させるようにしてもよい。また、光学像に合成する画像は文字画像等であってもよい。
【００８０】
このように、本実施形態に係るデジタル双眼鏡１０では、ユーザによって選択された動作モードに応じて多様な画像（光学像）がユーザに提示されるので、ユーザの利便性を向上させることができる。
【００８１】
なお、上記では左右チャンネルの画像上の対応する領域に各々重畳しているランダムなノイズの相違を低減させる処理として平均データ関数ｆave(j)を用いる処理を説明したが、これに限られるものではなく、左右チャンネルの画像に重畳しているランダムなノイズ成分を各々抽出し、抽出したノイズ成分を平均化し、抽出したノイズ成分を各々除去した左右チャンネルの画像に、平均化したノイズ成分を各々加算することで、ランダムなノイズ成分の相違を解消するようにしてもよいし、上記の平均化したノイズ成分に代えて、左右チャンネルの画像の一方から抽出したノイズ成分を適用するようにしてもよい。
【００８２】
また、上記では本発明に係る画像処理手段による画像処理の一例として、左右チャンネルの画像上の対応する領域に各々重畳しているランダムなノイズ（一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分）の相違を低減させる処理（ノイズ低減処理）を説明したが、これに限定されるものではなく、左右チャンネルの画像のうちの一方の画像にのみ重畳しているノイズ成分を一方の画像から除去するノイズ成分除去処理も併せて行うようにしてもよいし、例えば撮像素子３０Ａ，３０Ｂとして低ノイズの高性能な撮像素子を用いる等の場合には、上記のノイズ成分除去処理のみを行うようにしてもよい。
【００８３】
ノイズ成分除去処理としては、例えば左右チャンネルの画像のマッチング処理を行うことで左右チャンネルの画像の像構造の幾何学的な相違を認識した後に、左右チャンネルの画像の対応する領域同士を比較し、対物レンズ２０に塵埃等が付着した場合に画像上に生ずる欠陥部の規模と同程度の規模の欠陥部が一方の画像に生じていることを検知した場合に、検知した欠陥部の周囲の画像部に基づいて補間するか、又は他方の画像の対応する画像部のデータで埋めることで、検知した欠陥部を消去する処理等を適用することができる。
【００８４】
また、上記では本発明に係るノイズ低減処理をＣＰＵ５４が実行する例を説明したが、これに限定されるものではなく、ノイズ低減処理を実行するための専用ハードウェアを設け、このハードウェアによってノイズ低減処理を実行するようにしてもよい。これによりＣＰＵ５４の負荷を低減することができる。
【００８５】
更に、上記では本発明に係るノイズ低減プログラムがデジタル双眼鏡１０のＲＯＭに予め書き込まれており、デジタル双眼鏡１０のＣＰＵ５４がノイズ低減プログラムを実行することで、本発明に係る画像処理方法が適用されたノイズ低減処理が実現され、デジタル双眼鏡１０のＣＰＵ５４が本発明に係る画像処理装置として機能する例を説明したが、本発明はこれに限定されるものではなく、本発明に係るプログラムを、例えばＣＤ−ＲＯＭやＤＶＤ、ＦＤ等の記録媒体に書き込んでおき、この記録媒体をＰＣ等のコンピュータにセットしてインストールした後に、当該コンピュータで本発明に係るプログラムを実行させることで、本発明に係る画像処理方法が適用された画像処理を実現するようにしてもよい。この態様では、前記コンピュータが本発明に係る画像処理装置として機能することになる。なお、本発明に係るプログラムは、例えばインターネット等の通信網を介して配布することも可能である。
【００８６】
上記のようにコンピュータを本発明に係る画像処理装置として機能させる態様では、コンピュータに取り込み可能な任意の画像を対象として、本発明に係る画像処理方法が適用された画像処理を実行することができるので、例えばＤＳＣを両眼視差に相当する相違が生ずる複数の位置へ順に移動すると共に、各位置で同一のシーンを各々撮影することで得られる複数の画像を対象として、本発明に係る画像処理方法が適用された画像処理を実行することも可能となる。
【００８７】
【発明の効果】
以上説明したように本発明は、両眼視差に相当する相違が生ずるように生成された一対の画像における像構造の幾何学的な相違以外の相違を減少させるので、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる、という優れた効果を有する。
【図面の簡単な説明】
【図１】 本実施形態に係るデジタル双眼鏡の外観を示す斜視図である。
【図２】 デジタル双眼鏡の光学系の概略図である。
【図３】 デジタル双眼鏡の電気系の概略ブロック図である。
【図４】 ノイズ低減処理の内容を示すフローチャートである。
【図５】 左右チャンネルの画像のマッチング処理を説明するためのイメージ図である。
【符号の説明】
１０ デジタル双眼鏡
３０ 撮像素子
３４ 表示デバイス
５４ ＣＰＵ
【発明の属する技術分野】
本発明は画像処理装置、方法及びプログラムに係り、特に、両眼視差に相当する相違が生ずるように生成された一対の画像の画質を向上させる画像処理方法、該画像処理方法が適用された画像処理装置、及び、コンピュータを前記画像処理装置として機能させるためのプログラムに関する。
【０００２】
【従来の技術】
立体視が可能なステレオ画像（ステレオ写真、立体写真ともいう）は、両眼視差に相当する相違が生じるように撮影された一対の画像（静止画像又は動画像）から成り、裸眼、或いはビューア等の器具を用いることで立体感を楽しむことができる。ステレオ画像は、例えば人間の両眼の間隔（瞳孔間隔）と略同一又はそれ以上の距離を隔てた２点において、同一の被写体を各々撮影することで得ることができるが、ステレオ画像の撮影は、専用のカメラを用いる以外に、通常のカメラを２台並べる等の低コストかつ簡易的な方法でも実現可能であり、現時点では一部のユーザに普及している程度であるが、今後は広範に普及する可能性もある。
【０００３】
一方、光学像を撮像素子により光電変換し、該光電変換によって得られた画像信号をデジタルデータへ変換することで得られるデジタル画像のノイズ低減としては、従来より種々の手法が知られており、例えば原画像を複数の小ブロックに分割し、各小ブロック毎に、ブロック内の画像データの特徴を代表的に表すテンプレートプロファイルを算出し、算出したテンプレートプロファイルを用いて当該ブロック内の元の画像データプロファイルを近似し、該近似によって得られた元の画像データを置換することで画像データのノイズを除去する手法がある（例えば特許文献１参照）。
【０００４】
また、例えば原画像データに対して平滑化・エッジ検出を行い、平滑化画像データから被写体のエッジとノイズが混在する混在画像データを求め、エッジ検出で求めたエッジ強度データからノイズの重み付け係数を求め、ノイズの重み付け係数と混在画像データからノイズデータを求める一方、ノイズ抑制の広がりを表すノイズ抑制分布関数を設定し、この関数とノイズデータとの畳み込み積分を行ってノイズ抑制分布を算出し、ノイズデータにノイズ抑制分布を乗じてノイズ抑制成分を求め、このノイズ抑制成分を変倍して画像データから減算することでノイズを抑制する手法もある（例えば特許文献２参照）。
【０００５】
更に、例えばフィルム原稿を光電的に読み取って得られた入力画像信号を高周波成分とそれ以外の成分に分解し、高周波成分を強調すると共に、フィルム原稿がアンダーネガ又は高感度フィルムの少なくとも一方である場合には、最も低い周波数成分の帯域がより狭くなるように、高周波成分以外の成分を２以上の成分に分解し、高周波成分及び最も低い周波数成分以外の周波数成分を抑制することで粒状（ノイズ）を抑制する手法もある（例えば特許文献３参照）。
【０００６】
【特許文献１】
特開２００１−１４４９６４公報
【特許文献２】
特開平２００１−２８５６４０公報
【特許文献３】
特開平１１−２７５３５０号公報
【０００７】
【発明が解決しようとする課題】
本願発明者等は、２台のデジタルスチルカメラ（ＤＳＣ）を用いてステレオ画像を撮影し、撮影したステレオ画像をフィルム等の記録材料に記録し、立体視して画質を評価する実験を行った。その結果、ステレオ画像の左右の画像に両眼視差に相当する相違以外の相違が生じている場合、当該ステレオ画像を立体視すると、前記両眼視差に相当する相違以外の相違が、非常に顕著な画質欠陥として視認されることが明らかになった。
【０００８】
例えばＤＳＣによって撮影された画像は、撮像素子として内蔵されているＣＣＤの特性により、特に高濃度の部分（撮影したシーン全体のうち撮影時の入射光量の低い部分）に視認可能なノイズが生ずる。このノイズは単一の画像を目視している限りはそれ程目立たないが、ランダムなノイズであるため、ステレオ画像の左右の画像に異なるパターンのノイズとして現れることになり、このようなノイズが生じているステレオ画像を立体視すると、鑑賞者には、ノイズのパターンが空間上に浮いており、且つちらついているように見え、単一の画像を目視している場合と比較してノイズが顕著に視認されることになる。
【０００９】
上記の現象は、人間の視覚が、両眼で知覚した左右像のうちの相違している部分に感度が高い特性を有しており、左右像のうちの相違している部分を認識した鑑賞者の脳が、過去の経験から金属等の光沢と解釈して処理することが原因ではないかと推察される。
【００１０】
これに対し、先に述べたデジタル画像のノイズ低減の手法は、何れも単一の画像を対象としたものであり、各手法をステレオ画像の個々の画像に適用したとしても、ステレオ画像を立体視する場合に顕著に視認される画質欠陥を軽減又は解消することは困難であった。
【００１１】
本発明は上記事実を考慮して成されたもので、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる画像処理装置、画像処理方法及びプログラムを得ることが目的である。
【００１２】
【課題を解決するための手段】
上記目的を達成するために請求項１記載の発明に係る画像処理装置は、両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識する認識手段と、前記一対の画像を各々部分領域に分割し、前記認識手段によって認識された一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行う処理手段と、を含んで構成されている。
【００１３】
本発明に係る一対の画像（両眼視差に相当する相違が生ずるように生成された一対の画像）としては、例えばカメラ等の撮影手段を用い、人間の両眼の間隔と略同一又はそれ以上の距離を隔てた２点で同一の被写体を各々撮影することで生成された画像が挙げられ、例えば請求項４に記載したように、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像を適用することができるが、両眼視差に相当する相違が生ずるようにＣＧ（Computer Graphics）によって生成された画像であってもよい。また、前記一対の画像は、両眼視差に相当する相違が生ずるように生成された一対の動画像から各々取り出した静止画像であってもよい。
【００１４】
本発明に係る一対の画像は両眼視差に相当する相違が生ずるように生成されているので、本発明に係る一対の画像には両眼視差に相当する像構造の幾何学的な相違が生じている。これを考慮し、請求項１記載の発明に係る認識手段は、両眼視差に相当する相違が生ずるように生成された一対の画像における両眼視差に相当する像構造の幾何学的な相違を認識する。なお、認識手段による像構造の幾何学的な相違の認識は、具体的には、例えば請求項２に記載したように、一対の画像のマッチングを行うことによって実現できる。上記のマッチングには、例えば一対の画像上の対応する点対を求めるポイントパターン・マッチングや、一対の画像上の対応する線セグメント対を求めるラインパターン・マッチング等を適用できる。これにより、一対の画像における両眼視差に相当する像構造の幾何学的な相違を精度良く認識することができる。
【００１５】
また、本発明に係る一対の画像において、像構造の幾何学的な相違以外の相違を生じさせるノイズ成分の重畳には、詳しくは、一対の画像のうちの一方の画像にのみノイズ成分が重畳される場合と、一対の画像に相互に異なるノイズ成分が重畳される場合がある。例えば、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンを各々撮影することで一対の画像を生成する態様において、特定撮像素子の画素欠陥や、特定撮像素子の入射光学系への塵埃の付着等があれば、一対の画像のうちの一方の画像にのみノイズ成分（明瞭に視認可能な欠陥部として現れることも多い）が重畳されることで一対の画像に相違が生じ、個々の撮像素子でランダムなノイズが発生される等の場合には、一対の画像に相互に異なるノイズ成分が各々重畳されることで一対の画像に相違が生ずる。
【００１６】
上記に基づき請求項１記載の発明に係る処理手段は、一対の画像を各々部分領域に分割し、認識手段によって認識された一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、一対の画像において像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断する。これにより、一対の画像における両眼視差に相当する像構造の幾何学的な相違の影響を排除して、一対の画像に顕著な画質欠陥として認識される相違を生じさせているノイズ成分（一方の画像にのみ重畳しているノイズ成分や、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分）を正確に判断することができる。
【００１７】
そして、請求項１記載の発明に係る処理手段は、一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を一方の画像から除去する処理、及び、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方（望ましくは両方）を行う。これにより、両眼視差に相当する相違が生ずるように生成された一対の画像における、両眼視差に相当する像構造の幾何学的な相違以外の相違を生じさせているノイズ成分、すなわち一対の画像を立体視した場合に顕著な画質欠陥として認識されるノイズ成分が減少されるので、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる。
【００２１】
また、一対の画像上の対応する領域に相互に異なるノイズ成分が各々重畳している場合、重畳されているノイズ成分を一対の画像から各々除去するようにしてもよいが、ノイズ成分を完全に除去すると逆に不自然な画像に感じられることがある。上記を考慮すると、請求項１記載の発明において、処理手段は、例えば請求項３に記載したように、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することが好ましい。これにより、一対の画像に各々重畳されたノイズ成分の相違が小さくされることで、一対の画像を立体視した場合の画質を向上させることができると共に、不自然な画像に感じられることも回避することができる。
【００２２】
請求項５記載の発明に係る画像処理方法は、両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識し、前記一対の画像を各々部分領域に分割し、前記認識した一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行うので、請求項１記載の発明と同様に、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる。
なお、請求項５記載の発明において、例えば請求項６に記載したように、両眼視差に相当する像構造の幾何学的な相違を、一対の画像のマッチングを行うことで認識することが好ましい。
また、請求項５記載の発明において、例えば請求項７に記載したように、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することが好ましい。
また、請求項５記載の発明において、一対の画像としては、例えば請求項８に記載したように、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像を適用することができる。
【００２３】
請求項９記載の発明に係るプログラムは、コンピュータを、両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識する認識手段、及び、前記一対の画像を各々部分領域に分割し、前記認識手段によって認識された一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行う処理手段として機能させるので、請求項９記載の発明に係るプログラムをコンピュータが実行することで、当該コンピュータを請求項１記載の発明に係る画像処理装置として機能させることができる。従って、請求項１記載の発明と同様に、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる。
なお、請求項９記載の発明において、認識手段は、例えば請求項１０に記載したように、前記前記両眼視差に相当する像構造の幾何学的な相違を、前記一対の画像のマッチングを行うことで認識することが好ましい。
また、請求項９記載の発明において、処理手段は、例えば請求項１１に記載したように、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することが好ましい。
また、請求項９記載の発明において、一対の画像としては、例えば請求項１２に記載したように、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像を適用することができる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１には、本発明に係る画像処理装置としての機能を備えたデジタル双眼鏡１０が示されている。デジタル双眼鏡１０は、人間の両眼の間隔と略同じ距離を隔てて軸線が互いに平行となるように配置された２個の筒体１２Ａ，１２Ｂが連結されると共に、正面から見て左側に、本体の把持を容易とするための突起（把持部）１２Ｃが形成された形状とされている。なお、筒体１２Ａ，１２Ｂの間隔を調整可能とする機構（眼幅調整機構）が設けられていてもよい。
【００２５】
筒体１２Ａ，１２Ｂの上方には、低照度での撮影等の場合に補助光を発するためのストロボ１４が取付けられており、デジタル双眼鏡１０本体の上面には、別体のストロボを取り付けるためのブラケット１６が設けられている。また、把持部１２Ｃの上面にはシャッタボタン１８が各々設けられており、図示は省略するが、把持部１２Ｃの側面には、スマートメディア(Ｒ)、コンパクトフラッシュ(Ｒ)、メモリスティック(Ｒ)等の各種記録メディアの何れかを装填可能なスロットが設けられている。
【００２６】
なお、以下では筒体１２Ａ，１２Ｂ内に収納された光学系、及び該光学系に対応して設けられた電気系の構成を順に説明するが、筒体１２Ａ，１２Ｂ内に収納された光学系は同一の構成であり、これらの光学系に対応して各々設けられた電気回路も同一の構成とされている。このため、以下では筒体１２Ａに対応する光学系及び電気系と、筒体１２Ｂに対応する光学系及び電気系を区別せずに説明するが、必要に応じて、筒体１２Ａに対応する光学系及び電気系の構成要素には符号「Ａ」、筒体１２Ａに対応する光学系及び電気系の構成要素には符号「Ｂ」を付して区別する。
【００２７】
筒体１２Ａ，１２Ｂには筒体の正面側の開口を閉止するように対物レンズ２０Ａ，２０Ｂが各々取付けられている。図２には筒体１２Ａ，１２Ｂ内に設けられた光学系の構成を示す。なお、筒体１２Ａ，１２Ｂ内に設けられた光学系は互いに同一の構成であるので、図２は筒体１２Ａ，１２Ｂの一方に設けられた光学系のみを示す。図２にも示すように、対物レンズ２０は、詳しくは複数枚のレンズから成るズームレンズ（焦点距離可変レンズ）であり、オートフォーカス（ＡＦ）機構を備えている。対物レンズ２０の光学倍率（ズーム倍率）は、筒体１２Ａ，１２Ｂの外周に設けられた操作リング１３を回動させることで調節可能とされている。なお、モータの駆動力で光学倍率（ズーム倍率）を調節する構成を採用してもよい。また、対物レンズ２０としてＡＦ機構のみを備えた焦点距離固定レンズを用いてもよい。
【００２８】
対物レンズ２０の光射出側には第１プリズム２２、第２プリズム２４、接眼レンズ２６が順に設けられている。なお、図２では接眼レンズ２６を単一枚のレンズとして示しているが、実際には複数枚のレンズから成り、左右の接眼レンズ２６Ａ，２６Ｂには視度調節機構が各々設けられている。また、第１プリズム２２に入射された光が反射面２２Ａで射出されたときの射出方向下流側には、レンズ２８、エリアＣＣＤ等から成る撮像素子３０が順に配置されている。第１プリズム２２は、対物レンズ２０を介して入射された光を撮像素子３０側及び第２プリズム２４側の少なくとも一方へ射出すると共に、撮像素子３０側及び第２プリズム２４側への光の射出割合を変更可能とされている。
【００２９】
また、第２プリズム２４の側方にはレンズ３２、表示デバイス３４が順に配置されている。なお、表示デバイス３４はカラー画像を所定値以上の輝度で表示可能な表示デバイスであればよく、例えばバックライト付きのカラーＬＣＤや、Ｒ，Ｇ，Ｂ各色のＬＥＤがマトリクス状に配置されて成るＬＥＤディスプレイ等で構成することができる。
【００３０】
表示デバイス３４及びレンズ３２は、表示デバイス３４から射出された光がレンズ３２を介して第２プリズム２４へ入射され、反射面２４Ａで反射された場合には接眼レンズ２６側へ射出されるように配置位置が調整されている。第２プリズム２４は、表示デバイス３４からの光及び第１プリズム２４からの光の少なくとも一方を接眼レンズ２６へ射出すると共に、表示デバイス３４からの光及び第１プリズム２４からの光を接眼レンズ２６へ射出する割合を変更可能とされている。
【００３１】
なお、接眼レンズ２６を凸レンズで構成すると共に、対物レンズ２０と第１プリズム２２の間、或いは第１プリズム２２と第２プリズム２４の間にポロプリズム等のプリズムを設けることで、対物レンズ２０Ａ．２０Ｂの光軸の間隔を人間の両眼の間隔（瞳孔間隔）よりも広くしてもよい。これにより、対物レンズ２０及び接眼レンズ２６によって形成された被写体の光学像を目視した際の被写体の遠近感を更に拡大することができる。
【００３２】
次に、デジタル双眼鏡１０の電気系の構成について図３を参照して説明する。デジタル双眼鏡１０は駆動回路３６を備えており、対物レンズ２０のＡＦ機構及びズーム機構は駆動回路３６によって駆動される。また、撮像素子３０は、詳しくは対物レンズ２０及びレンズ２８から成る光学系の焦点位置に相当する位置に配置されており、第１プリズム２２が入射光の一部又は全部を撮像素子３０側へ反射する状態に制御されている場合、被写体を反射して対物レンズ２０に入射された光は、第１プリズム２２の反射面２２Ａで反射され、レンズ２８を介して撮像素子３０の受光面に結像される。撮像素子３０は、駆動回路３６が内蔵しているタイミング発生回路（図示省略）によって発生されたタイミング信号に同期したタイミングで駆動され、画像信号（受光面上にマトリクス状に配列された多数個の光電変換セルの各々における受光量を表す信号）を所定周期で出力する。
【００３３】
レンズ２８と撮像素子３０との間にはシャッタ／絞り３８が配置されている。シャッタ及び絞りも駆動回路３６によって駆動される。シャッタは撮像素子３０から画像信号が出力されるときに、撮像素子３０の受光面に光が入射することでスミアが発生することを防止するためのものであり、撮像素子３０の構成によっては省略可能である。また絞りは、絞り量を連続的に変更可能な単一の絞りで構成してもよいし、絞り量が異なる複数の絞りを切替える構成であってもよい。
【００３４】
また、デジタル双眼鏡１０はストロボ駆動回路３８を備えており、ストロボ駆動回路３８はストロボ１４に接続されている。ストロボ１４は、低照度であることが検出された場合や、ユーザによって発光が指示された場合に、ストロボ駆動回路３８によって発光される。
【００３５】
撮像素子３０の信号出力端にはアナログ信号処理部４０、Ａ／Ｄ変換器４２、デジタル信号処理部４４、メモリ４６、内蔵メモリ４８が順に接続されている。アナログ信号処理部４０は、撮像素子３０から出力された画像信号を増幅すると共に、増幅した画像信号に対してホワイトバランス等の補正を行う。アナログ信号処理部４０から出力された画像信号は、Ａ／Ｄ変換器４２によってデジタルの画像データに変換されてデジタル信号処理部４４へ入力される。デジタル信号処理部４４では、入力された画像データに対して色補正・γ補正・Ｙ／Ｃ変換等の各種処理を行う。デジタル信号処理部４４から出力された画像データは、ＲＡＭ等で構成されたメモリ４６に一時記憶される。
【００３６】
また、メモリ４６にはＦＩＦＯ(First In First Out)メモリから成り複数フレーム分の画像データを記憶可能な記憶容量を有する内蔵メモリ４８が接続されている。被写体からの光が対物レンズ２０、第１プリズム２２及びレンズ２８を介して撮像素子３０に入射されている間、撮像素子３０からは所定周期で画像信号が出力されるので、メモリ４６にも所定周期で画像データが入力され、メモリ４６に一時記憶される画像データは所定周期で更新されると共に、メモリ４６に一時記憶された画像データは順次内蔵メモリ４８に記憶される。従って、内蔵メモリ４８には、常に最新の複数フレーム分の画像データが記憶される。
【００３７】
また、メモリ４６には表示デバイス３４が接続されている。表示デバイス３４には、入力された画像データを、該画像データが表す画像を表示デバイス３４に表示させるための表示制御信号へ変換する信号処理回路と、信号処理回路によって生成された表示制御信号に応じて表示デバイス３４を駆動することで、入力された画像データが表す画像を表示デバイス３４に表示させる駆動回路が付加されており、メモリ４６に記憶された画像データは表示デバイス３４にも出力され、表示デバイス３４に画像（動画像）として表示される。
【００３８】
駆動回路３６、ストロボ駆動回路３８，アナログ信号処理部４０、Ａ／Ｄ変換器４２、デジタル信号処理部４４、メモリ４６、内蔵メモリ４８及び圧縮伸張部５０（後述）はバス５２に接続されており、このバス５２には、ＣＰＵ５４が接続されている。図示は省略するが、ＣＰＵ５４はＲＯＭ、ＲＡＭ、不揮発性メモリ（記憶内容を書替え可能なメモリ：例えばＥＥＰＲＯＭ等）、入出力ポート等の周辺回路を含んで構成されており、ＲＯＭには、後述するノイズ低減処理を行うためのノイズ低減プログラムが予め書き込まれている。なお、このノイズ低減プログラムは本発明に係るプログラムに対応している。
【００３９】
またバス５２には、各種のスイッチ類（例えば電源スイッチや動作モード切替スイッチ等：図１では図示省略）から成る操作スイッチ５６、シャッタボタン１８が操作されることでオンオフされるシャッタスイッチ５８、ジャイロセンサ等から成りデジタル双眼鏡１０の姿勢変化を検出する姿勢角センサ６０が各々接続されており、第１プリズム２２及び第２プリズム２４も接続されている。第１プリズム２２及び第２プリズム２４の光の射出割合はＣＰＵ５４によって制御される。
【００４０】
また、圧縮伸張部５０Ａ，５０Ｂにはスロットに装填された記録メディア６２が接続される。シャッタボタン１８が操作されてシャッタスイッチ５８がオンされた等により、スロットに装填された記録メディア６２への画像データの書き込みが指示されると、ＣＰＵ５４は内蔵メモリ４８Ａ，４８Ｂから画像データを読み出して圧縮伸張部５０Ａ，５０Ｂへ転送する。これにより、圧縮伸張部５０Ａ，５０Ｂへ転送された画像データは、圧縮伸張部５０Ａ，５０Ｂで圧縮された後に所定の形式（例えばＥＸＩＦ形式）の画像ファイルとして記録メディア６２に書き込まれる。
【００４１】
なお、記録メディア６２へ書き込まれる画像データの画素数は、記録画素数の設定に応じて相違すると共に、画像データに対する圧縮率も画質モードとして予め設定されたモードによって相違しており、画質モードによっては画像データが圧縮されることなく記録メディア６２に書き込まれる場合もある。
【００４２】
また、スロットに装填された記録メディア６２に格納されている画像データが表す画像の再生（表示）が指示された場合には、記録メディア６２から画像データが読み出され、読み出された画像データが圧縮されて格納されていた場合には、該被圧縮画像データが圧縮伸張部５０Ａ，５０Ｂで伸張（解凍）された後にメモリ４６Ａ，４６Ｂへ転送される。そして、メモリ４６Ａ，４６Ｂに一時記憶された画像データを用いて表示デバイス３４Ａ，３４Ｂへの画像の表示（再生）が行われる。
【００４３】
次に本実施形態の作用を説明する。本実施形態に係るデジタル双眼鏡１０には、動作モードとして、対物レンズ２０及び接眼レンズ２６によって形成された被写体の光学像を目視するための光学像目視モード、撮像素子３０によって撮影され表示デバイス３４に表示された画像を目視するための撮影画像目視モード、及び、対物レンズ２０及び接眼レンズ２６によって形成された被写体の光学像に、表示デバイス３４Ａ，３４Ｂに表示された画像が合成された画像を目視するための合成画像目視モードが設けられている。これらの動作モードの選択は、デジタル双眼鏡１０本体に設けられた動作モード切替スイッチ（図示省略）を操作することでユーザが選択可能とされている。
【００４４】
動作モードとして光学像目視モードが選択された場合、ＣＰＵ５４は、対物レンズ２０を介して第１プリズム２２に入射された光が第２プリズム２４側へのみ射出されるように第１プリズム２２からの光の射出割合を変更すると共に、第１プリズム２４から第２プリズム２４へ入射された光のみが接眼レンズ２６へ射出されるように第２プリズム２４からの光の射出割合を変更する。これにより、通常の双眼鏡と同様に、接眼レンズ２６Ａ，２６Ｂを両眼で覗いたユーザに、対物レンズ２０及び接眼レンズ２６によって形成された被写体の光学像が視認（立体視）されることになる。
【００４５】
この光学像目視モードでは、ユーザが操作リング１３を回動操作することで、対物レンズ２０の光学倍率（ズーム倍率）を調節することも可能とされている。なお、光学像目視モードにおけるピント調節については、例えばユーザが操作可能なピント調節機構を設けておき、このピント調節機構をユーザに操作させることでユーザに行わせるようにしてもよいが、これに代えて、対物レンズ２０を介して第１プリズム２２に入射された光が撮像素子３０側へも射出されるように第１プリズム２２からの光の射出割合を変更し、撮像素子３０による撮影によって得られた画像に基づき、駆動回路３６Ａ，３６Ｂを介して対物レンズ２０Ａ，２０ＢのＡＦ機構を駆動する（例えば画像の鮮鋭度を演算し鮮鋭度が最大となるようにＡＦ機構を駆動する等）ことで自動的に行うようにしてもよい。
【００４６】
また、動作モードとして撮影画像目視モードが選択された場合には、ＣＰＵ５４は、対物レンズ２０を介して第１プリズム２２に入射された光が撮像素子３０側へのみ射出されるように第１プリズム２２からの光の射出割合を変更すると共に、表示デバイス３４から第２プリズム２４へ入射された光のみが接眼レンズ２６へ射出されるように第２プリズム２４からの光の射出割合を変更し、更に、撮像素子３０Ａによる撮影によって得られた画像を表示デバイス３４Ａに表示させ、撮像素子３０Ｂによる撮影によって得られた画像を表示デバイス３４Ｂに表示させる。
【００４７】
これにより、接眼レンズ２６Ａ，２６Ｂを両眼で覗いたユーザに、表示デバイス３４Ａ，３４Ｂに表示された画像が視認されることになる。撮像素子３０Ａ，３０Ｂは、被写体から人間の両眼の間隔と略同じ距離だけ光軸が隔てられた対物レンズ２０Ａ，２０Ｃを介して入射された光を光電変換するので、撮像素子３０Ａ，３０Ｂによる撮影によって得られる一対の画像には、少なくとも両眼視差に相当する像構造の幾何学的な相違が生じている（ステレオ画像）。従って、表示デバイス３４Ａ，３４Ｂに表示された前記一対の画像を接眼レンズ２６Ａ，２６Ｂを介して両眼で視認したユーザが被写体を立体的に認識することができる（所謂立体視）。
【００４８】
また、上記の撮影画像目視モードのように撮像素子３０Ａ，３０Ｂによって撮影が行われている間、デジタル双眼鏡１０では以下で説明する画像処理が行われる。
【００４９】
すなわち、本実施形態ではデジタル双眼鏡１０に搭載される撮像素子３０Ａ，３０Ｂの感度特性（入射光量−出力特性）が個々の画素を単位として事前に測定され、測定された感度特性に基づいて、Ａ／Ｄ変換器４２Ａ，４２Ｂから入力される画像データを、均一な感度特性の一対の撮像素子で撮像したに等しい画像データへ補正するための補正データが撮像素子３０Ａ，３０Ｂの個々の画素を単位として設定されている。デジタル信号処理部４４Ａ，４４Ｂには上記の補正データが記憶されており、デジタル信号処理部４４Ａ，４４Ｂは記憶されている補正データに基づき、個々の画素を単位として画像データの補正を行う。これにより、撮像素子３０Ａ，３０Ｂの感度特性のばらつきを補正することができる。
【００５０】
表示デバイス３４Ａ，３４Ｂには撮像素子３０Ａ，３０Ｂの感度特性のばらつきが補正された画像（動画像）が表示されるので、表示デバイス３４Ａ，３４Ｂに表示された前記一対の画像を接眼レンズ２６Ａ，２６Ｂを介して両眼で視認したユーザに、撮像素子３０Ａ，３０Ｂの感度特性のばらつきが顕著な画質欠陥として認識されることを防止することができる。
【００５１】
また、本実施形態に係るデジタル双眼鏡１０では、Ａ／Ｄ変換器４２Ａ，４２Ｂから入力された画像データから、デジタル信号処理部４４Ａ，４４Ｂにより、前記画像データが表す画像のうち所定サイズの部分領域に相当する画像データが切り出され、該部分領域の画像データが表示デバイス３４Ａ，３４Ｂへの画像の表示等に用いられるようになっている。撮像素子３０Ａ，３０Ｂによる撮影が行われている間、ＣＰＵ５４は姿勢角センサ６０によって検出されるデジタル双眼鏡１０の姿勢変化を監視し、デジタル双眼鏡１０の姿勢が変化した場合に、デジタル双眼鏡１０の姿勢変化に伴う撮像素子３０Ａ，３０Ｂによる全撮影範囲の変化に拘らず前記部分領域に対応する撮影範囲の変化が抑制されるように、デジタル双眼鏡１０の姿勢変化に応じて部分領域の新たな切り出し位置を演算し、演算した切り出し位置をデジタル信号処理部４４Ａ，４４Ｂへ通知することを繰り返す。
【００５２】
また、デジタル信号処理部４４Ａ，４４Ｂは、ＣＰＵ５４から通知された切り出し位置に応じて、Ａ／Ｄ変換器４２から入力された画像データが表す画像上での部分領域の位置が変化するように、前記画像データからの部分領域に相当する画像データの切り出しを行う。これにより、デジタル双眼鏡１０を把持しているユーザの手振れ等により撮像素子３０Ａ，３０Ｂによる全撮影範囲が一時的に変動した場合にも、部分領域に対応する撮影範囲の変動を抑制することができる。そして、表示デバイス３４Ａ，３４Ｂには上記の手振れ補正が行われた画像（動画像）が表示されるので、接眼レンズ２６Ａ，２６Ｂを介してユーザに視認される画像が、ユーザの手振れ等により撮影範囲が変動する見苦しい画像となることを防止することができる。
【００５３】
また、ＣＰＵ５４は撮像素子３０Ａ，３０Ｂによって撮影が行われている間、ＲＯＭに書き込まれているノイズ低減プログラムを実行することで、デジタル信号処理部４４Ａ，４４Ｂにおける各種の処理を経てメモリ４６Ａ，４６Ｂに記憶された画像（データ）を対象としてノイズ低減処理を行う。以下、このノイズ低減処理について、図４のフローチャートを参照して説明する。
【００５４】
このノイズ低減処理は本発明に係る画像処理方法が適用された処理であり、ノイズ低減プログラムを実行するＣＰＵ５４は本発明に係る画像処理装置として機能する。なお、以下では便宜的に、メモリ４６Ａに記憶された画像を左チャンネルの画像、メモリ４６Ｂに記憶された画像を右チャンネルの画像と称する。この左右チャンネルの画像は、請求項４等に記載の「両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されることで得られるデジタル画像」に対応している。
【００５５】
ステップ１００では、左チャンネルの画像と右チャンネルの画像の像構造の幾何学的な相違を認識するために、左右チャンネルの画像のマッチング処理を行う。このマッチング処理としては、例えば左右チャンネルの画像における対応する点である可能性のある候補（対応点候補）を左右チャンネルの画像から各々抽出し、弛緩法により対応点を決定する処理を適用することができる。
【００５６】
具体的には、対応点候補としては、全ての方向で濃淡レベルの大きな変化が生じている点であることが望ましく、また、対応点候補が密に存在していると対応点の決定が困難となる。このため、まず対応点候補の抽出対象の画像ｇ(x,y)の各画素について水平・垂直・右斜め・左斜め方向の濃淡レベルの変動ｇ'1，ｇ'2，ｇ'3，ｇ'4を次式に従って求める。
【００５７】
ｇ'1(x,y)＝[２・ｇ(x,y)−(ｇ(x-1,y)＋ｇ(x+1,y))]2
ｇ'2(x,y)＝[２・ｇ(x,y)−(ｇ(x,y-1)＋ｇ(x,y+1))]2
ｇ'3(x,y)＝[２・ｇ(x,y)−(ｇ(x+1,y-1)＋ｇ(x-1,y+1))]2
ｇ'4(x,y)＝[２・ｇ(x,y)−(ｇ(x-1,y-1)＋ｇ(x+1,y+1))]2
次に、適当な大きさのウインドウＷを１画素ずつ動かしながら、ウインドウの中心画素(x,y)の値として、次式のオペレータ出力値ｇ”を求める。
【００５８】
【数１】
続いて、画素(x,y)を中心とする(２ｗ＋１)×(２ｗ＋１)画素の大きさの局所領域毎にオペレータ出力値ｇ”の最大値ｇ＊を抽出する。そして、画像中の最大のｇ＊から順次大きなｇ＊をもつ画素をｎ個抽出し、これを対応点候補とする。上記処理を左右チャンネルの画像に対して各々行うことで、例えば図５（Ａ）に示す左チャンネルの画像からは例として図５（Ｃ）に示すような対応点候補が抽出され、例えば図５（Ｂ）に示す右チャンネルの画像からは例として図５（Ｄ）に示すような対応点候補が抽出されることになる。
【００６０】
次に、抽出された対応点候補に基づいて対応点を決定する。左チャンネルの画像から抽出された対応点候補の集合をＬ＝[Ｌ1,Ｌ2,…,Ｌn]、右チャンネルの画像から抽出された対応点候補の集合をＲ＝[Ｒ1,Ｒ2,…,Ｒn]とし、左チャンネルの画像から抽出された対応点候補Ｌi(ｉ＝1,2,…,ｎ)に対し、Ｌiを中心とする(２ｒ＋１)×(２ｒ＋１)画素の大きさの矩形領域内に存在する右チャンネルの画像の対応点候補Ｒiを対応点対候補とする。ここで、Ｌiを始点としＲiを終点とするベクトルを相違ベクトルと称する。
【００６１】
対応点の決定は、対応点候補Ｌiに対して得られている対応点対候補（相違ベクトル候補）と、対応点候補Ｌj(ｉ≠ｊ)に対して得られている対応点対候補（相違ベクトル候補）が互いに矛盾しないように候補を絞っていくことにより成され、具体的には弛緩法（対象Ｌiに局所的矛盾が少なくなるようにラベルλｋを与える）を適用し、ラベルλｋとして相違ベクトルのx,y方向の成分Δｘ,Δｙを用いることで実現できる。これにより、例として図５（Ｅ）に示すようなマッチング結果（対応点対及び相違ベクトル）が得られ、左チャンネルの画像と右チャンネルの画像の像構造の幾何学的な相違を認識することができる。なお、上述したステップ１００は請求項１に記載の認識手段（詳しくは請求項２に記載の認識手段）に対応している。
【００６２】
次のステップ１０２以降では、左右チャンネルの画像における像構造の幾何学的な相違以外の相違を減少させる処理が行われる。次のステップ１０２以降の処理は本発明に係る処理手段に対応している。
【００６３】
すなわち、ステップ１０２では、ステップ１００におけるマッチング処理の結果に基づき、左右チャンネルの画像の互いに対応する位置（例えば対応点対の存在している位置）を境界として、左右チャンネルの画像を各々多数個の処理ブロックに分割する。なお、この多数個の処理ブロックへの分割は、一方のチャンネルの画像の特定の処理ブロックに対応する他方のチャンネルの画像の処理ブロックが判別可能に分割できればよく、他の分割方法を適用してもよい。また、処理ブロックの形状も矩形状に限られるものではない。上記の処理ブロックは請求項１等に記載の部分領域に対応している。
【００６４】
ステップ１０４では、左チャンネルの画像から未処理の処理ブロックのデータを取り出し、次のステップ１０６では、左チャンネルの画像から取り出した処理ブロック（：処理ブロックＬ）に対応する右チャンネルの画像の処理ブロックを認識し、認識した処理ブロック（：処理ブロックＲ）のデータを取り出す。そしてステップ１０８では、左右チャンネルの画像から取り出した処理ブロックＬ，Ｒのデータに基づき、処理ブロックＬ，Ｒ内の全ての画素列ｊ（ｊ＝1,2,…,ｊmax）を対象として、左右チャンネルの画像の平均データ関数ｆave(j)を次式に従って演算する。
【００６５】
【数２】
但し、dataL(i,j)：処理ブロックＬ内のｉ行目ｊ列目の画素
dataR(i,j)：処理ブロックＲ内のｉ行目ｊ列目の画素
ｎ：処理ブロックＬ，Ｒ内の画素の行の総数
【００６７】
なお、上記の平均データ関数ｆave(j)は左右チャンネルの画像の平均に相当するデータ関数であるので、左右チャンネルの画像上の対応する領域に各々重畳しているランダムなノイズも平均化される。従って、平均データ関数ｆave(j)は請求項３等に記載の「平均化したノイズ成分」に対応している。
【００６８】
ステップ１１０では変数ｉに１を代入する。ステップ１１２では、処理ブロックＬのｉ行目のデータ関数を
ｆLi(j)＝dataL(i,j)
と表したときに、このデータ関数ｆLi(j)とｆave(j)+ｋLiとの残差が最小になるときの定数ｋLiを最小自乗法により演算する。そしてステップ１１４では、処理ブロックＬのｉ行目のデータ関数を次式により設定する。
ｆLi(j)←ｆave(j)+ｋLi
【００６９】
また、ステップ１１６では、処理ブロックＲのｉ行目のデータ関数を
ｆRi(j)＝dataR(i,j)
と表したときに、このデータ関数ｆRi(j)とｆave(j)+ｋRiとの残差が最小になるときの定数ｋRiを最小自乗法により演算する。そしてステップ１１８において、処理ブロックＲのｉ行目のデータ関数を次式により設定する。
ｆRi(j)←ｆave(j)+ｋRi
【００７０】
次のステップ１２０では、変数ｉが処理ブロックＬ，Ｒ内の画素の行の総数ｎに一致しているか否か判定する。判定が否定された場合にはステップ１２２へ移行し、変数ｉを１だけインクリメントしてステップ１２２へ戻る。これにより、ステップ１０４，１０６で取り出した処理ブロックＬ，Ｒの全ての画素の行について、ステップ１１２〜ステップ１１８の処理が各々行われることになる。
【００７１】
ステップ１２０の判定が肯定されるとステップ１２４へ移行し、左右チャンネルの画像の全ての処理ブロックに対してステップ１０４以降の処理を行ったか否か判定する。判定が否定された場合にはステップ１０４に戻る。これにより、左右チャンネルの画像の全ての処理ブロックに対してステップ１０４以降の処理が行われることになる。ステップ１２４の判定が肯定されるとノイズ低減処理を終了する。
【００７２】
上記のノイズ低減処理では、左右チャンネルの画像を同一の平均データ関数ｆave(j)に基づいて補正しているので、左右チャンネルの画像のうち、ステップ１００で認識した像構造の幾何学的な相違以外の相違、詳しくは撮像素子３０Ａ，３０Ｂ等を原因として左右チャンネルの画像に各々重畳されているランダムなノイズの相違が減少されることになる。なお、上記では平均データ関数ｆave(j)として、左右チャンネルの画像の平均に相当するデータ関数を用いていたが、これに代えて左右チャンネルの画像のうちの何れか一方の画像の平均に相当するデータ関数を用いてもよい。
【００７３】
上記のノイズ低減処理は、所定周期でメモリ４６に入力・記憶される画像データに対して各々行われ、表示デバイス３４Ａ，３４Ｂには、ノイズ低減処理が行われた画像（動画像）が表示されるので、表示デバイス３４Ａ，３４Ｂに表示された前記一対の画像を接眼レンズ２６Ａ，２６Ｂを介して両眼で視認したユーザに、左右チャンネルの画像に重畳されているランダムなノイズが顕著な画質欠陥として認識されることを防止することができる。
【００７４】
また、撮影画像目視モードにおいて、表示デバイス３４Ａ，３４Ｂに表示されている動画像を接眼レンズ２６Ａ，２６Ｂを介して両眼で視認しているユーザが、視認している画像を静止画像として保存することを所望した場合には、シャッタボタン１８が操作されることで、スロットに装填された記録メディア６２への画像データの書き込みが指示される。シャッタスイッチ５８がオンすることで、シャッタボタン１８が操作されたことを検知すると、ＣＰＵ５４は、内蔵メモリ４８Ａ，４８Ｂから画像データを読み出して圧縮伸張部５０Ａ，５０Ｂへ転送する。
【００７５】
詳しくは、シャッタボタン１８が操作されてから、シャッタスイッチ５８がオンしたことを検知して画像データを読み出す迄に若干の時間がかかることを考慮し、ＣＰＵ５４は、内蔵メモリ４８Ａ，４８Ｂに最新の複数フレーム分の画像データが記憶されていることを利用して、内蔵メモリ４８Ａ，４８Ｂからの画像データの読み出し時に、撮像素子３０Ａ，３０Ｂによって前記時間差分だけ前に撮像された画像データを読み出して圧縮伸張部５０Ａ，５０Ｂへ転送する。これにより、シャッタボタン１８が操作されたタイミングと略同一のタイミングで撮像された画像データを記録メディア６２に書き込むことができる。
【００７６】
一方、動作モードとして合成画像目視モードが選択された場合には、ＣＰＵ５４は、対物レンズ２０を介して第１プリズム２２に入射された光が第２プリズム２４側及び撮像素子３０側へ各々所定の射出割合で射出されるように第１プリズム２２からの光の射出割合を変更すると共に、第１プリズム２２から第２プリズム２４へ入射された光及び表示デバイス３４から第２プリズム２４へ入射された光が各々所定の射出割合で接眼レンズ２６へ射出されるように第２プリズム２４からの光の射出割合を変更し、更に、表示デバイス３４Ａ，３４Ｂに各々画像を表示させる。これにより、対物レンズ２０及び接眼レンズ２６によって形成された被写体の光学像に、表示デバイス３４Ａ，３４Ｂに表示された画像が合成された合成画像が、接眼レンズ２６Ａ，２６Ｂを両眼で覗いたユーザに視認（立体視）されることになる。
【００７７】
合成画像目視モードにおいて、表示デバイス３４Ａ，３４Ｂには任意の画像を表示可能であり、例えば撮像素子３０Ａ，３０Ｂによる撮像によって得られた画像を解析して画像中の動体等を認識し、認識した動体等を指し示したり、或いは強調する図形を生成して表示デバイス３４Ａ，３４Ｂに表示することで、被写体の光学像に前記図形を合成した画像をユーザに視認させるようにしてもよい。
【００７８】
なお、この態様においては、対物レンズ２０及び接眼レンズ２６によって形成された被写体の光学像と、表示デバイス３４Ａ，３４Ｂに表示された画像の位置ずれを回避するために、前述の手振れ補正（部分領域の切り出し位置を変更することによる手振れ補正）の実行を停止するか、或いは、前述の手振れ補正に代えて、第１プリズム２２よりも被写体側の光路上に、バリアングルプリズム等の角度を変更可能なプリズムを設けておき、姿勢角センサ６０によって検出されたデジタル双眼鏡１０の姿勢変化に基づき、該姿勢変化を打ち消すようにプリズムの光軸を制御することで手振れ補正を行うことが好ましい。
【００７９】
また、合成画像目視モードにおいて、被写体の光学像に合成する画像は、例えばＣＧ(Computer Graphics)等の技術を用いて生成した架空の世界の画像（仮想現実画像）であってもよい。この仮想現実画像はデジタル双眼鏡１０に予め画像データとして記憶しておくようにしてもよいが、無線等の通信手段を介して外部（例えばインターネット等）と通信する機能をデジタル双眼鏡１０に搭載しておき、インターネットに接続されたサーバから受信するようにしてもよい。上記のように、光学像に合成する画像が被写体と無関係な画像（撮像素子３０Ａ，３０Ｂによる撮像によって得られた画像を利用せずに生成された画像）である場合には、撮像素子３０Ａ，３０Ｂによって撮像を行う必要がなくなるので、対物レンズ２０を介して第１プリズム２２に入射された光が第２プリズム２４側へのみ射出されるように第１プリズム２２からの光の射出割合を変更するようにしてもよい。また、撮像素子３０Ａ，３０Ｂによる撮像によって得られた画像、或いは姿勢角センサ６０による検出結果に基づいて、デジタル双眼鏡１０の姿勢角（視野方向）の変化を認識し、認識した姿勢角（視野方向）の変化に応じて、表示デバイス３４に表示する仮想現実画像を変化させるようにしてもよい。また、光学像に合成する画像は文字画像等であってもよい。
【００８０】
このように、本実施形態に係るデジタル双眼鏡１０では、ユーザによって選択された動作モードに応じて多様な画像（光学像）がユーザに提示されるので、ユーザの利便性を向上させることができる。
【００８１】
なお、上記では左右チャンネルの画像上の対応する領域に各々重畳しているランダムなノイズの相違を低減させる処理として平均データ関数ｆave(j)を用いる処理を説明したが、これに限られるものではなく、左右チャンネルの画像に重畳しているランダムなノイズ成分を各々抽出し、抽出したノイズ成分を平均化し、抽出したノイズ成分を各々除去した左右チャンネルの画像に、平均化したノイズ成分を各々加算することで、ランダムなノイズ成分の相違を解消するようにしてもよいし、上記の平均化したノイズ成分に代えて、左右チャンネルの画像の一方から抽出したノイズ成分を適用するようにしてもよい。
【００８２】
また、上記では本発明に係る画像処理手段による画像処理の一例として、左右チャンネルの画像上の対応する領域に各々重畳しているランダムなノイズ（一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分）の相違を低減させる処理（ノイズ低減処理）を説明したが、これに限定されるものではなく、左右チャンネルの画像のうちの一方の画像にのみ重畳しているノイズ成分を一方の画像から除去するノイズ成分除去処理も併せて行うようにしてもよいし、例えば撮像素子３０Ａ，３０Ｂとして低ノイズの高性能な撮像素子を用いる等の場合には、上記のノイズ成分除去処理のみを行うようにしてもよい。
【００８３】
ノイズ成分除去処理としては、例えば左右チャンネルの画像のマッチング処理を行うことで左右チャンネルの画像の像構造の幾何学的な相違を認識した後に、左右チャンネルの画像の対応する領域同士を比較し、対物レンズ２０に塵埃等が付着した場合に画像上に生ずる欠陥部の規模と同程度の規模の欠陥部が一方の画像に生じていることを検知した場合に、検知した欠陥部の周囲の画像部に基づいて補間するか、又は他方の画像の対応する画像部のデータで埋めることで、検知した欠陥部を消去する処理等を適用することができる。
【００８４】
また、上記では本発明に係るノイズ低減処理をＣＰＵ５４が実行する例を説明したが、これに限定されるものではなく、ノイズ低減処理を実行するための専用ハードウェアを設け、このハードウェアによってノイズ低減処理を実行するようにしてもよい。これによりＣＰＵ５４の負荷を低減することができる。
【００８５】
更に、上記では本発明に係るノイズ低減プログラムがデジタル双眼鏡１０のＲＯＭに予め書き込まれており、デジタル双眼鏡１０のＣＰＵ５４がノイズ低減プログラムを実行することで、本発明に係る画像処理方法が適用されたノイズ低減処理が実現され、デジタル双眼鏡１０のＣＰＵ５４が本発明に係る画像処理装置として機能する例を説明したが、本発明はこれに限定されるものではなく、本発明に係るプログラムを、例えばＣＤ−ＲＯＭやＤＶＤ、ＦＤ等の記録媒体に書き込んでおき、この記録媒体をＰＣ等のコンピュータにセットしてインストールした後に、当該コンピュータで本発明に係るプログラムを実行させることで、本発明に係る画像処理方法が適用された画像処理を実現するようにしてもよい。この態様では、前記コンピュータが本発明に係る画像処理装置として機能することになる。なお、本発明に係るプログラムは、例えばインターネット等の通信網を介して配布することも可能である。
【００８６】
上記のようにコンピュータを本発明に係る画像処理装置として機能させる態様では、コンピュータに取り込み可能な任意の画像を対象として、本発明に係る画像処理方法が適用された画像処理を実行することができるので、例えばＤＳＣを両眼視差に相当する相違が生ずる複数の位置へ順に移動すると共に、各位置で同一のシーンを各々撮影することで得られる複数の画像を対象として、本発明に係る画像処理方法が適用された画像処理を実行することも可能となる。
【００８７】
【発明の効果】
以上説明したように本発明は、両眼視差に相当する相違が生ずるように生成された一対の画像における像構造の幾何学的な相違以外の相違を減少させるので、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる、という優れた効果を有する。
【図面の簡単な説明】
【図１】 本実施形態に係るデジタル双眼鏡の外観を示す斜視図である。
【図２】 デジタル双眼鏡の光学系の概略図である。
【図３】 デジタル双眼鏡の電気系の概略ブロック図である。
【図４】 ノイズ低減処理の内容を示すフローチャートである。
【図５】 左右チャンネルの画像のマッチング処理を説明するためのイメージ図である。
【符号の説明】
１０ デジタル双眼鏡
３０ 撮像素子
３４ 表示デバイス
５４ ＣＰＵ
Claims (12)
- 両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識する認識手段と、
前記一対の画像を各々部分領域に分割し、前記認識手段によって認識された一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行う処理手段と、
を含む画像処理装置。 - 前記認識手段は、前記両眼視差に相当する像構造の幾何学的な相違を、前記一対の画像のマッチングを行うことで認識することを特徴とする請求項１記載の画像処理装置。
- 前記処理手段は、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することを特徴とする請求項１記載の画像処理装置。
- 前記一対の画像は、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像であることを特徴とする請求項１記載の画像処理装置。
- 両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識し、
前記一対の画像を各々部分領域に分割し、前記認識した一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行う画像処理方法。 - 前記両眼視差に相当する像構造の幾何学的な相違を、前記一対の画像のマッチングを行うことで認識することを特徴とする請求項５記載の画像処理方法。
- 前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することを特徴とする請求項５記載の画像処理方法。
- 前記一対の画像は、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像であることを特徴とする請求項５記載の画像処理方法。
- コンピュータを、
両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識する認識手段、
及び、前記一対の画像を各々部分領域に分割し、前記認識手段によって認識された一対 の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行う処理手段
として機能させるためのプログラム。 - 前記認識手段は、前記両眼視差に相当する像構造の幾何学的な相違を、前記一対の画像のマッチングを行うことで認識することを特徴とする請求項１記載のプログラム。
- 前記処理手段は、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することを特徴とする請求項９記載のプログラム。
- 前記一対の画像は、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像であることを特徴とする請求項９記載のプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002283818A JP4156893B2 (ja) | 2002-09-27 | 2002-09-27 | 画像処理装置、方法及びプログラム |
| US10/668,176 US7508982B2 (en) | 2002-09-27 | 2003-09-24 | Image processing apparatus, method, and storage medium for removing noise from stereoscopic image pair |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002283818A JP4156893B2 (ja) | 2002-09-27 | 2002-09-27 | 画像処理装置、方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004118711A JP2004118711A (ja) | 2004-04-15 |
| JP4156893B2 true JP4156893B2 (ja) | 2008-09-24 |
Family
ID=32025277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002283818A Expired - Fee Related JP4156893B2 (ja) | 2002-09-27 | 2002-09-27 | 画像処理装置、方法及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7508982B2 (ja) |
| JP (1) | JP4156893B2 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7684643B2 (en) * | 2004-10-26 | 2010-03-23 | Siemens Medical Solutions Usa, Inc. | Mutual information regularized Bayesian framework for multiple image restoration |
| US7660458B1 (en) * | 2004-12-14 | 2010-02-09 | Google Inc. | Three-dimensional model construction using unstructured pattern |
| KR100739764B1 (ko) * | 2005-11-28 | 2007-07-13 | 삼성전자주식회사 | 입체 영상 신호 처리 장치 및 방법 |
| US8189100B2 (en) | 2006-07-25 | 2012-05-29 | Qualcomm Incorporated | Mobile device with dual digital camera sensors and methods of using the same |
| JP2009033369A (ja) * | 2007-07-26 | 2009-02-12 | Sony Corp | 記録装置、再生装置、記録再生装置、撮像装置、記録方法およびプログラム |
| US8090183B2 (en) * | 2009-03-12 | 2012-01-03 | Visiongate, Inc. | Pattern noise correction for pseudo projections |
| WO2010035492A1 (ja) * | 2008-09-29 | 2010-04-01 | パナソニック株式会社 | 立体画像処理装置および立体画像処理装置のノイズ低減方法 |
| CN102197654A (zh) * | 2008-10-31 | 2011-09-21 | 松下电器产业株式会社 | 信号处理装置 |
| JP2011257541A (ja) * | 2010-06-08 | 2011-12-22 | Fujifilm Corp | 立体カメラ用レンズシステム |
| JP5067450B2 (ja) * | 2010-06-29 | 2012-11-07 | カシオ計算機株式会社 | 撮影装置、撮影装置の制御装置、撮影装置の制御プログラム、及び撮影装置の制御方法 |
| US9661232B2 (en) * | 2010-08-12 | 2017-05-23 | John G. Posa | Apparatus and method providing auto zoom in response to relative movement of target subject matter |
| JP5807354B2 (ja) * | 2011-03-22 | 2015-11-10 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP5373222B2 (ja) * | 2011-03-28 | 2013-12-18 | パナソニック株式会社 | 再生装置、再生方法およびコンピュータプログラム |
| US20140146172A1 (en) * | 2011-06-08 | 2014-05-29 | Omron Corporation | Distributed image processing system |
| KR101841750B1 (ko) * | 2011-10-11 | 2018-03-26 | 한국전자통신연구원 | 매칭 정보에 의한 입체 영상 보정 장치 및 그 방법 |
| KR101862404B1 (ko) * | 2011-12-09 | 2018-05-29 | 엘지이노텍 주식회사 | 스테레오 영상의 노이즈 제거장치 및 방법 |
| US10255703B2 (en) | 2015-12-18 | 2019-04-09 | Ebay Inc. | Original image generation system |
| US11069054B2 (en) | 2015-12-30 | 2021-07-20 | Visiongate, Inc. | System and method for automated detection and monitoring of dysplasia and administration of immunotherapy and chemotherapy |
| JP6786225B2 (ja) * | 2016-02-23 | 2020-11-18 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
| JP7024782B2 (ja) * | 2017-03-27 | 2022-02-24 | ソニーグループ株式会社 | 画像処理装置と画像処理方法および撮像装置 |
| JP2020043398A (ja) * | 2018-09-06 | 2020-03-19 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4709263A (en) * | 1986-01-28 | 1987-11-24 | John Brumage | Stereoscopic imaging apparatus and methods |
| JPH0766445B2 (ja) * | 1988-09-09 | 1995-07-19 | 工業技術院長 | 画像処理方法 |
| JPH0397449A (ja) * | 1989-09-12 | 1991-04-23 | Hitachi Ltd | 画像ノイズ除去装置および方法 |
| JP3242529B2 (ja) * | 1994-06-07 | 2001-12-25 | 松下通信工業株式会社 | ステレオ画像対応付け方法およびステレオ画像視差計測方法 |
| DE69733233T2 (de) * | 1996-09-11 | 2006-01-19 | Canon K.K. | Bildverarbeitung zur dreidimensionalen Wiedergabe von Bilddaten auf der Anzeige eines Bildaufnahmegeräts |
| JP3500302B2 (ja) | 1998-03-26 | 2004-02-23 | 富士写真フイルム株式会社 | 画像処理方法及び装置 |
| US6563536B1 (en) * | 1998-05-20 | 2003-05-13 | Intel Corporation | Reducing noise in an imaging system |
| US6704042B2 (en) * | 1998-12-10 | 2004-03-09 | Canon Kabushiki Kaisha | Video processing apparatus, control method therefor, and storage medium |
| US6873723B1 (en) * | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
| US6714672B1 (en) * | 1999-10-27 | 2004-03-30 | Canon Kabushiki Kaisha | Automated stereo fundus evaluation |
| US6862364B1 (en) * | 1999-10-27 | 2005-03-01 | Canon Kabushiki Kaisha | Stereo image processing for radiography |
| US6674892B1 (en) * | 1999-11-01 | 2004-01-06 | Canon Kabushiki Kaisha | Correcting an epipolar axis for skew and offset |
| JP2001144964A (ja) | 1999-11-15 | 2001-05-25 | Fuji Photo Film Co Ltd | ノイズ除去方法及び装置並びにスキャナ |
| JP2001285640A (ja) | 2000-03-31 | 2001-10-12 | Fuji Photo Film Co Ltd | 画像処理方法、画像処理装置および記録媒体 |
| US6603535B1 (en) * | 2002-08-30 | 2003-08-05 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Stereo imaging velocimetry system and method |
-
2002
- 2002-09-27 JP JP2002283818A patent/JP4156893B2/ja not_active Expired - Fee Related
-
2003
- 2003-09-24 US US10/668,176 patent/US7508982B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20040062434A1 (en) | 2004-04-01 |
| US7508982B2 (en) | 2009-03-24 |
| JP2004118711A (ja) | 2004-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4156893B2 (ja) | 画像処理装置、方法及びプログラム | |
| CN108055452B (zh) | 图像处理方法、装置及设备 | |
| JP5390707B2 (ja) | 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム | |
| CN106713755B (zh) | 全景图像的处理方法及装置 | |
| CN108154514B (zh) | 图像处理方法、装置及设备 | |
| US8792019B2 (en) | Video creation device, video creation method and non-transitory computer-readable storage medium | |
| JP7289653B2 (ja) | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム | |
| KR20200042536A (ko) | 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체 | |
| US20090091633A1 (en) | Image-taking method and apparatus | |
| CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US20130113875A1 (en) | Stereoscopic panorama image synthesizing device, multi-eye imaging device and stereoscopic panorama image synthesizing method | |
| JPH09181966A (ja) | 画像処理方法及び装置 | |
| EP1521456A2 (en) | Image capture apparatus, image display method, and program | |
| KR20070121717A (ko) | 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법 | |
| KR20140051112A (ko) | 영상 처리를 위한 주 및 보조 영상 캡처 장치들 및 관련 방법들 | |
| JP2004180298A (ja) | アイモニタリング機能を備えるカメラシステム | |
| JP2011041089A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
| US20080192122A1 (en) | Photographing apparatus, method and computer program product | |
| KR20200031169A (ko) | 이미지 처리 방법 및 장치 | |
| CN107872631B (zh) | 基于双摄像头的图像拍摄方法、装置及移动终端 | |
| JP6833801B2 (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
| US7570281B1 (en) | Image processing apparatus and method for detecting a main subject to be photographed | |
| JP2017143354A (ja) | 画像処理装置及び画像処理方法 | |
| JP2004120600A (ja) | デジタル双眼鏡 | |
| JP2004287794A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050218 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080611 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080710 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4156893 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |