WO2017104395A1 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- WO2017104395A1 WO2017104395A1 PCT/JP2016/085294 JP2016085294W WO2017104395A1 WO 2017104395 A1 WO2017104395 A1 WO 2017104395A1 JP 2016085294 W JP2016085294 W JP 2016085294W WO 2017104395 A1 WO2017104395 A1 WO 2017104395A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- processing apparatus
- image processing
- color difference
- converted
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 164
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 38
- 239000002131 composite material Substances 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 150000001875 compounds Chemical class 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 235000019557 luminance Nutrition 0.000 claims 10
- 238000003384 imaging method Methods 0.000 description 58
- 238000012937 correction Methods 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 24
- 238000005304 joining Methods 0.000 description 7
- 239000007787 solid Substances 0.000 description 7
- 230000002950 deficient Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G06T5/92—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
画像を処理する画像処理装置が、異なる撮影条件で複数回撮影して複数の撮影画像を生成し、前記撮影画像を変換して輝度及び色差を示す変換画像を生成し、前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶し、前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成することにより、出力する画像の画質が良い画像処理装置を提供する。
Description
本発明は、画像処理装置及び画像処理方法に関する。
近年、複数回撮影を行い、撮影によって得られる複数の画像を合成して画像を生成する方法が知られている。
例えば、ダイナミックレンジ(dynamic range)を拡大するため、まず、多重露光撮影において、撮影モードに応じて、複数の画像を画素値の比較結果に基づいて、複数の画像のうち、いずれかの画像の画素値を選択して合成する。次に、複数の画像を加算又は減算して画像合成を行う方法が知られている(特許文献1参照)。
しかしながら、従来の方法では、異なる撮影条件で複数の画像がそれぞれ撮影される場合において、出力される画像の画質が悪い場合がある。
本発明は、上記課題に鑑みてなされたものであり、異なる撮影条件で複数の画像がそれぞれ撮影される場合において、出力する画像の画質が良い画像処理装置を提供することを目的とする。
一態様における、画像を処理する画像処理装置は、異なる撮影条件で複数回撮影して複数の撮影画像を生成する撮影部と、前記撮影画像を変換して輝度及び色差を示す変換画像を生成する変換部と、前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶する記憶部と、前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成する画像生成部とを備えることを特徴とする。
本発明の各実施形態によれば、異なる撮影条件で複数の画像がそれぞれ撮影される場合において、出力する画像の画質が良い画像処理装置を提供することができる。
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付し、重複した説明を省く。
<第1実施形態>
<画像処理装置例>
図1は、本発明の一実施形態に係る画像処理装置の全体構成の一例を示す断面図である。画像処理装置10は、例えば、複眼の構成である。具体的には、画像処理装置10は、まず、撮影装置12と、筐体14と、シャッタボタン18とを有する。
<画像処理装置例>
図1は、本発明の一実施形態に係る画像処理装置の全体構成の一例を示す断面図である。画像処理装置10は、例えば、複眼の構成である。具体的には、画像処理装置10は、まず、撮影装置12と、筐体14と、シャッタボタン18とを有する。
撮影装置12は、例えば、図示するように結像光学系20Aと、結像光学系20Bと、固体撮影素子22Aと、固体撮影素子22Bとを有する。
固体撮影素子22A及び固体撮影素子22Bは、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)センサ等の光学センサである。
結像光学系20A及び結像光学系20Bは、例えば、6群7枚のいわゆる魚眼レンズ等である。また、結像光学系20A及び結像光学系20Bは、2つの光学系で撮影する範囲が360以上であることが望ましい。さらに、結像光学系20A及び結像光学系20Bは、それぞれの画角が180°以上であり、より望ましくは、それぞれの画角が185°以上又は190°以上であり、重複して撮影される範囲があることが望ましい。なお、重複して撮影される範囲は、各画像をつなぎ合わせる際、つなぎ合わせの処理の参考となる。
結像光学系20A及び結像光学系20Bには、プリズム、フィルタ及び絞り等の光学系が含まれる。
固体撮影素子22A及び固体撮影素子22Bと、結像光学系20A及び結像光学系20Bとは、それぞれ対応する。また、固体撮影素子22A及び固体撮影素子22Bは、例えば図示するように、各結像光学系に入光する光が対応する固体撮影素子の受光領域の中心部に直交する位置、かつ、受光領域が対応するレンズの結合面となる位置に位置決めされる。さらに、各固体撮影素子は、受光領域を有し、受光領域に入光した光を画像信号に変換し、出力する。この例では、結像光学系20A、結像光学系20B、固体撮影素子22A及び固体撮影素子22Bは、同一の仕様であり、それぞれの光軸が合致するように互いに逆向きに設置されるとする。
なお、撮影装置は、固体撮影素子及び結像光学系を2つ有する場合に限られない。撮影装置は、3以上の固体撮影素子及び結像光学系を有してもよい。以下、図示する固体撮影素子及び結像光学系が2対である場合を例に説明する。
筐体14は、撮影装置12のコントローラ及び電源となるバッテリ等の部品を有する。また、シャッタボタン18は、筐体14に設けられ、撮影装置12のシャッタを切る操作を行うためのボタンである。
画像処理装置10は、撮影装置12によって撮影される各画像(以下「撮影画像」という。)をつなぎ合わせる処理を行う。次に、画像処理装置10は、複数の撮影画像をつなぎ合わせて合成し、立体角4rad(radian)の合成画像(以下「全天球画像」という。)を生成する処理を行う。なお、全天球画像は、撮影地点から見渡すことのできる全方位を示す画像である。すなわち、全天球画像は、水平面が360°撮影範囲となる、いわゆるパノラマ(panorama)画像であってもよい。
固体撮影素子22A及び固体撮影素子22Bの各走査方向を一致させることで、画像処理装置10は、各処理を行いやすくすることができる。つまり、つなぎ合わせの処理が行われる箇所等で走査方向及び順序が一致することで、各固体撮影素子の被写体、特に移動物体のつなぎ合わせの処理が行いやすくできる。例えば、固体撮影素子22Aの画像の左上部分及び固体撮影素子22Bの画像の左下部分がつなぎ合わせの処理を行う箇所で一致する場合は、固体撮影素子22Aの走査方向を上から下、かつ、右から左方向とする。また、固体撮影素子22Aの画像の左上部分及び固体撮影素子22Bの画像の左下部分がつなぎ合わせの処理を行う箇所で一致する場合には、固体撮影素子22Bの走査方向を下から上、かつ、左から右方向とする。つなぎ合わせ処理を行う箇所に基づいて走査方向を一致させることによって、画像処理装置10は、つなぎ合わせの処理が行いやすくできる。
画像処理装置10は、処理した画像を、例えば、ディスプレイ装置又は画像形成装置等の出力装置に出力させる。他にも、画像処理装置10は、画像を、例えば、SD(登録商標)カード又はコンパクトフラッシュ(登録商標)等の記録媒体に出力してもよい。
<ハードウェア構成例>
図2は、本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。図示するように、画像処理装置は、撮影装置12を有する。また、撮影装置12は、光学系の例であるレンズ1及び固体撮影素子の例であるCMOSセンサ2等を有する。
図2は、本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。図示するように、画像処理装置は、撮影装置12を有する。また、撮影装置12は、光学系の例であるレンズ1及び固体撮影素子の例であるCMOSセンサ2等を有する。
撮影装置12は、デジタルスチルカメラプロセッサ5に接続される。また、撮影装置12は、デジタルスチルカメラプロセッサ5が有するCPU(Central Processing Unit)29によって制御される。また、画像処理装置は、NAND FLASH等のROM(Read-Only Memory)26を有する。さらに、ROM26には、CPU29が用いる制御プログラム及びパラメータ等のデータが記憶される。
画像処理装置は、電源スイッチ等のスイッチ21を有する。このスイッチ21がオンの状態となると、例えば、ROM26に記憶される制御プログラムがメインメモリにロードされる等の処理が行われ、画像処理装置が起動する。また、CPU29は、プログラムに従って、各部の動作を制御する。さらに、CPU29は、制御及び処理においてデータをSDRAM(Synchronous Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)等のRAM15に記憶する。また、ROM26に、書き換え可能なフラッシュROM等を使用すると、制御プログラム又は制御用のパラメータの変更が可能となり、機能のバージョンアップが容易となる。
ISP(Image Signal Processor)6は、CMOS2から入力される画像データに対して、ホワイトバランス、ガンマ補正並びに画像データが示すそれぞれの画素値を輝度及び色差に変換する処理等を行う。
USB(Universal Serial Bus)27は、PC(Personal Computer)等の外部装置とUSB通信を行う。また、SPI23は、外部装置とシリアル通信を行う。さらに、JPEGコーデック器16は、画像データをJPEG形式に圧縮及びJPEG形式から伸張する。さらにまた、H.264動画コーデック器17は、画像データをH.264形式に圧縮及びH.264形式から伸張する。また、リサイズ器19は、画像データに対して補間処理等を行い、画像サイズを拡大及び縮小させる。さらに、画像処理装置は、画像データをSD(登録商標)カード25等に記憶する。なお、SD(登録商標)カード25は、メモリカードスロットル等によって、着脱可能である。
SDRAM4には、ISP6及び歪曲補正・合成処理装置24が用いる画像データ等が記憶される。また、歪曲補正・合成処理装置24は、3軸加速度センサー36から取得されるデータを利用して、天地補正及び傾き補正等を行ってもよい。次に、顔検出装置37は、補正された画像から人の顔等を検出する。これによって、画像内に写る顔の位置等が特定される。
なお、画像データは、デジタルスチルカメラプロセッサ5に読み込まれる。この例では、画像データは、ISP6によるホワイトバランス及びガンマ補正等が行われた後の状態である「RAW-RGB画像データ」等である。他にも、画像データは、ISP6による輝度及び色差変換等が行われた後の状態である「YCbCr画像データ」等である。さらに、画像データは、JPEGコーデック器16によるJPEG圧縮が行われた後の状態である「JPEG画像データ」等である。
画像処理装置は、LCD(Liquid Crystal Display)ドライバ等を有する。これによって、画像処理装置は、接続されるLCDモニタ35等の出力機器に画像を出力させる。すなわち、LCDドライバは、LCDモニタ35を駆動させるドライブ回路であり、LCDドライバは、各種状態をLCDモニタ35に表示するための信号に変換する処理を行う。
画像処理装置は、ユーザ等による音声を入力するマイク32が接続される。また、画像処理装置は、マイク32によって入力される音声の音声信号を増幅するアンプ等を有する。他にも、画像処理装置は、音声信号を示すデータを記憶する記憶装置を有する。
画像処理装置は、記憶される音声を出力するスピーカ33が接続される。また、画像処理装置は、スピーカ33に音声を出力させるための音声信号を増幅するアンプ等を有する。
<全体処理例>
図3は、本発明の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。
図3は、本発明の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。
ステップS01では、画像処理装置は、撮影を行う。なお、ステップS01で行われる撮影は、いわゆるブラケット撮影である。具体的には、画像処理装置は、露光条件等の撮影条件を変更して、異なる複数の撮影条件で、複数回の撮影を行う。以下、撮影回数を「M=4回」とする例で説明する。この例では、各撮影条件における露光条件が異なる。例えば、露光条件は、「PropExp」、「U2Exp」、「U1Exp」及び「O1Exp」である。また、この例では、露光条件を例えば、EV(Exposure Value)値で示すとする。EV値は、絞り(F値)及びシャッタ速度等の露出の明るさ等を特定できる条件の例である。
以下、「PropExp=0EV」、「U2Exp=-2EV」、「U1Exp=-1EV」及び「O1Exp=+2EV」とする例で説明する。なお、撮影条件は、「PropExp=0EV」、「U2Exp=-2EV」、「U1Exp=-1EV」及び「O1Exp=+2EV」とする条件に限られない。例えば、撮影条件は、カメラの特性に合わせて設定可能な上限値及び下限値を考慮して設定されてもよい。具体的には、「U1Exp」は、「U2Exp」の露光量の半分等と定義され、かつ、「U2Exp」の設定において上限に達するため、「U2Exp=-0.6EV」とする場合には、「U1Exp」は、「-0.3EV」と設定されてもよい。
なお、撮影は、通常のAE(Auto Exposure)よりも低いISO条件で行われるのが望ましい。つまり、撮影回数を「M=1」とする場合よりも、複数回撮影を行う場合には、感度が低くなる条件で撮影が行われるのが望ましい。このように、低いISO条件で撮影が行われると、画像処理装置は、ノイズの影響を少なくすることができる。
ステップS01によって、各撮影条件での画像データがそれぞれ生成される。この例では、「PropExp」によって生成される画像データは、第1画像データRawPropである。同様に、「U2Exp」によって生成される画像データは、第2画像データRawU2である。さらに、「U1Exp」によって生成される画像データは、第3画像データRawU1である。さらにまた、「O1Exp」によって生成される画像データは、第4画像データRawO1である。なお、第1画像データRawProp、第2画像データRawU2、第3画像データRawU1及び第4画像データRawO1は、それぞれRAW画像形式(Raw image format)である。
ステップS02では、画像処理装置は、RAW画像処理を行う。すなわち、ステップS02では、画像処理装置は、第1画像データRawProp、第2画像データRawU2、第3画像データRawU1及び第4画像データRawO1のそれぞれの画像データに対して、現像処理を行い、YCbCr画像に変換する。
図4は、本発明の一実施形態に係る画像処理装置によるRAW画像処理の一例を示すフローチャートである。例えば、ステップS02では、画像処理装置は、図示する処理を各RAW画像形式の画像データに対して、それぞれ行う。以下、第1画像データRawPropに対するRAW画像処理の例で説明する。
ステップS10では、画像処理装置は、OB(Opitical Black)補正を行う。例えば、ステップS10では、画像処理装置は、有効画素領域の出力信号をフレア又は暗い箇所でのノイズの大きさに合わせてクランプする補正を行う。
ステップS11では、画像処理装置は、欠陥画素補正を行う。固体撮影素子は、複数の画素が配列される。そのため、固体撮影素子は、半導体基板上に、複数のフォトダイオード等の感光素子が形成されるように製造される。したがって、製造において、半導体基板上に不純物が混入する等によって、画素値の取り込みができない画素、いわゆる欠陥画素が製造される場合がある。このような欠陥画素を補うため、画像処理装置は、欠陥画素の周辺画素からの画素値に基づいて、欠陥画素の出力を補う画素値を生成する。
ステップS12では、画像処理装置は、リニア(linear)補正を行う。すなわち、ステップS12では、画像処理装置は、R(red)、G(green)及びB(blue)ごとに、それぞれリニア補正を行う。
ステップS13では、画像処理装置は、シェーディング(shading)補正を行う。例えば、ステップS13では、画像処理装置は、あらかじめ用意される補正係数を有効画素領域の出力信号に乗じて、有効画素領域のシェーディング(陰影)による歪みを補正する。なお、補正係数は、固定値である。
ステップS14では、画像処理装置は、輝度値を計算する。具体的には、まず、ステップS14では、画像処理装置は、画像を所定の領域に分割する。次に、画像処理装置は、各領域の画素値に基づいて、それぞれの領域の平均輝度値を計算する。なお、計算される平均輝度値は、例えば、AE処理等に用いられる。
ステップS15では、画像処理装置は、ホワイトバランス処理を行う。固体撮影素子が有するそれぞれのフォトダイオードには、カラーフィルタがそれぞれ設置される。このため、フィルタの色によって、透過する光量が異なるため、各フォトダイオードに蓄積される電荷量が異なる。また、グリーンが最も感度が高くなることが多い。一方で、レッド及びブルーは、グリーンと比較すると、感度が低くなることが多く、半分程度となる場合がある。そこで、ホワイトバランス処理では、これらの感度の差を補い、画像に写る白色が白く表示させるように、レッド及びブルーに対してゲインをかける処理等が行われる。また、被写体の色は、光源色、例えば、太陽光又は蛍光灯等によって異なる。そのため、ホワイトバランス処理では、光源に応じて、白色を白く表示させるため、光源ごとに、ゲインが変更されてもよい。
ステップS16では、画像処理装置は、ガンマ補正を行う。すなわち、ガンマ補正は、非線形な入出力変換を行う。このような非線形な出力である場合には、明るさに階調性がない場合が多い。また、画像が暗くなると、人の目には、画像が見えなくなる場合がある。そこで、画像処理装置は、出力装置の特性を考慮して、出力が線形性を保つように、入力信号に対して非線形な変換を行う。
ステップS17では、画像処理装置は、ベイヤ補間を行う。固体撮影素子が有するそれぞれのフォトダイオードに各色のカラーフィルタがそれぞれ設置される場合には、固体撮影素子が出力する画像データは、画素ごとに、それぞれ1色の画素値を示す。これに対して、カラー画像を表示するには、レッド、グリーン及びブルーの3色の画素値が必要となる。そこで、各画素において、画像処理装置は、足りない色の画素値を周辺の画素等からバイリニア等の補間処理によって補間する。
ステップS18では、画像処理装置は、YCbCr変換を行う。すなわち、ステップS18では、画像処理装置は、RGB値を示すRAW画像形式から、輝度を示すY並びに色差を示すCb及びCrのYCbCr画像形式に変換する。
このように、YCbCr変換等によって、変換画像の例である「YCbCr画像」は、生成される。すなわち、以下の例では、YCbCr画像が示す「Y」が輝度の例である。また、YCbCr画像が示す「Cb」が第1色差の例であり、YCbCr画像が示す「Cr」が第2色差の例である。
なお、変換画像は、YCbCr形式の画像に限られない。例えば、変換画像は、CIE(国際照明委員会、Commission internationale de l'eclairage)1976で定められるL*U*V*色空間、CIE1976で定められるL*a*b*色空間又はYUV形式等の画像でもよい。以下、変換画像がYCbCr画像である例で説明する。
なお、JPEG画像は、YUV画像形式のデータから変換されることが多い。そのため、JPEG画像に変換するため、画像データは、YUV画像形式に変換されてもよい。
ステップS19では、画像処理装置は、エッジ強調(YCFLT)を行う。例えば、画像処理装置は、輝度からエッジを抽出するエッジ抽出フィルタ処理と、抽出されるエッジにゲインをかけるゲイン乗算と、ノイズを減らすLPF(low pass filter)処理と、ゲイン乗算後及びLPF処理後の画像データの加算等を行う。
ステップS20では、画像処理装置は、色補正を行う。例えば、画像処理装置は、彩度設定、色相設定、部分的な色相変更設定、色抑制又はこれらの組み合わせ等を行う。
図示する処理によって、YCbCr画像形式である第1YCbCr画像データYCbCrPropが出力される。
なお、RAW画像処理は、図示する処理に限られない。例えば、図示する処理の一部が省略又は他の処理が行われてもよい。
また、例えば、図3に示す第2画像データRawU2、第3画像データRawU1及び第4画像データRawO1に対しても、同様に、図4に示す処理が行われる。このようにすると、第2YCbCr画像データYCbCrU2、第3YCbCr画像データYCbCrU1及び第4YCbCr画像データYCbCrO1がそれぞれ生成される。
図3に戻り、ステップS03では、画像処理装置は、画像合成を行う。
図5は、本発明の一実施形態に係る画像処理装置による画像生成の一例を示すフローチャートである。例えば、図3に示すステップS03では、ステップS02で生成される第1YCbCr画像データYCbCrProp、第2YCbCr画像データYCbCrU2、第3YCbCr画像データYCbCrU1及び第4YCbCr画像データYCbCrO1を合成して合成画像を生成する。
ステップS30では、画像処理装置は、各YCbCr画像の色差を比較して、最大値を採用する。まず、画像処理装置は、各YCbCr画像から色差、すなわち、Cr値データ及びCb値データをそれぞれ抜き出す。次に、画像処理装置は、画素ごとに、Cr値及びCbを比較する。そして、この例では、4つのYCbCr画像のCr値及びCb値のうち、全体値が最大となる値を採用する。このように、最大値を採用すると、画像処理装置は、絶対値が大きい値の色差を利用して合成画像を生成できる。そのため、画像処理装置は、彩度が強調される画質の良い合成画像を生成できる。また、ステップS30に係る演算は、高速に行うことができるため、画像処理装置は、処理速度を速くすることができる。
なお、彩度補正の程度を抑えたい場合等には、画像処理装置は、YCbCr画像のCb値を二乗した第1色差二乗値の例であるCb二乗値及びYCbCr画像のCr値を二乗した第2色差二乗値の例であるCr二乗値を加算したそれぞれの加算結果を比較してもよい。つまり、画像処理装置は、画素ごとに、加算結果の絶対値が最大となるCb値及びCr値をそれぞれ採用して、合成画像を生成してもよい。
また、画像処理装置は、最大値を算出するための元画像として撮影画像すべてを用いず、一部の画像、例えば「O1Exp」によって生成される画像データを除いて算出してもよい。このように、適切な色差が生成されることが期待できる画像のみを用いることで、画像処理装置は、より適切な彩度をもつ画質の良い合成画像を生成できる。以下、ステップS30によって生成される合成画像のCr値及びCb値を示す画像データを「合成CbCr画像CbCr」という。
ステップS31では、画像処理装置は、余白の追加を行う。具体的には、まず、画像処理装置は、各YCbCr画像から輝度、すなわち、Y値データをそれぞれ抜き出す。次に、画像処理装置は、各Y値データが所定のピラミッド段数を得られるように、各Y値データに余白を追加する等によってデータ数を調整する。
例えば、後段の処理でのピラミッド段数が「N」である場合には、画像処理装置は、Y値データの幅及び高さの数がそれぞれ「2(N-1)」で割り切れる値であるか否かを判断する。次に、割り切れない値である場合には、画像処理装置は、Y値データに余白を追加する。
余白を追加する方法は、例えば、Y値データの端の画素値をコピーする等の方法がある。なお、余白を追加する方法は、固定値の画素値を追加する等の他の方法でもよい。
以下、ステップS31によって余白が追加されたY値データを「余白付Y値データYP」という。なお、余白付Y値データYPは、YCbCr画像データごとにそれぞれ生成される。以下の説明では、生成される4つの余白が追加されたY値データうち、いずれか1つを指して「余白付Y値データYP」という。
ステップS32では、画像処理装置は、係数を決定する。例えば、係数は、あらかじめ入力される係数を示すデータ(以下「係数データDLUT」という。)によって決定される。また、係数データDLUTは、露光条件等によって異なるデータである。さらに、係数データDLUTは、例えば、LUT(Look Up Table)形式のデータである。
係数は、画素ごとに、Y値データ間で重みを正規化する。例えば、正規化は、下記(1)式のように示せる。
図6は、本発明の一実施形態に係る係数データの一例を示す図である。係数データは、例えば、入力側を輝度値「Y」とし、この「Y」に対する「利用割合」の値を出力するLUT等である。すなわち、「利用割合」が高くなると、合成において使用される重みが大きくなる。また、図では、撮影条件ごとに、横軸は、入力を示し、縦軸は、入力に対する出力を示す。なお、利用割合は、「0」を超える値が設定される。また、「Y」は、「0乃至255」の値である例で説明する。さらに、以下の例では、「利用割合」は、分母を「255」とし、分子が「1乃至255」の値であるとする。つまり、LUTは、8ビットの値を8ビットの値に変換する。そのため、LUTは、256バイトのデータである例とする。
この例では、高輝度部分を解像するため、暗く撮影する「U2Exp」用のLUTは、明るい側の割合を増やし、一方で、暗い側の割合を減らすように設定される。図示するように、「U2Exp」用のLUTは、明るい側、すなわち、所定の値以上の輝度が入力されると、出力が「1」等のように高くなるように設定される。このようにすると、所定の値以上の輝度が合成において使用される重みが大きくなる。
逆に、低輝度部分を解像するため、明るく撮影する「O1Exp」用のLUTは、明るい側の割合を減らし、一方で、暗い側の割合を増やすように設定される。図示するように、「O1Exp」用のLUTは、暗い側、すなわち、所定の値以下の輝度が入力されると、出力が「1」等のように高くなるように設定される。このようにすると、所定の値以下の輝度が合成において使用される重みが大きくなる。
なお、この例では、所定の値を「255÷2≒127」とする例である。また、所定の値は、あらかじめ設定される値である。
さらに、中間の撮影条件で撮影する「PropExp」及び「U1Exp」用のそれぞれのLUTは、「Y=0.5」の中央付近の値に対して、割合を増やす。例えば、「PropExp」及び「U1Exp」用のそれぞれのLUTは、図示するように、同一である。このように、各撮影条件において、係数データが設定されると、画像処理装置は、明るい領域及び暗い領域を解像させ、全体的な明るさを維持させて画像を生成できる。以下、このようなLUTを用いて生成される画像を「荷重画像」という。
図5に戻り、ステップS33では、画像処理装置は、ガウシアンピラミッド処理を行う。例えば、ガウシアンピラミッド処理は、ステップS32によって生成される荷重画像LImgからガウシアンピラミッドLPMを生成する。なお、ガウシアンピラミッドLPMは、所定の「N」段まで生成されるとする。なお、ピラミッド処理は、例えば、1つの画像を解像度を変えて複数の画像を生成する処理等である。以下、同様に表現する。
ステップS34では、画像処理装置は、Yラプラシアンピラミッド処理を行う。例えば、Yラプラシアンピラミッド処理は、各YCbCr画像のY値データからラプラシアンピラミッドYPMを生成する。なお、ラプラシアンピラミッドYPMは、所定の「N」段まで生成されるとする。
ステップS35では、画像処理装置は、Y荷重平均処理を行う。具体的には、ステップS35では、画像処理装置は、ガウシアンピラミッドLPM及びラプラシアンピラミッドYPMを乗算し、合成ラプラシアンピラミッドCPMを生成する。なお、合成ラプラシアンピラミッドCPMは、下記(2)式のように示せる。
ステップS36では、画像処理装置は、Y逆ラプラシアン処理を行う。すなわち、ステップS36では、画像処理装置は、ステップS35で生成される合成ラプラシアンピラミッドCPMに対して、Y逆ラプラシアン処理を行い、合成後Y値データYBを生成する。なお、合成後Y値データYBは、余白が含まれる。
ステップS37では、画像処理装置は、余白を削除する。すなわち、画像処理装置は、ステップS36で生成される合成後Y値データYBから余白を削除する。以下、ステップS37によって生成されるデータが示す画像を「合成Y画像Y」という。
合成Y画像Y及び合成CbCr画像CbCrのデータが、合成によって生成される合成画像データCYCbCrである。
なお、図5に示す画像生成の処理は、ステップS30等のCbCrに係る処理を先に行う処理順序であるのが望ましい。このような処理順序とすると、CbCrに係る処理に用いられるメモリを解放し、Yに係る処理に用いることができる。すなわち、CbCrに係る処理を先に行う処理順序であると、画像処理装置は、メモリの使用効率を高めることができる。
<第2実施形態>
以下、2つの魚眼レンズで全方位を撮影するカメラ(以下「全天球カメラ」という。)を用いる例で説明する。全天球カメラは、複数の撮影画像をつなぎ合わせて、出力画像を生成する。なお、全天球カメラは、2つの固体撮影素子を有する、いわゆる複眼を有する画像処理装置の例である。これらの固体撮影素子でそれぞれ撮影される撮影画像は、多重合成を行うための余白を有し、かつ、ピラミッド処理の「N」段に対応する余白を有するのが望ましい。具体的には、撮影画像は、撮影画像をスティッチする領域及び「2(N-1)」以上の余白画素に光が入射されるのが望ましい。
以下、2つの魚眼レンズで全方位を撮影するカメラ(以下「全天球カメラ」という。)を用いる例で説明する。全天球カメラは、複数の撮影画像をつなぎ合わせて、出力画像を生成する。なお、全天球カメラは、2つの固体撮影素子を有する、いわゆる複眼を有する画像処理装置の例である。これらの固体撮影素子でそれぞれ撮影される撮影画像は、多重合成を行うための余白を有し、かつ、ピラミッド処理の「N」段に対応する余白を有するのが望ましい。具体的には、撮影画像は、撮影画像をスティッチする領域及び「2(N-1)」以上の余白画素に光が入射されるのが望ましい。
<全体処理例>
図7は、本発明の第2実施形態の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。以下、図3と同様の処理には同一の符号を付し、重複した説明を省略する。図3と比較すると、図7は、ステップS41以降が加わる点が異なる。また、2つの固体撮影素子を有する全天球カメラでは、各処理が、それぞれの固体撮影素子が生成する撮影画像に基づいてそれぞれ行われる。そのため、この例では、各処理は、2回ずつ行われ、各画像は、撮影画像に基づいてそれぞれ生成される。
図7は、本発明の第2実施形態の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。以下、図3と同様の処理には同一の符号を付し、重複した説明を省略する。図3と比較すると、図7は、ステップS41以降が加わる点が異なる。また、2つの固体撮影素子を有する全天球カメラでは、各処理が、それぞれの固体撮影素子が生成する撮影画像に基づいてそれぞれ行われる。そのため、この例では、各処理は、2回ずつ行われ、各画像は、撮影画像に基づいてそれぞれ生成される。
ステップS41では、画像処理装置は、歪補正を行う。すなわち、ステップS41では、画像処理装置は、歪補正によって、いわゆる正距円筒画像を生成する。この正距円筒画像は、複数の撮影画像、すなわち、いわゆる魚眼画像等から構成される。また、正距円筒画像を生成する際に、魚眼画像同士をつなぐつなぎ目部分で、スティッチ処理が行われる。
この例では、魚眼画像に相当する画像は、各合成画像データCYCbCrが示す画像である。したがって、各合成画像データCYCbCrが歪補正され、複眼画像CImgが生成される。
ステップS42では、画像処理装置は、色輝度補正を行う。例えば、フレア等の影響によって、2つの固体撮影素子が撮影する画像の間には、色差又は輝度差が生じる場合がある。そのため、つなぎ目に、色又は輝度の段差が生じる場合がある。そこで、ステップS42では、画像処理装置は、このような段差を補正する色輝度補正を行う。例えば、色輝度補正では、つなぎ目部分を画像の赤道に配置し、補正する等の色輝度補正が行われる。
なお、ステップS42は、ステップS03等の各撮影画像に対する処理の後に行われるのが望ましい。これによって、各固体撮影素子が撮影した画像は、それぞれ別に分離して処理される。このようにすると、画像処理装置は、出力画像の画質を向上させることができる。
ステップS43では、画像処理装置は、天頂補正を行う。例えば、天頂補正は、加速度センサデータDCに基づいて行われる。この例では、画像処理装置は、加速度センサデータDCが示す天頂方向に合わせて画像が示す向きを補正する。この補正によって生成される画像が出力画像OutImgとなる。
<機能構成例>
図8は、本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。図示するように、画像処理装置10は、撮影部10F1と、変換部10F2と、画像生成部10F3と、記憶部10F4とを備える。
図8は、本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。図示するように、画像処理装置10は、撮影部10F1と、変換部10F2と、画像生成部10F3と、記憶部10F4とを備える。
撮影部10F1は、異なる撮影条件で複数回撮影して複数の撮影画像RawImgを生成する。なお、撮影画像は、例えば、図3に示す第1画像データRawProp、第2画像データRawU2、第3画像データRawU1及び第4画像データRawO1等である。また、撮影部10F1は、例えば、撮影装置12(図2)等によって実現される。
変換部10F2は、撮影画像RawImgを変換してYCbCr画像YCbCrImgを生成する。なお、変換部10F2は、例えば、図4に示す処理を行って、撮影画像RawImgに基づいてYCbCr画像YCbCrImgを生成する。また、変換部10F2は、例えば、ISP6(図2)等によって実現される。
記憶部10F4は、撮影条件ごとに、YCbCr画像YCbCrImgの輝度に対する係数を示すデータを記憶する。記憶部10F4によって記憶されるデータは、例えば、係数データDLUT(図5)等である。すなわち、記憶部10F4は、図6に示すデータを記憶する。また、記憶部10F4は、例えば、ROM26(図2)等によって実現される。
画像生成部10F3は、記憶部10F4が記憶するデータが示す係数に基づいて、複数のYCbCr画像を合成して合成画像CYCbCrを生成する。例えば、画像生成部10F3は、図5に示す処理等を行う。また、画像生成部10F3は、例えば、ISP6等によって実現される。
また、全天球カメラ等の複眼で撮影を行う画像処理装置では、図7に示すように、画像生成部10F3が生成する複数の合成画像CYCbCrに対して、歪補正等が更に行われてもよい。この場合には、画像処理装置は、図7に示すように複数の合成画像CYCbCrをつなぎ合わせる処理等を行い、出力画像を出力する出力部を更に備える。
なお、色差は、YCbCr画像のCr値及びCb値に限られない。例えば、色差は、Labにおけるa及びbでもよい。さらに、色差は、YUVにおけるU及びVでもよい。
なお、本発明に係る各処理の全部又は一部は、アセンブラ、C、C++、C#、及びJava(登録商標)等のレガシープログラミング言語又はオブジェクト指向プログラミング言語等で記述されたコンピュータに実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、画像処理装置等のコンピュータに画像処理方法を実行させるためのコンピュータプログラムである。
また、プログラムは、ROM又はEEPROM(Electrically Erasable Programmable ROM)等のコンピュータが読み取り可能な記録媒体に格納して頒布することができる。さらに、記録媒体は、EPROM(Erasable Programmable ROM)、フラッシュメモリ、フレキシブルディスク、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、ブルーレイディスク、SD(登録商標)カード又はMO等でもよい。さらにまた、プログラムは、電気通信回線を通じて頒布することができる。
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。
本国際出願は、2015年12月15日に出願された日本国特許出願2015-243679号に基づく優先権を主張するものであり、その全内容を本国際出願に援用する。
10 画像処理装置
RawImg 撮影画像
YCbCrImg YCbCr画像
DLUT 係数データ
CYCbCr 合成画像
RawImg 撮影画像
YCbCrImg YCbCr画像
DLUT 係数データ
CYCbCr 合成画像
Claims (6)
- 画像を処理する画像処理装置であって、
異なる撮影条件で複数回撮影して複数の撮影画像を生成する撮影部と、
前記撮影画像を変換して輝度及び色差を示す変換画像を生成する変換部と、
前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶する記憶部と、
前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成する画像生成部と
を備える画像処理装置。 - 前記画像生成部は、前記変換画像が示す色差を比較して、画素ごとに、値の絶対値が最大となる色差をそれぞれ採用して前記合成画像を生成する請求項1に記載の画像処理装置。
- 前記画像生成部は、前記変換画像が示す複数の色差のうち、第1色差を二乗した第1色差二乗値及び前記変換画像が示す複数の色差のうち、前記第1色差とは異なる第2色差を二乗した第2色差二乗値を加算したそれぞれの加算結果を比較して、画素ごとに、前記加算結果の絶対値が最大となる第1色差及び第2色差をそれぞれ採用して前記合成画像を生成する請求項1に記載の画像処理装置。
- 前記データは、前記撮影条件が暗く撮影する条件である場合、前記輝度のうち、所定の値以上の値となる輝度が前記合成において使用される重みが大きくなるように設定され、かつ、前記撮影条件が明るく撮影する条件である場合、前記輝度のうち、所定の値以下の値となる輝度が前記合成において使用される重みが大きくなるように設定される請求項1に記載の画像処理装置。
- 複眼で撮影を行い、画像を処理する画像処理装置であって、
異なる撮影条件で複数回撮影して複数の撮影画像を生成する撮影部と、
前記撮影画像を変換して輝度及び色差を示す変換画像を生成する変換部と、
前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶する記憶部と、
前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成する画像生成部と、
前記合成画像をつなぎ合わせて出力画像を出力する出力部と
を備える画像処理装置。 - 画像を処理する画像処理装置が行う画像処理方法であって、
前記画像処理装置が、異なる撮影条件で複数回撮影して複数の撮影画像を生成する撮影手順と、
前記画像処理装置が、前記撮影画像を変換して輝度及び色差を示す変換画像を生成する変換手順と、
前記画像処理装置が、前記撮影条件ごとに、前記変換画像が示す輝度に対する係数を示すデータを記憶する記憶手順と、
前記画像処理装置が、前記係数に基づいて、複数の前記変換画像を合成して合成画像を生成する画像生成手順と
を含む画像処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201680071233.8A CN108293090B (zh) | 2015-12-15 | 2016-11-29 | 图像处理设备和图像处理方法 |
EP16875379.6A EP3393117A4 (en) | 2015-12-15 | 2016-11-29 | Image-processing device and image-processing method |
JP2017555955A JP6597794B2 (ja) | 2015-12-15 | 2016-11-29 | 画像処理装置及び画像処理方法 |
KR1020187015846A KR102102740B1 (ko) | 2015-12-15 | 2016-11-29 | 이미지 프로세싱 장치 및 이미지 프로세싱 방법 |
US15/979,928 US10699393B2 (en) | 2015-12-15 | 2018-05-15 | Image processing apparatus and image processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-243679 | 2015-12-15 | ||
JP2015243679 | 2015-12-15 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/979,928 Continuation US10699393B2 (en) | 2015-12-15 | 2018-05-15 | Image processing apparatus and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017104395A1 true WO2017104395A1 (ja) | 2017-06-22 |
Family
ID=59056259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/085294 WO2017104395A1 (ja) | 2015-12-15 | 2016-11-29 | 画像処理装置及び画像処理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10699393B2 (ja) |
EP (1) | EP3393117A4 (ja) |
JP (1) | JP6597794B2 (ja) |
KR (1) | KR102102740B1 (ja) |
CN (1) | CN108293090B (ja) |
WO (1) | WO2017104395A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111369533A (zh) * | 2020-03-05 | 2020-07-03 | 中国铁道科学研究院集团有限公司基础设施检测研究所 | 基于偏振图像融合的钢轨廓形检测方法及装置 |
JP2020150527A (ja) * | 2019-03-15 | 2020-09-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
WO2020189510A1 (ja) * | 2019-03-15 | 2020-09-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6981106B2 (ja) | 2017-08-29 | 2021-12-15 | 株式会社リコー | 撮像装置、画像表示システム、操作方法、プログラム |
KR102526145B1 (ko) * | 2017-11-24 | 2023-04-28 | 삼성디스플레이 주식회사 | 유기 발광 표시 장치 및 이의 구동 방법 |
US10645358B2 (en) * | 2018-02-20 | 2020-05-05 | Gopro, Inc. | Saturation management for luminance gains in image processing |
CN109410162A (zh) * | 2018-10-19 | 2019-03-01 | 北斗巡星信息科技有限公司 | 一种用于伪装的技术 |
US11961206B2 (en) | 2021-09-09 | 2024-04-16 | Samsung Electronics Co., Ltd. | Image generation using non-linear scaling and tone-mapping based on cubic spline curves |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005197952A (ja) * | 2004-01-06 | 2005-07-21 | Sony Corp | 撮像装置及び撮像方法 |
JP2013138301A (ja) * | 2011-12-28 | 2013-07-11 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法及び撮像装置 |
JP2015033064A (ja) * | 2013-08-05 | 2015-02-16 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2015084512A (ja) * | 2013-09-18 | 2015-04-30 | 株式会社リコー | 画像処理システム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4573080B2 (ja) | 2001-02-20 | 2010-11-04 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4379408B2 (ja) * | 2004-12-07 | 2009-12-09 | セイコーエプソン株式会社 | 信号処理部および撮像装置 |
CN100539648C (zh) * | 2006-05-11 | 2009-09-09 | 精工爱普生株式会社 | 摄像元件及摄像装置和方法 |
JP2011091595A (ja) * | 2009-10-22 | 2011-05-06 | Kyocera Mita Corp | 画像処理装置、画像処理方法及び画像形成装置 |
JP5136665B2 (ja) * | 2010-07-21 | 2013-02-06 | カシオ計算機株式会社 | 画像処理装置、及びプログラム |
JP5899633B2 (ja) * | 2011-03-09 | 2016-04-06 | 富士通株式会社 | 画像合成装置、画像合成方法および画像合成プログラム |
JP5791336B2 (ja) * | 2011-04-01 | 2015-10-07 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP5822606B2 (ja) | 2011-08-31 | 2015-11-24 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
JP5832855B2 (ja) * | 2011-11-01 | 2015-12-16 | クラリオン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
KR20130051584A (ko) | 2011-11-10 | 2013-05-21 | 삼성전자주식회사 | 드럼 세탁기 |
JP5990004B2 (ja) * | 2012-02-08 | 2016-09-07 | キヤノン株式会社 | 撮像装置 |
JP6123274B2 (ja) | 2012-03-08 | 2017-05-10 | 株式会社リコー | 撮像装置 |
JP2013214947A (ja) | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
JP6079031B2 (ja) | 2012-08-01 | 2017-02-15 | 株式会社リコー | 撮像装置 |
US10666860B2 (en) | 2012-09-11 | 2020-05-26 | Ricoh Company, Ltd. | Image processor, image processing method and program, and imaging system |
JP6065474B2 (ja) | 2012-09-11 | 2017-01-25 | 株式会社リコー | 撮像制御装置、撮像制御方法およびプログラム |
JP5971207B2 (ja) | 2012-09-18 | 2016-08-17 | 株式会社リコー | 画像調整装置、画像調整方法およびプログラム |
JP2014112302A (ja) | 2012-12-05 | 2014-06-19 | Ricoh Co Ltd | 所定領域管理システム、通信方法、及びプログラム |
JP6044328B2 (ja) | 2012-12-26 | 2016-12-14 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
JP6119719B2 (ja) * | 2014-02-05 | 2017-04-26 | カシオ計算機株式会社 | 医療用皮膚検査装置、皮膚病変を検査する方法並びにプログラム |
JP2016040870A (ja) | 2014-08-12 | 2016-03-24 | 株式会社リコー | 画像処理装置、像形成方法およびプログラム |
-
2016
- 2016-11-29 CN CN201680071233.8A patent/CN108293090B/zh active Active
- 2016-11-29 KR KR1020187015846A patent/KR102102740B1/ko active IP Right Grant
- 2016-11-29 WO PCT/JP2016/085294 patent/WO2017104395A1/ja unknown
- 2016-11-29 EP EP16875379.6A patent/EP3393117A4/en not_active Withdrawn
- 2016-11-29 JP JP2017555955A patent/JP6597794B2/ja active Active
-
2018
- 2018-05-15 US US15/979,928 patent/US10699393B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005197952A (ja) * | 2004-01-06 | 2005-07-21 | Sony Corp | 撮像装置及び撮像方法 |
JP2013138301A (ja) * | 2011-12-28 | 2013-07-11 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法及び撮像装置 |
JP2015033064A (ja) * | 2013-08-05 | 2015-02-16 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2015084512A (ja) * | 2013-09-18 | 2015-04-30 | 株式会社リコー | 画像処理システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3393117A4 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020150527A (ja) * | 2019-03-15 | 2020-09-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
WO2020189510A1 (ja) * | 2019-03-15 | 2020-09-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
JP7395259B2 (ja) | 2019-03-15 | 2023-12-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
CN111369533A (zh) * | 2020-03-05 | 2020-07-03 | 中国铁道科学研究院集团有限公司基础设施检测研究所 | 基于偏振图像融合的钢轨廓形检测方法及装置 |
CN111369533B (zh) * | 2020-03-05 | 2023-06-06 | 中国铁道科学研究院集团有限公司基础设施检测研究所 | 基于偏振图像融合的钢轨廓形检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20180080297A (ko) | 2018-07-11 |
US20180260945A1 (en) | 2018-09-13 |
CN108293090A (zh) | 2018-07-17 |
JP6597794B2 (ja) | 2019-10-30 |
CN108293090B (zh) | 2020-10-20 |
KR102102740B1 (ko) | 2020-04-21 |
EP3393117A1 (en) | 2018-10-24 |
US10699393B2 (en) | 2020-06-30 |
JPWO2017104395A1 (ja) | 2018-09-06 |
EP3393117A4 (en) | 2018-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6597794B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5971207B2 (ja) | 画像調整装置、画像調整方法およびプログラム | |
JP6065474B2 (ja) | 撮像制御装置、撮像制御方法およびプログラム | |
JP6455601B2 (ja) | 制御システム、撮像装置、およびプログラム | |
US9426437B2 (en) | Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing | |
US8797427B2 (en) | Image processing apparatus | |
JP6933059B2 (ja) | 撮影装置、情報処理システム、プログラム、画像処理方法 | |
JP2009017306A (ja) | 画像表示装置及びそれを用いた撮像装置 | |
JP5843027B1 (ja) | 撮像装置、制御方法およびプログラム | |
US11798143B2 (en) | Image processing apparatus and control method thereof | |
WO2016117137A1 (ja) | 撮像装置、撮像方法、および画像表示装置 | |
JP6299116B2 (ja) | 撮像装置、撮像方法および記録媒体 | |
JP7247609B2 (ja) | 撮像装置、撮像方法およびプログラム | |
US10785462B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
US11805326B2 (en) | Image processing apparatus, control method thereof, and storage medium | |
US20190246043A1 (en) | Image processing apparatus configured to generate auxiliary image showing luminance value distribution, method for controlling the image processing apparatus, and storage medium | |
JP2016040870A (ja) | 画像処理装置、像形成方法およびプログラム | |
JP6725105B2 (ja) | 撮像装置及び画像処理方法 | |
JP2015119436A (ja) | 撮像装置 | |
US11641525B2 (en) | Image capturing apparatus capable of displaying live view image high in visibility, method of controlling image capturing apparatus, and storage medium | |
US20200314349A1 (en) | Image processing device, image processing method, and program | |
WO2020071108A1 (ja) | 画像処理装置および画像処理方法 | |
JP5513311B2 (ja) | 撮像モジュール、画像処理装置および画像信号処理方法 | |
JP2006148791A (ja) | 撮像装置 | |
JP2020061726A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16875379 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017555955 Country of ref document: JP Kind code of ref document: A |
|
ENP | Entry into the national phase |
Ref document number: 20187015846 Country of ref document: KR Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |