以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、撮像システム10を模式的に示す。撮像システム10は、メインカメラ20と複数の疑似撮像装置40、42、44とを含む。
メインカメラ20は、例えば、競技場のゴール付近に設けられ、競技者18、19のゴールシーンを撮像する。メインカメラ20は、サッカーのゴールネット裏に設けられ、ゴールシーンを撮像してもよい。メインカメラ20は、競技場に限られず、他の屋外、屋内に設けられてもよい。メインカメラ20は、撮像して生成した画像を疑似撮像装置40、42、44に出力する。
使用者12は疑似撮像装置40を、使用者14は疑似撮像装置42を、使用者16は疑似撮像装置44を用いて、メインカメラ20から出力された画像を像光として、それぞれが定めた撮像条件で撮像する。これにより、使用者12等は、ゴール付近に行くことなく、使用者12等のそれぞれが設定した撮像条件で、競技者18、19のゴールシーンを撮像できる。
図2は、メインカメラ20の機能ブロック図を示す。メインカメラ20は、光学系22と、撮像部24と、制御部26と、記録部28と、画像出力部30と、操作部34と、入力部36とを有する。
光学系22は、複数のレンズ群と、絞り部とを含む。なお、簡略化のため図2においては光学系を1つのレンズで描いている。光学系22は、競技者18、19を含む被写体像を撮像部24に結像する。
撮像部24は、複数の画素が二次元的に配されたCMOS、CCD等の光電変換素子、および、A/D変換回路等を含む。撮像部24は、被写体像を光電変換素子で電気信号に変換し、さらにA/D変換回路でデジタル化して制御部26に出力する。
制御部26は、光学系22および撮像部24を駆動することにより、撮像部24による撮像を実行する。さらに制御部26は当該撮像により撮像部24から入力されたデジタル信号に基づいて、パンフォーカスの画像データと、画像データの各画素に対応する距離データとを生成する。制御部26は、画像データおよび距離データを含む元画像データを記録部28および画像出力部30に出力する。
操作部34は、使用者12等からの操作を受け付け、制御部26に受け渡す。例えば、操作部34は、ズームリングまたはズームキーから光学系22のズーム量を受け付ける。
入力部36は、疑似撮像装置40等の装置情報を取得して、制御部26に受け渡す。装置情報は、例えば、疑似撮像装置40等の光電変換素子の空間解像度の情報またはハイダイナミックレンジ画像を取得する設定の有無等を示した情報が含まれる。
画像出力部30は、画像データと距離データとを含む元画像データを有線または無線により疑似撮像装置40等に出力する。元画像取得部52と、メインカメラ20とは、例えば、UWB(Ultra Wide Band)、ZigBee(登録商標)、Wi−Fi、Bluetooth(登録商標)、3G、および/または、LTE等の無線通信規格に準拠して通信する。
メインカメラ20の動作について説明する。メインカメラ20の電源が投入されると、操作部34で受け付けた操作に基づいて、制御部26が光学系22および撮像部24を駆動して撮像を実行する。この場合に、制御部26は、光学系22の合焦距離を変えて複数回、例えば10回撮像し、複数の画像データからなる画像データ群を生成する。
制御部26は、画像データ群に含まれる各被写体について、いずれの画像データにおいてコントラスト値が高いかを判断し、当該画像データの合焦距離に基づいてメインカメラ20からの距離を算出する。これにより制御部26は画像データの各画素の距離データを生成する。制御部26はさらに、各被写体についてコントラスト値が高い画像データから当該被写体の領域を切り出して合成することにより、1つのパンフォーカスの画像データを生成する。
ここで、メインカメラ20の露出は自動で設定されてもよいし、操作部34から使用者12等の設定を受け付けてもよい。自動の場合には、絞りをなるべく開けてシャッタースピードを速くすることが好ましい。これにより、複数の画像間でコントラスト差を付けつつ、画像間での時間差を短くすることができる。
画像出力部30は、画像データと距離データとを含む元画像データを有線または無線により疑似撮像装置40等に出力する。この場合に、制御部26は、当該装置情報から疑似撮像装置40等に送るべき画像データのデータサイズおよび画像データの種類等を示す設定情報を生成して、当該設定情報を画像出力部30へ出力する。画像出力部30は、制御部26から出力された設定情報に従って、元画像データを変更して、疑似撮像装置40等に出力する。疑似撮像装置40側の操作に関わらず上記撮像および出力が繰り返されることが好ましい。
図3は疑似撮像装置40の機能ブロック図を示し、図4は疑似撮像装置40の構成の概略図を示す。疑似撮像装置40は、疑似レンズ鏡筒50と、装置本体70とから構成される。
疑似レンズ鏡筒50は、元画像取得部52と、元画像表示部54と、光学系55と、ジャイロセンサ64と、マウント部66と、駆動部62とを有する。元画像取得部52は、疑似レンズ鏡筒50の前側端面に設けられる。元画像表示部54は、元画像取得部52の後側端面に設けられる。
元画像取得部52は、メインカメラ20と通信を行い、メインカメラ20から元画像データを取得する。元画像取得部52は、元画像データのうちの画像データを用いて、画像を元画像表示部54に表示する。元画像取得部52は、装置本体70から元画像表示部54に表示する表示領域の情報を取得する。元画像取得部52は、表示領域の情報に対応した画像データを取り出す。元画像取得部52は、当該画像データを元画像表示部54に表示させる。
元画像取得部52はさらに、装置本体70の装置情報を取得して、メインカメラ20へ出力する。当該設定情報の出力は、メインカメラ20と疑似撮像装置40との通信の開始時に一度行われればよい。
元画像表示部54は、元画像取得部52により取得された画像データの画像のうちの一部を表示する。元画像表示部54の一例は、液晶ディスプレイ、有機ELディスプレイ、ライトフィールドディスプレイ等である。ライトフィールドディスプレイは、元の被写体空間における光線をディスプレイ上に再生する。
光学系55は、元画像表示部54の後側であって、光学系55の光軸が、元画像表示部54の中心となるように位置決めされる。光学系55は、複数の光学部材から構成される第一群56と、同じく複数の光学部材から構成される第二群58と、絞り部60とを有する。元画像表示部54に近い側から、第一群56、第二群58の順に設けられ、第一群56の光束が入光する側に設けられる光学部材の枠に、絞り部60が設けられる。光学系55は、元画像表示部54に表示された画像を像光として装置本体70に入力する。
ジャイロセンサ64は、ジャイロセンサ64が回転した方向および角速度を検出して、当該方向と角速度に対応した電気信号を、装置本体70に出力する。なお、ジャイロセンサ64と同じ機能を装置本体70が有している場合には、ジャイロセンサ64は、設けなくてもよい。
駆動部62は、制御部78からの指示に基づいて、第一群56および第二群58を光軸方向と平行な方向に駆動する。マウント部66は、疑似レンズ鏡筒50の後端部に設けられる。
装置本体70は、例えば、レンズ交換式のデジタルカメラのレンズを取り外した装置である。なお、装置本体70は、疑似レンズ鏡筒50に対する専用の装置であってもよく、その場合に装置本体70と疑似レンズ鏡筒50とは着脱ができない一体型であってもよい。装置本体70は、画像生成部72と、AFセンサ80と、表示部82と、操作部84と、メモリカード86とを有する。
画像生成部72は、光学系55から入力された像光から、画像データを生成する。画像生成部72は、撮像部74と、制御部78とを有する。
撮像部24は、複数の画素が二次元的に配されたCMOS、CCD等の光電変換素子、および、A/D変換回路等を含む。撮像部24は、像光を光電変換素子で電気信号に変換し、さらにA/D変換回路でデジタル化して制御部78に出力する。
制御部78は、元画像取得部52から距離データを取得する。制御部78は、光学系55のレンズ画角から、元画像表示部54の表示領域に対する、撮像部74に撮像される画像データ領域を特定する。制御部78は、距離データから、当該画像データ領域に対応する距離データを取り出す。制御部78は、生成した画像データに取り出した距離データを付与して、メモリカード86に記録する。これにより、使用者12は、取得した画像をデジタルリフォーカスして、任意の領域にフォーカス位置を設定し、その他の領域には、被写体の距離に応じた自然なボケを追加できる。
制御部78は、元画像取得部52に、表示領域の情報を出力する。表示領域の情報とは、例えば、元画像表示部54に表示させる画像データの表示領域を指定する情報である。制御部78は、疑似レンズ鏡筒50を装置本体70に装着すると、予め定められた表示領域の情報を、元画像取得部52に出力する。
制御部78は、ジャイロセンサ64から、ジャイロセンサ64が回転した方向および角速度に対応した電気信号を取得する。ジャイロセンサ64は、疑似レンズ鏡筒50に固定されて設けられており、疑似レンズ鏡筒50と、装置本体70との位置関係は固定される。制御部78は、ジャイロセンサ64と装置本体70との位置関係から、疑似撮像装置40の回転方向と回転角度を算出する。
制御部78は、算出した疑似撮像装置40の回転方向と回転角度に基づいて、表示領域の情報を変更する。制御部78は、変更後の表示領域の情報を生成する。制御部78は、元画像取得部52に出力して、元画像表示部54に表示される画像の表示領域を変更させる。
操作部84は、使用者12からの撮像条件を入力する。よって操作部84は、撮像条件入力部としての役割を担う。操作部84により絞り部60のF値が入力された場合に、制御部78は絞り部60を実際に駆動して撮像部74に入力する光量を調整するとともに、当該F値に対応するボケを距離データに基づいて画像処理で付加する。
光学系55によるズーム操作により、光学系55と元画像表示部54との合焦距離が変わり得るので、制御部78は、AFセンサ80からの出力に基づいて、元画像表示部54の表示面に合焦させるように光学系55の位置を制御する。また、制御部78は、操作部84が受け付けた使用者12からの光学系55のズーム、絞り部60のF値等の撮像条件に基づいて、光学系55を制御する。
元画像表示部54に表示される画像は、パンフォーカスの画像であるので、撮像部74に結像する光学系55の位置は、ズーム操作に関連する光学系55の光学特性と、元画像表示部54の位置により定められる。したがって、制御部78は、AFセンサ80からの出力を無視して、当該定められる位置に光学系55の位置を制御してもよい。また、装置本体70が、疑似レンズ鏡筒50の専用装置である場合には、AFセンサ80は、設けなくてよい。
図4に示すように、装置本体70は、主鏡90と、ペンタプリズム94と、接眼光学系100とを含む光学系と、制御部78とを有する。主鏡90は、疑似レンズ鏡筒50の光学系55を介して入力した入力光の光路上に傾斜して配置される待機位置と、入力光を避けて上昇する撮影位置(図中に点線で示す)との間を移動する。
待機位置にある主鏡90は、入力光の大半を、上方に配置されたフォーカシングスクリーン96に導く。フォーカシングスクリーン96は、疑似レンズ鏡筒の光学系55の合焦位置に配置され、光学系55により形成された画像を結像させる。
フォーカシングスクリーン96に結像された、元画像表示部54に表示された画像の一部は、ペンタプリズム94を介して、接眼光学系100の出射端のファインダ102から観察できる。これによりファインダ102からは、フォーカシングスクリーン96上の元画像表示部54に表示された画像の一部を、正像として見ることができる。
ペンタプリズム94および接眼光学系100との間には、ファインダLCD104に形成された表示画像をフォーカシングスクリーン96の映像に重畳されるハーフミラー103が配置される。これにより、接眼光学系100の出射端のファインダ102おいては、フォーカシングスクリーン96の画像と、ファインダLCD104の画像とを併せて見ることができる。なお、ファインダLCD104には、疑似撮像装置40の撮像条件または設定条件の情報が表示される。
また、ペンタプリズム94の入力光の一部は、測光部98に導かれる。測光部98は、入力光の強度およびその分布を測定して、撮像条件を決定する場合に測定結果を参照させる。入射光の入射面に対する主鏡90の裏面には、副鏡92が配置される。副鏡92は、主鏡90を透過した入力光の一部を、下方に配置されたAFセンサ80に導いて、AFセンサ80が被写体までの距離を測定する。
疑似レンズ鏡筒50からの入力光に対して主鏡90の後方には、シャッタ108と、光学フィルタ106と、撮像部74とを備える。シャッタ108が解放される場合は、その直前に主鏡90が撮像位置に移動するので、入力光は、直進して撮像部74の光電変換素子に入力される。これにより、入力光の形成する画像が、撮像部74の光電変換素子において、電気信号に変換される。
装置本体70は、後面側に表示部82を備える。表示部82は、装置本体70に対する各種の設定情報を表示する他、主鏡90が撮像位置に移動している場合において、撮像部74に入力され、制御部78により生成された画像を表示できる。
図5は、疑似撮像装置40の斜視図である。疑似レンズ鏡筒50は、マウント部66がマウント部88に装着されることによって、装置本体70に対して着脱自在に装着される。なお、疑似レンズ鏡筒50および装置本体70は、図示していない接続端子を介して電気的にも結合される。
上記撮像システム10によれば、使用者12は、被写界を直接撮像する撮像装置と同じ操作感で撮像条件を設定して、遠くにいる競技者18、19のゴールシーンを撮像した画像を取得することができる。これにより、遠隔地にあるメインカメラ20に撮像条件を送信することなく、撮像条件を変更できるので、送信エラーにより撮像タイミングを逸することがない。また、複数の疑似撮像装置40、42、44間でメインカメラ20に対する撮像条件が競合することなく、個々の疑似撮像装置40、42、44で設定した撮像条件で画像を生成することができる。
図6は、疑似撮像装置40の向きを説明する図である。図7は、疑似撮像装置40の撮像領域124を説明する図である。図7において、データ領域120は、メインカメラ20が撮像した元画像データの領域である。表示領域122は、元画像表示部54が画像を表示する領域である。撮像領域124は、ファインダ102に表示される画像領域であり、疑似撮像装置40が撮像して生成する画像領域である。
疑似撮像装置40は、装置本体70に疑似レンズ鏡筒50を装着して電源が投入された時に、制御部78は、疑似撮像装置40における実空間のXYZ座標と、元画像表示部54の表示領域のX´Y´座標との関係を定める。
図8は、疑似撮像装置40の向きの変更を説明する図である。図8において、疑似撮像装置40は、使用者12により、ヨーイング方向に回転された後の状態を示している。ジャイロセンサ64は、疑似撮像装置40が、ヨーイング方向に回転したことを検知して、当該方向と角速度に対応した電気信号を制御部78に出力する。制御部78は、当該電気信号を積分して疑似撮像装置40がヨーイング方向に回転されたことを算出する。制御部78は、疑似撮像装置40の回転方向および回転角度に基づいて、表示領域122を変更して、当該表示領域122の情報を元画像取得部52へ出力する。元画像取得部52は、当該情報を取得すると、元画像表示部54に表示する画像の表示領域122を変更する。
図9は、変更後の元画像表示部54の表示領域122を説明する図である。表示領域122と撮像領域124は、お互いの位置と大きさを変更することなく、ヨーイング方向に対応したX´方向へ、回転角度に対応して変更される。これにより、使用者12が視認するファインダ102の像および撮像部74に入力される像が、疑似撮像装置40の回転に応じて変化する。
表示領域122と撮像領域124の位置の変更は、レリーズボタン85を半押ししない場合に行われる。一方、レリーズボタン85を半押しした場合においては、疑似撮像装置40を動かしても、表示領域122と撮像領域124の位置は変更されない。なお、反対に、レリーズボタン85を半押ししない状態においては、疑似撮像装置40を動かしても、表示領域122と撮像領域124の位置は移動せず、レリーズボタン85を半押しした場合に、疑似撮像装置40の動きに応じて表示領域122と撮像領域124の位置を変更されるとしてもよい。
図10は、被写体の拡大操作を説明する図である。使用者12は、操作部84から撮像する画像を拡大する指示を入力する。制御部78は、当該指示を取得すると、光学系55を当該指示に応じた拡大倍率となる位置に、駆動部62を駆動して移動させる。光学系55を移動することによって、撮像領域124の大きさは変更前(図中に点線で示す)と比較して小さくなる。撮像領域124の大きさが小さくなると、生成する画像における被写体の大きさは、変更前と比較して拡大される。
図11は、距離データ126を説明する図である。距離データ126は、メインカメラ20の制御部26で作成され、元画像取得部52から制御部78に出力される。距離データ126は、データ領域120に対応した距離データが元画像取得部52から制御部78に出力される。
制御部78は、制御部78が画像データを生成するタイミングで、撮像領域124に対応した距離データを生成する。制御部78は、元画像表示部54に表示している表示領域122の情報を元画像取得部52から入手する。制御部78は、光学系55の位置から、表示領域122における撮像領域124を特定する。制御部78は、特定した撮像領域124に対応する位置データを取り出すことで、撮像領域124に対応した距離データを生成する。
制御部78は、画像データにおける距離データ領域に記録する。なお、撮像部74により生成された画像データの画素の大きさが、元画像取得部52により取得された距離データの画素の大きさより小さい場合には、元画像取得部52により取得された1つの画素に対する距離データを、対応する数の画素に補間して、撮像部74により生成された画像データに対応する距離データを生成する。一方、撮像部74により生成された画像データの画素の大きさが、元画像取得部52により取得された距離データの画素の大きさより大きい場合には、画像データの1つの画素に対応する、元画像取得部52により取得された複数の画素に対する距離データの平均値を、当該画素に対する距離データとする。
図12は、画像データ130を説明する図である。画像データ130は、ヘッダ領域136と、画像データ領域138とから構成される。ヘッダ領域136は、ファイル名表示領域132と、距離データ領域134とから構成される。
ファイル名表示領域132には、画像データを識別するファイル名が記録される。距離データ領域134には、距離データが画像データのデータ配列に対応させて記録される。なお、ヘッダ領域136には、撮像条件、撮像時間等の情報を記録してもよい。
画像データ領域138には、画素の赤(R)、緑(G)、青(B)の階調値が1から256までの数値で記録される。画像データは、赤(R)、緑(G)、青(B)の各階調値を1セットとして、予め定められた画像データのデータ配列順に記録される。
図13は、被写体の縮小操作を説明する図である。使用者12は、操作部84から撮像する画像を縮小する指示を入力する。制御部78は、当該指示を取得すると、光学系55を当該指示に応じた縮小倍率となる位置に、駆動部62を駆動して移動させる。光学系55を移動することによって、撮像領域124の大きさは変更前(図中に点線で示す)と比較して大きくなる。撮像領域124の大きさが大きくなると、生成する画像における被写体の大きさは、変更前と比較して縮小される。
図14は、被写体の縮小操作を説明する図である。使用者12は、操作部84から撮像する画像をさらに縮小する指示を入力する。制御部78は、当該指示を取得すると、光学系55を移動させようとする。制御部78は、撮像領域124の大きさが表示領域122よりも大きくならないように、光学系55を制御する。したがって、制御部78は、撮像領域124が表示領域122の大きさと同じとなるまで光学系55を移動させるが、更に撮像領域124を大きくする方向に光学系55を移動しない。これにより、疑似撮像装置40は、元画像表示部54の表示領域122をこえた領域を撮像することを防止できる。
使用者12から画像における被写体をさらに縮小する指示が入力されると、制御部78は、表示領域122の大きさを変更して、撮像して生成する画像における被写体を縮小する。制御部78は、元画像取得部52に表示領域122を変更する指示を出力する。元画像取得部52は、変更する指示に基づいて元画像表示部54に表示する表示領域122の大きさを変更前(図中に点線で示す)と比較して大きくする。表示領域122と撮像領域124の大きさは同じであるので、表示領域122を大きくすることで、生成する画像における被写体の大きさは、変更前と比較して縮小される。
図15は、被写体の拡大操作を説明する図である。使用者12は、操作部84から撮像する画像における被写体を拡大する指示を入力する。制御部78は、当該指示を取得すると、光学系55を当該指示に応じた拡大倍率となる位置に、駆動部62を駆動して移動させる。光学系55を移動することによって、撮像領域124の大きさは変更前(図中に点線で示す)と比較して小さくなる。一方、撮像領域124が小さくなるということは、撮像する画素に対して、元画像表示部54の表示画素が粗くなり、撮像して生成する画像の画質が低下する。制御部78は、光学系55による拡大が、予め定められた倍率以上とならないように光学系55を制御する。図中点線で示す撮像領域124が予め定められた倍率に対応する撮像領域124とすると、制御部78は、点線で示す撮像領域124を越えて、更に撮像領域124を小さくする方向に光学系55を移動しない。これにより、疑似撮像装置40は、撮像して生成する画像の画質が低下することを防止できる。
図16は、被写体の拡大操作を説明する図である。使用者12から画像における被写体をさらに拡大する指示が入力されると、制御部78は、表示領域122の大きさを変更して、撮像して生成する画像における被写体を拡大する。制御部78は、元画像取得部52に表示領域122を変更する指示を出力する。元画像取得部52は、変更する指示に基づいて元画像表示部54に表示する表示領域122の大きさを変更前(図中に点線で示す)と比較して小さくする。表示領域122に対する撮像領域124の大きさは同じであるので、表示領域122を小さくすることで、生成する画像における被写体の大きさは、変更前と比較して拡大される。
このように、疑似撮像装置40は、光学系55によっても、生成する画像における被写体の大きさを変更でき、元画像表示部54に表示させる表示領域を変更することによっても、生成する画像における被写体の大きさを変更できる。これにより、光学系55によって素早く画像における被写体の大きさを変更できるとともに、表示領域122の大きさを変更することによって、光学系55の光軸方向の長さを長くすることなく、画像における被写体の大きさを高い倍率で変更できる。
本実施形態において、メインカメラ20で生成する画像データは、パンフォーカスの画像データに距離データを付加した元画像データであるが、これに加えて、メインカメラ20でハイダイナミックレンジ画像を生成してもよい。メインカメラ20は、パンフォーカスにて、露光量を変化させた複数の画像を時分割で撮像して、ハイダイナミックレンジ画像を生成する。メインカメラ20は、疑似撮像装置40がハイダイナミックレンジ画像を取得する設定になっている情報を元画像取得部52から取得すると、パンフォーカスの画像データに代えて、ハイダイナミックレンジ画像を出力する。なお、装置本体70に、ハイダイナミックレンジ画像を取得する設定がない場合においては、メインカメラ20からハイダイナミックレンジ画像を出力しないとしてもよい。
上記実施形態において、画像出力部30は、疑似撮像装置40等から装置情報を取得してから元画像データを出力している。これに代えて、画像出力部30は、疑似撮像装置40等との通信の有無に関わらず、元画像データをネットワークに対してブロードキャストしてもよい。
本実施形態において、合焦距離を変えて撮像して生成した複数の画像データからパンフォーカスの画像データと距離データとが生成された。これに代えて、ライトフィールドカメラ、ステレオカメラ等により、パンフォーカスの画像データと距離データとが生成されてもよい。
また、撮像部24の空間解像度は、撮像部74の空間解像度よりも高い、例えば4倍程度以上高いことが好ましい。これにより、撮像部24の撮像で生成された画像をさらに撮像部74で撮像するときの解像度の低下を低減することができる。
また、入力部36に入力される装置情報には、元画像表示部54のフレームレートが含まれていてもよい。この場合に、メインカメラ20から出力することができる元画像データのフレームレートが元画像表示部54のフレームレートよりも大きい、例えば2倍以上大きいときに、画像出力部30は元画像データのフレームを間引くことにより元画像表示部54のフレームレートに合せて出力してもよい。
本実施例において、メインカメラ20で生成した元画像データは、画像出力部30から元画像取得部52に出力されるが、画像出力部30は、ネットワークを介して元画像取得部52に出力してもよい。また、制御部26は、競技者18、19の競技終了後において、入力部36から入力された使用者12の要求に基づいて、記録部28に記録された元画像データを読み出して、画像出力部30から疑似撮像装置40へ出力させてもよい。また、記録部28に記録された元画像データを読み出して出力させる場合においては、使用者12が撮像システム10の管理者に料金を支払わなければ、当該元画像データを疑似撮像装置40へ出力しないとしてもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。