何かしらのメモ
さっぱりわかっていなので、読んでもさっぱりわからん内容になっていると思うが、頭の整理代わりに。
複数の数値列がありその関係が方程式で表されるときそのパラメータを推定したいという要望がある。例えば、GDPの推移と資本ストックの量に関係があると思われるのであれば、その関係を一次関数などで仮定したうえでそのパラメータを求める、であるとか、複数の異なる機器で同じ対象を撮影した写真をフィッティングしたいとか（研究室は画像研だったので、そういうことをやっていた人もいた）。
理屈で言えば、得られた値はすべて方程式の真上に乗っているはずなので、連立方程式を解けば解決であるが、何事にも観測誤差は付き物であるので何らかの対策が必要となる。
このような場合、もっとも一般的な方法は、最小二乗法であり、これは観測誤差が正規分布で乗っていると仮定したうえでパラメータ推定を行う方法となる。
しかしながら、この方法では対応できないケースがある。
誤差の大きさが相対的に変化する
誤差は正規分布とみなせるが、その範囲が観測値の大きさによって相対的に変化するということはありそうなことである。このような場合には、重み付き最小二乗法を使う。
誤差が正規分布とみなせない
誤差が一見正規分布ではないように見えても、対数化すると正規分布となる場合がある。また、誤差が正規分布とみなせなかったとしても、外れた値の影響を和らげることができれば実用上問題ない場合も多い。このような場合には、M推定法、RANSAC、最小メジアン法を用いたロバスト推定が用いられる。
しかしながら、そもそも誤差が正規分布とみなせない場合もあり、ローレンツ分布やラプラス分布の誤差はその例である。このような場合には最尤法を用いる。
推定する方程式が非線形
推定する方程式が式を変形しても線形にならない場合、解析的に解くことはできないため、シンプレックス法、ニュートン法、最急降下法、共役勾配法といった非線形計画法を用いる必要がある（シンプレックス法は線形計画法のはずなのだが、非線形方程式にも使えるらしい）。
観測だけでなくパラメータそのものが誤差で変動する
観測誤差は、あくまで真のモデルを観測した際にのみ発生するのでシステムの動き自体には影響しないが、パラメータそのものに誤差が発生するならば動きそのものに影響が発生する。
このような場合には、カルマンフィルタを用いて推定を行う。
観測できないデータが存在する
観測することができないデータが結果に影響している場合には、EMアルゴリズムを用いることで欠損データがあるという前提で最も尤もらしいパラメータを推定することができる。
