Spline Regression |
В частности, \(B_0 \left( {\Delta _n ,t} \right) = \left\{ {{\begin{array}{*{20}c} {\left( {\tau _1 - t} \right)\left( {\tau _1 - \tau _0 } \right)^{ - 1},} \hfill & {t \in \left[ {\tau _0 ,\tau _1 } \right],} \hfill \\ {0,} \hfill & {иначе,} \hfill \\ \end{array} }} \right.\)
\(B_i \left( {\Delta _n ,t} \right) = \left\{ {{\begin{array}{*{20}c} {\left( {\tau _{i - 1} - t} \right)\left( {\tau _{i - 1} - \tau _i } \right)^{ - 1},} \hfill & {t \in \left[ {\tau _{i - 1} ,\tau _i } \right],} \hfill & \hfill \\ {\left( {\tau _{i + 1} - t} \right)\left( {\tau _{i + 1} - \tau _i } \right)^{ - 1},} \hfill & {t \in \left[ {\tau _i ,\tau _{i + 1} } \right],} \hfill & {(i = 2,...,n - 1).} \hfill \\ {0,} \hfill & {иначе,} \hfill & \hfill \\ \end{array} }} \right.\)
\(B_n \left( {\Delta _n ,t} \right) = \left\{ {{\begin{array}{*{20}c} {\left( {\tau _{n - 1} - t} \right)\left( {\tau _{n - 1} - T} \right)^{ - 1},} \hfill & {t \in \left[ {\tau _{n - 1} ,T} \right],} \hfill \\ {0,} \hfill & {иначе,} \hfill \\ \end{array} }} \right.\) Выпишем функцию цели \[ S\left( {a_0 ,a_1 ,...,a_n } \right) = \sum\limits_{i = 0}^N {\left( {\sum\limits_{j = 0}^n {a_j B_j \left( {\Delta _n ,t_i } \right)} - x_i } \right)^2} , \] и найдем решение задачи \(S\left( {a_0 ,a_1 ,...,a_n } \right) \to \mathop {\min }\limits_{a_0 ,a_1 ,...,a_n } \). Необходимое и достаточное условие экстремума будет иметь вид \[ \frac{\partial }{\partial a_i }S\left( {a_0 ,a_1 ,...,a_n } \right) = 0,i = 0,1,...,n. \] Нахождение экстремума сводится к решению системы уравнений \[ \left( {{\begin{array}{*{20}c} {\left\langle {B_0 ,B_0 } \right\rangle } \hfill & {\left\langle {B_0 ,B_1 } \right\rangle } \hfill & \cdots \hfill & {\left\langle {B_0 ,B_n } \right\rangle } \hfill \\ {\left\langle {B_1 ,B_0 } \right\rangle } \hfill & {\left\langle {B_1 ,B_1 } \right\rangle } \hfill & \cdots \hfill & {\left\langle {B_1 ,B_n } \right\rangle } \hfill \\ \vdots \hfill & \vdots \hfill & \ddots \hfill & \vdots \hfill \\ {\left\langle {B_n ,B_0 } \right\rangle } \hfill & {\left\langle {B_n ,B_1 } \right\rangle } \hfill & \cdots \hfill & {\left\langle {B_n ,B_n } \right\rangle } \hfill \\ \end{array} }} \right)\left( {{\begin{array}{*{20}c} {a_0 } \hfill \\ {a_1 } \hfill \\ \vdots \hfill \\ {a_n } \hfill \\ \end{array} }} \right) = \left( {{\begin{array}{*{20}c} {\left\langle {x,B_0 } \right\rangle } \hfill \\ {\left\langle {x,B_1 } \right\rangle } \hfill \\ \vdots \hfill \\ {\left\langle {x,B_n } \right\rangle } \hfill \\ \end{array} }} \right), \] где \[ \left\langle {x,B_j } \right\rangle = \sum\limits_{i = 0}^N {x_i B_j \left( {\Delta _n ,t_i } \right)} ,j = 0,1,...,n, \] а замечая, что \(\left\langle {B_i ,B_j } \right\rangle = 0,\forall i,j:\vert i - j\vert \ge 2\mbox{,}\) получаем систему уравнений с трехдиагональной матрицей \[ A = \left( {{\begin{array}{*{20}c} {\left\langle {B_0 ,B_0 } \right\rangle } \hfill & {\left\langle {B_0 ,B_1 } \right\rangle } \hfill & 0 \hfill & \cdots \hfill & 0 \hfill \\ {\left\langle {B_1 ,B_0 } \right\rangle } \hfill & {\left\langle {B_1 ,B_1 } \right\rangle } \hfill & {\left\langle {B_1 ,B_2 } \right\rangle } \hfill & \cdots \hfill & 0 \hfill \\ 0 \hfill & {\left\langle {B_2 ,B_1 } \right\rangle } \hfill & {\left\langle {B_2 ,B_2 } \right\rangle } \hfill & \cdots \hfill & 0 \hfill \\ \vdots \hfill & \vdots \hfill & \vdots \hfill & \cdots \hfill & \vdots \hfill \\ 0 \hfill & 0 \hfill & 0 \hfill & \cdots \hfill & {\left\langle {B_n ,B_n } \right\rangle } \hfill \\ \end{array} }} \right). \] Применяя метод прогонки, получаем эффективный алгоритм нахождения уравнения кусочно-линейной регрессии с фиксированными узлами.
Приближение дискретных данных ломаной по МНК.
Теорема 1. Пусть \(x\in L^3_2\) такова, что \(x''\) обращается в ноль на конечном числе отрезков или точек из \([0,T]\) и \(X(t)\)
вторая первообразная \(x(t)\) такая, что \(X'(0)=0\) и \(X(0)=0\).
Выберем \(M_i\) из условий
\[
\lambda_iM_{i-1}+2M_i+\mu_iM_{i+1}=
\frac{6}{h_{i-1}+h_i}\left(\frac{X_{i+1}-X_i}{h_i}-\frac{X_{i}-X_{i-1}}{h_{i-1}}\right),i=1,2,...,n-1,
\]
где \(\mu_i=h_{i-1}\left(h_{i-1}+h_i\right)^{-1}\), \(\lambda_i=1-\mu_i\).
Тогда
\[
\inf\left\{\|x-s_1(\Delta_n)\|_2\left|s_1(\Delta_n)\in S_1(\Delta_n)\right.\right\}=
\left\|x-s_3''\left(\{M_i\}_{i=0}^n,\Delta_n\right)\right\|_2
\]
Выберем узлы \(t^*_i\) разбиения \(\Delta^*_n\) из условия
\[
\int_{0}^{t^*_i}\left(\left|s_3^{(4)}\left(\left\{x_i\right\}_{i=0}^n,t\right)\right|+\frac{1}{n^\gamma}\right)^\alpha dt=\frac{i}{n}A_n,
A_n=\int_{0}^{T}\left(\left|s_3^{(4)}\left(\left\{x_i\right\}_{i=0}^n,t\right)\right|+\frac{1}{n^\gamma}\right)^\alpha dt,
\]
тогда при \(n\to\infty\)
\[
\inf_{\Delta_n}\inf\left\{\|x-\ell(\Delta_n)\|_2\left|\ell(\Delta_n)\in S_1(\Delta_n)\right.\right\}=
\left\|x-s_1\left(\{M^*_i\}_{i=0}^n,\Delta^*_n\right)\right\|_2(1+o(1))=\frac{\theta}{n^2}\|x''\|_\alpha+o\left(\frac{1}{n^2}\right),
\]
где \(\theta=\frac{1}{2!}\left(t^2(1-t^2)\right)^{1/2}\) и \(\alpha=2/5\).
Теорема 2. Пусть \(x\in L^3_2\) такова, что \(x''\) обращается в ноль на конечном числе отрезков или точек из \([0,T]\), и \(s_1(x,\Delta_n,t)\) интерполяционная ломаная по разбиению \(\Delta_n\). Тогда при \(n\to\infty\) \[ \inf_{\Delta_n}\|x-s_1(x,\Delta_n)\|_2=\frac{\theta}{n^2}\|x''\|_2+o\left(\frac{1}{n^2}\right). \]
Действительно, \[ \varepsilon(x,\Delta_n,t)=x-s_1(x,\Delta_n,t)=x(t)-x_{i-1}(1-\tau)-x_i\tau=(x(t)-x_{i-1})(1-\tau)+(x(t)-x_i)\tau= \] \[ =(1-\tau)\int_{t_{i-1,n}}^tx'(u)du-\tau\int_{t}^{t_{i,n}}x'(u)du =\int_{i_{i-1,n}}^{t_{i,n}}K(t,u)x'(u)du,\] где \[ K(t,u)= \left\{ \begin{array}{ll} (1-\tau), & \hbox{ }u\in [t_{i-1,n},t], \\ \tau, & \hbox{ }u\in (t,t_{i,n}] \end{array} \right. \] Интегрируя последнее соотношение по частям и учитывая, что \(K(t,u)\), как функция по \(u\), в среднем равна нулю на промежутке \([t_{i-1,n},t_{i,n}]\), получаем для \(t\in [t_{i-1,n},t_{i,n}]\) \[ x(t)-s_1(x,\Delta_n,t)-\int_{t_{i-1,n}}^{t_{i,n}}\mathbb{K}(t,u)x''(u)du, \] где \[ \mathbb{K}(t,u)= \left\{ \begin{array}{ll} (u-t_{i-1,n})(1-\tau), & \hbox{ }u\in [t_{i-1,n},t], \\ -(u-t_{i,n})\tau, & \hbox{ }u\in (t,t_{i,n}] \end{array} \right. \] Замечая, что для \(t\in [t_{i-1,n},t_{i,n}]\), функция \(\mathbb{K}(t,u)\) знакопостоянна, можем записать \[ m^-_i|\mathbb{K}(t)|\le |\varepsilon(x,\Delta_n,t)|\le m^+_i|\mathbb{K}(t)|, \] где \[ \mathbb{K}(t)=\int_{t_{i-1,n}}^{t_{i,n}}\mathbb{K}(t,u)du=\frac{1}{2!}(t-t_{i-1,n})(t_{i,n}-t) \] и \[ m^-_i=\min\left\{|x''(t)|\left|t\in [t_{i-1,n},t_{i,n}]\right.\right\}, m^+_i=\max\left\{|x''(t)|\left|t\in [t_{i-1,n},t_{i,n}]\right.\right\}. \] Сделав замену переменных \(\tau=t-t_{i-1,n}\), получим \[ \|\mathbb{K}\|_{2[t_{i-1,n},t_{i,n}]}=h^{1/\alpha}_i\theta, \] и, следовательно, \begin{equation}\label{2} m^-_ih^{1/\alpha}_i\theta\le \|\varepsilon(x,\Delta_n)\|_{2[t_{i-1,n},t_{i,n}]}\le m^+_ih^{1/\alpha}_i\theta. \end{equation} Таким образом, получаем \[ \|x(t)-s_1(x,\Delta_n)\|^2_2\ge \theta^2\sum_{i=0}^n\left|m^-_ih^{1/\alpha}_i\right|^2= \theta^2\sum_{i=0}^n\left(\int_{t_{i-1,n}}^{t_{i,n}}\left|y^-_n(t)\right|^\alpha dt\right)^{2/\alpha} \] где \(y^-_n(t)\) есть кусочно-постоянная функция, равная \(m^-_i\) для \(t\in [t_{i-1,n},t_{i,n}]\).
Теорема A.
Пусть \(r=1,...,5\), \(p\in [1,\infty], \alpha=(r+1+p^{-1}-\nu)^{-1}\) и \(\nu=0,...,r\).
Тогда для любой функции \(x\in L^{r+1}_\infty\) такой, что \(|x^{(r+1)}|(t)>0 (t\in [a,b])\) при \(n\to\infty\) последовательность разбиений
\(\left\{\Delta^*_n\right\}_{n=1}^\infty=\left\{\left\{t^*_{i,n}\right\}_{i=0}^n\right\}_{n=1}^\infty\), определяемая из равенств
\[
\int_a^{t^*_{i,n}}|z_n(t)|^\alpha dt=\frac{i}{n}\int_a^b\left|z_n(t)\right|^\alpha dt (i=0,\ldots,n),
\]
где \(z_n(t)\)- любая последовательность функций, такая, что
\(\left|z_n-x^{(r+1)}\right|_\infty \to 0\)
будет асимптотически оптимальной для интерполяционных сплайнов порядка \(r\), при этом
\[
\inf_{\Delta_n}\left\|x^{\nu}-s^{(\nu)}_r(x,\Delta_n)\right\|_p=
\left\|x^{\nu}-s^{(\nu)}_r(x,\Delta^*_n)\right\|_p(1+o(1))=
\frac{\|D_{r+1-\nu}\|_p}{n^{r+1-\nu}}\|x^{(r+1)}\|_\alpha (1+o(1)),
\]
где \(D_{r+1}(t)\) есть \(r\)-й 1-периодический интеграл, в среднем равный нулю на \([0,1]\) от функции \(D_1(t)=t-0.5\).
Алгоритм выбора узлов, где
\(
\Psi(t)=\int_a^t|x^{(r+1)}(\tau)|^\alpha d\tau.
\)
Подведем итог.
Таким образом, если \(X(t)\) третья первообразная \(x(t)\) такая, что \(X''(a)=0\), \(X'(a)=0\) и \(X(a)=0\), то для фиксированного разбиения \(\Delta_n=\left\{a=t_{0}\lt t_{1}\lt\ldots \lt t_{n-1}\lt t_{n}=b\right\} \) и множества \(\{X_i\}_{i=0}^n\), где \(X_i=X(t_i)\), параболический регрессионный сплайн ( третья производная (\ref{holliday}) интерполяционного сплайна пятой степени \(s_5(X,\Delta_n)\)) для \(t\in[t_{i-1},t_i]\) будет иметь вид \begin{equation}\label{regression} \tilde{s}_2(x,\Delta_n,t)= 30\,{\frac { \left(12\,(X_{{i }}-X_{i-1}) - 6\,h_{{i -1/2}}(m_{{i -1}}+m_{{i }})+ h_{i -1/2}^{2}(M_i-M_{i-1}) \right) {\tau}^{2}}{h_{i -1/2}^{3}}}+ \end{equation} \[+12\,{\frac { \left( - 30\,(X_{{i }}-X_{i-1})+ 16\,h_{i -1/2}m_{{i -1}}+ 14\,h_{i -1/2}m_{{i }}- 2\,h_{i -1/2}^{2}M_{{i }}+ 3\,M_{{i -1}}h_{i -1/2}^{2} \right) \tau}{h_{i -1/2}^{3}}}+\] \[+ 3\,{\frac { 20\,(X_{{i }}-X_{i-1})- 8\,m_{{i }}h_{i -1/2}- 12\,m_{{i -1}}h_{i -1/2}+h_{i -1/2}^{2}M_{{i }} - 3\,M_{{i -1}}h_{i -1/2}^{2}}{h_{i -1/2}^{3}}} \]
B-сплайн \(B_{0,h}(t)\).
B-сплайн \(B_{5,h}(t)\).
Функция \(B^{(3)}_{5,h}(t)\).
Параболический В-сплайн.
Вторая производная параболического В-сплайна.