Приведенная методология определения аппроксимирующих функций методом наименьших квадратов годится лишь для функций, у которых неопределенные коэффициенты заданы линейно. Если же это условие не выполняется, то прямое использование метода наименьших квадратов невозможно.
Как же быть в этом случае? Возможно ли вообще использовать в таких случаях метод наименьших квадратов? Да. Возможно. Но тогда нужно проводить некоторые дополнительные построения, линеаризующие (по коэффициентам) приближающую функцию.
Проиллюстрируем это на нескольких примерах.

1. Пусть приближающая функция имеет вид $x = \frac{1}{\alpha t + \beta }$.
   Тогда для $x_i$ошибка будет равна $$\begin{equation}\label{eq1.4} \delta _i = x_i - \frac{1}{\alpha t_i + \beta }. \end{equation}$$ Прямое использование метода наименьших квадратов приводит к минимизации величины $$\begin{equation} \label{eq1.5} S(\alpha ,\beta ) = \sum\limits_{i = 1}^n {\delta _i ^2} = \sum\limits_{i = 1}^n {\left( {x_i - \frac{1}{\alpha t_i + \beta }} \right)^2} . \end{equation}$$ Взяв частные производные по $\alpha$и $\beta$, и приравняв их нулю, получим систему из двух нелинейных уравнений, $$\left\{ {{\begin{array}{*{20}c} {\frac{\partial S(\alpha ,\beta )}{\partial \alpha } = 2\sum\limits_{i = 1}^n {\left( {x_i - \frac{1}{\alpha t_i + \beta }} \right)\frac{t_i }{(\alpha t_i + \beta )^2} = 0,} } \hfill \\ {\frac{\partial S(\alpha ,\beta )}{\partial \alpha } = 2\sum\limits_{i = 1}^n {\left( {x_i - \frac{1}{\alpha t_i + \beta }} \right)\frac{1}{(\alpha t_i + \beta )^2} = 0,} } \hfill \\ \end{array} }} \right.$$ которая не подлежит точному решению. В связи с этим, проведем некоторые построения.
   Рассмотрим величины $$\Delta _i = x_i \left( {\alpha t_i + \beta } \right) - 1,(i = 1,2,...,n).$$ Установим зависимость между $\Delta _i$ и $\delta _i$. Из ($\ref{eq1.4}$) получаем $$\alpha t_i + \beta = \frac{1}{x_i - \delta _i }.$$ Тогда $$\Delta _i = \frac{x_i }{x_i - \delta _i } - 1 = \frac{\delta _i }{x_i - \delta _i },(i = 1,2,...,n),$$ и, следовательно, при малых $\Delta _i$ $$\delta _i = \frac{x_i \Delta _i }{\Delta _i + 1} \approx x_i \Delta_i.$$ Тогда задача ($\ref{eq1.5}$) сводится к задаче определения коэффициентов $\alpha$ и $\beta$так, чтобы величина $$\sum\limits_{i = 1}^n {\left( {x_i \Delta _i } \right)^2} = \sum\limits_{i = 1}^n {\left( {1 - \alpha t_i x_i - \beta x_i } \right)^2x_i^2 .}$$ была минимальной.
   Таким образом, мы пришли к задаче ($\ref{eq1.2}$) при условии, что приближаемая функция тождественно равна единице и $\varphi _0 (t) = tx(t),\varphi _1 (t) = x(t)$ с весом $\rho _i = x_i .$
   Погрешность приближения имеет вид $$\sigma = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {\left( {x_i - \frac{1}{\alpha t_i + \beta }} \right)^2} } .$$
2. Рассмотрим другой пример. Пусть приближающая функция имеет вид $$x = \frac{t}{\alpha t + \beta }.$$ Для $x_i$ ошибка будет равна $$\begin{equation} \label{eq1.6} \delta _i = x_i - \frac{t_i }{\alpha t_i + \beta } \end{equation}$$ и $$\Delta _i = x_i \left( {\alpha t_i + \beta } \right) - t_i ,(i = 1,2,...,n).$$ Установим связь между $\Delta _i$и $\delta _i$. Из ($\ref{eq1.6}$) имеем $$\alpha t_i + \beta = \frac{t_i }{x_i - \delta _i }.$$ Тогда $$\Delta_i = \frac{t_i x_i }{x_i - \delta _i } - t_i = \frac{t_i \delta_i }{x_i - \delta _i },(i = 1,2,...,n),$$ Отсюда при малых $\Delta _i$ $$\delta _i = \frac{x_i \Delta _i }{\Delta _i + t_i } \approx \frac{x_i }{t_i }\Delta _i .$$ Для малых $\delta _i$ $$\sum\limits_{i = 1}^n {\delta _i ^2} \approx \sum\limits_{i = 1}^n {\left({\frac{x_i }{t_i }\Delta _i } \right)^2}$$ и $$\sum\limits_{i = 1}^n {\left( {\frac{x_i }{t_i }\Delta _i } \right)^2} = \sum\limits_{i = 1}^n {\left( {t_i - \alpha t_i x_i - \beta x_i } \right)^2\left( {\frac{x_i }{t_i }} \right)^2} .$$ Таким образом, мы пришли к задаче ($\ref{eq1.2}$) при условии, что приближаемая функция тождественно равна $t$и $\varphi _0 (t) = tx(t),\varphi _1 (t) =x(t)$ и $\rho _i = x_i /t_i.$
   Погрешность приближения имеет вид $$\sigma = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {\left( {x_i - \frac{t_i}{\alpha t_i + \beta }} \right)^2} } .$$
3. Наконец, пусть приближающая функция имеет вид $$x = \frac{\alpha t + \beta }{\gamma t + 1}.$$ Задача состоит в нахождении коэффициентов $\alpha$, $\beta$, $\gamma$, при которых величина $$\sum\limits_{i = 1}^n {\delta _i^2 = } \sum\limits_{i = 1}^n {\left( {x_i - \frac{\alpha t_i + \beta }{\gamma t_i + 1}} \right)^2}$$ будет минимальной. Линеаризуем эту задачу.
   Пусть $$\Delta _i = \gamma t_i x_i + x_i - \alpha t_i - \beta ,(i = 1,2,...,n).$$ Установим связь между $\Delta _i$и $\delta _i$. Из предыдущего получаем $$\frac{\Delta _i }{\gamma t_i + 1} = x_i - \frac{\alpha t_i + \beta }{\gamma t_i + 1}.$$ Таким образом, имеем $$\frac{\Delta _i }{\gamma t_i + 1} = \delta _i .$$ Для малых $\delta _{i}$ получаем задачу, эквивалентную искомой $$\sum\limits_{i = 1}^n {\left( {\frac{\Delta _i }{\gamma t_i + 1}} \right)^2} = \sum\limits_{i = 1}^n {\left( {x_i - \alpha t_i - \beta + \gamma t_i x_i } \right)^2\left( {\frac{1}{\gamma t_i + 1}} \right)^2 \to \min } .$$ Использовать метод наименьших квадратов не представляется возможным, так как в "вес" входит неизвестный параметр $\gamma {\rm u}$Поэтому рассмотрим итерационный метод пошагового уточнения весовых коэффициентов.
   Для задачи ($\ref{eq1.2}$) положим $\varphi _0 (t) = t,\varphi _1 (t) = 1,\varphi _2 (t) = - tx(t)$и $\rho _i = 1.$ Решая эту задачу, получаем первое приближение $\alpha_1, \beta_1, \gamma_1$.
   Полагая теперь $\varphi _0 (t) = t,\varphi _1 (t) = 1,\varphi _2 (t) = -tx(t), \quad \rho _i = \frac{1}{\gamma _1 t_i + 1}.$и снова решая эту задачу, получаем $\alpha _2 ,\beta _2 ,\gamma _2$. Продолжая этот процесс при $\varphi _0 (t) = t,\varphi _1 (t) = 1,\varphi _2 (t) = - tx(t), \quad \rho _i = \frac{1}{\gamma _2 t_i + 1},$ получим следующее приближение значений $\alpha ,\beta ,\gamma$.
   Итерацию будем продолжать до тех пор пока не будут выполняться соотношения $$\left\{ {{\begin{array}{*{20}c} {\left| {\alpha _k - \alpha _{k - 1} } \right| \lt \varepsilon ,} \hfill \\ {\left| {\beta _k - \beta _{k - 1} } \right| \lt \varepsilon ,} \hfill \\ {\left| {\gamma _k - \gamma _{k - 1} } \right| \lt \varepsilon ,} \hfill \\ \end{array} }} \right.$$ где $\varepsilon$- заданная погрешность. Естественно, все множество используемых регрессионных моделей не исчерпывается дробно-линейными функциями, достаточно часто используются степенные и показательные функции.
4. Будем искать приближающую функцию в виде $x = \alpha t^\beta$. Для всех $i = 1,2,\ldots ,n$ положим $\delta _i = x_i - \alpha t_i^\beta$и $$\Delta _i = \ln x_i - \ln \alpha - \beta \ln t_i = \ln \frac{x_i }{\alpha t_i^\beta }.$$ Далее, установим связь между этими величинами. Из первого равенства найдем $\alpha t_i^\beta = x_i - \delta _i$и подставим во второе $$\Delta _i = \ln \frac{x_i }{x_i - \delta _i }.$$ Отсюда $x_i - \delta _i = x_i \exp \left( { - \Delta _i } \right)$при малых $\Delta _i$можем записать $\delta _i = x_i \left( {1 - \exp \left( { -\Delta _i } \right)} \right) \approx x_i \Delta _i .$Таким образом, задачу минимизации величины $\sum\limits_{i = 1}^n {\delta _i ^2}$ можно заменить задачей минимизации величины $$\sum\limits_{i = 1}^n {\left( {x_i \Delta _i } \right)^2 = } \sum\limits_{i= 1}^n {\left( {\ln x_i - \ln \alpha - \beta \ln t_i } \right)^2} x_i^2 ,$$ которая является задачей ($\ref{eq1.2}$).
   Погрешность приближения имеет вид $$\sigma = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {\left( {x_i - \alpha t_i^\beta } \right)^2} } .$$
5. Пусть приближающая функция задана в виде $x = \alpha \beta ^t$. Для всех $i = 1,2,\ldots ,n$ положим $$\delta _i = x_i - \alpha \beta ^{t_i }$$ и $$\Delta _i = \ln x_i - \ln \alpha - t_i \ln \beta = \ln \frac{x_i }{\alpha \beta ^{t_i }}.$$ Найдем связь между этими величинами.
   Выражая из первого равенства $\alpha \beta ^{t_i } = x_i - \delta _i$ и подставляя во второе, получаем $$\Delta _i = \ln \frac{x_i }{x_i - \delta _i }.$$ Следовательно, $\delta _i = x_i \left( {1 - \exp \left( { - \Delta _i }\right)} \right) \approx x_i \Delta _i .$Таким образом, по аналогии, задачу минимизации величины $\sum\limits_{i = 1}^n {\delta _i ^2}$ можно заменить задачей минимизации величины $$\sum\limits_{i = 1}^n {\left( {x_i \Delta _i } \right)^2 = } \sum\limits_{i = 1}^n {\left( {\ln x_i - \ln \alpha - t_i \ln \beta } \right)^2} x_i^2 ,$$ которая является задачей ($\ref{eq1.2}$).
   Погрешность приближения будет иметь вид $$\sigma = \sqrt {\frac{1}{N}\sum\limits_{i = 1}^N {\left( {x_i - \alpha \beta ^{t_i }} \right)^2} } .$$

Фильтр Колмогорова-Винера является основополагающей конструкцией среди адаптивных линейных фильтров. Его суть состоит в следующем - на фильтр подаются одновременно два сигнала $x_k$ и $y_k$, при этом $y_k$ состоит из двух составных частей, одна из которых коррелирует с $x_k$, другая, не коррелирует. Данный фильтр реализует оптимальную оценку той части $y_k$, которая коррелирует с $x_k$, затем полученное значение оценку вычитается из $y_k$ и получается значение ошибки (значение шума, помех) $e_k$: $$e_k=y_k-\textbf{W}^T\textbf{X}_k=y_k-\sum_{i=0}^Mw(i)x_{k-i},$$ где $\textbf{X}_k$ и $\textbf{W}$ - векторы входного сигнала и весовых коэффициентов, соответственно: $$\textbf{X}_k=\left( \begin{array}{cc} x_k\\ x_{k-1}\\ \vdots\\ x_{k-(M-1)}\\ \end{array} \right), \textbf{W}=\left( \begin{array}{cc} w(0)\\ w(1)\\ \vdots\\ w(M-1)\\ \end{array} \right).$$ Тогда $$e^2_k=y^2_k-2y_k\textbf{X}^T_k\textbf{W}+\textbf{W}^T\textbf{X}_k\textbf{X}_k^T\textbf{W}.$$ Найдем среднеквадратическую ошибку $$J=E[e^2_k]-2E\left[y_k\textbf{X}^T_k\textbf{W}\right]+E\left[\textbf{W}^T\textbf{X}_k\textbf{X}_k^T\textbf{W}\right]= \sigma^2+2\textbf{P}^T\textbf{W}+\textbf{W}^T\textbf{R}\textbf{W},$$ где $E[\cdot]$ - математическое ожидание, $\sigma^2=E\left[y_k^2\right]$ - дисперсия $y_k$, $\textbf{P}= E\left[y_k\textbf{X}_k\right]$ -$M$-компонентный вектор взаимной корреляции и $\textbf{R}= E\left[\textbf{X}_k\textbf{X}_k^T\right]$ - автокорреляционная матрица $M\times M$.
Нахождение оптимальных весов сводится к задаче $$\nabla=\frac{dJ}{d\textbf{W}}=0.$$ Ясно, что $$\nabla=\frac{dJ}{d\textbf{W}}= \frac{d\sigma^2}{d\textbf{W}}+2\frac{d(\textbf{P}^T\textbf{W})}{d\textbf{W}}+\frac{d(\textbf{W}^T\textbf{R}\textbf{W})}{d\textbf{W}},$$ и $$\frac{d\sigma^2}{d\textbf{W}}=0, \frac{d(\textbf{P}^T\textbf{W})}{d\textbf{W}}=-\textbf{P}, \frac{d(\textbf{W}^T\textbf{R}\textbf{W})}{d\textbf{W}}=2\textbf{R}\textbf{W}.$$ Тогда $$\nabla=\frac{dJ}{d\textbf{W}}=-2\textbf{P}+2\textbf{R}\textbf{W}=0.$$ Каждый набор коэффициентов $w(i)$ $i=0,1,2,...,M$ соответствует точке, которая при значении градиента, равным нулю, достигает оптимального значения $$\textbf{W}_{opt}=\textbf{R}^{-1}\textbf{P}.$$ Данное соотношение называется уравнением Винера-Хопфа.
Использование винеровских фильтров имеет ограничения ввиду следующих недостатков:

• для построения фильтра необходима информация об автокорреляционной матрице $\textbf{R}$ и векторе взаимной корреляции $\textbf{P}$,
• получение фильтра использует обращение матрицы, что является достаточно трудоемким процессом,
• если сигнал нестационарен, то вычисление весов нужно проводить многократно.

Построим, используя подход Уидроу, адаптивный алгоритм, свободный от этих недостатков.
Используем конструкцию последовательного обновления весовых коэффициентов $\textbf{W}_{k+1}=\textbf{W}-\mu \nabla_k$ ($k$-й шаг выборки, параметр $\mu$ определяет устойчивость и скорость сходимости) в виде $$\textbf{W}_{k+1}=\textbf{W}_k+2\mu e_k\textbf{X}_k, e_k=y_k-\textbf{W}^T\textbf{X}_k.$$ Условие сходимости $\mu>1/\lambda_{\max}$, где $\lambda_{\max}$- максимальное собственное значение ковариационной матрицы данных.
Алгоритм. На первом шаге каждому весовому коэффициенту $w(i)$ $i=0,1,2,...,M$ присваивается произвольное значение, например, ноль.
Для каждого шага выборки $k=1,2,...$ находим ошибку $$e_k=y_k-\sum_{i=0}^Mw_k(i)x_{k-i},$$ и обновляем весовые коэффициенты $$w_{k+1}(i)=w_{k}(i)+2\mu e_kx_{k-i}.$$

Далее речь пойдет о построении оптимальных (адаптивно- оптимальных для функции $f(M)$) фильтров. Естественно, когда речь идет о построении оптимальных фильтров, нужно определить класс функций, среди которых будем искать оптимальные. Естественно, чем уже этот класс, тем быстрее будет реализована реконструкция -- так, при использовании фильтров размером $3\times 3$, каждый их фильтров представим в виде линейной комбинации не более девяти функций "ступенек". При этом, если наложить условие симметрии, то число используемых "ступенек" можно существенно уменьшить.
Пусть $\mathbf{U}^n$ линейное многообразие фильтров размером $n$. Пусть $\left\{u^k\right\}_{k=0}^{n-1}$ множество фильтров, линейная оболочка которых совпадает с $\mathbf{U}^n$. Тогда $\forall u\in\mathbf{U}^n$ $$u(M)=\sum_{k=0}^{n-1}\alpha_ku^k(M).$$ $f(M)$ функция из пространства $L_2$, кроме того, дан фиксированный набор точек $\left\{M_k\right\}_{k=1}^m$ и вес $p(M)$.
Фильтр $\widehat{u}\in\mathbf{U}^n$ будем называть оптимальным для функции $f(M)$ (при фиксированных точках $\left\{M_k\right\}_{k=1}^m$, веса $p(M)$ и класса $\mathbf{U}^n$), если для любых $c_k$ и $\forall u\in\mathbf{U}^n$ $$\begin{equation}\label{9} \left\|f(\cdot)-\sum_{k=1}^{m}\widehat{c}_k(f,\widehat{u})\widehat{u}(\cdot-M_k)\right\|_2\le \left\|f(\cdot)-\sum_{k=1}^{m}{c}_k{u}(\cdot-M_k)\right\|_2. \end{equation}$$ Перефразируем эту задачу следующим образом. Пусть $\left\{u^k\right\}_{k=0}^{n-1}$ множество фильтров, линейная оболочка которых совпадает с $\mathbf{U}^n$. Нужно найти линейную комбинацию фильтров $\left\{u^k\right\}_{k=0}^{n-1}$ так, чтобы в результате получить оптимальный фильтр $\widehat{u}(M)$, то есть подобрать числа $\left\{\beta_k\right\}_{k=1}^{n-1}$ так, чтобы получить фильтр $$\widehat{u}(M)=u^0(M)+\sum_{k=1}^{n-1}\beta_ku^k(M),$$ то есть найти оптимальный фильтр на классе $\mathbf{U}^n$.
Наши дальнейшие построения будут посвящены определению чисел $\left\{\beta_k\right\}_{k=1}^{n-1}$.
Пусть $\left\{\widehat{c}_k(f,u^0)\right\}_{k=1}^{m}$ домен, полученный оптимальной фильтрацией сдвигами фиксированного фильтра $u^0(M)$ по системе точек $\left\{M_k\right\}_{k=1}^m$. Положим далее $f_\nu(M)$ восстановление (реконструкция) фильтром $u^\nu(M)$ по домену $\left\{\widehat{c}_k(f,u^0)\right\}_{k=1}^{m}$, то есть $$f_\nu(M)=\sum_{i=1}^m\widehat{c}_i(f,u^0)u^\nu(M-M_i).$$ Рассмотрим систему линейных уравнений $$\sum_{\mu=1}^{n-1}\beta_\mu\left\lt f_\nu, f_\mu\right\gt= \left\lt f, f_\nu\right\gt - \left\lt f_0, f_\nu\right\gt$$ для всех $\nu=1,\ldots,n-1.$
Решая эту систему, полагаем $$u^0(M):=u^0(M)+\sum_{\mu=1}^{n-1}\beta_\mu u^\mu(M).$$ Для нового фильтра $u^0(M)$ вновь по сдвижкам $\left\{M_k\right\}_{k=1}^m$ проведем оптимальную фильтрацию и найдем новый домен $\left\{\widehat{c}_k(f,u^0)\right\}_{k=1}^{m}$ и продолжим итерацию, пока коэффициенты домена не стабилизируются. После этого положим $\widehat{u}^0(M)=u^0(M)$. Процесс сходится достаточно быстро.
Заметим, что в описанном алгоритме мы не накладываем никаких условий на фильтр. Если потребовать, чтобы фильтр был симметричным, то качество восстановления, естественно, несколько ухудшится, но информация о фильтре существенно сократится.
Пусть, теперь даны две системы точек $\left\{M_k\right\}_{k=1}^m$ и $\left\{N_k\right\}_{k=1}^m$, а также два множества фильтров $\mathbf{U}^n$ и $\mathbf{V}^n$. При фиксированных $\left\{M_k\right\}_{k=1}^m$, $\left\{N_k\right\}_{k=1}^m$, веса $p(M)$ и классов $\mathbf{U}^n$, $\mathbf{U}^m$, нужно найти такие $\widehat{u}\in\mathbf{U}^n$ и $\widehat{v}\in\mathbf{V}^n$, что для любых $c_k, b_k$ и $\forall u\in\mathbf{U}^n, \forall v\in\mathbf{V}^n$ $$\begin{equation}\label{10} \left\|f(\cdot)-\sum_{k=1}^{m}\widehat{c}_k(f,\widehat{u})\widehat{u}(\cdot-M_k) -\sum_{k=1}^{m}\widehat{b}_k(f,\widehat{v})\widehat{v}(\cdot-N_k)\right\|_2\le \end{equation}$$ $$\left\|f(\cdot)-\sum_{k=1}^{m}{c}_k{u}(\cdot-M_k)-\sum_{k=1}^{m}{b}_k{v}(\cdot-N_k)\right\|_2.$$ Пусть $\widehat{u}^0\in\mathbf{U}^n$ фильтр оптимальный для функции $f(M)$ (при фиксированных точках $\left\{M_k\right\}_{k=1}^m$, то есть получен из условий ($\ref{9}$). Для ошибки восстановления $\Delta f(M)=f(M)-f_0(M)$ найдем оптимальный фильтр $\widehat{v}^0\in\mathbf{V}^n$. Тогда для $\widehat{u}\in\mathbf{U}^n$ и $\widehat{v}\in\mathbf{V}^n$ определяемых условиями ($\ref{10}$) будет иметь место соотношение $$\begin{equation}\label{11} \left\|f(\cdot)-\sum_{k=1}^{m}\widehat{c}_k(f,\widehat{u})\widehat{u}(\cdot-M_k) -\sum_{k=1}^{m}\widehat{b}_k(f,\widehat{v})\widehat{v}(\cdot-N_k)\right\|_2\le \end{equation}$$ $$\left\|f(\cdot)-\sum_{k=1}^{m}\widehat{c}_k(f,\widehat{u}^0)\widehat{u}^0(\cdot-M_k) -\sum_{k=1}^{m}\widehat{b}_k(f,\widehat{v}^0)\widehat{v}^0(\cdot-N_k)\right\|_2.$$ Ввиду того, что левая часть этого неравенства не намного отличается от правой, то можно построить итерационный процесс, позволяющий получить оптимальные фильтры $\widehat{u}\in\mathbf{U}^n$ и $\widehat{v}\in\mathbf{V}^n$.
Алгоритм выглядит следующим образом.
Используя стартовый фильтр из множества $\mathbf{U}^n$ при фиксированных точках $\left\{M_k\right\}_{k=1}^m$, веса $p(M)$ и класса $\mathbf{U}^n$ построим оптимальный фильтр $u^*(M)$ и, соответственно, домен $\left\{\widehat{c}_k(f,u^*)\right\}_{k=1}^{m}$. Реконструкция по полученному фильтру и домену будет иметь вид $$f(u^*,M)=\sum_{i=1}^m\widehat{c}_i(f,u^*)u^*(M-M_i).$$ Используя ошибку восстановления $\Delta f(M)=f(M)-f(u^*,M)$ в качестве исходных данных, находим оптимальный фильтр $v^*(M)$ из множества $\mathbf{U}^n$ и, соответствующий домен $\left\{\widehat{c}_k(f,v^*)\right\}_{k=1}^{m}$.
Далее, используя $f(M)-f(v^*,M)$ в качестве исходных данных и стартовый фильтр $u^*(M)$, получаем новый фильтр $u^*(M)$ и, соответствующий домен $\left\{\widehat{c}_k(f,u^*)\right\}_{k=1}^{m}$. Повторяя этот процесс, получим пару оптимальных фильтров $\widehat{u}(M)$ и $\widehat{v}(M)$.
В этом случае, наряду с определением оптимальных доменов на каждом уровне итерации заново вычисляются значения фильтров. В начале последовательно улучшаем, как было показано в предыдущем разделе, коэффициенты $c_k$ и $b_k$, потом "поправляем" фильтр $u(M)$, находим реконструкцию, и по ошибке реконструкции "поправляем" фильтр $v(M)$ и т.д.
Для трех базисных функций, вначале находим $u^*(M)$ и $v^*(M)$, потом по полученной ошибке находим функцию $w^*(M)$ и процесс повторяем.
Этот алгоритм легко обобщается на случай произвольного числа базисных функций.
Заметим, что в результате применения этого алгоритма к полной системе базисных функций, получим ошибку восстановления равную нулю.
Полученный алгоритм устойчив как по ошибке, так и по коэффициентам оптимальных доменов, но сходимость по фильтрам не устойчива, что говорит о скрытых внутренних связях фильтров внутри одного класса. Другой особенностью формирования оптимальных фильтров является зависимость скорости сходимости от вида стартового фильтра. В качестве первого (низкочастотного) фильтра следует брать центрально-симметричный фильтр Гаусса, а вот относительно вида симметрии остальных фильтров, то об этом сложно судить. Традиционная теория всплесков в этом случае использует зеркально- квадратурные функции. Однако в этом случае все зеркально- квадратурные базисные функции восстанавливают исходные данные практически одинаково. В нашей постановке каждая последующая базисная функция принимает меньшее участие в восстановлении данных, чем предыдущая, что существенно отличается от используемых детерминированных всплесков.
Проиллюстрируем вышесказанное примерами.

Тестовое изображение Lena.

Для тестового рисунка Lena возьмем фильтр Хаара в качестве стартового $$u=\left[ \begin{array}{rrrrrr} 0 & 0 & 0& 0& 0& 0 \\ 0 & 0 & 0& 0& 0& 0 \\ 0 & 0 & 1& 1& 0& 0 \\ 0 & 0 & 1& 1& 0& 0 \\ 0 & 0 & 0& 0& 0& 0 \\ 0 & 0 & 0& 0& 0& 0 \\ \end{array} \right],$$ ошибка фильтрации этим фильтром равна 27692547,0.
После первой итерации получим фильтр $$u=\left[ \begin{array}{rrrrrr} 0,044 & 0,0054 & -0,072 & -0,0908 &-0,0179& 0,0386\\ -0,0235& -0,0259 &0,0697 & 0,0931& 0,0031 & -0,0237\\ -0,0973& 0,0697&0,484& 0,5142& 0,1157& -0,0874\\ -0,088 & 0,1157& 0,5181& 0,4836 & 0,0684 & -0,0966\\ -0,0245& 0,0039& 0,0961& 0,0673& -0,0283&-0,021\\ 0,0376 & -0,017 & -0,0887& -0,0747& 0,0036& 0,0457\\ \end{array} \right],$$ ошибка фильтрации которым равна 13134435.
Пятая итерация приведет к фильтру $$u=\left[ \begin{array}{rrrrrr} 0,0343 & -0,0119& -0,0573 &-0,0767& -0,0321& 0,0324\\ -0,0305& -0,0401& 0,0742& 0,1009& 0,0002 & -0,0246\\ -0,0746& 0,1031&0,4387& 0,4704& 0,1542 & -0,0627\\ -0,0617& 0,1576& 0,4751& 0,4359& 0,0997& -0,0742\\ -0,0251& 0,0016 & 0,1035& 0,0703& -0,0416&-0,0265\\ 0,0306& -0,0321& -0,0747& -0,0601& -0,0126& 0,037 \end{array} \right],$$ ошибка фильтрации которым равна 12463387.
Двадцатая итерация дает фильтр $$u=\left[ \begin{array}{rrrrrr} 0,0042 & -0,0351 &-0,0441& -0,0479& -0,0359& 0,0066\\ -0,0431& -0,0369& 0,0624 & 0,084 & 0,0092& -0,0226\\ -0,0091& 0,1513&0,3739& 0,3862& 0,1846& 0,0077\\ 0,0153& 0,1983& 0,393 & 0,3631& 0,1395 & -0,0101\\ -0,02& 0,0101& 0,081 & 0,0567& -0,0339&-0,0351\\ 0,0045 & -0,0403& -0,0502& -0,0435& -0,0296& 0,009\\ \end{array} \right],$$ дающий ошибку фильтрации 1193178.
Приведем в качестве примера полную систему оптимальных непересекающихся фильтров для каждой цветовой компоненты тестового изображения Lena.
Для компоненты Red полная система оптимальных четырехполосных фильтров имеет вид $$u^0_R=\left[ \begin{array}{rrrr} 0,0067 & 0,0751& 0,0734& 0,0124\\ 0,1311& 0,2956& 0,2804& 0,1061\\ 0,1655& 0,3204& 0,2555& 0,0931\\ 0,0357& 0,1067& 0,0535& -0,0079\\ \end{array} \right],$$ $$u^1_R=\left[ \begin{array}{rrrr} -0,9439& -0,2858& 0,838& -0,3891\\ 0,5188 & 0,9338 & 2,2864 & -0,0711\\ -2,4294& -1,7192& 0,4694 & -0,9228\\ -0,6853& 0,1831& 0,9279& 0,7125\\ \end{array} \right],$$ $$u^2_R=\left[ \begin{array}{rrrr} -0,3753& 0,2395& 0,0279& 0,0815\\ 0,0551& 1,121& -0,5542& -0,025\\ -0,1452& 0,1464& -0,238& 0,1437\\ -0,0806& -0,0221&0,1039& -0,2341\\ \end{array} \right],$$ $$u^3_R=\left[ \begin{array}{rrrr} 0,0995& -0,0854& -0,1311& 0,3194\\ -0,2824& 0,2691 & -0,475& 0,17\\ 0,3369& -0,1834& 0,8283& -0,7653\\ -0,1554& 0,1689&-0,1051& 0,3738\\ \end{array} \right].$$ Для компоненты Green полная система оптимальных четырехполосных фильтров имеет вид $$u^0_G=\left[ \begin{array}{rrrr} 0,0102& 0,0727& 0,0933& 0,0362\\ 0,0924& 0,2508& 0,2746& 0,1182\\ 0,1313& 0,2861& 0,2686& 0,1084\\ 0,0537& 0,1182& 0,0823& 0,0159\\ \end{array} \right],$$ $$u^1_G=\left[ \begin{array}{rrrr} 0,2533& -0,7758& 0,8652& -0,5277\\ 0,9539 & -0,3739& 1,9352 & -0,6654\\ -0,5798& -1,6429& 1,0226& -0,7823\\ 0,041 & -0,6235& 0,447 & -0,0384\\ \end{array} \right],$$ $$u^2_G=\left[ \begin{array}{rrrr} -0,4064& 0,0352 & 0,1164& -0,0684\\ 0,3046 & 1,1586& 0,0993& -0,031\\ -0,1368& -0,0079& -0,0606& 0,0317\\ -0,0621& -0,0314& 0,093& 0,0247\\ \end{array} \right],$$ $$u^3_G=\left[ \begin{array}{rrrr} 0,1203& -0,0223& -0,1971& 0,1383\\ -0,1196& 0,3729& -0,0364& 0,0889\\ 0,2533& 0,099& 0,9036& -0,4958\\ -0,1403& 0,0845& -0,1747& 0,2263\\ \end{array} \right],$$ и, наконец, для Blue $$u^0_B=\left[ \begin{array}{rrrr} 0,0046& 0,0467& 0,0928& 0,0472\\ 0,0782& 0,2398& 0,2885& 0,1261\\ 0,128 & 0,3071& 0,2766& 0,1016\\ 0,0512& 0,1261& 0,0839& 0,0103 \end{array} \right],$$ $$u^1_B=\left[ \begin{array}{rrrr} 0,2816& -0,5954& 0,6991& -0,3253\\ 0,4366& -0,5499& 1,4833& -0,4309\\ -0,0143& -0,9492& 0,9337& -0,4406\\ 0,2656& -0,4288&0,105& -0,0921 \end{array} \right],$$ $$u^2_B=\left[ \begin{array}{rrrr} -0,3882& -0,0791& 0,2369& -0,0981\\ 0,2607& 0,9908& 0,3763& 0,0716\\ -0,2032& 0,0023& 0,2344& 0,0218\\ 0,0062& 0,072&-0,0009& -0,0157 \end{array} \right],$$ $$u^3_B=\left[ \begin{array}{rrrr} 0,0296& 0,0855 & -0,2593 &0,1418\\ -0,1991& 0,4245 & 0,137 & 0,0829\\ 0,2737& 0,1023& 0,8866& -0,3345\\ -0,1448& 0,084 & -0,2874& 0,252 \end{array} \right].$$