Непараметрическое оценивание отношений производной многомерной плотности распределения по зависимым наблюдениям

Сибирский математический журнал Март—апрель, 2000. Том 41, № 2

УДК 519.25

НЕПАРАМЕТРИЧЕСКОЕ ОЦЕНИВАНИЕ ОТНОШЕНИЙ ПРОИЗВОДНЫХ МНОГОМЕРНОЙ ПЛОТНОСТИ РАСПРЕДЕЛЕНИЯ ПО ЗАВИСИМЫМ НАБЛЮДЕНИЯМ В. А. Васильев, Г. М. Кошкин Аннотация: Исследуются свойства непараметрических оценок отношений производных многомерной плотности распределения элементов случайной последовательности {εn }, согласованной с некоторым неубывающим потоком σ-алгебр {Fn }. Предполагается, что величины εn одинаково распределены и наблюдаются с аддитивными зависимыми шумами gλ,n−1 , согласованными с {Fn−1 }. Здесь λ ∈ A — вектор, имеющий смысл мешающего параметра, A — множество допустимых значений λ. Найдена главная часть асимптотической среднеквадратической ошибки исследуемых оценок с улучшенной скоростью сходимости, которая при асимптотически ослабевающей зависимости шумов gλ,n совпадает с главной частью среднеквадратической ошибки оценок, построенных по независимым величинам {εn }, когда gλ,n ≡ 0. Установлены сходимость с вероятностью единица, равномерная в A асимптотическая нормальность и сходимость в метрике Lm , m ≥ 2, рассматриваемых оценок производных плотности и их отношений. Учет шумов gλ,n в модели наблюдений позволяет решить задачу оценивания отношений производных плотности распределения возмущений линейных стохастических регрессионных процессов с неизвестными параметрами. Библиогр. 51.

1. Введение Одной из актуальных задач математической статистики является проблема восстановления многомерных плотностей распределений и их производных по зависимым выборкам. Начало таким исследованиям положено в работах [1–4]. Ядерные оценки плотностей распределений для одномерных марковских процессов изучались в [1–3]. Для слабозависимых процессов, в том числе удовлетворяющих различным условиям перемешивания, свойства ядерных оценок (в частности, их среднеквадратические ошибки) исследовались многими авторами (см., например, [4–12]). В ряде работ условия зависимости формулировались в терминах плотностей распределений [4, 13–15] или в их комбинации с условиями перемешивания [6, 7, 10]. Более подробную библиографию можно найти в [16, 17]. Следует также отметить работы [18–20], посвященные проблемам сильной состоятельности ядерных оценок при различных условиях перемешивания, и статьи [21–23], где представлены специфические виды зависимости выборки в задаче восстановления плотности распределения возмущений процесса авторегрессии с помощью ядерных оценок. Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (коды проектов 98–01–00296, 98–01–00297 и 98–07–03194).

c 2000 Васильев В. А., Кошкин Г. М.

Непараметрическое оценивание отношений производных плотности

285

Из недавних работ по этой тематике можно выделить следующие: в [24] для процессов перемешивания получено точное асимптотическое выражение среднеквадратической ошибки ядерной оценки плотности; в [25] показано, что в некоторых случаях наличие зависимости не сказывается на значении асимптотической дисперсии. Наряду с восстановлением плотности распределения представляет интерес проблема оценивания частных производных многомерной плотности и их отношений, знание которых необходимо при решении ряда статистических задач таких, как — восстановление функционала фишеровской информации плотности распределения f [26], являющегося симметричной s × s-матрицей с элементами Z Irq =

∂f ∂f dx , ∂xr ∂xq f (x)

r, q = 1, s;

— оптимальное байесовское оценивание параметра θ экспоненциального распределения,   2  2  ∂f (t) ∂f (t) ∂ f (t) ∂ f (t) θ= ,··· , , ∂t1 ∂t21 ∂ts ∂t2s когда априорное распределение неизвестно [27]; — нахождениe точек экстремума и проверка достаточных условий максимума и минимума многомодальных плотностей распределений (ср. [28]); — построение алгоритма оптимального управления многомерным процессом авторегрессии [29]; — восстановление логарифмической производной плотности распределения, необходимой для оценивания кривой регрессии [30] и при проверке близких гипотез [31]. Рассмотренные задачи представляют особый интерес в случае зависимых наблюдений: например, логарифмическая плотность распределения используется при формировании оптимальных алгоритмов нелинейной фильтрации [32] и адаптивного управления [29] случайных процессов. При оценивании отношений производных плотности используются, как правило, статистики подстановки [33], т. е. отношения каких-либо оценок для них, например ядерных оценок. Исследование свойств таких оценок сопряжено с известными трудностями, связанными с нахождением мажорантных последовательностей [34, с. 388]. В некоторых случаях, например при восстановлении логарифмической производной плотности распределения, можно использовать усеченные оценки, для которых найдено точное асимптотическое выражение их среднеквадратического отклонения [35]. В настоящей работе решается задача восстановления частных производных плотности и их отношений по наблюдениям с аддитивным зависимым шумом. При этом используются устойчивые оценки типа оценок из [36]. Найдена главная часть среднеквадратического отклонения оценок отношений с улучшенной скоростью сходимости, которая, как и в случае независимых наблюдений, имеет скорость сходимости среднеквадратического отклонения оценки старшей производной плотности распределения. Кроме того, установлена скорость сходимости оценок производных плотности и их отношений в метрике Lm , m ≥ 2.

286

В. А. Васильев, Г. М. Кошкин 2. Постановка задачи

Пусть на вероятностном пространстве (Ω, F , P ) выделен неубывающий поток σ-подалгебр {Fn }n≥0 и задана {Fn }-согласованная последовательность ε = {εn }n≥1 одинаково распределенных случайных векторов εn = (εn1 , . . . , εns )0 с плотностью распределения f (t), не зависящих от {Fn−1 } для всех n ≥ 1; штрих обозначает транспонирование. Рассмотрим задачу оценивания отношения T (t) частных производных плотности распределения f (t) последовательности ε: (α)

∂ (α) f (t) = T (t) = (β) ∂tα fb (t) fa (t)



∂ (β) f (t) , ∂tβ

(0)

f0 (t) = f (t),

(1)

αs 1 ∂tα = ∂tα 1 . . . ∂ts , a = (α1 , . . . , αs ), b = (β1 , . . . , βs ) — фиксированные векторы, α1 + α2 + · · · + αs = α, β1 + β2 + · · · + βs = β, по наблюдениям

εn + gλ,n−1 ,

n ≥ 1,

(2)

где gλ = {gλ,n , n ≥ 1} — последовательность согласованных с {Fn } ненаблюдаемых и, возможно, зависимых между собой случайных векторов размерности s, векторный параметр λ ∈ A неизвестен и является мешающим, A — множество допустимых значений λ. Такая ситуация возникает, например, в случае, когда величины εn представляют собой остатки в схеме общей регрессии xn = A(n − 1, x)λ + εn

(3)

с неизвестным векторным параметром λ, A(n, x) — неупреждающие функции наблюдаемого процесса xn , а оценки производных плотности распределения в (1) естественным образом строятся по приближениям остатков εˆn = xn − A(n − 1, x)λ(n − 1) = εn + A(n − 1, x)(λ − λ(n − 1)),

(4)

где λ(n) — последовательность некоторых оценок λ. Заметим, что для детерминированных последовательностей матриц задача восстановления функции распределения независимых величин в модели (3) по наблюдениям (4) рассматривалась в [37], а та же задача для процесса авторегрессии — в работах [23, 38]. В [39] показана возможность использования оценок распределений [38] при проверке гипотез критериями Колмогорова и ω 2 . В [23] также получены ядерные оценки плотности распределения и ее производных для возмущений устойчивой авторегрессии с неасимптотическими свойствами. Другим примером использования модели (3) служит задача восстановления логарифмической производной плотности распределения шумов управляемого процесса авторегрессии, знание которой необходимо при формировании оптимального управления [29]. В качестве оценки отношения T (t) по наблюдениям εn +gλ,n−1 можно взять (α) (β) отношение статистик fˆa (t) и fˆb (t) вида fˆa(α) (t) =

  N X t − εn − gλ,n−1 1 (α) Ka , s+α hN N hN n=1

(5)

Непараметрическое оценивание отношений производных плотности

287

где K(z) — ядерная функция, h = {hN }N ≥1 — некоторая последовательность положительных чисел. Оценки типа (5) плотности f (t) по наблюдениям (2) рассмотрены в работе [40], cогласно которой для оценок (β)

TN (t) = fˆa(α) (t)/fˆb (t)

(6)

отношения T (t) можно установить свойства асимптотической нормальности и сходимости с вероятностью единица. Однако нахождение среднеквадратических ошибок оценок (6) вызывает затруднение в связи с возможной близостью (β) знаменателя fˆb к нулю. Поэтому по аналогии с [36] при восстановлении отношения T (t) воспользуемся оценкой TeN (t) =

TN (t) , (1 + δN |TN (t)|q )ρ

(7)

где δ = {δN }N ≥1 — вспомогательная последовательность положительных чисел, постоянные ρ и q удовлетворяют соотношениям ρq ≥ 1, ρ > 0, q > 0. В данной работе получено точное асимптотическое выражение среднеквадратических ошибок оценок (5) и (7) с улучшенной скоростью сходимости N ν/(s+2(α+ν)) и N ν/(s+2($+ν)) , $ = max(α, β) соответственно, причем главные части среднеквадратического отклонения оценок для зависимых и независимых наблюдений совпадают при N → ∞. Здесь ν — величина, определяемая максимальным порядком дифференцируемости плотности распределения f (t). Аналогичные результаты, имеющие самостоятельное значение, получены также для оценок отношений частных производных плотности распределения шумов многомерных процессов стохастической регрессии, в том числе и для авторегрессии. В этом случае при построении величин εˆn (4) используются последовательные оценки наименьших квадратов с контролируемой среднеквадратической ошибкой. 3. Асимптотические свойства f^a(α) (t) В этом пункте изучаются основные асимптотические свойства оценок производных плотности распределения f (t) по зависимым наблюдениям (2). (α) (α) Далее при отсутствии индекса a = (α1 , . . . , αs ) в обозначениях fa и fˆa подразумевается, что набор компонент α1 , . . . , αs не фиксирован. Определение 1. (i) Плотность распределения f (t) принадлежит N1 (n), если функция f (t) непрерывна вместе с частными производными до порядка n + ν включительно на Rs , n ≥ 0, ν ≥ 2, причем все производные порядка n + ν удовлетворяют условию Липшица с постоянными L ≥ 0 и 0 < γ ≤ 1 для всех y ∈ Rs |ρ(t, y)| ≤ L kt − ykγ , (8) s P где ρ(t, y) = f (n+ν) (t) − f (n+ν) (y), kzk2 = zi2 ; i=1

(ii) плотность распределения f (t) принадлежит N2 (n), если f (t) ∈ N1 (n) и sup f (t) ≤ C. t

Множество монотонно убывающих последовательностей h = {hN }N ≥1 положительных чисел таких, что lim (hN + (N hs+2α )−1 ) = 0, N

N →∞

288

В. А. Васильев, Г. М. Кошкин

обозначим через H1 (α) и для некоторого целого ν ≥ 2 положим n o X −2 H2 (α) = H1 (α) ∩ h : (N hs+2α ) < ∞ , N N ≥1

 s+2(α+ν) H3 (α) = H1 (α) ∩ h : lim N hN =0 . N →∞

Определение 2. Финитная функция K(u) принадлежит B(α), если она непрерывно дифференцируема до порядка α включительно; K(u) ∈ B + (α), R если K(u) ∈ B(α) и K(u)du = 1. Определение 3. Для некоторого четного ν ≥ 2 ядро K(u) принадлежит Σν (α), если Z K(u) ∈ B + (α), K(u) = K(−u), kukν |K(u)| du < ∞, Z

uji K(u) du = 0,

Z

uνi K(u) du 6= 0,

i = 1, s,

j = 1, ν − 1.

Определение 4. (a) Cемейство последовательностей g(A ) = {gλ , λ ∈ A }, принадлежит G1 , если gλ,n → 0 п. н. при n → ∞; (b) g(A ) принадлежит G2 (m1 , m2 , α), если g(A ) ∈ G1 и при N → ∞ suphMλ kgλ,N −1 k2m1 i = o(1/(N hs+2α )m1 ), N A

suphMλ kgλ,N −1 k2m1 m2 i = o 1/ N hs+2α N A


m1


.

Здесь и далее sup = sup , A

hgN i =

λ∈A

N 1 X gn . N n=1

Обозначим
(α) (α)
α Sa,b (fˆ) = Mλ fˆa(α) − fa(α) fˆb − fb ,



2m u2m fˆa(α) = Mλ fˆa(α) − fa(α) ,

α ωa,b (t) = ωaα (t)ωbα (t), Z s 1 X (α+ν) ωaα (t) = fa+bi (ν) (t) uνi K(u) du, bi (ν) = ν(δi1 , . . . , δis )0 , ν! i=1 Z
(α) s+2α −1 2 Lα = Ka(α) (u)Kb (u) du, vN (α) = h2ν , a,b N + N hN

N ≥ 1, δij — символ Кронекера. Следующая теорема отражает основные свойства оценок (5). Теорема 1. (i) Если f (t) ∈ N1 (α), K(u) ∈ Σν (α), h ∈ H1 (α), g(A ) ∈ G2 (1, να , α), να = max(ν + 1, (α + ν + 1)/2), ν ≥ 2, то при N → ∞ α
Lα a,b f (t) α 2ν 2 sup Sa,b (fˆ) − − ω (t)h a,b N = o vN (α) ; s+2α N hN A

Непараметрическое оценивание отношений производных плотности

289

(α) для смещения bN оценки fˆa (t) при g(A ) ∈ G2 (1, ν + 1, α) имеем

sup bN − ωaα (t)hνN = o(vN (α)); A

(ii) если f (t) ∈ N2 (α), K(u) ∈ B + (α), g(A ) ∈ G1 и h ∈ H2 (α), то при всех λ∈A иN →∞ (α) fˆa (t) − fa(α) (t) = o(1) п. н.; (iii) если f (t) ∈ N2 (α), K(u) ∈ Σν (α), h ∈ H3 (α) и g(A ) ∈ G2 (1, να , α), то q s+2α (α)
q
= 0, N hN fˆa (t) − fa(α) (t) ≤ z − Φ z Lα lim sup Pλ a,a f (t)

N →∞ Θ

где Θ = {θ = (λ, t, z), λ ∈ A , t ∈ Rs , z ∈ R1 }, Φ(x) — стандартное гауссовское распределение; (iv) если f (t) ∈ N2 (α), K(u) ∈ Σν (α), g(A ) ∈ G2 (m, ν + 1, α), m ≥ 1, h ∈ H1 (α), то

2m sup u2m fˆa(α) = O vN (α) , N → ∞. A

Доказательство теоремы 1 вынесено в приложение. Замечание 1. Первое утверждение теоремы 1 показывает, в частности, что наличие зависимого шума gλ со свойствами G2 в наблюдениях не изменяет асимптотического значения главной части среднеквадратической ошибки оце(α) нок fˆa (t), оптимизация которой по hN приводит к улучшенной скорости сходимости N ν/(s+2(α+ν)) оценок. Второе и третье утверждения теоремы 1 позволяют установить сходимость с вероятностью 1 и равномерную асимптотическую нормальность оценок TN , а при определенных условиях на последовательность δ — и оценок TeN . 4. Оценивание T (t) Известно [34–36], что оценки подстановки типа TN (t) отношения T (t) неустойчивы при использовании знакопеременных ядер для восстановления производных плотности распределения вследствие возможной близости к нулю зна(α) менателя fˆa (x). В результате оказываются неприменимыми теоремы о среднеквадратических отклонениях оценок сложных функций, имеющих особенности и требующих нахождения мажорантных последовательностей [33, 41, 42]. Один из способов решения этой проблемы дает использование кусочно-гладкой аппроксимации вида (7). Обозначим через φˆ = {φN }N ≥1 последовательность оценок аргумента φ функции H(φ): Rp → R1 , p ≥ 1, T (m, k) = {q > 0 : q > k/ max(1, (k − 1)/2), если e N ) = H(φN )/(1 + δN |H(φN )|q )ρ , и k нечетно; q > 2k/(k − 1), если k четно}, H(φ e N ), которая является следствисформулируем теорему о свойствах оценки H(φ ем 4 работы [43]. Теорема 2. Пусть 1) для некоторого m ≥ 2 M kφN − φk2m = O(d−m N ),

dN ↑ ∞,

290

В. А. Васильев, Г. М. Кошкин

2) функция H(z) принадлежит Wp (φ), т. е. H(z) и все ее частные производные до второго порядка включительно непрерывны и ограничены в некоторой окрестности точки φ, 3) δN = Cd−1 N , 0 < C < ∞, 4) H(φ) 6= 0 или q натуральное четное. Тогда при q ∈ T (m, k) для всех 1 ≤ k ≤ m имеет место неравенство
− k+1 2

e N ) − H(φ)]k = M [∇H(φ)(φN − φ)]k + O d M [H(φ N где ∇H(φ) =

∂H ∂φ1 , . . .

,


∂H , ∂φ . p

Применение теорем 1, 2 к задаче оценивания T (t) приводит к следующему результату. Положим χ(x ≤ a) = (1, x ≤ a; 0, x > a), e α,β = f f (β) L a,b b


−2  α  2 β La,a χ(α ≥ β) − 2T Lα a,b χ(α = β) + T Lb,b χ(α ≤ β) ,

(β)
−2  α ωa χ(α

α,β ω ea,b = fb

2 ≥ β) − T ωbβ χ(α ≤ β) ,

$ = max(α, β).

Теорема 3. Пусть f (t) ∈ N2 ($), ν ≥ 2, g(A ) ∈ G2 (m, ν$ , $) для некотоe рого m ≥ 1, h ∈ H1 ($). Тогда
для оценок TN , определенных в (7), для любых 2 ($) , N → ∞, справедливы соотношения (q, k) ∈ T1 (m), δN = O vN
k sup Mλ |TeN (t) − T (t)|k = O vN ($) ; A

(9)

главная часть среднеквадратического отклонения оценки TeN определяется равенством e α,β f (t) L
a,b α,β 2ν 2 sup Mλ [TeN (t) − T (t)]2 − − ω e h ($) . (10) = o vN N a,b s+2$ N hN A Отметим, что равномерная по λ ∈ A сходимость остаточных членов в (9) и (10) получается вследствие независимости функции f (·) от параметра λ. При этом скорость сходимости среднеквадратического отклонения оценки TeN отношения T определяется скоростью сходимости среднеквадратического отклонения оценки старшей производной плотности f в определении T . В следующих пунктах полученные результаты применяются для конкретных моделей зависимости. 5. Оценивание отношений производных плотности распределения шумов линейных регрессионных процессов Рассмотрим многомерный случайный процесс xn = (xn1 , . . . , xns )0 , удовлетворяющий системе уравнений xn = Ao (n − 1) + A1 (n − 1)λ + εn ,

n = 1, 2, . . . ,

(11)

где λ = (λ1 , . . . , λp )0 — вектор неизвестных параметров, λ ∈ A , A — ограниченное множество в Rp , Ai (n) — наблюдаемые Fn -измеримые матричные функции, возможно, зависящие от наблюдений x1 , . . . , xn . Предположим, что

Непараметрическое оценивание отношений производных плотности

291

размерность p параметра λ не превосходит размерности s процесса x, а шумы εn образуют последовательность независимых одинаково распределенных случайных векторов с плотностью распределения f (t), удовлетворяющей определению 1. Задача состоит в построении улучшенных по скорости сходимости оценок частных производных плотности f (t) и их отношений. Пусть λ(n) — некоторые оценки параметра λ процесса (11). Для восстановления плотности f (t) определим оценки величин εn по формуле εˆn = xn − A0 (n − 1) − A1 (n − 1)λ(n − 1) = εn + gλ,n−1 , gλ,n = A1 (n)∆(n),

(12)

∆(n) = λ − λ(n).

Оценки вида (12) могут использоваться при решении многих статистических задач [23, 37–40]. При определении εˆn в (12) возьмем последовательные оценки параметра λ, предложенные в работе [44]: для i = 1, p положим λi (n) = projA λ∗i (k − 1),

τi (k − 1) ≤ n < τi (k),

(13)

где τi (k)

λ∗i (k)

=k

−ϕ

X

αi (j)ci (j − 1)(A+ (j − 1)(xj − A0 (j − 1)))i ,

j=1

( τi (k) = inf t ≥ 1 :

t X

) ci (j − 1) ≥ k

ϕ

λ∗i (0) = 0,

,

τi (0) = 0;

j=1

 ci (j) =

1/([A01 (j)A1 (j)]−1 )ii , rank A1 (j) ≥ p, 0,

rank A1 (j) < p; τi (k)−1

αi,k =

kϕ −

X

 αi (j) =

1,

j < τi (k),

αi,k , j = τi (k),

! ci (j − 1) /ci (τi (k) − 1);

A+ (j) = [A01 (j)A1 (j)]−1 A01 (j),

j=1

A — замыкание множества A , (a)i обозначает i-ю компоненту вектора a, (A)ij — элемент матрицы A. Отметим, что 0 < ai (j) ≤ 1 для всех i и j. Величины λ∗i (k) представляют собой взвешенные оценки наименьших квадратов, вычисленные в случайные моменты времени τi (k), и имеют заданную величину среднеквадратического отклонения для всех k ≥ 1 [44]. Единственное отличие оценок λ∗i (k) от предложенных в [44] состоит в конкретном выборе параметра H = k ϕ в определении моментов остановки τi (k).
1/m P Обозначим kxkm = |xi |m , ε(n) = (ε01 , . . . , ε0n )0 , mε (θ) = M kε1 kθ , i

∆∗ (k) = λ − λ∗ (k), λ∗ (k) = (λ∗1 (k), . . . , λ∗p (k))0 . Утверждения теорем 1 и 3 для модели наблюдений (11) будут справедливы, если для семейства последовательностей g(A ), определенных в (12), выполнены условия G2 . Лемма. Пусть последовательности gλ , λ ∈ A , определены в (11)–(13) и (i) mε (2(m1 m2 + 1)) < ∞, sup Mλ kc(n)k/n < ∞; A ,n

(ii) для всех n ≥ 0 таких, что rank A1 (n) ≥ p, имеют место неравенства    −1
max A01 (n)A1 (n) jj A01 (n)A1 (n) ≤ C; jj

j=1,s

(14)

292

В. А. Васильев, Г. М. Кошкин (iii) для некоторых постоянных µi (λ) таких, что inf µi (λ) > 0, A

sup

X

A

t≥1

) t X (ci (n − 1) − µi ) ≥ η < ∞,

( 1 Pλ t n=1

(15)

где 0 < η < µi , i = 1, p; (iv) для всех n ≥ 0 выполнена оценка sup kA1 (n)k ≤ Ckε(n)k2(m+1)

(16)

A

и в определении (13) ϕ > m + 1. Тогда g(A ) ∈ G2 (m1 , m2 , α), m1 ≥ 1, m1 m2 ≥ 2 при h ∈ H1 (α), причем sup

N X

A n=1

2m

Mλ kgλ,n−1 k

 =

O(ln N ), m = 1, O(1),

m > 1.

(17)

Доказательство леммы вынесено в приложение. Замечание 2. Условие (15) требуется согласно [45] для доказательства предельных соотношений sup Mλ τi (k) = O(k ϕ ), A

i = 1, p, k → ∞,

(18)

и выполняется, например, для многомерных устойчивых процессов авторегрессии [46]. Однако, как будет показано в п. 6, свойства (18) моментов τi (k) могут иметь место и при более слабых предположениях, чем (15). 6. Примеры В данном пункте теоремы 1 и 3 используются для оценивания отношений производных плотности распределения шумов авторегрессионных процессов, знание которых необходимо, например, для формирования оптимального управления при квадратичном критерии [29]. 6.1. Авторегрессия первого порядка. Пусть xn — скалярный устойчивый процесс авторегрессии первого порядка xn = λxn−1 + εn ,

−∞ < x0 < ∞,

n ≥ 1,

(19)

с неизвестным параметром λ : |λ| < 1; {εn } — последовательность независимых одинаково распределенных случайных величин с плотностью распределения f (t), удовлетворяющей определению 1. Процесс (19) является процессом типа (11) с A0 (n) = 0, A1 (n) = xn , s = p = 1, и согласно (12) εˆn = xn − xn−1 λ(n − 1) = εn + gλ,n−1 ,

(20)

gλ,n = xn ∆(n), ∆(n) = λ − λ(n). Здесь оценки λ(n) параметра λ определяются в соответствии с (13) по формулам λ(n) = proj[−1,1] λ∗ (k − 1),

τ (k − 1) ≤ n < τ (k),

n ≥ 1, k ≥ 1,

(21)

Непараметрическое оценивание отношений производных плотности

293

τ (k)

λ∗ (k) = k −ϕ

X

λ∗ (0) = 0,

α(n)xn xn−1 ,

n=1

( τ (k) = inf t ≥ 1 :

t X

) x2n−1

≥k

ϕ

,

τ (0) = 0, ϕ > 0,

n=1

 α(n) =

1,

n < τ (k),

αk , n = τ (k),

αk =

τ (k)−1

1

ϕ

x2τ (k)−1

k −

X

! x2n−1

.

n=1

Для некоторого 0 < r < 1 положим A = {λ: |λ| ≤ r}. Заметим, что равенство (18) непосредственно следует из неравенства (3.16) работы [47]. Для последовательности gλ , определенной в (20), все условия леммы, кроме (15), нетрудно проверить, используя решение уравнения (19). Поэтому утверждения леммы справедливы и можно сформулировать теорему о свойствах оценок производных плотности распределения шумов процесса (19). Теорема 4. Для оценок (5), построенных по наблюдениям (20), выполняются утверждения (i)–(iv) теоремы 1, если соответственно (i) f (t) принадлежит N1 (α), h принадлежит H1 (α), и существуют моменты mx0 (2να ) < ∞,

mε (2να ) < ∞;

(22)

(ii) f (t) ∈ N2 (α), h ∈ H2 (α), mx0 (4) < ∞, mε (4) < ∞; (iii) f (t) принадлежит N2 (α), h принадлежит H3 (α), и выполнены условия (22); (iv) f (t) ∈ N2 (α), h ∈ H1 (α), mx0 (2mνα ) < ∞, mε (2mνα ) < ∞. Если f (t) ∈ N2 ($), h ∈ H1 ($), q > 4, для некоторого m ≥ 1 существуют моменты mx0 (2mν$ ) < ∞ и mε (2mν$ ) < ∞, то для оценок (7) справедливо утверждение теоремы 3. 6.2. Авторегрессия второго порядка. (xn1 , xn2 )0 } удовлетворяет равенствам xn1 = λ1 x(n−1)1 + λ2 x(n−1)2 + εn1 ,

Пусть процесс x = {xn =

xn2 = λ2 x(n−1)1 − λ1 x(n−1)2 + εn2 ,

n ≥ 1.

Предположим, что процесс авторегрессии x устойчив, т. е. kλk < 1, λ = (λ1 , λ2 )0 , шумы εn = (εn1 , εn2 )0 образуют последовательность независимых одинаково распределенных случайных величин, не зависят от x0 , M x0 = M ε1 = 0, M εn ε0n > 0, параметр λ неизвестен. Согласно (11) и (13) имеем   xn1 xn2 A0 (n) = 0, A1 (n) = , (23) −xn2 xn1 A0 1 (n)A1 (n) = kxn k2 I,

ci (n) = kxn k2 ,

λ(n) = proj[kλk≤1] λ∗ (k − 1),

A+ (n) = A0 1 (n)/kxn k2 ,

τ (k − 1) ≤ n < τ (k),

n ≥ 1, k ≥ 1,

τ (k) ∗

λ (k) = k

−ϕ

X n=1

α(n)A0 1 (n − 1)xn ,

λ∗ (0) = 0,

294

В. А. Васильев, Г. М. Кошкин ( ) t X 2 ϕ τ (k) = inf t ≥ 1 : kxn−1 k ≥ k , τ (0) = 1, ϕ > 0, n=1

 α(n) =

1,

n < τ (k),

αk =

αk , n = τ (k),

τ (k)−1

1

X

ϕ

x2τ (k)−1

k −

! 2

kxn−1 k

.

n=1

Оценки λ∗ (k) могут быть записаны в векторной форме, поскольку длительности τi (k) оценивания обеих компонент λi (k) совпадают. Для некоторого 0 < r < 1 положим A = {λ = (λ1 , λ2 ) : kλk ≤ r} и покажем, что для процесса x справедливы утверждения леммы. Соотношения (14) очевидны, при этом C = 1. Запишем уравнения для x в виде   λ1 λ 2 xn = Axn−1 + εn , A = , (24) λ2 −λ1 решение которого определяется формулой xn =

n X

At εn−t ,

ε0 = x0 , n ≥ 0.

(25)

t=0

Отметим, что для процесса (24) при любом n ≥ 1 справедливо неравенство n X

kxk k2 ≥ c˜

k=0

n X

2

kεk k ,

c˜ =

q√

2/2 + 1 − 1

2

,

(26)

k=1

которое устанавливается, как в лемме 1 работы [47], c использованием равенств 2

2

2

kxn k2 = kλk kxn−1 k + 2x0n−1 Aεn + kεn k ,

n ≥ 1.

Неравенства (26) обеспечивают, в частности, конечность с вероятностью 1 моментов остановки τ (k), k ≥ 1. Далее, при mε (2) < ∞ с помощью (25) находим " Mλ kc(n)k ≤ 2Mλ

n X

#2 t

kλk kεn−t k

t=0

≤

2mε (2) < ∞, (1 − kλk)2

n ≥ 0.

(27)

Здесь использованы свойство устойчивости матрицы A (kλk < 1) и равенства √ t t kA k = 2kλk , t ≥ 1. В соответствии с (27) sup Mλ kc(n)k/n ≤ 2mε (2)/(1 − r)2 ,

A ,n

и по неравенству Г¨ельдера sup kA1 (n)k = A

√

2 sup kxn k ≤ 2 sup A

A

n X t=0

t

kλk kεn−t k ≤

2 kε(n)k2(m+1) , 1−r

откуда вытекает (16). Соотношение (18) для моментов τ (k) следует из неравенств ( ) k X 2 −1 τ (k) ≤ τ0 (˜ c k), k ≥ 1, τ0 (H) = inf k ≥ 1 : kεj k ≥ H , j=1

Непараметрическое оценивание отношений производных плотности

295

вытекающих из (26) и леммы 9 работы [47], согласно которой существует универсальная константа m0 < ∞ такая, что sup M τ0 (H)/H ≤ m0 H≥H0

для любого H0 > 0. Таким образом, для устойчивого процесса x справедливы утверждения теоремы 4, в формулировке которой необходимо учесть двумерность аргумента плотности f и параметра λ. Замечание 3. Модель (11) позволяет решать статистические задачи и для более сложных динамических систем, параметры которых могут быть восстановлены с заданной точностью (см., например, [48]). 7. Заключение В работе получены оценки (5) и (7) производных плотности распределения порядка α и отношений T (t) по зависимым наблюдениям с улучшенной скоростью сходимости, соответственно N ν/(s+2(α+ν)) и N ν/(s+2($+ν)) , главные части среднеквадратического отклонения которых отвечают случаю независимых наблюдений. При высокой степени гладкости плотности распределения (больших ν) скорость сходимости этих оценок приближается к скорости сходимости N 1/2 параметрических оценок плотности. Установлена сходимость с вероятностью единица и равномерная асимптотическая нормальность оценок производных плотности распределения (5) и их отношений (7). Результаты применены для динамических систем, в частности, для оценивания отношений производных плотности распределения шумов процессов авторегрессии первого и второго порядков. Другие примеры процессов, для которых решаются подобные задачи, можно найти в работе [49]. Утверждения теорем 1 и 2 позволяют оценивать не только отношения производных плотности распределения, но и более общие функции H(·) ∈ Wp (φ) от производных плотности различных порядков в метрике Lm , m ≥ 2. 8. Приложение Доказательство теоpемы 1. Установим первое утверждение п. (i) теоремы 1 для случая a = b, поскольку в общем случае доказательство принципиально не отличается от доказательства в этом случае. Обозначим rN

  N Z X t − u − gn−1 1 (α) Ka f (u) du. = hN N hs+α N n=1

(П.1)

Представим среднеквадратическое отклонение оценки (5) в виде 2 2 u2 (fˆa(α) ) = σN + θN + aN ,


2 2 θN = Mλ rN − fa(α) , (α)

2 σN = Mλ fˆa(α) − rN

aN = 2Mλ fˆa(α) − rN




(α)


2

,


rN − fa(α) ,

при этом смещение оценки fˆa равно bN = Mλ rN − fa . 2 2 Заметим, что при gλ ≡ 0 величины aN равны 0, а σN и θN пpедставляют (α) ˆ собой соответственно дисперсию и квадрат смещения оценки fa .

296

В. А. Васильев, Г. М. Кошкин Покажем, что при N → ∞   2 Lα 1 a,a f (t) sup σN − = o N hs+2α . N hs+2α A N N

(П.2)

Обозначим ξn = Ka(α)



t − εn − gn−1 hN



Z −

Ka(α)



t − u − gn−1 hN

 f (u) du.

(П.3)

Здесь и далее отсутствие индекса N у функций, зависящих от N , будет означать, что в рассуждениях, использующих эти обозначения (исключая предельные по N соотношения), N фиксировано. Отметим, что 2 σN =

В дальнейшем под

1 2(s+α) hN

P

1

2

Mλ (hξN i) =



2(s+α) N hN

 2 Mλ ξ N .

(П.4)

будем подразумевать суммирование по всем ϑ ∈ η(k),

η(k)

для вектора x = (x1 , . . . , xs )0 положим xk = xη11 · · · xηs s , η1 + . . . + ηs = k и |k|! = η1 ! · · · ηs !; g˜n (z) = gn + hN z. По определению ξn имеем
Mλ ξn2 = hsN Mλ In − hsN Jn2 , Z In =


2 Ka(α) (z) f (t − g˜n−1 (z)) dz, Jn =

Z

(П.5)

Ka(α) (z)f (t − g˜n−1 (z)) dz.

В интеграле In разложим функцию f в ряд Тейлора: α+ν X

Z
2

 (−1)k X (k) k fϑ (t) Ka(α) (z) Mλ g˜N −1 (z) dz |k|! k=1 η(k) α+ν X Z
2

 (−1) α+ν + Ka(α) (z) Mλ ρ(ζ, t)˜ gN −1 (z) dz. (П.6) |α + ν|!

hMλ IN i = Lα a,a f (t) +

η(α+ν)

Здесь ζ = t − θ˜ gn−1 (z), 0 < θ < 1. Найдем оценки сверху всех слагаемых, кроме первого, в правой части (П.6). По cr -неравенству и определению g˜k (z) имеем k
g˜n−1 (z) ≤ C kgn−1 kk + hkN kzkk .

(П.7)

Отсюда, используя неравенство Г¨ельдера и соотношение xp y 1−p ≤ x + y,

0 ≤ x, 0 ≤ y, 0 ≤ p ≤ 1,

для k = 1, α + ν получаем 
k



k Mλ g˜N ≤ Mλ g˜α+ν+1 (z) α+ν+1 −1 (z) N −1   k ≤ C (hMλ kgN −1 kα+ν+1 i) α+ν+1 + hkN kzkk .

Непараметрическое оценивание отношений производных плотности

297

Последнее слагаемое в правой части (П.6) оценивается величиной α+ν 


≤ C[hMλ kgN −1 kα+ν+γ i + (hN kzk)α+ν+γ ] L Mλ k˜ gN −1 kγ g˜N −1 (z) α+ν+γ

≤ C[(hMλ kgN −1 kα+ν+1 i) α+ν+1 + hN kzk)α+ν+γ ]. (П.8) Из (П.6)–(П.8), условий Σν (α), H1 (α) и G2 (1, να , α) следует равенство sup hMλ IN i − Lα a,a f (t) = o(1). A

(П.9)

Преобразуем интеграл Jn , применив α раз формулу интегрирования по ча(α) стям и формулу Тейлора для fa : Z α Jn = hN K(z)fa(α) (t − g˜n−1 (z)) dz " ν X (−1)k X (α+k) Z α k = hN fa+ϑ (t) K(z)˜ gn−1 (z) dz |k|! k=0 η(k) # Z 1 X ν + K(z)ρ(ζa , x)˜ gn−1 (z) dz , (П.10) |ν|! η(ν)

ζa = t − θa g˜n−1 (z), 0 < θa < 1. Согласно неравенствам (П.7) и свойствам G2 (1, να , α) при N → ∞ имеем


2 sup Mλ JN = o h−s N . A

Отсюда и из (П.4), (П.5) и (П.9) следует соотношение (П.2). Покажем, что при N → ∞ справедливо равенство 2
2 2 sup θN − ωα,ν (t)h2ν N = o vN (α) .

(П.11)

A

По определению rN (П.1), условию теоремы и (П.10) имеем rN − fa(α) (t)

=

(α) h−α N hJN i − fa (t)

=

ν X (−1)k X k=1

|k|!

(α+k) fa+ϑ (t)

Z

k  K(z) g˜N −1 (z) dz

η(k)

Z

 1 X ν + K(z) ρ(ζa , x)˜ gN −1 (z) dz. |ν|! η(ν)

Заметим, что Z

z1η1 · · · zsηs K(z) dz = 0

при K(u) ∈ Σν (α) и 0 < η1 + . . . + ηs = k < ν, ηi < ν, i = 1, s. Поэтому rN − fa(α) (t) =

ν X (−1)k X k=1

|k|!

k  (α+k) fa+ϑ (t) gN −1

η(k)

Z

 1 X ν ν + K(z) ρ(ζa , t)˜ gN −1 (z) dz + hN ωα,ν (t). (П.12) |ν|! η(ν)

298

В. А. Васильев, Г. М. Кошкин

Используя неравенство Коши — Буняковского и равномерные по λ ∈ A условия G2 (1, να , α), для k = 1, ν находим  k 2

 2k Mλ gN ≤ C Mλ gN −1 −1 ≤ C(hMλ kgN −1 k2 i + hMλ kgN −1 k2να i) = o N hs+2α N


−1


и согласно (8) имеем

 

2 2ν ν Mλ ρ(ζa , t)˜ ≤ L 2 Mλ ρ2 (ζa , t)˜ gN gN −1 (z) −1 (z) ≤ C(hMλ kgN −1 k2να i + (hN kzk)2(ν+γ) ) = o N hs+2α N


−1



+ kzk2(ν+γ) o h2ν N .

Отсюда, оценивая вторые моменты всех слагаемых правой части (П.12), получаем равенство (П.11). Аналогично (П.2) и (П.11) можно показать, что в условиях G2 (1, να , α) и N1 (α) при N → ∞ имеет место равенство
2 sup |aN | = o vN (α) . (П.13) A

Из (П.2), (П.11) и (П.13) следует первое соотношение утверждения (i) теоремы 1 при a = b. Подобно (П.11) устанавливается второе соотношение первого утверждения теоремы 1 для смещения bN . При этом используются равенство (П.12), условия G2 (1, ν + 1, α) и неравенства k  ≤ C[(hMλ kgN −1 k2 i)1/2 χ(k = 1) + hMλ kgN −1 k2 i Mλ gN −1 q

−1
+ hMλ kgN −1 k2(ν+1) i] = o 1/ N hs+2α + o N hs+2α , N N

k = 1, ν;



 ν 2 ν ≤ L hMλ kgN −1 kγ g˜N Mλ ρ(ζa , t)˜ gN −1 (z)i ≤ ChMλ kgN −1 k i −1 (z)


−1 + hMλ kgN −1 k2(ν+1) i + (hN kzk)ν+γ = o N hs+2α + kzkν+γ o h2ν N . N (α)

Для доказательства сильной состоятельности оценок fa заметим, что согласно (П.12) и (8) для всех λ ∈ A при h ∈ H2 (α) и g(A ) ∈ G1 имеем rN − fa(α) (t) = o(1) п. н. Таким образом, для доказательства второго утверждения теоремы 1 достаточно показать сходимость с вероятностью единица к (α) −(s+α) нулю разности fˆa (t) − rN = hN hξN i. Процесс {ξn , n ≥ 1} образует ограниченную мартингал-разность, причем с учетом K(u) ∈ B + Mλ ξn = 0,

Mλ |ξni | ≤ ChsN ,

i = 2, 4,

что позволяет получить оценку Mλ fˆa(α) (t) − rN


4


2 ≤ C/ N hs+2α . N

Отсюда в силу леммы Бореля — Кантелли и условий H2 (α) следует утверждение (ii) теоремы 1.

Непараметрическое оценивание отношений производных плотности

299

(α) Свойство асимптотической нормальности оценок fˆa (t) является следствием, во-первых, равномерной по всем ε˜ > 0 сходимости q
rN − fa(α) (t) > ε˜ = 0, N hs+2α lim sup Pθ N N →∞ Θ

которую можно показать, используя (П.12) и неравенство Чебышева; и, вовторых, равномерной асимптотической нормальности разности N N q X X
1 s+2α ˆ(α) ξn = ξ˜N,n , N hN fa (t) − rN = p s N hN n=1 n=1

которая следует из теоремы 2 работы [50] для квадратично интегрируемого мартингала {Mt,N , t ≥ 1}, где tN X

Mt,N =

ξ˜N,n ,

n=1

N фиксировано. Докажем последнее утверждение теоремы. Согласно cr -неравенству

2m 2m u2m fˆa(α) ≤ C σN + θN , 2m σN = Mλ fˆa(α) − rN


2m

(П.14)

2m θN = Mλ rN − fa(α)

,


2m

.

По неравенству Буркхольдера [51] для мартингала N hξN i имеем 2m σN =

1

2m


Mλ (N hξN i) s+α 2m

N hN

≤

C 2(s+α)
m N hN

2m Mλ ( ξ N ) .

Отсюда по определению ξN (П.3) и свойствам N2 (α) и Σν (α) получаем 2m sup σN ≤ A

C
m . N hs+2α N

Далее, согласно (П.12) и свойствам G2 (m, α + ν, α) при N → ∞ имеем  
1 2
sup θN = O h2mν + o m . N N hs+2α A N

(П.15)

(П.16)

Из соотношений (П.14)–(П.16) следует (iv). Теорема 1 доказана. Доказательство леммы. Введем вспомогательные моменты σj (N ) = inf {k ≥ 1 : τj (k) ≥ N } ,

j = 1, p, N ≥ 1.

По определению (13) моментов τj (k) для j = 1, p имеем оценку τj (k)−1

X n=τj (k−1)+1

  cm j (n − 1) ≤

τj (k)−1

X

n=τj (k−1)+1

m cj (n − 1)

≤ (k ϕ − (k − 1)ϕ )m ≤ Ck m(ϕ−1) ,

300

В. А. Васильев, Г. М. Кошкин

откуда ввиду условий (14)

B(m) =

N X



σj (N )

Mλ kgn−1 k2m ≤ C max Mλ  j=1,p

n=1 τj (k)−1

σj (N )

X

X

cm j (n−1)+

X

k ∆∗ (k − 1)k2m

k=1

 (∆∗j (k − 1))2m kA1 (τj (k) − 1)k2m  ≤ B1 (m)+B2 (m),

k=1

n=τj (k−1)+1

σj (N )

B1 (m) = C max Mλ j=1,p

X


2m k m(ϕ−1) ∆∗j (k − 1) ,

k=1

σj (N )


2m ∆∗j (k − 1) kA1 (τj (k) − 1)k2m .

X

B2 (m) = max Mλ j=1,p

k=1

Определим усеченные моменты остановки σ j (N ) = min{σj (N ), T }, 0 < T < ∞, и покажем вспомогательные равенства σ ¯j (N )

B1,j (m) = Mλ

X

k

m(ϕ−1)

∆∗j (k


2m − 1) =

k=1



O(ln N ), m = 1, O(1),

m > 1,

(П.17)

σ ¯j (N )

X

B2,j (m) =


2m ∆∗j (k − 1) kA1 (τj (k) − 1)k2m = O(1),

m ≥ 1.

(П.18)

k=1

Подобно работам [44–46] можно показать, что в условиях леммы последовательные оценки λ∗ (k) параметра λ обладают свойствами (18) и 2(m+1)

sup Mλ k∆∗ (k)k A

= O(k −ϕ(m+1) ),

k → ∞.

(П.19)

Установим (П.17). Согласно (П.19), условию (i) на c(n) и неравенствам Коши — Буняковского и Чебышева находим B1,j (1) =

N X

k

ϕ−1

Mλ ∆∗j (k

σ ¯j (N ) X
2
2 − 1) + Mλ k ϕ−1 ∆∗j (k − 1)

k=1

k=N +1

≤ C ln N +

X

k

ϕ−1

Mλ ∆∗j (k


2 − 1) χ(σj (N ) ≥ k)

k>N



 X 1 1/2 ≤ C ln N + P (σj (N ) ≥ k) k λ k>N

!! N X 1 1/2 X ≤ C ln N + P cj (n − 1) > k ϕ k λ n=1 k>N !1/2 ! N X X 1 ≤ C ln N + Mλ kc(n − 1)k k 1+ϕ/2 n=1 k≥N    X X 1  1 ≤ C ln N + N ≤ C ln N + = O(ln N ). k 1+ϕ/2 k ϕ/2 k≥N k≥N

Непараметрическое оценивание отношений производных плотности

301

Далее, для m > 1 B1,j (m) ≤

X

X
2m k m(ϕ−1) Mλ ∆∗j (k − 1) ≤C k −m = O(1).

k≥1

k≥1

По неравенству Коши — Буняковского, (П.19) и условию (16) имеем σj (N )

B2,j (1) ≤ CMλ


2 ∆∗j (k − 1) kε(τj (k) − 1)k22(m+1)

X k=1

!1/2

τj (k)

≤C

X

k

−ϕ

Mλ kε(τj (k) −


1/2 1)k42(m+1)

≤C

k≥1

X

k

−ϕ

Mλ

≤C

k

−ϕ

kεn k42(m+1)

n=1

k≥1

X

X

1/2

(Mλ τj (k))

≤C

k≥1

X

k −ϕ/2 = O(1).

k≥1

При оценивании B2,j (m), m ≥ 1, воспользуемся также неравенством Г¨ельдера и ограниченностью величин ∆∗j (k): σ j (N )

B2,j (m) ≤ CMλ

X


2m ∆∗j (k − 1) kε(τj (k) − 1)k2m 2(m+1)

k=1

X m  1  2(m+1)  ≤C Mλ (∆∗j (k − 1))2(m+1) m+1 Mλ kε(τj (k) − 1)k2(m+1) m+1 k≥1 m ! m+1

τj (k)

≤C

X

k

−ϕ

Mλ

X

2(m+1) kεn k2(m+1)

n=1

k≥1

≤C

X

m

k −ϕ (Mλ τj (k)) m+1 ≤ C

k≥1

X

ϕ

k − m+1 = O(1).

k≥1

Соотношения (П.17) и (П.18) доказаны. Отсюда по теореме Фату получаем равенства (17) и, следовательно, свойства G2 (m1 , m2 , α), поскольку согласно (17) при m > 1 по лемме Бореля — Кантелли gλ,n → 0 п. н. Лемма доказана. Авторы благодарны рецензенту, а также А. А. Боровкову за полезные замечания, которые привели к улучшению работы. ЛИТЕРАТУРА 1. Roussas G. G. On some properties of nonparametric estimates of probability density functions // Bull. Soc. Math. Grice. 1968. N 1. P. 29–43. 2. Roussas G. G. Nonparametric estimation in Markov processes // Ann. Inst. Statist. Math.. 1969. V. 21, N 1. P. 73–87. 3. Rosenblatt M. Density estimates and Markov sequences // Nonparametric techniques in statistical inference. Cambridge: Cambridge Univ. Press, 1970. P. 199–213. 4. Rosenblatt M. Curve estimates // Ann. Math. Statist.. 1971. V. 42, N 6. P. 1815–1842. 5. Rosenblatt M. Markov processes, structure and asymptotic behavior. Berlin; Heidelberg; New York: Springer Verl., 1971. 6. Кошкин Г. М., Тарасенко Ф. П. Об одном критерии согласия для слабозависимой выборки // Мат. статистика и ее приложения. Томск: Изд-во Томск. ун-та, 1976. № 4. С. 29–41.

302

В. А. Васильев, Г. М. Кошкин

7. Кошкин Г. М., Тарасенко Ф. П. Рекуррентное оценивание плотности вероятностей и линии регрессии по зависимой выборке // Мат. статистика и ее приложения. Томск: Изд-во Томск. ун-та, 1976. № 4. С. 122–138. 8. Кошкин Г. М. Об одном подходе к оцениванию переходной функции распределения и моментов для некоторых марковских процессов // Мат. статистика и ее приложения. Томск: Изд-во Томск. ун-та, 1976. № 4. С. 116–121. 9. Delecroix M. Central limit theorems for density estimators of a ϕ-mixing process // Recent developments in statistics. Amsterdam: North Holland Publ. Co., 1977. P. 409–414. 10. Masry E. Probability density estimation from sampled data // IEEE Trans. Inform. Theory. 1983. V. IT–29, N 5. P. 696–709. 11. Masry E. Recursive probability density estimation for weakly dependent stationary processes // IEEE Trans. Inform. Theory. 1986. V. IT–32, N 2. P. 254–267. 12. Koshkin G. M., Tarasenko F. P. Nonparametric algorithms for identifying and control of continuous-discrete stochastic objects // 8-th IFAC-IFORS Symposium on identification and system parameter estimation. Beijing: Pergamon Press, 1988. V. 2. P. 882–887. 13. Castellana J. V., Leadbetter M. R. On smoothed probability density estimation for stationary processes // Stochastic Process. Appl.. 1986. V. 21, N 2. P. 179–193. 14. Gy¨ orfi L. Strong consistent density estimate from ergodic sample // J. Multivariate Anal.. 1981. V. 11, N 1. P. 81–84. 15. Gy¨ orfi L. Recent results on nonparametric regression estimate and multiple classification // Problems Control Inform. Theory. 1981. V. 10, N 1. P. 43–52. 16. Pracasa Rao B. L. S. Nonparametric functional estimation. Orlando, Florida: Academic Press, 1983. 17. Gy¨ orfi L., Hardle W., Sarda P., View P. Nonparametric curve estimation from time series. New York: Springer-Verl., 1989 (Lecture Notes Statistics; 60). 18. Masry E. Nonparametric estimation of conditional probability densities and expectations of stationary processes: strong consistency and rates // Stochastic Process. Appl.. 1989. V. 32, N 1. P. 109–127. 19. Masry E. Almost sure convergence of recursive density estimators for stationary mixing processes // Statist. Probab. Lett.. 1987. V. 5, N 2. P. 249–254. 20. Masry E., Gy¨ orfi L. Strong consistensy and rates for recursive probability density estimators of stationary processes // J. Multivariate Anal.. 1987. V. 22, N 1. P. 79–93. 21. Doukhan P., Ghindes M. Estimation de la transition de probabilite d’une chain de Markov Doeblin-recurrente. Etude du eas processus autoregressif general d’ordre 1 // Stochastic Process. Appl.. 1983. V. 15, N 3. P. 271–293. 22. Robinson P. M. Nonparametric estimation from time series residuals // Cahiers Centre ´ etudes rech. op´ er.. 1986. V. 28, N 1–3. P. 197–202. 23. Васильев В. А. Об оценивании распределения возмущений процесса авторегрессии // Мат. статистика и ее приложения. Томск: Изд–во Томск. ун-та, 1986. № 10. С. 9–24. 24. Masry E. Multivariate probability density deconvolution for stationary random processes // IEEE Trans. Inform. Theory. 1991. V. 37, N 4. P. 1105–1115. 25. Tran L. T. Kernel density estimation of random fields // J. Multivariate Anal.. 1990. V. 34, N 1. P. 37–53. 26. Singh R. S. Applications of estimators of a density and its derivatives to certain statistical problems // J. Roy. Statist. Soc. Ser. B. 1977. V. 39, N 3. P. 357–363. 27. Singh R. S. Nonparametric estimation of mixed partial derivatives of a multivariate density // J. Multivariate Anal.. 1976. V. 6, N 1. P. 111–122. 28. Алексеев В. Г. Об оценках точек экстремума и перегиба плотности вероятности // Теория случайных процессов. Киев: Наук. думка, 1984. Т. 12. С. 3–5. 29. Немировский А. С., Цыпкин Я. З. Об оптимальных алгоритмах адаптивного управления // Автоматика и телемеханика. 1984. № 12. С. 64–77. 30. Надарая Э. А. О непараметрических оценках плотности вероятности и регрессии // Теория вероятностей и ее применения. 1965. Т. 10, № 1. С. 199–203. 31. Кушнир А. Ф. Асимптотически оптимальные критерии для регрессионной задачи проверки гипотез // Теория вероятностей и ее применения. 1968. Т. 13, № 4. С. 682–700. 32. Добровидов А. В. Асимптотически ε-оптимальная непараметрическая процедура нелинейной фильтрации стационарных последовательностей с неизвестными статистическими характеристиками // Автоматика и телемеханика. 1984. № 12. С. 40–49.

Непараметрическое оценивание отношений производных плотности

303

33. Боровков А. А. Математическая статистика. Оценка параметров. Проверка гипотез. М.: Наука, 1984. 34. Крамер Г. Математические методы статистики. М.: Мир, 1975. 35. Добровидов А. В., Кошкин Г. М. Непараметрическое оценивание сигналов. М.: Наука, Физматлит, 1997. 36. Кошкин Г. М. Устойчивое оценивание отношений случайных функций по экспериментальным данным // Изв. вузов. Физика. 1993. № 10. С. 137–145. 37. Муганцева Л. А. Проверка нормальности в схемах одномерной и многомерной регрессии // Теория вероятностей и ее применения. 1977. Т. 22, № 3. С. 603–614. 38. Болдин М. В. Оценка распределения возмущений в схеме авторегрессии // Теория вероятностей и ее применения. 1982. Т. 27, № 4. С. 805–810. 39. Болдин М. В. Проверка гипотез в схемах авторегрессии критериями Колмогорова и ω 2 // Докл. АН СССР. 1983. Т. 273, № 1. С. 19–22. 40. Васильев В. А., Кошкин Г. М. Об оценивании многомерной плотности распределения и ее производных по зависимым наблюдениям // Тез. докл. Междунар. семинара «Предельные теоремы и смежные вопросы».. Омск: Омский ун-т, 1995. С. 16–18. 41. Кошкин Г.М. Улучшенная неотрицательная ядерная оценка плотности // Теория вероятностей и ее применения. 1988. Т. 33, № 4. С. 817–822. 42. Кошкин Г. М. Асимптотические свойства функций от статистик и их применения к непараметрическому оцениванию // Автоматика и телемеханика. 1990. № 3. С. 82–97. 43. Кошкин Г. М. Моменты отклонений оценки подстановки и ее кусочно-гладких аппроксимаций // Сиб. мат. журн.. 1999. Т. 40, № 3. С. 601–614. 44. Воробейчиков С. Э., Конев В. В. О последовательной идентификации стохастических систем // Изв. АН СССР. Техническая кибернетика. 1980. № 4. С. 176–182. 45. Konev V., Lai T. L. Estimators with prescribed precision in stochastic regression models // Sequential Anal.. 1995. V. 14, N 3. P. 179–192. 46. Konev V. V., Pergamenshicov S. M. On the duration of sequential estimation of parameters of stochastic processes in discrete time // Stochastics. 1986. V. 18. P. 133–154. 47. Пергаменщиков С. М. Асимптотические свойства последовательного плана оценивания параметра авторегрессии первого порядка // Теория вероятностей и ее применения. 1991. Т. 36, № 1. С. 42–53. 48. Vasiliev V. A., Konev V. V. On identification of linear dynamic systems in the presence of multiplicative and additive noises in observation // Stochastic Contr.: Proc. / 2-nd IFAC Symp. Vilnius, May 19–23, 1986.. Oxford e. a., 1987. P. 87–91. 49. Koshkin G. M., Vasil’iev V. A. Nonparametric estimation of derivatives of a multivariate density from dependent observations // Math. Methods Statist.. 1998. V. 7, N 4. P. 361–400. 50. Гринвуд П. Е., Ширяев А. Н. О равномерной слабой сходимости семимартингалов с применениями к оцениванию параметра в авторегрессионной модели первого порядка // Статистика и управление случайными процессами. М.: Наука, 1989. С. 40–48. 51. Липцер Р. Ш., Ширяев А. Н. Теория мартингалов. М.: Наука, 1986. Статья поступила 21 января 1997 г. г. Томск Томский гос. университет