Понятие регрессии . Зависимость между переменными величинами x и y может быть описана разными способами. В частности, любую форму связи можно выразить уравнением общего вида , гдеy рассматривается в качестве зависимой переменной, или функции от другой – независимой переменной величины x, называемой аргументом . Соответствие между аргументом и функцией может быть задано таблицей, формулой, графиком и т.д. Изменение функции в зависимости от изменения одного или нескольких аргументов называется регрессией . Все средства, применяемые для описания корреляционных связей, составляет содержание регрессионного анализа .
Для выражения регрессии служат корреляционные уравнения, или уравнения регрессии, эмпирические и теоретически вычисленные ряды регрессии, их графики, называемые линиями регрессии, а также коэффициенты линейной и нелинейной регрессии.
Показатели регрессии выражают корреляционную связь двусторонне, учитывая изменение усредненных значений признакаY при изменении значений x i признака X , и, наоборот, показывают изменение средних значений признакаX по измененным значениям y i признака Y . Исключение составляют временные ряды, или ряды динамики, показывающие изменение признаков во времени. Регрессия таких рядов является односторонней.
Различных форм и видов корреляционных связей много. Задача сводится к тому, чтобы в каждом конкретном случае выявить форму связи и выразить ее соответствующим корреляционным уравнением, что позволяет предвидеть возможные изменения одного признака Y на основании известных изменений другого X , связанного с первым корреляционно.
Уравнение регрессии. Результаты наблюдений, проведенных над тем или иным биологическим объектом по корреляционно связанным признакам x и y , можно изобразить точками на плоскости, построив систему прямоугольных координат. В результате получается некая диаграмма рассеяния, позволяющая судить о форме и тесноте связи между варьирующими признаками. Довольно часто эта связь выглядит в виде прямой или может быть аппроксимирована прямой линией.
Линейная зависимость между переменными x и y описывается уравнением общего вида , гдеa, b, c, d, … – параметры уравнения, определяющие соотношения между аргументами x 1 , x 2 , x 3 , …, x m и функций .
В практике учитывают не все возможные, а лишь некоторые аргументы, в простейшем случае – всего один:
В уравнении линейной регрессии (1) a – свободный член, а параметр b определяет наклон линии регрессии по отношению к осям прямоугольных координат. В аналитической геометрии этот параметр называют угловым коэффициентом , а в биометрии – коэффициентом регрессии . Наглядное представление об этом параметре и о положении линий регрессии Y по X и X по Y в системе прямоугольных координат дает рис.1.
Рис. 1 Линии регрессии Y по X и X поY в системе
прямоугольных координат
Линии регрессии, как показано на рис.1, пересекаются в точке О (,), соответствующей средним арифметическим значениям корреляционно связанных друг с другом признаковY и X . При построении графиков регрессии по оси абсцисс откладывают значения независимой переменной X, а по оси ординат – значения зависимой переменной, или функции Y. Линия АВ, проходящая через точку О (,) соответствует полной (функциональной) зависимости между переменными величинамиY и X , когда коэффициент корреляции . Чем сильнее связь междуY и X , тем ближе линии регрессии к АВ, и, наоборот, чем слабее связь между этими величинами, тем более удаленными оказываются линии регрессии от АВ. При отсутствии связи между признаками линии регрессии оказываются под прямым углом по отношению друг к другу и .
Поскольку показатели регрессии выражают корреляционную связь двусторонне, уравнение регрессии (1) следует записывать так:
По первой формуле определяют усредненные значения при изменении признакаX на единицу меры, по второй – усредненные значения при изменении на единицу меры признакаY .
Коэффициент регрессии. Коэффициент регрессии показывает, насколько в среднем величина одного признака y изменяется при изменении на единицу меры другого, корреляционно связанного с Y признака X . Этот показатель определяют по формуле
Здесь значения s умножают на размеры классовых интервалов λ , если их находили по вариационным рядам или корреляционным таблицам.
Коэффициент регрессии можно вычислить минуя расчет средних квадратичных отклонений s y и s x по формуле
Если же коэффициент корреляции неизвестен, коэффициент регрессии определяют следующим образом:
Связь между коэффициентами регрессии и корреляции. Сравнивая формулы (11.1) (тема 11) и (12.5), видим: в их числителе одна и та же величина , что указывает на наличие связи между этими показателями. Эта связь выражается равенством
Таким образом, коэффициент корреляции равен средней геометрической из коэффициентов b yx и b xy . Формула (6) позволяет, во-первых, по известным значениям коэффициентов регрессии b yx и b xy определять коэффициент регрессии R xy , а во-вторых, проверять правильность расчета этого показателя корреляционной связи R xy между варьирующими признаками X и Y .
Как и коэффициент корреляции, коэффициент регрессии характеризует только линейную связь и сопровождается знаком плюс при положительной и знаком минус при отрицательной связи.
Определение параметров линейной регрессии. Известно, что сумма квадратов отклонений вариант x i от средней есть величина наименьшая, т.е.. Эта теорема составляет основу метода наименьших квадратов. В отношении линейной регрессии [см. формулу (1)] требованию этой теоремы удовлетворяет некоторая система уравнений, называемыхнормальными :
Совместное решение этих уравнений относительно параметров a и b приводит к следующим результатам:
;
;
,
откуда
и.
Учитывая двусторонний характер связи между переменными Y и X , формулу для определения параметра а следует выразить так:
и
. (7)
Параметр b , или коэффициент регрессии, определяют по следующим формулам:
Построение эмпирических рядов регрессии. При наличии большого числа наблюдений регрессионный анализ начинается с построения эмпирических рядов регрессии. Эмпирический ряд регрессии образуется путем вычисления по значениям одного варьирующего признака X средних значений другого, связанного корреляционно сX признака Y . Иными словами, построение эмпирических рядов регрессии сводится к нахождению групповых средних ииз соответствующих значений признаковY и X.
Эмпирический ряд регрессии – это двойной ряд чисел, которые можно изобразить точками на плоскости, а затем, соединив эти точки отрезками прямой, получить эмпирическую линию регрессии. Эмпирические ряды регрессии, особенно их графики, называемые линиями регрессии , дают наглядное представление о форме и тесноте корреляционной зависимости между варьирующими признаками.
Выравнивание эмпирических рядов регрессии. Графики эмпирических рядов регрессии оказываются, как правило, не плавно идущими, а ломаными линиями. Это объясняется тем, что наряду с главными причинами, определяющими общую закономерность в изменчивости коррелируемых признаков, на их величине сказывается влияние многочисленных второстепенных причин, вызывающих случайные колебания узловых точек регрессии. Чтобы выявить основную тенденцию (тренд) сопряженной вариации коррелируемых признаков, нужно заменить ломанные линии на гладкие, плавно идущие линии регрессии. Процесс замены ломанных линий на плавно идущие называют выравниванием эмпирических рядов и линий регрессий .
Графический способ выравнивания. Это наиболее простой способ, не требующий вычислительной работы. Его сущность сводится к следующему. Эмпирический ряд регрессии изображают в виде графика в системе прямоугольных координат. Затем визуально намечаются средние точки регрессии, по которым с помощью линейки или лекала проводят сплошную линию. Недостаток этого способа очевиден: он не исключает влияние индивидуальных свойств исследователя на результаты выравнивания эмпирических линий регрессии. Поэтому в тех случаях, когда необходима более высокая точность при замене ломанных линий регрессии на плавно идущие, используют другие способы выравнивания эмпирических рядов.
Способ скользящей средней. Суть этого способа сводится к последовательному вычислению средних арифметических из двух или трех соседних членов эмпирического ряда. Этот способ особенно удобен в тех случаях, когда эмпирический ряд представлен большим числом членов, так что потеря двух из них – крайних, что неизбежно при этом способе выравнивания, заметно не отразится на его структуре.
Метод наименьших квадратов. Этот способ предложен в начале XIX столетия А.М. Лежандром и независимо от него К. Гауссом. Он позволяет наиболее точно выравнивать эмпирические ряды. Этот метод, как было показано выше, основан на предположении, что сумма квадратов отклонений вариант x i от их средней есть величина минимальная, т.е.. Отсюда и название метода, который применяется не только в экологии, но и в технике. Метод наименьших квадратов объективен и универсален, его применяют в самых различных случаях при отыскании эмпирических уравнений рядов регрессии и определении их параметров.
Требование метода наименьших квадратов заключается в том, что теоретические точки линии регрессии должны быть получены таким образом, чтобы сумма квадратов отклонений от этих точек для эмпирических наблюденийy i была минимальной, т.е.
Вычисляя в соответствии с принципами математического анализа минимум этого выражения и определенным образом преобразуя его, можно получить систему так называемых нормальных уравнений , в которых неизвестными величинами оказываются искомые параметры уравнения регрессии, а известные коэффициенты определяются эмпирическими величинами признаков, обычно суммами их значений и их перекрестных произведений.
Множественная линейная регрессия. Зависимость между несколькими переменными величинами принято выражать уравнением множественной регрессии, которая может быть линейной и нелинейной . В простейшем виде множественная регрессия выражается уравнением с двумя независимыми переменными величинами (x , z ):
где a – свободный член уравнения; b и c – параметры уравнения. Для нахождения параметров уравнения (10) (по способу наименьших квадратов) применяют следующую систему нормальных уравнений:
Ряды динамики. Выравнивание рядов. Изменение признаков во времени образует так называемые временные ряды или ряды динамики . Характерной особенностью таких рядов является то, что в качестве независимой переменной X здесь всегда выступает фактор времени, а зависимой Y – изменяющийся признак. В зависимости от рядов регрессии зависимость между переменными X и Y носит односторонний характер, так как фактор времени не зависит от изменчивости признаков. Несмотря на указанные особенности, ряды динамики можно уподобить рядам регрессии и обрабатывать их одними и теми же методами.
Как и ряды регрессии, эмпирические ряды динамики несут на себе влияние не только основных, но и многочисленных второстепенных (случайных) факторов, затушевывающих ту главную тенденцию в изменчивости признаков, которая на языке статистики называют трендом .
Анализ рядов динамики начинается с выявления формы тренда. Для этого временной ряд изображают в виде линейного графика в системе прямоугольных координат. При этом по оси абсцисс откладывают временные точки (годы, месяцы и другие единицы времени), а по оси ординат – значения зависимой переменной Y. При наличии линейной зависимости между переменными X и Y (линейного тренда) для выравнивания рядов динамики способом наименьших квадратов наиболее подходящим является уравнение регрессии в виде отклонений членов ряда зависимой переменной Y от средней арифметической ряда независимой переменнойX:
Здесь – параметр линейной регрессии.
Числовые характеристики рядов динамики. К числу основных обобщающих числовых характеристик рядов динамики относят среднюю геометрическую и близкую к ней среднюю арифметическуювеличины. Они характеризуют среднюю скорость, с какой изменяется величина зависимой переменной за определенные периоды времени:
Оценкой изменчивости членов ряда динамики служит среднее квадратическое отклонение . При выборе уравнений регрессии для описания рядов динамики учитывают форму тренда, которая может быть линейной (или приведена к линейной) и нелинейной. О правильности выбора уравнения регрессии обычно судят по сходству эмпирически наблюденных и вычисленных значений зависимой переменной. Более точным в решении этой задачи является метод дисперсионного анализа регрессии (тема 12 п.4).
Корреляция рядов динамики. Нередко приходится сопоставлять динамику параллельно идущих временных рядов, связанных друг с другом некоторыми общими условиями, например выяснить связь между производством сельскохозяйственной продукции и ростом поголовья скота за определенный промежуток времени. В таких случаях характеристикой связи между переменными X и Y служит коэффициент корреляции R xy (при наличии линейного тренда).
Известно, что тренд рядов динамики, как правило, затушевывается колебаниями членов ряда зависимой переменной Y. Отсюда возникает задача двоякого рода: измерение зависимости между сопоставляемыми рядами, не исключая тренд, и измерение зависимости между соседними членами одного и того же ряда, исключая тренд. В первом случае показателем тесноты связи между сопоставляемыми рядами динамики служит коэффициент корреляции (если связь линейна), во втором – коэффициент автокорреляции . Эти показатели имеют разные значения, хотя и вычисляются по одним и тем же формулам (см. тему 11).
Нетрудно заметить, что на значении коэффициента автокорреляции сказывается изменчивость членов ряда зависимой переменной: чем меньше члены ряда отклоняются от тренда, тем выше коэффициент автокорреляции, и наоборот.
Регрессионный анализ лежит в основе создания большинства эконометрических моделей, к числу которых следует отнести и модели оценки стоимости. Для построения моделей оценки этот метод можно использовать, если количество аналогов (сопоставимых объектов) и количество факторов стоимости (элементов сравнения) соотносятся между собой следующим образом: п > (5 -г-10) х к, т.е. аналогов должно быть в 5-10 раз больше, чем факторов стоимости. Это же требование к соотношению количества данных и количества факторов распространяется и на другие задачи: установление связи между стоимостью и потребительскими параметрами объекта; обоснование порядка расчета корректирующих индексов; выяснение трендов цен; установление связи между износом и изменениями влияющих факторов; получение зависимостей для расчета нормативов затрат и т.п. Выполнение данного требования необходимо для того, чтобы уменьшить вероятность работы с выборкой данных, которая не удовлетворяет требованию нормальности распределения случайных величин.
Регрессионная связь отражает лишь усредненную тенденцию изменения результирующей переменной, например, стоимости, от изменения одной или нескольких факторных переменных, например, местоположения, количества комнат, площади, этажа и т.п. В этом заключается отличие регрессионной связи от функциональной, при которой значение результирующей переменной строго определено при заданном значении факторных переменных.
Наличие регрессионной связи / между результирующей у и факторными переменными х р ..., х к (факторами) свидетельствует о том, что эта связь определяется не только влиянием отобранных факторных переменных, но и влиянием переменных, одни из которых вообще неизвестны, другие не поддаются оценке и учету:
Влияние неучтенных переменных обозначается вторым слагаемым данного уравнения ?, которое называют ошибкой аппроксимации.
Различают следующие типы регрессионных зависимостей:
Основная задача регрессионного анализа - количественное определение тесноты связи между переменными (при парной регрессии) и множеством переменных (при множественной регрессии). Теснота связи количественно выражается коэффициентом корреляции.
Применение регрессионного анализа позволяет установить закономерность влияния основных факторов (гедонистических характеристик ) на изучаемый показатель как в их совокупности, так и каждого из них в отдельности. С помощью регрессионного анализа, как метода математической статистики, удается, во-первых, найти и описать форму аналитической зависимости результирующей (искомой) переменной от факторных и, во-вторых, оценить тесноту этой зависимости.
Благодаря решению первой задачи получают математическую регрессионную модель, с помощью которой затем рассчитывают искомый показатель при заданных значениях факторов. Решение второй задачи позволяет установить надежность рассчитанного результата.
Таким образом, регрессионный анализ можно определить как совокупность формальных (математических) процедур, предназначенных для измерения тесноты, направления и аналитического выражения формы связи между результирующей и факторными переменными, т.е. на выходе такого анализа должна быть структурно и количественно определенная статистическая модель вида:
где у - среднее значение результирующей переменной (искомого показателя, например, стоимости, аренды, ставки капитализации) по п ее наблюдениям; х - значение факторной переменной (/-й фактор стоимости); к - количество факторных переменных.
Функция f(x l ,...,x lc), описывающая зависимость результирующей переменной от факторных, называется уравнением (функцией) регрессии. Термин «регрессия» (regression (лат.) - отступление, возврат к чему-либо) связан со спецификой одной из конкретных задач, решенных на стадии становления метода, и в настоящее время не отражает всей сущности метода, но продолжает применяться.
Регрессионный анализ в общем случае включает следующие этапы:
Указанная последовательность операций имеет место при исследовании как парной связи между факторной переменной и одной результирующей, так и множественной связи между результирующей переменной и несколькими факторными.
Применение регрессионного анализа предъявляет к исходной информации определенные требования:
Требования однородности и полноты выборки находятся в противоречии: чем жестче ведут отбор объектов по их однородности, тем меньше получают выборку, и, наоборот, для укрупнения выборки приходится включать в нее не очень схожие между собой объекты.
После того как собраны данные по группе однородных объектов, проводят их анализ для установления формы связи между результирующей и факторными переменными в виде теоретической линии регрессии. Процесс нахождения теоретической линии регрессии заключается в обоснованном выборе аппроксимирующей кривой и расчете коэффициентов ее уравнения. Линия регрессии представляет собой плавную кривую (в частном случае прямую), описывающую с помощью математической функции общую тенденцию исследуемой зависимости и сглаживающую незакономерные, случайные выбросы от влияния побочных факторов.
Для отображения парных регрессионных зависимостей в задачах по оценке чаще всего используют следующие функции: линейную - у - а 0 + арс + с степенную - у - aj&i + с показательную - у - линейно-показательную - у - а 0 + ар* + с. Здесь - е ошибка аппроксимации, обусловленная действием неучтенных случайных факторов.
В этих функциях у - результирующая переменная; х - факторная переменная (фактор); а 0 , а р а 2 - параметры регрессионной модели, коэффициенты регрессии.
Линейно-показательная модель относится к классу так называемых гибридных моделей вида:
где
где х (i = 1, /) - значения факторов;
b t (i = 0, /) - коэффициенты регрессионного уравнения.
В данном уравнении составляющие А, В и Z соответствуют стоимости отдельных составляющих оцениваемого актива, например, стоимости земельного участка и стоимости улучшений, а параметр Q является общим. Он предназначен для корректировки стоимости всех составляющих оцениваемого актива на общий фактор влияния, например, местоположение.
Значения факторов, находящихся в степени соответствующих коэффициентов, представляют собой бинарные переменные (0 или 1). Факторы, находящиеся в основании степени, - дискретные или непрерывные переменные.
Факторы, связанные с коэффициентами знаком умножения, также являются непрерывными или дискретными.
Спецификация осуществляется, как правило, с использованием эмпирического подхода и включает два этапа:
Тип кривой регрессии не всегда можно выбрать сразу. Для его определения сначала наносят на график точки регрессионного поля по исходным данным. Затем визуально проводят линию по положению точек, стремясь выяснить качественную закономерность связи: равномерный рост или равномерное снижение, рост (снижение) с возрастанием (убыванием) темпа динамики, плавное приближение к некоторому уровню.
Этот эмпирический подход дополняют логическим анализом, отталкиваясь от уже известных представлений об экономической и физической природе исследуемых факторов и их взаимовлияния.
Например, известно, что зависимости результирующих переменных - экономических показателей (цены, аренды) от ряда факторных переменных - ценообразующих факторов (расстояния от центра поселения, площади и др.) имеют нелинейный характер, и достаточно строго их можно описать степенной, экспоненциальной или квадратичной функциями. Но при небольших диапазонах изменения факторов приемлемые результаты можно получить и с помощью линейной функции.
Если все же невозможно сразу сделать уверенный выбор какой- либо одной функции, то отбирают две-три функции, рассчитывают их параметры и далее, используя соответствующие критерии тесноты связи, окончательно выбирают функцию.
В теории регрессионный процесс нахождения формы кривой называется спецификацией модели, а ее коэффициентов - калибровкой модели.
Если обнаружено, что результирующая переменная у зависит от нескольких факторных переменных (факторов) х { , х 2 , ..., х к, то прибегают к построению множественной регрессионной модели. Обычно при этом используют три формы множественной связи: линейную - у - а 0 + а х х х + а^х 2 + ... + а к х к, показательную - у - а 0 a *i а х т- а х ь, степенную - у - а 0 х х ix 2 a 2. .х^или их комбинации.
Показательная и степенная функции более универсальны, так как аппроксимируют нелинейные связи, каковыми и является большинство исследуемых в оценке зависимостей. Кроме того, они могут быть применены при оценке объектов и в методе статистического моделирования при массовой оценке, и в методе прямого сравнения в индивидуальной оценке при установлении корректирующих коэффициентов.
На этапе калибровки параметры регрессионной модели рассчитывают методом наименьших квадратов, суть которого состоит в том, что сумма квадратов отклонений вычисленных значений результирующей переменной у ., т.е. рассчитанных по выбранному уравнению связи, от фактических значений должна быть минимальной:
Значения j) (. и у.
известны, поэтому Q
является функцией только коэффициентов уравнения. Для отыскания минимума S
нужно взять частные производные Q
по коэффициентам уравнения и приравнять их к нулю:
В результате получаем систему нормальных уравнений, число которых равно числу определяемых коэффициентов искомого уравнения регрессии.
Положим, нужно найти коэффициенты линейного уравнения у - а 0 + арс. Сумма квадратов отклонений имеет вид:
/=1
Дифференцируют функцию Q по неизвестным коэффициентам а 0 и и приравнивают частные производные к нулю:
После преобразований получают:
где п - количество исходных фактических значений у их (количество аналогов).
Приведенный порядок расчета коэффициентов регрессионного уравнения применим и для нелинейных зависимостей, если эти зависимости можно линеаризовать, т.е. привести к линейной форме с помощью замены переменных. Степенная и показательная функции после логарифмирования и соответствующей замены переменных приобретают линейную форму. Например, степенная функция после логарифмирования приобретает вид: In у = 1пя 0 +а х 1пх. После замены переменных Y- In у, Л 0 - In а № X- In х получаем линейную функцию
Y=A 0 + cijX, коэффициенты которой находят описанным выше способом.
Метод наименьших квадратов применяют и для расчета коэффициентов множественной регрессионной модели. Так, система нормальных уравнений для расчета линейной функции с двумя переменными Xj и х 2 после ряда преобразований имеет следующий вид:
Обычно данную систему уравнений решают, используя методы линейной алгебры. Множественную степенную функцию приводят к линейной форме путем логарифмирования и замены переменных таким же образом, как и парную степенную функцию.
При использовании гибридных моделей коэффициенты множественной регрессии находятся с использованием численных процедур метода последовательных приближений.
Чтобы сделать окончательный выбор из нескольких регрессионных уравнений, необходимо проверить каждое уравнение на тесноту связи, которая измеряется коэффициентом корреляции, дисперсией и коэффициентом вариации. Для оценки можно использовать также критерии Стьюдента и Фишера. Чем большую тесноту связи обнаруживает кривая, тем она более предпочтительна при прочих равных условиях.
Если решается задача такого класса, когда надо установить зависимость стоимостного показателя от факторов стоимости, то понятно стремление учесть как можно больше влияющих факторов и построить тем самым более точную множественную регрессионную модель. Однако расширению числа факторов препятствуют два объективных ограничения. Во-первых, для построения множественной регрессионной модели требуется значительно более объемная выборка объектов, чем для построения парной модели. Принято считать, что количество объектов в выборке должно превышать количество п факторов, по крайней мере, в 5-10 раз. Отсюда следует, что для построения модели с тремя влияющими факторами надо собрать выборку примерно из 20 объектов с разным набором значений факторов. Во-вторых, отбираемые для модели факторы в своем влиянии на стоимостный показатель должны быть достаточно независимы друг от друга. Это обеспечить непросто, поскольку выборка обычно объединяет объекты, относящиеся к одному семейству, у которых имеет место закономерное изменение многих факторов от объекта к объекту.
Качество регрессионных моделей, как правило, проверяют с использованием следующих статистических показателей.
Стандартное отклонение ошибки уравнения регрессии (ошибка оценки):
где п - объем выборки (количество аналогов);
к - количество факторов (факторов стоимости);
Ошибка, необъясняемая регрессионным уравнением (рис. 3.2);
у. - фактическое значение результирующей переменной (например, стоимости); y t - расчетное значение результирующей переменной.
Этот показатель также называют стандартной ошибкой оценки {СКО ошибки ). На рисунке точками обозначены конкретные значения выборки, символом обозначена линия среднего значений выборки, наклонная штрихпунктирная линия - это линия регрессии.
Рис. 3.2.
Стандартное отклонение ошибки оценки измеряет величину отклонения фактических значений у от соответствующих расчетных значений у { , полученных с помощью регрессионной модели. Если выборка, на которой построена модель, подчинена нормальному закону распределения, то можно утверждать, что 68% реальных значений у находятся в диапазоне у ± & е от линии регрессии, а 95% - в диапазоне у ± 2d e . Этот показатель удобен тем, что единицы измерения сг? совпадают с единицами измерения у ,. В этой связи его можно использовать для указания точности получаемого в процессе оценки результата. Например, в сертификате стоимости можно указать, что полученное с использованием регрессионной модели значение рыночной стоимости V с вероятностью 95% находится в диапазоне от (V -2d,.) до (у + 2d s).
Коэффициент вариации результирующей переменной:
где у - среднее значение результирующей переменной (рис. 3.2).
В регрессионном анализе коэффициент вариации var представляет собой стандартное отклонение результата, выраженное в виде процентного отношения к среднему значению результирующей переменной. Коэффициент вариации может служить критерием прогнозных качеств полученной регрессионной модели: чем меньше величина var , тем более высокими являются прогнозные качества модели. Использование коэффициента вариации предпочтительнее показателя & е, так как он является относительным показателем. При практическом использовании данного показателя можно порекомендовать не применять модель, коэффициент вариации которой превышает 33%, так как в этом случае нельзя говорить о том, что данные выборки подчинены нормальному закону распределения.
Коэффициент детерминации
(квадрат коэффициента множественной корреляции):
Данный показатель используется для анализа общего качества полученной регрессионной модели. Он указывает, какой процент вариации результирующей переменной объясняется влиянием всех включенных в модель факторных переменных. Коэффициент детерминации всегда лежит в интервале от нуля до единицы. Чем ближе значение коэффициента детерминации к единице, тем лучше модель описывает исходный ряд данных. Коэффициент детерминации можно представить иначе:
Здесь- ошибка, объясняемая регрессионной моделью,
а
- ошибка, необъясняемая
регрессионной моделью. С экономической точки зрения данный критерий позволяет судить о том, какой процент вариации цен объясняется регрессионным уравнением.
Точную границу приемлемости показателя R 2 для всех случаев указать невозможно. Нужно принимать во внимание и объем выборки, и содержательную интерпретацию уравнения. Как правило, при исследовании данных об однотипных объектах, полученных примерно в один и тот же момент времени величина R 2 не превышает уровня 0,6-0,7. Если все ошибки прогнозирования равны нулю, т.е. когда связь между результирующей и факторными переменными является функциональной, то R 2 =1.
Скорректированный коэффициент детерминации:
Необходимость введения скорректированного коэффициента детерминации объясняется тем, что при увеличении числа факторов к обычный коэффициент детерминации практически всегда увеличивается, но уменьшается число степеней свободы (п - к - 1). Введенная корректировка всегда уменьшает значение R 2 , поскольку (п - 1) > {п- к - 1). В результате величина R 2 CKOf) даже может стать отрицательной. Это означает, что величина R 2 была близка к нулю до корректировки и объясняемая с помощью уравнения регрессии доля дисперсии переменной у очень мала.
Из двух вариантов регрессионных моделей, которые различаются величиной скорректированного коэффициента детерминации, но имеют одинаково хорошие другие критерии качества, предпочтительнее вариант с большим значением скорректированного коэффициента детерминации. Корректировка коэффициента детерминации не производится, если (п - к): к> 20.
Коэффициент Фишера:
Данный критерий используется для оценки значимости коэффициента детерминации. Остаточная сумма квадратов
представляет собой показатель ошибки предсказания с помощью регрессии известных значений стоимости у..
Ее сравнение с регрессионной суммой квадратов
показывает, во сколько раз регрессионная зависимость предсказывает результат лучше, чем среднее у
. Существует таблица критических значений F R
коэффициента Фишера, зависящих от числа степеней свободы числителя - к
, знаменателя v 2 = п - к
- 1 и уровня значимости а. Если вычисленное значение критерия Фишера F R
больше табличного значения, то гипотеза о незначимости коэффициента детерминации, т.е. о несоответствии заложенных в уравнении регрессии связей реально существующим, с вероятностью р = 1 - а отвергается.
Средняя ошибка аппроксимации (среднее процентное отклонение) вычисляется как средняя относительная разность, выраженная в процентах, между фактическими и расчетными значениями результирующей переменной:
Чем меньше значение данного показателя, тем лучше прогнозные качества модели. При значении данного показателя не выше 7% говорят о высокой точности модели. Если 8 > 15%, говорят о неудовлетворительной точности модели.
Стандартная ошибка коэффициента регрессии:
где (/I) -1 .- диагональный элемент матрицы {Х Г Х)~ 1 к - количество факторов;
X - матрица значений факторных переменных:
X 7 - транспонированная матрица значений факторных переменных;
(ЖЛ) _| - матрица, обратная матрице.
Чем меньше эти показатели для каждого коэффициента регрессии, тем надежнее оценка соответствующего коэффициента регрессии.
Критерий Стьюдента (t-статистика):
Этот критерий позволяет измерить степень надежности (существенности) связи, обусловленной данным коэффициентом регрессии. Если вычисленное значение t . больше табличного значения
t av , где v - п - к - 1 - число степеней свободы, то гипотеза о том, что данный коэффициент является статистически незначимым, отвергается с вероятностью (100 - а)%. Существуют специальные таблицы /-распределения, позволяющие по заданному уровню значимости а и числу степеней свободы v определять критическое значение критерия. Наиболее часто употребляемое значение а равно 5%.
Мультиколлинеарность , т.е. эффект взаимных связей между факторными переменными, приводит к необходимости довольствоваться ограниченным их числом. Если это не учесть, то можно в итоге получить нелогичную регрессионную модель. Чтобы избежать негативного эффекта мультиколлинеарности, до построения множественной регрессионной модели рассчитываются коэффициенты парной корреляции r xjxj между отобранными переменными х. и х
Здесь XjX; - среднее значение произведения двух факторных переменных;
XjXj - произведение средних значений двух факторных переменных;
Оценка дисперсии факторной переменной х..
Считается, что две переменные регрессионно связаны между собой (т.е. коллинеарные), если коэффициент их парной корреляции по абсолютной величине строго больше 0,8. В этом случае какую-либо из этих переменных надо исключить из рассмотрения.
С целью расширения возможностей экономического анализа получаемых регрессионных моделей используются средние коэффициенты эластичности, определяемые по формуле:
где Xj - среднее значение соответствующей факторной переменной;
у - среднее значение результирующей переменной; a i - коэффициент регрессии при соответствующей факторной переменной.
Коэффициент эластичности показывает, на сколько процентов в среднем изменится значение результирующей переменной при изменении факторной переменной на 1 %, т.е. как реагирует результирующая переменная на изменение факторной переменной. Например, как реагирует цена кв. м площади квартиры на удаление от центра города.
Полезным с точки зрения анализа значимости того или иного коэффициента регрессии является оценка частного коэффициента детерминации:
Здесь - оценка дисперсии результирующей
переменной. Данный коэффициент показывает, на сколько процентов вариация результирующей переменной объясняется вариацией /-й факторной переменной, входящей в уравнение регрессии.
Лекция 3.
Регрессионный анализ.
1) Числовые характеристики регрессии
2) Линейная регрессия
3) Нелинейная регрессия
4) Множественная регрессия
5) Использование MS EXCEL для выполнения регрессионного анализа
Контрольно-оценочное средство - тестовые задания
1. Числовые характеристики регрессии
Регрессионный анализ — статистический метод исследования влияния одной или нескольких независимых переменных на зависимую переменную. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных, а не причинно-следственные отношения.
Цели регрессионного анализа
Регрессионный анализ нельзя использовать для определения наличия связи между переменными, поскольку наличие такой связи и есть предпосылка для применения анализа.
Для проведения регрессионного анализа первоначально необходимо познакомиться с базовыми понятиями статистики и теории вероятности.
Основные числовые характеристики дискретных и непрерывных случайных величин: математическое ожидание, дисперсия и среднее квадратическое отклонение.
Случайные величине делят на две разновидности:
Закон распределения случайной величины - это соответствие между возможными значениями дискретной случайной величины и ее вероятностями, обычно записывается в таблицу:
Статистическое определение вероятности выражается через относительную частоту случайного события, то есть находится как отношение количества случайных величин к общему числу случайных величин.
Математическим ожиданием дискретной случайной величины X называется сумма произведений значений величины X на вероятности этих значений. Математическое ожидание обозначают или M (X ) .
n
= M (X ) = x 1 p 1 + x 2 p 2 +… + x n p n = S x i p i
i =1
Рассеяние случайной величины относительно её математического ожидания определяется с помощью числовой характеристики, называемой дисперсией. Проще говоря, дисперсия - это разброс случайной величины относительно среднего значения. Для понятия сущности дисперсии рассмотрим пример. Средняя заработная плата по стране составляет около 25 тысяч рублей. Откуда берется эта цифра? Скорее всего, складываются все зарплаты и делятся на количество работников. В данном случае очень большая дисперсия (минимальная зарплата около 4 тыс. руб., а максимальная - около 100 тыс. руб.). Если бы зарплата у всех была одинаковой, то дисперсия была бы равна нулю, и разброса бы не было.
Дисперсией дискретной случайной величины X называют математическое ожидание квадрата разности случайной величины и её математического ожидания:
D = M [ ((X - M (X)) 2 ]
Используя определение математического ожидания для вычисления дисперсии, получаем формулу:
D = S (x i - M (X)) 2 · p i
Дисперсия имеет размерность квадрата случайной величины. В тех случаях, когда нужно иметь числовую характеристику рассеяния возможных значений в той же размерности, что и сама случайная величина, используют среднее квадратичное отклонение.
Средним квадратичным отклонением случайной величины называют корень квадратный из её дисперсии.
Среднее квадратичное отклонение есть мера рассеяния значений случайной величины около ее математического ожидания.
Пример.
Закон распределения случайной величины Х задан следующей таблицей:
Найти её математическое ожидание, дисперсию и среднее квадратичное отклонение.
Используем приведенные выше формулы:
М (Х) = 1 · 0,1 + 2 · 0,4 + 4 · 0,4 + 5 · 0,1 = 3
D = (1-3) 2 · 0,1 + (2 - 3) 2 · 0,4 + (4 - 3) 2 · 0,4 + (5 - 3) 2 · 0,1 = 1,6
Пример.
В денежной лотерее разыгрывается 1 выигрыш в 1000 рублей, 10 выигрышей по 100 рублей и 100 выигрышей по 1 рублю при общем числе билетов 10000. Составьте закон распределения случайного выигрыша Х для владельца одного лотерейного билета и определите математическое ожидание, дисперсию и среднее квадратичное отклонение случайной величины.
X 1 = 1000, Х 2 = 100, Х 3 = 1, Х 4 = 0,
Р 1 = 1/10000 = 0,0001, Р 2 = 10/10000 = 0,001, Р 3 = 100/10000 = 0,01, Р 4 = 1 - (Р 1 + Р 2 + Р 3) = 0,9889.
Результаты поместим в таблицу:
Математическое ожидание - сумма парных произведений значения случайной величины на их вероятность. Для данной задачи его целесообразно вычислить по формуле
1000 · 0,0001 + 100 · 0,001 + 1 · 0,01 + 0 · 0,9889 = 0,21 рубля.
Получили настоящую «справедливую» цену билета.
D = S (x i - M (X)) 2 · p i = (1000 - 0,21) 2 0,0001 + (100 - 0,21) 2 0,001 +
+ (1 - 0,21) 2 0,01 + (0 - 0,21) 2 0,9889 ≈ 109,97
Функция распределения непрерывных случайных величин
Величину, которая в результате испытания примет одно возможное значение (при этом заранее неизвестно какое), называется случайной величиной. Как говорилось выше, случайные величины бывают дискретные (прерывные) и непрерывные.
Дискретной называют случайную величину, принимающую отдельные друг от друга возможные значения с определенными вероятностями, которые можно пронумеровать.
Непрерывной называют случайную величину, которая может принимать все значения из некоторого конечного или бесконечного интервала.
До этого момента мы ограничивались только одной “разновидностью” случайных величин - дискретных, т.е. принимающих конечные значения.
Но теория и практика статистики требуют использовать понятие непрерывной случайной величины - допускающей любые числовые значения, из какого - либо интервала.
Закон распределения непрерывной случайной величины удобно задавать с помощью так называемой функции плотности вероятности. f (х). Вероятность Р (a < X < b) того, что значение, принятое случайной величиной Х, попадет в промежуток (a; b), определяется равенством
Р (a < X < b) = ∫ f (x ) dx
График функции f (х) называется кривой распределения. Геометрически вероятность попадания случайной величины в промежуток (a; b), равна площади соответствующей криволинейной трапеции, ограниченной кривой распределения, осью Ох и прямыми х = а, х = b.
P(a£X Если от сложного события вычесть конечное либо счетное множество, вероятность наступления нового события останется неизменной. Функция f(x) - числовая скалярная функция действительного аргумента x называется плотностью вероятности, и существует в точке x, если в этой точке существует предел: Свойства плотности вероятности: (если все значения случайной величины Х заключены в промежутке (a;b), то последнее равенство можно записать в виде ∫ f (x) dx = 1). Рассмотрим теперь функцию F(х) = Р (Х < х). Эта функция называется функцией распределения вероятности случайной величины Х. Функция F(х) существует как для дискретных, так и для непрерывных случайных величин. Если f (x) - функция плотности распределения вероятности непрерывной случайной величины Х, то F (х) = ∫ f(x) dx = 1). Из последнего равенства следует, что f (x) = F" (x) Иногда функцию f(x) называют дифференциальной функцией распределения вероятности, а функцию F(x) - интегральной функцией распределения вероятности. Отметим важнейшие свойства функции распределения вероятности: Понятие функции распределения является центральным в теории вероятностей. Используя это понятие, можно дать другое определение непрерывной случайной величины. Случайная величина называется непрерывной, если ее интегральная функция распределения F(х) непрерывна. Числовые характеристики непрерывных случайных величин
Математическое ожидание, дисперсия и другие параметры любых случайных величин практически всегда вычисляются по формулам, вытекающим из закона распределения. Для непрерывной случайной величины математическое ожидание вычисляется по формуле: М (Х) = ∫ x · f(x
)
dx
Дисперсия: D (X) = ∫ (x -
М (Х)) 2 f
(x
)
dx
или D (X) = ∫ x
2 f(x
)
dx
-
(М (Х)) 2 2. Линейная регрессия
Пусть составляющие Х и Y двумерной случайной величины (Х, Y) зависимы. Будем считать, что одну из них можно приближенно представить как линейную функцию другой, например Y ≈ g(Х) = α + βХ, и определим параметры α и β с помощью метода наименьших квадратов. Определение. Функция g(Х) = α + βХ называется наилучшим приближением
Y в смысле метода наименьших квадратов, если математическое ожидание М(Y - g(Х)) 2 принимает наименьшее возможное значение; функцию g(Х) называют среднеквадратической регрессией
Y на Х. Теорема
Линейная средняя квадратическая регрессия Y на Х имеет вид: где - коэффициент корреляции Х иY. Коэффициенты уравнения. Можно проверить, что при этих значениях функция функция F(α, β) F
(α, β
) = M
(Y - α - βX
)² имеет минимум, что доказывает утверждение теоремы. Определение. Коэффициент называется коэффициентом регрессии Y на Х
, а прямая - - прямой среднеквадратической регрессии Y на Х
. Подставив координаты стационарной точки в равенство, можно найти минимальное значение функции F(α, β), равное Эта величина называется остаточной дисперсией
Y относительно Х и характеризует величину ошибки, допускаемой при замене Y на g(Х) = α+βХ. При остаточная дисперсия равна 0, то есть равенство является не приближенным, а точным. Следовательно, при Y и Х связаны линейной функциональной зависимостью. Аналогично можно получить прямую среднеквадратической регрессии Х на Y: и остаточную дисперсию Х относительно Y. При обе прямые регрессии совпадают. Сопоставив уравнения регрессии У на Х и Х на У и решив систему из уравнений, можно найти точку пересечения прямых регрессии - точку с координатами (т х, т у), называемую центром совместного распределения величин Х и Y.
Алгоритм составления уравнений регрессии рассмотрим из учебника В. Е. Гмурмана «Теория вероятности и математическая статистика» стр. 256. 1) Составить расчетную таблицу, в которой будут записаны номера элементов выборки, варианты выборки, их квадраты и произведение. 2) Вычислить сумму по всем столбцам, кроме номера. 3) Вычислить средние значения для каждой величины, дисперсии и средне квадратические отклонения. 5) Проверить гипотезу о существовании связи между Х и У. 6) Составить уравнения обеих линий регрессии и изобразить графики этих уравнений. Угловой коэффициент прямой линии регрессии У на Х - это выборочный коэффициент регрессии Коэффициент b= Получим искомое уравнение линии регрессии У на Х: У = 0,202 Х + 1,024 Аналогично уравнение регрессии Х на У: Угловой коэффициент прямой линии регрессии У на Х - это выборочный коэффициент регрессии pxy: Коэффициент b= Х = 4,119У - 3,714 3. Нелинейная регрессия
Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций. Различают два класса нелинейных регрессий: 1. Регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, например: Полиномы разных степеней Равносторонняя гипербола - ; Полулогарифмическая функция - . 2. Регрессии, нелинейные по оцениваемым параметрам, например: Степенная - ; Показательная - ; Экспоненциальная - . Регрессии нелинейные по включенным переменным приводятся к линейному виду простой заменой переменных, а дальнейшая оценка параметров производится с помощью метода наименьших квадратов. Рассмотрим некоторые функции. Парабола второй степени приводится к линейному виду с помощью замены: . В результате приходим к двухфакторному уравнению, оценка параметров которого при помощи Метода наименьших квадратов приводит к системе уравнений: Парабола второй степени обычно применяется в случаях, когда для определенного интервала значений фактора меняется характер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую. Равносторонняя гипербола может быть использована для характеристики связи удельных расходов сырья, материалов, топлива от объема выпускаемой продукции, времени обращения товаров от величины товарооборота. Классическим ее примером является кривая Филлипса, характеризующая нелинейное соотношение между нормой безработицы x
и процентом прироста заработной платы y
. Гипербола приводится к линейному уравнению простой заменой: . Также можно использовать Метод наименьших квадратов для составления системы линейных уравнений. Аналогичным образом приводятся к линейному виду зависимости: , и другие. Равносторонняя гипербола и полулогарифмическая кривая используют для описания кривой Энгеля (математическое описание взаимосвязи доли расходов на товары длительного пользования и общих сумм расходов (или доходов)). Уравнения, в которых входят, применяются в исследованиях урожайности, трудоемкости сельскохозяйственного производства. 4. Множественная регрессия
Множественная регрессия - уравнение связи с несколькими независимыми переменными: где - зависимая переменная (результативный признак); Независимые переменные (факторы). Для построения уравнения множественной регрессии чаще используются следующие функции: линейная - степенная - экспонента - гипербола - . Можно использовать и другие функции, приводимые к линейному виду. Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов (МНК). Для линейных уравнений и нелинейных уравнений, приводимых к линейным, строится следующая система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии: Для ее решения может быть применен метод определителей: где - определитель системы; Частные определители; которые получаются путем замены соответствующего столбца матрицы определителя системы данными левой части системы. Другой вид уравнения множественной регрессии - уравнение регрессии в стандартизированном масштабе, к уравнению множественной регрессии в стандартизированном масштабе применим МНК. 5. Использование
MS
EXCEL
для выполнения регрессионного анализа
Регрессионный анализ устанавливает формы зависимости между случайной величиной Y (зависимой) и значениями одной или нескольких переменных величин (независимых), причем значения последних считаются точно заданными. Такая зависимость обычно определяется некоторой математической моделью (уравнением регрессии), содержащей несколько неизвестных параметров. В ходе регрессионного анализа на основании выборочных данных находят оценки этих параметров, определяются статистические ошибки оценок или границы доверительных интервалов и проверяется соответствие (адекватность) принятой математической модели экспериментальным данным. В линейном регрессионном анализе связь между случайными величинами предполагается линейной. В самом простом случае в парной линейной регрессионной модели имеются две переменные Х и Y. И требуется по n парам наблюдений (X1, Y1), (X2, Y2), ..., (Xn, Yn) построить (подобрать) прямую линию, называемую линией регрессии, которая «наилучшим образом» приближает наблюдаемые значения. Уравнение этой линии y=аx+b является регрессионным уравнением. С помощью регрессионного уравнения можно предсказать ожидаемое значение зависимой величины y, соответствующее заданному значению независимой переменной x. В случае, когда рассматривается зависимость между одной зависимой переменной Y и несколькими независимыми X1, X2, ..., Xm, говорят о множественной линейной регрессии. В этом случае регрессионное уравнение имеет вид y = a 0 +a 1 x 1 +a 2 x 2 +…+a m x m , где a0, a1, a2, …, am - требующие определения коэффициенты регрессии. Коэффициенты уравнения регрессии определяются при помощи метода наименьших квадратов, добиваясь минимально возможной суммы квадратов расхождений реальных значений переменной Y и вычисленных по регрессионному уравнению. Таким образом, например, уравнение линейной регрессии может быть построено даже в том случае, когда линейная корреляционная связь отсутствует. Мерой эффективности регрессионной модели является коэффициент детерминации R2 (R-квадрат). Коэффициент детерминации может принимать значения между 0 и 1 определяет, с какой степенью точности полученное регрессионное уравнение описывает (аппроксимирует) исходные данные. Исследуется также значимость регрессионной модели с помощью F-критерия (Фишера) и достоверность отличия коэффициентов a0, a1, a2, …, am от нуля проверяется с помощью критерия Стьюдента. В Excel экспериментальные данные аппроксимируются линейным уравнением до 16 порядка: y = a0+a1x1+a2x2+…+a16x16 Для получения коэффициентов линейной регрессии может быть использована процедура «Регрессия» из пакета анализа. Также полную информацию об уравнении линейной регрессии дает функция ЛИНЕЙН. Кроме того, могут быть использованы функции НАКЛОН и ОТРЕЗОК для получения параметров регрессионного уравнения и функция ТЕНДЕНЦИЯ и ПРЕДСКАЗ для получения предсказанных значений Y в требуемых точках (для парной регрессии). Рассмотрим подробно применение функции ЛИНЕЙН (известные_y, [известные_x], [константа], [статистика]): известные_у - диапазон известных значений зависимого параметра Y. В парном регрессионном анализе может иметь любую форму; в множественном должен быть строкой либо столбцом; известные_х - диапазон известных значений одного или нескольких независимых параметров. Должен иметь ту же форму, что и диапазон Y (для нескольких параметров - соответственно несколько столбцов или строк); константа - логический аргумент. Если исходя из практического смысла задачи регрессионного анализа необходимо, чтобы линия регрессии проходила через начало координат, то есть свободный коэффициент был равен 0, значение этого аргумента следует положить равным 0 (или «ложь»). Если значение положено 1 (или «истина») или опущено, то свободный коэффициент вычисляется обычным образом; статистика - логический аргумент. Если значение положено 1 (или «истина»), то дополнительно возвращается регрессионная статистика (см таблицу), используемая для оценки эффективности и значимости модели. В общем случае для парной регрессии y=аx+b результат применения функции ЛИНЕЙН имеет вид: Таблица. Выводной диапазон функции ЛИНЕЙН для парного регрессионного анализа В случае множественного регрессионного анализа для уравнения y=a0+a1x1+a2x2+…+amxm в первой строке выводятся коэффициенты am,…,a1,а0, во второй - стандартные ошибки для этих коэффициентов. В 3-5 строках за исключением первых двух столбцов, заполненных регрессионной статистикой, будет получено значение #Н/Д. Вводить функцию ЛИНЕЙН следует как формулу массива, выделив вначале массив нужного размера для результата (m+1 столбец и 5 строк, если требуется регрессионная статистика) и завершив ввод формулы нажатием CTRL+SHIFT+ENTER. Результат для нашего примера: Кроме этого в программе имеется встроенная функция - Анализ данных на вкладке Данные. С помощью нее можно также выполнять регрессионный анализ: На слайде - результат регрессионного анализа, выполненного с помощью Анализа данных. ВЫВОД ИТОГОВ Регрессионная статистика
Множественный R R-квадрат Нормированный R-квадрат Стандартная ошибка Наблюдения Дисперсионный анализ Значимость F
Регрессия Коэффициенты
Стандартная ошибка
t-статистика
P-Значение
Нижние 95%
Верхние 95%
Нижние 95,0%
Верхние 95,0%
Y-пересечение Переменная X 1 Уравнения регрессии, которые мы смотрели ранее также построены в MS Excel. Для их выполнения сначала строится Точечная диаграмма, затем через контекстное меню выбираем - Добавить линию тренда. В новом окне ставим галочки - Показывать уравнение на диаграмме и поместить на диаграмму величину достоверности апроксимации (R^2). Литература:
Парная регрессия - уравнение связи двух переменных у и х: , где y - зависимая переменная (результативный признак); x - независимая, объясняющая переменная (признак-фактор). Различают линейные и нелинейные регрессии.
Задача дисперсионного анализа состоит в анализе дисперсии зависимой переменной:
F-тест - оценивание качества уравнения регрессии - состоит в проверке гипотезы Но о статистической незначимости уравнения регрессии и показателя тесноты связи. Для этого выполняется сравнение фактического F факт и критического (табличного) F табл значений F-критерия Фишера. F факт определяется из соотношения значений факторной и остаточной дисперсий, рассчитанных на одну степень свободы:
Уравнение регрессии: у =
76,88 - 0,35х.
С увеличением среднедневной заработной платы на 1 руб. доля расходов на покупку продовольственных товаров снижается в среднем на 0,35 %-ных пункта.
поскольку 1< F
<
¥
, следует рассмотреть F
-1 .
Для расчетов используем данные табл. 1.3. Таблица 1.3 Рассчитаем С иb:
1в
. Построению уравнения показательной кривой предшествует процедура линеаризации переменных при логарифмировании обеих частей уравнения:
Значения параметров регрессии A и В
составили:
ВЫВОД ИТОГОВ Сначала рассмотрим верхнюю часть расчетов, представленную в таблице 8.3а , - регрессионную статистику. Величина R-квадрат
, называемая также мерой определенности, характеризует качество полученной регрессионной прямой. Это качество выражается степенью соответствия между исходными данными и регрессионной моделью (расчетными данными). Мера определенности всегда находится в пределах интервала . В большинстве случаев значение R-квадрат
находится между этими значениями, называемыми экстремальными, т.е. между нулем и единицей. Если значение R-квадрата
близко к единице, это означает, что построенная модель объясняет почти всю изменчивость соответствующих переменных. И наоборот, значение R-квадрата
, близкое к нулю, означает плохое качество построенной модели. В нашем примере мера определенности равна 0,99673, что говорит об очень хорошей подгонке регрессионной прямой к исходным данным. Множественный R
- коэффициент множественной корреляции R - выражает степень зависимости независимых переменных (X) и зависимой переменной (Y). Множественный R
равен квадратному корню из коэффициента детерминации, эта величина принимает значения в интервале от нуля до единицы. В простом линейном регрессионном анализе множественный R
равен коэффициенту корреляции Пирсона. Действительно, множественный R
в нашем случае равен коэффициенту корреляции Пирсона из предыдущего примера (0,998364). Теперь рассмотрим среднюю часть расчетов, представленную в таблице 8.3б . Здесь даны коэффициент регрессии b (2,305454545) и смещение по оси ординат, т.е. константа a (2,694545455). Исходя из расчетов, можем записать уравнение регрессии таким образом: Y= x*2,305454545+2,694545455 Направление связи между переменными определяется на основании знаков (отрицательный или положительный) коэффициентов регрессии
(коэффициента b). Если знак при коэффициенте регрессии
- положительный, связь зависимой переменной с независимой будет положительной. В нашем случае знак коэффициента регрессии положительный, следовательно, связь также является положительной. Если знак при коэффициенте регрессии
- отрицательный, связь зависимой переменной с независимой является отрицательной (обратной). В таблице 8.3в . представлены результаты вывода остатков
. Для того чтобы эти результаты появились в отчете, необходимо при запуске инструмента "Регрессия" активировать чекбокс "Остатки". ВЫВОД ОСТАТКА При помощи этой части отчета мы можем видеть отклонения каждой точки от построенной линии регрессии. Наибольшее абсолютное значение
Основная цель регрессионного анализа
состоит в определении аналитической формы связи, в которой изменение результативного признака обусловлено влиянием одного или нескольких факторных признаков, а множество всех прочих факторов, также оказывающих влияние на результативный признак, принимается за постоянные и средние значения.
Задачи регрессионного анализа
:
а) Установление формы зависимости. Относительно характера и формы зависимости между явлениями, различают положительную линейную и нелинейную и отрицательную линейную и нелинейную регрессию.
б) Определение функции регрессии в виде математического уравнения того или иного типа и установление влияния объясняющих переменных на зависимую переменную.
в) Оценка неизвестных значений зависимой переменной. С помощью функции регрессии можно воспроизвести значения зависимой переменной внутри интервала заданных значений объясняющих переменных (т. е. решить задачу интерполяции) или оценить течение процесса вне заданного интервала (т. е. решить задачу экстраполяции). Результат представляет собой оценку значения зависимой переменной.
Линейная регрессия: y = a + bx + ε
Нелинейные регрессии делятся на два класса: регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, и регрессии, нелинейные по оцениваемым параметрам.
Регрессии, нелинейные по объясняющим переменным:
.
Для линейных и нелинейных уравнений, приводимых к линейным, решается следующая система относительно a и b:
Можно воспользоваться готовыми формулами, которые вытекают из этой системы:
Тесноту связи изучаемых явлений оценивает линейный коэффициент парной корреляции для линейной регрессии :
и индекс корреляции - для нелинейной регрессии:
Оценку качества построенной модели даст коэффициент (индекс) детерминации, а также средняя ошибка аппроксимации .
Средняя ошибка аппроксимации - среднее отклонение расчетных значений от фактических:
.
Допустимый предел значений - не более 8-10%.
Средний коэффициент эластичности показывает, на сколько процентов в среднем по совокупности изменится результат у от своей средней величины при изменении фактора x на 1% от своего среднего значения:
.
,
где - общая сумма квадратов отклонений;
- сумма квадратов отклонений, обусловленная регрессией («объясненная» или «факторная»);
- остаточная сумма квадратов отклонений.
Долю дисперсии, объясняемую регрессией, в общей дисперсии результативного признака у характеризует коэффициент (индекс) детерминации R 2:
Коэффициент детерминации - квадрат коэффициента или индекса корреляции.
,
где n - число единиц совокупности; m - число параметров при переменных х.
F табл - это максимально возможное значение критерия под влиянием случайных факторов при данных степенях свободы и уровне значимости a. Уровень значимости a - вероятность отвергнуть правильную гипотезу при условии, что она верна. Обычно a принимается равной 0,05 или 0,01.
Если F табл < F факт, то Н о - гипотеза о случайной природе оцениваемых характеристик отклоняется и признается их статистическая значимость и надежность. Если F табл > F факт, то гипотеза Н о не отклоняется и признается статистическая незначимость, ненадежность уравнения регрессии.
Для оценки статистической значимости коэффициентов регрессии и корреляции рассчитываются t-критерий Стьюдента и доверительные интервалы каждого из показателей. Выдвигается гипотеза Н о о случайной природе показателей, т.е. о незначимом их отличии от нуля. Оценка значимости коэффициентов регрессии и корреляции с помощью t-критерия Стьюдента проводится путем сопоставления их значений с величиной случайной ошибки:
; ; .
Случайные ошибки параметров линейной регрессии и коэффициента корреляции определяются по формулам:
Сравнивая фактическое и критическое (табличное) значения t-статистики - t табл и t факт - принимаем или отвергаем гипотезу Н о.
Связь между F-критерием Фишера и t-статистикой Стьюдента выражается равенством
Если t табл < t факт то H o отклоняется, т.е. a, b и не случайно отличаются от нуля и сформировались под влиянием систематически действующего фактора х. Если t табл > t факт то гипотеза Н о не отклоняется и признается случайная природа формирования а, b или .
Для расчета доверительного интервала определяем предельную ошибку D для каждого показателя:
, .
Формулы для расчета доверительных интервалов имеют следующий вид:
; ;
; ;
Если в границы доверительного интервала попадает ноль, т.е. нижняя граница отрицательна, а верхняя положительна, то оцениваемый параметр принимается нулевым, так как он не может одновременно принимать и положительное, и отрицательное значения.
Прогнозное значение определяется путем подстановки в уравнение регрессии соответствующего (прогнозного) значения . Вычисляется средняя стандартная ошибка прогноза :
,
где 
и строится доверительный интервал прогноза:
; 
; 
где 
.Пример решения
Задача №1
. По семи территориям Уральского района За 199Х г. известны значения двух признаков.
Таблица 1.
Требуется:
1. Для характеристики зависимости у от х рассчитать параметры следующих функций:
а) линейной;
б) степенной (предварительно нужно произвести процедуру линеаризации переменных, путем логарифмирования обеих частей);
в) показательной;
г) равносторонней гиперболы (так же нужно придумать как предварительно линеаризовать данную модель).
2. Оценить каждую модель через среднюю ошибку аппроксимации и F-критерий Фишера.
Решение (Вариант №1)
Для расчета параметров a и b линейной регрессии (расчет можно проводить с помощью калькулятора).
решаем систему нормальных уравнений относительно а
и b:
По исходным данным рассчитываем 
:
y
x
yx
x 2
y 2
A i
l
68,8
45,1
3102,88
2034,01
4733,44
61,3
7,5
10,9
2
61,2
59,0
3610,80
3481,00
3745,44
56,5
4,7
7,7
3
59,9
57,2
3426,28
3271,84
3588,01
57,1
2,8
4,7
4
56,7
61,8
3504,06
3819,24
3214,89
55,5
1,2
2,1
5
55,0
58,8
3234,00
3457,44
3025,00
56,5
-1,5
2,7
6
54,3
47,2
2562,96
2227,84
2948,49
60,5
-6,2
11,4
7
49,3
55,2
2721,36
3047,04
2430,49
57,8
-8,5
17,2
Итого
405,2
384,3
22162,34
21338,41
23685,76
405,2
0,0
56,7
Ср. знач. (Итого/n)
57,89
54,90
3166,05
3048,34
3383,68
X
X
8,1
s
5,74
5,86
X
X
X
X
X
X
s 2
32,92
34,34
X
X
X
X
X
X
Рассчитаем линейный коэффициент парной корреляции:
Связь умеренная, обратная.
Определим коэффициент детерминации:
Вариация результата на 12,7% объясняется вариацией фактора х. Подставляя в уравнение регрессии фактические значения х,
определим теоретические (расчетные) значения
.
Найдем величину средней ошибки аппроксимации :
В среднем расчетные значения отклоняются от фактических на 8,1%.
Рассчитаем F-критерий:
Полученное значение указывает на необходимость принять гипотезу Но о
случайной природе выявленной зависимости и статистической незначимости параметров уравнения и показателя тесноты связи.
1б.
Построению степенной модели предшествует процедура линеаризации переменных. В примере линеаризация производится путем логарифмирования обеих частей уравнения:
где
Y=lg(y), X=lg(x), C=lg(a).
Y
X
YX
Y 2
X 2
A i
1
1,8376
1,6542
3,0398
3,3768
2,7364
61,0
7,8
60,8
11,3
2
1,7868
1,7709
3,1642
3,1927
3,1361
56,3
4,9
24,0
8,0
3
1,7774
1,7574
3,1236
3,1592
3,0885
56,8
3,1
9,6
5,2
4
1,7536
1,7910
3,1407
3,0751
3,2077
55,5
1,2
1,4
2,1
5
1,7404
1,7694
3,0795
3,0290
3,1308
56,3
-1,3
1,7
2,4
6
1,7348
1,6739
2,9039
3,0095
2,8019
60,2
-5,9
34,8
10,9
7
1,6928
1,7419
2,9487
2,8656
3,0342
57,4
-8,1
65,6
16,4
Итого
12,3234
12,1587
21,4003
21,7078
21,1355
403,5
1,7
197,9
56,3
Среднее значение
1,7605
1,7370
3,0572
3,1011
3,0194
X
X
28,27
8,0
σ
0,0425
0,0484
X
X
X
X
X
X
X
σ 2
0,0018
0,0023
X
X
X
X
X
X
X
Получим линейное уравнение:
.
Выполнив его потенцирование, получим:
Подставляя в данное уравнение фактические значения х,
получаем теоретические значения результата. По ним рассчитаем показатели: тесноты связи - индекс корреляции и среднюю ошибку аппроксимации 
Характеристики степенной модели указывают, что она несколько лучше линейной функции описывает взаимосвязь.
Для расчетов используем данные таблицы.
Y
x
Yx
Y 2
x 2
A i
1
1,8376
45,1
82,8758
3,3768
2034,01
60,7
8,1
65,61
11,8
2
1,7868
59,0
105,4212
3,1927
3481,00
56,4
4,8
23,04
7,8
3
1,7774
57,2
101,6673
3,1592
3271,84
56,9
3,0
9,00
5,0
4
1,7536
61,8
108,3725
3,0751
3819,24
55,5
1,2
1,44
2,1
5
1,7404
58,8
102,3355
3,0290
3457,44
56,4
-1,4
1,96
2,5
6
1,7348
47,2
81,8826
3,0095
2227,84
60,0
-5,7
32,49
10,5
7
1,6928
55,2
93,4426
2,8656
3047,04
57,5
-8,2
67,24
16,6
Итого
12,3234
384,3
675,9974
21,7078
21338,41
403,4
-1,8
200,78
56,3
Ср. зн.
1,7605
54,9
96,5711
3,1011
3048,34
X
X
28,68
8,0
σ
0,0425
5,86
X
X
X
X
X
X
X
σ 2
0,0018
34,339
X
X
X
X
X
X
X
Получено линейное уравнение: 
.
Произведем потенцирование полученного уравнения и запишем его в обычной форме:
Тесноту связи оценим через индекс корреляции :
Таблица
8.3а.
Регрессионная статистика
Регрессионная статистика
Множественный R
0,998364
R-квадрат
0,99673
Нормированный R-квадрат
0,996321
Стандартная ошибка
0,42405
Наблюдения
10
Таблица
8.3б.
Коэффициенты регрессии
Коэффициенты
Стандартная ошибка
t-статистика
Y-пересечение
2,694545455
0,33176878
8,121757129
Переменная X 1
2,305454545
0,04668634
49,38177965
* Приведен усеченный вариант расчетов
Таблица
8.3в.
Остатки
Наблюдение
Предсказанное Y
Остатки
Стандартные остатки
1
9,610909091
-0,610909091
-1,528044662
2
7,305454545
-0,305454545
-0,764022331
3
11,91636364
0,083636364
0,209196591
4
14,22181818
0,778181818
1,946437843
5
16,52727273
0,472727273
1,182415512
6
18,83272727
0,167272727
0,418393181
7
21,13818182
-0,138181818
-0,34562915
8
23,44363636
-0,043636364
-0,109146047
9
25,74909091
-0,149090909
-0,372915662
10
28,05454545
-0,254545455
-0,636685276
Тематические материалы:
