Abstract

Finite mixture models are a popular technique for modelling unobserved heterogeneity. Areas of applications include for example marketing and market segmentation. There exist several extensions and variations of the basic model class. Due to the flexibility of the most common estimation methods, such as the Expectation-Maximization (EM) algorithm for Maximum Likelihood estimation or Gibbs sampling and Markov Chain Monte Carlo (MCMC) methods for Bayesian estimation, nearly arbitrary component specific models can be included. This project aims at extending the general model class by using generalized additive models (GAMs) for the components. GAMs extend generalized linear models by allowing for smooth terms as independent variables and thus to determine the relationship between the independent and dependent variables in a data-driven way. Identification, estimation and application of finite mixtures of GAMs will be investigated.

Model estimation with the EM algorithm will be improved by investigating and developing different initialization strategies. Available initialization methods have often been only developed and validated for special kinds of mixture models. The applicability of these methods for general mixture models, especially those also including independent variables in a regression setting, has to be verified. In addition methods to automatically assess the difficulty of the estimation problem are investigated. The results of these investigations will enable the development of an adaptive estimation procedure which takes the difficulty and the specific characteristics of the problem into regard. Given the wide range of different possible mixture models tools for model selection and diagnostics will be investigated in order to enable the user to select the most appropriate model.

The developed methods will be made available in an open-source reference implementation using R, an environment for statistical computing and graphics. The implementation will aim at flexibility, extensibility and user friendliness in order to allow for the easy and quick addition of new model extensions and ensure the applicability of the estimation techniques, diagnostic tools and visualization methods for new variants.

Kurzfassung

Finite Mischmodelle sind eine populäre Methode zur Modellierung von unbeobachteter Heterogenität. Anwendungsbereiche sind unter anderem Marketing und Marktsegmentierung. Es gibt mehrere Erweiterungen und Variationen der grundlegenden Modellklasse. Aufgrund der Flexibilität der allgemein üblichen Schätzmethoden, wie des EM (Expectation-Maximization)-Algorithmus für Maximum Likelihood Schätzung sowie Gibbs Sampling und MCMC (Markov Chain Monte Carlo) Methoden für Bayesianische Schätzung, können beinahe beliebige komponentenspezifische Modelle inkludiert werden. Dieses Projekt versucht eine Erweiterung der allgemeinen Modellklasse durch die Verwendung von generalisierten additiven Modellen (GAMs) für die Komponenten zu erzielen. GAMs erweitern generalisierte lineare Modelle, indem sie glatte Terme als unabhängige Variable erlauben und dadurch die Beziehung zwischen unabhängigen und abhängigen Variablen auf datengetriebene Art und Weise bestimmen. Die Identifikation, Schätzung und Anwendung von finiten Mischungen von GAMs wird untersucht.

Die Modellschätzung mithilfe des EM Algorithmus wird durch die Analyse und das Entwickeln verschiedener Initialisierungsstrategien verbessert. Derzeit schon vorhandende Initialisierungsmethoden sind oft nur für Spezialfälle von finiten Mischmodelle entwickelt und validiert worden. Die Anwendbarkeit dieser Methoden für allgemeine Mischmodelle, besonders für jene mit unabhängigen Variablen in einer Regressionsanwendung, muss noch verifiziert werden. Zusätzlich werden Methoden untersucht, die automatisch die Schwierigkeit des Schätzproblems bestimmen. Die Ergebnisse dieser Untersuchungen werden die Entwicklung einer adaptiven Schätzprozedur ermöglichen, die die Schwierigkeit und speziellen Charakteristika des Problems berücksichtigt. Da eine Vielzahl verschiedener Mischmodelle im Allgemeinen verwendet werden können, werden Werkzeuge zur Modellselektion und Modelldiagnostik untersucht, um dem Anwender die Auswahl des am besten geeigneten Modells zu ermöglichen.

Die entwickelten Methoden werden in einer open-source Referenzimplementierung unter der Verwendung von R, einer Umgebung für statistisches Rechnen und Visualisierung, zur Verfügung gestellt. Die Implementierung wird auf Flexibilität, Erweiterbarkeit und Anwenderfreundlichkeit ausgerichtet sein, um ein schnelles und leichtes Hinzufügen von neuen Modellerweiterungen zu ermöglichen sowie die Anwendbarkeit der Schätzverfahren, diagnostischen Werkzeuge und Visualisierungsmethoden für die neuen Varianten sicherzustellen.