(einfache) (Zufalls-)Stichprobe
Stichprobenvariablen
Zielpopulation
Stichprobenpopulation
Stichprobenverteilung
Statistik (Stichprobenfunktion)
Punktschätzer
Punktschätzung
Intervallschätzer
Konfidenzniveau (Vertrauensniveau)
untere
und obere Konfidenzgrenzen (Vertrauensgrenzen)
Konfidenzintervall
(Vertrauensintervall)
unverzerrter (erwartungstreuer)
Schätzer
bester unverzerrter Schätzer
mittlerer quadratischer Fehler
(MSE)
, 
, sollen
Rückschlüsse auf die Verteilung der Zufallsvariablen X
gezogen werden:
mit Dichte 
, , heißt
eine (einfache) (Zufalls-)Stichprobe
der Größe N aus einer Grundgesamtheit, wenn für
die gemeinsame Dichte gilt:
das heißt, wenn die Zufallsvariablen unabhängig sind.
Es werden also künstliche (fiktive) Zufallsvariablen 
( Stichprobenvariablen),
betrachtet, die Vertreter (Kopien) der eigentlich interessierenden Zufallsvariablen
X sind, und die jeweils den Wert (die Realisation) 
hervorgebracht haben. Deshalb sind die
, und X
identisch verteilt. Die Realisationen
, , sind die
Informationsträger der Verteilung von X.
Die Gesamtheit der Elemente, über die Information gewünscht
wird, heißt Zielpopulation.
Die Gesamtheit der Elemente, die in einer Stichprobe vorkommen können,
heißt Stichprobenpopulation.
Die gemeinsame Verteilung der Stichprobe
der Größe N heißt Stichprobenverteilung.
Um die wichtigen, aber unbekannten Kenngrößen (Charakterisierungen) einer Zufallsvariablen X wie zum Beispiel die Verteilungsfunktion, die Dichte, den Erwartungswert, die Varianz oder die Quantile kennenzulernen (zu schätzen), wird die Stichprobe bzw. ihre Werte noch so weit durch Transformationen T verdichtet, daß diese gewünschten Kenngrößen beschrieben werden können. Eine Statistik (Stichprobenfunktion) T ist eine Funktion (Transformation) von beobachtbaren Zufallsvariablen (der Stichprobenvariablen), die selbst eine Zufallsvariable ist, die also nicht von unbekannten Parametern abhängt (Punktschätzer, Intervallschätzer, Teststatistiken, etc.).
Sei eine
Zufallsstichprobe mit der Dichte 
. Sei 
eine
Funktion der unbekannten Parameter 
. Ein Punktschätzer ist eine
Statistik 
, deren Realisierung benutzt wird, um die Unbekannte
möglichst gut zu repräsentieren. Eine Realisierung 
eines Punktschätzer heißt Punktschätzung.
Ein Intervallschätzer
ist ein Paar von Statistiken 
und 
mit 
, so daß
wobei 
eine
vorgegebene Wahrscheinlichkeit ist (Dabei ist 
"das zu der Verteilung mit der Dichte
gehörende" Wahrscheinlichkeitsmaß.). Die Wahrscheinlichkeit 
heißt Konfidenzniveau
(Vertrauensniveau), 
und 
untere
bzw. obere Konfidenzgrenzen (Vertrauensgrenzen) für
.
Ein Intervall 
von Realisierungen eines Intervallschätzers heißt zweiseitiges 
%-Konfidenzintervall (
%-Vertrauensintervall) für
.
Sei eine
Funktion der unbekannten Parameter
. Ein Punktschätzer
heißt unverzerrter
(erwartungstreuer) Schätzer für
, wenn für alle "erlaubten" Parameter 
gilt:
Ein unverzerrter Schätzer
für heißt bester
unverzerrter Schätzer, wenn für alle
minimal ist für alle unverzerrten Schätzer T.
heißt mittlerer
quadratischer Fehler (MSE, mean squared error) des unverzerrten Schätzer
T.