Telefonisch und online befragen: wann sich der Methodenmix lohnt
Wen man wie erreicht, hängt heute stark vom Alter und von der Adressqualität ab. Unter 35 hat kaum noch jemand eine Festnetznummer, und einen Anruf von einer unbekannten Nummer nehmen viele gar nicht erst an. Bei den über 65-Jährigen fehlt dagegen oft die E-Mail-Adresse. In älteren B2B-Adressbeständen fehlt sie bei vielen Kontakten ebenfalls.
Die Frage „Telefon oder online?“ ist deshalb meist die falsche. Besser fragt man: Welchen Teil der Stichprobe erreichen wir über welchen Weg? Auf dieser Seite steht, wann sich ein Methodenmix lohnt, wann er nur Aufwand bringt und wie man beide Wege so anlegt, dass am Ende ein Datensatz herauskommt und nicht zwei. Die Grundlagen zu beiden Wegen finden Sie auf den Seiten zur Telefonbefragung und zu Online-Befragungen.
Marktforschung per Telefon und online: die Unterschiede im Überblick
Beide Wege liefern brauchbare Daten, aber unter verschiedenen Bedingungen. Die Tabelle stellt die wichtigsten Unterschiede gegenüber, damit Sie einschätzen können, was zu Ihrer Zielgruppe und Ihrem Adressbestand passt.
Wann ein Methodenmix sinnvoll ist – und wann nicht
Ein zweiter Erhebungsweg lohnt sich nicht immer. In vier Situationen aber regelmäßig:
- 1Die Zielgruppe ist nicht einheitlich erreichbar. Ein typisches Beispiel ist eine B2B-Kundenliste aus einem älteren CRM-System: Bei einem Teil der Kontakte steht eine persönliche E-Mail-Adresse, bei einem anderen nur die Zentrale. Wer nur online einlädt, befragt vor allem die gut gepflegten Kunden, und das sind selten die kritischen.
- 2Eine Listenstichprobe soll ausgeschöpft werden. Online starten, nach einigen Tagen telefonisch nachfassen. Der zweite Weg holt die Fälle, die der erste nicht erreicht hat. Bei einer reinen Online-Einladung bleibt die Ausschöpfung oft im niedrigen zweistelligen Bereich stecken; das Nachfassen hebt sie deutlich an.
- 3Eine wiederkehrende Welle verliert Beteiligung. Wer jährlich dieselbe Kundengruppe befragt, sieht die Rücklaufquote sinken. Ein zweiter Kanal hält die Fallzahl stabil, ohne dass die Stichprobe umgebaut werden muss. Voraussetzung ist, dass der Wechsel methodisch abgesichert wird (siehe nächster Abschnitt).
- 4Internationale Feldarbeit mit ungleicher Adressqualität. In manchen Ländern reicht der E-Mail-Bestand, in anderen nicht. Dann wird je Land der Weg gewählt, der dort funktioniert, statt die ganze Erhebung am schwächsten Land auszurichten.
Und es gibt Fälle, in denen man es lassen sollte:
Wann ein Mix keine gute Idee ist
Bei einer kleinen, einheitlichen und gut erreichbaren Zielgruppe bringt der zweite Kanal vor allem Aufwand: doppelte Programmierung, zwei Feldsteuerungen, eine Zusammenführung, und das für ein paar zusätzliche Fälle, die der erste Weg auch geliefert hätte.
Vorsicht auch bei einer laufenden Zeitreihe: Ein Kanalwechsel mitten in der Reihe verändert die Ergebnisse, auch wenn sich in der Sache nichts geändert hat. Wer den Wechsel trotzdem braucht, plant eine Überlappungswelle ein. Dazu gleich mehr.
Welcher Weg passt zu Ihrer Stichprobe?
Schicken Sie uns die Eckdaten Ihres Adressbestands. Wir sagen Ihnen, ob ein Kanal reicht.
Der Methodeneffekt: was sich mit dem Kanal ändert
Wer zwei Erhebungswege kombiniert, muss wissen: Die Antworten hängen auch vom Weg ab, nicht allein von der Frage. Das spricht nicht gegen den Mix, aber man muss es bei der Auswertung berücksichtigen.
Die wichtigsten Unterschiede sind in der Methodenforschung gut belegt und zeigen sich auch in unseren Projekten:
- Soziale Erwünschtheit fällt online geringer aus. Bei heiklen Fragen (Unzufriedenheit, Konflikte mit Vorgesetzten, eigenes Verhalten) antworten Menschen offener, wenn niemand zuhört.
- Am Telefon wird tendenziell positiver bewertet. Zustimmung ist im Gespräch der bequemere Weg; Skalenwerte fallen dadurch im Schnitt etwas freundlicher aus als bei derselben Frage online.
- „Weiß nicht“ und die Skalenmitte werden online häufiger gewählt, weil sie auf dem Bildschirm sichtbar sind. Am Telefon werden sie meist nicht vorgelesen, sondern nur akzeptiert, wenn sie kommen.
- Offene Antworten fallen online kürzer aus. Tippen ist aufwendiger als sprechen, und es fehlt die Nachfrage. Dafür sind sie wortgetreu und müssen nicht mitgeschrieben werden.
- Abbrüche verteilen sich anders. Online steigen Teilnehmer bei der langen Matrixfrage aus, am Telefon gleich am Anfang. Wer beide Wege nutzt, sieht beide Muster und kann den Fragebogen an diesen Stellen kürzen.
Daraus folgen drei Regeln, die wir in jedem kombinierten Projekt anwenden. Erstens: Der Erhebungsweg wird als Variable im Datensatz mitgeführt. Ohne diese Variable lässt sich später nicht mehr feststellen, ob ein Unterschied zwischen zwei Gruppen inhaltlich ist oder methodisch. Zweitens: Auswertungen werden auf Moduseffekte geprüft, bevor Ergebnisse berichtet werden, vor allem bei Vergleichen zwischen Standorten oder Kundensegmenten, die unterschiedlich stark über einen der beiden Wege befragt wurden. Drittens: Bei Zeitreihen wird ein Kanalwechsel überlappend abgesichert, indem eine Welle beide Wege parallel fährt. So lässt sich der Effekt beziffern und muss später nicht erklärt werden.
Drei Designs: nacheinander, parallel, ergänzend
Hinter dem Wort „Methodenmix“ stecken drei verschiedene Vorgehensweisen, jede mit eigenen Stärken.
Erst online, dann telefonisch nachfassen
Alle bekommen die Online-Einladung, nach einigen Tagen werden die Nichtteilnehmer angerufen. Das ist die günstigste Variante und bringt die meiste Ausschöpfung.
Zu bedenken: Wer telefonisch antwortet, antwortet auch später. Erhebungsweg und Zeitpunkt lassen sich dann nicht mehr trennen.
Segmente werden vorab zugewiesen
Jedes Segment wird über den Weg befragt, der dort funktioniert, zum Beispiel Geschäftskunden telefonisch, Endkunden online. Beide Felder laufen gleichzeitig.
Leichter auszuwerten; die Zuordnungsregel muss aber vor dem Feldstart feststehen.
Ein dritter Weg für den Rest
Manche Teilgruppen erreicht weder das Telefon noch die E-Mail, etwa gewerbliche Mitarbeitende ohne Firmenpostfach. Hier kann ein schriftlicher Bogen die Lücke schließen.
[[?? Bieten wir Papier als dritten Kanal an? Wenn nein, diese Karte streichen und auf zwei Karten gehen. ]]
Wie die Daten aus beiden Wegen zusammenlaufen
Üblich ist diese Aufteilung: ein Feldinstitut für das Telefon, ein Tool- oder Panelanbieter für den Online-Teil, und die Zusammenführung bleibt beim Auftraggeber hängen. Dort entstehen dann die Probleme, die später niemand mehr lösen kann: unterschiedlich codierte Skalen, abweichende Fragetexte, Fälle, die in beiden Datensätzen stehen.
Bei uns laufen beide Wege im eigenen Haus. Der Fragebogen wird einmal angelegt und in zwei Varianten ausgespielt; am Ende steht ein Datensatz. Was dazugehört:
- Identische Fragetexte und Codes in beiden Wegen. Abweichungen gibt es nur dort, wo der Kanal sie erzwingt, etwa bei einer Skala, die telefonisch vorgelesen und online gezeigt wird. Jede davon wird dokumentiert.
- Codeplan vor dem Feldstart, nicht danach. Ein Codeplan, der erst bei der Auswertung entsteht, führt fast zwangsläufig zu Nacharbeit in einem der beiden Datensätze.
- Dublettenprüfung über die Kontakt-ID. Wer online geantwortet hat, wird nicht mehr angerufen. Das ist auch eine Frage des Auftritts: Ein Anruf bei jemandem, der den Fragebogen gestern ausgefüllt hat, fällt auf den Auftraggeber zurück.
- Einheitliche Codierung der offenen Antworten über beide Wege, mit einem gemeinsamen Codeplan. Wie das abläuft, steht auf unserer Seite zum Codieren von Freitextantworten.
- Gewichtung, wenn nötig. Weicht die Verteilung über die beiden Kanäle von der Zielgruppenverteilung ab, wird gewichtet; die Gewichtungsfaktoren stehen im Bericht.
Sie erhalten am Ende einen Datensatz in Excel oder SPSS, in dem der Erhebungsweg als Variable steht, und einen Bericht, der zeigt, wie sich die Fälle auf die Kanäle verteilen. Was danach mit den Daten passiert, steht auf unserer Seite zur Befragungsauswertung.
Ein Ansprechpartner für beide Wege
Fragebogen, Feld und Zusammenführung aus einer Hand. Sie bekommen einen Datensatz, nicht zwei, die nicht zueinanderpassen.
Was ein kombiniertes Projekt kostet
Die beiden Wege kosten auf verschiedene Weise, und daraus ergibt sich fast alles Weitere.
Telefonisch ist der größte Kostenblock die Interviewerzeit. Sie fällt für jeden Fall erneut an, deshalb steigen die Kosten im Wesentlichen linear mit der Fallzahl: Doppelt so viele Interviews kosten ungefähr doppelt so viel. Online liegt der Schwerpunkt dagegen in der Vorbereitung: Programmierung, Test, Einladungsversand, Erinnerungen. Diese Kosten fallen einmal an, unabhängig davon, ob 300 oder 3.000 Personen antworten. Der Preis je Fall sinkt daher mit jeder zusätzlichen Antwort.
Für die Kombination heißt das: Der teure Teil eines sequenziellen Designs ist die Zahl der telefonischen Nachfassversuche, nicht der Online-Teil. Wer aus 1.000 Adressen 400 Online-Antworten bekommt und die restlichen 600 vollständig abtelefonieren lässt, zahlt für den Nachfassteil ein Vielfaches der Online-Erhebung. Deshalb sollte am Anfang eines solchen Projekts eine Frage geklärt werden, die oft vergessen wird: Wie viele Fälle sollen telefonisch nachgeholt werden? Alle, oder so viele, bis die Quoten stimmen?
Der zweite Hebel ist die Reihenfolge. Online zuerst einzuladen und erst danach zu telefonieren, ist fast immer günstiger als der umgekehrte Weg, weil jeder Fall, der online antwortet, kein Interviewerbudget verbraucht. Die Größenordnung der telefonischen Seite können Sie auf unserer Seite zu den Kosten einer Telefonbefragung nachlesen.
Wie ein kombiniertes Projekt bei uns abläuft
Der Ablauf unterscheidet sich weniger vom Einkanal-Projekt, als man denkt. An drei Stellen kommt aber Arbeit dazu, die vorgezogen werden muss.
- 1Design und Fragebogen. Zuerst die Entscheidung sequenziell oder parallel, dann die Zuordnungsregel oder die Nachfassschwelle, dann der Fragebogen für beide Ausspielungen, einschließlich der Stellen, an denen sich die Formulierung je Kanal unterscheiden muss. Hier entsteht auch der Codeplan.
- 2Feld in beiden Kanälen. Der Online-Rücklauf und der telefonische Fortschritt werden gemeinsam beobachtet, nicht getrennt. Die tägliche Frage lautet: Welche Quotenzelle füllt sich über welchen Kanal, und wo muss nachgesteuert werden? Wer schon teilgenommen hat, wird laufend abgeglichen, damit niemand doppelt kontaktiert wird.
- 3Zusammenführung, Prüfung, Auswertung. Zusammenspielen der Datensätze, Plausibilitätsprüfungen über den Gesamtbestand, Codierung der offenen Antworten, Prüfung auf Moduseffekte und, falls nötig, Gewichtung. Ergebnis ist ein Datensatz mit Kanalvariable und ein Bericht, der die Verteilung ausweist.
Häufige Fragen zum Methodenmix
?Sind Antworten aus Telefon und Online vergleichbar?
Weitgehend ja, aber nicht deckungsgleich. Der Erhebungsweg beeinflusst das Antwortverhalten: Online wird bei heiklen Fragen offener geantwortet, telefonisch tendenziell positiver bewertet, und die Skalenmitte wird online häufiger gewählt. Deshalb wird der Kanal als Variable im Datensatz mitgeführt und vor dem Bericht auf Moduseffekte geprüft.
?Wie werden Doppelbefragungen verhindert?
Über eine Kontakt-ID, die beide Wege teilen. Wer online geantwortet hat, wird laufend aus der Anrufliste entfernt, nicht erst am Feldende. Zusätzlich wird der zusammengeführte Datensatz auf Dubletten geprüft, bevor ausgewertet wird.
?Lohnt sich der Mix auch bei kleinen Fallzahlen?
Nur dann, wenn die Zielgruppe tatsächlich uneinheitlich erreichbar ist. Bei einer kleinen, homogenen Gruppe mit vollständigem Adressbestand erzeugt der zweite Kanal vor allem Aufwand. Ist die Liste dagegen lückenhaft, etwa bei 200 Schlüsselkunden, von denen die Hälfte keine E-Mail-Adresse hinterlegt hat, entscheidet der Mix über die Ausschöpfung.
?Was kostet ein kombiniertes Projekt im Vergleich?
Es liegt zwischen den beiden Einzelwegen und näher am Online-Preis, je mehr Fälle online zustande kommen. Was kostet, ist die Zahl der telefonischen Nachfassversuche, nicht die Kombination selbst. Deshalb wird vorab festgelegt, wie weit nachgefasst wird: vollständig oder bis die Quoten erfüllt sind.
?Kann der Kanal in einer laufenden Zeitreihe gewechselt werden?
Ja, aber nicht stillschweigend. Ein Wechsel verändert die Werte auch dann, wenn sich inhaltlich nichts geändert hat. Die saubere Lösung ist eine Überlappungswelle, in der beide Wege parallel laufen. So lässt sich der Methodeneffekt beziffern und in der Zeitreihe ausweisen.
?Bekommen wir einen Datensatz oder zwei?
Einen. Beide Wege laufen bei uns im Haus, der Fragebogen wird einmal angelegt und in zwei Varianten ausgespielt. Sie erhalten einen zusammengeführten, geprüften Datensatz in Excel oder SPSS, in dem der Erhebungsweg als Variable enthalten ist.
Passend zu diesem Thema
Erst die Adressgrundlage, dann die Methode
Ob ein Methodenmix sinnvoll ist, entscheidet sich an Ihrem Adressbestand: Wie viele Kontakte haben eine nutzbare E-Mail-Adresse, wie viele nur eine Telefonnummer, und wie verteilt sich das über die Segmente? Schicken Sie uns diese Eckdaten zusammen mit Zielgruppe und angestrebter Fallzahl. Sie bekommen einen Vorschlag mit Begründung, auch wenn die Empfehlung lautet, bei einem Kanal zu bleiben.