Stikprøveundersøgelsers kvalitet
Udgangspunktet for Danmarks Statistiks stikprøveundersøgelser er altid eksternt fastsatte kvalitets-krav, fx fra EU, regeringen, kunder eller brugere. Hvis der ikke er eksterne kvalitetskrav, er Danmarks Statistiks mål at opfylde nedenstående kvalitetskrav til stikprøveusikkerheden.
Kvalitetskrav, der som minimum skal opfyldes
På numeriske variabler (fx beløb, arbejdstid eller indeks) er kravet en relativ standardfejl (varianskoefficient) på højst 1 pct. af niveauet for hele populationen samt evt. hovedbrancher og op til 5 pct. på undergrupper for de vigtigste variabler. Med et sædvanligt statistisk sikkerhedsinterval på 95 pct. betyder det, at den relative stikprøvefejl højst er 2 pct. for hele populationen og 10 pct. for undergrupper1.
Hvis fx omsætningen i populationen er estimeret til 200.000.000, bør stikprøvefejlen højst være 2 pct. heraf, dvs. 4.000.000.
For kategoriske variabler (fx ja/nej spørgsmål) er kravet en absolut stikprøvefejl på højst 2 pct. med et 95 pct. statistisk sikkerhedsinterval for hele populationen samt evt. hovedbrancher og højst 10 pct. for en undergruppe2. Hvis fx procentandelen, der har rejst det sidste år, er estimeret til 30 pct. i populationen, går sikkerhedsintervallet fra 28 pct. til 32 pct.
Hvis statistikkens hovedformål er at beskrive udviklingen, skal kravet opfyldes både for den aktuelle statistik og for stigningen i forhold til den sidste periode3. Et eksempel på sådanne konjunkturstatistikker kan nævnes detailomsætningen eller industriens produktion og ordreindgang.
Kvalitetskravene kan være større eller mindre end ovenfor nævnt, alt afhængig af statistikkens samfundsmæssige betydning, specielle anvendelser af statistikken eller krav fra Nationalregnskabet. Det kan fx gøre sig gældende for undergrupper af særlig samfundsmæssig betydning, eller hvis der ønskes præcise mål for den økonomiske udvikling.
Danmarks Statistik søger at opfylde disse kvalitetskrav med så små stikprøver som muligt ved at optimere stikprøverne vha. registre. Hvis kvalitetskravene ikke opfyldes, skal mulighederne for at optimere stikprøven være udtømte, før det kan besluttes at forøge stikprøven. Økonomiske ressourcer eller hensyn til respondentbyrden (både generelt og for de små virksomheder) kan dog medføre, at stikprøven alligevel ikke forøges, selv om kvalitetskravene ikke er 100 pct. opfyldt.
Hvis en analyse viser, at det er muligt at optimere stikprøven og opfylde kvalitetskravene med en mindre stikprøve, bliver stikprøven reduceret. Analysen er teoretisk idet den er baseret på, hvordan man sidst skulle have optimeret udvælgelsen, hvis man på forhånd havde kendt variationen i de indsamlede data. Det gør man selvfølgelig ikke, så reduktionen af stikprøven skal derfor tage højde for forskellen på den teoretiske og den realistiske optimering ved at inddrage erfaringen fra tidligere år.
Det kan også være muligt at opfylde kvalitetskravene, hvis variationen i population reduceres, fx hvis investeringerne et år har nærmet sig hinanden. I givet fald bliver stikprøven reduceret, når der er rimelig sikkerhed for, at ændringen er varig. Dette princip tager delvist højde for, at det altid er lettere at estimere ændringer, hvis den økonomiske udvikling er stabil, men at det samtidig er et kvalitetskrav også at kunne beskrive ændringer i tendenser sikkert og hurtigt.
Paneldesign, hvor de samme virksomheder eller personer indgår i flere undersøgelser, kan reducere usikkerheden på estimater af udviklingen fra en periode til en anden. Gevinsten af dette skal ses i forhold til den samlede fejl/usikkerhed, dvs. den skævhed, som et øget bortfald medfører, validitetsproblemer pga. byrden ved at skulle deltage mange gange samt respondenternes ønske om på et tidspunkt at blive fritaget for at deltage i undersøgelsen. Mange års deltagelse i et panel kan også betyde en skævhed i stikprøven, da indvandrere, nye virksomheder og virksomheder i fremgang kan blive underrepræsenteret. Det skal der tages højde for, når den samlede usikkerhed beregnes.
Noter:
1) Hvis det ikke er muligt at optimere stikprøveudvælgelsen, vil det normalt betyde en stikprøve på mindst 2.500 for hele populationen og 100 for en undergruppe. Det afhænger af, hvor stor variationen i populationen er ¿ ofte er stikprøvekravet 2-3 gange større end ovenstående minimum på hhv. 2.500 eller 100. Stratificerede virksomhedsstikprøver efter størrelse vil normalt give en synlige optimering, afhængig af bl.a. størrelsesfordelingen af virksomhederne.
2) Dette krav kan normalt opfyldes med en stikprøve på højst 2.500 for hele populationen og 100 for en underguppe. Normalt angiver man sikkerheden for en kategorisk variabel som en absolut fejl, da den relative fejl både kan ses i forhold til procentandelen, der svarer ja, og andelen, der svarer nej, og derfor ikke er entydig.
3)Det vil typisk medføre en fordobling af stikprøvestørrelsen, da begge de to stikprøver, der sammenlignes, har en stikprøvefejl. Hvis en del af stikprøven er de samme i de to undersøgelser, der sammenlignes, er behovet for øget stikprøve dog mindre.