MiniPEP - brukerundersøkelse som metode for praktisk kvalitetsforbedring på allmennlegekontoret.

Forfatterne etterlyser virkemidler for å gjøre bruk av pasienterforinger til forbedring av virksomheten på al/mennlegekontoret. I denne artikkelen presenterer de MiniPE P -et enkelt spørreskjema for brukerunder.søkelser i allmennpraksis. Målet er å ut.vikle en metode med høy relevans og lov gjennomføringsterskel. RED. ANM. . KIRSTI MALTERUD • Allmennmedisinsk forskningsenhet i Bergen, tidligere fastlege ved Fjellsiden legesenter, Bergen INGER LYNGSTAD• fastlege ved Ringerike Medisinske Senter, Hønefoss Brukerundersøkelser og måling av pasienttil.fredshet er et utslag av økt vektlegging av mål-og resultatstyring i helsetjenesten, hvor forholdet mellom pasient og behandler i økende grad forstås som en relasjon mellom kunde og tjenesteyter (]). Forskrift om in.ternkontroll pålegger helsetjenestevirksom.heter å gjøre bruk av erfaringer fra pasienter og pårørende til forbedring av virksomheten (2). Likevel gjennomføres regelmessige bru.kerundersøkelser bare hos et fåtall av norske fastleger (3). Det er utviklet en rekke verktøy for innsamling av brukererfaringer i helsetje.nesten, men de fleste av disse er bedre tilpasset forholdene i sykehus enn i primærhelsetjenes.ten og er sjeldent utviklet med sikte på å skaf.fe data som kan danne grunnlag for lokal kvalitetsforbedring. Kunnskapssenteret gjor.de i 2009 en gjennomgang av validerte måle.instrument som måler pasient-og /eller på.rørendeerfaringer med allmennleger (4). 15 validerte måleinstrumenter ble identifisert, men seks av disse ble ikke funnet relevante for formålet. To av de ni gjenværende instru.mentene, The patient experience questionnaire (peq) og EUROPEP, har vært brukt i Norge (5-7). Brukerundersøke/ser som kunnskaps.kilde for lokal kvalitetsforbedring Som fastleger ved Fjellsiden legesenter i Ber.gen og Ringerike Medisinske Senter har vi RAMME 1 EU ROPE P 2006 -SF 10 What is your assessment of the general practitioner over the last 12 months with respect to: 4. lnvolving you in decisions about your medical care 8. Helping you to feel well so that you can perform your normal daily activities 14. Helping you deal with emotions related to your health status 15. Helping understand why it is important to follow the GP.s advice 1n1 vært opptatt av lokal kvalitetsforbedring, blant annet med brukerundersøkelser på all.mennlegekontoret (7-8). Erfaringer fra Fjell.siden legesenter med tre ulike metoder er tid.ligere presentert: 1) PEQ (2005) 2) tre åpne spørsmål med kvalitativ bearbei.ding (2006) 3) spørreskjema om tilgjengelighet (2008) (9). 16 Knowing what has been done or told during previous contacts in the practice 17. Preparing you for what to expect from specialists, hospital care or other care providers What is your assessment of the general practice over the last 12 months with respect to: 19. Geiling an appointment to suit you7 20. Getting tl1rough to the practice on telephone7 21. Being able to talk to the general practitioner on the telephone 22. Waiting time in the waiting room7 Ringerike Medisinske Senter gjennomførte høsten 2007 en brukerundersøkelse med Nor.PEP, en norsk bearbeiding av spørreskjemaet EUROPEP (7, 10). 557 pasienter (62 prosent) besvarte spørreskjemaet. På linje med danske kolleger opplevde legene denne formen for brukerundersøkelse som faglig inspirerende og nyttig (11). Vi har erfart hvordan ulike metoder for EUROPEP 2006 Revised Europep instrument and user manual MichelWensing(co-0rdinator) RichardBaker.PeterVedsted, HanneHeje AnjaKlingenberg,l:JiOrnE'.oge JankoKersriik, LucSeuntjens, BeatKUnzi Maria Milano, Emesto Mola, Glyn E'"'yn UMCi.t,1 St Radboud UTPOSTEN 2 • 2013 -brukerundersøkelse som metode for praktisk kvalitetsforbedring på allmennlegekontoret ILLI.ISTRASJCI\SrDTCI: (l)Ll)U E:OX brukerundersøkelser i vekslende grad leverer konkrete bidrag til lokal kvalitetsforbedring (9). Vi har også sett at instrumenter utviklet for bruk i forskning eller for ekstern styring og kontroll kan være ressurs-og kompetansekre.vende. Vi mente derfor det var behov for ut.prøving av virkemidler der pasienterfaringer kunne utnyttes som kunnskapskilde for kvali.tetsarbeid på allmennlegekontoret. Sammen ønsket vi å utvikle en metode med høy relevans og lav gjennomføringsterskel. I denne artikke.len presenterer vi erfaringer og resultater fra utvikling, utprøving og evaluering av Mini.PEP -et enkelt spørreskjema for brukerun.dersøkelser i allmennpraksis. MiniPE P -et enkelt spørre.skjema for allmennpraksis Vi tok utgangspunkt i EUROPEP, et spørre.skjema for brukerunderøkelser som har vært utprøvd i 15 europeiske land (7, 10-11). Skje.maet omfatter 23 spørsmål om pasientens er.faringer med sin fastlege siste år innen fem ulike områder: 1) lege-pasient-forholdet 2) legens faglighet 3) informasjon/support 4) kontinuitet/samhandling 5) organisasjon/tilgjengelighet. For disse temaene regnes pasientvurdering som en god kunnskapskilde (12). Vi ønsket å utvikle et instrument som byg.get på validert metodikk, men med mer be.grenset omfang enn europep slik at skjemaet ville kreve mindre tid og innsats ved utfylling og bearbeiding. Vi vurderte først om vi kunne bruke EUROPEP 2006 SFlO, en forkortet versjon av EUROPEP med ti spørsmål (13) (sE RAMME r), men besluttet å begrense om.fanget av skjemaet til en A4-side med maksi.malt seks enkle avkryssingsspørsmål. Deret. MINI PEP Fjellsiden legesenter 2010 HVA MENER DU OM FASTLEGEN OG LEGESENTERET DITT? Vi mener at pasienten er en viktig deltaker i helsetjenesten. Vi forsøker åta hensyn til dine synspunkter slik at vi kan forbedre kvaliteten på helsetjenesten. Derfor ber vi deg svare på noen spørsmål. Sett kryss for hvert spørsmål i de rutene som passer best. Skriv gjerne kommentarer på baksiden av arket. TAKK FOR HJELPEN! Hva er mitt syn på min fastlege og på legesenteret de siste 12 måneder, når det gjelder ... åta meg med på avgjørelser om hva som skulle gjøres av medisinske tiltak? Svært misfor.nøyd Svært fornøyd Passer ikke å fortelle meg hva jeg ønsker å vite om mine plager eller min sykdom? hjelpsomhet blant personalet (andre personer enn legen)? å få time på et tidspunkt som passer for meg? å komme gjennom til legesenteret på telefon? ventetid på venterommet? RAMME 2. MiniPEP -Spørreskjema med introduksjon og spørsmål. ter gjorde vi et utvalg fra EUROPEP med prioritet til spørsmål med god psykometrisk skåre (6, 13). Spørsmål om både praksisorga.nisering og personorienterte erfaringer ble tatt med (12). Muligheten for å lykkes med kvalitetsarbeid i allmennpraksis øker når det blir tatt hensyn til forutsetninger for effektivt teamarbeid, som aktiv ledelse og tverrfaglig deltakelse ( 14-15). For å øke bevisstgjøringen om flerfaglig samarbeid i lokalt kvalitetsar.beid inkluderte vi derfor også det eneste spørsmålet i EUROPEP som fokuserer di.rekte på legesenterets medarbeidere. I tillegg ga vi mulighet for fritekstkommentarer. De seks spørsmålene som vi valgte, er vist i ramme 2 ovenfor. Fire av disse kommer altså fra EUROPEP 2006 SF! 0. Vi brukte norsk oversettelse av spørsmålene fra Nor PEP-skjemaet (7). Utprøving og evaluering av MiniPEP Utprøving av skjemaet foregikk ved Fjellsiden legesenter i desember 2010 og ved Ringerike Medisinske Senter i februar 201 r. Legene delte ut skjema etter avsluttet konsultasjon, ved Fjellsiden til sammen roo skjema, ved Ringerike Medisinske Senter 142 skjema i løpet av en avtalt periode. Skjemaet ble fylt ut på venterommet og levert i lukket boks . I etterkant vurderte vi spesielt hvordan re.sultatene kunne gi konkrete innspill til lokal kvalitetsforbedring (9). Resultatene ble bear.beidet og presentert i søylediagram med pro.sentvis fordeling av skåre for hvert av de seks spørsmålene i MiniPEP, med sammenlikning mellom Fjellsiden legesenter og Ringerike Me.disinske Senter. Skåre ble operasjonalisert fra en til fem og visualisert med fargekoder (fra dårligste til beste resultat: rød -orange -gul -lysegrønn -mørkegrønn). Evalueringen ved Fjellsiden legesenter ble gjennomført ved hjelp av tilpasset fokusgruppemetodikk der tre helsese.kretærer og fire allmennleger under ledelse av moderator (KM) gjorde en kritisk drøfting av disse resultatene og erfaringene fra gjennom.føring av brukerundersøkelsen (9, 16). Vi fokuserte først diskusjonen på tema der Fjellsiden hadde høyest andel skår innen de to dårligste svarkategoriene en og to, nemlig tele.fontilgjengelighet, få time på tidspunkt som passer meg, ventetid på venterommet. For disse temaene sammenholdt vi våre resultater med Ringerike Medisinske Senter og vurderte be.tydningen av funnene. Evalueringsdiskusjonen omfattet ressursinnsats i datainnsamling og be.arbeiding, presentasjon av resultater fra pilot.studien samt drøfting av resultatenes pragma.tiske val i di tet som kval itetsforbedri n gsgrunnlag (17). Lydopptak fra gruppeintervjuet var ikke egnet for formell kvalitativ analyse men ble transkribert og brukt som støtte for en sam.menfatning som vi presenterer nedenfor. Erfa.ringsbaserte feltnotater fra Ringerike Medisin.ske Senter supplerer evalueringsfunnene som presenteres i det følgende. Hva fant vi med MiniPEP, og hva kunne vi bruke resultatene til? Logistikken med MiniPEP ble ved begge le.gesentra vurdert som enkel og lite ressurskre.vende, herunder produksjon av spørreskje.ma. Svarprosenten var henholdsvis 96 prosent (Fjellsiden) og 78 prosent (Ringerike Medi.sinske Senter). Diskusjonen avdekket at det kunne ha forekommet noe seleksjonsbias, selv om meningen var å dele ut skjema fortlø.pende. Helsesekretærenes vurdering var at innsamling av skjemaene krevde minimalt av ressurser. Bearbeiding av de utfylte skjemae.ne, med opptelling av resultatene og vurde.ring av hvilket format som egnet seg best for presentasjon av funnene, tok noe tid for kva.litetsansvarlig lege. Hadde vi hatt en stan.dardmal med excel-makro for databehand.ling hadde denne fasen gått atskillig fortere. For de fleste temaene var resultatskåre me. • • UTPOSTEN 2 • 2013 MINI PEP get tilfredsstillende for begge legesentrene, pasienten, skåret Fjellsiden dårligere enn tidspunkt som passer perfekt for pasienten med 82-95 prosent av svarene i de to beste Ringerike Medisinske Senter. Vi opplevde at kunne være eksempel på en forventning som svarkategoriene fire og fem (FIGUR 1). sammenlikningen senket terskelen for forbe. vi kanskje ikke ønsker å oppfylle fullt ut, Vi konstaterte raskt at pasientene var me.dringsdiskusjoner -det var lettere åta et rela. i hvert fall når man vurderer dette opp mot get godt fornøyd med hvordan legen tok dem tivt dårlig resultat på alvor når vi hadde skå. alternativene for hvordan timeboka kan bru. med på avgjørelser om medisinske tiltak, ret dårligere enn de andre, samtidig som vår kes til å gjøre faglig forsvarlige prioriteringer. hvordan legen fortalte dem om deres sykdom entusiasme for endring ble styrket av at det Det kom ikke overraskende for oss på eller plager, og med hjelpsomheten blant ikke sto så verst til hos oss tross alt. Fjellsiden legesenter at ikke alle våre pasien. medarbeiderne. Forbedringspotensialet for Funnene utløste en diskusjon av forholdet ter var tilfredse angående ventetid på vente. disse temaene var derfor begrenset. For tema.mellomtilgjengelighet og beredskap i allmenn. rommet. Vi hadde nylig gjennomført en audit ene ventetid på venterommet og telefontil.praksis, der vi ble opptatt av at publikums for. der vi registrerte ventetid på venterommet for gjengelighet var resultatene dårligere for ventninger om å komme til på kort varsel også hver enkelt lege (18). Resultatene fra auditen begge legesenter, med 45-76 prosent av sva.måtte sammenholdes med faglige behov for viste at det var betydelig spredning mellom rene i de to beste svarkategoriene. For disse to prioritering av hastegrad. Ved en undersøkel. legene ved Fjellsiden legesenter, og vi hadde temaene var også andelen av aller laveste skå.se av legesenterets tilgjengelighet noen år tid. allerede diskutert hvorvidt og hvordan det re (1) høyest, noe vi valgte å legge vekt på selv ligere var pasienttilfredsheten svært høy når kunne være mulig å gjøre noe med dette. om den relative andelen av disse var beskje.det gjaldt tilgjengelighet for øyeblikkelig Dermed konsentrerte diskusjonen seg om den. På spørsmålet om å få time når det passer hjelp (9). Vi drøftet om dette med å få time på temaet telefontilgjengelighet. Også her hadde vi tidligere registrert praksis ved Fjellsiden . r1GuR 1. Prosentvis fordeling av skåre (1-5) på de seks forskjellige spørsmålene i MiniPEP. legesenter (9, 19) og gjentatte ganger forsøkt å Resultater fra Ringerike Medisinske Senter (RMS) sammenliknet med Fjellsiden legesenter 90% ----I 80% 70% 60% 50% 40% 30% 20% 10% 0% C: C: C: C: C: C: en 0) en en en en en 0) 0) 0) 0) 0)"O "O 2: "O 2: "O 2: "O 2: "O 2: 2: et:'. et:'. et:'. et:'. et:'. et:'. !!! !!! !!! !!! !!! !!! 0) 0) 0) 0) 0) 0) LL LL LL LL LL LL Ta meg med på Fortelle meg hva jeg Hjelpsomhet blant Få time på tidspunkt som Komme gjennom til Ventetid på avgjørelser om ønsker å vite om min personalet passer for meg legesenteret på telefon venterommet medisinske tiltak sykdom 1 . 5 . 4 . 3 . 2 . 11 UTPOSTEN 2 • 2013 MINI PEP implementere forbedringstiltak. Likevel var vi altså ikke kommet tilfredsstillende i mål. Først gjennomgikk vi mulige forbedringer som kunne følge av at vi skulle skifte ut lege.senterets telefonsentral. Kanskje kunne det fungere bedre om pasienten fikk informasjon om sin plass i køen når det ble venting på tele.fonen. Men helsesekretærene påpekte at tele.fontilgjengeligheten i all hovedsak bestem.mes av hvor mange som kan ta telefonen når den ringer, og hvordan telefonkontakt utad håndteres av dem som svarte. Vi visste fra tid.ligere at de fleste telefonene kom på manda.ger, og at flertallet omfattet bestilling av time, sykmelding eller faste resepter (19). Vi disku.terte derfor hvorvidt pågangen på telefon vil.le reduseres hvis vi introduserte teknologiske løsninger (SMS eller internett). Vi hadde hørt om ulike erfaringer hos kolleger som hadde gjennomført slike reformer, og fant ingen en.tydig dokumentasjon. Derfor gjorde vi en gjennomgang av rutiner og tiltak som kunne tenkes å påvirke både antall inngående telefo.ner og tid brukt på disse. Diskusjonen fokuserte på rutinerfor hvor.dan våre pasienter/år informasjon om prøvesvar. Det viste seg at det var noe ulik praksis blant legene angående dette, men at legene ofte sendte svar til pasienter enten det var patolo.gisk eller ikke. Likevel var helsesekretærenes opplevelse at telefonhenvendelser angående prøvesvar hadde økt betydelig, kanskje som følge av at folk flest har lavere terskel for å ta en telefon enn før. Det kan også tenkes at medieomtale av at medisinsk informasjon kommer bort i posten gjør at pasientene kjen.ner seg usikre hvis de skal vente på et svar. Løsningen var derfor ikke å sende skriftlig svar til alle, men å utarbeide felles rutiner der pasientene kunne kjenne seg tilstrekkelig trygge på at de fikk den informasjon de skul.le. Diskusjonen ble meget konkret og ledet til beslutninger om felles rutiner angående prø.vesvar, dessuten hvordan telefonen best kun.ne bemannes på de tidspunktene der trykket er størst. Det var dessuten enighet om å gjenta en ukes registrering av telefonhenvendelser for å se om omfanget og fordelingen hadde endret seg vesentlig siden sist. Sammenliknet med andre metoder som tid.ligere hadde vært forsøkt, mente Fjellsiden le.gesenter likevel at utbyttet i forhold til relevans var noe lavere for MiniPEP enn da vi brukte et enkelt spørreskjema med tre åpne spørsmål (Ris, Ros, Forslag til forbedringer) (9). Nytteverdi og begrensninger av denne metoden Vi har utviklet MiniPEP som en metode for praktisk kvalitetsforbedring, ikke som et vi.tenskapelig instrument. Relevans og gjen.nomførbarhet har vært høyere prioritert enn nøyaktighet og repeterbarhet. I evalueringen vil vi likevel drøfte forhold som kan påvirke validiteten. Validitet er et kontekstavhengig begrep. Kvale skriver om pragmatisk validitet (17) som handler om brukbarhet i en gitt sam.menheng. Her har vi valgt å legge større vekt på prosessen omkring utvikling, anvendelse og lokal nytteverdi av MiniPEP-skjemaet enn på resultatene i seg selv. Selv om spørreskje.maet er validert, er det ikke sikkert at det først og fremst er kval i teten på legen eller le.gekontoret som måles, men kanskje i like stor grad egenskaper ved legens pasientpopula.sjon (20-21). Derfor må resultatene tolkes med rimelig skjønn, slik at leger som tar an.svar for marginaliserte pasientgrupper ikke får dårlige karakterer for dette. Utdeling av spørreskjema kommer som et tillegg til det som legen vanligvis gjør i konsul.tasjonen, og derfor kan det ubevisst eller bevisst bli utelatt. Dermed er ikke baresvaiprosenten av betydning for vurdering av resultatene, men også utdelingsprosenten. Det er variasjon mel.lom legene -noen får delt ut skjema svært raskt, andre bruker lengre tid. Den samlete ef.fekten av dette ble imidlertid vurdert som be.skjeden. Samtidig tydeliggjorde diskusjonen omkring dette at de absolutte resultatene av en slik kartlegging trolig har mindre betydning enn prosessen der resultatene diskuteres. Skal man sammenligne med andre og få til en benchmarking, er det avgjørende at prose.dyren gjennomføres på sammenlignbar måte av alle deltakere. Ved undersøkelsen fra Rin.gerike Medisinske Senter i 2008 varierte svar.prosenten fra 36 til 72 prosent blant de ni del.takende legene (7). Verdien av benchmarking mellom legene på et legesenter vil komplise.res når legene oppnår ulik svarprosent og ulikt grunnlag for evalueringen. Resultatene fra Ringerike Medisinske Senter i 2008 på spørsmålet om ventetid på venterommet viste for eksempel betydelig spredning mellom le.gene (22-70 prosent av svarene i de to beste svarkategoriene, mens gjennomsnittet var 48 prosent) (22). Dette viser nødvendigheten av å analysere problemet videre og muligens for hver enkelt lege. I MiniPEP-undersøkelsene sammenliknet vi imidlertid resultater fra de to legesentrene og analyserte ikke data for hver enkelt lege. En annen form for sammenlikning som kan være nyttig i lokalt kvalitetsarbeid er å følge opp forbedringsområder over tid, slik man har gjort for telefontilgjengelighet ved Ringerike Medisinske Senter med gjentatte brukerundersøkelser (på en skala fra 1 til 5 var gjennomsnittsresultatet i 2007: 2,8, i 2010: 3,7, i 2011: 3,4). For å kunne sammenlikne mellom gjentatte brukerundersøkelser må man bruke samme mål, for eksempel gjen.nomsnittsverdien (7). Tidligere evalueringer av EUROPEP har imidlertid vist at spørsmå.let om telefontilgjengelighet gir stor spred.ning i resultatene slik at det kreves et stort antall besvarelser for å kunne si noe sikkert om tilfredsheten (6, 23). Ceiling-effekt er en metodisk betegnelse på et spørsmål som ikke diskriminerer godt nok fordi det store flertall av svar skåres på topp. De fire spørsmålene vi hadde hentet fra EURO PEP 2006 SF 10 hadde tidligere vist til.fredsstillende nivå for ceiling-effekt (56-59 prosent) ( 6). Vi fikk likevel begrenset lokal for.bedringseffek tut av de beste resultatene. Dette kan bety at situasjonen er tilfredsstillende, men kan også være en indikasjon på at spørsmålene likevel ikke er tilstrekkelig robuste. For EU.ROPEP-skjemaet er det funnet stor spredning i ceiling-effekt både mellom de ulike spørsmå.lene og fra land til land (6, 23-24). Frich påpeker at opplevd tilfredshet ikke nødvendigvis samsvarer med faglige vurde.ringer av kvalitet (1). Man kan for eksempel spørre seg om brukerevaluerte gjennomsnitts.verdier er egnet som kvalitetsmål for vitale medisinske funksjoner, som spørsmålet fra EUROPEP om hvorvidt legesenteret yter rask hjelp i akutte situasjoner. Vår vurdering er at en eneste akutt situasjon som ikke blir hånd.tert riktig allerede er en for mye, og at regis.trering av feil og klager sannsynligvis er en bedre metode for denne delen av forbedrings.arbeidet (25). Her blir det også en avveining av brukerbehov som kan representere gjensidige motsetninger, der for eksempel legesenterets utfordring kan være å øke mulighetene for å få en time som passer uten at det går ut over beredskapen ved akutte situasjoner. Brukbarhet i praksis Samlet vurderer vi MiniPEP som en metode med lav gjennomføringsterskel og godt po.tensial som kunnskapskilde for forbedrings.arbeid på allmennlegekontoret. I videre ut.prøving anbefaler vi komparativt evaluering der denne metoden sammenliknes med enkle kvalitative strategier for brukerundersøkelser (9). Det er imidlertid ikke sikkert at den ene metoden er bedre enn den andre. En verktøy.kasse som har plass til flere forskjellige meto.der for brukerundersøkelser vil kunne styrke legekontorenes muligheter til kritisk reflek.sjon over egen virksomhet. Tokk til Legeforeningens fond for kvalitetsforbe.dring og pasientsikkerhet og prosjektet Senter for allmennmedisinsk kvalitet (som hor gitt støtte til gjennomføring av dette prosjektet), til Michael Wensing og Richard Gro/ (som hor gitt tillatelse til at vi koller denne metoden for MiniPEP) og til våre kolleger og medarbeidere (som hor vært med på utprøvingen av MiniPEP). UTPOSTEN 2 • 2013 MINI PEP REFERANSER 1. Frich JC. Pasienters erfaringer -til nytte' Tidsskr Nor Legeforen 2012; 132: 507. 2. Helse-og-omsorgsdepartementet. Forskrift om internkontroll i sosial-og helsetjenesten. 3. Holmboe 0, Bjertnæs ØA, Bukholm G, Nguyen K, Helgeland J, Rørtingen JA. Commonwealth Fund.undersøkelsen i 2009 blant allmennleger: Resultater fra en komparativ undersøkelse i 11 land. Rapport fra Kunnskapssenteret nr 24-2009. Oslo: Nasjonalt kunnskapssenter for helsetjenesten, 2009. 4. Danielsen K, Iversen HH, Bjertnæs ØA. Pasien.terfaringer med allmennleger -en kartlegging av relevante måleinstrumenter. °J'.Totat, november 2009. Oslo: Nasjonalt kunnskapssenter for helse.tjenesten, 2009. 5. Steine S, Finset A, Laerum E. A new, hrief questi.onnaire (PEQ) developed in primary health care for rneasuring patients' experience of interaction, emotion and consultation outcome. Fam Pract 2001; 18: 410-8. 6. Bjertnaes OA, Lyngstad I, Malterud K, Garratt A. The Norwegian EUROPEP questionnaire for pa.tient evaluation of general practice: data quality, reliability and construct validity. Family Practice 2010: doi: I0.1093/fampra/cmq098. 7. Lyngstad I. Hvordan fungerer legekontoret for dine pasienter' Erfaringer med en brukerunder.søkelse i allmennpraksis. Utposten 2008; nr. 6: 27-31. 8. Malterud K. Internkontroll på et allmennlegekon.tor. Tidsskr Nor Laegeforen 2007; 127: 2236-8. 9. Malterud K. Brukerundersøkelser i allmennprak.sis -Erfaringer med ulike metoder. Utposten 2012; nr. 3: 14-9. I 0. Gro! R, Wensing M. Patients Evaluate General/ Family Practice. The EUROPEP Instrument Nij.megen: Centre for Quality of Ca re Research 2000. 11. Heje HN, Vedsted P, Olesen F. General practitio.ners' experience and benefits from patient evalua.tions. BMC Fam Pract. 2011; 12: 116. 12. Levesque J-F, Haggerty J, Beninguisse G, Burge F, Gass D, Beaulieu M-D, et al. Mapping the covera.ge of attributes in validated instruments that eva.luate primary healthcare from the patient perspec.tive. BMC Family Practice 2012; 13: 20. 13. Wensing M, Baker R, Vedsted P, Heje H, Klin.genberg A, Broge B, et al. EUROPEP 2006 -Re.vised Europep instrument and user manual. Nij.megen: Centre for Quality of Care Research, 2006 ( www. topa seu rope.eu/fi les/Eu ropepprosen t. 202006rapport_0.pdf). 14. Pedersen OB, Hovlid E. Læringsnettverk for bed.re kvalitet i allmennpraksis. Tidsskr Nor Lægefo.ren 2008; 128: 1046-9. 15. Nyen B, Vege A, Udness E. Bruk av kvalitetsindi.katorer ved allmennlegekontorer -et pilotpro.sjekt. Notat 2012 fra Kunnskapssenteret. Nasjo.nalt kunnskapssenter for helsetjenesten 2012. 16. Malterud K. Fokusgrupper som forskningsmeto.de for medisin og helsefag. Oslo: Universitetsfor.laget, 2012. 17. Kvale S. Tnterviews: an introduction to qualitative research interviewing. Thousand Oaks, Calif: Sage; 1996. 18. Malterud K, Prestegaard K, Løchen E. Ventetid på venterommet -Audit for kvalitetsforbedring på allmennlegekontoret. Utposten 2010; nr. 6: 24-7. 19. Prestegaard K, Carlsen T, Nyen B, Malterud K. Te.lefontilgjengelighet -Praktisk kvalitetsarbeid på fastlegekontoret. Oslo: f)en norske legeforening, 2005 (http:/ /legeforeningen.no/Fagmed/Norsk -for -ening-for-all.ennmedisin/Refera.segrupper/nfas.referansegruppe-for -praktisk-kvalitetsarbeid/ Arti.k I er -og-presentasjoner /te le fon ti Igjen gel i ghet-/). 20. Heje HN, Vedsted P, Sokolowski I, Olesen F. Pati.ent characteristics associated ,vith differences in patients' evaluation of their general practitioner. BMC Hea 1th Serv Res. 2008; 8: 178. 21. Hong CS, Atlas SJ, Chang Y, Subramanian SV, Ashburner JM, Barry MJ, et al. Relationship bet.ween patient panel characteristics and prirnary care physician clinical perforrnance rankings. J AMA 201 0; 304: li 07-13. 22. Lyngstad I. Tilgjengelighet er en viktig kvalitet. Utposten 2012; nr. 4: 46-7. 23. Vedsted P, Sokolowski I, Heje HN. Data quality and confirmatory factor analysis of the Danish EUROPEP questionnaire on patient evaluation of general practice. Scand J Prim Health Care 2008; 26: 174-80. 24. Milano M, Mola E, Collecchia G, Del Carlo A, Gi.ancane R, Visentin G, et al. Validation of the ltalian version of the EUROPEP instrument for patient evaluation of general practice care. The European journal of general practice 2007; 13: 92-4. 25. Malterud K. Forebygging av faglige feil på all.mennlegekontoret. Tidsskr Nor Lægeforen 2007; 127: 2239-41. kirsti.malterud@isf.uib.no