Namnet Käringön, (som alltså inte stavas ”Kärringön”) kommer troligen från sjömärken (små stentorn eller rösen) som kallades ”Käringar”. 180 av öns 200 hus är byggda före år 1920. De flesta husen är idag fritidsfastigheter. På Käringön finns inga gatunamn.

Varje hus har istället ett nummer och numret fungerade tidigare som adress. Redan på 1500-talet kom de första fiskarna till ön. Under de stora sillperioderna på 1700- och 1800-talen fiskade de dessutom torsk och långa. All fisk saltades och torkades av fiskarna på ön.

Livet som fiskare var mycket hårt och männen var ofta borta flera veckor i sträck. När sillen avtog på 1800-talet lämnade många familjer ön, men ur de kvarvarande växte dagens fiskarbefolkning fram. I samband med att badgästerna började komma ut till Käringön, öppnades på 1800-talet ett pensionat och ett gästgiveri.

Den lilla kyrkan är timrad och stadgad i berget för att kunna utstå hårda vindar. Inne i kyrkan finns en vacker altartavla. På kyrkogården står pastor Simsons gravsten, vars inskription han själv formulerat: ”Sanningens lag var uti hans mun, och det var intet ont funnet uti hans läppar”. Käringön var länge en kronoholme, vilket betydde att marken ägdes av staten (kronan).

2002 tog kommunen över ägandet av restmarken mellan husen. Husen har byggts mycket tätt. En trevlig vandring är att gå från bryggan upp till Lotsutkiken. Längs vägen finns små uthus och trädgårdstäppor i samma skick som på 1800-talet. En fiskarstuga är inredd till museum. En valkäke, som forslades till ön av en sommargäst, står i hamnen.