På den høye kollen sør på Stavernsøya ble det i 1855 anlagt ei enkel fyrlykt med vaktbu. Fyrvokteren bodde da på Citadellet og gikk fram og tilbake over øya. I 1874 ble imidlertid fyret modernisert, og datidens nyvinninger ble installert.

Kunstmaleren Asbjørn Aamodt, som flyttet til Stavern i 1930 årene, blir ofte utpekt som opphavsmann til den gule fargen på brakkene i Stavern. Han brukte mye okergul farge i sine naturbilder. Stavernsnavnet ble da knyttet til den gamle naturfargen oker. Dette ble fanget opp av malingsprodusenten Jotun, som satte fargen i produksjon og ga den navnet, "Staverngul".

Da Wildenvey bygget "Hergisheim" i Stavern, stakk han som regel innom Hotel Wassiloff for å nyte et glass vin. De tre tømmermennene som bygget huset, tok da gjerne turen bort til bordet hans for å høre om han hadde noen synspunkter i forbindelse med byggingen. En dag var de tidlig ute og Wildenvey hadde akkurat satt seg ned ved bordet og ventet på servering. Da snekkerne kom, utbrøt Wildenvey: "Dette var merkelig, her kommer tømmermennene før vinen".

Sterke-Nils var soldat i 1752. Det var på den tiden de bygde festningen i Stavern og det var Nils med på. En dag strevde seks mann med en svær granittstein, som skulle opp på muren, men de klarte ikke å rugge på den en gang. Nils ba karene gå vekk og tok tak i steinen. Han sank ned i bakken til oklet, men steinen greide han og det fint og. Da kommandanten fikk høre om dette kars-taket, sa han at steinen skulle stå der, som et minne, inne ved festningsporten.

Helt ytterst på Brunlaneskysten ligger Mølen. Med sine 230 gravrøyser fra eldre jernalder til bronsealder, er raet av de mest storslagne i Norge. Her ble høvdinger og tjenere begravet under små og større steinrøyser. Denne imponerende samlingen og den flotte beliggenheten ut mot havet gjør oldtidslandskapet til et nasjonalklenodium, og et svært populært utfluktsmål. Området har en særegen natur, botanikk og geologi. Trekkfuglene bruker ofte området som rasteplass vår og høst. Hele 316 forskjellige fuglearter er observert på Mølen, og den lokale larvikitten er blant 100 ulike bergarter du kan finne her.