A raíz de la construcción de la torre de s’Estalella en 1577, un número reducido de pescadores y torreros se instalaron en la finca s’Estalella. Pero no es hasta el siglo XIX que hay constancia de que los señores de s’Estalella (llamados de Ca’n Jaqueta) permitieron construir una barraca a los pescadores que lo deseasen.
Estos habitantes eran en su mayoría pescadores, aunque también podían obrar como aparceros, recogedores de algas o contrabandistas, trabajos de extrema dureza. El pescado y la sal recogida de los huecos en las rocas denominados “cocons” eran canjeados por productos de primera necesidad (trigo, carne, frutas, etc.) con los dueños de las fincas cercanas.
Durante los siglos XIV al XVIII, la costa sur de Mallorca estaba sometida a la continua amenaza de expediciones corsarias bárbaras. Camalls, Cartogol y Barba Roja no permitían la calma a los defensores de las costas sur de la isla. Las torres de s’Estalella, Cap Blanc, Cap Enderrocat y Cala Pi son testigos de aquellas luchas.
El primer testimonio escrito es del Archiduque Luis Salvador de Austria y data del año 1884. En él se hace la siguiente descripción:
“Llegamos así a la punta de S’Estanyol y a la isla homónima, paraje que acoge la presencia de siete cabañas, tres de ellas blancas de cal, y dos barracas para botas junto a un amplio varadero…”.
A comienzos del siglo XX, el Ayuntamiento de Llucmajor creó el núcleo de S’Estanyol de Migjorn, y los pescadores dejaron el poblado de s’Estalella. Desde entonces, ha sido la familia propietaria la que ha mantenimiento el poblado y los varaderos, evitando así su abandono.