Depois que Villamil deixou a ilha, as Galápagos foram consideradas um local ideal para uma prisão, pois a distância do continente tornava a fuga quase impossível e os presos não teriam comida e água suficientes para sobreviver. Por vezes, os prisioneiros ficavam sem provisões, o que levava os delinquentes a cometer outros crimes. O crime mais famoso foi cometido por um prisioneiro chamado Briones, que capturou um barco baleeiro, fugiu com outros prisioneiros para o continente e matou 28 homens na entrada do Golfo de Guayaquil. Este incidente provocou uma forte controvérsia, porque os proprietários do navio baleeiro exigiram grandes indemnizações ao Governo dos Estados Unidos e ameaçaram enviar navios de guerra se não pagassem.
1860, um baleeiro descobriu o líquen orchilla, uma planta valiosa para tingir. Vários homens de negócios tentaram explorá-lo, entre eles o Sr. José Valdizan, um comerciante espanhol residente em Guayaquil. Obteve os direitos exclusivos em 1869 e mudou-se para as ilhas Floreana, onde organizou plantações, uma vez que o negócio da orquilha se desmoronou. Acreditava, contra a opinião de todos, que podia levar delinquentes para trabalhar nas suas propriedades e conquistá-los com bondade e trabalho. Foi traiçoeiramente assassinado a 23 de Julho de 1878. A ilha foi abandonada, os animais domésticos e o gado tornaram-se selvagens e os trabalhadores não quiseram regressar porque a consideravam uma "ilha maldita".
A partir de 1879, na ilha de San Cristobal, Manuel J. Cobos formou um centro agrícola avançado, chamado "El Progreso", não muito longe do porto. Os primeiros produtos foram o couro do gado selvagem, o óleo de tartaruga e a pesca, enquanto as plantações de cana-de-açúcar eram preparadas para uma fábrica, que foi instalada em 1891. Vários navios mantinham um comércio activo com Guayaquil. Infelizmente, "El Progreso" transformou-se num campo de concentração com trabalhos forçados e onde a vontade de Cobos era a única lei. Impôs a sua própria circulação, tomou decisões sobre a vida, a morte ou o exílio em ilhas isoladas de muitos dos seus trabalhadores. Camilo Casanova foi exilado na Ilha de Santa Cruz, tornando-se uma réplica exacta de Robison Crusoé. M.J. Cobos é assassinado por um grupo dos seus trabalhadores a 15 de Janeiro de 1904.
Desde 1880, os noruegueses já demonstravam interesse pelas Galápagos, devido à abundância de peixes e à possibilidade de caçar baleias. Em 1908, um veleiro norueguês bateu no lado oeste do arquipélago e parte da tripulação foi abandonada na ilha de Santa Cruz por muitos meses. Quando regressaram à Noruega, convenceram muitos dos seus compatriotas a emigrar para as ilhas. Em 1926, chegaram muitos grupos e formaram-se duas colónias em Floreana e Santa Cruz. Infelizmente, as condições não eram as esperadas e, em menos de dois anos, a maioria dos imigrantes regressou à Noruega. O capitão Bruun, dos marines noruegueses, fez uma última tentativa de colonizar as ilhas, mas morreu tragicamente em Isabela, em Julho de 1931.
Em Agosto de 1929, o doutor Friedrich Ritter e Dore Stranch chegam à ilha de Floreana, dois amantes ansiosos por viver sob a sua própria filosofia, isolados da sua civilização decadente. Os seus escritos atraíram outros com ideias semelhantes, mas nenhum deles durou muito tempo, excepto a família Wittmer (Heinz, Margaret e Harris) de Colónia. Alguns meses mais tarde, chegou uma mulher austríaca que se apresentou como Baronesa, juntamente com três amantes, e a ilha transformou-se num pequeno inferno, devido às intrigas dos novos habitantes. O primeiro amante regressou ao continente passadas algumas semanas.
Em Março de 1934, a Baronesa desapareceu com um dos seus amantes, Phillipson, e embora Margaret afirme que foram num iate para a ilha do Pacífico, ninguém deu crédito à sua história. Margaret convenceu Lorenz, o amante sobrevivente, a regressar à Alemanha. Ele desapareceu junto com outro dinamarquês, Nuggerud, antes de chegar à ilha de San Cristobal. Alguns meses mais tarde, o Dr. Ritter foi envenenado (de propósito ou por acidente?) por Dore, e morreu. Em Dezembro, os corpos mumificados de Lorenz e Nuggerud foram encontrados na ilha de Marchena. Dos sete colonos, quatro morreram misteriosamente, um mistério que nunca foi resolvido. No entanto, a família Wittmer ainda vive na ilha.
Mais uma vez, o Equador cometeu o erro de abrir uma colónia penal nas Ilhas Galápagos. Em 1946, foi utilizada como instalação militar numa base alternativa, que funcionou durante a guerra. Infelizmente, a situação piorou e a colónia transformou-se num campo de concentração até 1950, quando um chefe da polícia obrigou os habitantes da colónia penal a construir um muro. Este muro é conhecido como "o Muro das Lágrimas". Em Fevereiro de 1958, houve uma revolta, um prisioneiro inteligente chamado "Patecuco", desarmou a polícia e tomou o iate "Valinda" que pertencia a um milionário americano e usou-o para fugir para o continente. Não houve mortes durante a revolta, mas o incidente causou repercussão internacional e o governo fechou a colónia penal e deixou de enviar prisioneiros para as ilhas.
