Il n'est pas surprenant qu'Assilah ait vécu une histoire plutôt mouvementée. En effet, son emplacement sur la côte atlantique a fait d'elle une destination attrayante pour des générations de bandits, de pirates et de conquérants. Elle a, par conséquent, enduré de nombreuses conquêtes et guerres, et les colons et marines de guerre de l'Espagne à l'Autriche ont bombardé la ville.

Aujourd'hui, les événements sont plus pacifistes, mais Assilah n'a pas oublié l'empreinte de l'histoire qui reste toujours aisée à démêler si l'on se promène dans les ruelles de la médina. Les murs de la ville ont été édifiés en 1471 par les Portugais qui avaient envoyé 30 000 hommes et près de 500 navires envahir la ville.

Dès le milieu du XVe siècle, l'histoire d'Assilah est teintée de troubles et de tourments. A l'origine un territoire carthaginois nommé Zilis, les habitants ont été victimes d'une politique de violence pendant les guerres tuniques. Ils ont soutenu Carthage contre les Romains et, quand les Romains ont gagné, ils ont expédié les indigènes d'Assilah vers l'Espagne les remplaçant par des colons espagnols.

En 1578, après plus de cent ans de domination portugaise, le roi Sébastien embarqua depuis le port de la ville vers une croisade désastreuse. Le roi a péri et l' Espagne a pris possession du Portugal et de l'ensemble de ses colonies.

Assilah a été rendue aux musulmans en 1691, lorsque Moulay Ismail captura la ville. Toutefois, personne ne doit croire que ceci fut synonyme d'une ère de paix et de prospérité. La ville fut transformée en un refuge pour les pirates et les bandits qui ont usé du port comme d'une base d'attaque contre les navires européens.

Moulay Ahmed ben Mohammed er-Raissouni fut un des plus célèbres pirates d'Assilah. Ce personnage mythique venant des montagnes du Rif à l'est d'Assilah était un effroyable kidnappeur, assassin et voleur à main armée. Dans une de ses agressions les plus spectaculaires, il a enlevé le milliardaire grec américain Ion Perdicaris en 1904, et a remporté une rançon de 70 000 dollars pour sa libération. Cette escapade a fait l'objet d'un film hollywoodien en 1975 The Wind and the Lion (Le vent et le lion), avec Sean Connery dans le rôle de er-Raissouni.

Le Palais de Raissouni, situé à la digue de la médina lui servait de base, et les luxueux alentours disent combien le pirate fut efficace dans ses activités. Il a également souvent ramené du travail à la maison, forçant des assassins « condamnés » à sauter de sa terrasse pour aller s'écraser sur les rochers.

Er-Raissouni a inspiré la crainte à ses compatriotes, et a injecté la colère parmi les puissances européennes. Aussi, les marines de guerre espagnoles et autrichiennes ont-elles bombardé Assilah en représailles contre sa piraterie, et l'Espagne a fini par le chasser de la région après la première guerre mondiale.

L'Espagne avait déjà inclu la ville dans son protectorat, et elle l'est restée jusqu'en 1956, quand le Maroc a accédé à l'indépendance. Depuis lors, l'histoire s'est déroulée beaucoup plus calmement, jusqu' à ce que le festival artistique d'Assilah remette à nouveau la ville sur le devant de la scène, mais cette fois pour de bonnes raisons.