Le magazine britannique The New Musical Express a demandé dans son édition de la semaine à des experts en art d'analyser les séries de formes géométriques en couleur qui figurent sur la pochette de l'album et leurs opinions vont de "c'est un pastiche du design que Peter Saville a réalisé" à "ce sont des abstractions géométriques". Après avoir recueilli tous ces avis, le site NME.com a révélé que les formes colorées apparemment disposées au hasard sont en fait un code télégraphique utilisé au XIXe siècle. Développé par Emile Baudot, le code Baudot, également connu sous le nom de Code n° 1 du Télégraphe, a été breveté en 1874 et utilisé pendant plus de 70 ans à travers le monde pour les communications télégraphiques. Le code Baudot a toutefois été remplacé au milieu du vingtième siècle par le Morse, l'alphabet le plus souvent utilisé en télégraphie. Dans les pages centrales du livret de X&Y, on trouve l'alphabet télégraphique complet, avec les alignements verticaux de formes rectangulaires qui représentent chacune une lettre de l'alphabet habituel, ainsi que les codes pour les nombres et d'autres symboles, comme les guillemets, les points d'interrogation et les esperluettes. Si l'on applique ce code à l'image qui se trouve sur la couverture, on comprend que la disposition des blocs signifie X&Y, et que le message qui se trouve au dos du livret de l'album indique " Make trade fair". Les couleurs ne sont là que pour la décoration