De eerste Tour had het publiek zo enthousiast gemaakt, dat de toeschouwers zich in de tweede editie actief met het koersverloop gingen bezighouden. Toeschouwers gooiden kilo's kopspijkers, punaises, glasscherven en andere scherpe spullen op het traject. Etappeaankomsten ontaardden soms in complete minioorlogen. In de buurt van Saint-Etienne werden de renners van de kopgroep me knuppels aangevallen door supporters van een plaatselijk favoriet en koersdirecteur Géo Lefèvre moest de aanvallers met revolverschoten uit elkaar drijven. In Nîmes probeerde een groep wielerliefhebbers uit het dichtbijgelegen Alais 2 coureurs, Jousselin en Aucouturier, te molesteren om te protesteren tegen de uitsluiting van hun dorpsgenoot Payan, die zich had laten voortslepen door een auto.

Payan is niet de enige geweest die zich niet aan het reglement heeft gehouden. In 1904 vertrokken de renners heel wat beter voorbereid aan het avontuur dat Tour de France heet dan het jaar ervoor. De meesten hadden nu stafkaarten en spoorboekjes bij zich, zodat ze delen van het traject konden afsnijden. De wedstrijd werd nog verreden zonder dat daarvoor de openbare weg werd afgezet, zodat iedereen zich bij het peloton kon voegen en de koers kon beïnvloeden. Ook werden grote delen van de etappes nog bij nacht verreden en dan zijn de mogelijkheden voor fraude natuurlijk onuitputtelijk. Vele renners lieten zich voorslepen door auto's. De coureurs namen dan een kurk in de mond, met daaraan een ijzerdraad en die zat dan weer aan een auto bevestigd. Het was er Desgrange en Lefèvre veel aan gelegen om de schijn van een sportief verloop van de koers op te houden. Daarom legden zij een aantal hoge boetes op voor relatief kleine overtredingen. Later in de Tour werden zelfs 2 renners van verdere deelname uitgesloten. Dit was echter tegen de regels van de Franse Wielerbond, die volgens die regels als enige recht had om renners uit de koers te halen. De Bond weigerde daarom om de uitslag van de Tour te erkennen. 4 Maanden later besloot de Bond om de 4 eersten uit het algemeen klassement te diskwalificeren. Het gevolg was wel dat de overwinning, die nu naar de negentienjarige Cornet ging, vrijwel geen sportieve waarde meer had. Cornet was er nog met een berisping afgekomen.

Het is niet verwonderlijk dat Desgrange weinig toekomst meer voor de Tour de France voorzag. Hij schreef: "De Tour de France is voorbij en de tweede editie is, vrees ik, tevens de laatste. Hij is bezweken aan zijn succes, aan de blinde hartstochten die hij ontketend heeft."