整个西班牙战争期间，约瑟夫的表现让拿破仑很不满意。西班牙对法国的憎恨将消失，约瑟夫最初曾这样想，他们会看到法国带来的“更加明智、更加自由的法律，这一切比以往的宗教政策更加适应时代的潮流”。然而，当约瑟夫到达马德里，亲身经历了当地的反法起义并亲眼目睹西班牙人民的反法起义被缪拉的军队残酷镇压之后，他的态度有所转变了。约瑟夫也很快发现在民族战争期间是没有自由思想的空间的，目前为止，西班牙已经整个成为一个战场了。这块土地已备受战争的创伤，而约瑟夫想要缓和西班牙人民所受的磨难的良好愿望在这个国家结束同法国的战争以前是无法实现的。约瑟夫再次向拿破仑恳求终止战争，以用仁爱与信任来赢得西班牙人民的拥护。拿破仑对约瑟夫这一可笑而“幼稚”的想法的反应十分暴躁，他逐步剥夺约瑟夫的实权，甚至解除了约瑟夫的总指挥儒尔当元帅的职务，而用包括苏尔特和马塞纳这样的亲信取而代之——这两人公开表示服从拿破仑并拒绝听从约瑟夫的命令。很快，几乎再没有一个驻伊比利亚的法国将军或元帅愿意听从约瑟夫的命令了。
约瑟夫自己也越来越少接见法国官员了，反而亲近西班牙官员，再一次步上了荷兰的路易以及威斯特伐利亚的热罗姆的后尘。不久，“傀儡约瑟夫国王”就成了巴黎的敌对势力。“皇帝陛下已成为以约瑟夫国王为首的宫廷所嘲讽的对象了。”塞巴斯蒂安尼将军向拿破仑这样报告道。愤怒的约瑟夫毫不掩饰他作为国家及家族统领的权力。“约瑟夫仍深信他是我大哥，他仍想要这个波拿巴家族族长的头衔——还有比这更荒谬的事吗？”拿破仑这样评论道。拿破仑的军队在伊比利亚半岛所遇到的一连串的挫败只会加剧两兄弟间的对立和伤害，他们彼此都认为自己是可怜的牺牲者。“眼下，西班牙的公众对我们已是完全敌对了。”约瑟夫这样告诉仍留在巴黎而不愿前来西班牙?