即使在名人堂的入选仪式上，阿伦-艾弗森仍然受到了球迷的热捧，但回望他足够伟大的职业生涯，2004年雅典奥运会失利可以说是其中为数不多的瑕疵之一。在那届奥运会上，美国队不可思议的只取得了5胜3负的成绩，他们在半决赛中以81-89输给了阿根廷队，即使在铜牌争夺战对阵立陶宛的比赛里，他们也赢的并不轻松。

当时，由艾弗森与马布里组成的后场组合受到了多方的指责，他们被视为是自私与固执的代名词。但显然这是不公平的，要知道当时的那届梦之队缺少了得分王麦迪，奥尼尔，科比，加内特，皮尔斯，卡特和基德等等在当年如日中天的大牌球星。

“那对我来说是一个非常棘手的局面，因为很多人都没有去，只有我和蒂姆-邓肯去了。”艾弗森在接受波士顿环球报采访时这样说道。

“我们去代表我们的国家，但是那些没去的家伙是不可能帮到我们的。我完全理解他们为什么没有去，我完全理解并且也跟他们保持着朋友关系，我仍然对那些人保有最崇高的敬意。但事实却是，只有我和蒂姆选择了点头前往。”

那次出征，艾弗森的队友包括勒布朗，安东尼和韦德，现在这都是鼎鼎大名的人物，但在当时他们只不过刚刚进入NBA而已，对于国际篮球来说，更是新人。

在2007-08赛季，转投掘金第二个赛季的艾弗森重新找回了状态，那个赛季他场均可以得到26.4分和7.1次助攻，但遗憾的是艾弗森并没有被邀请加入08年北京奥运男篮的大名单。

“那个赛季我像以前一样棒，甚至可以说是我职业生涯中最好的赛季之一，但我没有被邀请。现在我不会说这件事情伤害了我，但这就是事实。”

“这种伤害会一直存在，因为我觉着我真的应该是那支队伍的一部分。我显然有机会在我41岁时说，我拥有一块奥运金牌。” 艾弗森不无遗憾的说道。