2004年雅典奧運會對於美國夢之隊來說，並非什麼美好的回憶，因為他們半決賽不敵阿根廷，只奪得了銅牌，輸掉了3場比賽，對於美國男籃而言這是奇恥大辱，因為他們在2004年奧運會之前，一共只輸過兩場比賽。

作為04年奧運會的參賽選手，安東尼近日做客《Uninterrupted》節目時，也談到了這屆奧運會，他對於當時教練組的安排非常不滿，他認為當時擔任球隊先發鋒線的該是自己和詹姆斯，而非Jefferson與Marion。安東尼表示：「當時看教練組這樣安排我就傻了，‘為什麼他們是首發？騙人的吧？’當時我和詹姆斯就是這麼想的。」

除了對自己與詹姆斯落選首發不滿外，安東尼還吐槽了當時的夢之隊隊內氣氛，「要知道，那會兒的老兵都是趾高氣昂的，他們從不說，‘我罩著你啊年輕人’這種話。從來沒有，在那里你只能自力更生。」

以如今安東尼美國男籃奧運隊史得分王的身份，他確實有資格說這樣的話。但是在2004年，他與詹姆斯還有韋德，都還只是菜鳥，彼時的安東尼才20歲，而詹姆斯只有19歲，在如此重要的國際賽場，將他們安排進首發，顯然難以服眾。

而且當時的主教練Larry Brown不喜歡用新人，他更信任老將。整個奧運會8場比賽下來，安東尼只出戰了7場，場均僅得到2.4分1.6助攻，詹姆斯場均也只有5.4分，更多的時候安東尼只能坐在替補席，為隊友吶喊助威，在關鍵的半決賽，安東尼甚至連出場機會都沒有。所以，即便是時隔16年，他對於當時的安排仍耿耿於懷，也就在情理之中了。

值得一提的是，當年力壓安東尼成為雅典奧運會首發的Jefferson，回應了安東尼的言論。談及安東尼與詹姆斯，Jefferson不卑不亢的說道：「我能確信安東尼那時候沒有準備好，我明白那是他的生涯最初期，他後來成長為了偉大球員。但在那個時刻，他就是沒準備好。再說一遍，我沒有不尊重安東尼和詹姆斯的偉大生涯。但放在那年，他們在世界賽場的戰鬥力甚至還入不了全美前30。」

Jefferson認為雅典奧運會之所以止步半決賽，是因為球隊太年輕（平均年齡只有23.6歲），大傢伙兒的心也不齊，明爭暗鬥，最終導致失敗，與誰是首發沒有關係。而且他再三強調了，當時的安東尼還沒有準備好！