パリの多くの橋と同様、カルーゼル橋のある場所にもいくつかの橋がさまざまな名前で存在した。1831年の最初の橋はサン・ペール通りを延長した位置に作られたためサン・ペール橋と名付けられた。しかし1834年の除幕の時にルイ・フィリップはカルーゼル橋と命名した。また、右岸のルーヴル宮殿に通じていることからルーヴル橋という名も与えられた。
建築家のアントワーヌ＝レミ・ポロンソーは当時吊り橋が主流だったにもかかわらずアーチ橋を採用した。鋳鉄と木材でできたこの橋はとても大胆な物だったがために批判に晒された。装飾のための鉄製の輪は皮肉をこめて「折りたたんだテーブルクロスを留める輪」と呼ばれた。橋の四隅にはルイ・プティトーによる豊饒・産業・セーヌ・パリを意味する4つの彫像がそびえ立っていた（これらの彫像は現在のカルーゼル橋に残されている）。約50年後、老朽化したため木材で作られていた橋床部分が鉄に置き換えられた。
それでもまだ幅が狭く、危険なほどぐらぐらしていたため、1930年に少し下流に掛け替えることが決定した。新しい橋は最初の橋に敬意を表して3径間のコンクリートアーチ橋となった。橋の照明には伸縮する街灯が採用された。これは昼は13mの高さ、夜は20mの高さになる物だったが残念ながら現在は作動していない。1995年の5月1日、モロッコ出身の人が国民戦線のデモ帰りの集団にカルーゼル橋からセーヌ川に投げ込まれるという事件が発生した。この事件を風化させないために2003年追悼のためのプレートが取り付けられた。