Первый комплект понтонов пришлось ждать еще два дня, после чего инженеры смогли приступить к постройке единственного моста. Тем не менее, возможности для возвращения инициативы еще существовали — Потомакская армия все еще превосходила противника по численности в соотношении три к одному, а кроме того, у Лонгстрита не было времени, чтобы оборудовать сильные оборонительные позиции. Но и на этот раз Бернсайд отказался от идеи скорейшего, импровизированного форсирования реки и предпочел подождать, пока к нему не прибудут все необходимые плавсредства — за это время к конфедератам также прибыло подкрепление — части II корпуса Джексона. Бернсайд возлагал свои надежды на тщательно продуманное планомерное наступление. Он планировал взять Фредериксберг атакой по трем направлениям от мест возведения мостов, известных как верхняя, средняя и нижняя переправы. Верхняя переправа состояла из двух понтонных мостов, возведенных через реку напротив центра Фредериксберга. Средняя переправа была представлена одним мостом, расположенным вблизи южной оконечности города около железнодорожного моста, который ранее в ходе военных действий был сожжен дотла. Нижняя переправа состояла из двух понтонных мостов, находившихся в 1,6 км к югу от города. Они достигали западного берега поблизости от района, известного как перекресток Гамильтона.
План Бернсайда предусматривал нанесение двух главных ударов. Правофланговая гранд-дивизия Самнера должна была наступать по реке, используя верхнюю и среднюю переправы, и овладеть Фредериксбергом. В это же время левофланговая гранд-дивизия генерала Франклина должна была перейти реку через нижнюю переправу и попытаться прорвать оборону конфедератов близ перекрестка Гамильтона. После создания плацдарма, ей предписывалось атаковать основные силы армии южан, в то время как Самнер нейтрализовал бы конфедератов на высотах Мери. Центральная гранд-дивизия Хукера должна была действовать как резерв для двух других гранд-дивизий. Это был вполне приемлемый план, но он в значительной степени зависел от элемента неожиданности (давно потерянного) и скорости, которую физически не могла набрать реорганизованная Бернсайдом армия.
Ли был готов встретить Бернсайда, хотя и не мог определить точно, где противник нанесет главный удар. I корпус Лонгстрита удерживал высоты, а II корпус Джексона в это время занимал позиции южнее. Дивизия Андерсона защищала Фредериксберг с севера, дивизия Ренсома прикрывала высоты Мери, а дивизия МакЛоу располагалась впритык к правому флангу Ренсома. Дивизия Пикетта занимала высоту, находившуюся к югу от дивизии МакЛоу западнее железнодорожной линии. Ли предусмотрительно развернул дивизии, которыми командовали Джон Худ, Джордж Пикетт и АП. Хилл между Лонгстритом и Джексоном, где их близость к Телеграфной дороге и к Новой военной дороге позволяла им быстро переместиться, чтобы укрепить любой из флангов. Лонгстрит стремился подготовиться к любому развитию событий и для этого отправил подкрепления во Фредериксберг.
Рано утром 11 декабря 1862 года северяне 50-го Нью-Йоркского инженерного полка начали собирать понтонные мосты. Услышав сильный шум, разведчики Лонгстрита доложили, что армия северян готовится начать переправу. В 05:00 МакЛоу приказал дать выстрел из двух орудий, что было сигналом для его солдат занять оборонительные позиции на высоте к западу от Фредериксберга и подготовиться к отражению атаки северян. В то же время войска в городе были усилены подразделениями Миссисипской пехоты Уильяма Барксдейла.Когда начало светать, разъезды южан стали обстреливать инженеров, работавших на верхней и средней переправах. Плотность огня южан постепенно усиливалась, пока наконец инженеры северян не были вынуждены оставить предмостные укрепления. Горстка стрелков-южан сдерживала всю Пото-макскую армию, пока в бой не вступили стрелки северян, а их артиллерия не начала обстрел предполагаемых позиций противника. Артобстрел северянами Фредериксберга закончился вскоре после 14:00. Однако надежно окопавшиеся южане сразу же возобновили массированный огонь. На верхней и средней переправах они сдерживали форсирование реки в течение восьми часов.
Так и не дождавшись завершения строительства мостов на верхней и средней переправах, три подразделения северян (7-й Мичиганский, 19-й Массачусетский и 89-й Нью-Йоркский полки) из 3-й бригады Хелла пересекли реку в небольших лодках. Их задача состояла в том, чтобы выбить конфедератов с их позиций в городе. В 14:30 7-й Мичиганский полк майора Томаса Ханта высадился в том месте, где заканчивалась Хоук-стрит, и занял позиции вдоль набережной. Вскоре прибыли 19-й и 20-й Массачусетские полки, за которыми последовал 89-й Нью-Йоркский. Солдаты из Мичигана и Массачусетса захватили небольшой береговой плацдарм, в то время как бойцы с Миссисипи были вынуждены отступить.
Наконец верхнюю и среднюю переправы можно было использовать. Однако северянам следовало немедленно продвигаться вперед, иначе они погибли бы, поскольку в случае остановки наступления у переходивших по мостам
войск просто не оставалось места на западном берегу. Северяне медленно растягивались вдоль береговой линии, занимая оставленные южанами здания. Вскоре они контролировали все выходившие к реке улицы. К югу от города, в районе нижней переправы, где располагались войска Франклина, плацдармы были созданы вовремя, и мосты, возводившиеся регулярными инженерным частями Армии СПИ, были завершены к 12:30. Войска северян начали продвигаться по улицам, стараясь укрыться от огня снайперов-южан, засевших в зданиях, подвалах, на задних дворах и за оградами. 7-й Мичиганский полк попытался укрыться от огня южан в переулке. «Никто не мог выглянуть из-за угла и не быть убитым», — свидетельствовал их командир. Понимая, что им не удастся сдвинуться с места, командир 20-го Массачусетского полка капитан Джордж Мейси взял на себя ответственность за атаку, оставив 7-й Мичиганский в покое. 20-й Массачусетский полк атаковал на запад по Хоук-стрит, где разгорелись ожесточенные уличные бои. Стрелки южан использовали в качестве укрытий разрушенные артиллерией северян здания настолько успешно, что солдатам-юнионистам часто необходимо было приблизиться к ним на расстояние нескольких метров, чтобы обнаружить врага.
59-й Нью-Йоркский, 7-й Мичиганский (теперь собравшийся) и 19-й Массачусетский полки последовали за 20-м Массачусетским, чтобы занять район Хоук-стрит. 127-й Пенсильванский полк ворвался по верхнему мосту в город, где захватил плацдарм как раз в тот момент, когда сильное сопротивление противника угрожало положению северян на самом северном участке боев.С приближением темноты стрельба стала стихать, а затем и вообще прекратилась. После прибытия 59-го Нью-Йоркского полка остатки 20-го Массачусетского отошли к берегу реки, унося своих раненых. Полк потерял около трети личного состава, но его упорство помогло сдержать войска Барксдейла. Под покровом темноты Барксдейл начал отход с позиций, отведя сначала 17-й и 18-й Миссисип-ские полки.72-й и 106-й Пенсильванские полки наступали на запад вниз по Уильям-стрит и Джордж-стрит соответственно. 42-й Нью-Йоркский, 7-й Мичиганский и половина 20-го Массачусетского полка осторожно продвигались на запад и юго-запад, стараясь не попадать под огонь снайперов. Постепенно 13-й Миссисипский полк отступил вдоль Принцесс-Энн-стрит.Как только полностью стемнело, Барксдейл приказал всем своим оставшимся войскам отходить, оставив в качестве арьергарда 21-й полк. Постепенно огонь затих. Конфедераты оставили город, отойдя под прикрытие высот Мери в тыл, чтобы начать переформирование. Фредериксберг был взят Потомакской армией.