『ライク・ア・ローリング・ストーン』がリリースされてからちょうど5日後、ラジオではこの曲が頻繁に流されていた頃、ディランはニューポート・フォーク・フェスティバルのステージにロックバンドを従えて登場した。
バンドは『マギーズ・ファーム（原題：Maggie’s Farm）』、『ライク・ア・ローリング・ストーン』、『ファントム・エンジニア』を演奏したが、彼らに対して巻き起こったブーイングの理由としては、＂ロック色を全面に出した彼らの音楽に幻滅したから＂とか、＂音響が悪く演奏が聞こえなかった＂、＂音がうるさすぎた＂など、さまざまな説がある。しかしディランの信念にゆるぎはなかった。「フェンダー・ストラトキャスターを下げたディランは黒革のロックンロール・ファッションに身を包み、黄色のピンホールシャツを着ていたがネクタイはしていなかった。まるで＂ウエストサイドストーリー＂から飛び出してきたような格好だった」と、ブルームフィールドは証言している。その4日後、＂ストリートファイター＂ディランはAスタジオへ戻り、わずか4日間でアルバム用のそのほかの曲を仕上げた。
それまでの3作のアルバムをプロデュースしたトム・ウィルソンは去り、ボブ・ジョンストンがプロデューサーの席に座った。詳しい理由は伝えられていないが、ジョンストンによると、ディランのマネージャーであるアルバート・グロスマンとウィルソンの間の確執が原因とも言われている。結局ジョンストンは、『追憶のハイウェイ61』とそれに続く5枚のアルバムをプロデュースした。
1965年7月29日のセッションは、『トゥームストーン・ブルース（原題：Tombstone Blues）』で始まった。この陽気な曲は、＂女性版ジェシー・ジェイムズ＂と呼ばれる西部開拓時代の無法者ベル・スターの亡霊を呼び起こすようなブルームフィールドのギターが印象的である。続く『悲しみは果てしなく』は当初、『トゥームストーン・ブルース』と同様ロック調で始まっていたが、ディランのピアノでより甘くゆっくりとした印象の曲に書き換えられた。
アルバムからの2枚目のシングル『寂しき4番街（原題：Positively 4th Street）』は、ニューポートで浴びたブーイングと、ロック色を濃くしたディランへのフォークソング・ファンからの反応に対する回答と受け止められた。ディランの＂どうせ信念なんて持っていないんだろ＂という辛辣な批判の言葉が、クーパーのローラースケートで滑るようなオルガンとブルームフィールドの激しいギターの上に乗る。『ライク・ア・ローリング・ストーン』に続いて1965年9月7日にリリースされたこの曲は、アルバムには収録されなかったが、ビルボードHot100の7位にランクインした。
ディランとクーパーは、8月の第一週の週末をウッドストックで過ごし、翌月曜日に取り掛かる曲のコード進行を検討していた。セッションは夜の8時に始まり、アルバムのタイトルソングとなる『追憶のハイウェイ61』を仕上げた。
