1974年7月，弗格森在东斯特林郡开始其执教生涯。同年10月，他转而执教圣米伦队，并且在1977年率队打入苏甲联赛。次年，弗格森由于与俱乐部的矛盾，被俱乐部以非常古怪的理由解雇，这也是弗格森执教生涯中唯一一次被解雇。

1978年至1986年他接受了阿伯丁队的邀请，在那儿创造了执教生涯的第一个辉煌。带队打破了“格拉斯哥双雄”流浪者队和凯尔特人队对国内冠军长达15年的垄断，8年共获得3次苏超冠军，4次苏格兰足总杯冠军，1次苏格兰联赛杯冠军，最显赫的战绩是1983年战胜皇家马德里，捧得欧洲优胜者杯。

图为1984年10月30日，时任阿伯丁教练的弗格森（右一）获得苏超联赛年度最佳教练铜奖杯。