PSS didirikan pada awalnya hanya mereka senang dengan sepak bola.
Pemikiran di kala itu, dengan sepak bola mereka yakin akan menambah teman, meningkatkan persaudaraan dan tentu saja dengan sendirinya meningkatkan persatuan dan kesatuan masyarakat Kabupaten Sleman.
Lahirnya PSS dilatarbelakangi bahwa pada waktu itu di Daerah Istimewa Yogyakarta (DIY) baru ada dua perserikatan yaitu PSIM Yogyakarta dan Persiba Bantul.
Waktu berdirinya PSS hampir bersamaan dengan saat berdirinya Persikup Kulon Progo dan Persig Gunungkidul.
Saat itu, selain di Kota Yogyakarta, potensi sepak bola di empat daerah kabupaten tidak terpantau dan kurang terkelola dengan baik.
Padahal beberapa daerah di Kabupaten Sleman, seperti Prambanan, Sleman dan Kalasan, Sleman sejak dulu sudah memiliki tim sepak bola yang tangguh, yang ditandai dengan hadirnya beberapa tim luar daerah yang mengadakan pertandingan uji coba dengan tim di kawasan tersebut.
Meskipun klub-klub sepak bola di Kabupaten Sleman telah ada dan tumbuh, tetapi belum terorganisasi dengan baik karena di Kabupaten Sleman belum ada perserikatan.
Hal ini berdampak terhadap kelancaran klub-klub sepak bola di Kabupaten Sleman dalam mengadakan kompetisi sehingga banyak pemain dari Kabupaten Sleman yang bergabung ke klub-klub sepak bola di Kota Yogyakarta dan Kabupaten Bantul.
Keinginan masyarakat yang kuat di Kabupaten Sleman untuk memiliki perserikatan klub sepak bola akhirnya mulai terwujud dengan adanya informasi yang disampaikan oleh Komda PSSI DIY pada waktu itu Prof. Dr. Sardjono.
Ia menyatakan bahwa syarat untuk membentuk perserikatan sepak bola minimal harus ada lima klub.
Di Kabupaten Sleman pada waktu itu sudah ada lima klub yaitu PS Mlati, AMS Seyegan, PSK Kalasan, Godean Putra dan PSKS Sleman.
Akhirnya, tepat pada tanggal 20 Mei 1976, PSS dibentuk dengan Ketua Umum Gafar Anwar (seorang polisi).
Setelah Gafar Anwar meninggal, posisi Ketua Umum PSS digantikan Oleh Drs. Suyadi sampai dengan 1983.
Periode 1983-1985, PSS dipimpin oleh Drs. R. Subardi Pd (Drs. KRT. Sosro Hadiningrat). Periode 1986-1989, PSS dipimpin oleh Letkol Infanteri Suhartono.
Karena ada perubahan masa bakti/periodisasi dalam memimpin klub perserikatan yang dilakukan oleh PSSI menjadi empat tahunan maka di tengah perjalanan periode Letkol Infanteri Suhartono tepatnya tahun 1987, Letkol Infanteri Suhartono masih dipilih lagi sebagai Ketua Umum PSS untuk masa jabatan 1987-1991.