मुंबई येथे प्रार्थनासमाजाचे कार्य करीत असतानाच त्यांनी आपल्या जीवनातील दुस-या एका महत्त्वाच्या कार्याला प्रारंभ केला. अस्पृश्य मानल्या गेलेल्यांची उन्नती करण्यासाठी `डिस्प्रेस्ड क्लासेस मिशन सोसायटी ऑफ इंडिया` अथवा `भारतीय निराश्रित साह्यकारी मंडळी` या संस्थेची मुंबई येथे १९०६ मध्ये स्थापना केली. अस्पृश्यांच्या स्थितीचे त्यांनी भारतभर अवलोकन केले होते. १९०६ मध्ये मुंबई येथे `सोशल रिफॉर्म असोसिएशन`पुढे त्यांनी एक व्याख्यान देऊन त्यात प्रथमच हिंदुस्थानातील बहिष्कृत वर्गाच्या अडचणी, त्यांची प्रांतवार संख्या इत्यादी बाबींची व्यवस्थित मांडणी केली.  "ह्या लोकांच्या उद्धारासाठी जिवंत व्यक्तिगत पुढाकार आहे असे मिशन तयार झाले पाहिजे व अशा मिशनने ख्रिस्ती मिशन-यांप्रमाणे ह्या लोकांच्या जीवितामध्ये क्रांती व विकास घडवून आणला पाहिजे" अशी त्यांची भूमिका होती. मिशनची स्थापना केल्यानंतर मिशनच्या कामाचा व्याप त्यांनी झपाट्याने वाढविला. पहिल्या तीन वर्षांच्या काळातच मुंबई येथे परळ, देवनार, मदनपुरा, कामाठीपुरा येथे शाळा स्थापन केल्या. नवीन पद्धतीचा चामड्याचा कारखाना सुरू केला. `निराश्रित सेवासदना`ची स्थापना केली, दवाखाना उघडला, व वसतिगृहे चालविली. मुंबईबाहेर मनमाड, इगतपुरी, इंदोर, अकोला, मद्रास, महाबळेश्वर, मंगळूर इ. ठिकाणी मिशनच्या शाखा उघडल्या. १९०९ पर्यंत मिशनच्या बारा शाखा स्थापिल्या. सोळा शाळा चालविल्या, १६१८ विद्यार्थी त्यांमधून शिक्षण घेत होते. चार उद्योगशाळा काढल्या. मिशनसाठी सात आजीव कार्यवाहक मिळविले. १९०९ मध्ये पुण्यास मिशनची पहिली प्रांतिक परिषद यशस्वीपणे घेतली. या कार्यातून महर्षी शिंदे यांची अस्पृश्यतेच्या प्रश्नांची समज जशी प्रगट होते, तसेच त्यांचे संघटनाकौशल्यही दिसून येते. अस्पृश्य वर्गाची उन्नती करणे, त्यांचा आत्मविश्वास जागृत करून स्वोद्धाराची तळमळ निर्माण करणे हा एक भाग, तर स्पृश्यांच्या मनात अस्पृश्यांबद्दल समानतेची भावना निर्माण करणे हा दुसरा भाग. हे कार्य करताना त्यांनी स्वतःची राजकीय मते आड येणार नाहीत याची दक्षता घेतली. मिशन राजकारणापासून अलिप्त ठेवले, व या कामासाठी सर्वांचे सहकार्य व सहानुभूती मिळविली. श्री. सयाजीराव गायकवाड, तुकोजीराव होळकर, यांसारखे संस्थानिक; सर जॉन क्लार्क, सर म्यूर मॅकॅन्झे, डॉ. मॅन यांसारखे इंग्रज अधिकारी; सर नारायणराव चंदावरकर, प्रिन्सिपल र. पु. परांजपे, महर्षी धोंडो केशव कर्वे, लो. टिळक यांसारखे मवाळ-जहाल पुढारी; श्री. शिवराम जानबा कांबळे, श्री. डांगळे, श्री. नाथा महाराज यांसारखे अस्पृश्य वर्गातील पुढारी या सर्वांचे त्यांनी सहकार्य मिळविले. १९१२ मध्ये मिशनचे ठाणे पुण्यास हलवून कामाचा व्याप आणखी वाढविला. अस्पृश्यता निवारण्याचा प्रश्न राष्ट्रीय सभेसारख्या सभेने हाती घ्यावा असा त्यांनी सातत्याने सातआठ वर्षे प्रयत्न केला. अखेर १९१७ च्या कलकत्त्याच्या अधिवेशनात मिसेस् अँनी बेझंट यांच्या अध्यक्षतेखाली अस्पृश्यता निवारण्याचा ठराव मंजूर झाला. त्यानंतर ठिकठिकाणच्या प्रांतिक परिषदांमधेही ठराव झाले. अस्पृश्यतानिवारण हा राष्ट्रीय सभेच्या कार्याचा एक भाग झाला. अस्पृश्यता निवारण्याचे कार्य संस्थात्मक प्रयत्नाच्या द्वारा पहिल्यांदा त्यांनी अखिल भारतीय पातळीवर नेले, यात त्यांची तळमळ तशीच दूरदृष्टी दिसते. १९२३ मध्ये मिशन अस्पृश्य वर्गातील कार्यकर्त्यांच्या हवाली करून ते मिशनच्या कार्यातून बाहेर पडले तरी अस्पृश्यांच्या उन्नतीचा ध्यास त्यांना अखेरपर्यंत होता.

अस्पृश्यतानिवारणाच्या ह्या कामाशिवाय इतर सामाजिक स्वरूपाचे कार्यही त्यांनी केले. मुरळी सोडण्याची चाल बंद व्हावी यासाठी त्यांनी प्रयत्न केले. हे काम करण्यासाठी मुंबईस १९०७ मध्ये एक संस्था स्थापून ते तिचे सेक्रेटरी झाले. १९११ मध्ये त्यांनी मुरळीप्रतिबंधक परिषद भरविली. स्त्रियांच्या शिक्षणाबद्दल त्यांना आस्था होती. १९१९ मध्ये पुणे म्युनिसिपालिटीने केवळ मुलांसाठीच सक्तीच्या प्राथमिक शिक्षणाची योजना तयार केली होती. मुलींनाही मुलांप्रमाणेच सक्तीचे प्राथमिक शिक्षण असावे ह्यासाठी अण्णासाहेबांनी लोकमान्य टिळक वगैरेंच्या विरोधात जाऊन चळवळ केली.

महर्षी शिंदे यांनी जे राजकारण केले ते व्यापक राष्ट्रहिताच्या व एकजुटीच्या पायावर अधिष्ठित होते. स्वतः अण्णासाहेब हे एकनिष्ठ ब्राह्म असल्याने जातीयतेच्या पलीकडेच होते. १९१७ च्या सुमारास ब्राह्मणेतरांना एकत्र आणण्याचा प्रयत्न होऊ लागला तेव्हा सर्व राष्ट्राची जागृती होत असताना नव्याने निर्माण होऊ पाहणारा ब्राह्मणेतरवाद राष्ट्रीय ऐक्याला विघातक ठरेल असा इशारा त्यांनी अमरावतीच्या एका सभेत दिला. राष्ट्रीय प्रवाहापासून मराठा समाज बाजूला पडू नये म्हणून राष्ट्रीय मराठा संघ स्थापन करण्यात त्यांनी पुढाकार घेतला. मागासलेल्या वर्गाचा कैवार घेण्याच्या हेतूने १९२० मध्ये पुण्याहून कायदे कौन्सिलची त्यांनी निवडणूक लढविली, परंतु ती मराठ्यांसाठी असलेल्या राखीव जागेवरून नव्हे; तर या तत्त्वाला विरोध म्हणून सर्वसामान्य मतदारसंघातून. (अर्थात अशी तत्त्वनिष्ठ व्यक्ती निवडणुकीत पराभूत झाली असणार हे उघडच आहे). १९२५ नंतर त्यांनी शेतक-यांच्या अनेक परिषदांमध्ये भाग घेऊन शेतक-यांच्या चळवळीला मार्गदर्शन केले व त्यांना एकजुटीचा मंत्र सांगितला. राजकारणात महात्मा गांधींचा उदय झाल्यानंतर उतारवयात कायदेभंगाच्या चळवळीत भाग घेतला. पुणे जिल्ह्यात शेकडो मैलांचा पायी दौरा केला, अनेक सभा घेतल्या, मिठाची विक्री करून कायदेभंग केला व कारावास पत्करला. अण्णासाहेबांच्या जीवनकार्याचा हा स्थूल आराखडा.