दुष्काळाच्या आपत्तीतून मांग लोकांना सर्व प्रकारचे साहाय्य करण्याचे काम १९२१च्या मार्चमध्ये जवळ जवळ संपत आले. नगर जिल्ह्यातून आलेली दुष्काळपीडित माणसे परत गेली. दुष्काळनिवारक कमिटीचेही विसर्जन करण्यात आले आणि ह्या कामातून मोकळे झाल्यावर विठ्ठल रामजी शिंदे हे अहल्याश्रमाची इमारत उभी करण्याच्या कामला नेटाने लागले. अमृतलाल ठक्कर ऊर्फ ठक्करबाप्पा हे अण्णासाहेबांचे मुंबईपासूनचे सहकारी होते. अहल्याश्रमामध्ये उभ्या मोठ्या करावयाच्या विविध इमारतींचे नकाशे तयार करण्याचे काम ते स्वतःच इंजिनियर असल्यामुळे त्यांनी मोठ्या दक्षतेने करून दिले. आता युद्ध संपले होते. मिशनचे हितचिंतक रँ. र. पु. परांजपे हे शिक्षणमंत्री झाले होते. अहल्याश्रमाच्या बांधकामासाठी

रु. ऐंशी हजार एवडी मोठी मदत मुंबई सरकारच्या वतीने त्यांनी मंजूर केली. इमारतीसाठी पाया खणून झाला. ज्यांच्या पहिल्या देणगीने अहल्याश्रमाच्या कल्पनेला चालना मिळाली व आता त्या कल्पनेला मूर्त स्वरूप येऊ लागले होते त्या श्रीमंत तुकोजीराव होळकरांना पायाचा दगड बसविण्यासाठी निमंत्रण करावे म्हणून शिंदे श्रीमंत तुकोजीराव होळकरांना भेटण्यासाठी इंदुरास गेले, परंतु तेथे तुकोजीरावांवर अनपेक्षितपणे संकट कोसळलले होत्. त्यांना पदच्युत करण्याची धामधूम चालली होती. अर्थात त्यांना निमंत्रण न करताच शिंदे परत आले.

अहल्याश्रणाच्या रूपाने मिशनच्या कार्याला स्थायी स्वरूप येत असताना अण्णासाहेब शिंदे यांच्यावर कठोर स्वरूपाची, एवढेच नव्हे तर अत्यंत अशोभनीय स्वरूपाची, टीका अस्पृश्यवर्गाकडूनच होऊ लागली. याचे दृश्य कारण एवढेच की मिशनच्या मोठमोठ्या इमारती होऊ लागल्या होत्या. मिशनचे एके काळचे विद्यार्थी ज्ञानदेव घोलप मूकनायक ह्या साप्ताहिकांचे संपादक म्हणून काम पाहत होते. १९२१ साली त्यांनी प्रत्येक अंकातून अत्यंत निर्दय स्वरूपाचा हल्ला शिंदे यांच्यावर सुरू केला. त्यांची आणि एकंदर अस्पृश्यवर्गातील पुढा-यांची मुख्य तक्रार अशी होती की, मिशन मिळवीत असलेल्या पैशाचा योग्य उपयोग करीत नाही. इमारती बांधण्यामध्ये एवढा मोठा पैसा व्यर्थ खर्च होत आहे. २७ मार्च १९२०च्या मूकनायकमध्ये खालील पत्र प्रसिद्ध झाले आहे. “निराश्रित साह्यकारी संस्था स्थापन होऊन आज तेरा वर्षे झाली. बहिष्कृतांना शिक्षण देऊन त्यांच्यात जागृती उत्पन्न करणे हे मिशनचे ध्येय आहे. या कामी लोक आणि सरकारकडून मिशनला हजारो रुपये मिळत आहेत, परंतु त्या मानाने मिशनचा उद्देश कितपत सिद्धीस गेला याची आम्हास मोठीच शंका आहे. एवढेच नव्हे तर मिशनच्या कार्यावरून तिच्या हेतूविषयी बहिष्कृतवर्गात अविश्वास उत्पन्न झाला आहे. असो. ज्या अर्थी बहिष्कृतवर्गाच्या नावावर मिळणा-या हजारो रुपयांचा मिशन चुराडा उडवीत आहे त्या अर्थी रा. शिंदे काहीही म्हणोत हे पैसे आपल्या पदरात पडतात की नाही, हे पाहणे बहिष्कृतवर्गाचे कर्तव्य आहे. अतएव मिशनच्या कामाची चौकशी करण्याकरिता एक कमिटी नेमणे अत्यंत आवश्यक आहे.- मिशनचा हितेच्छूक.”

माँटेग्यू-चेम्सफर्ड सुधारणेच्या अनुरोधाने शिंदे यांच्या भूमिकेबद्दल अस्पृश्यवर्गीयांचा गैरसमज झालेला होता. शिंदे यांनी स्वतः साऊथबरो कमिशनला दिलेले लेखी निवेदन व प्रत्यक्ष साक्ष यांमध्ये अस्पृश्यवर्गांला स्वतंत्र, राखीव मतदारसंघ असावा व मतदानपात्रतेच्या संदर्भात अटी शिथिल कराव्यात, त्यांना मुंबई इलाख्यात एकंदर सात जागा द्याव्यात, अशीच आग्रहपूर्वक मागणी केली होती. त्यांनी अस्पृश्यवर्गाच्या हिताच्या मागण्या केल्या ह्या बाबींकडे त्यांच्या आक्षेपकांनी पूर्ण दुर्लक्ष केले. निवडणुकीची धामधूम संपली व सरकारने शिंदे आणि आंबेडकर यांच्या मताची आणि मागणीची अजिबात पर्वा न करता अस्पृश्यवर्गातून एकच सदस्य-तोही सरकारने नियुक्त केलेला-कौन्सिलात जावा असा निर्णय घेतला. सरकारच्या ह्या निर्णयाबद्दल त्याला टीकेचे लक्ष्य न बनवता शिंदे यांच्यावरच अस्पृश्यवर्गातील शिकलीसवरलेली मंडळी सर्व प्रकारे हल्ला करून लागली. ज्यांच्या उन्नतीसाठी आपण दीड तप अतोनात परिश्रम घेतले व ज्यांच्या उन्नतीसाठी आपण रात्रंदिवस प्रयत्न केले, त्याच वर्गाचा आपल्यावर आता विश्वास राहिला नाही, तेच आपली निंदानालस्ती करून लागले आहेत ह्या विपरीत वस्तुस्थितीने अण्णासाहेबांच्या मनाला स्वाभाविकपणेच वेदना झाल्या. त्यांनी म्हटले आहे, “ज्यांच्यासाठी मी जीवाचे आणि घरादाराचे रान केले तेच माझ्यावर असंतुष्ट होते. कारण काय तर आता मोठमोठ्या इमारती होऊ लागल्या.”१

मातृसंस्थेतील लोक या वादाच्या मुळाशी जाईनात. या लोकांचे व्यर्थ लाड करून नयेत असा वरवरचा उपदेश करून ते अण्णासाहेब शिंदे यांचीच समजूत घालू लागले. मिशनच्या जनरल सेक्रेटरीशिपचा राजीनामा त्यांनी मुंबईला इंदूरहूनच पाठविला होता. मूकनायकाच्य प्रत्येक अंकात बोर्डिंग चालविण्यात होणारा अनाठायी खर्च, विद्यार्थ्यांकडे होणारे दुर्लक्ष, त्यांच्या जेवणाची गैरव्यवस्था, त्यांना मिळणारी कठोर वागणूक इत्यादी बाबींच्या संदर्भात अत्यंत कठोर शब्दांत आरोप करणारे लेखन येऊ लागले. मुंबई येथील डी. सी. मिशनच्या कामाचा राजीनामा वामनराव सोहोनींनी दिला होता. त्यांच्याऐवजी श्री. कृ. गो. पाताडे हे तेथे गेले होते व वसतिगृहाची पाहत होते. त्यांच्याबद्दल सातत्याने मूकनायकांमधून टीका येऊ लागली.२

वस्तुतः श्री. गणेश आकाजी गवई व पं. नं. भटकर हे मिशनच्या वसतिगृहातून वरिष्ठवर्गाचे शिक्षण घेतलेले दोन विद्यार्थी अस्पृश्यवर्गाच्या सुधारणेसाठी झटू लागले होते. ह्या दोघांचीही भूमिका अण्णासाहेब शिंदे यांच्याबद्दल प्रारंभी कृतज्ञतेची व नंतर विरोधकाची दिसून येते. अस्पृश्यांच्या उच्च शिक्षणासाही हयगय करून विद्यार्थिगृहे व उद्योगशाळा काढण्यात मिशन पैशाचा अपव्यय करीत आहेत, अशा प्रकारची तक्रार ह्या पुढारीवर्गाकडून होऊ लागली होती. खरे तर, मिशनने होतकरू, अभ्यासू विद्यार्थ्याला सातत्याने प्रोत्साहनच दिले होते. मिशनच्या बोर्डिंगमध्ये असलेले विद्यार्थी पां. नं. भटकर हे १९१८ सालच्या युनिव्हर्सिटीच्या परीक्षेत नापास झाले होते. मिशनच्याच प्रयत्नाने ते नोकरीस लागले. १९१९ साली पुन्हा कॉलेजच्या पहिल्या परीक्षेस बसले व पास झाले. आपल्याला कॉलेज कोर्स पुरा करावयाचा असेल तर मिशन मदत करावयास तयार आहे, मग चार सोडून आठ वर्षे लागली तरी हरकत नाही; फक्त बोर्डिंगात राहून अभ्यास केला पाहिजे, असे त्यांना सांगण्यात आले होते. भटकर यांना स्वतः शिंदे यांनी श्रीमंत सयाजीराव महाराजांकडे नेऊन २५ रुपयांची दरमहा स्कॉलरशिप मिळवून दिली होती. परंतु त्याचा काही उपयोग झाला नाही. ३० मे १९२०च्या सुबोधपत्रिकेत ह्या संदर्भातील वस्तुस्थिती नमूद करताना म्हटले आहे, “मिशन स्थापन झाल्याला आज अवघी तेरा वर्षे झाली. इतक्या अवकाशात ज्यांची मजल मॅट्रिकपर्यंत पोहोचली अशा विद्यार्थ्यांची माहिती वर थोडक्यात दिली आहे... आज मुंबई बोर्डिंगात नऊ-दहा मुले हायस्कूनचे शिक्षण घेत असून लवकरच मॅट्रिकच्या परीक्षेला बसतील अशी त्यांची तयारी आहे, ही गोष्ट लक्षात घेतली म्हणजे मिशन उच्च शिक्षणाच्या कितपत विरोधी आहे या आरोपाचा निकाल लागेल. रा. गवई व रा. भटकर ह्या मॅट्रिक पास झालेल्यांची रा. शिंदे यांच्याच खटपटीने सेंट झेवियर्स आणि फर्ग्युसन कॉलेजात पुढील अभ्यासाची सोय झाली असून तिचा त्यांनी फायदा घेतला नाही. बोर्डिंगे व शाळागृहे इत्यादिकांची किती जरुरी आहे हे आंधळ्यालाही दिसण्यासारखे आहे, असे असून आमच्या अस्पृश्य बांधवांना या गोष्टी निरर्थक वाटतात व ह्या गोष्टीवर पैसा खर्च करणे म्हणजे खराबी करणे वाटते. पैस कुणाचा, खर्च कोण करतो, निषेध करतो कोण! सर्वच काही चमत्कार.

“... आज उच्चवर्णाच्या लोकांनी नीच मानलेल्या लोकांचा जो पक्ष घेतला आहे तो त्यांच्यामध्ये जागृती करण्यासाठी व त्यंना मार्ग दाखविण्यासाठी आहे हे सर्वांनी लक्षात ठेवले पाहिजे. अस्पृश्यांनी स्वतःचा उद्धार आपला आपणच केला पाहिजे. स्वतः त्यांनी आपल्या पायावर उभे राहिले पाहिजे असे आम्ही पुष्कळ वेळा म्हटले आहे. परंतु ही मंडळी स्वतः थोडी चळवळ करू लागली की, तीस प्रारंभ उच्च वर्णाच्या द्वेषाच्या द्वारे होत असतो, हे एक नवीनच विघ्न उपस्थित होते. दुसरी एक खेदाची गोष्ट आम्ही अनुभवली आहे की, अस्पृश्यवर्गीयांपैकी काही मंडळी पुढे गेली म्हणजे मग त्यांना आपल्या मागासलेल्या बंधूंची आठवण पडत नाही, ते आपल्यापैकीच आहेत हे ते विसरतात. पुढे गेलेल्यांमध्ये मागे राहिलेल्या संबंधाने जागृत सहानुभूती कशी उत्पन्न करता येईल हा फार महत्त्वाचा प्रश्न नीच मानलेल्या जातींची कळकळ बाळगणा-यांपुढे आहे.”३

कोनशिला समारंभासाठी श्रीमंत तुकोजीराव होळकर येऊ शकणार नाहीत हे स्पष्ट झाल्यावर अण्णासाहेबांनी म्हैसूरचे युनराज कांतिरवमहाराज यांना पाचारण करण्याचे ठरविले व त्यांनीही मोठ्या आनंदाने कोनशिला समारंभाचे निमंत्रण स्वीकारले. ५ सप्टेंबर १९२१ ह्या गणेशचतुर्थीच्या दिवशी समारंभ निश्चित झाला. अहल्याश्रमाच्या पटांगणात भव्य मंडप घालण्यात आला. सर कांतिरव नृसिंहराज वाडियर यांनी अध्यक्षस्थान मंडित केले. गावातील प्रमुख मंडळींनी व प्रेक्षकांनी मंडप खचून भरला. समारंभाच्या प्रारंभी प्रास्ताविक केल्यानंतर विठ्ठल रामजी शिंदे यांनी महत्त्वाची घोषणा केली. ती म्हणजे, मिशनचा कारभार प्रामुख्ये अस्पृश्यवर्गीय मंडळींवर सोपविण्यात येणार आहे. ह्याबाबत सुबोधपत्रिकेने वृत्तान्त दिला आहे तो असा : “गेल्या सोमवारी पुणे शहरी अहल्याश्रमाची कोनशिला बसविण्याचा समारंभ म्हैसूर युवराजांच्या हस्ते झाला. त्या वेळी रा. शिंदे यांनी फार सुंदर व जागृतिकारक भाषण केले. ज्यास आज बहुजन समाज अस्पृश्य समजत आहे त्यांच्या उद्धारकार्याला आपल्याला स्वतःला वाहून घेतले व त्यांच्याच चळवळीचे फळ म्हणून त्या लोकांमध्ये आता जागृती उत्पन्न झाली असता, रा. शिद्यांच्या हेतूचा अस्पृश्यातील काही लोक विपर्यास करू लागले आहेत. त्यांच्याविषयी रा. शिंदे यांचे उद्गार सर्व अस्पृश्यांनी लक्षात घेण्यासारखे आहेत. नि. सा. मंडळीचा उद्देश अस्पृश्यांत स्वाभिमान उत्पन्न करून त्यांस स्वालंबी करण्याचा होता व आहे. ही विचारजागृती होत असल्याची चिन्हे दिसत आहेत व त्याबद्दल शिंद्यानी संतोष प्रदर्शित केला आहे. हे  मिशन ह्याच मंडळींसाठी आहे व त्यांनीच ते चालवावे हे केव्हाही योग्यच. रा. शिंदे यांची त्यास तयारीही आहे. परंतु आम्हाला तर असे वाटते की, मिशनसारखी संस्था स्वतंत्रपणे चालविण्याची पात्रता अद्याप आमच्या अस्पृश्य गणल्या गेलेल्या बांधवांत आली नाही. हा त्यांचा दोष नव्हे, बहुतकाल अज्ञानाच्या स्थितीत राहिल्यामुळे ही स्थिती प्राप्त झाली आहे. ह्यासाठी जागृतीचे कार्य वरिष्ठवर्गाकडून होणे इष्ट व अगत्याचे आहे. वरिष्ठवर्गाने या वर्गाविषयी अन्याय केला आहे तो वरिष्ठवर्गाच्याच गळी उतरविला आहे. दुसरी गोष्ट अशी आहे की, निराश्रित साह्यकारी मंडळीसारखी संस्था सहकारी तत्त्वावर चालणे शक्य आहे. परंतु केवळ सर्व सत्ता आपल्या हाती असावी व त्या संस्थेस वाहून घेतलेल्यांनी ह्या नव्या जागृत होऊ पाहणा-या लोकांच्या हाताखाली वागावे असे कोणी म्हटले तर ते अत्यंत अप्रयोजक होय. ज्याच्यासाठी ही सर्व खटपट आहे, त्याच्यामध्ये जागृती झाली तर ही मंडळी स्वतःच्या पायावर उभी राहून कार्यक्षम होऊ लागली की नि.सा. मंडळी आपोआपच आपले दप्तर आवरायास लागेल.”४ शिंदे यांच्या प्रास्ताविकानंतर गोपाळ कृष्ण देवधर वगैरे काही वक्त्यांची भाषणे झाली. मुलांचे प्रेक्षणीय खेळ झाले. युवराजांनी जाऊन कोनशिला बसविली. त्यानंतर त्यांचे शुभेच्छादर्शक भाषण झाले. आभार मानल्यावर सभा बरखास्त झाली.

सुमारे वर्ष-दीड वर्ष विठ्ठल रामजी शिंदे व डी. सी. मिशन ही संस्था यांवर काही अस्पृश्यवर्गीय मंडळी व नेते यांच्याकडून टीकेचा भडिमार चालला होता. कार्यबद्धतीवर आक्षेप घेण्यात येत होते. हेतूबद्दल शंका प्रकट केली जात होती. तेव्हा याबाबतचे सत्यही वस्तुनिष्ठपणे उघडकीस यावे अशा प्रकारची योजना विठ्ठल रामजी शिंदे यांनी ह्या प्रसंगीच केली होती. समारंभानंतर जवळच्या इमारतीमध्ये ब-याचशा खुर्च्या घालून एका गुप्त बैठकीची व्यवस्था अगोदरच ठेवण्यात आली होती. या बैठकीत अस्पृश्यांच्या तक्रारी, मागण्या व सूचना काय आहेत हे युनराजांच्या कानावर प्रांजळपणे घालण्यात यावे, अशा प्रकारचे आवाहन सर्व अस्पृश्यवर्गीयांना केले होते. स्पृश्यवर्गापैकी या बैठकीस कोणीही हजर राहून नये; मिशनच्या चालकांपैकी कोणीही ह्या गुप्त सभेच्या जवळ फिरकू नये असा कडेकोट बंदोबस्त अस्पृश्य स्वयंसेवकांकरवीच ठेवण्यात आला होता. मुख्य समारंभानंतर या व्यवस्थेनुसार युवराज गुप्त बैठकीच्या ठिकाणी गेले. अस्पृश्यांचे म्हणणे ऐकून युवराजांनी आपले जे मत होईल ते वर्तमानपत्रातून जाहीर करावे अशी त्यांना विनंती करण्यात आली होती. योजनेनुसार बैठक झाली. युवराजांनी मंडळींचे म्हणणे ऐकून घेतले, पण बैठक आटोपल्यानंतर “जाहीर करण्यासारखे काहीच आढळले नाही. सर्व ठाकठीक आहे” असा अभिप्राय युवराजांनी प्रकट केला. निश्चित स्वरूपाचे कोणतेही आक्षेप विठ्ठल रामजी शिंदे अथवा मिशन संस्था यांवर विरोधकांना घेता आले नाहीत हाच ह्या घटनेचा इत्यर्थ होता.

विठ्ठल रामजी शिंदे यांना अस्पृश्यवर्गीयांकडून ज्या काळात विरोध सुरू झाला त्याच काळात मुंबई येथील मातृसंस्था आणि शिंदे यांच्यामध्येही विसंवाद निर्माण झाला होता. शिंदे यांनी मिशनच्या जनरल सेक्रेटरीशिपचा राजीनामा आधीच दिला होता. कमिटीने ते काम गिरिजाशंकर त्रिवेदी यांजकडे सोपविले, तरीही विठ्ठल रामजी शिंदे ह्यांनी ऑर्गनायझिंग सेक्रेटरी म्हणजे घटनामंत्र्याचे काम करावे असा एक्झिक्युटिव्ह कमिटीने ठराव केला. खरे तर संघटनेचेच काम दगदगीचे होते. ह्या व आतापर्यंत केलेल्या अविश्रांत परिश्रमामुळे व प्रतिकूल वातावरणामुळे विठ्ठल रामजी हे काम करावयास वस्तुतः कंटाळले होते. इमारतीचे बांधकाम सुरू झाले होते म्हणून पुणे शाखेच्या स्थानिक सेकेटरीचा अधिकारही आपण सोडावा असे त्यांना वाटत होते, परंतु पुणे शाखा त्यांना ह्या जबाबदारीतून तूर्त तरी मोकळे करावयास तयार नव्हती. म्हणून काही काळ तरी ही जबाबदारी शिंदे ह्यांना पत्करावीच लागली.

प्रार्थनासमाजीतल धुरीण मंडळी तसेच मिशनमधीलही विठ्ठल रामजींचे काही सहकारी एका बाबतीत त्यांच्या धोरणाबद्दल असंतुष्ट होते. ती बाब म्हणजे विठ्ठल रामजी शिंदे यांनी मिशनच्या कार्यकारी मंडळावर जहाल विचारसरणीची काँग्रेसमधील मंडळी निवडून येऊ दिली अथवा घेतली. विठ्ठल रामजींनी मुंबईमध्ये सयाजीराव गायकवाडांच्या अध्यक्षतेखाली मार्च १९१८ मध्ये भव्य प्रमाणावर अस्पृश्यता निवारक परिषद भरविली होती. ह्या परिषदेस काँग्रेसच्या टिळकांसह जहाल पुढा-यांना त्यांनी सामील करून घेतले होते. परिषदेच्या आधी पंधरा दिवसच सुबोधपत्रिकेच्या अंकामध्ये शिंदे यांना धोक्याचा इशारा देणारा इंग्रजी मजकूर लिहिला होता. त्यामध्ये त्यांनी असे म्हटले होते की, “ह्या परिषदेला मदनमोहन मालवीय, एवढेच नव्हेतर श्री. बी. जी. टिळक यांची सक्रिय सहानुभूती मिळविण्याचे प्रयत्न चालल्याचे ऐकले. काँग्रेसने याबाबतीत साहनुभूतीपर ठराव मागच्या अधिवेशनात मंजूर केला असल्यामुळे अशी सहानुभूती मिळविणे हे चांगले आहे. संस्थेचे जनरल सेक्रेटरी अलीकडे ह्याच दिशेने हालचाल करताहेत. आम्हाला असेही समजले की, राष्ट्रीय नेत्यांचे पाठबळ मिळविण्याच्या उताविळीने प्रमुख राष्ट्रीय मंडळींना डी. सी. मिशनच्या कार्यकारी मंडळामध्येही सामील करून घेण्यापर्यंत जनरल सेक्रेटरींची मजल गेली आहे... परंतु सहानुभूती मिळविणे ही एक गोष्ट, तर संपूर्ण यंत्रणाच राजकीय उलाढाल करणा-यांच्या हातात ठेवणे ही वेगळी गोष्ट. जनरल सेक्रेटरीच्या विरोधात पुष्कळ म्हणता येईल, बोलता येईल अशी परिस्थिती आहे. मला खात्रीने असे वाटू लागले आहे की, ते संस्थेचे कार्यकारी प्रमुख असण्यापेक्षाही प्रचारक व चळवळे अधिक आहेत आणि मिशनसारख्या रजिस्टर्ड संस्थेचा कारभार चालण्याच्या दृष्टीने ही गोष्ट योग्य आहे असे म्हणता येणार नाही.”