1950年，经过四处寻觅，他在一个名叫本顿维尔的小镇上买下一家杂货店。经过精心准备后，这家被称为沃尔顿廉价商店的自助销售店便正式开张了。这是周围8个州内的第一家自助商店，沃尔顿在当地报纸上连日刊登广告，保证商店有大量价廉物美的东西供应，并向孩子赠送气球等礼品。顾客果然蜂拥而来，商店很快成为当地一家兴旺的企业。 

　　不久，沃尔顿又开始在其他城镇寻找开设商店的机会。1952年，他买下费耶特维尔一家快要倒闭的老杂货店，也把它设置成自助形式的沃尔顿廉价商店，开张之后又大获成功。接着，他和弟弟巴顿・沃尔顿共同出资，投资于堪萨斯城的一家本・富兰克林连锁店，但这家商店后来不幸被龙卷风夷为平地。 

　    此后，沃尔顿和弟弟以及其他合伙人，在各地开了许多连锁商店。他往往把前一家商店挣到的所有钱，都用来开设另一家新的商店。到1960年，他们成了全美国最大的独立杂货店的经营者。 
　　然而，沃尔顿并不满足。他意识到，自己的每家商店规模和销售量都很小，经过调查研究，就决定开设规模较大的廉价折扣店――这就是沃尔玛商店。1962年7月2日，沃尔顿和他的合伙人在阿肯色州的罗杰斯镇开设了第一家沃尔玛商店，一年的营业额达到100万美元。两年后，他们又在罗杰斯镇附近的城镇斯普林代尔和哈里森相继开设了商店。这三家沃尔玛商店的商品价格普遍要比竞争对手低20％，所以一开始就取得了成功。 
　　要保证商品廉价，就必须做到低价采购，并保持充足的货源。刚开始时，沃尔玛商店遇到了很多困难。例如，一些著名的大供货商，如宝涪公司，伊斯曼柯达公司等的推销员很少主动到沃尔玛商店来推销货物，即使来了，也是颐指气使地发号施令，规定提供货物的价格、数量、付款方式等，态度十分傲慢无礼。沃尔顿以顽强的毅力面对着这些困难，并逐渐完善商店的管理制度，使沃尔玛商店逐步走上正轨。