Брытанская статыстычная служба ў сераду апублікавала інфляцыю за лістапад. У яе табліцах CPI прадукты і безалкагольныя напоі каштуюць на 16,4% даражэй, чым год таму. Спрэчка вакол такіх лічбаў сёлета пераважна пра танную ежу. У студзені Джэк Монра напісала, што пачак самых танных макаронаў на 500 г падаражэў з 29 да 70 пенсаў. Пазней у тым жа месяцы New Statesman узяў сырыя цэны ONS. Ён паказаў, што самая танная дзясятая частка цэн расла значна хутчэй за медыяну.
Афіцыйную лічбу я ведаў, але ні разу не глядзеў, як яе атрымліваюць. Ідэя была сабраць свой індэкс па чэках. Толькі чэкі аднаго чалавека гэта 15 ці 20 пазіцый з 1 ці 2 крам. Я не ведаў, што ўвогуле можа сказаць індэкс па такім малым кошыку. Таму спачатку хацеў праверыць гэта на даных, дзе адказ можна праверыць.
Чэкі, якія публікуе ONS
Кожны месяц ONS выкладвае цэны, якія яе збіральнікі запісваюць у мясцовых крамах. Набор называецца “item indices and price quotes”. Адзін радок гэта адна цана: тавар, код крамы, рэгіён, цана і адзнака распродажу ці замены тавару. Па прадуктах і напоях гэта каля 42 тысяч прыдатных цэн у месяц прыкладна па 175 таварах. Тавар гэта нешта накшталт “вялікая буханка белага хлеба без нарэзкі, 800 г” ці “малако паўтлустае 2 пінты”. У тым жа наборы ёсць афіцыйны індэкс кожнага тавару і яго вага ў CPI на 2022 год.
Бліжэй да чэкаў у адкрытым доступе нічога няма. Я ўзяў файлы з лістапада 2021 па лістапад 2022 года, апошні выйшаў разам з 16,4%. Потым напісаў кароткі скрыпт на Python з pandas.
Гэтае пытанне задавалі і да мяне. У кастрычніку ONS сама апублікавала эксперыментальны індэкс самага таннага прадукту ў кожным з 30 тавараў штодзённага попыту, сабраны з сайтаў супермаркетаў. У яе выйшла каля 17% да верасня. Я тут не першы. Мне было цікава, наколькі адказ залежыць ад спосабу падліку.
Спачатку: ці атрымаецца ў мяне 16,4%
Я палічыў трыма спосабамі. Афіцыйныя індэксы тавараў з іх вагамі ў CPI, счэпленыя праз студзень так, як гэта робіць ONS, даюць 16,0%. Мой уласны індэкс па сырых цэнах дае 16,8%. У ім я параўноўваю адну паліцу з розніцай у год, гэта значыць той жа тавар у тым жа рэгіёне і з тым жа кодам крамы. Наіўны варыянт гэта тое, што робіш з кучай чэкаў. Бярэш сярэдняе геаметрычнае ўсіх цэн тавару ў лістападзе 2022 года і дзеліш на тое ж за лістапад 2021 года. Ніякага супастаўлення. Выходзіць 16,6%.
Разрыў паміж 16,0% і 16,4% я закрыць не змог. У аднаго бульбянога тавару з вагой 0,8 са 116 няма апублікаванага індэкса, але ён тлумачыць максімум каля 0,1 пункта. Астатняе хаваецца ўнутры апублікаваных індэксаў падкласаў. Прасачыць яго я не стаў.
Наіўны варыянт выйшаў бліжэй за мой супастаўлены, што мяне здзівіла, але па асобных таварах ён значна горшы, чым здаецца. З 175 тавараў у 170 ёсць афіцыйны індэкс у абодва гады. Для 90% з іх наіўны падлік разыходзіцца з афіцыйным індэксам тавару дзесьці ад 6 пунктаў ніжэй да 8 вышэй. На 170 таварах гэтыя памылкі ў асноўным гасяць адна адну, але на кошык з 15 я б на гэта не разлічваў.
Танная ежа
Метад New Statesman на лістападаўскіх цэнах просты: бярэш 10-ы перцэнтыль і медыяну кожнага тавару ў абодва гады. 10-ы перцэнтыль рос хутчэй за медыяну ў 98 тавараў са 170, павольней у 68 і аднолькава ў 4. З улікам вагаў танныя цэны выраслі на 20,4% супраць 16,3% у медыяны. На гэтых лічбах сцверджанне таксама трымаецца.
Толькі 10-ы перцэнтыль у 2021 і ў 2022 годзе гэта розныя паліцы. Мне хацелася адну і тую ж паліцу. Я ўзяў цэны з самай таннай дзясятай часткі ў межах кожнага тавару ў лістападзе 2021 года. Потым паглядзеў на тую ж паліцу праз год. Па маім першым падліку гэтыя паліцы падаражэлі на 32,9%. Усе астатнія на 13,6%. Танныя паліцы раслі хутчэй у 125 са 150 тавараў, дзе супастаўленых паліц дастаткова. Я праверыў, ці не распродажы гэта, калі танная цана аказваецца акцыяй і потым знікае. Не. На распродажы было 6,2% гэтых паліц супраць 5,5% астатніх.
Тут у мяне ўжо быў загаловак гэтага тэксту. Потым я палічыў у адваротны бок. Бярэм самыя танныя паліцы лістапада 2022 года і глядзім, наколькі яны падаражэлі за год да гэтага. Калі танныя паліцы сапраўды растуць хутчэй, гэтыя павінны былі вырасці не менш, чым астатнія. Яны выраслі на 3,8%, супраць 16,3% у астатніх.
Пары люстрана паўтараюць адна адну. Так выглядае рэгрэсія да сярэдняга. Дапусцім, частка розніцы цэн паміж паліцамі гэта шум. Тады паліцы, выбраныя самымі таннымі ў пачатку, потым быццам выбіраюцца наверх, а выбраныя ў канцы быццам амаль не рухаліся.
Шум быў у файлах, я проста не глядзеў на адзнакі. За месяц прыкладна 1 цана прадуктаў з 10 мае адзнаку, што тавар замянілі ці змянілі яго памер. Яшчэ паліца можа знікнуць на некалькі месяцаў і вярнуцца. Той жа тавар і код крамы праз год часта ўжо не той жа прадукт. Першая мая здагадка была пра штогадовую змену выбаркі ў лютым. Яна аказалася няправільнай, бо 99,9% паліц пераносяць студзеньскую цану ў люты.
Тады я пакінуў толькі паліцы без разрываў: цана за ўсе 13 месяцаў і ніякіх адзнак, акрамя распродажаў. Застаецца 11 082 паліцы ў 142 таварах. Самая танная дзясятая частка лістапада 2021 года падаражэла на 25,0%, астатнія на 15,7%. У адваротны бок самая танная дзясятая частка лістапада 2022 года падаражэла на 14,4%, астатнія на 16,6%. Ад адваротнага разрыву амаль нічога не засталося.
Але нейкі разрыў усё ж ёсць. Наперад танная дзясятая частка абагнала астатніх на 9,4 пункта. Назад адстала на 2,2 пункта. Сапраўднае даганянне дае танным паліцам прырост у абодва бакі, а шум дапамагае ў адзін бок і замінае ў другі. Калі шум аднолькавы ў абодва бакі, (9,4 − 2,2) / 2 = 3,6 пункта гэта сапраўднае даганянне і (9,4 + 2,2) / 2 = 5,8 гэта шум. Той жа разлік на ўсіх супастаўленых паліцах, тых, што далі 33%, дае 3,4 пункта даганяння і 15,9 шуму. Танныя паліцы сапраўды раслі хутчэй, прыкладна на 3 ці 4 пункты за год. Большая частка разрыву паміж 33% і астатнімі прыйшла ад паліц, якія за год перарываліся: тавар замянілі, змянілі памер ці ён знікаў на некалькі месяцаў.
Кошык з 15
Цяпер пытанне, з якога я пачаў. Я сабраў кошыкі з 15 выпадковых тавараў на паліцах без разрываў, усе з роўнай вагой. Кожны тавар купляецца з 1 выпадковай паліцы, так што крамы таксама выпадковыя. 90% такіх кошыкаў леглі паміж 9,1% і 26,4%. Афіцыйная лічба 16,4%.
Калі замест 1 паліцы браць сярэдняе змяненне кожнага тавару, тыя ж кошыкі з 15 ляглі паміж 11,8% і 20,6%. Пры 2 іншых пачатковых значэннях генератара гэтыя межы зрушваюцца на 0,1 ці 0,2 пункта. Спіс тавараў дае каля 9 пунктаў раскіду, а паліца падвойвае яго прыкладна да 17.
Калі чыесьці чэкі паказваюць 25%, гэта не доказ, што афіцыйная лічба няправільная. Малы кошык на выпадковых паліцах дае такое выпадкова.
Чаго я не правяраў
- Колькасці. У сапраўдных чэках 3 пачкі малака і 1 слоік кавы, у маіх кошыках вагі роўныя.
- Змяненне памеру. Тавар зададзены дыяпазонам памеру, напрыклад ад 750 да 800 г. ONS робіць папраўку на змяненне памеру. Я толькі выкінуў адзначаныя замены і не глядзеў, як часта пачак памяншаўся ўнутры дыяпазону.
- Падзел на даганянне і шум зыходзіць з таго, што шум аднолькавы ў абодва бакі. Гэта дапушчэнне, я яго не вымяраў. Паліцы без разрываў да таго ж могуць быць паліцамі іншага кшталту, а не проста больш чыстымі.
- Рэшта разрыву паміж 16,0% і 16,4%.
- Пакупкі анлайн і дыскаўнтары па-за тымі, куды ходзяць збіральнікі. Гэта Вялікабрытанія і толькі прадукты з напоямі.
- Памер кошыка 15 выбраны мной.