Збір і реєстрація даних

Щоб мати можливість працювати з даними, ми повинні спочатку отримати і чітко записати або знайти вже наявні дані. Дані можуть мати різні форми: наприклад, текст або числа, вони можуть мати певний формат. Збираючи дані, бажано мати на увазі, що отримані дані можуть спотворити опис реальності.

Під час збору даних дуже часто ефективним є впорядкування їх у таблиці.

Ми можемо отримати деякі дані безпосередньо в табличній формі, наприклад, у Вікіпедії ви можете знайти низку цікавих таблиць про світ (наприклад, країни за населенням).

Що, якщо ми хочемо обробляти інформацію з нашого оточення? Наприклад, у Вікіпедії ми не можемо знайти дані про те, які домашні тварини є вдома у ваших однокласників. Але ми можемо зробити свою власну таблицю.

Наприклад, для отримання даних використовуються:

• спостереження – використовує людські органи чуття.
• вимірювання – результатом є числові дані, які можна порівняти. Зазвичай вони мають певну одиницю (наприклад, м, кг). Для вимірювань часто використовують прилади. Вимірювання може мати різну точність залежно від методу виконання.
• анкетування – передбачає отримання інформації від великої кількості людей.
• аналіз (обробка, оцінка) інших даних

Отримані дані можуть бути записані в цифрових пристроях, а також просто на папері. Якщо ми збираємо дані про людей, ми можемо пов’язувати їх з особистістю (наприклад, іменем) конкретної особи або збирати їх анонімно.

Різні дані по-різному важко отримати. Як правило, людині буде легше отримати дані, які стосуються фактів у її оточенні, дані, які стосуються меншої кількості людей, або дані, для отримання яких не потрібні спеціальні пристрої.

Значна частина даних уже наявна, і немає потреби збирати їх знову. Вам просто потрібно пошукати їх у відповідному джерелі (наприклад, кількість мешканців Києва два роки тому ми можемо дізнатися на веб-сайті Держстату України). А втім, існуючі дані не завжди є у вільному доступі.

Під час збору та обробки даних можуть виникати помилки або спотворення. Особливо під час отримання/обробки більших наборів даних цих явищ неможливо повністю уникнути, але бажано намагатися обмежити їх появу.

Щоб працювати з даними, ми маємо спочатку отримати їх і чітко записати. Основним способом зберігання даних про навколишній світ є використання таблиці. Ми можемо отримати деякі дані безпосередньо в табличній формі, наприклад, у Вікіпедії можемо знайти низку цікавих таблиць про світ (наприклад, країни за населенням).

Що якщо ми хочемо обробляти інформацію з нашого оточення? Наприклад, у Вікіпедії ми не можемо знайти дані про те, які домашні тварини є вдома у ваших однокласників. Але ми можемо зробити свою власну таблицю.

Певна інформація виражається числом. Це, як-от, відлік, міра або час. Наприклад:

• Мій брат народився у 2023 році.
• Єва має 2 морські свинки.
• Початок вистави о 19.00 год.
• Ромашка біла досягає висоти близько 0,5 м.

Багато інформації виражається словами або словесним описом. Наприклад:

• У Софії доброзичливий характер.
• У Максима карі очі.
• У фільмі були чудові візуальні ефекти, але нецікава історія.

У деяких випадках властивість, яка зазвичай описується словами, може образно виражатися числом. З числами часто легше працювати, до того ж числові значення можна обчислити. Наприклад:

• „Кухонний міксер AppetitChef Turbo“ може отримати, скажімо, номер у каталозі 1 334 751. Таким чином, ми чітко ідентифікуємо товар в електронному магазині.

• Для певного кольору олівця ми можемо вибрати вираз із числом 17. Таким чином клієнт знатиме, який відтінок він купує, і ми не будемо друкувати довгу назву відтінку на олівці.

• Ми можемо підсумувати довший усний огляд фільму, наприклад, поставивши рейтинг 3 зірки з 5 можливих.

Дані можуть бути в різних форматах. В основному вони можуть мати форму текстового рядка (наприклад, черепаха), чисел (наприклад, 1) або логічних значень (TRUE – правда, FALSE – неправда).

Числа можуть набувати різних форм. Якщо 0 являє собою цифру (або в деяких випадках – ціле число), ми можемо отримати, наприклад:

• 0,0 – десяткове число
• 000 000 000 – номер телефону без коду країни
• 000 00 – поштовий індекс
• 0/0 – дріб
• 0 % – процент
• 0 m – відстань у метрах

Форматування часу є специфічним. Вважатимемо, що Y означає рік, m — місяць, d — день, H — годину, M — хвилину, а S — секунду. У цьому форматі ми отримуємо, наприклад:

• H.M – час доби, години та хвилини, що минули
• M:S – минулі хвилини та секунди
• d.m.Y – дата (типовий формат для України)
• m/d/Y – дата (типовий формат для США)

Символи підстановки (як вище) використовуються для форматування даних, наприклад, у мовах програмування або електронних таблицях. За схожим принципом працюють регулярні вирази, які в основному використовуються для пошуку даних.

Вигідно використовувати певний формат (або контроль) даних, наприклад, в анкетах: якщо ми хочемо отримати поштовий індекс від респондента, корисно обмежити введення лише 5 цифрами. Це дозволить уникнути введення неправильних даних.

Під час роботи з даними легко може статися, що вони якимось чином викривлені. Такі дані погано відображають реальність. Якщо не враховувати упередженості, обробка таких даних може призвести до незрозумілих висновків. Тому корисно знати основні типи викривлень.

Упереджене викривлення

Збираючи дані, зазвичай нереально впорати «всі дані», ми часто використовуємо лише вибірку. В ідеалі ця вибірка має представляти так звану репрезентативну вибірку, яка точно відповідає характеристикам загальної сукупності. Якщо це не так, то дані викривлені.

Цей тип викривлення даних може виникнути, наприклад, коли учасники опитування самі вирішують, брати їм участь чи ні (викривлення неучасті). Ті, хто вирішує не брати участі, часто відрізняються в важливих аспектах від тих, хто бере участь. Приклад: Анкету про комп’ютерні ігри ймовірніше заповнять ті, хто любить грати в комп’ютерні ігри.

Викривлення відповідей

Якщо ми збираємо дані за допомогою анкетного опитування, то з різних причин надана інформація може не зовсім відповідати дійсності. Наприклад, учасники дослідження можуть змінювати свої відповіді відповідно до соціальних очікувань або вони можуть відповідати неточно, оскільки не можуть пригадати точну відповідь. На результати також можуть впливати такі деталі, як порядок відповідей в анкеті.

Підтверджуюче викривлення (Confirmation Bias)

Люди мають природну схильність надавати перевагу інформації, яка підтримує їхні власні переконання, і, навпаки, ігнорувати або недооцінювати інформацію, яка суперечить цим переконанням. Це може бути прямо чи опосередковано відображено у зборі даних.

Викривлення публікації

Викривлення публікації виникає, коли результат експерименту чи аналізу впливає на рішення щодо публікації чи іншого поширення даних.