Робота за даними

Дані – це інформація, яка описує світ навколо нас. Ми отримуємо їх, наприклад, шляхом спостереження або вимірювання. Ми також можемо записувати та аналізувати дані на папері (раніше так робили завжди). Сьогодні ми здебільшого використовуємо комп’ютери для роботи з даними та їх зберігання, як-от, за допомогою редактора електронних таблиць або баз даних.

Дані найчастіше є числовими (час на перегонах, кількість голосів на виборах, ціна товару, чисельність населення), але також можуть бути текстовими (ім’я студента, улюблений колір, назва країни).

У рамах Знаємо інформатику ми ділимо цю тему на кілька підтем:

• Збір і реєстрація даних: розуміння того, яку форму можуть мати дані та як їх отримати.
• Основи роботи з даними: основні операції при роботі з даними, їх читання з таблиць, сортування та відображення за допомогою таблиць і графіків.
• Візуалізація даних: принципи: використовуючи візуалізацію, ми можемо зрозуміти дані набагато легше. Щоб підготувати хороші візуалізації, нам потрібно зрозуміти їхні основні принципи.
• Візуалізація даних: види графіків: огляд типів графіків, якими ми часто послуговуємося для візуалізації, їх використання.
• Редактор таблиць: основний метод обробки даних на комп’ютері пропонують редактори електронних таблиць (як-от, Microsoft Excel, Google Sheets, LibreOffice Calc).
• База даних (розширена тема): ми зберігаємо об’ємні дані у базах даних і працюємо з ними за допомогою спеціальних мов програмування, таких як SQL.
• Регулярні вирази (розширена тема): під час роботи з текстовими даними ми часто використовуємо регулярні вирази, які дозволяють нам описувати шаблони в тексті.

Щоб мати можливість працювати з даними, ми повинні спочатку отримати і чітко записати або знайти вже наявні дані. Дані можуть мати різні форми: наприклад, текст або числа, вони можуть мати певний формат. Збираючи дані, бажано мати на увазі, що отримані дані можуть спотворити опис реальності.

Під час збору даних дуже часто ефективним є впорядкування їх у таблиці.

Ми можемо отримати деякі дані безпосередньо в табличній формі, наприклад, у Вікіпедії ви можете знайти низку цікавих таблиць про світ (наприклад, країни за населенням).

Що, якщо ми хочемо обробляти інформацію з нашого оточення? Наприклад, у Вікіпедії ми не можемо знайти дані про те, які домашні тварини є вдома у ваших однокласників. Але ми можемо зробити свою власну таблицю.

Наприклад, для отримання даних використовуються:

• спостереження – використовує людські органи чуття.
• вимірювання – результатом є числові дані, які можна порівняти. Зазвичай вони мають певну одиницю (наприклад, м, кг). Для вимірювань часто використовують прилади. Вимірювання може мати різну точність залежно від методу виконання.
• анкетування – передбачає отримання інформації від великої кількості людей.
• аналіз (обробка, оцінка) інших даних

Отримані дані можуть бути записані в цифрових пристроях, а також просто на папері. Якщо ми збираємо дані про людей, ми можемо пов’язувати їх з особистістю (наприклад, іменем) конкретної особи або збирати їх анонімно.

Різні дані по-різному важко отримати. Як правило, людині буде легше отримати дані, які стосуються фактів у її оточенні, дані, які стосуються меншої кількості людей, або дані, для отримання яких не потрібні спеціальні пристрої.

Значна частина даних уже наявна, і немає потреби збирати їх знову. Вам просто потрібно пошукати їх у відповідному джерелі (наприклад, кількість мешканців Києва два роки тому ми можемо дізнатися на веб-сайті Держстату України). А втім, існуючі дані не завжди є у вільному доступі.

Під час збору та обробки даних можуть виникати помилки або спотворення. Особливо під час отримання/обробки більших наборів даних цих явищ неможливо повністю уникнути, але бажано намагатися обмежити їх появу.

Щоб працювати з даними, ми маємо спочатку отримати їх і чітко записати. Основним способом зберігання даних про навколишній світ є використання таблиці. Ми можемо отримати деякі дані безпосередньо в табличній формі, наприклад, у Вікіпедії можемо знайти низку цікавих таблиць про світ (наприклад, країни за населенням).

Що якщо ми хочемо обробляти інформацію з нашого оточення? Наприклад, у Вікіпедії ми не можемо знайти дані про те, які домашні тварини є вдома у ваших однокласників. Але ми можемо зробити свою власну таблицю.

Певна інформація виражається числом. Це, як-от, відлік, міра або час. Наприклад:

• Мій брат народився у 2023 році.
• Єва має 2 морські свинки.
• Початок вистави о 19.00 год.
• Ромашка біла досягає висоти близько 0,5 м.

Багато інформації виражається словами або словесним описом. Наприклад:

• У Софії доброзичливий характер.
• У Максима карі очі.
• У фільмі були чудові візуальні ефекти, але нецікава історія.

У деяких випадках властивість, яка зазвичай описується словами, може образно виражатися числом. З числами часто легше працювати, до того ж числові значення можна обчислити. Наприклад:

• „Кухонний міксер AppetitChef Turbo“ може отримати, скажімо, номер у каталозі 1 334 751. Таким чином, ми чітко ідентифікуємо товар в електронному магазині.

• Для певного кольору олівця ми можемо вибрати вираз із числом 17. Таким чином клієнт знатиме, який відтінок він купує, і ми не будемо друкувати довгу назву відтінку на олівці.

• Ми можемо підсумувати довший усний огляд фільму, наприклад, поставивши рейтинг 3 зірки з 5 можливих.

Дані можуть бути в різних форматах. В основному вони можуть мати форму текстового рядка (наприклад, черепаха), чисел (наприклад, 1) або логічних значень (TRUE – правда, FALSE – неправда).

Числа можуть набувати різних форм. Якщо 0 являє собою цифру (або в деяких випадках – ціле число), ми можемо отримати, наприклад:

• 0,0 – десяткове число
• 000 000 000 – номер телефону без коду країни
• 000 00 – поштовий індекс
• 0/0 – дріб
• 0 % – процент
• 0 m – відстань у метрах

Форматування часу є специфічним. Вважатимемо, що Y означає рік, m — місяць, d — день, H — годину, M — хвилину, а S — секунду. У цьому форматі ми отримуємо, наприклад:

• H.M – час доби, години та хвилини, що минули
• M:S – минулі хвилини та секунди
• d.m.Y – дата (типовий формат для України)
• m/d/Y – дата (типовий формат для США)

Символи підстановки (як вище) використовуються для форматування даних, наприклад, у мовах програмування або електронних таблицях. За схожим принципом працюють регулярні вирази, які в основному використовуються для пошуку даних.

Вигідно використовувати певний формат (або контроль) даних, наприклад, в анкетах: якщо ми хочемо отримати поштовий індекс від респондента, корисно обмежити введення лише 5 цифрами. Це дозволить уникнути введення неправильних даних.

Під час роботи з даними легко може статися, що вони якимось чином викривлені. Такі дані погано відображають реальність. Якщо не враховувати упередженості, обробка таких даних може призвести до незрозумілих висновків. Тому корисно знати основні типи викривлень.

Упереджене викривлення

Збираючи дані, зазвичай нереально впорати «всі дані», ми часто використовуємо лише вибірку. В ідеалі ця вибірка має представляти так звану репрезентативну вибірку, яка точно відповідає характеристикам загальної сукупності. Якщо це не так, то дані викривлені.

Цей тип викривлення даних може виникнути, наприклад, коли учасники опитування самі вирішують, брати їм участь чи ні (викривлення неучасті). Ті, хто вирішує не брати участі, часто відрізняються в важливих аспектах від тих, хто бере участь. Приклад: Анкету про комп’ютерні ігри ймовірніше заповнять ті, хто любить грати в комп’ютерні ігри.

Викривлення відповідей

Якщо ми збираємо дані за допомогою анкетного опитування, то з різних причин надана інформація може не зовсім відповідати дійсності. Наприклад, учасники дослідження можуть змінювати свої відповіді відповідно до соціальних очікувань або вони можуть відповідати неточно, оскільки не можуть пригадати точну відповідь. На результати також можуть впливати такі деталі, як порядок відповідей в анкеті.

Підтверджуюче викривлення (Confirmation Bias)

Люди мають природну схильність надавати перевагу інформації, яка підтримує їхні власні переконання, і, навпаки, ігнорувати або недооцінювати інформацію, яка суперечить цим переконанням. Це може бути прямо чи опосередковано відображено у зборі даних.

Викривлення публікації

Викривлення публікації виникає, коли результат експерименту чи аналізу впливає на рішення щодо публікації чи іншого поширення даних.

Основним інструментом роботи з даними є таблиці. Ми працюємо з ними на комп’ютері, наприклад, у табличному редакторі. Однак спочатку корисно потренувати базове розуміння таблиць на вправах з підготовленими таблицями, які ми можемо легко використовувати також на папері.

Корисно знати, як сортувати дані, тим паче у таблицях. Так, ми можемо знайти найменше і найбільше значення або розташувати текстові дані в алфавітному порядку.

Щоб отримати краще уявлення про дані, ми використовуємо візуалізацію даних за допомогою графіків. Це ще одна більша тема, першим кроком до якої є розуміння зв’язків між графіками та таблицями.

Основою роботи з даними є таблиці. Ми можемо працювати з таблицями на комп’ютері в редакторі таблиць, малювати графіки відповідно до них або зберігати їх у базах даних. Але перш ніж приступити до цих завдань, нам потрібно зрозуміти просту таблицю, яку ми маємо перед собою на папері.

Дуже корисним інструментом для кращої чіткості даних є сортування. Коли ми сортуємо дані, ми можемо легко побачити найбільші та найменші значення. Ми також можемо помітити прогалини між окремими записами або цікаві закономірності.

Дані можна сортувати за:

• за зростанням – від найменших чисел до найбільших, від ранішої дати (часу) до пізнішої, від А до Я. Наприклад, маємо числа 4, 10, 2, 9. Якщо ми відсортуємо їх у порядку зростання, ми отримаємо: 2, 4, 9, 10.
• за спаданням – від найбільшого числа до найменшого, від пізнішої дати (часу) до більш ранньої, від Я до А. Наприклад, маємо імена Лариса, Юра, Аліна, Володимир. Якщо розташувати їх від Я до А (за спаданням), то отримаємо: Володимир, Юра, Лариса, Аліна.

Для роботи з даними часто використовуються таблиці, у яких включені дані можна впорядкувати різними способами. Розглянемо наступну таблицю, де записані дані про те, скільки маленьких рибок у кожного з ваших друзів:

Дані в таблицях зазвичай впорядковуються за певними стовпцями. Якщо таблиця має заголовок (тобто перший рядок, у якому зазначено, які дані будуть у рядку), то заголовок залишається на місці під час сортування. Сортуються лише пов’язані з ним дані.

Якщо ми використовуємо сортування за зростанням першої літери прізвища (від пізнішої, до ранішої), ми отримуємо друзів у такому порядку:

Зверніть увагу, що разом із прізвищами ми завжди сортували пов’язані дані по рядках (ім’я, кількість риб). Якби ми сортували лише стовпець прізвища, дані були б переплутані:

Ми часто записуємо дані в таблиці, але для кращого розуміння ми представляємо їх графічно. Ми нерідко можемо зустріти графічну репрезентацію даних, наприклад, у ЗМІ чи рекламних матеріалах. Для будь-якої роботи з даними необхідно розуміти обидва ці способи представлення даних і вміти перемикатися між ними.

Терміни «граф», «графік» залежно від контексту можуть мати кілька різних значень. Існують графіки функцій, графи, що моделюють зв’язки між об’єктами і графіки, що відображають дані. Тут ми маємо справу з останнім.

• Стовпчикові діаграми зазвичай використовуються для відображення значень для кількох категорій (наприклад, населення для окремих штатів). Дані виражені стовпчиками.
• Кругові діаграми в основному використовуються для вираження «частин цілого» (наприклад, яка частка людей живе на окремих континентах) та тісно пов’язані з відсотками. Дані зображуються як фрагменти кола.
• Лінійні діаграми ми використовуємо для даних, які природно розташовані у послідовності, особливо для даних, які змінюються з часом (наприклад, середня температура за місяцями). Дані представлені пунктирними лініями.
• Площинні графіки схожі на лінійні графіки, але показують значення за допомогою площі.
• Точкові діаграми ми використовуємо, щоб виразити співвідношення між двома величинами (наприклад, співвідношення між зростом і вагою учнів у класі). Дані подаються у балах.

Вище наведені типи графіків варто вміти розрізняти. Також корисно знати окремі компоненти графіків та їхнє використання.

Редактор електронних таблиць (також табличний процесор, англ. spreadsheet) — це програма для обробки табличних даних. До відомих редакторів електронних таблиць належать Microsoft Excel, LibreOffice Calc і Google Spreadsheets. Вправи з інформатики на сайті Знаємо інформатику не прив’язані до однієї конкретної програми, а зосереджені на основних принципах, спільних для всіх цих редакторів:

• Клітинки, рядки, стовпці – маркування клітинок у таблиці, базова орієнтація в таблицях.
• Числові операції – запис обчислень у таблиці з використанням арифметичних операцій (додавання, віднімання, множення, ділення).
• Діапазони – вираження діапазонів у редакторі таблиць, основа для використання діапазонів у простих функціях.
• Посилання – різниця між абсолютними та відносними посиланнями, їх використання.
• Функції – використання функцій для суми, середнього, підрахунку, округлення тощо.
• Умови – використання умов у редакторі таблиць.

На аркушах таблиці в табличному процесорі (редакторі) знаходяться дані, розташовані в рядках і стовпцях. Стовпці позначені літерами (A, B, C…), а рядки — числами (1, 2, 3…). Таким чином, кожна комірка має певне положення, яке можна виразити, позначивши стовпець і рядок, у якому вона розташована. Наприклад:

• A1 – Посилання на вміст клітинки у стовпці A і рядку 1.
• C10 – Посилання на вміст клітинки у стовпці C і рядку 10.

Заголовок (переважно знаходиться у першому рядку) або перший стовпець таблиці зазвичай містить інформацію про те, які дані є в інших рядках або стовпцях.

Електронну таблицю можна використовувати для розрахунків. Формули завжди починаються зі знака рівності (=), тобто після введення =5+2 у клітинку буде написано 7.

Основні арифметичні дії виконуються за допомогою таких знаків.

• додавання: +
• віднімання: -
• множення: *
• ділення: /

При розрахунку вигідно використовувати посилання на інші клітинки. Якщо змінюється значення у клітинці, з якої беруться дані для обчислення, змінюється й результат обчислення.

Діапазони, що містять більше однієї клітинки, записуються через двокрапку. Наприклад:

• A2:A4 визначає діапазон із трьох клітинок (A2, A3 і A4) у першому стовпці.
• C3:F7 визначає діапазон, який охоплює п’ять рядків (3, 4, 5, 6, 7) і чотири стовпці (C, D , E, F). Цей діапазон містить 5 * 4 = 20 клітинок.

Діапазони A3:F3 і C1:E4 мають спільні комірки C3, D3 і E3.

Функції можуть приймати діапазон(и) як деякі зі своїх вхідних аргументів. Наприклад, =SUM(B1:C2) обчислює суму чисел у клітинках B1, B2, C1 і C2.

Посилання дозволяють використовувати значення з інших клітинок у формулах. Так, нехай буде посилання B3, яке вказує на значення у стовпці B у рядку 3. Тоді формула =B3*2 виведе подвоєне значення у клітинці B3.

Часто буває корисно поширити формулу на інші комірки таблиці, перетягнувши або використавши буфер обміну, щоб виконати подібне обчислення з іншими даними.

Відносне посилання змінюється, коли ми розгортаємо його або копіюємо в іншу клітинку. Якщо ми розширимо формулу =B3*2 праворуч, вона зміниться на =D3*2 в новій клітинці.

Абсолютні посилання містять знак долара ($). Частина посилання після цього символу «заблокована» і не змінюється під час копіювання/переміщення посилання. Якщо ми розширимо формулу =$B$3*2 праворуч, вона матиме таку саму форму в новій клітинці.

В абсолютних посиланнях можна залишити незмінними під час переміщення/копіювання лише стовпець ($B3 змінюється лише під час руху вгору/вниз) або лише рядок (B$3 змінюється лише під час руху ліворуч/праворуч).

Абсолютні посилання також можна використовувати під час вираження діапазонів у аргументах функції, наприклад, =SUM($A1:$E1) завжди підсумовує перші п’ять клітинок у рядку.

Ви можете застосовувати функції в електронній таблиці. Їх використання виглядає так: =FUNCTIONNAME(аргумент). Аргумент представляє дані, з якими працюватиме функція. Це можуть бути числові значення (наприклад, 2, 0,01), посилання на клітинки або діапазони (як-от, B2, B2:C5), формули або інші функції. Аргументи розділяються комою (,) в англійському середовищі користувача.

Нижче наведено основні функції (окрім тих, що стосуються умов). Вправи в цьому розділі в основному працюють з назвами функцій англійською мовою (вони часто відповідають назвам функцій у мовах програмування).

Бази даних застосовуються для структурованого зберігання інформації, і сьогодні вони мають широкий спектр використання. Найбільш поширеним видом баз даних є реляційні бази даних, де дані зберігаються у вигляді таблиць.

Для роботи з базами даних застосовуються мови запитів (query languages). Ці мови зазвичай дозволяють не тільки створювати та змінювати бази даних, але, перш за все, шукати в них інформацію. Дуже часто використовується мова SQL.

• Основи SQL: створення таблиць, вставка та оновлення записів, простий пошук.
• Select: команда для пошуку інформації у базі даних.

Бази даних використовуються для структурованого зберігання інформації. Як користувачі ми зазвичай не стикаємося з ними, але вони існують на фоні багатьох веб-сайтів і послуг, якими ми послуговуємося. Дані у базі повинні бути легко доступними для пошуку. Також бажано, щоб нові дані можна було легко додавати. Оскільки конфіденційні дані часто зберігаються у базах даних, то бази зазвичай зашифровані для забезпечення безпеки збереженої інформації. Програмне забезпечення для баз даних, таке як MySQL, NoSQL або Microsoft Access, зазвичай використовується на практиці для створення та роботи з базами даних.

Приклади використання мови SQL

CREATE TABLE fish(name varchar(80), age int)

Створює таблицю з імені fish і атрибутів name типу varchar(80) і age типу int.

DROP TABLE fish

Видаляє всю таблицю fish.

INSERT INTO fish VALUES ('Юлія', 1, 'неон червоний')

Додає новий запис для риби Юлії до таблиці fish

DELETE FROM fish WHERE name = 'Аліса'

Видаляє запис про рибу на ім’я Аліса. Використовуючи WHERE, ми можемо визначити різні умови вибору записів.

UPDATE fish SET age = 0

Він встановлює вік усіх риб на 0. Додавши WHERE, ми можемо обмежити записи, які ми редагуємо.

SELECT name FROM fish WHERE age = 7

У ньому відобразяться назви всіх риб, яким виповнилося 7 років

Усі команди, крім SELECT, певним чином змінюють таблиці, SELECT жодним чином не змінює вміст бази даних і лише повертає інформацію у вигляді таблиці.

Щоразу, коли вам потрібно щось замінити, знайти або відредагувати в тексті, ви можете використовувати регулярні вирази. Їх використання особливо корисно для довгих текстів. Регулярні вирази широко використовуються у багатьох мовах програмування (у першу чергу, у мовах скриптів, таких як Python, PHP, Perl, JavaScript). Але ви також можете використовувати їх у командах Unix (наприклад, grep) або в текстових редакторах (як-от, Notepad++, Emacs). Регулярних виразів дуже багато. У наших прикладах ми в основному узагальнюємо основні оператори.

Основними елементами регулярних мов є звичайні букви. Вони збігаються під час пошуку. Таким чином, якщо ми вводимо регулярний вираз кр, слова, які містять підрядок “кр”, відповідатимуть йому.

Крапка відповідає будь-якому символу.

Метасимволи — це спеціальні символи, які ми використовуємо для створення регулярних виразів (як-от, .*+?). Але що якщо ми хочемо шукати саме ці символи? Для цього ми використовуємо зворотну скісну риску (\), яка скасовує значення метасимвола та оцінює його як звичайний символ.

Ми можемо використовувати такі спеціальні символи для позначення груп літер у регулярному виразі:

Крім того, ми можемо використовувати такі конструкції, які визначають більше параметрів або групують символи разом:

Квантори в регулярних виразах вказують, скільки разів має повторюватися попередній вираз. Наприклад, зірочка в pe*s означає будь-яку кількість входжень літери e.

Використовуючи такі спеціальні символи, ми можемо позначити межі (початок, кінець) слів і цілих рядків у регулярному виразі: