Data analytics engineer: Defining the role and skill requirements
データ分析エンジニア：役割とスキルの要件の定義
要約(英語):
MetaBeat 2022 will bring together thought leaders to give guidance on how metaverse technology will transform the way all industries communicate and do business. A data analytics engineer is a person who combines the skills of the data analyst and software engineer to source and transform data for easy analysis. The summit will take place on October 4 in San Francisco, CA. Notably, a data analytics engineer is a member of a data team who is responsible for efficient, integrated data models and products. Notably, this year’s summit will be held in
要約(日本語):
Metabeat 2022は、Metaverse Technologyがすべての業界のコミュニケーションとビジネスの方法をどのように変えるかについてのガイダンスを提供するために、Sound Leadersを集めます。データ分析エンジニアは、データアナリストとソフトウェアエンジニアのスキルを組み合わせて、データを調達および変換して簡単な分析を行う人です。サミットは10月4日にカリフォルニア州サンフランシスコで開催されます。特に、データ分析エンジニアは、効率的で統合されたデータモデルと製品を担当するデータチームのメンバーです。特に、今年のサミットはで開催されます
本文:
As large amounts of data, from both external and internal data sources, have become central to running an organization, a pipeline of technical staffing roles has been developed to manage the collection and processing of that data.
外部データソースと内部データソースの両方からの大量のデータが組織を実行するための中心となっているため、そのデータの収集と処理を管理するための技術的スタッフの役割のパイプラインが開発されました。
Down in the engine room, if you will, is a data engineer who integrates multiple sources of data and manages the operations that make and keep the data available for business analysis. On the top deck is the data analyst, who serves the data from largely pre-formed models to nontechnical business users so they can perform their work.
エンジンルームにある場合は、複数のデータソースを統合し、ビジネス分析のためにデータを利用できるようにする操作を管理するデータエンジニアがいます。トップデッキには、主に事前に形成されたモデルから非技術的なビジネスユーザーにデータを提供して、作業を実行できるデータアナリストがいます。
Mid-deck, between these two, is the data analytics engineer.
これら2つの間のミッドデッキは、データ分析エンジニアです。
This is a specialist who understands both data engineering technology and the data analysis needs of a business, and thus can build the analytical models that the upper-deck data analysts and business end users need to fulfill their roles. MetaBeat 2022 MetaBeat will bring together thought leaders to give guidance on how metaverse technology will transform the way all industries communicate and do business on October 4 in San Francisco, CA.
これは、データエンジニアリング技術とビジネスのデータ分析のニーズの両方を理解している専門家であり、したがって、アッパーデッキのデータアナリストとビジネスエンドユーザーが役割を果たすために必要な分析モデルを構築できます。Metabeat 2022 Metabeatは、10月4日にカリフォルニア州サンフランシスコで、すべての産業がコミュニケーションとビジネスを行う方法をメタバーステクノロジーがどのように変化させるかについてのガイダンスを提供するために、Sound Leadersを集めます。
Therefore, a data analytics engineer is a person who combines the skills of the data analyst and software engineer to source and transform data for easy analysis.
したがって、データ分析エンジニアは、データアナリストとソフトウェアエンジニアのスキルを組み合わせて、簡単な分析のためにデータを調達および変換する人です。
Because of their technical dexterity and business acumen, they have become quite valuable as members of the data team.
技術的な器用さとビジネスの洞察力のために、彼らはデータチームのメンバーとして非常に価値があります。
This article details the duties and requisite skills of the analytics engineer, as well as the remuneration prospects of the role.
この記事では、分析エンジニアの義務と必要なスキル、およびその役割の報酬の見通しについて詳しく説明しています。
The analytics engineer is a member of a data team who is responsible for efficient, integrated data models and products.
Analytics Engineerは、効率的で統合されたデータモデルと製品を担当するデータチームのメンバーです。
They build useful, well-tested and documented dataset representations and tools that the rest of the company can use to answer their questions. They move and transform data from the source so that it can be easily analyzed, visualized and worked upon by the data analyst or business user.
彼らは、会社の残りの部分が質問に答えるために使用できる有用で、よくテストされ、文書化されたデータセット表現とツールを構築します。データアナリストまたはビジネスユーザーが簡単に分析、視覚化、および作業できるように、ソースからデータを移動および変換します。
Not only that, but they have the technical skills to apply software engineering best practices such as Version Control and CI/CD, but also need to communicate effectively with stakeholders about the use of these tools.
それだけでなく、バージョンコントロールやCI/CDなどのソフトウェアエンジニアリングのベストプラクティスを適用する技術的スキルがありますが、これらのツールの使用について利害関係者と効果的に通信する必要があります。
The datasets created by a data analytics engineer allow end-users to comprehend and examine the information within the data.
データ分析エンジニアによって作成されたデータセットにより、エンドユーザーはデータ内の情報を理解して調べることができます。
An analytics engineer combines business strategy and technical data knowledge to translate complex information and illustrate them clearly as visual representations known as data models.
Analytics Engineerは、ビジネス戦略と技術データの知識を組み合わせて複雑な情報を翻訳し、データモデルとして知られる視覚表現として明確に説明します。
They collaborate with data analysts and data engineers to provide simple visual representations of data patterns and communicate their meaning to coworkers, stakeholders and end-users.
データアナリストやデータエンジニアと協力して、データパターンの簡単な視覚表現を提供し、同僚、利害関係者、エンドユーザーにその意味を伝えます。
The transition to cloud data warehouses, evolution of self-service business intelligence (BI) tools and introduction of data ingestion tools have contributed to significant shifts in data tooling.
クラウドデータウェアハウスへの移行、セルフサービスビジネスインテリジェンス（BI）ツールの進化、およびデータ摂取ツールの導入は、データツールの大幅な変化に貢献しています。
Roles and responsibilities within traditional data teams are changing.
従来のデータチーム内の役割と責任は変化しています。
With the shift to an extract, load, transform (ELT) procedure, data now drops in the warehouse before it has been transformed.
抽出物、荷重、変換（ELT）手順への移行により、データが変換される前にデータが倉庫に低下するようになりました。
This creates an opportunity for skilled technical analysts who are both well-versed with the business and the technical skills required to model the raw data into neat, well-defined datasets.
これは、生データをきれいで明確に定義されたデータセットにモデル化するために必要なビジネスと技術スキルの両方に精通している熟練した技術アナリストに機会を与えます。
This requires the skills of both a software engineer and a data analyst, which the analytics engineer possesses.
これには、ソフトウェアエンジニアとデータアナリストの両方のスキルが必要であり、分析エンジニアが所有しています。
Analytics engineers handle the data itself, as well as managing and sorting data.
Analytics Engineersは、データ自体を処理し、データの管理と並べ替えを処理します。
It is their job to make sure data is ingested, transformed, scheduled and ready to be used for analytics by all who may require it.
データが摂取、変換され、スケジュールされ、それを必要とするすべての人が分析に使用する準備ができていることを確認することが彼らの仕事です。
Many analytics engineers are the orchestrators of the modern data stack, and they decide on and apply tools for ETL/ELT.
多くの分析エンジニアは、最新のデータスタックのオーケストレーターであり、ETL/ELTにツールを決定し、適用します。
The analytics engineer is responsible for implementing and managing a data warehouse to ingest data.
Analytics Engineerは、データウェアハウスを実装および管理してデータを摂取する責任があります。
They also decide on the best tools to ingest data from different sources into this warehouse.
また、さまざまなソースからデータをこの倉庫に摂取するための最良のツールを決定します。
Then they model the data to be used by analysts and schedule tests to simplify these models.
次に、これらのモデルを簡素化するために、アナリストとスケジュールテストが使用するデータをモデル化します。
The basic duties of the analytics engineer include: Engineers are responsible for ingesting data into the warehouse and making sure that datasets are maintained.
Analytics Engineerの基本的な義務には、エンジニアが倉庫にデータを摂取し、データセットが維持されていることを確認する責任があります。
They are the first to be notified of any issue in the pipeline, so they can fix it.
彼らはパイプラインの問題について最初に通知されるため、修正することができます。
This is the process of building visual representations of data and relating connections between different information locations and systems.
これは、データの視覚的表現を構築し、異なる情報の場所とシステム間の接続を関連付けるプロセスです。
Analytics engineers are charged with modeling raw data into datasets that enable analytics across the company.
Analytics Engineersは、RAWデータをデータセットにモデル化することで、会社全体で分析を可能にします。
These datasets act as a central source of truth, making it easier for business analysts and other stakeholders to view and understand data in a database.
これらのデータセットは、真実の中心的な源泉として機能し、ビジネスアナリストや他の利害関係者がデータベース内のデータを表示および理解しやすくします。
The engineer creates data pipelines and workflows to move data from one point to another, and coordinates the combining, verifying and storing of that data for analysis.
エンジニアは、データパイプラインとワークフローを作成して、あるポイントから別のポイントにデータを移動し、分析のためにそのデータの結合、検証、保存を調整します。
The engineer understands everything about data orchestration and automation.
エンジニアは、データのオーケストレーションと自動化に関するすべてを理解しています。
They enable other team members like data analysts and data scientists to be more effective.
これらは、データアナリストやデータサイエンティストなどの他のチームメンバーがより効果的になることを可能にします。
Whether by sharing tips for writing better SQL, reworking a dataset to contain a new metric or dimension, or training them on how to apply best practices for software engineering.
より良いSQLを作成するためのヒントを共有したり、データセットを作り直して新しいメトリックまたはディメンションを含めるか、ソフトウェアエンジニアリングのベストプラクティスを適用する方法についてトレーニングするかどうかにかかわらず。
This approach is called dataops (a methodology that integrates data engineering, data analytics and devops).
このアプローチは、DataOPS（データエンジニアリング、データ分析、DevOpsを統合する方法論）と呼ばれます。
A few best practices that can be optimized include version control, data unit testing as well as continuous integration and continuous delivery (CI/CD).
最適化できるいくつかのベストプラクティスには、バージョン制御、データ単位テスト、継続的な統合と継続的配信（CI/CD）が含まれます。
As a member of a team, they collaborate with team members to collect business requirements, define successful analytics outcomes and design data models.
チームのメンバーとして、彼らはチームメンバーと協力してビジネス要件を収集し、成功した分析結果を定義し、データモデルを設計します。
Depending on the company and role specifications, a data analytic engineer may be required to perform some or all of the following: The analytics engineer collects information, designs data models, writes code, maintains data documentation, collaborates with data team members and communicates results to concerned stakeholders.
会社と役割の仕様に応じて、データ分析エンジニアが以下の一部またはすべてを実行するために必要になる場合があります。分析エンジニアは情報を収集し、データモデルを設計し、コードを書き、データドキュメントを維持し、データチームメンバーと協力し、結果を伝えます。関係する利害関係者。
Therefore, the Analytics Engineer blends business acumen with technical expertise and alternates between business strategy and data development.
したがって、Analytics Engineerは、ビジネスの洞察力と技術的な専門知識を融合させ、ビジネス戦略とデータ開発の代替を融合させます。
Every company or employer looks out for a specific set of skills that they require in an analytics engineer, but some general skills and competencies are vital for every analytics engineer.
すべての企業または雇用主は、分析エンジニアに必要な特定のスキルセットを探していますが、すべての分析エンジニアにとって一般的なスキルと能力が不可欠です。
These skills are discussed subsequently.
これらのスキルはその後議論されます。
Analytic engineers typically use SQL to write transformations within data models.
分析エンジニアは通常、SQLを使用してデータモデル内で変換を書きます。
SQL is one of the most important skills that you need to master to become an analytics engineer, since the major portion of the analytics engineer’s duties is creating logic for data transformations, writing queries and building data models. SQL is closely related to Dbt in the language it utilizes, so knowledge of the former is required for the latter.
Analytics Engineerの義務の大部分は、データ変換、クエリの作成、データモデルの構築のロジックを作成することであるため、SQLは分析エンジニアになるために習得するために必要な最も重要なスキルの1つです。SQLは利用している言語ではDBTと密接に関連しているため、前者の知識は後者に必要です。
Dbt is the leading data transformation tool in the industry, which is why it is most likely that the majority of analytics engineers use this to write their data models.
DBTは業界の主要なデータ変換ツールであるため、分析エンジニアの大部分がこれを使用してデータモデルを作成する可能性が最も高いです。
Knowledge of advanced languages like R and Python is crucial for analytics engineers to handle various data orchestration tasks.
RやPythonなどの高度な言語の知識は、分析エンジニアがさまざまなデータオーケストレーションタスクを処理するために重要です。
Many data pipeline tools utilize Python, and knowing how to code in it is extremely useful for writing your own pipeline as an engineer.
多くのデータパイプラインツールはPythonを利用しており、そのコード化方法を知ることは、自分のパイプラインをエンジニアとして書くのに非常に役立ちます。
An analytics engineer needs to be conversant with the most popular tools in a modern data stack.
分析エンジニアは、最新のデータスタックで最も人気のあるツールに精通している必要があります。
This means possessing experience with ingestion, transformation, warehousing and deployment tools: if not comprehensive knowledge of them, then at least the basic concepts behind each of them.
これは、摂取、変革、倉庫、展開ツールの経験を持つことを意味します。それらの包括的な知識ではないにしても、少なくともそれぞれの基本概念があります。
Learning one tool in each part of the stack may facilitate inferential understanding of the others.
スタックの各部分で1つのツールを学習すると、他の人の推論的理解が促進される場合があります。
An engineer needs to have experience with tools for building data pipelines.
エンジニアは、データパイプラインを構築するためのツールの経験が必要です。
Some of these tools include data warehouses like Snowflake, Amazon Redshift and Google BigQuery; ETL tools like AWS Glue, Talend, or others — as well as business intelligence tools like Tableau, Looker, etc.
これらのツールには、Snowflake、Amazon Redshift、Google Bigqueryなどのデータ倉庫が含まれます。AWS接着剤、Talend、その他などのETLツール、およびTableau、Lookerなどのビジネスインテリジェンスツール。
Communication is key for analytics engineers because it is their responsibility to ensure that everyone is updated on the status of data.
コミュニケーションは、分析エンジニアにとって重要です。これは、全員がデータのステータスについて更新されることを保証する責任であるためです。
They need to communicate with relevant individuals when data quality is compromised or when a pipeline is damaged, to understand what the business needs.
データの品質が侵害されたとき、またはビジネスに必要なものを理解するために、関連する個人と通信する必要があります。
They also need to collaborate with business teams and data analysts to understand what the business needs.
また、ビジネスチームやデータアナリストと協力して、ビジネスに必要なものを理解する必要があります。
If this isn’t done, erroneous assumptions can be made on defective data, and valuable ideas and opportunities will go unnoticed.
これが行われない場合、欠陥のあるデータについて誤った仮定を行うことができ、貴重なアイデアや機会は気付かれません。
It is imperative for an analytics engineer to develop and sustain multi-functional interactions with various teams across the business.
分析エンジニアが、ビジネス全体のさまざまなチームとの多機能相互作用を開発および維持することが不可欠です。
In sum, an analytics engineer must have a robust combination of technical dexterity and stakeholder management skills to succeed.
要するに、分析エンジニアは、成功するために技術的な器用さと利害関係者管理スキルの堅牢な組み合わせを持っている必要があります。
Analytics engineers in all industries and environments now have great prospects with good remuneration scales.
すべての業界と環境の分析エンジニアは、現在、報酬スケールが良好な大きな見通しを持っています。
According to Glassdoor, the average base salary is $91,188 and $111,038 in total annually in the U.S.
Glassdoorによると、平均基本給は米国では年間合計91,188ドル、合計111,038ドルです。
The analytics engineer is tasked with modeling data to provide neat and accurate datasets so that different users within and outside the company can understand and utilize them.
Analytics Engineerは、会社の内外のさまざまなユーザーがそれらを理解し、利用できるように、きちんとした正確なデータセットを提供するデータをモデリングする任務を担当しています。
The role involves gathering, transforming, testing and documenting data.
この役割には、データの収集、変換、テスト、および文書化が含まれます。
It requires key skills in terms of communication, software engineering and programming.
コミュニケーション、ソフトウェアエンジニアリング、プログラミングの観点から重要なスキルが必要です。
The role of the analytics engineer is fairly new to the data analytics niche, but it is fast gaining traction and recognition as more and more people realize its worth.
分析エンジニアの役割は、データ分析のニッチにとってはかなり新しいものですが、ますます多くの人々がその価値を認識するにつれて、牽引力と認識を急速に獲得しています。
元記事
