What is AI hardware? How GPUs and TPUs give artificial intelligence algorithms a boost
AIハードウェアとは？GPUとTPUが人工知能のアルゴリズムを後押しする仕組み
要約(英語):
While most computers and algorithms run on general-purpose circuits called central processing units or CPUs, some artificial intelligence applications use special circuits to perform calculations with more accuracy. Some smartphones and home automation systems have specialized circuits that speed up speech recognition or other common tasks.
要約(日本語):
ほとんどのコンピューターとアルゴリズムは、中央処理ユニットまたはCPUと呼ばれる汎用回路で実行されますが、一部の人工知能アプリケーションは、より正確に計算を実行するために特別な回路を使用します。一部のスマートフォンやホームオートメーションシステムには、音声認識やその他の一般的なタスクを高速化する特殊な回路があります。
本文:
Most computers and algorithms — including, at this point, many artificial intelligence (AI) applications — run on general-purpose circuits called central processing units or CPUs.
ほとんどのコンピューターとアルゴリズム（現時点では、多くの人工知能（AI）アプリケーションを含む）は、中央処理ユニットまたはCPUと呼ばれる汎用回路で実行されます。
Though, when some calculations are done often, computer scientists and electrical engineers design special circuits that can perform the same work faster or with more accuracy.
ただし、一部の計算が行われる場合、コンピューター科学者と電気エンジニアは、同じ作業をより速く、またはより正確に実行できる特別な回路を設計します。
Now that AI algorithms are becoming so common and essential, specialized circuits or chips are becoming more and more common and essential. The circuits are found in several forms and in different locations.
AIアルゴリズムが非常に一般的で不可欠になっている今、専門的な回路やチップはますます一般的かつ不可欠になりつつあります。回路は、いくつかの形式で、さまざまな場所にあります。
Some offer faster creation of new AI models.
いくつかは、新しいAIモデルのより速い作成を提供します。
They use multiple processing circuits in parallel to churn through millions, billions or even more data elements, searching for patterns and signals.
彼らは、複数の処理回路を並行して使用して、数百万、数十億、またはさらに多くのデータ要素を解き放ち、パターンと信号を検索します。
These are used in the lab at the beginning of the process by AI scientists looking for the best algorithms to understand the data. Others are being deployed at the point where the model is being used.
これらは、データを理解するための最良のアルゴリズムを探しているAI科学者によって、プロセスの開始時にラボで使用されています。その他は、モデルが使用されている時点で展開されています。
Some smartphones and home automation systems have specialized circuits that can speed up speech recognition or other common tasks.
一部のスマートフォンやホームオートメーションシステムには、音声認識やその他の一般的なタスクをスピードアップできる特殊な回路があります。
They run the model more efficiently at the place it is being used by offering faster calculations and lower power consumption. Scientists are also experimenting with newer designs for circuits.
彼らは、より速い計算と低電力消費を提供することで使用されている場所でモデルをより効率的に実行します。科学者はまた、回路用の新しいデザインを実験しています。
Some, for example, want to use analog electronics instead of the digital circuits that have dominated computers.
たとえば、コンピューターを支配しているデジタル回路の代わりに、アナログエレクトロニクスを使用したいものもあります。
These different forms may offer better accuracy, lower power consumption, faster training and more. MetaBeat 2022 MetaBeat will bring together thought leaders to give guidance on how metaverse technology will transform the way all industries communicate and do business on October 4 in San Francisco, CA.
これらの異なるフォームは、より良い精度、低い電力消費、より速いトレーニングなどを提供する可能性があります。Metabeat 2022 Metabeatは、10月4日にカリフォルニア州サンフランシスコで、すべての産業がコミュニケーションとビジネスを行う方法をメタバーステクノロジーがどのように変化させるかについてのガイダンスを提供するために、Sound Leadersを集めます。
The simplest examples of AI hardware are the graphical processing units, or GPUs, that have been redeployed to handle machine learning (ML) chores.
AIハードウェアの最も簡単な例は、機械学習（ML）の雑用を処理するために再配置されたグラフィカル処理ユニットまたはGPUです。
Many ML packages have been modified to take advantage of the extensive parallelism available inside the average GPU.
平均GPU内で利用可能な広範な並列性を活用するために、多くのMLパッケージが変更されています。
The same hardware that renders scenes for games can also train ML models because in both cases there are many tasks that can be done at the same time. Some companies have taken this same approach and extended it to focus only on ML.
ゲームのシーンをレンダリングするのと同じハードウェアは、MLモデルをトレーニングすることもできます。どちらの場合も同時に実行できるタスクがたくさんあるからです。一部の企業はこれと同じアプローチを採用しており、MLのみに焦点を当てるように拡張しました。
These newer chips, sometimes called tensor processing units (TPUs), don’t try to serve both game display and learning algorithms.
テンソル処理ユニット（TPU）と呼ばれることもあるこれらの新しいチップは、ゲームディスプレイと学習アルゴリズムの両方を提供しようとしないでください。
They are completely optimized for AI model development and deployment. There are also chips optimized for different parts of the machine learning pipeline.
それらは、AIモデルの開発と展開のために完全に最適化されています。また、機械学習パイプラインのさまざまな部分に最適化されたチップもあります。
These may be better for creating the model because it can juggle large datasets — or, they may excel at applying the model to incoming data to see if the model can find an answer in them.
これらは、大規模なデータセットをジャグリングできるため、モデルを作成するのに適している場合があります。または、モデルを着信データに適用してモデルが回答を見つけることができるかどうかを確認することに優れている場合があります。
These can be optimized to use lower power and fewer resources to make them easier to deploy in mobile phones or places where users will want to rely on AI but not to create new models. Additionally, there are basic CPUs that are starting to streamline their performance for ML workloads.
これらは、より低い電力と少ないリソースを使用して、携帯電話やユーザーがAIに依存したいが、新しいモデルを作成しない場所に展開しやすくするように最適化できます。さらに、MLワークロードのパフォーマンスを合理化し始めている基本的なCPUがあります。
Traditionally, many CPUs have focused on double-precision floating-point computations because they are used extensively in games and scientific research.
従来、多くのCPUは、ゲームや科学研究で広く使用されているため、二重精度の浮動小数点計算に焦点を合わせてきました。
Lately, some chips are emphasizing single-precision floating-point computations because they can be substantially faster.
最近、一部のチップは、実質的に高速になる可能性があるため、単一精度の浮動小数点計算を強調しています。
The newer chips are trading off precision for speed because scientists have found that the extra precision may not be valuable in some common machine learning tasks — they would rather have the speed.
科学者は、いくつかの一般的な機械学習タスクでは余分な精度が価値がないかもしれないことを発見したため、新しいチップは速度のために精度を取引しています。
In all these cases, many of the cloud providers are making it possible for users to spin up and shut down multiple instances of these specialized machines.
これらすべての場合、多くのクラウドプロバイダーは、ユーザーがこれらの専門マシンの複数のインスタンスをスピンアップしてシャットダウンすることを可能にしています。
Users don’t need to invest in buying their own and can just rent them when they are training a model.
ユーザーは自分で購入する必要はなく、モデルをトレーニングしているときにレンタルするだけです。
In some cases, deploying multiple machines can be significantly faster, making the cloud an efficient choice. Many of the chips designed for accelerating artificial intelligence algorithms rely on the same basic arithmetic operations as regular chips.
場合によっては、複数のマシンを展開することが大幅に高速になる可能性があり、クラウドを効率的に選択できます。人工知能アルゴリズムを加速するために設計されたチップの多くは、通常のチップと同じ基本算術演算に依存しています。
They add, subtract, multiply and divide as before.
以前と同じように、追加、減算、乗算、分割します。
The biggest advantage they have is that they have many cores, often smaller, so they can process this data in parallel. The architects of these chips usually try to tune the channels for bringing the data in and out of the chip because the size and nature of the data flows are often quite different from general-purpose computing.
彼らが持っている最大の利点は、彼らが多くのコアを持っていることが多く、しばしば小さいため、このデータを並行して処理できることです。これらのチップのアーキテクトは、通常、データフローのサイズと性質が汎用コンピューティングとはまったく異なるため、データをチップに出し入れするためにチャネルをチューニングしようとします。
Regular CPUs may process many more instructions and relatively fewer data.
通常のCPUは、より多くの指示を処理し、比較的少ないデータを処理する場合があります。
AI processing chips generally work with large data volumes. Some companies deliberately embed many very small processors in large memory arrays.
AI処理チップは通常、大量のデータボリュームで動作します。一部の企業は、大きなメモリアレイに多くの非常に小さなプロセッサを意図的に埋め込みました。
Traditional computers separate the memory from the CPU; orchestrating the movement of data between the two is one of the biggest challenges for machine architects.
従来のコンピューターは、メモリをCPUから分離します。2つの間のデータの動きを調整することは、マシンアーキテクトにとって最大の課題の1つです。
Placing many small arithmetic units next to the memory speeds up calculations dramatically by eliminating much of the time and organization devoted to data movement. Some companies also focus on creating special processors for particular types of AI operations.
メモリの隣に多くの小さな算術ユニットを配置すると、データの動きに専念する多くの時間と組織を排除することにより、計算を劇的に高速化します。一部の企業は、特定のタイプのAIオペレーション向けの特別なプロセッサの作成にも注力しています。
The work of creating an AI model through training is much more computationally intensive and involves more data movement and communication.
トレーニングを通じてAIモデルを作成する作業は、はるかに計算的に集中的であり、より多くのデータの動きとコミュニケーションを伴います。
When the model is built, the need for analyzing new data elements is simpler.
モデルが構築されると、新しいデータ要素を分析する必要性が簡単になります。
Some companies are creating special AI inference systems that work faster and more efficiently with existing models. Not all approaches rely on traditional arithmetic methods.
一部の企業は、既存のモデルにより高速かつ効率的に動作する特別なAI推論システムを作成しています。すべてのアプローチが従来の算術法に依存しているわけではありません。
Some developers are creating analog circuits that behave differently from the traditional digital circuits found in almost all CPUs.
一部の開発者は、ほぼすべてのCPUで見つかった従来のデジタル回路とは異なる動作をするアナログ回路を作成しています。
They hope to create even faster and denser chips by forgoing the digital approach and tapping into some of the raw behavior of electrical circuitry. The main advantage is speed.
彼らは、デジタルアプローチを披露し、電気回路の生の動作の一部を活用することにより、さらに高速で密度の高いチップを作成したいと考えています。主な利点は速度です。
It is not uncommon for some benchmarks to show that GPUs are more than 100 times or even 200 times faster than a CPU.
一部のベンチマークでは、GPUがCPUの100倍または200倍速いことを示すことは珍しくありません。
Not all models and all algorithms, though, will speed up that much, and some benchmarks are only 10 to 20 times faster.
ただし、すべてのモデルとすべてのアルゴリズムがそれほどスピードアップするわけではなく、一部のベンチマークは10〜20倍高速です。
A few algorithms aren’t much faster at all. One advantage that is growing more important is the power consumption.
いくつかのアルゴリズムは、それほど高速ではありません。より重要な利点の1つは、消費電力です。
In the right combinations, GPUs and TPUs can use less electricity to produce the same result.
正しい組み合わせでは、GPUとTPUは、より少ない電力を使用して同じ結果を生み出すことができます。
While GPU and TPU cards are often big power consumers, they run so much faster that they can end up saving electricity.
GPUカードとTPUカードはしばしば大きな消費者ですが、電力を節約することができるほど速く走ります。
This is a big advantage when power costs are rising.
これは、電力コストが上昇している場合に大きな利点です。
They can also help companies produce “greener AI” by delivering the same results while using less electricity and consequently producing less CO2. The specialized circuits can also be helpful in mobile phones or other devices that must rely upon batteries or less copious sources of electricity.
また、企業が同じ結果を提供しながら電力を使用し、その結果CO2が少なくなることにより、「グリーンAI」を生産するのを支援することもできます。特殊なサーキットは、携帯電話やバッテリーまたは膨大な電力源に依存しなければならない他のデバイスでも役立ちます。
Some applications, for instance, rely upon fast AI hardware for very common tasks like waiting for the “wake word” used in speech recognition. Faster, local hardware can also eliminate the need to send data over the internet to a cloud.
たとえば、一部のアプリケーションは、音声認識で使用される「ウェイクワード」を待つなど、非常に一般的なタスクを迅速にAIハードウェアに依存しています。より速く、ローカルハードウェアは、インターネットを介してデータをクラウドに送信する必要性を排除することもできます。
This can save bandwidth charges and electricity when the computation is done locally. The most common forms of specialized hardware for machine learning continue to come from the companies that manufacture graphical processing units.
これにより、計算がローカルで行われると、帯域幅の電荷と電気を節約できます。機械学習用の特殊なハードウェアの最も一般的な形式は、グラフィック処理ユニットを製造する企業から引き続き提供されます。
Nvidia and AMD create many of the leading GPUs on the market, and many of these are also used to accelerate ML.
NvidiaとAMDは、市場で主要なGPUの多くを作成し、これらの多くはMLを加速するためにも使用されます。
While many of these can accelerate many tasks like rendering computer games, some are starting to come with enhancements designed especially for AI. Nvidia, for example, adds a number of multiprecision operations that are useful for training ML models and calls these Tensor Cores.
これらの多くは、コンピューターゲームのレンダリングなどの多くのタスクを加速できますが、一部は特にAI向けに設計された機能強化を伴い始めています。たとえば、Nvidiaは、MLモデルのトレーニングに役立ち、これらのテンソルコアを呼び出す多数の多重操作を追加します。
AMD is also adapting its GPUs for machine learning and calls this approach CDNA2.
AMDはまた、機械学習にGPUを適応させており、このアプローチcDNA2を呼び出しています。
The use of AI will continue to drive these architectures for the foreseeable future. As mentioned earlier, Google makes its own hardware for accelerating ML, called Tensor Processing Units or TPUs.
AIの使用は、予見可能な将来のためにこれらのアーキテクチャを引き続き推進します。前述のように、Googleはテンソル処理ユニットまたはTPUと呼ばれるMLを加速するための独自のハードウェアを作成します。
The company also delivers a set of libraries and tools that simplify deploying the hardware and the models they build.
同社はまた、ハードウェアとそれらが構築するモデルの展開を簡素化するライブラリとツールのセットを提供しています。
Google’s TPUs are mainly available for rent through the Google Cloud platform.
GoogleのTPUは、主にGoogle Cloudプラットフォームを通じてレンタルできます。
Google is also adding a version of its TPU design to its Pixel phone line to accelerate any of the AI chores that the phone might be used for.
Googleは、TPUデザインのバージョンをPixel電話回線に追加して、電話が使用されるAIの雑用を加速しています。
These could include voice recognition, photo improvement or machine translation.
これらには、音声認識、写真改善、または機械の翻訳が含まれます。
Google notes that the chip is powerful enough to do much of this work locally, saving bandwidth and improving speeds because, traditionally, phones have offloaded the work to the cloud. Many of the cloud companies like Amazon, IBM, Oracle, Vultr and Microsoft are installing these GPUs or TPUs and renting time on them.
Googleは、この作業の多くをローカルで行うのに十分な強さであり、帯域幅を節約し、速度を改善するのに十分な強さであると指摘しています。Amazon、IBM、Oracle、Vultr、Microsoftなどのクラウド企業の多くは、これらのGPUまたはTPUをインストールし、時間を貸し出しています。
Indeed, many of the high-end GPUs are not intended for users to purchase directly because it can be more cost-effective to share them through this business model. Amazon’s cloud computing systems are also offering a new set of chips built around the ARM architecture.
実際、ハイエンドGPUの多くは、ユーザーがこのビジネスモデルを通じて共有する方が費用対効果が高いため、ユーザーが直接購入することを意図していません。Amazonのクラウドコンピューティングシステムは、アームアーキテクチャの周りに構築された新しいチップセットも提供しています。
The latest versions of these Graviton chips can run lower-precision arithmetic at a much faster rate, a feature that is often desirable for machine learning. Some companies are also building simple front-end applications that help data scientists curate their data and then feed it to various AI algorithms.
これらのグラビトンチップの最新バージョンは、より速い速度で低精度の算術を実行できます。これは、機械学習に望ましいことが多い機能です。一部の企業は、データサイエンティストがデータをキュレートし、それをさまざまなAIアルゴリズムに供給するのに役立つ簡単なフロントエンドアプリケーションを構築しています。
Google’s CoLab or AutoML, Amazon’s SageMaker, Microsoft’s Machine Learning Studio and IBM’s Watson Studio are just several examples of options that hide any specialized hardware behind an interface.
GoogleのColabまたはAutoml、AmazonのSagemaker、MicrosoftのMachine Learning Studio、IBMのWatson Studioは、インターフェイスの背後にある特殊なハードウェアを隠すオプションのほんの一部です。
These companies may or may not use specialized hardware to speed up the ML tasks and deliver them at a lower price, but the customer may not know. Dozens of startups are approaching the job of creating good AI chips.
これらの企業は、MLタスクをスピードアップして低価格で配信するために専門のハードウェアを使用する場合と使用できない場合がありますが、顧客は知らない場合があります。多数のスタートアップが優れたAIチップを作成する仕事に近づいています。
These examples are notable for their funding and market interest: For the most part, specialized hardware does not execute any special algorithms or approach training in a better way.
これらの例は、資金と市場の関心について注目に値します。ほとんどの場合、専門のハードウェアは、より良い方法で特別なアルゴリズムやアプローチトレーニングを実行しません。
The chips are just faster at running the algorithms.
チップは、アルゴリズムの実行が速いです。
Standard hardware will find the same answers, but at a slower rate.This equivalence doesn’t apply to chips that use analog circuitry.
標準のハードウェアは同じ答えを見つけますが、速度が遅くなります。この等価性は、アナログ回路を使用するチップには当てはまりません。
In general, though, the approach is similar enough that the results won’t necessarily be different, just faster. There will be cases where it may be a mistake to trade off precision for speed by relying on single-precision computations instead of double-precision, but these may be rare and predictable.
ただし、一般的に、アプローチは十分に類似しており、結果が必ずしも違いはなく、より速くなります。二重精度の代わりに単一の精度計算に依存することにより、スピードのために精度をトレードオフするのは間違いかもしれませんが、これらはまれで予測可能な場合があります。
AI scientists have devoted many hours of research to understand how to best train models and, often, the algorithms converge without the extra precision. There will also be cases where the extra power and parallelism of specialized hardware lends little to finding the solution.
AIの科学者は、モデルを最適にトレーニングする方法を理解するために多くの時間の研究を捧げてきました。多くの場合、アルゴリズムは余分な精度なしに収束します。また、特殊なハードウェアの余分なパワーと並列性が解決策を見つけることにほとんど役に立たない場合もあります。
When datasets are small, the advantages may not be worth the time and complexity of deploying extra hardware.
データセットが小さい場合、利点は余分なハードウェアを展開する時間と複雑さの価値がない場合があります。
VentureBeat’s mission is to be a digital town square for technical decision-makers to gain knowledge about transformative enterprise technology and transact.
VentureBeatの使命は、技術的な意思決定者が変革的なエンタープライズテクノロジーと取引に関する知識を得るためのデジタルタウンスクエアになることです。
元記事
