スキップしてメイン コンテンツに移動

P2P探訪 Raider やる気スイッチ 「はじめに」

Raiderのメタファで、Torrentクローンを作成しています。 Java で作成しています。
そろそろ、Applet上で動作するデモができそうです。 試してみて解ったことが結構ありました。
そこで、学習したしことを、epub形式でまとめることにしました。
https://github.com/kyorohiro/Raider/tree/master/Raider/doc/torrent/matome.epub
だが、やる気スイッチが入らない。なので、そこそこまとまった書きかけのものをさらすことにした。 そうすれば、やる気スイッチが入るかもしれない。
↓書き直します。たぶん、ひとかけらも残りませんが..。はじめにの章の部分

この文書について


Bittorrentのクローンを作成しています。その時に調査した結果をまとめたのこの文章です。
少しでも興味を持たれたかた。この文書を通して少しでもTorrentの理解の助けになれば幸いです。


ちまたでは、Torrentは違法なファイル共有アプリという認識が強いように思います。Twitterの検索機能で、Torrentと検索して見てください。Torrentに関するネガティブなイメージな。違法な利用を助長するようなツイートを発見することができるでしょう。
GooleでTorrentと検索してみてください。「アメリカ合衆国のデジタル ミレニアム著作権法に基づいたクレームに応じ、このページから 1 件の検索結果を除外しました。」といった文言が表示されます。また、Twiiterで検索した結果と同じように違法な利用を助長するようなサイトを発見することができるでしょう。

しかし、こういったネガティブなイメージはTorrentの一面でしかありません。まっとうな使われ方も大くされており。
例えば、大規模なネットワークシステムのデプロイといったことが上げられます。デプロイというのは、ユーザーへサービスを提供するために準備作業の事をいいます。
Googleであれば、データを即座に検索できるようにサーバーを立ち上げる。Youtubeならば、動画を再生できるようにする。Twitterならば、ツイートを送信だとか表示できるようにするといった事です。
大手のネットワークサービスでは、数千代、数万台のコンピュータが動作しております。 これらのコンピュータに変更を加える必要が出てきた場合には、修正するためのデータを数千代、数万台のコンピュータに配信する必要がでてきます。
こういった、データの配信にTorrent技術は使用されています。

例えば、OSのイメージの配信に使用されています。OSというWindowsやMacなどメーカーがCDやDVDといった記憶媒体を通して配布されている事をイメージするかも知れません。
しかし、独自にOSをパッケージングする事は、大手のメーカがする仕事というわれではありません。今では、個人が趣味でOSをパッケージングして配信する事も可能です。可能なだけでは、ありきたりな行為になりつつあります。
個人で配信する場合、当然ながら数千台、数万台のサーバーを用意する事はできません。また、CDやDVDの記憶媒体を大量に配る事にしても限界があります。
そういった、個人がデータを配布するのに、Torrentの技術が使用されています。


また、Torrentを学ぶことは、P2Pの記述を学ぶうえで最適な題材ではないかと考えられます。
まず、Torrentはもっとも普及した通信方法であります。それだけではなく、最新の技術を取り入れ進化し続けている技術でもあります。
Torrentを学習すると、ネットワークアプリ作成のノウハウ、分散ハッシュテーブル、 ゲーム理論を応用した柔軟なネットワーク等など、基本から応用まで、扱う事になります。
なによりも、多くのアプリや仕様がオープンに公開されており、P2Pを実例をもって学ぶことができるのです。

Torrent以外でメジャーなP2Pアプリはありました。しかし、Torrentほどおっぴろげなものはないでしょう。日本で流行したWinnyのソースは公開されていません。Winnyについて知りたければハックする必要があります。海外で流行したWinmxもそうです。
Torrentはその仕様が公開されています。どのような通信プロトコルで通信されているかが文書化されています。おおくの実装例、オープンソースとして公開されています。公開されているだけではありません。さまざまなプログラム言語で書かれています。Python Ruby Java JavaScript C++ 等などありとあらゆる言語で書かれています。
もしも、煮詰まったとき等は、これらの実装を読む事で保管する事も可能でしょう。あなたの得意な言語で読む事でできるのです。

Torrentのアングラな面は一面に過ぎないすぎないこと。優れた技術は多くの実用的なプロダクトで利用されていること。また、TorrentがP2Pの教材として優れておいることを理解しいただけけば幸いです。


コメント

このブログの人気の投稿

KyoroStressの技術 -1- Low Memory Killer を意図的に発生させたい

[課題] Low Memory Killer を意図的に発生させたい Androidには、ヒープが涸渇すると使われていないアプリをKillする機能があります。 この記事では、意図的にヒープを枯渇させて、この状態をつくる方法について説明します。 単純にヒープを大量に消費するアプリを作成すれば良いように思えます。 しかし、これだけでは上手くいきません。   -A ひとつのアプリで消費できるヒープが制限されているため、ひとつのアプリで端末のヒープが涸渇している状態をつくれない。   -B ヒープを涸渇しているアプリがPFにKILLされる場合がある。 といった問題があります。 KyoroStressV2での解決方法を紹介します。 [KyoroStressでの解決方法] Kyoro Stress では、以下のような方法をとりました。 - 1. 複数のServiceを、各々異なるプロセスで起動する。 - 2. 各々Serviceで大量のヒープを消費する。 複数のプロセスを立ち上げれば、PFのヒープを枯渇させることができます。これで、(A)の問題が解決できました。 また、Bについては、「生きているプロセス」が「KILLされたプロセス」の分もヒープを消費すれば上手くいけそうです。 [BigEater(ヒープ消費サービス)の動作] KyoroStressV2で、ヒープを消費するサービスは以下のシナリオで動作しています。 - 1. 指定されたヒープを取得する。 is retry が true の時、指定されたヒープを取得できるまで、1を何度も繰り返す。 - 2. KILLされたサービスを復活させる。 is retry が true の時、Threadが死ぬまで、何度も2を繰り返す。 - 3. 終了 といった感じです。 このままでは、すべてのServiceがPFにKILLされたら上手くいかないように思うかも知れません。 しかし、時間がたつと(数秒)、PFはKILLしたServiceを再起動します。 このため、ServiceがすべてKILLされても、ヒープを大量に消費しようとする状態は保持されます。 [使い方] KyoroStressV2の操作方法…

P2P探訪 STUNでNAT越え その1

UPnPを用いて、NAT越えできました。しかし、ルータがUPnPをサポートしていなかったり。UPnPだけでは越えられないNATがあります。

本文では、その代案として前回解説できなかった。「適当なサーバーに接続してみて、相手から見えているアドレスを返してもらう方法」について解説していきます。

TCPの限界 インターネットで公開されている情報のほとんどは、TCPという通信方法でデータをやり取りされています。ですから、インターネットで情報を公開したい場合は、TCPサーバーを立ち上げる事を考える事でしょう。
 しかし、ルータがUPnPをサポートしていない場合、TCPを用いたサーバーを運用する事は困難になります。※ 基本、無理と考えもらって問題ありません。


接続相手から教えてもらう方法はどうした? 適当なサーバーに接続してみて、相手から見えているアドレスを返してもらう事で実現できないのでしょうか。前回はできそうな事を臭わせていました。しかし、TCPにおいて、これは困難です。

実際にTCPのプログラムを書き確認して見ましょう。接続相手のホストアドレスは推測できます。しかし、ポート番号を知るすべはありません。


import java.io.IOException; import java.net.Inet4Address; import java.net.ServerSocket; import java.net.Socket; import java.net.UnknownHostException; public class TCPTest { public static void main(String[] args) { TCPTest test = new TCPTest(); test.startServer(); try { Thread.sleep(3000); } catch (InterruptedException e) { e.printStackTrace(); } test.startClient(); } private Server mServer = new Server(); public void startServer() { mServer.start(); } public v…

P2P探訪 Raider その1-2 Torrentファイルフォーマット

というわけで、前回に引き続いて、この記事ではTorrentファイルについて説明します。 [Torrent file format] 前回、Bencodingを実装したのでTorremt Fileを読み込めることができるようになりました。 今回は、Torrentファイルから必要な情報を読み込む方法について解説します。 torretファイルから取得できる情報はどんなものかは、別の機会に解説します。 ここでは、torrentファイルには 2つのフォーマットがあることとデータ構造を説明します。 たとえば、「"announce"というデータが何なのか?」については解説しません。 torrentファイルでは、ダウンロード/アップロードの対象としているファイルが、ひとつの場合と複数の場合で構造がすこしだけことなります。 ひとつの時を、「single file」 複数の時を「multi file」と呼ぶことにます。 では、データ構造を紹介します。 - single file pattern bendiction benstring "announce" beninteger "creation date" bendiction "info" beninteger "length" benstring "name" beninteger "piece length" bebstring "pieces" - multi file pattern bendiction benstring "announce" beninteger "creation date" bendiction "info" benlist "files" bendiction beninteger "length" benlist "path" benstring be…