Network System Laboratory - Backup source of JupyterHub(No. 26)

View the diff.
View the diff current.
Go to JupyterHub.
** JupyterHub [#mb71944e]
- マルチユーザのための [[Jupyter]] サーバー（ユーザ認証機能つき）

- https://github.com/jupyterhub/jupyterhub
- https://github.com/gatoniel/jupyterhub  改良版

- https://jupyterhub.readthedocs.io/en/0.7.2/getting-started.html
- https://horomary.hatenablog.com/entry/2019/11/09/181614

- see also: ''[[Jupyter]]''
- see also: [[Docker]], [[Podman]]
- see also: [[Kubernetes]]

- [[DockerSpawner>./DockerSpawner]]
#br

** INSTALL [#nfb5f43c]
**** conda を使用 [#z4c989ab]
 (base) # conda create -n jupyterhub python=3.8 -y
 (base) # conda activate jupyterhub
 (jupyterhub) # conda install -c conda-forge notebook -y
 (jupyterhub) # conda install -c conda-forge jupyterlab -y
 (jupyterhub) # conda install -c conda-forge jupyterhub==1.4.2  -y
 (jupyterhub) # conda install -c conda-forge voila -y
 (jupyterhub) # conda install jupyter_client -y

 (jupyterhub) # git clone https://github.com/jupyterhub/nativeauthenticator.git
 (jupyterhub) # pip install -e nativeauthenticator   (認証モジュール：オプション)
 (jupyterhub) # pip install dockerspawner

- ディレクトリのパーミッションの設定を忘れずに！
#br

*** Notebook の Docker イメージ [#s9b5f83a]
 # docker pull jupyter/datascience-notebook
 # docker pull jupyter/tensorflow-notebook
#br

*** Version Up 1.0.0 -> 1.4.1 [#f7719705]
  # conda install -c conda-forge jupyterhub
  # conda install notebook
**** バージョンの確認 [#m3c5a1bd]
- (jupyterhub) # jupyterhub --version
#br

** 設定 [#idb49705]
- https://zero-to-jupyterhub.readthedocs.io/en/latest/customizing/index.html
- https://zero-to-jupyterhub.readthedocs.io/en/latest/administrator/index.html

- jupyterhub --generate-config を実行すると カレントディレクトリに設定ファイル ''jupyterhub_config.py'' が生成される．
- 個人的には jupyterhub が /usr/local 以下にある場合は /usr/local/etc/jupyterhub 以下に置く．
- 設定ファイルは拡張子が .py でないと，読み込まれない場合がある？

#br

*** Authenticator Class (authenticator_class) [#g1e9cdae]
**** auth.DummyAuthenticator [#g40f4bb4]
- その名の通りダミー．認証無し．
- 全てのユーザを許可する．（一応パスワード入力欄は表示される）
#br
**** jupyterhub.auth.PAMAuthenticator （default） [#n3acea52]
- 認証に[[PAM]]を使用する．恐らくサービスは login
- v1.1.0 にバグあり. [[Trouble Shooting>#rf83821d]] 参照．
#br

**** nativeauthenticator.NativeAuthenticator [#u43dca72]
- 追加モジュール（オプション）
- 詳細は検証中
#br

**** [[LDAP]]: ldapauthenticator.LDAPAuthenticator [#n1c54d11]
- LDap 認証用．
- モジュールのInstall
 (jupyterhub) # conda install -c conda-forge jupyterhub-ldapauthenticator -y

- jupyterhub_config.py
 102 # for LDAP
 103 c.JupyterHub.authenticator_class = 'ldapauthenticator.LDAPAuthenticator'
 104 #c.LDAPAuthenticator.server_address = '202.26.150.*'
 105 c.LDAPAuthenticator.server_address = '202.26.144.*'
 106 c.LDAPAuthenticator.use_ssl = True
 107
 108 ## AD: template 付き（ユーザバインド）
 109 c.LDAPAuthenticator.lookup_dn = False
 110 c.LDAPAuthenticator.bind_dn_template = [
 111     'cn={username},ou=教員,ou=ユーザー,dc=edutuis,dc=local',
 112     'cn={username},ou=学生,ou=ユーザー,dc=edutuis,dc=local'
 113 ]
 114 c.LDAPAuthenticator.user_search_base = 'dc=edutuis,dc=local'
 115 c.LDAPAuthenticator.user_attribute = 'sAMAccountName'
 116
 117 ## AD: template なし
 118 #c.LDAPAuthenticator.lookup_dn = True
 119 #c.LDAPAuthenticator.user_search_base = 'dc=edutuis,dc=local'
 120 #c.LDAPAuthenticator.user_attribute = 'sAMAccountName'
 121 #c.LDAPAuthenticator.lookup_dn_search_user = 'cn=ldapauth,cn=users,dc=edutuis,dc=local'
 122 #c.LDAPAuthenticator.lookup_dn_search_password = '*****'
 123 #c.LDAPAuthenticator.lookup_dn_user_dn_attribute = 'cn'
 124
 125 ## NSL: username から dn が探せる場合（ユーザバインド）
 126 #c.LDAPAuthenticator.lookup_dn = False
 127 #c.LDAPAuthenticator.bind_dn_template = 'cn={username},ou=user,dc=nsl,dc=tuis,dc=ac,dc=jp'
 128
 129 ## NSL: ツリーを検索する場合
 130 #c.LDAPAuthenticator.lookup_dn = True
 131 #c.LDAPAuthenticator.user_search_base = 'ou=user,dc=nsl,dc=tuis,dc=ac,dc=jp'
 132 #c.LDAPAuthenticator.user_attribute = 'uid'
 133 #c.LDAPAuthenticator.lookup_dn_search_user = 'cn=Manager'
 134 #c.LDAPAuthenticator.lookup_dn_search_password = '*******'
 135 #c.LDAPAuthenticator.lookup_dn_user_dn_attribute = 'cn'
 136

**** LTIモジュール [#m4467ad6]
***** Learning Tools Interoperability [#lde959fa]
- https://github.com/jupyterhub/ltiauthenticator

- 既にインストールされている ltiauthenticator だと Moodle にログインできない.
-- "Moodleと Jupyter Notebookの 連携 によるプログラミング 教育環境 の 構築" 石坂徹，桑田喜隆, et. al., Moodle Moot Japan 2019 Proceedings (2019), pp.32-37
--- /usr/local/anaconda/envs/jupyterhub/lib/python3.8/site-packages/ltiauthenticator/__init__.py
 152             # Before we return lti_user_id, check to see if a canvas_custom_user_id was sent.
 153             # If so, this indicates two things:
 154             # 1. The request was sent from Canvas, not edX
 155             # 2. The request was sent from a Canvas course not running in anonymous mode
 156             # If this is the case we want to use the canvas ID to allow grade returns through the Canvas API
 157             # If Canvas is running in anonymous mode, we\'ll still want the \'user_id\' (which is the `lti_user_id``)
 158
 159             canvas_id = handler.get_body_argument(\'custom_canvas_user_id\', default=None)
 160 +           product_code = handler.get_body_argument(\'tool_consumer_info_product_family_code\', default=None)
 161
 162             if canvas_id is not None:
 163                 user_id = handler.get_body_argument(\'custom_canvas_user_id\')
 164 +           elif \'moodle\' in product_code:
 165 +                user_id = handler.get_body_argument(\'ext_user_username\')
 166             else:
 167                 user_id = handler.get_body_argument(\'user_id\')
 168

***** jupyterhub_config.py [#c6db4f7a]
 c.JupyterHub.authenticator_class = 'ltiauthenticator.LTIAuthenticator'
 c.LTIAuthenticator.consumers = {
     os.environ['LTI_CLIENT_KEY']: os.environ['LTI_CLIENT_SECRET']
 }
-- キーは二つとも openssl rand -hex 32 で生成．
#br
***** Moodle 側 [#sd9e4f7f]
- 「サイト管理」=> 「プラグイン」=> 「外部ツール：ツールを管理する」（=>「ツールを手動設定する」）
- [[Hack>Moodle/Moodle-LTI]]
#br

***** error : module 'oauthlib.oauth1.rfc5849.signature' has no attribute 'signature_base_string' [#l6c7a130]
- ライブラリが足りない
- conda install oauthlib
#br

***** 欠点：利点？ [#w4038708]
-- %%一度 Moodle 経由でログインすると，ブラウザがアカウントを覚えているらしく，次回からは Moodle 経由で無くともログイン可能．%%　ログアウトすればOK
-- その他の一般ユーザ認証と併用できない．
#br

*** Server Class [#dded2dd0]

**** jupyterhub.spawner.LocalProcessSpawner （default）[#ueaf7599]
- [[LocalProcessSpawner >./LocalProcessSpawner]]
- サーバに，各ユーザの環境でアクセスできる.
- Jupiter Notebook はサーバにインストールされている物を使用する．
- 通常作業ディレクトリは /home/{username}/notebook 　 (v1.0.0 はディレクトリ指定にバグが有る模様)
- 使用ポートは 8000/tcp, 8081/tcp
#br

**** jupyterhub.spawner.SimpleLocalProcessSpawner [#eb28d681]
- 名前がややこしい
- 詳細は不明（検証する気はあまりない）
#br

**** dockerspawner.DockerSpawner [#dc30b0cf]
- [[''DockerSpawner''>./DockerSpawner]]
- https://github.com/jupyterhub/dockerspawner
- サーバでユーザ毎に ''[[Docker]]'' でNotebook コンテナを起動して接続．
- 作業ホームは /home/jovjan/work 固定（多分 Docker Image固定）
- 使用ポートは 8000/tcp, 8081/tcp, 8001/tcp
- Install
 (jupyterhub) # pip --no-cache-dir install git+https://github.com/jupyterhub/dockerspawner.git
 or
 (jupyterhub) # pip install dockerspawner

**** dockerspawner.SystemUserSpawner [#x578909e]
- [[''SystemUserSpawner''>./SystemUserSpawner]]
- https://github.com/jupyterhub/dockerspawner/blob/master/dockerspawner/systemuserspawner.py

- dockerspawner.DockerSpawner からの派生クラス
- DockerSpawner と同じパッケージ？　特にインストールしていないが，既に入っていた．
- jovyan ではなく，ログインユーザで使用可．ログインユーザのホームディレクトリをマウントする．
- ただしログインユーザの情報がローカルに取れない場合（LDAPのユーザバインドでログインした場合），ホームディレクトリ等の情報が無いので途中でエラーを起こす．
-- 作りこめば大丈夫かもしれん．
#br

**** dockerspawner.SwarmSpawner [#vad945d1]
- [[SwarmSpawner>./SwarmSpawner]]
- dockerspawner.DockerSpawner からの派生クラス
- DockerSpawner と同じパッケージ
- クラスタリング用．
- コンテナを [[Docker Compose]] で管理し，複数のサーバー上で実行できる．
- 使用ポートは 8000/tcp, 8081/tcp, 8001/tcp, 2377/tcp, 7946/tcp, 7946/udp, 4789/udp
#br

**** niicloudoperation/jupyterhub-singleuser [#ld71d218]
- NII開発．自由度低し（個人的感想）．[[CoursewareHub]] 用 Server Class
- https://github.com/NII-cloud-operation/CoursewareHub-LC_platform
- Document: https://github.com/nii-gakunin-cloud/ocs-templates
- [[dockerspawner.SwarmSpawner>./SwarmSpawner]] からの派生クラス
- 検証中
- INSTALL
 (jupyterhub) # git clone https://github.com/NII-cloud-operation/CoursewareHub-LC_platform.git
 (jupyterhub) # cd CoursewareHub-LC_platform/jupyterhub/spawner
 (jupyterhub) # pip --no-cache-dir install .

*** jovyan って誰？ [#w4a21247]
- DockerSpawner を使用すると，作業ディレクトリが /home/jovyan/work 固定なのだが？
- c.DockerSpawner.notebook_dir 辺りをいじっても変化しない？
- 皆考えることは一緒：https://github.com/jupyter/docker-stacks/issues/358
#br

** 実行 [#a826d7f6]
 (base) # conda activate jupyterhub
 (jupyterhub) # jupyterhub -f /usr/local/etc/jupyterhub/jupyterhub_config.py

- --no-ssl は0.7で廃止された
#br

** Log [#s553f415]
*** LC_nblineage [#q1878f8f]
- https://github.com/NII-cloud-operation/Jupyter-LC_nblineage
-- lab では動かない！
#br

*** LC_wrapper [#q23dcf44]
- https://github.com/NII-cloud-operation/Jupyter-LC_wrapper
#br

** 情報ソース [#s02d97ba]

*** Notebook [#i00ecdd5]

**** Docker Images [#yceb54d2]

***** niicloudoperation/notebook [#b9ddd7f8]
- docker pull niicloudoperation/notebook
#br

*** Spawner [#v67998b2]

**** [[Docker]] [#e1984289]
- https://github.com/jupyterhub/dockerspawner
#br

**** [[Podman]] [#t1db1fc3]
- https://github.com/gatoniel/podmanspawner
#br

**** [[Kubernetes]] [#af74888d]
- https://github.com/jupyterhub/zero-to-jupyterhub-k8s
- https://zero-to-jupyterhub.readthedocs.io/en/latest/
#br

** DB [#v881917b]
*** MySQL [#ge9c722d]
- [[SQLAlchemy]] で PyMySQL ドライバを使用する
- pool_recycle の設定を忘れずに！
- charset は urf8mb4
#br

** Trouble Shooting [#rf83821d]

*** 日本語のBUG [#ece06e7b]
- 日本語のファイルやディレクトリでコピーなどを行うと errno 13 のエラーが起きる．でもコピーはちゃんと行われる．エラーを消したい．
#br

*** [[PAM]] [#cb278bbe]

**** JupyterHub: PAM使用時に 再login するとPAMの認証エラーになる． [#cec1cefc]
- 認証モジュールに jupyterhub.auth.PAMAuthenticator を使用した場合，再Loginで失敗
-- c.JupyterHub.authenticator_class = 'jupyterhub.auth.PAMAuthenticator'
- バグだろ．
- Resolve: jupyterhub_config.py に ''c.PAMAuthenticator.open_sessions = False'' を追加する
- see: https://github.com/jupyterhub/jupyterhub/issues/486
#br

**** swarm モードだと v1.1.0 でPAM認証のエラーを起こす． [#e7458157]
- 上記バグもこれか？
- 1.0.0 に戻す．
 (jupyterhub) # conda uninstall jupyterhub
 (jupyterhub) # conda -c conda-forge install jupyterhub==1.0.0
#br
*** homeディレクトの名前を変えたら，ログインできなくなった [#yf5e6b43]
- ~/.cache, ~/.jupyter, ~/.local ができているので消す．
#br
« Prev Next »
Backup source of JupyterHub (No. 26)

Site Search

Login

Sub Menu

Books

mini Calendar

Who's Online

Access Counter
